DE112021001833T5

DE112021001833T5 - Recheneinrichtung und parallaxensuchverfahren

Info

Publication number: DE112021001833T5
Application number: DE112021001833.7T
Authority: DE
Inventors: Yusuke Uchida; Keisuke Inata; Masashi Takada; Shinichi Nonaka
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2020-06-05
Filing date: 2021-01-28
Publication date: 2023-01-12
Also published as: WO2021245973A1; JP7521940B2; JP2021192177A

Abstract

Eine Recheneinrichtung enthält eine Erfassungseinheit, die ein Normalbild, das erhalten wird, indem es durch eine erste Bildgebungseinheit aufgenommen wird, und ein Bezugsbild, das erhalten wird, indem es durch eine zweite Bildgebungseinheit aufgenommen wird, erfasst, eine Anfangssucheinheit, die ein zu berechnendes Pixel, das ein Zielpixel zum Berechnen einer Parallaxe ist und im Normalbild enthalten ist, bestimmt und eine Anfangsparallaxe, die eine Parallaxe des zu berechnenden Pixels ist, unter Bezugnahme auf das Bezugsbild berechnet, eine Isolationsbeurteilungseinheit, die auf der Grundlage eines Vergleichs zwischen der Anfangsparallaxe des zu berechnenden Pixels und einer Parallaxe eines Umfangspixels für das zu berechnende Pixel bestimmt, ob das zu berechnende Pixel ein Abweichungspixel, das die Isolationsbedingung, dass das zu berechnende Pixel vom Umfangspixel isoliert ist, erfüllt, ist oder nicht, eine Suchbereichseinstellungseinheit, die einen Weitersuchbereich, der ein Bereich einer Weitersuche des Abweichungspixels im Bezugsbild ist, einstellt, und eine Weitersucheinheit, die den Weitersuchbereich, der durch die Suchbereichseinstellungseinheit eingestellt wurde, im Bezugsbild sucht, um eine Weitersuchparallaxe, die eine Parallaxe des Abweichungspixels ist, zu berechnen.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf eine Recheneinrichtung und ein Parallaxensuchverfahren.
Technischer Hintergrund
Eine Positionsmessungsvorrichtung, die eine Entfernung zu einem Objekt, das in einem Kamerasichtfeld vorhanden ist, auf der Grundlage eines Stereobilds, das durch eine Stereokamera, die ein Paar Kameras aufweist, aufgenommen wurde, durch das Prinzip der Triangulation misst, ist bekannt. Das heißt, das Prinzip der Triangulation dient dazu, die Entfernung von der Kamera zum Objekt unter Verwendung einer Parallaxe, die ein Versatz der Position des Bilds desselben Objekts, das durch die linke und die rechte Kamera aufgenommen wurde, ist, zu berechnen. Die Parallaxe wird durch Identifizieren davon hergeleitet, wo das Objektbild in einem Bild im weiteren Bild vorhanden ist. Verschiedene Verfahren wurden zum Herleiten einer Parallaxe vorgeschlagen. Zum Beispiel ist in einem klassischen Verfahren ein Blockabgleich bekannt, wobei ein Bereich, der die geringste Unähnlichkeit in einem Bild aufweist, für einen Bereich, der mehrere Pixel enthält, im weiteren Bild gesucht wird. Im Blockabgleich ist ein Problem bekannt, dass die Parallaxe wesentlich verschieden ist; wenn der fehlerhafte Abgleich, der die Bereiche fehlerhaft zuordnet, auftritt.
PTL 1 offenbart eine Stereobildverarbeitungsvorrichtung, die ein Bildgebungsmittel, das ein Objekt abbildet, ein Stereoverarbeitungsmittel, das einen Stereoabgleichprozess zum Bestimmen einer Korrelation zwischen kleinen Bereichen eines Paars von Bildern, die durch das Bildgebungsmittel aufgenommen wurden, um entsprechende Bereiche zu identifizieren, durchführt und eine Bewertungsfunktion, die ein Stereoabgleichprozessergebnis ist, Entfernungsinformationen zum Objekt, die auf der Grundlage der Bewertungsfunktion erhalten werden, und Zuverlässigkeitsinformationen, die die Zuverlässigkeit davon angeben, erfasst, und ein Parallaxenkorrekturmittel, das einen Weitersuchbereich um einen kleinen Bereich, der ein Ziel sein soll, gemäß der Zuverlässigkeit einstellt, die Bewertungsfunktion, die für den kleinen Bereich, der ein Ziel sein soll, bestimmt wurde, auf der Grundlage der Bewertungsfunktion, die für den kleinen Bereich im Weitersuchbereich bestimmt wurde, korrigiert, um eine korrigierte Bewertungsfunktion zu erhalten, und die Entfernungsinformationen auf der Grundlage der erhaltenen korrigierten Bewertungsfunktion korrigiert, enthält.
Entgegenhaltungsliste
Patentliteratur
PTL 1: JP 2006 090896 A
Zusammenfassung der Erfindung
Technisches Problem
Die Erfindung, die in PTL 1 beschrieben ist, beseitigt einen fehlerhaften Abgleich nicht ausreichend.
Lösung des Problems
Eine Recheneinrichtung gemäß einem ersten Aspekt der vorliegenden Erfindung enthält eine Erfassungseinheit, die ein Normalbild, das erhalten wird, indem es durch eine erste Bildgebungseinheit aufgenommen wird, und ein Bezugsbild, das erhalten wird, indem es durch eine zweite Bildgebungseinheit aufgenommen wird, erfasst, eine Anfangssucheinheit, die ein zu berechnendes Pixel, das ein Zielpixel zum Berechnen einer Parallaxe ist und im Normalbild enthalten ist, bestimmt und eine Anfangsparallaxe, die eine Parallaxe des zu berechnenden Pixels ist, unter Bezugnahme auf das Bezugsbild berechnet, eine Isolationsbeurteilungseinheit, die auf der Grundlage eines Vergleichs zwischen der Anfangsparallaxe des zu berechnenden Pixels und einer Parallaxe eines Umfangspixels für das zu berechnende Pixel bestimmt, ob das zu berechnende Pixel ein Abweichungspixel ist, das eine Isolationsbedingung, dass das zu berechnende Pixel vom Umfangspixel isoliert ist, erfüllt, eine Suchbereichseinstellungseinheit, die einen Weitersuchbereich, der ein Bereich einer Weitersuche des Abweichungspixels im Bezugsbild ist, einstellt, und eine Weitersucheinheit, die den Weitersuchbereich, der durch die Suchbereichseinstellungseinheit eingestellt wurde, im Bezugsbild sucht, um eine Weitersuchparallaxe, die eine Parallaxe des Abweichungspixels ist, zu berechnen.
Ein Parallaxensuchverfahren gemäß einem zweiten Aspekt der vorliegenden Erfindung, das durch eine Recheneinrichtung ausgeführt wird, enthält eine Erfassungseinheit, die ein Normalbild, das erhalten wird, indem es durch eine erste Bildgebungseinheit aufgenommen wird, und ein Bezugsbild, das erhalten wird, indem es durch eine zweite Bildgebungseinheit aufgenommen wird, erfasst, und das Parallaxensuchverfahren enthält ein Bestimmen eines zu berechnenden Pixels, das ein Zielpixel zum Berechnen einer Parallaxe ist, das im Normalbild enthalten ist, und ein Berechnen einer Anfangsparallaxe, die eine Parallaxe des zu berechnenden Pixels ist, unter Bezugnahme auf das Bezugsbild, ein Bestimmen auf der Grundlage eines Vergleichs zwischen der Anfangsparallaxe des zu berechnenden Pixels und einer Parallaxe eines Umfangspixels für das zu berechnende Pixel, ob das zu berechnende Pixel ein Abweichungspixel ist, das eine Isolationsbedingung, dass das zu berechnende Pixel vom Umfangspixel isoliert ist, erfüllt, ein Setzen eines Weitersuchbereichs, der ein Bereich einer Weitersuche des Abweichungspixels im Bezugsbild ist, und ein Suchen des Weitersuchbereichs im Bezugsbild, um eine Weitersuchparallaxe, die eine Parallaxe des Abweichungspixels ist, zu berechnen.
Vorteilhafte Wirkungen der Erfindung
Gemäß der vorliegenden Erfindung ist es möglich, ein Auftreten eines fehlerhaften Abgleichs zu bewältigen.
Figurenliste

[1] 1 ist ein Blockdiagramm, das eine Konfiguration einer Recheneinrichtung gemäß einer ersten Ausführungsform veranschaulicht.
[2] 2 ist ein Konzeptdiagramm, das das Vorliegen oder das Fehlen einer isolierten Parallaxe veranschaulicht.
[3] 3 ist ein Diagramm, das Umfangspixel gemäß der ersten Ausführungsform veranschaulicht.
[4] 4 ist ein Diagramm zum Erläutern einer Bestimmung einer isolierten Parallaxe.
[5] 5 ist ein Ablaufplan, der eine Verarbeitung durch eine Recheneinrichtung veranschaulicht.
[6] 6 ist ein Blockdiagramm, das eine Konfiguration einer Recheneinrichtung gemäß einer zweiten Ausführungsform veranschaulicht.
[7] 7 ist ein Blockdiagramm, das eine Konfiguration einer Recheneinrichtung gemäß einer dritten Ausführungsform veranschaulicht.
[8] 8 ist ein Blockdiagramm, das eine Konfiguration einer Recheneinrichtung gemäß einer vierten Ausführungsform veranschaulicht.

Beschreibung der Ausführungsformen
-Erste Ausführungsform-
Im Folgenden wird die erste Ausführungsform einer Recheneinrichtung gemäß der vorliegenden Erfindung unter Bezugnahme auf 1 bis 5 beschrieben. In der vorliegenden Ausführungsform wird ein Beispiel beschrieben, in dem die Recheneinrichtung am Fahrzeug montiert ist, jedoch muss die Recheneinrichtung nicht am Fahrzeug montiert sein.
1 ist ein Blockdiagramm, das eine Konfiguration einer Recheneinrichtung 1 gemäß der ersten Ausführungsform veranschaulicht. Die Recheneinrichtung 1 enthält eine Erfassungseinheit 107, eine Anfangssucheinheit 103, eine Isolationsbeurteilungseinheit 104, eine Suchbereichseinstellungseinheit 105, eine Weitersucheinheit 106 und eine Ausgabeeinheit 108. Jede der Erfassungseinheit 107, der Anfangssucheinheit 103, der Isolationsbeurteilungseinheit 104, der Suchbereichseinstellungseinheit 105, der Weitersucheinheit 106 und der Ausgabeeinheit 108 wird z. B. durch eine Zentraleinheit (die nicht dargestellt ist) realisiert, die ein Programm, das in einem ROM, der eine Festwertspeichervorrichtung ist, gespeichert ist, in einem RAM, der eine lesbare/beschreibbare Speichervorrichtung ist, nutzbar macht und das Programm ausführt.
Allerdings können diese alle durch ein feldprogrammierbares Gate-Array (FPGA), das eine umschreibbare Logikschaltung ist, oder eine anwendungsspezifische integrierte Schaltung (ASIC), die eine anwendungsspezifische integrierte Schaltung ist, statt der Kombination der CPU, des ROM und des RAM realisiert werden. Zusätzlich können diese durch eine Kombination verschiedener Konfigurationen, z. B. eine Kombination einer CPU, eines ROM, eines RAM und eines FPGA, statt der Kombination der CPU, des ROM und des RAM realisiert werden. In der vorliegenden Ausführungsform können die Rechenbetriebsmittel zum Realisieren der jeweiligen Funktionen gemeinsam oder unabhängig verwendet werden. Zum Beispiel kann das Rechenbetriebsmittel eines CPU-Kerns durch ein Zeitmultiplexverfahren durch alle Funktionen gemeinsam verwendet werden. Zusätzlich können lediglich einige Funktionen das Rechenbetriebsmittel gemeinsam verwenden.
Die Recheneinrichtung 1 ist mit einer ersten Bildgebungseinheit 101 und einer zweiten Bildgebungseinheit 102 verbunden. Die erste Bildgebungseinheit 101 und die zweite Bildgebungseinheit 102 sind z. B. Kameras, die an einem Fahrzeug montiert sind, und nehmen Bilder in im Wesentlichen derselben Richtung auf, um die aufgenommenen Bilder zur Recheneinrichtung 1 zu senden. Im Folgenden wird ein Bild, das erhalten wird, indem es durch die erste Bildgebungseinheit 101 aufgenommen wird, als ein „Normalbild“ bezeichnet und wird ein Bild, das erhalten wird, indem es durch die zweite Bildgebungseinheit 102 aufgenommen wird, als ein „Bezugsbild“ bezeichnet. Darüber hinaus ist die Positionsbeziehung zwischen der ersten Bildgebungseinheit 101 und der zweiten Bildgebungseinheit 102 bezüglich der Implementierung der vorliegenden Erfindung überhaupt nicht beschränkt, jedoch sind zur Vereinfachung der Beschreibung der vorliegenden Ausführungsform die erste Bildgebungseinheit 101 und die zweite Bildgebungseinheit 102 in der horizontalen Richtung nebeneinander angeordnet. Ferner sind Positionen und Lagen der ersten Bildgebungseinheit 101 und der zweiten Bildgebungseinheit 102 in Bezug auf den Boden bekannt.
Die Erfassungseinheit 107 erfasst das Normalbild von der ersten Bildgebungseinheit 101 und erfasst das Bezugsbild von der zweiten Bildgebungseinheit 102. Die Erfassungseinheit 107 gibt das erfasste Normalbild und das erfasste Bezugsbild zur Anfangssucheinheit 103 aus.
Die Anfangssucheinheit 103 bestimmt ein zu berechnendes Pixel, dass ein Zielpixel zum Berechnen einer Parallaxe ist und das im Normalbild enthalten ist, und berechnet einen Parallaxenkandidatenwert, der ein Kandidatenwert der Parallaxe des zu berechnenden Pixels ist, unter Bezugnahme auf das Bezugsbild. Insbesondere wird im Normalbild ein Bereich (der im Folgenden auch als ein „Berechnungsbereich“ bezeichnet wird), für den die Parallaxe berechnet werden soll, im Voraus z. B. als der gesamte Bereich oder ein Bereich des Vierecks von 300 Pixeln im zentralen Abschnitt eingestellt, und stellt die Anfangssucheinheit 103 sequenziell Pixel im Bereich als Pixel, die berechnet werden sollen, ein. Dann berechnet die Anfangssucheinheit 103 die Parallaxen für alle Pixel im Berechnungsbereich. Im Folgenden wird die Parallaxe, die durch die Anfangssucheinheit 103 berechnet wird, als eine „Anfangsparallaxe“ bezeichnet.
Bei der Berechnung der Parallaxe wird z. B. erst eine Unähnlichkeit für alle Pixel in einem relativ großen Bereich im Bezugsbild, z. B. auf der Epipolarlinie, die dem zu berechnenden Pixel möglicherweise entsprechen, berechnet. Dann wird ein Pixel im Bezugsbild, das die kleinste Unähnlichkeit aufweist, oder ein Pixel im Bezugsbild, das einen Mindestwert aufweist, identifiziert. Dann wird z. B. eine Differenz zwischen einem Y-Koordinatenwert des Pixels im Bezugsbild und einem Y-Koordinatenwert des zu berechnenden Pixels im Normalbild als die Anfangsparallaxe gesetzt.
Allerdings muss, wie später beschrieben wird, die wahre Parallaxe durch diese Suche nicht erhalten werden. Zusätzlich kann die Suche durch die Anfangssucheinheit 103 im Vergleich zur Suche durch die Weitersucheinheit 106, die später beschrieben wird, auch als eine „Anfangssuche“ bezeichnet werden. Die Anfangssucheinheit 103 gibt die berechnete Parallaxe zu der Isolationsbeurteilungseinheit 104 und der Ausgabeeinheit 108 aus. Die Anfangssucheinheit 103 gibt die Parallaxe jedes zu berechnenden Pixels zu der Isolationsbeurteilungseinheit 104 und der Ausgabeeinheit 108 aus.
Die Isolationsbeurteilungseinheit 104 bestimmt ein zu berechnendes Pixel, dass eine Isolationsbedingung, die später beschrieben werden soll, erfüllt, als ein Abweichungspixel. Zum Beispiel vergleicht die Isolationsbeurteilungseinheit 104 den Parallaxenwert des Pixels, das durch die Anfangssucheinheit 103 berechnet werden soll, mit den Parallaxenwerten von Pixeln in der Nähe des zu berechnenden Pixels und bestimmt, ob das zu berechnende Pixel einem Abweichungspixel, das eine isolierte Parallaxe aufweist, entspricht. Die isolierte Parallaxe bedeutet, dass die Parallaxe, die durch die Anfangssucheinheit 103 gesucht wurde, von den Umfangspixeln abweicht. Das heißt, „Umfang“ in der vorliegenden Ausführungsform bedeutet Umfang in einer räumlichen Positionsbeziehung. Das zu berechnende Pixel, das durch die Isolationsbeurteilungseinheit 104 als ein Abweichungspixel bestimmt wurde, wird weiter verarbeitet und die Parallaxe, die durch die Anfangssucheinheit 103 gesucht wurde, wird für das zu berechnende Pixel, das nicht als ein Abweichungspixel bestimmt wurde, verwendet. Die Verarbeitung durch die Isolationsbeurteilungseinheit 104 wird später genau beschrieben.
Die Suchbereichseinstellungseinheit 105 stellt das zu berechnende Pixel, das durch die Isolationsbeurteilungseinheit 104 als ein Abweichungspixel bestimmt wurde, als zu verarbeiten ein und bestimmt einen Suchbereich zur Weitersuche. Die Weitersucheinheit 106 führt eine Weitersuche unter Verwendung des Bestimmungsergebnisses durch die Isolationsbeurteilungseinheit 104 und des Weitersuchbereichs, der durch die Suchbereichseinstellungseinheit 105 eingestellt wurde, durch, um die erhaltenen Parallaxeninformationen zur Ausgabeeinheit 108 auszugeben. Die Parallaxe, die durch die Weitersucheinheit 106 berechnet wird, wird auch als eine „Weitersuchparallaxe“ bezeichnet, um von der Parallaxe, die durch die Anfangssucheinheit 103 berechnet wird, unterschieden zu werden. Die Parallaxe, die nicht durch die Isolationsbeurteilungseinheit 104 als die isolierte Parallaxe bestimmt wird, wird durch die Anfangssucheinheit 103 direkt als die Parallaxeninformationen ausgegeben.
Die Ausgabeeinheit 108 gibt die Parallaxeninformationen über mindestens einen Teil des Normalbilds auf der Grundlage der Ausgaben der Anfangssucheinheit 103 und der Weitersucheinheit 106 aus. In 1 wird die Ausgabeeinheit 108 als die Parallaxeninformationen nach außerhalb der Recheneinrichtung 1 ausgebend beschrieben, jedoch können die Parallaxeninformationen in der Recheneinrichtung 1 verwendet werden. Zum Beispiel verwendet die Ausgabeeinheit 108 alle Parallaxeninformationen, die durch die Weitersucheinheit 106 ausgegeben werden, zur Ausgabe und verwendet lediglich die Parallaxeninformationen, die durch die Weitersucheinheit 106 nicht ausgegeben werden, für die Parallaxeninformationen, die durch die Anfangssucheinheit 103 ausgegeben werden. Das heißt, die Ausgabeeinheit 108 gibt lediglich die Weitersuchparallaxe aus, wenn sowohl die Anfangsparallaxe als auch die Weitersuchparallaxe für ein bestimmtes Pixel erhalten werden.
(Isolierte Parallaxe)
2 ist ein Konzeptdiagramm, das das Vorliegen oder das Fehlen der isolierten Parallaxe veranschaulicht. Allerdings wird das Vorliegen oder das Fehlen der isolierten Parallaxe nicht aus den Informationen bestimmt, die in 2 veranschaulicht sind, und veranschaulicht 2 lediglich konzeptionell, in welchem Falle die isolierte Parallaxe wahrscheinlich auftritt. Eine spezifische Bestimmung der isolierten Parallaxe wird später beschrieben. In 2 repräsentiert die horizontale Achse die Position des Bezugsbilds und repräsentiert die vertikale Achse die Unähnlichkeit zwischen dem zu berechnenden Pixel und dem bestimmten Pixel im Bezugsbild. Die Unähnlichkeit ist z. B. eine Summe einer quadrierten Differenz (SSD), eine Summe einer absoluten Differenz (SAD), eine mittelwertfreie Summe einer absoluten Differenz (ZSAD), eine normierte Kreuzkorrelation (NCC) oder dergleichen.
2 veranschaulicht Unähnlichkeit für zwei verschiedene zu berechnende Pixel, die im Normalbild zueinander benachbart sind. Speziell sind ein Beispiel, das durch eine durchgezogene Linie L201 angegeben ist und dazu tendiert, keine isolierte Parallaxe aufzuweisen, und ein Beispiel, das durch eine gestrichelte Linie L203 angegeben ist und dazu tendiert, eine isolierte Parallaxe aufzuweisen, veranschaulicht. In der durchgezogenen Linie L201 ist es möglich, da klar lediglich ein Spitzenwert 202 vorhanden ist, der die minimale Unähnlichkeit aufweist, und kein weiterer Spitzenwert vorhanden ist, der einen Wert in der Nähe des Spitzenwerts 202 aufweist, einen Abgleichpunkt zu identifizieren, um die genaue Parallaxe auszugeben. In der gestrichelten Linie L203 ist einen Spitzenwert 205 vorhanden, der denselben Grad einer Unähnlichkeit aufweist wie ein Abgleichpunkt 204, der ursprünglich identifiziert werden soll.
Deshalb kann der Punkt 205, der vom wahren Abgleichpunkt 204 verschieden ist, fehlerhaft als ein Abgleichpunkt bestimmt werden und kann ein Parallaxenwert, der vom ursprünglichen Parallaxenwert wesentlich verschieden ist, d. h. die isolierte Parallaxe, ausgegeben werden. In der vorliegenden Ausführungsform ist es durch Bezugnahme auf die Umfangsparallaxe, die durch die gestrichelte Linie 201 angegeben ist, Beschränken des Suchbereichs auf einen Bereich von Werten in der Nähe der Umfangsparallaxe und Durchführen einer lokalen Weitersuche möglich, den Abgleichpunkt zum wahren Abgleichpunkt 204 zu korrigieren.
(Bestimmung der isolierten Parallaxe)
Die Bestimmung durch die Isolationsbeurteilungseinheit 104, ob das zu berechnende Pixel eine isolierte Parallaxe besitzt, mit anderen Worten die Bestimmung, ob das zu berechnende Pixel unter die Isolationsbedingung fällt, wird unter Verwendung der Anfangsparallaxe in dem Pixel (das im Folgenden als ein „Umfangspixel“ bezeichnet wird) in der Nähe des zu berechnenden Pixels durchgeführt. Die Bestimmung der isolierten Parallaxe wird auf der Grundlage davon durchgeführt, ob die Anzahl von Umfangspixeln, in denen die Anfangsparallaxe jedes Umfangspixels von der des zu berechnenden Pixels um einen vorgegebenen Schwellenwert oder mehr abweicht, eine vorgegebene Anzahl oder mehr ist. Zunächst wird die Definition des Umfangspixels beschrieben und dann wird ein Bestimmungsverfahren beschrieben.
Das Umfangspixel in der vorliegenden Ausführungsform ist ein Pixel, das eine räumlich Relativposition aufweist, die unter Bezugnahme auf das zu berechnende Pixel definiert ist. Die Umfangspixel können z. B. insgesamt vier Pixel sein, die dem zu berechnenden Pixel in der Aufwärts-, Abwärts-, Links- und Rechtsrichtung benachbart sind, oder können acht Pixel sein, die durch hinzufügen von Pixeln in schrägen Richtungen erhalten werden. Sie können insgesamt 24 Pixel sein, die Pixel enthalten, die vom zu berechnenden Pixel um zwei Pixel entfernt sind, oder können weitere Schwankungen sein. Die Umfangspixel werden unter Bezugnahme auf die Zeichnungen genau beschrieben.
3 ist ein Diagramm, das Umfangspixel veranschaulicht. C3 beim Zentrum in 3 ist ein zu berechnendes Pixel. In diesem Fall können die Umfangspixel insgesamt vier Pixel C2, C4, B3 und D3 sein, die dem zu berechnenden Pixel vertikal und horizontal benachbart sind. Darüber hinaus können die Umfangspixel acht Pixel B2 bis B4, C3, C4 und D2 bis D4 sein, die durch Hinzufügen von Pixeln in den vertikalen, den horizontalen und den schrägen Richtungen erhalten werden. Ferner können die Umfangspixel 24 Pixel A1 bis A5, B1 bis B5, C1, C2, C4, C5, D1 bis D5 und E1 bis E5 sein, die vom zu berechnenden Pixel um zwei Pixel vertikal, horizontal und diagonal entfernte Pixel enthalten. Allerdings sind in der folgenden Beschreibung die Umfangspixel acht Pixel, die durch Hinzufügen von Pixeln in den vertikalen, horizontalen und schrägen Richtungen in Bezug auf das zu berechnende Pixel erhalten werden.
Bei der Bestimmung des Abweichungspixels wird der Betrag einer Differenz der Anfangsparallaxe zwischen dem zu berechnenden Pixel und jedem Umfangspixel berechnet und wird die Anzahl von Umfangspixeln gezählt, in denen der Betrag gleich oder größer als ein vorgegebener Schwellenwert (der im Folgenden als ein „Parallaxenschwellenwert“ bezeichnet wird) ist. Dann wird, falls die Anzahl von Zählungen gleich oder größer als ein vorgegebener Schwellenwert (der im Folgenden als ein „Zählschwellenwert“ bezeichnet wird) ist, das zu berechnende Pixel als ein Abweichungspixel bestimmt. Der Parallaxenschwellenwert und der Zählschwellenwert können feste Werte sein, die im Voraus bestimmt werden, oder können dynamisch gesetzt werden. Zum Beispiel kann der Parallaxenschwellenwert auf der Grundlage des Werts der Anfangsparallaxe des Pixels, das berechnet werden soll, dynamisch gesetzt werden und kann der Zählschwellenwert auf der Grundlage der Anzahl von Pixeln, die in den Umfangspixeln enthalten sind, dynamisch gesetzt werden. In diesem Beispiel ist die Isolationsbedingung, dass die Anzahl von Umfangspixeln, in denen Betrag einer Differenz der Anfangsparallaxendifferenz zwischen dem zu berechnenden Pixel und jedem Umfangspixel gleich oder größer als der Parallaxenschwellenwert ist, gleich oder größer als der Zählschwellenwert ist.
4 ist ein Diagramm, das eine Bestimmung der isolierten Parallaxe veranschaulicht. In dem Beispiel, das in 4 veranschaulicht ist, ist ein Pixel, das durch das Bezugszeichen 401 bezeichnet wird, beim Zentrum ein zu berechnendes Pixel ist, und 8 Pixel in der Nähe des zu berechnenden Pixels Umfangspixel sind. Die Zahl in der Figur gibt die Anfangsparallaxe jedes Pixels an. Hier wird angenommen, dass der Parallaxenschwellenwert „20“ ist und der - Zählschwellenwert „6“ ist. In diesem Fall sind die Umfangspixel, die die Anfangsparallaxen aufweisen, in denen der Betrag einer Differenz der Anfangsparallaxe zwischen dem zu berechnenden Pixel 401 und jedem Umfangspixel gleich oder größer als „20“ ist, „7“ Pixel, die durch Schraffieren angegeben sind. Da „7“ größer als „6“ ist, was der Zählschwellenwert ist, wird das zu berechnende Pixel in dem Beispiel, das in 4 veranschaulicht ist, als ein Abweichungspixel bestimmt, das die isolierte Parallaxe aufweist.
Die isolierte Parallaxe kann bestimmt werden wie folgt. Zum Beispiel kann eine zusätzliche Bedingung sein, dass ein Umfangspixel ein Vergleichsziel ist, wobei der Zählschwellenwert in einem vorgegebenen Schwellenwert (der im Folgenden als ein „dichter Schwellenwert“ bezeichnet wird) liegt. Zum Beispiel wird in dem Beispiel, das in 4 veranschaulicht ist, dann, wenn der dichte Schwellenwert „20“ ist, das zu berechnende Pixel 401 als ein Abweichungspixel bestimmt und wird dann, wenn der dichte Schwellenwert „10“ ist, das zu berechnende Pixel 401 nicht als ein Abweichungspixel bestimmt. In diesem Fall nimmt der Berechnungsbetrag zu, jedoch kann die Zuverlässigkeit des korrigierten Werts der isolierten Parallaxe verbessert werden.
Darüber hinaus kann die Isolationsbedingung den Durchschnittswert derAnfangsparallaxen der Umfangspixel als Grundlage verwenden. Zum Beispiel kann die Isolationsbedingung derart gesetzt werden, dass die Anfangsparallaxe des zu berechnenden Pixels das Zweifache oder mehr des Durchschnittswerts der Anfangsparallaxen der Umfangspixel oder die Hälfte oder weniger des Durchschnittswerts der Anfangsparallaxen der Umfangspixel ist.
(Bestimmung des Weitersuchbereichs)
Die Anfangsparallaxe der Umfangspixel wird verwendet, um den Weitersuchbereich durch die Weitersucheinheit 106 zu bestimmen. Zum Beispiel bildet die Weitersucheinheit 106 den Durchschnitt der Anfangsparallaxe der Umfangspixel, in denen der Betrag einer Differenz der Anfangsparallaxe zwischen jedem Umfangspixel und dem zu berechnenden Pixel gleich oder größer als der Parallaxenschwellenwert ist, und stellt einen vorgegebenen Bereich (der im Folgenden als ein „festgelegter Suchbereich“ bezeichnet wird) vom Durchschnittswert; z. B. PLUS oder minus 10, als den Weitersuchbereich ein. Zum Beispiel sind in dem Beispiel, das in 4 veranschaulicht ist, die Umfangspixel, die die Anfangsparallaxen aufweisen, wobei der Betrag der Differenz der Anfangsparallaxe zwischen jedem Umfangspixel und dem zu berechnenden Pixel 401 gleich oder größer als „20“ ist, 7 Pixel, die durch Schraffieren angegeben sind, wie oben beschrieben ist. Da der Durchschnittswert der Anfangsparallaxen der 7 Pixel „50“ ist, ist „40 bis 60“ als der Weitersuchbereich gesetzt.
Der Weitersuchbereich kann z. B. wie folgt ohne Verwendung des festgelegten Suchbereichs bestimmt werden. Das heißt, ein Bereich zwischen dem Höchstwert und dem Mindestwert der Anfangsparallaxen der Umfangspixel, in denen der Betrag einer Differenz der Anfangsparallaxe zwischen dem zu berechnenden Pixel und jedem Umfangspixel gleich oder größer als der Parallaxenschwellenwert ist, kann zum Weitersuchbereich gesetzt werden. Als noch ein weiteres Beispiel kann der festgelegte Suchbereich auf der Grundlage des Anfangsparallaxenwerts des zu berechnenden Pixels bestimmt werden. In diesem Fall wird z. B. der festgelegte Suchbereich zur Hälfte des Anfangsparallaxenwerts des zu berechnenden Pixels gesetzt.
(Ablaufplan)
5 ist ein Ablaufplan, der einen Prozess mit der Recheneinrichtung 1 veranschaulicht. Die Recheneinrichtung 1 führt die Verarbeitung, die in 5 veranschaulicht ist, jedes Mal aus, wenn ein Bild von jeder der ersten Bildgebungseinheit 101 und der zweiten Bildgebungseinheit 102 erfasst wird. Zunächst wählt in Schritt S301 die Anfangssucheinheit 103 der Recheneinrichtung 1 ein zu berechnendes Pixel. Zum Beispiel wählt die Anfangssucheinheit 103 ein nicht verarbeitetes Pixel aus einem vorgegebenen Normalbildbereich. im nachfolgenden Schritt S302 sucht die Anfangssucheinheit 103 ein dem zu berechnenden Pixel entsprechendes Pixel im Bezugsbild und berechnet die Anfangsparallaxe. Speziell wird eine Unähnlichkeit für einen relativ großen Bereich von Pixeln im Bezugsbild, der dem zu berechnenden Pixel entsprechen kann, berechnet und wird z. B. ein Pixel im Bezugsbild, das die kleinste Unähnlichkeit aufweist, identifiziert. Dann wird z. B. eine Differenz zwischen einem Y-Koordinatenwert des Pixels im Bezugsbild und einem Y-Koordinatenwert des zu berechnenden Pixels im Normalbild als die Anfangsparallaxe gesetzt.
Im nachfolgenden Schritt S303 bestimmt die Anfangssucheinheit 103, ob die Berechnung der Anfangsparallaxen im Berechnungsbereich vollständig abgeschlossen ist. Wenn die Anfangssucheinheit 103 bestimmt, dass die Berechnung der Anfangsparallaxen im Berechnungsbereich abgeschlossen wurde, schreitet der Prozess fort zu Schritt S304 und dann, wenn bestimmt wird, dass ein Pixel, für das die Berechnung der Anfangsparallaxe nicht abgeschlossen wurde, vorhanden ist, kehrt der Prozess zu Schritt S301 zurück.
In Schritt S304 wählt die Isolationsbeurteilungseinheit 104 ein zu berechnendes Pixel wie in Schritt S301. Es existiert keine Differenz des Verarbeitungsinhalts zwischen Schritt S304 und Schritt S301, jedoch ist eine Differenz der Ausführungseinheit vorhanden. Im nachfolgenden Schritt S305 bestimmt die Isolationsbeurteilungseinheit 104, ob das zu berechnende Pixel, das in Schritt S304 gewählt wurde, einem Abweichungspixel entspricht.
Wenn die Isolationsbeurteilungseinheit 104 bestimmt, dass das zu berechnende Pixel einem Abweichungspixel entspricht, schreitet der Prozess fort zu Schritt S306 und dann, wenn bestimmt wird, dass das zu berechnende Pixel nicht dem Abweichungspixel entspricht, schreitet der Prozess fort zu Schritt S308. In Schritt S306 bestimmt die Suchbereichseinstellungseinheit 105 einen Weitersuchbereich, um den Bereich zur Weitersucheinheit 106 auszugeben. Im nachfolgenden Schritt S307 berechnet die Weitersucheinheit 106 eine Unähnlichkeit für den Weitersuchbereich, der durch die Suchbereichseinstellungseinheit 105 ausgegeben wird, und berechnet als eine Weitersuchparallaxe eine Differenz z. B. zwischen dem Y-Koordinatenwert des Pixels, das die kleinste Unähnlichkeit im Weitersuchbereich aufweist, und dem Y-Koordinatenwert des zu berechnenden Pixels.
In Schritt S308 gibt die Ausgabeeinheit 108 Parallaxeninformationen aus. Die Ausgabeeinheit 108 verwendet zur Ausgabe alle Parallaxeninformationen, die durch die Weitersucheinheit 106 ausgegeben werden, und verwendet lediglich die Parallaxeninformationen, die durch die Weitersucheinheit 106 nicht ausgegeben werden, für die Parallaxeninformationen, die durch die Anfangssucheinheit 103 ausgegeben werden. im nachfolgenden Schritt S309 bestimmt die Isolationsbeurteilungseinheit 104, ob die gesamte Verarbeitung in Schritt S305 für den Berechnungsbereich abgeschlossen wurde. Wenn die Isolationsbeurteilungseinheit 104 bestimmt, dass alle Prozesse von Schritt S305 im Berechnungsbereich abgeschlossen wurden, ist der Prozess von 5 abgeschlossen und dann, wenn bestimmt wird, dass ein Pixel vorhanden ist, für das der Prozess von Schritt S305 nicht abgeschlossen wurde, kehrt der Prozess zu Schritt S304 zurück.
Gemäß der ersten oben beschriebenen Ausführungsform können die folgenden funktionstechnischen Wirkungen erhalten werden.

(1) Eine Recheneinrichtung enthält eine Erfassungseinheit 107, die ein Normalbild, das erhalten wird, indem es durch eine erste Bildgebungseinheit 101 aufgenommen wird, und ein Bezugsbild, das erhalten wird, indem es durch eine zweite Bildgebungseinheit 102 aufgenommen wird, erfasst, eine Anfangssucheinheit 103, die ein zu berechnendes Pixel, das ein Zielpixel zum Berechnen einer Parallaxe ist und im Normalbild enthalten ist, bestimmt und eine Anfangsparallaxe, die eine Parallaxe des zu berechnenden Pixels ist, unter Bezugnahme auf das Bezugsbild berechnet, eine Isolationsbeurteilungseinheit 104, die auf der Grundlage eines Vergleichs zwischen der Anfangsparallaxe des zu berechnenden Pixels und einer Parallaxe eines Umfangspixels für das zu berechnende Pixel bestimmt, ob das zu berechnende Pixel ein Abweichungspixel ist, das eine Isolationsbedingung, dass das zu berechnende Pixel vom Umfangspixel isoliert ist, erfüllt, eine Suchbereichseinstellungseinheit 105, die einen Weitersuchbereich, der ein Bereich einer Weitersuche des Abweichungspixels im Bezugsbild ist, einstellt, und eine Weitersucheinheit 106, die den Weitersuchbereich, der durch die Suchbereichseinstellungseinheit 105 eingestellt wurde, im Bezugsbild sucht, um eine Weitersuchparallaxe, die eine Parallaxe des Abweichungspixels ist, zu berechnen. Deshalb ist es, da die Recheneinrichtung 1 eine Weitersuche durchführt, wenn die Anfangsparallaxe des zu berechnenden Pixels von der des Umfangspixels abweicht, möglich, die Nichtübereinstimmung zu bewältigen, d. h. die Nichtübereinstimmung zu beseitigen.
(2) Die Pixel in der Nähe des zu berechnenden Pixels sind Pixel, die räumlich im Umfang vorliegen. Auf der Grundlage des Vergleichs zwischen der Anfangsparallaxe des zu berechnenden Pixels und den Anfangsparallaxen der Umfangspixel für das zu berechnende Pixel bestimmt die Isolationsbeurteilungseinheit 104, ob das zu berechnende Pixel ein Abweichungspixel ist, das eine Isolationsbedingung erfüllt, dass das zu berechnende Pixel von den Umfangspixeln isoliert ist. Deshalb kann die Recheneinrichtung 1 eine große Differenz der Anfangsparallaxe zwischen dem zu berechnenden Pixel und den benachbarten Pixeln oder dergleichen beseitigen.
(3) Die Isolationsbedingung verwendet als Grundlage den Durchschnittswert der Anfangsparallaxen der Pixel in der Nähe des zu berechnenden Pixels. Deshalb kann die Recheneinrichtung 1 einen flexiblen Schwellenwert auf der Grundlage des aufgenommenen Normalbilds und des aufgenommenen Bezugsbilds bereitstellen.
(4) Die Suchbereichseinstellungseinheit 105 stellt den Weitersuchbereich auf der Grundlage der Anfangsparallaxe des Pixels, das in Bezug auf das Abweichungspixel räumlich im Umfang vorhanden ist, ein. Deshalb kann die Recheneinrichtung 1 die Parallaxe des Abweichungspixels auf die Umfangspixel räumlich ausrichten.
(5) Die Suchbereichseinstellungseinheit 105 stellt den Weitersuchbereich auf der Grundlage des Durchschnittswerts der Anfangsparallaxen der Pixel in der Nähe des Abweichungspixels ein. Deshalb kann die Recheneinrichtung 1 die Parallaxe des Abweichungspixels auf die Umfangspixel räumlich ausrichten.

(Abwandlung 1)
Die Position des zu berechnenden Pixels im Normalbild kann für die Isolationsbeurteilung und die Einstellung des Weitersuchbereichs verwendet werden. Da die Befestigungsposition der ersten Bildgebungseinheit 101 und die Lage in Bezug auf den Boden bekannt sind, kann unter der Annahme, dass das Motiv am Boden vorliegt, die Entfernung von der ersten Bildgebungseinheit 101 zum Motiv durch die Position des Motivs im Normalbild geschätzt werden. Da das Motiv kleiner aufgenommen wird, wenn die Entfernung größer ist, und größer, wenn die Entfernung kürzer ist, wird der Bereich von Umfangspixeln verringert, wenn das Motiv näher am unteren Abschnitt des Normalbilds liegt. Wie oben beschrieben ist, werden, da die Isolationsbeurteilung und die Einstellung des Weitersuchbereichs an den Umfangspixeln durchgeführt werden, die Isolationsbeurteilung und der Einstellbereich des Weitersuchbereichs erweitert, wenn der Bereich der Umfangspixel erweitert ist, und sind die Isolationsbeurteilung und der Einstellbereich des Weitersuchbereichs verringert, wenn der Bereich der Umfangspixel verringert ist.
Zum Beispiel ist das Normalbild in der vertikalen Richtung dreigeteilt und wird in Übereinstimmung damit, welchem des oberen, des mittleren und des unteren Abschnitts des Normalbilds, das dreigeteilt ist, das zu berechnende Pixel angehört, die Definition der Umfangspixel geändert ,wie folgt. Falls das zu berechnende Pixel dem unteren Abschnitt angehört, werden die Umfangspixel zu insgesamt 24 Pixeln gesetzt, die Pixel enthalten, die vom zu berechnenden Pixel um zwei Pixel entfernt sind. Falls das zu berechnende Pixel dem Mittelabschnitt angehört, werden die Umfangspixel zu insgesamt acht Pixeln gesetzt, die obere, untere, linke, rechte und schräge Pixel in Bezug auf das zu berechnende Pixel enthalten. Falls das zu berechnende Pixel dem oberen Abschnitt angehört, werden die Umfangspixel zu insgesamt vier Pixeln gesetzt, die obere, untere, linke und rechte Pixel in Bezug auf das zu berechnende Pixel enthalten.
Es ist festzuhalten, dass die Definition der Umfangspixel während der Isolationsbeurteilung und die Definition der Umfangspixel während des Setzens des Weitersuchbereichs verschieden sein kann. Zum Beispiel können die Umfangspixel ungeachtet der Position des zu berechnenden Pixels im Normalbild während der Isolationsbeurteilung konstant sein und kann lediglich die Position des zu berechnenden Pixels im Normalbild während des Setzens des Weitersuchbereichs verwendet werden.
Gemäß Abwandlung 1 können die folgenden funktionstechnischen Wirkungen erhalten werden.

(6) Die Anzahl von Umfangspixeln für das zu berechnende Pixel verwendet als Grundlage die Position des zu berechnenden Pixels im Normalbild. Deshalb sind, falls das zu berechnende Pixel im oberen Abschnitt des Normalbilds, d. h. von der ersten Bildgebungseinheit 101 entfernt, vorhanden ist, die Umfangspixel verringert, derart, dass die Berechnungslast verringert werden kann. Zusätzlich ist es, da sich die Größe des Motivs im aufgenommenen Bild gemäß der Entfernung zum Motiv ändert, angemessen, die Anzahl von Pixeln, auf die Bezug genommen werden soll, gemäß der Position des zu berechnenden Pixels zu ändern.
(7) Die Suchbereichseinstellungseinheit 105 bestimmt die Anzahl von Umfangspixeln für das zu berechnende Pixel, das verwendet wird, um den Weitersuchbereich zu setzen, auf der Grundlage der Position des zu berechnenden Pixets im Normalbild. Deshalb werden, falls das zu berechnende Pixel im oberen Abschnitt des Normalbilds, d. h. entfernt von der ersten Bildgebungseinheit 101, vorhanden ist, die Umfangspixel verringert, derart, dass die Berechnungslast verringert werden kann. Zusätzlich ist es, da sich die Größe des Motivs im aufgenommenen Bild gemäß der Entfernung zum Motiv ändert, angemessen, die Anzahl von Pixeln, auf die Bezug genommen werden sollen, gemäß der Position des zu berechnenden Pixels zu ändern.

-Zweite Ausführungsform-
Die zweite Ausführungsform einer Recheneinrichtung wird unter Bezugnahme auf 6 beschrieben. In der folgenden Beschreibung werden dieselben Komponenten wie die der ersten Ausführungsform durch dieselben Bezugszeichen bezeichnet und werden hauptsächlich Differenzen beschrieben. Die Punkte, die nicht speziell beschrieben sind, sind dieselben wie die der ersten Ausführungsform. Die vorliegende Äusführungsform ist von der ersten Ausführungsform hauptsächlich dahingehend verschieden, dass die Anfangssucheinheit und die Weitersucheinheit integriert sind.
6 ist ein Blockdiagramm, das eine Konfiguration einer Recheneinrichtung 1A gemäß der zweiten Ausführungsform veranschaulicht. Die Recheneinrichtung 1A enthält eine Sucheinheit 109, in der die Anfangssucheinheit 103 und die Weitersucheinheit 106 der Recheneinrichtung 1 gemäß der ersten Ausführungsform integriert sind. Der Inhalt der Verarbeitung, die durch die Recheneinrichtung 1A ausgeführt wird, ist derselbe wie der durch die Recheneinrichtung 1. Die Recheneinrichtung 1A verwendet die Rechenbetriebsmittel der Anfangssucheinheit 103 und der Weitersucheinheit 106 gemeinsam.
Zum Beispiel wird üblicherweise eine Hardware-Schaltung durch die Anfangssucheinheit 103 und die Weitersucheinheit 106 in der Sucheinheit 109 gemäß der vorliegenden Ausführungsform verwendet Zusätzlich entspricht z. B. dann, wenn dieselbe CPU die Anfangssucheinheit 103 und die Weitersucheinheit 106 realisiert, sie der Sucheinheit 109 in der vorliegenden Ausführungsform.
Gemäß der zweiten oben beschriebenen Ausführungsform kann, da die Kosten der Hardware verringert werden, eine kompliziertere Verarbeitung bei denselben Kosten durchgeführt werden und kann als Ergebnis die Ausgabequalität indirekt verbessert werden.
-Dritte Ausführungsform-
Die dritte Ausführungsform einer Recheneinrichtung wird unter Bezugnahme auf 7 beschrieben. In der folgenden Beschreibung werden dieselben Komponenten wie die der ersten Ausführungsform durch dieselben Bezugszeichen bezeichnet und werden hauptsächlich Differenzen beschrieben. Die Punkte, die nicht speziell beschrieben sind, sind dieselben wie die der zweiten Ausführungsform. Die vorliegende Ausführungsform ist von der zweiten Ausführungsform hauptsächlich im Managen der Zeit verschieden.
7 ist ein Blockdiagramm, das eine Konfiguration einer Recheneinrichtung 1B gemäß der dritten Ausführungsform veranschaulicht. Die Recheneinrichtung 1B enthält zusätzlich zur Konfiguration der Recheneinrichtung 1A in der zweiten Ausführungsform ferner eine Suchzeitmanagementeinheit 601, die der Sucheinheit 109 mitteilt, ob eine Weitersuche durchgeführt werden soll. In der vorliegenden beispielhaften Ausführungsform nehmen die erste Bildgebungseinheit 101 und die zweite Bildgebungseinheit 102 in regelmäßigen Zeitrahmen, z. B. alle 16 ms, periodisch Bilder auf. In diesem Fall ist, sofern die Sucheinheit 109 nicht nur den Prozess mit der Anfangssucheinheit 103, sondern auch den Prozess mit der Weitersucheinheit 106 in diesem Zeitrahmen abschließt, der Prozess des Bilds, das im nächsten Zeitrahmen erfasst wird, unmöglich.
Deshalb zeichnet z. B. die Suchzeitmanagementeinheit 601 die kumulierte Verarbeitungszeit im Zeitrahmen auf und bestimmt, ob der Weitersuchprozess im Zeitrahmen durchgeführt werden kann. Die Sucheinheit 109 bestimmt, ob eine Weitersuche durchgeführt werden soll, um ein Ergebnis auf der Grundlage eines Ergebnisses einer Bestimmung durch die Suchzeitmanagementeinheit 601 auszugeben, oder ein erstes Suchergebnis, d. h. eine Anfangsparallaxe, ausgegeben werden soll, ohne die Weitersuche durchzuführen.
Gemäß der dritten oben beschriebenen Ausführungsform können die folgenden funktionstechnischen Wirkungen erhalten werden.

(8) In der Recheneinrichtung 1B werden die Anfangssucheinheit 103 und die Weitersucheinheit 106 als die Sucheinheit 109 unter Verwendung desselben Rechenbetriebsmittels realisiert. Die Recheneinrichtung 1B enthält die Suchzeitmanagementeinheit 601, die bestimmt, ob die Berechnung der Weitersuchparallaxe durch die Weitersucheinheit 106 in einer vorgegebenen Zeit abgeschlossen wird. Wenn die Suchzeitmanagementeinheit bestimmt, dass die Berechnung in der vorgegebenen Zeit abgeschlossen wird, berechnet die Weitersucheinheit 106 die Weitersuchparallaxe. Deshalb kann die Recheneinrichtung 1B den Prozess jederzeit in einer vorgegebenen Zeit abschließen.

(Abwandlung der dritten Ausführungsform)
Wenn die Sucheinheit 109 bestimmt, dass die Weitersuche nötig ist, jedoch der Weitersuchprozess im Zeitrahmen nicht durchgeführt werden kann, kann ein Ungültig-Merker für das Abweichungspixel hinzugefügt werden und kann ausgegeben werden. Der Ungültig-Merker ist ein Merker, der angibt, dass die Parallaxe unsicher ist. Ferner kann die Sucheinheit 109 für die isolierte Parallaxe einen Ungültig-Merker ausgeben, statt die Anfangsparallaxe auszugeben.
Gemäß der vorliegenden Abwandlung können die folgenden funktionstechnischen Wirkungen erhalten werden.

(9) Wenn die Suchzeitmanagementeinheit 601 bestimmt, dass die Berechnung nicht in der vorgegebenen Zeit abgeschlossen wird, gibt die Weitersucheinheit 106 die Tatsache aus, dass die Parallaxe für das Abweichungspixel ungültig ist. Deshalb ist es möglich, die Tatsache klar zu übertragen , dass sie ungültig ist.

-Vierte Ausführungsform-
Die vierte Ausführungsform einer Recheneinrichtung wird unter Bezugnahme auf 8 beschrieben. In der folgenden Beschreibung werden dieselben Komponenten wie die der ersten Ausführungsform durch dieselben Bezugszeichen bezeichnet und werden hauptsächlich Differenzen beschrieben. Die Punkte, die nicht speziell beschrieben sind, sind dieselben wie die der ersten Ausführungsform. Die vorliegende Ausführungsform ist von der ersten Ausführungsform hauptsächlich dahingehend verschieden, dass berechnete Parallaxeninformationen vorübergehend gespeichert sind und zur Isolationsbeurteilung und Bestimmung eines Weitersuchbereichs verwendet werden. Ferner sind die Definitionen von „Umfang“ und „Umfangspixel“ von denen der ersten Ausführungsform verschieden.
8 ist ein Blockdiagramm, das eine Konfiguration einer Recheneinrichtung 1C gemäß der vierten Ausführungsform veranschaulicht. Die Recheneinrichtung 1C enthält ferner zusätzlich zur Konfiguration der ersten Ausführungsform eine Parallaxenspeichereinheit 701. Die Parallaxenspeichereinheit 701 wird z. B. durch einen RAM realisiert. Die Parallaxenspeichereinheit 701 speichert das Parallaxenberechnungsergebnis (das im Folgenden als „vergangene Parallaxe“ bezeichnet wird) in dem vorhergehenden oder mindestens dem unmittelbar vorausgehenden Zeitrahmen. Die Parallaxenspeichereinheit 701 speichert Anfangsparallaxeninformationen für ein Pixel, für das lediglich die Anfangsparallaxe berechnet wurde, und speichert Weitersuchparallaxeninformationen für ein Pixel, für das die Anfangsparallaxe und die Weitersuchparallaxe berechnet worden sind. Die Informationen, die in der Parallaxenspeichereinheit 701 gespeichert sind, werden von der Isolationsbeurteilungseinheit 104 und der Suchbereichseinstellungseinheit 105 gelesen.
Der „Umfang“ in der vorliegenden Ausführungsform bedeutet einen Umfang in einer zeitlich relativen Beziehung. Das „Umfangspixel“ in der vorliegenden Ausführungsform ist ein Pixel, das dieselben Koordinaten wie die des zu berechnenden Pixels aufweist und zeitlich im Umfang vorliegt.
Die Isolationsbeurteilungseinheit 104 vergleicht den Parallaxenwert des zu berechnenden Pixels, das durch die Anfangssucheinheit 103 berechnet wurde, mit den vergangenen Parallaxen der Umfangspixel, d. h. den zu berechnenden Pixeln in der Parallaxenspeichereinheit 701, und bestimmt, ob das zu berechnende Pixel einem Abweichungspixel entspricht, das eine isolierte Parallaxe aufweist. Zum Beispiel liest dann, wenn die Koordinaten des zu berechnenden Pixels im Normalbild (100, 200) sind, die Isolationsbeurteilungseinheit 104 die Parallaxe bei denselben Koordinaten im unmittelbar vorhergehenden Zeitrahmen aus der Parallaxenspeichereinheit 701 und vergleicht die Anfangsparallaxe des zu berechnenden Pixels mit der Parallaxe, die aus der Parallaxenspeichereinheit 701 gelesen wurde. Die Isolationsbeurteilungseinheit 104 kann das zu berechnende Pixel als ein Abweichungspixel bestimmen, wenn die Differenz gleich oder größer als ein vorgegebener Schwellenwert ist, oder kann das zu berechnende Pixel als ein Abweichungspixel bestimmen, wenn sein Anteil gleich oder größer als ein vorgegebener Schwellenwert ist.
Darüber hinaus kann, falls Parallaxeninformationen über mehrere Rahmen in der Parallaxenspeichereinheit 701 gespeichert sind, die Isolationsbeurteilungseinheit 104 z. B. einen einfachen Durchschnittswert der Parallaxen der vergangen 10 Rahmen bei denselben Koordinaten als ein Vergleichsziel verwenden. Zusätzlich kann statt des einfachen Durchschnittswerts das Vergleichsziel durch Durchführen eines Gewichtens berechnet werden, derart, dass das Gewicht umso größer ist, je näher es zur gegenwärtigen Zeit liegt.
Die Weitersucheinheit 106 bezieht sich auf die Parallaxenwerte bei denselben Koordinaten wie denen des Abweichungspixels, die in der Parallaxenspeichereinheit 701 gespeichert sind, um den Weitersuchbereich der Abweichungspixel zu bestimmen. Zum Beispiel stellt die Weitersucheinheit 106 als den Weitersuchbereich einen vorgegebenen Bereich ein, der auf den Parallaxenwert bei denselben Koordinaten wie denen des unmittelbar vorhergehenden Zeitrahmens, der in der Parallaxenspeichereinheit 701 gespeichert ist, zentriert ist. Zum Beispiel stellt dann, wenn der Parallaxenwert bei derselben Koordinate „50“ ist und der vorgegebene Bereich „20“ ist, die Weitersucheinheit 106 „40 bis 60“ als den Weitersuchbereich ein.
Wenn Parallaxeninformationen über mehrere Rahmen in der Parallaxenspeichereinheit 701 gespeichert sind, kann die Weitersucheinheit 106 als den Weitersuchbereich z. B. einen vorgegebenen Bereich einstellen, der auf einen einfachen Durchschnittswert der Parallaxen der vergangen 10 Rahmen bei denselben Koordinaten zentriert ist. Darüber hinaus kann die Weitersucheinheit 106 statt des einfachen Durchschnittswerts ein Gewichten derart durchführen, dass das Gewicht umso größer ist, je näher es zur gegenwärtigen Zeit liegt, und die Parallaxe als das Zentrum berechnen.
Gemäß der vierten oben beschriebenen Ausführungsform können die folgenden funktionstechnischen Wirkungen erhalten werden.

(10) Die Pixel in der Nähe des zu berechnenden Pixels sind Pixel, die zeitlich im Umfang vorliegen. Auf der Grundlage des Vergleichs zwischen der Anfangsparallaxe des zu berechnenden Pixels und der Anfangsparallaxe oder der Weitersuchparallaxe des Umfangspixels für das zu berechnende Pixel bestimmt die Isolationsbeurteilungseinheit 104, ob das zu berechnende Pixel ein Abweichungspixel ist, das eine Isolationsbedingung erfüllt, dass das zu berechnende Pixel von den Umfangspixeln isoliert ist. Deshalb kann die Recheneinrichtung 1C das Pixel als ein Abweichungspixel detektieren, wenn sich der Parallaxenwert in einer Zeitreihe rasch ändert.
(11) Auf der Grundlage eines Vergleichs zwischen der Anfangsparallaxe des zu berechnenden Pixels und der Anfangsparallaxe oder der Weitersuchparallaxe bei den Koordinaten, die dieselben wie die des Abweichungspixels in dem Normalbild, das unmittelbar zuvor aufgenommen wurde, sind, für das Normalbild, dem das zu berechnende Pixel angehört, bestimmt die Isolationsbeurteilungseinheit 104, ob das zu berechnende Pixel ein Abweichungspixel ist, das eine Isolationsbedingung erfüllt, dass das zu berechnende Pixel von Umfangspixeln isoliert ist. Deshalb ist es möglich, einen Vergleich mit der Parallaxe in dem Normalbild, das unmittelbar zuvor aufgenommen wurde und das das wichtigste ist, durchzuführen, wenn die Zeitreihenänderung aufgenommen wird.
(12) Die Suchbereichseinstellungseinheit 105 stellt den Weitersuchbereich auf der Grundlage der Anfangsparallaxe oder der Weitersuchparallaxe bei denselben Koordinaten wie denen des Abweichungspixels im zuvor aufgenommenen Normalbild und der Anfangsparallaxe des Abweichungspixels ein. Deshalb kann die Recheneinrichtung 1C den Weitersuchbereich des Abweichungspixels unter Bezugnahme auf die Zeitreihenparallaxe einstellen.
(13) Die Suchbereichseinstellungseinheit 105 stellt den Weitersuchbereich auf der Grundlage der Anfangsparallaxe oder der Weitersuchparallaxe bei denselben Koordinaten wie denen des Abweichungspixels im Normalbild, das unmittelbar zuvor aufgenommen wurde, und der Anfangsparallaxe des Abweichungspixels ein. Deshalb kann die Recheneinrichtung 1C den Weitersuchbereich des Abweichungspixels unter Bezugnahme auf den unmittelbar vorhergehenden Parallaxenwert, der der wichtigste in den Zeitreihenparallaxeninformationen ist, einstellen.

(Abwandlung 1 der vierten Ausführungsform)
Die vorliegende beispielhafte Ausführungsform kann mit einer weiteren beispielhaften Ausführungsform kombiniert werden. Zum Beispiel kann die Parallaxe eines räumlichen Umfangspixels für das zu berechnende Pixel zur Bestimmung durch die Isolationsbeurteilungseinheit 104 wie in der ersten bis dritten Ausführungsform verwendet werden und kann die Parallaxe eines zeitlichen Umfangspixels für das zu berechnende Pixel zur Bestimmung des Weitersuchbereichs durch die Weitersucheinheit 106 wie in der vierten Ausführungsform verwendet werden. Zusätzlich kann die Parallaxe des zeitlichen Umfangspixels für das zu berechnende Pixel zur Bestimmung durch die Isolationsbeurteilungseinheit 104 wie in der vierten Ausführungsform verwendet werden und kann die Parallaxe des räumlichen Umfangspixels für das zu berechnende Pixel zur Bestimmung des Weitersuchbereichs durch die Weitersucheinheit 106 wie in der vierten Ausführungsform verwendet werden. Mit anderen Worten kann die Definitionen von „Umfang“ und „Umfangspixel“ zwischen der Isolationsbeurteilungseinheit 104 und der Weitersucheinheit 106 verschieden sein.
In jeder der oben beschriebenen Ausführungsformen und Abwandlungen ist die Konfiguration des Funktionsblocks lediglich ein Beispiel. Einige Funktionskonfigurationen, die als getrennte Funktionsblöcke veranschaulicht sind, können einteilig konfiguriert sein oder eine Konfiguration, die in einem Funktionsblockdiagramm veranschaulicht ist, kann in zwei oder mehr Funktionen unterteilt sein. Zusätzlich kann ein Teil der Funktionen jedes Funktionsblocks in einem weiteren Funktionsblock enthalten sein.
In jeder der oben beschriebenen Ausführungsformen und Abwandlungen ist das Programm im ROM (der nicht dargestellt ist) gespeichert, jedoch kann das Programm in einer beschreibbaren Speichervorrichtung gespeichert sein. Zusätzlich kann die Recheneinrichtung eine Eingabe/Ausgabe-Schnittstelle (die nicht dargestellt ist) enthalten und kann das Programm von einer weiteren Vorrichtung mittels eines Mediums gelesen werden, das durch die Eingabe/Ausgabe-Schnittstelle und die Recheneinrichtung verwendet werden kann, wenn nötig. Hier bezieht sich das Medium z. B. auf ein Speichermedium, das von der Eingabe/Ausgabe-Schnittstelle lösbar ist, oder ein Kommunikationsmedium, d. h. ein drahtgebundenes, ein drahtloses oder ein optisches Netz oder eine Trägerschwingung oder ein digitales Signal, das sich über das Netz ausbreitet. Einige oder alle der Funktionen, die durch das Programm implementiert sind, können durch eine Hardware-Schaltung oder ein FPGA implementiert sein.
Die oben beschriebenen Ausführungsformen und Abwandlungen können kombiniert werden. Obwohl oben verschiedene Ausführungsformen und Abwandlungen beschrieben wurden, ist die vorliegende Erfindung nicht auf diese Inhalte beschränkt. Weitere Aspekte, die im Umfang des technischen Gedankens der vorliegenden Erfindung denkbar sind, sind auch im Umfang der vorliegenden Erfindung enthalten.
Bezugszeichenliste

1, 1A, 1B, 1C: Recheneinrichtung
101: Erste Bildgebungseinheit
102: Zweite Bildgebungseinheit
103: Anfangssucheinheit
104: Isolationsbeurteilungseinheit
105: Suchbereichseinstellungseinheit
106: Weitersucheinheit
107: Erfassungseinheit
109: Sucheinheit
601: Suchzeitmanagementeinheit
701: Parallaxenspeichereinheit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2006090896 A [0004]

Claims

Recheneinrichtung, die Folgendes umfasst: eine Erfassungseinheit, die ein Normalbild, das erhalten wird, indem es durch eine erste Bildgebungseinheit aufgenommen wird, und ein Bezugsbild, das erhalten wird, indem es durch eine zweite Bildgebungseinheit aufgenommen wird, erfasst; eine Anfangssucheinheit, die ein zu berechnendes Pixel, das ein Zielpixel zum Berechnen einer Parallaxe ist und im Normalbild enthalten ist, bestimmt und eine Anfangsparallaxe, die eine Parallaxe des zu berechnenden Pixels ist, unter Bezugnahme auf das Bezugsbild berechnet; eine Isolationsbeurteilungseinheit, die auf der Grundlage eines Vergleichs zwischen der Anfangsparallaxe des zu berechnenden Pixels und einer Parallaxe eines Umfangspixels für das zu berechnende Pixel bestimmt, ob das zu berechnende Pixel ein Abweichungspixel, das die Isolationsbedingung, dass das zu berechnende Pixel vom Umfangspixel isoliert ist, erfüllt, ist oder nicht; eine Suchbereichseinstellungseinheit, die einen Weitersuchbereich, der ein Bereich einer Weitersuche des Abweichungspixels im Bezugsbild ist, einstellt; und eine Weitersucheinheit, die den Weitersuchbereich, der durch die Suchbereichseinstellungseinheit eingestellt wurde, im Bezugsbild sucht, um eine Weitersuchparallaxe, die eine Parallaxe des Abweichungspixels ist, zu berechnen.
Recheneinrichtung nach Anspruch 1, wobei ein Pixel in der Nähe des zu berechnenden Pixels ein Pixel ist, das räumlich in einem Umfang vorliegt, und die Isolationsbeurteilungseinheit auf der Grundlage eines Vergleichs zwischen der Anfangsparallaxe des. zu berechnenden Pixels und der Anfangsparallaxe eines Umfangspixels für das zu berechnende Pixel bestimmt, ob das zu berechnende Pixel ein Abweichungspixel, das die Isolationsbedingung, dass das zu berechnende Pixel vom Umfangspixel isoliert ist, erfüllt, ist oder nicht.
Recheneinrichtung nach Anspruch 2, wobei die Isolationsbedingung einen Durchschnittswert der Anfangsparallaxen von Pixeln in der Nähe des zu berechnenden Pixels als Grundlage verwendet.
Recheneinrichtung nach Anspruch 2, wobei die Anzahl von Pixeln in der Nähe des zu berechnenden Pixels eine Position des zu berechnenden Pixels im Normalbild als Grundlage verwendet.
Recheneinrichtung nach Anspruch 1, wobei ein Pixel in der Nähe des zu berechnenden Pixels ein Pixel ist, das vorübergehend in einem Umfang vorhanden ist, und die Isolationsbeurteilungseinheit auf der Grundlage eines Vergleichs zwischen der Anfangsparallaxe des zu berechnenden Pixels und der Anfangsparallaxe oder der Weitersuchparallaxe eines Umfangspixels für das zu berechnende Pixel bestimmt, ob das zu berechnende Pixel ein Abweichungspixel, das die Isolationsbedingung, dass das zu berechnende Pixel vom Umfangspixel isoliert ist, erfüllt, ist oder nicht.
Recheneinrichtung nach Anspruch 5, wobei die Isolationsbeurteilungseinheit auf der Grundlage eines Vergleichs zwischen der Anfangsparallaxe des zu berechnenden Pixels und der Anfangsparallaxe oder der Weitersuchparallaxe bei Koordinaten, die gleich Koordinaten des Abweichungspixels in dem Normalbild sind, das unmittelbar zuvor für das Normalbild, dem das zu berechnende Pixel angehört, aufgenommen wurde, bestimmt, ob das zu berechnende Pixel ein Abweichungspixel, das die Isolationsbedingung, dass das zu berechnende Pixel vom Umfangspixel isoliert ist, erfüllt, ist oder nicht.
Recheneinrichtung nach Anspruch 1, wobei die Suchbereichseinstellungseinheit den Weitersuchbereich auf der Grundlage der Anfangsparallaxe eines Pixels, das räumlich in einem Umfang des Abweichungspixels vorhanden ist, einstellt.
Recheneinrichtung nach Anspruch 7, wobei die Suchbereichseinstellungseinheit den Weitersuchbereich auf der Grundlage eines Durchschnittswerts der Anfangsparallaxen von Pixeln in der Nähe des Abweichungspixels einstellt.
Recheneinrichtung nach Anspruch 7, wobei die Suchbereichseinstellungseinheit die Anzahl von Pixeln in der Nähe des zu berechnenden Pixels, das verwendet wird, um den Weitersuchbereich zu setzen, auf der Grundlage einer Position des zu berechnenden Pixels im Normalbild bestimmt.
Recheneinrichtung nach Anspruch 1, wobei die Suchbereichseinstellungseinheit den Weitersuchbereich auf der Grundlage der Anfangsparallaxe oder der Weitersuchparallaxe bei Koordinaten, die gleich Koordinaten des Abweichungspixels im zuvor aufgenommenen Normalbild sind, und der Anfangsparallaxe des Abweichungspixels einstellt.
Recheneinrichtung nach Anspruch 10, wobei die Suchbereichseinstellungseinheit den Weitersuchbereich auf der Grundlage der Anfangsparallaxe oder der Weitersuchparallaxe bei Koordinaten, die gleich Koordinaten des Abweichungspixels in dem Normalbild, das unmittelbar zuvor aufgenommen wurde, sind, und der Anfangsparallaxe des Abweichungspixels einstellt.
Recheneinrichtung nach Anspruch 1, wobei die Anfangssucheinheit und die Weitersucheinheit unter Verwendung desselben Rechenbetriebsmittels realisiert sind, die Recheneinrichtung ferner eine Suchzeitmanagementeinheit enthält, die bestimmt, ob eine Berechnung der Weitersuchparallaxe durch die Weitersucheinheit in einer vorgegebenen Zeit abgeschlossen ist oder nicht, und die Weitersucheinheit die Weitersuchparallaxe berechnet, wenn die Suchzeitmanagementeinheit bestimmt, dass die Berechnung in der vorgegebenen Zeit abgeschlossen ist.
Recheneinrichtung nach Anspruch 12, wobei die Weitersucheinheit eine Tatsache ausgibt, dass eine Parallaxe des Abweichungspixels ungültig ist, wenn die Suchzeitmanagementeinheit bestimmt, dass die Berechnung nicht in einer vorgegebenen Zeit abgeschlossen ist.
Parallaxensuchverfahren, das durch eine Recheneinrichtung ausgeführt wird, die eine Erfassungseinheit enthält, die ein Normalbild, das erhalten wird, indem es durch eine erste Bildgebungseinheit aufgenommen wird, und ein Bezugsbild, das erhalten wird, indem es durch eine zweite Bildgebungseinheit aufgenommen wird, erfasst, wobei das Parallaxensuchverfahren Folgendes umfasst: Bestimmen eines zu berechnenden Pixels, dass ein Zielpixel zum Berechnen einer Parallaxe ist, das im Normalbild enthalten ist, und Berechnen einer Anfangsparallaxe, die eine Parallaxe des zu berechnenden Pixels ist, unter Bezugnahme auf das Bezugsbild; Bestimmen auf der Grundlage eines Vergleichs zwischen der Anfangsparallaxe des zu berechnenden Pixels und einer Parallaxe eines Umfangspixels für das zu berechnende Pixel, ob das zu berechnende Pixel ein Abweichungspixel, das die Isolationsbedingung, dass das zu berechnende Pixel vom Umfangspixel isoliert ist, erfüllt, ist oder nicht; Setzen eines Weitersuchbereichs, der ein Bereich einer Weitersuche des Abweichungspixels im Bezugsbild ist; und Suchen des Weitersuchbereichs im Bezugsbild, um eine Weitersuchparallaxe, die eine Parallaxe des Abweichungspixels ist, zu berechnen.