-
Diese
Erfindung bezieht sich auf Bildbearbeitungssysteme und insbesondere
auf Systeme zum Abgleich von Stereobildern.
-
Der
Stereoabgleich ist das Kernverfahren des Stereosehens, bei dem 3-dimensionale
Rauminformation unter Verwendung eines Paars von 2-dimensionalen
Bildern wieder hergestellt wird. In einem Artikel [Uemsh R. Dhond
und J. K. Aggarwal, Structure from stereo – a review,. IEEE Transactions
on Systems, Man, and Cybernetics, 19(6): 553–572, Nov/Dez 1989], können Basisthemen
mit Bezug auf Stereosehen und einige wichtige Forschungsgebiete
gefunden werden. Typischerweise ist ein Paar von Kameras mit denselben
optischen Eigenschaften mit Brennebenen auf derselben Ebene ausgerichtet.
Dies ermöglicht,
daß die
horizontalen Abtastzeilen dieselben in jedem Bild sind. Wenn ein
Pixel in jedem Bild, der demselben Punkt in einem 3-dimensionalen
Raum entspricht, gefunden werden kann, kann die Entfernung des 3-dimensionalen
(3-D) Punktes von den Kameras unter Verwendung von einfachen geometrischen
Eigenschaften gefunden werden. Einige Pixel in jedem Bild können keine
passenden Pixel in dem anderer. Bild aufweisen, was als Okklusion
bekannt ist. Bei der Bearbeitung ist der schwierigste Teil das Finden
der passenden Pixel, das ist der Stereoabgleich.
-
3-D-Rekonstruktion
ist sehr wichtig in solchen Bereichen wie Kartographie, Geologie,
Erprobung, Untersuchung, Navigation, virtuelle Realität, Medizin
usw. Viele dieser Bereiche erfordern die Information in Echtzeit,
da die Bereiche sofort auf verfügbare
Information reagieren müssen.
Dies ist besonders in der Robotertechnik und autonomen Fahrzeugen
zutreffend.
-
In
einem Artikel [Stuart Geman und Donald Geman. Stochastic relaxation,
Gibbs distributions, and the Bayesian restoration of images, IEEE
Transactions on Pattern Analysis and Machine Inteligence, PAMI-6(6): 721–741, November
1984], wird ein Stereoabgleichverfahren beschrieben, das Markow-Zufallsfelder
und stochastische Optimierungsverfahren, basierend auf simuliertes
Ausglühen
[annealing], präsentiert
durch S. Kirkpatrick et al., ["Optimization
by Simulated Annealing",
Science, Mai 1983, Seiten 671–680]
verwendet. Dies wurde durch andere weiterentwickelt, beispielsweise
durch Geiger und Girosi, unter Verwendung der Mittelfeldtheorie.
Jedoch ist diese Klasse von Verfahren von iterativer Natur, was
zu sehr langen Rechenzeiten führt, die
sich nicht für
einen Echtzeit-Stereobildabgleich eignen.
-
In
einem Artikel [H. H. Baker und T. O. Binford, Depths from edge and
intensity based stereo. In Proceedings of the International Joint
Conference on Artificial Intelligence, Seite 631–636, Vancouver, Kanada, 1981]
und einem Artikel [Y. Obta und T. Kanade, Stereo by intra- and inter-scan
live search. IEEE Transactions on Pattern Analysis and Machine Intelligence,
PAMI-7(2); 139–154,
März 1985]
werden Stereo-Abgleichverfahren beschrieben, die auf dynamischer
Programmierung (DP) und heuristische Nach-Bearbeitung basieren. In einem Artikel
[Ingema J. Cox, Sunita L. Hingorani, Satish B. Rao, und Bruce M.
Maggs. A maximum liklihood stereo algorithm, Computer Vision and
Image Understanding 63(3): 532–567,
Mai 1996] und einem Artikel [Stan Birchfield und Carlo Tomasi. Depth
discontinuities by pixel-to-pixel stereo. In Proceeding of the IEEE
International Conference on Computer Vision, Seiten 1073–1080m,
Bombay, Indien, 1998] wird eine Ein-Stufen-DP in auf diskrete Pixel
ausgerichtete Verfahren beschrieben. In einem Artikel [Peter N.
Belhumeur, A Bayesian approach to binocular stereopsis. International
Journal of Computer Vision, 19(3): 237–260, 1996] wird ein komplexeres
DP-Verfahren mit Unter-Pixel Auflösung beschrieben. Obwohl diese
Klasse von Verfahren viel schneller als diejenigen sind, die auf
dem Markowschen Zufalls-Feld basieren, skalieren sie für paralleles Bearbeiten
nicht so gut und sind somit für
einen Echtzeit-Stereoabgleich
noch ungeeignet.
-
Die
DE-A-4015959 beschreibt ein einfaches Verfahren zum Finden einer
Ebene (im Gegensatz zu normaler Geometrie) unter Verwendung von
Stereosehen. Das Stereo-Sehverfahren ist einfach und beschreibt ein
sequentielles Reihenverfahren.
-
Die
WO-A-99/53681 verwendet ein unterschiedliches Bild-Abgleichsverfahren
(MPC). Dieses Bild-Abgleichsverfahren und dessen Umsetzung scheinen
das Schlüsselmerkmal
dieser Veröffentlichung
zu sein. Der Bild-Abgleich nimmt ein Referenzbild (beispielsweise
das linke) und sucht in einem begrenzten Disparitätsraum in
dem rechten Bild nach der besten Übereinstimmung. Die Bild-Abgleichumsetzung
ermöglicht
es, daß die
Suche einigermaßen
effizient parallel ausgeführt
wird. Die verbleibende Aufgabe des Verbindens des MPC-Ausgangs,
um eine vollständige
Disparitätskarte
zu bilden, wird auf herkömmliche
Art getan (wie oben beschrieben). Das herkömmliche Verfahren ist sequentiell
und daher langsam.
-
Bevorzugte
Ausführungsbeispiele
der vorliegenden Erfindung bezwecken, ein Echtzeit-Stereobildabgleichssystem
bereitzustellen, das einen Echtzeit-Stereoabgleich ermöglicht, wobei dies durch paralleles
Bearbeiten von Video-Bildsequenzen unter Verwendung eines Algorithmus
erzielt wird, der auf einem neuen Gitter-basierenden Verfahren basiert
und im bayesanischen Sinn optimal ist.
-
Allgemeiner,
nach einem Aspekt der vorliegenden Erfindung, wird ein Echtzeit-Stereobildabgleichsystem
bereitgestellt mit:
einem Eingabemittel, das angeordnet ist,
um eine erste bzw. zweite Bildeingabe von einer ersten bzw. zweiten Kamera
zu erhalten und entsprechend erste und zweite digitale Bildsignale
auszugeben; und
einem Bildabgleichsmittel, enthaltend eine
Vielzahl von Bearbeitungsmitteln, wobei jedes Bearbeitungsmittel umfaßt:
- (a) ein Mittel zum Berechnen eines Abgleichsaufwandes,
der die Differenz in der Helligkeit zwischen Pixeln einer Pixelzeile
des ersten und zweiten digitalen Bildsignals ist,
- (b) ein Mittel zum Aufspüren
eines bestimmten Wertes, der den minimalen Abgleichsaufwand durch
Vergleich des berechneten Abgleichsaufwandes mit einem Abgleichaufwand
der benachbarten Bearbeitungsmittel bestimmt, und
- (c) ein Mittel zur Ausgabe von Aktivierungsinformationen, die
den Betrieb jedes der benachbarten Bearbeitungsmittel bestimmt;
wobei
das Stereobildabgleichsystem als eine geschätzte Disparität den bestimmten
Wert des Bearbeitungsmittels, dessen Betrieb bestimmt wird, entsprechend
der Aktivierungsinformation ausgibt.
-
Vorzugsweise
ist das Eingabemittel angeordnet, um die Bildeingaben von den Kameras
in das erste digitale Bildsignal und das zweite digitale Bildsignal
umzuwandeln.
-
Bei
der Verwendung des Bildabgleichsmittels, wird vorzugsweise der Abgleichsaufwand
berechnet, nachdem eine Okklusionsinformation, in der Pixel nicht
in die Abtastzeile passen, zu dem Paar Pixel addiert wird.
-
Vorzugsweise
weist das Bildabgleichsmittel des weiteren auf:
ein erstes
Speichermittel, das angeordnet ist, um digitale Bildpixel von der
ersten Kamera zu speichern;
ein zweites Speichermittel, das
angeordnet ist, um digitale Bildpixel von der zweiten Kamera zu
speichern;
ein Bearbeitungsmittel, das angeordnet ist, um eine
vorbestimmte geschätzte
Disparität
unter Verwendung des Pixeleingangs von dem ersten Speichermittel
und dem zweiten Speichermittel auszugeben; und
ein Taktsteuermittel,
das angeordnet ist, um ein Taktsignal zur Steuerung des Betriebs
des ersten und zweiten Speichermittels sowie des Bearbeitungsmittels
bereitzustellen.
-
Vorzugsweise
werden das erste Speichermittel und das zweite Speichermittel initialisiert,
wenn das Bearbeitungsmittel die Bearbeitung von Pixeln in einer
Abtastzeile vervollständigt.
-
Vorzugsweise
wird ein Pixel, das in dem ersten Speichermittel gespeichert ist,
durch (N/2 – 1)
Taktzyklen im Vergleich mit einem Pixel, das in dem zweiten Speichermittel
gespeichert ist, verzögert.
-
Vorzugsweise
gibt das Taktsteuermittel ein erstes Taktsignal für gerade
numerierte Prozessoren und das zweite Speichermittel sowie ein zweites
Taktsignal für
ungerade numerierte Prozessoren und das erste Speichermittel aus.
-
Vorzugsweise
umfaßt
jedes Bearbeitungsmittel:
einen ersten Prozessor, der angeordnet
ist, um ein Pixel einer Abtastzeile in dem ersten Speichermittel
und dem zweiten Speichermittel zu erhalten und einen bestimmten
Abgleichsaufwand und einen Entscheidungswert auszugeben;
ein
Entscheidungsspeichermittel, das angeordnet ist, um den Entscheidungswertausgang
von dem ersten Prozessor zu speichern; und
einen zweiten Prozessor,
der angeordnet ist, um eine bestimmte Disparität auszugeben unter Verwendung
des Entscheidungswertausgangs von dem Entscheidungsspeichermittel
entsprechend der vorbestimmten Aktivierungsinformation.
-
Vorzugsweise
ist der erste Prozessor in Betrieb, wenn ein Schreibsteuersignal
von extern eingegeben wird, und wenn ein Lesesteuersignal von extern
eingegeben wird, ist der zweite Prozessor in Betrieb.
-
Vorzugsweise
weist das Entscheidungsspeichermittel einen "Last-in-first-out"-Aufbau
auf, in dem der bestimmte Wert, der als letztes von dem ersten Prozessor
ausgegeben wird, als erstes in den zweiten Prozessor eingegeben
wird.
-
Vorzugsweise
umfaßt
jeder der ersten Prozessoren:
ein Abgleichs-Aufwand-Berechnungsmittel,
das angeordnet ist, um einen Abgleichsaufwand unter Verwendung eines
Pixels einer Zeile in dem ersten Speichermittel und dem zweiten
Speichermittel zu berechnen;
ein erstes Additionsmittel, das
angeordnet ist, um den berechneten Abgleichsaufwand mit einem rückgekoppelten
angewachsenen Aufwand zu addieren;
ein Vergleichsmittel, das
angeordnet ist, um den Ausgang des ersten Additionsmittels mit dem
Aufwand der benachbarten Bearbeitungsmittel zu vergleichen und dann
einen Minimalaufwand und einen Entscheidungswert auszugeben;
ein
Speichermittel, das angeordnet ist, um den minimalen Aufwand, der
ein Ergebnis des Vergleichs ist, als den angewachsenen Aufwand zu
speichern;
ein zweites Additionsmittel, das angeordnet ist,
um den vollständigen
Aufwand und den Okklusionsaufwand zu addieren und dann das Ergebnis
zum benachbarten Bearbeitungsmittel auszugeben.
-
Vorzugsweise
umfaßt
jeder zweite Prozessor:
ein logisches Oder-Mittel, das angeordnet
ist, um die Aktivierungsinformation von benachbarten Bearbeitungsmitteln
und eine Rückkopplungs-Aktivierungsinformations-Route
einer logischen Oder-Funktion zu unterziehen;
ein Register,
das angeordnet ist, um die letzte Aktivierungsinformation zu speichern,
die das Ergebnis der Oder-Funktion ist;
ein de-multiplexierendes
Mittel, das angeordnet ist, um die letzte Aktivierungsinformation
entsprechend dem Entscheidungswertausgang von dem Entscheidungsspeichermittel
zu de-multiplexieren, um zu dem benachbarten Bearbeitungsmittel
auszugeben und zu dem logischen Oder-Mittel zurückzukoppeln; und
ein Tri-State-Puffer,
der angeordnet ist, um den Entscheidungswertausgang von dem Entscheidungsspeichermittel
auszugeben, als eine bestimmte Disparität, entsprechend der Aktivierungsinformation
des Registers.
-
Vorzugsweise
umfaßt
ein System nach einem der vorhergehenden Aspekte des weiteren die
erste und die zweite Kamera, die zueinander parallele optische Achsen
aufweisen und Brennebenen in derselben Ebene besitzen.
-
Die
Erfindung erstreckt sich auch auf die Verwendung eines Systems nach
einem der vorhergehenden Aspekte der Erfindung, um einen Echtzeit-Stereobildabgleich
durchzuführen.
-
Zum
besseren Verständnis
der Erfindung und zur Darstellung, wie Ausführungsbeispiele derselben ausgeführt werden
können,
wird nun beispielhaft auf die beigefügten schematischen Zeichnungen
Bezug genommen, wobei:
-
1 ist
ein Blockschaltbild eines Beispiels eines Echtzeit-Stereobildabgleichsystems
nach einem Ausführungsbeispiel
der vorliegenden Erfindung;
-
2 ist
eine detaillierte Darstellung eines Stereo-Abgleichschips (SMC)
nach 1;
-
3 ist
eine detaillierte Darstellung eines Bearbeitungselements nach 2;
-
4 ist
eine detaillierte Darstellung eines Vorwärts-Prozessors nach 3;
-
5 ist
eine detaillierte Darstellung eines Entscheidungs-Stapelspeichers
nach 3; und
-
6 ist
eine detaillierte Darstellung eines Rückwärts-Prozessors nach 3.
-
Nachstehend
werden Ausführungsbeispiele
der vorliegenden Erfindung im Detail mit Bezug auf die beigefügten Zeichnungen
beschrieben. Die vorliegende Erfindung ist nicht auf die folgenden
Ausführungsbeispiele
beschränkt,
und viele Variationen sind innerhalb des Umfangs der vorliegenden
Erfindung möglich.
Die Ausführungsbeispiele
der vorliegenden Erfindung werden bereitgestellt, um Beispiele der
vorliegenden Erfindung jedem Fachmann vollständiger zu erklären.
-
Das
System nach 1 enthält eine linke Kamera 10 zur
Aufnahme eines linken Bilds einer Szene; eine rechte Kamera 11 zur
Aufnahme eines rechten Bildes einer Szene; eine Bildbearbeitungseinheit 12 zur Umwandlung
von Bildsignalen der linken Kamera 10 und der rechten Kamera 11 in
digitale Form; ein Stereo-Abgleichschip (SMC) 13 zum Berechnen
der Disparität
des digitalisierten linken Bildes und digitalisierten rechten Bildes;
und ein Benutzersystem 14 zum Anzeigen oder Verwenden von
Bildern, basierend auf der Disparität. Die Bildbearbeitungseinheit 12 unterteilt
jedes Bild in M-Zeilen und in Pixel, und diese Pixel werden sequentiell
zum SMC gesendet. Jedes Pixel stellt eine Eigenschaft (beispielsweise
die Intensität)
eines Bildes in der Pixelregion dar.
-
2 ist
eine detaillierte Darstellung eines Stereo-Abgleichschips (SMC)
des Systems.
-
Das
SMC nach 2 enthält N/2 rechte Bildregister 20,
die die rechten Bildpixel von der Bildbearbeitungseinheit 12 speichern;
N/2 linke Bildregister 21, welche die linken Bildpixel
von der Bildbearbeitungseinheit 12 speichern; ein lineares
Feld von N Bearbeitungsmittel 22, die zusammen die Disparität vom linken
Bild und vom rechten Bild berechnen; und einer Taktsteuereinheit 23 zur
Bereitstellung von Taktsignalen, um den Betrieb der rechten Bildregister 20,
der linken Bildregister 21 und der Bearbeitungselemente 22 zu
steuern (hier ist N ein Vielfaches von 2).
-
3 ist
eine detaillierte Darstellung eines Bearbeitungselements 22 nach 2.
-
Das
Bearbeitungselement, das in 3 dargestellt
ist, enthält
einen Vorwärts-Prozessor 30,
der Pixeleingänge
einer Abtastzeile aufweist, die in dem rechten Bildregister 20 und
dem linken Bildregister 21 gespeichert sind, und der einen
Bearbeitungsaufwand und einen Entscheidungswert ausgibt; ein Entscheidungsstapelspeicher 31 zum
Speichern des Entscheidungswertausgangs von dem Vorwärts-Prozessor 30;
und einen Rückwärts-Prozessor 32,
der den Entscheidungswert ausgibt, der von dem Entscheidungsstapelspeicher 31 ausgegeben
wird, durch ein Aktivierungs-Bit, welches entscheidet, ob oder ob
nicht ein Betrieb wie eine Disparität ausgeführt wird.
-
4 ist
eine detallierte Darstellung eines Vorwärts-Prozessors 30 nach 3.
-
Der
Vorwärts-Prozessor
nach 4 enthält
ein Abgleichsaufwandbauteil 41 zur Berechnung des Aufwandes
des Abgleichs von 2 Pixeln unter Verwendung der Differenz jedes
Pixels einer Zeile des rechten Bildregisters 20 und des
linken Bildregisters 21; einen ersten Addierer 42,
der den Bearbeitungsaufwand, der in dem Berechnungsmittel 41 für den absoluten
Wert berechnet wird, mit dem gesamten Aufwand addiert, der zurückgeführt wird;
einen Komparator 43, der den geringsten Aufwand und den
Entscheidungswert nach Vergleich des Ausgangs des ersten Addierers 42 mit
dem Aufwand des benachbarten Elements 22 ausgibt; ein Aufwandsregister 44 zum
Speichern des geringsten Aufwandausgangs, der von dem Komparator 43 als
Gesamtaufwand ausgegeben wird; und einen zweiten Addierer 45,
der den Gesamtaufwand, der in dem Aufwandsregister 44 gespeichert
ist, zu einer Okklusionsinformation addiert, um das Ergebnis der
Addition zu benachbarten Elementen 22 auszugeben.
-
5 ist
eine detallierte Darstellung eines Entscheidungsstapelspeichers 31 nach 3.
-
Der
Entscheidungsstapelspeicher nach 5 enthält einen
ersten Multiplexer 50 (nachfolgend als "MUX" bezeichnet)
zur Wahl zwischen einem Entscheidungswertausgang von dem Komparator 43 und
dem vorangehenden Entscheidungswert; ein erstes Entscheidungsregister 51,
das den Entschei dungswert speichert, der durch das erste MUX 50 ausgewählt wird,
und den Entscheidungswert an den ersten MUX 50 und den
Rückwärts-Prozessor 32 ausgibt;
einen zweiten MUX 52 zur Auswahl zwischen dem Entscheidungswert, der
in dem ersten Entscheidungsregister 51 ausgewählt wurde,
und dem Rückführungs-Entscheidungswert; und
ein zweites Entscheidungsregister 53, das den Entscheidungswert
speichert, der in dem zweiten MUX 52 ausgewählt wird,
und der den Entscheidungswert zurück zum zweiten MUX 52 führt. Dieser
Aufbau wird N-mal wiederholt.
-
6 ist
eine detaillierte Darstellung eines Rückwärts-Prozessors 32 nach 3.
-
Der
Rückwärts-Prozessor
nach 6 enthält
ein Oder-Glied 60, das eine Oder-Funktion mit dessen vorhergehenden
Aktivierungsinformationsausgang und benachbarten Bearbeitungselementen
durchführt,
um eine aktuelle Aktivierungsinformation zu erzeugen; ein Aktivierungsregister 61 zum
Speichern der vorangehenden Aktivierungsinformation und des Weges,
die ein Ergebnis der Oder-Funktion in dem Oder-Glied 60 sind; ein
De-Multiplexer 62 (nachfolgend
als "DEMUX") bezeichnet, das
die letzte Aktivierungsinformationsroute des Aktivierungsregisters 61 entsprechend
dem Entscheidungswertausgang von dem Entscheidungsstapelspeicher 31 mulitplexiert,
um an benachbarte Bearbeitungselemente 22 und Oder-Glieder 60 auszugeben;
und einen Tri-State-Puffer 63 zum Ausgeben von Disparität unter
Verwendung des Entscheidungswertausgangs von dem Entscheidungsstapelspeicher 31 entsprechend
der Aktivierungsinformationsroute des Aktivierungsregisters 61.
-
Unter
Bezug auf die 1 bis 6 wird ein
dargestelltes Ausführungsbeispiel
der vorliegenden Erfindung nun weiter im Detail erklärt werden.
-
Das
dargestellte Ausführungsbeispiel
dient der Berechnung von Disparität eines Paars digitaler Bilder. Diese
Disparität
ist direkt mit der Tiefeninformation verbunden, das ist die Distanz
der Kamera von jedem Pixel in dem Bild. Das Paar der Bilder muß durch
ein Paar identischer Kameras 10 und 11 erhalten
werden, die optische Achsen aufweisen, die parallel zueinander sind,
und die Brennebenen in derselben Ebene aufweisen.
-
Ein
Bildeingang der linken Kamera 10 und der rechten Kamera 11 wird
in digitale Signale in der Form von Pixeln in der Bildbearbeitungseinheit 12 umgewandelt
und eine Scanzeile jedes Bildes wird dem SMC 13 in Einheiten
eines Pixels bereitgestellt. Nachdem die Abtastzeile dem SMC 13 vollständig bereitgestellt
wurde, werden Disparitätsdaten
in Einheiten eines Pixel ausgegeben. Das Verfahren, bei dem eine
Disparität
ausgegeben wird, wird für
alle Abtastzeilen des Paars von Bildern auf dieselbe Art wiederholt.
Daher wird das Verfahren zum Bearbeiten eines Paars von Abtastzeilen
nun beschrieben.
-
Wie
in 2 dargestellt, weist der SMC 13 ein lineares
Feld von N-identischen Bearbeitungselementen 22 und zwei
linearen Feldern auf, jedes mit N/2-Bildregistern 20 und 21.
Hier ist N ein Vielfaches von 2.
-
In
einem rechten Bildregister 20 wird ein Pixel eines digitalisierten
Bildes der rechten Kamera 11 gespeichert, während ein
Pixel des digitalisierten Bildes der linken Kamera in dem linken
Bildregisters 21 gespeichert wird.
-
Die
Bearbeitungselemente 22 können in Form eines linearen
Feldes zu der bestimmten maximalen Disparität erstreckt werden, und jedes
Bearbeitungselement 22 kann mit benachbarten Bearbeitungselementen 22 Informationen
austauschen. Dieser Aufbau ermöglicht
einen Betrieb bei maximaler Geschwindigkeit, ungeachtet der Anzahl
der Bearbeitungselemente 22. Wenn die Anzahl der Bearbeitungselemente 22 dieselbe wie
die maximale Disparität
ist, ermöglicht
dieser Aufbau auch dem Abgleichsverfahren, mit dem Videobildfluß Schritt
zu halten.
-
Die
Taktsteuereinheit 23 unterteilt den Systemtakt in zwei
interne Takte, um das linke Register 20 und das rechte
Register 21 sowie die Bearbeitungselemente 22 zu
steuern. Der ClkE-Ausgang der Taktsteuereinheit 23 wird
auf die geradzahligen System-Takt-Zyklen (der erste System-Takt-Zyklus
ist mit '0' definiert) festgesetzt,
und wird den geradzahligen Bearbeitungselementen 22 und
dem rechten Bildregister 20 zur Verfügung gestellt. Der ClkO-Ausgang von der Taktsteuereinheit 23 wird
auf die ungeradzahlingen System-Takt-Zyklen festgesetzt und den
ungeradzahligen Bearbeitungselementen 22 und dem linken
Bildregister 21 zur Verfügung gestellt.
-
Daher
sind die Hälfte
der Bearbeitungselemente 22 und die Hälfte der Bildregister (20 oder 21)
zu jedem System-Takt-Zyklus in Betrieb, startend mit den geradzahligen
Bearbeitungselementen 22 und den rechten Bildregistern 20.
Der Bearbeitungsschritt wird durch ein Lese/Schreibsignal (F/B oder
R/W, nachfolgend als "R/W" bezeichnet) kontrolliert.
Wenn eine R/W-Signalzeile
in einem Hochzustand ist, werden Daten geschrieben, und wenn sich
die R/W-Signalzeile sich in einem Niedrigzustand befindet, werden
die Daten gelesen.
-
Bildpixeldaten
werden dem rechten Bildregister 20 und dem linken Bildregister 21 bereitgestellt.
Bei jedem System-Takt wird ein Pixel der Daten dem rechten Bildregister 20 und
das linken Bildregister 21 eingegeben, und ein rechtes
Bildpixel wird durch den ClkE der Taktsteuereinheit 23 eingegeben,
und ein linkes Bildpixel wird durch ClkO eingegeben. Durch Bereitstellung
von N/2-Paaren von Daten an die Bearbeitungselemente 22 werden
das linke und rechte Register 20 und 21 initialisiert.
Hier wird das linke Bild (N/2 – 1)
Zyklen nach dem rechten Bild bereitgestellt. Daher können beliebige
Werte als anfängliche
(N/2 – 1)
Daten des linken Bildes bereitgestellt werden.
-
Bei
dem letzten ClkO beim Initialisierungsverfahren, nachdem die erste
Hälfte
der Daten in der Abtastzeile des rechten Bildes den Bearbeitungselementen 22 eingegeben
wurde, wird das erste Pixel in der Abtastzeile des linken Bildes
den Bearbeitungselementen 22 eingegeben. Zu dieser Zeit
sind die Register im Inneren jedes Bearbeitungselementes 22 auf
einen geeigneten Initialisierungswert gesetzt. Der Initialisierungswert
des Bearbeitungselements 0 ist '0',
und der Initialisierungswert von allen anderen Prozessoren ist der
maximal mögliche
Wert (oder nahe dem Maximum). Dann wird das Bearbeitungsverfahren
kontinuierlich auf alle Pixeldaten-Eingänge zu jedem System-Takt angewandt,
bis alle Daten in der vorliegenden Abtastzeile bearbeitet sind (ClkE
ist für
das linke Bild und ClkO ist für
das rechte Bild).
-
Da
das linke Bild den Bearbeitungselementen 22 mit einer Verzögerung eingegeben
wird, endet die Eingabe der rechten Bilddaten, bevor die Eingabe
des rechten Bildes endet.
-
Zu
dieser Zeit setzen die rechten Bildregister 20 das Lesen
von Daten fort, aber die Daten berühren den Betrieb des SMC 13 nicht.
Daher können
die letzten (N/2 – 1)
Daten in dem ClkE-Zyklus jeden Wert aufweisen.
-
Wenn
die Eingabe der Pixeldaten an die Bearbeitungselemente 22 endet,
wird das R/W-Signal auf einen Niedrigzustand gesetzt, und das Aktivierungs-Bit
jedes der Bearbeitungselemente 22 wird auf einen geeigneten
Wert gesetzt. Das Aktivierungs-Bit des Bearbeitungselements 0 22 wird
auf den Hochzustand gesetzt, und die Bits für andere Bearbeitungselemente
1–N – 1 22 werden
auf den Niedrigzustand gesetzt. Das Hoch-Aktivierungsbit wird von
einem Bearbeitungselement 22 zu einem anderen Bearbeitungselement 22 zu jedem
System-Takt-Zyklus weitergeleitet, und nur ein Prozessor kann ein
Aktivierungsbit in dem Hochzustand zu der gegebenen Zeit aufweisen.
Um eine Bus-Konkurrenz zu vermeiden, wird nur der Ausgang des Bearbeitungselements 22 mit
dem Hoch-Aktivierungsbit aktiviert, während die Ausgänge aller
anderen Bearbeitungselemente in einem Hoch-Impedanz-Zustand eingestellt
werden.
-
Der
Disparitätsausgang
stellt die relative Änderung
in der Disparität
(von einem anfänglichen
Wert von "0") zu jedem Schritt
bereit und kann einen Wert von –1,
0 oder +1 aufweisen. Der tatsächliche
Disparitätswert kann
auch durch Akkumulation oder Summierung des relativen Disparitätsausgangs
ausgegeben werden.
-
Jedes
Bearbeitungselement 22 wird durch einen Vorwärts-Prozessor 30,
einen Entscheidungsstapelspeicher 31 und einem Rückwärts-Prozessor 32,
wie in 3 dargestellt, gebildet.
-
4 stellt
eine detallierte Darstellung des Vorwärts-Prozessors 30 dar.
-
Der
Abgleich-Aufwandsberechner 41 berechnet den Abgleichaufwand
unter Verwendung des absoluten Wertes der Differenz |Rin – Lin| des Pixels Rin des
rechten Bildregisters 20 und des Pixels Lin des
linken Bildregisters 21. Der berechnete Abgleichsaufwand
wird zu dem zurückgeführten akkumulierten
Aufwand in dem ersten Addierer 42 addiert und ist eine
der Eingaben an den Komparator 43, welcher drei Eingänge aufweist.
-
Die
verbleibenden zwei Eingänge
Uin1 und Uin2 des
Komparators 43 sind mit dem Aufwandsausgang Uout der
benachbarten Bearbeitungselemente 22 verbunden. Der Komparator 43 wählt den
minimalen Wert unter den drei Eingängen aus und setzt den neuen
akkumulierten Aufwand zu jedem Taktsignal auf diesen minimalen Wert.
Der Entscheidungswert des ausgewählten
Eingangs ist '–1', wenn Uin1
der minimale Wert ist, '+1', wenn Uin2
der minimale Wert ist, und '0' für alle verbleibenden
Fälle.
Der Entscheidungswert wird als ein Signal Dfout ausgegeben.
-
Der
zweite Addierer 45 addiert den Okklusionsaufwand Co zu dem akkumulierten Aufwand, der in dem Aufwandregister 44 gespeichert
ist, und gibt das Ergebnis an die benachbarten Bearbeitungselemente 22 durch
den Uout-Anschluß weiter.
-
Der
Entscheidungsstapelspeicher 31 wird durch ein Feld von
2-Bit-Registern gebildet, die im "last-in first-out" (LIFO)-Modus arbeiten, um die drei
möglichen
Entscheidungswerte zu speichern. Die detaillierte Darstellung des
Entscheidungsstapelspeichers 31 wird in 5 gezeigt.
-
Die
Datenflußrichtung
in dem Entscheidungsstapelspeicher 31 wird durch die R/W-Signallinie
gesteuert. Das Signal des Dsin ist mit dem
Dfout des Vorwärts-Prozessors 30 verbunden,
und diese Daten werden in den Entscheidungsstapelspeicher 31 geschrieben,
wenn das R/W-Signal auf Schreiben (W) gesetzt ist.
-
Das
Signal Dsout ist mit dem Dbin des
Rückwärts-Prozessors 32 verbunden,
und diese Daten werden von dem Entscheidungsstapelspeicher gelesen,
wenn das R/W-Signal auf Lesen (R) gesetzt ist. Jedes Entscheidungsregister 51,53 usw.
weist ein MUX 50, 52, usw. vorne auf, das durch
das R/W-Signal gesteuert wird, so daß Entscheidungsdaten zu dem
Stapelspeicher addiert oder von diesem entfernt werden können.
-
Der
Rückwärts-Prozessor 32 rekonstruiert
eine optimale Disparität.
Die detaillierte Darstellung des Rückwärts-Prozessors 32 ist
in 6 gezeigt.
-
Der
Rückwärts-Prozessor 32 weist
ein Aktivierungsregister 61 zum Speichern des Aktivierungs-Bits auf.
Nur der Rückwärts-Prozessor 32,
in dem sich das Aktivierungs-Bit in einem Hochzustand befindet,
wird als aktiv angesehen. Das Oder-Gate 60 führt eine
Oder-Funktion der benachbarten Aktivierungsbit-Routen Ain1
und Ain2 sowie der Rückführungs-Aktivierungsbit-Route Aself aus.
Der Ain1-Anschluß ist mit dem Aout2-Anschluß des Bearbeitungselements 22 unter
dem jetzigen Bearbeitungselement 22 verbunden, und der
Ain2-Anschluß ist mit dem Aout1-Anschluß des Bearbeitungselements 22 über dem
jetzigen Bearbeitungselement 22 verbunden. Nur ein Bearbeitungselement 22 ist
jeweils aktiv.
-
Der
neue Wert des Aktivierungsbits wird auf das Aktivierungsregister 61 gesetzt,
wenn ein Taktsignal in den Rückwärts-Prozessor 32 eingegeben
wird. Um das DEMUX 62 zu steuern, das einen Eingang und
drei Ausgänge
aufweist, verwendet der Rückwärts-Prozessor 32 einen
Wert von Dbin, der mit dem Dsout des
Entscheidungsstapelspeichers 31 verbunden ist. Die Ausgänge des
DEMUX 62 sind Aout1, Aself,
und Aout2, wobei diese dieselben sind wie
die Aktivierungsbits, wenn Dbin –1, 0 oder
+1 ist, und andernfalls ist der Ausgang Null. Daher wird Dbin verwendet, um die Richtung zu steuern,
in der das Aktivierungsbit gesendet wird.
-
Wenn
das Aktivierungsbit hoch ist, wird der Tri-State-Puffer 63 aktiviert
und Dbin wird als Dbout ausgegeben,
und dieser Wert wird von dem SMC 13 als der nächste Disparitätswert ausgegeben,
relativ zu dem vorherigen Disparitätswert. Andernfalls ist der
Tri-State-Puffer 63 in einem Hoch-Impedanzzustand, so daß der Tri-State-Puffer 63 den
Ausgang des anderen Rückwärts-Prozessors 32 nicht
beeinflußt.
-
Bei
einer anderen Ausführungsform
wird anstatt von Dbin die Prozessornummer
als Dout ausgegeben. Bei dem Verfahren,
in dem Dbin ausgegeben wird, wird die relative Änderung
in der Disparität
ausgegeben, während
bei dem Verfahren, bei dem die Prozessorzahl ausgegeben wird, der
tatsächliche
Disparitätswert ausgegeben
wird.
-
Bei
diesem Ausführungsform
der vorliegenden Erfindung wird der Abgleich jedes Pixels in einem
Paar von Abtastzeilen durch den folgenden Algorithmus implementiert.
- 1. Vorwärts-Initialisierung:
Der Aufwand jedes Knotens außer
0 wird auf unendlich oder einen anderen hohen Wert gesetzt. U[0, 0] = 0 U[0,j] = ∞, j ∊ {1,
..., N – 1}
- 2. Vorwärts-Rekursion:
Der beste Weg und Aufwand wird für
jeden Schritt i und jeden Ort J wird gesucht.
Für i = 1
bis 2N führe
aus:
Für
jedes j ∊ {1, ..., N – 1}:
Wenn
i + j gerade ist U[i, j] = mink∊{–1,0,+1}U[i – 1, j +
k] + C0k2 P[i, j] = arg mink∊{–1,0,+1}U[i – 1, j +
k] + C0k2 Wenn
i + j ungerade ist P[i, j] = 0
- 3. Rückwärts-Initialisierung: d[2N] = P[2N, 0]
- 3. Rückwärts-Rekursion:
Für i = 2N
bis 1 führe
aus: d[i – 1]
= d[e] + P[i, d(i)]
-
Die
Entscheidungen P[i, j] werden in dem Entscheidungsstapelspeicher 31 gespeichert.
Das Taktsignal für
den Entscheidungsstapelspeicher 31 steuert den gesamten
Betrieb. Die Vorwärts-Rekursion
wird durch den Vorwärts-Prozessor 30 ausgeführt, und
die Rückwärts-Rekursion
wird durch den Rückwärts-Prozessor 32 ausgeführt.
-
Nach
einer Eigenschaft dieses Algorithmus und dem Implementationsverfahren
des vorliegenden Ausführungsbeispiels,
kann die Kern-Vorwärts-Rekursion
für alle
Tiefen unter Verwendung identischer Vorwärts-Prozessoren 30 parallel
ausgeführt
werden. Als Ergebnis kann ein Bearbeitungselement 22 eine
Vorwärts-Rekursion
an einem Ort innerhalb der Zeit ausführen, in der eine Kamera ein
einzelnes Pixel ausgibt. Dasselbe gilt für die Rückwärts-Rekursion und den Rückwärts-Prozessor 32.
Da die Bearbeitungselemente 22 auf die maximal mögliche Disparität erweitert
werden können,
kann das vorliegende Ausführungsbeispiel
einen Stereo-Bild-Abgleich
bei der vollen Geschwindigkeit der Bildausgabe von einem Paar Videokameras
ausführen.
-
Nachfolgend
werden der Aufbau des Prozessors und der Aufbau des Stapelspeichers
erläutert.
-
1. Der Aufbau der Vorwärts-Berechnung
-
Der
Aufbau des Vorwärts-Prozessors 30 ist
in 4 dargstellt.
-
Zu
einer Zeit i, ist der Ausgang U[i, j] des Komparators in dem Vorwärts-Prozessor
j 30 wie folgt:
-
-
Der
Ausgang zu jedem Taktzyklus ist wie folgt:
-
-
Diese
Ausgänge
werden in einem Feld des Entscheidungsstapelspeichers 31 gespeichert.
-
2. Entscheidungsstapelspeicher
-
Der
Entscheidungsstapelspeicher 31 ist ein „Last-in First-Out" (LIFO) Registerfeld,
das durch N Worte gebildet ist. Jedes Wort wird durch 2 Bits gebildet.
In jedem Bearbeitungselement 22 besteht ein Entscheidungsstapelspeicher 31.
Während
des Betriebs des Vorwärts-Prozessors 30,
wird P[i, j] entsprechend jedem Schritt in dem Entscheidungsstapelspeicher
gespeichert. Während
des Betriebs des Rückwärts-Prozessors 32,
werden diese Entscheidungswerte in der umgekehrten Reihenfolge ausgegeben.
-
3. Der Aufbau der Rückwärts-Berechnung
-
Der
Aufbau des Rückwärtsbearbeitungsteils
des Algorithmus ist in 6 dargestellt. Da der Ausgang des
Entscheidungsstapelspeichers 31 für die Rückwärts-Berechnung in die entgegengesetzte Richtung
verschoben wird, wird der Ausgang wie folgt ausgedrückt:
P[i,
j] für
i = 2N bis 0
-
Bei
i = 2N, werden alle a[Oij] auf „0" oder Niedrigzustand initialisiert,
außer
a[0, 0], das auf „1" oder Hochzustand
initialisiert wird. Der Aktivierungsausgang jedes Rückwärts-Prozessors
32 ist
wie folgt:
Aufwärtsausgang
(Aout2): a[i + 1, j + 1]δ(1 – P[i + 1, j + 1]), Abwärtsausgang
(Aout1): a[i + 1, j – 1]δ(–1 – P[i + 1, j – 1]), -
Bei
jedem Taktzyklus, wird das Aktivierungsregister 61 wie
folgt aktualisiert:
-
-
Der
Entscheidungsausgang Dout des Rückwärts-Prozessores 32 ist
wie folgt: P*[i, j] = a[i, j]P[i, j]
-
Der
gesamte optimale relative Disparitäts-Ausgang bei jedem Zyklusschritt
ist wie folgt:
-
-
Die
vorliegende Erfindung ist nicht auf das oben beschriebene Ausführungsbeispiel
beschränkt,
und zahlreiche Variationen sind im Bereich der vorliegenden Erfindung
möglich,
was durch die beigefügten
Ansprüche
definiert ist.
-
Nach
dem oben beschriebenen Ausführungsbeispiel,
wird ein Echtzeit-Stereo- Abgleich
ermöglicht, durch
parallele Bearbeitung von Videobildsequenzen unter Verwendung eines
Algorithmus, der auf einem neuen Gitter basierenden Verfahren beruht
und der optimal im bayesischen Sinne.
-
In
dieser Beschreibung weist das Wort „umfassen" dessen normale lexikalische Bedeutung
auf, um eine nicht exklusive Einbeziehung anzudeuten. Dies bedeutet,
daß die
Verwendung des Wortes „umfassen" (oder eines seiner
Ableitungen), um ein Merkmal oder mehr einzuschließen, nicht
die Möglichkeit
ausschließt, weitere
Merkmale einzuschließen.
