-
HINTERGRUND DER ERFINDUNG
-
1. Gebiet der Erfindung
-
Die
vorliegende Erfindung bezieht sich auf eine Stereokameravorrichtung,
die Fotografien von einem Objekt von verschiedenen Stand- oder Blickpunkten
aufnimmt, um eine dreidimensionale bzw. räumliche Distanzverteilung des
Objektes zu berechnen.
-
2. Beschreibung des einschlägigen Standes
der Technik
-
Die
Bildverarbeitung mittels eines sogenannten Stereoverfahrens ist
allgemein als dreidimensionale Meßtechnik auf einer Bildbasis
bekannt. Bei diesem Stereoverfahren wird ein Objekt von verschiedenen
Positionen mit einer Stereokameravorrichtung fotografiert, die aus
einem Kamerapaar oder einer Hauptkamera und einer Zusatzkamera gebildet
ist. Dann wird eine Distanz zwischen der Stereokameravorrichtung
und dem Objekt aus einer Parallaxe dieses Objekts unter Verwendung
von Kameraparametern auf der Basis des Prinzips der Triangulation
bestimmt. Kameraparameter sind z.B. die Montageposition, die Brennweite
der Stereokameravorrichtung und dergleichen.
-
Genauer
gesagt, es wird bei einer solchen Bildverarbeitung unter Verwendung
des Stereoverfahrens ein kleiner Bereich in einem von der Hauptkamera
fotografierten Referenzbild mit einem Flächenbereich innerhalb eines
Suchbereichs überlagert,
der in einem von der Zusatzkamera fotografierten Vergleichsbild
gesetzt wird, während
der kleine Bereich sukzessive Pixel für Pixel verlagert wird.
-
Anschließend erhält man eine
Position eines Flächenbereichs
innerhalb des Suchbereichs, der dem kleinen Bereich des Referenzbildes
entspricht, wobei der entsprechende Flächenbereich ein Bildsignal
aufweist, das mit dem Bildsignal des kleinen Bereichs übereinstimmt.
-
Information
hinsichtlich der Distanz zu dem Objekt erhält man dann anhand einer positionsmäßigen Differenz
(Parallaxe) des gleichen Objekts in dem Paar der Bilder oder dem
Referenzbild und dem Vergleichsbild unter Verwendung des Prinzips
der Triangulation.
-
Die
bei der vorstehend beschriebenen Bildverarbeitung verwendete Stereokameravorrichtung ist
derart montiert, daß sie
zu der Vorderseite eines Fahrzeugs oder in Achsenrichtung des Fahrzeugs ausgerichtet
ist. Ein in dem Vergleichsbild zu setzender Suchbereich wird in
einem in 2A dargestellten streifenartigen
Bereich gesetzt, der sich von einer dem kleinen Bereich in dem Referenzbild
im wesentlichen entsprechenden Position in Richtung auf die Hauptkamera
erstreckt.
-
Wie
aus den 2B und 2C erkennbar, ist
es somit für
einen kleinen Bereich, der sich in einer bestimmten Zone an der
Außenseite
(rechten Seite) des Fahrzeugs in dem Referenzbild befindet, nicht möglich, einen
entsprechenden Suchbereich in dem Vergleichsbild zuzuordnen sowie
Distanzinformation hierüber
zu erhalten.
-
Aus
diesem Grund wird ein Bereich, in dem eine dreidimensionale Distanzverteilung
durch die vorstehend geschilderte Bildverarbeitung erzeugt wird,
in Richtung auf die Seite der Zusatzkamera (linke Seite in 1)
bezüglich
der Mittelachse des Fahrzeugs geneigt, wie dies in 2D gezeigt
ist. Infolgedessen könnte
es unmöglich
werden, eine dreidimensionale Distanzverteilung zu erzielen, die
eine ausreichend große
Fläche
für ein
zu fotografierendes Objekt aufweist.
-
Um
die Detektion eines einer unendlichen Distanz entsprechenden Punktes,
an dem die Parallaxe Null beträgt,
beim Durchsuchen des Vergleichsbildes nach einer entsprechenden
Position eines kleinen Bereichs in dem Referenzbild zu ermöglichen,
ist es andererseits erforderlich, einen Suchrand in einem passenden
Suchbereich in dem Vergleichsbild zu setzen, wie dies in 4 gezeigt
ist. Wenn das Referenzbild unter Verwendung bis zu den äußersten Enden
des Kameravollbilds gebildet wird, ist es jedoch unmöglich, einen
Suchrand vorzusehen.
-
Das
Dokument US-A-4 978 983 offenbart eine Verbundkamera, bestehend
aus einer herkömmlichen
Hauptkamera für
die fotochemische Bildreproduktion und einer zweiten elektronischen Kamera,
wobei die elektronische Kamera für
die Vorauswahl eines Bildes ohne Verschwendung von jeglichem fotochemischen
Material verwendet wird.
-
Zum
Lösen des
Problems hinsichtlich des Suchers, d.h. daß die beiden Abbildungsbereiche
der beiden Kameras aufgrund einer gegenseitigen Verlagerung der
Kameras nicht übereinstimmen,
ist der Abbildungswinkel der zweiten Kamera viel größer als der
der herkömmlichen
Kamera. Mit Hilfe einer Recheneinrichtung wird das größere Bild
der elektronischen Kamera auf den kleineren Flächenbereich des Bildes der
herkömmlichen
Kamera begrenzt.
-
Aus
diesem Grund ist ein größerer ungenutzter
Abbildungsbereich der elektronischen Kamera erforderlich, und dieser
muß bearbeitet
und reduziert werden, bevor irgendwelche Vergleiche zwischen gleichzeitig
aufgenommenen Bildern stattfinden.
-
Aus
der JP-A-09-097 342 ist ein Verfahren zum Auffinden von Distanzen
zwischen einer Stromversorgungsleitung und einem Baum in gebirgigen Regionen
bekannt, bei dem ein Paar Stereofotografien von einen Patrouillen-Helikopter
aufgenommen werden. Zu diesem Zweck werden dreidimensionale Koordinaten
von Merkmalspunkten anhand ihrer Parallaxe berechnet und mit einem
Model der Stromversorgungsleitung in Form einer geraden Linie verglichen.
Bei einer Ausführungsform
sind die beiden Kameras des Stereosystems geneigt, offensichtlich
zur Beobachtung eines Bereichs, der sich nicht vor dem Helikopter,
sondern längs
von diesem befindet.
-
Bei
diesem Verfahren des Standes der Technik ist es notwendig, daß beide
Kameras unter dem gleichen Winkel geneigt sind, wobei keine Kompen sationseinrichtungen
vorhanden sind, falls es zu irgendeiner Fehlanpassung zwischen den
von den beiden Kameras aufgenommenen Bildern kommt. Daher gibt es
keine Kompensation von jeglicher Verlagerung des der unendlichen
Distanz entsprechenden Punkts.
-
Die
GB-A-2 313 971 offenbart ein optisches Stereosystem zum Aufspüren von
Hindernissen in einem sich bewegenden Fahrzeug, wobei zwei Kameras,
die voneinander beabstandet sind, an einem Drehtisch angebracht
sind und unter dem gleichen Winkel geneigt werden können. Der
Drehtisch ermöglicht
das Aufnehmen von Bildern nicht nur in Frontrichtung des Fahrzeugs,
sondern in gewissem Ausmaß auch
zu den Seiten von diesem. Der Neigungswinkel läßt sich dynamisch ändern, wobei
dies jedoch nicht für
eine einzelne Kamera, sondern nur für beide von diesen gemeinsam
möglich
ist. Dieses System leistet somit keinerlei Beitrag zu einer Kompensation
einer Verlagerung des der unendlichen Distanz entsprechenden Punkts.
-
Die
Veröffentlichung
WO 94/10 504 offenbar ein automatisches, stereoskopisches Bildaufnahme- und
Bildspeichersystem, wobei zwei identische digitale Standbild-Videokameras auf
einer Halterungsschiene in voneinander beabstandeter Weise angebracht
sind. Die Anordnung kann verschwenkt werden, so daß sie eine
geneigte Position einnimmt, oder jede Kamera kann unabhängig verschwenkt werden.
Auf diese Weise wird eine Serie von Mosaikbildern aufgenommen, die
zusammengesetzt werden, um zusammengesetzte linke und rechte Bilder zu
bilden.
-
Das
herkömmliche
System wird für
die fotogrammetrische Analyse verwendet und ist weder dafür gedacht,
noch dazu geeignet, in ein Fahrzeug eingebaut zu werden. In der
Praxis wäre
das Zusammensetzen von Mosaikbildern viel zu langsam, um in einem
Fahrzeug verwendet zu werden, in dem die Echtzeitanalyse zwingend
erforderlich ist.
-
In
Anbetracht dieser Umstände
besteht die Aufgabe der vorliegenden Erfindung in der Angabe einer
Stereokameravorrichtung, die in der Lage ist, Bilder aufzunehmen,
die für
die Verwendung in einer Fahrzeug-Bildverarbeitung bereit sind.
-
Gemäß der Erfindung
wird diese Aufgabe gelöst
mit einer Vorrichtung mit den Merkmalen des Anspruchs 1. Vorteilhafte
Weiterbildungen der erfindungsgemäßen Vorrichtung sind in den
Unteransprüchen
angegeben.
-
KURZBESCHREIBUNG
DER ZEICHNUNGEN
-
Es
zeigen:
-
1 ein
schematisches Konstruktionsdiagramm eines stereoskopischen Bildverarbeitungssystems;
-
2A bis 2D jeweils
erläuternde
Darstellungen einer dreidimensionalen Distanzverteilung;
-
3 eine
Draufsicht auf eine Stereokameraeinheit; und
-
4 eine
Darstellung zur Erläuterung
eines Suchbereichs in einem Vergleichsbild, der zum Detektieren
eines einer unendlichen Distanz entsprechenden Punktes erforderlich
ist.
-
AUSFÜHRLICHE
BESCHREIBUNG DES BEVORZUGTEN AUSFÜHRUNGSBEISPIELS
-
Eine
Verfahrensweise zum Ausführen
der vorliegenden Erfindung oder ein Ausführungsbeispiel von dieser wird
im folgenden unter Bezugnahme auf die Zeichnungen beschrieben. Die 1 bis 3 betreffen
ein Ausführungsbeispiel
der vorliegenden Erfindung, wobei 1 ein schematisches
Konstruktionsdiagramm eines stereoskopischen Bildverarbeitungssystems
zeigt, die 2A bis 2D jeweils erläuternde
Darstellungen von Bereichen zum Erzeugen einer dreidimensionalen Distanzverteilung
zeigen und 3 eine Draufsicht auf eine Stereokameraeinheit
zeigt.
-
In 1 bezeichnet
das Bezugszeichen 1 das stereoskopische Bildverarbeitungssystem,
das in einem Fahrzeug, wie z.B. einem Kraftfahrzeug, installiert
ist und das ein Objekt vor dem Fahrzeug erkennt. Das stereoskopische
Bildverarbeitungssystem 1 weist eine Stereokameraeinheit 2,
die Stereobilder aufnimmt, sowie eine Bildverarbeitungseinheit 6 auf, die
eine dreidimensionale bzw. räumliche
Distanzverteilung des Objektes vor dem Fahrzeug erzeugt, indem sie
eine stereoskopische Bildverarbeitung an einem Paar von Bildern
vornimmt, die von der Stereokameraeinheit 2 aufgenommen
werden.
-
Die
vorstehend genannte Stereokameraeinheit 2 ist in erster
Linie gebildet aus einer Hauptkamera 4, einer Zusatzkamera 5 und
einer Kamerahalterung 3. Die Hauptkamera 4 und
die Zusatzkamera 5 sind beide z.B. durch CCD-Kameras gebildet
und an der Kamerahalterung 3 mit einem bestimmten Abstand
voneinander angebracht. Die Kamerahalterung 3 ist in der
Nähe eines
Rückspiegels
des Fahrzeugs montiert.
-
Die
vorstehend genannte Hauptkamera 4 ist an einem rechten
Ende der Kamerahalterung 3 angebracht und nimmt ein Referenzbild
(rechtes Bild in den 2A bis 2D) auf,
das von der genannten Bildverarbeitungseinheit 5 benötigt wird,
wenn diese die stereoskopische Bildverarbeitung ausführt. Die genannte
Zusatzkamera 5 ist an einem linken Ende der Kamerahalterung 3 angebracht
und nimmt ein Vergleichsbild (linkes Bild in den 2A bis 2D) für die genannte
stereoskopische Bildverarbeitung auf.
-
Die
genannte Bildverarbeitungseinheit 6 berechnet die dreidimensionale
Distanzverteilung von Objekten außerhalb des Fahrzeugs durch
eine Bildverarbeitung des Referenzbildes und des Vergleichsbildes,
die von der Hauptkamera 4 und der Zusatzkamera 5 aufgenommen
werden, und berechnet eine relative Distanz und eine relative Geschwindigkeit zwischen
dem mit der Kameraeinheit 2 ausgestatteten Fahrzeug und
einem davor fahrenden Fahrzeug unter Detektion von Straßenformen
und dreidimensionalen Positionen einer Vielzahl von dreidimensionalen
Objekten mit einer hohen Geschwindigkeit auf der Basis der dreidimensionalen
Distanzverteilungsinformation.
-
Die
Berechnung der dreidimensionalen Distanzverteilung durch die vorstehend
genannte Bildverarbeitungseinheit 6 wird nun im spezielleren
beschrieben. Als erstes gibt diese Bildverarbeitungseinheit 6 einen
Suchbereich (z.B. 4 × 128
Pixel) in dem Vergleichsbild gegenüber einem kleinen Bereich (z.B.
4 × 4
Pixel) in dem Referenzbild vor, wie dies in den 2A und 2B gezeigt
ist.
-
Die
Bildverarbeitungseinheit 6 überlagert dann den kleinen
Bereich einem Flächenbereich
innerhalb des Suchbereichs unter sukzessiver Verschiebung des kleinen
Bereichs Pixel für
Pixel und bestimmt eine Position eines Bereichs innerhalb des Suchbereichs,
der dem kleinen Bereich entspricht, wobei der entsprechende Bereich
ein Bildsignal aufweist, das mit dem Bildsignal des kleinen Bereichs übereinstimmt.
Die Bildverarbeitungseinheit 6 liefert somit Information über die
Distanz zu einem Objekt aufgrund einer positionsmäßigen Differenz
(Parallaxe) des gleichen Objekts auf den beiden Bildern.
-
Hierbei
ist es unmöglich,
einen entsprechenden Suchbereich in dem Vergleichsbild für kleine
Bereiche zu erzielen, die sich in einer bestimmten Zone auf der
rechten Seite (in Richtung auf die Seite der Hauptkamera 4)
des Referenzbildes befinden, wie dies in 2C dargestellt
ist. Daher wird ein Bereich, in dem eine dreidimensionale Distanzverteilung durch
die Bildverarbeitungseinheit 6 erzeugt wird, zur linken
Seite (in Richtung auf die Seite der Zusatzkamera 5) des
Referenzbildes geneigt, wie dies in 2D gezeigt
ist.
-
Unter
Berücksichtigung
des vorstehend geschilderten Problems wird einer Konstruktion zum Montieren
der Hauptkamera 4 und der Zusatzkamera 5 an der
Kamerahalterung 3 in der Stereokameraeinheit 2 des
vorliegenden Ausführungsbeispiels
spezielle Aufmerksamkeit geschenkt. Genauer gesagt, es werden die
Hauptkamera 4 und die Zusatzkamera 5 an der Kamerahalterung 3 in
einer derartigen Weise montiert, daß ihre optischen Achsen O1,
O2 unter Winkeln θ1, θ2 jeweils
zu der Seite der Hauptkamera 4 (nach rechts) geneigt sind,
wie dies in 3 gezeigt ist.
-
Mit
anderen Worten, es wird die Kamerahalterung 3 im Inneren
des Fahrzeugs derart montiert, daß ihre Längsrichtung rechtwinklig zu
der Mittelachse des Fahrzeugs wird, wie dies in 1 gezeigt
ist, und daher die optischen Achsen O1, O2 der Hauptkamera 4 und
der Zusatzkamera 5 unter Winkeln von θ1, θ2 bezüglich der Mittelachse geneigt
sind.
-
Dies
dient zum Vorgeben eines Bereichs einer dreidimensionalen Distanzverteilung,
der zu der Seite der Zusatzkamera 5 (nach links) innerhalb
des horizontalen Blickwinkels der Hauptkamera 4 versetzt
ist, und zwar im wesentlichen symmetrisch auf der linken und der
rechten Seite der Mittelachse des Fahrzeugs, wie dies in 1 gezeigt
ist. Infolgedessen ist zwar der Bereich der Erzeugung des dreidimensionalen
Distanzverteilungsbereichs immer noch zu der Seite der Zusatzkamera 4 (nach
links) in dem Referenzbild versetzt, wie dies in 2D gezeigt
ist, jedoch ist der durch die Bildverarbeitungseinheit 6 erzeugte
Bereich der dreidimensionalen Distanzverteilung gut ausgeglichen,
so daß eine Links-Rechts-Symmetrie
bezüglich
des mit der Kameraeinheit 2 ausgestatteten Fahrzeugs ermöglicht wird.
-
Andererseits
werden der Neigungswinkel θ1 der
Hauptkamera 4 und der Neigungswinkel θ2 der Zusatzkamera 5 so
vorgegeben, daß sie
die Relation θ1 > θ2 erfüllen. Mit anderen Worten, es
wird die optische Achse O2 der Zusatzkamera 5 derart eingestellt,
daß sie
zu der Seite der Zusatzkamera 5 (nach links) bezüglich der
optischen Achse O1 der Hauptkamera 4 geneigt ist.
-
Diese
Anordnung erfolgt zur Schaffung eines Suchrandes in dem Vergleichsbild,
um die Detektion eines einer unendlichen Distanz entsprechenden Punktes
in einer von der Bildverarbeitungseinheit 6 ausgeführten Stereoanpassung
zu ermöglichen,
indem ein linkes Ende des Vergleichsbildes an die Außenseite
(nach links) eines linken Endes des Referenzbildes gesetzt wird.
Es ist jedoch darauf hinzuweisen, daß ein derartiges Setzen oder
Vorgeben seine Wirkungen dann zeigt, wenn das Referenzbild unter
Verwendung bis zu den äußersten
Enden des Kameravollbildes erzeugt wird.
-
Die
Neigungswinkel θ1, θ2 der Hauptkamera 4 bzw.
der Zusatzkamera 5 werden optimalerweise in Abhängigkeit
von ihrem Montageabstand, ihrer Brennweite und der Anzahl von Pixeln
jeder Kamera, den kleinen Bereichen und dem Suchbereich usw. bei
der stereoskopischen Bildverarbeitung bestimmt.
-
Wie
vorstehend beschrieben, wird ein Bereich einer dreidimensionalen
Distanzverteilung gesetzt, wobei gemäß der vorliegenden Erfindung
eine dreidimensionale Distanzverteilung mit einem notwendigen und
ausreichenden Flächenbereich
erzielt wird.
-
Darüber hinaus
wird es auch möglich,
nach einem einer unendlichen Distanz entsprechenden Punkt durch
Stereoanpassung zu suchen, indem ein Suchrand in einem Vergleichsbild
gesetzt wird, und zwar selbst dann, wenn ein Referenzbild unter
Verwendung bis zu den äußersten
Enden des Kameravollbilds erzeugt wird.