DE60206320T2

DE60206320T2 - Vorrichtung und Verfahren zur perspektivischen Projektionbilderzeugung

Info

Publication number: DE60206320T2
Application number: DE60206320T
Authority: DE
Inventors: Kenichi Tenri-shi Kawakami; Kiyoshi Kyotanabe-shi Kumata
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2001-05-10
Filing date: 2002-05-09
Publication date: 2006-07-06
Anticipated expiration: 2022-05-10
Also published as: KR100494540B1; US6947611B2; DE60206320D1; EP1261199B1; EP1261199A2; US20020181803A1; JP2002334322A; EP1261199A3; TW591247B; KR20020086290A

Description

HINTERGRUND DER ERFINDUNG
1. GEBIET DER ERFINDUNG
Die Erfindung betrifft eine perspektivische Projektionsbilderzeugungsvorrichtung einschließlich eines omni-direktionalen Sichtsensors, einem perspektivischen Projektionsbilderzeugungsverfahren, einem perspektivischen Projektionsbilderzeugungsprogramm und einem Aufzeichnungsmedium zum Speichern des perspektivischen Projektionsbilderzeugungsprogramms.
2. BESCHREIBUNG DES STANDES DER TECHNIK
In den vergangenen Jahren wurden Studien hinsichtlich einer in einem beweglichen Körper wie einem Auto angeordneten Bilderzeugungsvorrichtung mit einer Kamera und einem Monitor durchgeführt um ein Bild im toten Winkel eines Fahrers auf dem Monitor anzuzeigen. Ein repräsentatives Beispiel einer derartigen Bildanzeigevorrichtung schließt einen in einem Auto angeordneten Rückseitenmonitor ein um die Belastung eines Fahrers etwa beim Einparken des Autos zu mindern.
Jedoch ist beispielsweise ein Sichtwinkel hinter dem Auto in einer herkömmlichen Bildanzeigevorrichtung begrenzt, so dass die auf einem Monitor angezeigte Information eingeschränkt ist. Aus diesem Grund bedarf es einer Bildanzeigevorrichtung einschließlich einer Kamera, die einen breiteren Sichtwinkel aufweist und genauere Information des räumlichen Zusammenhangs zwischen einem Auto und Hindernissen erlangt, um die Belastung eines Fahrers weiter zu mindern.
Darüber hinaus wird in einer herkömmlichen Bildanzeigevorrichtung wie einer Bildanzeigevorrichtung einschließlich eines Rückseitenmonitors ein von einer Kamera eingefangenes Bild auf einem Anzeigeschirm des Moni tors im Wesentlichen unverarbeitet angezeigt, so dass ein von dem angezeigten Bild abgedeckter Bereich auf einen bestimmten Sichtwinkel begrenzt ist, z.B. auf eine Fläche hinter einem Auto. Mit der herkömmlichen Bildanzeigevorrichtung kann ein Fahrer des Autos Hindernisse, die unmittelbar hinter dem Auto angeordnet sind, wahrnehmen oder der Fahrer kann erkennen wie weit das Auto zurückgesetzt werden kann. Jedoch kann der Fahrer keine Information bezüglich der Umgebung außerhalb der Fläche unmittelbar hinter dem Auto erhalten, z.B. kann der Fahrer keinen räumlichen Zusammenhang zwischen dem Auto und Hindernissen und desgleichen erkennen, wie etwa Linienmarkierungen zur Kennzeichnung eines Parkplatzes oder neben dem Auto des Fahrers geparkte benachbarte Autos.
Somit ist es für Fahrer eines Autos erforderlich ihre Fahrqualitäten beim Fahren oder Einparken des Autos unter Beweis zu stellen, während diese das auf dem Monitor angezeigte Bild prüfen oder in Rückspiegel und/oder Seitenspiegel blicken. Dies stellt eine beträchtliche Belastung für einen unerfahrenen Fahrer dar und hindert den Fahrer an einer sicheren Fahrweise.
In Anbetracht der obigen Umstände liegt ein Bedarf nach einer Bildanzeigevorrichtung als Fahrhilfevorrichtung vor, die einen Fahrer eines Autos mit genauen Positionsinformationen zur Umgebung um das Auto, z.B. in einem Parkplatz, versorgt. JP 2001-331789 offenbart ein Umgebungsüberwachungsgerät für mobile Körper, das einen omni-direktionalen Sichtsensor unter Verwendung eines hyperboloiden Spiegels enthält, welcher an einer vorgeschriebenen Position in einem Auto derart angebracht ist, dass ein Sichtfeld des omni-direktionalen Sensors in Richtung des Bodens zeigt, d.h. der omni-direktionale Sensor ein Bild des Bodens aufgreift wie wenn dieser von oben direkt betrachtet wird. Somit erzeugt das Umgebungsüberwachungsgerät für mobile Körper eine Vogelperspektive des Bodens basierend auf einem perspektivischen Projektionsbild, welches vom omni-direktionalen Sichtsensor erhalten wird, wodurch eine zweidimensionale Information hinsichtlich einer Position eines mobilen Körpers wie etwa eines Autos mit Bezug zur Bodenebene bereitgestellt wird.
Jedoch erzeugt ein derart herkömmliches Überwachungssystem eines mobilen Körpers wie in JP 2001-331789 offenbart die Vogelperspektive unter Verwendung des perspektivischen Projektionsbildes als ob das Auto, welches tatsächlich nicht auf der Bodenebene vorhanden ist, doch dort vorhanden ist, so dass die Vogelperspektive des Autos wesentlich verzerrt wird, wodurch es schwierig ist, einen örtlichen Zusammenhang zwischen dem Auto und der Bodenebene zu bewerten und folglich auch darauf angeordnete Hindernisse.
JP 2001-331789 offenbart ebenso eine Anordnung, die einen örtlichen Zusammenhang zwischen dem Auto und der Bodenebene als genau und in der Vogelperspektive ersichtlich durch Kombination des verzerrten Bildes des Autos aus der Vogelperspektive mit einem das Auto von oben betrachteten Bild des Autos ermöglicht. Jedoch gibt JP 2000-31260 keine detaillierte Beschreibung eines Verfahrens zum Erzeugen eines derartigen kombinierten Bildes, welches tatsächlich durch einen Fahrer des Autos durch wiederholte Einstellungen eines Anzeigeschirms durch Ausprobieren während des Betrachtens des Anzeigeschirms erzeugt wird. Somit ist es nicht einfach für den Fahrer geringfügige Änderungen wie ein Heranzoomen oder Herauszoomen des angezeigten Bildes durchzuführen. Darüber hinaus wird kein Mechanismus angegeben, der es dem Fahrer ermöglicht einen tatsächlichen Abstand des Autos zu Hindernissen wie einen Parkplatz kennzeichnenden Streifen etc. zu erkennen.
ZUSAMMENFASSUNG DER ERFINDUNG
Entsprechend einem Aspekt der Erfindung wird eine perspektivische Projektionsbilderzeugungsvorrichtung angegeben mit: einer optischen Vorrichtung mit einem hyperboloiden Spiegel, der eine hyperboloide Form auf einer Seite eines zweiseitigen Hyperboloids aufweist; einer Licht empfangenden Bildgebungssektion zum Erzeugen von Eingangsbilddaten, wobei das Licht von einer dem hyperboloiden Spiegel gegenüber liegenden Linse konzentriert wird; einer Bildumwandlungssektion zum Umwandeln von Eingangsbilddaten der Bildgebungssektion in Bilddaten einer perspektivischen Projektion mit einem Projektionszentrum im Brennpunkt des hyperboloiden Spiegels; einer Erzeugungssektion eines maßstäblichen Modells zum Umwandeln von Bilddaten für ein Objekt in einer Objektebene, die senkrecht zu einer durch einen Brennpunkt des hyperboloiden Spiegels sich erstreckenden Linie liegt, in Bilddaten eines maßstäblichen Modells des Objekts basierend auf einem Verhältnis eines Abstands zwischen dem Brennpunkt des hyperboloiden Spiegels und der Objektebene zu einem Abstand zwischen dem hyperpboloiden Spiegel und einer perspektivischen Projektionsbildebene derart, dass eine Größe des maßstäblichen Modells des Objekts derjenigen des Objekts in einem perspektivischen Projektionsbild entspricht; einer Bildkombinationssektion zum Erzeugen von kombinierten Bilddaten, welche durch Kombinieren der perspektivischen Projektionsbilddaten und der Bilddaten des maßstäblichen Modells erzeugt werden; und einer Anzeigesektion zum Anzeigen der kombinierten Bilddaten.
Bei einer Ausführungsform der Erfindung entspricht die Objektebene einer Bodenebene.
Bei einer Ausführungsform der Erfindung ist der Abstand zwischen dem Projektionszentrum und der perspektivischen Projektionsbildebene durch die Anzahl von Pixel gegeben, wobei jedes Pixel eine minimale Auflösungseinheit eines Bildes darstellt.
Bei einer Ausführungsform der Erfindung sind die Bilddaten des maßstäblichen Modells basierend auf Information bezüglich eines Zielobjekts für das maßstäbliche Modell in der Objektebene erzeugt worden.
Bei einer Ausführungsform der Erfindung enthält die Information ursprüngliche Bilddaten, welche Bilddaten des Zielobjekts darstellen, eine tatsächliche Größe des Zielobjekts und Daten bezüglich des Abstands zwischen dem Brennpunkt des hyperboloiden Spiegels und der Objektebene.
Bei einer Ausführungsform der Erfindung erzeugt die Erzeugungssektion des maßstäblichen Modells die Bilddaten des maßstäblichen Modells durch Vergrößern/Verkleinern einer Größe der ursprünglichen Bilddaten, welche die Bilddaten des Zielobjekts darstellen, basierend auf dem Verhältnis des Abstands zwischen dem Brennpunkt des hyperboloiden Spiegels und der Objektebene und dem Abstand zwischen dem Brennpunkt des hyperboloiden Spiegels und einer perspektivischen Projektionsbildebene.
Bei einer Ausführungsform der Erfindung weist die perspektivische Projektionsbilderzeugungsvorrichtung eine der ersten optischen Vorrichtung ähnliche und perspektivische Projektionsbilddaten erzeugende zweite optische Vorrichtung, welche ein Projektionszentrum im Brennpunkt eines hyperboloiden Spiegels der zweiten optischen Vorrichtung aufweist und die dem maßstäblichen Modell entspricht auf, wobei die perspektivischen Projektionsbilddaten durch Berechnung eines Abstands zwischen dem Brennpunkt des hyperboloiden Spiegels in der zweiten optischen Vorrichtung und einer perspektivischen Projektionsbildebene mit einem Projektionszentrum im Brennpunkt der zweiten optischen Vorrichtung basierend auf den von der Erzeugungssektion eines maßstäblichen Modells erzeugten Bilddaten für das maßstäbliche Modell erzeugt werden.
Bei einer Ausführungsform der Erfindung entsprechen die Bilddaten für das maßstäbliche Modell einem eine Länge in einem Bild darstellenden Maßstab (im Folgenden wird Maßstab auch als „Gauge-Modell" bezeichnet).
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zum Erzeugen eines perspektivischen Projektionsbildes angegeben mit den Schritten: Erhalten von Eingangsbilddaten durch einen omni-direktionalen Sichtsensor, wobei der omni-direktionale Sichtsensor eine optische Vorrichtung, welche einen hyperboloiden Spiegel mit einer hyperboloiden Form auf einer Seite eines zweiseitigen Hyperboloids aufweist, und eine Bildgebungssektion zum Erlangen von Eingangsbilddaten enthält, wobei die Bildgebungssektion konzentriertes Licht von einer dem hyperboloiden Spiegel gegenüber liegenden Linse empfängt; Umwandeln von durch die Bildgebungssektion erhaltenen Eingangsbilddaten in Bilddaten einer perspektivischen Projektion mit einem Projektionszentrum im Brennpunkt des hyperboloiden Spiegels; Erzeugen eines maßstäblichen Modells durch Umwandeln von Bilddaten für ein Objekt einer senkrecht zu einer sich durch einen Brennpunkt des hyperboloiden Spiegels erstreckenden Linie liegenden Objektebene in Bilddaten eines maßstäblichen Modells des Objekts basierend auf einem Verhältnis eines Abstands zwischen dem Brennpunkt des hyperboloiden Spiegels und der Objektebene zu einem Abstand zwischen dem Brennpunkt des hyperboloiden Spiegels und einer perspektivischen Projektionsbildebene derart, dass eine Größe des maßstäblichen Modells des Objekts derjenigen des Objekts in einem perspektivischen Projektionsbild entspricht; Kombinieren der perspektivischen Projektionsbilddaten und der Bilddaten für das maßstäbliche Modell derart, dass kombinierte Bilddaten erzeugt werden; und Anzeigen der kombinierten Bilddaten.
Gemäß einem weiteren Aspekt der Erfindung wird eine perspektivische Projektionsbilderzeugungsvorrichtung zum Ausführen des Verfahrens zum Erzeugen perspektivischer Projektionsbilder angegeben.
Gemäß einem weiteren Aspekt der Erfindung wird ein computerlesbares Aufzeichnungsmedium zum Speichern eines perspektivischen Projekti onsbilderzeugungsprogramms zum Ausführen des Verfahrens zum Erzeugen eines perspektivischen Projektionsbildes angegeben.
Somit ermöglicht die hierin beschriebene Erfindung Vorteile durch angeben von: einer perspektivischen Projektionsbilderzeugungsvorrichtung, die ein perspektivisches Projektionsbild bereitstellt, das einen örtlichen Zusammenhang zwischen in dem Bild festgehaltenen Objekten und einem Auto genau kennzeichnet; einem Verfahren zum Erzeugen des perspektivischen Projektionsbildes; einem Programm zum Erzeugen des perspektivischen Projektionsbildes; und einem Aufzeichnungsmedium zum Speichern des perspektivischen Projektionsbilderzeugungsprogramms.
Diese und weitere Vorteile der Erfindung werden einem Fachmann beim Lesen und Verstehen der folgenden detaillierten Beschreibung mit Bezug zu den begleitenden Abbildungen ersichtlich.
DETAILLIERTE BESCHREIBUNG DER ABBILDUNGEN
1 zeigt eine schematische Abbildung zum Erläutern einer optischen Vorrichtung eines omni-direktionalen Sichtsensors.
2 zeigt eine Ebenenansicht entlang einer z-Achse der optischen Vorrichtung des omni-direktionalen Sichtsensors aus 1.
3 zeigt ein Blockdiagramm mit einem schematischen Aufbau der erfindungsgemäßen perspektivischen Projektionsbilderzeugungsvorrichtung.
4 zeigt eine schematische Ansicht eines Autos einschließlich eines omni-direktionalen Sichtsensors gemäß der Erfindung.
5 zeigt eine Ansicht zur Darstellung eines schematischen Aufbaus eines in einer Steuersektion des omni-direktionalen Sichtsensors gespeicherten Programms gemäß der Erfindung.
6 zeigt eine perspektivische Ansicht eines Zusammenhangs zwischen einem Brennpunkt Om eines hyperboloiden Spiegels eines ersten omni-direktionalen Sichtsensors bezüglich einer entsprechenden Projektionsbildebene und einer tatsächlichen Bodenebene.
7 zeigt eine Aufsicht zur Darstellung einer tatsächlichen Größe 70 des Autos einschließlich des omni-direktionalen Sichtsensors, eine Größe 71 eines ursprünglichen Bildes des Autos; und ein maßstäbliches Modell 72 des Autos.
8 zeigt eine schematische Ansicht eines vier Meter Maßstabs/Gauge-Modellbildes.
9 zeigt ein Flussdiagramm eines Verfahrens zum Erzeugen eines Vogelperspektive-Bildes.
10 zeigt ein perspektivisches Projektionsbild, das basierend auf einem von einem omni-direktionalen Sichtsensor eingefangenen Eingangsbild erzeugt wurde, wobei der omni-direktionale Sichtsensor an der Vorderseite eines die omni-direktionalen Sichtsensoren aufweisenden Autos angeordnet ist.
11 zeigt ein perspektivisches Projektionsbild, das basierend auf einem von einem omni-direktionalen Sichtsensor eingefangenen Eingangsbild erzeugt wurde, wobei der omni-direktionale Sichtsensor an der Rückseite des die omni-direktionalen Sichtsensoren aufweisenden Autos angeordnet ist.
12 zeigt eine schematische Ansicht mit Bereichen, in denen perspektivische Projektionsbilder eingefügt (kombiniert) werden während ein Vogelbildperspektive-Bild in einem Bildkombinationsschritt erzeugt wird.
13 zeigt eine schematische Ansicht eines vollständigen Vogelperspektive-Bildes.
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
Nachfolgend werden Ausführungsformen der Erfindung mit Bezug zu den Abbildungen beschrieben.
Eine erfindungsgemäße perspektivische Projektionsbilderzeugungsvorrichtung erzeugt ein perspektivisches Projektionsbild, das ein Projektionszentrum im Brennpunkt eines hyperboloiden Spiegels aufweist basierend auf Eingangsbilddaten, die von einem omni-direktionalen Sichtsensor unter Verwendung des hyperboloiden Spiegels erhalten wurden.
Zunächst wird der den hyperboloiden Spiegel verwendende omni-direktionale Sichtsensor unten stehend beschrieben.
Ein omni-direktionaler Sichtsensor, der einen hyperboloiden Spiegel verwendet, ist detailliert in JP 6-295333 beschrieben und deshalb wird hierin lediglich ein Merkmal eines derartigen omni-direktionalen Sichtsensors beschrieben.
1 zeigt ein Diagramm mit einem Aufbau einer optischen Vorrichtung des omni-direktionalen Sichtsensors. Wie in 1 gezeigt enthält die optische Vorrichtung des omni-direktionalen Sichtsensors einen hyperboloiden Spiegel 10. Der hyperboloide Spiegel 10 enthält einen Rotationskörper mit einer reflektierenden Oberfläche als dessen äußere umfangseitige Oberfläche. In 1 ist eine Rotationsachse des hyperboloiden Spiegels 10 in der z-Achse in einem dreidimensionalen Koordinatensystem (x, y, z) angeordnet. Der Brennpunkt Om des hyperboloiden Spiegels 10 liegt in der z-Achse. In Richtung des Brennpunkts Om emittiertes Licht des hyperboloiden Spiegels 10 wird von der reflektierenden Oberfläche des hyperboloiden Spiegels 10 reflektiert und in einem Punkt Oc in der z-Achse konzentriert. Der Punkt Oc entspricht dem weiteren Brennpunkt eines Hyperboloids aus zwei Seiten einschließlich des hyberboloiden Spiegels 10. Eine Linse 14 ist im Punkt Oc positioniert. Eine Bildebene 11, die eine Licht empfangende Oberfläche von z.B. einer Bildvorrichtung wie einer CCD, darstellt ist von der Linse 14 um den Brennpunkt f der Linse 14 senkrecht zur z-Achse angeordnet. Der Punkt Oc ist ein Linsen-Hauptpunkt der Linse 14.
Bei dieser optischen Vorrichtung sei von dem Punkt P einer tatsächlichen Raumebene 13 in Richtung des Brennpunkts Om des hyperboloiden Spiegels 10 emittiertes Licht betrachtet. Die tatsächliche Raumebene 13 enthält einen Punkt G, der vom Brennpunkt Om des hyperboloiden Spiegels 10 um einen Abstand D entfernt liegt, wobei die tatsächliche Raumebene 13 senkrecht zu einer sich vom Brennpunkt Om zum Punkt G (in einer Sichtrichtung) erstreckenden Geraden liegt. Der Punkt P wird durch (X, Y, Z) in x-y-z Axial-Koordinaten gekennzeichnet. Das vom Punkt P in Richtung des Brennpunkts Om emittierte Licht wird in Richtung des Linsen-Hauptpunkts Oc der Linse 14 mittels des hyperboloiden Spiegels 10 reflektiert, so dass die Linse 14 einen Bildpunkt p(x, y) auf der Bildebene 11 ausbildet. Das am Punkt p in der Bildebene 11 ausgebildete Bild wird ein Eingangsbild. In der optischen Vorrichtung ist der hyperboloide Spiegel 10 an der umfangseitigen Oberfläche eines Rotationskörpers um die z-Achse als Zentralachse angeordnet und folglich ist das Eingangsbild, das durch vom hyperboloiden Spiegel 10 reflektiertes Licht erzeugt wird, ein radialsymmetrisches Bild.
Die folgende Beschreibung betrifft ein perspektivisches Projektionsbild, welches durch Umwandlung von Teilinformation der Umgebung einer optischen Vorrichtung in eine perspektivische Projektion mit einem Projektionszentrum im Brennpunkt Om des hyperboloiden Spiegels 10 unter Verwendung eines Eingangsbildes erzeugt wird.
Man betrachte eine perspektivische Projektionsbildebene 12, welche einen Punkt g auf der Linie Om-G entlang einer Blickrichtung der tatsächlichen Raumebene 13 enthält, wobei die Projektionsbildebene 12 senkrecht zur Linie Om-G liegt. Der Punkt g in der perspektivischen Projektionsbildebene 12 ist vom Brennpunkt Om des hyperbiloiden Spiegels 10 um einen Abstand d entfernt, wobei die Projektionsbildebene 12 parallel zur tatsächlichen Raumebene 13 liegt. Falls kein Objekt vorhanden ist, welches Licht daran hindert sich zwischen der tatsächlichen Raumebene 13 und dem Brennpunkt Om auszubreiten und die perspektivische Projektionsbildebene 12 kein Projektionszentrum im Brennpunkt Om aufweist, wird vom Punkt P(X, Y, Z) emittiertes Licht auf den Projektionspunkt pt(tx, ty, tz) projiziert. Wie oben beschrieben bildet Licht im Punkt P(X, Y, Z) in der tatsächlichen Raumebene 13 ein Bild am Punkt p(x, y) in der Bildebene 11 aus und damit werden die Werte des Projektionspunktes pt(tx, ty, tz) basierend auf den Werten des Punktes p(x, y) bestimmt. Durch Berechnen jedes Wertes des Projektionspunktes in der perspektivischen Projektionsbildebene 12 aus Denjenigen der Bildebene 11 kann ein perspektivisches Projektionsbild mit einem Projektionszentrum im Brennpunkt Om erhalten werden.
In diesem Falle ist, wie in 1 gezeigt, ein Dreieck Om-g-pt durch eine Linie durch die Punkte g und pt in der perspektivischen Projektionsbildebene 12 sowie des Brennpunktes Om des hyperboloiden Spiegels 10 sowie ein Dreieck Om-G-P durch die Punkte G und P in der tatsächlichen Raumebene 13 und dem Brennpunkt Om des hyperboloiden Spiegels 10 ausgebildet, die eine gemeinsame entlang Om, g und G verlaufende Achse aufweisen. Die Dreiecke Om-g-pt und Om-G-P weisen einen gemeinsamen spitzen Winkel auf. Somit sind die Dreiecke Om-g-pt und Om-G-P ähnliche Dreiecke.
Folglich ist ein Verhältnis eines Abstandes zwischen den Punkten g und pt der perspektivischen Projektionsbildebene 12 zu einem Abstand zwischen den Punkten G und P der tatsächlichen Raumebene 13 durch ein Verhältnis d/D eines Abstandes zwischen dem Brennpunkt Om und dem Punkt g der perspektivischen Projektionsbildoberfläche 12 zu einem Abstand zwischen dem Brennpunkt Om und der tatsächlichen Raumebene 13 gegeben.
Falls das perspektivische Projektionsbild ein digitales Bild ist, ist es praktisch eine Größe des digitalen Bildes in der perspektivischen Projektionsbildebene 12 durch die Anzahl von Pixel des digitalen Bildes darzustellen. Ein Pixel stellt eine minimale Auflösungseinheit eines digitalen Bildes dar. Durch Darstellen des Abstands d zwischen der perspektivischen Projektionsbildebene 12 und dem Brennpunkt Om des hyperboloiden Spiegels 10 durch die Anzahl von Pixel und Darstellung eines Abstands zwischen zwei beliebigen Punkten in der tatsächlichen Raumebene 13 in Zentimeter (cm) kann das Abstandsverhältnis d/D durch [pixel/cm] gekennzeichnet werden, was damit einhergeht, dass die Anzahl der zur Darstellung eines Abstands eines Zentimeters in der tatsächlichen Raumebene erforderlichen Pixel d/D entspricht.
2 zeigt eine Ansicht einer Ebene entlang der z-Achse der optischen Vorrichtung des omni-direktionalen Sichtsensors aus 1.
Betrachtet man die optische Vorrichtung in der die z-Achse einschließenden Ebene wie in 2 gezeigt, wird ein Zusammenhang zwischen dem Einfallswinkel α von Licht 22, das in Richtung des Brennpunkts Om des hyperboloiden Spiegels 10 wandert und des Einfalls(Reflektions)-Winkels β vom Licht 23, das in Richtung eines Linsen-Hauptpunktes 21 reflektiert wird, durch den folgenden Ausdruck (1) unter Verwendung der Konstanten a, b und c zur Definition des hyperboloiden Spiegels 10 gekennzeichnet.
Gemäß dem Ausdruck (1) wird der Einfallswinkel β des reflektierten Lichtes 23 durch die Konstanten a, b und c zur Definition der Form des hyperboloiden Spiegels 10 und des Einfallswinkels α des Lichts 22 definiert.
Nachfolgend wird eine perspektivische Projektionsbilderzeugungsvorrichtung gemäß der Erfindung beschrieben, welche den oben erläuterten omni-direktionalen Sichtsensor verwendet.
In der erfindungsgemäßen perspektivischen Projektionsbilderzeugungsvorrichtung wird eine Größe eines ursprünglichen Bildes eines Zielobjekts zur Wiedergabe eines Zielobjekts in der tatsächlichen Raumebene 13 mit bekannter Größe vergrößert oder verkleinert oder es wird ein neues Bild zur Darstellung des Objekts unter Verwendung des Abstandsverhältnisses d/D erzeugt und ein maßstäbliches Modell des Zielobjekts wird mit einer zur Größe der perspektivischen Projektionsbildoberfläche 12 entsprechenden Größe erzeugt.
Dieses maßstäbliche Modell entspricht digitalen Bilddaten, die übereinstimmend mit einer zum Abstandsverhältnis d/D übereinstimmenden Größe erzeugt wurden um das Zielobjekt, welches eine bekannte Größe in der tatsächlichen Raumebene 13 einnimmt, in der perspektivischen Projektionsbildebene 12 darzustellen. Ist der omni-direktionale Sichtsensor beispielsweise in einem Auto angeordnet und das Zielobjekt entspricht einem Schatten des Autos in der Bodenebene, so kann ein örtlicher Zusammenhang zwischen dem Auto und Hindernissen in der Bodenebene durch Erzeugen von Bilddaten als eine Größe des Autos wiedergebendes maßstäbliches Modell erkannt werden.
3 zeigt ein Blockdiagramm zur Erläuterung eines schematischen Aufbaus der perspektivischen Projektionsbilderzeugungsvorrichtung gemäß der Erfindung. Eine omni-direktionale Sichtvorrichtung für ein in dieser Ausführungsform beschriebenes Auto weist einen omni-direktionalen Sichtsensor mit der in 1 gezeigten optischen Vorrichtung auf, die jeweils an der vorderen rechten und hinteren linken Seite eines Auto angeordnet sind und zur Bereitstellung einer Vogelperspektive des Autos dienen, um einen Fahrer beim Fahren des Autos zu unterstützt.
Wie in 3 gezeigt weist die perspektivische Projektionsbilderzeugungsvorrichtung gemäß der Erfindung auf: einen ersten omni- direktionalen Sichtsensor 31, einen zweiten omni-direktionalen Sichtsensor 32; eine Speichersektion 33 zum Speichern von Daten bezüglich des die omni-direktionalen Sichtsensoren beinhaltenden Autos und der ersten und zweiten omni-direktionalen Sichtsensoren 31 und 32; eine Eingangssektion 34 zur Eingabe einer Vielzahl von Daten; eine Anzeigesektion 35 zur Anzeige eines basierend auf Ausgaben der ersten und zweiten omni-direktionalen Sichtsensoren 31 und 32 erzeugten Bildes; einer Bilddatenspeichersektion 36 zum vorübergehenden Speichern von Daten, die von den ersten und zweiten omni-direktionalen Sichtsensoren 31 und 32 erhalten wurden; und eine Steuersektion 30 zum Steuern all dieser Komponenten der perspektivischen Projektionsbilderzeugungsvorrichtung.
Jede der oben beschriebenen Komponenten wird nachfolgend beschrieben.
4 zeigt eine schematische Ansicht eines die omni-direktionalen Sichtsensoren aufweisenden Autos gemäß der in 3 gezeigten Ausführungsform.
Wie in 4 gezeigt, ist der erste omni-direktionale Sichtsensor 31 an der rechten Vorderseite des Autos angeordnet, das die omni-direktionalen Sichtsensoren aufweist, so dass eine CCD (eine Bildebene) in vertikaler Richtung hinsichtlich der Bodenebene nach oben zeigt, eine gekrümmte Oberfläche eines hyperboloiden Spiegels des ersten omni-direktionalen Sichtsensors 31, die oberhalb der CCD Kamera angeordnet ist, in vertikale Richtung nach unten bezogen auf die Bodenebene zeigt und ein Abstand zwischen der Bodenebene und einem Brennpunkt des hyperboloiden Spiegels D1 entspricht. Der erste omni-direktionale Sichtsensor 31 erhält Daten eines an der rechten Vorderseite des Autos eingefangenen Bildes als erste Eingangsbilddaten.
Der zweite omni-direktionale Sichtsensor 32 ist an der linken Rückseite des Autos derart befestigt, dass eine CCD Kamera (eine Bildebene) in vertikale Richtung nach unten bezogen auf die Bodenebene zeigt, eine gekrümmte Oberfläche des hyperboloiden Spiegels des zweiten omni-direktionalen Sichtsensors 32, die oberhalb der CDD Kamera angeordnet ist, in vertikale Richtung nach unten bezüglich der Bodenebene zeigt und ein Abstand zwischen der Bodenebene und einem Brennpunkt des hyperboloiden Spiegels D2 entspricht. Der zweite omni-direktionale Sichtsensor 32 er hält Daten eines an der linken Rückseite des Autos eingefangenen Bildes als zweite Eingangsbilddaten.
Die Speichersektion 33 ist eine magnetische Speichervorrichtung wie eine magnetische Platte oder ein wieder beschreibbarer nicht-flüchtiger Speicher, etc. und speichert Information, welche zur Erzeugung eines maßstäblichen Modells des die omni-direktionalen Sichtsensoren aufweisenden Autos verwendet wird und als Vogelperspektive-Bild dargestellt wird, wie Bilddaten des die omni-direktionalen Sicht-Sensoren enthaltenden Autos, Werte von tatsächlicher Breite und Gesamtlänge des Autos, Abstand D1 von der Bodenebene zum Brennpunkt des hyperboloiden Spiegels des ersten omni-direktionalen Sichtsensors und Abstand D2 von der Bodenebene zum Brennpunkt des hyperboloiden Spiegels des zweiten omni-direktionalen Sichtsensors 32. Bei dieser Ausführungsform wird ein maßstäbliches Modell des Autos durch Vergrößern oder Verkleinern einer Größe eines Bildes des Autos basierend auf oben beschriebener Information erzeugt. Um demnach ein anschauliches maßstäbliches Modell zu erzeugen weist die Speichersektion 33 vorzugsweise ausreichend Speicherkapazität zum Speichern einer großen Datenmenge hinsichtlich eines Bildes des Autos auf. Diese das Auto betreffenden Bilddaten können ebenso durch Verwenden eines Grafikhilfswerkzeuges erzeugt werden oder es kann ein über eine Digitalkamera oder desgleichen von unmittelbar oberhalb des Autos eingefangenes Bild des Autos verwendet werden.
Die Eingangssektion 34 enthält eine Nutzer-Schnittstelle wie eine Tastatur, eine Maus, eine Fernsteuerung oder eine Tast-Konsole, durch welche ein Fahrer Befehle während des Fahrens des Autos bereitstellen kann, z.B. durch Drücken einer Taste oder desgleichen um eine Variable zum Vergrößern oder Verkleinern eines angezeigten Bildes auszuwählen, einen Maßstab/Gauge-Modell auszuwählen, eine Anzeige/ausgeschaltete Anzeige des Maßstabs/Gauge-Modells festzulegen und eine Anzeige/ausgeschaltete Anzeige einer Grenzlinie zwischen den ersten und zweiten omni-direktionalen Sichtsensoren 31 und 32 festzulegen.
Die Bilddatenspeichersektion 36 ist ein Speicher zum vorübergehenden Speichern von z.B. Eingangsbilddaten, die von den ersten und zweiten omni-direktionalen Sichtsensoren 31 und 32 erhalten werden und diese weist erste bis siebente Speicherbereiche, d.h. Speicherbereiche 36a bis 36g wie in 3 gezeigt, auf.
Der erste Speicherbereich 36a speichert die ersten Eingangsbilddaten hinsichtlich der Umgebung der rechten Vorderseite des Autos, die vom ersten omni-direktionalen Sichtsensor 31 eingehen. Der zweite Speicherbereich 36b speichert zweite Eingangsbilddaten hinsichtlich der Umgebung der linken Rückseite des Autos, die vom zweiten omni-direktionalen Sichtsensor 32 eingehen.
Der dritte Speicherbereich 36c speichert erste perspektivische Projektionsbilddaten, die durch Umwandeln der in dem ersten Speicherbereich 36a gespeicherten ersten Eingangsbilddaten in perspektivische Projektionsbilddaten erzeugt werden. Der vierte Speicherbereich 36d speichert zweite perspektivische Projektionsbilddaten, die durch Umwandeln der zweiten im zweiten Speicherbereich 36b gespeicherten Eingangsbilddaten in perspektivische Projektionsbilddaten erzeugt werden.
Der fünfte Speicherbereich 36e speichert Bilddaten hinsichtlich eines maßstäblichen Modells des Autos, die durch Vergrößern oder Verkleinern einer Größe der in der Speichersektion 33 gespeicherten Bilddaten des Autos erzeugt werden.
Der sechste Speicherbereich 36f speichert Bilddaten eines Maßstabs/Gauge-Modells zur Darstellung eines Maßstabs eines Bildes bezüglich der Bodenebene.
Der siebente Speicherbereich 36g speichert kombinierte Bilddaten, die durch Kombinieren der in dem dritten Speicherbereich 36c gespeicherten ersten perspektivischen Projektionsbilddaten, der in dem vierten Speicherbereich 36d gespeicherten zweiten perspektivischen Projektionsbilddaten und des in dem fünften Speicherbereich 36e gespeicherten maßstäblichen Modells des Autos erzeugt werden. Falls der Fahrer die Eingangssektion 34 zur Auswahl der Anzeige des in dem sechsten Speicherbereich 36f gespeicherten Maßstabs/Gauge-Modells verwendet gilt zu beachten, dass der in der sechsten Speicherbereich 36f gespeicherte Maßstab/Gauge-Modell in dem siebenten Speicherbereich 36g zusammen mit den kombinierten Bilddaten gespeichert wird.
Die Anzeigesektion 35 stellt eine Anzeigevorrichtung wie eine Flüssigkristallanzeige zur Verwendung in einem Autonavigationssystem, etc. dar und zeigt ein durch die kombinierten Bilddaten gebildetes Bild an.
Die Steuersektion 30 ist ein Computer, der ein Programm zur Erzeugung einer Vogelperspektiveansicht (hierin als „Vogelperspektive-Erzeugungsprogramm 50" bezeichnet) speichert und steuert die oben beschriebenen Komponenten der omni-direktionalen Sichtvorrichtung basierend auf dem gespeicherten Vogelperspektive-Erzeugungsprogramm 50.
Das Vogelperspektive-Erzeugungsprogramm 50, welches in der Steuersektion 30 gespeichert ist, wird weiter unten beschrieben.
5 ist eine Ansicht zur Darstellung eines schematischen Aufbaus des Vogelperspektive-Erzeugungsprogramms 50, das in der Steuersektion 30 gespeichert ist.
Das Vogelperspektive-Erzeugungsprogramm 50 führt einen Bildumwandlungsschritt 51, einen Vergrößerungs-/Verkleinerungs-Schritt 52, einen Maßstabs-Erzeugungsschritt 53 und einen Bildkombinationsschritt 54 mit den in der Bilddatenspeichersektion 36 und der Speichersektion 33 gespeicherten verschiedenen Bilddaten durch.
Bei dem Bildumwandlungsschritt 51 werden perspektivische Projektionsbilddaten basierend auf den ersten Eingangsdaten erzeugt, welche von dem ersten omni-direktionalen Sichtsensor 31 erhalten werden und in den ersten Speicherbereichen 36a der Bilddatenspeichersektion 36 gespeichert werden und die erzeugten perspektivischen Projektionsbilddaten werden in dem dritten Speicherbereich 36c der Bilddatenspeichersektion 36 gespeichert. Ebenso werden verschiedene perspektivische Projektionsbilddaten basierend auf den zweiten Eingangsbilddaten erzeugt, welche von dem zweiten omni-direktionalen Sichtsensor 32 erzeugt werden und in den zweiten Speicherbereichen 36b der Bilddatenspeichersektion 36 gespeichert werden und die erzeugten perspektivischen Projektionsbilddaten werden in den vierten Speicherbereich 36d der Bilddatenspeichersektion 36 gespeichert. Ein Algorithmus zur Erzeugung der perspektivischen Projektionsbilddaten im Bildumwandlungsschritt 51 ist in JP 6-29533 beschrieben, weshalb auf eine detaillierte Beschreibung hiervon verzichtet wird.
Bei dem Vergrößerungs-/Verkleinerungsschritt 52 liest die Steuersektion 30 ursprüngliche das Auto mit den omni-direktionalen Sichtsensoren betreffende Bilddaten von der Speichersektion 33 aus und speichert die Daten in dessen Speicher. Ein maßstäbliches Modell des Autos wird durch Vergrößern/Verkleinern einer Größe des ursprünglichen Bildes des Autos erzeugt. Das erzeugte maßstäbliche Modell des Autos wird in dem fünften Speicherbereich 36e der Bilddatenspeichersektion 35 gespeichert. Ein zur Erzeugung dieses maßstäblichen Modells verwendeter Algorithmus geht auf ein herkömmliches und weit verbreitetes Bilderzeugungsverfahren wie etwa eine Vergrößerungstechnik zurück, die eine lineare Interpolationsmethode von Zwischenpixel und ein Verkleinerungsverfahren, das Pixelwerte verkleinert oder reduziert verwendet.
In dem Maßstabs-Erzeugungsschritt 53 werden Bilddaten für einen Maßstab/Gauge-Modell mit vorgegebener Länge von z.B. 1 m oder 4 m in einem Bild in eine Länge eines vorgegebenen Maßstabs vergrößert/verkleinert. Die erzeugten Maßstabs-Modellbilddaten werden in dem sechsten Speicherbereich 36f der Bilddatenspeichersektion 36 gespeichert. Werden beispielsweise Informationen hinsichtlich eines örtlichen Zusammenhangs zwischen einem die omni-direktionalen Sichtsensoren aufweisenden Auto und einem an einer rechten oder linken Seite des Autos angeordneten Zielobjekt angefordert, so werden die Maßstabs-Modellbilddaten als Streifen von Bilddaten mit voller Farbtiefe (24-Bit) mit einer 1 m oder 4 m entsprechenden Länge und einer beliebigen Breite erzeugt.
Bei dem Bildkombinationsschritt 54 wird ein Vogelperspektive-Bild durch Kombinieren der in dem dritten Speicherbereich 36c gespeicherten ersten perspektivischen Projektionsbilddaten, den in dem vierten Speicherbereich 36d gespeicherten zweiten perspektivischen Projektionsbilddaten, in dem fünften Speicherbereich 36e gespeicherten Bilddaten hinsichtlich des maßstäblichen Modells des Autos und den in dem sechsten Speicherbereich 36f gespeicherten Bilddaten hinsichtlich des Maßstabs/Gauge-Modells erzeugt. Die erzeugte Vogelperspektive wird in dem siebenten Speicherbereich 36d der Bilddatenspeichersektion 36 gespeichert. Für das Vogelperspektive-Bild erzeugte Bilddaten werden an die Anzeigevorrichtung 35 gesendet und das Vogelperspektive-Bild wird über die Anzeigesektion 35 angezeigt.
Nachfolgend wird ein Verfahren zum Erzeugen des maßstäblichen Modells und Maßstabs/Gauge-Modells unter Verwendung des omni-direktionalen Sichtsensors gemäß der Erfindung detailliert beschrieben.
6 zeigt eine perspektivische Ansicht eines Zusammenhangs zwischen dem Brennpunkt Om des hyperboloiden Spiegels 10 des ersten omni-direktionalen Sichtsensors 31 hinsichtlich einer perspektivischen Projektionsbildebene 61 und einer tatsächlichen Bodenebene 62. Bei dieser Ausführungsform entsprechen die in 1 gezeigten Geraden Om-G und Om-g der z-Achse und er erste omni-direktionale Sensor 31 ist senkrecht zur Bodenebene 62 angeordnet, so dass ein Neigungswinkel einer XY Ebene einschließlich des Brennpunktes Om als dessen Zentrum hinsichtlich der Bodenebene 62 0° beträgt. Ebenso entspricht ein Verkippungswinkel 63 zwischen der Geraden Om-g, welche eine vertikale Achse bezüglich der perspektivischen Projektionsbildebene 61 darstellt, und der XY Ebene –90°, so dass die erzeugte perspektivische Projektionsbildebene 61 parallel zur Bodenebene 62 liegt. Bei einem auf diese Weise angeordneten omni-direktionalen Sichtsensor beträgt ein Abstand zwischen der perspektivischen Projektionsbildebene 61 und dem Brennpunkt Om der hyperboloiden Spiegels 10 d1 und ein Abstand zwischen der Bodenebene 62 und dem Brennpunkt Om des hyperboloiden Spiegels 10, d.h. eine Höhe bei der der Brennpunkt Om bezogen auf die Bodenebene 62 angeordnet ist, beträgt D1. Der Abstand D1 wird durch Messen einer Höhe berechnet, bei der der erste omni-direktionale Sichtsensor 31 an dem Auto bezogen auf die Bodenebene 62 befestigt ist. Der Abstand D1 wird in der Speichersektion 33 gespeichert und von der Steuersektion 30 ausgelesen. Eine Abstandseinheit d1 wird durch die Anzahl von Pixel wiedergegeben. Eine Einheit von D1 wird in Zentimeter (cm) wiedergegeben. Der Abstand d1 wird als Parameter beim Heranzoomen oder Herauszoomen eines Bildes unter Verwendung der Eingangssektion 34 verwendet.
Wie oben beschrieben ähneln sich die perspektivische Projektionsbildebene 61 und die Bodenebene 62 und deshalb ist n1 im Falle, dass ein Verhältnis d1/D1 eines Abstands d1 zum Abstand D1 n1 entspricht, durch folgenden Ausdruck (2) gegeben.
wobei n1 die Anzahl der zur Anzeige einer 1 cm auf der Bodenebene 62 entsprechenden Länge in der perspektivischen Projektionsbildebene 61 erforderlichen Pixel darstellt.
7 zeigt eine Aufsicht auf eine tatsächliche Größe 70 des die omni-direktionalen Sichtsensoren enthaltenden Autos, auf eine Größe 71 eines ursprünglichen Bildes des in der Speichersektion 33 gespeicherten Autos und auf das maßstäbliche Modell 72 des Autos basierend auf dem ursprünglichen Bild 71. Wird die tatsächliche Größe 70 des Autos durch W0 (Breite) × L0 (Gesamtlänge) dargestellt, werden die Werte von W0 und L0, die in einer Einheit von cm wiedergegeben werden, in der Speichersektion 33 gespeichert.
Mit dem Ausdruck (2) werden die Breite W2 und Gesamtlänge L2 des maßstäblichen Modells des Autos, das durch eine Einheit der Anzahl von Pixel wiedergegeben wird, jeweils durch die folgenden Ausdrücke (3) und (4) berechnet. Eine Bildgröße des maßstäblichen Modells 72, das durch Vergrößern/Verkleinern der Größe der perspektivischen Projektionsbildebene 61 erzeugt wird, wird durch W2 × L2 wiedergegeben. W2 = W0 × n1 (3) L2 = L0 × n1 (4).
Im Falle, dass die Bildgröße des in der Speichersektion 33 gespeicherten ursprünglichen Bildes 71 W1 × L1 entspricht, ist es erforderlich die Größe des ursprünglichen Bildes 71 so zu vergrößern/zu verkleinern, dass diese mit der Größe des maßstäblichen Modells 72 des Autos, d.h. W2 × L2 übereinstimmt. Ein Vergrößerungsverhältnis entlang der Breitenrichtung des maßstäblichen Modells 72 zum ursprünglichen Bild 71 entspricht W2/W1 und ein Vergrößerungsverhältnis entlang der Längenrichtung des maßstäblichen Modells 72 zum ursprünglichen Bild 71 entspricht L2/L1.
Gemäß dieser Ausführungsform werden in dem Bildvergrößerungs-/Verkleinerungsschritt 52 das ursprüngliche Bild 71 in ein vergrößertes oder verkleinertes Bild mit einer Größe W2 × L2 umgewandelt und dieses vergrößerte/verkleinerte Bild wird als maßstäbliches Modell in der perspektivischen Projektionsbildeben 61 verwendet.
Als nächstes wird ein Verfahren zum Erzeugen eines Maßstabs/Gauge-Modells beschrieben. Bei dieser erfindungsgemäßen Ausführungsform werden die Erzeugung von Ein-Meter und Vier-Meter Maßstäben/Gauge-Modellen beschrieben.
Die Anzahl von Pixel in der perspektivischen Projektionsbildebene 61, die den entsprechenden Längen von 1 m und 4 m in der Bodenebene 62 in 6 entsprechen, werden durch die Ausdrücke (5) und (6) wiedergegeben. 1 m = n1 × 100 (5) 4 m = n1 × 400 (6)
8 zeigt ein Vier-Meter Maßstab/Gauge-Modell, der gemäß dem Ausdruck (6) erzeugt wurde. Dieser Vier-Meter Maßstab weist eine Länge von n1 × 400 [Pixel] auf und Intervalle von einem Meter sind durch Markierungen gekennzeichnet.
Nachfolgend wird die perspektivische Projektionsbilderzeugungsvorrichtung dieser Ausführungsform mit Bezug zu einem in 9 gezeigten Programmflussdiagramm beschrieben.
In Schritt 1 wird ermittelt, ob das maßstäbliche Modell des die omni-direktionalen Sichtsensoren enthaltenden Autos notwendigerweise geändert werden muss oder nicht. Falls eine Änderung des maßstäblichen Modells des Autos als erforderlich ermittelt wird, werden in Schritt 2 Werte der Breite und Länge des Autos bezüglich eines tatsächlichen Maßstabs, Bilddaten für das Auto und der Abstand D1 zwischen der Bodenebene und einem Brennpunkt eines hyperboloiden Spiegels mit zwei Seiten des ersten omni-direktionalen Sichtsensors 31 aus der Speichersektion 33 ausgelesen und in die Steuersektion 30 eingespeist. In der Steuersektion 30 wird der Vergrößerungs-/Verkleinerungsschritt 52 (5) zur Erzeugung eines maßstäblichen Modells des Bildes des Autos durchgeführt. Das erzeugte maßstäbliche Modell wird in den fünften Speicherbereich 36e der Bilddatenspeichersektion 36 gespeichert.
Nachfolgend wird in Schritt 3 die Anzahl von Pixel eines Ein-Meter oder Vier-Meter Maßstabs/Gauge-Modells unter Verwendung der Ausdrücke (5) oder (6) berechnet und Bitdaten des Maßstabs erzeugt und in dem sechsten Speicherbereich 36f der Bilddatenspeichersektion 36 gespeichert.
In beiden Fällen, bei welchen es erforderlich ist oder nicht das maßstäbliche Modell zu ändern, liest die Steuersektion 30 in Schritt 4 erste von dem ersten omni-direktionalen Sichtsensor 31 erhaltene Eingangsbilddaten von dem Speicherbereich 36a der Bilddatenspeichersektion 36 aus und der Bildumwandlungsschritt 51 (5) wird derart ausgeführt, dass erste perspektivische Projektionsbilddaten basierend auf den ersten Eingangsbilddaten erzeugt werden. Die erzeugten ersten perspektivischen Projektionsbilddaten werden in dem dritten Speicherbereich 36c der Bilddatenspeichersektion 36 gespeichert.
10 zeigt eine schematische Darstellung eines perspektivischen Projektionsbildes 100, das basierend auf einem mit dem ersten omni-direktionalen Sichtsensor 31 eingefangenen Eingangsbild erzeugt wurde. In 10 wird ein auf den hyperboloiden Spiegel des ersten omni-direktionalen Sichtsensor 31 projiziertes Bild 101 einer CCD Kamera auf das perspektivische Projektionsbild 100 projiziert und ein Zentrum des Bildes 101 der CCD Kamera entspricht dem Punkt g in 1.
In dem Bildumwandlungsschritt 51 (5) werden die ersten Eingangsbilddaten in erste perspektivische Projektionsbilddaten umgewandelt, so dass eine Koordinate im Zentrum des Bildes 101 der CCD Kamera rechts vom zentralen Punkt OC des ersten perspektivischen Projektionsbildes um W2/2 verschoben, was einer Hälfte der Breite im maßstäblichen Modell des Autos entspricht, und diese wird nach oben bezüglich eines zentralen Punktes OC des ersten perspektivischen Projektionsbildes und L2/2 verschoben, was einer Hälfte der Gesamtlänge des maßstäblichen Modells des Autos entspricht. Obwohl der ersten omni-direktionale Sichtsensor 31 am die omni-direktionalen Sichtsensoren enthaltenden Auto mit einem dem rechten Vorderseitenende des Autos entsprechenden Brennpunkt angeordnet ist, ist es im Falle, dass der erste omni-direktionale Sichtsensor 31 mit dessen Brennpunkt entfernt von dem rechten Vorderseitenende des Autos angeordnet ist erforderlich, einen Abstand (cm) vom rechten Vorderseitenende des Autos zum ersten omni-direktionalen Sichtsensor entsprechend dem Ausdruck (2) zu berechnen, so dass der Abstand durch die Anzahl der Pixel wiedergeben wird.
In dem perspektivischen Projektionsbild 100 in 10 entspricht ein unterhalb und links des Kamerabildes 101 angeordneter Bereich (d.h. die schraffierte Fläche in 10) einem Schatten des Autos und deshalb wird die Bodenebene in diesem Bereich nicht als Bild gekennzeichnet.
Mit erneutem Bezug zu 9 in Schritt 5 liest die Steuersektion 30 die zweiten Eingangsbilddaten, die vom zweiten omni-direktionalen Sichtsensor 32 erhalten werden, aus dem zweiten Speicherbereich 36b der Bilddatenspeichersektion 36 aus und der Bildumwandlungsschritt 51 wird zum Erzeugen der zweiten perspektivischen Projektionsbilddaten basierend auf den zweiten Eingangsbilddaten ausgeführt. Die erzeugten zweiten perspektivischen Projektionsbilddaten werden in dem vierten Speicherbereich 36d der Bilddatenspeichersektion 36 gespeichert.
11 zeigt eine schematische Ansicht eines perspektivischen Projektionsbildes 110, das basierend auf einem vom zweiten omni-direktionalen Sichtsensor 32 eingefangenen Eingangsbild erzeugt wurde. In 11 wird ein auf den hyperboloiden Spiegel des zweiten omni-direktionalen Sichtsensors 32 projiziertes Bild 111 einer CCD Kamera auf das entsprechende perspektivische Projektionsbild 110 projiziert und ein Zentrum des Bildes 111 der CCD Kamera entspricht dem Punkt g in 1.
Bei dem Bildumwandlungsschritt 51 (5) werden die zweiten Eingangsbilddaten in die zweiten perspektivischen Projektionsbilddaten umgewandelt, so dass eine Koordinate im Zentrum des Bildes 111 der CCD Kamera nach links vom zentralen Punkt OC des zweiten perspektivischen Projektionsbildes um W2/2 verschoben wird, was einer Hälfte der Breite des maßstäblichen Modells des Autos entspricht und dieses wird ebenso nach unten bezüglich des zentralen Punktes OC des zweiten perspektivischen Projektionsbildes um L2/2 verschoben, was einer Hälfte der Gesamtlänge des maßstäblichen Modells des Autos entspricht. Obwohl der zweite omni-direktionale Sichtsensor 32 an dem die omni-direktionalen Sichtsensoren enthaltenden Auto mit einem dem linken Rückseitenende des Autos entsprechenden Brennpunkt angeordnet ist, ist ein Abstand (cm) vom linken Rückseitenende des Autos zum zweiten omni-direktionalen Sichtsensor 32 notwendigerweise gemäß dem Ausdruck (2) zu berechnen, so dass der Abstand durch die Anzahl der Pixel wiedergegeben wird.
Bei dem perspektivischen Projektionsbild 110 in 11 entspricht ein Bereich oberhalb und rechts von dem Kamerabild 111 (d.h. der schat tierten in 11 gezeigten Fläche) einem Schatten des Autos und deshalb wird die Bodenebene in diesem Bereich nicht als Bild gekennzeichnet.
Wie oben beschrieben wird beim Durchführen der Bildumwandlung der ersten und zweiten Eingangsbilder das maßstäbliche Modell des Autos basierend auf dem Abstand d1 zwischen der ersten perspektivischen Projektionsbildebene des ersten omni-direktionalen Sichtsensors 31 und dem Brennpunkt Om des hyperboloiden Spiegels berechnet. Daraufhin wird ein Abstand zwischen dem Brennpunkt Om des hyperboloiden Spiegels des zweiten omni-direktionalen Sichtsensors 32 und der zweiten perspektivischen Projektionsbildebene basierend auf dem erzeugten maßstäblichen Modell des Autos ermittelt. Entspricht ein Abstand der in dem zweiten omni-direktionalen Sichtsensor 32 erzeugten perspektivischen Projektionsbildebene zur Bodenebene n2, wird der folgende durch Ausdruck (7) wiedergegebene Zusammenhang gebildet.
Im Ausdruck (7) entspricht ein Abstand zwischen dem Brennpunkt des hyperboloiden Spiegels und der (zweiten) perspektivischen Projektionsbildebene d2 und ein Abstand zwischen der Bodenebene und dem Brennpunkt des hyperboloiden Spiegels entspricht D2. Der Abstand D2 ist eine Konstante, die durch eine Position festgelegt wird, bei welcher der zweite omni-direktionale Sichtsensor 32 am Auto angeordnet ist und die Konstante wird im Speicherbereich 33 im voraus gespeichert.
Da der Abstand D2 einer Konstante entspricht, wird der Abstand d2 zwischen dem Brennpunkt des hyperboloiden Spiegels und der perspektivischen Projektionsbildebene gemäß dem nachfolgenden Ausdruck (8) berechnet. Die Steuersektion 30 führt den Bildumwandlungsschritt 51 (5) zum Erzeugen der zweiten perspektivischen Projektionsbilddaten basierend auf dem berechneten Abstand d2 durch. d2 = D2 × n1 (8)
Mit erneutem Bezug zu 9 führt die Steuersektion 30 in Schritt 6 den Bildumwandlungsschritt 54 (5) zur Erzeugung eines Vogelperspektive-Bildes mit einer schematischen Überkopf-Ansicht des Autos durch. Das erzeugte Vogelperspektive-Bild wird in den siebenten Speicherbereich 36g der Bilddatenspeichersektion 36 gespeichert.
12 zeigt ein schematisches Vogelperspektive-Bild, das im Bildkombinationsschritt 54 erzeugt wurde.
Im Bildkombinationsschritt 54 wird das in dem fünften Speicherbereich 36e der Bilddatenspeichersektion 36 gespeicherte maßstäbliche Modell des Autos an einem Zentrum des Vogelperspektive-Bildes eingesetzt (kombiniert). Das erste perspektivische Projektionsbild, das das auf den von dem ersten omni-direktionalen Sichtsensor 31 eingefangenen Eingangsbilddaten basiert, d.h. die ersten perspektivischen Projektionsbilddaten entsprechend dem ersten Bereich 121, wird teilweise in einen in 12 gezeigten ersten Bereich 121 eingefügt. Weiter werden die zweiten perspektivischen Projektionsbilddaten basierend auf den von dem zweiten omni-direktionalen Sichtsensor 32 eingefangenen Eingangsbilddaten, d.h. die zweiten perspektivischen Projektionsbilddaten entsprechend dem zweiten Bereich 122, teilweise in einen in 12 gezeigten zweiten Bereich 122 eingesetzt.
Entweder die ersten perspektivischen Projektionsbilddaten basierend auf den von dem ersten omni-direktionalen Sichtsensor 31 eingefangenen Eingangsbilddaten oder die zweiten perspektivischen Projektionsbilddaten basierend auf den vom zweiten omni-direktionalen Sichtsensor 32 eingefangenen Eingangsbilddaten, d.h. entweder die ersten perspektivischen Projektionsbilddaten entsprechend dem ersten Bereich 121 oder die zweiten perspektivischen Projektionsbilddaten entsprechend dem zweiten Bereich 122 werden in die in 12 gezeigten dritten und vierten Bereiche 123 und 124 eingefügt. Alternativ hierzu wird ein Hintergrundbild in die dritten und vierten Bereiche 123 und 124 eingefügt.
Möchte ein Fahrer des Autos ein Maßstab/Gauge-Modell auf dem Monitor anzeigen, so betreibt der Fahrer die Eingangssektion 34 zur Eingabe von Bilddaten des im sechsten Speicherbereich 36f der Bilddatenspeichersektion 36 gespeicherten Bilddaten des Maßstabs/Gauge-Modells in die Steuersektion 30 und ermöglicht der Steuersektion 30 den Bildkombinationsschritt 54 durchzuführen, so dass der Maßstab in das Vogelperspektive-Bild eingefügt (kombiniert) wird.
In diesem Falle kann der Maßstab beliebig in dem Vogelperspektive-Bild angezeigt werden und eine Position des Maßstabs kann beliebig durch Betreiben der Eingangssektion 34 geändert werden. Ebenso kann eine Richtung des Maßstabs frei über die Eingangssektion 34 verändert werden.
13 zeigt eine schematische Ansicht eines vollständigen Vogelperspektive-Bildes 130, das mit dem oben beschriebenen Verfahren erstellt wurde. Das Vogelperspektive-Bild 130 wird in den siebenten Speicherbereich 36g der Bilddatenspeichersektion 36 gespeichert und auf einen Anzeigeschirm (Monitor) durch die Anzeigesektion 35 angezeigt. Durch Beteiben der Eingangssektion 34 wird es möglich, den Maßstab 131 im Vogelperspektive-Bild 130 als auch eine Grenze 132 zwischen einem vom ersten omni-direktionalen Sichtsensor 31 eingefangenen Bild und einem vom zweiten omni-direktionalen Sichtsensor 32 eingefangenen Bild anzuzeigen.
Durch Wiederholen der Schritte 1 bis 6 in 9 werden die Vogelperspektive-Bilder wie in 13 gezeigt erfolgreich erzeugt, d.h. das erzeugte Vogelperspektive-Bild variiert mit der Zeit und diese werden nacheinander auf einem Anzeigeschirm dargestellt. Somit kann ein Fahrer des Autos präzise die Umgebung des Autos in Echtzeit erfassen indem er das Vogelperspektive-Bild betrachtet.
Treten während des Durchlaufens des Ablaufdiagramms in 9 keine Änderungen in den Parametern aufgrund von Heranzoomen/Herauszoomen, etc. auf, ist es nicht erforderlich das maßstäbliche Modell des Autos jedes Mal beim Erzeugen des perspektivischen Projektionsbildes zu ändern. Folglich fährt der Ablauf mit Schritt 4 fort, bei welchem das perspektivische Projektionsbild erzeugt wird ohne Durchführen des Schrittes 2, bei welchem das maßstäbliche Modell des Autos erzeugt wird, und Schritt 3, bei welchem der Maßstab/das Gauge-Modell erzeugt wird.
Die Steuersektion 30 gemäß der Ausführungsform der Erfindung führt die programmierten Schritte 51 bis 54 der entsprechenden Bildumwandlung, Bildvergrößerung/Verkleinerung, Maßstabs-Erzeugung und Bildkombination durch. Durch Erstellen von Hardware wie geeigneten ICs zur Durchführung der programmierten Schritte 51 bis 54 oder durch Verwenden eines computerlesbaren Aufzeichnungsmediums, welches ein Programm zum Durchführen der Schritte 51 bis 54 gespeichert hat, lässt sich eine Bearbeitungsgeschwindigkeit der Schritte erheblich verbessern, weshalb dem Fahrer ein Vogelperspektive-Bild konstant und stabil in Echtzeit bereitgestellt werden kann.
Die perspektivische Projektionsbilderzeugungsvorrichtung gemäß der Erfindung lässt sich zum Erzeugen einer Vogelperspektive eines Überwachungssystems für einen mobilen Körper verwenden, wie in JP 2001-331789 offenbart ist. Bei der perspektivischen Projektionsbilderzeugungsvorrichtung der Erfindung wird beispielsweise beim Zurücksetzen (Rückwärtsfahren) eines die omni-direktionalen Sichtsensoren aufweisenden Autos das Auto im Rückwärtsgang betreffende Information an die Steuersektion zum Steuern der Haupt-Verarbeitung im Auto gesendet und die Steuersektion reagiert auf die Information und beurteilt ob das Auto in einem Rückwärtsgang ist oder nicht und die Verarbeitung durch die Steuersektion wird von der Haupt-Verarbeitungsroutine in die Vogelperspektive-Verarbeitungsroutine verschoben. In diesem Falle kann der Fahrer die Eingangssektion gemäß eigener Beurteilung betreiben und Information zur Anweisung der Steuersektion zur Anzeige eines Vogelperspektive-Bildes eingeben, so dass der Betrieb der Steuersektion von der Haupt-Verarbeitungsroutine in die Vogelperspektive-Verarbeitungsroutine wechselt.
Wie oben beschrieben gibt die Erfindung eine perspektivische Projektionsbilderzeugungsvorrichtung an, in der ein maßstäbliches Modell eines Zielobjekts, welches einer Größe eines perspektivischen Projektionsbildes entspricht, durch Verwenden eines Verhältnisses eines Abstands zwischen einem Brennpunkt einer optischen Vorrichtung einschließlich eines hyperboloiden Spiegels und einer Oberfläche des Zielobjekts zu einem Abstand zwischen dem Brennpunkt des hyperboloiden Spiegels und einer perspektivischen Projektionsbildebene angegeben wird und das maßstäbliche Modell zusammen mit dem perspektivischen Projektionsbild angezeigt wird, so dass der Fahrer örtliche Zusammenhänge zwischen dem Auto und Zielobjekten, ein Abstand vom Auto zu den Zielobjekten, etc. leicht wahrnehmen kann. Wird beispielsweise die perspektivische der Erfindung in einer omni-direktionalen Sichtvorrichtung zur Verwendung in einem Auto eingesetzt, wobei die perspektivische Projektionsbilddatenerzeugungsvorrichtung einen Fahrer des Autos unterstützt, so ist es möglich die Belastung eines Fahrers beim Parken des Autos oder beim Fahren durch enge Straßen zu mindern.

Claims

Perspektivische Projektionsbilderzeugungsvorrichtung mit: einer optischen Vorrichtung mit einem hyperboloiden Spiegel, der eine hyperboloide Form auf einer Seite eines zweiseitigen Hyperboloids aufweist; einer Licht empfangenden Bildgebungssektion zum Erzeugen von Eingangsbilddaten, wobei das Licht von einer dem hyperboloiden Spiegel gegenüberliegenden Linse konzentriert wird; einer Bildumwandlungssektion zum Umwandeln von Eingangsbilddaten der Bildgebungssektion in Bilddaten einer perspektivischen Projektion mit einem Projektionszentrum im Brennpunkt des hyperboloiden Spiegels; einer Erzeugungssektion eines maßstäblichen Modells zum Umwandeln von Bilddaten für ein Objekt in einer Objektebene, die senkrecht zu einer durch einen Brennpunkt des hyperboloiden Spiegels sich ersteckenden Linie liegt, in Bilddaten eines maßstäblichen Modells des Objekts basierend auf einem Verhältnis eines Abstands zwischen dem Brennpunkt des hyperboloiden Spiegels und der Objektebene zu einem Abstand zwischen dem hyperboloiden Spiegel und einer perspektivischen Projektionsbildebene derart, dass eine Größe des maßstäblichen Modells des Objekts demjenigen des Objekts in einem perspektivischen Projektionsbild entspricht; einer Bildkombinationssektion zum Erzeugen von kombinierten Bilddaten, welche durch Kombinieren der perspektivischen Projektionsbilddaten und der Bilddaten des maßstäblichen Modells erzeugt werden; einer Anzeigesektion zum Anzeigen der kombinierten Bilddaten.
Perspektivische Projektionsbilderzeugungsvorrichtung nach Anspruch 1, wobei die Objektebene eine Bodenebene ist.
Perspektivische Projektionsbilderzeugungsvorrichtung nach Anspruch 1, wobei der Abstand zwischen dem Projektionszentrum und der perspektivischen Projektionsbildebene durch die Anzahl von Pixel gegeben ist, wobei jeder Pixel eine minimale Auflösungseinheit eines Bildes darstellt.
Perspektivische Projektionsbilderzeugungsvorrichtung nach Anspruch 1, wobei die Bilddaten des maßstäblichen Modells basierend auf Information bezüglich eines Zielobjekts für das maßstäbliche Modell in der Objektebene erzeugt werden.
Perspektivische Projektionsbilderzeugungsvorrichtung nach Anspruch 4, wobei die Information ursprüngliche Bilddaten, welche die Bilddaten des Zielobjekts darstellen, eine tatsächliche Größe des Zielobjekts und Daten bezüglich des Abstands zwischen dem Brennpunkt des hyperboloiden Spiegels und der Objektebene enthält.
Perspektivische Projektionsbilderzeugungsvorrichtung nach Anspruch 1, wobei die Erzeugungssektion eines maßstäblichen Modells die Bilddaten des maßstäblichen Modells durch Vergrößern/Verkleinern einer Größe der ursprünglichen Bilddaten, welche die Bilddaten des Zielobjekts darstellen, basierend auf dem Verhältnis des Abstands zwischen dem Brennpunkt des hyperboloiden Spiegels und der Objektebene und dem Abstand zwischen dem Brennpunkt des hyperboloiden Spiegels und einer perspektivischen Projektionsbildebene erzeugt.
Perspektivische Projektionsbilderzeugungsvorrichtung nach Anspruch 1, die zusätzlich aufweist: eine der ersten optischen Vorrichtung ähnliche und perspektivische Projektionsbilddaten erzeugende zweite optische Vorrichtung, welche ein Projektionszentrum im Brennpunkt eines hyperboloiden Spiegels der zweiten optischen Vorrichtung aufweist und die dem maßstäblichen Modell entspricht, wobei die perspektivischen Projektionsbilddaten durch Berechnen eines Abstands zwischen dem Brennpunkt des hyperboloiden Spiegels in der zweiten optischen Vorrichtung und einer perspektivischen Projektionsbildebene mit einem Projektionszentrum im Brennpunkt der zweiten optischen Vorrichtung basierend auf den von der Erzeugungssektion eines maßstäblichen Modells erzeugten Bilddaten für das maßstäbliche Modell erzeugt werden.
Perspektivische Projektionsbilderzeugungsvorrichtung nach Anspruch 1, wobei die Bilddaten für das maßstäbliche Modell einem eine Länge in einem Bild darstellenden Gauge Modell entsprechen.
Verfahren zum Erzeugen eines perspektivischen Projektionsbildes mit den Schritten: Erhalten von Bilddaten durch einen omni-direktionalen Sichtsensor, wobei der omni-direktionale Sichtsensor eine optische Vorrichtung, welche einen hyperboloiden Spiegel mit einer hyperboloiden Form auf einer Seite eines zweiseitigen Hyperboloids aufweist, und eine Bildgebungssektion zum Erlangen von Eingangsbilddaten enthält, wobei die Bildgebungssektion konzentriertes Licht von einer dem hyperboloiden Spiegel gegenüberliegenden Linse empfängt; Umwandeln der von der Bildgebungssektion erhaltenen Eingangsbilddaten in Bilddaten einer perspektivischen Projektion mit einem Projektionszentrum im Brennpunkt des hyperboloiden Spiegels; Erzeugen eines maßstäblichen Modells durch Umwandeln von Bilddaten für ein Objekt einer senkrecht zu einer sich durch einen Brennpunkt des hyperboloiden Spiegels erstreckenden Linie liegenden Objektebene in Bilddaten eines maßstäblichen Modells des Objekts basierend auf einem Verhältnis eines Abstands zwischen dem Brennpunkt des hyperboloiden Spiegels und der Objektebene zu einem Abstand zwischen dem Brennpunkt des hyperboloiden Spiegels und einer perspektivischen Projektionsbildebene derart, dass eine Größe des maßstäblichen Modells des Objekts derjenigen des Objekts in einem perspektivischen Projektionsbild entspricht; Kombinieren der perspektivischen Projektionsbilddaten und der Bilddaten für das maßstäbliche Modell derart, dass kombinierte Bilddaten erzeugt werden; und Anzeigen der kombinierten Bilddaten.
Perspektivische Projektionsbilderzeugungsvorrichtung zum Ausführen des Verfahrens zum Erzeugen perspektivischer Projektionsbilder nach Anspruch 9.
Computerlesbares Aufzeichnungsmedium zum Speichern eines perspektivischen Projektionsbilderzeugungsprogramms zum Ausführen des Verfahrens zum Erzeugen eines perspektivischen Projektionsbildes nach Anspruch 9.