-
HINTERGRUND
DER ERFINDUNG
-
Die
vorliegende Erfindung betrifft Systeme zum Überwachen der Umgebung von
Fahrzeugen, welche eine Vielzahl von Kameras einsetzen, welche die
Umgebungen des Fahrzeugs aufnehmen und betrifft insbesondere Technologien
zum Herstellen von Teilbildern, welche aus allen der Kamerabilder
genommen werden und Darstellen eines Bildes, mit welchem der Benutzer
leicht die Umstände
der Umgebungen des Fahrzeuges verstehen kann.
-
Herkömmliche
Systeme zum Überwachen
der Umgebungen eines Fahrzeugs unter Verwendung von Kameras, wie
z.B. diejenigen offenbart in JP H10-257482A (im folgenden als Dokument
1 bezeichnet) und in JP H11-78692A (im folgenden als Dokument 2
bezeichnet) sind bekannt.
-
In
dem System, dargestellt in Dokument, wird eine Kamera zur Verfügung gestellt
im Zentrum des rückwärtigen Abschnitts
des Fahrzeugs und eine Kamera wird jeweils bereitgestellt in der
Nähe der
Rückspiegel
auf der linken und rechten Seite. Die Bilder von diesen Kameras,
welche so angebracht sind, dass sie nach hinten schauen, werden
so aneinandergefügt,
dass ihre Punkte im Unendlichen zusammenpassen und so wird ein Bild
nach hinten mit einem breiten Bildausschnitt dem Fahrer präsentiert.
Dementsprechend kann der Benutzer die Straßenbedingungen auf der linken
und rechten Seite sowie auf der Rückseite des Fahrzeugs mit einem
einzelnen virtuellen Bild erhalten und folglich leicht die insgesamten
Bedingungen sicherstellen.
-
Dokument
2 offenbart eine Technologie zum Modifizieren und Herstellen von
Bildern, welche von allen acht Kameras aufgenommen wurden, um ein
neues Bild zu erzeugen, in das erzeugte Bild aber einen Monitor darzustellen,
wobei die Kameras in der Peripherie der Vehikel zum Zwecke des Bereitstellens
von Bildern für das
Fahrzeug angebracht sind. Insbesondere wird, wenn die Bilder, welche
durch die Vielzahl von Kameras aufgenommen worden sind, in ihrer
Form modifiziert und synthetisiert werden, der Bildzusammenhang
an den Grenzabschnitten, wo die modifizierten Bilder aneinander
an schließen,
beibehalten, so dass ein präziseres Bild
dem Fahrer zur Verfügung
gestellt werden kann.
-
DAS ZU LÖSENDE PROBLEM
-
In
diesen herkömmlichen
Technologien benötigt
die Modifikation und Synthese von Bildern, so dass ihre Grenzen
zusammenhängend
verbunden werden, im Prinzip, dass die Form und der Abstand eines
Objekts, welches im original Kamerabild erscheint, akkurat in Echtzeit
berechnet werden und dass die Ergebnisse der Berechnung verwendet
werden, um Modifikations-Prozesse für jedes Bild zu realisieren.
Jedoch haben die extremen hohen Kosten, welche für solch eine Berechnung benötigt werden,
die praktische Anwendung davon verhindert. Konsequenterweise ist
eine Technik, die normalerweise eingesetzt wird, Bilder so zu modifizieren, dass
sie anstelle von aneinandergrenzend für alle Objekte, welche an den
Grenz-Abschnitten erscheinen, aufrecht erhalten werden, nur ein
bestimmter Abschnitt, welcher in dem Bild erscheint, aneinandergrenzend
verknüpft
wird. Falls beispielsweise die Umgebungen eines Fahrzeugs aufgenommen
werden sollen, kann die Straßenoberfläche als
ein Abschnitt verwendet werden, für welchen der Zusammenhang
aufrecht erhalten wird. Dieser Ansatz ist als "Straßenoberflächenprojektion" bekannt.
-
Die
Verwendung dieses Ansatzes verlangt notwendigerweise, dass ein Abschnitt
des originalen Kamerabildes abgeschnitten wird und verworfen wird,
um den Zusammenhang der Grenz-Abschnitt aufrecht zu erhalten. Ein
ernsthaftes Problem, das als ein Ergebnis auftreten kann, ist, dass
Objekte, welche in der Kamera erscheinen, nicht auf einem synthetisierten
Bild abgebildet sind. Dieses Problem wird unten unter Verweis auf die
Zeichnungen beschrieben.
-
17 ist
ein Diagramm, welches ein typisches Beispiel einer Fahrzeug-Kamera-Anordnung in einem konventionellen
System zeigt. In dem Beispiel von 17 sind
die Kameras CZ1 und CZ4 an den Spiegelabschnitten des linken und
rechten Seitenspiegels angeordnet und die Kameras CZ2 und CZ3 sind
im Zentrum des rückwärtigen End-Abschnitts mit Blick
nach hinten nach links bzw. rechts angeordnet, so dass die Fläche, welche
nach hinten bezüglich
des Fahrersitz von Vehikel 1 zeigt, von dem aufgenommenen
Bereich abgedeckt wird. Der Buchstabe P repräsentiert den Pfosten und WL
repräsentiert
eine weiße
Linie, welche eine Parklückengrenze
zeigt.
-
18 zeigt
Beispiele von Bildern, welche durch die Kameras CZ1 bis CZ4, angeordnet
wie in 17 gezeigt, aufgenommen werden. 19 ist
ein Diagramm, in welchem die Kamerabilder von 18 zurechtgestutzt
wurden, modifiziert wurden und dann aneinander verknüpft wurden,
um von einem virtuellen Betrachtungspunkt zu synthetisieren, als
ob man auf das Fahrzeug von oben herab schauen würde. In 19 sind PIZ1
bis PIZ4 partielle Bilder, welche aus den Bildern entnommen wurden,
die jeweils von den Kameras CZ1 bis CZ4 aufgenommen wurden. In dem
Beispiel von 19 wird jedes Kamerabild modifiziert,
zurechtgestutzt und mit einem anderen Verbunden, so dass zumindest
die Objekte (typischerweise die weiße Linie WL) auf der Straßenfläche an den
Grenzabschnitten der partiellen Bilder PIZ1 bis PIZ4 aneinander
angeschlossen werden.
-
Das
Problem mit diesen Syntheseverfahren ist, dass das Zurechtstutzen
und Entfernen eines Abschnitts aus originalen Kamerabildern dazu
führt,
dass dreidimensionale Objekte (in dem Fall von 18 der Pfosten
P, welcher hinten rechts bezüglich
des Fahrzeuges 1 steht) eliminiert werden können.
-
Das
heißt,
in dem synthetisierten Bild von 19 wird
die Grenze BLZ34 zwischen dem partiellen Bild PIZ3 der Kamera CZ3
und dem partiellen Bild PIZ4 der Kamera CZ4 so gesetzt, dass sie
sich rechts schräg nach
hinten bezüglich
des Fahrzeuges 1 ausdehnt. Auch wenn das Kamerabild so
modifiziert wird, dass die Straßenoberfläche an beiden
Seiten der Grenze BLZ34 zusammenhängt, wird der Pfosten P, der
in der Kamera CZ3 erscheint, entstellt und erstreckt sich nach unten
(Bild PB). Die Bilder PA und PB des Pfostens kreuzen sich beiden über die
Grenze BLZ34 und folglich werden die Bilder PA und PB während der
Bildsynthese herausgeschnitten. Als ein Ergebnis bleibt nur die
Basis des Pfostens P allein übrig
in dem synthetisierten Bild und es sieht so aus, als ob der Pfosten
P verschwunden wäre.
-
Um
zu verhindern, das Objekte in dieser Art und Weise verschwinden,
kann die Region OL, welche die durch beide Kameras CZ3 und CZ4 aufgenommen
wird, vorstellbar ausgebildet werden, durch Mischen der Bilder,
modifiziert aus diesen Kamerabildern, wie dies in 20 gezeigt
wird. Jedoch werden in diesem Fall beide Bilder PA und PB dargestellt
und folglich erscheint der Pfosten P doppelt auf dem synthetisierten
Bild und es wird extrem schwierig für den Betrachter das synthetisierte
Bild zu interpretieren.
-
EP 1227683 A beschreibt
ein Fahrzeug-Überwachungssystem
unter Verwendung einer Vielzahl von Kameras, welche auf einem Fahrzeug
montiert sind, um ein virtuelles Bild aus einer Vogelperspektive
von oben auf das Fahrzeug zur Verfügung zu stellen, welches das
Fahrzeug und seine umgebenden Teile zeigt. Die individuellen Bilder,
aufgenommen durch die Kameras, werden synthetisiert, um ein zusammenhängendes
Bild zu ergeben.
-
ZUSAMMENFASSUNG
DER ERFINDUNG
-
Es
ist eine Aufgabe der vorliegenden Erfindung, ein System zum Überwachen
der Umgebung eines Fahrzeugs zur Verfügung zu stellen, zum Synthetisieren
und Darstellen von Bildern, aufgenommen durch eine Vielzahl von
Kameras der Gestalt, dass es Bilder zur Verfügung stellt, welche in der
Nähe der
Grenze zwischen partiellen Bildern akkurater und leichter verständlich durch
den Benutzer sind, als dies konventionelle bislang der Fall ist.
-
Es
gibt Fälle,
in welchen das Verschwinden des synthetisierten Bildes wie oben
erwähnt
nicht auftritt, selbst wenn ein Objekt in der Nähe der Grenze zwischen partiellen
Bildern ist.
-
21 ist
ein Diagramm, welches schematisch ein Beispiel zeigt, in welchem
ein Objekt an dem Grenzabschnitt zwischen partiellen Bildern nicht
verschwindet. In 21 passen in der Nähe der Grenze BLZ23
die Aufnahmerichtungen von beiden Kameras Kamera CZ2 für das partielle
Bild PIT2 und Kamera CZ3 für
das partielle Bild PIZ3, substantiell zur Richtung der Grenze BLZ23.
Es sollte festgehalten werden, dass in dieser Beschreibung die "Aufnahmerichtung" nicht die Orientierung
der optischen Achse der Kamera bedeutet, sondern statt dessen die
Richtung, in welcher Objekte (hier Grenzflächen) von der Kamera beobachtet
werden, d.h. die Richtung der geraden Linie, welche die Position
verbindet, in welcher die Kamera installiert ist, sowie den Grenzabschnitt
in dem synthetisierten Bild. Folglich wird der Pfosten P, welcher
direkt hinter dem Kamerapaar CZ2 und CZ3 angeordnet ist, verzerrt,
so dass es sich entlang der Grenze BLZ23 erstreckt, selbst wenn
das Bild entweder der Kamera CZ2 oder CZ3 in seiner Form verändert wird.
Konsequenterweise kann in der Nähe
der Grenze BLZ23 das Durchführen
von Prozessen, welche die partiellen Bilder PIZ2 und PIZ3 miteinander
mischen, verhindern, dass das Bild von Pfosten P aus dem synthetisierten
Bild verschwindet.
-
Das
heißt,
basierend auf Untersuchungen, durchgeführt durch die Erfinder, ist
es möglich,
dass im allgemeinen das Problem, dass Objekte auf synthetisierten
Bildern verschwinden, nicht auftreten, falls die folgende Bedingung
erfüllt
ist.
-
Bedingung:
In der Nähe
der Grenze zwischen zwei partiellen Bildern, welche aneinander grenzen, passen
die Aufnahmerichtungen der Kameras zum Aufnehmen von partiellen
Bildern substantiell zur Richtung der Grenze.
-
Es
sollte festgehalten werden, dass partielle Bilder, welche aneinander
grenzen, überlappend
sein können
oder einfach nur in Kontakt sein können. Des weiteren bedeutet,
falls eine Überlappungsregion
in der Nähe
der Grenze vorliegt, wo die partiellen Bilder miteinander überlappen,
dann die "Richtung
der Grenze", wie
hier erwähnt,
die Richtung der Mittelachse in Längsrichtung der Überlappregion.
-
Falls
diese Bedingung erfüllt
ist, dann erstreckt sich das Bild eines Objektes in der Nähe der Grenze zwischen
partiellen Bildern entlang der Grenze aufgrund der Blickrichtungs-Transformation und
folglich verschwindet das Objekt in der Nähe der Grenze nicht vom synthetisierten
Bild. Diese Erkenntnis wurde zum Erlangen der vorliegenden Erfindung
ausgenutzt, wobei das Problem, das der Erfindung zugrunde liegt,
durch den Gegenstand der unabhängigen
Ansprüche
gelöst
wird, wobei die bevorzugten Ausführungsformen
in den Unteransprüchen
erwähnt
werden. Genauer gesagt, wird ein System zur Überwachung der Umgebung eines Fahrzeuges
zur Verfügung
gestellt, mit einer Vielzahl von Kameras, die wenigstens eine erste
und zweite Kamera enthält,
um Bilder der Umgebung eines Fahrzeuges aufzunehmen und einen Bildverarbeitungsabschnitt, welcher
Bilder, aufgenommen durch die Vielzahl von Kameras, empfängt, partielle
Bilder, erhalten von diesen Kamerabildern, synthetisiert und ein
synthetisiertes Bild auf einer Anzeigeeinrichtung darstellt, wobei
in dem synthetisierten Bild ein erstes partielles Bild entsprechend
der ersten Kamera und ein zweites partielles Bild (Teilbild) aneinander
grenzend aneinander angeordnet sind und die erste und zweite Kamera
so installiert sind, dass ihre Aufnahmerichtungen substantiell zu
einer Richtung einer Grenze zwischen dem ersten partiellen Bild und
dem zweiten partiellen Bild in der Nähe der Grenze aneinander passen.
Die ersten und zweiten Kameras für
die ersten und zweiten partiellen Bilder (Teilbilder), welche aneinander
angrenzen, sind so installiert, dass ihre Aufnahmerichtungen substantiell
zur Richtung der Grenze zwischen den partiellen Bildern passen.
Folglich wird, wenn die Bilder synthetisiert werden, das Bild eines
Objektes in der Nähe
der Grenze so modifiziert, dass sie sich in einer Richtung ausdehnt,
welche substantiell zu der Richtung der Grenze passt. Konsequenterweise
wird das Bild des Objektes nicht ausgeschnitten und verschwindet
folglich nicht von dem synthetisierten Bild. Dementsprechend kann
Information betreffend die Umgebung eines Fahrzeugs in akkurater
Art und Weise dem Benutzer zur Verfügung gestellt werden und dies
kann dem Benutzer helfen, sicherer zu fahren.
-
In
dem System zum Überwachen
der Umgebung des Fahrzeugs ist es bevorzugt, dass Winkel zwischen
der Aufnahmerichtung und der ersten Kamera und der zweiten Kamera
die Richtung der Grenze beide 10° oder
weniger betragen.
-
In
dem synthetisierten Bild des Systems zum Überwachen der Umgebung eines
Fahrzeugs ist es bevorzugt, dass ein Mischungs-Bild, in welchem
die ersten und zweiten partiellen Bilder vermischt sind, an der Grenze
zwischen dem ersten und zweiten partiellen Bild angeordnet ist.
-
In
dem System zum Überwachen
der Umgebung eines Fahrzeugs gemäß einer
Ausführungsform
ist die erste Kamera an einem vorderen linken oder rechten Endabschnitt
des Fahrzeuges rechts oder links schräg nach vorne gerichtet angeordnet
und die zweite Kamera ist an einem linken oder rechten seitlichen
Abschnitt des Fahrzeuges, links oder rechts schräg nach vorn gerichtet angeordnet.
Es des weiteren bevorzugt, dass die Vielzahl von Kameras eine dritte
Kamera einschließt,
welche an einer linken oder rechten seitlichen Position des Fahrzeuges
mit Blick schräg
links oder rechts nach hinten angeordnet ist sowie eine vierte Kamera,
die an einem rückwärtigen linken
oder rechten End-Abschnitt
des Fahrzeugs angeordnet ist, mit Blick links oder rechts schräg nach hinten
gerichtet.
-
In
dem System zum Überwachen
der Umgebung eines Fahrzeugs gemäß einer
weiteren Ausführungsform
ist die erste Kamera an einem vorderen rechten oder linken End-Abschnitt des Fahrzeuges
mit Blick nach links oder rechts schräg nach vorne gerichtet angeordnet
und die zweite Kamera ist in einem vorderen linken oder rechten
End-Abschnitt des
Fahrzeugs mit Blick nach links oder rechts schräg nach hinten gerichtet angeordnet.
Es ist des weiteren bevorzugt, dass die Vielzahl von Kameras eine
dritte Kamera einschließt,
in einem vorderen linken oder rechten End-Abschnitt des Fahrzeugs
angeordnet ist mit Blick nach rechts oder links schräg nach hinten
gerichtet, sowie eine vierte Kamera, welche in einem hinteren rechten
oder linken End-Abschnitt des Fahrzeuges angeordnet ist mit Blick
nach rechts oder links schräg
nach hinten.
-
In
einem Verfahren zum Abstimmen eines Systems zum Überwachen der Umgebung eines
Fahrzeugs, das mit einer Vielzahl von Kameras ausgestattet ist,
zum Aufnehmen von Bildern von Umgebungen des Fahrzeuges und einem
Bildverarbeitungsabschnitt, welches partielle Bilder, erhalten aus
Bildern, aufgenommen durch eine Vielzahl von Kameras, synthetisiert
und ein synthetisiertes Bild auf einer Anzeigevorrichtung darstellt,
schließt
das Verfahren den Schritt des Anordnens einer ersten und zweiten
Kamera von einer Vielzahl von Kameras zum Aufnehmen von partiellen
Bildern, so angeordnet, dass sie aneinander angrenzen in dem synthetisierten
Bild ein, so dass die aufgenommene Regionen der ersten und zweiten
Kameras miteinander überlappen,
sowie einen Schritt des Abstimmens von zumindest einer der ersten
und der zweiten Kamera und im Bildverarbeitungsabschnitt, so dass
in der Nähe
einer Grenze zwischen einem partiellen Bild entsprechend der ersten
Kamera und einem partiellen Bild entsprechend der zweiten Kamera
die Aufnahmerichtung der ersten und zweiten Kamera jeweils substantiell
mit der Richtung der Grenze zusammenpasst.
-
In
den oben genannten Aspekten der vorliegenden Erfindung dient der
Begriff "oder", welcher die Kameraanordnung
betrifft, dem Zweck, sowohl einen Fall einzuschließen, in
welcher die überwachte
Umgebung auf die rechte Seite des Fahrzeug zentriert ist als auch
einen Fall, in welchem die überwachte
Umgebung auf der linken Seite des Fahrzeugs zentriert ist. Darüber hinaus
dient der Begriff "oder" dem Zweck, Fälle einzuschließen, in
welchen die Kameras so angeordnet sind, dass sie zur rechten und
zur linken orientiert sind in einem Fall, wo die gesamte Umgebung
des Fahrzeugs überwacht
werden soll. Die Auswahl von Anordnungen kann realisiert werden,
abhängend
davon, ob das Fahrzeug ein rechts oder links gesteuertes Fahrzeug
ist, um ein Beispiel zu nennen, oder kann in Übereinstimmung mit anderen
Faktoren ausgewählt
werden. Die Anordnung kann auch frei gewählt werden.
-
Des
weiteren ist, wenn die Kameras "schräg" installiert werden,
das vertikale Feld der Blickrichtung der Kameras weit und falls
die Fläche
direkt unterhalb der Kameras auch eingeschlossen ist, dann kann
die Orientierung der optischen Achse der Kameras horizontal sein.
Jedoch ist es, falls der Blickwinkel nicht groß genug ist, bevorzugt, dass
die Kameras nach unten gerichtet sind, um den toten Winkel unmittel
unterhalb der Kameras zu reduzieren. In diesem Fall würde beispielsweise "rechts schräg nach vorne
gerichtet" äquivalent sein
mit einer Orientierung der Kamera rechts schräg nach vorne, wobei darüber hinaus
der Winkel der Ansicht in eine nach unten gerichtete Orientierung
verändert
wird.
-
KURZE BESCHREIBUNG
DER ZEICHNUNGEN
-
1 ist
ein Blockdiagramm, welches eine Konfiguration einer Fahrzeug-Steuervorrichtung
entsprechend der ersten Ausführungsform
der vorliegenden Erfindung zeigt.
-
2 ist
ein Diagramm, als ein Beispiel der Anordnung der Kameras in einem
Fahrzeug entsprechend der vorliegenden Erfindung zeigt.
-
3 ist
ein Diagramm, welches ein Beispiel von Bildern von Kameras zeigt,
die wie in 2 angeordnet sind.
-
4 ist
ein Diagramm, welches ein Beispiel eines synthetisierten Bildes
zeigt, erzeugt unter Verwendung der Kamerabilder von 3.
-
5 ist
ein Diagramm, welches ein weiteres Beispiel der Anordnung von Kameras
in einem Fahrzeug entsprechend der vorliegenden Erfindung zeigt.
-
6 ist
ein Diagramm, welches ein Beispiel der Bilder von Kameras zeigt,
wie sie in 5 angeordnet sind.
-
7 ist
ein Diagramm, welches ein Beispiel eines synthetisierten Bildes
zeigt, erzeugt unter Verwendung der Kamerabilder von 6.
-
8 ist
ein Diagramm, welches ein weiteres Beispiel der Anordnung der Kameras
in einem Fahrzeug entsprechend der vorliegenden Erfindung zeigt.
-
9 ist
ein Diagramm, welches ein Beispiel eines synthetisierten Bildes
zeigt, das von den Bildern von Kameras, angeordnet in 8 erzeugt
wurde.
-
10 ist
ein Diagramm, welches ein weiteres Beispiel der Anordnung von Kameras
in einem Fahrzeug entsprechend der vorliegenden Erfindung zeigt.
-
11 ist
ein Diagramm, welches ein Beispiel der Bilder der Kameras angeordnet
in 10 zeigt.
-
12 ist
ein Diagramm, welches ein Beispiel eines synthetisierten Bildes
zeigt, erzeugt unter Verwendung der Kamerabilder von 11.
-
13 ist
ein Diagramm, welches ein weiteres Beispiel einer Kameraanordnung
entsprechend der vorliegenden Erfindung zeigt.
-
14 ist
ein Diagramm, welches ein Beispiel eines synthetisierten Bildes
zeigt, das aus Bildern von Kameras, angeordnet in 13 erzeugt,
wurde.
-
15 ist
ein Diagramm, welches ein weiteres Beispiel einer Kameraanordnung
entsprechend der vorliegenden Erfindung zeigt.
-
16 ist
ein Diagramm, welches ein Beispiel eines synthetisierten Bildes,
erzeugt von den Bildern der Kameras, angeordnet in 15 zeigt.
-
17 ist
ein Diagramm, welches ein Beispiel einer Kameraanordnung einer herkömmlichen Fahrt-Unterstützungs-Vorrichtung
zeigt.
-
18 ist
ein Diagramm, welches ein Beispiel von Bildern von Kameras, angeordnet
in 17 zeigt.
-
19 ist
ein Beispiel eines herkömmlich
synthetisierten Bildes und zeigt einen Fall, in welchem ein Objekt
in der Nähe
des Grenzabschnittes zwischen partiellen Bildern verschwunden ist.
-
20 ist
ein Beispiel eines herkömmlich
synthetisierten Bildes und zeigt einen Fall, in welchem ein Objekt
in der Nähe
des Grenzabschnittes zwischen partiellen Bildern ein doppeltes Bild
geworden ist.
-
21 ist
ein Diagramm, welches einen Fall zeigt, in welchem ein Objekt in
der Nähe
des Grenzabschnittes zwischen den partiellen Bildern weder verschwunden
ist noch ein doppeltes Bild geworden ist.
-
22 ist ein Diagramm, welches ein Beispiel
einer überlappenden
Region zeigt.
-
23 ist
ein Diagramm zum Darstellen einer geometrischen Umwandlung.
-
24 ist
ein Diagramm zum Darstellen einer geometrischen Umwandlung.
-
25 ist
ein Diagramm zum Darstellen einer geometrischen Umwandlung.
-
26 ist
ein Diagramm zum Darstellen einer geometrischen Umwandlung.
-
DETAILLIERTE
BESCHREIBUNG DER ERFINDUNG
-
Im
folgenden werden die Ausführungsformen
der vorliegenden Erfindung unter Verweis auf die Zeichnungen beschrieben.
-
1 ist
ein Blockdiagramm, welches eine Konfiguration eines Systems zum Überwachen
der Umgebung eines Fahrzeugs gemäß einer
Ausführungsform
der vorliegenden Erfindung zeigt. In dem System, dargestellt in 1 nimmt
ein Bildverarbeitungsabschnitt 20 eine Vielzahl von Kamerabilder-Ausgaben
von einem Bildaufnahmemittel 10 entgegen, welches eine
Vielzahl von Kameras 11 umfasst, und modifiziert und synthetisiert
diese Bilder, um ein neu synthetisiertes Bild zu erzeugen. Dieses
synthetisiertes Bild wird auf einer anzeigefreien Richtung 30 dargestellt.
-
Ein
synthetisiertes Bild ist typischerweise ein Bild von einem virtuellen
Gesichtspunkt. Ein Bild von einem virtuellen Gesichtspunkt, ist
ein Bild, das so aussieht, als wäre
es von einer virtuellen Kamera aufgenommen, und wird erhalten durch
Verarbeiten von Bildern von tatsächlichen
Kameras und deren mosaikartiges Zusammensetzen aneinander und ihr
synthetisieren. Ein konkreteres Beispiel eines Bildes von einem
virtuellen Gesichtspunkt ist ein Bild, das direkt nach unten auf
ein Fahrzeug von oben sieht (als Beispiel, siehe 4). Solch
ein Bild von einem virtuellen Gesichtspunkt wird erzeugt, durch
individuelles Verarbeiten und Synthetisieren von Bildern (siehe
beispielsweise 3), aufgenommen von einer oder
mehreren Kameras (siehe Kamera CA1 bis CA4 in 2),
welche direkt auf einem Fahrzeug installiert sind.
-
Die
Anzeigeeinrichtung 30 entsprechend der vorliegenden Erfindung
ist typischerweise ein Flüssigkeitskristalldisplay,
jedoch können
andere Anzeigeeinrichtungen wie z.B. Plasmadisplays auch eingesetzt
werden. Display soll hier sowohl Displays bezeichnen, welche als
terminate GPS-Anzeigen dienen, welche in einem Fahrzeug montiert
sind (Display für
ein sogenanntes Auto-Navigationssystem) sowie Displays, welche separat
von einem terminalen GPS-Display zur Verfügung gestellt werden.
-
Das
Bildaufnahmemittel 10 schließt typischerweise farbige oder
schwarz und weiß Digitalkameras 11 ein,
welche eine Bildaufnahmevorrichtung im festen Zustand, wie z.B.
eine CCD- oder eine CMOS-Vorrichtung aufweisen. Das Bildaufnahmemittel 10 ist
so konfiguriert, dass sie durch eine Linse und ein Prisma oder einen Spiegel
kombiniert wird, und kann auch so konfiguriert sein, so dass Licht,
welches auf die Linse und das Prisma oder den Spiegel fällt, über einen
vorbestimmten Lichtweg zu einem Bildaufnahmeelement, lokalisiert
entfernt von dem Bildaufnahmemittel, übertragen wird.
-
Der
Bildverarbeitungsabschnitt 20 empfängt Bilder, aufgenommen von
der Vielzahl von Kameras 11 und verarbeitet diese aufgenommenen
Bilder. Hier schließt
das Verarbeiten 1) einen Bildzuschneidungs- und Modifizierungs-Prozess
und 2) einen Prozess zum Synthetisieren des modifizierten partiellen
Bildes (einschließend
einen Grenz-Zusammenfügungs-Prozess)
ein. Die Prozesse 1) und 2) können
getrennt voneinander oder zusammen oder partiell in einem einschrittigen
Prozessschritt durchgeführt
werden. In 1 wird ein Schemadiagramm MPT
zur Verfügung
gestellt, wobei die aufgenommenen Bilder in einem einzelnen Prozess-Schritt
verarbeitet werden.
-
Hier
bezieht sich das Schemadiagramm MPT auf eine Tabelle, welche die
Korrespondenz zwischen Pixeln für
ein synthetisiertes Bild und Pixeldaten für jedes Kamerabild beschreibt
und eingesetzt wird, um schnell ein synthetisiertes Bild zu erzeugen.
Durch Erzeugen solch einer Schemadarstellung im voraus manuell oder
durch Berechnung unter Verwendung von geometrischen Transformationen,
was später
beschrieben wird, ist es möglich,
schnell ein gewünschtes
synthetisiertes Bild zu erzeugen. Genauer gesagt, wird das Schemadiagramm
MPT auf einem ROM (einschließend
beschreibbare/löschbare
ROMs, wie z.B. EEPROMs) oder ein RAM, um ein Beispiel zu nehmen,
gespeichert. Das Speichern des Schemadiagramms MPT kann realisiert werden
durch Schreiben von schematischen Daten, erhalten durch Berechnung
durch einen Prozessor mit einem Bildverarbeitungsabschnitt 20 auf
einem ROM oder RAM oder alternativ unter Verwendung von Datenübertragungsmitteln
wie z.B. einer Kommunikationsleitung oder einem Diskettenlaufwerk,
um Schemadiagramm-Daten zu schreiben, welche zur Verfügung gestellt
werden, als Firmware auf einem RAM oder ROM.
-
Kamerainstallation
-
Mit
Blick auf die Kamerainstallation gemäß der vorliegenden Erfindung
sollte man den beiden folgenden Kriterien Aufmerksamkeit schenken:
- 1. In Kameras, welche als Ausgangspunkt für zwei partielle
Bilder dienen, welche eine Grenze erzeugen, die Aufnahmerichtungen,
in welchen die Nähe
der Grenze aufgenommen wird, substantiell mit Errichtung der Grenze
zusammenfallen. Dies ist identisch mit der Bedingung, die im Hintergrundabschnitt
erwähnt worden
ist.
- 2. Kamerabilder, welche miteinander zusammengefügt werden
sollen, sollten miteinander an ihrem Grenzabschnitt überlappen.
Dies dient dazu, dass ein toter Winkel nicht in den Grenzabschnitt
zwischen zusammengeführten
Kamerabildern in dem Bild von dem virtuellen Gesichtspunkt aus auftritt.
-
Im
folgenden werden spezifische Beispiele der Kameraanordnung entsprechend
dieser Ausführung beschrieben
unter Verweis auf die Zeichnungen. Es sollte festgehalten werden,
dass in den folgenden Beschreibungen "rechts" und in "links" mit Blick auf die nach vorne gerichtete
Orientierung des Fahrzeugs gedacht sind. Des weiteren ist das Fahrzeug
ein rechtsgesteuertes Modell, d.h. der Fahrersitz ist auf der rechten Seite
und der Beifahrersitz auf der linken Seite. Folglich kann, falls
die vorliegende Erfindung auf linksgesteuertes Fahrzeug angewendet
werden soll, die Installation der Kameras symmetrisch bezüglich links
und rechts erfolgen und die folgende Beschreibung, wie die Kameras
installiert sind, kann so gedacht sein, dass "links" und "rechts" entgegengesetzt verstanden werden können.
-
Erstes Beispiel
-
2 ist
ein erstes Beispiel einer Kameraanordnung gemäß der vorliegenden Erfindung
und 3 ist ein Beispiel der Bilder, welche durch die
Kameras CA1 bis CA4, angeordnet in 2 erhalten
werden. In der beispielhaften Anordnung von 2 sind die
vier Kameras CA1 bis CA4 wie folgt angeordnet:
- Kamera
CA1 Position: vorderes linkes Ende des Fahrzeuges 1
Orientierung:
rechts schräg
nach vorne gerichtet
visueller Feldbereich: Region AA1
- Kamera CA2 Position: linke Seite, Abschnitt des Rückspiegels
des Fahrzeuges 1
Orientierung: links schräg nach vorne
gerichtet
visueller Feldbereich: Region AA2
- Kamera CA3 Position: linke Seite, Abschnitt des Rückspiegels
von Fahrzeug 1
Orientierung: links schräg nach hinten
gerichtet
visueller Feldbereich: Region AA3
- Kamera CA4 Position: hinteres linke Ende des Fahrzeuges 1
Orientierung:
rechts schräg
nach hinten
visueller Feldbereich: Region AA4
-
Mit
anderen Worten sind in 2, um ein Bild von einem virtuellen
Gesichtspunkt aus zu synthetisieren, welches über die ganze Umgebung des
Fahrzeugs 1 blicken kann, mit Ausnahme der Seite des Fahrersitzes
der vier Seiten, die vier Kameras CA1 bis CA4 so angeordnet wie
oben dargestellt. Des weiteren sind P1 bis P4 Pfosten und WL repräsentiert
eine weiße
Linie.
-
Es
sollte festgehalten werden, dass die Kameras CA2 und CA3 als ein
Paar angeordnet sind, um substantiell ein 180° Gesichtsfeld zu erhalten, mit
Blickrichtung zur linken Seite des Fahrzeugs 1. Dies liegt
daran, da es schwierig ist, für
eine einzelne, ständig
verfügbare
Kamera, ein 180° Gesichtsfeld
zu erhalten, während eine
Auflösung
aufrecht erhalten wird, und folglich ist es aus Gründen der
Einfachheit günstiger,
dass zwei Kameras mit einem Blickwinkel von etwa 100° als ein
Paar angeordnet sind. Folglich kann ein Einzelbildaufnahme-Mittel,
welches sowohl eine hinreichende Auflösung als auch ein 180° Gesichtsfeld
realisieren kann, anstelle der Kameras CA2 und CA3 eingesetzt werden.
-
4 ist
eine schematische Ansicht, welche die Ergebnisse der Synthese eines
Bilds von einem virtuellen Gesichtspunkt aus zeigt, in welchem die
Umgebung eines Fahrzeuges 1 von oben nach unten betrachtet
gesehen werden, unter Verwendung von Kamerabildern, wie denjenigen
dargestellt in 3. In 4 sind PIA1
bis PIA4 partielle Bilder, welche aus den Bildern entnommen wurden,
die von den Kameras CA1 bis CA4 aufgenommen wurden, BLA12 ist die
Grenze zwischen den partiellen Bildern PIA1 und PIA2, BLA23 ist
die Grenze zwischen den partiellen Bildern PIA2 und PIA3 und BLA34
ist die Grenze zwischen den partiellen Bildern PIA3 und PIA4. Des
weiteren ist DA eine Region eines toten Winkels, welche nicht durch
irgend eine der Kameras CA1 bis CA4 aufgenommen wird.
-
Durch
Anordnung der Kameras CA1 bis CA4 in diesem Beispiel sind beide
der zwei oben erwähnten Kriterien
erfüllt.
Das heißt
in der Nähe
der Grenze zwischen den partiellen Bildern im synthetisierten Bild
von 4 passt die Aufnahmerichtung der Kameras, welche
die partiellen Bilder aufnehmen, substantiell zur Richtung der Grenze.
Wie aus den 2 und 4 verständlich wird,
passen beispielsweise in der Nähe
der Grenze BLA12 zwischen dem partiellen Bild PIA1 als erstem partiellen
Bild, und dem partiellen Bild PIA2, als zweitem partiellen Bild,
die Aufnahmerichtung der Kamera CA1 als eine erste Kamera, welche
das partielle Bild PIA1 aufnimmt und die Aufnahmerichtung der Kamera
CA2, als eine zweite Kamera, welche das partielle Bild PIA2 aufnimmt,
substantiell zur Richtung der Grenze BLA12. Das gleiche kann für die Grenzen
BLA23 und BLA34 gesagt werden.
-
Des
weiteren überlappen
die aufgenommene Region AA1 der Kamera CA1 und die aufgenommene Region
AA2 der Kamera CA2 miteinander. Des weiteren überlappen die aufgenommenen
Regionen der Kameras 2 und 3 und die aufgenommenen Regionen der
Kameras 3 und 4 miteinander.
-
Folglich
erhält
das synthetisierte Bild von 4 die Vorteile
eines Bildes von einem virtuellen Gesichtspunkt, welche darin liegen,
dass Objekte, welche in den Kameras CA1 bis CA4 erscheinen, so realisiert
werden, dass sie leicht für
den Benutzer verständlich
sind, während
die positionelle Beziehung der Objekte beibehalten wird, wobei gleichzeitig
das Problem vermieden wird, dass Objekte verschwinden, dadurch dass
die Kriterien der Kamerainstallation der vorliegenden Erfindung
erfüllt
sind. Dies wird aus der Tatsache klar, dass obwohl die Polpfosten
P3 und P4 am linken vorderen Eck-Abschnitt und am linken hinteren
Eck-Abschnitt von Fahrzeug 1 in der Nähe der Grenzen BLA12 und BLA34
sind, sie sich entlang der Grenzen aufgrund der Bild-Synthese erstrecken
und auf dem synthetisierten Bild bleiben, ohne zu verschwinden.
-
Entsprechend
diesem Beispiel können
unter Verwendung der vier Kameras CA1 bis CA4 die Umgebung eines
Fahrzeugs, außer
für die
Fläche
auf der Seite des Fahrersitzes, welche visuell durch das Fenster des
Fahrers wahrgenommen werden können,
als ein Bild dargestellt werden, in welchen die positionellen Beziehungen
aufrecht erhalten werden, und in welchem keine toten Winkel auftreten.
-
Zweites Beispiel: Bestätigung der
Sicherheit für
die vordere und linke vordere Seite des Fahrzeuges
-
Abhängend von
der Region der Fahrzeugumgebungen, für welche Sicherheit bestätigt werden
sollen, sind verschiedene Konfigurationen, welche sich vom ersten
Beispiel unterscheiden, denkbar für die Kameraanordnung der vorliegenden
Erfindung. Die zunehmende Größe der Personenfahrzeuge
in den letzten Jahren hat zu einem gesteigerten Bedarf der Technologien
geführt,
um Sicherheit für
tote Winkel auf der vorderen Seite und der linken vorderen Seite
des Fahrzeuges zu bestätigen.
Das zweite Beispiel betrifft eine Kameraanordnung zum Bestätigen der
Sicherheit zu einer vorderen und linken vorderen Seite des Fahrzeuges
hin.
-
5 ist
ein zweites Beispiel einer Kameraanordnung entsprechend der vorliegenden
Erfindung und 6 ist ein Beispiel von Bildern
aufgenommen durch die Kameras CB1 und CB2, angeordnet wie in 5 gezeigt.
In der beispielhaften Anordnung von 5 sind die
beiden Kameras CB1 und CB2 wie folgt installiert.
- Kamera
CB1 Position: vorderes linkes Ende des Fahrzeuges 1
Orientierung:
rechts schräg
nach vorne
visueller Feldbereich: Region AB1
- Kamera CB2 Position: linke Seite, Abschnitt des Rückspiegels
von Fahrzeug 1
Orientierung: links schräg nach vorne
visueller
Feldbereich: Region AB2
-
7 ist
ein Diagramm, welches ein Beispiel für ein Bild von einem virtuellen
Gesichtspunkt zeigt, welcher synthetisiert wird unter Verwendung
der Kamerabilder von 6. In 7 sind PIB1
und PIB2 partielle Bilder, welche aus den Bildern, aufgenommen durch
die Kameras CB1 bzw. CB2 genommen wurden, BLB12 ist die Grenze zwischen
den partiellen Bildern PIB1 und PIB2 und DB ist die Region des toten
Winkels, welcher nicht aufgenommen wird, weder durch die Kamera
CB1 noch durch die Kamera CB2.
-
Wie
aus den 5 und 7 ersichtlich
wird, passen in der Nähe
der Grenze BLB12 zwischen dem partiellen Bild PIB1, als einem ersten
partiellen Bild, und dem partiellen Bild PIB2, als einem zweiten
partiellen Bild, die Aufnahmerichtung der Kamera CB1, als eine erste
Kamera, welche das partielle Bild PIB1 aufnimmt und die Aufnahmerichtung
der Kamera CB2, als eine zweite Kamera, welche das partielle Bild
PIB2 aufnimmt, substantiell zur Richtung der Grenze BLB12.
-
In
dem synthetisierten Bild von 7 ist die
Region des toten Winkels breiter, als in 4 mit dem Effekt,
dass es eine kleinere beobachtbare Region gibt, jedoch das Ziel-Feld der Blickrichtung
nach vorne und zur linken vorderen Seite des Fahrzeuges hinreichend
gesichert wird. Darüber
hinaus erstreckt sich durch Erfüllen
der Kriterien für
die Kamerainstallation der vorliegenden Erfindung der Pfosten P3
am Abschnitt der linken vorderen Ecke des Fahrzeugs 1,
obwohl er in der Nähe
der Grenzlinie BLB12 ist, entlang der Grenzlinie aufgrund der Bildsynthese
und bleibt er im Bild, ohne zu verschwinden.
-
8 ist
eine weitere Kameraanordnung dieses Beispiels. In der beispielhaften
Anordnung, gezeigt in 8 werden zwei Kameras CC1 und
CC2 wie folgt installiert.
- Kamera CC1 Position:
vorderes rechtes Ende des Fahrzeuges 1
Orientierung:
links schräg
nach vorne
visueller Feldbereich: Region AC1
- Kamera CC2 Position: vorderes linkes Ende des Fahrzeuges 1
Orientierung:
links schräg
nach hinten
visueller Feldbereich: Region AC2
-
9 ist
ein Beispiel eines Bildes von einem virtuellen Gesichtspunkt, welches
synthetisiert wird, unter Verwendung der Bilder von den Kameras,
angeordnet in 8, welches zugleich die gleiche
Position und Orientierung des virtuellen Gesichtspunkt aufweist,
wie in 7. In 9 sind die PIC1 und PIC2 partielle
Bilder, entnommen von den Bildern, aufgenommen durch die Kameras
CC1 bzw. CC2, BLC12 ist die Grenze zwischen den partiellen Bildern
PIC1 und PIC2 und DC ist die Region des toten Winkels, welcher nicht
aufgenommen wird, weder durch die Kamera CC1 noch durch CC2.
-
8 und 9 zeigen
klar, dass in der Nähe
der Grenze BLC12 zwischen dem partiellen Bild PIC1 als einem ersten
partiellen Bild und dem partiellen Bild PIC2 als einem zweiten partiellen
Bild die Aufnahmerichtung der Kamera CC1 als einer ersten Kamera,
welche das partielle Bild PIC1 aufnimmt, und die Aufnahmerichtung
der Kamera CC2, als eine zweite Kamera, welche das partielle Bild
PIC2 aufnimmt, substantiell zur Richtung der Grenze BLC12 passen.
-
Es
sollte hier betont werden, dass die Position der Grenze zwischen
den partiellen Bildern in dem synthetisierten Bild sich von derjenigen
in 7 unterscheidet, aufgrund der Kameraanordnung.
Falls die Kameraanordnung von 8 verwendet
wird, und die Grenze BLC12 zwischen dem partiellen Bild PIC1 der
Kamera CC1 und dem partiellen Bild PIC2 der Kamera CC2 auf die gleiche
Position gesetzt wird, wie die Grenze BLB12 von 7,
dann wird ein sehr kleiner Abschnitt des Fußes des Bildes des Pfostens
P3 übrig
bleiben und andere Abschnitte werden weggeschnitten (nicht gezeigt).
-
Folglich
sollte die Anordnung der Kameras berücksichtigt werden, wenn die
Grenze zwischen den partiellen Bildern in dem synthetisierten Bild
eingestellt wird. Alternativ sollte die Position, zu welcher die
Grenze zwischen den partiellen Bildern in dem synthetisierten Bild
gesetzt wird, berücksichtigt
werden, wenn die Position bestimmt wird, zu welcher die Kameras
installiert werden sowie die Orientierung der Kameras. Dem entsprechend
sollten entweder der bildverarbeitende Abschnitt oder die Kameras
zum Aufnehmen der partiellen Bildern, welche benachbart zueinander
in dem synthetisierten Bild angeordnet sind, abgestimmt werden.
-
Mit
anderen Worten kann die vorliegende Erfindung betrachtet werden,
als das Positionieren von zwei Kameras zum Aufnehmen von partiellen
Bildern, angeordnet benachbart zueinander, in einem synthetisierten Bild,
so dass die aufgenommenen Regionen der Kameras überlappen und als Einstellen
von zumindest einem von den Kameras oder dem bildverarbeitendem
Abschnitt, so dass in der Nähe
der Grenze zwischen den partiellen Bildern die Aufnahmerichtung
einer jeden Kamera substantiell zur Richtung der Grenze passt.
-
Hier
werden die Aufnahmerichtung und die Richtung der Grenze als "substantiell" zusammenpassend betrachtet,
falls eine der folgenden Bedingungen erfüllt ist. Das heißt, die
Aufnahmerichtung und die Richtung der Grenze werden als "substantiell" zusammenpassend
betrachtet, solange als substantiell der gesamte Körper einer
Person, wenn er sich entlang der Grenze erstreckt, oder sogar falls
ein Teil eines Objekts verschwindet, wenn das Objekt in die Nähe der Grenze
kommt, die Größe des Objekts,
mit der es verschwindet, innerhalb eines speziellen Bereiches liegt.
Genauer gesagt ist es bevorzugt, dass der Winkel, ausgebildet zwischen der
Aufnahmerichtung einer jeden Kamera und der Richtung der Grenze
nicht mehr als 10° beträgt.
-
Drittes Beispiel: Bestätigung der
Sicherheit für
die gesamten Umgebungen, außer
der Vorderseite eines Fahrzeugs und im speziellen der Rückseite
eines Fahrzeugs
-
Wie
im zweiten Beispiel erwähnt,
hat die größere Größe von Fahrzeugen
in den letzteren Jahren dazu geführt,
dass es einen erhöhten
Bedarf für
die Sicherheits-Bestätigung
der Vorderseite eines Fahrzeuges gibt. Im Gegensatz dazu wurde die
Bestätigung
der Sicherheit der Rückseite
des Fahrzeuges lang untersucht und in den jüngsten Jahren hat man damit
begonnen, Sicherheits-Bestätigungssysteme
praktisch einzusetzen, in welchen eine einzelne Kamera eingesetzt
wird, um tote Winkel auf der Rückseite
zu überwachen.
Jedoch haben sich solche Systeme als unzureichend herausgestellt
zum lückenlosen Überwachen
einer breiten Fläche auf
der Rückseite
des Fahrzeuges und folglich haben Untersuchungen in Systemen begonnen,
welche eine Vielzahl von Kameras einsetzen wie z.B. das System,
das in 17 gezeigt ist. Wie jedoch in
dem Hintergrundabschnitt erwähnt,
bleibt das Problem, dass Objekte teilweise in der Nähe der Grenze
zischen den Kameras verschwinden.
-
Das
System des ersten Beispiels, das oben beschrieben wird, diente dazu,
die gesamten Fahrzeugumgebungen zu zeigen, ausgenommen die Seite
des Fahrersitzes, ohne tote Winkel; des weiteren wird in dem dritten
Beispiel die Kameraanordnung entsprechend dem ersten Beispiel um
90° gegen
den Uhrzeigersinn rotiert, so dass die Probleme des Standes der
Technik gelöst
werden können
und die Sicherheit der gesamten Fahrzeugumgebungen gewährleistet
werden kann, außer
für auf
der Vorderseite des Fahrzeuges und insbesondere kann die Sicherheit
der Rückseite
des Fahrzeuges bestätigt
werden.
-
10 ist
ein drittes Beispiel einer Kameraanordnung entsprechend der vorliegenden
Erfindung und 11 ist ein Beispiel der Bilder
aufgenommen durch die Kameras CD1 bis CD4, angeordnet wie in 10. In
der beispielhaften Anordnung in 10 sind
die vier Kameras CD1 bis CD4 wie folgt angeordnet.
- Kamera CD1 Position: rückwärtiges linkes
Ende des Fahrzeuges 1
Orientierung: links schräg nach vorne
visueller
Feldbereich: Region AD1
- Kamera CD2 Position: rückwärtiger zentraler
Abschnitt des Fahrzeuges 1
Orientierung: links schräg nach hinten
visueller
Feldbereich: Region AD2
- Kamera CD3 Position: zentraler rückwärtiger Abschnitt von Fahrzeug 1
Orientierung:
rechts schräg
nach hinten gerichtet
visueller Feldbereich: Region AD3
- Kamera CD4 Position: rechte hintere Seite des Fahrzeuges 1
Orientierung:
rechts schräg
nach vorne
visueller Feldbereich: Region AD4
-
Folglich
werden in 10 die vier Kameras CD1 bis
CD4 installiert wie oben beschrieben, so dass ein Bild von einem
virtuellen Gesichtspunkt, welches die gesamte Fahrzeugumgebung aufnimmt,
abgesehen von der Vorderseite des Fahrzeugs 1, synthetisiert
wird.
-
12 ist
ein Diagramm, welches schematisch die Ergebnisse der Synthese eines
Bildes von einem virtuellen Gesichtspunkt aus zeigt, beispielsweise
eines Bildes, welches nach unten auf die Umgebung des Fahrzeugs 1 von
oben schaut unter Verwendung von Kamerabildern, wie diejenigen,
die in 11 dargestellt sind. In 12 sind
PID1 bis PID4 partielle Bilder, welche von den Bildern aufgenommen
wurden, die durch die Kameras CD1 bis CD4 aufgenommen wurden, BLD12
ist die Grenze zwischen den partiellen Bildern PID1 und PID2, BLB23
ist die Grenze zwischen den partiellen Bildern PID2 und PID3 und
BLD34 ist die Grenze zwischen den partiellen Bildern PID3 und PID4.
Des weiteren ist die Fläche
DD eine Region eines toten Winkels, welcher nicht aufgenommen wird
durch irgendeine der Kameras CD1 bis CD4.
-
Durch
Installieren der Kameras CD1 bis CD4 wie in diesem Beispiel werden
beide Kriterien, wie oben erläutert,
erfüllt.
Das heißt,
in dem synthetisierten Bild von 12 sind
die Aufnahmerichtung der Kameras, welche die partiellen Bilder aufnehmen
und die Richtung der Grenzen substantiell in der Nähe der Grenze
zwischen den partiellen Bildern zusammenfassen, verfallen. Beispielsweise
passen, wie aus den 10 und 12 ersichtlich
ist, in der Nähe
der Grenze BLD12 zwischen dem partiellen Bild PID1 als dem ersten
partiellen Bild und dem partiellen Bild PID2 aus dem zweiten partiellen
Bild die Aufnahmerichtung der Kamera CD1 als eine erste Kamera,
welche das partielle Bild PID1 aufnimmt und die Aufnahmerichtung
der Kamera CD2, als eine zweite Kamera, welche das partielle Bild
PID2 aufnimmt, substantiell zur Richtung der Grenze BLD12. Das gleiche
kann für
die Grenzen BLD23 und BLD34 gesagt werden.
-
Des
weiteren überlappen
die aufgenommene Region AD1 der Kamera CD1 und die aufgenommene Region
AD2 der Kamera CD2 miteinander. Des weiteren überlappen die aufgenommenen
Regionen der Kameras CD2 und CD3 und die aufgenommenen Regionen
der Kameras CD3 und CD4 miteinander.
-
Folglich
hält das
synthetisierte Bild von 12 die
Vorteile des Bildes von einem virtuellen Betrachter zu einem virtuellen
Betrachtungspunkt aufrecht, welche darin liegen, dass Objekte, welche
in den Kameras CD1 bis CD4 erscheinen, leicht für den Benutzer verständlich sind,
während
die positionelle Beziehung der Objekte aufrecht erhalten wird, wobei
gleichzeitig das Problem von verschwindenden Objekten vermieden wird,
durch Erfüllen
der Kriterien der Kamerainstallation der vorliegenden Erfindung.
Dies wird klar aus der Tatsache, dass, obwohl sogar die Pfosten
P3 und P4 am Abschnitt der linken hinteren Ecke und am Abschnitt
der rechten hinteren Ecke des Fahrzeuges 1 in der Nähe der Grenzen
BLD12 und BLD34 liegen, sie sich entlang der Grenze aufgrund der
Bildsynthese erstrecken und im synthetisierten Bild ohne Verschwinden
bleiben.
-
Entsprechend
diesem Beispiel sind durch Verwendung der vier Kameras CD1 bis CD4
die gesamten Umgebungen des Fahrzeuges, mit Ausnahme der Fläche auf
der Vorderseite, so, dass sie als ein Bild dargestellt werden können, in
welchem die positionellen Beziehungen beibehalten werden, und in
welchen es keine toten Winkel gibt.
-
Es
sollte festgehalten werden, dass in dem synthetisierten Bild von 12 die
Grenze BLD12 zwischen den partiellen Bildern PID1 und PID2 und die
Grenze BLD34 zwischen den partiellen Bildern PID3 und PID4 substantiell
auf der Erstreckungslinie der Rückseite
des Fahrzeugs 1 lokalisiert sind. In dem Bild vom virtuellen
Gesichtspunkt aus ist die Art und Weise, in welcher die originalen
Kamerabilder modifiziert werden, unterschiedlich auf den beiden
Seiten der Grenzen, so dass das Bild der Objekte, welche diese Grenzen
aufspannen, nicht zusammenhängend
ineinander übergeht.
Man kann sich denken, dass im allgemeinen diese Unzusammenhängigkeit
die Qualität
des synthetisierten Bildes senken wird. Jedoch wird unter einem
anderen Gesichtspunkt, beispielsweise, wenn sich ein Objekt, das
sich in der Nähe
der Rückseite
von der Region des partiellen Bildes PID3 zur Region des partiellen
Bildes PID4 erstreckt, bewegt, das Objekt nicht zusammenhängend auf
dem Bild erscheinen, so dass an diesem Punkt das Objekt bestimmt
werden kann als eines, welches weiter vorne ist als das rückwärtige Ende
des Fahrzeuges 1. Also gibt es eine signifikante Bedeutung zwischen
dem Setzen der Grenzen BLD12 und BLD34 wie in 12 gezeigt.
-
Viertes Beispiel: Gesamte
Fahrzeug-Umgebungen
-
In
den oben genannten Beispielen sind die Kameras ultimativ über gerade
Linien angeordnet. In dem vorliegenden Beispiel wird ein Beispiel
gezeigt, in welchen die oben erwähnten
Kriterien für
die Kamerainstallation entsprechend der vorliegenden Erfindung erfüllt sind,
ohne dass die Kameras in geraden Linien angeordnet sind. Genauer
gesagt, zeigt dieses Beispiel eine Kamera-Installations-Konfiguration,
in welcher die gesamten Umgebungen eines Fahrzeugs gezeigt werden
können,
ohne tote Winkel, wobei vier Kameras eingesetzt werden.
-
13 zeigt
ein viertes Beispiel einer Kameraanordnung entsprechend der vorliegenden
Erfindung. In der beispielhaften Anordnung von 13 sind
vier Kameras CE1 bis CE4 wie folgt angeordnet.
- Kamera
CE1 Position: vorderes rechtes Ende des Fahrzeuges 1
Orientierung:
rechts schräg
nach hinten gerichtet
visueller Feldbereich: Region AE1
- Kamera CE2 Position: vorderes linkes Ende des Fahrzeuges 1
Orientierung:
rechts schräg
nach vorne gerichtet
visueller Feldbereich: Region AE2
- Kamera CE3 Position: hinteres linkes Ende des Fahrzeuges 1
Orientierung:
links schräg
nach vorne
visueller Feldbereich: Region AE3
- Kamera CE4 Position: hinteres rechtes Ende des Fahrzeuges 1
Orientierung:
links schräg
nach hinten
visueller Feldbereich: Region AE4
-
Folglich
werden in 13 die vier Kameras CE1 bis
CE4 installiert wie oben beschrieben, so dass ein Bild unter einem
virtuellen Gesichtspunkt synthetisiert wird, welches die gesamte
Fahrzeugumgebung eines Fahrzeugs 1 aufnimmt.
-
14 ist
ein Diagramm, welches schematisch die Ergebnisse der Synthese eines
Bildes unter einem virtuellen Gesichtspunkts zeigt, beispielsweise
eines Bildes, welches von oben nach unten auf die Umgebung des Fahrzeugs 1 schaut,
wobei Kamerabilder verwendet werden, wie diejenigen, die in 13 dargestellt
sind. In 14 sind PIE1 bis PIE4 partielle
Bilder, welche von den Bildern aufgenommen wurden, die durch die
Kameras CE1 bis CE4 aufgenommen wurden, BLD12 ist die Grenze zwischen
den partiellen Bildern PIE1 und PIE2, BLE23 ist die Grenze zwischen
den partiellen Bildern PIE2 und PIE3 und BLE34 ist die Grenze zwischen den
partiellen Bildern PIE3 und PIE4 und BLE14 ist die Grenze zwischen
den partiellen Bildern PIE4 und PIE1.
-
Durch
Installieren der Kameras CE1 bis CE4 wie in diesem Beispiel werden
beide Kriterien, wie oben erläutert,
erfüllt.
Beispielsweise passen, wie aus den 13 und 14 verständlich wird,
in der Nähe
der Grenze BLE12 zwischen dem partiellen Bild PIE1 als dem ersten
partiellen Bild und dem partiellen Bild PIE2 aus dem zweiten partiellen
Bild die Aufnahmerichtung der Kamera CE1 als eine erste Kamera,
welche das partielle Bild PIE1 aufnimmt und die Aufnahmerichtung
der Kamera CE2, als eine zweite Kamera, welche das partielle Bild
PIE2 aufnimmt, substantiell zur Richtung der Grenze BLE12. Das gleiche
kann für
die Grenzen BLE23, BLE34 und BLE14 gesagt werden.
-
Des
weiteren überlappen
die aufgenommene Region AE1 der Kamera CE1 und die aufgenommene Region
AE2 der Kamera CE2 miteinander. Des weiteren überlappen die aufgenommenen
Regionen der Kameras CE2 und CE3 und die aufgenommenen Regionen
der Kameras CE3 und CE4 und die aufgenommenen Regionen der Kameras
CE4 und CE1 miteinander.
-
Folglich
hält das
synthetisierte Bild von 1 die Vorteile des Bildes von
einem virtuellen Betrachter zu einem virtuellen Betrachtungspunkt
aufrecht, welche darin liegen, dass Objekte, welche in den Kameras CE1
bis CE4 erscheinen, so erzeugt werden, dass sie dem Benutzer leicht
verständlich
sind, während
die positionelle Beziehung der Objekte aufrecht erhalten wird, wobei
gleichzeitig das Problem von verschwindenden Objekten vermieden
wird, durch Erfüllen
der Kriterien der Kamerainstallation der vorliegenden Erfindung.
Dies wird klar aus der Tatsache, dass obwohl die Pole P1 bis P4
an den vier Ecken des Fahrzeuges 1 in der Nähe der Grenzen
BLE12, BLE23, BLE34 und BLE14 liegen, sie sich entlang der Grenze
aufgrund der Bildsynthese erstrecken und im synthetisierten Bild
ohne Verschwinden bleiben.
-
15 zeigt
eine weitere Kameraanordnung gemäß diesem
Beispiel. Die Anordnung von 15 korrespondiert
mit der Anordnung von 13 mit der Orientierung der
Kameras gedreht um 180°.
In der beispielhaften Anordnung von 15 sind
die vier Kameras CF1 bis CF4 wie folgt angeordnet.
- Kamera CF1 Position: vorderes rechtes Ende des Fahrzeuges 1
Orientierung:
links schräg
nach vorne
visueller Feldbereich: Region AF1
- Kamera CF2 Position: vorderes linkes Ende des Fahrzeuges
Orientierung:
links schräg
nach hinten
visueller Feldbereich: Region AF2
- Kamera CF3 Position: hinteres linkes Ende des Fahrzeuges
Orientierung:
rechts schräg
nach hinten
visueller Feldbereich: Region AF3
- Kamera CF4 Position: hinteres rechtes Ende des Fahrzeuges
Orientierung:
rechts schräg
nach vorne
visueller Feldbereich: Region AF4
-
16 ist
ein Diagramm, welches schematisch die Ergebnisse der Synthese eines
Bildes unter einem virtuellen Gesichtspunkts zeigt, beispielsweise
eines Bildes, welches nach unten von oben auf die Umgebung des Fahrzeuges 1 schaut,
wobei Kamerabilder verwendet werden, wie diejenigen, die in 15 dargestellt sind.
In 16 sind PIF1 bis PIF4 partielle Bilder, welche
von den Bildern aufgenommen wurden, die durch die Kameras CF1 bis
CF4 aufgenommen wurden, BLD12 ist die Grenze zwischen den par tiellen
Bildern PIF1 und PIF2, BLF23 ist die Grenze zwischen den partiellen
Bildern PIF2 und PIF3 und BLF34 ist die Grenze zwischen den partiellen
Bildern PIF3 und PIF4 und BLF14 ist die Grenze zwischen den partiellen
Bildern PIF4 und PIF1.
-
In
diesem Beispiel sind ebenso die beiden Kriterien wie oben erläutert, erfüllt. Jedoch
beträgt
die Orientierung einer jeden der Kameras 180° im Vergleich zu denjenigen
in 14 und folglich ist die Position der Grenzen zwischen
dem partiellen Bildern unterschiedlich eingestellt. Immer noch erstrecken
sich wie in 14, sogar obwohl die Pfosten
P1 bis P4 an den vier Ecken des Fahrzeuges 1 in der Nähe der Grenzen BLF14,
BLF12, BLF23 und BLF34 liegen, sie sich entlang der Grenze aufgrund
der Bildsynthese und bleiben im synthetisierten Bild ohne Verschwinden.
-
In
dieser Beschreibung wurden oben mehrere Beispiele verwendet, um
die Kameraanordnungen zu beschreiben, welche als hauptsächlicher
Punkt der vorliegenden Erfindung dienen. In jeder der oben genannten
Beschreibungen war das Beispiel für ein Bild von einem virtuellen
Gesichtspunkt ein Bild, in welchem die Bedingungen, welche das Fahrzeug
umgeben, nach unten von oben betrachtet werden; jedoch gibt es selbstverständlich keine
Begrenzung auf dieses und beispielsweise ist es möglich, um
eine Bestätigung
für die
Rückansicht
zu liefern, einen virtuellen Gesichtspunkt einzustellen, welcher
nach unten schaut von oberhalb eines Punktes leicht vorderhalb des
Fahrzeuges liegt.
-
Des
weiteren können
partielle Bilder vermischt werden, um ein vermischtes Bild zu erhalten,
welches an der Grenze zwischen den partiellen Bildern des synthetisierten
Bildes angeordnet werden kann. In dieser Beschreibung die Regionen
in dem synthetisierten Bild, wo die Grenzabschnitte von aneinander
grenzenden partiellen Bildern miteinander überlappen, als "Überlapp-Regionen" bezeichnet.
-
22 zeigt schematische Beispiele von überlappenden
Regionen und illustriert den hinteren Abschnitt des Fahrzeuges 1,
das in 17 gezeigt ist. In 22 wird ein Paar von Kameras CZ2 und CZ3
installiert in der oberen Mitte des Rumpfes des hinteren Endes des
Fahrzeuges 1. Die Kamera CZ2 nimmt Bilder auf, nach hinten
zur linken Seite des Fahrzeuges 1 (Aufnahmeregion AR2)
und die Kamera CZ3 nimmt Bilder auf nach hinten zur rechten Seite
des Fahrzeuges 1 (Aufnahmeregion AR3). Des weiteren wird
auch die Region in der Mitte hinten des Fahrzeuges durch beide,
die Kamera CZ2 und die Kamera CZ3, aufgenommen.
-
Des
weiteren zeigen die 22A bis 22C Beispiele
des Einstellens von Überlapp-Regionen unter Verwendung
von allgemeinen Kamera-Montagebedingungen. OL zeigt die Überlappregion
und CL zeigt die Zentrallinie in der Längsorientierung der Überlappregion
OL und korrespondiert mit der "Richtung
der Grenze" so,
wie sie in dieser Beschreibung bezeichnet wird. 22A ist ein Beispiel, in welchem die Überlappregion OL
soweit als möglich
eingestellt wurde. 22B ist ein Beispiel, in welcher
die Weite der Überlappregion
sukzessive enger zum Fahrzeug hin 1 gesetzt wurde und sukzessive
weiter weg vom Fahrzeug 1. 22C ist
ein Beispiel, in welchem die Breite der Überlappregion OL soweit als
möglich
in der Nähe
des Fahrzeuges 1 gesetzt worden ist und substantiell konstant
bleibt bis zu einem entfernten Abschnitt, welcher sich in einem
bestimmten Abstand entfernt befindet.
-
Alle
der Einstellungsbeispiele von 22A bis 22C können
verwendet werden, oder die Überlappregion
OL kann eingestellt werden, unter Verwendung von Verfahren, welche
sich von denjenigen die hier dargestellt sind, unterscheiden. Jedoch
ist der Standard zum Einstellen der Überlappregion OL wie folgt:
Die Überlappregion
wird nicht zu breit eingestellt, so dass Objekte, welche in den
Kameras erscheinen, nicht als Doppelbilder erscheinen und schwierig
zu sehen wären.
-
Die Überlappregion
wird nicht zu eng eingestellt, so dass die Objekte in der Überlappregion
OL nicht als unzusammenhängend
erscheinen.
-
Werden
diese beiden Kriterien erfüllt,
könnte
man das Beispiel von 22 als bevorzugt
betrachten. In 22 wird die Überlappregion
OL mit dem Zentrum des Abschnittes zusammengefügt, wo die aufgenommenen Regionen
AR2 und AR3 miteinander überlappen,
muss jedoch nicht notwendigerweise in der Mitte zusammengefügt werden.
-
Es
sollte festgehalten werden, dass die vorliegende Erfindung nicht
nur auf die Ausführungsformen, die
in den Beispielen dargeboten sind, begrenzt ist, und ausgeführt werden
kann, mit spezifischen strukturellen Veränderungen innerhalb des Umfanges
des Gehalts der individuellen Ansprüche.
-
Des
weiteren schließt
in dieser Erfindung der Begriff "Fahrzeug" ein Personenfahrzeug
von Standardgröße ein,
kompakte Personenfahrzeuge, Transportfahrzeuge sowie Busse, Darüber hinaus
können
solange die technische Idee der vorliegenden Erfindung rea lisiert
werden kann, spezielle Fahrzeuge wie z.B. Kranautos und Bagger auch
als "Fahrzeug" der vorliegenden
Erfindung klassifiziert werden.
-
Es
sollte festgehalten werden, dass das Beispiel wie oben erwähnt, beschrieben
wurde, unter der Annahme, dass die Kameras, die notwendig sind,
zum Erhalten der synthetisierten Bilder, provisorisch installiert sind.
Darüber
hinaus ist die vorliegende Erfindung auch effektiv in Fällen, in
welchen beispielsweise weitere Kameras bereitgestellt werden, da
der Überwachungsbereich
der Kameras, die bereits installiert sind, unzureichend ist. Das
heißt,
dass die Verfahren wie oben erläutert,
auch auf Probleme angewandt werden können, wo und in welcher Orientierung
weitere Kameras installiert werden, und wo die Grenze zwischen partiellen
Bildern von ursprünglich
installierten Kameras in partiellen Bildern der hinzugefügten Kameras
etabliert werden sollen, wenn ein neu synthetisiertes Bild unter
Verwendung von Bildern, aufgenommen von den hinzugefügten Kameras
erzeugt werden soll.
-
Beispielsweise
ist es wünschenswert,
dass wenn ein Fahrzeug verkauft wird, es nur eine Kamera einschließt, welches
ein 180°-Feld
einschließt
mit Blick nach hinten, die im Zentrum des rückwärtigen Abschnitts des Fahrzeugs
installiert ist und nach dem Verkauf des Fahrzeugs eine Kamera zum
Aufnehmen der Region auf der Seite des Beifahrers neu hinzugefügt wird,
um die Darstellung eines synthetisierten Bildes, in welcher die
Region nach hinten und die Region auf der Seite des Beifahrersitzes
gemeinsam in einem synthetisierten Bild in welchem die Region nach
hinten und die Region auf der Seite des Beifahrersitzes gemeinsam
gezeigt werden, dargestellt werden können.
-
Geometrische
Transformation
-
Zum
Erzeugen eines Schemadiagramms zum Synthetisieren von Bildern ist
es notwendig, die Koordinaten eines Pixels eines jeden Kamerabildes
zu bestimmen, welche mit jedem Pixel eines synthetisierten Bildes,
dargestellt von einem virtuellen Ansichtspunkt, korrespondieren.
-
Zu
diesem Zweck wird ein Raum-Koordinatensystem (Xw, Yw, Zw) korrespondierend
mit jedem Pixel eines synthetisierten Bildes von einem virtuellen
Ansichtspunkt aus erhalten. Anschließend werden die Koordinaten
der Pixel eines Kamerabildes, welche mit den dreidimensionalen Koordinaten
des Raum-Koordinatensystems korrespondieren, erhalten. Diese Art
und Weise des Verwendens der beiden Schritte ist angenehm.
-
Die
letztendlich benötigte
Beziehung ist nur die Beziehung zwischen jedem Pixel eines synthetisierten Bildes
von einem virtuellen Ansichtspunkt aus und eines Pixels einer jeden
Kamera und es gibt keinen Grund, das Schemadiagramm, erhalten über das
Raumkoordinatensystem einzuschränken.
Jedoch klärt
das Schemadiagramm, erhalten über
das Raumkoordinatensystem, die Signifikanz des synthetisierten Bildes
in dem Raumkoordinatensystem, welches ein Koordinatensystem des
tatsächlich
Raums ist so, dass dies wichtig ist, dahingehend, dass das synthetisierte
Bild, das leicht korreliert werden kann, mit den Umständen der
Umgebung mit dem tatsächlichen
Abstand oder der Positions-Beziehung, erzeugt werden kann. Die Raumkoordinaten
(Xw, Yw, Zw) welche mit den Koordinaten (Vxe, Vye, Vze) des Ansichtspunktes
des synthetisierten Bildes korrespondieren, können durch Gleichung 1 erhalten
werden:
wobei als die Parameter,
welche die Position und Orientierung eines virtuellen Ansichtspunktes
anzeigen, die Koordinaten des Raumkoordinatensystems des Ansichtspunktes
durch den Positionsvektor Tv = (Txv, Tyv, Tzv) repräsentiert
werden und die Orientierung der Sichtlinie durch die Rotationsmatrix
R
v mit den drei Reihen und drei Spalten
angezeigt wird, welche anzeigen, dass die Rotation des Koordinatensystems
der ebenen Ansicht mit der Orientierung des Raumkoordinatensystems
zur Deckung gebacht wird.
-
23 ist
eine schematische Ansicht, welche die Beziehung zwischen dem Ansichtspunkt-Koordinatensystem
und dem Raum-Koordinatensystem illustriert.
-
Wie
in
24 gezeigt, ist die Rotationsmatrix R
v wie
folgt:
wobei
der Winkel der horizontalen Rotation (Azimuth) der Sichtlinie mit
Blick auf die Y-Z-Ebene
des Raumkoordinatensystems gleich αv ist, der Inklinations-Winkel
(Erhebungswinkel) der Sichtlinie mit Blick auf die X-Z-Ebene gleich βv ist und
die Rotation (Twist) um die optische Achse der Kamera gleich γv ist.
-
Auf
der anderen Seite kann die Beziehung zwischen dem Vxe und Vye des
Ansichtspunkt-Koordinatensystems (Vxe, Vye, Vze) des virtuellen
Ansichtspunktes und den zweidimensionalen Koordinaten Uv und Vv
auf der Projektionsebene repräsentiert
werden durch Gleichung (3) unter Verwendung der Fokallänge fv der
perspektivischen Projektionstransformation.
-
-
Die
Fokallänge
kann repräsentiert
werden durch die Einheit von mm oder Inch, welche mit der Größe korrespondiert,
wobei man annimmt, dass die Projektionsebene ein Film oder eine
CCD ist, oder kann repräsentiert
werden durch die Pixel, welche mit der Größe des synthetisierten Bildes
korrespondieren. In diesem Beispiel ist die Projektionsebene so
normalisiert, dass sie eine Breite von 2 und eine Höhe von 2
mit dem Projektionszentrum als sein Zentrum aufweist, und die Fokallänge, die
damit korrespondiert, wird verwendet.
-
Folglich
können,
wie für
die Beziehung zwischen den Koordinaten auf der Projektionsebene
und den Pixeln des synthetisierten Bildes, falls die horizontale
Breite des Bildes gleich Wv Pixel ist und die vertikale Breite gleich
Hv Pixel, die Koordinaten (Uv, Vv) auf der Projektionsebene, welche
mit den Pixeln (Sv, Tv) korrespondieren, die auf der oberen rechten
Seite des Bildes positioniert sind, erhalten werden durch: Uv = 2 × Sv/Wv – 1
Vv = 2 × Tv/Hv – 1 (4)
-
Als
ein Ergebnis können
die dreidimensionalen Koordinaten (Xw, Yw, Zw) des Raumkoordinatensystems,
welche mit einem zufälligen
Pixel (Sv, Tv) des synthetisierten Bildes korrespondieren, erhalten
werden aus den Gleichungen (1) bis (4), der Position der Kamera
(Txv, Tyv, Tzv), der Orientierung der Kamera αv, βv, γv und der Fokallänge fv durch
die Gleichung (5).
-
-
Jedoch
bleibt in Gleichung (5) die Tiefe Vze, welche mit den Koordinaten
(Sv, Tv) des synthetisierten Bildes korrespondiert, unbestimmt.
Mit anderen Worten ist es notwendig, den Wert für die Tiefe von jedem Pixel
für ein
aufzunehmendes Objekt in dem synthetisierten Bild zu bestimmen.
-
Falls
die dreidimensionale Form des Objekts, welches von einem virtuellen
Ansichtspunkt betrachtet wird, bekannt sein kann, kann die Tiefe
eines jeden Pixels erhalten werden. Jedoch ist dies im Allgemeinen schwierig.
Folglich wird ein Modell für
die Form des Objektes, welches von einem virtuellen Ansichtspunkt
betrachtet wird, angenommen, um Vze zu erhalten, und die Beziehung
zwischen den Koordinaten des synthetisierten Bildes und den dreidimensionalen
Koordinaten des Raumkoordinatensystems wird erhalten.
-
Straßenoberflächenebenen-Modell
-
Als
ein Beispiel davon wird der Fall, wo ein Objekt auf der Straßenoberflächenebene
ist und sich in Kontakt mit dem Fahrzeug befindet, beschrieben werden.
-
Falls
angenommen wird, dass alle Objekte auf einer Ebene (Straßenoberfläche) des
Raumkoordinatensystems vorliegen, erfüllen die dreidimensionalen
Koordinaten (Xw, Yw, Zw) des Raumkoordinatensystems die folgende
Gleichung einer Ebene. axw + byw + czw + d = 0 (6)
-
Folglich
kann Vze erhalten werden durch Substituieren der Gleichung (6) in
Gleichung (5) wie folgt:
-
Folglich
können
aus den Koordinaten (Sv, Tv) des Pixels des synthetisierten Bildes
von dem virtuellen Ausgangspunkt die korrespondierenden dreidimensionalen
Koordinaten (Xw, Yw, Zw) einer Ebene des Raumkoordinatensystems
erhalten werden, durch Substituieren von Gleichung (7) in Gleichung
(5).
-
Die
Koordinaten eines jeden Pixels von jedem Kamerabild korrespondierend
mit den dreidimensionalen Koordinatensystem (Xw, Yw, Zw) in dem
Raumkoordinatensystem können
erhalten werden durch Substituieren der Parameter von Tx, Ty, Tz, α, β, und γ, welche
mit der Position und Orientierung einer jeden Kamera korrespondieren,
in der relativen Gleichung, ähnlich
mit Gleichung (1).
-
Beispielsweise
kann, falls die Position der Kamera 1 gleich Tx1, Ty1 und Tz1 ist
und die Orientierung davon gleich α1, β1, und γ1 ist, das Kamerakoordinatensystem
Xe1, Ye1 und Ze1 der Kamera 1 korrespondierend mit dem Pixel (Sv,
Tv) des synthetisierten Bildes berechnet werden mit Gleichung (8).
-
-
Die
Beziehung zwischen diesem Kamerakoordinatensystem und dem Koordinatensystem
(U1, V1) des Kamerabildes kann berechnet werden mit Gleichung (3)
wie folgt U1 = f1/Ze1 × Xe1
V1
= f1/Ze1 × Ye1 (9)wobei die
Fokallänge
der Kamera 1 gleich f1 ist. Das Pixel des korrespondierenden Kamerabildes
kann berechnet werden mit Gleichung (10) unter der Annahme, dass
die Größe des Kamerabildes
H1 Pixel in vertikaler Länge
und W1 Pixel in der horizontalen Breite beträgt und das Bildseitenformat
1:1 beträgt
und das Zentrum der Kamera das Zentrum des Bildes ist. S1 = W1/2 × (Uv +
1) T1 = H1/2 × (Vv
+ 1) (10)
-
Mit
der oben erwähnten
Prozedur kann das Pixel (S1, T1) des Bildes von Kamera 1, korrespondierend mit
dem Pixel (Sv, Tv) des Bildes von dem virtuellen Ansichtspunkt aus,
erhalten werden. Die Pixelkoordinaten (Sn, Tn) welche mit (Sv, Tv)
mit Blick auf eine allgemeine Kamera n verschieden von der Kamera
1, korrespondieren, können
in der gleichen Art und Weise berechnet werden. In der Parametertabelle
sind die Kamera Nummer n und ihre Koordinaten (Sn, Tn) so geschrieben,
dass eine oder eine Vielzahl von optimalen Koordinaten unter diesen
abhängen
von verschiedenen Bedingungen, beispielsweise, ob (Sn, Tn) innerhalb
eines Bereiches des aktuellen Kamerabildes liegt oder nicht oder
ob ein Vergrößerungsverhältnis oder
ein Verkleinerungsverhältnis
des Pixels groß ist
oder dergleichen.
-
Zylindrisches
Modell
-
In
dem oben beschriebenen Straßenoberflächen-Modell
ist ein Objekt, welches oberhalb des Horizonts auf einem Kamerabild
erscheint, niemals in der Ebene der Straßenoberfläche, selbst falls die Ebene
der Straßenoberfläche bis
ins Unendliche fortgeführt
wird, so dass das Objekt nicht vom virtuellen Ausgangspunkt aus
gesehen werden kann.
-
Um
dieses Objekt auf dem synthetisierten Bild unter einem virtuellen
Ausgangspunkt zu reflektieren, wird ein zylindrisches Modell wie
in 25 gezeigt, als dreidimensionale Form des Objektes
verwendet. Dieses Modell ist von Vorteil, beispielsweise wenn die
Orientierung des virtuellen Gesichtspunktes nahezu parallel zur
Straßenoberfläche ist.
-
Aus
Gründen
der Einfachheit wird ein zylindrisches Modell, das seine Achsen
in der X-Achse und
der Z-Achse aufweist, verwendet. Dieses Modell wird durch Gleichung
(11) repräsentiert
mit (Xc, Zc) als Zentrum eines elliptischen Zylinders unter Verwendung
eines Parameters (a, c) der Ellipse. Dies gilt auch in einfacher Art
und Weise für
Modelle, welche ihre Achsen in Achsen haben, welche verschieden
sind von der X-Achse und der Z-Achse durch Rotation auf der XZ Ebene.
-
-
Die
dreidimensionalen Koordinaten (Xw, Yw, Zw) des Raumkoordinatensystems,
korrespondierend mit den Koordinaten (Sv, Tv) des synthetisierten
Bildes von dem virtuellen Ausgangspunkt, können erhalten werden durch
Eliminieren von Vze aus der Gleichung (5) unter Verwendung von Gleichung
(11). Von diesen Koordinaten wird wie im Fall des Straßenoberflächenebenen-Modells
das Pixel, welches mit jedem Kamerabild korrespondiert, berechnet,
so dass die Beziehung zwischen dem Pixel (Sv, Tv) des Bildes von
einem virtuellen Ausgangspunkt und dem Pixel (Sn, Tn) des Kamerabildes
erhalten wird und die Schematabelle erzeugt wird.
-
Des
weiteren ist eine Kombination des Straßenoberflächenebenen-Modells und des
zylindrischen Modells möglich.
Zuerst werden die dreidimensionalen Koordinaten der Raumkoordinaten
erhalten mit dem Straßenoberflächenebenen-Modell.
Wenn die dreidimensionalen Koordinaten außerhalb des zylindrischen Modells
liegen oder nicht mit der Ebene zum Schnitt kommen, so dass keine
Lösung
existiert, dann werden die dreidimensionalen Koordinaten erhalten
mit den zylindrischem Modell. Folglich kann die Synthese durchgeführt werden
in Kombination mit dem Straßenoberflächenebenen-Modell und dem zylindrischen
Modell.
-
Quasi zylindrisches
Modell
-
Um
die Reichweite der Umstände
bei weit entfernten Orten in der Umgebung des Straßenoberflächenebenen-Modells
zu ermöglichen,
wird ein Schüssel-förmiges quasi-zylindrisches Modell
in der Peripherie eingeführt. 26 zeigt
die Form des Models. Der Abstand eines entfernten Ortes wird zur
Synthese kompremiert, so dass ein breiterer Bereich dargestellt
werden kann. Die Form dieses quasi-Zylinders wird durch Gleichung
(12) repräsentiert.
-
-
Das
Zentrum der Schüssel
ist (Xc, Yc, Zc) und weist eine Länge auf von (a, b, c) in der
X-, Y- und der Z-Achsen-Richtung. We für das oben dargestellte zylindrische
Modell werden die dreidimensionalen Koordinaten (Xw, Yw, Zw) des
Raumkoordinatensystems, welche mit den Koordinaten des synthetisierten
Bildes korrespondieren, von dem virtuellen Gesichtspunkt aus kalkuliert
und die Beziehung zwischen jedem Pixel des synthetisierten Bildes
und dem Pixel eines jeden Kamerabildes kann erhalten werden.
-
Wie
im Fall des zylindrischen Modells, kann ein zusammengesetztes Modell
in einer Kombination mit dem Straßenoberflächenebenen-Modell zur Synthese
verwendet werden.
-
Entsprechend
der vorliegenden Erfindung wie hier oben erwähnt, wird das Bild von Objekten
in der Nähe
der Grenze zwischen den partiellen Bildern entlang der Grenze modifiziert
und verschwindet folglich nicht aus dem synthetischen Bild. Konsequenter
Weise kann Information über
die Umgebungen eines Fahrzeuges in mehr akkurater Art und Weise
an den Fahrer übermittelt
werden und dies kann dem Fahrer helfen, sicherer zu fahren.
