-
Gebiet der
Technik
-
Die vorliegende Erfindung betrifft
ein Fahrassistenzsystem zum Unterstützen des Fahrens eines sich
bewegenden Körpers,
wie eines Fahrzeugs, indem ein Bild der Umgebungsbedingungen des
sich bewegenden Körpers
mit einer Kamera aufgenommen und eine Verarbeitung des Kamerabildes
durchgeführt
wird.
-
Stand der
Technik
-
Was ein herkömmliches Fahrassistenzsystem
mit einer Kamera angelangt, so wird das Erkennen eines Hindernisses
oder eines sich nähernden Fahrzeugs
z. B. in den offengelegten japanischen Patentveröffentlichung Nr. 9-240397 und
7-93693 offenbart.
-
Die offengelegte japanische Patentveröffentlichung
Nr. 9-240397 (im folgenden als "das
erste herkömmliche
Beispiel" bezeichnet)
offenbart eine Signalanlage für
ein im seitlichen hinteren Bereich fahrendes Fahrzeug. Diese Signalanlage
ermittelt auf der Grundlage eines Kamerabildes, das im seitlichen
hinteren Bereich des eigenen Fahrzeugs aufgenommen wird, einen sich
bewegenden Körper,
der in einer benachbarten Fahrbahn vorhanden ist, und ermittelt
weiter, ob beim Ermitteln eines sich bewegenden Körpers eine
weiße
Linie vorhanden ist oder nicht, um so ein anderes Fahrzeug durch
Integration der Ergebnisse dieser Ermittlung zu ermitteln. So wird
der Abstand zwischen dem eigenen Fahrzeug und einem anderen Fahrzeug
beurteilt, damit ein Fahrer informiert werden kann, wenn die potentielle Gefahr
eines zu geringen Abstands besteht.
-
Alternativ offenbart die offengelegte
japanische Patentveröffentlichung
Nr. 7-93693 (im folgenden als "das
zweite herkömmliche
Beispiel" bezeichnet)
einen Gegenstandsdetektor für
ein Fahrzeug. Dieser ist ein Gegenstandsdetektor für ein Fahrzeug, der
in der Lage ist, einen Gegenstand, wie ein Fahrzeug, korrekt von
einer Abbildung oder von einem Muster auf der Straße zu unterscheiden,
so dass der Gegenstand zuverlässig
ermittelt wird. Charakteristisch für die Struktur ist, dass die
Bewegung eines Randpunk tes eines Gegenstandes in einem Bild durch
ein Messinstrument für
die scheinbare Fahrgeschwindigkeit gemessen wird, als ob es eine
dreidimensionale Bewegung auf der Straße wäre, und die gemessene Bewegung
und die Geschwindigkeit des Fahrzeugs durch eine Gegenstandbeurteilungsvorrichtung
verglichen werden, um den Gegenstand zu unterscheiden.
-
Ein Rückfenstersichtsystem für ein Fahrzeug,
einschließlich
einer Panoramaansicht, ist aus der
US
5 670 935 bekannt.
-
Aufgaben der
Erfindung
-
Jedoch haben die vorher erwähnten herkömmlichen
Techniken die folgenden Probleme:
-
Erstens: beim zweiten herkömmlichen
Beispiel ist das Verfahren für
das Erkennen eines Hindernisses durch Bewegungsanalyse eines Kamerabildes
ein Verfahren, das im Allgemeinen als „Motion Stereo" („Bewegungsstereo") bezeichnet wird,
bei dem die Änderung
eines Bildes gemäß der Änderung eines
Sichtpunktes aufgrund von Bewegung analysiert wird, um dreidimensionale
Information über
das Kamerabild zu gewinnen. Dieses Verfahren hat jedoch den Nachteil,
dass die Änderung
des Bildes gemäß der Änderung
des Sichtpunktes bei einem Kamerabild, das in Bewegungsrichtung
aufgenommen wird, klein ist. Wenn dieses Verfahren z. B. bei einem Fahrzeug
verwendet wird, so entsteht ein Problem, dass die Nachweisempfindlichkeit
herabgesenkt wird, wenn ein Gegenstand entlang der Bewegungsrichtung
näher am
vor- oder rückwärtigen Bereich
ist.
-
Da außerdem die Technik der Bewegungsanalyse
verwendet wird, um die Bewegung eines Gegenstandes auf einem Bildschirm
zu ermitteln, wenn die Bildaufnahmevorrichtung an einem Fahrzeug
angebracht ist, vibriert das Bild auf dem Schirm aufgrund Erschütterungen
des Fahrzeugs, so dass die Bewegung nicht genau ermittelt werden
kann.
-
Wenn außerdem ein sich nähernder
Gegenstand ermittelt wird, ist es wichtig, wie der Fahrer über den
sich nähernden
Gegenstand informiert wird. Im Fall, in dem ein Warnton oder dergleichen
verwendet wird, kann der Warnton den Fahrer überraschen oder erschrecken,
was einen Fahrfehler verursachen kann. Auch die fehlerhafte oder
irrtümliche
Erkennung eines sich nähernden
Gegenstandes kann sicherem Fahren durch den Fahrer entgegenstehen. Daher
ist es ein wichtiges Problem, wie der Fahrer über einen sich nähernden
Gegenstand informiert wird. In Bezug auf eine Warnung an den Fahrer
beschreibt das erste herkömmliche
Beispiel nur, dass der Fahrer über
zu geringen Abstand informiert wird. Beim zweiten herkömmlichen
Beispiel wird nicht beschrieben, wie der Fahrer über ein erkanntes Hindernis
informiert wird.
-
Beschreibung
der Erfindung
-
In Anbetracht solcher Probleme beim
herkömmlichen
Fahrassistenzsystem oder Bildwiedergabesystem für den beweglichen Körper ist
es eine Aufgabe der Erfindung, ein Fahrassistenzsystem bereit zu
stellen, bei dem ein Fahrer Umgebungsbedingungen, wie einen sich
nähernden
Gegenstand und ein Hindernis, direkt verifizieren kann, so dass
die Belastung des Fahrers verringert wird.
-
Speziell umfasst das System zum Unterstützen des
Fahrens eines sich bewegenden (fahrenden) Körpers gemäß dieser Erfindung eine Mehrzahl
von Bildaufnahmevorrichtungen, die an dem sich bewegenden Körper angebracht
sind, um Kamerabilder von der Rückseite
des sich bewegenden Körpers
aufzunehmen; und eine Erfassungsvorrichtung für das Ermitteln der Bewegung
eines Gegenstandes, der hinter dem sich bewegenden Körper vorhanden
ist, basierend auf den Kamerabildern der Mehrzahl der Bildaufnahmevorrichtungen,
wobei die Mehrzahl der Bildaufnahmevorrichtungen in ihren Kamerabildern einen Überlappbereich
aufweisen, der einen Bereich in der Nähe eines Fluchtpunktes umfasst
und in welchem sich Bildbereiche der ersten Bildaufnahmevorrichtung
und der zweiten Bildaufnahmevorrichtung überlappen, und die Erfassungsvorrichtung
im Überlappbereich
eine Stereoparallaxe zwischen der ersten Bildaufnahmevorrichtung
und der zweiten Bildaufnahmevorrichtung ermittelt und auf der Grundlage der
ermittelten Stereoparallaxe einen Abstand zum Gegenstand ermittelt.
-
Die Erfassungsvorrichtung des Fahrassistenzsystems
gemäß dieser
Erfindung ermittelt Flüsse entsprechend
der zeitlichen Bewegung eines Bildes im Bildbereich der ersten Bildaufnahmevorrichtung, ausgenommen
des Überlappbereichs,
und ermittelt auf der Grundlage der ermittelten Flüsse die
Bewegung des Gegenstandes, der hinter dem sich bewegenden Körper vorhanden
ist.
-
Das erfindungsgemäße Fahrassistenzsystem umfasst
vorzugsweise weiter eine Bildsynthesevorrichtung, um durch Bildsynthese
mit den Kamerabildern der Mehrzahl der Bildaufnahmevorrichtungen ein
Bild zu erzeugen, das den rückwärtigen Bereich hinter
dem sich bewegenden Körper
wiedergibt.
-
Weiterhin umfasst das erfindungsgemäße Fahrassistenzsystem
vorzugsweise eine Gefahrenstufenermittlungsvorrichtung zum Bestimmen
der Gefahr eines möglichen
Zusammenstoßes
zwischen dem sich bewegenden Körper
und einem sich hinter dem sich bewegenden Körper nähernden Gegenstand, auf der
Grundlage der Informationsausgabe der Erfassungsvorrichtung, und
zum Ausgeben eines Hinweissignals, wenn festgestellt wird, dass
die Gefahr eines Zusammenstoßes
groß ist;
und eine externe Warnvorrichtung zum Ausgeben einer Warnung für den Bereich
hinter dem sich bewegenden Körper, wenn
das Hinweissignal von der Gefahrenstufenermittlungsvorrichtung ausgegeben
wird.
-
Alternativ umfasst es vorzugsweise
eine Gefahrenstufenermittlungsvorrichtung zum Bestimmen der Gefahr
eines möglichen
Zusammenstoßes zwischen
dem sich bewegenden Körper
und einem sich hinter dem sich bewegenden Körper nähernden Gegenstand, auf der
Grundlage der Informationsausgabe der Erfassungsvorrichtung, und
zum Ausgeben eines Hinweissignals, wenn festgestellt wird, dass die
Gefahr eines Zusammenstoßes
groß ist;
und eine Passagiersschutzvorrichtung zum Ergreifen von Maßnahmen,
um einen Passagier des sich bewegenden Körpers zu schützen, wenn
das Hinweissignal von der Gefahrenstufenermittlungsvorrichtung ausgegeben
wird.
-
Kurzbeschreibung
der Zeichnungen
-
1 ist
ein Blockdiagramm, das die Struktur eines Fahrassistenzsystems gemäß der erfindungsgemäßen Ausführungsform
1 zeigt.
-
2A ist
ein Diagramm eines exemplarischen Kamerabildes und 2B ist ein Diagramm, in dem Flüsse auf
dem Bild von 2A gezeigt
werden.
-
3 ist
ein konzeptionelles Diagramm, das die Bedingungen, unter denen das
Bild von 2A aufgenommen
wird, bei einer Betrachtung von oben zeigt.
-
4A ist
ein Diagramm, das die Verhältnisse
zwischen einem Fluchtpunkt und Flüssen zeigt, und 4B ist ein Diagramm eines
Bereichs, in dem sich ein Körper
bewegt, der aus dem Bild von 2A extrahiert
wird.
-
5 ist
ein Flussdiagramm, das Verfahren zur Extraktion von Erschütterungskomponenten zeigt.
-
6A und 6B sind Diagramme, die den Einfluss
der vertikalen Erschütterung
eines Fahrzeugs auf eine Bildaufnahmevorrichtung zeigen.
-
7A bis 7G sind Diagramme, um Verfahren
zum Ermitteln eines geschätzten
Offset-Wertes eines Bewegungsvektors zu erläutern.
-
8 ist
ein Flussdiagramm, das Verfahren zur Erfassung eines sich bewegenden
Körpers/erfassten
Objekts zeigt.
-
9A und 9B sind Diagramme, um ein
Verfahren für
das Diskriminieren eines sich bewegenden Körpers zu erläutern.
-
10A und 10B sind Diagramme, um die Extraktion
eines Bereichs, in dem sich ein Körper bewegt, unter Verwendung
eines Bewegungsvektor zu erläutern.
-
11A ist
ein Diagramm eines Standardabstandswertes eines Bildaufnahmebereichs
und 11B ist ein Diagramm
zur Veranschaulichung der verwendeten Abstandsschätzung, wenn
sich der Bereich, in dem sich ein Körper bewegt, über Bereiche AR1
und AR2 hinaus erstreckt.
-
12A ist
ein Diagramm eines Bildes, in dem Bewegungsvektoren eines unveränderlichen Hintergrundes
gezeigt werden, und 12B ein
Diagramm zum Erläutern
der Beurteilung eines Hindernisses.
-
13 ist
ein Diagramm eines Beispiels einer Bildwiedergabe.
-
14 ist
ein Blockdiagramm zur Veranschaulichung der Struktur eines Fahrassistenzsystems
gemäß der erfindungsgemäßen Ausführungsform
2.
-
15 ist
ein schematisches Diagramm zur Veranschaulichung eines Beispiels
der Anordnung der Bildaufnahmevorrichtung bei der erfindungsgemäßen Ausführungsform
2.
-
16A und 16B sind Diagramme von Kamerabildern,
in denen Flüsse
gezeigt sind, und 16C ist
ein Diagramm, in dem eine Stereoparallaxe ermittelt wird, indem
die zwei Bilder der 16A und 16B überlappt werden.
-
17 ist
ein Diagramm eines Beispiels eines Bildes, in dem ein Hindernis,
ein sich bewegender Körper
und ein sich nähernder
Gegenstand extrahiert werden.
-
18A und 18B sind Diagramme zur Veranschaulichung
eines virtuellen Sichtpunktes, der für das Erzeugen eines synthetisierten
Bildes verwendet wird, in dem ein sich bewegender Körper dreidimensional
wiedergegeben wird.
-
19A ist
ein Diagramm eines Beispiels eines tatsächlich aufgenommenen Kamerabildes
und 19B ist ein synthetisiertes
Bild, das aus 19A generiert
wurde.
-
20A und 20B sind Diagramme zum Erläutern der
Bildsynthese unter Berücksichtigung
eines ermittelten Abstandes.
-
21A und 21B sind Diagramme zum Erläutern der
Bildsynthese bei der Verwendung von zwei Bildaufnahmevorrichtungen
unter Berücksichtigung
eines ermittelten Abstandes.
-
22A und 22B sind Diagramme zur Veranschaulichung
eines Beispiels der Anordnung einer Bildaufnahmevorrichtung gemäß einer
Modifikation der erfindungsgemäßen Ausführungsform
2.
-
23A, 23B und 23C sind Diagramme zum Erläutern eines
Verfahren für
das Ermitteln einer Stereoparallaxe gemäß der Modifikation der erfindungsgemäßen Ausführungsform
2.
-
24 ist
ein Blockdiagramm zur Veranschaulichung der Struktur eines Fahrassistenzsystems
gemäß der erfindungsgemäßen Ausführungsform
3.
-
Bester Modus
für das
Durchführen
der Erfindung
-
Bevorzugte Ausführungsformen der Erfindung
werden jetzt mit Bezug auf die zugehörigen Zeichnungen beschrieben.
-
(AUSFÜHRUNGSFORM 1)
-
1 ist
ein Blockdiagramm zur Veranschaulichung der Struktur eines Fahrassistenzsystems
(System zur Bildwidergabe eines sich bewegenden Körpers) gemäß der erfindungsgemäßen Ausführungsform
1.
-
In 1 bezeichnen: – das Bezugszeichen 101 die
Bildaufnahmevorrichtung, die an einem sich bewegenden Körper vorgesehen
wird; – das
Bezugszeichen 102 eine Vorrichtung zum Erzeugen eines hierarchischen
Bildes; – das
Bezugszeichen 103 einen LPF (Tiefpassfilter); – das Bezugszeichen 104 eine
Blockmusterungsvorrichtung; – das
Bezugszeichen 105 eine hierarchische Blockanpassungsvorrichtung; – das Bezugszeichen 106 eine
Sub-Pixel-Abschätz-/Zuverlässigkeitsermittlungsvorrichtung; – das Bezugszeichen 107 eine
Vibrationskomponenten-Extraktions-/Eliminationsvorrichtung; – das Bezugszeichen 108 eine
Vorrichtung zur Berechnung eines Fluchtpunktes, – das Bezugszeichen 109 die Erfassungsvorrichtung
für einen
sich bewegenden Körper/sich
nähernden
Gegenstand; – das
Bezugszeichen 110 eine Bildsynthesevorrichtung; und – das Bezugszeichen 111 eine
Wiedergabevorrichtung. Die konstituierenden Elemente 102 bis 109 bilden
zusammen eine Erfassungsvorrichtung.
-
Die Bildaufnahmevorrichtung 101 ist
z. B. eine Kamera und wird an einem hinteren Bereich, z. B. am Heck,
eines Fahrzeugs bereitgestellt, damit ein Bild des rückseitigen
Bereichs des Fahrzeugs aufgenommen werden kann. Als Wiedergabevorrichtung 111 kann eine
speziell für
dieses System ausgebildete Anzeigevorrichtung oder ein LCD-Monitor
für Verkehrsnavigation
verwendet werden.
-
Die Aufgabe des Bildwiedergabesystems
für den
sich bewegenden Körper
dieser Ausführungsform
ist hauptsächlich,
durch direktes und verständliches
Warnen und Anzeigen eines Gegenstands, der sich am rückseitigen
Bereich nähert
und eine potentielle Gefahr beim Ändern des Fahrkurses sein kann, die
Belastung eines Fahrers zu verringern. Die Funktionsweise des Bildwiedergabesystems
für den
sich bewegenden Körper
dieser Ausführungsform
wird jetzt mit Bezug auf die 2 bis 13 beschrieben, Zuerst nimmt
die Bildaufnahmevorrichtung 101 ein Bild (hier mit 320
Pixel × 240
Pixel) des rückseitigen
Bereichs hinter dem eigenen Fahrzeug auf, wie in 2A gezeigt ist. Dieses Kamerabild umfasst
Hindernisse, wie ein Gebäude 11 und
einen Baum 12 am Straßenrand,
und sich bewegende Körper,
wie andere Fahrzeuge 13 und 14, die hinter dem
eigenen Fahrzeug fahren. In 2 werden
diese Hindernisse und sich bewegenden Körper schematisch dargestellt.
Dieses Kamerabild wird in die Vorrichtung zum Erzeugen eines hierarchischen
Bildes 102 und die Bildsynthesevorrichtung 110 eingegeben.
-
Die Vorrichtung zum Erzeugen eines
hierarchischen Bildes 102 erzeugt ein erstes oberes Bild (mit
160 × 120
Pixel), indem sie jeweils 2 × 2
Pixel des Eingangsbildes addiert. Außerdem wird ein zweites oberes
Bild (mit 80 × 60
Pixel) erzeugt, das ähnlich
zum ersten oberen Bild ist. Diese drei Arten von Bildern werden
zum Tiefpassfilter (LPF) 103 als hierarchische Bilder ausgegeben.
Der Tiefpassfilter (LPF) 103 führt ein Tiefpassfiltern für 3 × 3 Pixel
an jedem der hierarchischen Eingangsbilder durch.
-
Die Blockmusterungsvorrichtung 104 teilt
jedes der hierarchischen Bilder in Blöcke von je 8 × 8 Pixel
auf und führt
eine Sub-Durchmusterung jedes Blocks an 16 (= 4 × 4) repräsentativen Punkten durch, die
alle 2 Pixel ausgewählt
werden.
-
Die hierarchische Blockanpassungsvorrichtung 105 erhält aus dem
Bild der oberen Hierarchie eine SAD (Summe der absoluten Differenzen)
durch die Blockanpassung in einem Bereich von 5 × 5 Pixeln, und erhält weiter
einen Bewegungsvektor auf der Grundlage eines Punkts, an dem die
SAD minimal ist. In Bezug auf einen Block des Bildes der niedrigeren
Hierarchie wird weiter ein Bewegungsvektor in einem Bereich von
5 × 5
Pixeln mit einem Bewegungsvektor ermittelt, der in einem Block der
höheren Hierarchie
ermittelt wurde, der in der gleichen Position wie das Zentrum vorgesehen
ist.
-
Die Sub-Pixel-Abschätz-/Zuverlässigkeitsermittlungsvorrichtung 106 schätzt, indem
sie den Bewegungsvektor, der im Bild der niedrigsten Hierarchie
(Kamerabild) ermittelt wurde, und die SAD verwendet, einen Bewegungsvektor
mit einer Genauigkeit eines Sub-Pixels
mit einem oder weniger Pixel auf Grundlage von Werten der SAD am
Punkt, an dem die SAD minimal ist, und an acht Punkten um das SAD-Minimum.
Weiterhin ermittelt die Sub-Pixel-Abschätz-/Zuverlässigkeitsermittlungsvorrichtung 106 die
Zuverlässigkeit
des Bewegungsvektors im Block.
-
Durch diese Prozesse der hierarchischen Blockanpassungsvorrichtung 105 und
der Sub-Pixel-Abschätz-/Zuverlässigkeitsermittlungsvorrichtung 106 werden
Bewegungsvektoren entsprechend der Bewegung aus einem vorhergehenden
Bild an den jeweiligen Fluchtpunkten im Kamerabild als Flüsse FL ermittelt,
wie in 2B gezeigt ist.
-
Die Flüsse FL im Kamerabild werden
jetzt mit Bezug auf 3 beschrieben.
Wie in 2B gezeigt ist,
werden die oben erwähnten
Flüsse
FL an Randbereichen des Bildes erhalten. Dabei entspricht, nach
dem Eliminieren der Kameravibrationen, eine zur Fahrtrichtung des
Fahrzeugs von 3 entgegengesetzte
Richtung einem Fluchtpunkt VP auf dem Bildschirm, der in 4A gezeigt ist. Ein Gegenstand,
der unbeweglich auf dem Boden steht, hat einen Fluss FL in Richtung
zum Fluchtpunkt VP auf dem Bildschirm. Demgemäß kann ein Bereich (wie ein
rechteckiger Bereich 202) auf dem Bildschirm, der keinen
Fluss FL in Richtung zum Fluchtpunkt VP hat, als sich bewegender
Körper
oder sich nähernder Gegenstand
extrahiert werden.
-
Außerdem extrahiert und eliminiert
die Vibrationskomponenten-Extraktions/Eliminationsvorrichtung 107 eine
Vibrationskomponente, die durch die Erschütterungen des Fahrzeugs verursacht
wird, indem die ermittelten Bewegungsvektoren integral verarbeitet
werden. Da gemäß dieser
Erfindung eine Vibrationskomponente des Bildes extrahiert wird,
indem die Bewegungsvektoren verwendet werden, die für das Erfassen
eines sich nähernden
Gegenstandes ermittelt wurden, besteht keine Notwendigkeit, eine
Vibrationskomponente des gesamten Bildes zwecks einer Vibrationskorrektur
separat zu ermit teln. Die Vorrichtung zur Berechnung eines Fluchtpunktes 108 erhält den Fluchtpunkt
VP der Flüsse
FL des Bildes, das mit der Bewegung des Autos einhergeht. Insbesondere,
wie 4A zeigt, wird der Fluchtpunkt
VP als ein Fluchtpunkt erhalten, zu dem auf dem gesamten Bild die
meisten Fluchtpunkte gerichtet sind.
-
Die Erfassungsvorrichtung für einen
sich bewegenden Körper/sich
nähernden
Gegenstand 109 extrahiert, als einen Sich-bewegender-Körper/sich-nähernder-Gegenstand-Kandidatenblock, einen
Block mit einem Bewegungsvektor, der von dem Fluss FL verschieden
ist, der auf den Fluchtpunkt VP zeigt, der durch die Vorrichtung
zur Berechnung eines Fluchtpunktes 108 erhalten wird. Außerdem werden
nahe beieinander liegende Sich-bewegender-Körper/sich-nähernder-Gegenstand-Kandidatenblöcke miteinander
verbunden, so dass ein Bereich, in dem der sich bewegende Körper/sich
nähernde
Gegenstand vorhanden ist, wie z. B. der rechteckige Bereich 202,
als sich bewegender Körper
extrahiert werden kann, wie in 4B gezeigt
ist.
-
Nun wird die Vibrationskomponenten-Extraktions-/Eliminationsvorrichtung 107 mit
Bezugnahme auf die 5 bis 7 beschrieben. 5 ist ein Flussdiagramm
zum Erläutern
der Betriebsweise.
-
Ein Fahrzeug bewegt sich nicht nur
entlang der Fahrtrichtung, sondern aufgrund von Erschütterungen
infolge von Unebenheiten der Straße und dergleichen auch in
der vertikalen Richtung. Wie 6 zeigt,
erscheint der Einfluss der Erschütterungen
des Fahrzeugs auf der Bildaufnahmevorrichtung wie eine Positionsänderung,
wie in 6A gezeigt ist,
und eine Änderung
der Bildaufnahmerichtung, wie in 6B gezeigt
ist.
-
Die in 6A gezeigte
vertikale Positionsänderung
ist, verglichen mit einer Positionsänderung entlang der Fahrtrichtung
des Fahrzeugs, sehr klein, weil der Bildabstand eines Bildsignals
sehr klein ist. Weiterhing hängt
der Einfluss einer Änderung
der Position der Bildaufnahmevorrichtung stark vom Abstand zu einem
Gegenstand ab, und ist groß bei
einem nahen Gegenstand, aber minimal bei einem fernen Gegenstand.
Der Abstand zu einem rückwärtigen Gegenstand,
der bei dieser Ausführungsform überwacht
wird, beträgt
einige Meter bis einige Zehn Meter, was ausreichend weit entfernt
ist. Demgemäß wird in
diesem Fall nur die Änderung
der Bildaufnahmerichtung, die in 6B gezeigt ist,
betrachtet, während
der Einfluss der vertikalen Positionsänderung nicht berücksichtigt
wird.
-
Der Einfluss der Änderung der Bildaufnahmerichtung
variiert nicht in Abhängigkeit
vom Abstand zu einem Gegenstand, und wenn der Winkel der Änderung
sehr klein ist, so kann sie als vertikaler Offset Vdy betrachtet
werden, der auf dem gesamten Bildschirm konstant ist, in Bezug auf
jeden Bewegungsvektor auf dem Bildschirm. In diesem Fall kann ein
Bewegungsvektor (Vx, Vy) im ruhigen Hintergrund, von dem ein sich
bewegender Körper
ausgenommen ist, als eine Summe eines Bewegungsvektors (V0x, V0y),
der auf den Fluchtpunkt VP, der aus der Bewegung des Fahrzeugs abgeleitet
wurde, gerichtet ist, und des Offsets (0, Vdy) approximiert werden,
wie in den folgenden Formeln angegeben ist: Vx
= V0x
Vy = V0y + Vdy
-
Im Flussdiagramm von 5 wird der Offset (0, Vdy) als Vibrationskomponente
extrahiert, um so vom ermittelten Bewegungsvektor (Vx, Vy) eliminiert zu
werden. Somit wird der Bewegungsvektor (V0x, V0y), der in Richtung
des Fluchtpunktes VP im unbewegten Hintergrundbereich, ermittelt.
-
Zuerst wird für jeden Fluchtpunkt (x, y)
auf dem Bildschirm ein Bewegungsvektor (Vx, Vy) eingegeben (S11).
Dabei werden bei gleichförmigen
Bereichen ohne Figuren, wie z. B. dem Himmel, Bewegungsvektoren
wegen ihrer fehlenden Zuverlässigkeit
von vornherein ausgeschlossen, und einzig und allein zuverlässige Bewegungsvektoren
eingegeben. Weiterhin kann vorab ein virtueller Fluchtpunkt (x0, y0)
erhalten werden, wenn angenommen wird, dass das Fahrzeug geradeaus
fährt,
da er anhand eines vorbestimmten Fluchtpunktes auf dem Bildschirm
auf der Grundlage des Installationswinkels der Bildaufnahmevorrichtung 101 (S12)
ermittelt werden kann.
-
Zunächst wird für jeden Bewegungsvektor der
Offset berechnet (S13). Im Fall, dass der Fluchtpunkt (x, y) im
unbewegten Hintergrundbereich liegt, gelten die folgenden Beziehungen:
(x – x0)*V0y
= (y – y0)*Vx
(x – x0)*(Vy – Vdy) =
(y – y0)*Vx
-
Auf der Grundlage dieser Beziehungen
wird Vdy wie folgt bestimmt: Vdy = Vy – (y – y0)*Vx/(x – x0)
-
Auf der Grundlage dieser Formel kann
Vdy aus einem einzigen Bewegungsvektor bestimmt werden. Jedoch umfassen
die eingehenden Bewegungsvektoren viele Bewegungsvektoren von Bildbereichen,
die nicht dem unbewegten Hintergrund zugeordnet werden können, wie
z. B. eines sich bewegenden Körpers.
Weiterhin beihaltet ein Bewegungsvektor für den unbewegten Hintergrundbereich
einen Fehler. Daher wird der Offset Vdy des Bewegungsvektors über statistische
Verfahren abgeschätzt.
Insbesondere wird Vdy, wie 7 zeigt,
für jeden
Bewegungsvektor gemäß der oben
erwähnten
Formel bestimmt und die Frequenz von jedem Vdy berechnet, so dass
das Vdy mit der höchsten
Frequenz als entscheidender Offset-Schätzwert bestimmt werden kann
(S14, S15 und S16).
-
Zuerst werden ein Fehler (+/–Vnx, +/–Vny) für einen
Bewegungsvektor und ein kleiner Fehler (+/–nx, +/–ny) für die Position auf dem Bildschirm
angenommen. Es wird dabei angenommen, dass der Offset Vdy in Bezug
auf einen einzigen Bewegungsvektor bestimmt wird, wie 7A zeigt. Wenn der Fehler
(+/–Vnx,
+/–Vny)
des Bewegungsvektors in Bezug auf diesen Offset betrachtet wird,
so erhält man
Verteilungen, wie in den 7B und 7C gezeigt sind, und wenn
der kleine Fehler (+/–nx,
+/–ny)
der Position auf dem Bildschirm betrachtet wird, so erhält man Verteilungen,
wie sie in den 7D und 7E gezeigt sind. Über das
Faltungsintegral der Verteilungen der 7B bis 7E erhält man eine Verteilung, die in 7F gezeigt ist.
-
Als Summe von Produkte von Verteilungen, wie
der von 7F, der Bewegungsvektoren
auf dem gesamten Bildschirm erhält
man eine Verteilung, die in 7G gezeigt
ist. Bei dieser Verteilung wird ein Wert von Vdy, der die höchste Frequenz
aufweist, als Schätzwert
für den
Offset aufgrund der Vibration ermittelt.
-
Die Vorrichtung zur Berechnung eines Fluchtpunktes 108 von 1 eliminiert den geschätzten Offset
und bestimmt dann wieder einen tatsächlichen Fluchtpunkt. Dabei
ist der berechnete Fluchtpunkt in Fällen, in denen z. B. ein sich
bewegender Körper
einen großen
Bereich auf dem Bildschirm einnimmt oder das Fahrzeug Erschütterungen in
einer Richtung ungleich der vertikalen Richtung erfährt oder
das Fahrzeug nicht geradeaus fährt,
sondern eine Kurve durchfährt
oder dergleichen, stark vom virtuellen Fluchtpunkt verschieden.
In solchen Fällen
wird das nachfolgende Erfassungsverfahren für den sich bewegenden Körper/sich
nähernden
Gegenstand ausgesetzt und ein Bild synthetisiert, indem ein Resultat
verwendet wird, das von einem vorhergehenden Bild erhalten wurde
und das synthetisierte Bild wird wiedergegeben.
-
Andererseits wird im Fall, dass der
berechnete Fluchtpunkt innerhalb eines vorbestimmten Bereiches in
der Nähe
des virtuellen Fluchtpunktes liegt, festgestellt, dass die Verarbeitung
normal ist, und die Erfassungsvorrichtung für einen sich bewegenden Körper/sich
nähernden
Gegenstand 109 führt
die folgende Operation durch:
-
8 ist
ein Flussdiagramm zur Veranschaulichung der spezifischen Operationen
der Erfassungsvorrichtung für
einen sich bewegenden Körper/sich
nähernden
Gegenstand 109. Zuerst werden, auf die gleiche Weise wie
bei der Vibrationskomponentenextraktion, ein Bewegungsvektor (Vx,
Vy) für jeden
Fluchtpunkt (x, y) auf dem Bildschirm und der virtuelle Fluchtpunkt
(x0, y0) eingegeben (S21 und S22).
-
Es wird abhängig davon, ob der Eingangsvektor
nach dem Eliminieren des Offsets eine Bewegung in Richtung zum Fluchtpunkt
repräsentiert
oder nicht, ermittelt, ob der Fluchtpunkt ein sich bewegender Körper ist
oder nicht (S23). Insbesondere, wie in 9 gezeigt, wird diese Ermittlung abhängig davon durchgeführt, ob
die Verteilung von Vdy (von 7F),
die durch die Vibrationskomponentenextraktion unter Berücksichtigung
der Störung
(+/–Vnx, +/–Vny) des
Bewegungsvektors und der kleinen Störung (+/–nx, +/–ny) der Position auf den Bildschirm, mit
dem geschätzten
Offsetwert übereinstimmt
oder nicht. Mit anderen Worten: da in 9A die
Verteilung von Vdy und der geschätzte
Offset-Wert nicht mit einander übereinstimmen,
wird der Fluchtpunkt dieses Bewegungsvektors als sich bewegender
Körper
erkannt. Da auf der anderen Seite in 9B die Verteilung
Vdy und der geschätzte
Offsetwert miteinander übereinstimmen,
wird der Fluchtpunkt dieses Bewegungsvektors als der unbewegter
Hintergrund erkannt.
-
Wie 10A zeigt,
werden Bewegungsvektoren FL1, von denen jeder als sich bewegender
Körper
erkannt wird, in den jeweiligen Bereichen des sich bewegenden Körpers auf
dem Bildschirm ermittelt. Daher wird ein Bereich einschließlich dieser
Bewegungsvektoren FL1 gruppiert, wie in 10B gezeigt ist, um einen rechteckigen
Bereich 202, in dem sich ein Körper bewegt, zu erzeugen (S24).
Ein Abstand vom Fahrzeug zu diesem sich bewegenden Körper wird
dann an der Position des unteren Endes UE des Bereichs 202,
in dem sich der Körper
bewegt, abgeschätzt.
-
11A ist
ein Diagramm zur Veranschaulichung eines Standard-Abstandswertes
in einem Bildaufnahmebereich der Bildaufnahmevorrichtung 101. Wie
in 11A gezeigt, wird
dabei angenommen, dass ein erster Bereich AR1 unterhalb einer vorbestimmten
Position im Kamerabild auf einer Straßenoberfläche RS liegt, und dass ein
zweiter Bereich AR2 oberhalb der vorbestimmten Position einen vorbestimmten
Abstand DD (von z. B. 50 m) von der Bildaufnahmevorrichtung 101 entfernt
ist. Insbesondere wird in Bezug auf den ersten Bereich AR1 ein geschätzter Abstand
zur Straßenoberfläche RS als
der Standard-Abstandswert gespeichert, und wird in Bezug auf den
zweiten Bereich AR2 der vorbestimmte Abstand DD als der Standard-Abstandswert
gespeichert.
-
Außerdem wird, wie in 11B gezeigt ist, im Fall,
dass sich z. B. der Bereich des sich bewegenden Körpers 202 über die
Bereiche AR1 und AR2 auf dem Bildschirm erstreckt, der Abstand auf
der Grundlage des unteren Endes UE des Bereichs 202, in
dem sich der Körper
bewegt, der im ersten Bereich AR1 enthalten ist, abgeschätzt, indem
angenommen wird, dass der Gegenstand am unteren Ende UE in Kontakt
mit der Straßenoberfläche RS ist.
-
Der Abstand zum Bereich, in dem sich
der Körper
bewegt, der auf diesen Fluchtpunkt geschätzt wird, wird in einem Speicher
gespeichert. Wenn ein Bereich eines sich bewegenden Körpers durch
die Verarbeitung eines folgenden Bildes an der gleichen Position
ermittelt wird und der geschätzte
Abstand zum Bereichs, in dem sich der Körper bewegt, kürzer als
der geschätzte
Abstand ist, der beim vorhergehenden Rahmen ermittelt wur de und
im Speicher gespeichert ist, so wird festgestellt, dass das Objekt, das
im Bereich des sich bewegenden Körpers
enthalten ist, ein sich näherndes
Objekt ist (S26).
-
Auf der anderen Seite wird für Bewegungsvektoren
F12, die als der unbewegte Hintergrund gemäß 12A erkannt wurden, ein Abstand Z auf
der Grundlage der Größe des Vektors
(mit eliminiertem Offset) durch die folgende Formel (S27) berechnet (S27): Z = dZ*r/dr,wobei dZ eine vom Fahrzeug zwischen
den Bildern zurückgelegte
Strecke F ist, r ein Abstand zum Fluchtpunkt VP auf dem Bildschirm
ist, und dr die Größe des Bewegungsvektors
ist, die wie folgt darstellbar sind: r = sqrt((x – x0)2 + (y – y0)2))
dr = sqrt(Vx2 + (Vy – Vdy)2)
-
Der dabei ermittelte Abstand Z wird
mit dem Abstand zur Straßenoberfläche verglichen,
der als der Standard-Abstandswert gespeichert ist (S28). Somit wird
ein Gegenstand über
der Straßenoberfläche, wie
ein Baum OB am Straßenrand
in 12B, als Hindernis
erkannt. Auch wenn sich ein Gegenstand, wie ein Fahrzeug MM, im
wesentlichen von rechts hinten nähert,
wird ein Bewegungsvektor in der Umgebung des Fluchtpunktes ermittelt,
dessen Größe aber
sehr klein ist. Wenn daher der Abstand Z in der vorher erwähnten Weise
ermittelt wird, kann ein Wert, der einen Gegenstand unterhalb der
Straßenoberfläche repräsentiert,
ermittelt werden. Da gewöhnlich
kein Gegenstand unterhalb der Straßenoberfläche vorliegt, wird solch ein
Bewegungsvektor als sich bewegender Körper erkannt und somit durch das
Bereichsextraktionsverfahren S24 für sich bewegende Körper verarbeitet.
-
Durch die vorher erwähnte Verarbeitung
werden ein Hindernis, ein sich bewegender Körper, ein sich nähernder
Gegenstand und ihre Abstände
im Bild auf der Grundlage der jeweiligen Bewegungsvektoren der Fluchtpunkte
auf dem Bildschirm ermittelt (S29), und die resultierenden Informationen
an die Bildsynthesevorrichtung 110 ausgegeben.
-
Die Bildsynthesevorrichtung 110 synthetisiert
einen Rahmen 203 mit rechteckiger Fläche 202, der auf dem
Kamerabild, das von der in 13 gezeigten
Bildaufnahmevorrichtung 101 eingegeben wird, rot leuchtet,
und gibt das synthetisierte Bild an die Wiedergabevorrichtung 111 aus.
Das Wiedergabevorrichtung 111 gibt ein Bild wieder, das
durch laterales Invertieren des synthetisierten Bildes erhalten wird,
damit es in Phase mit dem Bild auf einem Rückspiegel ist.
-
Auf diese Weise sieht der Fahrer
das wiedergegebene Bild, wie in 13 gezeigt,
so dass er das Näherkommen
des sich nähernden
Gegenstandes infolge des leuchtenden roten Rahmens 203 erkennt. Insbesondere
sieht der Fahrer das Kamerabild, um die Umgebungsbedingungen zu
bestätigen,
und kann einen sich nähernden
Gegenstand, der besonders beachtet werden sollte, auf natürliche Weise
beachten, ohne durch einen Warnton oder dergleichen überrascht
zu werden.
-
Weiterhin können die Informationen darüber, aus
welcher Richtung und wie schnell ein sich nähernder Gegenstand dem eigenen
Fahrzeug näher kommt,
welche mit einem Warnton nur schwer vermittelbar sind, unmittelbar
und einfach verstanden werden.
-
Obgleich ein sich nähernder
Körper
bei dieser Ausführungsform
nur mit einem blinkenden roten Rahmen angezeigt wird, ist ein Verfahren
für das
Erwecken/Erhöhen
der Aufmerksamkeit des Fahrers nicht darauf eingeschränkt: so
kann auch eine andere Farbe verwendet werden, oder der rote Rahmen kann
ohne Blinken angezeigt werden. Wenn sich außerdem das Bild eines sich
nähernden
Gegenstandes, das auf der Wiedergabevorrichtung 111 angezeigt
wird, abwärts
bewegt, kann dies so verstanden werden, dass der Gegenstand sich
dem sich bewegenden Körper
nähert,
und wenn sich das Bild aufwärts
bewegt, kann dies so verstanden werden, dass der Gegenstand sich
vom sich bewegenden Körper weg
bewegt.
-
Da außerdem der Abstand zum sich
nähernden
Gegenstand ermittelt wird, kann das Erfassen der Umgebungsbedingungen
durch den Fahrer weiter unterstützt
werden, indem der Abstand selbst anzeigt wird oder die Anzeige gemäß dem Abstand
geändert
wird. Die Farbe des Rahmens kann gemäß dem Abstand geändert werden:
z. B. wird der Rahmen in Grün
angezeigt, wenn der Abstand 50 m oder mehr beträgt, in Gelb, wenn der Abstand
zwischen 50 m und 20 m beträgt,
und in Rot, wenn der Abstand kleiner als 20 m ist, oder der Abstandswert
selbst kann im oberen rechten Teil des Bereichs, in dem sich ein
sich bewegender Körper
bewegt, angezeigt werden.
-
(AUSFÜHRUNGSFORM 2)
-
14 ist
ein Blockdiagramm zur Veranschaulichung der Struktur eines Wiedergabesystems für das Bild
eines sich bewegenden Körpers,
das als Fahrassistenzsystem gemäß der erfindungsgemäßen Ausführungsform
2 dient. In 14 werden
für Elemente,
die auch in 1 dargestellt
sind, gleiche Bezugszeichen verwendet, und auf eine ausführliche Beschreibung
dieser Elemente wird verzichtet. Die konstituierenden Elemente,
die sich von denen in 1 unterscheiden,
sind eine zweite Bildaufnahmevorrichtung 401, die separat
von der ersten Bildaufnahmevorrichtung 101 vorgesehen ist,
eine hierarchische Block-Stereo-Anpassungsvorrichtung 405, eine
3D-Informations-Abschätz-/
Hinderniserkennungsvorrichtung 409 und eine 3D-Bildsynthesevorrichtung 410,
die als Bildsynthesevorrichtung oder als Bilderzeugungsvorrichtung
dient. Die konstituierenden Elemente 102 bis 109, 405 und 409 bilden
zusammen eine Erfassungsvorrichtung.
-
Eine Aufgabe des Wiedergabesystems
für das
Bild des sich bewegenden Körpers
gemäß dieser Ausführungsform
ist, einen sich nähernden
Gegenstand oder ein Hindernis nahe eines Fluchtpunktes, der Bewegungsvektoren
(Flüsse)
aufweist, die nur schwierig genau zu ermitteln sind, genau zu ermitteln.
Die Arbeitsweise des Wiedergabesystems des Bildes des sich bewegenden
Körpers
gemäß dieser Ausführungsform
wird jetzt mit Bezug auf die 15 bis 21 beschrieben.
-
15 ist
ein schematisches Diagramm eines eigenen Fahrzeugs und der Umgebung,
wie sie von oben gesehen werden. Wie 15 zeigt,
sind beim Fahrassistenzsystem gemäß dieser Ausführungsform
zwei Bildaufnahmevorrichtungen 101 und 401 an
einem hinteren Bereich des Fahrzeugs vorgesehen, die in horizontaler
Richtung voneinander beabstandet sind. Die Bildaufnahmevorrichtungen
sind so vorgesehen, dass sie einen Überlappbereich OL aufweisen,
in dem ein erster Bildaufnahmebereich VA1 der ersten Bildaufnahmevorrichtung 101,
die als eine Bildaufnahmevorrichtung dient, und ein zweiter Bildaufnahmebereich
VA2 der zweiten Bildaufnahmevorrichtung 401, die als eine
weitere Bildaufnahmevorrichtung dient, miteinander überlappen.
-
Die Bildaufnahmevorrichtungen werden
wie in 15 gezeigt vorgesehen,
um ein Bild vom rückseitigen
Bereichs des Fahrzeugs aufzunehmen, und um den. rückseitigen
Bereich des Fahrzeugs bei einem großen Sichtfeld zu überwachen,
indem eine Kamera verwendet wird, die ein allgemeines Objektiv mit
einem begrenzten Sichtwinkel hat. Wenn daher mehrere Bildaufnahmevorrichtungen
vorgesehen werden, kann ein Bild mit einem großen Sichtfeld genommen werden,
ohne dass ein spezielles Objektiv wie ein Fischaugenobjektiv verwendet
werden muss. Indem die mehreren Bildaufnahmevorrichtung verwendet
werden, kann weiter die Auflösung
des ermittelten Bildes hoch gehalten werden.
-
Außerdem ist es notwendig, die
ermittelten mehreren Bilder für
die Wiedergabe in dem Fall miteinander zu kombinieren, in dem das
System für
die Überwachung
verwendet wird. Im Fall, in dem die Bilder, die von den unterschiedlichen
Positionen aufgenommen werden, wie in 15 gezeigt
ist, kombiniert werden, werden mit die zwei Bildaufnahmebereiche
vorzugsweise unter Berücksichtigung
von Okklusion, die mit den Positionen einher geht, überlappt.
-
Die Verarbeitung wird jetzt im Detail
beschrieben. Die Vorrichtung zum Erzeugen eines hierarchischen Bildes 102,
der Tiefpassfilter (LPF) 103, die Blockmusterungsvorrichtung 104 und
die hierarchische Blockanpassungsvorrichtung 105 führen mit jedem
Kamerabild der Bildaufnahmevorrichtungen 101 und 401 dieselbe
Verarbeitung durch, wie bei Ausführungsform
1, um Flüsse
(Bewegungsvektoren) zu erhalten.
-
16A und 16B sind Diagramme, in denen die
Flüsse,
die in der vorher erwähnten
Weise erhalten wurden, in den Kamerabildern überlappt werden, die durch
die Bildaufnahmevorrichtung 101 bzw. 401 erhalten
werden. OL bezeichnet einen Überlappbereich
der Kamerabilder. In den 16A und 16B werden Flüsse in Bezug
auf unbewegte Gegenstände, wie
ein Gebäude
und einen Baum, durch durchgezogene Pfeile angezeigt, und Flüsse in Bezug
auf sich bewegende Körper,
wie ein Auto, werden durch unterbrochene Pfeile angezeigt.
-
Die Flüsse in Bezug auf die unbewegten
Gegenstände
sind Flüsse,
die infolge der Bewegung des eigenen Fahrzeugs in Richtung des Fluchtpunktes VP
gerichtet sind. Die Größe jedes
dieser Flüsse
ist proportional zu der Geschwindigkeit des eigenen Fahr zeugs und
dem Abstand zum Fluchtpunkt VP auf dem Bildschirm. Daher hat ein
Fluss in der Nähe
des Fluchtpunktes VP eine kleine Größe und ist folglich schwierig
zu ermitteln.
-
Daher führt die hierarchische Block-Stereo-Anpassungsvorrichtung 405 eine
Stereo-Analyse des Überlappbereichs
OL der zwei Bilder von 16A und 16B durch, um eine Stereoparallaxe
zu ermitteln. Da der Fluchtpunkt VP in Bezug auf die Fahrtrichtung
des Fahrzeugs rechts hinten gebildet wird, können die Bildaufnahmevorrichtungen 101 und 401 leicht
angebracht werden, damit der Überlappbereich
OL den Fluchtpunkt VP im Kamerabild einschließt.
-
16C ist
ein Diagramm, das durch Überlappen
der zwei Bilder von 16A und 16B erhalten wird. In dieser
Zeichnung entspricht die Verschiebung VD im Bild des Fahrzeugs der
ermittelten Stereoparallaxe.
-
Wenn die Bildaufnahmevorrichtung
angebracht sind, um in der horizontalen Richtung angeordnet zu werden,
so wird die Stereoparallaxe VD im wesentlichen in der horizontalen
Richtung erzeugt. Daher wird durch Blockanpassung eine SAD (eine Summe
absoluter Unterschiede) in einem Bereich von 5 horizontalen Pixeln × 3 vertikalen
Pixeln aus dem Bild der höheren
Hierarchie erhalten, und eine Stereoparallaxe wird aus einem Punkt,
an dem die SAD minimal ist, erhalten. In Bezug auf das Bild der niedrigeren
Hierarchie wird weiter eine Stereoparallaxe in einem Bereich von
5 horizontalen Pixeln × 3 vertikalen
Pixeln mit einer Stereoparallaxe ermittelt, die im Bild der höheren Hierarchie
in einem Block in der gleichen Position wie das Zentrum ermittelt
wird.
-
Die Sub-Pixel-Abschätz-/Zuverlässigkeitsermittlungsvorrichtung 106 schätzt, indem
es den Bewegungsvektor, der im Bild der niedrigsten Hierarchie ermittelt
wird (Kamerabild), und die SAD verwendet, den Bewegungsvektor mit
einer Genauigkeit von einem oder weniger Sub-Pixel auf Grundlage
des SAD-Minimum-Punktes und den SAD Werten an acht Punkten um den
SAD-Minimum-Punkt. Auch ermittelt es die Zuverlässigkeit des Bewegungsvektors
im Block.
-
Weiterhin wird die Verarbeitung für die Bewegungsvektoren
bei der Stereoparallaxe VD angewendet, die durch die hierarchische
Block-Stereo-Anpassungsvorrichtung 405 auf die genau gleiche
Weise ermittelt wird, um eine Stereoparallaxe mit der Genauigkeit eines
Sub-Pixels abzuschätzen
und die Zuverlässigkeit
der Stereoparallaxe festzustellen.
-
Durch die oben erwähnte Verarbeitung
wird ein Fluss, der der zeitlichen Bewegung gegenüber einem
vorangegangenen Bild entspricht, für jeden Fluchtpunkt im Kamerabild
erhalten, und die Stereoparallaxe wird im Überlappbereich OL ermittelt.
-
Im allgemeinen kann, wenn die Stereoparallaxe
und die relative Lage der Bildaufnahmevorrichtungen ermittelt werden,
ein Abstand von der Bildaufnahmevorrichtung zum Gegenstand über das
Prinzip der trigonometrischen Vermessung ermittelt werden. Auch
kann auf der Grundlage eines Flusses, der der zeitlichen Bewegung
eines Bildes entspricht, unter der Annahme, dass z. B. der Gegenstand
immer noch auf dem Boden ist, der Abstand von der Bildaufnahmevorrichtung
zum Gegenstand im Verhältnis
zur Fahrgeschwindigkeit erhalten werden.
-
Indem sie dies verwendet, schätzt die
3D-Informations-Abschätz-/Hinderniserkennungsvorrichtung 409 dreidimensionale
Information in Bezug auf die in 17 gezeigten
zwei Kamerabilder und erkennt einen Bereich auf dem Bildschirm als
Hindernis OB, der auf eine vorbestimmte Höhe oder noch mehr über dem
Boden eingeschätzt
wird.
-
Weiterhin extrahiert die Erfassungsvorrichtung
für einen
sich bewegenden Körper/sich
nähernden
Gegenstand 109 als einen Sich-bewegenden-Körper/sich-nähernden-Gegenstands-Kandidatenblock
einen Block, der einen Bewegungsvektor hat, der sich von einem Fluss
in Richtung des Fluchtpunktes VP unterscheidet, und extrahiert einen
sich bewegenden Körper
MM, wie in 17 gezeigt,
indem sie zwei nahe beieinander liegende Sich-bewegende-Körper/sich-nähernde-Gegenstands-Kandidatenblöcke verbindet.
Wenn festgestellt wird, dass der Abstand zu einem Hindernis, das
in einem Bereich in der Nähe
des Fluchtpunktes VP vorhanden ist, sich auf der Grundlage der von
der 3D-Informations-Abschätz-/Hinderniserkennungsvorrichtung 409 ermittelten
3D Informationen kleiner wird, so wird dieser Gegenstand weiter
als ein sich nähernder
Gegenstand AP extrahiert, wie in 17 gezeigt.
-
Wie 17 zeigt,
verwendet die 3D-Bildsynthesevorrichtung 410 die dreidimensionale
Information, die von der 3D-Infonnations-Abschätz-/Hinderniserkennungsvorrichtung
409 ermittelt
wird, um die zwei Kamerabilder zu synthetisieren, die von den Bildaufnahmevorrichtungen 101 und 401 eingegeben werden.
Außerdem
gibt sie im synthetisierten Bild Bereiche des sich bewegenden Körpers MM
und des sich nähernden
Gegenstandes AP, die z. B. mit einem z. B. leuchtenden roten Rahmen
umgeben sind, wieder und gibt das Hindernis OB mit einem umgebenden,
z. B. grünen,
Rahmen wieder, und gibt diese an die Wiedergabevorrichtung 111 aus.
Dabei gibt die Wiedergabevorrichtung 111 ein Bild wieder,
das erhalten wird, indem das synthetisierte Bild lateral invertiert
wird, so dass es in Phase mit einem Bild auf einem Rückspiegel
ist.
-
Der Fahrer sieht die graphische Darstellung, wie
in 17 gezeigt, und wird
damit durch den leuchtenden roten Rahmen über das Näherkommen des sich bewegenden
Körpers
MM und des sich nähernden
Gegenstands AP informiert und kann einfach und direkt erkennen,
aus welcher Richtung und wie schnell der sich nähernde Gegenstand AP dem eigenen
Fahrzeug näher
kommt. Außerdem
kann der Fahrer das Vorhandensein und die Position des Hindernisses
infolge der Wiedergabe des grünen
Rahmens einfach und direkt erkennen.
-
Außerdem wird, wie beim zweiten
herkömmlichen
Beispiel und bei der erfindungsgemäßen Ausführungsform 1, im sogenannten "Motion Stereo" Verfahren für das Ermitteln
eines Hindernisses und eines sich nähernden Gegenstandes durch
Bewegungsanalyse eines Kamerabildes dreidimensionale Information
anhand des Kamerabildes ermittelt, indem die Änderung eines Bildes gemäß der Änderung eines
Sichtpunktes mit der Bewegung analysiert wird. In diesem Fall gibt
es ein Problem, dass die Änderung
eines Bildes, das in einer Bewegungsrichtung oder in einer Rückwärtsrichtung
gemäß der Änderung
des Sichtpunktes aufgenommen wird, in einem Bereich in der Nähe des Fluchtpunktes
der Flüsse (Bewegungsvektoren),
die von der Bewegung abgeleitet wurden, klein ist. Wenn dieses Verfahren
z. B. bei einem Fahrzeug angewendet wird, so entsteht ein Problem,
dass die Nachweisempfindlichkeit in einem Bereich herabgesenkt wird,
der näher
dem vorderseitigen oder rückwärtigen Bereich
entlang der Fahrtrichtung ist.
-
Jedoch wird gemäß Ausführungsform 2 das Erkennen in
einem Bereich in der Nähe
des Fluchtpunktes auf dem Bildschirm durch die Stereoanalyse des Überlappbereichs
OL kompensiert, der durch die zwei Kameras ermittelt wird, und folglich
kann das Erkennen mit hoher Empfindlichkeit durchgeführt werden.
-
Die 3D-Bildsynthesevorrichtung 410 verwendet
die dreidimensionale Information, die von der 3D-Inforrnations-Abschätz-/Hinderniserkennungsvorrichtung 409 ermittelt
wurde, um den Fahrer auf geeignete Weise auf die Information hinsichtlich
des sich nähernden
Gegenstandes und des Hindernisses hinzuweisen. Das Verfahren wird
nachfolgend beschrieben.
-
In Ausführungsform 1 sollte, wenn ein
Kamerabild betrachtet wird, das mit den Informationen über einen
sich nähernden
Gegenstand synthetisiert wird, basierend auf der scheinbaren Größe des Gegenstandes
auf dem synthetisierten Bild ein Abstand in einer Tiefenrichtung
auf dem Bildschirm festgestellt werden können. Wenn insbesondere die
Bildaufnahmevorrichtung an einem Fahrzeug angebracht ist, kann sie
nicht in einer Position bereitgestellt sein, die höher als
die Höhe
des Fahrzeugs ist und sollte im wesentlichen in horizontaler Richtung
ausgerichtet sein, damit eine möglichst
große
Sichtweite erhalten wird. Infolgedessen liegt der Abstand zu einem
sich nähernden
Gegenstand unvermeidbar in der Tiefenrichtung auf dem Bildschirm.
-
Als Verfahren, um den Abstand zu
einem sich nähernden
Gegenstand auf einem Bildschirm leicht zu erfassen, kann eine Technik
eingesetzt werden, um den Sichtpunkt eines synthetisierten Bildes zu ändern, wie
sie in der offengelegten japanischen Patentanmeldung Nr. 10-217261
von den gegenwärtigen
Erfindern entwickelt wurde. Bei einem System, das in dieser Anwendung
offenbart ist, wird angenommen, dass mehrere Kamerabilder um ein
Fahrzeug herum durch das dreidimensionale Aufnehmen von Bildern
des Bodens erhalten werden, um ein synthetisiertes Bild von einem
neuen Sichtpunkt zu erzeugen, z. B. als ob von unten in Richtung
des Himmels geblickt wird. In diesem Fall ist ein Abstand zwischen
dem Fahrzeug und einem anderen Gegenstand proportional zum Abstand
auf dem Bildschirm, und folglich kann er intuitiv erfasst werden.
-
Die 3D-Bildsynthesevorrichtung 410 dieser Ausführungsform
verwendet die vorher erwähnte Technik,
um die Kamerabilder, die durch die Bildaufnahmevorrichtungen 101 und 401 erhalten
wurden, in ein synthetisiertes Bild umzuwandeln, das von einem Sichtpunkt
gesehen wird, der höher
als die tatsächlichen
Einbaupositionen der Bildaufnahmevorrichtung ist. Um ein großes Sichtfeld
bis zu einem weit entfernten Platz zu errei chen, wird ein Sichtpunkt,
der schräg
nach unten orientiert ist (Blickrichtung) gegenüber einem Sichtpunkt bevorzugt,
der geradeaus orientiert ist (Blickrichtung).
-
18A zeigt
die Position eines virtuellen Sichtpunktes VVP für das Ermitteln solch eines
synthetisierten Bildes. Der virtuelle Sichtpunkt VVP ist oberhalb
der Bildaufnahmevorrichtung 101 vorgesehen bezüglich des
Fahrzeugs nach hinten und schräg nach
unten gerichtet. Unter der Annahme, dass das tatsächliche
Kamerabild, das durch die Bildaufnahmevorrichtung 101 aufgenommen
wird, an dem mit Bezug auf 11A beschriebenen
Standard-Abstand ist, so kann das synthetisierte Bild, das vom virtuellen
Sichtpunkt VVP gesehen wird, aus dem tatsächlichen Kamerabild erzeugt
werden, wie in 18B gezeigt
ist.
-
Wenn z. B. das tatsächliche
Kamerabild so wie in 19A gezeigt
ist, so ist das synthetisierte Bild, das vom virtuellen Sichtpunkt
VVP gesehen wird, wie in 19B gezeigt.
Wie anhand 19 ersichtlich
ist, werden eine weiße
Linie 411 u. ä.,
die wirklich auf der Straßenoberfläche im Standard-Abstand
vorhanden sind, in den genauen Position auch auf dem synthetisierten
Bild synthetisiert, und da es ein Bild ist, das von oben gesehen
wird, wird der Abstand verstärkt,
damit er leicht erfasst werden kann. Jedoch werden ein Baum 412 und
ein Fahrzeug 413, die nicht wirklich auf der Straßenoberfläche vorhanden
sind, verlängert,
so dass sie auf dem synthetisierten Bild unnatürlich verzerrt sind. Das synthetisierte
Bild, das in 19B gezeigt
wird, schließt
einen Bereich 414 außerhalb
das wirklich aufgenommenen Bildes ein.
-
Insbesondere wenn die herkömmliche
Bildsynthesetechnik direkt verwendet wird, werden Gegenstände, die
nicht wirklich auf dem Boden vorhanden sind, wie ein anderes Fahrzeug
und ein Hindernis, auf dem synthetisierten Bild nachteilig verzerrt, da
bei der Bildumwandlung alleine die Position des Bodens angenommen
wird.
-
Daher wird bei dieser Ausführungsform
die dreidimensionale Information, die von der 3D-Informations-Abschätz-/Hinderniserkennungsvorrichtung 409 eingeholt
wird, verwendet, damit die Verzerrung eines Fahrzeugs und der dergleichen,
die auf dem synthetisierten Bild verursacht werden, weitgehend verbessert
werden können.
Dieses wird mit Bezug auf die 20 und 21 beschrieben.
-
Bei dieser Ausführungsform wird die dreidimensionale
Information, die von der 3D-Informations-Abschätz-/Hinderniserkennungsvorrichtung 409 eingeholt
wird, für
das Ermitteln eines Hindernisses und des sich nähernden Gegenstandes verwendet, die über dem
Boden vorhanden sind. Daher wird ein Bereich des Hindernisses oder
des sich nähernden Gegenstandes
gemäß der dreidimensionale
Information synthetisiert, wie in 20A gezeigt,
und daher kann das synthetisierte Bild ein natürliches verzerrungsfreies Bild
sein, selbst wenn ein Bild, das vom virtuellen Sichtpunkt VVP gesehen
wird, synthetisiert wird.
-
Insbesondere werden für den Baum 412 und das
Fahrzeug 413, die tatsächlich
nicht auf der Straßenoberfläche vorhanden
sind, die tatsächlichen
Abstände
RD von der Bildaufnahmevorrichtung 101 ermittelt, und daher
werden die Bereiche an Positionen synthetisiert, die unter Berücksichtigung
der tatsächlichen
Abstände
RD auf dem synthetisierten Bild bestimmt werden. Demgemäß werden,
wie in 20B gezeigt,
der Baum 412 und das Fahrzeug 413, die tatsächlich nicht
auf der Straßenoberfläche vorhanden
sind, nicht auf der Grundlage der Standard-Abstände, sondern auf der Grundlage
der tatsächlichen Abstände RD synthetisiert,
und daher sind sie auf dem synthetisierten Bild nicht länglich,
sondern natürlich.
-
In dieser Weise werden im synthetisierten Bild
eine weiße
Linie und dergleichen, die tatsächlich auf
der Straßenoberfläche mit
den Standard-Abständen
vorliegen, an den genauen Positionen synthetisiert, und auch bezüglich eines
Baums und eines Fahrzeugs, die nicht wirklich auf der Straßenoberfläche vorhanden
sind, können
natürliche
Bilder erhalten werden. Da außerdem
das synthetisierte Bild ein Bild ist, das von oben betrachtet wird,
kann dem Fahrer ein Bild vor Augen geführt werden, in dem ein Abstand
leicht erfasst werden kann.
-
21 ist
ein Diagramm der Erzeugung eines synthetisierten Bildes aus den
Kamerabildern der zwei Bildaufnahmevorrichtungen 101 und 401. Wie
in 21A gezeigt ist,
werden auch in diesem Fall in Bezug auf einen Baum 412 und
ein Fahrzeug 413, die nicht wirklich auf der Straßenoberfläche vorhanden
sind, die tatsächlichen
Abstände
RD von den Bildaufnahmevorrichtungen 101 und 401 ermittelt, und
folglich werden die Bereiche an Positionen synthetisiert, die unter
Berücksichtigung
der tatsächlichen
Abstände
RD auf dem synthetisierten Bild bestimmt werden. So erhält man ein
synthetisiertes Bild, wie es in 21B gezeigt
ist. Im synthetisierten Bild von 21B bezeichnen
VA1 bzw. VA2 Bereiche, die den Sichtfeldbereichen der Bildaufnahmevorrichtungen 101 und 401 entsprechen,
und OL bezeichnet einen Überlappbereich,
in dem sich die Sichtfeldbereiche überlappen. Verglichen mit dem Bild,
das in 20B gezeigt wird,
wird ein Bild mit einem großen
Sichtwinkel synthetisiert. Außerdem kann
auch in einem Bereich außerhalb
des Überlappbereichs
OL ein Abstand auf Grundlage eines Flusses ermittelt werden, weil
er vom Fluchtpunkt weg gerichtet ist, und folglich kann z. B. ein
Baum 415 in einer Position unter Berücksichtigung des Abstandes synthetisiert
werden.
-
(MODIFIKATION VON AUSFÜHRUNGSFORM
2)
-
Eine Modifikation von Ausführungsform
2 wird jetzt mit Bezug auf die 22 und 23 beschrieben.
-
22 ist
ein Diagramm zur Veranschaulichung eines Beispiels der Anordnung
für die
Bildaufnahmevorrichtung gemäß dieser
Modifikation. Im Unterschied zur vorher erwähnten Ausführungsform werden die zwei
Bildaufnahmevorrichtungen 101 und 401 nicht in
der horizontalen Richtung, sondern in der vertikalen Richtung mit
einem Abstand k voneinander beabstandet angebracht. Auch in Bezug
auf die Sichtfeldbereiche der Bildaufnahmevorrichtungen werden der
erste Bildbereich VA1 der Bildaufnahmevorrichtung 101 und
der zweite Bildbereich VA2 der zweiten Bildaufnahmevorrichtung 401, ähnlich zur Ausführungsform
2, miteinander überlappt,
um den Überlappbereich
OL zu bilden.
-
Ähnlich
zu Ausführungsform
2 wird ein Stereo-Analyse-Bereich ST im Überlappbereich zwischen den
zwei Bildbereichen bereitgestellt, und Bewegungsanalyse-Bereiche
MA1 und MA2 werden in anderen Abschnitten bereitgestellt.
-
Die Verarbeitung im Stereo-Analyse-Bereich ST
gemäß dieser
Modifikation wird jetzt beschrieben.
-
Wie in 23B gezeigt
ist, wird bei diesen zwei Bildern eine Stereoparallaxe VD in der
vertikalen Richtung erzeugt. Dabei werden horizontale Ränder ER
vorher aus den zwei Bildern extrahiert, die in 23C gezeigt sind, und die zwei Bilder
werden mit einander in Bezug auf die horizontalen Ränder ER verglichen,
um so die Stereoparallaxe VD auf einfache Weise zu erhalten. Außerdem umfasst
ein Bild eines auf der Straße
fahrenden Fahrzeugs, das der Hauptaspekt dieser Erfindung ist, eine
größere Anzahl
von horizontalen Rändern,
so z. B. den Stoßdämpfer und
eine Linie der Motorhaube, als andere Ränder, und kann folglich leicht
ermittelt werden. Da ein Abstand von der Bildaufnahmevorrichtung
aus der Stereoparallaxe VD ermittelt wird, können ein sich nähernder
Gegenstand und ein Hindernis auf die gleiche Weise wie bei der vorher
erwähnten
Ausführungsform
ermittelt werden, und ein Bild eines sich nähernden Gegenstands oder ein
Hindernis können für eine Wiedergabe
dreidimensional synthetisiert werden.
-
Bei dieser Modifikation werden die
zwei Bildaufnahmevorrichtungen und der virtuelle Sichtpunkt in der
vertikalen Richtung angeordnet, und folglich wird eine vertikale
Parallaxe im synthetisierten Bild erhöht. Außerdem wird in einem Bereich,
in dem die Zahl an horizontalen Rändern so klein ist, dass die Stereoparallaxe
VD nicht genau erhalten werden kann, auch die Genauigkeit des synthetisierten
Bildes gesenkt, aber da die Zahl horizontalen Rändern klein ist, wird Unnatürlichkeit,
die durch Positionsverschiebung verursacht wird, minimal erkannt.
Demgemäß ist das
synthetisierte Bild als Ganzes sehr natürlich, und in einem Bereich,
in dem es horizontale Ränder
gibt (wie ein Bereich, in dem ein anderer Fahrzeug abgebildet ist),
kann ein synthetisiertes Bild erzeugt werden, in dem Informationen über eine Position
in der Tiefenrichtung erhöht
sind.
-
Nun wird das Verhältnis zwischen dem Abstand
k zwischen der Bildaufnahmevorrichtung und einem nachweisbaren Abstand
komplementär
beschrieben. Zur Vereinfachung der Beschreibung wird angenommen,
dass die Bildaufnahmevorrichtung nach rechts hinten gerichtet ist.
Unter der Annahme, dass ein Winkel der Bildaufnahmevorrichtung in
der horizontalen Richtung ungefähr
90 Grad beträgt, wenn
ein Abstand D 10 m beträgt,
so entspricht der Feldwinkelbereich in der horizontalen Richtung
ungefähr
20 m. Wenn außerdem
das Aspektverhältnis
der Pixel der Bildaufnahmevorrichtung 3 : 4 ist, so entspricht der
Feldwinkelbereich Vh in der vertikalen Richtung ungefähr 15 m.
Speziell gilt Vh/D = 1,5.
-
Wenn die Zahl an Pixel in der vertikalen Richtung
des Bildschirmes Vp ist, so wird weiterhin ein Abstand D, der für einen
horizontalen Rand eines Fahrzeugs erforderlich ist, das hinterher
fährt und
auf gleicher Höhe
positioniert ist, wie die Bildaufnahmevorrichtung, um das Verursachen
einer Parallaxe anzunähern,
die einem Pixel der Parallaxe Null bei Unendlich entspricht, auf
der Grundlage einer Formel Vh/k = Vp wie folgt erhalten: D = k*Vp/1,5.
-
Wenn die Zahl Vp der Pixel in der
vertikalen Richtung 480 ist und der Abstand k zwischen
der Bildaufnahmevorrichtung 10 Zentimeter (= 0,1 m) beträgt, so wird
der Abstand D grob wie folgt geschätzt: D =
0,1*480/1,5 = 32 (m).
-
Die tatsächliche Genauigkeit für das Ermitteln
einer Parallaxe ist 0,3 bis 1 Pixel, und nimmt man an, dass ein
gewünschter
Abstand für
das Ermitteln eines sich nähernden
Gegenstandes 30 bis 70 m beträgt
und dass der Feldwinkel der Bildaufnahmevorrichtung 60 bis 120 Grad
beträgt,
so kann der Abstand zwischen den Bildaufnahmevorrichtungen gemäß dieser
groben Berechnung ungefähr
7 bis 20 cm betragen.
-
Auf diese Weise kann, selbst wenn
die Bildaufnahmevorrichtungen in einem verhältnismäßig kleinen Abstand von ungefähr 7 bis
20 cm voneinander vorgesehen werden, ein sich nähernder Gegenstand ermittelt
werden, und daher kann das System mit weniger Aufwand an einem Fahrzeug
angebracht werden.
-
Ein Bereich hinter einem Fahrzeug
wird als Hauptüberwachungsbereich
bei den Ausführungsformen
1 und 2 beschrieben, was aber die Erfindung nicht einschränkt. Z.
B. kann ein Bereich an der Frontseite oder auf einer Seite des Fahrzeugs
der Überwachungsbereich
sein, um ein Bild des Frontbereichs oder auf der Seite des Fahrzeugs
zu erzeugen.
-
(AUSFÜHRUNGSFORM 3)
-
24 ist
ein Blockdiagramm zur Veranschaulichung der Struktur eines Fahrassistenzsystems
gemäß Ausführungsform
3 der Erfindung. In 24 sind
die konstituierenden Elemente, die von denen, die in 14 gezeigt sind, verschieden
sind: eine Gefahren stufenermittlungsvorrichtung 501, eine externe
Warnvorrichtung 502 und eine Passagierschutzvorrichtung 503.
-
Ähnlich
wie bei Ausführungsform
2 wird ein Überlappbereich
zwischen mehreren Bildaufnahmevorrichtungen 101 und 401 durch
die hierarchische Block-Stereo-Anpassungsvorrichtung 405 stereo-analysiert,
um einen sich direkt hinter dem Fahrzeug nähernden Gegenstand genau zu
ermitteln, der herkömmlicherweise
schwierig zu ermitteln ist.
-
Ein herkömmliches System für das Ermitteln eines
sich nähernden
Gegenstandes erfasst einen Gegenstand, der sich direkt von hinten
nähert,
nicht nur deswegen nicht, weil solch ein sich nähernder Gegenstand schwierig
allein durch Bewegungserfassung zu ermitteln ist, sondern auch,
weil es wenige Verfahren für
das Vermeiden des Zusammenstoßes oder
der dergleichen nach dem Erkennen solch eines sich nähernden
Gegenstandes gibt. Z. B. kann beim ersten herkömmlichen Beispiel im Fall,
bei dem ein Gegenstand, der sich auf einer benachbarten Fahrbahn
neben der Fahrbahn, auf der das eigenen Fahrzeug fährt, nähert, ermittelt
wird, ein Zusammenstoß leicht
vermieden werden, indem man die Warnung ausgibt, nicht auf die benachbarte
Fahrbahn überzuwechseln.
Andererseits ist es bei einem Fahrzeug, das sich auf der gleichen
Fahrbahn nähert,
wie das eigene Fahrzeug fährt,
notwendig, zu agieren, z. B. indem man durch Erhöhen der Geschwindigkeit nach vorne
ausweicht oder auf eine andere Fahrbahn überwechselt. In jedem Fall
entsteht eine weitere Gefahr wie eines Zusammenstoßes mit
einem anderen Fahrzeug oder einem Gegenstand, der vom sich nähernden
Gegenstand verschieden ist.
-
Daher ermittelt bei dieser Ausführungsform, wenn
die Erfassungsvorrichtung für
einen sich bewegenden Körper/sich
nähernden
Gegenstand 109 einen Gegenstand ermittelt, der sich direkt
von hinten nähert,
die Gefahrenstufenermittlungsvorrichtung 501 der Gefahr
eine potentielle Gefahr des Zusammenstoßes mit diesem sich nähernden
Gegenstand auf der Grundlage der Zeit bis zum Zusammenstoß, der Änderung
der Geschwindigkeit des sich nähernden
Gegenstandes und dergleichen. Wenn sie feststellt, dass die potentielle
Gefahr des Zusammenstoßes
groß ist,
wird ein Hinweissignal ausgegeben. Die externe Warnvorrichtung 502 empfängt das
Hinweissignal und gibt eine Warnung nach hinten aus, beispielweise
indem ein Bremslicht automatisch aufleuchtet. Diese Warnung ist
aber nicht auf das Aufleuchten eines Bremslichtes eingeschränkt, sondern kann
auch das Abstrahlen oder Aufblitzen eines anderen Lichtes, das nach
hinten ausgerichtet ist, ein Warnton oder eine Warnung, die elektrische
Wellen verwendet, wie ein Radio, sein.
-
Wenn die Gefahrenstufenermittlungsvorrichtung 501 das
Hinweissignal ausgibt, so trifft die Passagierschutzvorrichtung 503 Maßnahmen,
wie das Straften eines Sicherheitsgurts oder das Vorbereiten des
Einsatzes eines Airbagsystems, um die Passagiere zu schützen. Wenn
vorher erkannt wird, dass eine große potentielle Gefahr eines
Zusammenstoßes
vorliegt, so können
in Bezug auf das Airbagsystem verschiedene Vorbereitungen wie die
Vorbereitung für
den Betrieb und Erkennen der Köpfe
der Passagiere durchgeführt
werden, um die Passagiere ausreichend zu schützen.
-
Die Erfassungsvorrichtung für einen
sich nähernden
Gegenstand dieser Ausführungsform
ist nicht auf die Vorrichtung eingeschränkt, die die Stereo-Bilder
und die Bewegungsanalyse verwendet, sondern kann auch eine andere
Vorrichtung sein, die z. B. Radar oder Laser verwendet.
-
Es muss nicht erwähnt werden, dass die Erfindung
nicht nur für
(fahrende) Fahrzeuge, sondern auch für sich bewegende Körper wie
ein Schiff, ein Flugzeug und einen Zug leicht angewendet werden kann.
-
Auch die Einbaupositionen und die
Anzahl der mehreren Bildaufnahmevorrichtungen sind nicht auf die
eingeschränkt,
die hier beschrieben wurden.
-
Weiterhin können die Funktionen der Erfassungsvorrichtung
und der Bilderzeugungsvorrichtung als Ganzes oder teilweise durch
speziell vorgesehene Hardware oder Software. realisiert werden.
Weiterhin kann ein Aufnahmemedium oder ein Transfermedium, die ein
Programm speichern, damit ein Computer alle oder einen Teil der
Funktionen der Erfassungsvorrichtung und der Bilderzeugungsvorrichtung
des erfindungsgemäßen Fahrassistenzsystems ausführt, verwendet
werden.
-
Wie aus der oben genannten Beschreibung deutlich
hervorgeht, kann gemäß der Erfindung
ein sich nähernder
Gegenstand ermittelt werden, ohne dass dies durch Vibratio nen aufgrund
von Erschütterungen
eines Fahrzeugs beeinflusst wird. Wenn weiterhin die Stereo-Analyse
eine Mehrzahl von Bildaufnahmevorrichtungen zusammen verwendet,
so kann ein sich direkt von hinten nähernder Gegenstand, der eine
kleine Bewegungsänderung
in einem Bild verursacht, ermittelt werden.
-
Da die Information eines Erkennungsresultats über einen
sich nähernden
Gegenstand und dergleichen auf einer Bildwiedergabevorrichtung dargestellt
wird, kann der Fahrer die Relativlage und die Umgebungsbedingungen
direkt bestätigen.
Außerdem
kann, wenn ein Bild in ein Bild umgewandelt wird, das von einem
höheren
Sichtpunkt mit Blickrichtung schräg nach unten aus gesehen wird,
der Abstand zu einem sich nähernden
Gegenstand einfacher dargestellt werden.
-
Außerdem wird nicht nur der Fahrer
informiert, sondern auch eine Warnung an ein sich näherndes
Fahrzeug ausgegeben, so dass die potentielle Gefahr eines Zusammenstoßes gesenkt
werden kann, und Maßnahmen,
um Passagiere vor den Folgen des Zusammenstoßes zu schützen, können früher eingeleitet werden.
-
Auf diese Weise stellt die vorliegende
Erfindung ein Fahrassistenzsystem für das Verringern der Belastungen
eines Fahrers bereit.