-
QUERVERWEIS
AUF ZUGEHÖRIGE
ANMELDUNGEN
-
Diese
Anmeldung basiert auf der älteren
japanischen Patentanmeldung Nr. 2004-214364, angemeldet am 22. Juli
2004 und beansprucht deren Priorität; auf den Inhalt hiervon wird
vollinhaltlich Bezug genommen.
-
HINTERGRUND
DER ERFINDUNG
-
Gebiet der Erfindung:
-
Die
vorliegende Erfindung betrifft ein Umgebungs-Überwachungssystem
für ein
Fahrzeug, um basierend auf einem Bild, welches in dem Umgebungsbereich
des Kraftfahrzeuges aufgenommen wurde, zu bestimmen, ob sich ein
bewegliches Objekt um das Kraftfahrzeug herum befindet oder nicht.
-
Beschreibung des Standes
der Technik:
-
Bislang
wurde eine Erkennungsvorrichtung für ein sich bewegendes Objekt
verwendet, um zu bestimmen, ob es in einem weiten Überwachungsbereich
ein sich bewegendes Objekt gibt, indem die Unterschiede zwischen
Dichtenverteilungen in Horizontal- und Vertikalrichtungen in dem
gesamten von einer Kamera aufgenommenen Bild berechnet wurden. Für Details
hierzu sei Bezug genommen auf die japanische Patentveröffentlichung
Nr. H07-31248.
-
Es
sei angenommen, dass die Erkennungsvorrichtung für ein sich bewegendes Objekt
gemäß der japanischen
Patentveröffentlichung
Nr. H07-31248 in einem Umgebungs-Überwachungssystem für ein Fahrzeug
angewendet wird, um einen Fußgänger zu
erkennen, der beispielsweise nahe des Kraftfahrzeugs geht. Das Umgebungs-Überwachungssystem
für das
Fahrzeug muss eine Kamera haben, welche an dem Kraftfahrzeug angebaut
ist, um den Umgebungsbereich des Kraftfahrzeugs zu überwachen
und die Kamera ist notwendigerweise in einer relativ tiefen Position
angeordnet. Da somit von einer derart angeordneten Kamera aufgenommene Bilder
zum Horizont verlaufende Bereiche enthalten, neigt dieses Umgebungs-Überwachungssystem
für ein
Kraftfahrzeug dazu, Objekte zu erkennen, die sich in Positionen
befinden, die mit dem Fahren des Kraftfahrzeuges nichts zu tun haben.
Das Umgebungs-Überwachungssystem
für das
Fahrzeug ist anfällig
für Erkennungsfehler,
wenn sich das Kraftfahrzeug in Gegenden befindet, wo sich viele
Fußgänger befinden.
-
ZUSAMMENFASSUNG
DER ERFINDUNG
-
Es
ist daher Aufgabe der vorliegenden Erfindung, ein Umgebungs-Überwachungssystem
für ein Fahrzeug
zu schaffen, das in der Lage ist, ein sich bewegendes Objekt, beispielsweise
einen Fußgänger, um
ein Kraftfahrzeug herum ohne unnötige
Erkennungsfehler richtig zu erkennen.
-
Gemäß der vorliegenden
Erfindung wird ein Umgebungs-Überwachungssystem
für ein
Fahrzeug geschaffen, mit einer Bildaufnahmeeinheit zur Aufnahme
eines Bildes in einem Umgebungsbereich eines Kraftfahrzeugs und
einer Bildverarbeitungseinheit zur Festsetzung eines Erkennungsbereichs
in dem von der Bildaufnahmeeinheit aufgenommenen Bild und zur Verarbeitung
von Bilddaten des Erkennungsbereichs, um zu bestimmen, ob sich nahe
dem Kraftfahrzeug ein sich bewegendes Objekt befindet oder nicht,
wobei der Erkennungsbereich nahe an dem Kraftfahrzeug als Anfangs-Erkennungsbereich festgesetzt
wird. Mit dieser Anordnung wird ein Bereich in dem aufgenommenen
Bild, der nahe an dem Kraftfahrzeug liegt, als Anfangs-Erkennungsbereich festgesetzt
und es wird bestimmt, ob sich nahe dem Kraftfahrzeug ein sich bewegendes
Objekt befindet oder nicht, indem der Anfangs-Erkennungsbereich bearbeitet
wird. Somit wird bestimmt, ob sich nahe dem Kraftfahrzeug ein sich
bewegendes Objekt befindet, indem die Bilddaten in einem Bereich
nahe des Kraftfahrzeugs verarbeitet werden, d.h. in dem Bereich,
der in den Fahrbetrieb des Kraftfahrzeugs involviert ist. Es wird
nicht bestimmt, ob sich nahe dem Kraftfahrzeug ein sich bewegendes
Objekt befindet oder nicht, indem Bilddaten eines Bereichs des aufgenommenen
Bildes verarbeitet werden, der nicht in den Fahrbetrieb des Kraftfahrzeugs
involviert ist. Infolgedessen kann ein sich bewegendes Objekt, beispielsweise
ein Fußgänger um
das Kraftfahrzeug herum, richtig erkannt werden, ohne dass unnötige Erkennungsfehler
auftreten.
-
Wenn
die Bildverarbeitungseinheit beurteilt, dass sich nahe dem Kraftfahrzeug
ein sich bewegendes Objekt befindet, legt die Verarbeitungseinheit
zusätzlich
einen Umfangsbereich oder einen Vertikalbereich um das sich bewegende
Objekt herum als zusätzlichen
Erkennungsbereich fest und verarbeitet Bilddaten dieses zusätzlichen
Erkennungsbereichs. Folglich ist es möglich, eine Bewegung des sich
bewegenden Objektes zu erkennen, welche aus dem Anfangs-Erkennungsbereich
vor der Hinzufügung des
zusätzlichen
Erkennungsbereiches nicht erkennbar gewesen wäre, also wenn z.B. ein Fußgänger als das
sich bewegende Objekt stehenbleibt, um zurückzublicken.
-
Wenn
die Bildverarbeitungseinheit beurteilt, dass sich nahe dem Kraftfahrzeug
ein sich bewegendes Objekt befindet, verschiebt die Verarbeitungseinheit
von dem Anfangs-Erkennungsbereich zu einem anderen Erkennungsbereich,
der unterschiedlich zu dem Anfangs-Erkennungsbereich ist und verarbeitet Bilddaten
aus dem anderen Erkennungsbereich. Da die Bilddaten aus dem Anfangs-Erken nungsbereich, der
ein Gefahrenbereich während
des Fahrbetriebs des Kraftfahrzeuges sein könnte, bevorzugt verarbeit werden,
kann nur ein sich bewegendes Objekt, welches möglicherweise eine Gefahr darstellt,
anfänglich
rasch erkannt werden. Nachfolgend kann eine Bewegung des sich bewegenden
Objektes erkannt werden, indem die Bilddaten des anderen Erkennungsbereiches
verarbeitet werden.
-
Das
Umgebungs-Überwachungssystem
für das
Fahrzeug weist weiterhin eine Anzeigeeinheit zur Anzeige der von
der Bildaufnahmeeinheit aufgenommenen Bilder auf, wobei, wenn die
Bildverarbeitungseinheit beurteilt, dass sich nahe dem Kraftfahrzeug ein
sich bewegendes Objekt befindet, die Verarbeitungseinheit eine halbtransparente
Farbe dem sich bewegende Objekt überlagert
und die Anzeigeeinheit steuert, so dass diese das aufgenommene Bild,
welches das sich bewegende Objekt mit der halbtransparenten Farbe
hierauf enthält,
anzeigt. Wenn das sich bewegende Objekt mit der hieran angelegten halbtransparenten
Farbe angezeigt wird, wird das sich bewegende Objekt für eine Aufmerksamkeit
des Benutzers hervorgehoben.
-
Die
Verarbeitungseinheit verarbeitet Bilddaten des aufgenommenen Bildes
progressiv herunter, identifiziert einen Bildabschnitt von gefärbten Pixeln, deren
Werte gleich oder größer als
ein gewisser Schwellenwert sind, als Merkmalspunkt des sich bewegenden
Objektes, legt eine Markierung an dem identifizierten Bildabschnitt
an und steuert die Anzeigeeinheit, so dass diese das aufgenommene
Bild mit dem sich bewegenden Objekt hierin und der hieran angelegten
Markierung darstellt. Der Merkmalspunkt kann somit in dem dargestellten
Bild hervorgehoben werden. Wenn das sich bewegende Objekt ein Fußgänger ist,
kann die Markierung auf den Kopf des Fußgängers gelegt werden, was dem
Benutzer die Position des Kopfs des Fußgängers mitteilt und dem Benutzer
auch die Bewegungsrich tung des Fußgängers basierend auf der Richtung
des Gesichts des Fußgängers angibt.
-
Die
Bildverarbeitungseinheit vergrößert oder rollt
das aufgenommene Bild, um es der Anzeigeeinheit zu ermöglichen,
den Merkmalspunkt des sich bewegenden Objekts zusammen mit einem
Teil des Kraftfahrzeugs darzustellen. Wenn das sich bewegende Objekt
ein Fußgänger ist,
wird dem Benutzer die Lagebeziehung zwischen dem Kopf des Fußgängers und
dem Kraftfahrzeug dargestellt, um den Benutzer anzuweisen, dass
er für
die Sicherheit des Fußgängers Vorsichtsmaßnahmen
zu treffen hat.
-
Das
Umgebungs-Überwachungssystem
für das
Fahrzeug weist weiterhin eine Alarmeinheit zur Durchführung eines
Alarmvorgangs auf, wobei die Bildverarbeitungseinheit die Alarmeinheit
steuert, den Alarmvorgang durchzuführen, wenn die Bildverarbeitungseinheit
beurteilt, dass die Anzahl von Pixeln des sich bewegenden Objekts,
welches auf der Anzeigeeinheit dargestellt wird, gleich oder größer als
ein bestimmter Schwellenwert ist. Wenn sich das Kraftfahrzeug in
Richtung des sich bewegenden Objekts bewegt und die Anzahl von Pixeln
des sich bewegenden Objekts, welches von der Anzeigeeinheit dargestellt
wird, gleich oder größer als
der bestimmte Schwellenwert wird, führt die Alarmeinheit einen Alarmvorgang
durch, um den Benutzer wissen zu lassen, dass das Kraftfahrzeug
nahe an dem sich bewegenden Objekt ist. Wenn das sich bewegende
Objekt ein Fußgänger ist,
wird der Benutzer darauf hingewiesen, für die Sicherheit des Fußgängers Vorsichtsmaßnahmen
zu ergreifen.
-
Das
Umgebungs-Überwachungssystem
für das
Fahrzeug weist weiterhin eine Fahrzeugsteuereinheit auf, um das
Kraftfahrzeug zu steuern, wobei die Bildverarbeitungseinheit die
Fahrzeugsteuereinheit steuert, so dass das Kraftfahrzeug gesteuert wird,
wenn die Bildverarbeitungseinheit beurteilt, dass die Anzahl von
Pixeln des sich bewegenden Objekts, welche auf der Anzeigeeinheit
dargestellt wird, gleich oder größer als
ein bestimmter Schwellenwert ist. Wenn sich das Kraftfahrzeug in
Richtung des sich bewegenden Objekts bewegt und die Anzahl von Pixeln
des sich bewegenden Objekts, welches auf der Anzeigeeinheit dargestellt
wird, gleich oder größer als
der bestimmte Schwellenwert wird, steuert die Fahrzeugsteuereinheit
das Kraftfahrzeug, zum Beispiel bremst sie das Kraftfahrzeug. Wenn
das sich bewegende Objekt ein Fußgänger ist, wird das Kraftfahrzeug
daran gehindert, den Fußgänger zu
berühren
oder mit diesem zusammenzustoßen.
-
Die
Bildverarbeitungseinheit beginnt mit dem Betrieb, wenn der Fahrer
des Kraftfahrzeugs sich auf den Fahrersitz setzt, wenn das Kraftfahrzeug
angehalten ist, oder wenn der Sicherheitsgurt am Fahrersitz eingerastet
wird, wenn das Kraftfahrzeug steht und/oder wenn das Kraftfahrzeug
durch einen Bremsvorgang anders als die Parkbremse gebremst wird,
während
das Fahrzeug steht. Da die Bildverarbeitungseinheit ihren Verarbeitungsablauf
durchführt, bevor
das Kraftfahrzeug mit seiner Bewegung beginnt, kann der Benutzer
Sicherheitsvorkehrungen für
den Fahrbetrieb des Kraftfahrzeugs treffen. Infolgedessen gibt das
Umgebungs-Überwachungssystem
für das
Fahrzeug den Benutzer oder Fahrer des Kraftfahrzeugs eine Fahrunterstützungsvorrichtung vor
dem Beginn des Fahrbetriebs des Kraftfahrzeugs.
-
Die
obigen und weiteren Einzelheiten, Merkmale und Vorteile der vorliegenden
Erfindung ergeben sich aus der folgenden Beschreibung in Zusammenschau
mit der beigefügten
Zeichnung, in der eine bevorzugte Ausführungsform der vorliegenden
Erfindung exemplarisch dargestellt ist.
-
KURZE BESCHREIBUNG
DER ZEICHNUNG
-
1 ist
ein Blockdiagramm eines Umgebungs-Überwachungssystems für ein Fahrzeug
gemäß einer
Ausführungsform
der vorliegenden Erfindung, wobei die Darstellung auch ein aufgenommenes
Bild zeigt;
-
2 ist eine Draufsicht auf ein Kraftfahrzeug
mit dem Umgebungs-Überwachungssystem
für ein
Fahrzeug von 1, wobei das Umgebungs-Überwachungssystem
eine Kamera aufweist zur Aufnahme eines Bildes in einem Umgebungsbereich
des Kraftfahrzeugs;
-
2B ist
eine Ansicht, welche ein Bild zeigt, das von der Kamera aufgenommen
wurde, welche in dem Umgebungs-Überwachungssystem
des Kraftfahrzeugs von 2A eingebaut ist;
-
3 ist
ein Flussdiagramm des Verarbeitungsablaufs, der von einer Verarbeitungseinheit
in dem Umgebungs-Überwachungssystem
für ein
Fahrzeug von 1 durchgeführt wird;
-
4 ist
eine Ansicht, welche einen frontalen und seitlichen Standardbereich
für die
Sicht bei Fahrbetrieb um das Kraftfahrzeug herum zeigt;
-
5A bis 5C sind
jeweils Ansichten, welche Erkennungsbereiche in dem aufgenommenen
Bild zeigen; und
-
6A und 6B sind
jeweils Ansichten, welche ein Bildsegment zeigen, dass aus dem aufgenommenen
Bild entnommen und von dem Umgebungs-Überwachungssystem für das Fahrzeug
dargestellt wird.
-
BESCHREIBUNG
DER BEVORZUGTEN AUSFÜHRUNGSFORM
-
Gemäß 1 weist
ein Umgebungs-Überwachungssystem
für ein
Fahrzeug gemäß einer
Ausführungsform
der vorliegenden Erfindung eine Verarbeitungseinheit 2,
eine Kamera 3 mit Fischaugenlinse, eine Konsoleneinheit 4,
eine Anzeige 5, eine Akkustikeinheit 6 und ein
Interface 7 für
das Fahrzeugnetzwerk auf. Die Verarbeitungseinheit 2 weist
ein Kamerainterface 8 und einen Bildprozessor 9 auf.
Die Fischaugenlinsenkamera 3 dient als Bildaufnahmeeinheit,
die Anzeige 5 als Anzeigeeinheit, die Akkustikeinheit 6 als
Alarmeinheit und der Bildprozessor 9 als Bildverarbeitungseinheit.
-
Das
Umgebungs-Überwachungssystem 1 für das Fahrzeug
ist gemäß 2A in
ein Kraftfahrzeug 10 eingebaut, wobei die Fischaugenlinsenkamera 3 in
der linken Tür
nahe des linken Türaussenspiegels
zur Aufnahme eines Bildes des linken Umgebungsbereichs des Kraftfahrzeugs 10 angeordnet ist.
Die Fischaugenlinsenkamera 3 hat eine Fischaugenlinse mit
kurzer Brennweite zur Aufnahme eines Bildes in einem großen Bereich.
Ein von der Fischaugenlinsenkamera 3 aufgenommenes Bild
zeigt eine tonnenförmige
Verzeichnung, bei der die Verzeichnung eines Objekts im aufgenommenen
Bild von der vertikalen Mittelachse der Linse aus um so größer wird,
je größer der
Winkel des Objekts bezüglich
der vertikalen Mittelachse der Linse wird. Insbesondere hat gemäß 2B ein
Objekt in einem von der Fischaugenlinsenkamera 3 aufgenommenen
Bildes ausgehend von der vertikalen Mittelachse der Linse eine umso
größere Verzerrung,
je größer der
Abstand des Objekts von der Fischaugenlinsenkamera 3 ist,
d. h., je entfernter das Objekt von der Fischaugenlinsenkamera 3 ist.
-
Das
in 2B gezeigte Bild ist ein von der Fischaugenlinsenkamera 3 aufgenommenes
Bild, wenn das Kraftfahrzeug 10, welches ein zweitüriges Kraftfahrzeug
ist, in einem mit einer weißen
Linie "a" auf einer Fahrbahn
entlang eines Gebäudes "d" markierten Parkbereichs geparkt wird
und eine Person "c" auf der linken Seite
des Kraftfahrzeugs 10 zur Rückseite des Kraftfahrzeugs 10 geht.
In 2B enthält
das aufgenommene Bild einen Abschnitt "b" der linken
Karroserie des Kraftfahrzeugs 10, eine Vorderkante "b1" der linken Tür des Kraftfahrzeugs 10,
eine hintere Kante "b2" der linken Tür des Kraftfahrzeugs 10,
einen Türgriff "b3" der linken Tür des Kraftfahrzeugs 10,
ein linkes Vorderrad "b" des Kraftfahrzeugs 10 und
ein linkes Hinterrad "b5" des Kraftfahrzeugs 10.
-
Wenn
das aufgenommene Bild von der Fischaugenlinsenkamera 3 zu
dem Kamerainterface 8 der Verarbeitungseinheit 2 geliefert
wird, gibt das Kamerainterface 8 das zugeführte aufgenommene Bild
an den Bildprozessor 7 der Verarbeitungseinheit 2.
Die Konsoleneinheit 4 wird vom Benutzer des Umgebungs-Überwachungssystems 1 für das Fahrzeug betätigt, d.
h. von dem Betrachter des aufgenommenen Bildes, um in dem aufgenommenen
Bild zu vergrößern oder
zu zoomen oder um das aufgenommene Bild zu rollen. Wenn die Konsoleneinheit 4 von dem
Benutzer betätigt
wird. Gibt die Konsoleneinheit 4 ein Steuersignal an die
Verarbeitungseinheit 2 aus. Die Konsoleneinheit 4 kann
entweder eine Reihe von mechanischen Tasten oder Druckknöpfen oder
eine Reihe von Berührungsschaltern
oder Berührungsknöpfen haben,
die auf der Anzeige 5 dargestellt werden.
-
Wenn
von der Konsoleneinheit 4 ein Steuersignal an die Verarbeitungseinheit 2 geliefert
wird, interpretiert der Bildprozessor 9 das Steuersignal
und verarbeitet das aufgenommene Bild, welches von der Fischaugenlinse 3 über das
Kamerainterface 8 an den Bildprozessor 9 geliefert
wurde, basierend auf dem Steuersignal. Insbesondere erkennt basierend auf
dem Steuersignal der Bildprozessor 9 ein sich bewegendes
Objekt aus einem Erkennungsbereich in dem aufgenommenen Bild, legt
eine halbtransparente Farbe oder eine Markierung an das sich bewegende
Objekt in dem aufgenommenen Bild an oder vergrößert oder zoomt in dem aufgenommenen
Bild für einen
Bildlauf in dem aufgenommenen Bild oder dreht das aufgenommene Bild.
-
Wenn
die Verarbeitungseinheit 2 ein Anzeigesignal an die Anzeige 5 eingibt,
zeigt die Anzeige 5 basierend auf dem zugeführten Anzeigesignal
ein Bild. Wenn die Verarbeitungseinheit 2 ein Tonsignal an
die Akustikeinheit 6 eingibt, erzeugt die Akustikeinheit 6 ein
Akustiksignal oder einen Ton (einen Alarmvorgang) basierend auf
dem zugeführten
Tonsignal. Das Fahrzeugnetzwerkinterface 7 stellt eine Schnittstelle
zu einem Fahrzeugnetzwerk 11 in dem Kraftfahrzeug 10 dar
und steht über
das Fahrzeugnetzwerk 11 mit einer Bremsen-ECU 12 (elektronische
Steuereinheit) zur Steuerung eines Bremsvorgangs des Kraftfahrzeugs 10 in
Verbindung. Die Bremsen-ECU 12 dient als Fahrzeugsteuereinheit und
die Bremswirkung des Kraftfahrzeugs 10 wird auch als Fahrzeugsteuervorgang
bezeichnet. Wenn die Bremsen-ECU 12 mit einem Bremsensteuersignal
von der Verarbeitungseinheit 2 über das Fahrzeugnetzwerkinterface 7 versorgt
wird, steuert die Bremsen-ECU 12 den Bremsvorgang des Kraftfahrzeugs 10 basierend
auf dem zugeführten
Bremsensteuersignal. Wenn in dem Kraftfahrzeug 10 ein Fahrzeugnavigationssystem
enthalten ist, können
einige Funktionen des Fahrzeugnavigationssystems als Teil der Verarbeitungseinheit 2,
der Konsoleneinheit 4, der Anzeige 5 und der Akustikeinheit 6 verwendet
werden.
-
Die
Arbeitsweise des Umgebungs-Überwachungssystems 1 für ein Fahrzeug
wird nachfolgend unter Bezugnahme auf die 3, 4, 5a bis 5c und 6a und 6b beschrieben. 3 zeigt
einen Verarbeitungsablauf, der von der Verarbeitungseinheit 2 durchgeführt wird.
Es sei angenommen, dass das Umgebungs-Überwachungssystem 1 für das Fahrzeug
einen Fußgänger als
sich bewegendes Objekt erkennt.
-
Die
Verarbeitungseinheit 2 weist einen in ihr festgelegten
Anfangs-Erkennungsbereich auf. Der Anfangs-Erkennungsbereich wird
als ein Bereich nahe an dem Kraftfahrzeug 10 gewählt und
der Verarbeitungsablauf wird an Bilddaten des Anfangs-Erkennungsbereichs
durch die Verarbeitungseinheit 2 durchgeführt.
-
Der
Anfangs-Erkennungsbereich kann ein Bereich sein, der auf "frontalen und seitlichen
Standardbereichen für
die Sicht bei Fahrbetrieb" (vergleiche 4)
basiert, wie er in "The
Revision of Safety Standards for Road Transportation Vehicles and
the Revision of a Notification about Details of Safety Standards
for Road Transportation Vehicles" vorgeschrieben
ist, veröffentlicht
am 7. Juli 2003 vom Ministerium für Infrastruktur und Transport
in Japan. Details des "Standardbereichs
für die
Sicht bei Fahrbetrieb" sind
wie folgt:
-
(1) Anforderungen:
-
Ein
zylindrischer Pfosten mit einer Höhe von einem Meter und einem
Durchmesser von 0,3 m (ein Kind von sechs Jahren darstellend) in
Kontakt mit einer frontalen oder seitlich linken Seite (seitlich
rechten Seite, wenn das Lenkrad links ist) eines Fahrzeugs sollte
direkt oder indirekt über
einen Spiegel, ein Bild oder dergleichen visuell erkennbar sein.
-
(2) Ausnahmebereiche:
-
- (a) blinde Ecken bestimmter Größe oder
kleiner, gebildet durch die "A"-Säule (vorderste
Säule eines
Fensterrahmens) und eines Außenrückspiegels.
- (b) Blinde Ecken, gebildet durch Scheibenwischer und das Lenkrad.
-
Wenn
der Fahrer des Kraftfahrzeugs 10 auf dem Fahrersitz sitzt,
wenn das Fahrzeug 10 steht, wenn der Sicherheitsgurt am
Fahrersitz verriegelt ist, während
das Fahrzeug 10 steht und/oder wenn das Fahrzeug 10 mit
einer Bremswirkung anders als die Parkbremse abgebremst ist, während das
Fahrzeug 10 steht, führt
die Verarbeitungseinheit 2 einen Ablauf von nachfolgend
beschriebenen logischen Schritten durch, ungeachtet, ob der Motor
läuft.
-
Die
Verarbeitungseinheit 2 wird mit einem von der Fischaugenlinsenkamera 3 aufgenommenen Bild
im Schritt S1 versorgt, wie in 3 gezeigt.
Der Bildprozessor 9 der Verarbeitungseinheit 2 verarbeitet
die Bilddaten aus dem Anfangs-Erkennungsbereich in dem aufgenommenen
Bild, der ein Gefahrenbereich beim Fahrbetrieb des Kraftfahrzeugs 10 sein könnte, d.
h., der Bereich, der in 4 gestrichelt dargestellt ist
und der in den 5A bis 5C mit "P" bezeichnet ist (Schritt S2) und bestimmt,
ob sich ein sich bewegendes Objekt in dem Anfangs-Erkennungsbereich
befindet oder nicht (Schritt S3).
-
Wenn
beurteilt wird, dass sich in dem Anfangs-Erkennungsbereich ein sich
bewegendes Objekt befindet ("JA" im Schritt S3),
addiert der Bildprozessor 9 einen Umgebungsbereich (mit "Q" in 5B bezeichnet)
oder einen vertikalen Bereich (in 5C mit "R" bezeichnet) als zusätzlichen Erkennungsbereich
um das sich bewegende Objekt herum und verarbeitet die Bilddaten
des zusätzlichen
Erkennungsbereiches im Schritt S4.
-
Sodann
gibt die Verarbeitungseinheit 2 ein Anzeigesignal an der
Anzeige 5 aus, welche ein Bildsegment anzeigt, welches
das erkannte sich bewegende Objekt in dem aufgenommenen Bild zusammen
mit der Karrosserie des Kraftfahrzeugs 10 im Schritt S5
darstellt. Zu diesem Zeitpunkt legt die Verarbeitungseinheit 2 eine
halbtransparente Farbe (schraffiert dargestellt) auf das erkannte
sich bewegende Objekt (Fußgänger) und
die Anzeige 5 zeigt das Bildsegment einschließlich des
sich bewegenden Objektes mit der angelegten halbtransparenten Farbe,
wie in 6A gezeigt. Weiterhin verarbeitet die
Verarbeitungseinheit 2 die Bilddaten des aufgenommenen
Bildes progressiv herunter, identifiziert einen Bildabschnitt von
gefärbten
Pixeln, deren Werte gleich oder größer als ein bestimmter Schwellenwert sind,
als Merkmalspunkt des sich sich bewegenden Objektes und legt eine
Markierung an den identifizierten Bildabschnitt an, z. B. auf den
Kopf des Fußgängers und
die Anzeige 5 zeigt das Bildsegment mit dem sich bewegenden
Objekt und der angelegten Markierung, wie in 6B gezeigt.
-
Wenn
ein Bildsegment nahe eines Linsenrandes der Fischaugenlinse aus
dem aufgenommenen Bild entnommen und angezeigt wird, wird, da das Bild
von der Fischaugenlinsenkamera 3 aufgenommen wird, das
entnommene Bildsegment nicht einfach angezeigt, sondern wird um
einen Winkel entsprechend einer Bildlaufdistanz gedreht (im Uhrzeigersinn
für das
dargestellte Bildsegment), d. h. um eine Distanz, über welche
ein Bildsuchlauf durchgeführt
wurde und zwar ausgehend von der Mitte des aufgenommenen Bildes,
so dass das dargestellte Bildsegment frei von einer tonnenförmigen Verzeichnung
ist. Wenn das entnommene Bildsegment nicht gedreht wird, sondern
einfach unverändert
angezeigt wird, würde
der in dem angezeigten Bildsegment enthaltene Fußgänger als gegenüber der
Vertikalachse stark gekippt dargestellt werden, was für einen
Be trachter des dargestellten Bildsegments verwirrend ist. Da gemäß der vorliegenden
Ausführungsform das
entnommene Bildsegment gedreht und dargestellt wird, zeigt sich
der in dem dargestellten Bildsegment enthaltene Fußgänger für das Auge
des Betrachters normal oder aufrecht, so dass keine Verwirrung über das
dargestellte Bildsegment vorliegt.
-
Dann
bestimmt die Verarbeitungseinheit 2 im Schritt S6, ob die
Akustikeinheit 6 für
diesen Vorgang in Betrieb versetzt ist oder nicht, um ein Akustiksignal oder
einen Ton zu erzeugen. Wenn beurteilt wird, dass für diesen
Vorgang die Akustikeinheit 6 in Betrieb versetzt ist ("JA" im Schritt S6),
gibt, wenn die Anzahl von Pixeln des sich bewegendenden Objektes
gleich oder größer als
ein gewisser Schwellenwert ist, d. h. wenn das sich bewegende Objekt
deutlich nahe an dem Kraftfahrzeug 10 ist, die Verarbeitungseinheit 2 ein
Tonsignal im Schritt S7 an die Akustikeinheit 6 aus, um
es der Akustikeinheit 6 zu ermöglichen, ein Akustiksignal
oder einen Ton zu erzeugen, so dass das Vorhandensein des sich bewegenden
Objektes an den Benutzer mitgeteilt wird.
-
Wenn
das Kraftfahrzeug 10 mit dem Fahrbetrieb beginnt, bestimmt
die Verarbeitungseinheit 2 im Schritt S8, ob die Bremsen-ECU 12 für einen
Bremsvorgang in Betrieb versetzt ist. Wenn beurteilt wird, dass
die Bremsen-ECU 12 für
ihren Bremsvorgang in Betrieb versetzt ist ("JA" im
Schritt S8), gibt, wenn die Anzahl von Pixeln des sich bewegenden
Objektes gleich oder größer als
ein gewisser Schwellenwert ist, d. h. wenn das sich bewegende Objekt
merklich nahe an dem Kraftfahrzeug 10 ist, die Verarbeitungseinheit 2 ein
Bremsensteuersignal über
das Fahrzeugnetzwerk Interface 7 im Schritt S9 an die Bremsen-ECU 12 aus,
so dass das Kraftfahrzeug 10 abgebremst wird. Damit wird
das Kraftfahrzeug 10 daran gehindert, mit dem sich bewegenden
Objekt zusammenzustoßen
oder dieses zu berühren.
-
Wenn
beurteilt wird, dass sich kein bewegendes Objekt in dem Anfangs-Erkennungsbereich
befindet ("NEIN" im Schritt S3),
verarbeitet die Verarbeitungseinheit 2 das aufgenommene
Bild nicht, sondern steuert im Schritt S10 die Anzeige 5 so
an, dass das aufgenommene Bild unverändert dargestellt wird.
-
In
der obigen Beschreibung wurde angenommen, dass das Umgebungs-Überwachungssystem 1 für das Fahrzeug
dafür vorhanden
ist, einen Fußgänger als
sich bewegendes Objekt zu erkennen. Das Umgebungs-Überwachungssystem 1 für das Fahrzeug
kann jedoch auch ein Tier, beispielsweise ein Hund oder eine Katze
mittels der obigen Verarbeitungsabfolge als sich bewegendes Objekt erkennen.
-
Gemäß der vorliegenden
Erfindung wird ein Bereich in dem aufgenommenen Bild nahe dem Kraftfahrzeug
als Anfangs-Erkennungsbereich festgelegt und es wird durch Verarbeitung
des Anfangs-Erkennungsbereiches bestimmt, ob sich nahe dem Kraftfahrzeug
ein bewegliches Objekt befindet oder nicht. Daher wird durch Verarbeitung
der Bilddaten in dem Bereich nahe des Kraftfahrzeugs, d. h. in dem
Bereich, der im Fahrbetrieb des Kraftfahrzeugs eine Rolle spielt,
bestimmt, ob sich ein bewegliches Objekt nahe dem Kraftfahrzeug
befindet oder nicht. Es wird nicht bestimmt, ob sich ein bewegliches
Objekt nahe dem Kraftfahrzeug befindet oder nicht, in dem Bilddaten
eines Bereichs des aufgenommenen Bildes verarbeitet werden, der
in dem Fahrbetrieb des Kraftfahrzeuges nicht involviert ist. Folglich
kann ein sich bewegendes Objekt, beispielsweise ein Fußgänger um
das Kraftfahrzeug herum geeignet erkannt werden, ohne dass unnötige Erkennungsfehler auftreten.
-
Wenn
beurteilt wird, dass sich ein bewegendes Objekt nahe dem Kraftfahrzeug
befindet, wird ein Umfangsbereich oder ein vertikaler Bereich um
das erkannte sich bewegende Objekt herum in dem aufgenommenen Bild
als zusätzlicher
Erkennungsbereich hinzuaddiert und die Bilddaten des zusätzlichen Erkennungsbereiches
werden ebenfalls verarbeitet. Folglich ist es möglich, eine Bewegung des sich
bewegenden Objektes zu erkennen, welche anhnd des Anfangs-Erkennungsbereiches
vor der Hinzufügung des
zusätzlichen
Erkennungsbereiches nicht erkennbar wäre.
-
Wenn
beurteilt wird, dass sich ein sich bewegendes Objekt nahe dem Kraftfahrzeug
befindet, wird das sich bewegende Objekt mit einer hieran angelegten
halbtransparenten Farbe dargestellt. Somit wird das dargestellte
sich bewegende Objekt zur Erregung der Aufmerksamkeit des Benutzers
hervorgehoben. Weiterhin werden die Bilddaten des aufgenommenen
Bildes progressiv herunterverarbeitet und ein Bildabschnitt von
gefärbten
Pixeln, deren Werte gleich oder größer als ein bestimmter Schwellenwert
sind, wird als Merkmalspunkt des sich bewegenden Objektes identifiziert,
eine Markierung wird an den identifizierten Bildabschnitt angelegt
und das sich bewegende Objekt mit der angelegten Markierung wird
dargestellt. Wenn das sich bewegende Objekt ein Fußgänger ist,
kann die Markierung auf den Kopf des Fußgängers weisen, was dem Benutzer
die Position des Fußgängerkopfs
mitteilt und auch die Bewegungsrichtung des Fußgängers an den Benutzer mitteilt,
und zwar basierend auf der Blickrichtung des Fußgängers.
-
Der
Merkmalspunkt des sich bewegenden Objekts und die Karrosserie des
Kraftfahrzeuges werden gleichzeitig dargestellt. Wenn das sich bewegende
Objekt ein Fußgänger ist,
kann dem Benutzer die Beziehung zwischen der Position des Kopfs
des Fußgängers und
dem Kraftfahrzeug ange zeigt werden, um den Benutzer darauf hinzuweisen,
Vorsichtsmaßnahmen
für die
Sicherheit des Fußgängers zu
ergreifen.
-
Die
Bildaufnahmeeinheit kann anstelle der dargestellten Fischaugenlinsenkamera
eine Weitwinkellinsenkamera aufweisen.
-
Das
Umgebungs-Überwachungssystem
für ein
Fahrzeug kann eine Mehrzahl von Fischaugenlinsenkameras oder Weitwinkellinsenkameras
und eine Mehrzahl von Akustikeinheiten aufweisen, welche an unterschiedlichen
Positionen des Kraftfahrzeugs angeordnet sind. Wenn ein Fußgänger beispielsweise rechts
und hinterhalb des Kraftfahrzeuges erkannt wird, kann eine Akustikeinheit
in einem rechten hinteren Bereich im Fahrgastraum des Kraftfahrzeuges eingeschaltet
werden, um ein Akustiksignal oder einen Ton zu erzeugen und wenn
ein Fußgänger beispielsweise
links und hinterhalb des Kraftfahrzeuges erkannt wird, kann eine
Akustikeinheit in einem linken hinteren Bereich des Fahrgastraums
des Kraftfahrzeuges eingeschaltet werden, um ein Akustiksignal oder
einen Ton zu erzeugen. Diese Anordnung macht es dem Benutzer möglich, die
Stellung des erkannten Fußgängers aus
der Richtung des erzeugten Signals oder Tons zu erkennen.
-
Das
erkannte sich bewegende Objekt oder der Merkmalspunkt des erkannten
sich bewegenden Objektes kann als blinkendes sich bewegendes Objekt
oder als blinkender Merkmalspunkt in dem dargestellten Bildsegment
angezeigt werden.
-
Obgleich
eine bestimmte bevorzugte Ausführungsform
der vorliegenden Erfindung dargestellt und im Detail beschrieben
worden ist, versteht sich, dass verschiedene Änderungen und Abwandlungen gemacht
werden können,
ohne vom Umfang der beigefügten
Ansprüche
abzuweichen.