-
Die
vorliegende Erfindung betrifft allgemein ein System und eine Vorrichtung
zur Fahrunterstützung
zur Verwendung in einem Fahrzeug.
-
In
den vergangenen Jahren sind verschiedene Techniken zum Unterstützen eines
Rückwärtseinparkvorgangs
eines Fahrzeugs auf der Grundlage eines erfassten Bildes vorgeschlagen
worden. Eine der Techniken verwendet eine Vogelperspektive auf der Grundlage
eines von einer Kamera erfassten Bildes einer rückwärtigen Ansicht bzw. einer Ansicht
in Rückwärtsrichtung
eines Fahrzeugs, welche zur Unterstützung des Rückwärtseinparkvorgangs selektiv angezeigt
wird, wie es in der japanischen Offenlegungsschrift JP-A-2004-254219 offenbart
ist.
-
Die
aus der Rückwärtsansicht
verarbeitete Vogelperspektive des Fahrzeugs war jedoch aufgrund
ihrer Sichtbarkeit auf einer Anzeigeeinheit nicht notwendigerweise
hilfreich für
den Rückwärtseinparkvorgang.
D.h., die Vogelperspektive enthält üblicherweise
verschiedene andere Objekte als einen Parkplatz (z.B. einen quadratischen,
auf einem Boden markierten Bereich), wodurch sie im Hinblick darauf,
die Aufmerksamkeit des Fahrers auf den Parkplatz selbst zu lenken,
verwirrend ist. Mit anderen Worten, das Problem, wie die Aufmerksamkeit des
Fahrers in geeigneter Weise auf den Parkplatz selbst zu lenken ist,
ist ein Problem gewesen, das Bestandteil von Überlegungen gewesen ist.
-
Angesichts
des vorgenannten und anderer Probleme stellt die vorliegende Erfindung
eine Bildverarbeitungstechnik bereit, welche eine verbesserte Sichtbarkeit
in einem Bild anbietet, das einem in einen Fahrvorgang eingebundenen
Fahrer präsentiert wird.
-
Eine
Bildverarbeitungsvorrichtung zur Verwendung in einem Fahrzeug weist
eine Bilderfassungseinheit zum Erfassen eines Bildes einer Fahrzeugumgebung,
eine Bildverarbeitungseinheit zum Erzeugen einer Vogelperspektive
auf der Grundlage des durch die Bilderfassungseinheit erfassten
Bildes, eine Fahrzustandsermittlungseinheit zum Ermitteln eines
Fahrzustands des Fahrzeugs, eine Positioniereinheit zum Positionieren
eines Parkbereichs in dem durch die Bildverarbeitungseinheit erzeugten
Bild aus der Vogelperspektive, wenn der durch die Fahrzustandserfassungseinheit
ermittelte Fahrzustand des Fahrzeugs eine Rückwärtsfahrt zum Einparken ist,
eine Parkbilderzeugungseinheit zum Erzeugen eines Parkbildes, welches
eine Bereichsansicht auf der Grundlage des durch die Positioniereinheit
in dem Bild aus der Vogelperspektive positionierten Parkbereichs
aufweist, und eine Anzeigeeinheit zum Anzeigen des Parkbildes auf
einem Anzeigeschirm auf.
-
Die
Bildverarbeitungsvorrichtung der vorliegenden Erfindung verwendet
ein durch eine Kamera erfasstes Bild zum Erzeugen eines Bildes eines
Parkbereichs aus der Vogelperspektive und prüft das Bild aus der Vogelperspektive
zur Positionierung des Parkbereichs in dem durch die Kamera erfassten Bild,
wenn das Fahrzeug zum Einparken in den Parkbereich rückwärts fährt. Des
weiteren wird das Bild aus der Vogelperspektive verarbeitet, um
das Fahrzeug in den Parkbereich zu navigieren, und wird das verarbeitete
Bild aus der Vogelperspektive auf einer Anzeigeeinheit angezeigt.
Auf diese Weise wird das Bild des Parkbereichs aus der Vogelperspektive
auf die Bereichsansicht zugeschnitten, die erforderlich ist, um
das Fahrzeug durch Rückwärtsfahren
in den Parkbereich zu navigieren. Daher weist die Bereichsansicht
nur einen erforderlichen Teil des Bildes aus der Vogelperspektive
auf und verhindert eine Ablenkung der Aufmerksamkeit des Fahrers
durch Ausschließen
eines nicht erforderlichen Teils aus dem ursprünglich durch eine Kamera erfassten
Bild aus der Vogelperspektive. Mit anderen Worten, die Bildverarbeitungsvorrichtung
verbessert die Sichtbarkeit des Bildes aus der Vogelperspektive
durch Filtern des ursprünglich
erfassten Bildes, um die Ablenkung des in einem Fahrvorgang eingebundenen
Fahrers zu verhindern.
-
Ein
System und ein Programm zum Bereitstellen einer Funktion der Bildverarbeitungsvorrichtung
sind im wesentlichen in gleicher Weise wie die Bildverarbeitungsvorrichtung
entworfen. Daher wird auf eine Beschreibung der Einzelheiten des
Systems und des Programms hier verzichtet.
-
Andere
Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung werden
aus der nachstehenden genauen Beschreibung ersichtlicher werden, die
unter Bezugnahme auf die begleitenden Zeichnungen angefertigt wurde,
in welchen:
-
1 eine
Darstellung eines Bildverarbeitungssystems in einer Ausführungsform
der vorliegenden Erfindung zeigt;
-
2 ein
Blockdiagramm des Bildverarbeitungssystems in der Ausführungsform
zeigt;
-
3 ein
Flussdiagramm eines Bildverarbeitungsprozesses in dem Bildverarbeitungssystem zeigt;
-
4A und 4B Darstellungen
von in dem Bildverarbeitungssystem verwendeten Vogelperspektiven
zeigen;
-
5A und 5B Darstellungen
eines auf einer Anzeigeeinheit des Bildverarbeitungssystems angezeigten
Bildes eines Parkplatzes zeigen; und
-
6 eine
Darstellung des in einer anderen Ausführungsform verwendeten Bildes
eines Parkplatzes zeigt.
-
Nachstehend
werden bevorzugte Ausführungsformen
der vorliegenden Erfindung unter Bezugnahme auf die begleitenden
Zeichnungen beschrieben.
-
1 zeigt
eine Darstellung eines Bildverarbeitungssystems 1 in einer
Ausführungsform
der vorliegenden Erfindung. Das System 1 weist eine auf
ei ner Rückseite
eines Fahrzeugs 100 angeordnete Kamera, eine in einem Raum
des Fahrzeugs 100 angeordnete Anzeigeeinheit 3,
einen die Kamera 2 und die Anzeigeeinheit 3 verbindenden
Bildprozessor 4 und dergleichen auf.
-
Die
Anzeigeeinheit 3 weist einen rechteckigen Schirm zum Anzeigen
eines Bildes auf. Die vertikale Seite des Schirms ist länger als
die horizontale Seite desselben. Der Bildprozessor 4 zeigt
ein verarbeitetes Bild auf der Anzeigeeinheit 3 auf der
Grundlage eines durch die Kamera 2 erfassten Bildes an. Der
Bildprozessor 4 ist ein Computersystem an sich bekannter
Art mit einer CPU, einem Speicher und dergleichen.
-
Der
Bildprozessor 4 weist gemäß der Darstellung in 2 einen
Vogelperspektivenprozessor 41, einen Parkplatzprozessor 43,
eine Steuereinheit 45, eine Rendering-Einheit 47 und
dergleichen auf.
-
Der
Vogelperspektivenprozessor 41 erzeugt Daten eines Bildes
aus der Vogelperspektive (nachstehend auch als "Vogelperspektivenbilddaten" bezeichnet) zur
Darstellung eines Bildes aus der Vogelperspektive, welches eine
Ansicht des Fahrzeugs 100 aus der Vogelperspektive zeigt,
auf der Grundlage einer Verarbeitung der durch die Kamera 2 erfassten
Bilddaten. Die Verarbeitung der Bilddaten in dem Prozessor 41 weist
eine Koordinatenumwandlung bzw. Koordinatentransformation oder dergleichen auf.
-
Der
Parkplatzprozessor 43 identifiziert einen Parkplatz (z.B.
einen markierten Bereich auf dem Boden) in dem Bild aus der Vogelperspektive
als einen Parkbereich für
das Fahrzeug 100 durch Durchführen einer Bildverarbeitung
bezüglich
der Vogelperspektivenbilddaten.
-
Die
Steuereinheit 45 erzeugt ein Bereichsbild auf der Grundlage
der Vogelperspektivenbilddaten aus dem Prozessor 41, eines
Identifikationsergebnisses aus dem Prozessor 43 und verschiedener Informationen
und Anweisungen von anderen Vorrichtungen. Die Steuereinheit 45 empfängt Informationen
und Anweisungen von beispielsweise einer ECU 112 zum Steuern
einer Fahrzeugbewegung, einer Betriebseinheit 114 zum Betreiben
des Bildprozessors 4 auf der Grundlage von Benutzereingaben, einem
Geschwindigkeitssensor 122 zum Ermitteln einer Fahrzeuggeschwindigkeit
des Fahrzeugs 100, einem Gierratensensor 124 zum
Ermitteln einer Gierrate des Fahrzeugs 100, einem Lenksensor 126 zum Ermitteln
eines Lenkwinkels des Fahrzeugs 100, einem Schaltstellungssensor 128 zum
Ermitteln einer Schaltstellung eines Getriebes und dergleichen.
-
Die
Rendering-Einheit 47 rendert ein auf der Anzeigeeinheit 3 anzuzeigendes
Anzeigebild auf der Grundlage der Bilddaten aus dem Prozessor 41 und der
Bilddaten aus der Steuereinheit 45.
-
3 zeigt
ein Flussdiagramm eines Bildanzeigeprozessors in dem Bildprozessor 4 des
Bildverarbeitungssystems 1. Der Bildanzeigeprozess wiederholt
sich selbst, wenn ein Betrieb des Bildprozessors 4 begonnen
wird.
-
In
Schritt S110 bestimmt der Prozess, ob das Fahrzeug 100 zum
Einparken rückwärts fährt. In
diesem Fall bestimmt der Prozess, dass das Fahrzeug 100 rückwärts fährt, wenn
eine Schaltstellung eines Getriebes in eine Rückwärtsfahrstellung gebracht ist.
-
Der
Prozess beendet sich selbst, wenn das Fahrzeug 100 nicht
rückwärts fährt (Schritt
S110: NEIN). D.h., der Prozess wartet auf den Rückwärtsfahrvorgang des Fahrzeugs 100.
-
Der
Prozess schreitet zu Schritt S120 fort, wenn das Fahrzeug 100 rückwärts fährt (Schritt S110:
JA).
-
In
Schritt S120 erzeugt der Prozess Bilddaten einer Vogelperspektive
zur Darstellung eines Bildes aus der Vogelperspektive auf der Grundlage
eines durch die Kamera 2 erfassten Bildes. In diesem Fall
repräsentieren
die Vogel perspektivenbilddaten ein Bild eines quadratischen Bereichs,
das um einen vorbestimmten Abstand hinter dem Fahrzeug 100 herum
zentriert ist, aus der Vogelperspektive. 4A und 4B zeigen
Darstellungen der durch die Bilddaten repräsentierten Bilder aus der Vogelperspektive.
Die Bilddatenverarbeitung auf der Grundlage des von der Kamera erfassten
Bildes ist ein an sich bekannter Prozess, und daher wird auf eine
Beschreibung dieser Verarbeitung hier verzichtet.
-
In
Schritt S130 bestimmt der Prozess, ob das Fahrzeug 100 den
Parkvorgang beendet hat. In diesem Fall bestimmt der Prozess, dass
der Parkvorgang nahezu beendet ist, wenn die Geschwindigkeit des
Fahrzeugs 100 unter eine vorbestimmte Geschwindigkeit sinkt,
auf der Grundlage der durch den Geschwindigkeitssensor 122 ermittelten
Geschwindigkeit, nachdem ermittelt wird, dass das Fahrzeug 100 rückwärts fährt, um
einzuparken. Das Beenden des Parkens kann auch beispielsweise auf
der Grundlage einer vorbestimmten Zeitdauer eines Fahrzeugbetriebs
mit einer Rückwärtsgeschwindigkeit,
die unterhalb der vorbestimmten Geschwindigkeit liegt, bestimmt
werden.
-
Der
Prozess schreitet zu Schritt S140 fort, wenn das Fahrzeug 100 das
Rückwärtsfahren
zum Einparken beendet (Schritt 130: JA).
-
In
Schritt S140 legt der Prozess ein Zentrum bzw. eine Mitte der auf
der Anzeigeeinheit 3 anzuzeigenden Vogelperspektivenbilddaten
in nachfolgenden Prozessen in der Mitte der Fahrzeugs 100 fest. D.h.,
das Bild aus der Vogelperspektive auf der Anzeigeeinheit 3 zeigt
stets das Fahrzeug 100 in seiner Mitte an.
-
Der
Prozess schreitet zu Schritt S150 fort, wenn das Fahrzeug 100 das
Rückwärtsfahren
zum Einparken nicht beendet (Schritt S130: NEIN).
-
In
Schritt S150 legt der Prozess das Zentrum der auf der Anzeigeeinheit 3 anzuzeigenden
Vogelperspektivenbilddaten in den nachfolgenden Verarbeitungen in
einem vorbestimmten Abstand hinter dem Fahrzeug 100 fest.
-
Dann
bestimmt der Prozess in Schritt S160, ob der Parkplatz in den Vogelperspektivenbilddaten enthalten
ist. In diesem Schritt wird das Bild durch den Parkplatzprozessor 43 geprüft, und
der Parkplatz wird durch Verwendung eines Parkrahmens 200 (nachstehend
beschrieben) markiert.
-
Nach
einer Erzeugung von auf der Anzeigeeinheit 3 anzuzeigenden
Bilddaten eines Bereichs auf der Grundlage des in Schritt S160 bestimmten Parkplatzes
und der entweder in Schritt S140 oder Schritt S150 bestimmten Position
der Bildmitte schreitet der Prozess zu Schritt S180 fort. Genauer gesagt,
die in Schritt S120 erzeugten Vogelperspektivenbilddaten werden
so verarbeitet, dass sie wenigstens den in Schritt S160 bestimmten
Parkplatz mit der Mittenpositon des Bildes, die auf die Fahrzeugmitte
oder ein rückwärtiges Feld
des Fahrzeugs 100 festgelegt ist, enthalten. Das verarbeitete
Bild wird auf eine Schirmgröße der Anzeigeeinheit 3 angepasst.
Mit anderen Worten, ein auf der Anzeigeeinheit 3 anzuzeigender
Anzeigebereich wird aus dem Bild aus der Vogelperspektive extrahiert.
-
5A und 5B zeigen
Darstellungen eines Parkplatzbildes, das auf der Anzeigeeinheit 3 des
Bildverarbeitungssystems 1 angezeigt wird. Gemäß der Darstellungen
in 5A und 5B umfasst
ein Parkplatz 210 in dem extrahierten Bild einen vorbestimmten
Betrag eines Umgebungsbereichs. Der vorbestimmte Betrag des Umgebungsbereichs
in dem Bild wird auf der Grundlage eines Anzeigerandes zum Einschließen einer äußeren Kante
des Parkrahmens 200 (nachstehend beschrieben) in dem extrahierten
Bild bestimmt. Des weiteren wird der vorbestimmte Betrag des Umgebungsbereichs
auf beiden Seiten des Fahrzeugs 100 als ein Türöffnungsraum
für das
in dem Parkplatz 210 eingeparkte Fahrzeug 100 bestimmt.
-
Der
Prozess schreitet ohne eine Verarbeitung in Schritt S170 zu Schritt
S180 fort, wenn der Parkplatz nicht in dem Bild enthalten ist (Schritt
S160: NEIN).
-
In
Schritt S180 zeigt der Prozess das Bereichsbild auf der Anzeigeeinheit 3 an.
In diesem Fall wird das in Schritt S170 erzeugte Bereichsbild oder das
in Schritt S120 erzeugte Bild in Übereinstimmung mit dem Bestimmungsergebnis
in Schritt S160 an die Schirmgröße der Anzeigeeinheit 3 angepasst.
-
Das
auf der Anzeigeeinheit 3 angezeigte Bild enthält den Parkrahmen 200,
der den Parkplatz 210 umgibt, und der Parkrahmen 200 liegt
gemäß der Darstellung
in 5A in Kombination mit einem rückwärtigen Teil bzw. einem Heck 100b des
Fahrzeugs 100 vor, wenn die Bildmitte in Schritt S150 hinter
dem Fahrzeug 100 positioniert wurde. Der Parkplatz 210 wird
durch Begrenzungslinien 220 geteilt, welche eine longitudinale
Länge des
Parkplatzes 210 gleichmäßig in mehrere
Intervalle unterteilen. Wenn andererseits die Bildmitte in der Mitte
des Fahrzeugs 100 positioniert wurde, enthält das angezeigte
Bild einen gesamten Teil bzw. den gesamten Umriss 100a des Fahrzeugs 100 in
dem Parkplatz 210 mit dem Parkrahmen 200, wie
es in 5B dargestellt ist.
-
Nach
Anzeigen des Bildes in Schritt S180 beendet sich der Prozess selbst.
-
Die
Vorteile der vorliegenden Ausführungsform
werden nachstehend kurz beschrieben. Zuerst verarbeitet der Bildprozessor 4 das
ermittelte Bild, um das Bild aus der Vogelperspektive mit dem mit dem
Parkrahmen 200 eingerahmten Parkplatz 210 in angepasster
Weise auf der Anzeigeeinheit 3 anzuzeigen. Daher wird der
Parkplatz 210 in dem extrahierten Bild in geeigneter Weise
angezeigt, wie es in den 5A und 5B gezeigt
ist. D.h., der Parkplatz 210 nimmt einen großen Bereich
in dem extrahierten Bild ein, um durch den Fahrer des Fahrzeugs 100 leicht
wahrgenommen zu werden. Mit anderen Worten, durch Verkleinern eines
Umgebungsbereichs des Parkplatzes 210 auf ein Minimum in
dem extrahierten Bild wird die Aufmerksamkeit des Fahrers des Fahrzeugs 100 in
geeigneter Weise auf den Parkplatz 210 gelenkt. Demzufolge
wird die Sicht des Fahrers in Bezug auf den Parkunterstützungsvorgang
durch das Bildverarbeitungssystem 1 verbessert, und die
Bereitstellung einer unnötigen
Ablenkung des Fahrers wird vermieden.
-
Ferner
enthält
das auf der Anzeigeeinheit 3 angezeigte Bild in Abhängigkeit
von der Phase des Einparkvorgangs selektiv einen Teil des Fahrzeugs 100 oder
einen Gesamtteil des Fahrzeugs 100. Auf diese Weise wird
der Einparkvorgang durch den Fahrer des Fahrzeugs 100 durch
das Bildverarbeitungssystem 1 durch den gesamten Parkvorgang
hindurch in geeigneter Weise unterstützt. Zusätzlich wird der Zustand des
geparkten Fahrzeugs 100 auf der Grundlage der Anzeige des
Parkrahmens 200 leicht bestimmt. D.h., ob das geparkte
Fahrzeug 100 mit dem Parkplatz 210 ausgerichtet
ist, ob der Türöffnungsraum
in ausreichendem Maße
bereitgestellt ist, oder andere Bedingungen und Zustände des
Fahrzeugs 100 können
durch den Fahrer nur durch einen Blick auf die Anzeigeeinheit 3 leicht
erkannt werden.
-
Obschon
die vorliegende Erfindung in Verbindung mit der bevorzugten Ausführungsform
hiervon unter Bezugnahme auf die begleitenden Zeichnungen vollständig beschrieben
worden ist, ist festzuhalten, dass dem Fachmann vielfältige Änderungen
und Abwandlungen ersichtlich sein werden.
-
Beispielsweise
können
die Kamera 2, die Anzeigeeinheit 3 und der Bildprozessor 4 als
eine integrierte Einheit anstelle separater Einheiten vorgesehen
sein.
-
Des
weiteren kann die Bedingung in Schritt S110 durch eine Bedingung
ersetzt, dass eine vorbestimmte Zeit nach Änderung der Schaltstellung
in die Rückwärtsstellung
verstrichen ist, eine Bedingung, dass ein Pedal nach Änderung
der Schaltung in die Rückwärtsstellung
in einer vorbestimmten Weise betätigt
wird, eine Bedingung, dass die Geschwindigkeit des Fahrzeugs 100 auf einen
vorbestimmten Wert steigt, nachdem die Schaltung in die Rückwärtsstellung
geändert
wurde, oder dergleichen ersetzt werden.
-
Des
weiteren kann das zu einer Zeit des Rückwärtsfahrens (d.h., zu einer
Zeit zwischen Schritt S110 und Schritt S120) erzeugte Bild aus der Vogelperspektive
zu einer abweichenden Zeit erzeugt werden. D.h., das Bild aus der
Vogelperspektive kann z.B. in einem vorbestimmten Intervall erzeugt
werden, ungeachtet der Zeit eines Rückwärtsfahrens des Fahrzeugs 100,
um in der nachfolgenden Verarbeitung verwendet zu werden.
-
Des
weiteren kann sich die Größe des in Schritt
S180 angezeigten Bildes von der Anpassgröße des Schirms der Anzeigeeinheit 3 unterscheiden.
-
Des
weiteren kann die Bedingung in Schritt S130 zum Bestimmen des Beendens
des Einparkens z.B. durch eine Bedingung, dass nach dem Beginn des
Rückwärtsfahrens
für das
Einparken eine vorbestimmte Zeit verstrichen ist oder eine Bedingung
auf der Grundlage eines Ermittlungsergebnisses durch den Schaltstellungssensor 128,
dass die Schaltung in eine Parkstellung geändert wurde, ersetzt werden.
-
Des
weiteren kann der vorbestimmte Betrag des Umgebungsbereichs in Schritt
S170 auf einen Betrag geändert
werden, der gemäß einem
Typ des Fahrzeugs 100 beliebig festgelegt ist.
-
Des
weiteren kann das Bild des Fahrzeugs wie eine Darstellung in 6 aussehen,
wenn die Mitte des Bildes in Schritt S140 festgelegt wird. D.h., ein
Fahrzeugbild 100c mit seinen geöffneten Türen 110 kann zur Prüfung eines
Türöffnungsraums
in dem Bild angezeigt werden.
-
Des
weiteren kann in Schritt S160 zusätzlich zu dem Einschließen des
Parkrahmens 200 die Position des Parkplatzes 210 geprüft werden.
D.h., die Position des Parkplatzes 210 kann bezüglich einer Ausrichtung
mit einer Längsrichtung
des Fahrzeugs 100 geprüft
werden.
-
Solche Änderungen
und Abwandlungen sind so zu verstehen, dass sie innerhalb des Umfangs
der vorliegenden Erfindung, wie sie durch die beigefügten Ansprüche definiert
ist, liegen.
-
Eine
Bildverarbeitungsvorrichtung (1) gemäß der Erfindung verwendet ein
Bild aus der Vogelperspektive zum Unterstützen eines Rückwärtsfahrvorgangs
eines Fahrzeugs (100) zum Einparken. Das Bild aus der Vogelperspektive
wird verarbeitet, um in dem Bild eine Bereichsansicht anzuzeigen,
welche einen Parkplatz enthält.
Das verarbeitete Bild wird an die Größe eines Bereichsansichtsanzeigeraums
in einer Anzeigeeinheit (3) der Bildverarbeitungsvorrichtung
(1) angepasst, um die Erkennung eines Parkrahmens und diesbezüglicher
Informationen zu erleichtern. Auf diese Weise wird das verarbeitete
Bild so zugeschnitten, dass zur Erleichterung des Rückwärtsfahrvorgangs
durch einen Fahrer des Fahrzeugs (100) nicht erforderliche
Teile aus dem Bild aus der Vogelperspektive ausgenommen werden.