DE102020126496A1

DE102020126496A1 - Fahrzeugparkassistenzvorrichtung

Info

Publication number: DE102020126496A1
Application number: DE102020126496.8A
Authority: DE
Inventors: Yu Hiei; Yusuke Kida; Daiki Maruki
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2019-10-11
Filing date: 2020-10-09
Publication date: 2021-04-15
Also published as: JP2021062707A; US20210107467A1; CN112644471A; JP7238722B2; CN112644471B

Abstract

Eine Fahrzeugparkassistenzvorrichtung beschafft ein Merkmalsbild aus einem Registrierbild, das einen Parkplatz darstellt, zum Registrieren des Merkmalsbildes als Parkplatzinformationen. Das Registrierbild ist ein Bild, das eine Kamera aufnimmt, wenn die Fahrzeugparkassistenzvorrichtung eine Registrieranfrage zum Registrieren eines Parkbereichs empfängt, in den das Fahrzeug geparkt wird. Die Fahrzeugparkassistenzvorrichtung bestimmt, dass das Fahrzeug den durch die Parkplatzinformationen spezifizierten Parkbereich erreicht hat, wenn ein Bildabschnitt, der das gleiche Merkmal wie das Merkmalsbild aufweist, in einem Nach-Registrierbild enthalten ist. Die Fahrzeugparkassistenzvorrichtung spezifiziert ein Objektbild, das ein ein Objekt darstellendes Bild ist, aus dem Registrierbild, wenn das Objekt in dem dem Registrierbild entsprechenden Bereich vorhanden ist, und beschafft das Merkmalsbild beruhend auf dem Registrierbild, aus dem das spezifizierte Objektbild ausgenommen ist.

Description

HINTERGRUND
Technisches Gebiet
Die vorliegende Offenbarung bezieht sich auf eine Fahrzeugparkassistenzvorrichtung.
Verwandte Technik
Eine Fahrzeugparkassistenzvorrichtung zum autonomen Parken eines Fahrzeugs in einem Parkplatz, der nicht mittels Parkbereichslinien, wie weiße Linien, definiert/partitioniert ist, ist bekannt. Der Parkplatz, der nicht mittels Parkbereichslinien definiert/partitioniert ist, ist beispielsweise ein Parkplatz eines Eigenheims oder Wohnhauses. Die bekannte Fahrzeugparkassistenzvorrichtung dieses Typs registriert/speichert Parkplatzinformationen über einen Parkplatz, der nicht mittels Parkbereichslinien definiert/partitioniert ist, wenn das Parken des Fahrzeugs in diesem Parkplatz abgeschlossen ist. Da die bekannte Fahrzeugparkassistenzvorrichtung das Fahrzeug zum Parken des Fahrzeugs in demselben Parkplatz autonom bewegt, in dem das Fahrzeug zuvor autonom geparkt wurde, beschafft die Fahrzeugparkassistenzvorrichtung periodisch Informationen über den Parkplatz. Die Fahrzeugparkassistenzvorrichtung vergleicht die beschafften Informationen mit den registrierten/gespeicherten Parkplatzinformationen zum Erkennen einer Positionsbeziehung zwischen dem Fahrzeug und dem Parkplatz, um das Fahrzeug in dem Parkplatz zu parken.
Eine derartige Fahrzeugparkassistenzvorrichtung ist beispielsweise in der japanischen Patentanmeldungsoffenlegung 2017-138664 offenbart. Die offenbarte Fahrzeugparkassistenzvorrichtung beschafft ein Bild, das ein Objektbild eines Objekts enthält, das in oder um den Parkplatz vorhanden ist, unter Verwendung einer Kamera, um zumindest einen von Merkmalspunkten des Objekts in dem Bild als die Parkplatzinformationen zu registrieren/zu speichern. Das das Objektbild enthaltende Bild wird nachstehend als „Kamerabild“ bezeichnet.
Kurzzusammenfassung
Es kann ein Fall auftreten, in dem sich lediglich ein Fahrer in dem Fahrzeug befindet, wenn die Parkplatzinformationen registriert/gespeichert werden, aber sich ein oder mehrere Passagiere zusätzlich zu dem Fahrer in dem Fahrzeug befinden, wenn das Fahrzeug in dem Parkplatz autonom geparkt wird, dessen Parkplatzinformationen registriert/gespeichert wurden. In diesem Fall kann eine Neigung des Fahrzeugs, wenn die Parkplatzinformationen registriert/gespeichert werden, von einer Neigung des Fahrzeugs verschieden sein, wenn das Fahrzeug in demselben Parkplatz unter Verwendung der registrierten/gespeicherten Parkplatzinformationen autonom geparkt wird. Es kann einen anderen Fall geben, in dem „der Parpklatz, dessen Parkplatzinformationen registriert/gespeichert werden“ und /oder „die Umgebung dieses Parkplatzes“ eine Neigung und/oder eine Welligkeit aufweist/aufweisen, und eine Route, wenn die Parkplatzinformationen registriert/gespeichert werden, von einer Route verschieden ist, wenn das Fahrzeug in denselben Parkplatz unter Verwendung der registrierten/gespeicherten Parkplatzinformationen autonom geparkt wird. Auch in diesem Fall kann die Neigung des Fahrzeugs, wenn die Parkplatzinformationen registriert/gespeichert werden, von der Neigung des Fahrzeugs verschieden sein, wenn das Fahrzeug unter Verwendung der registrierten/gespeicherten Parkplatzinformationen in dem Parkplatz autonom geparkt wird.
In den vorstehend genannten Fällen kann eine Form des Objekts in dem Kamerabild, wenn die Parkplatzinformationen (das heißt, die Merkmalspunkte) registriert/gespeichert werden, von einer Form desselben Objekts in dem Kamerabild verschieden sein, wenn das Fahrzeug unter Verwendung der registrierten/gespeicherten Parkplatzinformationen in dem Parkplatz autonom geparkt wird. Dies kann eine Bestimmung schwierig machen, dass die Merkmalspunkte eines Objekts, die beschafft werden, wenn das Fahrzeug autonom geparkt wird, die registrierten/gespeicherten Merkmalspunkte desselben Objekts sind. In diesem Fall kann es eventuell nicht möglich sein, das Fahrzeug in dem Parkplatz autonom zu parken.
Unterdessen kann es einen weiteren Fall geben, in dem die Parkplatzinformationen morgens registriert werden, und das Fahrzeug nachmittags autonom geparkt wird. In diesem Fall kann die Art und Weise, wie das Sonnenlicht direkt auf das Objekt scheint, und wie das Sonnenlicht durch den Boden auf das Objekt reflektiert wird, zwischen dem Zeitpunkt, wenn die Parkplatzinformationen registriert/gespeichert werden, und dem Zeitpunkt verschieden sein, wenn das Fahrzeug autonom geparkt wird. Es kann auch einen weiteren Fall geben, in dem die Parkplatzinformationen tagsüber registriert/gespeichert werden, und das Fahrzeug nachts autonom geparkt wird. In diesem Fall variiert die Art und Weise, wie das Sonnenlicht direkt auf das Objekt scheint, und wie das Sonnenlicht durch den Boden auf das Objekt reflektiert wird, zwischen dem Zeitpunkt der Registrierung der Parkplatzinformationen und dem Zeitpunkt des autonomen Parkens des Fahrzeugs. In diesen Fällen können sich die Merkmalspunkte des Objekts in dem Kamerabild zwischen dem Zeitpunkt der Registrierung/Speicherung der Parkplatzinformationen und dem Zeitpunkt des autonomen Parkens des Fahrzeugs unterscheiden. In diesem Fall kann es eventuell nicht möglich sein, zu bestimmen, dass die zu dem Zeitpunkt des autonomen Parkens des Fahrzeugs beschafften Merkmalspunkte die registrierten Merkmalspunkte des Objekts sind, selbst wenn die beschafften Merkmalspunkte die registrierten Merkmalspunkte des Objekts sind. In diesem Fall kann es nicht möglich sein, das Fahrzeug in dem Parkplatz autonom zu parken.
Es kann einen weiteren Fall geben, in dem die Merkmalspunkte eines beweglichen Objekts, wie eines anderen Fahrzeugs, eines Fahrrads und eines Pflanzkübels als die Parkplatzinformationen registriert/gespeichert werden, und das bewegliche Objekt bewegt wurde, wenn das Fahrzeug autonom geparkt wird. In diesem Fall können die registrierten/gespeicherten Merkmalspunkte des beweglichen Objekts eventuell nicht beschafft werden, wenn das Fahrzeug autonom geparkt wird. Infolgedessen kann das Fahrzeug eventuell nicht autonom geparkt werden. Es kann auch einen weiteren Fall geben, dass das bewegliche Objekt in dem/um den Parkplatz nicht vorhanden ist, wenn die Parkplatzinformationen registriert/gespeichert werden, und das bewegliche Objekt in dem/um den Parkplatz vorhanden ist, wenn das Fahrzeug autonom geparkt wird. In diesem Fall wurden die Merkmalspunkte dieses beweglichen Objekts nicht registriert/gespeichert. Infolgedessen kann das Fahrzeug eventuell nicht autonom geparkt werden.
Es kann einen weiteren Fall geben, in dem eine Position der Kamera zwischen dem Zeitpunkt der Registrierung/Speicherung der Parkplatzinformationen und dem Zeitpunkt des autonomen Parkens des Fahrzeugs in dem Parkplatz variiert. In diesem Fall kann die Form des Objekts selbst dann, wenn das Objekt, das fotografiert wird, wenn die Parkplatzinformationen registriert/gespeichert werden, dasselbe wie das Objekt ist, das fotografiert wird, wenn das Fahrzeug in dem Parkplatz autonom geparkt wird, zwischen dem Zeitpunkt der Registrierung/Speicherung der Parkplatzinformationen und dem Zeitpunkt des autonomen Parkens des Fahrzeugs in dem Parkplatz variiert. In diesem Fall kann es eventuell nicht möglich sein, zu bestimmen, dass die zum Zeitpunkt des autonomen Parkens des Fahrzeugs beschafften Merkmalspunkte die registrierten/gespeicherten Merkmalspunkte des Objekts sind, selbst wenn die beschafften Merkmalspunkte die registrierten/gespeicherten Merkmalspunkte des Objekts sind. Infolgedessen kann es eventuell nicht möglich sein, das Fahrzeug in dem Parkplatz autonom zu parken.
Wenn die Fahrzeugparkassistenzvorrichtung zum Registrieren/Speichern der Merkmalspunkte des Objekts als die Parkplatzinformationen wie vorstehend beschrieben konfiguriert ist, kann das Fahrzeug eventuell in dem Parkplatz nicht autonom geparkt werden, wenn die das Fahrzeug und den Parkplatz umgebenden Zustände zwischen dem Zeitpunkt der Registrierung/Speicherung der Merkmalspunkte und dem Zeitpunkt des autonomen Parkens des Fahrzeugs unter Verwendung der gespeicherten Merkmalspunkte (Parkplatzinformationen) unterschiedlich sind.
Die vorliegende Offenbarung dient zum Bewältigen der vorstehend beschriebenen Probleme. Die vorliegende Offenbarung hat eine Aufgabe zur Bereitstellung einer Fahrzeugparkassistenzvorrichtung, die das Fahrzeug in dem Parkplatz selbst dann autonom parken kann, wenn die das Fahrzeug und den Parkplatz umgebenden Zustände sich zwischen dem Zeitpunkt der Registrierung/Speicherung der Merkmalspunkte und dem Zeitpunkt des autonomen Parkens des Fahrzeugs unter Verwendung der gespeicherten Merkmalspunkte ändern.
Eine Fahrzeugparkassistenzvorrichtung gemäß vorliegender Offenbarung umfasst:

eine Fahrzeugparkassistenzvorrichtung mit
einer Kamera (40, 41-44), die zum Aufnehmen eines Bildes eingerichtet ist, das einen Umgebungsbereich eines Fahrzeugs darstellt, und
eine Steuereinrichtung (90, 11, 12, 13), die eingerichtet ist zum
Registrieren von Informationen über einen Parkplatz als Parkplatzinformationen, der einen Parkbereich enthält, in dem das Fahrzeug geparkt werden wird, beruhend auf einem Registrierbild, das ein Bild ist, das den Parkplatz darstellt, den die Kamera aufnimmt, wenn die Steuereinrichtung eine Registrieranfrage zum Registrieren des Parkbereichs von einem Fahrer des Fahrzeugs empfängt, und
autonomen Parken des Fahrzeugs in dem Parkbereich beruhend auf den Parkplatzinformationen, wenn bestimmt wird, dass das Fahrzeug den durch die Parkplatzinformationen spezifizierten Parkplatz erreicht hat, nachdem die Parkplatzinformationen registriert wurden.

Die Steuereinrichtung ist eingerichtet zum

Beschaffen eines Merkmalsbildes aus dem Registrierbild, das ein Bild einer vorbestimmten Bereichsgröße ist und ein spezifisches Merkmal aufweist (Schritt 2450), zum Registrieren des Merkmalsbildes als die Parkplatzinformationen (Schritt 2545, Schritt 2565, Schritt 2620), und
Bestimmen, dass das Fahrzeug den durch die Parkplatzinformationen spezifizierten Parkbereich erreicht hat (Schritt 2720), wenn ein Bildabschnitt, der dasselbe Merkmal wie das Merkmalsbild aufweist, in einem Nach-Registrierbild enthalten ist („Ja“ in Schritt 2715), um das Fahrzeug in dem Parkbereich in dem Parkplatz beruhend auf den Parkplatzinformationen autonom zu parken, wobei das Nach-Registrierbild ein Bild eines Bereichs ist, der durch die Kamera aufgenommen wird, nachdem die Steuereinrichtung die Parkplatzinformationen registriert hat,
und die Steuereinrichtung ferner eingerichtet ist zum
Spezifizieren eines Objektbildes, das ein Bild ist, das ein Objekt darstellt, aus dem Registrierbild (Schritt 2440), wenn das Objekt in dem dem Registrierbild entsprechenden Bereich vorhanden ist (Schritt 2420), und
Beschaffen des Merkmalsbildes beruhend auf dem Registrierbild, aus dem das bestimmte Objektbild ausgenommen ist (Schritt 2540, Schritt 2565, Schritt 2620).

Gemäß der vorstehenden Fahrzeugparkassistenzvorrichtung wird das Merkmalsbild aus einem anderen Bild als dem Objektbild beschafft, das das das Objekt darstellende Bild ist, um als Parkplatzinformationen registriert zu werden. Das Merkmalsbild, das den Boden an/um den Parkplatz darstellt, wird als die Parkplatzinformationen registriert. Das Objektbild, auf das eine Änderung einer Situation um das Fahrzeug und den Parkplatz einen großen Einfluss hat, wird maskiert/ausgenommen. Selbst wenn sich die Situation um das Fahrzeug und den Parkplatz zwischen dem Zeitpunkt der Registrierung der Parkplatzinformationen und dem Zeitpunkt, nachdem die Parkplatzinformationen registriert sind, ändert, kann die Fahrzeugparkassistenzvorrichtung sicher bestimmen, ob das Fahrzeug den durch die Parkplatzinformationen spezifizierten Parkplatz erreicht oder nicht. Selbst wenn sich die Situation um das Fahrzeug und den Parkplatz zwischen dem Zeitpunkt der Registrierung der Parkplatzinformationen und dem Zeitpunkt nach der Registrierung der Parkplatzinformationen ändert, kann das Fahrzeug demnach in den Parkbereich in dem Parkplatz autonom geparkt werden.
Gemäß einer Ausgestaltung vorliegender Offenbarung

umfasst die Fahrzeugparkassistenzvorrichtung ferner einen Erfassungssensor (30, 301-312), der eingerichtet ist zum Abstrahlen eines Funkträgers zur Erfassung des Objekts durch Empfangen des Funkträgers, den das Objekt reflektiert.

Die Steuereinrichtung ist eingerichtet zum

Bestimmen, dass das Objekt in dem dem Registrierbild entsprechenden Bereich vorhanden ist („ja“ in Schritt 2420) in einem Fall, wenn der Erfassungssensor das Objekt erfasst, wenn die Steuereinrichtung die Registrieranfrage empfängt, und
Spezifizieren des Objektbildes aus dem Registrierbild beruhend auf dem Objekt, das der Erfassungssensor erfasst (Schritte 2425-2445).

Gemäß dieser Ausgestaltung kann die Fahrzeugparkassistenzvorrichtung korrekt bestimmen, dass das Objekt vorhanden ist.
Gemäß einer Ausgestaltung der vorliegenden Offenbarung ist die Steuereinrichtung eingerichtet zum

Beschaffen eines Draufsichtbildes, wobei das Draufsichtbild ein Bild ist, wenn ein durch die Kamera aufgenommenes Bild von einem Beobachtungspunkt aus betrachtet wird, der über der Kamera positioniert ist (Schritt 2415),
Beschaffen einer virtuellen Linie zwischen einem weitesten Punkt von Erfassungsergebnissen in dem Draufsichtbild, die das durch den Erfassungssensor erfasste Objekt darstellen, und der Kamera, wobei der weiteste Punkt ein Punkt ist, der unter den Erfassungsergebnissen die größte Entfernung zu der Kamera hat (Schritt 2430),
Beschaffen einer ersten virtuellen Linie, die sich von dem weitesten Punkt in die gleiche Richtung wie die virtuelle Linie erstreckt, wobei die Richtung eine Richtung weg von der Kamera ist (Schritt 2430),
Beschaffen einer zweiten virtuellen Linie, die sich von einem nächsten Punkt der Erfassungsergebnisse in eine Richtung erstreckt, die parallel zur Mittelachse des Strahlungsbereichs des Erfassungssensors ist, wobei der nächste Punkt ein Punkt ist, der die kürzeste Entfernung zur Kamera hat (Schritt 2435), und
Spezifizieren eines Bildes eines Bereichs als das Objektbild, der durch die Erfassungsergebnisse, die erste virtuelle Linie und die zweite virtuelle Linie definiert ist (Schritt 2440).

Gemäß dieser Ausgestaltung wird das Bild des Bereichs, der durch Erfassungsergebnisse, die das durch den Erfassungssensor erfasste Objekt darstellen, die erste virtuelle Linie und die zweite virtuelle Linie in dem Draufsichtbild definiert ist, als das Objektbild spezifiziert. Die Objekthöhe am weitesten Punkt wird umgewandelt, um sich in die gleiche Richtung wie die virtuelle Linie und weg von der Kamera (das heißt, entlang der ersten virtuellen Linie) in dem Draufsichtbild zu erstrecken, wenn das durch die Kamera aufgenommene Bild in das Draufsichtbild umgewandelt wird. Die erste virtuelle Linie wird zum Definieren des Objektbildes derart verwendet, dass die Fahrzeugparkassistenzvorrichtung das Objektbild korrekt spezifizieren kann.
Der Erfassungssensor kann ein anderes Objekt, das hinter einer reflektierenden Fläche des Objekts vorhanden ist, hinsichtlich eines Abstandssonars nicht erfassen. Die reflektierende Fläche ist eine Fläche, die den durch den Erfassungssensor abgestrahlten Funkträger reflektiert. Die zweite virtuelle Linie erstreckt sich vom nächsten Punkt in die Richtung, die parallel zur Mittelachse des Strahlungsbereichs des Erfassungssensors ist. Diese zweite virtuelle Linie wird zum Definieren des Objektbildes verwendet, sodass die Fahrzeugparkassistenzvorrichtung einen Bereich hinter der reflektierenden Fläche (das heißt, einen Bereich, wo etwas anderes vorhanden sein kann) in das Objektbild aufnehmen kann. Das Bild, das das Objekt darstellt, das durch eine Situationsänderung leicht beeinflusst werden kann, wird daher sicher maskiert/ausgenommen.
Gemäß einer Ausgestaltung der vorliegenden Offenbarung
sind der Erfassungssensor und die Kamera zum Anbringen an dem Fahrzeug derart konfiguriert, dass eine Richtung der Mittelachse des Strahlungsbereichs des Erfassungssensors mit einer Richtung einer Mittelachse eines Aufnahmebereichs der Kamera übereinstimmt.
Gemäß dieser Ausgestaltung kann die Fahrzeugparkassistenzvorrichtung eine Möglichkeit reduzieren, dass ein das Objekt an dem nächsten Punkt darstellendes Linienbild aus der zweiten virtuellen Linie hervorsteht. Die Fahrzeugparkassistenzvorrichtung kann daher eine Möglichkeit verringern, dass ein Bereich, der ein Teil des das Objekt darstellenden Bildes ist, und aus der zweiten virtuellen Linie hervorsteht, in dem Objektbild nicht enthalten ist.
Gemäß einer Ausgestaltung der vorliegenden Offenbarung
ist die Steuereinrichtung eingerichtet zum
Spezifizieren des Objektbildes, das ein das Objekt darstellendes Bild ist, aus dem Nach-Registrierbild (Schritt 2440), wenn das Objekt in einem Bereich vorhanden ist, der dem Nach-Registrierbild entspricht („Ja“ in Schritt 2420), und
Bestimmen, ob ein von dem spezifizierten Objektbild verschiedenes Bild in dem Nach-Registrierbild das Merkmalsbild enthält (Schritt 2710, Schritt 2715).
Gemäß dieser Ausgestaltung wird das Objektbild in einem durch die Kamera nach einer Registrierung der Parkplatzinformationen aufgenommenen Nach-Registrierbild maskiert/ausgenommen. Die Fahrzeugparkassistenzvorrichtung kann daher bestimmen, ob das Fahrzeug den durch die Parkplatzinformationen spezifizierten Parkplatz erreicht.
Komponenten der vorliegenden Offenbarung sind nicht auf Komponenten von Ausführungsbeispielen und modifizierten Beispielen der vorliegenden Offenbarung beschränkt, die zusammen mit den Zeichnungen beschrieben werden. Weitere Aufgaben, Merkmale und begleitende Vorteile der vorliegenden Offenbarung können anhand der Ausführungsbeispiele und der modifizierten Beispiele der vorliegenden Offenbarung leicht nachvollzogen werden.
Figurenliste

1 zeigt eine Darstellung einer Fahrzeugparkassistenzvorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Offenbarung und ein Fahrzeug, bei dem die Fahrzeugparkassistenzvorrichtung gemäß dem Ausführungsbeispiel der vorliegenden Offenbarung angewendet wird.
2 zeigt eine Darstellung einer Sonarsensorvorrichtung und von Erfassungsbereichen der Sonarsensorvorrichtung.
3 zeigt eine Darstellung einer Kamerasensorvorrichtung und von Aufnahmebereichen der Kamerasensorvorrichtung.
4 zeigt eine Darstellung eines Beispiels eines Parkplatzes.
5 zeigt eine Darstellung eines vorderen Bereichs und eines hinteren Bereichs.
6 zeigt eine Darstellung eines linken Bereichs und eines rechten Bereichs.
7 zeigt eine Darstellung von Merkmalspunkten.
8 zeigt eine Darstellung eines Parkbereichs.
Die 9A bis 9D zeigen Darstellungen von Anzeigen.
10 zeigt eine Darstellung zur Beschreibung von Arbeitsweisen der Fahrzeugparkassistenzvorrichtung gemäß dem Ausführungsbeispiel der vorliegenden Offenbarung.
11 zeigt eine Darstellung zur Beschreibung der Arbeitsweisen der Fahrzeugparkassistenzvorrichtung gemäß dem Ausführungsbeispiel der vorliegenden Offenbarung.
12 zeigt eine Darstellung zur Beschreibung der Arbeitsweisen der Fahrzeugparkassistenzvorrichtung gemäß dem Ausführungsbeispiel der vorliegenden Offenbarung.
13 zeigt eine Darstellung von Eingangsmerkmalspunkten.
14 zeigt eine Darstellung zur Beschreibung der Arbeitsweisen der Fahrzeugparkassistenzvorrichtung gemäß dem Ausführungsbeispiel der vorliegenden Offenbarung.
15 zeigt eine Darstellung zur Beschreibung der Arbeitsweisen der Fahrzeugparkassistenzvorrichtung gemäß dem Ausführungsbeispiel der vorliegenden Offenbarung.
16 zeigt eine Darstellung zur Beschreibung der Arbeitsweisen der Fahrzeugparkassistenzvorrichtung gemäß dem Ausführungsbeispiel der vorliegenden Offenbarung.
17 zeigt eine Darstellung zur Beschreibung der Arbeitsweisen der Fahrzeugparkassistenzvorrichtung gemäß dem Ausführungsbeispiel der vorliegenden Offenbarung.
Die 18A und 18B zeigen Darstellungen der Anzeigen.
19 zeigt eine Darstellung eines Beispiels eines Parkplatzes, bei dem eine Wand vorhanden ist.
20 zeigt eine Darstellung eines Parkplatzbildes (linkes Kamerabild), das durch eine linke Kamera aufgenommen wird.
21 zeigt eine Darstellung eines Draufsichtbildes, in das das linke Kamerabild umgewandelt ist.
22 zeigt eine Darstellung von Erfassungsergebnissen der Sonarsensorvorrichtu ng.
23 zeigt eine Darstellung zur Beschreibung eines Prozesses zur Spezifizierung eines Objekts.
24 zeigt eine Darstellung eines Ablaufdiagramms einer Routine, die durch eine CPU einer in 1 gezeigten ECU ausgeführt wird.
25 zeigt eine Darstellung eines Ablaufdiagramms einer durch die CPU ausgeführten Routine.
26 zeigt eine Darstellung eines Ablaufdiagramms einer durch die CPU ausgeführten Routine.
27 zeigt eine Darstellung eines Ablaufdiagramms einer durch die CPU ausgeführten Routine.
28 zeigt eine Darstellung eines Ablaufdiagramms einer durch die CPU ausgeführten Routine.

AUSFÜHRLICHE BESCHREIBUNG
Eine Fahrzeugparkassistenzvorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Offenbarung wird unter Bezugnahme auf die Zeichnungen beschrieben. 1 zeigt die Fahrzeugparkassistenzvorrichtung 10 gemäß dem Ausführungsbeispiel der vorliegenden Offenbarung und ein Fahrzeug 100, bei dem die Fahrzeugparkassistenzvorrichtung 10 angewendet wird.
Wie in 1 gezeigt, enthält die Fahrzeugparkassistenzvorrichtung 10 eine ECU 90. ECU steht für elektronische Steuereinheit („electronic control unit“). Die ECU 90 enthält einen Mikrocomputer als Hauptkomponente. Der Mikrocomputer enthält eine CPU, einen ROM, einen RAM, einen nichtflüchtigen Speicher und eine Schnittstelle. Die CPU ist zum Realisieren verschiedener Funktionen durch Ausführen von im ROM gespeicherten Anweisungen, Programmen oder Routinen konfiguriert oder programmiert.
Das Fahrzeug 100 hat eine Fahrzeugantriebskrafterzeugungsvorrichtung 11, eine Bremsvorrichtung 12 und eine Lenkvorrichtung 13 installiert. Die Fahrzeugantriebskrafterzeugungsvorrichtung 11 erzeugt eine Antriebskraft zum Fahren des Fahrzeugs 100 und beaufschlagt Antriebsräder des Fahrzeugs 100 mit der Antriebskraft. Die Fahrzeugantriebskrafterzeugungsvorrichtung 11 ist beispielsweise eine Brennkraftmaschine und/oder ein Elektromotor. Die Bremsvorrichtung 12 beaufschlagt Räder des Fahrzeugs 100 mit Bremskraft zum Bremsen des Fahrzeugs 100. Die Lenkvorrichtung 13 beaufschlagt Lenkräder mit einem Lenkdrehmoment zum Lenken des Fahrzeugs 100.
Die Fahrzeugantriebskrafterzeugungsvorrichtung 11, die Bremsvorrichtung 12 und die Lenkvorrichtung 13 sind mit der ECU 90 elektrisch verbunden. Die ECU 90 steuert den Betrieb der Fahrzeugantriebskrafterzeugungsvorrichtung 11 zur Steuerung der Antriebskraft, mit der die Antriebsräder des Fahrzeugs 100 beaufschlagt werden. Die ECU 90 steuert den Betrieb der Bremsvorrichtung 12 zum Steuern der Bremskraft, mit der die Räder des Fahrzeugs 100 beaufschlagt werden. Die ECU 90 steuert den Betrieb der Lenkvorrichtung 13 zum Steuern des Lenkdrehmoments, mit dem die Lenkräder zum Lenken des Fahrzeugs 100 beaufschlagt werden.
<Sensoren>
Die Fahrzeugparkassistenzvorrichtung 10 enthält einen Gaspedalbedienausmaßsensor 21, einen Bremspedalbedienausmaßsensor 22, einen Lenkwinkelsensor 23, einen Lenkdrehmomentsensor 24, einen Fahrzeugbewegungsgeschwindigkeitssensor 25, einen Gierratensensor 26, einen Längsbeschleunigungssensor 27, einen Querbeschleunigungssensor 28, eine Sonarsensorvorrichtung 30, eine Kamerasensorvorrichtung 40, einen Parkassistenzschalter 48 und eine Anzeige 50.
Der Gaspedalbedienausmaßsensor 21 ist mit der ECU 90 elektrisch verbunden. Die ECU 90 erfasst durch den Gaspedalbedienausmaßsensor 21 ein Ausmaß AP einer Bedienung, mit der ein Gaspedal 14 beaufschlagt wird, und beschafft das Ausmaß AP als Gaspedalbedienausmaß AP. Die ECU 90 steuert den Betrieb der Fahrzeugantriebskrafterzeugungsvorrichtung 11 zum Beaufschlagen der Antriebsräder des Fahrzeugs 10 mit der Antriebskraft gemäß dem beschafften Gaspedalbedienausmaß AP.
Der Bremspedalbedienausmaßsensor 22 ist mit der ECU 90 elektrisch verbunden. Die ECU 90 erfasst durch den Bremspedalbedienausmaßsensor 22 ein Ausmaß BP einer Bedienung, mit der ein Bremspedal 15 beaufschlagt wird, und beschafft das Ausmaß BP als Bremspedalbedienausmaß BP. Die ECU 90 steuert den Betrieb der Bremsvorrichtung 12 zum Beaufschlagen der Räder mit der Bremskraft gemäß dem beschafften Bremspedalbedienausmaß BP.
Der Lenkwinkelsensor 23 ist mit der ECU 90 elektrisch verbunden. Die ECU 90 erfasst durch den Lenkwinkelsensor 23 einen Winkel θst einer Rotation eines Lenkrads 16 relativ zu einer Mittenposition und beschafft den Winkel θst als Lenkwinkel θst.
Der Lenkdrehmomentsensor 24 ist mit der ECU 90 elektrisch verbunden. Die ECU 90 erfasst über den Lenkdrehmomentsensor 24 ein Drehmoment TQst, mit dem ein Fahrer des Fahrzeugs 10 eine Lenkwelle 17 beaufschlagt, und beschafft das Drehmoment TQst als Lenkdrehmoment TQst.
Die ECU 90 steuert den Betrieb der Lenkvorrichtung 13 zum Beaufschlagen der Lenkräder des Fahrzeugs 10 mit dem Lenkdrehmoment gemäß dem beschafften Lenkwinkel θst und dem beschafften Lenkdrehmoment TQst.
Der Fahrzeugbewegungsgeschwindigkeitssensor 25 ist mit der ECU 90 elektrisch verbunden. Die ECU 90 erfasst durch den Fahrzeugbewegungsgeschwindigkeitssensor 25 Drehzahlen Vrot der Räder des Fahrzeugs 100 und beschafft die Drehzahlen Vrot der Räder des Fahrzeugs 100. Die ECU 90 beschafft eine Bewegungsgeschwindigkeit SPD des Fahrzeugs 100 als Fahrzeugbewegungsgeschwindigkeit SPD beruhend auf den beschafften Drehzahlen Vrot der Räder des Fahrzeugs 100.
Der Gierratensensor 26 ist mit der ECU 90 elektrisch verbunden. Die ECU 90 erfasst durch den Gierratensensor 26 eine Gierrate YR des Fahrzeugs 100 und beschafft die Gierrate YR des Fahrzeugs 100 als Fahrzeuggierrate YR.
Der Längsbeschleunigungssensor 27 ist mit der ECU 90 elektrisch verbunden. Die ECU 90 erfasst eine Längsbeschleunigung Gx des Fahrzeugs 100 durch den Längsbeschleunigungssensor 27 und beschafft die Längsbeschleunigung Gx als Fahrzeuglängsbeschleunigung Gx.
Der Querbeschleunigungssensor 28 ist mit der ECU 90 elektrisch verbunden. Die ECU 90 erfasst eine Querbeschleunigung Gy des Fahrzeugs 100 durch den Querbeschleunigungssensor 28 und beschafft die Querbeschleunigung Gy als Fahrzeugquerbeschleunigung Gy.
Die Sonarsensorvorrichtung 30 enthält ein erstes Abstandssonar 301 bis zu einem zwölften Abstandssonar 312.
Eine in 2 gezeigte Richtung Dx ist eine Längsrichtung des Fahrzeugs 100. Nachstehend wird die Richtung Dx als „Fahrzeuglängsrichtung Dx“ bezeichnet. Eine in 2 gezeigte Richtung Dy ist eine Breitenrichtung des Fahrzeugs 100. Die Richtung Dy wird nachstehend als „Fahrzeugbreitenrichtung Dy“ bezeichnet.
Wie in 2 gezeigt, ist das erste Abstandssonar 301 am linken Ende eines Vorderabschnitts des Fahrzeugs 100 zum Abstrahlen von Sonarwellen nach vorne links angebracht. Das erste Abstandssonar 301 ist insbesondere derart angebracht, dass eine Mittelachse SA1 eines Strahlungsbereichs der durch das erste Abstandssonar 01 abgestrahlten Schallwellen hinsichtlich der Fahrzeuglängsrichtung Dx um 45 Grad nach links geneigt ist. Das zweite Abstandssonar 302 ist am Vorderabschnitt des Fahrzeugs 100 zwischen dem linken Ende des Vorderabschnitts des Fahrzeugs 100 und einer Mitte des Vorderabschnitts des Fahrzeugs 100 zum Abstrahlen von Schallwellen gerade nach vorne angebracht. Das zweite Abstandssonar 302 ist insbesondere derart angebracht, dass eine Mittelachse SA2 des Strahlungsbereichs der durch das zweite Abstandssonar 302 abgestrahlten Schallwellen mit der Fahrzeuglängsrichtung Dx übereinstimmt. Das dritte Abstandssonar 303 ist an einem rechten Ende des Vorderabschnitts des Fahrzeugs 100 zum Abstrahlen von Schallwellen nach vorne rechts angebracht. Das dritte Abstandssonar 303 ist insbesondere derart angebracht, dass eine Mittelachse SA3 des Strahlungsbereichs der durch das dritte Abstandssonar abgestrahlten Schallwellen bezüglich der Fahrzeuglängsrichtung Dx um 45 Grad nach rechts geneigt ist. Das vierte Abstandssonar 304 ist am Vorderabschnitt des Fahrzeugs 100 zwischen dem rechten Ende des Vorderabschnitts des Fahrzeugs 100 und der Mitte des Vorderabschnitts des Fahrzeugs 100 zum Abstrahlen von Schallwellen gerade nach vorne angebracht. Das vierte Abstandssonar 304 ist insbesondere derart angebracht, dass eine Mittelachse SA4 des Strahlungsbereichs der durch das vierte Abstandssonar 304 abgestrahlten Schallwellen mit der Fahrzeuglängsrichtung Dx übereinstimmt.
Das fünfte Abstandssonar 305 ist am linken Ende eines rückwärtigen Endabschnitts des Fahrzeugs 100 zum Abstrahlen von Schallwellen nach links hinten angebracht. Das fünfte Abstandssonar 305 ist insbesondere derart angebracht, dass eine Mittelachse SA5 eines Strahlungsbereichs der durch das fünfte Abstandssonar 305 abgestrahlten Schallwellen hinsichtlich der Fahrzeuglängsrichtung Dx um 45 Grad nach links geneigt ist. Das sechste Abstandssonar 306 ist am rückwärtigen Endabschnitt des Fahrzeugs 100 zwischen dem linken Ende des rückwärtigen Endabschnitts des Fahrzeugs 100 und einer Mitte des rückwärtigen Endabschnitts des Fahrzeugs 100 zum Abstrahlen von Schallwellen gerade nach hinten angebracht. Das sechste Abstandssonar 306 ist insbesondere derart angebracht, dass eine Mittelachse SA6 des Strahlungsbildes der durch das sechste Abstandssonar 306 abgestrahlten Schallwellen mit der Fahrzeuglängsrichtung Dx übereinstimmt. Das siebte Abstandssonar 307 ist am rechten Ende des rückwärtigen Endabschnitts des Fahrzeugs 100 zum Abstrahlen von Schallwellen nach rechts hinten angebracht. Das siebte Abstandssonar 307 ist insbesondere derart angebracht, dass eine Mittelachse SA7 des Strahlungsbereichs der durch das siebte Abstandssonar 307 abgestrahlten Schallwellen hinsichtlich der Fahrzeuglängsrichtung Dx um 45 Grad nach rechts geneigt ist. Das achte Abstandssonar 308 ist am rückwärtigen Endabschnitt des Fahrzeugs 100 zwischen dem rechten Ende des rückwärtigen Endabschnitts des Fahrzeugs 100 und der Mitte des rückwärtigen Endabschnitts des Fahrzeugs 100 zum Abstrahlen von Schallwellen gerade nach hinten angebracht. Das achte Abstandssonar 308 ist insbesondere derart angebracht, dass eine Mittelachse SA8 des Strahlungsbereichs der durch das achte Abstandssonar 308 abgestrahlten Schallwellen mit der Fahrzeuglängsrichtung Dx übereinstimmt.
Das neunte Abstandssonar 309 ist an einer vorderen Seite eines linksseitigen Abschnitts des Fahrzeugs 100 zum Abstrahlen von Schallwellen gerade nach links angebracht. Das neunte Abstandssonar 309 ist insbesondere derart angebracht, dass eine Mittelachse SA9 des Strahlungsbereichs der durch das neunte Abstandssonar 309 abgestrahlten Schallwellen mit der Fahrzeugbreitenrichtung Dy übereinstimmt. Das zehnte Abstandssonar 310 ist an einer hinteren Seite des linksseitigen Abschnitts des Fahrzeugs 100 zum Abstrahlen von Schallwellen gerade nach links angebracht. Das zehnte Abstandssonar 310 ist insbesondere derart angebracht, dass eine Mittelachse SA10 des Strahlungsbereichs der durch das zehnte Abstandssonar 310 abgestrahlten Schallwellen mit der Fahrzeugbreitenrichtung Dy übereinstimmt. Das elfte Abstandssonar 311 ist an einer vorderen Seite eines rechtsseitigen Abschnitts des Fahrzeugs 100 zum Abstrahlen von Schallwellen gerade nach rechts angebracht. Das elfte Abstandssonar 311 ist insbesondere derart angebracht, dass eine Mittelachse SA11 des Strahlungsbereichs der durch das elfte Abstandssonar 311 abgestrahlten Schallwellen mit der Fahrzeugbreitenrichtung Dy übereinstimmt. Das zwölfte Abstandssonar 312 ist an einer hinteren Seite des rechtsseitigen Abschnitts des Fahrzeugs 100 zum Abstrahlen von Schallwellen gerade nach rechts angebracht. Das zwölfte Abstandssonar 312 ist insbesondere derart angebracht, dass eine Mittelachse SA12 des Strahlungsbereichs der durch das zwölfte Abstandssonar 312 abgestrahlten Schallwellen mit der Fahrzeugbreitenrichtung Dy übereinstimmt.
Das erste Abstandssonar 301 bis zwölfte Abstandssonar 312 empfangen jeweils die durch ein dreidimensionales Objekt reflektierten Schallwellen. Das dreidimensionale Objekt wird nachstehend als „Objekt“ bezeichnet.
Die Sonarsensorvorrichtung 30 ist mit der ECU 90 elektrisch verbunden. Die Sonarsensorvorrichtung 30 sendet Informationen über (i) die vom ersten Abstandssonar 301 bis zwölften Abstandssonar 312 abgestrahlten Schallwellen und (ii) die durch das erste Abstandssonar 301 bis zwölfte Abstandssonar 312 empfangenen Schallwellen. Die ECU 90 beschafft Informationen über die Objekte um das Fahrzeug 100 als Objektinformationen OBJ beruhend auf den von der Sonarsensorvorrichtung 30 gesendeten Informationen. Nachstehend werden die beruhend auf der Sonarsensorvorrichtung 30 erhaltenen Informationen über die Objekte (das heißt, Objektinformationen OBJ) als „Sonarinformationen SON“ bezeichnet.
Die Kamerasensorvorrichtung 40 enthält eine vordere Kamera 41, eine hintere Kamera 42, eine linke Kamera 43 und eine rechte Kamera 44. Nachstehend umfassen die Kameras 45 die vordere Kamera 41, die hintere Kamera 42, die linke Kamera 43 und die rechte Kamera 44.
Wie in 3 gezeigt, ist die vordere Kamera 41 an der Mitte des Vorderabschnitts des Fahrzeugs 100 zum Aufnehmen (Erfassen) von Bildern einer Ansicht vor dem Fahrzeug 100 angebracht. Ein Bildwinkel 41A der vorderen Kamera 41 beträgt um die 180 Grad. Die hintere Kamera 42 ist an der Mitte des rückwärtigen Endabschnitts des Fahrzeugs 100 zum Aufnehmen (Erfassen) von Bildern einer Ansicht hinter dem Fahrzeug 100 angebracht. Ein Bildwinkel 42A der hinteren Kamera 42 beträgt um die 180 Grad. Es wird angemerkt, dass ein Aufnahmebereich der vorderen Kamera 41 und der hinteren Kamera 42 sich jeweils in die Fahrzeuglängsrichtung Dx erstreckt. Die linke Kamera 43 ist an dem linksseitigen Abschnitt des Fahrzeugs 100 zum Aufnehmen von Bildern einer Ansicht links vom Fahrzeug 100 angebracht. Ein Feldwinkel 43a der linken Kamera 43 beträgt um die 180 Grad. Die rechte Kamera 44 ist an dem rechtsseitigen Abschnitt des Fahrzeugs 100 zum Aufnehmen von Bildern einer Ansicht rechts vom Fahrzeug 100 angebracht. Ein Feldwinkel 44A der rechten Kamera 44 beträgt um die 180 Grad. Es wird angemerkt, dass ein Aufnahmebereich der linken Kamera 43 und der rechten Kamera 44 sich jeweils in die Fahrzeugbreitenrichtung Dy erstreckt.
Die Kamerasensorvorrichtung 40 ist mit der ECU 90 elektrisch verbunden. Die ECU 90 beschafft Informationen über die Bilder der Ansichten, die durch die Kameras 45 der Kamerasensorvorrichtung 40 aufgenommen werden.
Die Informationen über die Bilder der Ansicht, die durch die vordere Kamera 41 aufgenommen werden, werden nachstehend als „Frontbildinformationen IMG1“ bezeichnet. Gleichermaßen werden die Informationen über die Bilder der Ansicht, die durch die hintere Kamera 42 aufgenommen werden, als „Rückbildinformationen IMG2“ bezeichnet. Außerdem werden die Informationen über die Bilder der Ansicht, die durch die linke Kamera 43 aufgenommen werden, als „Linksbildinformationen IMG3“ bezeichnet. Die Informationen über die Bilder der Ansicht, die durch die rechte Kamera 44 aufgenommen werden, werden als „Rechtsbildinformationen IMG4“ bezeichnet. Des Weiteren werden die Frontbildinformationen IMG1, die Rückbildinformationen IMG2, die Linksbildinformationen IMG3 und die Rechtsbildinformationen IMG4 insgesamt als „Bildinformationen IMG“ bezeichnet.
Die Fahrzeugparkassistenzvorrichtung 10 beschafft (Informationen über) einen oder mehrere Merkmalspunkte F beruhend auf den Bildinformationen IMG, wenn eine vorbestimmte Niedriggeschwindigkeitsbedingung erfüllt wird. Die vorbestimmte Niedriggeschwindigkeitsbedingung ist eine Bedingung, die erfüllt ist, wenn die Fahrzeugbewegungsgeschwindigkeit SPD gleich oder kleiner als ein Geschwindigkeitsschwellenwert SPDth ist. Der Merkmalspunkt F ist ein Teil des jeweils durch die Kameras 45 aufgenommenen Bildes, in dem sich eine Luminanz in dem Bild stark ändert. Der Merkmalspunkt F kann als „Merkmalsbild“ bezeichnet werden.
Die Vorrichtung 10 erzeugt insbesondere ein Ebenenansichtbild bzw. Draufsichtbild beruhend auf den Bildinformationen IMG und nimmt/schneidet den Teil, in dem die Luminanz stark variiert, aus dem Draufsichtbild als den Merkmalspunkt F (das heißt, als das Merkmalsbild) aus, was nachstehend näher beschrieben wird. Das so extrahierte Merkmalsbild, das nachstehend unter Bezugnahme auf 7 näher beschrieben wird, hat eine viereckige Form mit einer Seite, deren Länge einer vorbestimmten tatsächlichen Entfernung Lset entspricht.
Wenn die Kameras 45 beispielsweise die Bilder eines in 4 gezeigten Parkplatzes 62 aufnehmen, können verschiedene nachstehend beschriebene Merkmalspunkte erhalten werden. Der in 4 gezeigte Parkplatz 62 weist einen Boden 63 auf, der einen Betonteil 63C, einen durch Rasen bedeckten Teil (Rasenteil) 63L und Betonplatten (Blöcke) 63B enthält, die eine Straßenrinne am Eingang (62ent) des Parkplatzes 62 schließen/bedecken. Der Boden 63 des Eingangs 62ent des Parkplatzes 62 wird daher durch Oberflächen der Betonplatten 63B gebildet.
Beruhend auf den Bildern des in 4 gezeigten Parkplatzes 62 werden die nachstehend beschriebenen Merkmalspunkte F beschafft.

• Bilder, die vier Ecken jeder der Betonplatten 63B entsprechen,
• Bilder, die projizierten Ecken des Rasens 63L entsprechen, und
• Bilder, die einem Teil entsprechen, wo die Betonplatte 63B und der Rasen 63L aneinander angrenzen.

Die Fahrzeugparkassistenzvorrichtung 10 beschafft die Merkmalspunkte (Merkmalsbilder) F in einem vorbestimmten Bereich (einem vorderen Bereich) 71 des Bodens 63, der sich an der Frontseite des Fahrzeugs 100 befindet, beruhend auf den Frontbildinformationen IMG1 (vergleiche 5). Nachstehend werden die Merkmalspunkte F in dem vorbestimmten Bereich 71 als „Frontmerkmalspunkte F1“ bezeichnet. Die Fahrzeugparkassistenzvorrichtung 10 beschafft außerdem die Merkmalspunkte (Merkmalsbilder F) in einem vorbestimmten Bereich (einem hinteren Bereich) 72 des Bodens 63, der sich auf der rückwärtigen Seite des Fahrzeugs 100 befindet, beruhend auf den Rückbildinformationen IMG2 (vergleiche 5). Die Merkmalspunkte F in dem vorbestimmten Bereich 72 werden nachstehend als „Rückmerkmalspunkte 2“ bezeichnet. Die Fahrzeugparkassistenzvorrichtung 10 beschafft die Merkmalspunkte (Merkmalsbilder F) in einem vorbestimmten Bereich (einem linksseitigen Bereich) 73 des Bodens 63, der sich auf der linken Seite des Fahrzeugs 100 befindet, beruhend auf den Linksbildinformationen IMG3 (vergleiche 6). Die Merkmalspunkte F in dem vorbestimmten Bereich 73 werden nachstehend als „Linksmerkmalspunkte F3“ bezeichnet. Die Fahrzeugparkassistenzvorrichtung 10 beschafft außerdem die Merkmalspunkte (Merkmalspunkte F) in einem vorbestimmten Bereich (einem rechtsseitigen Bereich) 74 des Bodens 63, der sich auf der rechten Seite des Fahrzeugs 100 befindet, beruhend auf den Rechtsbildinformationen IMG4 (vergleiche 6). Die Merkmalspunkte F in dem vorbestimmten Bereich 74 werden nachstehend als „Rechtsmerkmalspunkte F4“ bezeichnet.
Wie vorstehend beschrieben, wandelt die Fahrzeugparkassistenzvorrichtung 10 zum Beschaffen der Merkmalspunkte das durch jede der Kameras 45 aufgenommene Bild in ein nachstehend beschriebenes Ebenenansichtbild bzw. Draufsichtbild um, um ein nachstehend beschriebenes Objektbild in dem Draufsichtbild zu spezifizieren, und beschafft die Merkmalspunkte F aus einem von dem Objektbild Pobj verschiedenen Bild in dem Draufsichtbild. Das Draufsichtbild ist ein Bild, das von einem virtuellen Beobachtungspunkt (Vogelperspektive) aus betrachtet wird, der unmittelbar über jeder der jeweiligen Kameras 45 positioniert ist. Die Fahrzeugparkassistenzvorrichtung 10 spezifiziert „einen Teil des Bildes, der wahrscheinlich ein Objekt darstellt“ als „Objektbild Pobj“.
Wie in 5 gezeigt, ist der vorbestimmte Bereich 71 ein durch eine Linie L711, eine Linie L712, eine Linie L713 und eine Linie L714 definierter (umgebener) Bereich. Die Linie L711 erstreckt sich parallel zur Fahrzeugbreitenrichtung Dy, wobei sie durch einen Punkt geht, der um eine vorbestimmte Entfernung Dset von der vorderen Kamera 41 nach vorn entfernt ist. Die Linie L712 erstreckt sich parallel zur Fahrzeugbreitenrichtung Dy, wobei sie durch die vordere Kamera 41 läuft. Die Linie L713 erstreckt sich parallel zur Fahrzeuglängsrichtung Dx, wobei sie durch einen Punkt geht, der um die vorbestimmte Entfernung Dset von der vorderen Kamera 41 links entfernt ist. Die Linie L714 erstreckt sich parallel zur Fahrzeuglängsrichtung Dx, wobei sie durch einen Punkt geht, der um die vorbestimmte Entfernung Dset von der vorderen Kamera 41 rechts entfernt ist. Der vorbestimmte Bereich 71 wird nachstehend als „Frontbereich 71“ bezeichnet.
Der Frontbereich 71 ist in der Fahrzeugbreitenrichtung Dy in vier Abschnitte unterteilt, und ist in der Fahrzeuglängsrichtung Dx in zwei Abschnitte unterteilt. Der Frontbereich 71 enthält daher acht Bereiche 71D. Das heißt, der Frontbereich 71 ist in die acht Bereiche 71D mit derselben Größe (und Form) unterteilt. Jeder der Bereiche 71D wird nachstehend als „Frontteilbereich 71D“ bezeichnet. Jeder der zwei Frontteilbereiche 71D, der sich am linken Ende des Frontbereichs 71 in der Fahrzeugbreitenrichtung Dy befindet, wird nachstehend als „linker Teilbereich 71D3“ bezeichnet. Ferner wird jeder der zwei Frontteilbereiche 71D, der sich am rechten Ende des Frontbereichs 71 in der Fahrzeugbreitenrichtung Dy befindet, als „rechter Teilbereich 71D4“ bezeichnet. Jeder der vier Frontteilbereiche 71D, der sich in der Mitte des Frontbereichs 71 in der Fahrzeugbreitenrichtung Dy befindet, wird ferner als „mittlerer Teilbereich 71D5“ bezeichnet.
Wie in 5 gezeigt, ist der vorbestimmte Bereich 72 ein durch eine Linie L721, eine Linie L722, eine Linie L723 und eine Linie L724 definierter (umgebener) Bereich. Die Linie L721 erstreckt sich parallel zur Fahrzeugbreitenrichtung Dy, wobei sie durch die hintere Kamera 42 läuft. Die Linie L722 erstreckt sich parallel zur Fahrzeugbreitenrichtung Dy, wobei sie durch einen Punkt geht, der von der hinteren Kamera 42 um die vorbestimmte Entfernung Dset nach hinten entfernt ist. Die Linie L723 erstreckt sich parallel zur Fahrzeuglängsrichtung Dx, wobei sie durch einen Punkt geht, der von der hinteren Kamera 42 um die vorbestimmte Entfernung Dset links entfernt ist. Die Linie L724 erstreckt sich parallel zur Fahrzeuglängsrichtung Dx, wobei sie durch einen Punkt geht, der von der hinteren Kamera 42 um die vorbestimmte Entfernung Dset rechts entfernt ist. Der vorbestimmte Bereich 72 wird nachstehend als „Rückbereich 72“ bezeichnet.
Der Rückbereich 72 ist in der Fahrzeugbreitenrichtung Dy in vier Abschnitte und in der Fahrzeuglängsrichtung Dx in zwei Abschnitte unterteilt. Der Rückbereich 72 enthält daher acht Bereiche 72D. Das heißt, der Rückbereich 72 ist in die acht Bereiche 72D mit der gleichen Größe (und Form) unterteilt. Nachstehend wird jeder der Bereiche 72D als „Rückteilbereich 72D“ bezeichnet. Ferner wird jeder der zwei Rückteilbereiche 72D, der sich am linken Ende des Rückteilbereichs 72 in der Fahrzeugbreitenrichtung Dy befindet, als „linker Teilbereich 72D3“ bezeichnet. Ferner wird jeder der zwei Rückteilbereiche 72D, der sich am rechten Ende des Rückbereichs 72 in der Fahrzeugbreitenrichtung Dy befindet, als „rechter Teilbereich 72D4“ bezeichnet. Ferner wird jeder der vier Rückteilbereiche 72D, der sich in der Mitte des Rückbereichs 72 in Fahrzeugbreitenrichtung Dy befindet, als „mittlerer Teilbereich 72D5“ bezeichnet.
Wie in 6 gezeigt, ist der vorbestimmte Bereich 73 ein durch eine Linie L731, eine Linie L732, eine Linie L733 und eine Linie L734 definierter (umgebener) Bereich. Die Linie L731 erstreckt sich parallel zur Fahrzeugbreitenrichtung Dy, wobei sie durch einen Punkt geht, der von der linken Kamera 43 um die vorbestimmte Entfernung Dset nach vorn entfernt ist. Die Linie L732 erstreckt sich parallel zur Fahrzeugbreitenrichtung Dy, wobei sie durch einen Punkt geht, der von der linken Kamera 43 um die vorbestimmte Entfernung Dset nach hinten entfernt ist. Die Linie L733 erstreckt sich parallel zur Fahrzeuglängsrichtung Dx, wobei sie durch einen Punkt geht, der von der linken Kamera 43 um die vorbestimmte Entfernung Dset links entfernt ist. Die Linie L734 erstreckt sich parallel zur Fahrzeuglängsrichtung Dx, wobei sie durch die linke Kamera 43 geht. Der vorbestimmte Bereich 73 wird nachstehend als „linker Bereich 73“ bezeichnet.
Der linke Bereich 73 ist in der Fahrzeuglängsrichtung Dx in vier Abschnitte und in der Fahrzeugbreitenrichtung Dy in zwei Abschnitte unterteilt. Der linke Bereich 73 ist daher in acht Bereiche 73D unterteilt. Das heißt, der linke Bereich 73 ist in die acht Bereiche 73D mit der gleichen Größe (und Form) unterteilt. Nachstehend wird jeder der Bereiche 73D als „linker Teilbereich 73D“ bezeichnet. Ferner wird jeder der zwei linken Teilbereiche 73D, der sich am vorderen Ende des linken Bereichs 73 in der Fahrzeuglängsrichtung Dx befindet, als „Frontteilbereich 73D1“ bezeichnet. Ferner wird jeder der zwei linken Teilbereiche 73D, der sich am hinteren Ende des linken Bereichs 73 in der Fahrzeuglängsrichtung Dx befindet, als „Rückteilbereich 73D2“ bezeichnet. Ferner wird jeder der vier linken Teilbereiche 73D, der sich in der Mitte des linken Bereichs 73 in der Fahrzeuglängsrichtung Dx befindet, als „mittlerer Teilbereich 73D5“ bezeichnet.
Wie in 6 gezeigt, ist der vorbestimmte Bereich 74 ein durch eine Linie L741, eine Linie L742, eine Linie L743 und eine Linie L744 definierter (umgebener) Bereich. Die Linie L741 erstreckt sich parallel zu einer Fahrzeugbreitenrichtung Dy, wobei sie durch einen Punkt geht, der von der rechten Kamera 44 um die vorbestimmte Entfernung Dset nach vorne entfernt ist. Die Linie L742 erstreckt sich parallel zur Fahrzeugbreitenrichtung Dy, wobei sie durch einen Punkt geht, der von der rechten Kamera 44 um die vorbestimmte Entfernung Dset nach hinten entfernt ist. Die Linie L743 erstreckt sich parallel zur Fahrzeuglängsrichtung Dx, wobei sie durch die rechte Kamera 44 geht. Die Linie L744 erstreckt sich parallel zur Fahrzeuglängsrichtung Dx, wobei sie durch einen Punkt geht, der von der rechten Kamera 44 um die vorbestimmte Entfernung Dset rechts entfernt ist. Der vorbestimmte Bereich 74 wird nachstehend als „rechter Bereich 74“ bezeichnet.
Der rechte Bereich 74 ist in der Fahrzeuglängsrichtung Dx in vier Abschnitte und in der Fahrzeugbreitenrichtung Dy in zwei Abschnitte unterteilt. Der rechte Bereich 74 enthält daher acht Bereiche 74D. Das heißt, der rechte Bereich 74 ist in die acht Bereiche 74D mit der gleichen Größe (und Form) unterteilt. Jeder der Bereiche 74D wird nachstehend als „rechter Teilbereich 74D“ bezeichnet. Ferner wird jeder der zwei rechten Teilbereiche 74D, der sich am vorderen Ende des rechten Bereichs 74 in der Fahrzeuglängsrichtung Dx befindet, als „Frontteilbereich 74D1“ bezeichnet. Ferner wird jeder der zwei rechten Teilbereiche 74D, der sich am hinteren Ende des rechten Bereichs 74 in der Fahrzeuglängsrichtung Dx befindet, als „Rückteilbereich 74D2“ bezeichnet. Ferner wird jeder der vier rechten Teilbereiche 74D, der sich in der Mitte des rechten Bereichs 74 in der Fahrzeuglängsrichtung Dx befindet, als „mittlerer Teilbereich 74D5“ bezeichnet.
Wie vorstehend beschrieben, entspricht jeder der Merkmalspunkte F (das heißt, jedes der Merkmalsbilder) dem in 7 gezeigten rechteckigen Bereich 75. Die Länge jeder Seite ist die vorbestimmte Länge Lset. Wenn eine vorbestimmte Bedingung erfüllt wird, teilt die Fahrzeugparkassistenzvorrichtung 10 jeden der Merkmalspunkte F in fünfundzwanzig rechteckige Bereiche 75D ein, die zueinander gleich sind, und beschafft Luminanzwerte LUM der Bereiche 75D. Dann beschafft die Fahrzeugparkassistenzvorrichtung 10 Werte DLUM durch Subtrahieren eines Mittelwerts LUMave der beschafften Luminanzwerte LUM von jedem der Luminanzwerte LUM (DLUM=LUM-LUMave). Dann beschafft die Fahrzeugparkassistenzvorrichtung 10 beruhend auf den Werten DLUM Unterschiede zwischen den Luminanzwerten LUM des Merkmalspunkts F. Die Fahrzeugparkassistenzvorrichtung 10 beschafft dann ein Muster der beschafften Unterschiede als Luminanzmusterinformationen CT. Wenn die vorbestimmte Bedingung erfüllt wird, beschafft die Fahrzeugparkassistenzvorrichtung 10 grundsätzlich das Luminanzmuster jedes der Merkmalspunkte (Merkmalsbilder) F beruhend auf den durch die Kameras 45 erhaltenen Bildinformationen IMG als die Luminanzmusterinformationen CT.
Der Parkassistenzschalter 48 ist an einem Abschnitt in der Nähe des Lenkrads 16 vorgesehen. Der Parkassistenzschalter 48 ist mit der ECU 90 elektrisch verbunden. Der Fahrer bedient den Parkassistenzschalter 48 zum Starten einer nachstehend beschriebenen Parkassistenzsteuerung.
Die Anzeige 50 ist an einem Abschnitt des Fahrzeugs 100 vorgesehen, wo sie der Fahrer sehen kann. Bei diesem Ausführungsbeispiel ist die Anzeige 50 eine in einer sogenannten Navigationsvorrichtung enthaltene Anzeige.
Die Anzeige 50 ist mit der ECU 90 elektrisch verbunden. Die ECU 90 kann die Anzeige 50 zur Anzeige verschiedener Bilder veranlassen. Bei diesem Ausführungsbeispiel kann die ECU 90 die Anzeige 50 zum Anzeigen eines Kamerabildes 51C, eines Ebenenansichtbildes bzw. Draufsichtbildes 51P, eines Parkbereichslinienbildes 52, eines Einstelltastenbildes 53, eines Registrierstarttastenbildes 54, eines Registriertastenbildes 55, eines Parkstarttastenbildes 56 und eines Versetzungstastenbildes 57 veranlassen.
Das Kamerabild 51C ist ein durch eine beliebige der Kameras 45 aufgenommenes Bild.
Das Draufsichtbild 51P ist ein Bild, das ein Fahrzeugebenenansichtbild bzw. Fahrzeugdraufsichtbild und ein Fahrzeugumgebungsbild enthält. Das Fahrzeugdraufsichtbild ist ein Bild, das das Fahrzeug 100 vertikal von oben betrachtet darstellt. Das Fahrzeugumgebungsbild ist ein Bild, das die Umgebung des Fahrzeugs 100 vertikal von oben darstellt. Das Fahrzeugumgebungsbild enthält zumindest ein Bild, das den Parkplatz 62 darstellt. Das Fahrzeugdraufsichtbild und das Fahrzeugumgebungsbild (die Vogelperspektive des Fahrzeugs 100) werden durch die ECU 90 beruhend auf den Bildinformationen IMG erzeugt.
Das Parkbereichslinienbild 52 ist ein den Parkbereich 61 darstellendes Bild. Der Parkbereich 61 ist ein Bereich oder ein Platz oder eine Region, in der das Fahrzeug 100 durch die Parkassistenzsteuerung geparkt werden soll. Wie in 8 gezeigt, ist der Parkbereich 61 in dem Parkplatz 62 eingestellt.
Das Einstelltastenbild 53 ist ein Bild, das eine Einstelltaste darstellt, die der Fahrer mit einer Berührungsinteraktion zum Einstellen oder Fixieren oder Bestimmen des Parkbereichs 61 beaufschlagen kann, in den der Fahrer das Fahrzeug 100 durch die Parkassistenzsteuerung parken möchte.
Das Registrierstarttastenbild 54 ist ein Bild, das eine Registrier-(Speicher-)Starttaste darstellt, die der Fahrer mit der Berührungsinteraktion beaufschlagen kann, um die Fahrzeugparkassistenzvorrichtung 10 zum Starten einer Ausführung eines nachstehend beschriebenen ersten Parkbewegungsprozesses der Parkassistenzsteuerung zu veranlassen.
Das Registriertastenbild 55 ist ein Bild, das eine Registrier-(Speicher-)Taste darstellt, die der Fahrer mit der Berührungsinteraktion beaufschlagen kann, um die Fahrzeugparkassistenzvorrichtung 10 zum Registrieren/Speichern der durch die Parkassistenzsteuerung beschafften Parkplatzinformationen Ipark (insbesondere dem RAM der ECU 90) zu veranlassen. Die Parkplatzinformationen Ipark sind Informationen über den Parkplatz 62, die durch die Fahrzeugparkassistenzvorrichtung 10 zum autonomen Parken des Fahrzeugs 100 in dem Parkplatz 62 verwendet werden.
Das Parkstarttastenbild 56 ist ein Bild, das eine Parkstarttaste darstellt, die der Fahrer mit der Berührungsinteraktion beaufschlagen kann, um die Fahrzeugparkassistenzvorrichtung 10 zum Starten der Ausführung der Parkassistenzsteuerung zum Parken des Fahrzeugs 100 in den Parkbereich 61 zu veranlassen, der in der Fahrzeugparkassistenzvorrichtung 10 registriert/gespeichert ist.
Das Versetzungstastenbild 57 enthält ein nach oben Versetzungstastenbild 57U, ein nach unten Versetzungstastenbild 57D, ein nach links Versetzungstastenbild 57L und ein nach rechts Versetzungstastenbild 57R. Das nach oben Versetzungstastenbild 57U ist ein Bild, das der Fahrer mit der Berührungsinteraktion zum Versetzen des Parkbereichslinienbildes 52 auf der Anzeige 50 nach oben beaufschlagen kann. Das nach unten Versetzungstastenbild 57D ist ein Bild, das der Fahrer mit der Berührungsinteraktion zum Versetzen des Parkbereichslinienbildes 53 auf der Anzeige 50 nach unten beaufschlagen kann. Das nach links Versetzungstastenbild 57L ist ein Bild, das der Fahrer mit der Berührungsinteraktion zum Versetzen des Parkbereichslinienbildes 52 auf der Anzeige 50 nach links beaufschlagen kann. Das nach rechts Versetzungstastenbild 57R ist ein Bild, das der Fahrer mit der Berührungsinteraktion zum Versetzen des Parkbereichslinienbildes 52 auf der Anzeige 50 nach rechts beaufschlagen kann.
<Übersicht über die Parkassistenzsteuerung>
Als Nächstes wird eine Übersicht (Kurzzusammenfassung) einer Parkassistenzsteuerung beschrieben. Die Fahrzeugparkassistenzvorrichtung 10 ist zur Ausführung der Parkassistenzsteuerung eingerichtet. Die Parkassistenzsteuerung ist eine Steuerung zum autonomen/automatischen Parken des Fahrzeugs 100 in dem Parkbereich 61, ohne dass eine Bedienung erforderlich ist, mit der der Fahrer das Gaspedal 14, das Bremspedal 15 und das Lenkrad 16 beaufschlagt.
Es gibt Parkplätze, in denen die Parkbereiche durch Linien, wie weiße Linien, partitioniert (definiert) sind. Nachstehend wird jede Linie, die die Parkbereiche partitioniert (definiert), als „Parkbereichslinie“ bezeichnet. In dem Parkplatz, in dem die Parkbereiche durch die Parkbereichslinien partitioniert sind, kann die Fahrzeugparkassistenzvorrichtung 10 die unter Verwendung der Kameras 45 erkannten Parkbereichslinien zum autonomen Parken des Fahrzeugs in dem Parkbereich verwenden.
Andererseits gibt es Parkplätze, wie den Parkplatz des Privathauses/der Privatwohnung, in dem die Parkbereiche nicht durch die Parkbereichslinien partitioniert sind. Auf dem Parkplatz, bei dem die Parkbereiche nicht durch die Parkbereichslinien partitioniert sind, kann die Fahrzeugparkassistenzvorrichtung 10 die Parkbereichslinien zum autonomen Parken des Fahrzeugs 100 in dem Parkbereich nicht verwenden. Die Parkassistenzsteuerung, die die Fahrzeugparkassistenzvorrichtung 10 ausführt, umfasst (i) eine Steuerung zum autonomen Parken des Fahrzeugs in dem Parkplatz und Registrieren/Speichern der Parkplatzinformationen über den Parkplatz, während das Fahrzeug in dem Parkplatz geparkt wird, und (ii) eine Steuerung zum autonomen Parken des Fahrzeugs in dem Parkplatz, dessen Parkplatzinformationen bereits registriert/gespeichert wurden.
In einem Fall, in dem Parkplatzinformationen bereits registriert/gespeichert sind, durchsucht die Fahrzeugparkassistenzvorrichtung 10 ein linkes Kamerabild Pleft und ein rechtes Kamerabild Pright zum Finden von Bildabschnitten mit im Wesentlichen gleichen Luminanzmustern wie die Luminanzmuster registrierter Eingangsluminanzmusterinformationen CTent_reg, wenn das Fahrzeug 100 angehalten hat. Das linke Kamerabild ist ein Bild, das durch die linke Kamera 43 aufgenommen wird. Das rechte Kamerabild ist ein Bild, das durch die rechte Kamera 44 aufgenommen wird. Die registrierten Eingangsluminanzmusterinformationen CTent_reg sind die Luminanzmusterinformationen CT von Eingangsmerkmalspunkten Fent, die über die Parkassistenzsteuerung in der Fahrzeugparkassistenzvorrichtung 10 registriert/gespeichert wurden. Die Eingangsmerkmalspunkte Fent sind die Merkmalspunkte des Eingangs 62ent des Parkplatzes 62, die über die Parkassistenzsteuerung beschafft werden. Das linke Kamerabild Pleft und das rechte Kamerabild Pright, die jeweils durch die linke Kamera 43 und die rechte Kamera 44 aufgenommen werden, wenn das Fahrzeug 100 (vor dem Parken) angehalten hat, werden, wenn die Parkplatzinformationen bereits registriert/gespeichert wurden, als „Bilder nach Registrierung“ oder „Nach-Registrierbilder“ bezeichnet.
Wenn es der Fahrzeugparkassistenzvorrichtung 10 gelungen ist, die Bildabschnitte mit den im Wesentlichen gleichen Luminanzmustern wie die Luminanzmuster registrierter Eingangsluminanzmusterinformationen CTent_reg in dem linken Kamerabild Pleft zu finden, bestimmt die Fahrzeugparkassistenzvorrichtung 10, dass der registrierte Parkplatz 62 auf der linken Seite des Fahrzeugs 10 vorhanden ist, das gestoppt wurde. Der registrierte Parkplatz 62 ist der Parkplatz, dessen Parkplatzinformationen Ipark über die Parkassistenzsteuerung bereits in der Fahrzeugparkassistenzvorrichtung 10 registriert/gespeichert wurden.
Wenn es der Fahrzeugparkassistenzvorrichtung 10 gelungen ist, die Bildabschnitte mit den im Wesentlichen gleichen Luminanzmustern wie die Luminanzmuster registrierter Eingangsluminanzmusterinformationen CTent_reg in dem rechten Kamerabild Pright zu finden, bestimmt die Fahrzeugparkassistenzvorrichtung 10, dass der registrierte Parkplatz 62 auf der rechten Seite des gestoppten Fahrzeugs 100 vorhanden ist.
<Registrierung des Parkplatzes>
Wenn eine Registrier-(Speicherungs-)Startbedingung erfüllt ist, beschafft die Fahrzeugparkassistenzsteuerungsvorrichtung 10 Vorabeingangsinformationen Ient_pre und Vorabzwischeninformationen Imid_pre, was nachstehend beschrieben wird. Die Registrierstartbedingung ist in einem Fall erfüllt, wenn (i) die Fahrzeugparkassistenzvorrichtung 10 bestimmt, dass das Fahrzeug 100 angehalten hat, (ii) der Parkassistenzschalter 48 bedient wird, und (iii) die Fahrzeugparkassistenzvorrichtung 10 bestimmt, dass der Parkplatz 62, der nahe dem Fahrzeug 100 vorhanden ist, nicht der registrierte Parkplatz 62 ist. Außerdem registriert/speichert die Fahrzeugparkassistenzvorrichtung 10 (i) Registriereingangsinformationen Ient_reg, (ii) Registrierinneninformationen Iin_reg und (iii) Registrierbereichsinformationen Iarea_reg als die Parkplatzinformationen Ipark, was nachstehend beschrieben wird. Wenn die Registrierstartbedingung erfüllt ist, zeigt die Fahrzeugparkassistenzvorrichtung 10 verschiedene in 9A gezeigte Bilder, die das Draufsichtbild 51P, das Parkbereichslinienbild 52 (in 9A nicht gezeigt), das Einstelltastenbild 53 und das Versetzungstastenbild 57 mit Tastenbildern 57U, 57L, 57R und 57D enthält, auf der Anzeige 50 an. Wenn der Parkplatz 62, in dem das Fahrzeug 100 geparkt werden kann, sich auf der linken Seite des Fahrzeugs 100 befindet, zeigt die Fahrzeugparkassistenzvorrichtung 10 das Draufsichtbild 51P auf der Anzeige 50 derart an, dass ein Parkplatzbild auf der linken Seite eines Fahrzeugbildes angezeigt wird. Wenn der Parkplatz 62, in den das Fahrzeug 100 geparkt werden kann, andererseits auf der rechten Seite des Fahrzeugs 100 vorhanden ist, zeigt die Fahrzeugparkassistenzvorrichtung 10 das Draufsichtbild 51P auf der Anzeige 50 derart an, dass das Parkplatzbild auf der rechten Seite des Fahrzeugbildes angezeigt wird.
Die Fahrzeugparkassistenzvorrichtung 10 stellt außerdem einen Bereich, in dem das Fahrzeug 100 innerhalb des Parkplatzes 62 geparkt werden kann, als Parkbereich 61 beruhend auf den Bildinformationen IMG und den Sonarinformationen SON ein. Dann zeigt die Fahrzeugparkassistenzvorrichtung 10 das Parkbereichslinienbild 52 auf der Anzeige 50 an, das den eingestellten Parkbereich 61 darstellt. Die Fahrzeugparkassistenzvorrichtung 10 verwendet beispielsweise die Sonarinformationen SON zur Beschaffung einer Größe des Eingangs 62ent des Parkplatzes 62.
Der Fahrer kann das Parkbereichslinienbild 52 auf der Anzeige 50 versetzen, indem er das Versetzungstastenbild 57 mit einer Berührungsinteraktion beaufschlagt, bevor der Fahrer das Einstelltastenbild 53 mit einer Berührungsinteraktion beaufschlagt. Der Fahrer kann eine Position des Parkbereichs 61 in eine Position ändern, an der der Fahrer das Fahrzeug 100 parken möchte, indem er das Parkbereichslinienbild 52 auf der Anzeige 50 versetzt.
Wenn der Fahrer das Einstelltastenbild 53 mit der Berührungsinteraktion beaufschlagt, beendet die Fahrzeugparkassistenzvorrichtung 10 die Anzeige des Einstelltastenbildes 53 und des Versetzungstastenbildes 57 auf der Anzeige 50. Stattdessen beginnt die Vorrichtung 10 mit der Anzeige des Registrierstarttastenbildes 54 in einem Bereich, in dem das Einstelltastenbild 53 auf der Anzeige 50 angezeigt wurde, wie es in 9B gezeigt ist.
Wenn der Fahrer das Einstelltastenbild 53 mit der Berührungsinteraktion beaufschlagt, das heißt, wenn die Fahrzeugparkassistenzvorrichtung 10 eine Registrieranfrage zum Registrieren des Parkbereichs 61 empfängt, in dem der Fahrer das Fahrzeug 100 parken möchte, beschafft die Fahrzeugparkassistenzvorrichtung 10 außerdem die Position des Parkbereichs 61, die der Position des auf der Anzeige 50 angezeigten Parkbereichslinienbildes 52 entspricht. Dann stellt (bestimmt) die Fahrzeugparkassistenzvorrichtung 10 den Parkbereich 61, der dem auf der Anzeige 50 angezeigten Parkbereichslinienbild 52 entspricht, als Registrierzielparkbereich 61set ein.
Wenn der Fahrer das Einstelltastenbild 53 mit der Berührungsinteraktion beaufschlagt, stellt/bestimmt die Fahrzeugparkassistenzvorrichtung 10 außerdem eine Zielbewegungsroute Rtgt ein, entlang der das Fahrzeug 100 zum Parken des Fahrzeugs 100 in dem Registrierzielparkbereich 61set zu bewegen ist. Wenn das Fahrzeug 100 beispielsweise auf der rechten Seite des nicht registrierten Parkplatzes 62 wie in 10 gezeigt stoppt, stellt/bestimmt die Fahrzeugparkassistenzvorrichtung 10 die Zielbewegungsroute Rtgt wie in 11 gezeigt ein.
Wenn der Fahrer das Einstelltastenbild 53 mit der Berührungsinteraktion beaufschlagt, während das Fahrzeug auf der rechten Seite des Parkplatzes 62 stoppt, beschafft die Fahrzeugparkassistenzvorrichtung 10 außerdem eine vorbestimmte Anzahl neuer linker Merkmalspunkte F3new jeweils in den vier mittleren Teilbereichen 73D5, den zwei Frontteilbereichen 73D1 und den zwei Rückteilbereichen 73D2 des linken Bereichs 73. Zu diesem Zeitpunkt beschafft die Fahrzeugparkassistenzvorrichtung 10 die neuen linken Merkmalspunkte F3new als Eingangsmerkmalspunkte Fent. Wenn der Fahrer das Einstelltastenbild 53 mit der Berührungsinteraktion beaufschlagt, während das Fahrzeug auf der linken Seite des Parkplatzes 62 stoppt, beschafft die Fahrzeugparkassistenzvorrichtung 10 andererseits eine vorbestimmte Anzahl neuer rechter Merkmalspunkte F4new jeweils in den vier mittleren Teilbereichen 74D5, den zwei Frontteilbereichen 74D1 und den zwei Rückteilbereichen 74D2 des rechten Bereichs 74. Zu diesem Zeitpunkt beschafft die Fahrzeugparkassistenzvorrichtung 10 die neuen rechten Merkmalspunkte F4new als Eingangsmerkmalspunkte Fent.
Wenn der Fahrer bei diesem Ausführungsbeispiel das Einstelltastenbild 53 mit der Berührungsinteraktion beaufschlagt, während das Fahrzeug auf der rechten Seite des Parkplatzes 62 stoppt, beschafft die Fahrzeugparkassistenzvorrichtung 10 die Eingangsmerkmalspunkte Fent derart, dass die Anzahl der Eingangsmerkmalspunkte Fent, die in jedem der mittleren Teilbereiche 73D5 beschafft werden, größer ist als die Anzahl der Eingangsmerkmalspunkte Fent, die in jedem der Frontteilbereiche 73D1 und Rückteilbereiche 73D2 beschafft werden. Grundlegend beschafft die Fahrzeugparkassistenzvorrichtung 10 die Eingangsmerkmalspunkte Fent derart, dass die Anzahl der Eingangsmerkmalspunkte Fent, die in jedem der Bereiche 73D5 nahe einer Mitte des Eingangs 62ent des Parkplatzes 62 beschafft werden, größer ist als die Anzahl der Eingangsmerkmalspunkte Fent, die in jedem der Bereiche 73D1 und 73D2 entfernt von der Mitte des Eingangs 62ent des Parkplatzes 62 beschafft werden.
Wenn der Fahrer das Einstelltastenbild 53 mit der Berührungsinteraktion beaufschlagt, wenn das Fahrzeug auf der linken Seite des Parkplatzes 62 gestoppt hat, beschafft die Fahrzeugparkassistenzvorrichtung 10 andererseits die Eingangsmerkmalspunkte Fent derart, dass die Anzahl der Eingangsmerkmalspunkte Fent, die in jedem der mittleren Teilbereiche 74D5 beschafft werden, größer ist als die Anzahl der Eingangsmerkmalspunkte Fent, die in jedem der Frontteilbereiche 74D1 und der Rückteilbereiche 74D2 beschafft werden. Grundlegend beschafft die Fahrzeugparkassistenzvorrichtung 10 die Eingangsmerkmalspunkte Fent derart, dass die Anzahl der Eingangsmerkmalspunkte Fent, die in jedem der Bereiche 74D5 nahe der Mitte des Eingangs 62ent des Parkplatzes 62 beschafft werden, größer ist als die Anzahl der Eingangsmerkmalspunkte Fent, die in jedem der Bereiche 74D1 und 74D2 entfernt von der Mitte des Eingangs 62ent des Parkplatzes 62 beschafft werden.
Wenn das Fahrzeug 100 beispielsweise auf der rechten Seite des Parkplatzes 62 stoppt, wie es in 10 gezeigt ist, beschafft die Fahrzeugparkassistenzvorrichtung 10 (i) die zwei neuen linken Merkmalspunkte F3new als die Eingangsmerkmalspunkte Fent aus jedem der vier mittleren Teilbereiche 73D5 des linken Bereichs 73, (ii) den einen neuen linken Merkmalspunkt F3new als Eingangsmerkmalspunkt Fent aus jedem der zwei Frontteilbereiche 73D1 des linken Bereichs 73 und (iii) den einen neuen linken Merkmalspunkt F3new als Eingangsmerkmalspunkt Fent aus jedem der zwei Rückteilbereiche 73D2 des linken Bereichs 73 (vergleiche 12 und 13). Wenn das Fahrzeug 100 andererseits auf der linken Seite des Parkplatzes 62 stoppt, beschafft die Fahrzeugparkassistenzvorrichtung 10 (i) die zwei neuen rechten Merkmalspunkte F4new als Eingangsmerkmalspunkte Fent aus jedem der vier mittleren Teilbereiche 74D5 des rechten Bereichs 74, (ii) den einen neuen rechten Merkmalspunkt F4new als Eingangsmerkmalspunkt Fent aus jedem der zwei Frontteilbereiche 74D1 des rechten Bereichs 74 und (iii) den einen neuen rechten Merkmalspunkt F4new als Eingangsmerkmalspunkt Fent aus jedem der zwei Rückteilbereiche 74D2 des rechten Bereichs 74.
Es wird angemerkt, dass die Fahrzeugparkassistenzvorrichtung 10 zum Beschaffen der Eingangsmerkmalspunkte Fent derart konfiguriert ist, dass die Anzahl der Eingangsmerkmalspunkte Fent, die aus jedem der zwei Frontteilbereiche 73D1 und der zwei mittleren Teilbereiche 73D5 angrenzend an die Frontteilbereiche 73D1 beschafft werden, größer ist als die Anzahl der Eingangsmerkmalspunkte Fent, die aus jedem der zwei Rückteilbereiche 73D2 und der zwei mittleren Teilbereiche 73D5 angrenzend an die Rückteilbereiche 73D2 beschafft werden, wenn der Fahrer dazu tendiert, das Fahrzeug 100 auf der rechten Seite des Eingang 62ent des Parkplatzes 62 und kurz vor einer Position unmittelbar quer zu dem Eingang 62ent des Parkplatzes 62 zu stoppen. Gleichermaßen kann die Fahrzeugparkassistenzvorrichtung 10 zum Beschaffen der Eingangsmerkmalspunkte Fent derart konfiguriert sein, dass die Anzahl der Eingangsmerkmalspunkte Fent, die aus jedem der zwei Frontteilbereiche 74D1 und der zwei mittleren Teilbereiche 74D5 angrenzend an die Frontteilbereiche 74D1 beschafft werden, größer ist als die Anzahl der Eingangsmerkmalspunkte Fent, die aus jedem der zwei Rückteilbereiche 74D2 und der zwei mittleren Teilbereiche 74D5 angrenzend an die Rückteilbereiche 74D2 beschafft werden, wenn der Fahrer dazu tendiert, das Fahrzeug 100 auf der linken Seite des Eingangs 62ent des Parkplatzes 62 und kurz vor der Position unmittelbar quer zu dem Eingang 62ent des Parkplatzes 62 zu stoppen.
Wenn die Fahrzeugparkassistenzvorrichtung 10 die vorbestimmte Anzahl von neuen linken Merkmalspunkte F3new aus zumindest einem der mittleren Teilbereiche 73D5, der Frontteilbereiche 73D1 und der Rückteilbereiche 73D2 des linken Bereichs 73 nicht beschaffen kann, beschafft die Fahrzeugparkassistenzvorrichtung 10 die Eingangsmerkmalspunkte Fent aus den verbleibenden der mittleren Teilbereiche 73D5, der Frontteilbereiche 73D1 und der Rückteilbereiche 73D2 zum Kompensieren eines Defizits der Anzahl der beschafften Eingangsmerkmalspunkte Fent. Wenn die Fahrzeugparkassistenzvorrichtung 10 gleichermaßen die vorbestimmte Anzahl der neuen rechten Merkmalspunkte F4new aus zumindest einem der mittleren Teilbereiche 74D5, der Frontteilbereiche 74D1 und der Rückteilbereiche 74D2 des rechten Bereichs 74 nicht beschaffen kann, beschafft die Fahrzeugparkassistenzvorrichtung 10 die Eingangsmerkmalspunkte Fent aus den verbleibenden der mittleren Teilbereiche 74D5, der Frontteilbereiche 74D1 und der Rückteilbereiche 74D2 zum Kompensieren des Defizits der Anzahl der beschafften Eingangsmerkmalspunkte Fent.
Nachdem die Fahrzeugparkassistenzvorrichtung 10 die Eingangsmerkmalspunkte Fent beschafft hat, beschafft die Fahrzeugparkassistenzvorrichtung 10 Koordinaten XY jedes der beschafften Eingangsmerkmalspunkte Fent in einem Vorab-(unverbindlichen)Koordinatensystem CT und speichert die beschafften Koordinaten XY als Vorab-(unverbindliche)Eingangskoordinaten XYent_pre. Außerdem beschafft die Fahrzeugparkassistenzvorrichtung 10 die Luminanzmusterinformationen CT über jeden der beschafften Eingangsmerkmalspunkte Fent und speichert die beschafften Luminanzmusterinformationen CT als vorab-(unverbindliche) Eingangsluminanzmusterinformationen CTent_pre. Das Vorabkoordinatensystem CT ist ein Koordinatensystem, das einen vorbestimmten Punkt Ppre in dem Registrierzielparkbereich 61set als Ursprung hat. Die Vorabeingangskoordinaten XYent_pre geben daher eine Position des Eingangsmerkmalspunkts Fent relativ zu der vorbestimmten Position Ppre an. Die Vorabeingangsinformationen Ient_pre enthalten die Vorabeingangskoordinaten XYent_pre und die Vorabeingangsluminanzmusterinformationen CTent_pre.
Wenn der Fahrer das Registrierstarttastenbild 54 mit der Berührungsinteraktion beaufschlagt, beendet die Fahrzeugparkassistenzvorrichtung 10 die Anzeige des Registrierstarttastenbildes 54 auf der Anzeige 50, zeigt aber das Kamerabild 51C und das Draufsichtbild 51P weiterhin auf der Anzeige an, wie es in 9C veranschaulicht ist. Wenn der Parkplatz 62, in dem das Fahrzeug 100 geparkt werden kann, zu diesem Zeitpunkt auf der linken Seite des Fahrzeugs 100 vorhanden ist, beschafft die Fahrzeugparkassistenzvorrichtung 10 das diesen Parkplatz 62 darstellende Bild von der linken Kamera 43 und zeigt das beschaffte Bild auf der Anzeige 50 als Kamerabild 51C an. Außerdem zeigt die Fahrzeugparkassistenzvorrichtung 10 das Draufsichtbild 51P auf der Anzeige 50 derart an, dass das Parkplatzbild auf der linken Seite des Fahrzeugbildes angezeigt wird. Wenn der Parkplatz 62, in dem das Fahrzeug 100 geparkt werden kann, zu diesem Zeitpunkt andererseits auf der rechten Seite des Fahrzeugs 100 vorhanden ist, beschafft die Fahrzeugparkassistenzvorrichtung 10 das diesen Parkplatz 62 darstellende Bild von der rechten Kamera 44 und zeigt das beschaffte Bild auf der Anzeige 50 als Kamerabild 51C an. Außerdem zeigt die Fahrzeugparkassistenzvorrichtung 10 das Draufsichtbild 51P auf der Anzeige 50 derart an, dass das Parkplatzbild auf der rechten Seite des Fahrzeugbildes angezeigt wird.
Wenn der Fahrer das Registrierstarttastenbild 54 mit der Berührungsinteraktion beaufschlagt, startet die Fahrzeugparkassistenzvorrichtung 10 außerdem die Ausführung des ersten Parkbewegungsprozesses zum Bewegen des Fahrzeugs 100 zu dem Registrierzielparkbereich 61set entlang der Zielbewegungsroute Rtgt. Der erste Parkbewegungsprozess ist ein Prozess zur Steuerung des Betriebs der Fahrzeugantriebskrafterzeugungsvorrichtung 11, der Bremsvorrichtung 12 und der Lenkvorrichtung 13 derart, dass sich das Fahrzeug 100 entlang der Zielbewegungsroute Rtgt bewegt, beruhend auf (i) den Bildinformationen IMG, (ii) den Objektinformationen OBJ, (iii) dem Lenkwinkel θst, (iv) dem Lenkdrehmoment TQst, (v) der Fahrzeugbewegungsgeschwindigkeit SPD, (vi) der Fahrzeuggierrate Yr, (vii) der Fahrzeuglängsbeschleunigung Gx und (viii) der Fahrzeugquerbeschleunigung Gy.
Wenn das Fahrzeug 100 beispielsweise auf der rechten Seite des Parkplatzes 62 stoppt, in dem das Fahrzeug 100 geparkt werden kann, wie es in 10 gezeigt ist, startet die Fahrzeugparkassistenzvorrichtung 10 die Ausführung des ersten Parkbewegungsprozesses zum Bewegen/Drehen des Fahrzeugs 100 nach vorne rechts, und stoppt dann das Fahrzeug 100, wie es in 14 gezeigt ist. Als Nächstes bewegt/dreht die Fahrzeugparkassistenzvorrichtung 10 das Fahrzeug 100 rückwärts nach links, wie es in 15 gezeigt ist.
Bei diesem Ausführungsbeispiel beschafft die Fahrzeugparkassistenzvorrichtung 10 die Rückmerkmalspunkte F2 als neue Rückmerkmalspunkte F2new, wenn die Fahrzeugparkassistenzvorrichtung 10 das Parken des Fahrzeugs 100 in dem Parkplatz 62 abschließt, nachdem die Bewegungsrichtung des Fahrzeugs 100 gerade wurde, während die Fahrzeugparkassistenzvorrichtung 10 das Fahrzeug über die Parkassistenzsteuerung nach hinten fahren ließ (vergleiche 16). Es wird angemerkt, dass die Fahrzeugparkassistenzvorrichtung 10 die Rückmerkmalspunkte F2 beschaffen kann, nachdem die Bewegungsrichtung des Fahrzeugs 100 gerade geworden ist, während die Fahrzeugparkassistenzvorrichtung 10 das Fahrzeug über die Parkassistenzsteuerung nach hinten fahren lässt, bevor die Fahrzeugparkassistenzvorrichtung 10 das Parken des Fahrzeugs 100 in dem Parkplatz 62 beendet. Alternativ dazu kann die Fahrzeugparkassistenzvorrichtung 10 (i) die Rückmerkmalspunkte F2 zu einem Zeitpunkt beschaffen, zu dem die Bewegungsrichtung des Fahrzeugs 100 gerade wird, und (ii) die Rückmerkmalspunkte F2 beschaffen, wenn das Fahrzeug 100 die vorbestimmte Entfernung Dtravel_th rückwärts zurückgelegt hat, nachdem die Bewegungsrichtung des Fahrzeugs 100 gerade geworden ist, während die Fahrzeugparkassistenzvorrichtung 10 das Fahrzeug rückwärts fahren lässt. Die Fahrzeugparkassistenzvorrichtung 10 kann ferner nicht nur die Rückmerkmalspunkte F2, sondern auch die Frontmerkmalspunkte F2 und/oder die linken Merkmalspunkte F3 und/oder die rechten Merkmalspunkte F4 beschaffen, wenn die Vorrichtung 10 die Rückmerkmalspunkte F2 beschafft.
Dann beschafft die Fahrzeugparkassistenzvorrichtung 10 einen oder mehrere der neuen Rückmerkmalspunkte F2new aus jedem der Rückteilbereiche 72D und stellt die beschafften neuen Rückmerkmalspunkte F2new als Zwischenmerkmalpunkte Fmid ein. Danach beschafft die Fahrzeugparkassistenzvorrichtung 10 die Koordinaten XY der beschafften Zwischenmerkmalspunkte Fmid in dem Vorab-(unverbindlichen)Koordinatensystem Cpre und speichert die beschafften Koordinaten XY als Vorabzwischenkoordinaten XYmid_pre. Die Fahrzeugparkassistenzvorrichtung 10 beschafft außerdem die Luminanzmusterinformationen CT über die beschafften Zwischenmerkmalspunkte Fmid und speichert die beschafften Luminanzmusterinformationen CT als Vorabzwischenluminanzmusterinformationen CTmid_pre. Die Vorabzwischenkooordinaten XYmid_pre geben Positionen der Zwischenmerkmalspunkte Fmid relativ zu der vorbestimmten Position Ppre an. Die Vorabzwischeninformationen Imid_pre enthalten die Vorabzwischenkoordinaten XYmid_pre und die Vorabzwischenluminanzmusterinformationen CTmid_pre.
Während die Fahrzeugparkassistenzvorrichtung 10 den ersten Parkbewegungsprozess zum Bewegen des Fahrzeugs 100 entlang der Zielbewegungsroute Rtgt ausführt, führt die Fahrzeugparkassistenzvorrichtung 10 ferner einen Sicherheitsbestimmungsprozess zum Bestimmen aus, ob die Fahrzeugparkassistenzvorrichtung 10 das Fahrzeug 100 sicher zu dem Registrierzielparkbereich 61set bewegen kann, ohne dass das Fahrzeug 100 mit dem Objekt in Kontakt kommt/kollidiert, das in dem Parkplatz 62 vorhanden ist. Wenn die Fahrzeugparkassistenzvorrichtung 10 bestimmt, dass die Fahrzeugparkassistenzvorrichtung 10 das Fahrzeug 100 nicht sicher zu dem Registrierzielparkbereich 61set bewegen kann, korrigiert die Fahrzeugparkassistenzvorrichtung 10 die Zielbewegungsroute Rtgt derart, dass die Fahrzeugparkassistenzvorrichtung 10 das Fahrzeug 100 sicher zu dem Registrierzielparkbereich 61set bewegen kann, ohne dass das Fahrzeug 100 mit dem Objekt in Kontakt kommt/kollidiert, das in dem Parkplatz 62 vorhanden ist. Die Fahrzeugparkassistenzvorrichtung 10 führt den Sicherheitsbestimmungsprozess beruhend auf den Bildinformationen IMG und den Objektinformationen OBJ aus, die die Fahrzeugparkassistenzvorrichtung 10 während der Ausführung des ersten Parkbewegungsprozesses beschafft.
Während die Fahrzeugparkassistenzvorrichtung 10 den ersten Parkbewegungsprozess ausführt, führt die Fahrzeugparkassistenzvorrichtung 10 außerdem einen Routenbestimmungs-/Überprüfungsprozess aus. Der Routenbestimmungsprozess ist ein Prozess zur Bestimmung, ob die Fahrzeugparkassistenzvorrichtung 10 das Fahrzeug 100 in dem Registrierzielparkbereich 61set gewiss parken kann, wenn das Fahrzeug 10 entlang der aktuellen Zielbewegungsroute Rtgt bewegt wird. wenn die Fahrzeugparkassistenzvorrichtung 10 bestimmt, dass die Fahrzeugparkassistenzvorrichtung 10 das Fahrzeug 100 in dem Registrierzielparkbereich 61set mittels der aktuellen Zielbewegungsroute Rtgt nicht parken kann, korrigiert die Fahrzeugparkassistenzvorrichtung 10 die aktuelle Zielbewegungsroute Rtgt derart, dass die Fahrzeugparkassistenzvorrichtung 10 das Fahrzeug 100 gewiss in dem Registrierzielparkbereich 61set parken kann. Die Fahrzeugparkassistenzvorrichtung 10 führt den Routenbestimmungsprozess beruhend auf den Bildinformationen IMG (insbesondere den Merkmalspunkten F) aus, die die Fahrzeugparkassistenzvorrichtung 10 während der Ausführung des ersten Parkbewegungsprozesses beschafft.
Wenn sich das gesamte Fahrzeug 100 in den Registrierzielparkbereich 61set bewegt hat (vergleiche 17), stoppt die Fahrzeugparkassistenzvorrichtung 10 das Fahrzeug 100 und beendet/schließt die Ausführung des ersten Parkbewegungsprozesses ab. Dadurch ist das Parken des Fahrzeugs 100 in dem Parkplatz 62 durch die Parkassistenzsteuerung abgeschlossen. Zu diesem Zeitpunkt beschafft die Fahrzeugparkassistenzvorrichtung 10 die Frontmerkmalspunkte F1, die linken Merkmalspunkte F3 und die rechten Merkmalspunkte F4 jeweils als neue Frontmerkmalspunkte Finew, neue linke Merkmalspunkte F3new und neue rechte Merkmalspunkte F4new. Zu diesem Zeitpunkt kann die Fahrzeugparkassistenzvorrichtung 10 die Rückmerkmalspunkte F2 als neue Rückmerkmalspunkte F2new beschaffen.
Dann beschafft die Fahrzeugparkassistenzvorrichtung 10 einen oder mehrere der beschafften neuen Frontmerkmalspunkte F1new aus jedem der Frontteilbereiche 71D als finale Merkmalspunkte Ffin. Die Fahrzeugparkassistenzvorrichtung 10 beschafft außerdem einen oder mehrere der beschafften neuen linken Merkmalspunkte F3new aus jedem der linken Teilbereiche 73D als die finalen Merkmalspunkte Ffin. Die Fahrzeugparkassistenzvorrichtung 10 beschafft außerdem einen oder mehrere der beschafften neuen rechten Merkmalspunkte F4new aus jedem der rechten Teilbereiche 74D als die finalen Merkmalspunkte Ffin. Wenn die Fahrzeugparkassistenzvorrichtung 10 die neuen Rückmerkmalspunkte F2new beschafft hat, beschafft die Fahrzeugparkassistenzvorrichtung 10 einen oder mehrere der beschafften neuen Rückmerkmalspunkte F2new aus jedem der Rückteilbereiche 72D als die finalen Merkmalspunkte Ffin.
<Registrierung der Parkplatzinformationen>
Wenn die Fahrzeugparkassistenzvorrichtung 10 das Parken des Fahrzeugs 100 in dem Parkplatz 62 über die Parkassistenzsteuerung abschließt, zeigt die Fahrzeugparkassistenzvorrichtung 10 das Registriertastenbild 55 auf der Anzeige 50 wie in 9D veranschaulicht an.
Wenn der Fahrer das Registriertastenbild 55 mit der Berührungsinteraktion beaufschlagt, beschafft die Fahrzeugparkassistenzvorrichtung 10 die Koordinaten XY der beschafften finalen Merkmalspunkte Ffin in einem Registrierkoordinatensystem Creg und registriert oder speichert die beschafften Koordinaten XY als Registrierinnenkoordinaten XYin_reg. Die Fahrzeugparkassistenzvorrichtung 10 beschafft außerdem die Luminanzmusterinformationen CT der beschafften finalen Merkmalspunkte Ffin und registriert oder speichert die beschafften Luminanzmusterinformationen CT als Registrierinnenluminanzmusterinformationen CTin_reg. Das Registrierkoordinatensystem Creg ist ein Koordinatensystem, das einen vorbestimmten Punkt Preg als Ursprung aufweist (vergleiche 17). Das Fahrzeug 100 enthält eine Welle, die ein linkes Hinterrad und ein rechtes Hinterrad miteinander verbindet. Der vorbestimmte Punkt Preg ist ein Mittelpunkt der Welle in der Fahrzeugquerrichtung Dy, wenn das Parken des Fahrzeugs 100 in dem Registrierzielparkbereich 61set durch die Parkassistenzsteuerung abgeschlossen ist. Die Registrierinnenkoordinaten XYin_reg geben daher die Positionen der finalen Merkmalspunkte Ffin relativ zu der vorbestimmten Position Preg an.
Die Fahrzeugparkassistenzvorrichtung 10 wandelt außerdem die Vorabzwischenkoordinaten XYmid_pre in die Koordinaten XY in dem Registrierkoordinatensystem Creg um und registriert oder speichert die umgewandelten Koordinaten XY als die Registrierinnenkoordinaten XYin_reg. Die Fahrzeugparkassistenzvorrichtung 10 registriert oder speichert außerdem die Vorabzwischenluminanzmusterinformationen CTmid_pre als die Registrierinnenluminanzmusterinformationen CTin_reg. Die Registrierinnenkoordinaten XYin_reg geben daher die Positionen der Zwischenmerkmalspunkte Fmid relativ zu der vorbestimmten Position Preg an.
Die Registrierinneninformationen Iin_reg enthalten die Registrierinnenkoordinaten XYin_reg und die Registrierinnenluminanzmusterinformationen CTin_reg.
Die Fahrzeugparkassistenzvorrichtung 10 registriert oder speichert außerdem die Koordinate XY des Registrierzielparkbereichs 61set in dem Registrierkoordinatensystem CTreg als Registrierbereichskoordinaten XYarea_reg. Die Registrierbereichskoordinaten XYarea_reg geben die Position des Parkbereichs 61 relativ zu der vorbestimmten Position Preg an. Die Registrierbereichsinformationen Iarea_reg enthalten die Registrierbereichskoordinaten XYarea_reg.
Die Fahrzeugparkassistenzvorrichtung 10 wandelt außerdem die Vorabeingangskoordinaten XYent_pre in die Koordinaten XY in dem Registrierkoordinatensystem CTreg um und registriert oder speichert die umgewandelten Koordinaten XY als Registriereingangskoordinaten XYent_reg.
Die Fahrzeugparkassistenzvorrichtung 10 registriert oder speichert außerdem die Vorabeingangsluminanzmusterinformationen CTent_pre als die registrierten Eingangsluminanzmusterinformationen CTent_reg. Die Registriereingangskoordinaten XYent_reg geben daher die Positionen der Eingangsmerkmalspunkte Fent relativ zu der vorbestimmten Preg an. Die Registriereingangsinformationen Ient_reg enthalten die Registriereingangskoordinaten XYent_reg und die registrierten Eingangsluminanzmusterinformationen CTent_reg.
Wie vorstehend beschrieben, enthalten die Parkplatzinformationen Ipark die Registriereingangsinformationen Ient_reg, die Registrierinneninformationen Iin_reg und die Registrierbereichsinformationen Iarea_reg.
<Parken des Fahrzeugs im registrierten Parkplatz>
Wenn eine autonome Parkstartbedingung erfüllt ist, zeigt die Fahrzeugparkassistenzvorrichtung 10 das Kamerabild 51C, das Draufsichtbild 51P, das Parkbereichslinienbild 52 (nicht gezeigt), und das Parkstarttastenbild 56 auf der Anzeige 50 wie in 18A veranschaulicht an.
Die autonome Parkstartbedingung ist erfüllt, wenn (i) die Fahrzeugparkassistenzvorrichtung 10 bestimmt, dass das Fahrzeug 100 am Eingang 62ent des Parkplatzes 62 gestoppt hat, (ii) die Fahrzeugparkassistenzvorrichtung 10 bestimmt, dass der in Frage kommende Parkplatz 62 der registrierte Parkplatz ist, und (iii) der Fahrer den Parkassistenzschalter 48 mit der Berührungsinteraktion beaufschlagt. Wenn dabei der registrierte Parkplatz 62 auf der linken Seite des Fahrzeugs 100 vorhanden ist, beschafft die Fahrzeugparkassistenzvorrichtung 10 das den registrierten Parkplatz 62 darstellende Bild von der linken Kamera 43 und zeigt das beschaffte Bild auf der Anzeige 50 als das Kamerabild 51C an. Die Fahrzeugparkassistenzvorrichtung 10 zeigt außerdem das Draufsichtbild 51P auf der Anzeige 50 derart an, dass das Parkplatzbild auf der linken Seite des Fahrzeugbildes angezeigt wird. Wenn sich der registrierte Parkplatz 62 andererseits auf der rechten Seite des Fahrzeugs 100 befindet, beschafft die Fahrzeugparkassistenzvorrichtung 10 das den registrierten Parkplatz 62 darstellende Bild von der rechten Kamera 44 und zeigt das beschaffte Bild auf der Anzeige 50 als das Kamerabild 51C an. Die Fahrzeugparkassistenzvorrichtung 10 zeigt außerdem das Draufsichtbild 51P auf der Anzeige 50 derart an, dass das Parkplatzbild auf der rechten Seite des Fahrzeugs angezeigt wird.
Die Fahrzeugparkassistenzvorrichtung 10 fixiert außerdem die Position des Parkbereichs 61 beruhend auf den Registrierbereichskoordinaten XYarea_reg, die in den Parkplatzinformationen Ipark enthalten sind, die sich auf den registrierten Parkplatz 62 beziehen, in dem die Fahrzeugparkassistenzvorrichtung 10 das Fahrzeug 100 zu diesem Zeitpunkt parken wird. Die Fahrzeugparkassistenzvorrichtung 10 zeigt ein Bild als das Parkbereichslinienbild 52 auf der Anzeige 50 an, das diesen Parkbereich 61 darstellt, dessen Position fixiert ist.
Wenn der Fahrer das Parkstarttastenbild 56 mit der Berührungsinteraktion beaufschlagt, beendet die Fahrzeugparkassistenzvorrichtung 10 die Anzeige des Parkstarttastenbildes 56 auf der Anzeige 50 und fährt mit der Anzeige des Kamerabildes 51C und des Draufsichtbildes 51P auf der Anzeige 50 fort, wie es in 18B gezeigt ist.
Wenn der Fahrer das Parkstarttastenbild 56 mit der Berührungsinteraktion beaufschlagt, stellt die Fahrzeugparkassistenzvorrichtung 10 außerdem einen Zielparkbereich 61tgt auf den Parkbereich 61 ein, der der Position des auf der Anzeige 50 angezeigten Parkbereichslinienbildes 52 entspricht.
Wenn der Fahrer das Parkstarttastenbild 56 mit der Berührungsinteraktion beaufschlagt, stellt die Fahrzeugparkassistenzvorrichtung 10 außerdem die Zielbewegungsroute Rtgt ein, entlang der die Fahrzeugparkassistenzvorrichtung 10 das Fahrzeug 100 zum Parken des Fahrzeugs 100 in dem Zielparkbereich 61tgt bewegt.
Die Fahrzeugparkassistenzvorrichtung 10 führt dann einen zweiten Parkbewegungsprozess zum Bewegen des Fahrzeugs 100 zu dem Zielparkbereich 61tgt entlang der Zielbewegungsroute Rtgt aus. Der zweite Parkbewegungsprozess ist ein Prozess zur Steuerung des Betriebs der Fahrzeugantriebskrafterzeugungsvorrichtung 11, der Bremsvorrichtung 12 und der Lenkvorrichtung 13 zum Bewegen des Fahrzeugs 100 entlang der Zielbewegungsroute Rtgt beruhend auf (i) den Bildinformationen IMG, (ii) den Objektinformationen OBJ, (iii) dem Lenkwinkel θst, (iv) dem Lenkdrehmoment TQst, (v) der Fahrzeugbewegungsgeschwindigkeit SPD, (vi) der Fahrzeuggierrate YR, (vii) der Fahrzeuglängsbeschleunigung Gx und (viii) der Fahrzeugquerbeschleunigung Gy.
Während die Fahrzeugparkassistenzvorrichtung 10 den zweiten Parkbewegungsprozess zum Bewegen des Fahrzeugs 100 entlang der Zielbewegungsroute Rtgt ausführt, führt die Fahrzeugparkassistenzvorrichtung 10 einen Sicherheitsbestimmungsprozess zum Bestimmen aus, ob die Fahrzeugparkassistenzvorrichtung 10 das Fahrzeug 100 sicher zu dem Zielparkbereich 61tgt bewegen kann, wobei verhindert wird, dass das Fahrzeug 10 das Objekt in dem Parkplatz 62 kontaktiert. Wenn die Fahrzeugparkassistenzvorrichtung 10 bestimmt, dass die Fahrzeugparkassistenzvorrichtung 10 das Fahrzeug 100 nicht sicher zu dem Zielparkbereich 61tgt bewegen kann, korrigiert die Fahrzeugparkassistenzvorrichtung 10 die Zielbewegungsroute Rtgt derart, dass die Fahrzeugparkassistenzvorrichtung 10 das Fahrzeug 100 sicher zu dem Zielparkbereich 61tgt bewegen kann, wobei verhindert wird, dass das Fahrzeug 100 das Objekt in dem Parkplatz 62 kontaktiert. Die Fahrzeugparkassistenzvorrichtung 10 führt den Sicherheitsbestimmungsprozess beruhend auf den Bildinformationen IMG und den Objektinformationen OBJ aus, die die Fahrzeugparkassistenzvorrichtung 10 während der Ausführung des zweiten Parkbewegungsprozesses beschafft.
Während die Fahrzeugparkassistenzvorrichtung 10 den zweiten Parkbewegungsprozess ausführt, führt die Fahrzeugparkassistenzvorrichtung 10 einen Parkpositionsbestimmungsprozess aus. Der Parkpositionsbestimmungsprozess umfasst die folgenden Schritte.
Einen Schritt eines Durchsuchens des Kamerabildes zum Herausfinden von Bildabschnitten mit denselben Luminanzmustern wie die Luminanzmuster der registrierten Eingangsluminanzmusterinformationen CTent_reg oder der Registrierinnenluminanzmusterinformationen CTin_reg.
Einen Schritt eines Bestimmens, ob die Position des Zielparkbereichs 61tgt in dem Parkplatz 62 mit der Position übereinstimmt oder nicht, die durch die Registrierbereichskoordinaten XYarea_reg angegeben ist, beruhend auf der Positionsbeziehung zwischen den Koordinaten XY der gefundenen Bildabschnitte und den Registrierbereichskoordinaten XYarea_reg.
Wenn die Fahrzeugparkassistenzvorrichtung 10 nicht bestimmt, dass die Position des Zielparkbereichs 61tgt in dem Parkplatz 62 mit der durch die Registrierbereichskoordinaten XYarea_reg angegebenen Position übereinstimmt, korrigiert die Fahrzeugparkassistenzvorrichtung 10 die Position des Zielparkbereichs 61tgt derart, dass die Position des Zielparkbereichs 61tgt mit der durch die Registrierbereichskoordinaten XYarea_reg angegebenen Position übereinstimmt, und korrigiert die Zielbewegungsroute Rtgt derart, dass die Fahrzeugparkassistenzvorrichtung 10 das Fahrzeug 100 zu dem korrigierten Zielparkbereich 61tgt bewegen kann.
Wenn das gesamte Fahrzeug 100 in den Zielparkbereich 61tgt bewegt wurde, stoppt die Fahrzeugparkassistenzvorrichtung 10 das Fahrzeug 100 und beendet die Ausführung des zweiten Parkbewegungsprozesses. Somit ist das Parken des Fahrzeugs 100 in dem Parkplatz 62 durch die Parkassistenzsteuerung abgeschlossen.
<Zusammenfassung des Betriebs der Fahrzeugparkassistenzvorrichtung>
Das Bild des Objekts wird leicht durch eine Änderung der Situation/des Zustands um das Fahrzeug und den Parkplatz zwischen dem Zeitpunkt, zu dem die Parkplatzinformation Ipark registriert/gespeichert werden, und dem Zeitpunkt danach beeinflusst. Beispielsweise kann sich die Position des Objekts zwischen dem Zeitpunkt, zu dem die Parkplatzinformationen Ipark registriert/gespeichert werden, und dem Zeitpunkt danach ändern. Außerdem kann sich das Bild des Objekts ändern, wenn sich die Aufnahmeposition der Kamera zwischen dem Zeitpunkt, zu dem die Parkplatzinformationen Ipark registriert/gespeichert wurden, und dem Zeitpunkt danach ändert. Die Fahrzeugparkassistenzvorrichtung 10 spezifiziert daher ein Objektbild Pobj in dem Kamerabild und nimmt (maskiert) das spezifizierte Objektbild Pobj aus dem Kamerabild aus, um das ausgenommene Kamerabild zu beschaffen. Wenn die Parkplatzinformationen Ipark registriert werden, beschafft die Fahrzeugparkassistenzvorrichtung 10 die Merkmalspunkte F aus dem ausgenommenen Kamerabild. Nach dem Registrieren der Parkplatzinformationen Ipark durchsucht die Fahrzeugparkassistenzvorrichtung 10 das aufgenommene Kamerabild zum Herausfinden von Bildabschnitten mit denselben Luminanzmustern wie die Luminanzmuster registrierter Eingangsluminanzmusterinformationen CTent_reg.
Ein in 19 gezeigter Parkplatz 62' unterscheidet sich von dem in 4 gezeigten Parkplatz 62 darin, dass eine Wand 64, bei der es sich um das Objekt handelt, auf der rechten Seite des Parkplatzes 62' vorhanden ist. Ein in 20 gezeigtes linkes Kamerabild Pleft ist ein Bild, das die linke Kamera 43 aufgenommen hat, als das Fahrzeug in der Nähe des Eingangs 62' ent des Parkplatzes 62' gestoppt hat. Die Fahrzeugassistenzvorrichtung 10 beschafft ein in 21 gezeigtes Draufsichtbild Pheimen durch Umwandeln des linken Kamerabildes Pleft in ein Bild in einer Ebenenansicht bzw. Draufsicht. Das heißt, das linke Draufsichtbild Pheimen wird derart erzeugt, dass das linke Kamerabild Pleft von einem oberen Beobachtungspunkt VP der linken Kamera aus betrachtet wird, der vertikal über der linken Kamera 43 positioniert ist.
Wenn das linke Draufsichtbild Pheimen derart erzeugt wird, dass das linke Kamerabild Pleft von einem Beobachtungspunkt aus betrachtet wird, der sich vertikal über der Wand 64 befindet, ist lediglich ein Bild einer oberen Fläche der Wand 64 in diesem linken Draufsichtbild Pheimen als Bild enthalten, das die Wand 64 darstellt. Das linke Draufsichtbild Pheimen wird allerdings wie vorstehend beschrieben derart erzeugt, dass das linke Kamerabild Pleft von dem oberen Betrachtungspunkt VP der linken Kamera aus betrachtet wird. Wie in 21 gezeigt, enthält ein Bild 640 der Wand 64 (ein Objektbild) in dem linken Draufsichtbild Pheimen ein Bild, das einer Frontfläche Sfront der Wand 64 entspricht, und ein Bild, das einer linken Seitenfläche Sleft der Wand 64 entspricht.
Die Fahrzeugparkassistenzvorrichtung 10 spezifiziert eine Position des Objekts um das Fahrzeug 100 beruhend auf den Sonarinformationen SON. In einem in 19 gezeigten Beispiel erfasst das zehnte Abstandssonar 310 eine Entfernung L zwischen der Frontfläche Sfront und dem zehnten Abstandssonar 310. Die Fahrzeugparkassistenzvorrichtung 10 erkennt/bestimmt beruhend auf den von dem zehnten Abstandssonar 310 erhaltenen Sonarinformationen SON, dass das Objekt (die Frontfläche Sfront der Wand 64) an einem Punkt vorhanden ist, der von der linken Seite des Fahrzeugs 100 um die Entfernung L in in 22 gezeigten Bereichen L22 bis L25 entfernt ist. Es wird angemerkt, dass die Fahrzeugparkassistenzvorrichtung 10 den linksseitigen Bereich 73 und den rechtsseitigen Bereich 74 jeweils in fünfundzwanzig Bereiche einteilt. Die fünfundzwanzig Bereiche des linksseitigen Bereichs 73 werden jeweils als „Bereiche L1 bis L25“ bezeichnet. Die fünfundzwanzig Bereiche des rechtsseitigen Bereichs 74 werden jeweils als „Bereiche R1 bis R25“ bezeichnet. Die Fahrzeugparkassistenzvorrichtung 10 unterteilt den Frontbereich 71 und den Rückbereich 72 jeweils in fünfundzwanzig Bereiche. Jeder der Teilbereiche des Frontbereichs 71 und des Rückbereichs 72 weist eine rechtwinklige Form mit einer langen Seite in der Längsrichtung auf.
Die Fahrzeugparkassistenzvorrichtung 10 erfasst lediglich eine reflektierende Fläche des Objekts, die die durch die Abstandssonare abgestrahlten Schallwellen reflektiert. In dem in 21 gezeigten Beispiel erfasst die Fahrzeugparkassistenzvorrichtung 10 nur die Frontfläche der Wand 64. Das heißt, die Fahrzeugparkassistenzvorrichtung 10 kann eine Form des Objekts hinter der reflektierenden Fläche hinsichtlich des Abstandssonars nicht erfassen. Wie in 23 gezeigt, zeichnet die Fahrzeugparkassistenzvorrichtung 10 die Positionen (Sonarerfassungsergebnisse 2310) des Objekts (der Frontfläche Sfront der Wand 64), die beruhend auf den Sonarinformationen SON erfasst werden, in dem linken Draufsichtbild Pheimen an Positionen ein, die von dem zehnten Abstandssonar 310 um die durch das zehnte Abstandssonar 310 erfasste Entfernung entfernt sind.
Die Fahrzeugparkassistenzvorrichtung 10 spezifiziert das Objektbild Pobj in dem linken Draufsichtbild Pheimen beruhend auf den Sonarerfassungsergebnissen 2310, die in dem linken Draufsichtbild Pheimen eingezeichnet sind.
Insbesondere beschafft die Fahrzeugparkassistenzvorrichtung 10 zuerst einen weitesten Punkt 2320 und einen nächsten Punkt 2330 unter Verwendung der Sonarerfassungsergebnisse 2310. Der weiteste Punkt 2320 ist ein Punkt, der unter den Sonarerfassungsergebnissen 2310 von der linken Kamera 43 am weitesten weg ist. Der nächste Punkt 2320 ist ein Punkt, der unter den Sonarerfassungsergebnissen 2310 der linken Kamera 43 am nächsten ist. Als Nächstes beschafft die Fahrzeugparkassistenzvorrichtung 10 einen Gradienten eines virtuellen Liniensegments 2335 von dem weitesten Punkt 2320 zu der linken Kamera 43. Dann beschafft die Fahrzeugparkassistenzvorrichtung 10 eine erste virtuelle Linie 2340, die sich von dem weitesten Punkt 2320 in einer Richtung mit dem Gradienten GR und weg von der linken Kamera 43 erstreckt.
Die Fahrzeugparkassistenzvorrichtung 10 beschafft eine zweite virtuelle Linie 2350, die sich von dem nächsten Punkt 2330 in einer Richtung parallel zur Mittelachse SA10 des Strahlungsbereichs der Schallwellen des zehnten Abstandssonars 310 und weg von der linken Kamera 43 erstreckt. Es wird angemerkt, dass sich die zweite virtuelle Linie 2350 in eine Richtung orthogonal zur linken Seitenfläche des Fahrzeugs 100 erstreckt (das heißt, in der Fahrzeugbreitenrichtung Dy), da die Richtung der Mittelachse SA10 die Richtung orthogonal zur linken Seitenfläche des Fahrzeugs 100 (das heißt, die Fahrzeugbreitenrichtung Dy) ist.
Danach spezifiziert die Fahrzeugparkassistenzvorrichtung 10 ein Bild eines Bereichs als das Objektbild Pobj, der durch die Sonarerfassungsergebnisse 2310, die erste virtuelle Linie 2340 und die zweite virtuelle Linie 2350 definiert ist.
Der Grund, warum die Fahrzeugparkassistenzvorrichtung 10 die erste virtuelle Linie 2340 zum Definieren des Objektbildes Pobj verwendet, besteht darin, dass sich ein Linienbild, das die Objekthöhe am weitesten Punkt 2320 in dem Draufsichtbild Pheimen darstellt, um den Gradienten GR weg von der linken Kamera 43 neigt (lehnt). Das Objektbild Pobj verdeckt demnach ein Objekt, das hinter der Frontfläche Sfront vorhanden ist, aus dem Bild, und es ist möglich, das das Objekt darstellende Bild aus dem ausgenommenen Kamerabild auszunehmen.
Wenn sich ein anderes Objekt hinter der reflektierenden Fläche befindet, die die Schallwellen von dem Abstandssonar reflektiert, kann das Abstandssonar dieses andere Objekt nicht erfassen, da die Schallwellen von dem Abstandssonar das andere Objekt nicht erreichen, und das andere Objekt somit die Schallwellen nicht reflektiert. Es kann daher ein anderes Objekt in dem Bereich hinter der reflektierenden Fläche vorhanden sein. In Anbetracht dessen verwendet die Fahrzeugparkassistenzvorrichtung 10 die zweite virtuelle Linie 2350 zum Definieren des Objektbilds Pobj, sodass das Objektbild Pobj den Bereich enthalten kann, wo das andere Objekt vorhanden oder nicht vorhanden sein kann. Die Fahrzeugparkassistenzvorrichtung 10 kann demnach sicher verhindern, dass das Fahrzeug 10 Merkmalspunkte F beruhend auf dem Bild beschafft, das einen ein Objekt darstellenden Teil enthalten kann. Die Mittelachse CA3 des Aufnahmebereichs der linken Kamera 43 stimmt mit der Mittelachse SA9 des neunten Abstandssonars 309 und der Mittelachse SA10 des zehnten Abstandssonars 310 überein. Demnach steht ein Linienbild, das die Objekthöhe am nächsten Punkt 2330 darstellt, aus der zweiten virtuellen Linie 2350 nicht hervor, um fähig zu sein, in dem Objektbild Pobj enthalten zu sein. Das Objektbild Pobj deckt daher ein Objekt aus dem Bild ab, das hinter der Frontfläche Sfront vorhanden ist, und das das Objekt darstellende Bild kann aus dem ausgenommenen Kamerabild ausgenommen werden.
Schließlich beschafft die Fahrzeugparkassistenzvorrichtung 10 die Merkmalspunkte F aus einem maskierten/ausgenommenen Bild, das das Objektbild Pobj nicht enthält, in dem linken Draufsichtbild Pheimen. Das maskierte Bild ist ein Bild, das die Fahrzeugparkassistenzvorrichtung 10 erzeugt, indem sie das Objekt Pobj aus dem linken Draufsichtbild Pheimen ausnimmt (das heißt, das linke Draufsichtbild Pheimen, in dem das Objekt Pobj maskiert ist).
Wie vorstehend beschrieben, maskiert die Fahrzeugparkassistenzvorrichtung 10 das Objektbild Pobj aus dem Draufsichtbild Pheimen, in das ein Registrierbild umgewandelt ist, um das maskierte Bild zu erhalten. Das Registrierbild wird jeweils durch die linke Kamera 43 und die rechte Kamera 44 aufgenommen, wenn die Parkplatzinformationen Ipark registriert werden. Die Fahrzeugparkassistenzvorrichtung 10 beschafft die Merkmalspunkte F aus dem maskierten Bild. Das maskierte Bild ist ein Bild, das nur ein Bild enthält, das die Oberfläche des Bodens enthält. Die registrierten Eingangsluminanzmusterinformationen CTent_reg, die beruhend auf den so beschafften Merkmalspunkten F beschafft werden, werden als die Registriereingangsinformationen Ient_reg registriert/gespeichert. Selbst wenn sich die Situation/der Zustand um das Fahrzeug 100 und den Parkplatz 62 ändert, nachdem die Parkplatzinformationen Ipark registriert wurden, kann die Fahrzeugparkassistenzvorrichtung 10 demnach korrekt bestimmen, ob das Fahrzeug 100 an der rechten Seite oder der linken Seite des registrierten Parkplatzes 62 gestoppt hat, dessen Parkplatzinformationen Ipark bereits registriert wurden, da die Luminanzmusterinformationen CT der Merkmalspunkte F, die aus dem maskierten Bild beschafft werden, als die Registriereingangsinformationen Ient_reg registriert sind.
Die Fahrzeugparkassistenzvorrichtung 10 maskiert das Objektbild Pobj aus dem Draufsichtbild Pheimen, in das das Nach-Registrierbild umgewandelt wird. Das Nach-Registrierbild wird jeweils durch die Kameras 45 aufgenommen, nachdem die Parkplatzinformationen Ipark registriert wurden. Die Fahrzeugparkassistenzvorrichtung 10 durchsucht das maskierte Bild zum Herausfinden der Bildabschnitte mit den im Wesentlichen gleichen Luminanzmustern wie die Luminanzmuster der registrierten Eingangsluminanzmusterinfomrationen CTent_reg. Selbst wenn sich die Situation um das Fahrzeug 100 und den Parkplatz 62 nach der Zeit der Registrierung der Parkplatzinformationen Ipark geändert hat, kann die Fahrzeugparkassistenzvorrichtung 10 demnach korrekt bestimmen, ob das Fahrzeug 100 auf der rechten Seite oder der linken Seite des registrierten Parkplatzes 62 gestoppt hat, dessen Parkplatzinformationen Ipark bereits registriert wurden.
Es wird angemerkt, dass die Fahrzeugparkassistenzvorrichtung 10 das Objektbild Pobj in dem Draufsichtbild Pheimen spezifiziert, in das das Kamerabild umgewandelt wird, das durch die rechte Kamera 44 aufgenommen wird, wenn sich das Objekt auf der rechten Seite des Fahrzeugs 100 befindet. Der Prozess zur Spezifizierung des Objektbildes Pobj wurde vorstehend beschrieben.
Die Fahrzeugparkassistenzvorrichtung 10 spezifiziert das Objektbild Pobj in dem Draufsichtbild Pheimen, in das das Kamerabild umgewandelt wird, das durch die Frontkamera 41 aufgenommen wird, wenn sich das Objekt an der Frontseite des Fahrzeugs 100 befindet. In diesem Fall erstreckt sich die zweite virtuelle Linie 2350 von dem nächsten Punkt 2330 in dieselbe Richtung wie die Richtungen der Mittelachse SA2 des zweiten Abstandssonars 302 und der Mittelachse SA4 des vierten Abstandssonars 304. Die Richtung ist eine Richtung weg von der Frontkamera 41.
Wenn das erste Abstandssonar 301 oder das dritte Abstandssonar 303 das Objekt erfasst, kann die Fahrzeugparkassistenzvorrichtung 10 das Linienbild, das die Objekthöhe am nächsten Punkt 2330 darstellt, nicht maskieren, wenn sich die zweite virtuelle Linie 2350 in dieselbe Richtung wie die Mittelachse SA1 des ersten Abstandssonars 301 oder die Mittelachse SA3 des dritten Abstandssonars 303 erstreckt (das heißt, wenn sich die zweite virtuelle Linie 2350 in eine Richtung erstreckt, die 45 Grad nach links oder rechts hinsichtlich der Fahrzeuglängsrichtung Dx geneigt ist). Selbst wenn das erste Abstandssonar 301 oder das dritte Abstandssonar 303 das Objekt erfasst, erstreckt die Fahrzeugparkassistenzvorrichtung 10 daher die zweite virtuelle Linie 2350 von dem nächsten Punkt 2330 in dieselbe Richtung wie die Richtungen der Mittelachse SA2 des zweiten Abstandssonars 302 und die Mittelachse SA4 des vierten Abstandssonars 304 (das heißt, die Fahrzeuglängsrichtung Dx). Die Richtung ist eine Richtung weg von der Frontkamera 41. Die Richtung der Mittelachse CA1 des Aufnahmebereichs der Frontkamera 41 ist die Fahrzeuglängsrichtung Dx. Daher erstreckt die Fahrzeugparkassistenzvorrichtung 10 die zweite virtuelle Linie 2350 in die Fahrzeuglängsrichtung Dx, um das Linienbild, das die Objekthöhe am nächsten Punkt 2330 darstellt, in das Objektbild Pobj aufnehmen zu können. Die Fahrzeugparkassistenzvorrichtung 10 kann ferner das Bild, das den Bereich darstellt, wo die Abstandssonare das andere Objekt aufgrund des Objekts nicht erfassen können, in das Objektbild Pobj aufnehmen.
Es wird angemerkt, dass die Fahrzeugparkassistenzvorrichtung 10 das Objektbild Pobj in dem Draufsichtbild Pheimen spezifiziert, in das das durch die hintere Kamera 42 aufgenommene Kamerabild umgewandelt wird, wenn das Objekt auf der Rückseite des Fahrzeugs 100 vorhanden ist. Der Prozess zum Spezifizieren des Objektbildes Pobj ist der gleiche wie der Prozess, der ausgeführt wird, wenn das Fahrzeug an der Vorderseite des Fahrzeugs 100 vorhanden ist.
<Spezifischer Betrieb der Fahrzeugparkassistenzvorrichtung >
Als Nächstes wird der spezifische Betrieb der Fahrzeugparkassistenzvorrichtung 10 beschrieben. Die CPU der ECU 90 der Fahrzeugparkassistenzvorrichtung 10 ist zum Ausführen einer in 24 gezeigten Routine jedes Mal dann konfiguriert oder programmiert, wenn eine vorbestimmte Zeit abläuft.
Wenn ein geeigneter Zeitpunkt gekommen ist, startet die CPU die Verarbeitung von Schritt 2400 und geht zu Schritt 2405 zum Beschaffen der Bildinformationen von der Kamerasensorvorrichtung 40 und der Sonarinformationen SON von der Sonarsensorvorrichtung 30. Die CPU geht zu Schritt 2410.
In Schritt 2410 bestimmt die CPU, ob die Niedriggeschwindigkeitsbedingung, dass die Fahrzeuggeschwindigkeit SPD gleich oder kleiner als die Schwellenwertgeschwindigkeit SPDth ist, erfüllt ist oder nicht. Wenn die Niedriggeschwindigkeitsbedingung erfüllt ist, führt die CPU in Schritt 2410 eine Bestimmung „Ja“ aus und geht zu Schritt 2415. In Schritt 2415 wandelt die CPU das durch jede der Kameras 45 aufgenommene Kamerabild in das Draufsichtbild um und geht zu Schritt 2420.
In Schritt 2420 bestimmt die CPU beruhend auf den Sonarinformationen SON, ob das Objekt vorhanden ist oder nicht. Wenn zumindest ein Abstandssonar aus dem ersten Abstandssonar 301 bis vierten Abstandssonar 304 das Objekt erfasst, bestimmt die CPU, dass das Objekt in dem Aufnahmebereich der vorderen Kamera 41 vorhanden ist. Wenn zumindest ein Abstandssonar des fünften Abstandssonars 305 bis achten Abstandssonars 308 das Objekt erfasst, bestimmt die CPU, dass das Objekt in dem Aufnahmebereich der hinteren Kamera 41 vorhanden ist. Wenn zumindest ein Abstandssonar des neunten Abstandssonars 309 und des zehnten Abstandssonars 310 das Objekt erfasst, bestimmt die CPU, dass das Objekt in dem Aufnahmebereich der linken Kamera 41 vorhanden ist. Wenn zumindest ein Abstandssonar des elften Abstandssonars 311 und des zwölften Abstandssonars 312 das Objekt erfasst, bestimmt die CPU, dass das Objekt in dem Aufnahmebereich der rechten Kamera 41 vorhanden ist.
Wenn das Objekt vorhanden ist, führt die CPU in Schritt 2420 eine Bestimmung „Ja“ aus und führt die Schritte 2425 bis 2450 aus. Danach geht die CPU zu Schritt 2495 zum vorläufigen Beenden der gegenwärtigen Routine.
Schritt 2425: Die CPU zeichnet die Sonarerfassungsergebnisse in den Draufsichtbildern ein. Eine Länge in einer Längsrichtung und eine Länge in einer Breitenrichtung eines Bildelements des Draufsichtbildes entspricht jeweils einer vorbestimmten tatsächlichen Länge (beispielsweise ungefähr 15cm). Die CPU spezifiziert Bildelemente des Objekts in dem Draufsichtbild beruhend auf den Längen der Bildelemente, der Position des Abstandssonars, das das Objekt erfasst, und der Entfernung zwischen dem Abstandssonar und dem Objekt. Die CPU zeichnet die Sonarerfassungsergebnisse in den spezifizierten Bildelementen ein.
Schritt 2420: Die CPU beschafft die erste virtuelle Linie, die sich von dem weitesten Punkt, der in den Sonarerfassungsergebnissen enthalten ist, bezüglich der Kamera erstreckt.
Schritt 2435: Die CPU beschafft die zweite virtuelle Linie, die sich von dem nächsten Punkt, der in den Sonarerfassungsergebnissen enthalten ist, bezüglich der Kamera erstreckt.
Schritt 2440: Die CPU spezifiziert ein Bild eines Bereichs als das Objektbild, der durch die Sonarerfassungsergebnisse, die erste virtuelle Linie und die zweite virtuelle Linie definiert/umgeben ist.
Schritt 2445: Die CPU beschafft das maskierte Bild durch Maskieren des Objektbildes in dem Draufsichtbild.
Schritt 2450: Die CPU beschafft die Merkmalspunkte F aus dem maskierten Bild.
Wenn die Fahrzeuggeschwindigkeit SPD größer als die Schwellenwertgeschwindigkeit SPDth ist, wenn die CPU zu Schritt 2410 übergeht, führt die CPU in Schritt 2410 eine Bestimmung „Nein“ aus und geht zu Schritt 2495, um die gegenwärtige Routine vorläufig zu beenden.
Wenn das Objekt nicht vorhanden ist, wenn die CPU zu Schritt 2420 übergeht, führt die CPU in Schritt 2420 eine Bestimmung „Nein“ aus und geht zu Schritt 2450, um die Merkmalspunkte F (aus dem Draufsichtbild) zu beschaffen.
Die CPU ist zum Ausführen einer in 25 gezeigten Routine jedes Mal dann konfiguriert oder programmiert, wenn eine vorbestimmte Zeit abläuft. Wenn ein geeigneter Zeitpunkt gekommen ist, startet die CPU die Verarbeitung von Schritt 2500 und geht zu Schritt 2505 zum Bestimmen, ob ein Wert eines Registrierflags Xreg „1“ ist oder nicht. Der Wert des Registrierflags Xreg ist auf „1“ gesetzt, wenn die Registrierstartbedingung erfüllt ist (in einem in 27 gezeigten Schritt 2727). Der Wert des Registrierflags Xreg ist auf „0“ gesetzt, wenn das Parken des Fahrzeugs 100 in dem Parkplatz 62 abgeschlossen ist.
Wenn die CPU in Schritt 2505 eine Bestimmung „ja“ durchführt, geht die CPU zu Schritt 2510 zum Bestimmen, ob ein Wert des ersten Parkbewegungsprozessflags X1_exe „0“ ist oder nicht. Der Wert des ersten Parkbewegungsprozessflags X1_exe ist auf „1“ gesetzt, wenn die Ausführung des ersten Parkbewegungsprozesses gestartet ist. Der Wert des ersten Parkbewegungsprozessflags X1_exe ist auf „0“ gesetzt, wenn die Ausführung des ersten Parkbewegungsprozesses beendet ist.
Wenn die CPU in Schritt 2510 eine Bestimmung „ja“ durchführt, geht die CPU zu Schritt 2515, um auf der Anzeige 50 das Draufsichtbild 51P, das Parkbereichslinienbild 52, das Einstelltastenbild 53 und das Versetzungstastenbild 57 anzuzeigen.
Als Nächstes geht die CPU zu einem Schritt 2520 zum Bestimmen, ob ein Wert eines Einstellen-abgeschlossen-Flags Xset „1“ ist oder nicht. Der Wert des Einstellen-abgeschlossen-Flags Xset ist auf „1“ gesetzt, wenn das Einstelltastenbild 53 mit der Berührungsinteraktion beaufschlagt wird. Der Wert des Einstellen-abgeschlossen-Flags Xset ist auf „0“ gesetzt, wenn die Ausführung des ersten Parkbewegungsprozesses gestartet ist.
Wenn die CPU in Schritt 2520 eine Bestimmung „Ja“ durchführt, geht die CPU zu Schritt 2525 zum Beenden des Anzeigens des Einstelltastenbildes 53 und des Versetzungstastenbildes 357 auf der Anzeige 50 und zeigt das Registrierstarttastenbild 54 auf der Anzeige 50 an. Dann geht die CPU zu Schritt 2530 zum Einstellen des dem Parkbereichslinienbild 52 entsprechenden Parkbereichs 61 als Registrierzielparkbereich 61set. Als Nächstes geht die CPU zu Schritt 2535 zum Einstellen der Zielbewegungsroute Rtgt auf eine Bewegungsroute des Fahrzeugs 100 zu dem Registrierzielparkbereich 61set. Als Nächstes geht die CPU zu Schritt 2540 zum Beschaffen der Vorabeingangsinformationen Ient_pre, wie vorstehend beschrieben, und registriert/speichert die beschafften Vorabeingangsinformationen Ient_pre im RAM. Es wird angemerkt, dass die Vorabeingangskoordinaten XYent_pre und die Vorabeingangsluminanzmusterinformationen CTent_pre, die in den Vorabeingangsinformationen Ient_pre enthalten sind, beruhend auf den Merkmalspunkten F beschafft werden, die in Schritt 2450 der in 24 gezeigten Routine beschafft werden, die unmittelbar vor dem gegenwärtigen Zeitpunkt ausgeführt wird.
Als Nächstes geht die CPU zu Schritt 2545 zum Bestimmen, ob ein Wert eines Registrierstartflags Xreg_start „1“ ist oder nicht. Der Wert des Registrierstartflags Xreg_start ist auf „1“ gesetzt, wenn das Registrierstarttastenbild 54 mit der Berührungsinteraktion beaufschlagt wird. Der Wert des Registrierstartflags Xreg_start ist andererseits auf „0“ gesetzt, wenn die Ausführung des ersten Parkbewegungsprozesses gestartet ist.
Wenn die CPU in Schritt 2545 eine Bestimmung „Ja“ ausführt, geht die CPU zu Schritt 2550 zum Beenden des Anzeigens des Registrierstarttastenbildes 54 auf der Anzeige 50 und zeigt das Kamerabild 51C und das Draufsichtbild 51P auf der Anzeige 50 an. Als Nächstes geht die CPU zu Schritt 2555 zum Starten der Ausführung des ersten Parkbewegungsprozesses zum Bewegen des Fahrzeugs 100 zu dem Registrierzielparkbereich 61set entlang der Zielbewegungsroute Rtgt. Als Nächstes geht die CPU zu Schritt 2595 zum vorläufigen Beenden der gegenwärtigen Routine.
Wenn die CPU in Schritt 2545 andererseits eine Bestimmung „Nein“ durchführt, geht die CPU zu Schritt 2595 zum vorläufigen Beenden der gegenwärtigen Routine.
Auch wenn die CPU in Schritt 2525 eine Bestimmung „Nein“ durchführt, geht die CPU zu Schritt 2595 zum vorläufigen Beenden der gegenwärtigen Routine.
Wenn die CPU in Schritt 2510 eine Bestimmung in „Nein“ durchführt, geht die CPU zu Schritt 2560 zum Bestimmen, ob ein Wert eines Zwischeninformationsbeschaffungsflags Xmid „1“ ist oder nicht. Der Wert des Zwischeninformationsbeschaffungsflags Xmid ist auf „1“ gesetzt, wenn die CPU prognostiziert, dass das Fahrzeug 100 damit weiter macht, sich gerade rückwärts ohne Abbiegen zu bewegen, bis die CPU das Parken des Fahrzeugs 100 im Parkplatz 62 durch die Parkassistenzsteuerung abschließt. Das heißt, der Wert des Zwischeninformationsbeschaffungsflags Xmid ist auf „0“ gesetzt, wenn eine Ausführung eines Prozesses von Schritt 2565 abgeschlossen ist.
Wenn die CPU in Schritt 2560 eine Bestimmung „Ja“ durchführt, geht die CPU zu Schritt 2565 zum Beschaffen der Vorabzwischeninformationen Imid_pre wie vorstehend beschrieben und registriert/speichert die beschafften Vorabzwischeninformationen Imid_pre im RAM. Als Nächstes geht die CPU zu Schritt 2570. Es wird angemerkt, dass die Vorabzwischenkoordinaten XYmid_pre und die Vorabzwischenluminanzmusterinformationen CTmid_pre, die in den Vorabzwischeninformationen Imid_pre enthalten sind, beruhend auf den Merkmalspunkten F beschafft werden, die in Schritt 2450 der in 24 gezeigten Routine beschafft werden, die unmittelbar vor dem gegenwärtigen Zeitpunkt ausgeführt wird.
Wenn die CPU in Schritt 2560 andererseits eine Bestimmung „Nein“ durchführt, geht die CPU zu Schritt 2570.
Wenn die CPU zu Schritt 2570 geht, fährt die CPU mit der Ausführung des ersten Parkbewegungsprozesses fort. Als Nächstes geht die CPU zu Schritt 2575 zum Bestimmen, ob ein Wert eines Parken-abgeschlossen-Flags Xpark_fin „1“ ist oder nicht. Der Wert des Parken-abgeschlossen-Flags Xpark_fin ist auf „1“ gesetzt, wenn sich das gesamte Fahrzeug 100 in den Registrierzielparkbereich 61set bewegt hat. Der Wert des Parken-abgeschlossen-Flags Xpark_fin ist andererseits auf „0“ gesetzt, wenn die Ausführung des ersten Parkbewegungsprozesses abgeschlossen ist.
Wenn die CPU in Schritt 2575 eine Bestimmung „Ja“ durchführt, geht die CPU zu Schritt 2580 zum Beenden der Ausführung des ersten Parkbewegungsprozesses. Dann geht die CPU zu Schritt 2595 zum vorläufigen Beenden der gegenwärtigen Routine.
Wenn die CPU in Schritt 2575 andererseits eine Bestimmung „Nein“ durchführt, geht die CPU zu Schritt 2595 zum vorläufigen Beenden der gegenwärtigen Routine. Wenn die CPU in Schritt 2505 eine Bestimmung „Nein“ durchführt, geht die CPU zu Schritt 2590 zum Beenden des Anzeigens des Draufsichtbildes 51P, und so weiter auf der Anzeige 50. Als Nächstes geht die CPU zu Schritt 2595 zum vorläufigen Beenden der gegenwärtigen Routine.
Außerdem ist die CPU zur Ausführung einer in 26 gezeigten Routine jedes Mal dann konfiguriert oder programmiert, wenn die vorbestimmte Zeit abläuft. Wenn ein geeigneter Zeitpunkt gekommen ist, startet die CPU eine Verarbeitung von einem in 26 gezeigten Schritt 2600 und geht zu Schritt 2605 zum Bestimmen, ob ein Wert eines Informationsregistrieranfrageflags Xreg_reg „1“ ist oder nicht. Der Wert des Informationsregistrieranfrageflags Xreg_reg ist auf „1“ gesetzt, wenn das Parken des Fahrzeugs 100 in dem Parkplatz 62 durch den ersten Parkbewegungsprozess abgeschlossen ist. Der Wert des Informationsregistrieranfrageflags Xreg_reg ist andererseits auf „0“ gesetzt, wenn die Parkplatzinformationen Ipark im RAM registriert sind.
Wenn die CPU in Schritt 2605 eine Bestimmung „Ja“ durchführt, geht die CPU zu Schritt 2615 zum Anzeigen des Registriertastenbildes 65 auf der Anzeige 50. Als Nächstes geht die CPU zu Schritt 2615 zum Bestimmen, ob ein Wert eines Registrierung-fixiert-Flags Xreg_det „1“ ist oder nicht. Der Wert des Registrierung-fixiert-Flags Xreg_det ist auf „1“ gesetzt, wenn das Registriertastenbild 55 mit der Berührungsinteraktion beaufschlagt wird. Der Wert des Registrierung-fixiert-Flags Xreg_det ist andererseits auf „0“ gesetzt, wenn ein Prozess von Schritt 2620 ausgeführt wird.
Wenn die CPU in Schritt 2615 eine Bestimmung „Ja“ durchführt, geht die CPU zu Schritt 2620 zum Registrieren/Speichern der Registriereingangsinformationen Ient_reg, der Registrierinneninformationen Iin_reg und der Registrierbereichsinformationen Iarea_reg im RAM wie vorstehend beschrieben als die Parkplatzinformationen Ipark. Es wird angemerkt, dass die Registrierinnenkoordinaten XYin_reg und die Registrierinnenluminanzmusterinformationen CTin_reg, die in den Parkplatzinformationen Ipark enthalten sind, beruhend auf den Merkmalspunkten F beschafft werden, die in Schritt 2450 der in 24 gezeigten Routine beschafft werden, der unmittelbar vor dem gegenwärtigen Zeitpunkt ausgeführt wird. Als Nächstes geht die CPU zu Schritt 2695 zum vorläufigen Beenden der gegenwärtigen Routine.
Wenn die CPU in Schritt 2615 andererseits eine Bestimmung „Nein“ durchführt, geht die CPU zu Schritt 2695 zum vorläufigen Beenden der gegenwärtigen Routine.
Wenn die CPU in Schritt 2605 eine Bestimmung „Nein“ durchführt, geht die CPU zu Schritt 2695 zum vorläufigen Beenden der gegenwärtigen Routine.
Die CPU ist außerdem zur Ausführung einer in 27 gezeigten Routine jedes Mal dann konfiguriert oder programmiert, wenn die vorbestimmte Zeit abläuft. Wenn ein geeigneter Zeitpunkt gekommen ist, startet die CPU eine Verarbeitung von einem in 27 gezeigten Schritt 2700 und geht zu Schritt 2705, um zu bestimmen, ob eine Startbedingung erfüllt ist oder nicht. Die Startbedingung ist erfüllt, wenn (i) die Fahrzeuggeschwindigkeit SPD „0“ ist und (ii) der Fahrer den Parkassistenzschalter 48 bedient. Wenn die Startbedingung erfüllt ist, führt die CPU in Schritt 2705 eine Bestimmung „Ja“ aus und geht zu Schritt 2710.
Im Schritt 2710 beschafft die CPU das maskierte Bild (das linke maskierte Bild) des linken Draufsichtbildes und das maskierte Bild (das rechte maskierte Bild) des rechten Draufsichtbildes, die in Schritt 2445 der in 24 gezeigten Routine beschafft werden, die unmittelbar vor dem gegenwärtigen Zeitpunkt ausgeführt wird, und geht zu Schritt 2715. In Schritt 2715 bestimmt die CPU, ob die Bildabschnitte mit den gleichen Luminanzmustern wie die Luminanzmuster der registrierten Eingangsluminanzmusterinformationen CTent_reg in dem linken maskierten Bild und/oder dem rechten maskierten Bild enthalten sind oder nicht.
Wenn die Bildabschnitte mit den gleichen Luminanzmustern wie die Luminanzmuster der registrierten Eingangsluminanzmusterinformationen CTent_reg in dem linken maskierten Bild und/oder dem rechten maskierten Bild enthalten sind, bestimmt die CPU, dass (i) das Fahrzeug 100 an dem Eingang 62ent des registrierten Parkplatzes 62 stoppt, und die automatische Parkstartbedingung erfüllt ist. Dann führt die CPU in Schritt 2715 eine Bestimmung „ja“ aus und geht zu Schritt 2720 zum Einstellen eines Werts eines Assistenzflags Xassist auf „1“. Danach geht die CPU zu einem Schritt 2795 zum vorläufigen Beenden der gegenwärtigen Routine.
Wenn keine Bildabschnitte mit den gleichen Luminanzmustern wie die Luminanzmuster der registrierten Eingangsluminanzmusterinformationen CTent_reg in dem linken maskierten Bild und dem rechten maskierten Bild enthalten sind, bestimmt die CPU, dass (i) in der Nähe des Fahrzeugs 100 kein registrierter Parkplatz 62 vorhanden ist, und (ii) die Registrierstartbedingung erfüllt ist. Dann führt die CPU in Schritt 2715 eine Bestimmung „Nein“ durch und geht zu Schritt 2725 zum Setzen des Registrierflags Xreg auf „1“. Danach geht die CPU zu Schritt 2795 zum vorläufigen Beenden der gegenwärtigen Routine.
Wenn die Startbedingung andererseits nicht erfüllt ist, wenn die CPU zu Schritt 2705 übergeht, führt die CPU in Schritt 2705 eine Bestimmung „Nein“ aus und geht zu Schritt 2795 zum vorläufigen Beenden der gegenwärtigen Routine.
In Schritt 2715 kann die CPU eine Bestimmung „Ja“ ausführen, wenn (i) die Bildabschnitte mit den gleichen Luminanzmustern wie die Luminanzmuster der registrierten Eingangsluminanzmusterinformationen CTent_reg in dem linken maskierten Bild und/oder dem rechten maskierten Bild enthalten sind, und (ii) eine Positionsbeziehung zwischen den Eingangsmerkmalspunkten Fent mit einer Positionsbeziehung zwischen den Bildabschnitten mit den gleichen Luminanzmustern wie die Luminanzmuster der registrierten Eingangsluminanzmusterinformationen CTent_reg übereinstimmt.
Außerdem ist die CPU zur Ausführung einer in 28 gezeigten Routine jedes Mal dann konfiguriert oder programmiert, wenn die vorbestimmte Zeit abläuft. Wenn ein geeigneter Zeitpunkt gekommen ist, startet die CPU eine Verarbeitung von einem in 28 gezeigten Schritt 2800 und geht zu Schritt 2805 zum Bestimmen, ob ein Wert eines Assistenzflags Xassist „1“ ist oder nicht. Der Wert des Assistenzflags Xassist ist auf „1“ gesetzt, wenn das Fahrzeug 100 am Eingang 63ent des registrierten Parkplatzes 62 stoppt. Der Wert des Assistenzflags Xassist ist andererseits auf „0“ gesetzt, wenn sich das Fahrzeug vom registrierten Parkplatz 63 entfernt, oder wenn das Parken des Fahrzeugs 100 im Parkplatz 62 abgeschlossen ist.
Wenn die CPU in Schritt 2805 eine Bestimmung „Ja“ durchführt, geht die CPU zu Schritt 2810 zum Bestimmen, ob ein Wert eines zweiten Parkbewegungsprozessflags X2_exe „0“ ist oder nicht. Der Wert des zweiten Parkbewegungsprozessflags X2_exe ist auf „1“ gesetzt, wenn eine Ausführung des zweiten Parkbewegungsprozesses gestartet ist. Der Wert des zweiten Parkbewegungsprozessflags X2_exe ist andererseits auf „0“ gesetzt, wenn die Ausführung des zweiten Parkbewegungsprozesses beendet ist.
Wenn die CPU in Schritt 2810 eine Bestimmung „Ja“ ausführt, geht die CPU zu Schritt 2815 zum Anzeigen des Kamerabildes 51C, des Draufsichtbildes 51P, des Parkbereichslinienbildes 52 und des Parkstarttastenbildes 56 auf der Anzeige 50.
Als Nächstes geht die CPU zu Schritt 2820 zum Bestimmen, ob ein Wert eines Parkstartflags Xpark_start „1“ ist oder nicht. Der Wert des Parkstartflags Xpark_start ist auf „1“ gesetzt, wenn das Parkstarttastenbild 56 mit der Berührungsinteraktion beaufschlagt wird. Der Wert des Parkstartflags Xpark_start ist andererseits auf „0“ gesetzt, wenn die Ausführung des zweiten Parkbewegungsprozesses gestartet ist.
Wenn die CPU in Schritt 2820 eine Bestimmung „Ja“ durchführt, geht die CPU zu Schritt 2825 zum Beenden der Anzeige des Parkstarttastenbildes 56 auf der Anzeige 50. Als Nächstes geht die CPU zu Schritt 2830 zum Einstellen des Zielparkbereichs 61tgt auf den Parkbereich 61, der dem Parkbereichslinienbild 57 entspricht. Dann geht die CPU zu Schritt 2825 zum Einstellen der Zielbewegungsroute Rtgt auf eine Bewegungsroute zum Bewegen des Fahrzeugs 100 zu dem Zielparkbereich 61tgt. Als Nächstes geht die CPU zu Schritt 2840 zum Starten der Ausführung des zweiten Parkbewegungsprozesses. Als Nächstes geht die CPU zu Schritt 2895 zum vorläufigen Beenden der gegenwärtigen Routine.
Wenn die CPU in Schritt 2820 andererseits eine Bestimmung „Nein“ durchführt, geht der Prozess zu Schritt 2895 zum vorläufigen Beenden der gegenwärtigen Routine.
Wenn die CPU in Schritt 2810 eine Bestimmung „Nein“ durchführt, geht die CPU zu Schritt 2845 zum Ausführen des zweiten Parkbewegungsprozesses. Als Nächstes geht die CPU zu Schritt 2850 zum Bestimmen, ob ein Wert eines Parken-abgeschlossen-Flags Xpark_fin „1“ ist oder nicht. Der Wert des Parken-abgeschlossen-Flags Xpark_fin ist auf „1“ gesetzt, wenn sich das gesamte Fahrzeug 100 in den Zielparkbereich 61tgt bewegt hat. Der Wert des Parken-abgeschlossen-Flags Xpark_fin ist andererseits auf „0“ gesetzt, wenn die Ausführung des zweiten Parkbewegungsprozesses beendet ist.
Wenn die CPU in Schritt 2850 eine Bestimmung „Ja“ ausführt, geht die CPU zu Schritt 2855 zum Beenden der Ausführung des zweiten Parkbewegungsprozesses. Dann geht die CPU zu Schritt 2895 zum vorläufigen Beenden der gegenwärtigen Routine.
Wenn die CPU in Schritt 2850 andererseits eine Bestimmung „Nein“ ausführt, geht die CPU zu Schritt 2895 zum vorläufigen Beenden der gegenwärtigen Routine.
Wenn die CPU in Schritt 2805 eine Bestimmung „Nein“ ausführt, geht die CPU zu Schritt 2860 zum Beenden der Anzeige des Draufsichtbildes 51P und so weiter auf der Anzeige 50. Dann geht die CPU zu Schritt 2895 zum vorläufigen Beenden der gegenwärtigen Routine.
Der spezifische Betrieb der Fahrzeugparkassistenzvorrichtung 10 wurde beschrieben. Gemäß der Fahrzeugparkassistenzvorrichtung 10 werden die Informationen nicht über die Merkmalspunkte des/der Objekte in und/oder um den Parkplatz 62, sondern die Merkmalspunkte F des Bodens 63 in und/oder um den Parkplatz 62 als die Registriereingangsinformationen Ient_reg registriert/gespeichert (vergleiche Schritt 2020 in 20). Dadurch ist es möglich, sicher zu bestimmen, dass die zu diesem Zeitpunkt beschafften Eingangsmerkmalspunkte Fent die Registriereingangsmerkmalspunkte Fent_reg sind, wenn das Fahrzeug 100 an dem Eingang 62ent des registrierten Parkplatzes 62 ankommt, wenn sich die Situation um das Fahrzeug 100 und den Parkplatz 62 zwischen dem Zeitpunkt der Registrierung der Registriereingangsinformationen Ient_reg und dem Zeitpunkt ändert, zu dem das Fahrzeug 100 dieses Mal an dem Eingang 62ent des registrierten Parkplatzes 62 ankommt. Infolgedessen kann sicher bestimmt werden, dass der Parkplatz 62, an dem das Fahrzeug 100 dieses Mal ankommt, der registrierte Parkplatz 62 ist. Somit kann das Fahrzeug 100 in dem registrierten Parkbereich 62 autonom geparkt werden.
Die vorliegende Offenbarung ist nicht auf das vorstehende Ausführungsbeispiel beschränkt, und innerhalb des Schutzbereichs der vorliegenden Offenbarung können verschiedene Abwandlungen angewendet werden.
Bei dem vorstehenden Ausführungsbeispiel erfassen die Abstandssonare 301 bis 312 das Objekt. Die Fahrzeugparkassistenzvorrichtung 10 kann das Objekt auf andere Weise erfassen. Beispielsweise beschafft die CPU ein Bild mit einem vorbestimmten Merkmalspunkt mit einer vorbestimmten Merkmalsgröße aus dem Kamerabild, das durch jede der Kameras 45 jedes Mal dann aufgenommen wird, wenn die vorbestimmte Zeit abläuft, als Bestimmungsmerkmalspunkt. Die CPU verwendet den Bestimmungsmerkmalspunkt zur Erfassung des Objekts aus dem Kamerabild. Wenn der Bestimmungsmerkmalspunkt (ein erster Bestimmungsmerkmalspunkt), der zu einem ersten Zeitpunkt beschafft wird, der gleiche wie der Bestimmungsmerkmalspunkt (ein zweiter Bestimmungsmerkmalpunkt) ist, der zu einem zweiten Zeitpunkt beschafft wird, schätzt die CPU eine Bewegungsroute von dem ersten Zeitpunkt zu dem zweiten Zeitpunkt beruhend auf der Fahrzeuggeschwindigkeit Vs und der Gierrate Yr zum Schätzen einer Position (einer zweiten Position) des Fahrzeugs 100 zu dem zweiten Zeitpunkt hinsichtlich einer Position (einer ersten Position) des Fahrzeugs 100 zu dem ersten Zeitpunkt. Die CPU spezifiziert eine Position und eine Höhe des Bestimmungsmerkmalspunkts bezüglich der Kamera beruhend auf dem zweiten Zeitpunkt, der Position des ersten Bestimmungsmerkmalspunkts in dem zu dem ersten Zeitpunkt aufgenommenen Kamerabild, und der Position des zweiten Bestimmungsmerkmalspunkts in dem zu dem zweiten Zeitpunkt aufgenommenen Kamerabild. Wenn die Höhe gleich oder größer als eine vorbestimmte Schwellenwerthöhe ist, bestimmt die CPU, dass das Objekt vorhanden ist.
Die Abstandssonare können durch beliebige andere Sensortypen ersetzt werden, solange jeder von ihnen zum Abstrahlen einer Radiowelle (beispielsweise eines Infrarotstrahls oder einer Radarwelle) und zum Empfangen einer reflektierten Radiowelle konfiguriert sind, um ein Objekt zu erfassen. Das heißt, die Abstandssonare können durch Infrarotradarsensoren und/oder Millimeterwellenbandradarsensoren ersetzt werden. Alternativ dazu können die Infrarotstrahlradarsensoren und/oder Millimeterwellenbandradarsensoren zusätzlich zu den Abstandssonaren angewendet werden.
Die Anzahl der Kamerasensoren 21 und die Anzahl der Abstandssonare sind nicht auf die in den 2 und 3 beschriebenen Zahlen beschränkt.
Eine Fahrzeugparkassistenzvorrichtung beschafft ein Merkmalsbild aus einem Registrierbild, das einen Parkplatz darstellt, zum Registrieren des Merkmalsbildes als Parkplatzinformationen. Das Registrierbild ist ein Bild, das eine Kamera aufnimmt, wenn die Fahrzeugparkassistenzvorrichtung eine Registrieranfrage zum Registrieren eines Parkbereichs empfängt, in den das Fahrzeug geparkt wird. Die Fahrzeugparkassistenzvorrichtung bestimmt, dass das Fahrzeug den durch die Parkplatzinformationen spezifizierten Parkbereich erreicht hat, wenn ein Bildabschnitt, der das gleiche Merkmal wie das Merkmalsbild aufweist, in einem Nach-Registrierbild enthalten ist. Die Fahrzeugparkassistenzvorrichtung spezifiziert ein Objektbild, das ein ein Objekt darstellendes Bild ist, aus dem Registrierbild, wenn das Objekt in dem dem Registrierbild entsprechenden Bereich vorhanden ist, und beschafft das Merkmalsbild beruhend auf dem Registrierbild, aus dem das spezifizierte Objektbild ausgenommen ist.

Claims

Fahrzeugparkassistenzvorrichtung mit einer Kamera (40, 41-44), die zum Aufnehmen eines Bildes konfiguriert ist, das einen Umgebungsbereich eines Fahrzeugs darstellt, und einer Steuereinrichtung (90, 11, 12, 13), die eingerichtet ist zum Registrieren von Informationen über einen Parkplatz als Parkplatzinformationen, der einen Parkbereich enthält, in dem das Fahrzeug geparkt werden wird, beruhend auf einem Registrierbild, das ein den Parkplatz darstellendes Bild ist, das die Kamera aufnimmt, wenn die Steuereinrichtung eine Registrieranfrage zum Registrieren des Parkbereichs von einem Fahrer des Fahrzeugs empfängt, und autonomen Parken des Fahrzeug in den Parkbereich beruhend auf den Parkplatzinformationen, wenn bestimmt wird, dass das Fahrzeug den durch die Parkplatzinformationen spezifizierten Parkplatz erreicht hat, nachdem die Parkplatzinformationen registriert wurden, wobei die Steuereinrichtung eingerichtet ist zum Beschaffen eines Merkmalsbildes, das ein Bild einer vorbestimmten Bereichsgröße ist und ein spezifisches Merkmal aufweist, aus dem Registrierbild (Schritt 2450) zum Registrieren des Merkmalsbildes als die Parkplatzinformationen (Schritt 2545, Schritt 2565, Schritt 2620), und Bestimmen, dass das Fahrzeug den durch die Parkplatzinformationen spezifizierten Parkbereich erreicht hat (Schritt 2720), wenn ein Bildabschnitt, der das gleiche Merkmal wie das Merkmalsbild aufweist, in einem Nach-Registrierbild enthalten ist („Ja“ in Schritt 2175), um das Fahrzeug in den Parkbereich in dem Parkplatz beruhend auf den Parkplatzinformationen autonom zu parken, wobei das Nach-Registrierbild ein Bild eines Bereichs ist, der durch die Kamera aufgenommen wird, nachdem die Steuereinrichtung die Parkplatzinformationen registriert hat, und wobei die Steuereinrichtung ferner eingerichtet ist zum Spezifizieren eines Objektbildes, das ein ein Objekt darstellendes Bild ist, aus dem Registrierbild (Schritt 2440), wenn das Objekt in dem dem Registrierbild entsprechenden Bereich vorhanden ist (Schritt 2420), und Beschaffen des Merkmalsbildes beruhend auf dem Registrierbild, aus dem das spezifizierte Objektbild ausgenommen ist (Schritt 2540, Schritt 2565, Schritt 2620).
Fahrzeugparkassistenzvorrichtung nach Anspruch 1, ferner mit einem Erfassungssensor (30, 301-312), der zum Abstrahlen eines Funkträgers zum Erfassen des Objekts durch Empfangen des Funkträgers eingerichtet ist, den das Objekt reflektiert, wobei die Steuereinrichtung eingerichtet ist zum Bestimmen, dass das Objekt in dem dem Registrierbild entsprechenden Bereich vorhanden ist („Ja“ in Schritt 2420), in einem Fall, in dem der Erfassungssensor das Objekt erfasst, wenn die Steuereinrichtung die Registrieranfrage empfängt, und Spezifizieren des Objektbildes aus dem Registrierbild beruhend auf dem Objekt, das der Erfassungssensor erfasst (Schritte 2425-2445).
Fahrzeugparkassistenzvorrichtung nach Anspruch 2, wobei der Erfassungssensor zum Abstrahlen des Funkträgers zu einem vorbestimmten Strahlungsbereich eingerichtet ist, in dem eine Mittelachse mittig vorhanden ist, wobei die Steuereinrichtung eingerichtet ist zum Beschaffen eines Draufsichtbildes, wobei das Draufsichtbild ein Bild ist, wenn ein durch die Kamera aufgenommenes Bild von einem Beobachtungspunkt aus betrachtet wird, der über der Kamera positioniert ist (Schritt 2415), Beschaffen einer virtuellen Linie zwischen einem weitesten Punkt von Erfassungsergebnissen, die das durch den Erfassungssensor erfasste Objekt in dem Draufsichtbild darstellen, und der Kamera, wobei der weiteste Punkt ein Punkt ist, der die weiteste Entfernung zu der Kamera unter den Erfassungsergebnissen hat (Schritt 2430), Beschaffen einer ersten virtuellen Linie, die sich von dem weitesten Punkt in die gleiche Richtung wie die virtuelle Linie erstreckt, wobei die Richtung eine Richtung weg von der Kamera ist (Schritt 2430), Beschaffen einer zweiten virtuellen Linie, die sich von einem nächsten Punkt der Erfassungsergebnisse in eine Richtung erstreckt, die parallel zur Mittelachse des Strahlungsbereichs des Erfassungssensors ist, wobei der nächste Punkt ein Punkt ist, der die kürzeste Entfernung zur Kamera aufweist (Schritt 2435), und Bestimmen eines Bildes eines Bereichs als das Objektbild, der durch die Erfassungsergebnisse, die erste virtuelle Linie und die zweite virtuelle Linie definiert ist (Schritt 2440).
Fahrzeugparkassistenzvorrichtung nach Anspruch 3, wobei der Erfassungssensor und die Kamera zum Anbringen am Fahrzeug derart konfiguriert sind, dass eine Richtung der Mittelachse des Strahlungsbereichs des Erfassungssensors mit einer Richtung einer Mittelachse eines Aufnahmebereichs der Kamera übereinstimmt.
Fahrzeugparkassistenzvorrichtung nach Anspruch 1, wobei die Steuereinrichtung eingerichtet ist zum Spezifizieren des Objektbildes, das ein das Objekt darstellendes Bild ist, aus dem Nach-Registrierbild (Schritt 2440), wenn das Objekt in einem dem Nach-Registrierbild entsprechenden Bereich vorhanden ist („Ja“ in Schritt 2420), und Bestimmen, ob ein von dem spezifizierten Objektbild in dem Nach-Registrierbild verschiedenes Bild das Merkmalsbild enthält oder nicht (Schritt 2710, Schritt 2715).