DE102019133320B4

DE102019133320B4 - Programm zur Bedienung eines Fahrzeugs von außerhalb des Fahrzeugs

Info

Publication number: DE102019133320B4
Application number: DE102019133320.2A
Authority: DE
Inventors: Jumpei FUKE
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2019-01-07
Filing date: 2019-12-06
Publication date: 2023-06-01
Anticipated expiration: 2039-12-07
Also published as: US11767058B2; US20220214683A1; JP2020109593A; DE102019133320A1; JP7167716B2; US20200218250A1; US11327478B2

Abstract

Bei einem Mobilendgerät einschließlich eines Computers, einer Kamera, einer Anzeige, und eines Kommunikationsgeräts gespeichertes Programm, wobei das Programm dazu eingerichtet ist, um ein Bedienzielfahrzeug von außerhalb unter Verwendung des Mobilendgeräts zu bedienen, wobei das Bedienzielfahrzeug vorab registriert ist, wobei das Programm den Computer dazu bringt, auszuführen:einen Schritt eines Schätzens einer Distanz von dem Mobilendgerät zu dem Bedienzielfahrzeug basierend auf einer Größe eines Bilds des Bedienzielfahrzeugs, das in einem aufgenommenen Bild der Kamera enthalten ist,einen Schritt eines Bestimmens, ob die geschätzte Distanz geringer als eine vorbestimmte Schwelle ist oder nicht,einen Schritt eines Empfangens einer Bedienanweisung bezüglich des Bedienzielfahrzeugs, wenn die geschätzte Distanz geringer als die Schwelle ist,einen Schritt eines Dazubringens des Kommunikationsgeräts, ein Signal, das eine Bedienung anweist, als Reaktion auf die empfangene Bedienanweisung auszugeben, undeinen Schritt eines Anzeigens eines Vorschlagbildes auf der Anzeige derart, um mit dem aufgenommenen Bild der Kamera überlagert zu sein, wobei das Vorschlagbild vorschlägt, ob die Distanz von dem Mobilendgerät zu dem Bedienzielfahrzeug geringer als die Schwelle ist oder nicht, wobei das Vorschlagbild eine Bildhöhe hat, die mit einer Bildhöhe des Bedienzielfahrzeugs übereinstimmt, wenn die Distanz von dem Mobilendgerät zu dem Bedienzielfahrzeug gleich der Schwelle ist,wobei bei dem Schritt eines Anzeigens des Vorschlagbildes auf der Anzeige das Vorschlagbild derart angezeigt wird, dass ein unteres Ende des Bildes des Bedienzielfahrzeugs, das in dem aufgenommenen Bild der Kamera enthalten ist, im Wesentlichen mit einem unteren Ende des Vorschlagbildes übereinstimmt.

Description

Hintergrund der Erfindung
1. Gebiet der Erfindung
Die Erfindung bezieht sich auf ein Programm zur Bedienung eines Fahrzeugs von außerhalb des Fahrzeugs.
2. Beschreibung des verwandten Stands der Technik
Die japanische Patentanmeldungsveröffentlichung Nummer JP 2016 - 7 959 A offenbart ein Fahrzeuggerät, das es ermöglicht, dass eine Parkbedienung von außerhalb eines Fahrzeugs durch Verwendung eines Mobilendgeräts durchgeführt wird. Die japanische Patentanmeldungsveröffentlichung Nummer JP 2015 - 89 733 A offenbart ein Parkassistenzsystem, das eine Distanz zwischen einem Fahrzeug und einem Mobilendgerät durch Übertragen und Empfangen einer Ultraschallwelle zwischen einem fahrzeugseitigen Gerät und dem Mobilendgerät misst, und das das Fahrzeug bewegt, wenn sich die gemessene Distanz innerhalb einer vorbestimmten Spanne befindet.
Aus der Druckschrift DE 10 2018 113 078 A1 sind Fahrzeugfernparksysteme und -verfahren bekannt. Insbesondere werden in Druckschrift DE 10 2018 113 078 A1 Systeme, Verfahren und computerlesbare Medien zum Bestimmen einer Entfernung zwischen einem Fahrzeug und einer Rechenvorrichtung während eines Fernparkbetriebs offenbart. Ein beispielhaftes Verfahren beinhaltet ein Empfangen eines 3D-Modells eines Fahrzeugs und von Fahrzeuginertialdaten durch eine Rechenvorrichtung. Das Verfahren beinhaltet darüber hinaus ein Festhalten eines Bildes des Fahrzeugs. Das Verfahren beinhaltet ferner ein Bestimmen einer Entfernung zwischen der Rechenvorrichtung und dem Fahrzeug auf Grundlage des Bildes und des 3D-Modells und ein Aktualisieren der Entfernung auf Grundlage der Fahrzeuginertialdaten.
Ferner lehrt die Druckschrift DE 10 2015 223 471 A1 ein System zum Einparken eines Fahrzeugs mit einem mobilen Endgerät und dem Fahrzeug. Das mobile Endgerät umfasst zumindest eine erste Bilderfassungseinrichtung zur Erfassung von ersten Bilddaten, eine erste Recheneinheit, die dazu ausgebildet ist, um die ersten Bilddaten von der ersten Bilderfassungseinrichtung zu empfangen und auf Basis der ersten Bilddaten, Informationen, die eine Parkposition angeben, zu generieren, und eine Übertragungseinrichtung zum Übertragen der Informationen. Das Fahrzeug umfasst eine Empfangseinrichtung, die dazu ausgebildet ist, die Informationen zu empfangen, eine zweite Recheneinheit, die dazu ausgebildet ist, auf Basis der Informationen eine Einparkstrategie zu bestimmen, und eine Einparkvorrichtung, die dazu ausgebildet ist, unter Berücksichtigung der Einparkstrategie das Fahrzeug an der Parkposition zu parken.
Die Druckschrift JP 2018-176823 A offenbart ein portables Gerät für ein Fahrzeug. Das portable Gerät umfasst einen Fahrzeugbestimmungsabschnitt, der bestimmt, ob ein Merkmalsabschnitt des Fahrzeugs, das mit dem portablen Gerät bedient werden kann, in einem mit einer Kamera aufgenommenen Bild vorhanden ist oder nicht, einen Kommunikationsabschnitt, der auf der Grundlage der Bestimmung, dass ein Merkmalsabschnitt des Fahrzeugs vorhanden ist, einen Bewegungsbefehl, der ein Befehl zum Bewegen des eigenen Fahrzeugs in einen Bereich ist, in dem ein Parken möglich ist, an einen bordseitigen Steuerabschnitt überträgt, das an dem Fahrzeug zum Steuern der Bewegung des Fahrzeugs angebracht ist, und einen Anhalteabschnitt, der einen Befehl ausgibt, um den bordseitigen Steuerabschnitt zu veranlassen, einen Anhaltebefehl zum Anhalten der Bewegung des Fahrzeugs an den Kommunikationsabschnitt zu übertragen, basierend auf der Bedienung einer Person, die das portable Gerät für das Fahrzeug besitzt.
Zudem sind aus der Druckschrift JP 2019-057767 A ein portables Endgerät und ein Fernbedienverfahren bekannt. Gemäß der Druckschrift JP 2019-057767 A wird, wenn Abstandsinformationen über den Abstand zu einem Fahrzeug auf der Grundlage eines aufgenommenen Bildes erfasst werden und der Abstand von dem portablen Endgerät zu dem Fahrzeug innerhalb eines zulässigen Abstands liegt, eine Fernbedienung des portablen Endgeräts zulässig, und ein Bediensignal wird von dem portablen Endgerät an das Fahrzeug übertragen. Wenn ein Benutzer das portable Endgerät trägt, kann der Benutzer feststellen, ob er sich in der Nähe des Fahrzeugs befindet oder nicht, und wenn der Benutzer sich in der Nähe des Fahrzeugs befindet, kann der Benutzer das Fahrzeug durch Fernbedienung unter Verwendung des portablen Endgeräts bewegen, auch wenn er keinen elektronischen Schlüssel trägt.
Weiterer Stand der Technik kann der Druckschrift WO 2015 / 068 032 A1 , die ein Parkunterstützungssystem offenbart, der Druckschrift JP H 11-51639 A , die eine Abstandsmessvorrichtung für ein Fahrzeug offenbart, der Druckschrift JP 2016 - 225930 A , die ein Lagerzuordnungsinformationserzeugungsgerät, ein Lagerzuordnungsinformationserzeugungssystem, ein Lagerzuordnungsinformationserzeugungsverfahren, ein Bildgebungsgerät, und ein Programm offenbart, der Druckschrift JP 2005-189087 A , die Abstandsmessausrüstung und ein Programm offenbart, der Druckschrift JP 2016 - 529767 A , die ein Fernsteuerverfahren offenbart, der Druckschrift JP 2007 - 295033 A , die eine Fernbedienungssteuereinrichtung und ein Bedienendgerät davon offenbart, sowie der Druckschrift JP 2014-033320 A , die ein Fahrzeugabfahrtsrichtungs- und Rufpositionserkennungsgerät offenbart, entnommen werden.
Zusammenfassung der Erfindung
In dem Fall einer Durchführung einer Fernparkbedienung bzw. eines Fernparkbetriebs (nachstehend „Fernparken“ genannt) unter Verwendung eines Mobilendgeräts von außerhalb eines Fahrzeugs ist es notwendig, einen Bereich, der von einem Mobilendgerät bedienbar ist, innerhalb einer durch Gesetz bestimmten Spanne einzuschränken. Gemäß der in JP 2015-089733 A offenbarten Konfiguration wird die Distanz zwischen dem Fahrzeug und dem Mobilendgerät durch Übertragen und Empfangen einer Ultraschallwelle gemessen. Jedoch ist es nicht realistisch, eine Ultraschallkommunikationsfunktion bei Mehrzweckmobilendgeräten wie Smartphones zu montieren.
Daher ist es eine Aufgabe der vorliegenden Erfindung, ein Programm bereitzustellen, das dazu in der Lage ist, einen Fahrzeugbedienungsbereich, der von außerhalb des Fahrzeugs unter Verwendung eines Mehrzweckmobilendgeräts wie eines Smartphones bedienbar ist, zu beschränken.
Die vorliegende Erfindung bezieht sich auf ein bei einem Mobilendgerät einschließlich eines Computers, einer Kamera, einer Anzeige, und eines Kommunikationsgeräts gespeichertes Programm, wobei das Programm dazu eingerichtet ist, um ein Bedienzielfahrzeug von außerhalb unter Verwendung des Mobilendgeräts zu bedienen, wobei das Bedienzielfahrzeug vorab registriert ist. Das Programm bringt einen Computer dazu, auszuführen: einen Schritt eines Schätzens einer Distanz von dem Mobilendgerät zu dem Bedienzielfahrzeug basierend auf einer Größe eines Bilds des Bedienzielfahrzeugs, das in einem aufgenommenen Bild der Kamera enthalten ist, einen Schritt eines Bestimmens, ob die geschätzte Distanz geringer als eine vorbestimmte Schwelle ist oder nicht, einen Schritt eines Empfangens einer Bedienanweisung bezüglich des Bedienzielfahrzeugs, wenn die geschätzte Distanz geringer als die Schwelle ist, einen Schritt eines Dazubringens des Kommunikationsgeräts, ein Signal, das eine Bedienung anweist, als Reaktion auf die empfangene Bedienanweisung auszugeben, und einen Schritt eines Anzeigens eines Vorschlagbildes auf der Anzeige derart, um mit dem aufgenommenen Bild der Kamera überlagert zu sein, wobei das Vorschlagbild vorschlägt, ob die Distanz von dem Mobilendgerät zu dem Bedienzielfahrzeug geringer als die Schwelle ist oder nicht, wobei das Vorschlagbild eine Bildhöhe hat, die mit einer Bildhöhe des Bedienzielfahrzeugs übereinstimmt, wenn die Distanz von dem Mobilendgerät zu dem Bedienzielfahrzeug gleich der Schwelle ist, wobei bei dem Schritt eines Anzeigens des Vorschlagbildes auf der Anzeige das Vorschlagbild derart angezeigt wird, dass ein unteres Ende des Bildes des Bedienzielfahrzeugs, das in dem aufgenommenen Bild der Kamera enthalten ist, im Wesentlichen mit einem unteren Ende des Vorschlagbildes übereinstimmt.
Die vorliegende Erfindung kann ein Programm bereitstellen, das dazu in der Lage ist, einen Fahrzeugbedienungsbereich, der von außerhalb des Fahrzeugs unter Verwendung eines Mehrzweckmobilendgeräts wie eines Smartphones bedienbar ist, zu beschränken.
Figurenliste
Merkmale, Vorteile, und technische und industrielle Signifikanz beispielhafter Ausführungsbeispiele der Erfindung werden nachstehend unter Bezugnahme auf die anhängenden Zeichnungen beschrieben, in denen gleiche Bezugszeichen gleiche Elemente bezeichnen, und wobei:

1 ein Funktionsblockdiagramm ist, das die schematische Konfiguration eines Fernparksystems gemäß einem Ausführungsbeispiel zeigt,
2A ein Flussdiagramm ist, das einen durch ein Fahrzeugbedienprogramm gemäß dem Ausführungsbeispiel ausgeführten Steuerprozess zeigt,
2B ein Flussdiagramm ist, das einen Steuerprozess nachfolgend auf 2A zeigt,
3A eine erklärende Ansicht ist, die ein Beispiel eines Verfahrens zur Identifizierung eines Bedienzielfahrzeugs zeigt,
3B eine erklärende Ansicht ist, die ein Beispiel des Verfahrens zur Identifizierung des Bedienzielfahrzeugs zeigt,
3C eine erklärende Ansicht ist, die ein Beispiel des Verfahrens zur Identifizierung des Bedienzielfahrzeugs zeigt,
3D eine erklärende Ansicht ist, die ein Beispiel des Verfahrens zur Identifizierung des Bedienzielfahrzeugs zeigt,
4 eine erklärende Ansicht ist, die eine Beziehung zwischen einer Fotografierposition und einer Fahrzeughöhe zeigt,
5 eine Beziehung zwischen einem Fahrzeugbedienbereich bzw. einer Fahrzeugbedienspanne und der Position eines Mobilendgeräts zeigt,
6A ein Bild des Fahrzeugs zeigt, das von einer in 5 gezeigten Position P1 fotografiert ist,
6B ein Bild des Fahrzeugs zeigt, das von einer in 5 gezeigten Position P2 fotografiert ist, und
6C ein Bild des Fahrzeugs zeigt, das von einer in 5 gezeigten Position P3 fotografiert ist.

Detaillierte Beschreibung von Ausführungsbeispielen
Ein Fahrzeugbedienprogramm gemäß einem Ausführungsbeispiel der vorliegenden Erfindung schätzt eine Distanz von einem Mobilendgerät zu einem Fahrzeug basierend auf der Größe eines in einem mit einer Kamera des Mobilendgeräts fotografierten bzw. aufgenommenen Bild enthaltenen Fahrzeugbildes und bestimmt die Korrektheit der Fernparkbedienung gemäß der geschätzten Distanz. Daher wird es möglich, den Bereich bzw. die Spanne, in der eine Fernsteuerung des Fahrzeugs unter Verwendung eines Mehrzweckmobilendgeräts mit einer Kamera erlaubt ist, zu beschränken.
Ausführungsbeispiele
1 ist ein Funktionsblockdiagramm, das die schematische Konfiguration eines Fernparksystems gemäß einem Ausführungsbeispiel zeigt.
Konfiguration
Das Fernparksystem gemäß dem vorliegenden Ausführungsbeispiel ist mittels eines Mobilendgeräts 10, bei dem ein Programm zur Ausführung von Fernparken von außerhalb des Fahrzeugs installiert ist, und eines fahrzeugseitigen Geräts 21, das ein Fahrzeug 20 als Reaktion auf eine Anweisung von dem Mobilendgerät 10 betreibt, konfiguriert.
Das Mobilendgerät 10 ist ein Mehrzweckcomputer, der eine Installation und eine Ausführung von Programmen (Anwendungen) für Smartphones, Tablets, oder andere Geräte ermöglicht. Das Mobilendgerät 10 umfasst eine Kamera 1, einen Prozessor 2, einen Speicher 3, eine Anzeige 4, eine Berührtafel 5, und ein Kommunikationsgerät 6. Bei dem Speicher 3 ist ein Fahrzeugbedienprogramm zur Ausführung von Fernparken des Fahrzeugs 20 installiert, wobei das Fahrzeugbedienprogramm bzw. Fahrzeugbetriebsprogramm mittels eines Computers ausführbar ist. Wenn der Prozessor 2 das Fahrzeugbedienprogramm, das bei dem Speicher 3 gespeichert ist, ausführt, wirkt das Mobilendgerät 10 als ein Fahrzeugbediengerät bzw. Fahrzeugbetriebsgerät zur Ausführung des Fernparkens. Das Fahrzeugbedienprogramm schätzt eine Distanz von dem Mobilendgerät 10 zu dem Fahrzeug 20 basierend auf der Größe eines Bildes des Fahrzeugs 20, das in einem fotografierten bzw. aufgenommenen Bild der Kamera 1 enthalten ist. Wenn die geschätzte Distanz eine Distanz ist, die eine Fernsteuerung des Fahrzeugs 20 ermöglicht, lässt das Fahrzeugbedienprogramm ein Fernparken zu und bringt das Kommunikationsgerät 6 dazu, ein Signal, das ein Fernparken anweist, zu dem fahrzeugseitigen Gerät 21 auszugeben. Die Details des Programms einer Ausführung von Fernparken werden nachstehend beschrieben.
Das fahrzeugseitige Gerät 21 kommuniziert mit dem Kommunikationsgerät 6 des Mobilendgeräts 10 und steuert eine Parkbedienung bzw. einen Parkbetrieb des Fahrzeugs 20 als Reaktion auf eine Anweisung von dem Mobilendgerät 10. Das fahrzeugseitige Gerät 21 ist als eine ECU beispielsweise mit einem Prozessor und einem Speicher implementiert. Der Prozessor liest und führt aus ein Fernparkprogramm, das in dem Speicher vorgespeichert ist, und steuert das Fahrzeug 20 durch Ausgabe, basierend auf dem Ergebnis einer Ausführung des Programms, von Betriebsanweisungen bzw. Bedienanweisungen an ECUs wie eine Antriebsstrang-ECU, eine Lenk-ECU, und eine Brems-ECU. Die Betriebsart einer Kommunikation zwischen dem fahrzeugseitigen Gerät 21 und dem Mobilendgerät 10 ist nicht speziell beschränkt, solange es eine weitverbreitete bzw. verwendete Kommunikationsbetriebsart ist, die in den Mehrzweckmobilendgeräten eingesetzt wird, wie Bluetooth (registrierte Handelsmarke) und Wi-Fi (registrierte Handelsmarke).
Steuerprozess
Ein Steuerprozess des Fahrzeugbedienprogramms wird nachstehend unter Bezugnahme auf 1 zusammen mit 2A bis 6B beschrieben.
2A und 2B sind Flussdiagramme, die einen durch das Fahrzeugbedienprogramm gemäß dem Ausführungsbeispiel ausgeführten Steuerprozess zeigen. 3A bis 3D sind erklärende Ansichten, die Beispiele eines Verfahrens zur Identifizierung eines Bedienzielfahrzeugs zeigen. 4 ist eine erklärende Ansicht bezüglich einer Beziehung zwischen einer Fotografierposition und einer Fahrzeughöhe. Der in 2A und 2B gezeigte Steuerprozess wird als Reaktion auf eine Anweisung zum Starten des Fahrzeugbedienprogramms (Anwendung), das bei dem Mobilendgerät 10 installiert ist, gestartet.
Schritt S1: Der Prozessor 2 bestimmt, ob Information bezüglich eines Bedienzielfahrzeugs (nachstehend als „Fahrzeuginformation“ bezeichnet) bereits registriert ist oder nicht. Die Fahrzeuginformation wird zur Identifizierung des Fahrzeugs als ein Ziel eines Fernparkens verwendet. Als die Fahrzeuginformation kann Information wie ein Fahrzeugtyp, eine Karosseriefarbe, und eine Nummernschildnummer bzw. Kennzeichennummer unabhängig voneinander oder in geeigneter Kombination verwendet werden. Wenn das Ergebnis einer Bestimmung in Schritt S1 JA ist, schreitet der Prozess zu Schritt S3 fort. Anderenfalls schreitet der Prozess zu Schritt S2 fort.
Schritt S2: Der Prozessor 2 führt einen Registrierprozess der Fahrzeuginformation aus. Beispielsweise zeigt der Prozessor 2 auf der Anzeige 4 ein Eintragformular der Fahrzeuginformation an und ermuntert einen Benutzer bzw. fordert diesen auf, notwendige Fahrzeuginformation zu registrieren. Der Benutzer kann Fahrzeuginformation durch Bedienung der Berührtafel 5 oder andere Bedienungen eingeben. Der Prozessor 2 kann die eingegebene Information in dem Speicher 3 speichern, oder kann die Information bei einem externen Server über das Kommunikationsgerät 6 speichern. Dann schreitet der Prozess zu Schritt S1 fort.
Schritt S3: Der Prozessor 2 startet die Kamera 1 und startet eine Bildaufnahme bzw. ein Fotografieren eines Bilds mit der Kamera 1. Sobald ein Fotografieren gestartet ist, zeigt der Prozessor 2 auf der Anzeige 4 ein mit der Kamera 1 aufgenommenes Bild und eine Nachricht, die den Benutzer ermuntert bzw. auffordert, ein Bild des Bedienzielfahrzeugs zu fotografieren, auf eine überlagerte Weise wie in 3A gezeigt an. Die mittels der Kamera 1 von dem Start eines Fotografierens bzw. Aufnehmens in Schritt S3 bis zu einer Ausführung eines später beschriebenen Schrittes S10 fotografierten bzw. aufgenommenen Bilder sind Bilder, die zur Identifizierung des Bedienzielfahrzeugs verwendet werden. Daher muss, wie in 3A gezeigt, das fotografierte bzw. aufgenommene Bild das Bedienzielfahrzeug enthalten. Obwohl in 3A ein Bild des gesamten Fahrzeugs 20 als ein Bedienziel von der Vorderseite aufgenommen ist, kann das aufgenommene Bild nur einige Abschnitte des Bedienzielfahrzeugs enthalten, oder das aufgenommene Bild kann ein anderes Fahrzeug zusammen mit dem Fahrzeug 20 als das Bedienziel enthalten. Dann schreitet der Prozess zu Schritt S4 fort.
Schritt S4: Der Prozessor identifiziert das in dem aufgenommenen Bild enthaltene Bedienzielfahrzeug basierend auf dem aufgenommenen Bild der Kamera 1 und der vorab registrierten Fahrzeuginformation. Insbesondere extrahiert, wenn das aufgenommene Bild ein Bild des Fahrzeugs enthält, der Prozessor 2 Merkmale des Fahrzeugs, die in dem aufgenommenen Bild enthalten sind. Der Prozessor 2 kollationiert bzw. vereinigt bzw. ordnet zu extrahierte Fahrzeugmerkmalsinformation zu der vorab registrierten Fahrzeuginformation und identifiziert das in dem aufgenommenen Bild enthaltene Fahrzeug als ein Bedienzielfahrzeug basierend auf einem Übereinstimmungsgrad der beiden Informationen. Beispielsweise kann, wenn das aufgenommene Bild das in 3A gezeigte Bild ist, die Information auf der Nummernschildnummer als ein Merkmal des Fahrzeugs extrahiert werden. Da die Nummernschildnummer eine eindeutige Information ist, kann das in dem aufgenommenen Bild enthaltene Fahrzeug unmittelbar als ein Bedienzielfahrzeug identifiziert werden, wenn die extrahierte Nummernschildnummer mit der registrierten Nummernschildnummer übereinstimmt. Jedoch kann es einen Fall geben, in dem nicht alle der Zeichen der Nummernschildnummer in dem aufgenommenen Bild erkennbar sind aufgrund von Fotografierbedingungen bzw. Aufnahmebedingungen, Hindernissen, oder dergleichen. In diesem Fall versucht der Prozessor 2 das Bedienzielfahrzeug durch Verwenden eines Fahrzeugtyps oder einer Karosseriefarbe, die von dem Bild identifiziert sind, als ein Bestimmungsmaterial zusammen mit dem Erkennungsergebnis der Nummernschildnummer bzw. Kennzeichennummer zu identifizieren. Beispielsweise wird der Fall eines in 3B gezeigten aufgenommenen Bildes angenommen. In diesem Fall stimmt die Nummernschildnummer nicht vollständig mit der Registrierinformation aus einem solchen Grund überein, dass das aufgenommene Bild zwei Fahrzeuge enthält und nicht alle der die Nummernschildnummer ausbildenden Zeichen erkennbar sind. In diesem Fall kann, wenn die Nummernschildnummer eines der Fahrzeuge teilweise mit der Registrierinformation übereinstimmt und die Karosseriefarbe (beispielsweise weiß) des einen Fahrzeugs mit der registrierten Karosseriefarbe übereinstimmt, das Bedienzielfahrzeug in dem fotografierten bzw. aufgenommenen Bild identifiziert werden. Dann schreitet der Prozess zu Schritt S5 fort.
Schritt S5: Der Prozessor 2 bestimmt, ob das Bedienzielfahrzeug in dem aufgenommenen Bild in Schritt S 4 identifiziert ist oder nicht. Wenn das Ergebnis der Bestimmung in Schritt S2 JA ist, schreitet der Prozess zu Schritt S10 fort. Anderenfalls schreitet der Prozess zu Schritt S6 fort.
Schritt S6: Der Prozessor 2 identifiziert das in dem aufgenommenen Bild enthaltene Bedienzielfahrzeug basierend auf einem Blitzzustand bzw. Beleuchtungszustand einer Leuchte des Fahrzeugs. Bei Bestimmung von NEIN in Schritt S5 weist der Prozessor 2 das fahrzeugseitige Gerät 21 über das Kommunikationsgerät 6 an, eine Fahrzeugleuchte (eine oder mehrere Typen einer Leuchte aus einem Scheinwerfer, einer kleinen Leuchte, und Blinkern) einzuschalten. Ein Blitzverfahren bzw. Leuchtverfahren bzw. Beleuchtungsverfahren der Fahrzeugleuchte ist nicht besonders beschränkt. Die Fahrzeugleuchte kann kontinuierlich für eine feste Zeit eingeschaltet werden, oder kann mit einem vorbestimmten Zyklus oder Muster blinken gelassen werden. Eine Vielzahl von Arten von Leuchten kann in Kombination eingeschaltet werden. Beispielsweise wird der Fall eines in 3C gezeigten aufgenommenen Bildes angenommen. In diesem Fall kann das Bedienzielfahrzeug nicht mit nur der Information bezüglich der Nummernschildnummer identifiziert werden, da das aufgenommene Bild zwei Fahrzeuge enthält, die identisch in einem Fahrzeugtyp oder einer Karosseriefarbe sind. In diesem Fall weist der Prozessor 2 das fahrzeugseitige Gerät 21 mittels des Kommunikationsgeräts 6 an, die Lampe kontinuierlich einzuschalten. Wenn bei einem der Fahrzeuge in dem aufgenommenen Bild die Leuchte kontinuierlich eingeschaltet ist, kann das Bedienzielfahrzeug in dem aufgenommenen Bild identifiziert werden. Dann schreitet der Prozess zu Schritt S7 fort.
Schritt S7: Der Prozessor bestimmt, ob das Bedienzielfahrzeug in Schritt S6 in dem aufgenommenen Bild identifiziert werden kann. Wenn das Ergebnis der Bestimmung in Schritt S7 JA ist, schreitet der Prozess zu Schritt S10 fort. Anderenfalls schreitet der Prozess zu Schritt S8 fort.
Schritt S8: Der Prozessor 2 weist den Benutzer an, das Bedienzielfahrzeug auszuwählen. Beispielsweise wird der Fall eines in 3D gezeigten aufgenommenen Bildes angenommen. In diesem Fall kann das Bedienzielfahrzeug nicht mit nur der Information bezüglich der Nummernschildnummer identifiziert werden, da das aufgenommene Bild zwei Fahrzeuge enthält, die identisch in einem Fahrzeugtyp und einer Karosseriefarbe sind. Zudem ist es, da es Nachtzeit ist, auch schwierig, das Bedienzielfahrzeug basierend auf dem Vorhandensein des Leuchtens der Leuchte zu identifizieren. In diesem Fall zeigt der Prozessor 2 auf der Anzeige 4 eine Nachricht an, die den Benutzer dazu ermuntert bzw. auffordert, das Bedienzielfahrzeug mittels Tippbedienung auszuwählen, wie in 3D gezeigt. Der Benutzer wählt das Bedienzielfahrzeug mittels Tippbedienung auf der Berührtafel 5 aus. Dann schreitet der Prozess zu Schritt S10 fort.
Schritt S9: Der Prozessor 2 identifiziert das in Schritt S8 ausgewählte Fahrzeug als ein Bedienzielfahrzeug. Dann schreitet der Prozess zu Schritt S10 fort.
Wie in Schritten S8 und S9 beschrieben, kann, wenn ein spezifischer Prozess des Bedienzielfahrzeugs mittels einer Benutzereingabe ausgeführt wird, der spezifische Prozess des Bedienzielfahrzeugs basierend auf der Fahrzeuginformation oder dem Leuchtzustand der Leuchte wie in Schritten S4 bis S7 beschrieben weggelassen werden. Jedoch kann, wenn der spezifische Prozess des Bedienzielfahrzeugs basierend auf der Fahrzeuginformation oder dem Leuchtzustand der Leuchte ausgeführt wird, das Bedienzielfahrzeug nur durch Aufnahme des Fahrzeugs mittels der Kamera 1 identifiziert werden, ohne dass eine Eingabebedienung durch den Benutzer notwendig ist. Daher werden eine verbesserte Zweckmäßigkeit bzw. ein verbesserter Komfort bereitgestellt.
Schritt S10: Der Prozessor 2 erlangt ein Bild des in dem Prozess der Schritte S4 bis S9 aus dem aufgenommenen Bild der Kamera 1 identifizierten Bedienzielfahrzeugs. Das Bild des Bedienzielfahrzeugs, das in Schritt S10 erlangt wird, wird zur Schätzung der Distanz von dem Mobilendgerät 10 zu dem Fahrzeug 20 in einem nachfolgenden Schritt verwendet. Dann schreitet der Prozess zu Schritt S11 fort.
Nachstehend wird das Prinzip der Distanzschätzung bei dem vorliegenden Ausführungsbeispiel beschrieben. Die Größe eines Bildes des Fahrzeugs, das in dem mit der Kamera 1 aufgenommenen Bild enthalten ist, wird gemäß einer Distanz von dem Mobilendgerät 10 zu dem Fahrzeug 20 und einer Brennweite (Sichtwinkel) der Kamera 1 bestimmt. Kurz gesagt wird ein Bild des Fahrzeugs 20, das von der Position aufgenommen ist, die um eine konstante Distanz (beispielsweise 6 m, was eine Schwelle des Fernparkbedienbereichs bzw. der Fernparkbedienspanne ist) von dem Fahrzeug 20 entfernt ist, als ein Referenzbild definiert, und die Größe des Referenzbildes wird als eine Referenzbildgröße vorgespeichert. Als ein Ergebnis kann durch Vergleich der Größe eines Bildes des Fahrzeugs, das in dem aufgenommenen Bild enthalten ist, mit der Größe des Referenzbildes bestimmt werden, ob die Distanz zwischen dem Mobilendgerät 10 und dem Fahrzeug 20 kürzer oder länger als die konstante Distanz ist. Wenn die Fotografierrichtung bzw. Aufnahmerichtung des Fahrzeugs 20 variiert, unterscheidet sich die Bildhöhe in einer Fahrzeughöherichtung nicht sehr, wie in 4 gezeigt. Daher ist es, wenn die Distanz zwischen dem Mobilendgerät 10 und dem Fahrzeug 20 geschätzt wird, wünschenswert, die Bildhöhe in der Fahrzeughöherichtung als eine Größe des Bildes zu verwenden, das für einen Vergleich mit dem Referenzbild verwendet wird. Jedoch kann, wenn die Aufnahmerichtung bzw. Fotografierrichtung des Fahrzeugs auf eine bestimmte Richtung (beispielsweise nur eine Vorderrichtung) begrenzt ist, die Distanz zwischen dem Mobilendgerät 10 und dem Fahrzeug 20 basierend auf einer Größe verschieden von der Bildhöhe in der Fahrzeughöherichtung wie eine Bildbreite in einer Fahrzeugbreitenrichtung geschätzt werden. Ein spezifischer Prozess einer Distanzschätzung wird nachstehend beschrieben.
Schritt S11: Der Prozessor 2 erzeugt ein Vorschlagbild, das einen Index der Distanz zwischen dem Mobilendgerät 10 und dem Fahrzeug 20 vorschlägt, und zeigt das erzeugte Vorschlagbild derart auf der Anzeige 4 an, um mit dem aufgenommenen Bild überlagert zu sein. Wenn ein Fernparken ausgeführt wird, muss sich der das Mobilendgerät 10 haltende Benutzer in einer Bediendistanz (beispielsweise 6 m), die durch Gesetz bestimmt ist, aufhalten. Entsprechend schlägt das Fahrzeugbedienprogramm gemäß dem vorliegenden Ausführungsbeispiel dem Benutzer vor, ob sich die Position des das Mobilendgerät 10 haltenden Benutzers in der Bedienspanne bzw. dem Bedienbereich befindet oder nicht gemäß einer Größenbeziehung oder Positionsbeziehung zwischen dem Vorschlagbild und dem Bild des Bedienzielfahrzeugs. Dann schreitet der Prozess zu Schritt S12 fort.
Nachstehend wird eine Anzeigebetriebsart des Vorschlagbilds gemäß dem vorliegenden Ausführungsbeispiel unter Bezugnahme auf 5 bis 6C beschrieben.
5 zeigt eine Beziehung zwischen dem Bedienbereich bzw. der Bedienspanne des Fahrzeugs und der Position des Mobilendgeräts. 6A bis 6C zeigen jeweils Bilder des Fahrzeugs, das von in 5 gezeigten Positionen P1 bis P3 aufgenommen bzw. fotografiert ist.
Wie in 6A gezeigt ist das Vorschlagbild gemäß dem vorliegenden Ausführungsbeispiel ein Bild, das aus einer Linie La, die eine Grundberührungsposition des Fahrzeugs 20 indiziert, und einer Linie Lb, die parallel zu der Linie La ist, ausgebildet ist, wobei die Linie Lb eingerichtet ist, um die Position zu identifizieren, die sich um eine vorbestimmte Bildhöhe h in der Fahrzeughöherichtung von der Linie La entfernt befindet. Die Bildhöhe h (nachstehend als „Höhe des Vorschlagbilds“ bezeichnet) in der Fahrzeughöherichtung zwischen der Linie La und der Linie Lb ist ein fester Wert unter der Annahme, dass der Sichtwinkel (Zoomverhältnis bzw. Vergrößerungsänderungsverhältnis) der Kamera fest ist. Wenn die Distanz von dem Mobilendgerät 10 zu dem Fahrzeug 20 gleich einer Bediendistanz ist, stimmt die Bildhöhe h mit der Fahrzeughöhe in dem Bild des Fahrzeugs überein. Die Bildhöhe h des Vorschlagbilds kann gemäß der Fahrzeughöhe des registrierten Fahrzeugtyps und der Brennweite (Sichtwinkel) der Kamera eingestellt werden. Bei einer Berechnung der Bildhöhe h des Vorschlagbildes kann Information zur Distanzschätzung, die in dem später beschriebenen Schritt S12 verwendet wird, verwendet werden. Bei Anzeige des Vorschlagbildes, um mit dem aufgenommenen Bild überlagert zu sein, in Schritt S11, erkennt der Prozessor 2 die Grundberührungsposition des Fahrzeugs 20 in dem aufgenommenen Bild mittels Bildverarbeitung und passt die Anzeigeposition des Vorschlagbildes derart an, dass die Linie La des Vorschlagbildes im Wesentlichen mit der Bodenberührungsposition bzw. Grundberührungsposition des Fahrzeugs 20 übereinstimmt.
Wenn sich der Benutzer, der das Mobilendgerät 10 hält, an der Position P1, die in 5 gezeigt ist, befindet, ist die Distanz von dem Mobilendgerät 10 zu dem Fahrzeug 20 länger als die Bediendistanz bzw. bedienbare Distanz. Daher wird, wie in 6A gezeigt, die Bildhöhe des Fahrzeugs 20, das auf der Anzeige 4 angezeigt wird, geringer als die Bildhöhe h des Vorschlagbildes. Mittels des Vergleichs zwischen der Bildhöhe des Fahrzeugs 20 und der Bildhöhe h des Vorschlagbildes kann der Benutzer erkennen, dass sich der Benutzer außerhalb der Bedienspanne bzw. des Bedienbereichs bzw. des bedienbaren Bereichs eines Fernparkens befindet. Wenn sich das Mobilendgerät 10 außerhalb des Bedienbereichs befindet, ist es wünschenswert, auf der Anzeige 4 eine Nachricht anzuzeigen, die den Benutzer ermuntert bzw. auffordert, sich dem Fahrzeug zu nähern, wie in 6A gezeigt.
Als nächstes wird, wenn sich der Benutzer, der das Mobilendgerät 10 hält, zu der in 5 gezeigten Position P2 bewegt, die Distanz von dem Mobilendgerät 10 zu dem Fahrzeug 20 im Wesentlichen gleich der Bediendistanz bzw. bedienbaren Distanz. Daher stimmt, wie in 6B gezeigt, die Bildhöhe des Fahrzeugs 20, das auf der Anzeige 4 angezeigt wird, im Wesentlichen mit der Bildhöhe h des Vorschlagbildes überein. Mittels des Vergleichs zwischen der Bildhöhe des Fahrzeugs 20 und der Bildhöhe h des Vorschlagbildes kann der Benutzer erkennen, dass sich der Benutzer in der Nähe einer Grenze der Fernparkbedienspanne bzw. des Fernparkbedienbereichs befindet.
Als nächstes wird, wenn sich der Benutzer, der das Mobilendgerät 10 hält, zu der in 5 gezeigten Position P3 bewegt, die Distanz von dem Mobilendgerät 10 zu dem Fahrzeug 20 kürzer als die Bedienungsdistanz bzw. Bediendistanz bzw. bedienbare Distanz. Daher wird, wie in 6C gezeigt, die Bildhöhe des Fahrzeugs 20, das auf der Anzeige 4 angezeigt wird, größer als die Bildhöhe h des Vorschlagbildes. Durch Vergleich zwischen der Bildhöhe des Fahrzeugs 20 und der Bildhöhe h des Vorschlagbildes kann der Benutzer erkennen, dass sich der Benutzer in dem Fernparkbedienbereich befindet.
Die Bildhöhe des Fahrzeugs 20, das in dem aufgenommenen Bild enthalten ist, ändert sich entsprechend einer Objektdistanz. Wenn die Objektdistanz des Fahrzeugs 20 gleich der Fernparkbedienungsdistanz ist, ist die Bildhöhe h des Vorschlagbildes eingestellt, gleich der Bildhöhe des Fahrzeugs 20 zu sein. Dies ermöglicht es dem Benutzer, der das Mobilendgerät 10 hält, visuell zu erkennen, ob sich der Benutzer innerhalb oder außerhalb der bedienten Spanne bzw. des bedienten Bereichs befindet. Das Vorschlagbild wird angezeigt, während es derart angepasst wird, dass die Linie La, die einen Teil des Vorschlagbildes ausbildet, im Wesentlichen mit der Bodenberührungsposition bzw. Grundberührungsposition des Fahrzeugs übereinstimmt. Dies erleichtert es, die Bildhöhe h des Vorschlagbildes und die Bildhöhe des Fahrzeugs 20 zu vergleichen.
Schritt S12: Der Prozessor 2 schätzt die Distanz von dem Mobilendgerät 10 zu dem Fahrzeug 20 basierend auf dem aufgenommenen Bild der Kamera 1. Insbesondere speichert der Prozessor 2 Information für eine Distanzschätzung in dem Speicher 3 vor. In der Information für eine Distanzschätzung sind die Höhe eines vorbestimmten Objekts, eine Objektdistanz von der Kamera 1 des Mobilendgeräts 10 zu dem Objekt, und eine Bildhöhe des vorbestimmten Objekts, das in einem Bild des vorbestimmten Objekts enthalten ist, das von der Objektdistanz fotografiert wurde, miteinander verknüpft. Der Prozessor 2 führt eine Distanzschätzung basierend auf der vorgespeicherten Information zur Distanzschätzung und der Information bezüglich des aufgenommenen Bildes durch.
Nachstehend werden als spezifisches Beispiel einer Distanzschätzung erste bis dritte Schätzverfahren beschrieben. Solange die Distanz von dem Mobilendgerät 10 zu dem Fahrzeug 20 geschätzt werden kann, ist das Schätzverfahren bzw. die Schätzmethode der Distanz nicht auf die folgenden Beispiele beschränkt.
Bei dem ersten Schätzverfahren wird von einem Bild eines Stabs mit einer Höhe von 1 m, der von einer Position aufgenommen wird, die um 6 m beabstandet ist, eine Bildhöhe X des Stabs (die Anzahl von Pixeln auf einem Bildsensor oder, um spezifisch zu sein, die Anzahl von Pixeln eines erlangten Bildes) für jeden Typ einer Kamera 1 des Mobilendgeräts 10 vorbereitet. Fahrzeughöhendaten für jeden Fahrzeugtyp werden auch in den Speicher 3 vorgespeichert. Wenn die Fahrzeughöhe eines als ein Ziel von Fernparken registrierten Bedienzielfahrzeugs 1,5 m ist, ist die Bildhöhe des Fahrzeugs, das in einem Bild des Bedienzielfahrzeugs ist, das von der Position aus aufgenommen wurde, die um 6 m beabstandet ist, gleich 1,5X. Der Prozessor 2 kann die Bildhöhe des Fahrzeugs, das in dem aufgenommenen Bild enthalten ist, das in Schritt S10 erlangt ist, berechnen, und kann die Distanz von dem Mobilendgerät 10 zu dem Fahrzeug 20 basierend auf einem Verhältnis zwischen der berechneten Bildhöhe und einer Referenzbildhöhe, die 1,5X ist, schätzen.
Bei dem zweiten Schätzverfahren nimmt der Benutzer ein Bedienzielfahrzeug von irgendeiner Distanz L2 auf und speichert in dem Speicher 3 die Objektdistanz L2 und eine Bildhöhe h2 des Fahrzeugs, das in dem aufgenommenen Bild enthalten ist. Basierend auf einem Verhältnis L2/L1 zwischen der Objektdistanz L2, die durch den Benutzer registriert wurde, und der Bediendistanz bzw. bedienbaren Distanz L1, und auf der Bildhöhe h2 des Fahrzeugs berechnet der Prozessor 2 h1 = h2 x (L2/L1), was eine Bildhöhe h1 des Fahrzeugs ist, wenn das Fahrzeug von einer Position aus aufgenommen ist, die um die Distanz L1 von dem Fahrzeug beabstandet ist. Der Prozessor 2 kann die Bildhöhe des Fahrzeugs, das in dem aufgenommenen Bild enthalten ist, das in Schritt S10 erlangt ist, berechnen, und kann die Distanz von dem Mobilendgerät 10 zu dem Fahrzeug 20 basierend auf dem Verhältnis zwischen der berechneten Bildhöhe und der Referenzbildhöhe h1 schätzen.
Bei dem dritten Schätzverfahren wird eine fotografierbare bzw. aufnehmbare Höhe der Kamera 1 innerhalb der Fernparkbedienungsdistanz berechnet basierend auf der Brennweite (Sichtwinkel) der Kamera 1 und den Größen (Dimensionen oder die Anzahl von Pixeln) von horizontalen und vertikalen Richtungen eines Bildsensors. Basierend auf einem Verhältnis zwischen der berechneten aufnehmbaren Höhe und der Fahrzeughöhe eines Bedienzielfahrzeugs wird die Bildhöhe des Fahrzeugs, das in dem aufgenommenen Bild enthalten ist, das von der Bediendistanz bzw. bedienbaren Distanz aufgenommen wurde, berechnet. Bei dem dritten Schätzverfahren kann der Prozessor 2 auch die Bildhöhe des Fahrzeugs, das in dem aufgenommenen Bild enthalten ist, das in Schritt S10 erlangt ist, berechnen, und kann die Distanz von dem Mobilendgerät 10 zu dem Fahrzeug 20 basierend auf einem Verhältnis zwischen der berechneten Bildhöhe und einer Referenzbildhöhe, die aus Sichtwinkeln der Kamera und dem Bildsensor berechnet sind, schätzen.
Wenn eine Berechnung der geschätzten Distanz von dem Mobilendgerät 10 zu dem Fahrzeug 20 abgeschlossen ist, schreitet der Prozess zu Schritt S13 fort.
Schritt S13: Der Prozessor 2 bestimmt, ob die in Schritt S12 berechnete geschätzte Distanz geringer als eine Schwelle (Fernparkbedienungsdistanz bzw. Fernparkbediendistanz) ist. Wenn die geschätzte Distanz von dem Mobilendgerät 10 zu dem Fahrzeug 20 mit der Fernparkbedienungsdistanz übereinstimmt, kann Fernparken legal zugelassen werden. Jedoch ist es, da die geschätzte Distanz einen Fehler enthalten kann, im Sinne von Sicherheit wünschenswerter, den Fall auszuschließen, in dem die geschätzte Distanz gleich der Schwelle ist als ein Ergebnis der Bestimmung in Schritt S13. Wenn das Ergebnis der Bestimmung in Schritt S13 JA ist, schreitet der Prozess zu Schritt S15 fort. Anderenfalls schreitet der Prozess zu Schritt S14 fort.
Schritt S14: Der Prozessor 2 benachrichtigt, dass der gegenwärtige Ort des Benutzers außerhalb der Fernparkbedienungsspanne bzw. des Fernparkbedienbereichs ist durch Anzeige auf der Anzeige 4, mittels Stimme, mittels Vibration, und dergleichen. Dann schreitet der Prozess zu Schritt S10 fort.
Schritt S15: Der Prozessor 2 lässt eine Ausführung von Fernparken zu, zeigt einen Bedienbildschirm (wie Knöpfe) zur Anweisung einer Ausführung von Fernparken auf der Anzeige 4 an, und empfängt eine Bedienanweisung bzw. Betriebsanweisung bezüglich des Bedienzielfahrzeugs. Beispielsweise zeigt, wie in dem in 6C gezeigten Beispiel, der Prozessor 2 auf der Anzeige 4 eine Nachricht („OK“), was indiziert, dass das Fernparken ausführbar ist, und einen „Parken ausführen“-Knopf zur Anweisung der Ausführung von Fernparken an das fahrzeugseitige Gerät 21 an. Bei Empfang der Anweisung zur Ausführung des Fernparkens von dem Benutzer mittels Bedienung der Berührtafel 5 weist der Prozessor 2 eine Ausführung von Fernparken an das fahrzeugseitige Gerät 21 des Fahrzeugs 20 mittels des Kommunikationsgeräts 6 an. Dann schreitet der Prozess zu Schritt S16 fort.
Schritt S16: Der Prozessor 2 bestimmt, ob eine Ende-Bedienung des Fernparkens empfangen ist oder nicht. Beispiele der Ende-Bedienung von Fernparken umfassen eine Bestätigungsbedienung, die durch den Benutzer durchgeführt wird, um das Ende des Fernparkens bei dem Mobilendgerät 10 zu bestätigen, nachdem das fahrzeugseitige Gerät 21 das Fahrzeug zu einem Parkort bewegt und der Parkbetrieb abgeschlossen ist, eine Anweisungsbedienung, die durch den Benutzer durchgeführt wird, um das Ende des Fernparkens bei dem Mobilendgerät 10 anzuweisen, und eine Ende-Bedienung, die durch den Benutzer durchgeführt wird, um das Fahrzeugbedienprogramm selbst bei dem Mobilendgerät 10 zu beenden. Wenn das Ergebnis einer Bestimmung in Schritt S16 JA ist, schreitet der Prozess zu Schritt S18 fort. Anderenfalls schreitet der Prozess zu Schritt S17 fort.
Schritt S17: Der Prozessor 2 bestimmt, ob eine vorbestimmte Zeit verstreicht oder nicht, nachdem Fernparken in Schritt S15 zugelassen wird. Die Bestimmung von Schritt S17 wird durchgeführt, um die Zeit, wenn Fernparken ausführbar ist, auf eine feste Zeitperiode zu begrenzen. Wenn das Ergebnis der Bestimmung in Schritt S17 JA ist, schreitet der Prozess zu Schritt S18 fort. Anderenfalls schreitet der Prozess zu Schritt S15 fort.
Schritt S18: Der Prozessor 2 weist das Ende von Fernparken an das fahrzeugseitige Gerät 21 des Fahrzeugs 20 mittels des Kommunikationsgeräts 6 an. Dann wird der Prozess beendet.
Effekte
Wie vorstehend beschrieben bestimmt das Fahrzeugbedienprogramm gemäß dem vorliegenden Ausführungsbeispiel, ob eine geschätzte Distanz von dem Mobilendgerät 10 zu dem Fahrzeug 20 geringer als eine Fernparkbedienungsdistanz ist oder nicht basierend auf der Größe eines Bildes des Fahrzeugs 20, das mit der Kamera 1 aufgenommen bzw. fotografiert ist, und lässt eine Ausführung von Fernparken von außerhalb des Fahrzeugs zu, wenn die geschätzte Distanz geringer als die Bediendistanz bzw. bedienbare Distanz ist. Daher kann das Fahrzeugbedienprogramm gemäß dem vorliegenden Ausführungsbeispiel die Spanne einschränken, in der das Fahrzeug von außerhalb des Fahrzeugs bedient werden kann, und kann mit einer Regulierung bezüglich der Fernsteuerung des Fahrzeugs während Verwendung eines Mobilendgeräts einschließlich der Kamera 1 wie eines Mehrzweck-Smartphones und eines Tablets übereinstimmen. Als das Verfahren zur Beschränkung der Spanne, in der das Mobilendgerät das Fahrzeug fernsteuern kann, kann ein Verfahren einer Verwendung von LF-Kommunikation, die bei einem Smart-Key-System (Intelligenter-Schlüssel-System) verwendet wird, und ein Verfahren einer Verwendung von Ultrabreitband-(UWB)-Kommunikation berücksichtigt werden. Jedoch sind, da die LF-Kommunikation und die UWB-Kommunikation nicht die Kommunikationsbetriebsarten sind, die gewöhnlich bei Mehrzweckmobilendgeräten wie Smartphones installiert sind, diese Kommunikationsbetriebsart nicht realistisch. Eine Studie wurde auch gemacht bezüglich der Verwendung der Mehrzweckmobilendgeräte wie Smartphones als ein Schlüssel des Fahrzeugs anstelle des Smart-Keys unter Verwendung von LF-RF-Kommunikation. In diesem Fall kann die LF-Kommunikation selbst nicht mehr länger bei dem fahrzeugseitigen Gerät 21 installiert sein, und die Kommunikationsbetriebsart, die bei dem Mobilendgerät 10 verwendbar ist, kann auf eine Bluetooth-(registrierte Handelsmarke)-Kommunikationsbetriebsart oder eine Wi-Fi-(registrierte Handelsmarke)-Kommunikationsbetriebsart begrenzt werden. Jedoch führt das Fahrzeugbedienprogramm gemäß dem vorliegenden Ausführungsbeispiel Distanzschätzung basierend auf einem aufgenommenen bzw. fotografierten Bild der Kamera 1 durch und ermöglicht die bei Bedienungsanweisung zu dem fahrzeugseitigen Gerät 21 zu verwendenden existierenden Kommunikationsbetriebsarten. Daher wird es möglich, die Mehrzweckmobilendgeräte als ein Gerät zur Bedienung des Fahrzeugs zu betreiben, ohne dass eine Verwendung einer spezifischen Kommunikationsbetriebsart notwendig wird.
Bei dem Fahrzeugbedienprogramm gemäß dem vorliegenden Ausführungsbeispiel wird ein Vorschlagbild, das die Distanz von dem Mobilendgerät 10 zu dem Fahrzeug 20 vorschlägt, angezeigt, um mit dem aufgenommenen Bild der Kamera 1 überlagert zu sein. Dies ermöglicht es, dem Benutzer visuell zu präsentieren, dass der Benutzer sich innerhalb oder außerhalb der Fernparkbedienungsspanne befindet. Bei dem Fahrzeugbedienprogramm gemäß dem vorliegenden Ausführungsbeispiel muss der Benutzer das Fahrzeug 20 in einer Fotografierspanne der Kamera 1 aufnehmen, um die Distanz von dem Mobilendgerät 10 zu dem Fahrzeug 20 zu schätzen. Daher bestätigt der Benutzer, dass das Fahrzeug 20 in einem angezeigten Bild der Anzeige 4 enthalten ist, während die Kamera 1 über das Fahrzeug 20 gehalten wird. Daher kann, wenn das Vorschlagbild, das auf das aufgenommene Bild überlagert ist, die Distanz zu dem Fahrzeug 20 vorschlagen kann, eine Bestätigung des aufgenommenen Bildes und eine Bestätigung der Distanz zu der gleichen Zeit durchgeführt werden, was eine gute Zweckmäßigkeit bzw. einen guten Komfort bereitstellt. Es wird bemerkt, dass das Verfahren zum Präsentieren, an den Benutzer, ob sich der Benutzer in der Fernparkbedienungsspanne befindet oder nicht, nicht auf eine Anzeige des Vorschlagbildes beschränkt ist. Anstelle der Anzeige des Vorschlagbildes kann auch Stimme oder Vibration verwendet werden. Stimme oder Vibration kann auch zusätzlich zu der Anzeige des Vorschlagbildes verwendet werden.
Wie in 6A bis 6C gezeigt, zeigt das Fahrzeugbedienprogramm gemäß dem vorliegenden Ausführungsbeispiel das Vorschlagbild derart an, um nach einer Änderung einer Anzeigeposition des Bildes des Fahrzeugs 20, das auf der Anzeige 4 angezeigt wird, zu folgen. Das untere Ende (Linie La) des Vorschlagbildes wird im Wesentlichen mit dem unteren Ende (Grundberührungsposition) des Bildes des Fahrzeugs 20 auf eine kontinuierliche Weise in Übereinstimmung gebracht. Wenn das Vorschlagbild auf diese Weise angezeigt wird, kann die Bildhöhe h des Vorschlagbildes selbst in dem Fall leicht mit der Bildhöhe h des Fahrzeugs 20 verglichen werden, in dem die Anzeigeposition des Bildes des Fahrzeugs 20 sich auf der Anzeige 4 ändert aufgrund einer Änderung der Position der Kamera 1 während einer Aufnahme des Fahrzeugs 20 durch den Benutzer. Obwohl das untere Ende (Linie La) des Vorschlagbildes im Wesentlichen mit dem unteren Ende (Grundberührungsposition) des Bildes des Fahrzeugs 20 in dem vorliegenden Ausführungsbeispiel in Übereinstimmung gebracht ist, kann das obere Ende (Linie Lb) des Vorschlagbildes im Wesentlichen mit dem oberen Ende (Dachposition) des Bildes des Fahrzeugs in Übereinstimmung gebracht werden. Wenn die Bildgröße des in der Fahrzeugbreitenrichtung oder in der Vorn-Hinten-Richtung für eine Distanzschätzung anstelle der Bildgröße in der Fahrzeughöherichtung verwendet wird, kann das Vorschlagbild derart angezeigt werden, dass linke Enden des Vorschlagbildes und des Bildes des Fahrzeugs 20 im Wesentlichen miteinander übereinstimmen, oder rechte Enden der Bilder können im Wesentlichen übereinstimmen.
Das Fahrzeugbedienprogramm gemäß dem vorliegenden Ausführungsbeispiel kann ein Bedienzielfahrzeug (vorab registriertes Fahrzeug) von einem Fahrzeug, das in dem aufgenommenen Bild der Kamera 1 enthalten ist, basierend auf der vorab registrierten Fahrzeuginformation erkennen. Entsprechend muss der Benutzer nur die Kamera 1 vor das Fahrzeug 20 halten, um das Bedienzielfahrzeug zu identifizieren, was einen guten Komfort bzw. eine gute Zweckmäßigkeit bereitstellt.
Wenn das Fahrzeug nicht basierend auf der Fahrzeuginformation erkennbar ist, kann das Programm das fahrzeugseitige Gerät 21 anweisen, die Leuchte einzuschalten, und basierend auf der Änderung eines Zustands der Leuchte in dem Bild des Fahrzeugs, das in dem aufgenommenen Bild der Kamera 1 enthalten ist, kann das Programm das in dem aufgenommenen Bild enthaltene Bedienzielfahrzeug erkennen. Daher kann in dem Fall, in dem es schwierig ist, das Bedienzielfahrzeug nur mit der Fahrzeuginformation zu erkennen, wie der Fall, in dem die Fahrzeuginformation aufgrund von Hindernissen oder dergleichen nicht identifiziert werden kann, oder der Fall, in dem das aufgenommene Bild ein Bild eines Fahrzeugs vergleichbar in einem Fahrzeugtyp und einer Karosseriefarbe mit dem Bedienzielfahrzeug enthält, das Bedienzielfahrzeug ohne Notwendigkeit einer Benutzerbedienung identifiziert werden, was eine verbesserte Zweckmäßigkeit bzw. einen verbesserten Komfort erzielt.
Das Fahrzeugbedienprogramm gemäß dem vorliegenden Ausführungsbeispiel kann ferner eine Auswahl eines Bedienzielfahrzeugs von dem aufgenommenen Bild der Kamera durch Bedienung des Benutzers empfangen. Daher kann selbst in dem Fall, in dem eine automatische Erkennung des Bedienzielfahrzeugs schwierig ist, das Bedienzielfahrzeug zuverlässig identifiziert werden, und eine Verfügbarkeit von Fernparken kann verbessert werden.
Bei dem Fahrzeugbedienprogramm gemäß dem vorliegenden Ausführungsbeispiel kann, wenn die geschätzte Distanz von dem Mobilendgerät 10 zu dem Fahrzeug 20 gleich wie oder größer als die Bediendistanz bzw. bedienbare Distanz ist, eine Benachrichtigung, die den Benutzer ermuntert bzw. auffordert, sich dem Fahrzeug 20 anzunähern, gemacht werden. Eine solche Benachrichtigung kann den Benutzer auf eine leicht verständliche Weise in Einklang mit der durch das Vorschlagbild vorgeschlagenen Distanz benachrichtigen, ob sich der Benutzer innerhalb oder außerhalb der Fernbedienungsspanne befindet.
Andere Modifikationen
Bei dem vorstehend beschriebenen Ausführungsbeispiel kann das Fahrzeugbedienprogramm einen Prozess eines Verbietens eines Zoomens bzw. Vergrößerungsänderns der Kamera 1 ausführen. Die Größe eines aufgenommenen Bildes ändert sich auch mit der Brennweite (Sichtwinkel) der Kamera 1. Entsprechend kann, wenn ein Zoomen bzw. Vergrößerungsändern der Kamera durchgeführt wird, der Prozess eines Schätzens der Distanz von dem Mobilendgerät 10 zu dem Fahrzeug 20 auch beeinflusst werden. Entsprechend ist es, wenn ein Zoomen bzw. Vergrößerungsändern der Kamera während der Zeit von dem Start zu dem Ende des Fahrzeugbedienprogramms verboten bzw. unterbunden wird, möglich, ein unerwartetes Zoomen bzw. Vergrößerungsändern zu vermeiden, um zu vermeiden, dass die Distanz von dem Mobilendgerät 10 zu dem Fahrzeug 20 als ein inkorrekter Wert geschätzt wird, und um eine Ausführung des Fernparkens zu verhindern, wenn sich der Benutzer außerhalb der bedienbaren Spanne bzw. Bedienspanne befindet. Wenn das Zoomen bzw. Vergrößerungsändern der Kamera 1 verboten bzw. unterbunden wird, kann die Brennweite der Kamera 1 auf einen Initialwert (beispielsweise Brennweite an einem Weitwinkelende) fest sein, oder kann bei einer vorbestimmten Brennweite (beispielsweise 35 mm) fest sein.
Bei dem vorstehend beschriebenen Ausführungsbeispiel kann das Fahrzeugbedienprogramm die Referenzbildgröße und die Größe des Vorschlagbildes, wie bei Distanzschätzung verwendet, gemäß der Brennweite (Sichtwinkel) der Kamera zu der Zeit eines Erlangens des aufgenommenen Bildes korrigieren. Die Korrektur kann basierend auf beispielsweise dem vorstehend beschriebenen dritten Schätzverfahren durchgeführt werden. In dem Fall, in dem ein Zoomen bzw. Vergrößerungsändern nicht verboten bzw. unterbunden wird, ermöglicht ein Verändern der Größe des Vorschlagbildes gemäß einer Änderung der Brennweite (Sichtwinkel) der Kamera 1, die durch Zoomen bzw. Vergrößerungsändern verursacht wird, dass sich der Benutzer unkomfortabel fühlt. Wenn die Bildhöhe des Vorschlagbilds basierend auf einer Änderung der Brennweite (Sichtwinkel) der Kamera 1 korrigiert wird, kann eine Korrektur derart gemacht werden, dass die Bildhöhe des Vorschlagbilds gleich der Bildhöhe des Bedienzielfahrzeugs wird, das an der Position aufgenommen ist, die um die Bediendistanz von dem Bedienzielfahrzeug beabstandet ist, unter Verwendung der Kamera 1 mit einer ausgewählten Brennweite (Sichtwinkel).
Obwohl zwei gerade Linien, die sich in der horizontalen Richtung erstrecken, als ein Vorschlagbild bei dem vorstehend beschriebenen Ausführungsbeispiel veranschaulicht sind, ist das Vorschlagbild nicht darauf beschränkt. Beispielsweise kann das Vorschlagbild eine Linie (d.h., nur die Linie Lb, die in 6A bis 6C gezeigt ist), die eine Bildhöhe basierend auf der Grundberührungsposition des Fahrzeugs repräsentiert, oder kann ein Rechteckrahmen (d.h., ein Rechteck, das die Linien La, Lb, die in 6A bis 6C gezeigt sind, umfasst) sein. Solange das Vorschlagbild eine Differenz in einer Größe zwischen dem Bild eines Bedienzielfahrzeugs und eines Referenzbildes visuell zeigen kann, kann das Vorschlagbild jegliche Muster oder Zeichen verschieden von der geraden Linie und dem Rahmen annehmen. Obwohl das Ausführungsbeispiel der vorliegenden Erfindung vorstehend beschrieben wurde, kann die vorliegende Erfindung als ein Mobilendgerät einschließlich eines computerlesbaren, nicht transitorischen physikalischen Aufzeichnungsmediums, das darin das vorstehend beschriebene Fahrzeugbedienprogramm speichert, und ein Computer, der das Fahrzeugbedienprogramm speichern, lesen, und ausführen kann, definiert werden.
Die vorliegende Erfindung kann als ein Programm verwendet werden, das bei einem Mobilendgerät installiert ist, um Fahrzeugbedienung bzw. Fahrzeugbetrieb zu steuern, wie Fernparken, was von außerhalb des Fahrzeugs durchgeführt wird.

Claims

Bei einem Mobilendgerät einschließlich eines Computers, einer Kamera, einer Anzeige, und eines Kommunikationsgeräts gespeichertes Programm, wobei das Programm dazu eingerichtet ist, um ein Bedienzielfahrzeug von außerhalb unter Verwendung des Mobilendgeräts zu bedienen, wobei das Bedienzielfahrzeug vorab registriert ist, wobei das Programm den Computer dazu bringt, auszuführen: einen Schritt eines Schätzens einer Distanz von dem Mobilendgerät zu dem Bedienzielfahrzeug basierend auf einer Größe eines Bilds des Bedienzielfahrzeugs, das in einem aufgenommenen Bild der Kamera enthalten ist, einen Schritt eines Bestimmens, ob die geschätzte Distanz geringer als eine vorbestimmte Schwelle ist oder nicht, einen Schritt eines Empfangens einer Bedienanweisung bezüglich des Bedienzielfahrzeugs, wenn die geschätzte Distanz geringer als die Schwelle ist, einen Schritt eines Dazubringens des Kommunikationsgeräts, ein Signal, das eine Bedienung anweist, als Reaktion auf die empfangene Bedienanweisung auszugeben, und einen Schritt eines Anzeigens eines Vorschlagbildes auf der Anzeige derart, um mit dem aufgenommenen Bild der Kamera überlagert zu sein, wobei das Vorschlagbild vorschlägt, ob die Distanz von dem Mobilendgerät zu dem Bedienzielfahrzeug geringer als die Schwelle ist oder nicht, wobei das Vorschlagbild eine Bildhöhe hat, die mit einer Bildhöhe des Bedienzielfahrzeugs übereinstimmt, wenn die Distanz von dem Mobilendgerät zu dem Bedienzielfahrzeug gleich der Schwelle ist, wobei bei dem Schritt eines Anzeigens des Vorschlagbildes auf der Anzeige das Vorschlagbild derart angezeigt wird, dass ein unteres Ende des Bildes des Bedienzielfahrzeugs, das in dem aufgenommenen Bild der Kamera enthalten ist, im Wesentlichen mit einem unteren Ende des Vorschlagbildes übereinstimmt.
Programm nach Anspruch 1, wobei das Programm den Computer dazu bringt, ferner einen Schritt eines Unterbindens eines Zoomens der Kamera auszuführen.
Programm nach Anspruch 1, wobei das Programm den Computer dazu bringt, ferner einen Schritt eines Änderns der Bildhöhe des Vorschlagbildes gemäß einer Änderung einer Brennweite der Kamera zu der Zeit eines Zoomens derart auszuführen, dass die Bildhöhe des Vorschlagbildes mit der Bildhöhe des Bedienzielfahrzeugs übereinstimmt, wenn die Distanz von dem Mobilendgerät zu dem Bedienzielfahrzeug gleich der Schwelle ist.
Programm nach einem der Ansprüche 1 bis 3, wobei das Programm den Computer dazu bringt, ferner auszuführen: einen Schritt eines Vorspeicherns von Fahrzeuginformation zur Identifizierung des Bedienzielfahrzeugs, und einen Schritt eines Identifizierens des Bilds des Bedienzielfahrzeugs in dem aufgenommenen Bild der Kamera basierend auf der Fahrzeuginformation vor dem Schritt eines Schätzens der Distanz.
Programm nach Anspruch 4, wobei die Fahrzeuginformation zumindest eines aus einem Fahrzeugtyp, einer Nummernschildnummer, und einer Karosseriefarbe ist.
Programm nach einem der Ansprüche 1 bis 5, wobei das Programm den Computer dazu bringt, ferner einen Schritt eines Ausgebens einer Anweisung, eine Leuchte einzuschalten, an ein Fahrzeug, das mit dem Mobilendgerät verknüpft ist, und eines Identifizierens, als das Bild des Bedienzielfahrzeugs, eines Bilds des Fahrzeugs, das in dem aufgenommenen Bild der Kamera enthalten ist, vor dem Schritt eines Schätzens der Distanz auszuführen, wobei das Fahrzeug die Leuchte als Reaktion auf die Anweisung eingeschaltet hat.
Programm nach einem der Ansprüche 1 bis 6, wobei das Programm den Computer dazu bringt, ferner einen Schritt eines Empfangens einer Auswahl eines Bilds des Fahrzeugs, das in dem aufgenommenen Bild der Kamera enthalten ist, durch Bedienung eines Benutzers, und eines Identifizierens, als das Bild des Bedienzielfahrzeugs, des Bilds des Fahrzeugs, das durch die Bedienung des Benutzers ausgewählt ist, vor dem Schritt eines Schätzens der Distanz auszuführen.
Programm nach einem der Ansprüche 1 bis 7, wobei das Programm den Computer dazu bringt, ferner einen Schritt eines Vollführens einer Benachrichtigung, die den Benutzer ermuntert, sich dem Bedienzielfahrzeug anzunähern, auszuführen, wenn die geschätzte Distanz gleich wie oder größer als die Schwelle ist.