DE102018133040A1

DE102018133040A1 - Fahrzeugfernbedienungsvorrichtung, fahrzeugfernbedienungssystem und fahrzeugfernbedienungsverfahren

Info

Publication number: DE102018133040A1
Application number: DE102018133040.5A
Authority: DE
Inventors: Masashi Nakamura; Masanori Kobayashi; Kouichi MURAMATSU; Hideki NOJIMA; Minoru Maehata
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2018-02-19
Filing date: 2018-12-20
Publication date: 2019-08-22
Also published as: JP7063652B2; JP2019145951A; US20190258245A1

Abstract

Eine Fahrzeugfernbedienungsvorrichtung beinhaltet: eine Kommunikationseinheit, die konfiguriert ist, ein Kompositbild zu empfangen, das auf Basis mehrerer aufgenommener Bilder, die von jeder von mehreren Fahrzeugkameras, die an einem Fahrzeug angebracht sind, zu generieren ist, und einen Umgebungsbereich des Fahrzeugs, der von einem virtuellen Standpunkt aus gesehen wird, zu zeigen; eine Anzeige, die konfiguriert ist, das Kompositbild anzuzeigen; eine Bedieneinheit zum Bedienen des Fahrzeugs und eine Signalerzeugungseinheit, die konfiguriert ist, auf Basis eines Bedienvorgangs auf der Bedieneinheit ein Steuersignal des Fahrzeugs zu generieren. Die Anzeige ist konfiguriert, das Kompositbild mit einem Bild der Bedieneinheit darauf überlagert und ein Hilfsbild, das einen Zustand des Fahrzeugs umfasst, anzuzeigen.

Description

HINTERGRUND
TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft eine Fahrzeugfernbedienungsvorrichtung, ein Fahrzeugfernbedienungssystem und ein Fahrzeugfernbedienungsverfahren.
VERWANDTE TECHNIK
In den letzten Jahren wurde eine Vielzahl von Technologien in Hinblick auf ein Fernbedienen eines Fahrzeugs vorgeschlagen. Ein tragbares Endgerät, das in Patentliteratur 1 vorgeschlagen wird, ist beispielsweise ein Endgerät zum Bewegen eines Fahrzeugs von einer ersten vorbestimmten Position zu einer zweiten vorbestimmten Position. Das tragbare Endgerät ist konfiguriert, ein Luftbild anzuzeigen, das ein Bild des Fahrzeugs auf Basis eines aufgenommenen Bildes beinhaltet, das von einer Kamera daran aufgenommen wurde, und eine Benutzerbedienung an dem Fahrzeug zu empfangen. Eine Parkassistenzvorrichtung, die in Patentliteratur 2 vorgeschlagen wird, ermöglicht zum Beispiel auch Parken unter Verwendung von Fernbedienungsmitteln, wie etwa einem Joystick. Ein Fahrzeugfernbedienungssystem, das in Patentliteratur 3 vorgeschlagen wird, beinhaltet zum Beispiel auch ein tragbares Endgerät, das konfiguriert ist, ein Bediensignal, das einem Berührungsvorgang auf einem Touchpanel entspricht, an ein Fahrzeug zu übertragen. Das tragbare Endgerät kann ein Fahrbediensignal und ein Lenkvorgangsignal an das Fahrzeug übertragen.

Patentliteratur 1: JP-A-2014-65392
Patentliteratur 2: JP-A-2010-95027
Patentliteratur 3: JP-A-2016-74285

KURZDARSTELLUNG
Der Stand der Technik erfüllt jedoch nicht hinreichend den Komfort und die Bedienbarkeit der Fahrzeugfernbedienung.
Es ist daher ein Ziel der Offenbarung, eine Technologie bereitzustellen, die dazu fähig ist, den Komfort und die Bedienbarkeit der Fernbedienung eines Fahrzeugs zu verbessern.
Gemäß einem Aspekt der vorliegenden Offenbarung wird eine Fahrzeugfernbedienungsvorrichtung bereitgestellt, einschließlich: einer Kommunikationseinheit, die konfiguriert ist, ein Kompositbild zu empfangen, das auf Basis mehrerer aufgenommener Bilder, die von jeder von mehreren Fahrzeugkameras, die an einem Fahrzeug angebracht sind, zu generieren ist, und einen Umgebungsbereich des Fahrzeugs, der von einem virtuellen Standpunkt aus gesehen wird, zu zeigen; einer Anzeige, die konfiguriert ist, das Kompositbild anzuzeigen; einer Bedieneinheit zum Bedienen des Fahrzeugs und einer Signalerzeugungseinheit, die konfiguriert ist, auf Basis eines Bedienvorgangs auf der Bedienungseinheit ein Steuersignal des Fahrzeugs zu generieren. Die Anzeige ist konfiguriert, das Kompositbild mit einem Bild der Bedieneinheit darauf überlagert und ein Hilfsbild, das einen Zustand des Fahrzeugs umfasst, anzuzeigen.
In der Fahrzeugfernbedienungsvorrichtung kann die Bedieneinheit entsprechend einer Position und einer Richtung eines Bildes des Fahrzeugs in dem Kompositbild angeordnet sein.
In der Fahrzeugfernbedienungsvorrichtung kann, als das Hilfsbild, ein Bild angezeigt werden, das ein Bild umfasst, das auf einem Spiegel des Fahrzeugs zu reflektieren ist.
In der Fahrzeugfernbedienungsvorrichtung kann, als das Hilfsbild, ein Bild eines Betriebszustands des Fahrzeugs angezeigt werden.
In der Fahrzeugfernbedienungsvorrichtung kann, als das Hilfsbild, ein Objekt, das sich dem Fahrzeug nähert, angezeigt werden.
In der Fahrzeugfernbedienungsvorrichtung kann, als das Hilfsbild, ein aufgenommenes Bild angezeigt werden, das durch Aufnahme des unteren Bereichs des Fahrzeugs erhalten wurde.
In der Fahrzeugfernbedienungsvorrichtung können, als das Hilfsbild, Informationen über Kontakt zwischen dem Fahrzeug und anderen Objekten um das Fahrzeug herum angezeigt werden.
In der Fahrzeugfernbedienungsvorrichtung kann das Hilfsbild ein Bild des Fahrzeugs beinhalten, die Bedieneinheit kann auf Basis einer Position und einer Richtung eines Bildes des Fahrzeugs in dem Hilfsbild überlagert auf dem Hilfsbild angeordnet werden und die Signalerzeugungseinheit kann konfiguriert sein, ein Steuersignal des Fahrzeugs auf Basis eines Bedienvorgangs auf der Bedieneinheit in dem Hilfsbild zu generieren.
Gemäß einem Aspekt der vorliegenden Offenbarung wird ein Fahrzeugfernbedienungssystem bereitgestellt, einschließlich: der Fahrzeugfernbedienungsvorrichtung gemäß einem der Ansprüche 1 bis 8; einer Bildverarbeitungsvorrichtung, die konfiguriert ist, das Kompositbild, das einen Umgebungsbereich des Fahrzeugs, wie von einem virtuellen Standpunkt aus gesehen, auf Basis der mehreren aufgenommenen Bilder, die von jeder der mehreren Fahrzeugkameras, die an dem Fahrzeug angebracht sind, aufgenommen wurden, zu generieren, und das Kompositbild an die Fahrzeugfernbedienungsvorrichtung zu übertragen, und einer Fahrzeugsteuervorrichtung, die konfiguriert ist, ein Steuersignal des Fahrzeugs von der Fahrzeugfernbedienungsvorrichtung zu empfangen und das Fahrzeug auf Basis des Steuersignals zu steuern.
Gemäß einem Aspekt der vorliegenden Erfindung wird ein Fahrzeugfernbedienungsverfahren bereitgestellt, einschließlich: Empfangen eines Kompositbildes, das auf Basis von mehreren aufgenommenen Bildern, die an jeder von mehreren Fahrzeugkameras, die an einem Fahrzeug angebracht sind, zu generieren ist, und einen Umgebungsbereich des Fahrzeugs, wie von einem virtuellen Standpunkt aus gesehen, zeigt; Anzeigen, auf einer Anzeige, des Kompositbildes und eines Hilfsbildes, einen Zustand des Fahrzeugs umfassend; Überlagern eines Bildes einer Bedieneinheit für das Bedienen des Fahrzeugs auf dem Kompositbild und/oder dem Hilfsbild zu überlagern; Empfangen einer Bedienung des Fahrzeugs von der Bedieneinheit; Generieren eines Steuersignals des Fahrzeugs auf Basis der Bedienung und Übertragung des Steuersignals an das Fahrzeug.
Gemäß der Konfiguration der vorliegenden Offenbarung wird beispielsweise, wenn die Fahrzeugfernbedienung durchgeführt wird, die Umgebungssituation des Fahrzeugs als das Hilfsbild angezeigt, so dass es möglich ist, die Fernbedienung durchzuführen, während gleichzeitig die Umgebungssituation des Fahrzeugs geprüft wird. Das heißt, es ist möglich Komfort und Bedienbarkeit der Fahrzeugfernbedienung zu verbessern.
Figurenliste
Beispielhafte Ausführungsformen der vorliegenden Erfindung werden ausführlich auf Basis der folgenden Figuren beschrieben, wobei:

1 ein Blockdiagramm, das eine Konfiguration eines Fahrzeugfembedienungssystems einer beispielhaften Ausführungsform zeigt, ist;
2 beispielhaft Positionen, in denen Fahrzeugkameras an einem Fahrzeug angeordnet sind, veranschaulicht;
3 ein Verfahren zum Generieren eines Kompositbildes, das einen Umgebungsbereich des Fahrzeugs zeigt, veranschaulicht.
4 eine Bildansicht eines tragbaren Endgeräts, auf dem ein Kompositbild und ein Hilfsbild nach Beispiel 1 angezeigt werden, ist;
5 eine Bildansicht des Kompositbildes, das auf dem tragbaren Endgerät in Beispiel 1 angezeigt wird, ist;
6 ein Flussdiagramm, das ein Beispiel eines Verarbeitungsflusses für eine Fahrzeugfernbedienung in Beispiel 1, ist;
7 eine Bildansicht des tragbaren Endgeräts, auf dem ein Kompositbild und ein Hilfsbild nach Beispiel 2 angezeigt werden, ist;
8 eine Bildansicht des tragbaren Endgeräts, auf dem ein Kompositbild und ein Hilfsbild nach Beispiel 3 angezeigt werden, ist;
9 eine Bildansicht des tragbaren Endgeräts, auf dem ein Kompositbild und ein Hilfsbild nach Beispiel 4 angezeigt werden, ist;
10 eine Bildansicht des tragbaren Endgeräts, auf dem ein Kompositbild und ein Hilfsbild nach Beispiel 5 angezeigt werden, ist;
11 eine Bildansicht des tragbaren Endgeräts, auf dem ein Kompositbild und ein Hilfsbild nach Beispiel 6 angezeigt (erstes Beispiel) werden, ist;
12 eine Bildansicht des tragbaren Endgeräts, auf dem ein Kompositbild und ein Hilfsbild nach Beispiel 6 angezeigt (zweites Beispiel) werden, ist; und
13 ein Flussdiagramm, das ein Beispiel eines Verarbeitungsflusses für die Fahrzeugfernbedienung in Beispiel 7 zeigt, ist.

AUSFÜHRLICHE BESCHREIBUNG
Nachfolgend wird eine veranschaulichende Ausführungsform der vorliegenden Offenbarung ausführlich unter Bezugnahme auf die Zeichnungen beschrieben. Dabei ist die vorliegende Erfindung nicht auf die später zu beschreibende veranschaulichende Ausführungsform beschränkt.
In den nachfolgenden Beschreibungen wird eine Richtung, die eine gerade Bewegungsrichtung eines Fahrzeugs ist und von einem Fahrersitz in Richtung eines Lenkrads weist, als „Vorwärtsrichtung (nach vorne/vorwärts)“ bezeichnet. Eine Richtung, die eine gerade Bewegungsrichtung des Fahrzeugs ist und von dem Lenkrad in Richtung des Fahrersitzes weist, wird als „Rückwärtsrichtung (nach hinten/rückwärts)“ bezeichnet. Eine Richtung, die senkrecht zu der geraden Bewegungsrichtung des Fahrzeugs und in eine vertikale Richtung und von der rechten Seite eines Fahrers, der nach vorne gerichtet ist, nach links verläuft, wird als „linke Richtung“ bezeichnet. Eine Richtung, die senkrecht zu der geraden Bewegungsrichtung des Fahrzeugs und in eine vertikale Richtung und von der linken Seite des Fahrers, der nach vorne gerichtet ist, nach rechts verläuft, wird als „rechte Richtung“ bezeichnet.
<Konfiguration des Fahrzeugfernbedienungssystems>
1 ist ein Blockdiagramm, das eine Konfiguration eines Fahrzeugfernbedienungssystems RS einer beispielhaften Ausführungsform zeigt. Das Fahrzeugfernbedienungssystem RS beinhaltet ein tragbares Endgerät 1, eine Bildverarbeitungsvorrichtung 2 und eine Fahrzeugsteuervorrichtung 3. Das tragbare Endgerät 1 ist eine Fahrzeugfernbedienungsvorrichtung, die konfiguriert ist, ein Fahrzeug 5 fernzubedienen. Die Bildverarbeitungsvorrichtung 2 und die Fahrzeugsteuervorrichtung 3 sind an dem Fahrzeug 5 angebracht. Das Fahrzeugfernbedienungssystem RS ist ein System zum Fernbedienen des Fahrzeugs 5 durch das tragbare Endgerät 1, auf dem ein Kompositbild, das einen Umgebungsbereich des Fahrzeugs 5 zeigt, angezeigt wird. Das Fahrzeug 5 beinhaltet ferner eine Bildeinheit 4 (Fahrzeugkamera), eine Sensoreinheit 51, einen Scheinwerfer 52 und einen Warntonalarm 53.
Das tragbare Endgerät 1 ist eine Vorrichtung, die konfiguriert ist, ein Bild zum Anzeigen zu empfangen und anzuzeigen, das von der Bildverarbeitungsvorrichtung 2 auszugeben ist, und ein Steuersignal an die Fahrzeugsteuervorrichtung 3, um das Fahrzeug 5 fernzubedienen, zu übertragen. Als das tragbare Endgerät 1 kann zum Beispiel ein Smartphone, ein Tablet-artiges Endgerät und dergleichen, die von dem Eigentümer des Fahrzeugs 5 getragen werden, beinhaltet sein. In der veranschaulichenden Ausführungsform ist das tragbare Endgerät 1 zum Beispiel ein Smartphone.
Die Bildverarbeitungsvorrichtung 2 ist eine Vorrichtung, die konfiguriert ist, ein aufgenommenes Bild, das von der Fahrzeugkamera aufgenommen wurde, zu verarbeiten. Die Bildverarbeitungsvorrichtung 2 wird für jedes Fahrzeug bereitgestellt, an dem die Fahrzeugkamera angebracht ist. In der veranschaulichenden Ausführungsform ist die Bildverarbeitungsvorrichtung 2 konfiguriert, das aufgenommene Bild von der Bildeinheit 4 zu erfassen und zu verarbeiten. Die Bildverarbeitungsvorrichtung 2 kann auch Informationen von der Sensoreinheit 51 erfassen und Bestimmungen zu der Bildverarbeitung auf Basis der erfassten Informationen durchführen.
Die Fahrzeugsteuervorrichtung 3 ist konfiguriert, Steuerung für die gesamten Vorgänge des Fahrzeugs durchzuführen. Die Fahrzeugsteuervorrichtung 3 beinhaltet eine Motor-ECU (Electronic Control Unit; elektronische Steuereinheit), die konfiguriert ist, einen Motor zu steuern, eine Lenk-ECU, die konfiguriert ist, Lenken zu steuern, eine Brems-ECU, die konfiguriert ist, ein Bremsen zu steuern, eine Schalt-ECU, die konfiguriert ist, ein Schalten zu steuern, eine Stromversorgungssteuer-ECU, die konfiguriert ist, eine Stromversorgung zu steuern, eine Licht-ECU, die konfiguriert ist, ein Licht zu steuern, eine Spiegel-ECU, die konfiguriert ist, einen Elektronikspiegel zu steuern, und dergleichen. In der veranschaulichenden Ausführungsform ist die Fahrzeugsteuervorrichtung 3 konfiguriert, Informationen an das tragbare Endgerät 1 und die Bildverarbeitungsvorrichtung 2 zu übertragen und von diesen zu empfangen. Die Fahrzeugsteuervorrichtung 3 ist konfiguriert, ein Steuersignal des Fahrzeugs 5 von dem tragbaren Endgerät 1 zu empfangen und das Fahrzeug 5 auf Basis des Steuersignals zu steuern.
Die Bildeinheit 4 wird bereitgestellt, um Situationen um das Fahrzeug herum zu überwachen. Die Bildeinheit 4 beinhaltet vier Fahrzeugkameras 41 bis 44. 2 veranschaulicht beispielhaft Positionen, an denen Fahrzeugkameras 41 bis 44 an dem Fahrzeug 5 angeordnet sind.
Die Fahrzeugkamera 41 wird am vorderen Ende des Fahrzeugs 5 bereitgestellt. Daher wird die Fahrzeugkamera 41 auch als „Frontkamera 41“ bezeichnet. Eine optische Achse 41 a der Frontkamera 41 erstreckt sich, wie von oben betrachtet, in einer Vor- und Rückrichtung des Fahrzeugs 5. Die Frontkamera 41 ist konfiguriert, eine Vorderrichtung des Fahrzeugs 5 aufzunehmen. Die Fahrzeugkamera 43 wird am hinteren Ende des Fahrzeugs 5 bereitgestellt. Daher wird die Fahrzeugkamera 43 auch als „Rückkamera 43“ bezeichnet. Eine optische Achse 43a der Rückkamera 43 erstreckt sich, wie von oben betrachtet, in der Vor- und Rückrichtung des Fahrzeugs 5. Die Rückkamera 43 ist konfiguriert, eine Rückrichtung des Fahrzeugs 5 aufzunehmen. Die Frontkamera 41 und die Rückkamera 43 sind vorzugsweise an Mittelpunkten des Fahrzeugs 5 in einer Rechts- und Linksrichtung angebracht, sie können aber auch an Positionen angebracht sein, die leicht von den Mittelpunkten in der Rechts- und Linksrichtung abweichen.
Die Fahrzeugkamera 42 wird an einem rechten Türspiegel 61 des Fahrzeugs 5 bereitgestellt. Daher wird die Fahrzeugkamera 42 auch als „rechte Kamera 42“ bezeichnet. Eine optische Achse 42a der rechten Kamera 42 erstreckt sich, wie von oben betrachtet, in der Rechts- und Linksrichtung des Fahrzeugs 5. Die rechte Kamera 42 ist konfiguriert, eine rechte Richtung des Fahrzeugs 5 aufzunehmen. Die Fahrzeugkamera 44 wird an einem linken Türspiegel 62 des Fahrzeugs 5 bereitgestellt. Daher wird die Fahrzeugkamera 44 auch als „linke Kamera 42“ bezeichnet. Eine optische Achse 44a der linken Kamera 44 erstreckt sich, wie von oben betrachtet, in der Rechts- und Linksrichtung des Fahrzeugs 5. Die linke Seitenkamera 44 ist konfiguriert, eine linke Richtung des Fahrzeugs 5 aufzunehmen.
Wenn das Fahrzeug 5 ein sogenanntes türspiegelloses Fahrzeug ist, wird derweil die rechte Seitenkamera 42 in dem Bereich einer rechten Türdrehwelle (Scharnierteil) ohne einen Türspiegel bereitgestellt und die linke Seitenkamera 44 wird in dem Bereich einer linken Türdrehwelle (Scharnierteil) ohne einen Türspiegel bereitgestellt.
Als Linsen der Fahrzeugkameras 41 bis 44 werden beispielsweise Fischaugenlinsen verwendet. Da jede der Fahrzeugkameras 41 bis 44 einen horizontalen Blickwinkel θ von 180° oder größer aufweist, können die Fahrzeugkameras ein omnidirektionales Bild in der horizontalen Richtung des Fahrzeugs 5 aufnehmen.
Wieder unter Bezugnahme auf 1, beinhaltet die Sensoreinheit 51 eine Vielzahl von Sensoren, die konfiguriert sind, Informationen über das Fahrzeug 5, an dem die Fahrzeugkameras 41 bis 44 angebracht sind, zu erfassen. Die Informationen über das Fahrzeug 5 können Informationen über das Fahrzeug selbst beinhalten und Informationen aus der Umgebung des Fahrzeugs. In der beispielhaften Ausführungsform beinhaltet die Sensoreinheit 51 beispielsweise einen Fahrzeuggeschwindigkeitssensor, der konfiguriert ist, eine Geschwindigkeit zu erfassen, einen Lenkwinkelsensor, der konfiguriert ist, einen Drehwinkel eines Lenkens zu erfassen, einen Fahrpedalöffnungsgradsensor, der konfiguriert ist, einen Öffnungsgrad eines Fahrpedals zu erfassen, einen Schaltsensor, der konfiguriert ist, eine Betriebsposition eines Schalthebels eines Getriebes des Fahrzeugs zu erfassen, einen Beleuchtungsstärkesensor, der konfiguriert ist, eine Beleuchtungsstärke um das Fahrzeug zu erfassen, einen Vibrationssensor, der konfiguriert ist, Vibrationen des Fahrzeugs zu erfassen, einen Neigungssensor, der konfiguriert ist, eine Neigung des Fahrzeugs zu erfassen, einen Hindernissensor, der konfiguriert ist, eine Person, ein Tier, ein Fahrzeug und anderes Objekt um das Fahrzeug zu erfassen usw.
Der Hindernissensor kann eine Person, ein Tier, ein Fahrzeug und andere Objekte um das Fahrzeug durch Verwendung eines Ultraschallsensors, eines optischen Sensors unter Verwendung von Infrarot oder dergleichen, eines Radars und dergleichen erfassen. Der Hindernissensor ist an einer Vielzahl von Stellen eingebettet, wie beispielsweise einem vorderen Stoßfänger, einem hinteren Stoßfänger, einer Tür und dergleichen des Fahrzeugs 5. Der Hindernissensor ist konfiguriert, zu erfassen, ob eine Person, ein anderes Fahrzeug und dergleichen existiert, und deren Richtungen und Positionen, indem er Übertragungswellen um das Fahrzeug sendet und reflektierte Wellen empfängt, die an der Person, dem anderen Fahrzeug und dergleichen reflektiert wurden.
Der Scheinwerfer 52 wird an einem vorderen Ende des Fahrzeugs 5 bereitgestellt. Der Scheinwerfer 52 ist eine Beleuchtungsvorrichtung, die konfiguriert ist, die Vorderseite des Fahrzeugs 5 zu beleuchten. Der Warntonalarm 53 ist eine sogenannte Hupe und ist konfiguriert, einen Warnton um das Fahrzeug zu generieren.
<Konfiguration des tragbaren Endgeräts>
Das tragbare Endgerät 1 beinhaltet eine Anzeige (Anzeigeeinheit) 11, eine Bedieneinheit 12, Kameras 13, eine Stimm-Eingabe/Ausgabeeinheit 14, eine Sensoreinheit 15, eine Steuereinheit 16, einen Speicher 17 und eine Kommunikationseinheit 18.
Die Anzeige 11 ist an einer Vorderseite des tragbaren Endgeräts 1, das ein Smartphone ist, angebracht. Die Anzeige 11 ist konfiguriert, darauf zum Beispiel ein Bild für Anzeigeausgabe aus der Bildverarbeitungsvorrichtung 2 anzuzeigen. Die Anzeige 11 ist beispielsweise eine Flüssigkristallanzeige und beinhaltet auf einer Fläche darauf ein Touchpanel, das ein Teil der Bedieneinheit 12 ist.
Die Bedieneinheit 12 beinhaltet beispielsweise das Touchpanel, das auf der Fläche der Anzeige 11 bereitgestellt wird, andere Bedientasten und dergleichen. Die Bedieneinheit 12 ist derart konfiguriert, dass ein Benutzer Informationen von einer Außenseite eingeben kann, wie etwa Eingaben von Zeichen, Zahlenwerten und dergleichen, Auswahl eines Menüs und andere Optionen, Ausführen und Abbruch von Verarbeiten und dergleichen. In der veranschaulichenden Ausführungsform ist die Bedieneinheit 12 ein Touchpanel, das zum Bedienen des Fahrzeugs 5 verwendet wird.
Die Kameras 13 sind an einer Vorder- und einer Rückseite des tragbaren Endgeräts 1, das ein Smartphone ist, angeordnet. Die Frontkamera 13 ist konfiguriert, ein Umgebungsbild an der Vorderseite des tragbaren Endgeräts 1 aufzunehmen. Die Rückkamera 13 ist konfiguriert, ein Umgebungsbild an der Rückseite des tragbaren Endgeräts 1 aufzunehmen.
Die Stimm-Eingabe/Ausgabeeinheit 14 beinhaltet beispielsweise ein Mikrofon und einen Lautsprecher. Das Mikrofon ist konfiguriert, Stimminformationen um das tragbare Endgerät 1, einschließlich von dem Benutzer ausgesprochene Sprache, zu erfassen. Der Lautsprecher ist konfiguriert, einen Warnton, eine Stimme auf einer Kommunikationsleitung und dergleichen nach außen hin zu generieren.
Die Sensoreinheit 15 beinhaltet Sensoren, die konfiguriert sind, Informationen über das tragbare Endgerät 1 zu erfassen. In der veranschaulichenden Ausführungsform beinhaltet die Sensoreinheit 15 einen Vibrationssensor, der konfiguriert ist, Vibrationen des tragbaren Endgeräts zu erfassen, einen Neigungssensor, der konfiguriert ist, eine Neigung des tragbaren Endgeräts zu erfassen, einen GPS- (Global Positioning System) Sensor, der konfiguriert ist, Positionsinformationen des tragbaren Endgeräts zu erfassen, und dergleichen. Der Vibrationssensor kann auch konfiguriert sein, einen Schock auf das tragbare Endgerät von außen zu erfassen. Ein Beschleunigungssensor und ein Gyrosensor können konfiguriert sein, ebenfalls als der Vibrationssensor und der Neigungssensor zu dienen, und Vibrationen, Schock bzw. Neigung des tragbaren Endgeräts zu erfassen. Die Sensoreinheit 15 beinhaltet außerdem einen Vibrationsmotor zum Vibrieren des tragbaren Endgeräts 1.
Die Steuereinheit 16 ist ein sogenannter Mikrocomputer, einschließlich einer CPU (Central Processing Unit), eines RAM (Random Access Memory) und eines ROM (Read Only Memory), die nicht gezeigt werden. Die Steuereinheit 16 ist konfiguriert, die Informationen auf Basis von Programmen, die in dem Speicher 17 gespeichert sind, zu verarbeiten, zu senden und zu empfangen. Die Steuereinheit 16 ist mit der Anzeige 11, der Bedieneinheit 12, der Kamera 13, der Stimm-Eingabe/Ausgabeeinheit 14, der Sensoreinheit 15, dem Speicher 17 und der Kommunikationseinheit 18 auf eine drahtgebundene Weise verbunden.
Die Steuereinheit 16 beinhaltet eine Anzeigesteuereinheit 161, eine Bedienungsfeststellungseinheit 162 und eine Signalerzeugungseinheit 163. Die Funktionen der jeweiligen konstituierenden Elemente der Steuereinheit 16 werden implementiert, wenn die CPU Berechnungsverarbeiten gemäß Programmen ausführt.
Die Anzeigesteuereinheit 161 ist konfiguriert, Anzeigeinhalte der Anzeige 11 zu steuern. Wenn zum Beispiel Eingaben über Ausführungen und Einstellungen diverser Funktionen des tragbaren Endgeräts 1 empfangen werden, zeigt die Anzeigesteuereinheit 161 funktionale Bilder in Bezug auf die Funktionen auf der Anzeige 11 an. Die funktionalen Bilder sind Bilder, die den diversen Funktionen des tragbaren Endgeräts 1 entsprechen, und beinhalten ein Symbol, eine Taste, einen Softkey, eine Schiebeleiste, einen Schiebeschalter, ein Kontrollkästchen, ein Textfeld und dergleichen. Der Benutzer kann die diversen Funktionen des tragbaren Endgeräts 1 durch Berühren und Auswählen der funktionalen Bilder, die auf der Anzeige 11 angezeigt werden, über das Touchpanel (Bedieneinheit 12) ausführen und festlegen.
Die Bedienungsfeststellungseinheit 162 ist konfiguriert, eine Erfassungssignalausgabe von dem Touchpanel (Bedieneinheit 12) zu empfangen und einen Bedieninhalt auf dem Touchpanel auf Basis des Erfassungssignals festzustellen. Die Bedienungsfeststellungseinheit 162 ist konfiguriert, Klopf-, Zieh-, Schnipp- und dergleichen Bedienvorgänge zusätzlich zu Positionsinformationen auf dem Touchpanel festzustellen. Wenn der Bedienvorgang ein Vorgang ist, der von einer Bewegung, wie etwa Ziehen und Schnippen, einer Bewegungsrichtung, einem Bewegungsbetrag und dergleichen begleitet wird, werden diese ebenfalls festgestellt.
Die Signalerzeugungseinheit 163 ist konfiguriert, ein Steuersignal des Fahrzeugs 5 auf Basis eines Bedienvorgangs auf der Bedieneinheit 12 zu generieren. Das generierte Steuersignal des Fahrzeugs 5 wird an die Fahrzeugsteuervorrichtung 3 über die Kommunikationseinheit 18 gesendet.
Der Speicher 17 ist ein nichtflüchtiger Speicher, wie etwa ein Flash-Speicher, und darauf ist eine Vielzahl von Informationen gespeichert. In dem Speicher 17 sind ein Programm als Firmware, eine Vielzahl von Daten, die für die Steuereinheit 16 zur Ausführung der diversen Funktionen notwendig sind, und dergleichen gespeichert.
Die Kommunikationseinheit 18 ist beispielsweise drahtlos mit diversen externen Vorrichtungen verbunden. Das tragbare Endgerät 1 kann ein Bild zum Anzeigen (Kompositbild) empfangen, das von der Bildverarbeitungsvorrichtung 2 des Fahrzeugs 5 generiert wird und einen Umgebungsbereich des Fahrzeugs 5 zeigt, und eine Vielzahl von Informationen (Informationen über Lenkwinkel, Fahrpedalöffnungsgrad, Schaltposition, Fahrzeuggeschwindigkeit, Hindernis und dergleichen), die von der Sensoreinheit 51 über die Kommunikationseinheit 18 erfasst werden. Das tragbare Endgerät 1 kann das Steuersignal des Fahrzeugs 5 auf Basis des Bedienvorgangs auf der Bedieneinheit 12 an die Fahrzeugsteuervorrichtung 3 über die Kommunikationseinheit 18 senden.
<Konfiguration der Bildverarbeitungsvorrichtung>
Die Bildverarbeitungsvorrichtung 2 beinhaltet eine Bilderzeugungseinheit 21, eine Steuereinheit 22, einen Speicher 23 und eine Kommunikationseinheit 24.
Die Bilderzeugungseinheit 21 ist konfiguriert, ein aufgenommenes Bild, das von der Bildeinheit 4 aufgenommen wurde, zu verarbeiten und ein Bild zur Anzeige zu generieren. In der veranschaulichenden Ausführungsform ist die Bilderzeugungseinheit 21 durch einer Hardwareschaltung konfiguriert, die fähig ist, eine Vielzahl von Bildverarbeitung auszuführen. In der veranschaulichenden Ausführungsform ist die Bilderzeugungseinheit 21 konfiguriert, auf Basis der aufgenommenen Bilder, die von den Fahrzeugkameras 41 bis 44, die an dem Fahrzeug 5 angebracht sind, aufgenommen wurden, ein Kompositbild zu generieren, das eine Umgebung des Fahrzeugs 5, wie aus einer virtuellen Perspektive gesehen, zeigt. Außerdem ist die Bilderzeugungseinheit 21 konfiguriert, das anzuzeigende Bild, das auf dem tragbaren Endgerät 1 anzuzeigen ist, auf Basis des Kompositbildes zu generieren. Ein Verfahren zum Generieren des Kompositbildes wird später ausführlich beschrieben.
Die Steuereinheit 22 ist ein sogenannter Mikrocomputer, der eine CPU, ein RAM und ein ROM, die nicht gezeigt sind, beinhaltet. Die Steuereinheit 22 ist konfiguriert, die Informationen auf Basis von Programmen, die in dem Speicher 23 gespeichert sind, zu verarbeiten, zu senden und zu empfangen. Die Steuereinheit 22 ist mit dem tragbaren Endgerät 1, der Fahrzeugsteuervorrichtung 3, der Bildeinheit 4 und der Sensoreinheit 51 auf kabelgebundene oder drahtlose Weise verbunden.
Die Steuereinheit 22 beinhaltet eine Bilderfassungseinheit 221 und eine Bildsteuereinheit 222. Die Funktionen der jeweiligen konstituierenden Elemente der Steuereinheit 22 werden implementiert, wenn die CPU Berechnungsverarbeiten gemäß Programmen ausführt.
Die Bilderfassungseinheit 221 ist konfiguriert, die aufgenommenen Bilder, die an den Fahrzeugkameras 41 bis 44 aufgenommen wurden, zu erfassen. In der veranschaulichenden Ausführungsform beträgt die Anzahl der Fahrzeugkameras 41bis 44 vier und die Bilderfassungseinheit 221 ist konfiguriert, die aufgenommenen Bilder, die an den jeweiligen Fahrzeugkameras 41 bis 44 aufgenommen wurden, zu erfassen.
Die Bildsteuereinheit 222 ist konfiguriert, Bildverarbeitung, die von der Bilderzeugungseinheit 21 durchzuführen ist, zu steuern. Die Bildsteuereinheit 222 ist beispielsweise konfiguriert, Anweisungen diverser Parameter und dergleichen an die Bilderzeugungseinheit 21 auszugeben, die notwendig sind, um das Kompositbild zu generieren und das Bild anzuzeigen. Die Bildsteuereinheit 222 ist außerdem konfiguriert, Ausgabe des darzustellenden Bildes, das von der Bilderzeugungseinheit 21 generiert wird, an das tragbare Endgerät 1 zu steuern. Gleichzeitig lässt sich in den Beschreibungen auf „das Bild zum Anzeigen des Kompositbildes“, das auf der Anzeige 11 des tragbaren Endgeräts 1 anzuzeigen ist, einfach als „Kompositbild“ beziehen.
Der Speicher 23 ist ein nichtflüchtiger Speicher, wie etwa ein Flash-Speicher, und darauf ist eine Vielzahl von Informationen gespeichert. In dem Speicher 23 ist ein Programm als Firmware, eine Vielzahl von Daten, die für die Bilderzeugungseinheit 21 zum Generieren des Kompositbildes und des Bildes zur Anzeige notwendig sind, gespeichert. Außerdem sind in dem Speicher 23 diverse Daten, die für die Bilderfassungseinheit 221 und die Bildsteuereinheit 222 zum Ausführen des Verarbeitens notwendig sind, gespeichert.
Die Kommunikationseinheit 24 ist beispielsweise drahtlos mit dem tragbaren Endgerät 1 verbunden. Die Bildverarbeitungsvorrichtung 2 kann das Bild zur Anzeige, das an der Bilderzeugungseinheit 21 generiert wurde, und eine Vielzahl von Informationen (Informationen zum Lenkwinkel, Fahrpedalöffnungsgrad, Schaltposition, Fahrzeuggeschwindigkeit, Hindernis und dergleichen), die von der Sensoreinheit 51 erfasst werden, an das tragbare Endgerät 1 über die Kommunikationseinheit 24 ausgeben.
<Generieren des Kompositbildes>
Ein Verfahren, mit dem die Bilderzeugungseinheit 21 ein Kompositbild generiert, das ein Umgebungsbild des Fahrzeugs 5, wie von einem virtuellen Standpunkt aus gesehen, zeigt, wird beschrieben. 3 veranschaulicht ein Verfahren zum Generieren eines Kompositbildes CP, das einen Umgebungsbereich des Fahrzeugs 5 zeigt.
Von der Frontkamera 41, der rechten Seitenkamera 42, der Rückkamera 43 und der linken Seitenkamera 44 werden gleichzeitig vier aufgenommene Bilder P41 bis P44, die die Vorder-, rechte, Rück- und linke Seite des Fahrzeugs 5 zeigen, aufgenommen. Die vier aufgenommenen Bilder P41 bis P44 beinhalten Daten der gesamten Umgebung des Fahrzeugs 5. Die Bilderzeugungseinheit 21 erfasst die vier aufgenommenen Bilder P41 bis P44 über die Bilderfassungseinheit 221.
Die Bilderzeugungseinheit 21 projiziert Daten (Werte jeweiliger Pixel), die in den vier aufgenommenen Bildern P41 bis P44 beinhaltet sind, auf eine Projektionsebene TS, die eine stereoskopisch gekrümmte Fläche eines virtuellen, dreidimensionalen Raums ist. Die Projektionsebene TS hat beispielsweise eine im Wesentlichen semisphärische Form (Schüsselform) und ein zentraler Teil davon (ein Unterteil der Schüssel) wird als eine Position des Fahrzeugs 5 bestimmt.
Auf der Projektionsebene TS werden die Daten der aufgenommenen Bilder auf einen Bereich außerhalb eines Bereichs des Fahrzeugs 5 projiziert. Eine Korrespondenzbeziehung zwischen einer Position jedes Pixels, der in den aufgenommenen Bildern P41 bis P44 enthalten ist, und eine Position jedes Pixels der Projektionsebene TS wird im Voraus bestimmt. Tabellendaten, die die Korrespondenzbeziehung angeben, werden in dem Speicher 23 gespeichert. Der Wert jedes Pixels der Projektionsebene TS kann auf Basis der Korrespondenzbeziehung und des Werts jedes Pixels, der in den aufgenommenen Bildern P41 bis P40 enthalten ist, bestimmt werden.
Dann legt die Bilderzeugungseinheit 21 einen virtuellen Standpunkt VP für den dreidimensionalen Raum unter Kontrolle der Bildsteuereinheit 222 fest. Der virtuelle Standpunkt VP wird von einer Standpunktposition und einer Standpunktrichtung definiert. Die Bilderzeugungseinheit 21 kann den virtuellen Standpunkt VP an jeder beliebigen Standpunktposition in jeder beliebigen Standpunktrichtung für den dreidimensionalen Raum festlegen. Die Bilderzeugungseinheit 21 schneidet, als ein Bild, Daten aus, die auf einen Bereich projiziert werden, der in einem Blickfeld enthalten ist, das von dem festgelegten virtuellen Standpunkt VP der Projektionsebene TS gesehen wird. Dadurch generiert die Bilderzeugungseinheit 21 ein Kompositbild, das von jedem virtuellen Standpunkt VP aus gesehen wird.
Wie zum Beispiel in 3 gezeigt, ist es, wenn ein virtueller Standpunkt VPa, von dem eine Standpunktposition direkt über dem Fahrzeug 5 festgelegt wird, und eine Sichtlinie direkt nach unten festgelegt wird, möglich, ein Kompositbild (Luftbild) CPa, dass auf das Fahrzeug 5 und die Umgebung des Fahrzeugs 5 nach unten blickt, zu generieren.
In der Zwischenzeit wird ein Bild 5p des Fahrzeugs 5, das in dem Kompositbild CPa gezeigt wird, im Voraus als Bitmapdaten oder dergleichen vorbereitet und in dem Speicher 23 gespeichert. Beim Generieren des Kompositbildes werden die Daten des Bildes 5p des Fahrzeugs 5, die eine Form aufweisen, die der Standpunktposition und der Sichtlinie des virtuellen Standpunkts VP des Kompositbildes entsprechen, ausgelesen und in das Kompositbild CPa aufgenommen.
Auf diese Weise kann die Bilderzeugungseinheit 21 das Kompositbild CPa mit realistischer Wahrnehmung, die der Realität nahekommt, unter Verwendung der virtuellen stereoskopischen Projektionsebene TS generieren.
Es ist auch möglich, den Umgebungsbereich des Fahrzeugs 5 durch Verwendung eines Kompositbildes, das den Umgebungsbereich des Fahrzeugs 5 zeigt und auf Basis einer Vielzahl aufgenommener Bilder, die von der Vielzahl von Fahrzeugkameras 41 bis 44, die an dem Fahrzeug 5 angebracht sind, nicht den Kameras 13 des tragbaren Endgeräts 1, aufgenommen wurden, zu prüfen. Dadurch ist es möglich einen Bereich zu prüfen, der zum Beispiel ein Totzonenbereich aus einer Position des Benutzers ist, oder einen gegenüberliegenden Bereich des Fahrzeugs 5, der aus der Position des Benutzers gesehen von dem Fahrzeug 5 abgeschirmt wird.
<Überblick über die Fahrzeugfernbedienung durch ein tragbares Endgerät>
<Beispiel 1 >
Das tragbare Endgerät 1 kann das Bild zur Anzeige (Kompositbild), das von der Bildverarbeitungsvorrichtung 2 auszugeben ist, empfangen und dieses auf der Anzeige 11 anzeigen. 4 ist eine Bildansicht des tragbaren Endgeräts 1, auf dem ein Kompositbild CP1 und ein Hilfsbild AP1 nach Beispiel 1 angezeigt werden. Die Anzeige 11 des tragbaren Endgeräts 1 zeigt das Kompositbild CP1 und das Hilfsbild AP1 an. Die Anzeige 11 zeigt das Kompositbild CP1 beispielsweise an einer oberen Seite und das Hilfsbild AP1 an einer unteren Seite. Die Anordnung in der oberen und unteren Richtung kann jedoch umgekehrt werden.
5 ist eine Bildansicht des Kompositbildes CP1, das auf dem tragbaren Endgerät 1 in Beispiel 1 angezeigt wird. Wie in 5 gezeigt, zeigt das tragbare Endgerät 1 Symbole und dergleichen, die funktionale Bilder in Bezug auf die Vorgänge des Fahrzeugs 5 sind, auf der Anzeige 11 an, wenn das Fahrzeug 5 fernbedient wird. Das heißt, die Symbole und dergleichen, die ein Bild der Betriebseinheit 12 sind, werden auf das Kompositbild CP1 überlagert. Die Betriebseinheit 12 ist entsprechend einer Position und einer Richtung des Bildes 5p des Fahrzeugs 5 in dem Kompositbild CP1 angeordnet.
Insbesondere werden auf dem Bildschirm der Anzeige 11 beispielsweise ein Symbol 12a in Bezug auf Vorwärtsbewegung, ein Symbol 12b in Bezug auf eine schräge Vorwärtsrechtsrichtung, ein Symbol 12c in Bezug auf eine schräge Vorwärtslinksrichtung, ein Symbol 12d in Bezug auf Rückwärtsbewegung, ein Symbol 12e in Bezug auf eine schräge Rückwärtsrechtsrichtung und einen Symbol 12f in Bezug auf eine schräge Rückwärtslinksrichtung auf dem Kompositbild CP1 überlagert angezeigt. Die Symbole in Bezug auf die Bewegung des Fahrzeugs 5 sind beispielsweise an Positionen angeordnet, die jeweiligen Bewegungsrichtungen um das Bild 5p des Fahrzeugs 5 entsprechen. Gleichzeitig wird in Beispiel 1 das Symbol, das die Bewegungsrichtung des Fahrzeugs 5 angibt, derart gebildet, dass es beispielsweise eine Dreiecksform aufweist. Es können jedoch auch andere Formen, wie etwa eine Pfeilform, verwendet werden.
Außerdem wird ein Symbol 12g mit „STOP“ in Bezug auf das Stoppen des Fahrzeugs 5 auf das Bild 5b des Fahrzeugs 5 überlagert angeordnet. Außerdem wird ein Symbol 12h für ein Beenden der Fernbedienung des Fahrzeugs 5 außerhalb des Kompositbildes CP1 angezeigt.
Der Benutzer kann die Symbole mit einer Fingerspitze beliebig bedienen. Die Bedienungsfeststellungseinheit 162 stellt auf Basis des Erfassungssignals des Touchpanels (Bedieneinheit 12) einen Bedieninhalt entsprechend des Symbols fest. Die Signalerzeugungseinheit 163 generiert ein Steuersignal des Fahrzeugs 5 auf Basis des Bedieninhaltes entsprechend des Symbols. Das Steuersignal wird an die Fahrzeugsteuervorrichtung 3 über die Kommunikationseinheit 18 gesendet.
Wenn der Benutzer beispielsweise das Symbol 12a in Bezug auf Vorwärtsbewegung des Fahrzeugs 5 einmal drückt (klopft), wird das Fahrzeug 5 um eine vorbestimmte Distanz (zum Beispiel 10 cm) vorwärts bewegt. Wenn der Benutzer weiterhin beispielsweise das Symbol 12c in Bezug auf eine schräge Vorwärtslinksrichtung des Fahrzeugs 5 einmal drückt, ändert das Fahrzeug 5 einen Lenkwinkel um einen vorbestimmten Winkel, um sich in eine schräge Vorwärtslinksrichtung zu bewegen. Zu diesem Zeitpunkt kann, wann immer der Lenkwinkel verändert wird, die Richtung des Bildes 5p des Fahrzeugs 5 geändert werden, um leicht eine Richtung wahrnehmen zu können, in die das Fahrzeug gewendet und bewegt wird. Wenn der Benutzer das Symbol 12a in Bezug auf eine Vorwärtsrichtung einmal drückt, wird das Fahrzeug 5 in einer schrägen Vorwärtslinksrichtung um eine vorbestimmte Distanz bewegt. Gleichzeitig können die Bewegungsrichtung, Bewegungsentfernung und dergleichen des Fahrzeugs 5 auf Basis eines Bedienvorgangs gesteuert werden, der von Bewegung begleitet wird, wie etwa Ziehen, Schnippen und dergleichen auf dem Touchpanel (Bedieneinheit 12).
Wenn der Benutzer das Symbol 12g, auf dem „STOP“ gezeigt wird, um die Bewegung des Fahrzeugs 5 auf dem Weg zu stoppen, wird das Fahrzeug 5 gestoppt. In einer Konfiguration, in der das Fahrzeug 5 nur dazu der Lage ist, sich für einen Zeitraum zu bewegen, während dem der Benutzer das Symbol 12a in Bezug auf Vorwärtsbewegung oder das Symbol 12d in Bezug auf Rückwärtsbewegung drückt, wird das Fahrzeug 5 gestoppt, wenn der Benutzer den Finger von den Symbolen löst.
Während der Fernbedienung wird ein Hindernis, wie etwa eine Person, ein Tier, ein Fahrzeug und andere Objekte um das Fahrzeug von der Sensoreinheit 51 erfasst. Wenn die Sensoreinheit 51 das Hindernis erfasst, wird das Erfassungssignal an die Fahrzeugsteuervorrichtung 3 übertragen, so dass die Fahrzeugsteuervorrichtung 3 das Fahrzeug 5 automatisch stoppt.
Wieder unter Bezugnahme auf 4 beinhaltet das Hilfsbild AP1 andere Objekte um das Fahrzeug 5, eine Entfernung von dem Fahrzeug 5 zu einem Hindernis oder einer Parkfläche und einen Zustand des Fahrzeugs 5, wie beispielsweise einen Betriebszustand des Fahrzeugs 5. In Beispiel 1 zeigt die Anzeige 11 als das Hilfsbild AP1 ein Bild, das beispielsweise ein Bild beinhaltet, das an dem rechten Türspiegel 61 reflektiert wird. Gleichzeitig kann das Hilfsbild AP1 beispielsweise ein Kotflügelspiegelbild oder ein Raumspiegelbild, einschließlich eines Bildes an der Rückseite des Fahrzeugs 4, sein. Dadurch beinhaltet das Hilfsbild AP1 das Bild des 5p des Fahrzeugs 5.
Die Symbole und dergleichen, die ein Bild der Betriebseinheit 12 sind, können ebenfalls auf das Hilfsbild AP1 überlagert werden. In diesem Fall sind die Symbole und dergleichen, die ein Bild der Bedieneinheit 12 sind, überlagert auf dem Hilfsbild AP1 auf Basis einer Position und einer Richtung des Bildes 5p des Fahrzeugs 5 in dem Hilfsbild AP1 angeordnet. Da das Hilfsbild AP1 ein Standard in Bezug auf eine Betriebsrichtung des Fahrzeugs 5 ist, wird eine Betriebsrichtung, die von dem Symbol angegeben wird, insbesondere vorzugsweise auf Basis der Position und Richtung des Bildes 5p des Fahrzeugs 5, das in dem Hilfsbild AP1 beinhaltet ist, festgelegt. Dadurch ist es möglich, die Fernbedienung des Fahrzeugs 5 auf Basis des Hilfsbildes AP1 durchzuführen, d. h. die Fernbedienung des Fahrzeugs 5 unter Prüfung des Hilfsbildes AP1.
Gleichzeitig ist es, in Hinblick auf den Betrieb unter Verwendung des Symbols der Bedieneinheit 12, das auf dem Hilfsbild AP1 überlagert ist, nötig, alle Steuerdaten des Fahrzeugs 5 zu generieren, so dass das Fahrzeug 5 sich in eine Richtung entsprechend der Betriebsrichtung bewegt. Die Steuerdaten, die jedem Symbolbedienvorgang entsprechen, werden beispielsweise im Voraus in einer Tabelle gespeichert. Wenn der Symbolbedienvorgang auf dem Hilfsbild AP1 durchgeführt wird, liest die Signalerzeugungseinheit 163 die Steuerdaten, die dem Symbolbedienvorgang entsprechen, aus der Tabelle und generiert ein Steuersignal des Fahrzeugs 5 auf Basis des Bedienvorgangs auf dem Symbol der Bedieneinheit 12 in dem Hilfsbild AP1. Das generierte Steuersignal des Fahrzeugs 5 wird an die Fahrzeugsteuervorrichtung 3 über die Kommunikationseinheit 18 gesendet und zur Steuerung des Fahrzeugs 5 verwendet.
In einem Fall, in dem die Typen des Hilfsbildes unterschiedlich sind, ist eine Tabelle vorzugsweise für jeden Typ des Hilfsbildes gespeichert und Wandlungsverarbeitungsdaten (Gleichung) sind für jeden Typ des Hilfsbildes gespeichert. Dadurch ist es selbst dann, wenn sich die Typen des Hilfsbildes unterscheiden, möglich, das Fahrzeug 5 in dem Hilfsbild fernzubedienen.
6 ist ein Flussdiagramm, das ein Beispiel eines Verarbeitungsflusses für die Fahrzeugfernbedienung in Beispiel 1 zeigt. Das Verarbeiten für die Fernbedienung des Fahrzeugs 5, das durch das tragbare Endgerät 1 in Beispiel 1 auszuführen ist, wird unter Bezugnahme auf den Prozessfluss in 6 beschrieben.
Das tragbare Endgerät 1 wird beispielsweise von dem Benutzer bedient und beginnt das Verarbeiten für die Fernbedienung des Fahrzeugs 5, wenn eine Anweisung zum Starten der Fernbedienung von der Bedieneinheit 12 empfangen wird („START“ in 6). Die Fernbedienung des Fahrzeugs 5 beginnt in einem Zustand, in dem das Fahrzeug 5 gestoppt ist.
Dann sendet das tragbare Endgerät 1 ein Steuersignal in Bezug auf das Generieren des Kompositbildes CP1 an die Bildverarbeitungsvorrichtung 2 des Fahrzeugs 5 (Schritt S101). Die Bildverarbeitungsvorrichtung 2 erfasst eine Vielzahl von Bildern um das Fahrzeug 5 von jeder der Fahrzeugkameras 41 bis 44. In der Bilderzeugungseinheit 21 wird das Kompositbild CP1, das den Umgebungsbereich des Fahrzeugs 5, wie von dem virtuellen Standpunkt aus betrachtet, auf Basis der Vielzahl der Bilder um das Fahrzeug 5 generiert.
Dann empfängt das tragbare Endgerät 1 das Kompositbild CP1 von der Bildverarbeitungsvorrichtung 2 und zeigt das Kompositbild CP1 auf der Anzeige 11 an (Schritt S102). Das tragbare Endgerät 1 zeigt die Symbole und dergleichen (Bedieneinheit 12), die funktionale Bilder des Betriebs des Fahrzeugs 5 sind, auf der Anzeige 11 durch Überlagern dergleichen auf dem Kompositbild CP1 kontinuierlich an (Schritt S103). Dadurch kann der Benutzer die Symbole für die Fernbedienung mit dem Finger beliebig bedienen.
Dann zeigt das tragbare Endgerät 1 das Hilfsbild AP1 auf der Anzeige 11 an (Schritt S104). Das Hilfsbild AP1 beinhaltet einen Zustand des Fahrzeugs 5 und ist beispielsweise ein Seitenspiegelbild des Beispiels 1.
Dann bestimmt das tragbare Endgerät 1, ob der Benutzer eine Bedieneingabe auf der Bedieneinheit 12 durchgeführt hat (Schritt S105). Liegt keine Bedieneingabe auf der Bedieneinheit 12 vor (Nein in Schritt S105), kehrt das tragbare Endgerät 1 zu Schritt S102 zurück und empfängt weiter das Kompositbild CP1 und zeigt dieses an.
Liegt eine Bedieneingabe auf der Bedieneinheit 12 vor (Ja in Schritt S105), generiert das tragbare Endgerät 1 ein Steuersignal des Fahrzeugs 5 auf Basis des Bedienvorgangs auf der Bedieneinheit 12 unter Verwendung der Signalerzeugungseinheit 163 und sendet das Steuersignal an die Fahrzeugsteuervorrichtung 3 (Schritt S106). Dadurch kann der Benutzer die Fernbedienung des Fahrzeugs 5 durchführen.
Dann bestimmt das tragbare Endgerät 1, ob der Benutzer einen AUS-Bedienvorgang der Fernbedienung des Fahrzeugs 5 durchgeführt hat (Schritt S107). Der Benutzer kann die Fernbedienung des Fahrzeugs durch Betätigen des Symbols 12h zum Beenden der Fernbedienung des Fahrzeugs 5 beenden. Liegt kein AUS-Bedienvorgang auf der Fernbedienung vor (Nein in Schritt S107), kehrt das tragbare Endgerät 1 zu Schritt S102 zurück und empfängt weiter das Kompositbild CP1 und zeigt dieses an.
Wurde ein AUS-Bedienvorgang der Fernbedienung durchgeführt (Ja in Schritt S107), ist der in 6 gezeigte Prozessablauf vorüber.
Wie vorstehend beschrieben zeigt das tragbare Endgerät 1, welches die Fahrzeugfernbedienungsvorrichtung des Beispiels 1 ist, das Kompositbild CP1, auf dem das Bild der Bedieneinheit 12 überlagert ist, und das Hilfsbild AP1, das einen Zustand des Fahrzeugs 5 beinhaltet, auf der Anzeige 11 an. Gemäß dieser Konfiguration ist es möglich, wenn die Fernbedienung des Fahrzeugs 5 durchgeführt wird, die Umgebungssituation des Fahrzeugs 5 beispielsweise als das Hilfsbild AP1 anzuzeigen. Es ist daher möglich, die Fernbedienung durchzuführen, während die Umgebungssituation des Fahrzeugs 5 geprüft wird. Das heißt, es ist möglich, Komfort und Bedienbarkeit der Fernbedienung des Fahrzeugs 5 zu verbessern.
Außerdem ist die Bedieneinheit 12 auf der Anzeige 11 entsprechend der Position und Richtung des Bildes 5p des Fahrzeugs 5 in dem Kompositbild CP1 angeordnet. Gemäß dieser Konfiguration ist es möglich, die Betriebsrichtung des Fahrzeugs 5 leicht wahrzunehmen. Es ist daher möglich, die Bedienbarkeit der Fernbedienung des Fahrzeugs 5 zu verbessern.
Außerdem zeigt die Anzeige 11 ein Bild, das ein Bild beinhaltet, das auf dem Spiegel des Fahrzeugs 5 reflektiert wird, als das Hilfsbild AP1. Gemäß dieser Konfiguration ist es möglich, die Umgebungssituation des Fahrzeugs 5, die auf dem Spiegel des Fahrzeugs 5 reflektiert wird, auf der Anzeige 11 des tragbaren Endgeräts 1 zu prüfen. Das heißt, es ist möglich die Fernbedienung so durchzuführen, als wenn der Benutzer das Fahrzeug 5 auf einem Fahrersitz fahren würde, so dass es möglich ist, den Komfort und die Bedienbarkeit der Fernbedienung des Fahrzeugs 5 weiter zu verbessern.
<Beispiel 2>
7 ist eine Bildansicht des tragbaren Endgeräts 1, auf dem das Kompositbild CP1 und ein Hilfsbild AP2 nach Beispiel 2 angezeigt werden. In Beispiel 2 zeigt das tragbare Endgerät 1 auf dem Bildschirm der Anzeige 11 eine Vielzahl von Symbolen in Bezug auf die Fernbedienung des Fahrzeugs 5 als die Bedieneinheit 12 mit Überlagern dergleichen auf dem Kompositbild CP1 an.
Die Anzeige 11 des tragbaren Endgeräts 1 zeigt auch das Hilfsbild AP2 unter dem Kompositbild CP1 an. Die Anordnung des Kompositbildes CP1 und des Hilfsbildes AP2 in der oberen und unteren Richtungen kann auch umgekehrt werden. Die Anzeige 11 zeigt ein Bild 111 an, das einen Betriebszustand des Fahrzeugs 5 an sich zeigt, als das Hilfsbild AP2 an. Das Bild 111, das einen Betriebszustand des Fahrzeugs 5 an sich zeigt, beinhaltet beispielsweise ein Steuerradbild 111a, ein Fahrpedalbild 111b und ein Bremsbild 111c.
Das Steuerradbild 111 a ist ein Bild, das einen Drehwinkel eines Steuerrads des tatsächlichen Fahrzeugs 5 zeigt. Das Steuerradbild 111a dreht sich um eine Mittelachse zusammen mit Drehung des Steuerrades des Fahrzeugs 5, das von der Bedieneinheit 12 bedient wird. Das Fahrpedalbild 111 b ist ein Bild, das einen Grad der Gaspedalbetätigung des tatsächlichen Fahrzeugs 5 zeigt. Das Fahrpedalbild 111b drückt beispielsweise den Grad der Gaspedalbetätigung durch einen Indikator aus. Das Bremsbild 111c ist ein Bild, das einen Grad der Bremspedalbetätigung des tatsächlichen Fahrzeugs 5 zeigt. Das Bremsbild 111c drückt beispielsweise den Grad der Bremspedalbetätigung durch einen Indikator aus.
Die Bilder können aus der Vielzahl von Informationen (die Informationen zum Lenkwinkel, des Fahrpedalöffnungsgrades, der Schaltposition, Fahrzeuggeschwindigkeit, Hindernis und dergleichen), die an der Sensoreinheit 51 des Fahrzeugs 5 erfasst und über die Kommunikationseinheit 18 empfangen werden, generiert werden.
Gemäß der Konfiguration des tragbaren Endgeräts 1 des Beispiels 2 ist es möglich, einen Betriebszustand des tatsächlichen Fahrzeugs 5 an sich auf der Anzeige 11 des tragbaren Endgeräts 1 zu prüfen, wie etwa den eines Steuerrads. Es ist beispielsweise möglich, leicht zu prüfen inwieweit das Steuerrad gedreht ist und in welche Richtung ein Reifen zeigt, ohne sich dem Fahrzeug 5 zu nähern. Es ist daher möglich, den Komfort und die Bedienbarkeit der Fernbedienung des Fahrzeugs 5 weiter zu verbessern.
<Beispiel 3>
8 ist eine Bildansicht des tragbaren Endgeräts 1, auf dem das Kompositbild CP1 und ein Hilfsbild AP3 nach Beispiel 3 angezeigt werden. In Beispiel 3 zeigt das tragbare Endgerät 1 auf dem Bildschirm der Anzeige 11 eine Vielzahl von Symbolen in Bezug auf die Fernbedienung des Fahrzeugs 5 als die Bedieneinheit 12 mit Überlagern dergleichen auf dem Kompositbild CP1 an.
Die Anzeige 11 des tragbaren Endgeräts 1 zeigt auch das Hilfsbild AP3 unter dem Kompositbild CP1 an. Die Anordnung des Kompositbildes CP1 und des Hilfsbildes AP3 in der oberen und unteren Richtung kann auch umgekehrt werden. Die Anzeige 11 zeigt Objekt, das sich dem Fahrzeug 5 annähert, als das Hilfsbild AP3. Wenn das Fahrzeug 5 zum Beispiel auf einer Parkfläche Ps1 durch Fernbedienung geparkt wird, wird ein Fahrzeugstopp Tr1, der sich dem Fahrzeug 5 annähert, vergrößert auf dem Hilfsbild AP3 angezeigt. Es wird auch ein Text Tx1, der eine Entfernung des Fahrzeugs 5 zu dem Fahrzeugstopp Tr1 angibt, in dem Hilfsbild AP3 angezeigt.
Gleichzeitig wird von der Sensoreinheit 51 des Fahrzeugs 5 ein Objekt erfasst, das sich dem Fahrzeug 5 annähert. Das Objekt, das sich dem Fahrzeug 5 annähert, beinhaltet beispielsweise eine Seitenwand, eine Person, ein Tier, ein Fahrzeug, ein anderes Objekt und dergleichen um das Fahrzeug 5 zusätzlich zu dem Fahrzeugstopp Tr1.
Gemäß der Konfiguration des tragbaren Endgeräts 1 des Beispiels 3 ist es möglich, einfach einen Zustand des Fahrzeugs 5 in Bezug auf das Objekt, das sich dem Fahrzeug 5 annähert, zu prüfen. Es ist daher möglich, die Sicherheit der Fernbedienung zu erhöhen und den Komfort der Fernbedienung des Fahrzeugs 5 weiter zu verbessern.
<Beispiel 4>
9 ist eine Bildansicht des tragbaren Endgeräts 1, auf dem das Kompositbild CP1 und ein Hilfsbild AP4 nach Beispiel 4 angezeigt werden. In Beispiel 4 zeigt das tragbare Endgerät 1 auf dem Bildschirm der Anzeige 11 eine Vielzahl von Symbolen in Bezug auf die Fernbedienung des Fahrzeugs 5 als die Bedieneinheit 12 mit Überlagern dergleichen auf dem Kompositbild CP1 an.
Die Anzeige 11 des tragbaren Endgeräts 1 zeigt auch das Hilfsbild AP4 unter dem Kompositbild CP1 an. Die Anordnung des Kompositbildes CP1 und des Hilfsbildes AP4 in der oberen und unteren Richtung kann auch umgekehrt werden. Die Anzeige 11 zeigt ein aufgenommenes Bild, das durch Aufnahme des unteren Bereichs des Fahrzeugs 5 aufgenommen wurde, als das Hilfsbild AP4. Der untere Bereich des Fahrzeugs 5 kann ein Bild sein, das zwischen einem Boden des Fahrzeugs 5 und einer Bodenfläche aufgenommen wurde. In Bezug darauf beinhaltet das Fahrzeug 5 eine Fahrzeugkamera, die konfiguriert ist, den unteren Bereich des Fahrzeugs 5 zusätzlich zu den Fahrzeugkameras 41 bis 44 aufzunehmen.
Gemäß der Konfiguration des tragbaren Endgeräts 1 des Beispiels 4 ist es möglich, eine Situation unter dem Fahrzeug 5 auf der Anzeige 11 des tragbaren Endgeräts 1 zu prüfen. Das heißt, es ist möglich, die Situation unter dem Fahrzeug 5, die während des üblichen Fahrens nicht geprüft werden kann, ohne sich dem Fahrzeug 5 anzunähern zu prüfen. Dementsprechend ist es möglich, den Komfort und die Bedienbarkeit der Fernbedienung des Fahrzeugs 5 weiter zu verbessern.
<Beispiel 5>
10 ist eine Bildansicht des tragbaren Endgeräts 1, auf dem das Kompositbild CP1 und ein Hilfsbild AP5 nach Beispiel 5 angezeigt werden. In Beispiel 5 zeigt das tragbare Endgerät 1 auf dem Bildschirm der Anzeige 11 eine Vielzahl von Symbolen in Bezug auf die Fernbedienung des Fahrzeugs 5 als die Bedieneinheit 12 mit Überlagern dergleichen auf dem Kompositbild CP1 an.
Die Anzeige 11 des tragbaren Endgeräts 1 zeigt auch das Hilfsbild AP5 unter dem Kompositbild CP1 an. Die Anordnung des Kompositbildes CP1 und des Hilfsbildes AP5 in der oberen und unteren Richtung kann auch umgekehrt werden. Die Anzeige 11 zeigt ein Bild an der Rückseite des Fahrzeugs 5, wenn das Fahrzeug 5 beispielsweise auf einer Parkfläche Ps2 durch Fernbedienung geparkt wird, als das Hilfsbild AP5.
Auf der beispielhaften Parkfläche Ps2 existiert beispielsweise eine Struktur St1 über der Parkfläche des Fahrzeugs. In dem Hilfsbild AP5 ist ein Bild der Struktur St1 beinhaltet. Hier berechnet das tragbare Endgerät 1 eine Höhe von einem Boden bis zu der Struktur St1 auf Basis des Hilfsbildes AP5. Dann vergleicht das tragbare Endgerät 1 eine Fahrzeughöhe des Fahrzeugs 5 und die Höhe der Struktur St1 und stellt fest, ob das Fahrzeug 5 unter die Struktur St1 fahren kann. Informationen über eine Größe des Fahrzeugs 5 an sich wurden im Voraus in dem Speicher 17 und dergleichen gespeichert. Außerdem wird in dem Hilfsbild AP5 ein Text Tx2 angezeigt, der angibt, ob das Fahrzeug 5 unter die Struktur St1 passt.
Wie vorstehend beschrieben zeigt die Anzeige 11 des tragbaren Endgeräts 1 des Beispiels 4 Informationen über Kontakt zwischen dem Fahrzeug 5 und dem anderen Objekt um das Fahrzeug 5 als das Hilfsbild an. Gemäß dieser Konfiguration ist es möglich, die Informationen über Kontakt zwischen den Fahrzeug 5 und dem anderen Objekt um das Fahrzeug 5 auf der Anzeige 11 des tragbaren Endgeräts 1 zu prüfen. Wenn die Struktur St1 zum Beispiel über der Parkfläche des Fahrzeugs existiert, ist es insbesondere möglich, auf der Anzeige 11 des tragbaren Endgeräts 1 zu prüfen, ob das Fahrzeug 5 in Kontakt mit der Struktur St1 gerät. Dementsprechend ist es möglich, den Komfort und die Bedienbarkeit der Fernbedienung des Fahrzeugs 5 weiter zu verbessern.
<Beispiel 6>
11 ist eine Bildansicht des tragbaren Endgeräts 1, auf dem das Kompositbild CP1 und ein Hilfsbild AP61 nach Beispiel 6 angezeigt werden (erstes Beispiel). In Beispiel 6 zeigt das tragbare Endgerät 1 auf dem Bildschirm der Anzeige 11 eine Vielzahl von Symbolen in Bezug auf die Fernbedienung des Fahrzeugs 5 als die Bedieneinheit 12 mit Überlagern dergleichen auf dem Kompositbild CP1 an.
Die Anzeige 11 des tragbaren Endgeräts 1 zeigt auch das Hilfsbild AP61 unter dem Kompositbild CP1 an. Die Anordnung des Kompositbildes CP1 und des Hilfsbildes AP61 in der oberen und unteren Richtung kann auch umgekehrt werden. Die Anzeige 11 zeigt ein Bild an der Rückseite des Fahrzeugs 5, wenn das Fahrzeug 5 beispielsweise auf einer Parkfläche Ps3 durch Fernbedienung geparkt wird, als das Hilfsbild AP61.
Auf der beispielhaften Parkfläche Ps3 existieren beispielsweise Wandteile St2, St3 an der linken und rechten Seite der Parkfläche des Fahrzeugs. In dem Hilfsbild AP61 sind Bilder der Wandteile St2, St3 beinhaltet. Hier berechnet das tragbare Endgerät 1 ein Intervall der Wandteile St2, St3 in einer Fahrzeugbreitenrichtung auf Basis des Hilfsbildes AP61. Dann vergleicht das tragbare Endgerät 1 eine Fahrzeugbreite des Fahrzeugs 5 und das Intervall der Wandteile St2, St3 und stellt fest, ob das Fahrzeug 5 in die Parkfläche Ps3 fahren kann. Die Informationen über eine Größe des Fahrzeugs 5 an sich wurden im Voraus in dem Speicher 17 und dergleichen gespeichert. Außerdem wird in dem Hilfsbild AP61 ein Text Tx3 angezeigt, der angibt, ob das Fahrzeug 5 in die Parkfläche Ps3 fahren kann.
Wenn das Fahrzeug 5 in die Parkfläche Ps3 fährt, zeigt die Anzeige 11 des tragbaren Endgerät 1 kontinuierlich ein Hilfsbild AP62 unter dem Kompositbild CP1 an. 12 ist eine Bildansicht des tragbaren Endgeräts 1, auf dem das Kompositbild CP1 und ein Hilfsbild AP62 nach Beispiel 6 angezeigt werden (zweites Beispiel). Das Kompositbild CP1 und das Hilfsbild AP62 zeigen einen Zustand, in dem beispielsweise ein Teil des Fahrzeugs 5 in die Parkfläche Ps3 eingedrungen ist. Hier vergleicht das tragbare Endgerät 1 eine Fahrzeugbreite des Fahrzeugs 5 in einem Zustand, in dem die linke und die rechte Tür geöffnet werden, und das Intervall der Wandteile St2, St3 und stellt fest, ob es möglich ist, die linke und die rechte Tür des Fahrzeugs 5, das auf der Parkfläche Ps3 geparkt wurde, hinreichend zu öffnen. Außerdem wird in dem Hilfsbild AP62 ein Text Tx4 angezeigt, der angibt, ob es möglich ist, die linke und die rechte Tür des Fahrzeugs 5 auf der Parkfläche Ps3 hinreichend zu öffnen.
Wie vorstehend beschrieben zeigt die Anzeige 11 des tragbaren Endgeräts 1 des Beispiels 6 die Informationen über den Kontakt zwischen dem Fahrzeug 5 und dem anderen Objekt um das Fahrzeug 5 als das Hilfsbild an. Gemäß dieser Konfiguration ist es möglich, die Informationen über den Kontakt zwischen den Fahrzeug 5 und dem anderen Objekt um das Fahrzeug 5 auf der Anzeige 11 des tragbaren Endgeräts 1 zu prüfen. Wenn beispielsweise die Wandteile St2, St3 an der linken und rechten Seite der Parkfläche des Fahrzeugs existieren, ist es insbesondere möglich, auf der Anzeige 11 des tragbaren Endgeräts 1 zu prüfen, ob das Fahrzeug 5 in Kontakt mit den Wandteilen St2, St3 gerät. Es ist auch möglich zu prüfen, ob es möglich ist, die linke und die rechte Tür des Fahrzeugs 5 auf der Parkfläche hinreichend zu öffnen. Dementsprechend ist es möglich, den Komfort und die Bedienbarkeit der Fernbedienung des Fahrzeugs 5 weiter zu verbessern.
Was den Kontakt zwischen dem Fahrzeug und dem anderen Objekt um das Fahrzeug betrifft, ist das andere Objekt nicht auf die Seitenwand beschränkt. Das andere Objekt beinhaltet beispielsweise eine Person, ein Tier, ein Fahrzeug und ein anderes Objekt. Auch hinsichtlich des Kontakts zwischen dem Fahrzeug und dem anderen Objekt um das Fahrzeug ist es möglich, die Vorderseite und Rückseite des Fahrzeugs sowie die linke und die rechte Seite des Fahrzeugs zu prüfen. Die Information, ob es möglich ist, die Tür des Fahrzeugs hinreichend zu öffnen kann beispielsweise auch angezeigt werden, bevor das Fahrzeug auf die Parkfläche oder dergleichen fährt.
Wie in 11 und 12 gezeigt, können in dem Kompositbild CP1 und dem Hilfsbild AP62 eine Türöffnungsbereichslinie 112a, eine Fahrzeugbreitenlinie 112b und dergleichen angezeigt werden. Die Türöffnungsbereichslinie 112a gibt einen Bewegungsbereich einer Tür beim Öffnen der Tür an. Die Fahrzeugbreitenlinie 112b ist eine Linie entlang der sich ein linkes oder rechtes Ende des Fahrzeugs in der Vor- und Rückrichtung des Fahrzeugs erstreckt oder eine Linie entlang der sich ein linkes oder rechtes Ende des Fahrzeugs in einer Fahrzeugbewegungsrichtung, die aus einem Lenkwinkel und dergleichen geschätzt wird, erstreckt. Dadurch ist es möglich, leicht Räume des Fahrzeugs 5 in der linken und der rechten Richtung zu prüfen.
<Beispiel 7>
13 ist ein Flussdiagramm, das ein Beispiel eines Verarbeitungsflusses für die Fahrzeugfernbedienung in Beispiel 7 zeigt. In Beispiel 7 wird das Verarbeiten der Fahrzeugfernsteuerung, die von dem tragbaren Endgerät 1 auszuführen ist, unter Bezugnahme auf den Prozessfluss in 13 beschrieben. Derweil kann die Beschreibung des Verarbeitens, das für das Verarbeiten in 6, das in Beispiel 1 beschrieben ist, üblich ist, ausgelassen werden.
Das tragbare Endgerät 1 wird beispielsweise von dem Benutzer bedient und beginnt das Verarbeiten für die Fernbedienung des Fahrzeugs 5, wenn eine Anweisung zum Starten der Fernbedienung von der Bedieneinheit 12 empfangen wird („START“ in 13). Die Fernbedienung des Fahrzeugs 5 beginnt in einem Zustand, in dem das Fahrzeug 5 gestoppt ist.
Dann prüft das tragbare Endgerät 1 eine Bildschirmgröße der Anzeige 11 und ändert eine Geschwindigkeitsbedingung des Fahrzeugs 5 während der Fernbedienung in Bezug auf den Fluss auf Basis der Bildschirmgröße der Anzeige 11 (Schritt S201). Die Informationen über die Bildschirmgröße der Anzeige 11 wurden im Voraus im Speicher 17 und dergleichen gespeichert. Je größer zum Beispiel die Bildschirmgröße der Anzeige 11 ist, desto einfacher kann der Benutzer die Umgebungssituation des Fahrzeugs 5 prüfen, so dass die Obergrenze der Bewegungsgeschwindigkeit des Fahrzeugs 5 zunimmt.
Dann prüft das tragbare Endgerät 1 einen Geschwindigkeitsmodus des Fahrzeugs 5 und stellt fest, ob der Geschwindigkeitsmodus ein konstanter Geschwindigkeitsmodus ist (Schritt S202). Der Geschwindigkeitsmodus des Fahrzeugs 5 beinhaltet zum Beispiel einen konstanten Geschwindigkeitsmodus und einen variablen Modus.
In dem konstanten Geschwindigkeitsmodus wird das Fahrzeug 5, wenn ein Symbol in Bezug auf eine Bewegungsrichtung des Fahrzeugs 5 bedient wird, derart gesteuert, dass es sich mit einer konstanten Geschwindigkeit in die entsprechende Richtung bewegt. Die Bewegungsgeschwindigkeit des Fahrzeugs 5 in dem konstanten Geschwindigkeitsmodus kann entsprechend bevor das Symbol in Bezug auf die Bewegungsrichtung bedient wird beliebig festgelegt werden.
In dem variablem Modus ist es notwendig, eine Bewegungsrichtung des Fahrzeugs 5 anzuweisen und eine Bewegungsgeschwindigkeit des Fahrzeugs einzustellen. Wenn der Benutzer zum Beispiel ein Symbol in Bezug auf Einstellung der Bewegungsgeschwindigkeit bedient, während das Symbol in Bezug auf die Bewegungsrichtung bedient wird, ist das Fahrzeug 5 dazu in der Lage, sich mit der eingestellten Bewegungsgeschwindigkeit in die angewiesene Richtung auf Basis der Vorgänge zu bewegen. Wenn der Benutzer beispielsweise ein Symbol in Bezug auf Geschwindigkeitserhöhung bedient, während das Symbol in Bezug auf Vorwärtsbewegung bedient wird, bewegt sich das Fahrzeug 5 insbesondere mit schrittweise zunehmender Geschwindigkeit vorwärts.
Es können auch die Bewegungsrichtung, Bewegungsentfernung, Bewegungsgeschwindigkeit und dergleichen des Fahrzeugs 5 auf Basis des Bedienvorgangs, begleitet von einer Bewegung, wie einem Ziehen, Schnippen und dergleichen auf dem Touchpanel (Bedieneinheit 12) gesteuert werden. Es ist auch eine Konfiguration möglich, bei der das Fahrzeug 5 befähigt ist, sich nur für einen Zeitraum zu bewegen, in dem der Benutzer das Symbol in Bezug auf die Bewegung des Fahrzeugs 5 drückt und das Fahrzeug 5 gestoppt wird, wenn der Benutzer den Finger von dem Symbol löst.
Es ist auch eine Konfiguration möglich, bei der, wenn der Benutzer das Symbol in Bezug auf die Bewegung des Fahrzeugs 5 einmal drückt (klopft), das Fahrzeug 5 befähigt wird, sich über eine vorbestimmte Entfernung zu bewegen. In diesem Fall können Symbole, die für lange und kurze Bewegungsdistanzen im Voraus festgelegt werden, entsprechend bereitgestellt werden.
Die Einstellung, die angibt, ob der Geschwindigkeitsmodus des Fahrzeugs 5 der konstante Geschwindigkeitsmodus oder der variable Modus ist, kann im Voraus festgelegt werden oder er kann in dem entsprechenden Schritt durch den Benutzer ausgewählt werden.
Wenn der Geschwindigkeitsmodus des Fahrzeugs 5 der konstante Geschwindigkeitsmodus ist (Ja in Schritt S202), überträgt das tragbare Endgerät 1 ein Steuersignal in Bezug auf den konstanten Geschwindigkeitsmodus an die Fahrzeugsteuervorrichtung 3 (Schritt S203). Wenn der Geschwindigkeitsmodus des Fahrzeugs 5 der variable Modus ist, nicht der konstante Geschwindigkeitsmodus (Nein in Schritt S202), überträgt das tragbare Endgerät 1 ein anfängliches Geschwindigkeitssignal in Bezug auf den variablen Modus an die Fahrzeugsteuervorrichtung 3 (Schritt S204). Die anfängliche Geschwindigkeit des Fahrzeugs 5 in Bezug auf den variablen Modus ist im Voraus eingestellt und in dem Speicher 17 und dergleichen gespeichert. Danach kann der Benutzer, in dem variablem Modus, die Bewegungsgeschwindigkeit des Fahrzeugs 5 entsprechend beliebig verändern.
Dann sendet das tragbare Endgerät 1 ein Steuersignal in Bezug auf das Generieren des Kompositbildes an die Bildverarbeitungsvorrichtung 2 des Fahrzeugs 5 (Schritt S205). Das tragbare Endgerät 1 empfängt kontinuierlich das Kompositbild von der Bildverarbeitungsvorrichtung 2 und zeigt das Kompositbild auf der Anzeige 11 an (Schritt S206). Das tragbare Endgerät 1 zeigt die Symbole und dergleichen (Bedieneinheit 12), die funktionale Bilder in Bezug auf den Betrieb des Fahrzeugs 5 sind, auf der Anzeige 11 durch Überlagern dergleichen auf dem Kompositbild kontinuierlich an (Schritt S207). Das tragbare Endgerät 1 zeigt das Hilfsbild auf der Anzeige 11 kontinuierlich an (Schritt S208).
Dann wird eine Person, ein Tier, ein Fahrzeug und andere Objekte, die sich dem Fahrzeug 5 von der Außenseite annähern, in dem Fahrzeug 5 unter Verwendung der Sensoreinheit 51 oder der Bildeinheit 4 geprüft und es wird festgestellt, ob die Annäherung der Objekte erfasst wird (Schritt S209). Wenn zum Beispiel das Steuersignal in Bezug auf das Generieren des Kompositbildes von dem tragbaren Endgerät 1 empfangen wird und das Starten der Fernbedienung durch das tragbare Endgerät 1 somit bestätigt wird, wird ein Überwachungsmodus in dem Fahrzeug 5 derart aktiviert, dass das Überwachen der Annäherung an das Fahrzeug 5 von der Außenseite gestartet wird. Das Erfassen einer Person, eines Tieres, eines Fahrzeugs und anderer Objekte in der Umgebung des Fahrzeugs 5 wird beispielsweise auf Basis der Erfassungssignal des Ultraschallsensors, optischen Sensors und Radars der Sensoreinheit 51 oder von Bilderkennung aus den aufgenommenen Bildern der Fahrzeugkameras 41 bis 44 bestimmt.
Wenn die Annäherung an das Fahrzeug 5 von der Außenseite erfasst wird (Ja in Schritt S209), wird ein Status des Objekts, das sich dem Fahrzeug 5 annähert, erfasst, und die Bewegungsgeschwindigkeit des Fahrzeugs 5 wird auf Basis des Zustands des Objekts festgelegt (Schritt S310). Der Zustand des Objekts beinhaltet zum Beispiel insbesondere eine Entfernung zwischen dem Fahrzeug 5 und dem Objekt, eine Bewegungsgeschwindigkeit des Objekts und dergleichen. Wenn die Entfernung zwischen dem Fahrzeug 5 und dem Objekt kürzer wird, wird beispielsweise die Bewegungsgeschwindigkeit des Fahrzeugs 5 verringert. Außerdem wird beispielsweise, wenn die Entfernung zwischen dem Fahrzeug 5 und dem Objekt eine vorbestimmte Entfernung oder kürzer wird, das Fahrzeug 5 gestoppt. Außerdem wird beispielsweise, wenn die Bewegungsgeschwindigkeit des Objekts zunimmt, die Bewegungsgeschwindigkeit des Fahrzeugs 5 verringert.
Dann wird die Umgebung des Fahrzeugs 5 in dem Fahrzeug 5 unter Verwendung der Sensoreinheit 51 oder der Bildeinheit 4 geprüft (Schritt S211). Wenn zum Beispiel das Steuersignal in Bezug auf das Generieren des Kompositbildes von dem tragbaren Endgerät 1 empfangen wird und das Starten der Fernbedienung durch das tragbare Endgerät 1 somit bestätigt wird, wird der Überwachungsmodus in dem Fahrzeug 5 derart aktiviert, dass das Überwachen der Umgebung des Fahrzeugs 5 gestartet wird. Das Erfassen der Umgebung des Fahrzeugs 5 wird beispielsweise auf Basis der Erfassungssignale des Beleuchtungsstärkensensors, Vibrationssensors und Neigungssensors der Sensoreinheit 51 oder Bilderkennung der aufgenommenen Bilder der Fahrzeugkameras 41 bis 44 bestimmt.
Dann wird die Bewegungsgeschwindigkeit des Fahrzeugs 5 auf Basis der Umgebung des Fahrzeugs 5 festgelegt (Schritt S212). Die Umgebung des Fahrzeugs 5 beinhaltet beispielsweise insbesondere Helligkeit, Neigung des Fahrzeugs 5, einen Straßenflächenzustand, eine Größe einer Parkfläche, eine Entfernung zu der Parkfläche und dergleichen. Wenn die Umgebung des Fahrzeugs 5 beispielsweise dunkler wird, wird die Bewegungsgeschwindigkeit des Fahrzeugs 5 verringert. Außerdem wird beispielsweise, wenn die Neigung des Fahrzeugs 5 zunimmt, die Bewegungsgeschwindigkeit des Fahrzeugs 5 verringert. Außerdem wird beispielsweise, wenn ein Rutschzustand, wie etwa Eis auf der Straßenfläche erfasst wird, die Bewegungsgeschwindigkeit des Fahrzeugs 5 verringert. Außerdem wird beispielsweise, wenn die Parkfläche enger wird und wenn die Entfernung zu der Parkfläche kürzer wird, die Bewegungsgeschwindigkeit des Fahrzeugs 5 verringert. Andererseits kann, wenn die Parkfläche breiter wird und die Entfernung zu der Parkfläche länger wird, die Bewegungsgeschwindigkeit in einer anfänglichen Phase des Bewegungsstarts des Fahrzeugs 5 leicht hoch festgelegt werden.
Dann bestimmt das tragbare Endgerät 1, ob eine Bedieneingabe des Benutzers in die Bedieneinheit 12 vorliegt (Schritt S213). Liegt die Betriebseingabe in die Bedieneinheit 12 vor (Ja in Schritt S213) generiert das tragbare Endgerät 1 ein Steuersignal des Fahrzeugs 5 auf Basis des Bedienvorgangs auf der Bedieneinheit 12 und sendet das Steuersignal an die Fahrzeugsteuervorrichtung 3 (Schritt S214). Dann bestimmt das tragbare Endgerät 1 kontinuierlich, ob der Benutzer einen AUS-Bedienvorgang der Fernbedienung des Fahrzeugs 5 durchgeführt hat (Schritt S215).
Wenn der Benutzer den AUS-Bedienvorgang der Fernbedienung durchgeführt hat (Ja in Schritt S215), sendet das tragbare Endgerät 1 ein Steuersignal für Freigabe der Geschwindigkeitseinstellung an die Fahrzeugsteuervorrichtung 3 des Fahrzeugs 5 (Schritt S216). Dadurch wird die Bewegungsgeschwindigkeit des Fahrzeugs 5, die während der Fernbedienung dieses Prozessflusses festgelegt wurde, freigegeben. Dann ist der in 13 gezeigte Prozessablauf vorüber.
Gemäß der Konfiguration des tragbaren Endgeräts 1 wird die Bewegungsgeschwindigkeit des Fahrzeugs 5, wenn die Fernbedienung des Fahrzeugs 5 durchgeführt wird, auf Basis des Zustands des Objekts, das sich dem Fahrzeug 5 annähert, und der Umgebung des Fahrzeugs 5 automatisch festgelegt. Die Bewegungsgeschwindigkeit des Fahrzeugs 5 wird beispielsweise in Abhängigkeit von Situationen derart verringert, dass die Sicherheit bei der Fernbedienung erhöht wird. Dementsprechend ist es möglich, den Komfort der Fernbedienung des Fahrzeugs 5 zu verbessern.
Wenn beispielsweise die Entfernung zwischen dem Fahrzeug 5 und dem Objekt kürzer wird und wenn die Bewegungsgeschwindigkeit des Objekts zunimmt, wird insbesondere die Bewegungsgeschwindigkeit des Fahrzeugs 5 verringert, so dass es möglich ist, einfach den Kontakt zwischen dem Fahrzeug 5 und dem Objekt zu vermeiden. Wenn außerdem beispielsweise die Bildschirmgröße der Anzeige 11 größer wird, nimmt die Obergrenze der Bewegungsgeschwindigkeit des Fahrzeugs 5 zu, so dass es möglich ist, die Bewegungsgeschwindigkeit des Fahrzeugs 5 durch Fernbedienung zu erhöhen. Außerdem wird, wenn beispielsweise die Umgebung des Fahrzeugs 5 dunkler wird, wenn die Neigung des Fahrzeugs 5 zunimmt und wenn der Rutschzustand auf der Straßenfläche erfasst wird, die Bewegungsgeschwindigkeit des Fahrzeugs 5 verringert, so dass es möglich ist, den Kontakt zwischen dem Fahrzeug 5 und dem Hindernis und dergleichen um das Fahrzeug zu vermeiden. Außerdem wird beispielsweise, wenn die Parkfläche enger wird und wenn die Entfernung zu der Parkfläche kürzer wird, die Bewegungsgeschwindigkeit des Fahrzeugs 5 verringert, so dass es möglich ist, den Kontakt zwischen dem Fahrzeug 5 und dem anderen Fahrzeug und dergleichen einfach zu vermeiden. Außerdem wird beispielsweise, wenn die Parkfläche breiter wird und wenn die Entfernung zu der Parkfläche länger wird, die Bewegungsgeschwindigkeit des Fahrzeugs 5 erhöht, so dass es möglich ist, die Bewegungsgeschwindigkeit des Fahrzeugs 5 durch Fernbedienung zu erhöhen.
<Sonstiges>
Die in der Spezifikation offenbarten diversen technischen Merkmale lassen sich auf verschiedene Weise ändern, ohne dass von dem Geist des technischen Originals zusätzlich zu der veranschaulichten Ausführungsform abgewichen werden würde. Das heißt, die veranschaulichende Ausführungsform ist in jeder Hinsicht beispielhaft und darf nicht als einschränkend ausgelegt werden. Der technische Umfang der vorliegenden Offenbarung ist in den Ansprüchen definiert, nicht der Beschreibung der veranschaulichenden Ausführungsform, und beinhaltet alle Änderungen innerhalb der Bedeutung und des Umfangs, die bzw. der den Ansprüche äquivalent ist. Weiterhin lässt sich die Vielzahl veranschaulichender Ausführungsformen, Beispiele und modifizierter Ausführungsformen in Kombination innerhalb der möglichen Spanne implementieren.
Des Weiteren wurde in der veranschaulichenden Ausführungsform beschrieben, dass die diversen Funktionen auf eine Softwareweise durch Berechnungsverarbeiten der CPU gemäß der Programme implementiert sind. Manche der Funktionen können jedoch durch eine elektrische Hardwareschaltung implementiert sein. Im Gegensatz dazu, können manche der Funktionen, die von der Hardwareschaltung zu implementieren sind, auf eine Softwareweise implementiert sein.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2014065392 A [0002]
JP 2010095027 A [0002]
JP 2016074285 A [0002]

Claims

Fahrzeugfernbedienungsvorrichtung, umfassend: eine Kommunikationseinheit, die konfiguriert ist, ein Kompositbild zu empfangen, das auf Basis einer Vielzahl aufgenommener Bilder, die an jeder aus einer Vielzahl von Fahrzeugkameras, die an einem Fahrzeug angebracht sind, aufgenommen wurden und einen Umgebungsbereich des Fahrzeugs, wie von einem virtuellen Standpunkt aus gesehen, zeigen, zu generieren ist; eine Anzeige, die konfiguriert ist, das Kompositbild anzuzeigen; eine Bedieneinheit zum bedienen des Fahrzeugs, und eine Signalerzeugungseinheit, die konfiguriert ist, ein Steuersignal des Fahrzeugs auf Basis eines Bedienvorgangs auf der Betriebseinheit zu generieren, wobei die Anzeige konfiguriert ist, das Kompositbild mit einem Bild der Bedieneinheit darauf überlagert und ein Hilfsbild, das einen Zustand des Fahrzeugs umfasst, anzuzeigen.
Fahrzeugfernbedienungsvorrichtung nach Anspruch 1, wobei die Bedieneinheit entsprechend einer Position und einer Richtung eines Bildes des Fahrzeugs in dem Kompositbild angeordnet ist.
Fahrzeugfernbedienungsvorrichtung nach Anspruch 1 oder 2, wobei als das Hilfsbild ein Bild angezeigt wird, das ein auf einem Spiegel des Fahrzeuges zu reflektierendes Bild umfasst.
Fahrzeugfernbedienungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei als das Hilfsbild ein Bild eines Betriebszustands des Fahrzeugs angezeigt wird.
Fahrzeugfernbedienungsvorrichtung nach einem der Ansprüche 1 bis 4, wobei als das Hilfsbild ein Objekt, das sich dem Fahrzeug annähert, angezeigt wird.
Fahrzeugfernbedienungsvorrichtung nach einem der Ansprüche 1 bis 5, wobei als das Hilfsbild ein aufgenommenes Bild, das durch Aufnahme des unteren Bereichs des Fahrzeugs erhalten wird, angezeigt wird.
Fahrzeugfernbedienungsvorrichtung nach einem der Ansprüche 1 bis 6, wobei als das Hilfsbild Informationen über Kontakt zwischen dem Fahrzeug und einem anderen Objekt um das Fahrzeug angezeigt wird.
Fahrzeugfernbedienungsvorrichtung nach einem der Ansprüche 1 bis 7, wobei das Hilfsbild ein Bild des Fahrzeugs umfasst, wobei die Bedieneinheit auf Basis einer Position und einer Richtung eines Bildes des Fahrzeugs in dem Hilfsbild überlagert auf dem Hilfsbild angeordnet ist, und wobei die Signalerzeugungseinheit konfiguriert ist, ein Steuersignal des Fahrzeugs auf Basis eines Bedienvorgangs auf der Bedieneinheit in dem Hilfsbild zu generieren.
Fahrzeugfernbedienungssystem, umfassend: die Fahrzeugfernbedienungsvorrichtung nach einem der Ansprüche 1 bis 8; eine Bildverarbeitungsvorrichtung, die konfiguriert ist, das Kompositbild, das einen Umgebungsbereich des Fahrzeugs, wie von einem virtuellen Standpunkt aus gesehen, auf Basis einer Vielzahl aufgenommener Bilder, die an jeder der Vielzahl von Fahrzeugkameras, die an dem Fahrzeug angebracht sind, zu generieren, und das Kompositbild an die Fahrzeugfernbedienungsvorrichtung zu übertragen, und eine Fahrzeugsteuervorrichtung, die konfiguriert ist, ein Steuersignal des Fahrzeugs von der Fahrzeugfernbedienungsvorrichtung zu empfangen und das Fahrzeug auf Basis des Steuersignals zu steuern.
Fahrzeugfernbedienungsverfahren, umfassend: Empfangen eines Kompositbild, das auf Basis einer Vielzahl aufgenommener Bilder, die an jeder aus einer Vielzahl von Fahrzeugkameras, die an einem Fahrzeug angebracht sind, aufgenommen wurde, und einen Umgebungsbereich des Fahrzeugs, wie von einem virtuellen Standpunkt aus gesehen, zeigt; Anzeigen, auf einer Anzeige, des Kompositbildes und eines Hilfsbildes, das einen Zustand des Fahrzeugs umfasst; Überlagern eines Bildes einer Bedieneinheit zum Bedienen des Fahrzeugs auf dem Kompositbild und/oder dem Hilfsbild; Empfangen eines Bedienvorgangs des Fahrzeugs von der Bedieneinheit; Generieren eines Steuersignals des Fahrzeugs auf Basis des Bedienvorgangs, und Übertragen des Steuersignals an das Fahrzeug.