DE102018133011A1

DE102018133011A1 - Fahrzeugfernsteuerungsvorrichtung und fahrzeugfernsteuerungsverfahren

Info

Publication number: DE102018133011A1
Application number: DE102018133011.1A
Authority: DE
Inventors: Fumiaki Bando; Minoru Maehata; Miki HITOTSUYA
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2018-03-15
Filing date: 2018-12-20
Publication date: 2019-09-19
Also published as: JP7060418B2; US20190286121A1; JP2019156299A; US11092960B2

Abstract

Eine Fahrzeugfernsteuerungsvorrichtung enthält: eine Anzeigeeinheit; eine Betriebseinheit, die zur Steuerung eines Fahrzeugs konfiguriert ist; eine Signalerzeugungseinheit, die konfiguriert ist, Steuersignale für das Fahrzeug basierend auf Anweisungen auf der Betriebseinheit zu erzeugen; eine Kommunikationseinheit, die konfiguriert ist, eine Kommunikation mit dem Fahrzeug und einer anderen Fahrzeugfernsteuerungsvorrichtung durchzuführen; und eine Berechtigungsverwaltungseinheit, die eine Steuerberechtigung für das Fahrzeug verwaltet. Synthetische Bilder, die einen Umgebungsbereich des Fahrzeugs zeigen, wie von einem virtuellen Blickpunkt aus gesehen, werden jeweils auf Grundlage von mehreren Bildern erzeugt, die durch mehrere On-Board-Kameras erhalten werden, die jeweils an dem Fahrzeug montiert sind und wobei die Anzeigeeinheit die synthetischen Bilder darstellt. Die Kommunikationseinheit überträgt die Steuersignale an das Fahrzeug. Die Berechtigungsverwaltungseinheit führt die Übertragung der Steuerberechtigung für das Fahrzeug in Kooperation mit der anderen Fahrzeugfernsteuerungsvorrichtung über die Kommunikationseinheit durch.

Description

ALLGEMEINER STAND DER TECHNIK
TECHNISCHER BEREICH
Die vorliegende Erfindung bezieht sich auf eine Fahrzeugfernsteuerungsvorrichtung und ein Fahrzeugfernsteuerungsverfahren.
STAND DER TECHNIK
In letzter Zeit wurden verschiedene Technologien für Fahrzeugfernsteuerung vorgeschlagen. Beispielsweise ist ein mobiles Endgerät wie in der Patentliteratur 1 vorgeschlagen ein Endgerät zur Bewegung eines Fahrzeugs von einer ersten Position auf eine zweite Position. Dieses mobile Endgerät zeigt Bilder aus der Vogelperspektive, einschließlich eines Bilds des Fahrzeugs auf Grundlage von Bildern, die durch eine Kamera erfasst wurden, die in dem Endgerät installiert ist, und empfängt die Bedienungsanweisungen des Benutzers für das Fahrzeug. Außerdem macht es eine Parkassistenzvorrichtung wie in Patentliteratur 2 möglich, ein Fahrzeug unter Verwendung eines Fernsteuermittels wie ein Joystick zu parken. Außerdem enthält beispielsweise ein Fahrzeugfernsteuerungssystem, das in der Patentliteratur 3 vorgeschlagen ist, ein mobiles Endgerät, das Steuersignale, die Berührungsbedienungsanweisungen auf einem Tastfeld entsprechen, an ein Fahrzeug überträgt. Dieses mobile Endgerät kann Fahrsteuersignale und Lenksteuersignale an das Fahrzeug übertragen.

[Patentliteratur 1] Offengelegte japanische Patentanmeldung Nr. 2014-65392
[Patentliteratur 2] Offengelegte japanische Patentanmeldung Nr. 2010-95027
[Patentliteratur 3] Offengelegte japanische Patentanmeldung Nr. 2016-74285

KURZDARSTELLUNG DER ERFINDUNG
Die Technologien nach dem Stand der Technik weisen ein Problem auf, dass die Bequemlichkeit und Funktionsfähigkeit in der Fahrzeugfernsteuerung nicht durchweg zufriedenstellend sind.
Die vorliegende Erfindung erfolgte mit Blick auf das obige Problem und ein Ziel der vorliegenden Erfindung ist die Bereitstellung einer Technologie, die in der Lage ist, die Bequemlichkeit und Funktionsfähigkeit in der Fahrzeugfernsteuerung zu verbessern.
Nach einem Aspekt der vorliegenden Offenbarung ist eine Fahrzeugfernsteuerungsvorrichtung bereitgestellt, die enthält: eine Anzeigeeinheit; eine Betriebseinheit, die zur Steuerung eines Fahrzeugs konfiguriert ist; eine Signalerzeugungseinheit, die konfiguriert ist, Steuersignale für das Fahrzeug basierend auf Bedienungsanweisungen auf der Betriebseinheit zu erzeugen; eine Kommunikationseinheit, die konfiguriert ist, eine Kommunikation mit dem Fahrzeug und einer anderen Fahrzeugfernsteuerungsvorrichtung durchführt; und eine Berechtigungsverwaltungseinheit, die eine Steuerberechtigung für das Fahrzeug verwaltet. Synthetische Bilder, die einen Umgebungsbereich des Fahrzeugs wie von einem virtuellen Blickpunkt aus gesehen zeigen, werden jeweils auf Grundlage mehrerer Bilder erzeugt, die durch mehrere Onboard-Kameras erhalten werden, die jeweils an dem Fahrzeug montiert sind, und die Anzeigeeinheit zeigt die synthetischen Bilder an, die Kommunikationseinheit überträgt die Steuersignale an das Fahrzeug, und die Berechtigungsverwaltungseinheit führt die Übertragung der Steuerberechtigung für das Fahrzeug in Kooperation mit einer anderen Fahrzeugfernsteuerungsvorrichtung über die Kommunikationseinheit durch.
In der Fahrzeugfernsteuerungsvorrichtung kann die Kommunikationseinheit die synthetischen Bilder, die in dem Fahrzeug erzeugt werden, von dem Fahrzeug empfangen.
In der Fahrzeugfernsteuerungsvorrichtung können die Steuersignale Signale enthalten, die mit einer Steuerung der Blickpunktpositionen und Blickrichtungen der synthetischen Bilder verbunden sind.
In der Fahrzeugfernsteuerungsvorrichtung kann die Berechtigungsverwaltungseinheit getrennt jeden der mehreren Arten von Steuerberechtigungen für das Fahrzeug, zwischen der Fahrzeugfernsteuerungsvorrichtung und der anderen Fahrzeugfernsteuerungsvorrichtung verwalten.
In der Fahrzeugfernsteuerungsvorrichtung kann die Berechtigungsverwaltungseinheit einige der mehreren Arten von Steuerberechtigung für das Fahrzeug verwalten, sodass sie in der Fahrzeugfernsteuerungsvorrichtung und der anderen Fahrzeugfernsteuerungsvorrichtung als eines behandelt werden.
In der Fahrzeugfernsteuerungsvorrichtung kann die Berechtigungsverwaltungseinheit einige der mehreren Arten von Steuerberechtigung für das Fahrzeug verwalten, sodass sie von der Fahrzeugfernsteuerungsvorrichtung und der anderen Fahrzeugfernsteuerungsvorrichtung geteilt werden.
In der Fahrzeugfernsteuerungsvorrichtung kann die Kommunikationseinheit Anzeigebilder der Anzeigeeinheit der anderen Fahrzeugfernsteuerungsvorrichtung von der anderen Fahrzeugfernsteuerungsvorrichtung empfangen und die Anzeigeeinheit kann die Anzeigebilder anzeigen.
In der Fahrzeugfernsteuerungsvorrichtung kann zu einem Beginn der synthetischen Bildanzeige die Anzeigeeinheit konsekutiv synthetische Bilder entlang des Umfangs des Umgebungsbereichs des Fahrzeugs anzeigen.
In der Fahrzeugfernsteuerungsvorrichtung kann zu einem Start der synthetischen Bildanzeige die Anzeigeeinheit ein synthetisches Bild wie von einer gegenüberliegenden Seite des Fahrzeugs auf einen Ort der Fahrzeugfernsteuerungsvorrichtung gesehen anzeigen.
In der Fahrzeugfernsteuerungsvorrichtung kann die Anzeigeeinheit während sich die Fahrzeugfernsteuerungsvorrichtung bewegt, synthetische Bilder basierend auf verschiedenen Blickpunktpositionen und verschiedenen Blickrichtungen anzeigen.
In der Fahrzeugfernsteuerungsvorrichtung kann die Kommunikationseinheit Informationen bezüglich eines kontrollierten Zustands des Fahrzeugs von dem Fahrzeug anzeigen und die Anzeigeeinheit kann die Informationen anzeigen, die sich auf den kontrollierten Zustand beziehen.
In der Fahrzeugfernsteuerungsvorrichtung kann die Kommunikationseinheit Bilder der Perspektive vom Inneren des Fahrzeugs, die durch Aufnahme eines Inneren des Fahrzeugs erzeugt wurden, von dem Fahrzeug erhalten, und die Anzeigeeinheit kann die Bilder der Perspektive vom Inneren des Fahrzeugs anzeigen.
Die Fahrzeugfernsteuerungsvorrichtung kann ferner eine Sensoreinheit enthalten, die konfiguriert ist, eine Neigung der Fahrzeugfernsteuerungsvorrichtung zu erkennen. Die Anzeigeeinheit kann synthetische Bilder basierend auf einer anderen Blickpunktposition und einer anderen Blickrichtung auf Grundlage der Neigung anzeigen.
Die Fahrzeugfernsteuerungsvorrichtung kann ferner eine Speichereinheit enthalten, die konfiguriert ist, die synthetischen Bilder zu speichern, die auf der Anzeigeeinheit angezeigt werden.
Nach einem Aspekt der vorliegenden Offenbarung ist ein Fahrzeugfernsteuerungsverfahren bereitgestellt, enthaltend: Erzeugung synthetischer Bilder eines Umgebungsbereichs eines Fahrzeugs, gesehen von virtuellen Blickpunkten, jeweils auf Grundlage mehrerer Bilder, die durch mehrere Onboard-Kameras erfasst wurden, die jeweils an dem Fahrzeug montiert sind; Anzeige der synthetischen Bilder auf einer Fahrzeugfernsteuerungsvorrichtung; Empfang von Bedienungsanweisungen für das Fahrzeug an der Fahrzeugfernsteuerungsvorrichtung; Erzeugung von Steuersignalen für das Fahrzeug, auf Grundlage der Bedienungsanweisungen; Übertragung der Steuersignale von der Fahrzeugfernsteuerungsvorrichtung an das Fahrzeug; und Durchführung der Übertragung der Steuerberechtigung für das Fahrzeug zwischen der Fahrzeugfernsteuerungsvorrichtung und einer anderen Fahrzeugfernsteuerungsvorrichtung.
Gemäß der Konfiguration der vorliegenden Erfindung können Personen eine Fernsteuerung des Fahrzeugs durchführen und dabei den Umgebungsbereich des Fahrzeugs auf den synthetischen Bildern prüfen. In einem Fall, in dem beispielsweise ein toter Winkel auftritt, kann der Benutzer die Steuerberechtigung für das Fahrzeug leicht an eine andere Person übergeben, um die Bedingungen in dem toten Winkel zu prüfen. Außerdem kann, selbst wenn der Benutzer die Steuerberechtigung für das Fahrzeug an eine andere Person übergeben hat, der Benutzer in einem Notfall das Fahrzeug anhalten. In anderen Worten, es ist möglich, die Bequemlichkeit und Funktionsfähigkeit der Fernsteuerung des Fahrzeugs zu verbessern.
Figurenliste
Beispielhafte Ausführungsformen der vorliegenden Erfindung werden ausführlich an den folgenden Figuren beschrieben, wobei:

1 ein Blockdiagramm ist, das die Konfiguration eines Fahrzeugfernsteuerungssystems einer Ausführungsform zeigt;
2 ist eine Ansicht, die Positionen an einem Fahrzeug zeigt, an denen On-Board-Kameras angeordnet sind;
3 ist eine Ansicht zur Erklärung eines Verfahrens zur Erzeugung synthetischer Bilder, die den Umgebungsbereich des Fahrzeugs zeigen;
4 ist ein schematisches Diagramm, das ein mobiles Endgerät zeigt, das ein synthetisches Bild nach einem ersten Beispiel (Beispiel 1) anzeigt;
5 ist ein schematisches Diagramm, das ein synthetisches Bild zeigt, das auf dem mobilen Endgerät nach dem ersten Beispiel angezeigt wird;
6 ist eine Ansicht zur Erklärung eines Verfahrens zur Fernsteuerung des Fahrzeugs durch mehrere mobile Endgeräte;
7 ist ein schematisches Diagramm, das das mobile Endgerät zeigt, das ein synthetisches Bild nach dem ersten Beispiel (Beispiel 2) anzeigt;
8 ist ein Ablaufdiagramm, das ein Beispiel des Ablaufs der Verarbeitung des mobilen Endgeräts bezüglich der Fahrzeugfernsteuerung nach dem ersten Beispiel zeigt;
9 ist ein Ablaufdiagramm, das ein anderes Beispiel des Ablaufs der Verarbeitung des mobilen Endgeräts bezüglich der Fahrzeugfernsteuerung nach dem ersten Beispiel zeigt;
10 ist ein schematisches Diagramm, das synthetische Bilder zeigt, die konsekutiv auf dem mobilen Endgerät nach einem zweiten Beispiel angezeigt werden;
11 ist ein schematisches Diagramm, das ein synthetisches Bild zeigt, das auf einem mobilen Endgerät nach einem dritten Beispiel (Beispiel 1) angezeigt wird;
12 ist ein schematisches Diagramm, das ein synthetisches Bild zeigt, das auf dem mobilen Endgerät nach dem dritten Beispiel (Beispiel 2) angezeigt wird;
13 ist ein schematisches Diagramm, das ein mobiles Endgerät zeigt, das ein synthetisches Bild und ein Hilfsbild nach einem vierten Beispiel anzeigt;
14 ist ein schematisches Diagramm, das ein mobiles Endgerät zeigt, das ein synthetisches Bild und ein Hilfsbild nach einem fünften Beispiel anzeigt;
15 ist ein schematisches Diagramm, das ein mobiles Endgerät zeigt, das ein synthetisches Bild nach einem sechsten Beispiel anzeigt;
16 ist eine Planansicht, die ein Fahrzeug zeigt, bezogen auf ein Fahrzeugfernsteuerungssystem eines siebten Beispiels;
17 ist eine perspektivische Ansicht, die das Fahrzeug zeigt, bezogen auf das Fahrzeugfernsteuerungssystem des siebten Beispiels;
18 ist ein schematisches Diagramm, das ein mobiles Endgerät zeigt, das ein synthetisches Bild nach dem siebten Beispiel anzeigt;
19 ist ein Ablaufdiagramm, das Beispiel des Ablaufs der Verarbeitung eines Fahrzeugs bezüglich der Fahrzeugfernsteuerung nach einem achten Beispiel zeigt; und
20 ein Blockdiagramm ist, das die Konfiguration eines Fahrzeugfernsteuerungssystems eines neunten Beispiels zeigt.

AUSFÜHRLICHE BESCHREIBUNG
Nachfolgend werden beispielhafte Ausführungsformen der vorliegenden Erfindung ausführlich mit Verweis auf die Zeichnungen beschrieben. Die vorliegende Erfindung ist jedoch nicht auf die Inhalte der Ausführungsformen begrenzt, die nachfolgend beschrieben werden.
Außerdem wird in der folgenden Beschreibung in der gerade vorwärtsgerichteten Richtung eines Fahrzeugs, die Richtung vom Fahrersitz zum Lenkrad als die Vorwärtsrichtung (die Vorderseite) bezeichnet. In der gerade vorwärtsgerichteten Richtung des Fahrzeugs wird die Richtung zum Fahrersitz hin als die Rückwärtsrichtung (die Rückseite) bezeichnet. In der Richtung im rechten Winkel zu der gerade vorausgerichteten Richtung des Fahrzeugs und der vertikalen Richtung, die Richtung von der rechten Seite des nach vorne blickenden Fahrers zur linken Seite wird als die linke Richtung bezeichnet. In der Richtung im rechten Winkel zu der gerade vorausgerichteten Richtung des Fahrzeugs und der vertikalen Richtung, die Richtung von der linken Seite des nach vorne blickenden Fahrers zur rechten Seite wird als die rechte Richtung bezeichnet.
<KONFIGURATION DES FAHRZEUGFERNSTEUERSYSTEMS>
1 ein Blockdiagramm ist, das die Konfiguration eines Fahrzeugfernsteuerungssystems RS einer Ausführungsform zeigt. Das Fahrzeugfernsteuerungssystem RS enthält ein mobiles Endgerät 1, eine Bildverarbeitungsvorrichtung 2, und eine Fahrzeugsteuervorrichtung 3.
Das mobile Endgerät 1 ist eine Fahrzeugfernsteuerungsvorrichtung für die Fernsteuerung eines Fahrzeugs 5. Das Fahrzeug 5 ist beispielsweise ein PKW. Außerdem kann das Fahrzeugfernsteuerungssystem RS das Fahrzeug 5 durch jedes von mehreren mobilen Endgeräten 1, 1x und 1y, die Fahrzeugfernsteuerungsvorrichtungen sind, fernsteuern. Wenn auch die mobilen Endgeräte 1x und 1y nicht detailliert in den Zeichnungen zu sehen sind, weisen die mobilen Endgeräte 1, 1x und 1y dieselbe Konfiguration zur Fernsteuerung des Fahrzeugs 5 auf.
Die Bildverarbeitungsvorrichtung 2 und die Fahrzeugsteuervorrichtung 3 sind an dem Fahrzeug 5 montiert. Das Fahrzeugfernsteuerungssystem RS ist ein System zur Fernsteuerung des Fahrzeugs 5 durch die mobilen Endgeräte 1, 1x und 1y, das in der Lage ist, synthetische Bilder anzuzeigen, die den Umgebungsbereich des Fahrzeugs zeigen 5. Das Fahrzeug 5 enthält ferner eine Bildgebungseinheit 4 (On-Board-Kameras) und eine Sensoreinheit 51.
Das mobile Endgerät 1 ist eine Vorrichtung, die konfiguriert ist, Bilder zur Anzeige zu empfangen, die von der Bildverarbeitungsvorrichtung 2 ausgegeben werden, und die Bilder anzuzeigen, und Steuersignale an das Fahrzeugsteuervorrichtung 3 überträgt, um das Fahrzeug 5 fernzusteuern. Beispiele des mobilen Endgeräts 1 umfassen Smartphones, Endgeräte vom Typ Tablet und so weiter, die dem Eigentümer des Fahrzeugs 5 gehören und so weiter. In der vorliegenden Ausführungsform ist das mobile Endgerät 1 beispielsweise ein Smartphone.
Die Bildverarbeitungsvorrichtung 2 ist eine Vorrichtung, die konfiguriert ist, Bilder zu verarbeiten, die durch die On-Board-Kameras erfasst wurden. Für jedes Fahrzeug, das mit On-Board-Kameras ausgestattet ist, ist eine Bildverarbeitungsvorrichtung 2 bereitgestellt. In der vorliegenden Ausführungsform erfasst die Bildverarbeitungsvorrichtung 2 Bilder von der Bildgebungseinheit 4 und verarbeitet die Bilder. Außerdem kann die Bildverarbeitungsvorrichtung 2 Informationen von der Sensoreinheit 51 erfassen und Feststellungen bezüglich der Bildverarbeitung auf Grundlage der erfassten Informationen durchführen. Außerdem überträgt die Bildverarbeitungsvorrichtung 2 Informationen an das mobile Endgerät 1 und die Fahrzeugsteuervorrichtung 3 und empfängt Informationen von ihnen. Die Bildverarbeitungsvorrichtung 2 kann Bilder, die durch die Bildverarbeitungsvorrichtung 2 erzeugt wurden, zur Anzeige an das mobile Endgerät 1 ausgeben.
Die Fahrzeugsteuervorrichtung 3 führt die Steuerung des allgemeinen Betriebs des Fahrzeugs durch. Die Fahrzeugsteuervorrichtung 3 enthält beispielsweise eine Motor-ECU (elektronische Steuereinheit) zum Steuern des Motors, eine Lenk-ECU zum Steuern der Lenkung, eine Brems-ECU zum Steuern der Bremse, eine Schalt-ECU zum Steuern der Schaltung, eine Stromquellen-ECU zum Steuern der Stromquelle, eine Licht-ECU zum Steuern der Lampen, eine Spiegel-ECU zum Steuern der elektrischen Spiegel und so weiter. In der vorliegenden Ausführungsform überträgt die Fahrzeugsteuervorrichtung 3 Informationen an das mobile Endgerät 1 und die Bildverarbeitungsvorrichtung 2 und empfängt Informationen von ihnen. Die Fahrzeugsteuervorrichtung 3 empfängt Steuersignale für das Fahrzeug 5 von dem mobilen Endgerät 1 und steuert das Fahrzeug 5 auf Grundlage der Steuersignale.
Die Bildgebungseinheit 4 ist zur Überwachung der Bedingungen im Umgebungsbereich des Fahrzeugs und der Bedingungen in dem Fahrzeug installiert. Die Bildgebungseinheit 4 enthält beispielsweise fünf On-Board-Kameras 41 bis 45. 2 ist eine Ansicht, die Positionen an dem Fahrzeug 5 zeigt, an denen die On-Board-Kameras 41 bis 45 angeordnet sind.
Die On-Board-Kamera 41 ist am Vorderende des Fahrzeugs 5 installiert. Daher wird die On-Board-Kamera 41 auch als die vordere Kamera 41 bezeichnet. Die optische Achse 41a der vorderen Kamera 41 erstreckt sich entlang der Längsrichtung des Fahrzeugs 5 wie in einer Planansicht zu sehen, die das Fahrzeug mit Blick von oben zeigt. Die vordere Kamera 41 bildet den Bereich vor dem Fahrzeug 5 ab. Die On-Board-Kamera 43 ist am Hinterende des Fahrzeugs 5 installiert. Daher wird die On-Board-Kamera 43 auch als die hintere Kamera 43 bezeichnet. Die optische Achse 43a der hinteren Kamera 43 erstreckt sich entlang der Längsrichtung des Fahrzeugs 5 wie in einer Planansicht zu sehen, die das Fahrzeug mit Blick von oben zeigt. Die hintere Kamera 43 bildet den Bereich hinter dem Fahrzeug 5 ab. Es ist vorzuziehen, dass die Installationspositionen der vorderen Kamera 41 und der hinteren Kamera 43 sich in der Mitte der Breitenrichtung des Fahrzeugs 5 befinden; die vordere Kamera und die hintere Kamera können jedoch auch in der Breitenrichtung leicht nach links oder rechts der Mitte verschoben sein.
Die On-Board-Kamera 42 ist an einem rechten Spiegel 61 des Fahrzeugs 5 installiert. Daher wird die On-Board-Kamera 42 auch als die rechte Kamera 42 bezeichnet. Die optische Achse 42a der rechten Kamera 42 erstreckt sich entlang der Breite des Fahrzeugs 5 wie in einer Planansicht zu sehen, die das Fahrzeug mit Blick von oben zeigt. Die rechte Kamera 42 bildet den Bereich rechts des Fahrzeugs 5 ab. Die On-Board-Kamera 44 ist an einem linken Spiegel 62 des Fahrzeugs 5 installiert. Daher wird die On-Board-Kamera 44 auch als die linke Kamera 44 bezeichnet. Die optische Achse 44a der linken Kamera 44 erstreckt sich entlang der Breite des Fahrzeugs 5 wie in einer Planansicht zu sehen, die das Fahrzeug mit Blick von oben zeigt. Die linke Kamera 44 bildet den Bereich links des Fahrzeugs 5 ab.
Wenn jedoch das Fahrzeug 5 ein sogenanntes außenspiegelloses Fahrzeug ist, kann die rechte Kamera 42 in der Nähe der Angel (Scharnierteil) der rechten Seitentür montiert sein, ohne einen Türspiegel dazwischen einzusetzen, und die linke Kamera 44 kann in der Nähe der Angel (Scharnierteil) der linken Seitentür montiert sein, ohne einen Türspiegel dazwischen einzusetzen.
Die On-Board-Kamera 45 ist am vorderen Ende in dem Fahrzeug 5 installiert. Daher wird die On-Board-Kamera 45 auch als die Kamera 45 im Fahrzeug bezeichnet. Die Kamera 45 im Fahrzeug ist beispielsweise an der Oberseite vor dem Fahrersitz oder dem Beifahrersitz, oder der Oberseite vor einem Raum zwischen dem Fahrersitz und dem Beifahrersitz angeordnet. Die optische Achse 45a der Kamera 45 im Fahrzeug erstreckt sich entlang der Längsrichtung des Fahrzeugs 5 wie in einer Planansicht zu sehen, die das Fahrzeug mit Blick von oben zeigt. Die Kamera 45 im Fahrzeug bildet die Innenseite des Fahrzeugs von der Vorderseite zur Hinterseite hin ab.
Als Linsen für die On-Board-Kameras 41 bis 45 werden beispielsweise Fischaugenlinsen verwendet. Jede der On-Board-Kameras 41 bis 44 weist einen Blickwinkel von θ auf, der größer als 180 Grad in der horizontalen Richtung ist. Daher ist es möglich, den Bereich um das Fahrzeug 5 in der horizontalen Richtung abzubilden. Ähnlich weist die Kamera 45 im Fahrzeug auch einen Blickwinkel von etwa 180 Grad in der horizontalen Richtung auf, sodass sie das gesamte Innere des Fahrzeugs 5 in der horizontalen Richtung abbilden kann.
1 wird weiter beschrieben. Die Sensoreinheit 51 enthält mehrere Sensoren für die Erfassung von Informationen bezüglich des Fahrzeugs 5, das mir den On-Board-Kameras 41 bis 45 ausgestattet ist. Informationen bezüglich des Fahrzeugs 5 können Informationen zu dem Fahrzeug und Informationen zu dem Umgebungsbereich des Fahrzeugs enthalten. In der vorliegenden Ausführungsform sind in der Sensoreinheit 51 beispielsweise ein Fahrzeuggeschwindigkeitssensor zur Erkennung der Geschwindigkeit des Fahrzeugs, ein Lenkwinkelsensor zur Erkennung des Drehwinkels der Lenkung, ein Schaltsensor zur Erkennung der Betätigungsposition des Schalthebels des Fahrzeuggetriebes, ein Leuchtsensor zur Erkennung der Beleuchtung im Umgebungsbereich des Fahrzeugs, ein Vibrationssensor zur Erkennung der Vibration des Fahrzeugs, ein Neigungssensor zur Erkennung der Neigung des Fahrzeugs, Hindernissensoren zur Erkennung von Menschen, Tieren Fahrzeugen und anderen Objekten im Umgebungsbereich des Fahrzeugs und so weiter enthalten.
Die Hindernissensoren können beispielsweise Ultraschallsensoren, Lichtsensoren unter Verwendung von Infrarotlicht oder ähnlichem, Radars und ähnliches verwenden, um Menschen; Tiere, Fahrzeuge und andere Objekte im Umgebungsbereich des Fahrzeugs zu erkennen. Die Hindernissensoren sind an mehreren Positionen beispielsweise in der vorderen Stoßstange, der hinteren Stoßstange, der Türen und so weiter des Fahrzeugs 5 eingebettet. Die Hindernissensoren übertragen Übertragungswellen an den Umgebungsbereich des Fahrzeugs und empfangen Wellen, die von Menschen, anderen Fahrzeugen und so weiter reflektiert werden, um zu erkennen, ob Objekte wie Menschen, andere Fahrzeuge und so weiter vorhanden sind, sowie die Richtungen und Positionen dieser Objekte.
<KONFIGURATIONEN MOBILER ENDGERÄTE>
Das mobile Endgerät 1 ist konfiguriert, eine Anzeigeeinheit 11, eine Betriebseinheit 12, Kameras 13, eine Tonein-/-ausgabeeinheit 14, eine Sensoreinheit 15, eine Steuereinheit 16, eine Speichereinheit 17 und eine Kommunikationseinheit 18 zu enthalten.
Die Anzeigeeinheit 11 ist an der vorderen Fläche des mobilen Endgeräts 1, das ein Smartphone ist. In der vorliegenden Ausführungsform weist die Anzeigeeinheit 11 ein Tastfeld als Teil der Betriebseinheit 12 an der vorderen Fläche auf, und das Tastfeld ist beispielsweise ein Liquid-Crystal-Display-Panel. Die Anzeigeeinheit 11 zeigt beispielsweise Bilder zur Anzeige von Ausgaben von der Bildverarbeitungsvorrichtung 2 auf der Anzeige an.
Die Betriebseinheit 12 enthält beispielsweise das Tastfeld, das an der vorderen Fläche der Anzeigeeinheit 11 bereitgestellt ist, andere Bedientasten und so weiter. Die Betriebseinheit 12 ist konfiguriert, sodass ein Benutzer Informationen von außen eingeben kann, d. h. der Benutzer kann Bedienungsanweisungen wie Bedienungen zum Eingeben von Zeichen, Ziffern und so weiter, Bedienungen zur Auswahl eines Menüs oder einer Auswahl und Bedienungen zur Durchführung oder zum Abbrechen eines Ablaufs durchführen. In der vorliegenden Ausführungsform ist die Betriebseinheit 12 ein Tastfeld, das verwendet werden kann, das Fahrzeug 5 zu betreiben. Die Betriebseinheit 12 ist jedoch nicht auf Softwaretasten unter Verwendung eines Tastfelds oder etwas Ähnlichem beschränkt, und kann Hardwaretaste umfassen, die als physische Eingabeeinheiten auf dem mobilen Endgerät 1 bereitgestellt sind.
Die Kameras 13 sind an der vorderen Fläche und der hinteren Fläche des mobilen Endgeräts 1 angeordnet, das ein Smartphone ist. Die vordere Kamera 13 bildet die Vorderflächenseite des Umgebungsbereichs des mobilen Endgeräts 1 ab. Die hintere Kamera 13 bildet die Rückflächenseite des Umgebungsbereichs des mobilen Endgeräts 1 ab.
Die Tonein-/-ausgabeeinheit 14 enthält beispielsweise ein Mikrofon und einen Lautsprecher. Das Mikrofon erfasst Informationen zu Tönen in der Umgebung des mobilen Endgeräts 1, die Ton enthalten, der durch den Benutzer gemacht wurde. Der Lautsprecher gibt einen Benachrichtigungston, einen Ton auf einer Kommunikationsleitung und so weiter nach außen aus.
Der Sensoreinheit 15 weist Sensoren zur Erkennung von Informationen auf, die auf das mobile Endgerät 1 bezogen sind. In der vorliegenden Ausführungsform enthält die Sensoreinheit 15 beispielsweise einen Vibrationssensor zur Erkennung der Vibration des mobilen Endgeräts 1, einen Neigungssensor zur Erkennung der Neigung des mobilen Endgeräts 1, einen GPS- (Global Positioning System) Sensor zur Erfassung von Informationen an dem Ort des mobilen Endgeräts 1 und so weiter. Der Vibrationssensor kann auch Aufschläge auf das mobile Endgerät 1 erkennen. Als Vibrationssensor und der Neigungssensor können beispielsweise ein Beschleunigungssensor und ein Gyroskopsensor zusammen verwendet werden, um Vibrationen, Aufschlag und Neigung bezüglich des mobilen Endgeräts 1 zu erkennen. Speziell zu Aufschlägen kann die Sensoreinheit 15 Änderungen der Beschleunigung des mobilen Endgeräts 1 erkennen und außerdem Aufschläge von Geräuschen erkennen, wie etwa Geräusche, die der Benutzer ausstößt, und Geräusche, die durch Schnippen der Finger erzeugt werden (Luftvibrationen). Außerdem weist die Sensoreinheit 15 einen Vibrationsmotor für eine Vibrationsfunktion des mobilen Endgeräts 1 auf.
Die Steuereinheit 16 ist ein sogenannter Mikrocomputer, der eine CPU (zentrale Prozessoreinheit), einen RAM (Direktzugriffsspeicher) und eine ROM (Nur-Lese-Speicher) enthält (in den Zeichnungen nicht dargestellt). Die Steuereinheit 16 führt Informationsverarbeitung und Informationsübertragung und -empfang auf Grundlage eines Programms aus, das in der Speichereinheit 17 gespeichert ist. Die Steuereinheit 16 ist mit der Anzeigeeinheit 11, der Betriebseinheit 12, den Kameras 13, der Tonein-/- ausgabeeinheit 14, der Sensoreinheit 15, der Speichereinheit 17 und der Kommunikationseinheit 18 verkabelt verbunden.
Die Steuereinheit 16 enthält eine Anzeigesteuereinheit 161, eine Bedienungsunterscheidungseinheit 162, eine Signalerzeugungseinheit 163 und eine Berechtigungsverwaltungseinheit 164. Die CPU führt die arithmetische Verarbeitung nach einem Programm aus, wodurch die Funktionen der einzelnen Komponenten der Steuereinheit 16 umgesetzt sind.
Die Anzeigesteuereinheit 161 steuert die Anzeigeinhalte der Anzeigeeinheit 11. Wenn beispielsweise Eingaben zur Ausführung und Einstellung verschiedener Funktionen des mobilen Endgeräts 1 empfangen werden, steuert die Anzeigesteuereinheit 161 die Anzeigeeinheit 11, sodass die Anzeigeeinheit Funktionsbilder anzeigt, die sich auf die Funktionen beziehen. Die Funktionsbilder sind Bilder, die verschiedenen Funktionen des mobilen Endgeräts 1 entsprechen und enthält beispielsweise Symbole, Tasten, Softwaretasten, Schiebeleisten, Schiebeschalter, Ankreuzkästchen, Textfelder und so weiter. Der Benutzer kann die auf der Anzeigeeinheit 11 angezeigten Funktionsbilder durch Berührung des Tastfelds (der Betriebseinheit 12) wählen, wodurch verschiedene Funktionen des mobilen Endgeräts 1 durchgeführt und eingestellt werden.
Die Bedienungsunterscheidungseinheit 162 empfängt Erkennungssignale, die von dem Tastfeld (der Betriebseinheit 12) ausgegeben werden, und unterscheidet die Inhalte der Bedienungsanweisungen , die auf dem Tastfeld ausgeführt werden, auf Grundlage der Erkennungssignale. Die Bedienungsunterscheidungseinheit 162 unterscheidet Bedienungsanweisungen wie Tippen, Ziehen, Schnippen und so weiter, sowie Informationen zu Positionen am Tastfeld. Bei Bedienungsanweisungen , die eine Bewegung verwenden, wie Ziehen und Schnippen, unterscheidet die Bedienungsunterscheidungseinheit auch die Bewegungsrichtungen, die Bewegungsdistanzen und so weiter.
Die Signalerzeugungseinheit 163 erzeugt Steuersignale für das Fahrzeug 5 auf Grundlage von Bedienungsanweisungen an der Betriebseinheit 12. Die erzeugten Steuersignale für das Fahrzeug 5 werden an das Fahrzeug 5 über die Kommunikationseinheit 18 übertragen.
Die Berechtigungsverwaltungseinheit 164 verwaltet die Steuerberechtigung für das Fahrzeug 5. Das Fahrzeug 5 kann durch jedes der mehreren mobilen Endgeräte 1, 1x und 1y ferngesteuert sind, die Fahrzeugfernsteuerungsvorrichtungen sind. Die Berechtigungsverwaltungseinheit 164 gibt die Steuerberechtigung für das Fahrzeug 5 an jedes der mobilen Endgeräte 1x und 1y aus oder empfängt die Steuerberechtigung von jedem davon, über die Kommunikationseinheit 18.
Außerdem enthält die Steuerberechtigung für das Fahrzeug 5 mehrere Arten Steuerberechtigung, wie eine Steuerberechtigung bezüglich der Fahrt des Fahrzeugs 5 und Steuerberechtigung bezüglich des Anhaltens des Fahrzeugs 5. Die Steuerberechtigung bezüglich der Fahrt des Fahrzeugs 5 kann ferner beispielsweise in die Steuerberechtigung für das Gaspedal und die Steuerberechtigung für das Lenkrad und so weiter klassifiziert werden. Die Berechtigungsverwaltungseinheit 164 verwaltet getrennt jeden der der mehreren Arten Steuerberechtigung für das Fahrzeug 5, zwischen dem mobile Endgerät 1 und den anderen mobilen Endgeräten 1x und 1y. In anderen Worten ist es beispielsweise möglich, die Steuerberechtigung so zu verwalten, dass die Steuerberechtigung für das Gaspedal an das mobile Endgerät 1 gegeben wird und die Steuerberechtigung für das Lenkrad an das mobile Endgerät 1x gegeben wird. und jede Steuerberechtigung bezüglich der Fahrt des Fahrzeugs 5 nicht an das mobile Endgerät 1y gegeben wird. Es ist jedoch vorzuziehen, dass die Steuerberechtigung bezüglich des Anhaltens des Fahrzeugs 5, d. h. die Steuerberechtigung für die Bremse, an jedes mobile Endgerät gegeben werden sollte. In diesem Fall ist ein Verfahren, die Steuerberechtigung für ungewöhnliches Anhalten (schnelle Bremssteuerung zum Anhalten) an jedes mobile Endgerät zu geben und die Steuerberechtigung zum normalen Anhalten (Bremssteuerung einschließlich Bezeichnung der Kraft zum Anhalten oder Abbremsen) an ein mobiles Endgerät zu geben ebenfalls zu bevorzugen.
Die Speichereinheit 17 ist ein nichtflüchtiger Speicher wie ein Flashspeicher und speichert eine Vielzahl von Informationen. Die Speichereinheit 17 speichert beispielsweise Programme, die Firmware sind, eine Vielzahl von Daten, die für die Steuereinheit 16 notwendig ist, um verschiedene Funktionen auszuführen und so weiter.
Die Kommunikationseinheit 18 kann mit verschiedenen externen Vorrichtungen beispielsweise drahtlos verbunden sein. In der vorliegenden Ausführungsform führt die Kommunikationseinheit 18 Kommunikation mit dem Fahrzeug 5 und dem mobilen Endgeräte 1x und 1y durch, die die anderen Fahrzeugfernsteuerungsvorrichtungen sind. Das mobile Endgerät 1 kann Bilder zur Anzeige, die von der Bildverarbeitungsvorrichtung 2 des Fahrzeugs 5 erzeugt wurden und eine Vielzahl von Informationen (den Lenkwinkel, die Schaltposition, die Fahrgeschwindigkeit, Hindernisinformationen und so weiter), die durch die Sensoreinheit 51 des Fahrzeugs 5 erkannt wurden, über die Kommunikationseinheit 18 empfangen. Das mobile Endgerät 1 kann Steuersignale für das Fahrzeug 5 basierend auf Bedienungsanweisungen auf der Betriebseinheit 12 über die Kommunikationseinheit 18 an das Fahrzeug 5 übertragen. Das mobile Endgerät 1 kann die Übertragung und den Empfang von Informationen und die Übertragung der Steuerberechtigung für das Fahrzeug 5 in Kooperation mit den mobilen Endgeräten 1x und 1y über die Kommunikationseinheit 18 ausführen.
<KONFIGURATION DER BILDVERARBEITUNGSVORRICHTUNG>
Die Bildverarbeitungsvorrichtung 2 ist konfiguriert, eine Bilderzeugungseinheit 21, eine Steuereinheit 22 und eine Speichereinheit 23 zu enthalten.
Die Bilderzeugungseinheit 21 erzeugt Bilder zur Anzeige durch Verarbeitung von Bildern, die durch die Bildgebungseinheit 4 erfasst wurden. In der vorliegenden Ausführungsform ist die Bilderzeugungseinheit 21 konfiguriert als Hardwareschaltkreis, der in der Lage ist, eine Vielzahl von Bildverarbeitungen auszuführen. In der vorliegenden Ausführungsform erzeugt die Bilderzeugungseinheit 21 synthetische Bilder, die den Umgebungsbereich des Fahrzeugs 5 von virtuellen Blickpunkten aus gesehen zeigen, auf Grundlage der Bilder, die durch die On-Board-Kameras 41 bis 44 erfasst wurden, die an dem Fahrzeug 5 montiert sind. Ferner erzeugt die Bilderzeugungseinheit 21 Bilder zur Anzeige, die auf dem mobilen Endgerät 1 angezeigt werden sollen, auf Grundlage der synthetischen Bilder. Details zu dem Verfahren der Erzeugung synthetischer Bilder werden nachfolgend beschrieben.
Die Steuereinheit 22 ist ein sogenannter Mikrocomputer, der eine CPU, einen RAM und eine ROM enthält (in den Zeichnungen nicht dargestellt). Die Steuereinheit 22 führt Informationsverarbeitung und Informationsübertragung und -empfang auf Grundlage eines Programms aus, das in der Speichereinheit 23 gespeichert ist. Die Steuereinheit 22 ist mit dem mobilen Endgerät 1, der Fahrzeugsteuervorrichtung 3, der Bildgebungseinheit 4 und der Sensoreinheit 51 verkabelt oder drahtlos verbunden.
Die Steuereinheit 22 enthält eine Bilderfassungseinheit 221 und eine Bildsteuereinheit 222. Die CPU führt die arithmetische Verarbeitung nach einem Programm aus, wodurch die Funktionen der einzelnen Komponenten der Steuereinheit 22 umgesetzt sind.
Die Bilderfassungseinheit 221 erfasst Bilder, die durch die On-Board-Kameras 41 bis 45 erfasst wurden. In der vorliegenden Ausführungsform ist die Anzahl der On-Board-Kameras 41 bis 45 fünf und die Bilderfassungseinheit 221 erfasst Bilder, die von den einzelnen On-Board-Kameras 41 bis 45 erfasst wurden.
Die Bildsteuereinheit 222 steuert die Bildverarbeitung, die durch die Bilderzeugungseinheit 21 erfolgt. Beispielsweise gibt die Bildsteuereinheit 222 Anweisungen, die sich auf verschiedene Parameter beziehen, die notwendig sind, synthetische Bilder und Bilder zur Anzeige zu erzeugen, an die Bilderzeugungseinheit 21 aus. Außerdem führt die Bildsteuereinheit 222 die Steuerung aus, um Bilder zur Anzeige, die durch die Bilderzeugungseinheit 21 erzeugt wurden, an das mobile Endgerät 1 auszugeben. In diese Beschreibung werden jedoch Bilder zur Anzeige, die sich auf synthetische Bilder beziehen und auf der Anzeigeeinheit 11 des mobilen Endgeräts 1 angezeigt werden, auch einfach als synthetische Bilder bezeichnet.
Die Speichereinheit 23 ist ein nichtflüchtiger Speicher wie ein Flashspeicher und speichert eine Vielzahl von Informationen. Die Speichereinheit 23 speichert beispielsweise Programme, die Firmware sind, eine Vielzahl von Daten, die für die Bilderzeugungseinheit 21 notwendig sind, um synthetische Bilder und Bilder zur Anzeige zu erzeugen. Außerdem speichert die Speichereinheit 23 eine Vielzahl von Daten, die notwendig sind, damit die Bilderfassungseinheit 221 und die Bildsteuereinheit 222 die Verarbeitung ausführen können.
<ERZEUGUNG SYNTHETISCHER BILDER>
Das Verfahren, mit dem die Bilderzeugungseinheit 21 synthetische Bilder erzeugt, die die Bedingungen im Umgebungsbereich des Fahrzeugs 5 von den virtuellen Blickpunkten aus gesehen darstellen, wird beschrieben. 3 ist eine Ansicht zur Erklärung des Verfahrens zur Erzeugung synthetischer Bilder CP, die den Umgebungsbereich des Fahrzeugs 5 zeigen.
Durch die vordere Kamera 41, die rechte Kamera 42, die hintere Kamera 43 und die linke Kamera 44, werden vier Bilder P41 bis P44, die die Vorderseite, die rechte Seite, die Rückseite bzw. die linke Seite des Fahrzeugs 5 zeigen, gleichzeitig erfasst. In den vier Bildern P41 bis P44 sind Daten zu dem gesamten Umgebungsbereich des Fahrzeugs 5 enthalten. Die Bilderzeugungseinheit 21 erfasst die vier Bilder P41 bis P44 über die Bilderfassungseinheit 221.
Die Bilderzeugungseinheit 21 projiziert die Daten, die in den vier Bildern P41 bis P44 enthalten sind (die Werte der einzelnen Pixel), auf eine Projektionsebene TS, die eine dreidimensionale gebogene Ebene in einem virtuellen dreidimensionalen Raum darstellt. Die Projektionsebene TS weist beispielsweise eine im Wesentlichen halbkugelförmige Form (eine Schalenform) auf, und die Mitte davon (ein unterer Teil der Schale) wird als die Position des Fahrzeugs 5 festgestellt.
Auf einen Bereich der Projektionsebene TS an der Außenseite des Bereichs für das Fahrzeug 5 werden die Bilddaten projiziert. Die Übereinstimmungsrelation zwischen den Positionen der einzelnen Pixel, die in den Bildern P41 bis P44 enthalten sind, und die Positionen der einzelnen Pixel auf der Projektionsebene TS werden im Voraus bestimmt. Tabellendaten, die diese Übereinstimmungsreaktion darstellen, werden in der Speichereinheit 23 gespeichert. Die Werte der einzelnen Pixel auf der Projektionsebene TS können auf Grundlage der oben genannten Übereinstimmungsrelation und der Werte der einzelnen Pixel aus den Bildern P41 bis P44 bestimmt werden.
Als nächstes stellt die Bilderzeugungseinheit 21 einen virtuellen Blickpunkt VP in dem dreidimensionalen Raum unter der Kontrolle der Bildsteuereinheit 222 ein. Der virtuelle Blickpunkt VP wird durch eine Blickpunktposition und eine Blickrichtung bestimmt. Die Bilderzeugungseinheit 21 kann einen virtuellen Blickpunkt VP, der eine zufällige Blickpunktposition und eine zufällige Blickrichtung aufweist, in dem dreidimensionalen Raum einstellen. Die Bilderzeugungseinheit 21 extrahiert Daten, die als ein Bild auf einen Bereich der Projektionsebene TS projiziert werden, die in dem Blickfeld enthalten sind, wie aus dem eingestellten virtuellen Blickpunkt VP zu sehen. In dieser Weise erzeugt die Bilderzeugungseinheit 21 synthetische Bilder wie von zufälligen virtuellen Blickpunkten VP gesehen.
Beispielsweise ist es, wie in 3 gezeigt, bei Annahme eines virtuellen Blickpunkts VPa, der durch eine Blickpunktposition, die direkt über dem Fahrzeug 5 platziert ist, und eine Blickrichtung, die in einer Richtung gerade nach unten liegt, definiert ist, möglich, ein synthetisches Bild (ein Bild aus der Vogelperspektive) CPa zu erzeugen, das das Fahrzeug 5 und den Umgebungsbereich des Fahrzeugs 5 zeigt.
Ein Bild 5p des Fahrzeugs 5, das in dem synthetischen Bild CPa dargestellt ist, wird aus Daten wie einer Bitmap erstellt, und wird im Voraus in der Speichereinheit 23 gespeichert. Wenn das synthetische Bild CPa erzeugt wird, werden die Daten des Bilds 5p des Fahrzeugs 5, die eine Form haben, die der Blickpunktposition und der Blickrichtung entsprechen, die den virtuellen Blickpunkt VP des synthetischen Bilds definieren, ausgelesen und in das synthetische Bild CPa aufgenommen.
Wie oben beschrieben, kann die Bilderzeugungseinheit 21 realistische synthetische Bilder CPa unter Verwendung der virtuellen dreidimensionalen Projektionsebene TS erzeugen.
Außerdem ist es möglich, den Umgebungsbereich des Fahrzeugs 5 unter Verwendung jedes synthetischen Bilds CP, das den Umgebungsbereich des Fahrzeugs 5 zeigt, der auf Grundlage mehrerer Bilder erzeugt wird, die durch die mehreren On-Board-Kameras 41 bis 44 erzeugt wurden, die an dem Fahrzeug 5 montiert sind, zu prüfen. Daher ist es auch möglich, tote Winkel aus der Position des Benutzers zu prüfen, wie etwa einen Bereich auf der gegenüberliegenden Seite des Fahrzeugs 5, die, wie aus der Position des Benutzers zu sehen, durch das Fahrzeug 5 abgeschirmt werden.
[ERSTES BEISPIEL]
<BEISPIELE EINER FAHRZEUGFERNSTEUERUNG UNTER VERWENDUNG MOBILER ENDGERÄTE>
<ERSTES BEISPIEL>
Das mobile Endgerät 1 kann über die Kommunikationseinheit 18 synthetische Bilder empfangen, die den Umgebungsbereich des Fahrzeugs 5 von virtuellen Blickpunkten gesehen zeigen, erzeugt durch die Bildverarbeitungsvorrichtung 2 des Fahrzeugs 5. Das mobile Endgerät 1 kann die synthetischen Bilder an der Anzeigeeinheit 11 anzeigen. 4 ist ein schematisches Diagramm, das das mobile Endgerät zeigt, das ein synthetisches Bild CP1 eines ersten Beispiels (Beispiel 1) anzeigt. Das synthetische Bild CP1 ist beispielsweise ein Bild aus der Vogelperspektive, das den Umgebungsbereich des Fahrzeugs 5 zeigt.
5 ist ein schematisches Diagramm, das das Bild aus der Vogelperspektive CP1 zeigt, das auf dem mobilen Endgerät 1 nach dem ersten Beispiel angezeigt wird. Wie in 5 gezeigt, zeigt das mobile Endgerät 1 bei der Fernsteuerung des Fahrzeugs 5, Symbole und so weiter, die Funktionsbilder sind, die mit der Fernsteuerung des Fahrzeugs 5 zusammenhängen, an der Anzeigeeinheit 11 an. In anderen Worten sind auf dem Bild aus der Vogelperspektive CP1 Symbole und so weiter, die Bilder der Betriebseinheit 12 sind, überlagert. Die Betriebseinheit 12 ist der Position des Bilds 5p des Fahrzeugs 5 auf dem Bild aus der Vogelperspektive CP1 entsprechend angeordnet.
Speziell werden auf der Anzeige der Anzeigeeinheit 11 beispielsweise ein Symbol 12a das sich auf Vorwärtsfahrt bezieht, ein Symbol 12b, das sich auf die vordere rechte Seite bezieht, ein Symbol 12c, das sich auf die vordere linke Seite bezieht, ein Symbol 12d, das sich auf die Rückwärtsfahrt bezieht, ein Symbol 12e, das sich auf die hintere rechte Seite bezieht und ein Symbol 12f, das sich auf die hintere linke Seite bezieht, dargestellt, sodass sie das Bild aus der Vogelperspektive CP1 überlappen. Diese Symbole, die sich auf die Fahrt des Fahrzeugs 5 beziehen, sind beispielsweise um das Bild 5p des Fahrzeugs 5 herum angeordnet, Positionen und Richtungen entsprechend, die jeweils einzelnen Fahrtrichtungen entsprechen. In dem vorliegenden Beispiel sind die Symbole, die die Fahrtrichtungen des Fahrzeugs 5 anzeigen, beispielsweise in dreieckiger Form konfiguriert; sie können jedoch auch in jeder anderen Form konfiguriert sein, wie etwa in einer Pfeilform.
Außerdem ist ein „STOP“-Symbol 12g, das sich auf das Stoppen des Fahrzeugs 5 bezieht, so angeordnet, dass es das Bild 5p des Fahrzeugs 5 überlappt. Ferner wird außerhalb des Bilds aus der Vogelperspektive CP1 ein Symbol 12h zum Beenden der Fernsteuerung des Fahrzeugs 5 angezeigt.
Der Benutzer kann die Symbole beliebig mit den Fingern bedienen. Die Bedienungsunterscheidungseinheit 162 unterscheidet die Inhalte der Bedienungsanweisungen , die den Symbolen entsprechen, auf Grundlage der Erkennungssignale des Tastfelds (die Betriebseinheit 12). Die Signalerzeugungseinheit 163 erzeugt Steuersignale für das Fahrzeug 5 auf Grundlage der Funktionsinhalte, die den Symbolen entsprechen. Die Steuersignale werden an das Fahrzeug 5 über die Kommunikationseinheit 18 übertragen.
Wenn beispielsweise der Benutzer das Symbol 12a, das sich auf eine Vorwärtsfahrt des Fahrzeugs 5 bezieht, einmal drückt (berührt), fährt das Fahrzeug 5 um eine vorgegebene Distanz vorwärts (beispielsweise, 10 cm). Wenn außerdem beispielsweise der Benutzer das Symbol 12c drückt, das sich auf die vordere linke Seite des Fahrzeugs 5 bezieht, wechselt das Fahrzeug 5 den Lenkwinkel um einen vorgegebenen Winkel, sodass das Fahrzeug nach vorne links fährt. In dieser Konfiguration kann, wenn der Lenkwinkel geändert wird, die Ausrichtung des Bilds 5p des Fahrzeugs 5 geändert werden, sodass es möglich ist, leicht zu erkennen, in welche Richtung sich das Fahrzeug wendet. Wenn der Benutzer nachfolgend einmal auf das Symbol 12a drückt, das sich auf die Vorwärtsfahrt bezieht, fährt das Fahrzeug 5 um einen vorgegebenen Abstand nach vorne links. Die Bewegungsrichtung, Fahrtdistanz und so weiter kann auf Grundlage von Bedienungsanweisungen gesteuert werden, die Bewegung verwenden, die auf dem Tastfeld (der Betriebseinheit 12) ausgeführt werden, wie Zielen und Schnippen.
In dem Fall, in dem der Benutzer das Fahrzeug 5 anhalten will, wenn das Fahrzeug fährt, stoppt das Fahrzeug 5, wenn der Benutzer das Symbol „STOP“ 12g drückt, das sich auf das Anhalten des Fahrzeugs 5 bezieht. Alternativ kann das Fahrzeug 5 nur fahren, wenn der Benutzer das Symbol 12a drückt, das sich auf die Vorwärtsfahrt bezieht, oder das Symbol 12d, das sich auf die Rückwärtsfahrt bezieht, und wenn der Benutzer den Finger von dem Symbol 12a oder dem Symbol 12d entfernt, kann das Fahrzeug 5 anhalten.
Ferner kann der Benutzer über die Betriebseinheit 12 Bedienungsanweisungen wie eine Bedienung zum Ändern der Blickpunktposition, der Blickrichtung und des Zooms bezüglich eines synthetischen Bilds durchführen, das an der Anzeigeeinheit 11 angezeigt wird.
Während der Fernsteuerung werden Hindernisse um das Fahrzeug 5, wie Menschen, Tiere, Fahrzeuge und andere Objekte, durch die Sensoreinheit 51 des Fahrzeugs 5 erkannt. Wenn die Sensoreinheit 51 ein Hindernis erkennt, wird ein Erkennungssignal an die Fahrzeugsteuervorrichtung 3 übertragen und die Fahrzeugsteuervorrichtung 3 stoppt automatisch das Fahrzeug 5.
Außerdem kann, wie in 6 gezeigt, das Fahrzeug 5 beispielsweise durch jedes der mehreren mobilen Endgeräte 1, 1x und 1y ferngesteuert sind, die Fahrzeugfernsteuerungsvorrichtungen sind. 6 ist eine Ansicht zur Erklärung eines Verfahrens zur Fernsteuerung des Fahrzeugs 5 durch mehrere mobile Endgeräte 1, 1x und 1y. Benutzer U, Ux und Uy haben die mobilen Endgeräte 1, 1x bzw. 1y.
Das mobile Endgerät 1, das dem Benutzer U gehört, kann die Übertragung der Steuerberechtigung für das Fahrzeug 5 in Kooperation mit den mobilen Endgeräten 1x und 1y über die Kommunikationseinheit 18 ausführen. Ähnlich kann jedes der mobilen Endgeräte 1x und 1y, das zu den Benutzern Ux und Uy gehört, die Übertragung der Steuerberechtigung für das Fahrzeug 5 in Kooperation mit den anderen mobilen Endgeräten durchführen. Bei Fernsteuerung des Fahrzeugs 5 kann jedes der mobilen Endgeräte 1x und 1y ein synthetisches Bild CP1 auf der Anzeigeeinheit 11 anzeigen. 7 ist ein schematisches Diagramm, das das mobile Endgerät 1x oder 1y zeigt, das ein synthetisches Bild CP1 nach dem ersten Beispiel (Beispiel 2) anzeigt.
Wie in 4 und 7 dargestellt, kann jedes der mobilen Endgeräte 1, 1x und 1y kann ein Bild 111 als Informationen bezüglich der Steuerberechtigung für das Fahrzeug 5 auf der Anzeigeeinheit 11 anzeigen. Das Bild 111, das Informationen bezüglich der Steuerberechtigung für das Fahrzeug 5 darstellt, enthält ein Bild 111a für das Besitzen/nicht Besitzen von Steuerberechtigungen und eine Taste 111b zur Übertragung der Steuerberechtigung. Hierin wird eine Konfiguration beschrieben, in der alle der mehreren Arten Steuerberechtigung, die sich auf die Fahrt des Fahrzeugs 5 beziehen, wie etwa die Steuerberechtigung für das Gaspedal und die Steuerberechtigung für das Lenkrad, einem beliebigen mobilen Endgeräte 1 und den anderen mobilen Endgeräten 1x und 1y übertragen werden, übertragen werden.
Das Bild 111a für das Besitzen/nicht Besitzen von Steuerberechtigungen ist ein Bild, das Besitz oder Nichtbesitz der Steuerberechtigung für das Fahrzeug 5 darstellt. Beispielsweise wird, in dem Fall, in dem das mobile Endgerät 1 die Steuerberechtigung für das Fahrzeug 5 besitzt, wie in 4 gezeigt, als das Bild 111a für das Besitzen/nicht Besitzen von Steuerberechtigungen „BESITZ“ angezeigt. Auf dem synthetischen Bild CP1 des mobilen Endgeräts 1, sind die Symbole (die Betriebseinheit 12), die sich auf die Fahrt des Fahrzeugs 5 beziehen, angezeigt. In jedem der mobilen Endgeräte 1x und 1y, die keine Steuerberechtigung für das Fahrzeug 5 besitzen, wie in 7 gezeigt, als das Bild 111a für das Besitzen/nicht Besitzen von Steuerberechtigungen „KEIN BESITZ“ angezeigt. Auf dem synthetischen Bild CP1 jedes mobilen Endgeräts 1x und 1y, sind die Symbole (die Betriebseinheit 12), die sich auf die Fahrt des Fahrzeugs 5 beziehen, angezeigt. In anderen Worten handhabt die Berechtigungsverwaltungseinheit 164 jedes des mobilen Endgeräts 1 und der anderen mobilen Endgeräte 1x und 1y einige der mehreren Arten Steuerberechtigung für das Fahrzeug 5, d. h. die Arten der Steuerberechtigung bezüglich der Fahrt des Fahrzeugs 5, als eines. Beispielsweise ist selbst in dem Fall, in dem die Steuerberechtigung bezüglich der Fahrt des Fahrzeugs 5 in der Steuerberechtigung für das Gaspedal, der Steuerberechtigung für das Lenkrad und so weiter, klassifiziert ist, es vorzuziehen, die mehreren Arten Steuerberechtigung als eines zu behandeln.
Die Steuerberechtigungsübertragungstaste 111b ist eine Taste zur Durchführung der Übertragung der Steuerberechtigung für das Fahrzeug 5 zwischen dem mobile Endgerät 1 und den anderen mobilen Endgeräten 1x und 1y. Beispielsweise wird, in dem Fall, in dem das mobile Endgerät 1 die Steuerberechtigung für das Fahrzeug 5 besitzt, wie in 4 gezeigt, Taste 111b zum Übertragen von Steuerberechtigung „GEBEN“ angezeigt. An dem mobilen Endgerät 1 ist es möglich, die Steuerberechtigung für das Fahrzeug 5 an eines der mobilen Endgeräte 1x und 1y zu geben, die keine Steuerberechtigung für das Fahrzeug 5 besitzen, indem die Taste 111b zum Übertragen der Steuerberechtigung „GEBEN“ enthält. In jedem der mobilen Endgeräte 1x und 1y, die keine Steuerberechtigung für das Fahrzeug 5 besitzen, wie in 7 gezeigt, wird als Taste 111b zum Übertragen der Steuerberechtigung „EMPFANGEN“ angezeigt. An jedem der mobilen Endgeräte 1x und 1y ist es möglich, die Steuerberechtigung für das Fahrzeug 5 von dem mobilen Endgerät 1, das die Steuerberechtigung für das Fahrzeug 5 besitzt, indem die Taste 111b zum Übertragen der Steuerberechtigung „EMPFANGEN“ enthält. In diesem Fall ist es bezüglich der Übertragung der Steuerberechtigung wünschenswert, es möglich zu machen, Kommunikation unter den Benutzern U, Ux und Uy auszuführen, wie etwa sich gegenseitig anzurufen, füreinander unter Verwendung der Software der einzelnen mobilen Endgeräte zu bestätigen und so weiter.
8 ist ein Ablaufdiagramm, das ein Beispiel des Ablaufs der Verarbeitung des mobilen Endgeräts 1 bezüglich der Fahrzeugfernsteuerung nach dem ersten Beispiel anzeigt. 9 ist ein Ablaufdiagramm, das ein anderes Beispiel des Ablaufs der Verarbeitung des mobilen Endgeräts 1 bezüglich der Fahrzeugfernsteuerung nach dem ersten Beispiel anzeigt. Die Verarbeitung, die sich auf die Fernsteuerung des Fahrzeugs 5 bezieht und durch das mobile Endgerät 1 nach dem ersten Beispiel ausgeführt wird, wird mit Verweis auf die Verarbeitungsabläuft von 8 und 9 beschrieben.
Hierin wird jedoch eine Konfiguration beschrieben, in der alle der mehreren Arten Steuerberechtigung, die sich auf die Fahrt des Fahrzeugs 5 beziehen, wie etwa die Steuerberechtigung für das Gaspedal und die Steuerberechtigung für das Lenkrad, einem beliebigen mobilen Endgeräte 1 und den anderen mobilen Endgeräten 1x und 1y übertragen werden, übertragen werden.
Wenn beispielsweise das mobile Endgerät 1 durch den Benutzer bedient wird und eine Fernsteuerungsstartanweisung von der Betriebseinheit 12 empfängt, wird die Verarbeitung des mobilen Endgeräts 1 bezüglich der Fernsteuerung des Fahrzeugs 5 gestartet („START“ von 8). Die Fernbedienung des Fahrzeugs 5 wird geestartet, wenn das Fahrzeug 5 angehalten wird.
Nachfolgend führt das mobile Endgerät 1 einen Kommunikationsaufbauprozess und einen Fernsteuerungsaufbauprozess in Kooperation mit dem Fahrzeug 5 (SCHRITT S101) durch. Zu diesem Zeitpunkt wird selbst in dem Fahrzeug 5 die Verarbeitung bezüglich der Fernsteuerung gestartet („START“ von 9), und der Kommunikationsaufbauprozess und der Fernsteuerungsaufbauprozess werden in Kooperation mit dem mobilen Endgerät 1 (SCHRITT S201) ausgeführt. In diesen Schritten wird beispielsweise ein Prozess des Abgleichs des mobilen Endgeräts 1 und des Fahrzeugs 5, ein Steuererlaubnisprozess und so weiter ausgeführt. In dem Steuererlaubnisprozess wird beispielsweise ein Authentifizierungsprozess auf einer ID, ein Passwort und so weiter ausgeführt.
Als nächstes überträgt das mobile Endgerät 1 ein Steuersignal bezieht sich auf die Erzeugung synthetischer Bilder, die den Umgebungsbereich des Fahrzeugs zeigen 5, wie von einem virtuellen Blickpunkt auf die Bildverarbeitungsvorrichtung 2 des Fahrzeugs 5 (SCHRITT S102) gesehen.
In dem Fahrzeug 5 wird bestimmt, ob ein Steuersignal bezüglich der Fernsteuerung des Fahrzeugs 5 empfangen wurde (SCHRITT S202 aus 9). In dem Fall, in dem das Fahrzeug 5 ein Steuersignal empfangen hat („Ja“ in SCHRITT S202), beispielsweise, wenn das Steuersignal ein Signal ist, das sich auf die Bilderzeugung bezieht, erzeugt die Bildverarbeitungsvorrichtung 2 ein Bild auf Grundlage des Steuersignals und überträgt das Bild an das mobile Endgerät 1 (SCHRITT S203). Die Bildverarbeitungsvorrichtung 2 erfasst mehrere Bilder des Umgebungsbereichs des Fahrzeugs 5 jeweils von den einzelnen On-Board-Kameras 41 bis 44. Die Bilderzeugungseinheit 21 erzeugt ein synthetisches Bild, das einen Umgebungsbereich des Fahrzeugs 5 zeigt, wie von dem virtuellen Blickpunkt aus gesehen, auf Grundlage der mehreren Bilder des Umgebungsbereichs des Fahrzeugs 5.
Als nächstes empfängt das mobile Endgerät 1 das synthetische Bild CP1 von der Bildverarbeitungsvorrichtung 2 und zeigt das synthetische Bild CP1 auf der Anzeigeeinheit 11 (SCHRITT S103 von 8) an.
Als nächstes bestimmt das mobile Endgerät 1, ob es die Steuerberechtigung für das Fahrzeug 5 besitzt, wie etwa die Steuerberechtigung für das Gaspedal und die Steuerberechtigung für das Lenkrad (SCHRITT S104). In dem Fall, in dem das mobile Endgerät 1 die Steuerberechtigung für das Fahrzeug 5 besitzt („Ja“ in SCHRITT S104), wird bestimmt, ob eine Funktion für die Übertragung der Steuerberechtigung eines der anderen mobilen Endgeräte 1x und 1y und so weiter ausgeführt wurde (SCHRITT S105).
In dem Fall, in dem das mobile Endgerät 1 die Steuerberechtigung für das Fahrzeug 5 enthält („Nein“ in SCHRITT S105), schaltet das mobile Endgerät 1 einen Modus zur Anzeige von Steuerbildern bezüglich der Fahrt des Fahrzeugs 5 auf der Anzeigeeinheit 11 (SCHRITT S106) an. In anderen Worten zeigt das mobile Endgerät 1 die Symbole und so weiter (die Betriebseinheit 12) an, die Funktionsbilder sind, die sich auf die Fahrt des Fahrzeugs 5 beziehen, um das synthetische Bild CP1 zu überlappen. Als Ergebnis davon kann der Benutzer die Symbole zur Fernsteuerung beliebig mit den Fingern bedienen. Zu diesem Zeitpunkt wird als Bild 111a für das Besitzen/nicht Besitzen von Steuerberechtigungen, „BESITZ“ angezeigt und die Taste 111b zum Übertragen der Steuerberechtigung, „GEBEN“, wird angezeigt.
In dem Fall, in dem das mobile Endgerät 1 hat keine Steuerberechtigung für das Fahrzeug 5 („Nein“ im SCHRITT S104), wird bestimmt, ob es die Steuerberechtigung für das Fahrzeug 5 von einem der anderen mobilen Endgeräte 1x und 1y und so weiter erhalten hat (SCHRITT S107). In dem Fall, in dem das mobile Endgerät 1 die Steuerberechtigung für das Fahrzeug 5 von einem der anderen mobilen Endgeräte 1 x und 1y und so weiter erhalten hat(„Ja“ in SCHRITT S107), bestimmt es, ob eine Funktion für die Übertragung der Steuerberechtigung eines der anderen mobilen Endgeräte 1x und 1y und so weiter ausgeführt wurde (SCHRITT S105).
In dem Fall, in dem das mobile Endgerät 1 die Steuerberechtigung für das Fahrzeug 5 an eines der anderen mobilen Endgeräte 1x und 1y und so weiter gegeben hat („Ja“ in SCHRITT S105), oder wenn das mobile Endgerät 1 die Steuerberechtigung von Anfang an nicht hatte und die Steuerberechtigung von einem der anderen mobilen Endgeräte 1x und 1y und so weiter nicht erhalten hat („Nein“ in SCHRITT S107), schaltet es den Modus für die Anzeige der Steuerbilder bezüglich der Fahrt des Fahrzeugs 5 an der Anzeigeeinheit 11 (SCHRITT S108) ab. In anderen Worten zeigt das mobile Endgerät 1 die Symbole und so weiter (die Betriebseinheit 12) nicht an, die Funktionsbilder sind, die sich auf die Fahrt des Fahrzeugs 5 beziehen, um das synthetische Bild CP1 zu überlappen. Zu diesem Zeitpunkt wird als Bild 111a für das Besitzen/nicht Besitzen von Steuerberechtigungen, „KEIN BESITZ“ angezeigt und die Taste 111b zum Übertragen der Steuerberechtigung, „EMPFANGEN“, wird angezeigt.
Als nächstes bestimmt das mobile Endgerät 1, ob eine Eingabe basierend auf derBedienungsanweisungeines Benutzers auf der Betriebseinheit 12 empfangen wurde (SCHRITT S109). Beispiele der Bedienungsanweisung eines Benutzers enthalten eine Bedienung zur Durchführung der Fernbedienung bezüglich der Fahrt des Fahrzeugs 5, eine Bedienung zur Änderung der Blickpunktposition, der Blickrichtung, oder des Zooms bezüglich des synthetischen Bilds CP1 und so weiter.
In dem Fall, in dem eine Eingabe basierend auf einer Bedienungsanweisung der Betriebseinheit 12 empfangen wurde, bestimmt wird („Ja“ in SCHRITT S109), erzeugt das mobile Endgerät 1 ein Steuersignal für das Fahrzeug 5 basierend auf der Bedienungsanweisung der Betriebseinheit 12 durch die Signalerzeugungseinheit 163 und überträgt das Steuersignal an das Fahrzeug 5 (SCHRITT S110). Auf diese Weise kann der Benutzer die Fernsteuerung des Fahrzeugs 5 ausführen.
In dem Fahrzeug 5 wird bestimmt, ob ein Steuersignal bezüglich der Fernsteuerung des Fahrzeugs 5 empfangen wurde (SCHRITT S202 aus 9). In dem Fall, in dem das Fahrzeug 5 ein Steuersignal empfangen hat („Ja“ in SCHRITT S202), beispielsweise, wenn das Steuersignal ein Signal ist, das sich auf die Bilderzeugung bezieht, erzeugt die Bildverarbeitungsvorrichtung 2 ein Bild auf Grundlage des Steuersignals und überträgt das Bild an das mobile Endgerät 1 (SCHRITT S203). Wenn das Steuersignal, das das Fahrzeug 5 enthalten hat, ein Signal ist, das sich auf die Fahrtsteuerung bezieht, steuert die Fahrzeugsteuervorrichtung 3 die Fahrt des Fahrzeugs 5 auf Grundlage des Steuersignals (SCHRITT S204).
Als nächstes bestimmt das mobile Endgerät 1, ob eine Bedienungsanweisung zum Abschalten der Fernsteuerung des Fahrzeugs 5 durch den Benutzer durchgeführt wurde (SCHRITT S111). Der Benutzer kann die Fernsteuerung des Fahrzeugs 5 beenden, indem er das Symbol 12h zum Beenden der Fernsteuerung des Fahrzeugs 5 bedient. In dem Fall, in dem eine Bedienungsanweisung zum Abschalten der Fernsteuerung nicht durchgeführt wurde („Nein“ in SCHRITT S111), kehrt das mobile Endgerät 1 auf SCHRITT S103 zurück und macht mit dem Empfang und der Anzeige synthetischer Bilder CP1 weiter.
In dem Fall, in dem eine Bedienungsanweisung zum Abschalten der Fernsteuerung ausgeführt wurde („Ja“ in SCHRITT S111), wird der Verarbeitungsablauf des mobilen Endgeräts 1 wie in 8 dargestellt beendet.
In dem Fahrzeug 5 wird bestimmt, ob ein Steuersignal zum Abschalten der Fernsteuerung des Fahrzeugs 5 empfangen wurde (SCHRITT S205 aus 9). In dem Fall, in dem ein Steuersignal zum Abschalten der Fernsteuerung nicht empfangen wurde („Nein“ in SCHRITT S205), kehrt das Fahrzeug zu Schritt 202 zurück und fährt damit fort, festzustellen, ob ein Steuersignal bezüglich der Fernsteuerung des Fahrzeugs 5 empfangen wurde.
In dem Fall, in dem ein Steuersignal zum Abschalten der Fernsteuerung empfangen wurde („Ja“ in SCHRITT S205), wird der Verarbeitungsablauf des mobilen Fahrzeugs 5 wie in 9 dargestellt beendet.
Wie oben beschrieben, zeigt das mobile Endgerät 1 des vorliegenden Beispiels, das eine Fahrzeugfernsteuerungsvorrichtung ist, synthetische Bilder CP1 an, die den Umgebungsbereich des Fahrzeugs 5 von virtuellen Blickpunkten aus gesehen an der Anzeigeeinheit 11 anzeigen. Die Kommunikationseinheit 18 überträgt Steuersignale für das Fahrzeug 5 an das Fahrzeug 5. Die Berechtigungsverwaltungseinheit 164 führt die Übertragung der Steuerberechtigung für das Fahrzeug 5 in Kooperation mit den mobilen Endgeräten 1x und 1y über die Kommunikationseinheit 18 durch. Nach dieser Konfiguration können Personen eine Fernsteuerung des Fahrzeugs 5 durchführen und dabei den Umgebungsbereich des Fahrzeugs 5 auf synthetischen Bildern prüfen. In einem Fall, in dem beispielsweise ein toter Winkel auftritt, kann der Benutzer die Steuerberechtigung für das Fahrzeug 5 leicht an eine andere Person übergeben, um die Bedingungen in dem toter Winkelzu prüfen. In anderen Worten, es ist möglich, die Bequemlichkeit und Funktionsfähigkeit der Fernsteuerung des Fahrzeugs 5 zu verbessern.
Ferner empfängt die Kommunikationseinheit 18 die synthetischen Bilder CP1, die in dem Fahrzeug 5 erzeugt wurden, von dem Fahrzeug 5. Nach dieser Konfiguration ist es möglich, die Last des mobilen Endgeräts 1 zu verringern. Daher ist es möglich, die Fernsteuerung unter Verwendung des mobilen Endgeräts 1 schnell und stabil auszuführen und es ist möglich, die Bequemlichkeit und Funktionsfähigkeit der Fernsteuerung des Fahrzeugs 5 zu verbessern.
Außerdem enthalten Steuersignale für das Fahrzeug 5 Signale bezüglich der Steuerung zu den Blickpunktpositionen und Blickrichtungen der synthetischen Bilder CP1. Nach dieser Konfiguration kann der Benutzer synthetische Bilder CP1 basierend auf verschiedenen zufälligen Blickpunktpositionen und verschiedenen zufälligen Blickrichtungen sehen. Daher ist es möglich, die Bequemlichkeit und Funktionsfähigkeit der Fernsteuerung des Fahrzeugs 5 zu verbessern.
Ferner verwaltet die Berechtigungsverwaltungseinheit 164 getrennt jeden der der mehreren Arten Steuerberechtigung für das Fahrzeug 5, zwischen dem mobile Endgerät 1 und den anderen mobilen Endgeräten 1x und 1y. Nach dieser Konfiguration können Menschen beispielsweise jeweils das Gaspedal, das Lenkrad und so weiter steuern. In anderen Worten kann beispielsweise nach der Anordnung, den Fähigkeiten und so weiter der Benutzer jeder der Benutzer kann sich um einen Teil der Steuerung des Fahrzeugs 5 kümmern. Daher ist es möglich, die Bequemlichkeit und Funktionsfähigkeit der Fernsteuerung des Fahrzeugs 5 zu verbessern.
Außerdem handhabt die Berechtigungsverwaltungseinheit 164 jedes des mobilen Endgeräts 1 und der anderen mobilen Endgeräte 1x und 1y einige der mehreren Arten Steuerberechtigung für das Fahrzeug 5, d. h. die Arten der Steuerberechtigung bezüglich der Fahrt des Fahrzeugs 5, als eines. Nach dieser Konfiguration ist es möglich, zu verhindern, dass Steuersignale bezüglich der Fahrt des Fahrzeugs 5 von den mehreren einzelnen mobilen Endgeräten 1, 1x und 1y an das Fahrzeug 5 gleichzeitig übertragen werden. Daher verbessert sich die Sicherheit bei der Fernsteuerung und ist es möglich, die Bequemlichkeit bei der Fernsteuerung des Fahrzeugs 5 zu verbessern.
Ferner zeigt wie in 4 und 7 gezeigt, jedes der mobilen Endgeräte 1, 1x und 1y immer das „STOP“-Symbol 12g bezüglich des Anhaltens des Fahrzeugs 5 an. Jeder der Benutzer U, Ux und Uy kann das Fahrzeug 5 anhalten, unabhängig davon, ob der Benutzer die Steuerberechtigung bezüglich der Fahrt des Fahrzeugs 5 besitzt, indem er das Symbol 12g betätigt. In anderen Worten, die Berechtigungsverwaltungseinheiten 164 des mobilen Endgeräts 1 und der anderen mobilen Endgeräte 1x und 1y teilen sich die Steuerberechtigung bezüglich des Anhaltens des Fahrzeugs 5, was einer der mehreren Arten Steuerberechtigung für das Fahrzeug 5 ist. Nach dieser Konfiguration kann jeder Benutzer das Fahrzeug 5 während eines Notfalls anhalten, selbst in einem Fall, in dem der Benutzer die Steuerberechtigung für das Fahrzeug 5 an eine andere Person übergeben hat. Daher verbessert sich die Sicherheit bei der Fernsteuerung und ist es möglich, weiterhin die Bequemlichkeit bei der Fernsteuerung des Fahrzeugs 5 zu verbessern.
Außerdem kann jedes der mobilen Endgeräte 1, 1x und 1y Anzeigebilder der Anzeigeeinheiten 11 der anderen mobilen Endgeräte auf seiner eigenen Anzeigeeinheit 11 anzeigen. In anderen Worten, die Kommunikationseinheit 18 jedes der mobilen Endgeräte 1, 1x und 1y empfängt ein Anzeigebild der Anzeigeeinheit 11 eines anderen mobilen Endgeräts von einem anderen mobilen Endgerät. Nachfolgend zeigt die Anzeigeeinheit 11 das empfangene Anzeigebild an. Jedes der Anzeigebilder der mobilen Endgeräte 1, 1x und 1y hat eine entsprechende Kennnummer, die darstellt, zu welchem Endgerät das entsprechende Bild gehört, und jedes mobile Endgerät wählt Bilder, die angezeigt werden sollen, auf Grundlage ihrer Kennnummern. Nach dieser Konfiguration kann beispielsweise jedes der mobilen Endgeräte 1, 1x und 1y mit einer einzigen Berührung zwischen einem Bild eines mobilen Endgeräts, das die Steuerberechtigung für das Fahrzeug 5 besitzt, und einem Bild eines mobilen Endgeräts, das die Steuerberechtigung für das Fahrzeug 5 nicht besitzt, umschalten. In diesem Fall kann der Benutzer den Zustand des Fahrzeugs 5 von verschiedenen Positionen und verschiedenen Winkeln aus prüfen. Daher ist es möglich, die Bequemlichkeit der Fernsteuerung des Fahrzeugs 5 weiter zu verbessern.
Ferner kann die Speichereinheit 17 des mobilen Endgeräts 1 synthetische Bilder CP1 speichern, die auf der Anzeigeeinheit 11 angezeigt sind. Nach dieser Konfiguration kann der Benutzer nach der Durchführung der Fernbedienung an dem Fahrzeug 5 die Bedingungen jederzeit erneut prüfen. Daher ist es möglich, Techniken bezüglich der Fernsteuerung des Fahrzeugs 5 zu verbessern. Daher ist es möglich, die Bequemlichkeit und Funktion der Fernsteuerung des Fahrzeugs 5 weiter zu verbessern.
[ZWEITES BEISPIEL]
<ZWEITES BEISPIEL>
10 ist ein schematisches Diagramm, das synthetische Bilder zeigt, die konsekutiv auf dem mobilen Endgerät 1 eines zweiten Beispiels angezeigt werden. In dem mobilen Endgerät 1 des zweiten Beispiels zeigt die Anzeigeeinheit 11 konsekutiv synthetische Bilder CP11 bis C15 dem Umfang des Umgebungsbereichs des Fahrzeugs 5 entsprechend zu Beginn der synthetischen Bildanzeige an.
Wenn beispielsweise die Fernsteuerung des Fahrzeugs 5 gestartet wird, zeigt die Anzeigeeinheit 11 das synthetische Bild CP11, das in 10 angezeigt ist, zuerst an. Das synthetische Bild CP11 ist beispielsweise ein Bild des Umgebungsbereichs des Fahrzeugs 5 wie von einem Blickpunkt aus gesehen, der sich auf der linken Seite hinter dem Fahrzeug 5 und über dem Fahrzeug befindet. Nachfolgend zeigt die Anzeigeeinheit 11 beispielsweise ein synthetisch Bild CP12 des Umgebungsbereichs des Fahrzeugs 5 wie von einem Blickpunkt aus gesehen, der sich auf der linken Seite vor dem Fahrzeug 5 und über dem Fahrzeug befindet. Ferner zeigt die Anzeigeeinheit 11 sequenziell beispielsweise das synthetische Bild CP13 des Umgebungsbereichs des Fahrzeugs 5 an, wie von einem Blickpunkt aus gesehen, der sich fast direkt vor dem Fahrzeug 5 und über dem Fahrzeug befindet, das synthetische Bild CP14 des Umgebungsbereichs des Fahrzeugs 5 wie von einem Blickpunkt aus gesehen, der sich auf der rechten Seite vor dem Fahrzeug 5 und über dem Fahrzeug befindet, und das synthetische Bild CP15 des Umgebungsbereichs des Fahrzeugs 5, wie von einem Blickpunkt aus gesehen, der sich auf der rechten Seite hinter dem Fahrzeug 5 und über dem Fahrzeug befindet. Schließlich zeigt die Anzeigeeinheit 11 ein synthetisches Bild CP1 an, das ein Bild aus der Vogelperspektive ist, das den Umgebungsbereich des Fahrzeugs 5 anzeigt. Ferner sind auf dem synthetischen Bild CP1 die Symbole und so weiter, die Bilder der Betriebseinheit 12 sind, überlagert.
In der vorliegenden Ausführungsform werden die fünf synthetischen Bilder CP11 bis C15 als synthetische Bilder entlang des Umfangs des Umgebungsbereichs des Fahrzeugs 5 erfasst. Die Anzahl der synthetischen Bilder entlang des Umfangs des Umgebungsbereichs des Fahrzeugs 5 ist jedoch nicht auf fünf beschränkt und kann kleiner oder größer sein als fünf. Außerdem werden in der vorliegenden Ausführungsform die synthetischen Bilder CP11 bis C15 entlang dem Umfang des Umgebungsbereichs des Fahrzeugs 5 im Uhrzeigersinn bezüglich eines Bilds 5p des Fahrzeugs 5 angezeigt, das in dem synthetischen Bild CP1 enthalten ist; sie können jedoch auch gegen den Uhrzeigersinn dargestellt werden.
Nach der Konfiguration des mobilen Endgeräts 1 des vorliegenden Beispiels zu Beginn der Anzeige der synthetischen Bilder CP1, d. h. wenn die Fernsteuerung des Fahrzeugs 5 gestartet wird, ist es möglich, leicht die Bedingungen entlang des Umfangs des Umgebungsbereichs des Fahrzeugs 5 zu prüfen. Daher ist es möglich, die Bequemlichkeit und Funktionsfähigkeit der Fernsteuerung des Fahrzeugs 5 zu verbessern.
[DRITTES BEISPIEL]
<DRITTES BEISPIEL>
11 ist ein schematisches Diagramm, das ein synthetisches Bild CP1 zeigt, das auf dem mobilen Endgerät 1 eines dritten Beispiels (Beispiel 1) angezeigt wird. In dem mobilen Endgerät 1 des dritten Beispiels zeigt die Anzeigeeinheit 11 zu Beginn der synthetischen Bildanzeige ein synthetisches Bild CP1 des Fahrzeugs 5 an, wie von der Seite des Fahrzeugs aus, die dem mobilen Endgerät 1 gegenüberliegt, gesehen, an.
Wie in 11 gezeigt, trägt der Benutzer U das mobile Endgerät 1 und steht beispielsweise hinter dem Fahrzeug 5. Daher zeigt beispielsweise, wenn die Fernsteuerung des Fahrzeugs 5 gestartet wird, die Anzeigeeinheit 11 das synthetische Bild CP1, das in 11 angezeigt ist, an. Das synthetische Bild CP1 ist ein Bild des Umgebungsbereichs des Fahrzeugs 5 wie von der Seite des Fahrzeugs, die dem Ort des Benutzers U, der das mobile Endgerät 1 trägt, gegenüberliegt, gesehen, d. h. ein Bild des Umgebungsbereichs des Fahrzeugs 5 wie aus einem Blickwinkel gesehen, der sich fast direkt vor dem Fahrzeug 5 und über dem Fahrzeug befindet.
Nach dieser Konfiguration kann zu Beginn der Anzeige synthetischer Bilder CP1, d. h. wenn die Fernsteuerung des Fahrzeugs 5 gestartet wird, der Benutzer U leicht die Bedingungen in toten Winkelnprüfen. Daher ist es möglich, die Bequemlichkeit und Funktionsfähigkeit der Fernsteuerung des Fahrzeugs 5 zu verbessern.
Außerdem kann, wie in dem zweiten Beispiel (siehe 10) beschrieben, nach der konsekutiven Anzeige der synthetischen Bilder CP11 bis C15 entlang des Umfangs des Umgebungsbereichs des Fahrzeugs 5 schließlich das synthetische Bild CP1 (11) des Fahrzeugs 5 wie von der Seite des Fahrzeugs, die dem Ort des mobilen Endgeräts 1, gegenüberliegt, auf der Anzeigeeinheit 11 angezeigt werden.
Dann zeigt die Anzeigeeinheit 11, wenn sich das mobile Endgerät 1 bewegt, synthetische Bilder basierend auf verschiedenen Blickpunktpositionen und verschiedenen Blickrichtungen an. 12 ist ein schematisches Diagramm, das ein synthetisches Bild CP2 zeigt, das auf dem mobilen Endgerät 1 nach dem dritten Beispiel (Beispiel 2) angezeigt wird.
Wenn der Benutzer U, der hinter dem Fahrzeug 5 steht, wie in 11 dargestellt, sich beispielsweise auf die linke Seite des Fahrzeugs 5 bewegt, zeigt die Anzeigeeinheit 11 das synthetische Bild CP2 des Umgebungsbereichs des Fahrzeugs 5 an, wie von der rechten Seite des Fahrzeugs 5 gesehen, wie in 12 gezeigt. In anderen Worten zeigt die Anzeigeeinheit 11 bezüglich des synthetischen Bilds CP1, das in 11 gezeigt ist, wenn der Benutzer U, der das mobile Endgerät 1 trägt, sich bewegt, synthetische Bilder CP2 basierend auf Blickpunktpositionen und Blickrichtungen an, die sich von denen des synthetischen Bilds CP1 unterscheiden. Alternativ können synthetische Bilder, die Stufen zwischen dem synthetischen Bild CP1 und dem synthetischen Bild CP2 anzeigen, nacheinander auf der Anzeigeeinheit 11 dargestellt werden.
Nach dieser Konfiguration kann der Benutzer U, der das mobile Endgerät 1 trägt, immer die Bedingungen in toten Winkelnprüfen, die sich mit Bewegung verändern. Daher ist es möglich, die Bequemlichkeit und Funktionsfähigkeit der Fernsteuerung des Fahrzeugs 5 zu verbessern.
[VIERTES BEISPIEL]
<VIERTES BEISPIEL>
13 ist ein schematisches Diagramm, das das mobile Endgerät 1 zeigt, das ein synthetisches Bild CP1 und ein Hilfsbild AP1 nach einem vierten Beispiel anzeigt. Das mobile Endgerät 1 des vierten Beispiels zeigt die mehreren Symbole bezüglich der Fernsteuerung des Fahrzeugs 5, als Betriebseinheit 12 auf der Anzeige der Anzeigeeinheit 11 so an, dass sie das synthetische Bild CP1 überlappen.
Ferner zeigt die Anzeigeeinheit 11 des mobilen Endgeräts 1 das Hilfsbild AP1 unter dem synthetischen Bild CP1 an. Die Anordnung des synthetischen Bilds CP1 und des Hilfsbilds AP1 in der vertikalen Richtung kann jedoch geändert werden. Die Anzeigeeinheit 11 zeigt ein Bild 112 mit Informationen bezüglich des gesteuerten Zustands des Fahrzeugs 5 als Hilfsbild AP1 an. Dazu empfängt die Kommunikationseinheit 18 die Informationen bezüglich des gesteuerten Zustands des Fahrzeugs 5 von dem Fahrzeug 5. Das Bild 112 der Informationen bezüglich des gesteuerten Zustands des Fahrzeugs 5 enthält beispielsweise ein Lenkradbild 112a, ein Schaltbild 112b und ein Fahrgeschwindigkeitsbild 112c.
Das Lenkradbild 112a ist ein Bild, das den Drehwinkel des Lenkrads des tatsächlichen Fahrzeugs 5 anzeigt. Das Lenkradbild 112a dreht sich auf der Mittelachse, wobei die Drehung des Lenkrads des Fahrzeugs 5 durch die Betriebseinheit 12 gesteuert wird. Das Schaltbild Bild 112b ist ein Bild, das die gesteuerte Position des Halthebels des Getriebes des tatsächlichen Fahrzeugs 5 zeigt. Das Fahrgeschwindigkeitsbild 112c ist ein Bild, das die Fahrgeschwindigkeit des tatsächlichen Fahrzeugs 5 anzeigt.
Nach der Konfiguration des mobilen Endgeräts 1 des vorliegenden Beispiels ist es möglich, den gesteuerten Zustand des tatsächlichen Fahrzeugs 5, wie etwa des Lenkrads, an der Anzeigeeinheit 11 des mobilen Endgeräts 1 zu prüfen. Beispielsweise ist es möglich, leicht zu prüfen, wie weit das Lenkrad gedreht wurde, und in welcher Position die Schaltung ist, und welche Fahrgeschwindigkeit vorliegt. Daher ist es möglich, die Bequemlichkeit und Funktion der Fernsteuerung des Fahrzeugs 5 zu verbessern.
Die Informationen bezüglich des gesteuerten Zustands des Fahrzeugs 5 sind jedoch nicht auf die Informationen bezüglich des Lenkrads, der Schaltposition und der Fahrgeschwindigkeit begrenzt, und andere Informationen, wie beispielsweise Informationen zu dem Tachometer, dem Kraftstoffmesser, dem Wassertemperaturfühler, dem Entfernungsmesser und so weiter können verwendet und angezeigt werden. Außerdem können Informationen bezüglich des gesteuerten Zustands des Fahrzeugs 5 zusammen mit dem synthetischen Bild CP1, das an der Anzeigeeinheit 11 dargestellt wird, in der Speichereinheit 17 gespeichert werden. In diesem Fall kann der Benutzer nach der Durchführung der Fernbedienung an dem Fahrzeug 5 die ausführlichen Bedingungen jederzeit erneut prüfen.
[FÜNFTES BEISPIEL]
<FÜNFTES BEISPIEL>
14 ist ein schematisches Diagramm, das das mobile Endgerät 1 zeigt, das ein synthetisches Bild CP1 und ein Bild AP2 der Perspektive im Fahrzeug nach einem fünften Beispiel anzeigt. Das mobile Endgerät 1 des fünften Beispiels zeigt die mehreren Symbole bezüglich der Fernsteuerung des Fahrzeugs 5, als Betriebseinheit 12 auf der Anzeige der Anzeigeeinheit 11 so an, dass sie das synthetische Bild CP1 überlappen.
Ferner zeigt die Anzeigeeinheit 11 des mobilen Endgeräts 1 das Bild AP2 der Perspektive im Fahrzeug unter dem synthetischen Bild CP1 an. Dazu empfängt die Kommunikationseinheit 18 das Bild AP2 der Perspektive im Fahrzeug, das in dem Fahrzeug 5 erfasst wurde, von dem Fahrzeug 5. Die Anordnung des synthetischen Bilds CP1 und des Bilds AP2 der Perspektive im Fahrzeug in der vertikalen Richtung kann jedoch geändert werden.
Das Bild AP2 der Perspektive im Fahrzeug wird durch die Bildverarbeitungsvorrichtung 2 des Fahrzeugs 5 erzeugt. Als Bild AP2 der Perspektive im Fahrzeug wird ein Bild, das durch die Kamera 45 im Fahrzeug erfasst wird, verwendete. Die Bildverarbeitungsvorrichtung 2 erzeugt ein Bild zur Anzeige bezüglich des Bilds AP2 der Perspektive im Fahrzeug zur Anzeige auf der Anzeigeeinheit 11 des mobilen Endgeräts 1, auf Grundlage des Bilds, das durch die Kamera 45 im Fahrzeug erfasst wurde.
Nach der Konfiguration des mobilen Endgeräts 1 des vorliegenden Beispiels ist es möglich, die Steuerberechtigung für das Fahrzeug 5 durchzuführen, während die Bedingung in dem umgebenden Beriech des Fahrzeugs 5 und die Bedingungen in dem Fahrzeug 5 auf der Anzeigeeinheit 11 des mobilen Endgeräts 1 geprüft werden. Daher ist es möglich, die Bequemlichkeit und Funktionsfähigkeit der Fernsteuerung des Fahrzeugs 5 zu verbessern.
[SECHSTES BEISPIEL]
<SECHSTES BEISPIEL>
15 ist ein schematisches Diagramm, des mobilen Endgeräts 1, das ein synthetisches Bild CP1 nach einem sechsten Beispiel darstellt. Das mobile Endgerät 1 des sechsten Beispiels zeigt die mehreren Symbole bezüglich der Fernsteuerung des Fahrzeugs 5, als Betriebseinheit 12 auf der Anzeige der Anzeigeeinheit 11 so an, dass sie das synthetische Bild CP1 überlappen.
Ferner zeigt die Anzeigeeinheit 11 ein synthetisches Bild CP1 basierend auf einer anderen Blickpunktposition und einer anderen Blickrichtung auf Grundlage der Neigung des mobilen Terminals 1 an. Die Sensoreinheit 15 erkennt die Neigung des mobilen Endgeräts 1 durch den Neigungssensor.
Wie in 15 gezeigt, zeigt beispielsweise in dem Fall, in dem das mobile Endgerät 1 in einem Winkel α geneigt ist, sodass der obere Teil auf die linke Seite zeigt, die Anzeigeeinheit 11 ein synthetisches Bild CP1 basierend auf einer anderen Blickpunktposition und einer anderen Blickrichtung an, die auf Grundlage des Winkels α definiert ist, sodass das Blickfeld auf der linken Seite des Fahrzeugs T sich weitet. Außerdem kann beispielsweise, wenn dies auch nicht in den Zeichnungen dargestellt ist, in dem Fall, in dem das mobile Endgerät 1 geneigt ist, sodass der obere Teil auf die Vorderseite zeigt, die Anzeigeeinheit ein synthetisches Bild CP1 auf Grundlage einer unteren Blickpunktposition anzeigen.
Nach der Konfiguration des mobilen Endgeräts 1 des vorliegenden Beispiels kann der Benutzer die Blickpunktposition und die Blickrichtung eines synthetischen Bilds CP1 ändern, indem er einfach die Neigung des mobilen Endgeräts 1 ändert. Daher kann der Benutzer leicht die Bedingungen in gewünschten Bereichen, toten Winkelnund so weiter um das Fahrzeug 5 herum prüfen. Daher ist es möglich, die Bequemlichkeit und Funktionsfähigkeit der Fernsteuerung des Fahrzeugs 5 zu verbessern.
[SIEBTES BEISPIEL]
<SIEBTES BEISPIEL>
16 ist eine Planansicht, die ein Fahrzeug 7 zeigt, bezogen auf ein Fahrzeugfernsteuerungssystem eines siebten Beispiels. 17 ist eine perspektivische Ansicht, die das Fahrzeug 7 zeigt, bezogen auf das Fahrzeugfernsteuerungssystem des siebten Beispiels. Das Fahrzeugfernsteuerungssystem RS des siebten Beispiels ist ein System zur Fernsteuerung des Fahrzeugs 7 durch ein mobiles Endgerät, das in der Lage ist, synthetische Bilder anzuzeigen, die den Umgebungsbereich des Fahrzeugs zeigen 7.
Das Fahrzeug 7 ist beispielsweise ein Fahrzeugtyp Baugerät wie etwa eine hydraulische Schaufel, wie in 16 und 17 dargestellt. Der Fahrzeugtyp Baugerät ist nicht auf hydraulische Schaufeln beschränkt und kann beispielsweise ein Bulldozer, ein Pfahlrammer, ein Radlader oder etwas Ähnliches sein. Ferner ist das Fahrzeug, das ferngesteuert wird, nicht auf Passagierfahrzeuge zur privaten Verwendung und den Fahrzeugtyp Baugeräte beschränkt, und kann beispielsweise ein Bus, ein LKW oder etwas Ähnliches sein, oder kann beispielsweise ein Spezialzweckfahrzeug wie ein Feuerwehrauto. ein Krankenwagen, ein Polizeiauto, ein Müllauto, ein Mischfahrzeug, ein Tanklaster, ein Kranlaster, ein Sattelschlepper oder etwas Ähnliches sein.
Wenn auch nicht in den Zeichnungen dargestellt, enthält das Fahrzeug 5 in dem vorliegenden Beispiel ähnlich wie das Fahrzeug 7, das in dem ersten bis sechsten Beispiel beschrieben wurde, eine Bildverarbeitungsvorrichtung, eine Fahrzeugsteuervorrichtung und eine Sensoreinheit.
Das Fahrzeug 7 enthält ferner eine Bildgebungseinheit 4. Die Bildgebungseinheit 4 enthält beispielsweise vier On-Board-Kameras 41 bis 44. Die On-Board-Kamera 41 wird auch als die vordere Kamera bezeichnet und an einem vorderen Teil des Fahrzeugs 7 installiert, und bildet den Bereich vor dem Fahrzeug 7 ab. Die On-Board-Kamera 42 wird auch als die rechte Kamera bezeichnet und an einem rechten Teil des Fahrzeugs 7 installiert, und bildet den Bereich rechts des Fahrzeugs 7 ab. Die On-Board-Kamera 43 wird auch als die hintere Kamera bezeichnet und an einem hinteren Teil des Fahrzeugs 7 installiert, und bildet den Bereich hinter dem Fahrzeug 7 ab. Die On-Board-Kamera 44 wird auch als die linke Kamera bezeichnet und an einem linken Teil des Fahrzeugs 7 installiert, und bildet den Bereich links von dem Fahrzeug 7 ab.
Ferner enthält die Bildgebungseinheit 4 wie in 17 dargestellt, beispielsweise eine On-Board-Kamera 46. Die On-Board-Kamera 46 ist an einem linken Arm 71 des Fahrzeugs 7 installiert. Beispielsweise erstreckt sich die optische Achse der On-Board-Kamera 46 entlang der sich erstreckenden Richtung des Arms 71 und die On-Board-Kamera 46 bildet den Bereich an der führenden Seite des Arms 71 ab, d. h. den Bereich auf der Schaufelseite. Die On-Board-Kamera 46 kann jedoch an einem Ausleger 72, einem Löffel 73, oder etwas Ähnlichem installiert sein.
Das mobile Endgerät 1 kann synthetische Bilder empfangen, die durch die Bildverarbeitungsvorrichtung des Fahrzeugs 7 empfangen werden, und den Umgebungsbereich des Fahrzeugs 7 aus virtuellen Blickpunkten gesehen über die Kommunikationseinheit 18 anzeigen. Das mobile Endgerät 1 kann die synthetischen Bilder an der Anzeigeeinheit 11 anzeigen. 18 ist ein schematisches Diagramm, das das mobile Endgerät 1 zeigt, das ein synthetisches Bild CP3 nach dem siebten Beispiel darstellt. Das synthetische Bild CP3 ist beispielsweise ein Bild aus der Vogelperspektive, das den Umgebungsbereich des Fahrzeugs 7 zeigt.
Auf dem synthetischen Bild CP3 sind die Symbole und so weiter, die Bilder der Betriebseinheit 12 sind, überlagert. Die Betriebseinheit 12 ist der Position und Ausrichtung eines Bilds 7p des Fahrzeugs 7, die in dem synthetischen Bild CP3 enthalten sind, angeordnet.
Speziell sind beispielsweise in der Nähe des Bilds 7p des Fahrzeugs 7 Symbole 121 bezüglich der Fahrt des Fahrzeugs 7, d. h. Symbole 121 bezüglich der Steuerung an den linken und rechten Raupen 74 des Fahrzeugs 7 angezeigt. Die Symbole 121 bezüglich der Fahrt des Fahrzeugs 7 sind nach den Positionen und Richtungen angeordnet, die einzelnen Fahrtrichtungen entsprechen, beispielsweise um das Bild 7p des Fahrzeugs 7. Außerdem ist ein „STOP“-Symbol, das sich auf das Stoppen des Fahrzeugs 7 bezieht, so angeordnet, dass es das Bild 7p des Fahrzeugs 7 überlappt.
Außerdem sind beispielsweise unter dem Bild 7p des Fahrzeugs 7 Symbole 122 bezüglich der Bedienungen einer oberen Drehstruktur 75 des Fahrzeugs 7 und Arbeitseinheiten (der Arm 71, der Ausleger 72 und der Löffel 73) angezeigt. Die Symbole 122 bezüglich der Funktionen des Fahrzeugs 7 sind nach den Positionen und Richtungen angeordnet, die einzelnen Betriebsrichtungen entsprechen, beispielsweise um Bilder (schwarze durchgezogene Kreise in dem synthetischen Bild CP3), die zwei Steuerhebeln entsprechen, die unter dem Bild 7p des Fahrzeugs 7 gezeichnet sind.
Außerdem kann das Fahrzeugfernsteuerungssystem des siebten Beispiels das Fahrzeug 7 durch jedes des mobilen Endgeräts 1 und der anderen mobile Endgeräte, die Fahrzeugfernsteuerungsvorrichtungen sind, ferngesteuert werden. Das mobile Endgerät 1 zeigt Informationen bezüglich der Steuerberechtigung für das Fahrzeug 7 als ein Bild 111 auf der Anzeigeeinheit 11 an. Das Bild 111, der Informationen bezüglich der Steuerberechtigung für das Fahrzeug 7, enthält ein Bild 111a für das Besitzen/nicht Besitzen von Steuerberechtigungen und eine Taste 111b zur Übertragung der Steuerberechtigung.
Das mobile Endgerät 1 führt die Übertragung der Steuerberechtigung für das Fahrzeug 7 in Kooperation mit den mobilen Endgeräten über die Berechtigungsverwaltungseinheit durch. Nach dieser Konfiguration ist es auch möglich, jedes Fahrzeug des Fahrzeugtyps Baugeräte wie das Fahrzeug 7, andere Spezialfahrzeuge und so durch Menschen fernbedienen zu lassen, während der Umgebungsbereich des Fahrzeugs 7 auf synthetischen Bildern CP3 geprüft wird. In einem Fall, in dem beispielsweise ein toter Winkelauftritt, kann der Benutzer die Steuerberechtigung für das Fahrzeug 7 leicht an eine andere Person übergeben, um die Bedingungen in dem toter Winkelzu prüfen. In anderen Worten, es ist möglich, die Bequemlichkeit und Funktionsfähigkeit der Fernsteuerung des Fahrzeugs 7 zu verbessern.
Außerdem kann die Anzeigeeinheit 11 des mobilen Endgeräts 1 Hilfsbilder neben den synthetischen Bildern CP3 anzeigen. Als solche Hilfsbilder können beispielsweise Bilder verwendet werden, die durch die On-Board-Kamera 46 erfasst werden, die an dem Arm 71 montiert ist. Nach dieser Konfiguration ist es möglich, die Fernsteuerung des Fahrzeugs 7 auszuführen, während nicht nur die Bedingungen im Umgebungsbereich des Fahrzeugs 7 geprüft werden, sondern auch die Bedingungen im Bereich des führenden Endes des Arms 71. Daher ist es möglich, die Bequemlichkeit und Funktion der Fernsteuerung des Fahrzeugs 7 weiter zu verbessern.
[ACHTES BEISPIEL]
<ACHTES BEISPIEL>
In einem Fahrzeugfernsteuerungssystem RS eines achten Beispiels verwaltet das Fahrzeug 5 die Berechtigung jedes von beispielsweise den mobilen Endgeräten 1, 1x und 1y zum Steuern des Fahrzeugs 5. 19 ist ein Ablaufdiagramm, das ein Beispiel des Ablaufs der Verarbeitung des Fahrzeugs 5 bezüglich der Fahrzeugfernsteuerung nach dem achten Beispiel anzeigt. Die Verarbeitung des achten Beispiels bezüglich der Übertragung der Steuerberechtigung für das Fahrzeug 5 mit Verweis auf 19 beschrieben.
Wenn die Fernsteuerung des Fahrzeugs 5 durch ein mobiles Endgerät gestartet wird und das Fahrzeug 5 einen Kommunikationsaufbauprozess und einen Fernsteuerungsaufbauprozess in Kooperation mit dem mobilen Endgerät durchführt, startet das Fahrzeug die Verarbeitung bezüglich der Übertragung der Steuerberechtigung für das Fahrzeug 5 („START“ in 19). In dem Fall, in dem die Fernsteuerung durch mehrere mobile Endgeräte erfolgen kann, wird die Steuerberechtigung für das Fahrzeug 5 an ein vorgegebenes mobiles Endgerät erteilt.
Als nächstes bestimmt das Fahrzeug 5, ob ein Steuerberechtigungsanfragesignal von einem anderen mobilen Endgerät empfangen wurde (SCHRITT S301). In dem Fall, in dem ein Steuerberechtigungsanfragesignal empfangen wurde („Ja“ in SCHRITT S301), überträgt das Fahrzeug 5 ein Signal bezüglich einer Steuerberechtigungsübertragungsanfrage an das mobile Endgerät, das aktuell die Steuerberechtigung besitzt (SCHRITT S302). Dann wartet das Fahrzeug 5 auf die Antwort auf die Steuerberechtigungsübertragungsanfrage, die von dem mobilen Endgerät empfangen werden soll, das die Steuerberechtigung besitzt (SCHRITT S303).
Wenn die Antwort auf die Steuerberechtigungsübertragungsanfrage von dem mobilen Endgerät empfangen wir, das die Steuerberechtigung besitzt („Ja“ in SCHRITT S303), bestimmt das Fahrzeug 5, ob die empfangen Antwort eine Antwort ist, die darstellt, dass es möglich ist, die Steuerberechtigung zu übertragen (SCHRITT S304). In dem Fall, in dem die empfangene Antwort eine Antwort ist, die darstellt, dass es möglich ist, die Steuerberechtigung zu übertragen („Ja“ in SCHRITT S304), führt das Fahrzeug 5 einen Prozess der Durchführung der Übertragung der Steuerberechtigung zwischen den mobilen Endgeräten durch. In dem Fahrzeug 5 sind beispielsweise Informationen gespeichert, die das mobile Endgerät, das die Steuerberechtigung bis zu diesem Augenblick besaß, als ein mobiles Endgerät zu definieren, das nach diesem Augenblick nicht die Steuerberechtigung besitzt, und das mobile Endgerät, das das Steuerberechtigungsanfragesignal übermittelt hat, als ein mobiles Endgerät definieren, das die Steuerberechtigung neu besitzt.
Als nächstes informiert das Fahrzeug 5 jedes mobile Endgerät über die Übertragung der Steuerberechtigung (SCHRITT S306). In jedem der mobilen Endgeräte wird ein Steuerberechtigungsübertragungsprozess durchgeführt. Das mobile Endgerät, das bis zu diesem Augenblick die Steuerberechtigung besaß, verliert die Steuerberechtigung. Wenn die Steuerberechtigung bezüglich der Fahrt des Fahrzeugs 5 verloren wird, werden beispielsweise die Symbole (die Betriebseinheit 12) bezüglich der Fahrt des Fahrzeugs 5 aus dem synthetischen Bild CP1 gelöscht. Außerdem erfasst das mobile Endgerät, das das Steuerberechtigungsanfragesignal empfangen hat, neu die Steuerberechtigung. Wenn die Steuerberechtigung bezüglich der Fahrt des Fahrzeugs 5 erfasst wird, werden beispielsweise die Symbole (die Betriebseinheit 12) bezüglich der Fahrt des Fahrzeugs 5 in den synthetischen Bildern CP1 angezeigt.
Dabei informiert, in dem Fall, in dem die Antwort auf die Steuerberechtigungsübertragungsanfrage eine Antwort ist, die darstellt, dass es nicht möglich ist, die Steuerberechtigung zu übertragen („Nein“ in SCHRITT S304), das Fahrzeug 5 jedes der mobilen Endgeräte über die Beibehaltung der Steuerberechtigung (SCHRITT S307).
Dann kehrt das Fahrzeug 5 in SCHRITT S301 zurück und bestimmt weiter, ob ein Steuerberechtigungsanfragesignal empfangen wurde.
Nach dieser Konfiguration ist es möglich, die Last jedes mobilen Endgeräts bezüglich der Übertragung der Steuerberechtigung für das Fahrzeug 5 zu verringern. Daher ist es möglich, die Fernsteuerung unter Verwendung des mobilen Endgeräts schnell und stabil auszuführen und es ist möglich, die Bequemlichkeit und Funktionsfähigkeit der Fernsteuerung des Fahrzeugs 5 zu verbessern.
[NEUNTES BEISPIEL]
<NEUNTES BEISPIEL>
20 ein Blockdiagramm ist, das die Konfiguration eines Fahrzeugfernsteuerungssystems RS eines neunten Beispiels zeigt. Ein mobiles Endgerät 1 des neunten Beispiels weist eine Bilderzeugungseinheit 165 beispielsweise in der Steuereinheit 16 auf. Die Bilderzeugungseinheit 165 erzeugt synthetische Bilder, die den Umgebungsbereich des Fahrzeugs zeigen 5, durch Verarbeitung von Bildern, die durch die Bildgebungseinheit 4 des Fahrzeugs 5 erfasst wurden. In dem vorliegenden Beispiel setzt die Bilderzeugungseinheit 164 eine Vielzahl von Bildverarbeitungen in einer Softwareweise um, beispielsweise nach einem Programm, das in der Speichereinheit 17 gespeichert ist.
Das mobile Endgerät 1 empfängt eine Vielzahl von Daten, die für die Bildverarbeitung der Bilderzeugungseinheit 165 notwendig sind, von dem Fahrzeug 5 über die Kommunikationseinheit 18. Als Daten, die für die Bildverarbeitung notwendig sind, sind beispielsweise Bilder, die durch die On-Board-Kameras 41 bis 44 erfasst wurden, die Installationszustände (die Installationspositionen und die Kamerawinkel) der On-Board-Kameras 41 bis 44, die Kameraeigenschaften (die Bildgröße und der Bildmaßstab), Daten zu Bildern 5p und transparente Bilder 5t des Fahrzeugs 5 und so weiter enthalten. Die Daten, die von dem Fahrzeug 5 empfangen wurden, werden beispielsweise in der Speichereinheit 17 gespeichert.
Die Bilderzeugungseinheit 165 erzeugt synthetische Bilder, die den Umgebungsbereich des Fahrzeugs 5 von virtuellen Blickpunkten aus gesehen zeigen, auf Grundlage der Bilder, die durch die On-Board-Kameras 41 bis 44 erfasst und von dem Fahrzeug 5 empfangen wurden. Ferner erzeugt die Bilderzeugungseinheit 165 Bilder zur Anzeige, die auf der Anzeigeeinheit 11 angezeigt werden sollen, auf Grundlage der synthetischen Bilder. Die Bilderzeugungseinheit 165 kann außerdem Bilder aus der Vogelperspektive und Bilder aus der Perspektive vom Inneren des Fahrzeugs als synthetische Bilder erzeugen.
Wenn der Benutzer eine Fernsteuerung des Fahrzeugs 5 unter Verwendung des mobilen Endgeräts 1 durchführt, führt das mobile Endgerät 1 den Kommunikationsaufbauprozess und den Fernsteuerungsaufbauprozess in Kooperation mit dem Fahrzeug 5 aus und empfängt dann eine Vielzahl von Daten, die für die Bildverarbeitung der Bilderzeugungseinheit 165 von dem Fahrzeug 5 notwendig sind. Solche Daten, werden beispielsweise in der Speichereinheit 17 gespeichert. Danach empfängt die Bilderzeugungseinheit 165 auf Grundlage der Eingaben basierend auf Bedienungsanweisungen des Benutzers auf der Betriebseinheit 12, sequenziell Bilder, die durch die On-Board-Kameras 41 bis 44 erfasst wurden, von dem Fahrzeug 5 und erzeugt synthetische Bilder.
<ANDERE>
Verschiedene technische Funktonen, die in dieser Spezifikation offenbart wurden, können neben der oben beschriebenen Ausführungsform unterschiedlich modifiziert werden, ohne von dem Geist der technischen Erfindung abzuweichen. In anderen Worten, es sollte verstanden werden, dass die oben beschriebenen Ausführungsformen in allen Bereichen illustrativ und nicht einschränkend sind. Es sollte verstanden werden, dass der Umfang der vorliegenden Erfindung durch die Begriffe in den Ansprüchen definiert ist, statt durch die obige Beschreibung, und alle Änderungen innerhalb des Umfangs und der Bedeutung enthalten soll, die den Begriffen der Ansprüche entsprechen. Außerdem können einige der Ausführungsform, der Beispiele und der Änderungen, die oben beschrieben sind, angemessen in einem angemessenen Umfang kombiniert werden.
Außerdem sind in der oben beschriebenen Ausführungsform verschiedene Funktionen in einer Softwareweise durch Berechnung der CPUs nach den Programmen umgesetzt; mindestens einige dieser Funktionen können jedoch durch elektrische Hardwareschaltkreise umgesetzt sein. Außerdem können umgekehrt einige der Funktionen, die durch Hardwareschaltkreise umgesetzt sind, in einer Softwareweise umgesetzt werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2014065392 [0002]
JP 2010095027 [0002]
JP 2016074285 [0002]

Claims

Fahrzeugfernsteuerungsvorrichtung, umfassend: eine Anzeigeeinheit; eine Betriebseinheit, konfiguriert zum Steuern eines Fahrzeugs; eine Signalerzeugungseinheit, konfiguriert zum Erzeugen von Steuersignalen für das Fahrzeug basierend auf Bedienungsanweisungen auf der Betriebseinheit; eine Kommunikationseinheit, konfiguriert zum Durchführen einer Kommunikation mit dem Fahrzeug und einer anderen Fahrzeugfernsteuerungsvorrichtung; und eine Berechtigungsverwaltungseinheit, die eine Steuerberechtigung für das Fahrzeug verwaltet, wobei synthetische Bilder, die einen Umgebungsbereich des Fahrzeugs zeigen, wie von einem virtuellen Blickpunkt aus gesehen, jeweils auf Grundlage von mehreren Bildern erzeugt werden, die durch mehrere On-Board-Kameras erhalten werden, die jeweils an dem Fahrzeug montiert sind und die Anzeigeeinheit die synthetischen Bilder darstellt, die Kommunikationseinheit die Steuersignale an das Fahrzeug überträgt und die Berechtigungsverwaltungseinheit die Übertragung der Steuerberechtigung für das Fahrzeug in Kooperation mit der anderen Fahrzeugfernsteuerungsvorrichtung über die Kommunikationseinheit durchführt.
Fahrzeugfernsteuerungsvorrichtung nach Anspruch 1, wobei: die Kommunikationseinheit die synthetischen Bilder, die in dem Fahrzeug erzeugt wurden, von dem Fahrzeug empfängt.
Fahrzeugfernsteuerungsvorrichtung nach Anspruch 1 oder 2, wobei: die Steuersignale Signale enthalten, die mit einer Steuerung der Blickpunktpositionen und Blickrichtungen der synthetischen Bilder verbunden sind.
Fahrzeugfernsteuerungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei: die Berechtigungsverwaltungseinheit jeden von mehreren Arten Steuerberechtigung für das Fahrzeug zwischen der Fahrzeugfernsteuerungsvorrichtung und der anderen Fahrzeugfernsteuerungsvorrichtung getrennt verwaltet.
Fahrzeugfernsteuerungsvorrichtung nach Anspruch 4, wobei: die Berechtigungsverwaltungseinheit einige der mehreren Arten Steuerberechtigung für das Fahrzeug verwaltet, sodass sie in der Fahrzeugfernsteuerungsvorrichtung und der anderen Fahrzeugfernsteuerungsvorrichtung als eines behandelt werden.
Fahrzeugfernsteuerungsvorrichtung nach Anspruch 4, wobei: die Berechtigungsverwaltungseinheit einige der mehreren Arten Steuerberechtigung für das Fahrzeug verwaltet, sodass sie von der Fahrzeugfernsteuerungsvorrichtung und der anderen Fahrzeugfernsteuerungsvorrichtung geteilt werden.
Fahrzeugfernsteuerungsvorrichtung nach einem der Ansprüche 1 bis 6, wobei: die Kommunikationseinheit Anzeigebilder der Anzeigeeinheit der anderen Fahrzeugfernsteuerungsvorrichtung von der anderen Fahrzeugfernsteuerungsvorrichtung empfängt und die Anzeigeeinheit die Anzeigebilder anzeigt.
Fahrzeugfernsteuerungsvorrichtung nach einem der Ansprüche 1 bis 7, wobei: zu einem Beginn der synthetischen Bildanzeige die Anzeigeeinheit konsekutiv synthetische Bilder entlang des Umfangs des Umgebungsbereichs des Fahrzeugs anzeigt.
Fahrzeugfernsteuerungsvorrichtung nach einem der Ansprüche 1 bis 8, wobei: zu einem Start der synthetischen Bildanzeige die Anzeigeeinheit ein synthetisches Bild wie von einer gegenüberliegenden Seite des Fahrzeugs auf einen Ort der Fahrzeugfernsteuerungsvorrichtung gesehen anzeigt.
Fahrzeugfernsteuerungsvorrichtung nach einem der Ansprüche 1 bis 9, wobei: während sich die Fahrzeugfernsteuerungsvorrichtung bewegt, die Anzeigeeinheit synthetische Bilder basierend auf verschiedenen Blickpunktpositionen und verschiedenen Blickrichtungen anzeigt.
Fahrzeugfernsteuerungsvorrichtung nach einem der Ansprüche 1 bis 10, wobei: die Kommunikationseinheit Informationen bezüglich des gesteuerten Zustands des Fahrzeugs von dem Fahrzeug empfängt, und die Anzeigeeinheit die Informationen bezüglich des gesteuerten Zustands anzeigt.
Fahrzeugfernsteuerungsvorrichtung nach einem der Ansprüche 1 bis 11, wobei: die Kommunikationseinheit Bilder der Perspektive vom Inneren des Fahrzeugs, die durch Abbildung eines Inneren des Fahrzeugs erhalten wurden, von dem Fahrzeug empfängt, und die Anzeigeeinheit die Bilder der Perspektive vom Inneren des Fahrzeugs anzeigt.
Fahrzeugfernsteuerungsvorrichtung nach einem der Ansprüche 1 bis 12, ferner umfassend: eine Sensoreinheit, konfiguriert zum Erkennen einer Neigung der Fahrzeugfernsteuerungsvorrichtung, wobei die Anzeigeeinheit synthetische Bilder basierend auf einer anderen Blickpunktposition und einer anderen Blickrichtung auf Grundlage der Neigung anzeigt.
Fahrzeugfernsteuerungsvorrichtung nach einem der Ansprüche 1 bis 13, ferner umfassend: eine Speichereinheit, konfiguriert zum Speichern der synthetischen Bilder, die an der Anzeigeeinheit angezeigt sind.
Fahrzeugfernsteuerungsverfahren umfassend: Erzeugung von synthetischen Bildern eines Umgebungsbereichs eines Fahrzeugs, gesehen von virtuellen Blickpunkten aus, jeweils auf Grundlage mehrerer Bilder, die von mehreren On-Board-Kameras erfasst wurden, die jeweils an dem Fahrzeug montiert sind; Anzeige der synthetischen Bilder auf einer Fahrzeugfernsteuerungsvorrichtung; Empfang von Bedienungsanweisungen für das Fahrzeug an der Fahrzeugfernsteuerungsvorrichtung; Erzeugung von Steuersignalen für das Fahrzeug auf Grundlage der Bed ien ungsanweisungen; Übertragung der Steuersignale von der Fahrzeugfernsteuerungsvorrichtung an das Fahrzeug; und Durchführung der Übertragung der Steuerberechtigung für das Fahrzeug zwischen der Fahrzeugfernsteuerungsvorrichtung und einer anderen Fahrzeugfernsteuerungsvorrichtung.