DE112016007429T5 - Entferntes Betriebssystem, Transportsystem und entferntes Betriebsverfahren - Google Patents

Entferntes Betriebssystem, Transportsystem und entferntes Betriebsverfahren Download PDF

Info

Publication number
DE112016007429T5
DE112016007429T5 DE112016007429.8T DE112016007429T DE112016007429T5 DE 112016007429 T5 DE112016007429 T5 DE 112016007429T5 DE 112016007429 T DE112016007429 T DE 112016007429T DE 112016007429 T5 DE112016007429 T5 DE 112016007429T5
Authority
DE
Germany
Prior art keywords
vehicle
remote
situation
communication
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE112016007429.8T
Other languages
English (en)
Inventor
Genta BODA
Shogo Akaba
Kazuyuki Kaneko
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of DE112016007429T5 publication Critical patent/DE112016007429T5/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0022Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the communication link
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Abstract

Ein entferntes Betriebssystem für ein Fahrzeug umfasst eine Mehrzahl von entfernten Betriebsvorrichtungen, von welchen jede eine Kommunikationseinheit, welche dazu eingerichtet ist, mit dem Fahrzeug zu kommunizieren und Informationen, einschließlich einer entfernten Betriebsanfrage, zu erhalten, eine Präsentationseinheit, welche dazu eingerichtet ist, einem entfernten Betreiber eine Situation des Fahrzeugs zu präsentieren, welche von dem Fahrzeug durch die Kommunikationseinheit erhalten wird, eine Empfangseinheit, welche dazu eingerichtet ist, einen Betrieb von dem entfernten Betreiber zu empfangen und eine Steuereinheit umfasst, welche dazu eingerichtet ist, Steuerinformationen auf der Grundlage des Betriebs, welcher von der Empfangseinheit empfangen wird, zu erzeugen und die Steuerinformationen unter Verwendung der Kommunikationseinheit zu dem Fahrzeug zu übertragen. Eine entfernte Betriebsvorrichtung mit einer guten Kommunikationsumgebung bezüglich des Fahrzeugs, welches die entfernte Betriebsanfrage überträgt, aus der Mehrzahl von entfernten Betriebsvorrichtungen führt den entfernten Betrieb durch.

Description

  • [Technisches Feld]
  • Die vorliegende Erfindung betrifft ein entferntes Betriebssystem, ein Transportsystem und ein entferntes Betriebsverfahren.
  • [Technischer Hintergrund]
  • In den letzten Jahren ist Forschung über automatisiertes Fahren zum automatischen Durchführen eines Beschleunigens/Abbremsens und Lenkens betrieben worden. Technologie, in welcher eine Zweiwege-Kommunikation mit einem Fahrzeug während eines automatisierten Fahrens durchgeführt wird und das Fahrzeug mit einer externen Vorrichtung kommuniziert und ein fremdbestimmt-orientiertes automatisiertes Fahren auf Grundlage eines entfernten Betriebs in einem Fall durchführt, dass ein Bestimmungsmittel bestimmt, dass ein autonom-orientiertes automatisiertes Fahren nicht durchgeführt werden kann, ist studiert worden (seine Patentliteratur 1).
  • Ebenfalls kann in einem Fall, dass ein entfernter Betrieb eines Fahrzeugs durchgeführt wird, eine Zeitverzögerung (eine Kommunikationsverzögerung) aufgrund einer Verzögerung einer Kommunikation zwischen einem Szenario zu einem Zeitpunkt in einem Fall auftreten, dass ein tatsächlicher Fahrzustand abgebildet und ein Video an einer Anzeige angezeigt worden ist, um einem Betreiber, welcher einen entfernten Betrieb durchführt, zu erlauben, einen Betrieb durchzuführen. In diesem Zusammenhang ist ein automatischer Rasenmäher, der ein automatisiertes Fahren durchführt, indem er die Position eines Ego-Fahrzeugs unter Verwendung eines globalen Positionsbestimmungssystems (GPS) aufnimmt, beschrieben worden. Der automatische Rasenmäher ist als die Erfindung einer Vorrichtung beschrieben worden, welche ein Kommunikationsmittel zum Durchführen eines entfernten Betriebs, ein Steuermittel zum Steuern eines Lenkens und eines Antriebssystems und ein Position-Vorhersagemittel zum Vorhersagen einer Position umfasst, an welcher ein korrigierter Steuerbetrieb unter Berücksichtigung einer Kommunikationsverzögerung auf der Grundlage von erhaltenen Positionsinformationen durchgeführt wird (siehe Patentliteratur 2).
  • [Zitateliste ]
  • [Patentliteratur]
    • [Patentliteratur 1] Internationale PCT-Veröffentlichung Nr. W02016/038931
    • [Patentliteratur 2] Japanische ungeprüfte Patentanmeldung, Erstveröffentlichung Nr. 2013-031389
  • [Abriss der Erfindung]
  • [Technische Aufgabe]
  • Jedoch ist in der konventionellen Technologie nicht berücksichtigt worden, dass ein entfernter Betrieb in einer Umgebung mit einer guten Kommunikation durchgeführt wird.
  • Die vorliegende Erfindung wurde angesichts solcher Umstände gemacht und es ist eine Aufgabe der vorliegenden Erfindung, ein entferntes Betriebssystem, ein Transportsystem und ein entferntes Betriebsverfahren bereitzustellen, welche in der Lage sind, einen entfernten Betrieb in einer Umgebung mit guter Kommunikation (guten Kommunikationsumgebung) durchzuführen.
  • [Lösung der Aufgabe]
  • Gemäß der Erfindung aus Anspruch 1 ist ein entferntes Betriebssystem (1) für ein Fahrzeug bereitgestellt, wobei das entfernte Betriebssystem umfasst: eine Mehrzahl von entfernten Betriebsvorrichtungen (320), von welchen jede eine Kommunikationseinheit (310) umfasst, welche dazu eingerichtet ist, mit dem Fahrzeug (M) zu kommunizieren und Informationen zu empfangen, welche eine entfernte Betriebsanweisung umfassen; eine Präsentationseinheit (321), welche dazu eingerichtet ist, eine Situation des Fahrzeugs, welche von dem Fahrzeug durch die Kommunikationseinheit empfangen wird, einem entfernten Betreiber zu präsentieren; eine Empfangseinheit (330), welche dazu eingerichtet ist, einen Betrieb des entfernten Betreibers zu empfangen; und eine Steuereinheit (340), welche dazu eingerichtet ist, Steuerinformationen auf der Grundlage des Betriebs zu erzeugen, welcher von der Empfangseinheit empfangen wird, und die Steuerinformationen unter Verwendung der Kommunikationseinheit zu dem Fahrzeug zu übertragen, wobei eine entfernte Betriebsvorrichtung mit einer Umgebung mit guter Kommunikation bezüglich des Fahrzeugs die entfernte Betriebsanweisung aus der Mehrzahl von entfernten Betriebsvorrichtungen, welche einen entfernten Betrieb ausführen, überträgt.
  • Gemäß der Erfindung aus Anspruch 2, umfasst in der Erfindung aus Anspruch 1 das entfernte Betriebssystem ferner eine Auswahleinheit (311), welche dazu eingerichtet ist, die entfernte Betriebsvorrichtung mit der Umgebung mit guter Kommunikation bezüglich des Fahrzeugs, welche die entfernte Betriebsanweisung überträgt, aus der Mehrzahl von entfernten Betriebsvorrichtungen auszuwählen.
  • Gemäß der Erfindung aus Anspruch 3 wird in der Erfindung aus Anspruch 2 eine aus den entfernten Betriebsvorrichtungen mit einer kurzen Kommunikationsdistanz, einer höchsten Kommunikationsrate oder einer stabilsten Kommunikation bezüglich des Fahrzeugs, welches die entfernte Betriebsanfrage überträgt, vorzugsweise ausgewählt.
  • Gemäß der Erfindung aus Anspruch 4 wird in der Erfindung aus Anspruch 1 eine zukünftige Situation des Fahrzeugs auf der Grundlage der Situation des Fahrzeugs geschätzt, welche von dem Fahrzeug durch die Kommunikationseinheit erhalten wird, und die geschätzte zukünftige Situation des Fahrzeugs wird dem entfernten Betreiber präsentiert.
  • Gemäß der Erfindung aus Anspruch 5 zeigt in der Erfindung aus Anspruch 4 die Präsentationseinheit ein Bild auf Grundlage der Situation des Fahrzeugs an, welche von dem Fahrzeug durch die Kommunikationseinheit erhalten wird, und zeigt ferner ein Bild an, welches durch Vergrößern eines Teils eines Bilds auf Grundlage der Situation des Fahrzeugs erhalten wird, welche von dem Fahrzeug durch die Kommunikationseinheit erhalten wird, als ein Bild, welches die zukünftige Situation des Fahrzeugs in einem Fall anzeigt, in welchem die Situation des Fahrzeugs, welche von dem Fahrzeug durch die Kommunikationseinheit erhalten wird, eine Situation ist, in welcher wenige physische Objekte vor dem Fahrzeug vorliegen.
  • Gemäß der Erfindung aus Anspruch 6 nimmt in der Erfindung aus Anspruch 4 die Kommunikationseinheit Informationen über einen Handlungsplan eines automatisierten Fahrens von dem Fahrzeug auf, und die Präsentationseinheit schätzt die zukünftige Situation des Fahrzeugs auf der Grundlage des Handlungsplans.
  • Gemäß der Erfindung aus Anspruch 7 erzeugt in der Erfindung aus Anspruch 4 das entfernte Betriebssystem ein Bild, welches die zukünftige Situation des Fahrzeugs anzeigt, indem ein Fixpunkt-Beobachtungsbild und ein Bild auf Grundlage der Situation des Fahrzeugs, welche von dem Fahrzeug durch die Kommunikationseinheit erhalten wird, synthetisiert werden.
  • Gemäß der Erfindung aus Anspruch 8 umfasst in der Erfindung aus Anspruch 1 das entfernte Betriebssystem eine Bestimmungseinheit, welche dazu eingerichtet ist, zu bestimmten, ob oder ob nicht eine Route, welche eine vorhergesagte Kommunikationsfehler-Eintrittsposition umfasst, in einer geplanten Route enthalten ist, entlang welcher das Fahrzeug sich fortbewegen wird; sowie eine Änderungseinheit, welche dazu eingerichtet ist, eine Route so zu ändern, dass die vorhergesagte Kommunikationsfehler-Eintrittsposition in einem Fall gemieden wird, in welchem die Bestimmungseinheit bestimmt, dass die Route, welche die vorhergesagte Kommunikationsfehler-Eintrittsposition umfasst, enthalten ist.
  • Gemäß der Erfindung aus Anspruch 9 ist ein Transportsystem bereitgestellt, welches umfasst: das entfernte Betriebssystem nach Anspruch 1 sowie ein Fahrzeug-Steuersystem, welches in dem Fahrzeug montiert ist, welches den entfernten Betrieb empfängt.
  • Gemäß der Erfindung aus Anspruch 10 schätzt in der Erfindung aus Anspruch 9 das Fahrzeug-Steuersystem eine zukünftige Situation des Fahrzeugs auf Grundlage einer Situation des Fahrzeugs und überträgt die geschätzte zukünftige Situation des Fahrzeugs zu dem entfernten Betriebssystem.
  • Gemäß der Erfindung aus Anspruch 11 führt in der Erfindung aus Anspruch 10 das Fahrzeug-Steuersystem ein automatisiertes Fahren auf der Grundlage eines Handlungsplans durch und schätzt die zukünftige Situation des Fahrzeugs auf der Grundlage des Handlungsplans.
  • Gemäß der Erfindung aus Anspruch 12 ist ein entferntes Betriebsverfahren bereitgestellt, in welchem eine Mehrzahl von entfernten Betriebsvorrichtungen mit einem Fahrzeug kommunizieren, Informationen erhalten, welche eine entfernte Betriebsanweisung umfassen, eine Situation des Fahrzeugs, welche von dem Fahrzeug empfangen wird, einem entfernten Betreiber präsentieren, einen Betrieb des entfernten Betreibers empfangen, Steuerinformationen auf der Grundlage des empfangenen Betriebs erzeugen und die Steuerinformationen zu dem Fahrzeug übertragen, wobei das entfernte Betriebsverfahren umfasst: Ausführen eines entfernten Betriebs durch eine entfernte Betriebsvorrichtung mit einer Umgebung mit guter Kommunikation bezüglich des Fahrzeugs, welches die entfernte Betriebsanfrage überträgt, aus der Mehrzahl von entfernten Betriebsvorrichtu ngen.
  • [Vorteilhafte Wirkungen der Erfindung]
  • Gemäß der Erfindungen aus den Ansprüchen 1, 2, 9 und 12 ist es möglich, eine Kommunikationsverzögerung zu reduzieren, da eine entfernte Betriebsvorrichtung mit einer kleinen Verzögerung der Kommunikation mit dem Fahrzeug aus der Mehrzahl von entfernten Betriebsvorrichtungen ausgewählt wird.
  • Gemäß der Erfindungen aus den Ansprüchen 3 bis 7 und 9 bis 11 ist es möglich, einen notwendigen Betrieb bei einer zukünftigen Position des Fahrzeugs von dem entfernten Betreiber zu erhalten, da ein Bild, welches eine geschätzte Situation anzeigt, welche durch Schätzen einer Situation des Fahrzeugs erhalten wird, welche abgebildet worden ist, selbst in einem Fall erzeugt und angezeigt wird, in welchem eine Kommunikationsverzögerung zwischen dem Fahrzeug und der entfernten Betriebsvorrichtung vorliegt.
  • Gemäß der Erfindung aus Anspruch 8 ist es möglich, die Sicherheit eines entfernten Betriebs des Fahrzeugs zu verbessern, um ein Umleiten zu einer Route durchzuführen, um eine Position zu meiden, an welcher vorhergesagt wird, dass ein Kommunikationsfehler eintreten wird.
  • Figurenliste
    • 1 ist eine konzeptionelle Ansicht eines Transportsystems 1.
    • 2 ist ein Diagramm, welches ein Beispiel von Komponenten zeigt, welche an einem Fahrzeug M montiert sind.
    • 3 ist eine Ansicht, welche einen Zustand zeigt, in welchem eine relative Position und Orientierung des Fahrzeugs M bezüglich einer Fahrspur L1 durch die Position-Erkennungseinheit 122 des Ego-Fahrzeugs erkannt werden.
    • 4 ist ein Diagramm, welches einen Zustand zeigt, in welchem eine Ziel-Bahnkurve auf der Grundlage einer empfohlenen Spur erzeugt wird.
    • 5 ist ein Diagramm, welches eine Vorrichtungs-Konfiguration in einem entfernten Betriebssystem 300 zeigt.
    • 6 zeigt schematisch eine Konfiguration einer entfernten Betriebsvorrichtung 320.
    • 7 ist ein Blockdiagramm, welches eine Konfiguration einer Präsentationseinheit 321 zeigt.
    • 8 zeigt die Bewegung des Fahrzeugs M, während eine Kommunikationsverzögerung auftritt.
    • 9 ist ein Diagramm, welches eine geschätzte Situation zeigt, welche auf der Grundlage eines aufgenommenen Bilds V erzeugt wird.
    • 10 ist ein Diagramm, welches eine geschätzte Situation S zeigt, welche durch Vergrößern eines Teils des aufgenommenen Bilds V erzeugt wird.
    • 11 ist ein Flussdiagramm, welches einen Prozessfluss des entfernten Betriebssystems 300 zeigt.
    • 12 ist ein Sequenzdiagramm, welches einen Prozess eines automatischen Auswählens einer entfernten Betriebsvorrichtung 320 zeigt.
    • 13 ist ein Diagramm, welches ein Beispiel von Komponenten zeigt, welche an einem Fahrzeug M gemäß einer zweiten Ausführungsform montiert sind.
    • 14 ist ein Diagramm, welches einen Zustand eines Fahrzeugs zeigt, welcher durch eine Fixpunkt-Kamera K abgebildet wird.
  • [Beschreibung von Ausführungsformen]
  • Im Folgenden werden Ausführungsformen eines entfernten Betriebssystems, eines Transportsystems, eines entfernten Betriebsverfahrens und eines entfernten Betriebsprogramms der vorliegenden Erfindung unter Bezugnahme auf die Zeichnungen beschrieben werden.
  • <Erste Ausführungsform>
  • [System konfiguration]
  • 1 ist ein konzeptionelles Diagramm eines Transportsystems 1. Das Transportsystem 1 ist durch eine Mehrzahl von Fahrzeugen M-1 bis M-n (n ist eine beliebige natürliche Zahl) und ein entferntes Betriebssystem 300 implementiert, die miteinander über ein Netzwerk NW kommunizieren. Im Folgenden wird das Fahrzeug als das Fahrzeug M bezeichnet, außer die Fahrzeuge werden unterschieden. Das Fahrzeug M ist beispielsweise ein zweirädriges Fahrzeug, ein dreirädriges Fahrzeug oder ein vierrädriges Fahrzeug, und eine Antriebsquelle davon ist ein Verbrennungsmotor, wie beispielsweise ein Dieselmotor oder ein Benzinmotor, ein Elektromotor oder eine Kombination daraus. Der Elektromotor arbeitet unter Verwendung elektrischer Leistung, welche durch einen Leistungsgenerator erzeugt wird, welcher mit dem Verbrennungsmotor verbunden ist, oder einer Entladeleistung einer Sekundärbatterie oder einer Brennstoffzelle. Das Fahrzeug M ist ebenfalls ein Fahrzeug, welches in der Lage ist, ein automatisiertes Fahren durchzuführen, welches automatisch wenigstens eines aus einem Beschleunigen/Abbremsen oder Lenken steuert. Das Netzwerk NW umfasst eine Basisstation, welche eine Schnittstelle für drahtlose Kommunikation ist, ein Wide Area Network (WAN), ein Local Area Network (LAN), das Internet, eine dedizierte Schaltung, eine Satellitenschaltung und ähnliches.
  • In dem Transportsystem 1 wird eine entfernte Betriebsanfrage von dem Fahrzeug M zu dem entfernten Betriebssystem 300 oder von einem Fahrzeug M zu einem anderen Fahrzeug M übertragen, und ein entfernter Betrieb des Fahrzeugs M wird in Übereinstimmung mit der entfernten Betriebsanfrage ausgeführt.
  • [Fahrzeugkonfiguration]
  • Zuerst werden an dem Fahrzeug M montierte Komponenten beschrieben werden. 2 ist ein Diagramm, welches ein Beispiel von Komponenten zeigt, welche an dem Fahrzeug M montiert sind. An dem Fahrzeug M sind beispielsweise eine Kamera 10, eine Radarvorrichtung 12, ein Sucher 14, eine Erkennungsvorrichtung für physische Objekte 16, eine Kommunikationsvorrichtung 20, eine Mensch-Maschine-Schnittstelle (HMI) 30, eine Navigationsvorrichtung 50, eine Mikroprozessor-Einheit (MPU) 60, ein Fahrzeugsensor 70, ein Fahr-Betriebselement 80, eine Steuereinheit für automatisiertes Fahren 100, eine Fahrantriebskraft-Ausgabevorrichtung 200, eine Bremsvorrichtung 210 und eine Lenkvorrichtung 220 montiert. Diese Vorrichtungen und Apparaturen sind miteinander durch eine Multiplex-Kommunikationsleitung, wie beispielsweise eine Controller Area Network (CAN)-Kommunikationsleitung, eine serielle Kommunikationsleitung, ein drahtloses Kommunikationsnetzwerk oder ähnliches verbunden. Außerdem ist die in 2 gezeigte Konfiguration lediglich ein Beispiel, und auf einen Teil der Konfiguration kann verzichtet werden oder andere Komponenten können dazu hinzugefügt werden. Wenngleich die in 2 gezeigte Konfiguration wenigstens die Kamera 10, die Kommunikationsvorrichtung 20, die Fahr-Betriebselemente 80, eine erste Steuereinheit 120, eine zweite Steuereinheit 140 und eine entfernt betriebene Steuereinheit 160 umfasst, ist die Konfiguration ein Beispiel einer „Fahrzeug-Steuervorrichtung“.
  • Beispielsweise ist die Kamera 10 eine Digitalkamera, welche eine bildgebende Feststoffvorrichtung umfasst, wie beispielsweise eine ladungsgekoppelte Vorrichtung (CCD) oder einen komplementären Metalloxid-Halbleiter (CMOS). Eine oder mehrere Kameras 10 sind an einer beliebigen Position an dem Ego-Fahrzeug M angebracht. In einem Fall, dass eine Sicht nach vorne abgebildet wird, ist die Kamera 10 an einem oberen Abschnitt einer vorderen Windschutzscheibe, einer hinteren Fläche eines Rückspiegels oder ähnlichem angebracht. Beispielsweise bildet die Kamera periodisch und iterativ die Umgebung des Fahrzeugs M ab. Die Kamera 10 kann eine Stereokamera sein.
  • Die Radarvorrichtung 12 strahlt Radiowellen, wie beispielsweise Millimeterwellen, um das Fahrzeug M herum ab und detektiert wenigstens eine Position (einen Abstand zu und eine Richtung) eines physischen Objekts durch Detektieren von Radiowellen (reflektierte Wellen), die von dem physischen Objekt reflektiert werden. Eine oder mehrere Radarvorrichtungen 12 sind an einer beliebigen Position an dem Fahrzeug M angebracht. Die Radarvorrichtung 12 kann eine Position und eine Geschwindigkeit des physischen Objekts in einem „frequenzmodulierte kontinuierliche Welle“ (FM-CW)-Schema detektieren.
  • Der Sucher 14 ist ein Lichtdetektion-und-Abstandsbestimmung- oder ein Laserbildaufnahme-Detektion-und-Abstandsbestimmung (LIDAR)-Sucher, welcher dazu eingerichtet ist, gestreutes Licht bezüglich abgestrahltem Licht zu messen und eine Distanz zu einem Objekt zu detektieren. Ein oder mehrere Sucher 14 sind an einer beliebigen Position an dem Fahrzeug M angebracht.
  • Die Erkennungsvorrichtung für physische Objekte 16 führt einen Sensorfusion-Prozess auf Detektionsergebnisse von einigen oder allen aus der Kamera 10, der Radarvorrichtung 12 und dem Sucher 14 aus, um eine Position, einen Typ, eine Geschwindigkeit und ähnliches eines physischen Objekts zu erkennen. Die Erkennungsvorrichtung für physische Objekte 16 gibt Erkennungsergebnisse an die Steuereinheit für automatisiertes Fahren 100 aus.
  • Die Kommunikationsvorrichtung 20 kommuniziert mit anderen Fahrzeugen, die in der Nähe des Ego-Fahrzeugs vorliegen, beispielsweise unter Verwendung eines Mobilfunk-Netzwerks, eines Wi-Fi-Netzwerks, Bluetooth (eingetragenes Warenzeichen), dedizierter kurzreichweitiger Kommunikation (DSRC) oder ähnlichem, oder kommuniziert mit verschiedenen Typen von Servervorrichtungen oder dem entfernten Betriebssystem 300 mittels einer drahtlosen Basisstation.
  • Die HMI 30 präsentiert unterschiedliche Typen von Informationen zu einem Insassen des Fahrzeugs M und empfängt einen Eingabebetrieb des Insassen. Die HMI 30 umfasst unterschiedliche Typen von Anzeigevorrichtungen, einen Lautsprecher, einen Summer, ein berührungsempfindliches Paneel, einen Schalter, Tasten und ähnliches.
  • Die Navigationsvorrichtung 50 umfasst beispielsweise einen Empfänger für ein globales Navigationssatelliten-System (GNSS) 51, eine Navigations-HMI 52 und eine Routen-Bestimmungseinheit 53, und speichert erste Karteninformationen 54 in einer Speichervorrichtung, wie beispielsweise einer Festplatte (HDD) oder einem Flash-Speicher. Der GNSS-Empfänger identifiziert eine Position des Fahrzeugs M auf der Grundlage eines Signals, welches von einem GNSS-Satelliten empfangen wird. Die Position des Fahrzeugs M kann durch ein Trägheits-Navigationssystem (INS) unter Verwendung einer Ausgabe von dem Fahrzeugsensor 70 identifiziert oder ergänzt werden. Die Navigations-HMI 52 umfasst eine Anzeigevorrichtung, einen Lautsprecher, ein berührungsempfindliches Paneel, Tasten und ähnliches. Die Navigations-HMI 52 kann teilweise oder vollständig mit der oben beschriebenen HMI 30 geteilt sein. Beispielsweise bestimmt die Routen-Bestimmungseinheit 53 eine Route von der Position des Fahrzeugs M, die von dem GNSS-Empfänger 51 identifiziert wird (oder einer beliebigen Eingabeposition) zu einem Ziel, welches von dem Insassen unter Verwendung der Navigations-HMI 52 eingegeben wird, unter Bezugnahme auf die ersten Karteninformationen 54. Die ersten Karteninformationen 54 sind beispielsweise Informationen, in welchen eine Straßenform durch eine Verknüpfung ausgedrückt ist, welche eine Straße und Knoten anzeigt, welche durch Verknüpfungen verbunden sind. Die ersten Karteninformationen 54 können eine Krümmung einer Straße, Informationen über Punkte von Interesse (POI) und ähnliches umfassen. Die Routen-Bestimmungseinheit 53 bestimmt ebenfalls eine Route zum Vermeiden einer vorhergesagten Kommunikationsfehler-Eintrittsposition, wie unten beschrieben werden wird, falls möglich. Die von der Routen-Bestimmungseinheit 53 bestimmte Route wird an die MPU 60 ausgegeben. Die Navigationsvorrichtung 50 kann ebenfalls eine Routenführung unter Verwendung der Navigations-HMI 52 auf der Grundlage der Route durchführen, welche durch die Routen-Bestimmungseinheit 53 bestimmt wird. Beispielsweise kann die Navigationsvorrichtung 50 durch eine Funktion einer Endgerätevorrichtung, wie beispielsweise einem Smartphone oder einem Tablet-Endgerät, implementiert sein, welches dem Benutzer gehört. Die Navigationsvorrichtung 50 kann ebenfalls eine momentane Position und ein Ziel an einen Navigationsserver mittels der Kommunikationsvorrichtung 20 übertragen und eine Route erhalten, welche von dem Navigationsserver zurückgegeben wird.
  • Beispielsweise dient die MPU 60 als eine Bestimmungseinheit für eine empfohlene Spur und speichert zweite Karteninformationen 63 in einer Speichervorrichtung, wie beispielsweise einer HDD oder einem Flash-Speicher. Die Bestimmungseinheit für eine empfohlene Spur 61 unterteilt die Route auf der Karte, die von der Navigationsvorrichtung 50 bereitgestellt wird, in eine Mehrzahl von Blöcken (unterteilt beispielsweise die Route alle 100 [m] bezüglich einer Fahrrichtung des Fahrzeugs), und bestimmt eine empfohlene Spur für jeden Block unter Bezug auf die zweiten Karteninformationen 63. Die Bestimmungseinheit für eine empfohlene Spur 61 bestimmt, auf welcher Spur, nummeriert von der linken her, das Fahrzeug fahren wird. Die Bestimmungseinheit für eine empfohlene Spur 61 bestimmt die empfohlene Spur derart, dass das Fahrzeug M entlang einer vernünftigen Fahrroute fahren kann, um zu einem Kreuzungsziel in einem Fall zu fahren, dass eine Kreuzung, ein Verkehrskonten oder ähnliches auf der Route vorliegen.
  • Die zweiten Karteninformationen 63 sind Karteninformationen, welche eine höhere Genauigkeit aufweisen als die ersten Karteninformationen 54. Beispielsweise umfassen die zweiten Karteninformationen 63 Informationen über eine Mitte einer Spur oder Informationen über eine Grenze einer Spur. Die zweiten Karteninformationen 63 können ebenfalls Straßeninformationen, Verkehrsregel-Informationen, Adressinformationen (eine Adresse / eine Postleitzahl), Standort-Informationen, Telefonnummer-Informationen und ähnliches umfassen. Die Straßeninformationen umfassen Informationen, welche Straßentypen, wie beispielsweise Schnellstraßen, Mautstraßen, Nationalstraßen und Kreisstraßen, Informationen über die Anzahl von Spuren auf einer Straße, eine Breite jeder Spur, einen Gradienten einer Straße, eine Position einer Straße (dreidimensionale Koordinaten, einschließlich Länge, Breite und Höhe), eine Krümmung einer Kurve einer Straße, Positionen von Zusammenführungs- und Verzweigungspunkten, an einer Straße vorgesehene Schilder, eine vorhergesagte Kommunikationsfehler-Eintrittsposition, einen empfohlenen entfernten Betriebspunkt und ähnliches anzeigen. Die vorhergesagte Kommunikationsfehler-Eintrittsposition ist eine Position, an welcher das Eintreten eines Kommunikationsfehlers vorhergesagt wird, wie beispielsweise ein Tunnel, ein Tal zwischen Gebäuden oder ein Untergrundabschnitt, in welchem die Kommunikationsumgebung schlecht ist. Der empfohlene entfernte Betriebspunkt ist ein Punkt, an welchem ein komplizierter Betrieb in einem Lenkradbetrieb, einem Gaspedal-Betrieb oder ähnlichem benötigt wird, an welchem ein automatisiertes Fahren an einem belebten Punkt oder ähnlichem schwierig ist. Der empfohlene entfernte Betriebspunkt wird aus vergangenen statistischen Daten und ähnlichem bestimmt. Die zweiten Karteninformationen 63 können wie benötigt aktualisiert werden, indem auf eine andere Vorrichtung unter Verwendung der Kommunikationsvorrichtung 20 zugegriffen wird.
  • Die MPU 60 bezieht sich auf die Route, welche durch die Routen-Bestimmungseinheit 53, die zweiten Karteninformationen 63 und den von der unten beschriebenen Handlungsplan-Erzeugungseinheit 123 erzeugten Handlungsplan bestimmt wird und bestimmt, ob oder ob nicht eine vorhergesagte Kommunikationsfehler-Eintrittsposition in der empfohlenen Spur vorliegt. In einem Fall, dass die MPU 60 eine vorhergesagte Kommunikationsfehler-Eintrittsposition in einer geplanten Fahrroute detektiert, wird eine Route derart umgeleitet, dass die Route, welche die vorhergesagte Kommunikationsfehler-Eintrittsposition einschließt, gemieden wird, und einer Route, in welcher ein Kommunikationsfehler nicht auftritt, gefolgt wird. Die Komponente der MPU 60 kann an dem entfernten Betriebssystem 300 montiert sein.
  • Der Fahrzeugsensor 70 umfasst einen FahrzeuggeschwindigkeitsSensor, welcher dazu eingerichtet ist, eine Geschwindigkeit des Fahrzeugs M zu detektieren, einen Beschleunigungssensor, welcher dazu eingerichtet ist, eine Beschleunigung zu detektieren, einen Gierraten-Sensor, welcher dazu eingerichtet ist, eine Winkelgeschwindigkeit um eine vertikale Achse zu detektieren, einen Richtungssensor, welcher dazu eingerichtet ist, eine Richtung des Fahrzeugs M zu detektieren, und ähnliches.
  • Das Fahr-Betriebselement 80 umfasst beispielsweise ein Gaspedal, ein Bremspedal, einen Schalthebel, ein Lenkrad und andere Betriebselemente. Ein Sensor, welcher dazu eingerichtet ist, eine Betriebsmenge oder das Vorliegen oder die Abwesenheit eines Betriebs zu detektieren, ist an dem Fahr-Betriebselement 80 angebracht, und ein Detektionsergebnis davon wird an die automatisierte Fahrsteuer-Einheit 100 oder eine oder alle aus der Fahrantriebskraft-Ausgabevorrichtung 200, der Bremsvorrichtung 210 und der Lenkvorrichtung 220 ausgegeben.
  • Beispielsweise umfasst die Steuereinheit für automatisiertes Fahren 100 eine erste Steuereinheit 120, eine zweite Steuereinheit 140 und eine entfernt betriebene Steuereinheit 160. Beispielsweise ist jede aus der ersten Steuereinheit 120, der zweiten Steuereinheit 140 und der entfernt betriebenen Steuereinheit 160 durch einen Prozessor, wie beispielsweise eine zentrale Prozessoreinheit (CPU) implementiert, welche ein Programm (Software) ausführt. Einige oder alle der funktionellen Einheiten der ersten Steuereinheit 120, der zweiten Steuereinheit 140 und der entfernt betriebenen Steuereinheit 160, welche unten beschrieben werden wird, sind beispielsweise durch eine Hardware (eine Schaltungseinheit, welche Schaltungen einschließt), wie beispielsweise eine Large Scale Integration (LSI), eine anwendungsspezifische integrierte Schaltung (ASIC) oder ein feldprogrammierbares Gate-Array (FPGA) implementiert, oder können durch ein Zusammenwirken zwischen Software und Hardware implementiert sein.
  • Beispielsweise umfasst die erste Steuereinheit 120 eine Erkennungseinheit für eine externe Umgebung 121, eine Egofahrzeug-Positionserkennungseinheit 122 und eine Handlungsplan-Erzeugungseinheit 123.
  • Die Erkennungseinheit für eine externe Umgebung 121 erkennt Positionen von nahen Fahrzeugen und Zustände der Geschwindigkeit und Beschleunigung davon auf der Grundlage von Informationen, welche direkt von der Kamera 10, der Radarvorrichtung 12 und dem Sucher 14 oder mittels der Erkennungsvorrichtung für physische Objekte 16 eingeben werden. Die Position des nahen Fahrzeugs kann durch einen repräsentativen Punkt, wie beispielsweise einen Schwerpunkt oder eine Ecke des nahen Fahrzeugs, repräsentiert werden oder kann durch eine Region repräsentiert werden, welche durch eine Kontur des nahen Fahrzeugs repräsentiert ist. Der „Zustand“ des nahen Fahrzeugs kann eine Beschleunigung oder einen Ruck des nahen Fahrzeugs oder einen „Handlungszustand“ (beispielsweise, ob oder ob nicht ein Spurwechsel vorgenommen wird oder beabsichtigt ist) umfassen. Die Erkennungseinheit für eine externe Umgebung 121 kann Positionen von Leitplanken, Strommasten, geparkten Fahrzeugen, Fußgängern oder anderen physischen Objekten zusätzlich zu nahen Fahrzeugen erkennen.
  • Beispielsweise erkennt die Egofahrzeug-Positionserkennungseinheit 122 eine Spur (eine Fahrspur), in welcher das Fahrzeug M fährt, sowie eine Position und Orientierung des Fahrzeugs M relativ zu der Fahrspur. Beispielsweise erkennt die Egofahrzeug-Positionserkennungseinheit 122 eine Fahrspur durch Vergleichen eines Musters einer Straßen-Trennungslinie (beispielsweise eine Anordnung aus durchgezogenen Linien und unterbrochenen Linien), welches aus den zweiten Karteninformationen 63 erhalten wird, mit einem Muster von Straßen-Trennungslinien um das Fahrzeug M herum, welches aus dem Bild erkannt wird, welches von der Kamera 10 aufgenommen wird. In dieser Erkennung können die Position des Fahrzeugs M, die von der Navigationsvorrichtung 50 erhalten wird, und das Verarbeitungsergebnis der INS hinzugefügt werden.
  • Die Egofahrzeug-Positionsbestimmungseinheit 122 erkennt beispielsweise eine Position und eine Orientierung des Fahrzeugs M bezüglich der Fahrspur. 3 ist ein Diagramm, welches einen Zustand zeigt, in welchem eine Position und Orientierung des Fahrzeugs M relativ zu einer Fahrspur L1 von der Egofahrzeug-Positionserkennungseinheit 122 erkannt werden. Beispielsweise erkennt die Egofahrzeug-Positionserkennungseinheit 122 eine Abweichung OS eines Referenzpunkts (beispielsweise eines Schwerpunkts) des Fahrzeugs M aus einer Fahrspur-Mitte CL und einem Winkel θ, welcher bezüglich einer Linie gebildet ist, welche die Fahrspur-Mitte CL in einer Fahrrichtung des Fahrzeugs M als die Position und die Position und die Orientierung des Fahrzeugs M relativ zu der Fahrspur L1 verbindet. Ebenfalls kann stattdessen die Egofahrzeug-Positionsbestimmungseinheit 122 eine Position eines Referenzpunkts des Fahrzeugs M oder ähnliches hinsichtlich eines Seitenendes der Fahrspur L1 als eine relative Position des Fahrzeugs M bezüglich der Fahrspur erkennen. Die relative Position des Fahrzeugs M, die von der Egofahrzeug-Positionserkennungseinheit 122 erkannt wird, wird der Bestimmungseinheit für eine empfohlene Spur 61 und der Handlungsplan-Erzeugungseinheit 123 bereitgestellt.
  • Die Handlungsplan-Erzeugungseinheit 123 erzeugt einen Handlungsplan für das Fahrzeug M zum Durchführen eines automatisierten Fahrens zu einem Ziel oder ähnlichem. Der Handlungsplan umfasst Informationen über Ereignisse, die sequentiell beim automatisierten Fahren durchzuführen sind, und eine Ziel-Bahnkurve, auf welcher das Fahrzeug in jedem Ereignis in der Zukunft fahren wird. Die Handlungsplan-Erzeugungseinheit 123 bestimmt die Ereignisse, die sequentiell in dem automatisierten Fahren durchzuführen sind, so dass das Fahrzeug M entlang der empfohlenen Spur fährt, die von der Bestimmungseinheit für eine empfohlene Spur 61 bestimmt wird, und mit der Umgebungssituation des Fahrzeugs M umgehen kann. Die Ereignisse umfassen beispielsweise ein Ereignis eines Fahrens mit konstanter Geschwindigkeit zum Fahren auf derselben Fahrspur bei einer konstanten Geschwindigkeit, ein Ereignis eines folgenden Fahrens zum Folgen eines vorausfahrenden Fahrzeugs, ein Spurwechsel-Ereignis, ein Knotenpunkt-Ereignis, ein Kreuzungs-Ereignis, ein Nothalt-Ereignis, ein entferntes Betriebsereignis zum Durchführen eines Umschaltens von automatisiertem Fahren zu manuellem Fahren und ähnliches. Während des Durchführens dieser Ereignisse können Handlungen zum Verhindern auf der Grundlage einer Umgebungssituation des Fahrzeugs M geplant werden (Anwesenheit von nahen Fahrzeugen und Fußgängern, ein Verengen einer Spur aufgrund von Straßenbauarbeiten oder ähnliches).
  • Die Handlungsplan-Erzeugungseinheit 123 erzeugt eine Ziel-Bahnkurve, auf welcher das Fahrzeug M in der Zukunft fahren wird. Beispielsweise umfasst die Ziel-Bahnkurve ein Geschwindigkeitselement. Beispielsweise wird die Ziel-Bahnkurve als ein Satz von Zielpunkten (Bahnkurven-Punkten) erzeugt, an welchen das Fahrzeug bei einer Mehrzahl von zukünftigen Referenz-Uhrzeiten ankommen wird, nachdem zukünftige Referenz-Uhrzeiten für jede vorbestimmte Abtastzeit festgelegt worden sind (beispielsweise in etwa einige Zehntelsekunden [sec]). Somit zeigt dies, wenn eine Breite zwischen den Bahnkurven-Punkten breit ist, an, dass das Fahrzeug in einem Abschnitt zwischen den Bahnkurven-Punkten mit einer hohen Geschwindigkeit fährt.
  • 4 ist ein Diagramm, welches einen Zustand zeigt, in welchem die Ziel-Bahnkurve auf der Grundlage der empfohlenen Spur erzeugt wird. Wie gezeigt, ist die empfohlene Spur dazu festgelegt, angemessen für ein Fahren entlang einer Route zu einem Ziel zu sein. In einem Fall, in welchem sich das Fahrzeug einer vorbestimmten Distanz vor einem Wechselpunkt der empfohlenen Spur nähert (der gemäß einem Typ von Ereignis bestimmt werden kann), aktiviert die Handlungsplan-Erzeugungseinheit 123 ein Spurwechsel-Ereignis, ein Kreuzungs-Ereignis, ein Knotenpunkt-Ereignis oder ähnliches.
  • Wenn es notwendig wird, ein Hindernis während des Ausführens eines Ereignisses zu meiden, wird wie gezeigt eine Vermeidungs-Bahnkurve erzeugt. Beispielsweise erzeugt die Handlungsplan-Erzeugungseinheit 123 eine Mehrzahl von Kandidaten für eine Ziel-Bahnkurve und wählt eine optimale Ziel-Bahnkurve zu diesem Zeitpunkt auf der Grundlage von Gesichtspunkten von Sicherheit und Effizienz aus. Die Handlungsplan-Erzeugungseinheit 123 aktiviert ebenfalls ein entferntes Betriebsereignis in einem Fall, in dem das Fahrzeug M eine Route erreicht, die den empfohlenen entfernten Betriebspunkt in einer Route einschließt.
  • Beispielsweise umfasst die zweite Steuereinheit 140 eine Fahr-Steuereinheit 141. Die Fahr-Steuereinheit 141 steuert die Fahrantriebkraft-Ausgabevorrichtung 200, die Bremsvorrichtung 210 und die Lenkvorrichtung 220, so dass das Fahrzeug M zu terminierten Uhrzeiten entlang der Ziel-Bahnkurve fortfährt, welche durch die Handlungsplan-Erzeugungseinheit 123 erzeugt wird.
  • Eine Funktion der entfernt betriebenen Steuereinheit 160 wird unten beschrieben werden.
  • Die Fahrantriebskraft-Ausgabevorrichtung 200 gibt eine Fahrantriebskraft (ein Drehmoment) an angetriebene Räder des Fahrzeugs zum Fahren aus. Beispielsweise umfasst die Fahrantriebskraft-Ausgabeeinheit 200 eine Kombination eines Verbrennungsmotors, eines Elektromotors, eines Getriebes und ähnlichem, sowie eine ECU, die dazu eingerichtet ist, diese zu steuern. Die ECU steuert die oben beschriebenen Komponenten gemäß Informationen, welche von der Steuereinheit für automatisiertes Fahren 100 eingegeben werden, oder Informationen, welche von dem Fahr-Betriebselement 80 eingegeben werden.
  • Beispielsweise umfasst die Bremsvorrichtung 210 einen Bremssattel, einen Zylinder, welcher dazu eingerichtet ist, einen Hydraulikdruck auf den Bremssattel zu übertragen, einen Elektromotor, welcher dazu eingerichtet ist, einen Hydraulikdruck in dem Zylinder zu erzeugen, und eine Brems-ECU. Die Brems-ECU steuert den Elektromotor gemäß den Informationen, welche von der Steuereinheit für automatisiertes Fahren 100 eingegeben werden, oder den Informationen, welche von der Fahr-Betriebseinheit 80 eingegeben werden, so dass ein Brems-Drehmoment gemäß eines Bremsbetriebs an jedes Rad ausgegeben wird. Die Bremsvorrichtung 210 kann einen Mechanismus umfassen, welcher dazu eingerichtet ist, den Hydraulikdruck, welcher durch einen Betrieb des Bremspedals erzeugt wird, welches in dem Fahr-Betriebselement 80 umfasst ist, an den Zylinder mittels eines Hauptzylinders als eine Unterstützung zu übertragen. Die Bremsvorrichtung 210 ist ebenfalls nicht auf die oben beschriebene Konfiguration beschränkt und kann eine elektronisch gesteuerte hydraulische Bremsvorrichtung sein, welche dazu eingerichtet ist, den Aktuator gemäß Informationen zu steuern, welche von der Fahr-Betriebseinheit 141 eingebeben werden, und den Hydraulikdruck des Hauptzylinders an den Zylinder zu übertragen.
  • Die Lenkvorrichtung 220 umfasst beispielsweise eine Lenk-ECU und einen Elektromotor. Beispielsweise ändert der Elektromotor eine Richtung von lenkbaren Rädern durch Ausüben einer Kraft auf einen Zahnstangen-Zahnrad-Mechanismus. Die Lenk-ECU betreibt den Elektromotor gemäß den Informationen, welche von der Steuereinheit für automatisiertes Fahren 100 eingegeben werden, oder gemäß den Informationen, welche von dem Fahr-Betriebselement 80 eingegeben werden, um die Richtung der lenkbaren Räder zu ändern.
  • [Entfernt betriebene Steuerung]
  • Eine entfernt betriebene Steuerung gemäß der vorliegenden Ausführungsform wird im Folgenden beschrieben werden. In einem Fall, dass das entfernte Betriebsereignis aktiviert ist, fordert die entfernt betriebene Steuereinheit 160 das entfernte Betriebssystem 300 unter Verwendung der Kommunikationsvorrichtung 20 auf, einen entfernten Betrieb durchzuführen (überträgt eine entfernte Betriebsanfrage), und wird einem entfernten Betrieb unterzogen, um im Wesentlichen wenigstens eines aus einem Beschleunigen/Abbremsen oder Lenken des Fahrzeugs M auf der Grundlage von Steuerinformationen zu steuern, die von dem entfernten Betriebssystem 300 erhalten werden. Die entfernt betriebene Steuereinheit 160 umfasst beispielsweise eine Bestimmungseinheit für einen entfernten Betrieb 161. In einem Fall, dass das entfernte Betriebsereignis aktiviert worden ist, stoppt die Bestimmungseinheit für einen entfernten Betrieb 161 das automatisierte Fahren des Fahrzeugs M und schaltet den Betrieb des Fahrzeugs M auf den entfernten Betrieb um.
  • [Einrichtung außerhalb eines Fahrzeugs]
  • Im Folgenden wird eine Einrichtung außerhalb eines Fahrzeugs eines entfernten Betriebsorts beschrieben werden. 5 ist ein Diagramm, welches eine Vorrichtungskonfiguration in dem entfernten Betriebssystem 300 zeigt. Wie gezeigt ist, sind eine Kommunikationsvorrichtung (Kommunikationseinheit) 310, welche mit dem Fahrzeug M (einem entfernt betriebenen Fahrzeug) mittels des Netzwerks NW kommuniziert, eine Auswahleinheit 311 und eine Mehrzahl von entfernten Betriebsvorrichtungen 320-1, 320-2, 320-3 und ähnliches in dem entfernten Betriebssystem 300 bereitgestellt. Im Folgenden werden in einem Fall, dass die entfernten Betriebsvorrichtungen nicht unterschieden werden, sie einfach als die entfernten Betriebsvorrichtungen 320 beschrieben. In jeder der entfernten Betriebsvorrichtungen 320 sitzt und steht der entfernte Betreiber zur Vorbereitung einer entfernten Betriebsanfrage bereit. Die Kommunikationsvorrichtung 310 empfängt eine entfernte Betriebsanfrage von dem Fahrzeug M.
  • Die Auswahleinheit 311 wählt eine beliebige entfernte Betriebsvorrichtung 320 mit einer Umgebung mit einer guten Kommunikation bezüglich des Fahrzeugs aus, welches die entfernte Betriebsanweisung überträgt. Die Tatsache, dass die Umgebung eine gute Kommunikation aufweist, bedeutet beispielsweise, dass die Kommunikationsgeschwindigkeit hoch ist oder dass die Kommunikation wahrscheinlich nicht unterbrochen wird und stabil ist, oder dass die Kommunikationsdistanz kurz ist. Die Tatsache, dass die Kommunikationsdistanz kurz ist, bezeichnet einen Zustand einer drahtlosen Kommunikation, in welcher eine Distanz, bei welcher Radiowellen, die von einem Übertragungsort übertragen werden, einen Empfangsort erreichen, kurz ist. Die Auswahleinheit 311 wählt vorzugsweise eine der entfernten Betriebsvorrichtungen 320 aus, für welche eine Distanz einer Kommunikation mit dem Fahrzeug M, welches die entfernte Betriebsanfrage überträgt, kurz ist, die Kommunikationsgeschwindigkeit am höchsten ist oder die Kommunikation am stabilsten ist. Die Kommunikationsvorrichtung 310 überträgt Informationen (eine entfernte Betriebsanfrage, einen Handlungsplan, ein von der Kamera 10 aufgenommenes Bild, Geschwindigkeit, Winkelgeschwindigkeit, ein Typ von Fahrzeug und ähnliches) von dem Fahrzeug M zu der ausgewählten entfernten Betriebsvorrichtung 320 und bewirkt, dass ein entfernter Betrieb durchgeführt wird.
  • Das entfernte Betriebssystem 300 kann ebenfalls derart eingerichtet sein, dass ein Umschalten von dem automatisierten Fahren des Fahrzeugs zu dem entfernten Betrieb in einem Fall durchgeführt wird, dass das Fahrzeug M eine Route erreicht, welche einen empfohlenen entfernten Betriebspunkt in der Route auf der Grundlage des Handlungsplans des Fahrzeugs M einschließt, welcher von der Kommunikationsvorrichtung 310 erhalten wird. Zusätzlich kann das entfernte Betriebssystem 300 derart eingerichtet sein, dass ein Umschalten von dem automatisierten Fahren des Fahrzeugs M zu dem entfernten Betrieb in einem Fall durchgeführt wird, dass ein empfohlener entfernter Betriebspunkt durch eine Aktualisierung oder ähnliches hinzugefügt wird und das Fahrzeug M eine Route erreicht, welche den hinzugefügten empfohlenen entfernten Betriebspunkt in einer Fahrroute umfasst. Daher kann das entfernte Betriebssystem 300 ein Umschalten des entfernten Betriebs ebenfalls gemäß einer Bestimmung des Orts eines entfernten Betriebssystems 300 durchführen, selbst wenn keine entfernte Betriebsanfrage von dem Fahrzeug M übertragen wird.
  • 6 ist ein Diagramm, welches schematisch eine Konfiguration der entfernten Betriebsvorrichtung 320 zeigt. Die entfernte Betriebsvorrichtung 320 umfasst beispielsweise eine Präsentationseinheit 321, einen Lautsprecher 322, einen Sitz 323, ein Lenkrad 324, Pedale 325, wie beispielsweise ein Gaspedal und ein Bremspedal, eine entfernte Betrieb-Empfangseinheit (Empfangseinheit) 330 und eine entfernte Betrieb-Steuereinheit (Steuereinheit) 340. Die entfernte Betrieb-Empfangseinheit 330 erhält einen Betrieb eines entfernten Betreibers O. Die entfernte Betrieb-Steuereinheit 340 erzeugt Steuerinformationen auf der Grundlage des Betriebs, welcher von der entfernten Betrieb-Empfangseinheit 330 empfangen wird, und überträgt die Steuerinformationen zu dem Fahrzeug M unter Verwendung der Kommunikationsvorrichtung 310.
  • 7 ist ein Blockdiagramm, welches eine Konfiguration der Präsentationseinheit 321 zeigt. Die Präsentationseinheit 321 präsentiert Informationen, einschließlich einer Situation des Fahrzeugs M, welche von dem Fahrzeug M erhalten werden, zu dem entfernten Betreiber O. Die Präsentationseinheit 321 umfasst eine Erzeugungseinheit für eine geschätzte Situation 321a und eine Anzeigeeinheit 321b. Die Erzeugungseinheit für eine geschätzte Situation 321a ist durch einen Prozessor, wie beispielsweise eine CPU, implementiert, welche ein Programm (Software) ausführt. Die Erzeugungseinheit für eine geschätzte Situation 321a kann durch Hardware, wie beispielsweise einen LSI, einen ASIC oder ein FGPA implementiert sein, oder kann durch Zusammenwirken zwischen Software und Hardware implementiert sein.
  • Die Anzeigeeinheit 321a ist beispielsweise eine FlüssigkristallAnzeige (LCD) oder eine organische Elektrolumineszenz (EL)-Anzeigevorrichtung und zeigt ein Bild oder Informationen an. Die Anzeigeeinheit 321b kann ein Head Mount Display (HMD) sein. Die Anzeigeeinheit 321b zeigt beispielsweise ein Bild einer Landschaft außerhalb des Fahrzeugs, welches von der Kamera 10 des Fahrzeugs M abgebildet wird, eine Geschwindigkeit des Fahrzeugs M, die Motordrehzahl und ähnliches an.
  • Hierbei wird davon ausgegangen, dass eine Kommunikationsverzögerung in der Kommunikation zwischen dem Fahrzeug M und der entfernten Betriebsvorrichtung 320 auftritt. 8 ist ein Diagramm, welches die Bewegung des Fahrzeugs M zeigt, während die Kommunikationsverzögerung auftritt. In einem Fall, dass die Anzeigeeinheit 321b die Situation des Fahrzeugs M wie sie ist anzeigt, tritt eine zeitweilige Uplink-Kommunikationsverzögerung in der Kommunikation zwischen dem Fahrzeug M und der entfernten Betriebsvorrichtung 320 auf.
  • Die Uplink-Kommunikationsverzögerung umfasst eine Zeit, welche für die Kommunikation zwischen dem Fahrzeug M und dem entfernten Betriebssystem 300 benötigt wird, eine benötigte Verarbeitungszeit von dem Erhalten der Informationen von dem Fahrzeug M in dem entfernten Betriebssystem 300 zu der Anzeige des Bilds an der Anzeigeeinheit 321a oder ähnliches. Beispielsweise wird in einem Fall, dass die Situation des Fahrzeugs M an einer Position P1 abgebildet wird, die Situation davon an der Anzeigeeinheit 321b angezeigt. Zu diesem Zeitpunkt dauert die Uplink-Kommunikationsverzögerung eine Zeit T1, und das Fahrzeug M bewegt sich von der Position P1 zu einer Position P2.
  • Dann tritt, nachdem der entfernte Betreiber O die Anzeigeeinheit 321b betrachtet und einen Betrieb durchführt, eine Downlink-Kommunikationsverzögerung sogar auf, bis das Fahrzeug M auf den Betrieb reagiert. Die Downlink-Kommunikationsverzögerung schließt eine Zeit, bis das Fahrzeug M Steuerinformationen von einer Betriebszeit des entfernten Betreibers O erhält, eine Verarbeitungszeit, bevor das Fahrzeug M einen Betrieb auf Grundlage der Steuerinformationen startet, und ähnliches ein. Die Downlink-Kommunikationsverzögerung benötigt eine Zeit T2 und das Fahrzeug M bewegt sich von der Position P2 zu einer Position P3. Dementsprechend ist in einem Fall, dass der Betreiber O einen Betrieb durchführt, welcher für die Situation des Fahrzeugs M an der zu betrachtenden Position P1 notwendig ist, das Fahrzeug M, für welches der Betrieb gestartet ist, an der Position P3 und eine Abweichung in dem entfernten Betrieb tritt auf.
  • Daher zeigt die Anzeigeeinheit 321b ein Bild an, welches durch vorheriges Lesen der Situation des Fahrzeugs M erhalten wird, so dass ein Einfluss von Uplink- und Downlink-Kommunikationsverzögerungen reduziert wird. Das vorherige Lesen bezeichnet ein Schätzen einer zukünftigen Situation des Fahrzeugs M in einem Fall, dass eine vorbestimmte Zeit seit der Situation des Fahrzeugs M zu der Zeit der Bildaufnahme verstrichen ist. Beispielsweise liest die Erzeugungseinheit für eine geschätzte Situation 321a die Situation des Fahrzeugs M vorher, die von dem Fahrzeug M erhalten wird, erzeugt ein Bild, welches die geschätzte Situation anzeigt, welche aus der Situation des Fahrzeugs M zur Zeit der Bildaufnahme geschätzt wird, und zeigt das Bild an der Anzeigeeinheit 321b an.
  • Die vorbestimmte Zeit wird durch Summieren der angenommenen Kommunikationsverzögerung bestimmt. Beispielsweise wird eine Summe der Zeit T1, welche für die Uplink-Kommunikationsverzögerung benötigt wird, und der Zeit T2, welche für die Downlink-Kommunikationsverzögerung benötigt wird, als die gesamte Kommunikationsverzögerung berechnet.
  • 9 ist eine Ansicht, welche ein Bild auf Grundlage einer geschätzten Situation zeigt, welche auf der Grundlage eines von der Kamera 10 aufgenommenen Bilds V erzeugt wird. Die Erzeugungseinheit für eine geschätzte Situation 321a erzeugt eine geschätzte Situation für die Situation des Fahrzeugs M an der Position P3 auf der Grundlage des Bilds V der Situation des Fahrzeugs M, welche an der Position P1 abgebildet wird. Die Erzeugungseinheit für eine geschätzte Situation 321a erzeugt ein Bild, welches die geschätzte Situation anzeigt, beispielsweise durch Verarbeiten eines Bilds, welches durch die Kamera 10 aufgenommen wird. Die Erzeugungseinheit für eine geschätzte Situation 321a erzeugt die geschätzte Situation beispielsweise durch Bewegen eines Bilds einer abgebildeten Szene oder eines physischen Objekts auf der Grundlage von Informationen, wie beispielsweise der Geschwindigkeit und der Bewegungsrichtung des Fahrzeugs M.
  • In einem Fall, in dem sich das physische Objekt bewegt, vergleicht die Erzeugungseinheit für eine geschätzte Situation 321a aufeinander folgende Bildframes, um eine Bewegungsmenge und eine Bewegungsrichtung des physischen Objekts zu schätzen. Dann schätzt die Erzeugungseinheit für eine geschätzte Situation 321a eine Position des physischen Objekts in einem Fall, dass eine vorbestimmte Zeit verstrichen ist, auf der Grundlage der Informationen über die Geschwindigkeit und die Bewegungsrichtung des Fahrzeugs und erzeugt ein Bild S, welches die geschätzte Situation anzeigt. Ebenfalls kann in dem Bild S, welches die geschätzte Situation anzeigt, beispielsweise eine einfache Framelinie, welche die zukünftige Position des abgebildeten physischen Objekts oder der Landschaft anzeigt, gezeigt sein.
  • In einem Fall, in welchem die Erzeugungseinheit für eine geschätzte Situation 321a bestimmt, dass eine Änderung in der Situation des abgebildeten Fahrzeugs M klein ist, wird ein Teil des aufgenommenen Bilds V vergrößert, und das Bild S, welches eine entsprechende geschätzte Situation nach dem Ablauf der vorbestimmten Zeit anzeigt, kann erzeugt werden. 10 ist ein Diagramm, welches eine geschätzte Situation S zeigt, welche durch Vergrößern des Teils des aufgenommenen Bilds V erzeugt wird. Beispielsweise in einem Fall, in welchem das Fahrzeug auf einer linearen Straße fährt, ohne dass ein anderes Fahrzeug vor ihm ist, wird geschätzt, dass eine Situation in einem Fall, dass die vorbestimmte Zeit verstrichen ist, ähnlich zu einer Situation ist, die in einem Bild gezeigt ist, welches durch Vergrößern eines Bilds nahe des Zentrums des Bilds zur Aufnahmezeit auf der Grundlage von Geschwindigkeitsdaten erhalten wird. Daher erzeugt die Erzeugungseinheit für eine geschätzte Situation 321a das vergrößerte Bild S als ein Bild, in welchem die geschätzte Situation angezeigt wird.
  • Zusätzlich kann die Erzeugungseinheit für eine geschätzte Situation 321a eine geschätzte Situation durch vorheriges Lesen der Situation des Fahrzeugs M auf der Grundlage des Handlungsplans des Fahrzeugs M erzeugen, welcher von der Kommunikationsvorrichtung 310 erhalten wird. Unter Bezugnahme auf den Handlungsplan wird vorhergesagt, dass eine Situation, welche nicht aus der abgebildeten Situation des Fahrzeugs M geschätzt werden kann, in welcher ein Abbiegen nach rechts, ein Abbiegen nach links, ein Spurwechsel oder ähnliches durch das Fahrzeug M oder ein Anhalten des Fahrzeugs M durchgeführt worden ist, in der Zukunft auftreten wird. Daher erzeugt die Erzeugungseinheit für eine geschätzte Situation 321a eine geschätzte Situation, wie beispielsweise eine Richtungssteuerung unter Berücksichtigung einer Ereigniszeit eines Handlungsplans und einer Kommunikationsverzögerung.
  • In diesem Fall kann die Erzeugungseinheit für eine geschätzte Situation 321a ein Bild erzeugen, welches die geschätzte Situation als ein Bild anzeigt, welches durch Computergrafiken (CG) oder ähnliches synthetisiert wird. Zusätzlich kann die Erzeugungseinheit für eine geschätzte Situation 321a dazu eingerichtet sein, den entfernten Betreiber O zu veranlassen, einen entfernten Betrieb eines ausreichenden Erhöhens eines Abstands zwischen Fahrzeugen oder eines Verringerns des Geschwindigkeit des Fahrzeugs M durchzuführen, um einen Kontakt mit einem anderen Fahrzeug zu verhindern, selbst wenn eine Kommunikationsverzögerung auftritt, und ein Bild anzuzeigen, welches eine geschätzte Situation anzeigt, um einen Sicherheitsabstand zu sichern. Die Erzeugungseinheit für eine geschätzte Situation 321a kann beispielsweise dazu eingerichtet sein, ein anderes Fahrzeug bei einer Distanz anzuzeigen, welche näher als die tatsächliche Distanz in dem in der geschätzten Situation gezeigten Bild ist, eine Szene in eine Größe größer als eine tatsächliche Größe zu vergrößern, um die vergrößerte Szene anzuzeigen, und den entfernten Betreiber O dazu zu veranlassen, einen entfernten Betrieb auf einer sicheren Seite durchzuführen. Das heißt, dass die Erzeugungseinheit für eine geschätzte Situation 321a ein Bild anzeigt, welches die geschätzte Situation anzeigt, um den Sicherheitsabstand des durchzuführenden Betriebs in dem entfernten Betrieb auf der Grundlage der Kommunikationsumgebung zu sichern.
  • Der Lautsprecher 322 gibt einen Warnton in Übereinstimmung mit der Annäherung eines Hindernisses aus, welches von der Erkennungsvorrichtung für ein physisches Objekt 16 des Fahrzeugs M erkannt wird, an das Fahrzeug M aus. Der entfernte Betreiber O sitzt auf dem Sitz 323. Die Präsentationseinheit 321 zeigt ein Bild an, welches die geschätzte Situation anzeigt, und veranlasst den entfernten Betreiber O, das Lenkrad 324, die Pedale 325 und ähnliches bezüglich der Fahr-Betriebselemente zu betreiben. Betriebsmengen werden daher von einem Sensor (nicht gezeigt) detektiert und zu der entfernten Betriebs-Empfangseinheit 330 ausgegeben. Das Fahr-Betriebselement kann ein anderer Typ von Fahr-Betriebselement, wie beispielsweise ein Joystick, ein. Die entfernte Betriebs-Empfangseinheit 330 gibt Informationen im Zusammenhang mit einer Menge einer Betriebseingabe von dem Fahr-Betriebselement an die entfernte Betriebs-Steuereinheit 340 aus. Die entfernte Betriebs-Steuereinheit 340 erzeugt Steuerinformationen, welche an das Fahrzeug M zu übertragen sind, auf der Grundlage der Informationen, welche der Menge der Betriebseingabe von dem Fahr-Betriebselement zugeordnet sind. Die Steuerinformationen werden von der Kommunikationsvorrichtung 310 übertragen.
  • Die Kommunikationsvorrichtung 310 überträgt die Steuerinformationen, welche wie oben beschrieben erzeugt werden, zu dem Fahrzeug M. Eine Reaktionskraft-Ausgabevorrichtung zum Hervorrufen einer Reaktionskraft, welche durch eine Betriebsmenge zum Wirken erzeugt wird, ist ebenfalls an dem Fahr-Betriebselement angebracht. Es ist bevorzugt, dass Informationen, wie beispielweise Geschwindigkeit und Winkelgeschwindigkeit von dem Fahrzeug M zu der entfernten Betriebsvorrichtung 320 geliefert werden, um die Reaktionskraft akkurat zu bestimmen. Die zu übertragenden Steuerinformationen sind beispielsweise die Betriebsmenge an dem Lenkrad 324 oder den Pedalen 325.
  • Als nächstes wird ein Ablauf eines Prozesses des entfernten Betriebssystems 300 beschrieben werden. 11 ist ein Flussdiagramm, welches den Ablauf des Prozesses des entfernten Betriebssystems 300 zeigt. Nachdem die entfernte Betriebsanfrage empfangen wird, empfängt das entfernte Betriebssystem 300 Informationen, einschließlich der Situation des Fahrzeugs M, von dem Fahrzeug M über die Kommunikationsvorrichtung 310 (Schritt S100). Die Auswahleinheit 311 wählt eine entfernte Betriebsvorrichtung 320 mit einer guten Kommunikationsumgebung bezüglich des Fahrzeugs M aus der Mehrzahl von entfernten Betriebsvorrichtungen 320 aus (Schritt S110). In der ausgewählten entfernten Betriebsvorrichtung 320 erzeugt die Erzeugungseinheit für eine geschätzte Situation 321a ein Bild, welches die geschätzte Situation des Fahrzeugs M anzeigt, welche durch das vorherige Lesen der Situation des Fahrzeugs M erhalten wird. Dann wird ein Bild, welches die geschätzte Situation anzeigt, an der Anzeigeeinheit 321b angezeigt (Schritt S120).
  • Die entfernte Betrieb-Empfangseinheit 320 erhält jeden Betrieb des entfernten Betreibers O auf Grundlage der geschätzten Situation, welche an der Anzeigeeinheit 321b angezeigt wird (Schritt S130). Die entfernte Betrieb-Steuereinheit 340 überträgt jeden Betrieb des entfernten Betreibers O, welcher von der entfernten Betrieb-Empfangseinheit 320 erhalten wird, als Steuerinformationen an das Fahrzeug M mittels der Kommunikationsvorrichtung 310 (Schritt S140).
  • Wenngleich das entfernte Betriebssystem 300 eine entfernte Betriebsvorrichtung 320 aus der Mehrzahl von entfernten Betriebsvorrichtungen 320 unter Verwendung der Auswahleinheit 311 auswählt, nachdem die entfernte Betriebsanfrage in dem oben beschriebenen Schritt 110 erhalten wird, kann eine entfernte Betriebsvorrichtung 320 automatisch ausgewählt werden, ohne dass dies von der Auswahleinheit 311 abhängt. Beispielsweise kann, nachdem die entfernte Betriebsanfrage ausgewählt wird, die Kommunikationsvorrichtung 310 dazu eingerichtet sein, die Kommunikationsumgebung zu überwachen und automatisch eine entfernte Betriebsvorrichtung 320 mit der besten Kommunikationsumgebung bezüglich des Fahrzeugs M aus der Mehrzahl von entfernten Betriebsvorrichtungen 320 auszuwählen.
  • 12 ist ein Ablaufdiagramm, welches einen Prozess eines automatischen Auswählens der entfernten Betriebsvorrichtung 320 zeigt. In 12 sind m, p und y positive Ganzzahlen. Entfernte Steueranweisungen werden von einer Mehrzahl von Fahrzeugen, in welchem ein automatisiertes Fahren durchgeführt wird, zufällig übertragen. Die Kommunikationsvorrichtung 310 ordnet die Mehrzahl von entfernten Vorrichtungen 320 in absteigender Reihenfolge von Kommunikationsumgebungen bezüglich des Fahrzeugs M. Die Kommunikationsvorrichtung 310 wählt zuerst eine entfernte Vorrichtung 320-m mit der besten Kommunikationsumgebung bezüglich des Fahrzeugs M aus. Die Kommunikationsvorrichtung 310 stellt eine Kommunikationsverbindung zwischen dem Fahrzeug M und der entfernten Vorrichtung 320-m her. In einem Fall, dass die Kommunikationsverbindung zwischen dem Fahrzeug M und der entfernten Vorrichtung 320-m nicht hergestellt werden kann, wählt die Kommunikationsvorrichtung 310 zuerst eine entfernte Vorrichtung 320-p mit der zweitbesten Kommunikationsumgebung bezüglich des Fahrzeugs M aus.
  • Die Kommunikationsvorrichtung 310 stellt dann eine Kommunikationsverbindung zwischen dem Fahrzeug M und der entfernten Vorrichtung 320-p her. Wenn die Kommunikationsvorrichtung 310 die Kommunikationsverbindung zwischen dem Fahrzeug M und der entfernten Vorrichtung 320-p nicht herstellen kann, wählt die Kommunikationsvorrichtung 310 eine entfernte Vorrichtung 320-y mit der drittbesten Kommunikationsumgebung bezüglich des Fahrzeugs M aus. In einem Fall, dass die Kommunikationsvorrichtung 310 die Kommunikationsvorrichtung mit der entfernten Vorrichtung 320-y nicht herstellen kann, kann die Kommunikationsvorrichtung 320 mit einer besseren Kommunikationsumgebung neben der entfernten Vorrichtung 320-y wie oben beschrieben ausgewählt werden.
  • Gemäß dem Transportsystem 1 der oben beschriebenen ersten Ausführungsform ist es in einem Fall, dass das Fahrzeug, in welchem das automatisierte Fahren durchgeführt wird, von dem automatisierten Fahren zu dem entfernten Betrieb umgeschaltet wird, möglich, die beste entfernte Verbindung 320 mit einer besten Kommunikationsumgebung bezüglich des Fahrzeugs M aus der Mehrzahl von entfernten Vorrichtungen 320 auszuwählen.
  • Ebenfalls kann gemäß dem Transportsystem 1, selbst wenn eine Kommunikationsverzögerung zwischen dem Fahrzeug M und dem entfernten Betriebssystem 300 auftritt, der entfernte Betrieb des entfernten Betreibers mit einem reduzierten Einfluss durch die Kommunikationsverzögerung erhalten werden. In dem Transportsystem 1 kann in einem Fall, dass das entfernten Betriebssystem 300 eine Situation des Fahrzeugs M erhält, welche von dem Fahrzeug M aufgenommen wird, da das entfernte Betriebssystem 300 ein Bild erzeugt und anzeigt, welches eine geschätzte Situation anzeigt, welche durch vorheriges Lesen der Situation des Fahrzeugs M erhalten wird, der entfernte Betreiber O das Lenkrad 324 und die Pedale 325 in Übereinstimmung mit einer zukünftigen Situation außerhalb des Fahrzeugs betreiben.
  • <Zweite Ausführungsform>
  • In der ersten Ausführungsform ist der Empfang einer Betriebsanfrage, welche von einem Fahrzeug in der Zukunft benötigt wird, von dem entfernten Betreiber O durch ein Erzeugen einer geschätzten Situation an der Seite des entfernten Betriebssystems 300 bezüglich einer Kommunikationsverzögerung zwischen dem Fahrzeug M und dem entfernten Betriebssystem 300 beschrieben worden. In einer zweiten Ausführungsform liest ein Fahrzeug M eine Situation eines Fahrzeugs M vorher und überträgt eine vorher gelesene zukünftige Situation des Fahrzeugs M zu einem entfernten Betriebssystem 300.
  • 13 ist ein Diagramm, welches ein Beispiel von Komponenten zeigt, welche an dem Fahrzeug M gemäß der zweiten Ausführungsform montiert sind. Das Fahrzeug M überträgt zuvor gelesene Informationen anstelle der Situation, welche von dem Fahrzeug M aufgenommen wird, zu dem entfernten Betriebssystem 300. In der zweiten Ausführungsform umfasst die erste Steuereinheit 120 des Fahrzeugs M eine Erzeugungseinheit für eine geschätzte Situation 124.
  • Die Erzeugungseinheit für eine geschätzte Situation 124 berechnet eine Kommunikationsverzögerung zwischen einer Kommunikationsvorrichtung 20 und dem entfernten Betriebssystem 300. Dann erzeugt die Erzeugungseinheit für eine geschätzte Situation 124 eine geschätzte Situation, welche nach dem Verstreichen einer vorbestimmten Zeit im Zusammenhang mit der Kommunikationsverzögerung von der Situation des Fahrzeugs M geschätzt wird, welche von der Kamera 10 abgebildet wird, auf der Grundlage der Kommunikationsverzögerung. Zu diesem Zeitpunkt kann die Erzeugungseinheit für eine geschätzte Situation 124 die Situation des Fahrzeugs M unter Bezugnahme auf den Handlungsplan schätzen, welcher von der Handlungsplan-Erzeugungseinheit 123 erzeugt wird, und ein Bild erzeugen, welches die geschätzte Situation anzeigt. Die geschätzte Situation, welche von der Erzeugungseinheit für eine geschätzte Situation 124 erzeugt wird, wird zu dem entfernten Betriebssystem 300 mittels der Kommunikationsvorrichtung 20 übertragen. In dem entfernten Betriebssystem 300, welches die geschätzte Situation empfängt, führt der entfernte Betreiber O einen entfernten Betrieb durch, während er ein Bild betrachtet, welches die angezeigte geschätzte Situation anzeigt.
  • Gemäß der oben beschriebenen zweiten Ausführungsform kann die zukünftige Situation des Fahrzeugs M zu dem entfernten Betriebssystem 300 übertragen werden, indem die Situation des Fahrzeugs M an der Position des Fahrzeugs zuvor gelesen wird. Daher kann das Transportsystem 1 eine Verarbeitung im Zusammenhang mit der geschätzten Situation in jedem Fahrzeug M durchführen und kann die Last des entfernten Betriebssystems 300 verteilen.
  • <Dritte Ausführungsform>
  • In der ersten Ausführungsform und der zweiten Ausführungsform ist die Erzeugung der geschätzten Situation aus der Situation des Fahrzeugs M beschrieben worden, welche von der Kamera 10 abgebildet wird. In einer dritten Ausführungsform wird ein Bild, welches eine geschätzte Situation anzeigt, unter Verwendung eines Bilds erzeugt, welches von einer anderen Bildaufnahmevorrichtung als der Kamera 10 aufgenommen wird.
  • 14 ist ein Diagramm, welches einen Zustand des Fahrzeugs zeigt, welcher von einer Fixpunkt-Kamera K abgebildet wird. An einem Netzwerk NW liegt eine Straßenansicht vor, welche die Szene bereitstellt, welche von der Fixpunkt-Kamera K in Echtzeit abgebildet wird. Die Fixpunkt-Kamera weist beispielsweise ein 360-Grad-Blickfeld und eine Zoom-Funktion auf, und ein Benutzer kann eine Blickpunkt-Richtung und einen Zoom bezüglich eines Bilds der abgebildeten Szene frei festlegen.
  • In einem Fall, dass das Fahrzeug M innerhalb des Sichtfeld der Fixpunkt-Kamera K platziert ist, kann ein Bild, welches die geschätzte Situation anzeigt, als ein Bild erzeugt werden, welches unter Verwendung eines Bilds einer Szene synthetisiert wird, welche durch die Fixpunkt-Kamera K aufgenommen wird. Die Erzeugungseinheit für eine geschätzte Situation 321a erzeugt eine Szene der geschätzten Situation aus dem Bild der Fixpunkt-Kamera K in Übereinstimmung mit einer zukünftigen Position, welche aus der momentanen Position des Fahrzeugs M geschätzt wird. Die Erzeugungseinheit für eine geschätzte Situation 321a erzeugt die Szene der geschätzten Situation durch Bestimmen der Blickpunkt-Richtung und des Zooms. Ein sich bewegendes physisches Objekt wird an einer Position in einem Fall geschätzt, dass eine vorbestimmte Zeit verstrichen ist, und in eine geschätzte Szene synthetisiert. Somit wird ein Bild erzeugt, welches die geschätzte Situation zeigt.
  • Gemäß der oben beschriebenen dritten Ausführungsform ist es möglich, ein Volumen von Bilddaten einer Situation des Fahrzeugs M zu reduzieren, welche zwischen dem Fahrzeug M und dem entfernten Betriebssystem 300 zu übertragen und empfangen sind, und eine Kommunikationsverzögerung unter Verwendung von Bilddaten einer Szene zu reduzieren, welche von der Fixpunkt-Kamera K abgebildet wird, welche mit dem Netzwerk NW verbunden ist.
  • Wenngleich Möglichkeiten zum Ausführen der vorliegenden Erfindung oben unter Verwendung von Ausführungsformen beschrieben worden sind, ist die vorliegende Erfindung nicht im Geringsten auf diese Ausführungsformen beschränkt, und verschiedene Modifikationen und Ersetzungen können vorgenommen werden, ohne dass vom Geist und Umfang der vorliegenden Erfindung abgewichen wird.
  • [Bezugszeichenliste]
  • 1
    Transportsystem
    10
    Kamera
    16
    Erkennungsvorrichtung für physische Objekte
    20
    Kommunikationsvorrichtung
    30
    HMI
    80
    Fahr-Betriebselement
    100
    Steuereinheit für automatisiertes Fahren
    120
    Erste Steuereinheit
    124
    Erzeugungseinheit für eine geschätzte Situation
    140
    Zweite Steuereinheit
    160
    Entfernt betriebene Steuereinheit
    161
    Bestimmungseinheit für entfernten Betrieb
    300
    Entferntes Betriebssystem
    310
    Kommunikationsvorrichtung
    311
    Auswahleinheit
    320
    Entfernte Betriebsvorrichtung
    321
    Präsentationseinheit
    321a
    Erzeugungseinheit für eine geschätzte Situation
    330
    Empfangseinheit für einen entfernten Betrieb
    340
    Entfernte Betrieb-Steuereinheit

Claims (12)

  1. Entferntes Betriebssystem für ein Fahrzeug, wobei das entfernte Betriebssystem umfasst: eine Mehrzahl von entfernten Betriebsvorrichtungen, von welchen jede umfasst: eine Kommunikationseinheit, welche dazu eingerichtet ist, mit dem Fahrzeug zu kommunizieren und Informationen, einschließlich einer entfernten Betriebsanfrage, zu erhalten; eine Präsentationseinheit, welche dazu eingerichtet ist, einem entfernten Betreiber eine Situation des Fahrzeugs zu präsentieren, welche von dem Fahrzeug durch die Kommunikationseinheit erhalten wird; eine Empfangseinheit, welche dazu eingerichtet ist, einen Betrieb von dem entfernten Betreiber zu empfangen; und eine Steuereinheit, welche dazu eingerichtet ist, Steuerinformationen auf der Grundlage des Betriebs, welcher von der Empfangseinheit empfangen wird, zu erzeugen und die Steuerinformationen unter Verwendung der Kommunikationseinheit zu dem Fahrzeug zu übertragen, wobei eine entfernte Betriebsvorrichtung mit einer guten Kommunikationsumgebung bezüglich des Fahrzeugs, welches die entfernte Betriebsanfrage überträgt, aus der Mehrzahl von entfernten Betriebsvorrichtungen einen entfernten Betrieb durchführt.
  2. Entferntes Betriebssystem nach Anspruch 1, ferner umfassend eine Auswahleinheit, welche dazu eingerichtet ist, die entfernte Betriebsvorrichtung mit der guten Kommunikationsumgebung bezüglich des Fahrzeugs aus der Mehrzahl von entfernten Betriebsvorrichtungen auszuwählen, welches die entfernte Betriebsanfrage überträgt.
  3. Entferntes Betriebssystem nach Anspruch 2, wobei die Auswahleinheit vorzugsweise eine beliebige der entfernten Betriebsvorrichtungen mit einer kurzen Kommunikationsdistanz, einer höchsten Kommunikationsrate oder einer stabilsten Kommunikation bezüglich des Fahrzeugs auswählt, welches die entfernte Betriebsanfrage überträgt.
  4. Entferntes Betriebssystem nach Anspruch 1, wobei die Präsentationseinheit eine zukünftige Situation des Fahrzeugs auf der Grundlage der Situation des Fahrzeugs schätzt, welche von dem Fahrzeug durch die Kommunikationseinheit erhalten wird, und die geschätzte zukünftige Situation des Fahrzeugs dem entfernten Betreiber präsentiert.
  5. Entferntes Betriebssystem nach Anspruch 4, wobei die Präsentationseinheit ein Bild auf Grundlage der Situation des Fahrzeugs anzeigt, welche von dem Fahrzeug durch die Kommunikationseinheit empfangen wird, und ferner ein Bild anzeigt, welches durch Vergrößern eines Teils eines Bilds auf Grundlage der Situation des Fahrzeugs erhalten wird, welche von dem Fahrzeug durch die Kommunikationseinheit empfangen wird, als ein Bild, welches die zukünftige Situation des Fahrzeugs in einem Fall anzeigt, dass die Situation des Fahrzeugs, welche von dem Fahrzeug durch die Kommunikationseinheit erhalten wird, eine Situation ist, in welcher sich wenige physische Objekte vor dem Fahrzeug befinden.
  6. Entferntes Betriebssystem nach Anspruch 4, wobei die Kommunikationseinheit Informationen über einen Handlungsplan eines automatisierten Fahrens von dem Fahrzeug aufnimmt, und wobei die Präsentationseinheit die zukünftige Situation des Fahrzeugs auf der Grundlage des Handlungsplans schätzt.
  7. Entferntes Betriebssystem nach Anspruch 4, wobei die Präsentationseinheit ein Bild erzeugt, welches die zukünftige Situation des Fahrzeugs durch Synthetisieren eines Fixpunkt-Beobachtungsbilds und eines Bilds auf Grundlage der Situation des Fahrzeugs erzeugt, welches von dem Fahrzeug durch die Kommunikationseinheit empfangen wird.
  8. Entferntes Betriebssystem nach Anspruch 1, umfassend: eine Bestimmungseinheit, welche dazu eingerichtet ist, zu bestimmen, ob oder ob nicht eine Route, welche eine vorhergesagte Kommunikationsfehler-Eintrittsposition enthält, in einer geplanten Route enthalten ist, entlang welcher das Fahrzeug fahren wird; und eine Änderungseinheit, welche dazu eingerichtet ist, eine Route derart zu ändern, dass die vorhergesagte Kommunikationsfehler-Eintrittsposition in einem Fall vermieden wird, dass die Bestimmungseinheit bestimmt, dass die Route, welche die vorhergesagte Kommunikationsfehler-Eintrittsposition enthält, enthalten ist.
  9. Transportsystem, umfassend: das entfernte Betriebssystem nach Anspruch 1; und ein Fahrzeug-Steuersystem, welches an dem Fahrzeug montiert ist, welches den entfernten Betrieb empfängt.
  10. Transportsystem nach Anspruch 9, wobei das Fahrzeug-Steuersystem eine zukünftige Situation des Fahrzeugs auf der Grundlage einer Situation des Fahrzeugs schätzt und die geschätzte zukünftige Situation des Fahrzeugs zu dem entfernten Betriebssystem überträgt.
  11. Transportsystem nach Anspruch 10, wobei das Fahrzeug-Steuersystem ein automatisiertes Fahren auf der Grundlage eines Handlungsplans durchführt und die zukünftige Situation des Fahrzeugs auf der Grundlage des Handlungsplans schätzt.
  12. Entferntes Betriebsverfahren, in welchem eine Mehrzahl von entfernten Betriebsvorrichtungen mit einem Fahrzeug kommunizieren, Informationen, einschließlich einer entfernten Betriebsanfrage empfangen, eine Situation des Fahrzeugs, welche von dem Fahrzeug empfangen wird, einem entfernten Betreiber anzeigen, einen Betrieb des entfernten Betreibers empfangen, Steuerinformationen auf der Grundlage des empfangenen Betriebs erzeugen und die Steuerinformationen an das Fahrzeug übertragen, wobei das entfernte Betriebsverfahren umfasst: Durchführen eines entfernten Betriebs durch eine entfernte Betriebsvorrichtung mit einer guten Kommunikationsumgebung bezüglich des Fahrzeugs, welches die entfernte Betriebsanfrage überträgt, aus der Mehrzahl von entfernten Betriebsvorrichtungen.
DE112016007429.8T 2016-11-11 2016-11-11 Entferntes Betriebssystem, Transportsystem und entferntes Betriebsverfahren Withdrawn DE112016007429T5 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/083503 WO2018087879A1 (ja) 2016-11-11 2016-11-11 遠隔操作システム、交通システム、および遠隔操作方法

Publications (1)

Publication Number Publication Date
DE112016007429T5 true DE112016007429T5 (de) 2019-08-01

Family

ID=62110520

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112016007429.8T Withdrawn DE112016007429T5 (de) 2016-11-11 2016-11-11 Entferntes Betriebssystem, Transportsystem und entferntes Betriebsverfahren

Country Status (5)

Country Link
US (1) US11181902B2 (de)
JP (1) JP6677817B2 (de)
CN (1) CN109891470B (de)
DE (1) DE112016007429T5 (de)
WO (1) WO2018087879A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4002894A1 (de) 2020-11-16 2022-05-25 Volkswagen Ag Verfahren, computerprogramm und vorrichtung zum aufrufen einer ferngesteuerten fahrsitzung

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6859720B2 (ja) * 2017-01-24 2021-04-14 いすゞ自動車株式会社 車両制御装置及び管理システム
US11578981B1 (en) * 2017-03-29 2023-02-14 Apple Inc. Constrained registration of map information
US11168993B1 (en) 2017-03-29 2021-11-09 Apple Inc. Constrained registration of map information
JP2019207539A (ja) * 2018-05-29 2019-12-05 株式会社Soken 管理装置
US11561107B2 (en) 2018-06-15 2023-01-24 Phantom Auto Inc. Vehicle routing evaluation based on predicted network performance
JP7111530B2 (ja) * 2018-06-28 2022-08-02 株式会社Soken 車両の遠隔操作システム、車両制御装置、車両及び遠隔操作の開始タイミングを報知する方法
US11214265B2 (en) * 2018-08-22 2022-01-04 Phantom Auto Inc. Vehicle teleoperator ranking and selection
JP2020042764A (ja) * 2018-09-06 2020-03-19 株式会社Soken 車両遠隔操作支援システム
JP7418075B2 (ja) 2018-09-18 2024-01-19 キヤノン株式会社 撮像表示装置、ウェアラブルデバイスおよび撮像表示システム
JP7236310B2 (ja) * 2019-03-29 2023-03-09 本田技研工業株式会社 経路設定装置、経路設定方法及びプログラム
JP7256867B2 (ja) * 2019-03-29 2023-04-12 本田技研工業株式会社 制御装置、制御方法及びプログラム
JP7311295B2 (ja) * 2019-03-29 2023-07-19 本田技研工業株式会社 制御装置、制御方法及びプログラム
JP2020201792A (ja) * 2019-06-12 2020-12-17 株式会社Jvcケンウッド 車載通信装置、車両遠隔操作システム、通信方法およびプログラム
JP7208114B2 (ja) * 2019-07-04 2023-01-18 本田技研工業株式会社 情報提供装置、情報提供方法、およびプログラム
JP7159991B2 (ja) * 2019-07-23 2022-10-25 トヨタ自動車株式会社 車両制御システム及び車両制御装置
WO2021015201A1 (ja) * 2019-07-25 2021-01-28 株式会社プロドローン 遠隔操縦システムおよびその操縦装置
JP7243512B2 (ja) * 2019-07-29 2023-03-22 トヨタ自動車株式会社 遠隔操作システム、プログラム及び車両
JP7331531B2 (ja) 2019-07-29 2023-08-23 トヨタ自動車株式会社 遠隔操作システム、プログラム及び車両
JP7272164B2 (ja) * 2019-08-06 2023-05-12 トヨタ自動車株式会社 運転操作引継システム及び車両
JP7222332B2 (ja) * 2019-08-23 2023-02-15 トヨタ自動車株式会社 車両遠隔指示システム
JP7276023B2 (ja) * 2019-09-06 2023-05-18 トヨタ自動車株式会社 車両遠隔指示システム、及び自動運転車両
JP7234872B2 (ja) * 2019-09-12 2023-03-08 トヨタ自動車株式会社 車両遠隔指示システム
US11661089B2 (en) 2019-09-13 2023-05-30 Phantom Auto Inc. Mapping of intelligent transport systems to remote support agents
CN111016924B (zh) * 2019-12-12 2022-07-12 长城汽车股份有限公司 自动驾驶车辆的远程驾驶控制方法、装置及远程驾驶系统
CN111016925B (zh) * 2019-12-12 2022-03-15 长城汽车股份有限公司 自动驾驶车辆的远程驾驶系统
JP7314834B2 (ja) 2020-02-27 2023-07-26 株式会社デンソー 映像情報出力装置
CN112068566A (zh) * 2020-09-15 2020-12-11 北京百度网讯科技有限公司 引导路径确定方法及车辆的行驶控制方法、装置、设备
JP7351320B2 (ja) * 2021-03-09 2023-09-27 トヨタ自動車株式会社 車両制御システム及び車両制御方法
JP2022147730A (ja) * 2021-03-23 2022-10-06 トヨタ自動車株式会社 遠隔操作方法、遠隔操作装置、及び遠隔操作プログラム
JP2022174596A (ja) * 2021-05-11 2022-11-24 トヨタ自動車株式会社 自動運転システム、自動運転制御方法、及び自動運転制御プログラム
WO2022244329A1 (ja) * 2021-05-20 2022-11-24 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5461292A (en) * 1994-07-18 1995-10-24 Zondlo; Robert Remote controlled guidance system for working vehicle
JP3809914B2 (ja) * 1994-08-09 2006-08-16 株式会社フジタ 無人作業車の遠隔制御方法
JP3668704B2 (ja) * 2001-07-05 2005-07-06 株式会社ホンダロック 車載機器遠隔制御装置における通信モード変更方法
JP4985120B2 (ja) * 2007-06-07 2012-07-25 株式会社デンソー 車両用危険通知システム
JP2008306544A (ja) * 2007-06-08 2008-12-18 Denso Corp 車両用ナビゲーション装置
US20100106344A1 (en) * 2008-10-27 2010-04-29 Edwards Dean B Unmanned land vehicle having universal interfaces for attachments and autonomous operation capabilities and method of operation thereof
JP5506423B2 (ja) * 2010-01-21 2014-05-28 株式会社Ihiエアロスペース 無人車両の半自律走行システム
US8185302B2 (en) * 2010-08-26 2012-05-22 Ford Global Technologies, Llc Conservational vehicle routing
JP2013031389A (ja) 2011-08-01 2013-02-14 Original Soft:Kk 自動芝刈り機及びその制御方法
JP5817333B2 (ja) * 2011-08-24 2015-11-18 アイシン精機株式会社 車両用遠隔操作装置
CN104169987A (zh) * 2012-03-22 2014-11-26 日立汽车系统株式会社 车辆用通信装置以及通信管理系统
JP5941315B2 (ja) * 2012-03-29 2016-06-29 富士通テン株式会社 車両制御装置、及び、車両制御システム
US20150149265A1 (en) * 2013-11-27 2015-05-28 GM Global Technology Operations LLC Controlled parking of autonomous vehicles
JP6042794B2 (ja) * 2013-12-03 2016-12-14 本田技研工業株式会社 車両制御方法
CN103777632B (zh) 2013-12-31 2017-12-26 闻泰通讯股份有限公司 一种用手机控制车辆的系统及方法
US9720410B2 (en) * 2014-03-03 2017-08-01 Waymo Llc Remote assistance for autonomous vehicles in predetermined situations
CN203894610U (zh) * 2014-03-26 2014-10-22 东莞市奥时达信息技术有限公司 一种多方式汽车远程控制系统
JP6201916B2 (ja) * 2014-07-04 2017-09-27 株式会社デンソー 車両の運転モード制御装置
JP6310565B2 (ja) 2014-09-11 2018-04-11 本田技研工業株式会社 運転支援装置
KR101682880B1 (ko) * 2015-03-19 2016-12-20 현대자동차주식회사 차량 및 이를 포함하는 원격 차량 조작 시스템
US9494439B1 (en) * 2015-05-13 2016-11-15 Uber Technologies, Inc. Autonomous vehicle operated with guide assistance of human driven vehicles

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4002894A1 (de) 2020-11-16 2022-05-25 Volkswagen Ag Verfahren, computerprogramm und vorrichtung zum aufrufen einer ferngesteuerten fahrsitzung

Also Published As

Publication number Publication date
JPWO2018087879A1 (ja) 2019-09-26
US11181902B2 (en) 2021-11-23
CN109891470A (zh) 2019-06-14
CN109891470B (zh) 2022-03-01
WO2018087879A1 (ja) 2018-05-17
US20200057436A1 (en) 2020-02-20
JP6677817B2 (ja) 2020-04-08

Similar Documents

Publication Publication Date Title
DE112016007429T5 (de) Entferntes Betriebssystem, Transportsystem und entferntes Betriebsverfahren
DE112016006746T5 (de) Fahrzeugsteuerungssystem, Fahrzeugsteuerungsverfahren und Fahrzeugsteuerungsprogramm
DE102019102942A1 (de) Systeme und Verfahren für die Korrektur von Fahrzeugwegfolgern
DE112020002666T5 (de) Systeme und verfahren für die fahrzeugnavigation
DE102019102939A1 (de) Systeme und Verfahren für Bewegungsplanung von autonomen Fahrzeugen
DE112016006737T5 (de) Fahrzeugsteuersystem, fahrzeugsteuerverfahren und fahrzeugsteuerprogramm
DE102017121525A1 (de) Fahrzeug-mit-Fahrzeug-Kooperation zur Einweisung des Verkehrs
DE102018104801A1 (de) Unterstützen von fahrern bei fahrbahnspurwechseln
DE102020129456A1 (de) Trajektorienvorhersage aus einer vorberechneten oder dynamisch generierten bank von trajektorien
DE112019001046T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm und mobiler körper
DE102018102513A1 (de) Fahrzeugkommunikationssystem und Fahrzeugsteuerungsvorrichtung
DE112016003156T5 (de) Fahrzeugsteuerungsvorrichtung; Fahrzeugsteuerungsverfahren und Fahrzeugsteuerungsprogramm
DE112016006614T5 (de) Fahrzeug-Regel-/Steuersystem, Fahrzeug-Regel-/Steuerverfahren und Fahrzeug-Regel-/Steuerprogramm
DE112017000797T5 (de) Fahrzeugsteuervorrichtung, fahrzeugsteuerverfahren und fahrzeugsteuerprogramm
DE102019102944A1 (de) Systeme und Verfahren für eine Fahrzeugregelstrategie mit niedrigem Vorsteuerungsniveau
DE112016007549T5 (de) Fahrzeug-steuer-/regelsystem, fahrzeug-steuer-/regelverfahren und fahrzeug-steuer-/regelprogramm
DE102017112024A1 (de) Übertragungsnotwendigkeits-Bestimmungsvorrichtung und Routenplanungssystem
DE112016006745T5 (de) Fahrzeugsteuersystem, Fahrzeugsteuerverfahren und Fahrzeugsteuerprogramm
DE112017006897T5 (de) Fahrzeugsteuersystem, fahrzeugsteuerverfahren und fahrzeugsteuerprogramm
DE102020101140A1 (de) Verfahren und system zum bestimmen einer aktion eines autonomen fahrzeugs (av) basierend auf fahrzeug- und edge-sensordaten
DE112018004507T5 (de) Informationsverarbeitungseinrichtung, bewegungseinrichtung und verfahren und programm
DE112016006685T5 (de) Fahrzeugsteuervorrichtung, Fahrzeugsteuerverfahren und Fahrzeugsteuerprogramm
DE112018005907T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm und beweglicher körper
DE102016207421A1 (de) Fahrzeugfahrtsteuervorrichtung
DE112017001348T5 (de) Fahrzeug-Steuer-/Regelsystem, Fahrzeug-Steuer-/Regelverfahren und Fahrzeug-Steuer-/Regelprogramm

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R084 Declaration of willingness to licence
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee