DE102017212343A1 - Verfahren und Vorrichtung zum Bereitstellen von Umgebungsinformationen - Google Patents

Verfahren und Vorrichtung zum Bereitstellen von Umgebungsinformationen Download PDF

Info

Publication number
DE102017212343A1
DE102017212343A1 DE102017212343.5A DE102017212343A DE102017212343A1 DE 102017212343 A1 DE102017212343 A1 DE 102017212343A1 DE 102017212343 A DE102017212343 A DE 102017212343A DE 102017212343 A1 DE102017212343 A1 DE 102017212343A1
Authority
DE
Germany
Prior art keywords
vehicle
environmental information
latency
terminal
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102017212343.5A
Other languages
English (en)
Inventor
Alfred Kuttenberger
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102017212343.5A priority Critical patent/DE102017212343A1/de
Priority to PCT/EP2018/065314 priority patent/WO2019015876A1/de
Publication of DE102017212343A1 publication Critical patent/DE102017212343A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097Predicting future conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06Automatic manoeuvring for parking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0285Parking performed automatically
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Bereitstellen von Umgebungsinformationen, welche eine Fahrzeugumgebung eines Fahrzeuges (1) beschreiben. Dabei erfolgt ein Erfassen von Umgebungsinformationen (10) mittels eines an dem Fahrzeug (1) angeordneten Sensors (2), welche die Fahrzeugumgebung des Fahrzeuges (1) abbilden, - Ermitteln einer Latenzzeit, welche eine Verzögerung zwischen einem Erfassen der Umgebungsinformationen und einem möglichen Darstellen der Umgebungsinformationen auf einem Endgerät (3) beschreibt, ein Ermitteln einer voraussichtlichen Bewegungsbahn (4) des Fahrzeuges (1), ein Errechnen von korrigierten Umgebungsinformationen (11) aus den erfassten Umgebungsinformationen (10), wobei die erfassten Umgebungsinformationen (10) basierend auf der Latenzzeit und der Bewegungsbahn des Fahrzeuges (4) derart korrigiert werden, dass diese die Fahrzeugumgebung des Fahrzeuges (1) so abbilden, wie dies voraussichtlich durch die von dem Sensor (2) erfassten Umgebungsinformationen (10) erfolgen wird, wenn das Fahrzeug (1) sich für die Dauer der ermittelten Latenzzeit entlang der voraussichtlichen Bewegungsbahn (4) bewegt, und ein Bereitstellen der korrigierten Umgebungsinformationen (11) für das Endgerät.

Description

  • Stand der Technik
  • Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Bereitstellen von Umgebungsinformationen.
  • Bei Systemen aus dem Umfeld des automatischen Parkens gibt es bereits erste Anwendungen, bei denen Bilder und Daten von einem Fahrzeug an andere Geräte übertragen werden. Dies erfolgt beispielsweise über Bluetooth oder WiFi. Hierbei kommt zu Latenzen, die ermittelt werden. Bei hohen Latenzzeiten wird eine entsprechende Funktion des Systems gegebenenfalls deaktiviert.
  • Durch das Deaktivieren der jeweiligen Funktionen wird vermieden, dass ein Anwender zu einer Fehleinschätzung einer Situation aufgrund der Latenzen kommt. Es ist jedoch erstrebenswert, dass die im Bereich des automatischen Parkens bereitgestellten Funktionen mit hoher Verfügbarkeit bereitstehen.
  • Offenbarung der Erfindung
  • Ein erfindungsgemäßes Verfahren zum Bereitstellen von Umgebungsinformationen, welche eine Fahrzeugumgebung eines Fahrzeugs beschreiben, umfasst ein Erfassen von Umgebungsinformationen mittels eines an dem Fahrzeug angeordneten Sensors, welche die Fahrzeugumgebung des Fahrzeuges abbilden, ein Ermitteln einer Latenzzeit, welche eine Verzögerung zwischen einem Erfassen der Umgebungsinformationen und einem möglichen Darstellen der Umgebungsinformation auf dem Endgerät beschreibt, ein Ermitteln einer voraussichtlichen Bewegungsbahn des Fahrzeuges, ein Rechnen von korrigierten Umgebungsinformationen aus den erfassten Umgebungsinformationen, wobei die erfassten Umgebungsinformationen basierend auf der Latenzzeit und der Bewegungsbahn des Fahrzeuges derart korrigiert werden, dass diese die Fahrzeugumgebung des Fahrzeuges so abbilden, wie dies voraussichtlich durch die von dem Sensor erfassten Umgebungsinformationen erfolgen wird, wenn das Fahrzeug sich für die Dauer der ermittelten Latenzzeit entlang der voraussichtlichen Bewegungsbahn bewegt, und ein Bereitstellen der korrigierten Umgebungsinformationen für das Endgerät.
  • Eine erfindungsgemäße Vorrichtung zum Bereitstellen von Umgebungsinformationen, welche eine Fahrzeugumgebung eines Fahrzeuges beschreiben, umfasst einen Sensor, welcher dazu eingerichtet ist, Umgebungsinformationen zu erfassen, welche die Fahrzeugumgebung des Fahrzeuges abbilden, eine elektronische Recheneinheit, welche dazu eingerichtet ist, eine Latenzzeit zu ermitteln, welche eine Verzögerung zwischen einem Erfassen der Umgebungsinformation und einem möglichen Darstellen der Umgebungsinformationen auf einem Endgerät beschreibt, eine voraussichtliche Bewegungsbahn des Fahrzeuges zu ermitteln, und korrigierte Umgebungsinformationen aus den erfassten Umgebungsinformationen zu errechnen, wobei die erfassten Umgebungsinformationen basierend auf der Latenzzeit und der Bewegungsbahn des Fahrzeuges derart korrigiert werden, dass diese die Fahrzeugumgebung des Fahrzeuges so abbilden, wie dies voraussichtlich durch die von dem Sensor erfassten Umgebungsinformationen erfolgen wird, wenn das Fahrzeug sich für die Dauer der ermittelten Latenzzeit entlang der voraussichtlichen Bewegungsbahn bewegt und eine Schnittstelle, welche dazu eingerichtet ist, die korrigierten Umgebungsinformationen für das Endgerät bereitzustellen.
  • Durch das Verfahren und die Vorrichtung werden dabei insbesondere Umgebungsinformationen für ein Parkassistenzsystem bereitgestellt. Eine Umgebungsinformation ist eine Information, welche eine Fahrzeugumgebung des Fahrzeuges beschreibt. So ist eine Umgebungsinformation insbesondere eine Information, welche eine relative Lage von Objekten zu dem Fahrzeug beschreibt. Diese Umgebungsinformationen werden von einem an dem Fahrzeug angeordneten Sensor erfasst. So ist der Sensor ein Umgebungssensor. Durch die Umgebungsinformation wird die Fahrzeugumgebung des Fahrzeuges abgebildet. Dabei wird die Fahrzeugumgebung nicht zwingend visuell abgebildet, wird aber durch die Umgebungsinformation zumindest beschrieben. So können die Umgebungsinformationen entweder visuelle Informationen sein oder auch aus einer Vielzahl von Positionsdaten gebildet werden.
  • Es wird eine Latenzzeit ermittelt, welche eine Verzögerung zwischen einem Erfassen der Umgebungsinformation und einem möglichen Darstellen der Umgebungsinformation auf einem Endgerät beschreibt. Die erfassten Umgebungsinformationen werden dazu nicht zwingend auf dem Endgerät tatsächlich dargestellt oder diesen bereitgestellt. So kann die Latenzzeit auch unabhängig von den Umgebungsinformation gemessen, errechnet oder abgeschätzt werden. Das Endgerät ist insbesondere ein Gerät, welches über eine Funkverbindung mit dem Fahrzeug, insbesondere mit einer elektronischen Recheneinheit des Fahrzeuges, gekoppelt ist.
  • Bei dem Ermitteln der Latenzzeit wird festgestellt, welche Verzögerungszeit zwischen einem Erfassen der Umgebungsinformation und einem Darstellen der Umgebungsinformation auf dem Endgerät theoretisch vergehen würde, wenn die Umgebungsinformation durch die vorhandene Hardware und einem vorliegenden Übertragungskanal dem Endgerät bereitgestellt werden würde. Das Ermitteln der Latenzzeit umfasst dabei nicht zwingend ein tatsächliches Übertragen von Umgebungsinformationen von dem Sensor zu dem Endgerät. Eine Abschätzung einer Verzögerung, die bei einer solchen Übertragung vorliegen würde, ist ausreichend.
  • Das Ermitteln der voraussichtlichen Bewegungsbahn des Fahrzeuges erfolgt bevorzugt basierend auf Informationen, welche von einer Fahrzeugelektronik bereitgestellt werden. So werden für das Ermitteln der voraussichtlichen Bewegungsbahn des Fahrzeuges insbesondere Informationen bezüglich einer Bewegungsgeschwindigkeit des Fahrzeuges, eines Lenkeinschlages des Fahrzeuges und einer Bewegungsrichtung des Fahrzeuges genutzt. Es wird somit eine Bewegungstrajektorie für das Fahrzeug festgelegt. Die Bewegungsbahn des Fahrzeuges kann auch durch ein Fahrassistenzsystem bereitgestellt werden. So ist die Bewegungsbahn insbesondere eine von einem Parkassistenzsystem für das Fahrzeug berechnete Bewegungstrajektorie, welche beispielsweise für einen Einparkvorgang des Fahrzeugs berechnet wurde.
  • Die korrigierten Umgebungsinformationen sind solche Informationen, welche von dem angeordneten Sensor erfasst wurden und derart verarbeitet wurden, dass diese eine in der Zukunft liegende von dem Sensor erfasste Umgebungsinformation voraussagt. Die Umgebungsinformationen ändern sich mit einer Position des Fahrzeuges in der realen Welt. Eine zukünftige Position des Fahrzeuges in der realen Welt wird basierend auf der voraussichtlichen Bewegungsbahn des Fahrzeuges ermittelt. An welcher Stelle das Fahrzeug sich zu einem zukünftigen Zeitpunkt auf der voraussichtlichen Bewegungsbahn befindet, wird basierend auf der ermittelten Latenzzeit errechnet. Die bereits erfassten Umgebungsinformationen werden derart verändert, dass diese zukünftige Umgebungsinformationen, hier als korrigierte Umgebungsinformation bezeichnet, darstellen.
  • Die korrigierten Umgebungsinformationen werden für das Endgerät bereitgestellt. So werden diese beispielsweise mittels einer Schnittstelle bereitgestellt, insbesondere mittels einer Funkschnittstelle. Weiter bevorzugt werden die korrigierten Umgebungsinformationen auf dem Endgerät dargestellt.
  • Durch die erfindungsgemäße Vorrichtung wird das erfindungsgemäße Verfahren ausgeführt. Dabei umfasst die erfindungsgemäße Vorrichtung bevorzugt auch das Endgerät, für welches die korrigierten Umgebungsinformationen bereitgestellt werden.
  • Es wird somit eine Latenz zwischen einer ECU, das bedeutet einer elektronischen Steuereinheit, in dem Fahrzeug und einem Endgerät außerhalb des eigentlichen Fahrzeugkommunikationssystems ermittelt. Mittels eines geeigneten Algorithmus wird diese ermittelte Latenz durch Vorausberechnung des Szenarios minimiert, um die Verfügbarkeit von Funktionen, welche auf dem Bereitstellen der erfassten Umgebungsinformationen basieren, zu erhöhen.
  • Die Latenzzeit ist bevorzugt eine vollständige Verzögerungszeit zwischen dem Erfassen der Umgebungsinformation und einem Darstellen der korrigierten Umgebungsinformationen auf dem Endgerät. Ebenfalls bevorzugt ist die Latenzzeit eine Zeitkomponente, welche einen Anteil einer verstrichenen Zeit zwischen einem Erfassen der Umgebungsinformationen und einem Darstellen der korrigierten Umgebungsinformationen auf dem Endgerät beschreibt. Je mehr Komponenten eines Signalpfades zwischen dem Sensor und dem Endgerät durch die Latenzzeit beschreiben werden, desto besser kann eine Verzerrung von Umgebungsinformationen bei deren Darstellung kompensiert werden.
  • Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.
  • Bevorzugt umfasst der Sensor eine Kamera und die erfassten Umgebungsinformationen umfassen Kamerabilder, wobei bei dem Errechnen von korrigierten Umgebungsinformationen eine Ansicht der Fahrzeugumgebung aus Sicht der Kamera errechnet wird, welche die Fahrzeugumgebung aus Sicht der Kamera darstellt, nachdem das Fahrzeug sich für die Dauer der ermittelten Latenzzeit entlang der voraussichtlichen Bewegungsbahn bewegt hat. Es wird somit eine Ansicht der Kamera errechnet, welche diese in Zukunft bereitstellen wird, so sich das Fahrzeug tatsächlich für die Dauer der Latenzzeit entlang der voraussichtlichen Bewegungsbahn bewegt. Es wird somit für die Dauer der Latenzzeit in die Zukunft geblickt. Eine Genauigkeit der korrigierten Umgebungsinformationen ist dabei abhängig davon, wie genau die Latenzzeit und wie genau die voraussichtliche Bewegungsbahn des Fahrzeuges vorhergesagt wird.
  • Bevorzugt erfolgt ferner ein Ermitteln einer voraussichtlichen Objektbewegungsbahn von einem Objekt in der Fahrzeugumgebung des Fahrzeuges und das Errechnen der korrigierten Umgebungsinformationen erfolgt basierend auf der Latenzzeit, der Bewegungsbahn des Fahrzeuges und der Objektbewegungsbahn. Auf diese Weise kann eine Eigenbewegung von Objekten in die korrigierten Umgebungsinformationen einfließen.
  • Bevorzugt wird die ermittelte Latenzzeit durch einen Indikator auf dem Endgerät dargestellt. Auf diese Weise wird ein Wert bereitgestellt, welcher eine Zuverlässigkeit der korrigierten Umgebungsinformationen anzeigt. Es wird somit einem Anwender ermöglicht zu entscheiden, ob den korrigierten Umgebungsinformationen, welche gegebenenfalls auf dem Endgerät dargestellt werden, vertraut werden kann. Der Indikator ist beispielsweise eine Skala, auf welcher ein Wert für die ermittelte Latenzzeit angezeigt wird, eine Farbanzeige aus grün, gelb und rot oder eine Auswahl unterschiedlicher Smileys, welche entsprechend der ermittelten Latenzzeit angezeigt werden. Ein Indikator ist dabei eine bereitgestellte optische oder akustische Information.
  • Auch ist es vorteilhaft, wenn das Errechnen der korrigierten Umgebungsinformationen durch das Endgerät oder durch eine elektronische Recheneinheit des Fahrzeuges erfolgt. So kann das Korrigieren der Umgebungsinformationen entweder auf Seiten des Fahrzeuges oder auf Seiten des Endgerätes erfolgen. Erfolgt das Korrigieren der Umgebungsinformationen auf Seiten des Endgerätes, so wird es insbesondere ermöglicht, dass für unterschiedliche Endgeräte eine unterschiedliche Korrektur der Umgebungsinformationen, insbesondere basierend auf unterschiedlichen Latenzzeiten, erfolgt. Erfolgt die Korrektur der Umgebungsinformationen auf Seiten des Fahrzeuges durch eine elektronische Recheneinheit, so können die bereits korrigierten Umgebungsinformationen für das Endgerät bereitgestellt werden und eine notwendige Rechenleistung des Endgerätes wird minimiert.
  • Auch ist es vorteilhaft, wenn bei dem Ermitteln der Latenzzeit von einer elektronischen Recheneinheit des Fahrzeuges eine Anfrage an das Endgerät gesendet wird, von dem Endgerät in Reaktion auf ein Empfangen der Anfrage eine Antwort an die elektronische Recheneinheit des Fahrzeuges gesendet wird, und aus einer Zeitdifferenz zwischen dem Senden der Anfrage und einem Empfangen der Antwort die Latenzzeit ermittelt wird. Es wird somit ein Challenge-Response-Verfahren implementiert. Die Anfrage kann dabei auch erfasste Umgebungsinformationen umfassen. Es wird somit ein Signalpfad zwischen Sensor und Endgerät zumindest anteilig in doppelter Richtung durchlaufen. Aus der gesamten Laufzeit wird die Latenzzeit ermittelt. Dies ist vorteilhaft, da keine gemeinsame Zeitbasis auf Seiten des Fahrzeuges, also auf Seiten der elektronischen Recheneinheit, und auf Seiten des Endgerätes vorliegen muss.
  • Auch ist es vorteilhaft, wenn bei dem Ermitteln der Latenzzeit von einer elektronischen Recheneinheit des Fahrzeuges zu einem ersten Zeitpunkt eine Anfrage an das Endgerät gesendet wird, von dem Endgerät eine Antwort an die elektronische Recheneinheit des Fahrzeuges gesendet wird, welche eine Zeitangabe umfasst, welche einen zweiten Zeitpunkt beschreibt, zu welchem die Anfrage empfangen wurde, und aus einer Zeitdifferenz zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt die Latenzzeit ermittelt wird. Dabei ist es notwendig, dass die elektronische Recheneinheit und das Endgerät eine gemeinsame Zeitbasis nutzen. Dazu umfasst das Verfahren bevorzugt einen Synchronisierungsschritt zur Synchronisierung der Zeitbasen der elektronischen Recheneinheit und des Endgerätes. Wird die Latenzzeit auf diese Weise ermittelt, so wird lediglich eine Zeitverzögerung bei einer Übertragung der Umgebungsinformationen ausgehend von dem Sensor in Richtung des Endgerätes gemessen. Es kann somit eine besonders genaue Bestimmung der Latenzzeit erfolgen.
  • Auch ist es vorteilhaft, wenn das Endgerät ein mobiles Endgerät, insbesondere ein Mobiltelefon ist. Solche mobile Endgeräte werden oftmals in Kombination mit Assistenzsystemen für autonomes oder automatisches Parken genutzt. Auch wird durch solche mobilen Endgeräte oftmals eine Fernsteuerung von Fahrzeugen ermöglicht. Die Funkanbindung mobiler Endgeräte führt zu variablen Latenzzeiten. Diese Latenzzeiten können besonders groß sein, falls die Funkanbindung über ein Mobilfunknetz implementiert ist. Solche Latenzzeiten könne erfindungsgemäß kompensiert werden, wodurch auf dem mobilen Endgerät eine präzise Darstellung der Fahrzeugumgebung des Fahrzeuges ermöglicht wird.
  • Ebenso ist es vorteilhaft, wenn das Endgerät ein Steuergerät eines Fremdfahrzeuges oder ein Steuergerät eines Parkleitsystems ist. Solche Systeme interagieren oftmals mit den Systemen des Fahrzeuges, welches die Umgebungsinformationen bereitstellt. Es kann somit beispielsweise eine externe Kontrolle des Fahrzeuges, beispielsweise bei einem Valet-Parking-System erfolgen.
  • Ferner ist es vorteilhaft, wenn die Latenzzeit eine vorgegebene Komponente umfasst, welche eine systeminhärente Verzögerung beschreibt. So weisen der Sensor und die mit dem Sensor gekoppelten Systeme und auch das Endgerät Systemeigenschaften auf, welche unabhängig von einer Systemauslastung oder einem verfügbaren Übertragungskanal zu einer Latenzzeit führen. Diese werden als systeminhärente Verzögerungen bezeichnet. So kann beispielsweise ein Codieren der erfassten Umgebungsinformationen, um diese per Funk an das Endgerät zu senden, zu einer Verzögerung führen, welche für jeden Sendevorgang konstant ist. Auch die übrige Signalverarbeitung kann einen konstanten Wert einer Verzögerung verursachen. Dieser konstante Wert, also diese systeminhärente Verzögerung, kann auf einen variablen Wert addiert werden, um die gesamte Latenzzeit zu ermitteln. Der variable Wert ist dabei beispielsweise eine Verzögerung, welche durch die Funkübertragungsstrecke an sich oder beispielsweise durch eine erhöhte Systemauslastung des Endgerätes verursacht wird. Besonders bevorzugt ist die systeminhärente Verzögerungszeit einstellbar, wodurch eine Kalibrierung der Latenzzeit ermöglicht wird.
  • Figurenliste
  • Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. In der Zeichnung ist:
    • 1 eine Darstellung eines Fahrzeuges mit einer Vorrichtung zum Bereitstellen von Umgebungsinformationen,
    • 2 eine Darstellung des Fahrzeuges in einer Fahrzeugumgebung mit einer zugehörigen voraussichtlichen Bewegungsbahn,
    • 3 eine Darstellung des Fahrzeuges, nachdem dieses die voraussichtliche Bewegungsbahn abgefahren ist,
    • 4 eine beispielhafte Abbildung einer erfasste Umgebungsinformation in Form eines ersten Kamerabildes, und
    • 5 eine beispielhafte Abbildung der korrigierten Umgebungsinformationen in Form eines aus dem ersten Kamerabild errechneten Bildes.
  • Ausführungsformen der Erfindung
  • 1 zeigt eine Vorrichtung zum Bereitstellen von Umgebungsinformationen, welche eine Fahrzeugumgebung eines Fahrzeuges 1 beschreiben.
  • An dem Fahrzeug 1 ist ein Sensor 2 angeordnet, welcher dazu eingerichtet ist, Umgebungsinformationen 10 zu erfassen, welche die Fahrzeugumgebung des Fahrzeugs 1 abbilden. Der Sensor 2 ist dabei eine Kamera, welche an einer Fahrzeugfront des Fahrzeuges 1 angeordnet ist. Durch den Sensor 2 werden Kamerabilder erfasst. Die Kamerabilder sind erfasste Umgebungsinformationen 10, da diese die Fahrzeugumgebung des Fahrzeuges abbilden.
  • Der Sensor 2 ist mit einer elektronischen Recheneinheit 6 gekoppelt, welche in dem Fahrzeug 1 angeordnet ist. An der elektronischen Recheneinheit 6 ist eine Antenne 7 angeordnet, welche dazu eingerichtet ist, eine Funkverbindung zu einem Endgerät 3 bereitzustellen. Über die Funkverbindung wird ein Datenaustausch zwischen dem Endgerät 3 und dem Fahrzeug 1 ermöglicht. Das Endgerät 3 ist ebenfalls beispielhaft in 1 dargestellt und ist in dieser Ausführungsform ein mobiles Endgerät, hier ein Mobiltelefon.
  • Durch das Endgerät 3 kann eine Bewegung des Fahrzeuges 1 überwacht werden. Dazu werden von dem Sensor 2 erfasste Bildinformationen über die Funkverbindung zu dem Endgerät 3 übertragen und auf diesem dargestellt. So kann ein Anwender auf dem Endgerät 3 das von dem Sensor 2, also von der Kamera, erfasste Kamerabild betrachten.
  • Würde die von dem Sensor 2 erfasste Umgebungsinformation 10 nach einer Übertragung ohne eine Korrektur auf dem Endgerät 3 dargestellt werden, so würde eine Latenzzeit zwischen dem Erfassen der Umgebungsinformationen 10 und dem Darstellen der Umgebungsinformationen 10 auf dem Endgerät liegen. Das bedeutet mit anderen Worten, dass ein Anwender ein Kamerabild betrachten würde, welches nicht mehr aktuell ist. Die von dem Sensor 2 erfasste Umgebungsinformation 10 würde also mit einer Verzögerung dargestellt werden. Wird das Endgerät 3 beispielsweise für eine Überwachung einer autonomen Bewegung des Fahrzeuges 1 genutzt, so könnte dies dazu führen, dass der Anwender beispielsweise einen Not-Stopp des Fahrzeuges 1 erst verspätet anfordert.
  • Erfindungsgemäß erfolgt ein Ermitteln einer Latenzzeit, welche eine Verzögerung zwischen einem Erfassen der Umgebungsinformationen 10 und einem möglichen Darstellen der Umgebungsinformationen 10 auf dem Endgerät 3 beschreibt. Dazu wird von der elektronischen Recheneinheit 6 des Fahrzeuges 1 eine Anfrage an das Endgerät 3 gesendet. Die Anfrage ist ein beliebiges Datenpaket, kann aber auch beispielhafte Umgebungsinformationen 10 umfassen, welche von dem Sensor 2 erfasst wurden. Dieses Datenpaket, also die Anfrage, wird von dem Endgerät 3 empfangen. In Reaktion auf das Empfangen der Anfrage wird von dem Endgerät 3 eine Antwort an die elektronische Recheneinheit 6 des Fahrzeuges 1 gesendet. Sowohl das Senden der Anfrage als auch das Senden der Antwort auf die Anfrage erfolgt über die Funkverbindung. Umfasst die Anfrage beispielhafte erfasste Umgebungsinformationen 10, so erfolgt eine Verarbeitung der Umgebungsinformationen 10 auf dem Endgerät, bevor die Antwort auf die Anfrage an die Recheneinheit 6 des Fahrzeuges gesendet wird. Auf diese Weise kann ein Einfluss einer Verarbeitungszeit für die Darstellung der Umgebungsinformationen 10 in das Ermitteln der Latenzzeit einfließen. Durch die elektronische Recheneinheit 6 wird eine Zeitdifferenz gemessen, die zwischen dem Senden der Anfrage und dem Empfangen der Antwort auf die Anfrage verstrichen ist. Aus dieser Zeitdifferenz wird die Latenzzeit ermittelt. So wird die gemessene Zeit beispielsweise halbiert, wenn davon ausgegangen wird, dass ein Übertragungsweg von der elektronischen Recheneinheit zum dem Endgerät 3 genau so viel Zeit in Anspruch nimmt, wie eine Übertragung von dem Endgerät 3 zu der elektronischen Recheneinheit 6.
  • Alternativ erfolgt das Ermitteln der Latenzzeit dadurch, dass von der elektronischen Recheneinheit 6 des Fahrzeuges zu einem ersten Zeitpunkt eine Anfrage an das Endgerät 3 gesendet wird, von dem Endgerät 3 eine Antwort an die elektronische Recheneinheit 6 des Fahrzeuges gesendet wird, welche eine Zeitangabe umfasst, welche einen zweiten Zeitpunkt beschreibt, zu welchem die Anfrage empfangen wurde, und aus einer Zeitdifferenz zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt die Latenzzeit ermittelt wird. So ist der erste Zeitpunkt beispielsweise eine Uhrzeit, zu der die Anfrage an das Endgerät 3 gesendet wird. In Reaktion auf das Empfangen der Anfrage sendet das Endgerät 3 den zweiten Zeitpunkt an die elektronische Recheneinheit 6 zurück. Der zweite Zeitpunkt ist dabei eine Uhrzeit, zu der die Antwort von dem Endgerät 3 empfangen wurde. Der elektronischen Recheneinheit 6 ist somit eine Uhrzeit bekannt, zu der die Anfrage ausgesandt wurde und es ist der elektronischen Recheneinheit 6 eine Uhrzeit bekannt, zu der die Anfrage empfangen wurde. Aus der zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt verstrichenen Zeit wird die Latenzzeit ermittelt, wobei die Latenzzeit beispielsweise genau diesem verstrichenen Zeitraum entspricht.
  • Dabei ist es in allen Ausführungsformen der Erfindung vorteilhaft, wenn auf einem variablen Anteil der Latenzzeit eine zusätzliche systeminhärente Verzögerung addiert wird. So wird durch die zuvor beschriebenen Verfahren zum Ermitteln der Latenzzeit primär eine Latenzzeit errechnet, welche sich durch die Funkübertragung ergibt. Diese kann auch als eine anteilige Latenzzeit betrachtet werden. Um die Latenzzeit zu ermitteln, wird dann eine systeminhärente Verzögerung addiert, die beispielsweise sich aus dem Übermitteln der erfassten Umgebungsinformationen 10 von dem Sensor 2 zu der elektronischen Recheneinheit 6 ergibt. Alternativ oder zusätzlich ist es vorteilhaft, wenn die Latenzzeit zudem mit einem Faktor beaufschlagt wird, welcher eine Kalibrierung des Systems ermöglicht.
  • In einem weiteren Verfahrensschritt erfolgt ein Ermitteln einer voraussichtlichen Bewegungsbahn 4 des Fahrzeuges 1. So wird beispielsweise von der elektronischen Recheneinheit 6 auf eine Fahrzeugsensorik zugegriffen, welche eine Bewegungsgeschwindigkeit und einen Lenkeinschlag des Fahrzeuges 1 bereitstellt. Es sei beispielhaft angenommen, dass kein Lenkeinschlag vorliegt, das Fahrzeug 1 somit geradeaus fährt, und das Fahrzeug sich mit einer konstanten Geschwindigkeit vorwärts bewegt. Die voraussichtliche Bewegungsbahn 4 des Fahrzeuges 1 ist dann eine geradlinige Bewegungsbahn, welche vor dem Fahrzeug 1 liegt. Alternativ wird die Bewegungsbahn von einem Fahrassistenzsystem berechnet und bereitgestellt. So ist es beispielsweise für einen autonomen Einparkvorgang ohnehin notwendig eine Bewegungsbahn zu berechnen.
  • In einem weiteren Verfahrensschritt erfolgt ein Errechnen von korrigierten Umgebungsinformationen 11 aus den erfassten Umgebungsinformationen 10. Dies bedeutet, dass die erfassten Umgebungsinformationen 10 modifiziert werden, um die korrigierten Umgebungsinformationen 11 zu schaffen. So wird beispielsweise ein von dem Sensor 2 erfasstes Kamerabild verändert, um die korrigierte Umgebungsinformation 11 zu schaffen. Dabei werden die erfassten Umgebungsinformationen 10 basierend auf der Latenzzeit und der Bewegungsbahn des Fahrzeuges 4 korrigiert. Die erfassten Umgebungsinformationen 10 werden dabei derart korrigiert, dass diese die Fahrzeugumgebung des Fahrzeuges 1 so abbilden, wie diese voraussichtlich durch die von dem Sensor 2 erfassten Umgebungsinformationen 10 erfolgen wird, wenn das Fahrzeug 1 sich für die Dauer der ermittelten Latenzzeit entlang der voraussichtlichen Bewegungsbahn 4 bewegt.
  • Das Errechnen der korrigierten Umgebungsinformationen 11 anhand der 2 bis 5 beispielhaft beschrieben. Das anhand der 2 bis 5 beschriebene Beispiel ist eine besonders einfache Ausführungsform.
  • 2 stellt das Fahrzeug 1 in einer beispielhaften Fahrzeugumgebung dar. So befindet sich beispielsweise vor dem Fahrzeug 1 ein Baum 8, welcher ein beliebiges Objekt in der Fahrzeugumgebung repräsentiert. Durch den Sensor 2 wird der Baum 8 erfasst. Da der Sensor 2 eine Kamera ist, wird somit von dem Baum 8 ein Kamerabild erfasst, welches der erfassten Umgebungsinformation 10 entspricht. Dieses Kamerabild und somit die Umgebungsinformation 10 ist in 4 beispielhaft dargestellt. Es ist ersichtlich, dass in dem in 4 dargestellten Kamerabild der Baum 8 abgebildet ist. Ferner ist in 2 die zuvor beschriebene beispielhafte voraussichtliche Bewegungsbahn 4 des Fahrzeuges 1 dargestellt. Die voraussichtliche Bewegungsbahn 4 ist dabei eine geradlinige Bewegungsbahn, welche vor dem Fahrzeug 1 liegt.
  • Es wird davon ausgegangen, dass das Fahrzeug 1 sich für die Dauer der Latenzzeit entlang der voraussichtlichen Bewegungsbahn 4 vorwärts bewegt, so dass dieses sich an den Baum 8 annähert. Dies ist in 3 dargestellt. Zwischen den in 2 und 3 dargestellten Situationen ist somit die Latenzzeit verstrichen. Dabei wurde die voraussichtliche Bewegungsbahn 4 durch das Fahrzeug 1 abgefahren. Es wird darauf hingewiesen, dass die in 3 dargestellte Situation nicht tatsächlich eintreten muss, dies aber eine Situation ist, welche mit hoher Wahrscheinlichkeit eintritt.
  • Dadurch, dass der elektronischen Recheneinheit 6 die voraussichtliche Bewegungsbahn 4 des Fahrzeuges 1 bekannt ist, kann diese die korrigierten Umgebungsinformationen 11 errechnen. Diese kann somit in dem gezeigten Beispiel eine Ansicht der Fahrzeugumgebung aus Sicht des Sensors 2 errechnen, welche die Fahrzeugumgebung aus Sicht des Sensors 2 darstellt, nachdem das Fahrzeug 1 sich für die Dauer der ermittelten Latenzzeit entlang der voraussichtlichen Bewegungsbahn 4 bewegt hat. Dies ist beispielhaft in 4 gezeigt. Da die voraussichtliche Bewegungsbahn 4 darauf schließen lässt, dass das Fahrzeug 1 sich an den Baum 8 annähert, ist auch bekannt, dass der Baum 8 in der korrigierten Umgebungsinformation 11 größer dargestellt sein muss, als in der erfassten Umgebungsinformation 10. Es wird somit ein korrigiertes Kamerabild geschaffen, welches der korrigierten Umgebungsinformation 11 entspricht, wobei der Baum 8 derart abgebildet wird, als ob das Fahrzeug 1 sich tatsächlich dem Baum 8 angenähert hätte. Dabei ist es unerheblich, ob das Fahrzeug 1 sich tatsächlich dem Baum 8 angenähert hat oder nicht.
  • Die korrigierte Umgebungsinformationen 11 werden aus der erfassten Umgebungsinformationen 10 ermittelt. Dies ist in 3 mit einem gestrichelten Quadrat angedeutet. So ist in diesem einfachen Beispiel die korrigierte Umgebungsinformation 11 ein Bildausschnitt aus der erfassten Umgebungsinformation 10.
  • Wie bereits erwähnt ist das mit den 2 bis 5 beschriebene Beispiel als eine besonders einfache Ausführungsform zu verstehen. Es erschließt sich für den Fachmann, dass weitere Berechnungen notwendig sind, um die Umgebungsinformationen 10 so zu korrigieren, dass mit den korrigierten Umgebungsinformationen 11 ein annähernd realistisches Abbild der Fahrzeugumgebung des Fahrzeuges 1 auf dem Endgerät 3 bereitsteht.
  • So ist es beispielsweise in komplexeren Ausführungsformen vorteilhaft, wenn unterschiedliche Informationen von unterschiedlichen Sensortypen kombiniert werden. So ist es bei dem mit den 2 bis 4 beschriebenen Beispiel vorteilhaft, wenn zusätzlich zu dem Sensor 2, welcher in dem beschriebenen Beispiel eine Kamera ist, ein Abstandssensor an dem Fahrzeug 1 angeordnet ist, welcher einen Abstand zwischen dem Fahrzeug 1 und dem angrenzenden Objekt, also dem Baum 8, erfasst. Die Umgebungsinformationen 10 würden in diesem Fall aus einer Kombination von Kamerabildern und Abstandsinformationen gebildet. Auch können die Umgebungsinformationen 10 zusätzlich Richtungsinformationen umfassen, welche die Lage von Objekten gegenüber dem Fahrzeug 1 weiter definieren. Basierend auf diesen Umgebungsinformationen 10 wird ein 3D-Modell der Fahrzeugumgebung definiert. Aus den korrigierten Umgebungsinformationen 11 kann dann ein entsprechend angepasstes 3D-Modell der Fahrzeugumgebung errechnet werden, welches durch das Endgerät 3 genutzt werden kann, um die Fahrzeugumgebung abzubilden.
  • Dabei ist es vorteilhaft, wenn Eigenbewegungen von Objekten in der Fahrzeugumgebung erfasst werden und eine voraussichtliche Objektbewegungsbahn eines Objektes in der Fahrzeugumgebung des Fahrzeuges 1 ermittelt wird. Diese Objektbewegungsbahn kann als weitere Basis für das Errechnen der korrigierten Umgebungsinformationen 11 genutzt werden. So könnte eine Position und/oder Ausdehnung des Objektes in dem Bild entsprechend der Objektbewegungsbahn angepasst werden.
  • Ferner wird darauf hingewiesen, dass insbesondere dann, wenn die von dem Sensor erfassten Informationen Kamerabilder sind, nicht zwingend eine lineare Abhängigkeit zwischen erfassten Umgebungsinformationen 10 und den korrigierten Umgebungsinformationen 11 vorliegen muss. So kann es notwendig sein, die von dem Sensor 2 erfassten Kamerabilder zu verzerren oder Bildanteile neu zusammenzusetzen, um die korrigierten Umgebungsinformationen 11 zu schaffen. Auch kann zum Errechnen der korrigierten Umgebungsinformationen 11 auf Kamerabilder zurückgegriffen werden, welche von dem Sensor 2 zu unterschiedlichen Zeitpunkten erfasst wurden. Auf diese Weise können beispielsweise auch dann korrigierte Umgebungsinformationen 11 bereitgestellt werden, wenn das Fahrzeug 1 derart bewegt wird, dass die voraussichtliche Bewegungsbahn 4 einen Richtungswechsel des Fahrzeuges 1 umfasst.
  • Die Umgebungsinformationen 10 umfasst nicht zwingend Kamerabilder. So ist der Sensor 2 in einer alternativen Ausführungsform der Erfindung beispielsweise ein Abstandssensor. Dieser umfasst Abstandsinformationen, welche beispielsweise die Lage des Baumes 8 beschreiben.
  • Die korrigierten Umgebungsinformationen 11 werden für eine Darstellung auf dem Endgerät 3 bereitgestellt. So wird beispielsweise auf einem Display des in 1 dargestellten mobilen Endgerätes 3 das Kamerabild des Sensors 2 dargestellt, welches erfindungsgemäß korrigiert wurde. Auf diese Weise entspricht das auf dem Endgerät 3 dargestellte Kamerabild, also die korrigierte Umgebungsinformation 11, einem Bild, welches theoretisch genau zu diesem Zeitpunkt von dem Sensor 2 erfasst wird. Es versteht sich, dass es in der Praxis selbstverständlich zu einer Abweichung zwischen einer tatsächlichen Situation in der Fahrzeugumgebung des Fahrzeugs 1 und den für diesen Zeitpunkt auf dem Endgerät 3 dargestellten korrigierten Umgebungsinformationen 11 kommen kann, da die Korrektur der Umgebungsinformation 11 auf Annahmen basiert, welche nicht zwingend eintreten müssen.
  • Neben den korrigierten Umgebungsinformationen 11 wird auf dem Endgerät 3 ein Indikator dargestellt, welcher die ermittelte Latenzzeit darstellt. Dazu wird die ermittelte Latenzzeit von der elektronischen Recheneinheit 6 an das Endgerät 3 übertragen. Dort wird die ermittelte Latenzzeit beispielsweise farblich, oder wie in 1 gezeigt, durch einen Indikatorbalken dargestellt. Auch eine Darstellung durch eine Auswahl von sogenannten Smileys oder Emoticons ist vorteilhaft.
  • In einer alternativen Ausführungsform der Erfindung, welcher der zuvor beschriebenen Ausführungsform der Erfindung im Wesentlichen entspricht, erfolgt das Errechnen der korrigierten Umgebungsinformationen 11 durch das Endgerät und nicht durch die elektronische Recheneinheit 6. Dazu werden die erfassten Umgebungsinformationen 10 unverändert an das Endgerät 3 übertragen und die notwendige Korrektur der Umgebungsinformationen 10 erfolgt auf dem Endgerät 3.
  • In den zuvor beschriebenen Ausführungsformen ist das Endgerät 3 ein mobiles Endgerät. Die Erfindung ist jedoch nicht darauf beschränkt, dass das Endgerät 3 ein mobiles Endgerät ist. Alternativ ist das Endgerät 3 ein Steuergerät eines Fremdfahrzeuges oder ein Steuergerät eines Parkleitsystems. Ist das Endgerät 3 ein Steuergerät eines Fremdfahrzeuges, so kann das Fremdfahrzeug beispielsweise auf eine Bewegung des Fahrzuges 1 reagieren, wobei dieses die korrigierten Umgebungsinformationen 11 als Entscheidungsbasis nutzt. Auch könnte ein Parkleitsystem das Fahrzeug 1 steuern und dabei die korrigierten Umgebungsinformationen 11 als Basis für den Steuervorgang nutzen.
  • Zusammenfassend kann gesagt werden, dass bei Funktionen des automatischen Parkens derzeit bereits Daten an einen speziellen Schlüssel, oder z. B. ein Mobiltelefon übertragen (z. B. Bluetooth, WiFi) werden. Diese Übertragung ist mit Latenzen verbunden, welche zum Teil großen Schwankungen unterworfen sind. Als Beispiel wurde hier die Übertragung der mit einer Kamera (beispielsweise einer NRC-Kamera) aufgenommenen Bilder an ein Mobiltelefon erläutert.
  • Bei der Übertragung wird zum Mobiltelefon eine Funkstrecke mittels Bluetooth Und/oder Wifi aufgebaut, über welche die Bilddaten der Kamera übermittelt werden. Bei der Übertragung kommt es zu Latenzen, da die Funkverbindung nicht zeitgesteuert ist, oder auf dem Mobiltelefon noch andere Applikationen gleichzeitig laufen. Diese Latenz kann mittels eines Challenge-Response Verfahrens bestimmt werden. Ein einfaches Verfahren ist die Zeit zu messen, die benötigt wird vom Zeitpunkt als das Steuergerät im Fahrzeug 1 ein Signal aussendet, bis zu dem Zeitpunkt wenn von dem Mobiltelefon eine Antwort erhalten wird, welche nach dem Empfangen des Signals vom Steuergerät auf dem Mobiltelefon von diesem ausgelöst wird und an das Steuergerät zurück gesendet wird.
  • Alternativ kann auch zusätzlich noch die Zeit mit zurück übertragen werden zu welcher das Handy das Signal von der ECU empfangen hat (ist für die folgenden Funktion die relevante Latenz). Hierbei muß jedoch vorausgesetzt werden, dass beide Partner, also ECU und Handy, auf einer definierten Zeitbasis arbeiten. Diese Zeitbasis kann z. B. die Zeitbasis eines GPS-Signals sein. Ist die Latenzzeit bekannt, welche zwischen der ECU im Fahrzeug und dem Handy besteht, so kann diese wie folgt bei der Bildübertragung berücksichtigt werden.
  • Auf der im Fahrzeug 1 befindlichen ECU befindet sich ein Algorithmus, der anhand der Bewegungsparameter des Fahrzeugs 1 und der in der Umgebung detektierten Objekte die Bewegung des Fahrzeugs 1, sowie der anderen Objekte in der Umgebung um die Latenzzeit vorausberechnet und dieses dann an das Handy übermittelt. Somit wird dann auf dem Handy nicht das Bild aus der Vergangenheit angezeigt, sondern das vorausberechnete Bild, welches der Wirklichkeit deutlich näher ist als das Bild aus der Vergangenheit. Der Vorteil, der sich daraus ergibt ist, dass der Benutzer die aktuelle Szene angezeigt bekommt, welche bei Parkszenarien wichtig ist, da es sich hier um Situationen handelt, bei welchen der Abstand zwischen dem eigenen Fahrzeug und den umgebenden Objekten sehr gering ist. Es kann somit die Verfügbarkeit der Funktion trotzt größere Latenzzeiten erhöht werden.
  • Ein weiteres vorteilhaftes Merkmal kann sein, dass dem Endnutzer auf dem Mobiltelefon angezeigt wird, ob die Latenzzeit im tolerierbaren Bereich ist oder er andere Applikationen ausschalten soll. Die Anzeige kann beispielsweise aus einer Farbanzeige Grün, Gelb, Rot oder Smileys bestehen.
  • Die Latenzzeitermittlung und Korrektur, kann auch auf andere Funktionen ausgeweitet werden, bei denen das Fahrzeug 1 mit der Umgebung kommuniziert. Ein weiteres Beispiel hierfür ist die Funktion Valet-Parking, bei der das Fahrzeug 1 im Parkhaus autonom einparkt und mit dem Parkhaus kommuniziert. Weiter kann die Funktion zur Messung und Korrektur auch bei der Fahrzeug-Fahrzeug Kommunikation eingesetzt werden, welche im Zuge der Entwicklung zum autonomen Fahren ein entscheidender Parameter ist.
  • Die Erfindung wurde anhand eines Einparksystems mit Near Range Kamera (NRC) beschrieben, kann jedoch auf alle Steuergeräte ausgeweitet werden.
  • Neben der obigen schriftlichen Offenbarung wird explizit auf die Offenbarung der 1 bis 5 verwiesen.

Claims (10)

  1. Verfahren zum Bereitstellen von Umgebungsinformationen, welche eine Fahrzeugumgebung eines Fahrzeuges (1) beschreiben, umfassend: - Erfassen von Umgebungsinformationen (10) mittels eines an dem Fahrzeug (1) angeordneten Sensors (2), welche die Fahrzeugumgebung des Fahrzeuges (1) abbilden, - Ermitteln einer Latenzzeit, welche eine Verzögerung zwischen einem Erfassen der Umgebungsinformationen und einem möglichen Darstellen der Umgebungsinformationen auf einem Endgerät (3) beschreibt, - Ermitteln einer voraussichtlichen Bewegungsbahn (4) des Fahrzeuges (1), - Errechnen von korrigierten Umgebungsinformationen (11) aus den erfassten Umgebungsinformationen (10), wobei die erfassten Umgebungsinformationen (10) basierend auf der Latenzzeit und der Bewegungsbahn des Fahrzeuges (4) derart korrigiert werden, dass diese die Fahrzeugumgebung des Fahrzeuges (1) so abbilden, wie dies voraussichtlich durch die von dem Sensor (2) erfassten Umgebungsinformationen (10) erfolgen wird, wenn das Fahrzeug (1) sich für die Dauer der ermittelten Latenzzeit entlang der voraussichtlichen Bewegungsbahn (4) bewegt, und - Bereitstellen der korrigierten Umgebungsinformationen (11) für das Endgerät.
  2. Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass der Sensor (2) eine Kamera umfasst und die erfassten Umgebungsinformationen (10) Kamerabilder umfassen, wobei bei dem Errechnen von korrigierten Umgebungsinformationen (11) eine Ansicht der Fahrzeugumgebung aus Sicht der Kamera errechnet wird, welche die Fahrzeugumgebung aus Sicht der Kamera darstellt, nachdem das Fahrzeug (1) sich für die Dauer der ermittelten Latenzzeit entlang der voraussichtlichen Bewegungsbahn bewegt hat.
  3. Verfahren gemäß einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass ferner ein Ermitteln einer voraussichtlichen Objektbewegungsbahn von einem Objekt in der Fahrzeugumgebung des Fahrzeuges (1) erfolgt und das Errechnen der korrigierten Umgebungsinformationen (11) basierend auf der Latenzzeit, der Bewegungsbahn des Fahrzeuges (4) und der Objektbewegungsbahn erfolgt.
  4. Verfahren gemäß einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass die ermittelte Latenzzeit durch einen Indikator (5) auf dem Endgerät (3) dargestellt wird.
  5. Verfahren gemäß einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass das Errechnen der korrigierten Umgebungsinformationen (11) durch das Endgerät oder durch eine elektronische Recheneinheit (6) des Fahrzeuges (1) erfolgt.
  6. Verfahren gemäß einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass bei dem Ermitteln der Latenzzeit: - von einer elektronischen Recheneinheit (6) des Fahrzeuges (1) eine Anfrage an das Endgerät (3) gesendet wird, - von dem Endgerät (3) in Reaktion auf ein Empfangen der Anfrage eine Antwort an die elektronische Recheneinheit (6) des Fahrzeuges (1) gesendet wird, und - aus einer Zeitdifferenz zwischen dem Senden der Anfrage und einem Empfangen der Antwort die Latenzzeit ermittelt wird.
  7. Verfahren gemäß einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, - dass bei dem Ermitteln der Latenzzeit: - von einer elektronischen Recheneinheit (6) des Fahrzeuges (1) zu einem ersten Zeitpunkt eine Anfrage an das Endgerät (3) gesendet wird, - von dem Endgerät (3) eine Antwort an die elektronische Recheneinheit (6) des Fahrzeuges (1) gesendet wird, welche eine Zeitangabe umfasst, welche einen zweiten Zeitpunkt beschreibt, zu welchem die Anfrage empfangen wurde, und - aus einer Zeitdifferenz zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt die Latenzzeit ermittelt wird.
  8. Verfahren gemäß einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass das Endgerät (3) ein mobiles Endgerät, insbesondere ein Mobiltelefon, ein Steuergerät eines Fremdfahrzeuges oder ein Steuergerät eines Parkleitsystems ist.
  9. Verfahren gemäß einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass die Latenzzeit eine vorgegebene Komponente umfasst, welche eine systeminhärente Verzögerung beschreibt.
  10. Vorrichtung zum Bereitstellen von Umgebungsinformationen, welche eine Fahrzeugumgebung eines Fahrzeuges (1) beschreiben, umfassend: - einen Sensor (2), welcher dazu eingerichtet ist Umgebungsinformationen (10) zu erfassen, welche die Fahrzeugumgebung des Fahrzeuges (1) abbilden, - eine elektronische Recheneinheit (6), welche dazu eingerichtet ist, • eine Latenzzeit zu ermitteln, welche eine Verzögerung zwischen einem Erfassen der Umgebungsinformationen (10) und einem möglichen Darstellen der Umgebungsinformationen (10) auf einem Endgerät beschreibt, • eine voraussichtliche Bewegungsbahn (4) des Fahrzeuges (1) zu ermitteln, • korrigierte Umgebungsinformationen (11) aus den erfassten Umgebungsinformationen (10) zu errechnen, wobei die erfassten Umgebungsinformationen (10) basierend auf der Latenzzeit und der Bewegungsbahn (4) des Fahrzeuges (1) derart korrigiert werden, dass diese die Fahrzeugumgebung des Fahrzeuges (1) so abbilden, wie diese voraussichtlich durch die von dem Sensor (2) erfassten Umgebungsinformationen (10) erfolgen wird, wenn das Fahrzeug (1) sich für die Dauer der ermittelten Latenzzeit entlang der voraussichtlichen Bewegungsbahn (4) bewegt, und - eine Schnittstelle (7), welche dazu eingerichtet ist, die korrigierten Umgebungsinformationen für das Endgerät bereitzustellen.
DE102017212343.5A 2017-07-19 2017-07-19 Verfahren und Vorrichtung zum Bereitstellen von Umgebungsinformationen Pending DE102017212343A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102017212343.5A DE102017212343A1 (de) 2017-07-19 2017-07-19 Verfahren und Vorrichtung zum Bereitstellen von Umgebungsinformationen
PCT/EP2018/065314 WO2019015876A1 (de) 2017-07-19 2018-06-11 Verfahren und vorrichtung zum bereitstellen von umgebungsinformationen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017212343.5A DE102017212343A1 (de) 2017-07-19 2017-07-19 Verfahren und Vorrichtung zum Bereitstellen von Umgebungsinformationen

Publications (1)

Publication Number Publication Date
DE102017212343A1 true DE102017212343A1 (de) 2019-01-24

Family

ID=62748923

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017212343.5A Pending DE102017212343A1 (de) 2017-07-19 2017-07-19 Verfahren und Vorrichtung zum Bereitstellen von Umgebungsinformationen

Country Status (2)

Country Link
DE (1) DE102017212343A1 (de)
WO (1) WO2019015876A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114228701A (zh) * 2021-11-30 2022-03-25 岚图汽车科技有限公司 一种基于传感器数据融合的泊车控制方法和装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3702864B1 (de) * 2019-02-27 2021-10-27 Ree Technology GmbH Berechnung der latenz beim telebetriebenen fernfahren
CN110843768B (zh) * 2019-11-29 2021-06-08 安徽江淮汽车集团股份有限公司 汽车自动泊车控制方法、装置、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5904724A (en) * 1996-01-19 1999-05-18 Margolin; Jed Method and apparatus for remotely piloting an aircraft
US8774950B2 (en) * 2008-01-22 2014-07-08 Carnegie Mellon University Apparatuses, systems, and methods for apparatus operation and remote sensing
US20100259614A1 (en) * 2009-04-14 2010-10-14 Honeywell International Inc. Delay Compensated Feature Target System
JP6054513B2 (ja) * 2013-03-15 2016-12-27 株式会社日立製作所 遠隔操作システム
US10386835B2 (en) * 2016-01-04 2019-08-20 GM Global Technology Operations LLC System and method for externally interfacing with an autonomous vehicle

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114228701A (zh) * 2021-11-30 2022-03-25 岚图汽车科技有限公司 一种基于传感器数据融合的泊车控制方法和装置
CN114228701B (zh) * 2021-11-30 2023-10-20 岚图汽车科技有限公司 一种基于传感器数据融合的泊车控制方法和装置

Also Published As

Publication number Publication date
WO2019015876A1 (de) 2019-01-24

Similar Documents

Publication Publication Date Title
DE102012020297B4 (de) Verfahren zur Zuordnung eines Senders zu einem detektierten Objekt in der Kraftfahrzeug-zu-Kraftfahrzeug-Kommunikation und Kraftfahrzeug
EP3001137B1 (de) Verfahren zur überwachung einer kalibrierung mehrerer umgebungssensoren eines kraftfahrzeugs und kraftfahrzeug
EP2885780B1 (de) Verfahren und system zum ausgleichen einer zeitabweichung in einem fahrzeug-zu-x-kommunikationssystem
EP3207538A1 (de) Kommunikationsvorrichtung für ein fahrzeug und verfahren zum kommunizieren
DE102017107396A1 (de) Testverfahren und Testvorrichtung für Fahrerassistenzsysteme
DE102012016871A1 (de) Verfahren und System zum Betreiben eines Fahrzeugs unter Überwachung der Kopforientierung und/oder Blickrichtung eines Bedieners mit Hilfe einer Kameraeinrichtung einer mobilen Bedieneinrichtung
WO2013053528A1 (de) Verfahren und vorrichtung zum kalibrieren eines umfeldsensors
DE102016224329A1 (de) Verfahren und System zur Lokalisierung eines Fahrzeugs
DE102012203037A1 (de) Verfahren zur Ermittlung der Geschwindigkeit und/oder Position eines Fahrzeuges
EP2700567A2 (de) Verfahren und System zum Betreiben eines Fahrzeugs unter Überwachung der Fortbewegung des Fahrzeugs mit Hilfe einer Kameraeinrichtung einer mobilen Bedieneinrichtung
DE102016121928A1 (de) Fahrzeugnavigationssystem mit Positionsunterstützung von Nachbarfahrzeugen
DE102018101105A1 (de) Diagnose für eine kamera und reinigungssprühvorrichtung
DE102015001016A1 (de) Verfahren und System zur Fahrzeuglokalisieung sowie Fahrzeug mit einer Vorrichtung zur Durchführung einer Fahrzeug-Zu-X Kommunikation
DE102017212343A1 (de) Verfahren und Vorrichtung zum Bereitstellen von Umgebungsinformationen
DE102016218934A1 (de) Verfahren zum Datenaustausch und Datenfusionierung von Umfelddaten
DE112018001437T5 (de) Verfahren und systeme zum ausrichten eines fahrzeugs auf einen anhänger
WO2014032660A1 (de) Verfahren zur elektronischen erkennung von verkehrszeichen
DE102017108130A1 (de) Verfahren zur Datenfusion eines Datensatzes, entsprechende Recheneinheit und Fahrzeug welches mit einer entsprechenden Recheneinheit ausgestattet ist sowie Computerprogramm
WO2021047923A1 (de) Verfahren und elektronische vorrichtung zur ermittlung einer ego-position
WO2020114778A1 (de) Verfahren und vorrichtung zum ermitteln eines kollisionsrisikos eines fortbewegungsmittels
EP3728000A1 (de) Verfahren zur mobilen einparkhilfe
DE102012112239A1 (de) System und Verfahren zum Identifizieren eines Bauteils
DE102017212034A1 (de) System und Verfahren zur automatisierten Längsführung eines Kraftfahrzeugs bis in den Stillstand
DE102019217648A1 (de) Graph-basiertes Verfahren zur holistischen Fusion von Messdaten
WO2020011440A1 (de) Verfahren und vorrichtung zum bestimmen einer position eines fahrzeugs

Legal Events

Date Code Title Description
R012 Request for examination validly filed