DE102013100569A1

DE102013100569A1 - Verfahren und Vorrichtung zur Anzeige einer Fahrzeugumgebung

Info

Publication number: DE102013100569A1
Application number: DE201310100569
Authority: DE
Inventors: Michael Haubner; Manuel Pabst
Original assignee: Krauss Maffei Wegmann GmbH and Co KG
Current assignee: Krauss Maffei Wegmann GmbH and Co KG
Priority date: 2013-01-21
Filing date: 2013-01-21
Publication date: 2014-07-24

Abstract

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Anzeige der Umgebung eines Fahrzeugs (2), wobei durch mindestens eine am Fahrzeug (2) angeordnete Erfassungsvorrichtung (3) 3D-Bilddaten (7, 8) der Umgebung erfasst werden, wobei aus den 3D-Bilddaten (7, 8) eine Datenbasis (12) erzeugt wird, in welcher Farbinformationen mit Tiefeninformationen verknüpft sind, und wobei aus der Datenbasis (12) eine Darstellung (15) der Umgebung generiert und angezeigt wird.

Description

Die Erfindung betrifft ein Verfahren zur Anzeige der Umgebung eines insbesondere gepanzerten Fahrzeugs. Ferner betrifft die Erfindung eine Fahrzeuganzeigeeinrichtung zur Anzeige der Umgebung eines Fahrzeugs sowie ein Fahrzeug mit einer derartigen Fahrzeuganzeigeeinrichtung. Weitere Gegenstände der Erfindung sind ein Fahrzeugverband mit zwei derartigen Fahrzeugen sowie ein Ausbildungssystem mit einem derartigen Fahrzeug.
An den Schutz, insbesondere die Panzerung, von Fahrzeugen bestehen im militärischen Anwendungsbereich hohe Anforderungen. Beispielsweise ist es bei derartigen Fahrzeugen vorteilhaft, möglichst kleine Ausblicköffnungen vorzusehen, um das Schutzniveau der Fahrzeuge möglichst wenig zu beeinträchtigen. Diese Anforderungen an den Schutz konkurrieren mit dem Wunsch, die Umgebung des Fahrzeugs zum Steuern des Fahrzeugs möglichst umfangreich beobachten zu können. Bei der Konstruktion derartiger Fahrzeuge ist es daher stets erforderlich, einen Kompromiss zwischen dem Erreichen eines möglichst großen Schutzniveaus und einer guten Beobachtungsfähigkeit der Fahrzeugumgebung zu finden.
Eine Alternative, eine umfangreiche Ansicht der Fahrzeugumgebung zu ermöglichen, ohne das Schutzniveau zu beeinträchtigen, besteht in der Verwendung bildgebender Verfahren zur Anzeige der Fahrzeugumgebung. Beispielsweise sind militärische Fahrzeuge bekannt, welche eine als Kamera ausgebildete Erfassungsvorrichtung aufweisen, mittels derer zweidimensionale, farbige Bilddaten der Fahrzeugumgebung erfasst werden können. Zur Anzeige der Bilddaten kann eine Anzeigevorrichtung vorgesehen sein, auf welcher eine von der Kamera erfasste Darstellung der Umgebung angezeigt wird. Zur Erlangung einer Rundumsicht kann die Kamera in einer erhöhten Stellung auf einem Panzerdach oder einem Panzerturm angeordnet sein, beispielsweise auf einem Sockel oder Mast. Die Kamera steht damit in einer exponierten, angreifbaren Stellung. Zudem wird die Fahrzeughöhe erhöht, so dass Umbaumaßnahmen beim Verlasten des Fahrzeugs erforderlich sind. Ferner ergibt sich auf Grund von Abschattungen durch andere Fahrzeugteile keine gute Bodensicht im Nahbereich.
Die Verwendung herkömmlicher Fahrzeugkameras ermöglicht es zwar, die zweidimensionale Kameraaufnahme der Fahrzeugumgebung in der Anzeigevorrichtung zu beobachten, von Nachteil ist es jedoch, dass sich die Entfernung zu einzelnen Objekten der Fahrzeugumgebung nur schwer abschätzen lässt, wodurch das Beobachten der Fahrzeugumgebung und damit das Steuern des Fahrzeugs erschwert wird.
Vor diesem Hintergrund liegt der Erfindung die Aufgabe zugrunde, die Fahrzeugumgebung zum Steuern des Fahrzeugs vereinfacht beobachtbar zu machen.
Bei einem Verfahren der eingangs genannten Art trägt es zur Lösung der Aufgabe bei, dass durch mindestens eine am Fahrzeug angeordnete Erfassungsvorrichtung 3D-Bilddaten der Umgebung erfasst werden, dass aus den 3D-Bilddaten eine Datenbasis erzeugt wird, in welcher Farbinformationen mit Tiefeninformationen verknüpft sind, und dass aus der Datenbasis eine Darstellung der Umgebung generiert und angezeigt wird.
Die durch die Erfassungsvorrichtung erfassten 3D-Bilddaten können neben Farbinformationen, beispielsweise einem zweidimensionalen Farbbild der Fahrzeugumgebung, zusätzliche Tiefeninformationen umfassen. Zur Anzeige der Umgebung werden die Farbinformationen und Tiefeninformationen zunächst in der Datenbasis miteinander verknüpft. Daraufhin wird mittels der in der Datenbasis enthaltenen Bilddaten eine Darstellung der Umgebung berechnet, welche, insbesondere in einer Anzeigevorrichtung, angezeigt wird. Somit wird eine Darstellung ermöglicht, welche die Tiefeninformationen wiederspiegelt und das Beobachten der Fahrzeugumgebung beim Steuern des Fahrzeugs vereinfacht.
Falls bei dem Verfahren eine Erfassungsvorrichtung zum Einsatz kommt, über die bewegte 3D-Bilder erfassbar sind, insbesondere eine 3D-Video-Kamera, wird bevorzugt eine Bewegtbild-Datenbasis erzeugt, aus dieser eine Bewegtbild-Darstellung der Umgebung generiert und angezeigt. In der Bewegtbild-Darstellung können dynamische Vorgänge in der Fahrzeugumgebung sowie die Bewegung des Fahrzeugs durch den Benutzer einfacher wahrgenommen werden.
Gemäß einer vorteilhaften Ausgestaltung des Verfahrens umfasst die Datenbasis eine Punktwolke mit Punkten, denen jeweils eine Tiefeninformation und eine Farbinformation zugeordnet sind. Zu jedem Punkt können in der Punktwolke Farbinformationen und Raumkoordinaten als Tiefeninformation hinterlegt sein, so dass die Punktwolke eine dreidimensionale Repräsentation der erfassten Fahrzeugumgebung bildet.
Besonders bevorzugt werden mittels mehrerer Erfassungsvorrichtungen 3D-Bilddaten erfasst, was den Vorteil bietet, dass die Umgebung aus mehreren Perspektiven erfasst werden kann. Jede einzelne Erfassungsvorrichtung kann eine entsprechende Punktwolke erzeugen. Es können somit mehrere Punktwolken jeweils aus unterschiedlichen Perspektiven erzeugt werden. Bei Verwendung mehrerer herkömmlicher Erfassungsvorrichtungen, welche zweidimensionale Bilddaten erfassen, können beim Zusammenfügen der Bilddaten der einzelnen Erfassungsvorrichtungen Parallaxenfehler aufgrund der unterschiedlichen Perspektiven der Erfassungsvorrichtungen auftreten. Solche Parallaxenfehler können durch die Verwendung von Erfassungsvorrichtungen verhindert werden, bei welchen 3D-Bilddaten erfasst werden.
Grundsätzlich können die Erfassungsvorrichtungen an dem Fahrzeug angeordnet sein. Wie im Zusammenhang mit dem erfindungsgemäßen Fahrzeug noch im Einzelnen beschrieben werden wird, sind die Erfassungsvorrichtungen vorteilhafterweise in wenig exponierter Position über die Außenhaut des Fahrzeugs verteilt angeordnet, um den Schutz gegen Bedrohungen zu reduzieren und die Erfassung des Nahbereichs des Fahrzeugs zu verbessern.
Bevorzugt ist jedoch mindestens eine Erfassungsvorrichtung abseits des Fahrzeugs angeordnet, wodurch Bilddaten der Umgebung bereitgestellt werden können, die aus einer Perspektive des Fahrzeugs beispielsweise aufgrund von Verdeckungen nicht erfassbar sind. Die Erfassungsvorrichtung kann an einem zweiten Fahrzeug, wie z. B. einer Drohne, an einem Satelliten oder stationär in der Umgebung angeordnet sein. In diesem Zusammenhang hat es sich als vorteilhaft erwiesen, wenn die Bilddaten der abseits des Fahrzeugs angeordneten Erfassungsvorrichtung in Echtzeit erfasst und zur Erzeugung der Datenbasis herangezogen werden. Alternativ ist es möglich, die Bilddaten vorab aufzuzeichnen und zur Erzeugung der Datenbasis zu verwenden.
Bei einer abseits des Fahrzeugs vorgesehenen Erfassungsvorrichtung ist es vorteilhaft, wenn von der Erfassungsvorrichtung die Bilddaten und/oder deren Lage und/oder deren Ausrichtung an das Fahrzeug insbesondere drahtlos übertragen werden. Die Lage und/oder Ausrichtung der Erfassungsvorrichtung kann über einen im Bereich der Erfassungsvorrichtung angeordneten Sensor ermittelt werden. Die Bilddaten und/oder die Lage und/oder die Ausrichtung kann dann zur weiteren Verarbeitung an eine Datenverarbeitungseinrichtung des Fahrzeugs übermittelt werden.
Bevorzugt werden die 3D-Bilddaten der einzelnen Erfassungsvorrichtungen in der Datenbasis zusammengeführt, so dass eine gemeinsame Datenbasis gebildet wird, anhand derer die Darstellung der Umgebung generiert und angezeigt werden kann.
Hierbei ist es vorteilhaft, wenn zur Erzeugung der Datenbasis die 3D-Bilddaten der einzelnen Erfassungsvorrichtungen in ein gemeinsames Koordinatensystem überführt werden. Durch die Überführung in ein gemeinsames Koordinatensystem können die Punktwolken der einzelnen Erfassungsvorrichtungen miteinander kombiniert werden. Die Überführung kann mittels einer Datenverarbeitungseinrichtung des Fahrzeugs erfolgen.
In diesem Zusammenhang hat es sich als voreilhaft erwiesen, wenn für die Punktwolken der Erfassungsvorrichtungen jeweils eine Vorschrift zur Überführung in das gemeinsame Koordinatensystem ermittelt wird. Die ermittelten Vorschriften können auf die Punktwolken angewendet werden, um die Punktwolken in das gemeinsame Koordinatensystem abzubilden.
Zur Ermittlung der Vorschrift kann die Lage einzelner Erfassungsvorrichtungen zueinander und/oder deren Ausrichtung gemessen werden, so dass die Lage und/oder Ausrichtung zur Ermittlung der Vorschrift herangezogen werden kann. Die Messung kann im Rahmen eines Kalibrierungsvorgangs erfolgen. Alternativ können Lage und Ausrichtung fest vorgegeben sein.
Bevorzugt wird zur Ermittlung der Vorschrift die Lage einzelner Erfassungsvorrichtungen zueinander und/oder deren Ausrichtung automatisch ermittelt, indem überlappende Bereiche der Punktwolken erkannt werden, so dass eine manuelle Ermittlung nicht erforderlich ist. Durch die automatische Ermittlung der Lage und Ausrichtung kann die Anpassung der Vorschriften in Echtzeit erfolgen, so dass Änderungen der Lage und Ausrichtung der einzelnen Erfassungsvorrichtungen im laufenden Betrieb berücksichtigt werden können. Die Erkennung überlappender Bereiche kann z. B. durch einen „point cloud matching”-Algorithmus bzw. durch Registrierung erfolgen.
Gemäß einer vorteilhaften Ausgestaltung wird die Darstellung der Umgebung aus einer virtuellen Kameraperspektive angezeigt. Die virtuelle Kameraperspektive kann sich im Falle einer Erfassungsvorrichtung von der Perspektive dieser, im Falle mehrerer Erfassungsvorrichtung von den Perspektiven aller Erfassungsvorrichtungen, unterscheiden. Die virtuelle Kameraperspektive kann zwar, muss aber nicht der Sicht des Fahrzeugs oder des Fahrers entsprechen.
In diesem Zusammenhang ist es besonders vorteilhaft, wenn die virtuelle Kameraperspektive mittels einer Eingabevorrichtung frei eingestellt wird, so dass für die virtuelle Kameraperspektive beliebige Raumkoordinaten und/oder eine beliebige Blickrichtung wählbar sind. Die Eingabevorrichtung kann nach Art eines Joysticks oder einer Spacemouse ausgebildet sein. Mittels der Eingabevorrichtung kann eine virtuelle Kamera im Raum bewegt werden. Bevorzugt kann zusätzlich ein Zoomfaktor eingestellt werden, so dass ein Ausschnitt aus der Umgebung ausgewählt werden kann.
Als vorteilhaft hat es sich ferner erwiesen, wenn die virtuelle Kameraperspektive aus einer Liste vorgegebener Kameraperspektiven ausgewählt wird. Dem Benutzer kann eine Liste vorgegebener Kameraperspektiven bereitgestellt werden, die taktische Vorteile bieten und/oder oft benutzt werden. Hierbei kann es sich beispielsweise um eine Vogelperspektive, eine Third-Person-Perspektive oder die Perspektive eines Angreifers bzw. einer bereits aufgeklärten feindlichen Stellung handeln.
Bevorzugt wird die eingestellte oder ausgewählte virtuelle Kameraperspektive an eine Datenverarbeitungseinrichtung übermittelt, welche die Darstellung berechnet. Bei der Berechnung der Darstellung, dem so genannten Rendering, kann ein Algorithmus zur Strahlverfolgung (engl. ray tracing) zur Anwendung kommen, um Verdeckungen zu ermitteln. Die Datenverarbeitungseinrichtung kann in dem Fahrzeug angeordnet sein.
Die Darstellung der Umgebung kann in einer Anzeigevorrichtung erfolgen welche am Kopf eines Benutzers, beispielsweise am Kopf des Fahrers, tragbar ist. Durch die Anzeige der Umgebung in der am Kopf tragbaren Anzeigevorrichtung wird eine für den Benutzer intuitive Art der Betrachtung ermöglicht, welche der natürlichen Betrachtungsweise des Fahrzeugumfelds vergleichbar ist. Hierdurch kann das Betrachten der Fahrzeugumgebung beim Steuern des Fahrzeugs intuitiv und ohne einen langwierigen Lernprozess erfolgen, so dass das Steuern des Fahrzeugs erleichtert wird.
Gemäß einer vorteilhaften Ausgestaltung des Verfahrens wird die virtuelle Kameraperspektive anhand der Ausrichtung der Anzeigevorrichtung eingestellt, wodurch eine intuitive Auswahl der virtuellen Kameraperspektive ermöglicht wird. Die virtuelle Kameraperspektive kann über die Bewegung und/oder die Ausrichtung des Kopfes des Benutzers einstellbar sein, was den Vorteil mit sich bringt, dass der Benutzer die Auswahl des Ausschnitts nicht mittels seiner Hände vornehmen muss. Vielmehr kann der Benutzer seine Hände für andere Tätigkeiten verwenden, beispielsweise zur Steuerung des Fahrzeugs.
Bevorzugt wird die virtuelle Kameraperspektive derart eingestellt, dass sie im Wesentlichen der Blickrichtung des Benutzers entspricht, wodurch die Auswahl der Kameraperspektive nochmals vereinfacht wird. Besonders bevorzugt besteht kein oder nur ein geringer Versatz zwischen der Blickrichtung des Benutzers und der in der Anzeigevorrichtung angezeigten virtuellen Kameraperspektive, so dass ein Benutzer, welcher sich in einem insbesondere gepanzerten Innenraum des Fahrzeugs befindet, das Fahrzeugumfeld in einer Weise beobachten kann, als würde er durch die undurchsichtige Außenhaut des Fahrzeugs hindurch blicken.
Im Hinblick auf die Auswahl der virtuellen Kameraperspektive hat es sich als vorteilhaft erwiesen, wenn die Ausrichtung der Anzeigevorrichtung, insbesondere über einen in der Anzeigevorrichtung angeordneten Sensor, insbesondere einen Inertialsensor, oder eine Trackingvorrichtung, zur Bestimmung der Blickrichtung des Benutzers ermittelt wird. Die bestimmte Blickrichtung kann dann als Grundlage für die Einstellung der virtuellen Kameraperspektive in der Anzeigevorrichtung herangezogen werden.
Bevorzugt wird die Blickrichtung an eine mit den Erfassungsvorrichtungen verbundene Datenverarbeitungseinrichtung übermittelt, welche den Ausschnitt berechnet. Die Berechnung des Ausschnitts in der Datenverarbeitungseinrichtung bringt den Vorteil mit sich, dass es nicht erforderlich ist, alle von den Erfassungsvorrichtungen erfassten Bilddaten bzw. Punktwolken an die Anzeigevorrichtung zu übertragen. Vielmehr muss lediglich die eingestellte virtuelle Kameraperspektive von der Datenverarbeitungseinrichtung an die Anzeigevorrichtung übermittelt werden, wodurch sich eine Reduktion der zu übertragenen Datenmenge ergibt.
In diesem Zusammenhang ist es vorteilhaft, wenn die virtuelle Kameraperspektive an die Anzeigevorrichtung übertragen wird, so dass auf Seiten der Anzeigevorrichtung keine Verfahrensschritte zur Berechnung der virtuellen Kameraperspektive durchgeführt werden müssen. Die Übertragung erfolgt bevorzugt drahtlos, wodurch die Bewegungsfreiheit des Benutzers verbessert werden kann.
Um dem Benutzer der Anzeigevorrichtung einen dreidimensionalen Eindruck der Fahrzeugumgebung zu vermitteln und damit die Wahrnehmung der Umgebung zu verbessern, kann die Darstellung stereoskopisch angezeigt werden. In der mit den Erfassungsvorrichtungen verbundenen Datenverarbeitungseinrichtung können zwei verschiedene Teil-Darstellungen der Umgebung jeweils für das rechte und das linke Auge erzeugt werden. In der Anzeigevorrichtung können die beiden Teil-Darstellungen angezeigt werden, die jeweils nur von dem linken oder dem rechten Auge des Betrachters wahrgenommen werden können.
Eine weitere bevorzugte Ausgestaltung des Verfahrens sieht vor, dass in einer zweiten Anzeigevorrichtung eine zweite, insbesondere von der ersten Darstellung verschiedene, Darstellung der Umgebung angezeigt wird. Die Darstellungen können aus verschiedenen virtuellen Kameraperspektiven erfolgen, so dass verschiedene Bereiche der Umgebung beobachtet werden können bzw. derselbe Bereich der Umgebung aus unterschiedlichen Perspektiven beobachtet werden kann.
Ist eine zweite Anzeigevorrichtung vorhanden, so ist diese bevorzugt entfernt von dem Fahrzeug, insbesondere in einem zweiten Fahrzeug oder einem Beobachtungsstand, angeordnet, so dass ein von dem Fahrzeug entfernter Beobachter die Umgebung des Fahrzeugs beobachten kann.
Bei einer Fahrzeuganzeigeeinrichtung sowie einem Fahrzeug der eingangs genannten Art wird die Aufgabe dadurch gelöst, dass mindestens eine am Fahrzeug angeordnete Erfassungsvorrichtung zur Erfassung von 3D-Bilddaten vorgesehen ist, wobei aus den 3D-Bilddaten eine Datenbasis erzeugbar ist, in welcher Farbinformationen mit Tiefeninformationen verknüpft sind, und wobei eine aus der Datenbasis generierte Darstellung der Umgebung anzeigbar ist.
Hierdurch ergeben sich dieselben Vorteile wie sie bereits im Zusammenhang mit dem erfindungsgemäßen Verfahren beschrieben wurden.
Gemäß einer vorteilhaften Ausgestaltung des Fahrzeugs umfasst die Erfassungsvorrichtung mindestens einen 3D-Sensor, welcher insbesondere auf der Fahrzeugoberfläche angeordnet ist. Der 3D-Sensor kann als stereoskopische Kamera, Time-of-Flight-Sensor, LIDAR-Sensor, RADAR-Sensor, Ultraschall-Sensor, Structured-Light-Sensor, Optical-Flow-Sensor oder Depth-From-(De)Focus-Sensor ausgebildet sein.
Bevorzugt sind mehrere Erfassungsvorrichtungen vorgesehen, welche an der Außenkontur des Fahrzeugs angeordnet sind, so dass die Umgebung aus mehreren Perspektiven erfasst werden kann.
Besonders bevorzugt sind die Erfassungsvorrichtungen über die Fahrzeugaußenkontur verteilt angeordnet, so dass ein großer Winkelbereich, insbesondere 360°, der Fahrzeugumgebung erfasst werden kann. Vorteilhafterweise sind die Erfassungsvorrichtungen derart verteilt, dass sie kein gemeinsames Projektionszentrum aufweisen, wodurch eine höhere Flexibilität bei der Anordnung der Erfassungsvorrichtungen ermöglicht werden kann. Im Gegensatz zu der Anordnung in einem als solchen bekannten Panoramakopf können die Erfassungsvorrichtungen in weniger exponierter Lage an dem Fahrzeug angeordnet werden, wodurch der Schutz gegen Bedrohungen verbessert werden kann. Die Erfassungsvorrichtungen können dadurch weniger leicht als mögliches Angriffsziel zu erkennen sein. Besonders bevorzugt sind die Erfassungsvorrichtungen derart über die Außenkontur verteilt, dass sie unterhalb eines höchsten Punkts des Fahrzeugs angeordnet sind, wodurch das Verlademaß des Fahrzeugs reduziert werden kann.
Die Erfassungsvorrichtungen können derart angeordnet sein, dass sie einen Abstand von größer als 30 cm, bevorzugt von größer als 50 cm, besonders bevorzugt von größer als 1 m, zueinander aufweisen, so dass Verdeckungen von Objekten der Fahrzeugumgebung in den 3D-Bilddaten einzelner Erfassungsvorrichtungen durch die Hinzunahme der 3D-Bilddaten anderer Erfassungsvorrichtungen beseitigt werden können.
Vorteilhaft ist es ferner, wenn die Erfassungsvorrichtungen derart ausgerichtet sind, dass der Bodenbereich des Fahrzeugs, insbesondere im Abstand kleiner als 5 m, bevorzugt im Abstand kleiner als 1 m von der Fahrzeugaußenkontur, erfassbar ist, so dass eine verbesserte Beobachtbarkeit des Nahbereichs des Fahrzeugs ermöglicht wird.
Bevorzugt sind die Erfassungsvorrichtungen mit einer Datenverarbeitungseinrichtung zur Berechnung der Datenbasis verbunden. In der Datenverarbeitungseinrichtung kann neben der Berechnung der Datenbasis auch die Generierung der Darstellung der Umgebung erfolgen.
Vorteilhaft ist es ferner, wenn die Anzeigevorrichtung in einem Innenraum des Fahrzeugs angeordnet ist, so dass der Benutzer der Anzeigevorrichtung die Umgebung des Fahrzeugs beobachten kann, als würde er durch die Außenhaut des Fahrzeugs hindurch blicken. Bevorzugt ist die Anzeigevorrichtung derart angeordnet, dass sie durch einen Fahrer beim Steuern des Fahrzeugs wahrnehmbar ist, so dass dieser das Fahrzeug aufgrund der in der Anzeigevorrichtung angezeigten Fahrzeugumgebung steuern kann.
Um ein möglichst hohes Schutzniveau zu erreichen, kann der Innenraum des Fahrzeugs sichtöffnungsfrei ausgebildet sein oder Sichtöffnungen aufweisen, die zur Erhöhung des Schutzniveaus undurchsichtig verschließbar sind. Alternativ kann an dem Fahrzeug eine Sichtöffnung vorgesehen sein, welche derart ausgebildet ist, dass beim Ausblick aus der Sichtöffnung eine Panoramasicht der Fahrzeugumgebung nicht möglich ist.
Bevorzugt kann die Erfindung bei einem Fahrzeugverband Anwendung finden, welcher zwei vorstehend beschriebene Fahrzeuge aufweist, die über eine drahtlose Kommunikationsverbindung miteinander verbunden sind, um 3D-Bilddaten zur Erzeugung einer gemeinsamen Datenbasis auszutauschen. Der durch ein Fahrzeug erfasste Bereich der Umgebung kann durch die 3D-Bilddaten des anderen Fahrzeugs erweitert werden. Zudem können bei einem solchen Fahrzeugverband Bereiche der Fahrzeugumgebung eines Fahrzeugs, welche durch große Objekte, wie z. B. Hügel, Gebäude oder Bergketten entstehen können, durch Hinzunahme der 3D-Bilddaten des anderen Fahrzeugs aufgelöst werden.
Eine weitere vorteilhafte Anwendung der Erfindung ergibt sich bei einem Ausbildungssystem, welches ein vorstehend beschriebenes Fahrzeug und einen über eine drahtlose Kommunikationsverbindung mit dem Fahrzeug verbundenen Beobachtungsstand mit einer Anzeigevorrichtung zur Anzeige der Darstellung der Umgebung aufweist. Die von dem Fahrzeug erfasste Umgebung kann einem Ausbilder in dem Beobachtungsstand angezeigt werden, so dass die Ausbildung in einem realen Fahrzeug erfolgen kann, ohne dass die Anwesenheit des Ausbilders in dem Fahrzeug erforderlich wäre.
Alternativ kann das Ausbildungssystem derart ausgebildet sein, dass es ein vorstehend beschriebenes Fahrzeug und eine über eine drahtlose Kommunikationsverbindung mit dem Fahrzeug verbundene Simulationseinrichtung zur Simulation von Fahrzeugen in der Datenbasis umfasst. Bei einem solchen Ausbildungssystem kann die Ausbildung mittels der Simulationsvorrichtung anhand realer von dem Fahrzeug erfasster 3D-Bilddaten erfolgen.
Die im Zusammenhang mit dem Verfahren beschriebenen Merkmale können einzeln oder in Kombination auch bei der Fahrzeuganzeigeeinrichtung, dem Fahrzeug, dem Fahrzeugverband oder dem Ausbildungssystem Verwendung finden.
Weitere Einzelheiten und Vorteile der Erfindung sollen nachfolgend anhand der in den Zeichnungen dargestellten Ausführungsbeispiele erläutert werden. Darin zeigt:
1 ein Blockdiagram einer ersten Fahrzeuganzeigeeinrichtung zur Beobachtung des Umfelds eines Fahrzeugs,
2 eine perspektive Darstellung eines Fahrzeugs mit mehreren Erfassungsvorrichtungen,
3a–c eine schematische Darstellung eines Tiefenbilds, eines Farbbilds und einer Punktwolke,
4 eine schematische Darstellung der Abläufe bei der Anzeige des Fahrzeugumfelds,
5 eine schematische Darstellung einer 3D-Datenbasis gebildet aus mehreren Punktwolken zur Veranschaulichung der Vorgänge beim Überführen der Punktwolken in die 3D-Datenbasis,
6a–d verschiedene Darstellungen der Fahrzeugumgebung aus verschiedenen virtuellen Kameraperspektiven,
7 ein Blockdiagramm einer zweiten Fahrzeuganzeigeeinrichtung zur Beobachtung des Umfelds eines Fahrzeugs,
8 eine schematische Darstellung eines Fahrzeugverbands mit einer gemeinsamen 3D-Datenbasis und
9 ein Blockdiagramm einer dritten Fahrzeuganzeigeeinrichtung zur Beobachtung des Umfelds eines Fahrzeugs in einem Fahrzeugverband.
In der 1 ist ein Blockdiagramm eines militärischen Fahrzeugs 2 dargestellt, welches als kettengetriebenes Landfahrzeug ausgebildet ist. Das Fahrzeug 2 gemäß diesem ersten Ausführungsbeispiel weist eine Wanne 2.2 mit einem Innenraum zur Aufnahme von Besatzungsmitgliedern auf, welcher zum Schutz der Besatzung gepanzert ausgestaltet ist, vgl. auch 2. Damit ein möglichst hohes Schutzniveau erreicht wird, weist der Innenraum des Fahrzeugs 2 Sichtöffnungen auf, welche beispielsweise im Falle von Kampfhandlungen, durch Panzerungselemente undurchsichtig verschließbar sind.
Das Verschließen der Sichtöffnungen bringt allerdings den Nachteil mit sich, dass der Fahrer des Fahrzeugs 2 die Umgebung des Fahrzeugs 2 beim Steuern nicht durch die Sichtöffnungen wahrnehmen kann. Um das Fahrzeug 2 auch dann, wenn die Sichtöffnungen des Fahrzeugs 2 geschlossen sind, auf Sicht steuern zu können, ist in dem Fahrzeug 2 eine Fahrzeuganzeigeeinrichtung 3, 5, 11, 16 zur Beobachtung der Umgebung des Fahrzeugs 2 mittels eines bildgebenden Verfahrens vorgesehen, welche nachfolgend beschrieben werden soll.
Wie der Darstellung in 2 zu entnehmen ist, sind an der Außenkontur des Fahrzeugs 2, nämlich eines Panzers, mehrere Erfassungsvorrichtungen 3 angeordnet, welche als 3D-Video-Kameras zur Erfassung bewegter 3D-Bilddaten 7, 8 der Umgebung ausgebildet sind. Die Erfassungsvorrichtungen 3 sind derart an dem Fahrzeug angebracht, dass sie unterschiedliche Perspektiven 12 der Fahrzeugumgebung erfassen können. Im Unterschied zu einer Anordnung nach Art eines Panoramakopfs sind die Erfassungsvorrichtungen 3 an der Außenkontur des Fahrzeugs 2 derart verteilt angeordnet, dass sie kein gemeinsames Projektionszentrum aufweisen. Bei dem Ausführungsbeispiel weisen die Erfassungsvorrichtungen 3 einen Abstand von größer als 30 cm, bevorzugt von größer als 50 cm, besonders bevorzugt von größer als 1 m, zueinander auf und sind derart ausgerichtet, dass der Bodenbereich des Fahrzeugs, insbesondere im Abstand kleiner als 5 m, bevorzugt im Abstand kleiner als 1 m von der Fahrzeugaußenkontur, erfassbar ist, so dass eine gegenüber einem Panoramakopf verbesserte Nahbereichsbeobachtung ermöglicht wird. Zudem sind die Bilderfassungsvorrichtungen 3 derart angeordnet, dass der Erfassungsbereich der Erfassungsvorrichtungen 3 nicht durch an der Außenkontur des Fahrzeugs 2 angeordnete Gegenstände verdeckt wird. Alternativ oder zusätzlich können die Erfassungsvorrichtungen 3 an einem gegenüber der Wanne 2.2 drehbaren Turm 2.1 angeordnet sein.
Um dem Fahrer des Fahrzeugs 2 die intuitive Beobachtung der Fahrzeugumgebung zu ermöglichen, wird bei dem Fahrzeug 2 aus den erfassten 3D-Bilddaten 7, 8 eine 3D-Datenbasis 12 erzeugt, in welcher Farbinformationen mit Tiefeninformationen verknüpft sind. Aus der 3D-Datenbasis 12 wird dann eine Darstellung 15 der Umgebung generiert und dem Fahrer angezeigt.
Die Erfassungsvorrichtungen 3 umfassen jeweils einen 3D-Sensor, welcher beispielsweise als stereoskopische Kamera, Time-of-Flight-Sensor, LIDAR-Sensor, RADAR-Sensor, Ultraschall-Sensor, Structured-Light-Sensor, Optical-Flow-Sensor oder Depth-From-(De)Focus-Sensor ausgebildet sein kann. Mittels der Erfassungsvorrichtungen 3 wird jeweils ein Farbbild 7 der Umgebung, welches auch ein Schwarz-Weiß-Bild sein kann, sowie ein Tiefenbild 8 der Umgebung erfasst, vgl. 3a und 3b. Somit wird für jedes Pixel des Farbbilds 7 die Entfernung von der Erfassungsvorrichtung 3, also die Tiefe, ermittelt.
Wie der Darstellung in 1 zu entnehmen ist, sind die Erfassungsvorrichtungen 3 jeweils über einen Übertragungskanal 4 mit der Datenverarbeitungseinrichtung 5 verbunden, so dass in der Datenverarbeitungseinrichtung 5 alle Bilddaten 7, 8 alter Erfassungsvorrichtungen 3 des Fahrzeugs 2 zusammengeführt werden. Aus dem Farbbild 7 und dem Tiefenbild 8 erzeugt die Datenverarbeitungseinrichtung 5 eine Punktwolke 9, vgl. 4. Die in 3c schematisch dargestellte Punktwolke 9 umfasst eine Vielzahl an Punkten, welchen jeweils Farbinformationen, die die Erscheinung des Punkts beschreiben, und Tiefeninformationen in Form von Raumkoordinaten zugeordnet sind, welche die Lage des Punkts im Raum beschreiben.
Die 3D-Datenbasis 12 umfasst ein dreidimensionales Oberflächenmodell der Fahrzeugumgebung, welches in Echtzeit aus den 3D-Bilddaten der Erfassungsvorrichtungen 3 erzeugt wird. Zur Erzeugung der Datenbasis 12 werden die 3D-Bilddaten 7, 8 der einzelnen Erfassungsvorrichtungen 3 in ein gemeinsames Koordinatensystem überführt.
Um die Überführung der Bilddaten 7, 8 der Erfassungsvorrichtungen 3 in das gemeinsame Koordinatensystem der 3D-Datenbasis 12 zu ermöglichen, ist es zunächst erforderlich, für jede Erfassungsvorrichtung 3 eine Vorschrift zu ermitteln, anhand derer die jeweilige Punktwolke 9 in das gemeinsame Koordinatensystem abgebildet werden kann. Diese Vorschrift kann einerseits dadurch ermittelt werden, dass die Lage der einzelnen Erfassungsvorrichtungen 3 zueinander und deren jeweilige Ausrichtung ausgemessen wird. Bei dem Fahrzeug gemäß dem Ausführungsbeispiel werden die Lage und Ausrichtung der Erfassungsvorrichtungen 3 allerdings automatisch in der Datenverarbeitungseinrichtung 5 ermittelt, indem überlappende Bereiche der Punktwolken 9 erkannt werden. Hierzu wird ein „point-cloud-matching”-Algorithmus verwendet.
Anschließend werden die einzelnen Punktwolken 9 anhand der ermittelten Vorschriften in die 3D-Datenbasis 12 überführt. Die Datenverarbeitungseinrichtung 5 berechnet daraufhin eine Darstellung 15 der Umgebung und übermittelt diese über einen Übertragungskanal 6 an die Anzeigevorrichtung 11, vgl. 4.
Die Vorgänge bei der Überführung der Punktwolken 9 in die 3D-Datenbasis 12 sollen nachfolgend anhand der Darstellung in 5 beispielhaft beschrieben werden. Die 5 zeigt schematisch drei Punktwolken 9.1, 9.2, 9.3, die jeweils einen Teil eines Objekts, hier eines Fahrzeugs, bilden. Die Punktwolken 9.1, 9.2, 9.3 wurden mittels drei verschiedener Erfassungsvorrichtungen 3 erzeugt, welche jeweils einen gewissen Abstand zueinander aufweisen. Zudem ist die Erfassungsvorrichtung 3, welche die 3D-Bilddaten der Punktwolke 9.2 erzeugt hat, gegenüber den anderen beiden Erfassungsvorrichtungen 3 gedreht ausgerichtet. Die Punktwolke 9.2 weist mit den beiden anderen Punktwolken 9.1 und 9.3 überlappende Bereiche 18 auf, welche im Rahmen des „point-cloud-matching” Algorithmus erkannt werden. Der Algorithmus ermittelt anhand der überlappenden Bereiche 18 die Ausrichtung der einzelnen Erfassungsvorrichtungen 3 in Bezug auf ein Koordinatensystem der 3D-Datenbasis 12 und leitet Rechenvorschriften T_A, T_B, T_C ab, mittels derer die Punktwolken 9.1, 9.2, 9.3 in das gemeinsame Koordinatensystem der 3D-Datenbasis überführt werden können.
Das beschriebene Verfahren läuft in der Datenverarbeitungseinrichtung 5 in Echtzeit ab, d. h. dass die Datenverarbeitungseinrichtung 5 die Darstellung 15 in ausreichend hoher Bildfrequenz für eine flüssige Darstellung, z. B. 50 Hz, berechnet. Somit kann durch das Anzeigeverfahren eine Echtzeitdarstellung der aktuellen Fahrzeugumgebung ermöglicht werden.
Die Darstellung 15 der Umgebung wird in der Anzeigevorrichtung 11 aus einer virtuellen Kameraperspektive 13 angezeigt, welche über eine Einstellvorrichtung 16 eingestellt werden kann. Die Einstellvorrichtung 16 ist derart ausgebildet, dass die virtuelle Kameraperspektive frei einstellbar ist, beispielsweise als Joystick oder Spacemouse. Mittels der Eingabevorrichtung kann die virtuelle Kameraperspektive 13 in Echtzeit verändert werden, so dass die Darstellung in der Anzeigevorrichtung 11 den Eindruck einer sich im Raum bewegenden virtuellen Kamera erweckt. Zudem kann ein Zoomfaktor eingestellt werden, so dass ein Ausschnitt aus der Umgebung ausgewählt werden kann.
Die 6 zeigt schematisch verschiedene Darstellungen aus unterschiedlichen, virtuellen Kameraperspektiven 13, die vom Benutzer wählbar oder einstellbar sind. In der 6a ist eine Seitenansicht einer Umgebung dargestellt. Die 6b zeigt eine weitere Seitenansicht aus einer gegenüber der virtuellen Kameraperspektive 13 aus 6a veränderten Kameraperspektive 13. In der 6c ist eine Draufsicht auf die Umgebung, in der 6d eine gegenüber der 3b gedrehten Seitenansicht der Umgebung dargestellt. Die verschiedenen Ansichten der Umgebung ermöglichen es der Fahrzeugbesatzung, einen taktischen Vorteil zu erlangen, da eine bessere Lageübersicht als bei einer reinen Seitenansicht erreicht wird. Insbesondere die virtuell einnehmbare Vogelperspektive ermöglicht es dem Benutzer, eine räumliche Vorstellung von der Fahrzeugumgebung zu erhalten.
Alternativ oder zusätzlich kann eine Liste virtueller Kameraperspektiven 13 vorgegeben sein, aus welcher mittels der Einstellvorrichtung 16 eine Auswahl getroffen werden kann. Die Liste kann dem Benutzer in der Anzeigevorrichtung 11 angezeigt werden. in der Liste können häufig benutzte bzw. taktische vorteilhafte Kameraperspektiven hinterlegt sein, z. B. eine Vogelperspektive, eine Third-Person-Perspektive, die Perspektive eines Angreifers bzw. einer bereits aufgeklärten feindlichen Stellung.
Die mittels der Einstellvorrichtung 16 eingestellte virtuelle Kameraperspektive 13 umfasst die Raumkoordinaten der virtuellen Kamera sowie ihre Blickrichtung. Die virtuelle Kameraperspektive 13 wird von der Einstellvorrichtung 16 an die Datenverarbeitungseinrichtung 5 übermittelt, so dass die Datenverarbeitungseinrichtung 5 die Darstellung 15 der Umgebung in der Anzeigevorrichtung 11 entsprechend berechnen kann.
Die Datenverarbeitungseinrichtung 5 überträgt diese Darstellung 15 über den Datenkanal 6 zu der Anzeigevorrichtung 11, so dass sich gegenüber der Übertragung der vollständigen 3D-Datenbasis 12 eine Reduktion der zu übertragenden Daten ergibt.
Die Anzeigevorrichtung 11 ist als Head-Mounted Display ausgebildet, welches am Kopf eines Benutzers, insbesondere am Kopf des Fahrers des Fahrzeugs 2, getragen werden kann. Die Anzeigevorrichtung 11 weist zwei in der Nähe der Augen des Benutzers angeordnete Bildschirme oder Bildschirmbereiche auf, wovon einer nur durch das rechte und ein anderer nur durch das linke Auge wahrnehmbar ist. Alternativ kann die Anzeigevorrichtung 11 einen oder zwei Projektoren umfassen, welche die Darstellung 15 der Umgebung direkt auf die Netzhaut des Benutzers projizieren.
Um die Bewegungsfreiheit desjenigen, der die Anzeigevorrichtung 11 an seinem Kopf trägt, nicht zu beeinträchtigen, ist der Übertragungskanal 6 zwischen der Datenverarbeitungseinrichtung 5 und der Anzeigevorrichtung 11 drahtlos ausgestaltet, z. B. als Funkübertragungsstrecke.
Dem Fahrer wird in der Anzeigevorrichtung 11 nicht das gesamte Fahrzeugumfeld, sondern lediglich eine ausschnittsweise Darstellung 15 angezeigt, welche in etwa dem natürlichen Blickfeld eines Menschen entspricht und welche frei einstellbar ist. Der Fahrer sieht eine Darstellung 15 der Fahrzeugumgebung, die er sehen würde, wenn er sich in etwa an der Position der virtuellen Kameraperspektive 13 befinden würde. Wird die virtuelle Kameraperspektive 13 derart gewählt, dass die Raumkoordinate der virtuellen Kamera innerhalb des Fahrzeugs 2 liegt, so ergibt sich die Wirkung einer durchsichtigen Außenhaut des gepanzerten Fahrzeugs 2.
Die Anzeigevorrichtung 11 ist derart ausgebildet, dass die Darstellung 15 stereoskopisch angezeigt werden kann. Zur Erzeugung einer solchen stereoskopischen Darstellung 15 werden in der Datenverarbeitungseinrichtung 5 zwei voneinander getrennten Teil-Darstellungen für das linke und das rechte Auge erzeugt. Die Teil-Darstellungen werden von der Datenverarbeitungseinrichtung 5 an die Anzeigevorrichtung 11 über den Datenkanal 6 übertragen. In der Anzeigevorrichtung 11 wird die Teil-Darstellung für das linke Auge und die Teil-Darstellung für das rechte Auge angezeigt. Durch die stereoskopische Darstellung 15 in der Anzeigevorrichtung 11 kann der Immersionsgrad für denjenigen, der die Anzeigevorrichtung 11 trägt, erhöht werden. Zudem können Entfernungen durch den Benutzer besser eingeschätzt werden.
Gemäß einer Abwandlung des Ausführungsbeispiels erfolgt die Einstellung der virtuellen Kameraperspektive 13, welche die Darstellung 15 in der Anzeigevorrichtung 11 bestimmt, anhand der Ausrichtung der Anzeigevorrichtung 11. Da der Fahrer die Anzeigevorrichtung 11 an seinem Kopf trägt, kann er über die Bewegung und/oder Ausrichtung seines Kopfes die virtuelle Kameraperspektive 13 einstellen, während er das Fahrzeug 2 steuert. Um die Einstellung der virtuellen Kameraperspektive 13 auf intuitive Weise zu ermöglichen, wird sie durch die Datenverarbeitungseinrichtung 5 derart eingestellt, dass sie im Wesentlichen der Blickrichtung des Fahrers entspricht.
Die Blickrichtung des Fahrers wird bei der Abwandlung des Ausführungsbeispiels in der Anzeigevorrichtung 11 erfasst. Hierzu weist die Anzeigevorrichtung 11 einen oder mehrere Inertialsensoren auf, über welche die Bewegung der Anzeigevorrichtung 11 ermittelt wird. Aus den ermittelten Bewegungen wird die Ausrichtung der Anzeigevorrichtung abgeleitet und dann über den Datenkanal 6 an die Datenverarbeitungseinrichtung 5 übertragen.
In der 7 ist zweite Ausgestaltung eines Fahrzeugs 2 mit einer Fahrzeuganzeigeeinrichtung 3, 5, 11, 16, 30 dargestellt. Im Unterschied zu dem Fahrzeug gemäß 1 weist die Fahrzeuganzeigeeinrichtung 3, 5, 11, 16 eine zweite Anzeigevorrichtung 11 auf, in welcher eine zweite Darstellung 15 angezeigt wird. Die zweite Anzeigevorrichtung 11 kann derart angeordnet sein, dass sie von einem zweiten Besatzungsmitglied des Fahrzeugs, beispielsweise einem Richtschützen beobachtet werden kann. Das zweite Besatzungsmitglied kann in der zweiten Anzeigevorrichtung 11 eine von der Darstellung 15 in der ersten Anzeigevorrichtung 11 abweichende Darstellung 15 der Umgebung angezeigt bekommen. Die virtuelle Kameraperspektive 13 der zweiten Darstellung 15 kann über eine zweite Einstellvorrichtung 16 eingestellt werden.
Ein weiterer Unterschied zu dem ersten Ausführungsbeispiel liegt darin, dass bei der Fahrzeuganzeigeeinrichtung 3, 5, 11, 16, 30 nach 7 eine Erfassungsvorrichtung 30 vorgesehen ist, welche nicht Teil des Fahrzeugs 2 ist. Diese abseits des Fahrzeugs 2 angeordnete Erfassungsvorrichtung 30 kann stationär, z. B. auf einem Stativ, oder bewegbar, beispielsweise an einem anderen Fahrzeug, einer Drohne oder einem Satelliten, angeordnet sein. Mittels der Erfassungsvorrichtung 30 können 3D-Bilddaten 7, 8 der Umgebung aus einer Perspektive erfasst werden, welche stark von der Perspektive der fahrzeugfesten Erfassungsvorrichtungen 3 abweicht, so dass Bereiche der Umgebung erfasst werden können, die aus der Perspektive des Fahrzeugs 2 verdeckt sind.
Die Erfassungsvorrichtung 30 ist mit der Datenverarbeitungseinrichtung 5 über einen drahtlos ausgebildeten Übertragungskanal 40 verbunden, beispielsweise eine Funkstrecke. Über den Übertragungskanal 40 werden neben den von der Erfassungsvorrichtung 30 erfassten Bilddaten 7, 8 zusätzlich Informationen zur Lage und Ausrichtung der Erfassungsvorrichtung 30 an die Datenverarbeitungseinrichtung 5 übertragen. Diese zusätzlichen Lage- und Ausrichtungsinformationen können zur Überführung der Bilddaten 7, 8 der Erfassungseinrichtung 30 in das gemeinsame Koordinatensystem der 3D-Datenbasis 12 herangezogen werden.
Die vorstehend beschriebenen Fahrzeuge 2 können Teil eines in 8 dargestellten Fahrzeugverbands mit mehreren Fahrzeugen 2 sein, die über drahtlose Kommunikationsverbindungen miteinander verbunden sind, um 3D-Bilddaten 7, 8 miteinander auszutauschen und so die Erzeugung einer gemeinsamen 3D-Datenbasis 12 zu ermöglichen. Der durch ein Fahrzeug erfasste Bereich 19d er Umgebung kann durch die 3D-Bilddaten eines der anderen Fahrzeuge 2 erweitert werden. Zudem können bei einem solchen Fahrzeugverband von einem ersten Fahrzeug 2 nicht erfassbare Bereiche der Fahrzeugumgebung, welche durch Verdeckungen durch große Objekte, wie z. B. Hügel, Gebäude oder Bergketten entstehen können, durch Hinzunahme der 3D-Bilddaten des anderen Fahrzeugs 2 dennoch erfasst und in die 3D-Datenbasis 12 aufgenommen werden.
Die 9 zeigt ein drittes Ausführungsbeispiel einer Fahrzeuganzeigeeinrichtung 3, 5, 11, bei welchem die Anzeigevorrichtung 11 entfernt von dem Fahrzeug 2 angeordnet ist, um das Beobachten der Fahrzeugumgebung von einer Stellung abseits des Fahrzeugs 2 zu ermöglichen. Die Anzeigevorrichtung 11 ist mit der Datenverarbeitungseinrichtung 5 des Fahrzeugs 2 über einen als drahtlose Kommunikationsverbindung ausgebildeten Übertragungskanal 17 verbunden. Um die Übersichtlichkeit nicht zu beeinträchtigen ist in 9 keine Anzeigevorrichtung 11 innerhalb des Fahrzeugs 2 dargestellt, eine solche Anzeigevorrichtung 11 kann aber gleichwohl in dem Fahrzeug 2 vorgesehen sein.
Die abseits des Fahrzeugs 2 angeordnete Anzeigevorrichtung 11 ist Teil eines Beobachtungsstands 10. Der Beobachtungsstand 10 bildet zusammen mit dem Fahrzeug 2 ein Ausbildungssystem 1, anhand dessen Fahrer in dem Fahrzeug 2 ausgebildet werden können, ohne dass es erforderlich wäre, dass ein Ausbilder in dem Fahrzeug 2 anwesend ist. Der Ausbilder kann über die Anzeigevorrichtung 11 des Beobachtungsstands 10 die Fahrzeugumgebung wahrnehmen und die Ausbildung des Fahrers überwachen.
Alternativ kann das Ausbildungssystem 1 derart ausgebildet sein, dass neben dem Fahrzeug 2 eine über die drahtlose Kommunikationsverbindung 17 mit dem Fahrzeug verbundene Simulationseinrichtung zur Simulation von Fahrzeugen in der Datenbasis umfasst. Bei einem solchen Ausbildungssystem kann die Ausbildung mittels der Simulationsvorrichtung anhand realer von dem Fahrzeug erfasster 3D-Bilddaten erfolgen.
Bei den vorstehend beschriebenen Fahrzeuganzeigevorrichtungen, Fahrzeuge 2 und das Verfahren zur Anzeige der Fahrzeugumgebung werden durch mindestens eine am Fahrzeug 2 angeordnete Erfassungsvorrichtung 3 3D-Bilddaten 7, 8 der Umgebung erfasst und aus den 3D-Bilddaten 7, 8 eine Datenbasis 12 erzeugt, in welcher Farbinformationen mit Tiefeninformationen verknüpft sind. Aus der Datenbasis 12 wird eine Darstellung 15 der Umgebung generiert und angezeigt, wodurch das Beobachten der Fahrzeugumgebung beim Steuern des Fahrzeugs vereinfacht wird.
Bezugszeichenliste

1: Ausbildungssystem
2: Fahrzeug
2.1: Turm
2.2: Wanne
3: Erfassungsvorrichtung
4: Übertragungskanal
5: Datenverarbeitungseinrichtung
6: Übertragungskanal
7: Farbbild
8: Tiefenbild
9: Punktwolke
10: Beobachtungsstand
11: Anzeigevorrichtung
12: Datenbasis
13: virtuelle Kameraperspektive
15: Darstellung
16: Einstellvorrichtung
17: Übertragungskanal
18: überlappender Bereich
19: Erfassungsbereich eines Fahrzeugs
30: Erfassungsvorrichtung
40: Übertragungskanal
T_A, T_B, T_C: Vorschriften

Claims

Verfahren zur Anzeige der Umgebung eines Fahrzeugs (2), dadurch gekennzeichnet, dass durch mindestens eine am Fahrzeug (2) angeordnete Erfassungsvorrichtung (3) 3D-Bilddaten (7, 8) der Umgebung erfasst werden, dass aus den 3D-Bilddaten (7, 8) eine Datenbasis (12) erzeugt wird, in welcher Farbinformationen mit Tiefeninformationen verknüpft sind, und dass aus der Datenbasis (12) eine Darstellung (15) der Umgebung generiert und angezeigt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Datenbasis (12) eine Punktwolke (9) mit Punkten umfasst, denen jeweils eine Tiefeninformation und eine Farbinformation zugeordnet sind.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels mehrerer Erfassungsvorrichtungen (3) 3D-Bilddaten (7, 8) erfasst werden.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass mindestens eine Erfassungsvorrichtung (30) abseits des Fahrzeugs (2) angeordnet ist.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass von der abseits des Fahrzeugs (2) angeordneten Erfassungsvorrichtung (30) die Bilddaten (7, 8) und/oder deren Lage und/oder deren Ausrichtung an das Fahrzeug (2) insbesondere drahtlos übertragen werden, insbesondere an eine Datenverarbeitungseinrichtung (5) des Fahrzeugs (2).
Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass die 3D-Bilddaten (7, 8) der einzelnen Erfassungsvorrichtungen (3, 30) in der Datenbasis (12) zusammengeführt werden.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass zur Erzeugung der Datenbasis (12) die 3D-Bilddaten (7, 8) der einzelnen Erfassungsvorrichtungen (3, 30) in ein gemeinsames Koordinatensystem überführt werden.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass für die Punktwolken (9) der Erfassungsvorrichtungen (3, 30) jeweils eine Vorschrift zur Überführung in das gemeinsame Koordinatensystem ermittelt wird.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass zur Ermittlung der Vorschrift die Lage einzelner Erfassungsvorrichtungen (3, 30) zueinander und/oder deren Ausrichtung automatisch ermittelt wird, indem überlappende Bereiche der Punktwolken (9) erkannt werden, und/oder gemessen wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Darstellung (15) der Umgebung aus einer virtuellen Kameraperspektive (13) angezeigt wird.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass die virtuelle Kameraperspektive (13) mittels einer Eingabevorrichtung (16) frei eingestellt wird und/oder aus einer Liste vorgegebener Kameraperspektiven ausgewählt wird.
Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass die eingestellte und/oder ausgewählte virtuelle Kameraperspektive (13) an eine Datenverarbeitungseinrichtung (5) übermittelt wird, welche die Darstellung (15) berechnet.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Darstellung (15) in einer Anzeigevorrichtung (11) erfolgt, welche am Kopf eines Benutzers tragbar ist.
Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass die virtuelle Kameraperspektive (13) anhand der Ausrichtung der Anzeigevorrichtung (11) eingestellt wird.
Verfahren nach einem der Ansprüche 13 oder 14, dadurch gekennzeichnet, dass die virtuelle Kameraperspektive (13) derart eingestellt wird, dass sie im Wesentlichen der Blickrichtung des Benutzers entspricht.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in einer zweiten Anzeigevorrichtung (11) eine zweite, insbesondere von der ersten Darstellung (15) verschiedene, Darstellung (15) der Umgebung angezeigt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Anzeigevorrichtung (11) entfernt von dem Fahrzeug (2), insbesondere in einem zweiten Fahrzeug (2) oder einem Beobachtungsstand (10), angeordnet ist.
Fahrzeuganzeigeeinrichtung zur Anzeige der Umgebung eines Fahrzeugs (2), gekennzeichnet durch mindestens eine am Fahrzeug (2) anordbare Erfassungsvorrichtung (3) zur Erfassung von 3D-Bilddaten (7, 8), wobei aus den 3D-Bilddaten (7, 8) eine Datenbasis (12) erzeugbar ist, in welcher Farbinformationen mit Tiefeninformationen verknüpft sind, und wobei eine aus der Datenbasis (12) generierte Darstellung (15) der Umgebung anzeigbar ist.
Fahrzeug, gekennzeichnet durch eine Fahrzeuganzeigeeinrichtung zur Anzeige der Umgebung des Fahrzeugs (2) nach Anspruch 18.
Fahrzeug nach Anspruch 19, dadurch gekennzeichnet, dass die Erfassungsvorrichtung (3) mindestens einen 3D-Sensor umfasst, welcher insbesondere auf der Fahrzeugoberfläche angeordnet ist.
Fahrzeug nach einem der Ansprüche 19 oder 20, gekennzeichnet durch mehrere Erfassungsvorrichtungen (3), welche an der Außenkontur des Fahrzeugs (2) angeordnet sind.
Fahrzeug nach Anspruch 21, dadurch gekennzeichnet, dass die Erfassungsvorrichtungen (3) über die Fahrzeugaußenkontur verteilt angeordnet sind, insbesondere derart, dass sie kein gemeinsames Projektionszentrum aufweisen.
Fahrzeug nach einem der Ansprüche 19 bis 22, dadurch gekennzeichnet, dass die Erfassungsvorrichtungen (3) derart ausgerichtet sind, dass der Bodenbereich des Fahrzeugs (2), insbesondere im Abstand kleiner als 5 m, bevorzugt im Abstand kleiner als 1 m von der Fahrzeugaußenkontur, erfassbar ist.
Fahrzeug nach einem der Ansprüche 19 bis 23, dadurch gekennzeichnet, dass die Erfassungsvorrichtungen (3) mit einer Datenverarbeitungseinrichtung (5) zur Berechnung der Datenbasis (12) verbunden sind.
Fahrzeug nach einem der Ansprüche 19 bis 24, gekennzeichnet durch einen Innenraum, welcher sichtöffnungsfrei ausgebildet ist oder Sichtöffnungen aufweist, die zur Erhöhung des Schutzniveaus verschließbar sind.
Fahrzeugverband mit zwei Fahrzeugen (2) nach einem der Ansprüche 19 bis 25, die über eine drahtlose Kommunikationsverbindung miteinander verbunden sind, um 3D-Bilddaten (7, 8) zur Erzeugung einer gemeinsamen Datenbasis (12) auszutauschen.
Ausbildungssystem mit einem Fahrzeug (2) nach einem der Ansprüche 19 bis 25 sowie einem über eine drahtlose Kommunikationsverbindung (17) mit dem Fahrzeug (2) verbundenen Beobachtungsstand (10), der eine Anzeigevorrichtung (11) zur Anzeige der Darstellung (15) der Umgebung aufweist, und/oder einer über eine drahtlose Kommunikationsverbindung mit dem Fahrzeug (2) verbundenen Simulationseinrichtung zur Simulation von Fahrzeugen (2) in der Datenbasis.