DE102009054214B4 - Verfahren und Vorrichtung zum Erzeugen einer Darstellung einer Umgebung - Google Patents

Abstract

Verfahren zum Erzeugen einer Darstellung (38, 56) einer Umgebung, bei dem zumindest ein Bild (26, 58, 60) der Umgebung von einer Kamera (4) auf dem Wasser an einer Kameraposition aufgenommen wird und unter der Annahme, dass die Umgebung eine bekannte Topografie bildet, aus der Gestalt der Topografie, der Kameraposition relativ zur Topografie und dem zumindest einen Bild (26, 58, 60) die Darstellung (38, 56) in Form einer virtuellen Darstellung (38, 56) aus Sicht eines Beobachtungspunkts (40, 42, 44) erzeugt wird, der von der Kameraposition beabstandet ist, wobei der Aufnahmezeitpunkt des zumindest einen Bildes (26, 58, 60) in Abhängigkeit der Höhe (6) der Kamera (4), welche bei Wellengang um eine mittlere Kamerahöhe (52) schwankt, so gewählt wird, dass das zumindest eine Bild (26, 58, 60) nur dann aufgenommen wird, wenn die Kamera (4) oberhalb einer vorgegebenen Höhe (54) ist, welche bezüglich der mittleren Kamerahöhe (52) höher liegt.

Description

• Zur möglichst unentdeckten Erkundung einer Umgebung durch ein Unterseeboot ist es bekannt, dass das Unterseeboot sich dicht unter der Wasseroberfläche aufhält und mit einem durch die Wasseroberfläche hindurchreichenden Kommunikationsmast eine Funkverbindung betreibt oder die Umgebung aufklärt. Durch die Position des Unterseeboots dicht unter der Wasseroberfläche ist das Unterseeboot jedoch feindlicher Aufklärung relativ leicht zugänglich. Auch die Gefahr eines Rammens durch ein Schiff ist nicht unerheblich. Zur Lösung dieses Problems ist es bekannt, vom Unterseeboot eine Kommunikationsboje auszusetzen, mit der das Unterseeboot verbunden bleibt. Durch Sender, Empfänger, und Sensoren an der Boje kann eine Funkverbindung aufrechterhalten und die Umgebung aufgeklärt werden.
• In U. Neumann et al.: ”Augmented Virtual Environments (AVE): Dynamic Fusion of Imagery and 3D Models”, Proc. of the IEEE Conference on Virtual Reality, 2003, S. 61–67 ist die Verschmelzung von dynamischen Bilddaten mit geometrischen Daten aus vergleichenden 3D-Modellen im Rahmen der Technik der erweiterten virtuellen Umgebung (AVE) beschrieben.
• Aus Hahner: ”Das große Buch zu AutoCAD 10.0”, Data Becker, 1990, ISBN 3-89011-262-5, S. 159, 160, 196-199 & 313-324 ist die variable Angabe von Sichtpunkten und Blickwinkeln von gespeicherten 3D-Objekten und aus diesen aufgebauten 3D-Szenen bekannt.
• Y. Yokochi et al.: ”Extrinsic Camera Parameter Estimation Based-on Feature Tracking and GPS Data”, in: ”Lecture Notes in Computer Science”, Vol. 3851, 2006, S. 369-378 beschreibt die Verknüpfung von Daten bewegter Videosequenzen mit GPS-Positionsdaten.
• Aus der US 2006/0280034 A1 ist eine auf dem Wasser schwimmende Kameraplattform bekannt, von der aus 360°-Panoramaaufnahmen aufgenommen werden können, welche mosaikartig aus mehreren Einzelaufnahmen zusammengesetzt werden.
• TORR, P. H. S. [et al.]: Feature-based methods for Structure and Motion Estimation. Vision Algorithms: Theory and Practice. Lecture Notes in Computer Science, 2000, Vol. 1883, S. 278–294 beschäftigt sich mit der Erstellung von Panoramaabbildungen aus mehreren überlappenden Einzelabbildungen unter Zuhilfenahme der Erkennung hervorstechender Punkte oder Objekte im Panorama.
• In POLLEFEYS, M. [et al.]: Self-calibration and Metric Reconstruction Inspite of Varying and Unknown Intrinsic Camera Parameters. International Journal of Computer Vision 32, 1999, S. 7–25) wird ein Verfahren zur Selbstkalibrierung einer Kamera mit Zoom-/Autofokus-Funktion unter Zuhilfenahme einer Bilderkennungssoftware beschrieben.
• Aus der GB 2 362 793 A ist ein Verfahren zur computergestützten 3D-Modellierung bekannt, bei dem die Oberfläche des zu modellierenden Gegenstandes mittels eines dreidimensionalen Polygonnetzes angenähert wird und den einzelnen Polygonen anschließend Texturinformationen zugewiesen werden.
• In SHUM, H.-Y. [et al.]: Interactive Construction of 3D Models from Panoramic Mosaics. Proceedings of the 1998 IEEE Computer Society Conference an Computer Vision and Pattern Recognition, 1998, S. 427–433 ist ein Verfahren zur Erstellung eines 3D-Modells aus mehreren Panoramaabbildungen beschrieben.
• Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren zum Erzeugen einer Darstellung einer Umgebung anzugeben, mit dem die Umgebung besonders gut überwacht werden kann.
• Diese Aufgabe wird durch das Verfahren zum Erzeugen einer Darstellung einer Umgebung gemäß Anspruch 1 gelöst.
• Die Erfindung geht hierbei von der Überlegung aus, dass die Boje möglichst klein sein sollte, um nicht entdeckt zu werden. Hierdurch bedingt ist die Kameraposition nur knapp oberhalb der Wasseroberfläche. Wird das Aufklärungsbild, also die Darstellung der realen Umgebung, auf einer Anzeige dargestellt, so ist es für einen Bediener schwer, eine Entfernung von auf der Wasseroberfläche befindlichen Objekten korrekt einzuschätzen.
• Durch die Wahl eines geeigneten Beobachtungspunkts kann die reale Umgebung virtuell so dargestellt werden, dass eine Entfernung beispielsweise eines Schiffes auf der Wasseroberfläche zur Boje besser abschätzbar ist. Wird beispielsweise der Beobachtungspunkt in Bezug zur Topografie oberhalb der Kameraposition gewählt, so ist ein Blick auf die Objekte auf der Wasseroberfläche von weiter oberhalb möglich, so dass die gesamte Wasseroberfläche großflächiger auf dem angezeigten virtuellen Bild erscheint. Durch die Position der Objekte auf dieser durch die neue Perspektive vergrößert dargestellten Oberfläche kann die Entfernung gut abgeschätzt werden.
• Die virtuelle Darstellung kann eine rechnerisch erzeugte Darstellung einer Sicht in die Umgebung aus einer Beobachterposition sein, die aus Bilddaten von zumindest einem Bild erzeugt wird, das von einer Kameraposition aufgenommen wurde, die von der Beobachterposition beabstandet ist. Der Abstand zwischen Kameraposition und Beobachterposition kann einen Meter und mehr betragen. Die Beobachterposition kann frei wählbar sein. An ihr ist kein realer Beobachter nötig. Die virtuelle Darstellung kann auf einem Anzeigemittel, beispielsweise einem Bildschirm, angezeigt und von einem Bediener zur Überwachung der Umgebung angeschaut und beispielsweise analysiert werden. Ist der Beobachtungspunkt durch einen Bediener innerhalb von Grenzen frei wählbar, so kann eine für den Bediener optimale Einstellung der Darstellung so gewählt werden, dass ein interessierendes Objekt innerhalb der Umgebung gut dargestellt ist.
• Zur einfachen Erzeugung der virtuellen Darstellung ist es vorteilhaft, wenn aus Bildpunkten des Bilds Voxel mit jeweils dreidimensionaler Rauminformation erzeugt werden und die virtuelle Darstellung aus den Rauminformationen der Voxel erzeugt wird. Mit Hilfe der bekannten Topografie und der Kameraposition, deren Lage in oder über der Topografie bekannt ist, kann jedem Bildpunkt eine Entfernung von einem im Bildpunkt abgebildeten Objekt der Umgebung zur Kameraposition errechnet werden. Da die zweidimensionale Bildposition eines jeden Bildpunkts im Bild bekannt ist, kann mit dieser zweidimensionalen Information zusammen mit der Entfernungsinformation jedem Bildpunkt die Rauminformation zugeordnet werden. Jedes in den Bildpunkten dargestellte Objekt ist somit in seiner dreidimensionalen Lage im Raum rund um die Kameraposition bekannt.
• Den Bildpunkten kann mit Hilfe der bekannten Topografie jeweils eine Position relativ zu einem Bezugspunkt, beispielsweise einem Ursprung eines Koordinatensystems, zugeordnet werden. Der Bezugspunkt kann die Kameraposition, der virtuelle Beobachtungspunkt oder ein Punkt sein, der ortsfest zur Boje, einem Schiff, einem sonstigen Fahrzeug oder einem landfesten Punkt ist.
• Nun kann mit Hilfe einfacher trigonometrischer Verfahren, und/oder durch Transformation mit Hilfe der inversen Eulermatrix, eine Ansicht vom virtuellen Beobachtungspunkt aus auf die Topografie und damit auf die abgebildeten Objekte erzeugt werden, indem die Blickwinkel auf Punkte innerhalb der Topografie aus Sicht des Beobachtungspunkts bestimmt und jedem entsprechende Punkt ein Bildpunkt der zweidimensionalen Bildpunktmatrix zugeordnet wird. Innerhalb gewisser Grenzen kann nun die Topografie bzw. können die in der Topografie liegenden Gegenstände von jedem beliebigen Beobachtungspunkt aus dargestellt werden.
• So kann aus der bekannten Topografie ein Entfernungsmodell gebildet werden, mit dem den Bildpunkten des Bilds jeweils eine Entfernung von einem im Bildpunkt abgebildeten Objekt zu einem vorgegebenen Punkt zugeordnet wird. Der vorgegebene Punkt kann die Kameraposition sein oder der virtuelle Beobachtungspunkt. Ist er der Kamerapunkt, können die Entfernungen in die Entfernungen der Objekte zum Beobachtungspunkt umgerechnet werden. Die virtuelle Darstellung kann nun entsprechend der zugeordneten Entfernungen erzeugt werden. Das Entfernungsmodell ordnet hierbei der Position der Bildpunkte im aufgenommenen Bild jeweils eine Entfernung eines im Bildpunkt dargestellten Objekts zu beispielsweise der Kameraposition oder direkt zum virtuellen Beobachtungspunkt zu.
• In einer weiteren vorteilhaften Ausführungsform der Erfindung werden zumindest zwei Bilder von verschiedenen Punkten aufgenommen und die virtuelle Darstellung aus einer Bildfusion der beiden Bilder erzeugt. So können Bildpunkten eines jeden der beiden Bilder beispielsweise die dreidimensionalen Rauminformationen zugeordnet werden und Bildpunkte mit gleichen Rauminformationen aus den beiden Bildern können zu einem Bildpunkt der virtuellen Darstellung fusioniert werden. Die beiden Bilder können sich in ihrer Darstellung ganz oder teilweise überlappen, wobei die Bildfusion zweckmäßigerweise nur für den überlappenden Teil durchgeführt wird.
• Eine einfache Erzeugung dreidimensionaler Rauminformation oder von Entfernungsinformation zu jeweils einem Bildpunkt kann gelingen, wenn als Topografie eine ebene Oberfläche angenommen wird und die Kameraposition über der Oberfläche angeordnet ist.
• Zweckmäßigerweise wird die Kameraposition für jedes Bild innerhalb oder oberhalb der Topografie bestimmt, für den Fall dass mehrere Bilder aufgenommen werden, und insbesondere für den Fall, dass die virtuelle Darstellung aus den Bildern fusioniert wird.
• Die Kameraposition wird zweckmäßigerweise mit Hilfe eines Sensors bestimmt. Der Sensor kann ein Beschleunigungssensor sein, wobei durch zweifache Integration und einen festen Bezugspunkt die Kameraposition ermittelt werden kann. Der feste Bezugspunkt kann beispielsweise eine bekannte mittlere Position sein. Bei einer Boje oder einem Schiff schwankt die Kameraposition um diese mittlere Position herum, wobei sie im zeitlichen Mittel in der bekannten mittleren Position liegt.
• Außerdem ist es vorteilhaft wenn die Kameraausrichtung in die Umgebung bestimmt wird. Die ist besonders vorteilhaft, wenn mehrere Bilder mit einer unterschiedlichen Kameraausrichtung aufgenommen werden. Die Kameraausrichtung kann mit Hilfe eines Sensors, z. B. eines Beschleunigungssensors und/oder eines Kompasses ermittelt werden, z. B. mit Hilfe einer bekannten und mittleren Ausrichtung, z. B. einer mittleren Elevation. Durch die Ermittlung der Kameraausrichtung relativ zur Topografie kann der in der Topografie liegende Bildausschnitt bestimmt und somit die Position der Bildpunkte bzw. von in diesen Bildpunkten abgebildeten Gegenständen in der Topografie erfasst werden.
• Alternativ oder ergänzend hierzu kann eine Ausrichtung des Bilds in der Topografie anhand von Bildinformationen durch Bildverarbeitung ermittelt werden. So kann beispielsweise ein abgebildeter Horizont zur Bestimmung der Elevation der Kamera dienen oder mit Hilfe der abgebildeten Sonne mit Hilfe der Uhrzeit und des Datums ein Azimutwinkel und Elevationswinkel der Kameraausrichtung bestimmt werden.
• Erfindungsgemäß wird vorgeschlagen, dass bei einer Bewegung der Kamera ein Aufnahmezeitpunkt des Bilds in Abhängigkeit von der Kameraposition gewählt wird. Wird die Kamera auf einem Schiff oder einer Boje durch Seegang auf und ab bewegt, wird der Aufnahmezeitpunkt so gewählt, dass die Kameraposition möglichst hoch über einer mittleren Position ist. Hierdurch kann ein guter Überblick über die Umgebung erreicht werden und es gibt wenige Bildstörungen durch abgebildete Wellentäler und den Horizont verdeckende Wellenkämme, deren reale Topografie der angenommenen Topografie widerspricht. Ein Aufnahmezeitpunkt wird oberhalb einer vorgegebenen Höhe über einem Bezugspunkt gewählt. Die vorgegebene Höhe kann wiederum von der Größe der Bewegung der Kameraposition innerhalb beispielsweise einer vorgegebenen Zeitspanne abhängig gemacht werden.
• Die Erfindung ist außerdem gerichtet auf eine Vorrichtung zum Erzeugen einer Darstellung einer Umgebung gemäß Anspruch 14.
• Das Prozessmittel ist vorteilhafterweise dazu vorbereitet, die Durchführung eines beliebigen, mehrerer beliebiger oder aller der oben bekannten Verfahrensschritte zu steuern. Eine solche Vorbereitung kann durch ein entsprechendes Steuerprogramm des Prozessmittels vorliegen, dessen Ablauf – beispielsweise in Verbindung mit geeigneten Eingangssignalen, wie Sensorsignalen – eine solche Steuerung bewirkt.
• Aus der virtuellen Darstellung können interessierende Objekte zuverlässig als solche erkannt werden, z. B. ein auf Kollisionskurs befindliches Boot. Vorteilhafterweise ist das Prozessmittel dazu vorbereitet, solche Objekte zu erkennen und die Kamera so zu steuern, dass sie durch eine gesteuerte Bewegung auf das Objekt ausgerichtet wird. Weitere Vorteile ergeben sich aus der folgenden Zeichnungsbeschreibung. In der Zeichnung sind Ausführungsbeispiele der Erfindung dargestellt. Die Zeichnung und die Beschreibung enthalten zahlreiche Merkmale in Kombination, die der Fachmann zweckmäßigerweise auch einzeln betrachten und zu sinnvollen weiteren Kombinationen zusammenfassen wird.
• Es zeigen:
• 1 eine mit einem Unterseeboot verbundene Aufklärungsboje mit einer Kamera in einer schematischen Darstellung,
• 2 ein von der Kamera aufgenommenes Bild einer Umgebung mit zwei Objekten,
• 3 ein virtuelles Bild auf die beiden Objekte aus einer höheren Beobachterposition,
• 4 ein Diagramm einer Auf- und Abbewegung der Aufklärungsboje über die Zeit und
• 5 zwei von der Kamera aus unterschiedlichen Positionen aufgenommene Bilder auf drei Objekte und eine virtuelle Darstellung auf die drei Objekte aus einer Bildfusion der ersten beiden Bilder.
• 1 zeigt eine Kommunikations- und Aufklärungsboje 2 mit einer Kamera 4, die bei ruhiger See in einer Höhe 6 über einer Wasseroberfläche 8 angeordnet ist. Die Kamera 4 ist signaltechnisch mit einer Prozessmittel 10 verbunden, das im Inneren der Aufklärungsboje 2 angeordnet ist zusammen mit einem Datenspeicher 12, einem Beschleunigungssensor 14 und einem Kompass 16. Die Aufklärungsboje 2 ist über ein Zugkabel 18 mit einem Unterseeboot verbunden, das die Aufklärungsboje 2 im Schlepp hat. Über das Zugkabel 18 können Daten vom Prozessmittel 10 an ein weiteres Prozessmittel 22 im Unterseeboot 20 übertragen werden, das mit einem als Bildschirm ausgeführten Anzeigemittel 24 verbunden ist. Die Aufklärungsboje 2 bildet eine Vorrichtung zum Erzeugen einer Darstellung einer Umgebung auf dem Anzeigemittel 24 im Unterseeboot 20. Hierfür wird die Aufnahme von einer Mehrzahl von Bildern mit Hilfe der Kamera 4 durch das Prozessmittel 10 gesteuert. Die Bilder werden zeitlich hintereinander aufgenommen. Zusätzlich zur Kamera 4 sind weitere Kameras denkbar, die in andere Richtungen ausgerichtet sind, so dass aus den Bildern der Kameras ein Panoramabild erzeugt werden kann, insbesondere ein Bild mit Rundumsicht.
• Ein einfaches Bild 26 der Kamera 4 ist in 2 dargestellt. Es zeigt in schematischer Weise den Blick der Kamera 4 auf die Wasseroberfläche 8 und auf zwei in 2 nur schematisch dargestellte Objekte 28, 30, die in einiger Entfernung von der Kamera 4 auf der Wasseroberfläche 8 schwimmen. Abgebildet ist außerdem der Horizont 32. Die Ausrichtung der Kamera 4 zu den Objekten 28, 30 legt jeweils eine Blicklinie 34, 36 fest, deren Elevationswinkel α₁ und α₂ und Azimutwinkel die Lage des jeweils abgebildeten Objekts 28, 30 im Bild 26 festlegt. Durch die Elevationswinkel α₁ und α₂ und die jeweils zugehörigen Azimutwinkel ist die Richtung einer jeder Blicklinie 34, 36 der Kamera eindeutig bestimmt.
• 2 zeigt schematisch, wie die Objekte 28, 30 im Bild 26 sichtbar wären, wenn dieses auf dem Anzeigemittel 24 dargestellt würden. Jedem Objekt 28, 30 sind Bildkoordinaten x₁, y₁ und x₂, y₂ zugeordnet, aus denen die Blicklinien 34, 36 zu den Objekten 28, 30 bestimmt werden kann. Durch die geringe Höhe 6 der Kamera 4 über der Wasseroberfläche 8 sind die beiden Objekte 28, 30, obwohl sie – wie aus 1 zu sehen ist – relativ weit voneinander und von der Kamera 4 beabstandet sind, im Bild 26 hinsichtlich ihrer Entfernung zur Kamera 4 schwer abzuschätzen.
• Es wird daher vom Prozessmittel 10 eine virtuelle Darstellung 38 der Umgebung erzeugt, die in 3 abgebildet ist. Mit der virtuellen Darstellung 38 wird eine Sicht auf die Umgebung aus einem Beobachtungspunkt 40 darstellt, der mehrere Meter, beispielsweise 20 m, über der Kameraposition liegt. Dieser Beobachtungspunkt 40 ist in Grenzen frei wählbar und wird von einem Bediener im Unterseeboot 20 mit Hilfe einer Eingabe in das Prozessmittel 22 festgelegt, wobei ein Datenverarbeitungsprogramm daraus erzeugte Daten an das Prozessmittel 10 der Aufklärungsboje 2 weitergibt und diese die virtuelle Darstellung 38 erzeugt. Ebenfalls ist denkbar, dass die von der Kamera 4 erstellten Bilder 26 an das Unterseeboot 20 übertragen werden und die virtuelle Darstellung 38 vom Prozessmittel 22 des Unterseeboots 20 erzeugt wird. Anstelle des Beobachtungspunkts 40 sind auch andere Beobachtungspunkte 42 oder 44 denkbar, die nicht zwingend oberhalb der Kameraposition angeordnet sein müssen.
• Zum Erzeugen der virtuellen Darstellung 38 wird von einer bekannten Topografie der Umgebung ausgegangen, in der die Objekte 28, 30 liegen. In dem in 1 dargestellten Beispiel ist die Topografie eine ebene Fläche in der als eben gedachten Wasseroberfläche 8. Bei ruhiger See bildet die Wasseroberfläche 8 im Wesentlichen eine ebene Fläche, sodass dieses Modell mit der realen Umgebung gut übereinstimmt. Aus den Elevationswinkeln α₁, α₂ der Objekt 28, 30 kann die Entfernung der Objekte 28, 30 von der Kameraposition 4 aus einfacher trigonometrischer Beziehung bestimmt werden.
• Zum Erzeugen der virtuellen Darstellung 38 wird ein Entfernungsmodell verwendet, das jedem Bildpunkt des Bilds 26 oder zumindest einer Anzahl der Bildpunkte des Bilds 26 einen definierten Punkt im Ortsraum zuordnet. Die Koordinaten des Ortsraums können auf einen festen Punkt bezogen sein, beispielsweise die Kameraposition oder einen anderen vorgegebenen Punkt, der ortsfest oder beweglich sein kann. Das Entfernungsmodell geht von der Annahme der Reduzierung der Lagemöglichkeit der abgebildeten Objekte 28, 30 in eine zweidimensionale Landschaft bzw. Topografie aus, deren Gestalt die Grundlage für das Entfernungsmodell bildet. Es kann so den Bildpunkten eines jeden Bilds 26 ein Ort oder Blickpunkt in der Landschaft bzw. Totografie zugeordnet werden. Ohne das Entfernungsmodell wäre den Bildpunkten nur eine Blicklinie 34, 36 zugeordnet. Durch die vorgegebene Topografie des Entfernungsmodells wird die mögliche Lage der abgebildeten Objekte 28, 30 auf den Schnittpunkt der Blicklinie 34, 36 mit der Topografie und damit auf einen eindeutigen Punkt reduziert, der in einer einfach errechenbaren Entfernung zur Kamera 4 liegt und somit mit konkreten dreidimensionalen Koordinaten in Bezug zu einem Bezugspunkt versehen werden kann. Die Bildpunkte oder Pixel eines Bilds 26 werden somit zu einem in seinen dreidimensionalen Koordinaten festgelegten Voxel. Die horizontale Blicklinie 46 ist hierbei zum Horizont 32 gerichtet, sodass den Bildpunkten, die den Horizont 32 abbilden, die Entfernung unendlich zugeordnet werden kann. Ebenso kann mit allen Bildpunkten oberhalb des Horizonts verfahren werden.
• Anhand der als bekannt angenommenen Topografie, der Höhe 6 der Kamera 4 über der Topografie und den Elevationswinkeln α₁, α₂ wird dem Objekt 28 die Entfernung d₂₇₀ = 270 m und dem Objekt 30 die Entfernung d₁₀₀₀ = 1000 m zur aufnehmenden Kamera 4 zugeordnet. Durch die Elevationswinkel α₁, α₂ kann z. B. bei der ebenen Topografie die Entfernung d durch den Zusammenhang d = h/sinusα bestimmt werden, wobei h die Höhe 6 ist. Hierdurch und durch den Azimutwinkel, der durch die Lage der Objekte 28, 30 im Bild 26 bestimmbar ist, ist die Ortslage der Objekte 28, 30 relativ zur aufnehmenden Kamera 4 bekannt.
• Da die Entfernung der Objekte 28, 30 in der Regel durch ihre Unterkante bzw. die Lage ihrer Unterkante oder ihres tiefsten Punkts im Bild 26 bestimmt wird, wird diese Lage der Unterkante bzw. des tiefsten Punkts bei der Entfernungs- bzw. Positionsbestimmung berücksichtigt.
• Mit Hilfe der bekannten Relativposition des vom Bediener festgelegten Beobachtungspunkts 40 zur Kameraposition der aufnehmenden Kamera 4 kann durch einfach Koordinatentransformation die Entfernung und die Relativposition der Objekte 28, 30 zum Beobachtungspunkt 40 ermittelt werden und durch einfach Trigonometrie deren Lage in der virtuellen Darstellung 38. Die entsprechenden virtuellen Blicklinien 48, 50 auf die Objekte 28, 30 sind in 1 dargestellt. Sie weisen größere Elevationswinkel auf, sodass in der virtuellen Darstellung 38 die Objekte 28, 30 vertikal weiter voneinander beabstandet sind. Außerdem ist ihre Entfernung zum Horizont 32 größer. Hierdurch wird die Abschätzung ihrer Lage relativ zur Kamera 4 durch einen Bediener vereinfacht, der sich somit ein besseres Bild der Umgebung machen kann.
• Anstelle der ebenen Topografie ist im Prinzip jede denkbare Topografie möglich, die entsprechend als bekannt angenommen wird. Ist diese Topografie bekannt oder annähernd bekannt, und hat das Prozessmittel 10 Zugriff auf diese Topografie darstellende Daten, die beispielsweise im Datenspeicher 12 abgespeichert sein können oder aus einer Position der Kamera 4, beispielsweise bei Verwendung in einem bewegten Landfahrzeug, und einer bekannten Landschaft errechnet wird, so ist das Entfernungsmodell auch bei unebener Topografie vorteilhaft anwendbar.
• Zur Ermittlung der Höhe 6, deren Bekanntheit eine Voraussetzung zur Bestimmung der virtuellen Darstellung 38 ist, ist die Aufklärungsboje 2 mit dem Beschleunigungssensor 14 versehen. Bei Wellengang schwankt die Höhe 6 der Kamera 4 über der Wasseroberfläche und insbesondere über eine als eben gedachter vollkommen glatte Wasseroberfläche 8. Durch den Beschleunigungssensor 14 kann die Beschleunigung gemessen und durch zweifache Integration der jeweilige Ort des Beschleunigungssensors 14 und damit der Kamera 4 bestimmt werden. Voraussetzung ist ein bekannter Ort zu einem festgelegten Zeitpunkt, an dem die Integration starten kann.
• In 4 ist die Höhe 6 in einem Diagramm über die Zeit t schematisch aufgetragen. Über einen großen Zeitraum gemittelt ist die mittlere Höhe 52 die Höhe 6 der Kamera 4 über der Wasseroberfläche 8 bei vollkommen ruhiger Wasseroberfläche. Auch bei starker Schwankung der Höhe 6, wie in 4 dargestellt, kann diese mittlere Höhe 52 durch Mittelung über einen längeren Zeitraum festgestellt werden und als Korrektiv verwendet werden, das einer fehlerbehafteten Drift entgegenwirkt.
• In 4 ist außerdem eine durch beispielsweise das Prozessmittel 10 vorgegebene Höhe 54 dargestellt die als Auslösehöhe zur Aufnahme von Bildern 26 der Umgebung dient. Hierdurch werden die Bilder 26 nur aufgenommen, wenn die Kamera 4 oberhalb dieser vorgegebenen Höhe 54 ist und somit einen guten Blick über die sie umgebenden Wellen hat Zusätzlich kann durch den Beschleunigungssensor 14 der obere Umkehrpunkt der Position der Kamera 4 ermittelt werden, sodass die Bilder in größter Höhe über der mittleren Wasseroberfläche 8 aufgenommen werden. Auf kleinen Wellenbergen unterhalb der Höhe 54 werden keine Bilder aufgenommen. Die vorbestimmte Höhe 54 ist hierbei zweckmäßigerweise abhängig gemacht von der Größe der Bewegung, sodass sie umso höher liegt, je höher der Wellengang ist bzw. die Schwankung der Höhe 6 der Kamera 4.
• Zusätzlich zur Höhe 6 der Kamera 4 über der Topografie muss auch der Elevationswinkel der Ausrichtung der Kamera 4 bekannt sein, also ob die Kamera 4 im Moment der Bildaufnahme mehr nach oben oder mehr nach unten ausgerichtet ist. Durch Wellengang schwankt dieser Elevationswinkel und muss daher bestimmt werden. Der Elevationswinkel kann sich auf irgendeine zur Kameraausrichtung festgelegte Richtung beziehen, z. B. auf die Bildmitte eines aufgenommenen Bilds 26. Zur Bestimmung der elevativen Ausrichtung der Kamera 4 bei einer Bewegung der Aufklärungsboje 2 kann ein weiterer Sensor, beispielsweise ein Gravitationssensor zum Einsatz kommen, der die Ausrichtung der Aufklärungsboje 2 im Raum und damit der Kamera 4 misst. Auch dieser Sensor kann durch den Beschleunigungssensor 14 oder einen anderen Beschleunigungssensor unterstützt werden, um eine schnelle und genaue Messung der Ausrichtung zu erreichen.
• Ist die Höhe der Kamera 4 und die Ausrichtung der Aufklärungsboje im Raum und damit die Ausrichtung der Kamera 4 zumindest in Bezug auf ihren Elevationswinkel bekannt, so kann eine virtuelle Darstellung 38 erzeugt werden. Zusätzlich ist es vorteilhaft, wenn die Ausrichtung der Kamera 4 bezüglich des Azimutwinkels, beispielsweise der Bildmitte der aufgenommenen Bilder 26, relativ zu einer festgelegten Richtung, beispielsweise einer Himmelsrichtung, festgelegt ist. Dies kann durch den Kompass 16 geschehen, der auch durch einen beliebigen anderen geeigneten Sensor ersetzt werden kann. Möglich ist es auch, den Kompass 16 nur für eine grobe und mittlere Azimutwinkelbestimmung zu nutzen und zusätzlich zur Feinbestimmung den Beschleunigungssensor 14 oder einen anderen Beschleunigungssensor zu verwenden, der eine Rotation der Aufklärungsboje um seine senkrechte Achse misst.
• Hierdurch ist die absolute Ausrichtung der Kamera 4 und damit der Bilder 26 in der Umgebung bekannt, sodass die Objekte 28, 30 auch in ihrer absoluten Position, beispielsweise in geografischer Länge und Breite, bestimmt werden können.
• Um eine Fehler erzeugende Drift bei der Ausrichtungsbestimmung der Kamera 4 zu vermeiden, kann die Ausrichtung der Kamera 4 zusätzlich oder alternativ von Bildinformationen durch Bildverarbeitung ermittelt werden. Wird ein Objekt abgebildet und erkannt, dessen Position im Raum bekannt ist, wie z. B. der Horizont 32, so kann die Ausrichtung der Kamera 4 anhand der Bilddaten dieses Objekts bestimmt werden, beispielsweise der Elevationswinkel anhand der Lage des Horizonts 32 im Bild 26. Durch die Abbildung der Sonne und Verwendung als ortsbekanntes Objekt kann neben dem Elevationswinkel auch der Azimutwinkel des Bild bzw. eines bekannten Punkts z. B. des Schwerpunkts des Bilds 26, errechnet werden.
• Außerdem ist es möglich, eine virtuelle Darstellung 56 aus zwei Bildern 58, 60 zu erzeugen, deren Ausrichtung in der Umgebung nicht gleich ist. Ein Beispiel hierfür ist in 5 dargestellt. Die Bilder 58, 60 zeigen drei Objekte 62, 64, 66 aus zwei verschiedenen Kamerapositionen und Kameraausrichtungen. Das erste Bild 58 zeigt das Objekt 62 aus einer relativ kleinen Höhe 6, sodass seine Oberkante den Horizont 32 teilweise bedeckt. Die Höhe 6 der Kamera 4 im zweiten Bild 60, das beispielsweise einen kleinen Zeitraum nach dem ersten Bild 58 aufgenommen wurde, ist etwas höher, sodass das Objekt 62 relativ zum Horizont 32 etwas tiefer erscheint. Ebenso sind die beiden vor dem Objekt 62 liegenden Objekte 64, 66 auch etwas tiefer relativ zum Objekt 62 angeordnet. Des Weiteren ist die Kamera 4 zwischen dem Aufnahmemoment des ersten Bilds 58 und des zweiten Bilds 60 etwas nach rechts gedreht, sodass die Objekte 62, 64, 66 im zweiten Bild 60 mehr in der Bildmitte angeordnet sind als im ersten Bild 58. Drittens ist der Elevationswinkel der Bildmitte des zweiten Bilds 60 tiefer als beim Bild 58, was dadurch erkennbar wird, dass der Horizont 32 im Bild 60 höher im Bild liegt als im Bild 58.
• Durch die nahe Anordnung der Objekte 62, 64, 66 in den Bildern 58, 60 ist es für einen Bediener im Unterseeboot 20 bzw. einem beliebigen Bediener, der auf das Anzeigemittel 24 schaut, schwierig, die absolute Lage der Objekte 62, 64, 66 relativ zur Kamera 4 einzuschätzen.
• Zur Vereinfachung dieser Einschätzung wird – analog wie zu 3 erläutert – die virtuelle Darstellung 56 erzeugt, die die Objekte 62, 64, 66 aus einer erhöhten Position, beispielsweise dem hohen Beobachtungspunkt 40, darstellt. Auch der Elevationswinkel der Bildmitte der virtuellen Darstellung 56 ist frei wählbar. Bei dem in 5 dargestellten Beispiel ist dieser Elevationswinkel so gewählt, dass der Horizont 32 sehr nahe am oberen Bildrand liegt, da der Himmel über dem Horizont 32 von geringem Interesse für den Bediener ist. Durch den erhöhten Beobachtungspunkt 40 sind die Objekte 62, 64, 66 nun in der virtuellen Darstellung 56 so voneinander beabstandet, dass deren Abstand einerseits zueinander und andererseits zur Kamera 4 erheblich besser erkennbar ist als aus den Bildern 58, 60.
• Durch die Bildfusion der Bilder 58, 60 kann außerdem ein größeres Panoramabild geschaffen werden, sodass die virtuelle Darstellung 56 einen größeren Azimutwinkelbereich abdeckt als die Bilder 58, 60 jeweils. Auf diese Weise ist es auch möglich, mehrere Bilder zu einer halbkreisförmigen oder sogar 360° umspannenden Panoramadarstellung mit Rundumsicht zu erzeugen.
• Die Bildfusion der beiden Bilder 58, 60 oder weiterer Bilder zu einer weiten Panoramadarstellung kann wie folgt geschehen. Im Überlappungsbereich von zwei Bildern 58, 60 sind jedem Umgebungspunkt zwei Bildpunkte zugewiesen, nämlich ein Bildpunkt im Bild 58 und ein weiterer Bildpunkt im Bild 60. Diese beiden korrespondierenden Bildpunkte haben bezogen auf die Kameraposition oder einen weiteren beliebigen und bekannten Punkt die gleichen Ortskoordinaten. Sie werden daher im entstehenden Panoramabild 56 übereinander abgebildet. Dies kann durch gewichtete Grauwertermittlung geschehen, sodass ein hellerer Bildpunkt und ein dunklerer Bildpunkt einen mittelhellen Bildpunkt ergeben. Die entsprechende Zuordnung der Bildpunkte von Bild 58 und Bild 60 zur virtuellen Darstellung 56 ist in 5 durch Pfeile angedeutet.
• Anstelle der Abbildung der beiden korrespondierenden Bildpunkte in einem Bildpunkt des Panoramabilds 56 kann dieses feiner aufgelöst sein, sodass auf eine nicht vollständige Überlappung der beiden korrespondierenden Bildpunkte Rücksicht genommen werden kann. Bei Erzeugung eines Panoramabilds kann ein Bediener auch nur Abschnitte des Panoramabilds zur Anzeige bringen oder beispielsweise durch ein Drehen der Blickrichtung einen kontinuierlichen Rundumblick oder einen Blick über einen großen Azimutwinkel nehmen.
• Durch die Erzeugung der virtuellen Darstellungen 38, 56 kann der weitere Vorteil erreicht werden, dass eine durch die Schwankung der Kamera 4 erzeugte Ausrichtungsveränderung der Bilder 26, 58, 60 umgangen wird. Werden beispielsweise mehrere virtuelle Darstellungen aus einem Beobachtungspunkt 40 hintereinander angefertigt, so kann stets ein festgelegter Elevationswinkel der virtuellen Darstellungen 38, 56 gewählt werden, sodass in diesen Darstellungen 38, 56 keine Schwankung mehr sichtbar ist. Der Bediener kann sich voll auf die Objekte 28, 30 bzw. 62, 64, 66 konzentrieren ohne diese stets im schwankenden Bild erneut mit den Augen suchen zu müssen.
• Die virtuelle Darstellung 38, 56, kann des Weiteren dazu verwendet werden, Objekte 28, 30 bzw. 62, 64, 66 automatisiert, beispielsweise durch Bildverarbeitung, zu erkennen und die Kamera 4 automatisiert auf diese Objekte 28, 30, 62, 64, 66 auszurichten. Hierdurch wird einem Bediener das Auffinden von Objekten 28, 30 bzw. 62, 64, 66 erleichtert. Je nach Art der Objekte können auch weitere Handlungen gesteuert werden, beispielsweise ein Alarm bei einem Kollisionskurs oder bei einer bestimmten Art von entdecktem Objekt und/oder es können Gegenstände, z. B. Abwehrwaffen, vorbereitet werden.
• Bezugszeichenliste

2

Aufklärungsboje

4

Kamera

6

Höhe

8

Wasseroberfläche

10

Prozessmittel

12

Datenspeicher

14

Beschleunigungssensor

16

Kompass

18

Zugkabel

20

Unterseeboot

22

Prozessmittel

24

Anzeigemittel

26

Bild

28

Objekt

30

Objekt

32

Horizont

34

Blicklinie

36

Blicklinie

38

virtuelle Darstellung

40

Beobachtungspunkt

42

Beobachtungspunkt

44

Beobachtungspunkt

46

Blicklinie

48

Blicklinie

50

Blicklinie

52

mittlere Höhe

54

vorgegebene Höhe

56

virtuelle Darstellung

58

Bild

60

Bild

62

Objekt

64

Objekt

66

Objekt

Claims (14)

1. Verfahren zum Erzeugen einer Darstellung (38, 56) einer Umgebung, bei dem zumindest ein Bild (26, 58, 60) der Umgebung von einer Kamera (4) auf dem Wasser an einer Kameraposition aufgenommen wird und unter der Annahme, dass die Umgebung eine bekannte Topografie bildet, aus der Gestalt der Topografie, der Kameraposition relativ zur Topografie und dem zumindest einen Bild (26, 58, 60) die Darstellung (38, 56) in Form einer virtuellen Darstellung (38, 56) aus Sicht eines Beobachtungspunkts (40, 42, 44) erzeugt wird, der von der Kameraposition beabstandet ist, wobei der Aufnahmezeitpunkt des zumindest einen Bildes (26, 58, 60) in Abhängigkeit der Höhe (6) der Kamera (4), welche bei Wellengang um eine mittlere Kamerahöhe (52) schwankt, so gewählt wird, dass das zumindest eine Bild (26, 58, 60) nur dann aufgenommen wird, wenn die Kamera (4) oberhalb einer vorgegebenen Höhe (54) ist, welche bezüglich der mittleren Kamerahöhe (52) höher liegt.
2. Verfahren nach Anspruch 1, wobei der Beobachtungspunkt (40, 42, 44) oberhalb der Kameraposition ist.
3. Verfahren nach Anspruch 1 oder 2, wobei der Beobachtungspunkt (40, 42, 44) durch einen Bediener innerhalb von Grenzen frei wählbar ist.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei aus Bildpunkten des zumindest einen Bildes (26, 58, 60) Voxel mit jeweils dreidimensionaler Rauminformation erzeugt werden und die virtuelle Darstellung (38, 56) aus den Rauminformationen der Voxel erzeugt wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei aus der bekannten Topografie ein Entfernungsmodell gebildet wird, Bildpunkten des zumindest einen Bildes (26, 58, 60) mit Hilfe des Entfernungsmodells jeweils eine Entfernung von einem im Bildpunkt abgebildeten Objekt (28, 30, 62, 64, 66) zu einem vorgegebenen Punkt zugeordnet wird und die virtuelle Darstellung (38, 56) entsprechend der zugeordneten Entfernungen erzeugt wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei den Bildpunkten mit Hilfe der bekannten Topografie jeweils eine Position relativ zu einem Bezugspunkt zugeordnet wird.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei zumindest zwei Bilder (58, 60) von verschiedenen Punkten aufgenommen werden und die virtuelle Darstellung (56) aus einer Bildfusion der beiden Bilder (58, 60) erzeugt wird.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Topografie eine ebene Oberfläche (8) ist und die Kameraposition über der Oberfläche (8) angeordnet ist.
9. Verfahren nach einem der vorhergehenden Ansprüche, wobei mehrere Bilder (26, 58, 60) aufgenommen werden und die Kameraposition für jedes Bild (26, 58, 60) bestimmt wird.
10. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Kameraposition mit Hilfe eines Sensors bestimmt wird.
11. Verfahren nach einem der vorhergehenden Ansprüche, wobei mehrere Bilder (26, 58, 60) aufgenommen werden und die Kameraausrichtung in die Umgebung für jedes Bild (26, 58, 60) bestimmt wird.
12. Verfahren nach einem der vorhergehenden Ansprüche, wobei eine Ausrichtung des zumindest einen Bildes (26, 58, 60) in der Topografie anhand von Bildinformationen durch Bildverarbeitung ermittelt wird.
13. Verfahren nach Anspruch 12, wobei die Kameraposition in Abhängigkeit von der Größe der Bewegung gewählt wird.
14. Vorrichtung zum Erzeugen einer Darstellung (38, 56) einer Umgebung mit einer Kamera (4) auf dem Wasser an einer Kameraposition, einem Prozessmittel (10), einem Datenspeicher (12), in dem Daten zu einer angenommenen Topografie der Umgebung hinterlegt sind, und einem Anzeigemittel (24) zum Anzeigen der Darstellung (38, 56), wobei das Prozessmittel (10) dazu vorgesehen ist, eine Aufnahme zumindest eines Bildes (26, 58, 60) der Umgebung durch die Kamera (4) zu steuern und unter Zugriff auf die Daten der Topografie, der Kameraposition relativ zur Topografie und das zumindest eine Bild (26, 58, 60) die Darstellung (38, 56) in Form einer virtuellen Darstellung (38, 56) aus Sicht eines von der Kameraposition beabstandeten Beobachtungspunkts (40, 42, 44) zu erzeugen, wobei ein Beschleunigungssensor (14) vorgesehen ist, mit welchem eine Höhe (6) der Kamera (4) bestimmt wird, welche bei Wellengang um eine mittlere Kamerahöhe (52) schwankt, wobei das Prozessmittel (10) eingerichtet ist, den Aufnahmezeitpunkt des zumindest einen Bildes (26, 58, 60) in Abhängigkeit der Höhe (6) der Kamera (4) so zu wählen, dass das zumindest eine Bild (26, 58, 60) nur dann aufgenommen wird, wenn die Kamera (4) oberhalb einer vorgegebenen Höhe (54) ist, welche bezüglich der mittleren Kamerahöhe (52) höher liegt.

Images