-
Die Erfindung betrifft ein Tauchroboter-Bild- und / oder Videodatenvisualisierungssystem für Tauchroboter einsetzbar in der See und / oder Tiefsee mit wenigstens einem Tauchroboter, der genau eine operative digitale Kamera, wenigstens eine Dateninformationsspeichereinheit und wenigstens eine Date.10aninformationsverarbeitungseinheit, sowie eine Bild- und / oder Videoausgabe auf wenigstens zwei parallel arbeitenden Bildausgabevorrichtungen aufweist.
-
Als System, im Sinne der Erfindung, wird dabei die Gesamtheit der Module bezeichnet, die derart aufeinander bezogen oder miteinander verbunden sind und in einer Weise wechselwirken, dass sie als zweckgebundene Einrichtung die im Weiteren gestellte Aufgabe lösen.
-
Der Stand der Technik zeigt eine Reihe von Beispielen für die Nutzung von Tauchrobotern für industrielle und wissenschaftliche Zwecke unter Einsatz von mehreren Videokameras, die teils auf Schwenk-Neigeköpfen montiert werden. Diese haben gemeinhin einen Bildwinkel von weniger als 64° im Falle von einfachen planen Druckfenstern und bei Anwendung von Kugelfenstern, auch Domeport genannt, einen Winkel von über 100°.
-
Derartige Tauchgänge von unbemannten Tauchrobotern werden i.d.R. von mehreren Personen gleichzeitig aus der Ferne verfolgt. Dabei bedeutet das selektive Verfolgen einzelner Kameraeinstellungen auf unterschiedlichen Bildschirmen eine massive Einschränkung für die Beurteilung der optisch untersuchbaren Bereiche. Weiter wird durch das für alle Betrachter gleiche Blickfeld, welches durch die jeweilige gerichtete Kamera bestimmt wird, eine Beeinträchtigung der Produktivität durch die Benutzer bewirkt.
-
Dies wird häufig noch dadurch verstärkt, dass die Beleuchtung von Tauchrobotern nicht mit den jeweiligen Kameras in Blickrichtung mitschwenkt und daher ein Blickfeld ausgeleuchtet wird, welches selbst von schwenkbaren Kameras nicht erfasst wird.
-
Die Druckschrift
DE 698 37 932 T2 zeigt ein Verfahren zur Erfassung von immersiven Bildern, wobei durch eine Transformation eines Teils von jeweils zwei total-immersiven Darstellungen durch eine Korrektur die Darstellung für jedes Auge eines Benutzers bereitgestellt wird.
-
Weiter ist aus der Druckschrift
DE 10 2009 001 496 A1 eine Audio-Visionseinrichtung bekannt, die Bilder auf das Innere einer Kuppel projiziert.
-
Aus dem Projekt ARMARE ist ferner ein Augmented-Reality-Telepräsenz-System für die Tiefsee (2012) bekannt, bei dem ein Tauchroboter MARUM-QUEST zur Erforschung der Tiefsee verwendet wird. Dabei liefern meist kabelgeführte, ferngesteuerte Tauchroboter wie der MARUM-QUEST Daten. Das sogenannte Remotely Operated Vehicle, kurz ROV, kann bis zu 4.000 Meter tief tauchen und ist u.a. mit HD-Kameras ausgestattet. Sie senden Videos aus der Tiefsee über Glasfaserkabel an den Kontrollcontainer auf dem Forschungsschiff in dem ein Telepräsenz-System eingesetzt wird. Es besteht aus einer aufrechten Kuppelprojektion mit einem horizontalen und vertikalen Winkel von 180°. Die Autokalibrierungssoftware von Fraunhofer FOKUS sorgt dafür, dass die einzelnen Live-Bilder des Tauchroboters pixelgenau auf der Leinwand zu sehen sind, so dass die Forscher im Kontrollcontainer eine ähnliche Sicht wie in einem U-Boot haben. Die Projektion wird mit den ortsgenauen GIS-, Sonar- und weiteren Messdaten angereichert. Das Telepräsenz-System verbessert zum einen die Navigation des Tauchroboters. Den Wissenschaftlern ermöglicht die Kuppelprojektion ein größeres Sichtfeld. Durch die zusätzlichen ortsgenauen Messdaten, können interessante Punkte, wie hydrothermale Quellen am Meeresgrund, leichter (wieder-) gefunden werden. Fraunhofer FOKUS passt dafür seine Software zur automatischen Kalibrierung den Bedingungen unter Wasser an und setzt diese in Augmented-Reality-Funktionen um.
-
Aus der Druckschrift
US 2009 0 245 600 A1 ist ein Verfahren zum automatischen Schwenken und digitalen Zoomen für chirurgische Robotersysteme durch einen Chirurgen bzw. Mediziner bekannt.
-
Die Druckschrift
US 2015 0 190 927 A1 zeigt ein anpassbares Robotersystem für den Einsatz als Telepräsenzroboter. Der Telepräsenzroboter verwendet drei separat gesteuerte Räder und einen Computer, um sich basierend auf empfangenen Positionssignalen bewegen und neu positionieren zu können. Der Telepräsenzroboter erfasst und überträgt visuelle Informationen eines begrenzten und eines breiten Sichtfeldes. Die visuellen Informationen werden empfangen und auf einem entfernten Display angezeigt. Teile der angezeigten Informationen werden vom Bediener ausgewählt, um ein geeignetes Signal zu senden, um den Telepräsenzroboter neu zu positionieren.
-
Die Druckschrift
US 2015 0 288 923 A1 zeigt ein System mit Verfahren für die Video-Kommunikation für Video-Konferenzsysteme. Eine Kamera detektiert die Bewegungen der Augen/Blickrichtung eines Vortragenden, um eine weitere Kamera zu führen, die auf den Fokus des Vortragenden gerichtet wird und über ein Display abbildbar ist, um für ein Online-Training und eine Online-Ausbildung eine realistische und interaktive Kommunikation zwischen Lehrer und Schüler bereitzustellen.
-
Die Druckschrift
US 2014 0 068 439 A1 zeigt ein Werkzeug / Tool für UGVs („Unmanned Ground Vehicles“), insbesondere für den militärischen Einsatz, für die Nachbereitung und Echtzeit-Überprüfung von Einsätzen unter Nutzung einer Kamera, von LIDAR und von Möglichkeiten zur Ortsbestimmung und dem Zusammenführen der Daten mit vorhandenem Karten- und Satellitenbild- Material. Das gesamte System wird US-militärisch als VESA („Visualisation Enhancement for Situational Awareness/Visualisierungserweiterung für Situationsbewusstsein“) definiert und zeigt ein Verfahren als Computerprogramm auf einem Datenspeicher mit Schnittstellen.
-
Die Druckschrift
US 2013 0 222 590 A1 zeigt ein Verfahren und eine Vorrichtung zur dynamischen Simulation einer entfernten audiovisuellen Umgebung für ein funkferngesteuertes Fahrzeug (ROV) in der Funktion eines ferngesteuerten Überwachungssystems. Dabei werden zwei Kameras mit unterschiedlichen Sichtfeldern und ein Mikrofon als Eingangssensoren von dem Überwachungssystem genutzt und die audiovisuellen Daten auf ein Headset derart übertragen, das die Ausrichtung des Kopfes auf ein jeweiliges Sichtfeld mit dem Headset die korrespondierenden Kamerabilder steuert.
-
In der Druckschrift
DE 39 26 225 A1 ist ein Gerät für Unterwasserarbeiten gezeigt, bei dem ein auf dem Meeresboden bewegbares Unterwasserfahrzeug mit einem Arbeitsarm mit auswechselbarem Werkzeug, mit einer Schwimmplattform über einen Leitungsstrang und einen Kran verbunden ist, über die das Unterwasserfahrzeug versorgt und gesteuert wird. Dabei sind an verschiedenen Stellen des Unterwasserfahrzeugs und auf dem Arbeitsarm Scheinwerfer und Fernseh-Kameras angebracht. Die Bilder der Fernseh-Kameras werden jeweils auf Bildschirme in einen Fahrstand in eine Kabine, die sich auf einem Schiff/der Schwimmplattform befindet, übertragen. Von dort werden die Arbeitsarme und Werkzeuge durch einen Bediener gesteuert.
-
Der Erfindung liegt die Aufgabe zugrunde, ein System zur Visualisierung von Bilddaten und / oder Videodaten im Einsatz mit Tauchrobotern in der See und / oder Tiefsee bereitzustellen, wobei eine Steigerung der Arbeitseffizienz bei gleichzeitiger Reduktion der verwendeten Hardware erzielt werden soll.
-
Diese Aufgabe wird durch das Tauchroboter-Bild- und / oder Videodatenvisualisierungssystem für Tauchroboter einsetzbar in der See und / oder Tiefsee gemäß dem Hauptanspruch gelöst.
-
Das Tauchroboter-Bild- und / oder Videodatenvisualisierungssystem für Tauchroboter einsetzbar in der See und / oder Tiefsee weist auf:
- - wenigstens einen Tauchoboter, der genau eine operative digitale Kamera aufweist, wobei die Kamera eine Optik aufweist und die Optik ausgebildet ist als ein rektilineares Weitwinkelobjektiv und / oder Fisheyeobjektiv mit einem Bildwinkelbereich größer als 180° oder 180° bis 240° und / oder Hyperfisheyeobjektiv;
- - wenigstens eine Dateninformationsspeichereinheit und wenigstens eine Dateninformationsverarbeitungseinheit, wobei die Dateninformationsspeichereinheit und / oder Dateninformationsverarbeitungseinheit die von der Kamera aufgenommenen Bild- und / oder Videodaten speichert und / oder verarbeitet, wobei die Bild- und / oder Videodaten wenigstens einer Schnittstelle für die Bild- und / oder Videoausgabe zur Verfügung gestellt werden, wobei die Bild- und / oder Videoausgabe auf wenigstens zwei parallel arbeitenden Bildausgabevorrichtungen erfolgt, wobei die Bildausgabevorrichtungen ausgewählt sind aus:
- - Display, Monitor, Bildschirm, Flachbildschirm, Anzeigewand, Projektionsdisplay,
- - virtual reality-Helm, virtual reality-Brille, head-mounted Display,
- - Augmented reality-Brille, -Helm und / oder -Display;
wobei die wenigstens zwei parallel arbeitenden Bildausgabevorrichtungen zeitlich und / oder räumlich jeweils unabhängige Bild- und / oder Videoinformationen aus den bereit gestellten Bild- und / oder Videodaten bereit stellen.
-
Mittels dieses Systems zur Visualisierung von Bilddaten und / oder Videodaten für Tauchroboter einsetzbar in der See und / oder Tiefsee ist es möglich, das Bild einer einzigen Kamera zu prozessieren, so dass mehrere Betrachter des aufgenommenen Bildes unterschiedliche Ausschnitte, Blickrichtungen und / oder Informationen erhalten können, die rechnerisch den Benutzern zur Verfügung gestellt werden.
-
Der Einsatz des Systems ist zur Visualisierung von Bilddaten und / oder Videodaten in Verbindung mit Tauchrobotern für industrielle, aber auch Forschungszwecke in der Tiefsee besonders von Vorteil und entsprechend angezeigt. Unter Wasser wird durch dieses System die Arbeitseffizienz erheblich gesteigert. Insbesondere ist der Einsatz in der Unterwasserwirtschaft für Offshoreanlagenbau und -betrieb zu Kontrollzwecken besonders vorteilhaft, da ein kostengünstiges und einfach ausgebildetes System verwendet werden kann.
-
Gegenüber einer einzelnen Kameraperspektive bei herkömmlichen Kameras erlaubt dieses System eine beliebige Anzahl an gleichzeitig nutzbaren, virtuell emulierten Schwenk-/ Neigekameras. Das periphere Gesichtsfeld wird erweitert und erlaubt den Piloten sicheres Navigieren. Das hochauflösende, weitwinklige Bild eignet sich für die nachhaltige Dokumentation und Zwecke der Öffentlichkeitsarbeit, z.B. Umformatierung als Großformatfilm.
-
Die Bilder eignen sich ferner als Datengrundlage für photogrammetrische Rekonstruktion des Meeresbodens, da der große Bildwinkel die Rekonstruktion anhand von gemeinsamen Featuremarken im Bild erleichtert und die hohe Auflösung in einer hohen räumlichen Auflösung resultiert.
-
Das erfinderische System weist zur Visualisierung von Bilddaten und Videodaten im Einsatz mit Tauchrobotern in der See und / oder Tiefsee insbesondere die folgenden Module auf, die auch als Einheiten bzw. Untereinheiten bezeichnet werden.
-
Insbesondere können weitere Merkmale zusätzlich bevorzugt angeordnet sein:
-
Die Bild- und / oder Videoinformationen können mit zusätzlichen Bild- und / oder Dateninformationen ergänzt werden, wobei diese zusätzlichen Bild- und / oder Dateninformationen über die Bild- und / oder Videoinformationen legbar sind.
-
Die Bild- und / oder Videoinformationen liegen insbesondere im spektralen Bereich vom nahen infrarot bis ultraviolett.
-
Die Kamera weist insbesondere eine Optik auf, wobei die Optik ein rektilineares Weitwinkel- und / oder Fisheyeobjektiv mit einem Bildwinkelbereich größer als 180° oder 180° bis 240° aufweisen kann und die Optik ausgewählt ist aus: Fisheye oder Hyperfisheye.
-
Ergänzend kann die Kamera eine hohe Auflösung und Bildrate aufweisen, vor allem im Bereich von 60fps und ca. 5.000 x 5.000 Pixeln. Hierbei kann die Auflösung größer als 4.000 x 4.000 Pixel und / oder die Bildrate größer als / gleich 60fps sein.
-
Weiter können ergänzende Bilddaten und / oder Daten auf den Bildausgabevorrichtungen zusätzlich darstellbar sein, wobei diese ergänzenden Bilddaten und / oder Daten ausgewählt sind aus: Entfernung von mit der Kamera aufgenommenen Objekten, Lichtstärke, Orientierung und / oder Ausrichtung, Größenvergleiche, Auflösung, Standort, Position und / oder Kommentare von Nutzern, wobei die Nutzer räumlich getrennt sind.
-
Die Dateninformationsspeichereinheit und / oder Dateninformationsverarbeitungseinheit ist gemeinsam mit der Kamera in dem Roboter angeordnet.
-
Die Kamera- und Visualisierungsanlage kann insbesondere eine immersive Telepräsenz in der robotischen Tiefseeforschung schaffen.
-
Das erfinderische System zur Visualisierung von Bilddaten und Videodaten im Einsatz mit Tauchrobotern in der See und / oder Tiefsee geht hier neue Wege, indem ein einzelner Kamerakopf, es können ergänzend auch mehrere Kameras an einem Tauchroboter installiert werden oder mehrere Tauchroboter mit jeweils einem Kamerakopf Verwendung finden, zu einem System zusammengefasst werden, welches über ein rektilineares Weitwinkel- oder Fischaugenobjektiv von beispielsweise 180° bis zu 240° Bildwinkel verfügt und mit einem entsprechend ausgelegten Domeport versehen ist. Die Kamera selbst verfügt über eine deutlich höhere Auflösung (beispielsweise 5012 x 5012 Pixel) und eine höhere Bildrate (z.B. 60fps) als herkömmliche Anlagen und wird horizontal vorausblickend oder, im Falle mehrerer Kameras, überlappend in jedem Quadranten montiert.
-
Die beträchtlichen Datenmengen welche vom Kamerakopf erzeugt werden, beispielsweise im Bereich von 25Gbit/s werden in einem Rekorder verlustfrei aufgezeichnet und / oder an eine integrierte oder separate Echtzeit-Verarbeitungseinheit zur geeigneten immersiven Darstellung des Videobildes weitergegeben. Die Rekorder/ Verarbeitungskombination kann, je nach bereitgestellter Infrastruktur des Trägergerätes, insbesondere in Abhängigkeit der Bandbreite des Übertragungskabels, direkt auf dem Tauchroboter platziert werden, wobei dies beispielsweise im Falle autonomer Geräte sinnvoll und effizient ist, oder an Bord des Schiffes vorgehalten werden, was ein geeignetes Modem, beispielsweise einen optischen Multiplexer/ Demultiplexer, jeweils zwischen Kamera, Signalübertragung des Roboters und Deckseinheit an Bord erfordert.
-
Die Verarbeitungseinheit errechnet einen oder mehrere virtuelle Perspektivenausschnitte gleichzeitig aus dem hemisphärischen Fischaugenbild, welche mit verschiedenen immersiven bildgebenden Verfahren betrachtet werden können. Denkbar sind hierfür Monitore, gekrümmte Leinwände oder Kuppeln und dergleichen, insbesondere aber auch Head Mounted Displays, HMD, wie beispielsweise Oculus Rift oder Microsoft Hololens und dergleichen oder holographische Displays.
-
Die Orientierung des gezeigten Bildausschnittes wird interaktiv vom Betrachter festgelegt. Dies erfolgt entweder über motorische Feedbacksensoren am HMD oder über Bedienelemente wie Touchscreens, Joysticks, Game Konsolen oder ähnliche Regler. Im Falle der Projektion des Gesamtbildes in eine Kuppel erfolgt kein Beschnitt des Gesichtsfeldes.
-
Das komplette Fischaugenbild oder eine Teilansicht kann ferner komprimiert oder unkomprimiert per Satellit an Land übertragen werden und somit die Nutzeranzahl drastisch erhöht werden. Das aufgezeichnete Bild steht zur späteren Dokumentation und Öffentlichkeitsarbeit zur Verfügung.
-
Insgesamt ergeben sich folgende Alleinstellungsmerkmale gegenüber dem Stand der Technik:
- - Gegenüber einer einzelnen Kameraperspektive bei herkömmlichen Kameras erlaubt dieses System eine beliebige Anzahl an gleichzeitig nutzbaren, virtuell emulierten Schwenk-/Neigekameras.
- - Das periphere Gesichtsfeld wird erweitert und erlaubt den Piloten bzw. Anwendern ein sicheres Navigieren.
- - Das hochauflösende, weitwinklige Bild eignet sich für die nachhaltige Dokumentation und Zwecke der Öffentlichkeitsarbeit, z.B. Umformatierung als Großformatfilm.
- - Die Bilder eignen sich ferner als Datengrundlage für photogrammetrische Rekonstruktion des Meeresbodens, da der große Bildwinkel die Rekonstruktion anhand von gemeinsamen Featuremarken im Bild erleichtert und die hohe Auflösung in einer hohen räumlichen Auflösung resultiert.