-
Die Erfindung betrifft ein Verfahren zum Streamen von von einer Rohrinspektionseinheit aufgenommenen Videodaten von der Rohrinspektionseinheit zu einer Auswerteeinheit. Insbesondere betrifft die Erfindung ein Verfahren zum bildsynchronen Übertragen von von einer Rohrinspektionseinheit mittels einer Videokamera aufgenommenen Videoeinzelbildern mit von der Rohrinspektionseinheit zum Zeitpunkt der Aufnahme wenigstens eines Videoeinzelbilds mittels eines Sensors erfassten Sensordaten oder von diesen abgeleiteten Daten von der Rohrinspektionseinheit zu einer mit der Rohrinspektionseinheit verbundenen Auswerteeinheit mittels einer digitalen Schnittstelle.
-
Aus der
DE 10 2017 120 801 A1 ist bereits eine Kameraeinheit für die Kanalrohrinspektion mit einer sichtbares Licht erfassenden ersten Videokamera, einer ein zur Vermessung des Kanalrohrs geeignetes Licht erzeugenden Lichtquelle und einer das zur Vermessung des Kanalrohrs erzeugte Licht als vom Kanalrohr reflektiertes Licht erfassenden zweiten Kamera bekannt, bei der eine die Bilddaten der ersten Videokamera und die Bilddaten der zweiten Kamera in einen einzigen Videostrom vereinigende Recheneinheit vorgesehen ist. Insbesondere ist bei der bekannten Kameraeinheit vorgesehen, dass das Messdaten enthaltende Bild der zweiten Kamera bereits in der aus erster Videokamera und zweiter Kamera bestehenden Kameraeinheit selbst in den Datenkanal (als Metadaten) eingefügt bzw. in das Videobild eingeblendet werden, sodass eine synchronisierte Übertragung des von der ersten Kamera und von der zweiten Kamera aufgenommenen Bilds in Echtzeit erfolgen und auf einen zusätzlichen Videokanal verzichtet werden kann. Speziell wird die synchronisierte Übertragung mittels segmented frame / interlaced oder mittels eines Pakets bestehend aus komprimierten Mess- und Videobilddaten vorgenommen, wobei das Datenpaket vom Empfänger gegebenenfalls dekomprimiert werden muss, um das normale Videobild und die Messdaten zu erhalten.
-
Wenngleich diese Kameraeinheit grundsätzlich vorteilhaft Verwendung finden kann, ist die Einbettung und gegebenenfalls Komprimierung und Dekomprimierung der Datenpakete rechen- und energieaufwändig und lässt auch weitere Daten, die im Rohr erhoben werden können, unberücksichtigt.
-
Aufgabe der Erfindung ist es daher, ein Verfahren zu schaffen, das in einfacher Weise mit geringem Rechenaufwand, niedrigem Energieverbrauch und damit verbundener geringer Wärmeentwicklung eine bildsynchrone Übertragung von Videoeinzelbildern und Sensordaten sowie aus diesen abgeleitete Daten in einem mittels einer digitalen Schnittstelle übermittelten Videostrom ermöglicht.
-
Diese Aufgabe wird erfindungsgemäß durch das Verfahren mit den Merkmalen von Anspruch 1 gelöst. Die Unteransprüche geben vorteilhafte Ausgestaltungen der Erfindung wieder.
-
Der Grundgedanke der Erfindung liegt in der Einbettung von zum Zeitpunkt der Aufnahme wenigstens eines Videoeinzelbilds mittels eines Sensors erfassten Sensordaten in das wenigstens eine Videoeinzelbild mittels eines steganografischen Verfahrens, sodass die im Zeitpunkt der Bildaufnahme erfassten Sensordaten untrennbar mit dem Videoeinzelbild verbunden sind. Auf dieser Grundlage ist eine echte bildsynchrone Übertragung von Videoeinzelbild und Sensordaten möglich.
-
Entscheidend ist nämlich, dass zu jedem Bild (Frame) genau die zu diesem Zeitpunkt gültigen Sensor-, Messdaten etc. für die Auswertung von Bilddaten einer Rohrinspektionseinheit in den Videodatenstrom eingebunden werden. Eine parallele Datenübertragung bedeutet noch lange nicht, dass die Daten erstens synchron zum Bild und zweitens auch gleichzeitig beim Empfänger zur Verfügung stehen. Eine „datensynchrone Übertragung“ kann durchaus einen Zeitversatz beinhalten, der eine Analyse von Bildinhalten in Verbindung mit zu diesem Bild zugeordneten Sensordaten (Telemetrie, Stellung der Kameraoptik etc.) in Echtzeit nicht erlaubt.
-
Mittels des steganografischen Verfahrens, das eine (unsichtbare) bildsynchrone Übertragung von Bild- und Sensordaten ermöglicht, werden insbesondere die folgenden aus dem Stand der Technik bekannten Nachteile überwunden:
- 1. die im Stand der Technik übliche Einblendung von aus verschiedenen Quellen stammenden Daten nimmt aufgrund des hohen Datenaufkommen einen sehr großen Bereich im Videobild ein, der eine Analyse des Videobilds erschwert;
- 2. für Auswertungen insbesondere mittels künstlicher Intelligenz sind Einblendungen im Bild für die Auswertung des Bild störend;
- 3. Unbefugte haben bei ohne weiteres erkennbaren Einblendungen Zugang zu möglicherweise sensiblen Daten; und
- 4. Standard Komponenten (Video-Grabberkarten) verschiedene Hersteller erlauben einen nur eingeschränkten Zugriff auf zusätzlich übermittelte Daten, sodass eine genaue zeitliche Zuordnung der Daten nicht möglich ist.
-
Neben der Hauptfunktion der erfindungsgemäß begründeten bildsynchronen Übertragung von Videobild und Sensordaten ist es auch vorteilhaft, dass mittels des erfindungsgemäßen Verfahrens eine große Mengen an Daten im sichtbaren Bildinhalt „versteckt“ werden kann, sodass weder die Bildauswertung mittels künstlicher Intelligenz gestört noch das Bild für den Operator sichtbar verschlechtert wird. Ermöglicht wird dieses erfindungsgemäß insbesondere dadurch, dass die steganografische Manipulation des Videobilds auf einer in der Regel nicht sichtbaren Änderung der Farbinformation vorbestimmter Pixel beruht.
-
Bei der Verwendung eines SDI-Videostreams als Übertragungsmedium für die von der Rohrinspektionseinheit aufgenommenen bzw. erfassten Bild- und Sensordaten wird insbesondere auf spezielle, vom SDI-Standard unterstützte Einbettungsverfahren („Ancillary Data Handling“) verzichtet und eine davon vollständig unabhängige Lösung angeboten, die plattformübergreifend ohne Abhängigkeit von proprietären Lösungen genutzt werden kann.
-
Dabei eliminiert die Lösung über den pixelorientierten Ansatz die Notwendigkeit eines Framebuffers, wodurch eine platz- und energiesparende konstruktive Umsetzung ermöglicht ist, die insbesondere bei der Verwendung als Rohrinspektionseinheit, bei der ein niedriger Strombedarf und auch eine Begrenzung des Wärmeeintrags wünschenswert ist, vorteilhaft ist. Die pixelorientierte Einbettung erzeugt dabei auch erheblich weniger Latenz.
-
Der besondere Vorteil der Erfindung besteht schließlich auch darin, dass ein zusätzliches Datenkabel nicht benötigt wird und eine eindeutige Zuordnung der Sensordaten zum Videobild unmittelbar an der Quelle sichergestellt werden kann.
-
Erfindungsgemäß wird also ein Verfahren zum bildsynchronen Übertragen von von einer Rohrinspektionseinheit mittels einer Videokamera aufgenommenen Videoeinzelbildern mit von der Rohrinspektionseinheit zum Zeitpunkt der Aufnahme wenigstens eines Videoeinzelbilds mittels eines Sensors erfassten Sensordaten und/oder aus diesen abgeleiteten Daten von der Rohrinspektionseinheit zu einer mit der Rohrinspektionseinheit verbundenen Auswerteeinheit mittels einer digitalen Schnittstelle vorgeschlagen, bei dem die zum Zeitpunkt der Aufnahme des wenigstens einen Videoeinzelbilds mittels des Sensors erfassten Sensordaten und/oder aus diesen abgeleiteten Daten mittels eines steganografischen Verfahrens in das wenigstens eine Videoeinzelbild eingebettet sind.
-
Mit anderen Worten wird ein Verfahren zum bildsynchronen Übertragen von von einer Rohrinspektionseinheit mittels einer Videokamera aufgenommenen Videoeinzelbildern mit von der Rohrinspektionseinheit zum Zeitpunkt der Aufnahme wenigstens eines Videoeinzelbilds mittels eines Sensors erfassten Sensordaten von der Rohrinspektionseinheit zu einer mit der Rohrinspektionseinheit verbundenen Auswerteeinheit mittels einer digitalen Schnittstelle vorgeschlagen, das die folgenden Schritte aufweist:
- - kontinuierliches Aufnehmen von Videoeinzelbildern mittels einer an der Rohrinspektionseinheit vorgesehenen Videokamera,
- - Erfassen von Sensordaten zum Zeitpunkt der Aufnahme wenigstens eines Videoeinzelbilds mittels eines Sensors,
- - Einbetten der zum Zeitpunkt der Aufnahme des wenigstens einen Videoeinzelbilds erfassten Sensordaten und/oder aus diesen abgeleiteten Daten mittels eines steganografischen Verfahrens in das Videoeinzelbild und
- - kontinuierliches Übertragen (Streamen) der Videoeinzelbilder einschließlich des wenigstens einen Videoeinzelbilds, in das die Sensordaten und/oder aus diesen abgeleitete Daten eingebettet sind, in einem Videostrom.
-
Bei der Auswerteeinheit handelt es sich im einfachsten Fall um eine einfache Anzeige, auf der das übermittelte Videobild dargestellt ist, ohne dass die ebenfalls übermittelten Sensor- oder abgeleiteten Daten für den Anwender sichtbar wären. In diesem Fall würde die Auswerteeinheit bevorzugt einen Speicher aufweisen, sodass im Bedarfsfall auf die Sensor- oder abgeleiteten Daten zugegriffen und diese bildsynchron abgerufen und ausgewertet werden können. Besonders bevorzugt weist die Auswerteeinheit eine Recheneinheit auf, die zugleich Befehle des Bedieners entgegennehmen kann, sodass sowohl die Videobilder als auch die Sensor- oder abgeleiteten Daten sichtbar gemacht werden können - entweder nacheinander oder gleichzeitig. Speziell handelt es sich bei der Auswerteeinheit zugleich um eine die Rohrinspektionseinheit steuernde Bedieneinheit, sodass ein Anwender eine Auswertung des von der Rohrinspektionseinheit übertragenen Videobilds mit Unterstützung der bildsynchron übermittelten Daten und/oder deren daraus abgeleiteten Daten vornehmen und zugleich auf die Rohrinspektionseinheit einwirken kann.
-
Das steganografische Verfahren ist insbesondere derart ausgebildet, dass die Sensordaten in wenigstens einen Farbkanal wenigstens eines Pixels des digitalen Videoeinzelbilds eingebettet sind. Besonders bevorzugt sind die Sensordaten dabei wenigstens einem Bit mit niedriger Bitwertigkeit zugewiesen.
-
Der die Sensordaten erfassende Sensor ist bevorzugt ein Wärmebildsensor, ein im Rahmen einer ToF-Kamera verwendeter PMD-Sensor, ein Radargerät oder ein Ultraschallsensor. Daneben ist es auch möglich, dass die Sensordaten Zustandsdaten der Rohrinspektionseinheit, Zustandsdaten der Videokamera und/oder Zustandsdaten des Sensors und/oder telemetrische (Roh-)Daten sind. So kann es sich bei den Daten um Kameradaten, speziell Lage, Blickwinkel, Shutterstellung, Blendenstellung, Focusstellung, Zoomstellung und/oder AGC-Werte handeln. Bei den Daten kann es sich auch um aus den Sensordaten abgeleitete, d.h. verrechnete Daten handeln.
-
Schließlich ist bevorzugt vorgesehen, dass die digitale Schnittstelle eine Serial/Standard Digital Interface (SDI) ist, die zur Übertragung von unkomprimierten und unverschlüsselten Videodaten über Koaxialkabel oder Lichtwellenleiter zum Einsatz kommt und bereits in der Rohrinspektion Verwendung findet.
-
Die vorliegende Erfindung weist also den Vorteil auf, dass Daten synchron und in Echtzeit im jeweiligen Videoframe enthalten sind, wobei die Daten mit Erhalt des eigentlichen Videobildes bereitgestellt werden. Wenngleich erfindungsgemäß große Datenmengen in zusammenhängenden Block untergebracht werden können, liegt aufgrund der pixelbasierten Einblendung eine nur sehr geringe Latenz vor. Dabei besteht volle Kontrolle über die Datenstruktur Sender/Empfänger mit eigenem Handling zur Sicherung der Datenintegrität (Fehlererkennung, Vermeidung inkonsistenter Datensätze). Die eingebetteten Daten können in der Datenstruktur des Bilds an beliebiger Stelle positioniert werden, wobei die Komponenten auf der Übertragungsstrecke das „Ancillary Daten Handling“ nicht unterstützen müssen. Schließlich handelt es sich bei den übermittelten Daten nicht ausschließlich um Sensorrohdaten, sondern es können auch abgeleitete, berechnete Messdaten in das Videobild eingebettet werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102017120801 A1 [0002]