DE102016114998A1

DE102016114998A1 - Verfahren zur Bearbeitung von Einzelbildern eines Eingangsvideobildes

Info

Publication number: DE102016114998A1
Application number: DE102016114998.5A
Authority: DE
Inventors: Michael Adam
Original assignee: Airbus DS Optronics GmbH
Current assignee: Hensoldt Optronics GmbH
Priority date: 2016-08-12
Filing date: 2016-08-12
Publication date: 2018-02-15
Also published as: GB2553646A; GB201710963D0

Abstract

Die Erfindung betrifft ein Verfahren zur Bearbeitung von Einzelbildern eines Eingangsvideos (1) mittels wenigstens eines Referenzbildes und zur Erzeugung eines Ausgangsvideos (2) aus den bearbeiteten Einzelbildern, gekennzeichnet durch folgende Schritte: – laufendes Aktualisieren des Referenzbildes unter Verwendung des aktuell zu bearbeitenden Einzelbildes; – Berechnen eines optischen Flusses zwischen dem zu bearbeitenden Einzelbild und dem Referenzbild; und – Bearbeiten des Einzelbildes durch Verzerren des Einzelbildes mittels des berechneten optischen Flusses.

Description

Die Erfindung betrifft ein Verfahren zur Bearbeitung von Einzelbildern eines Eingangsvideobildes sowie eine Videobildverarbeitungseinrichtung.
Ein Problem bei Videoaufnahmen bzw. Videos, welche aus einem Strom von mehreren Einzelbildern bestehen, sind Luftwirbel oder Hitzeturbulenzen, welche durch heiße Luft bzw. Wärmequellen hervorgerufen werden. Durch derartige Turbulenzen können Videos verfälscht werden. Aus der Praxis sind zwar Verfahren zur Kompensierung von Turbulenzen bekannt. Diese Verfahren benötigen jedoch in der Regel entweder ein Wissen über das Aussehen der aufgenommenen Objekte bzw. Szenen, um diese zu rekonstruieren oder sehr viel Rechenzeit, um die Turbulenzen zu korrigieren. Entsprechende Algorithmen nutzen für die Korrektur gemessene Wellenfronten und korrigieren diese mittels einer Entfaltung (Wiener-Filter) oder stapeln mehrere Bilder (Mittelwert) und wenden eine Entfaltung auf ein solches Mittelwertbild an.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren der eingangs erwähnten Art zu schaffen, welches die Nachteile des Standes der Technik vermeidet, insbesondere keine Annahmen über die aufgenommenen Objekte oder Szenen benötigt und eine hohe Geschwindigkeit bei der Berechnung erreicht.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren zur Bearbeitung oder Korrektur von Einzelbildern eines Eingangsvideobildes mittels wenigstens eines Referenzbildes und zur Erzeugung eines Ausgangsvideobildes aus den bearbeiteten Einzelbildern gelöst, gekennzeichnet durch folgende Schritte:

– Laufendes Aktualisieren des Referenzbildes unter Verwendung bzw. Einbezug des aktuell zu bearbeitenden Einzelbildes;
– Berechnen eines optischen Flusses zwischen dem zu bearbeitenden Einzelbild und dem Referenzbild; und
– Bearbeiten des Einzelbildes durch Verzerren des Einzelbildes mittels des berechneten optischen Flusses. Die Verfahrensschritte können für sämtliche vorhandenen Einzelbilder wiederholt werden. Das Bearbeiten der Einzelbilder kann, insbesondere auch in den nachfolgenden vorteilhaften Ausgestaltungen ein Korrigieren der Einzelbilder bedeuten.

Das erfindungsgemäße Verfahren kann dazu verwendet werden, um turbulente Änderungen im Bild einer Videokamera zu korrigieren bzw. zu kompensieren. Derartige Änderungen werden u. a. durch heiße Luft verursacht. Die erfindungsgemäße Lösung hebt sich von bekannten Verfahren u. a. durch die erzielte deutlich höhere Geschwindigkeit ab. Es werden keine Annahmen zu erfassten Objekten oder Szenen benötigt und die Berechnung erfolgt sehr schnell. Das vorgestellte Verfahren nutzt stets das ursprüngliche Videobild und verzerrt dieses. Eine Entfaltung kann somit entfallen. Es wird sozusagen ein Modell des Hintergrunds oder der Szene erstellt, auf welches das aktuelle Videobild referenziert wird. Hierzu wird ein optischer Fluss bzw. ein Vektorfeld des optischen Flusses verwendet, welcher zu jedem Pixel des Videobildes einen Verschiebungsvektor im Vergleich zum Szenenmodell angibt. Anschließend wird das Videoeinzelbild transformiert, sodass das aktuelle Videobild an das Szenenmodell angepasst wird. Dazu werden die Pixel entsprechend verschoben und eine Verzerrung durchgeführt. Man kann ein Video erhalten, das annähernd so statisch ist, wie das zugrunde liegende Szenen- bzw. Hintergrundmodell. Dadurch können störende Turbulenzen entfernt werden.
Erfindungsgemäß werden Eingangsbilder eines Videos derart verarbeitet, dass Turbulenzen im Bild, hervorgerufen durch beispielsweise Luftwirbel, kompensiert werden. Dies erfolgt, insbesondere für jedes Einzelbild in folgenden Schritten:

1. Referenzbild aktualisieren;
2. Optischen Fluss zwischen Referenzbild und aktuellem Videobild berechnen;
3. Optischen Fluss benutzen, um das Videobild zu verzerren; und
4. Ausgabebild aus dem verzerrten Videobild berechnen.

Das Referenzbild kann durch ein pixelweise berechnetes erstes Mittelwertbild aktualisiert werden, wobei ein Mittelwert aus einer Anzahl von n zuvor bearbeiteten Einzelbildern und dem aktuell zu bearbeitenden Einzelbild oder ein gleitendes, insbesondere gewichtetes Mittel verwendet wird.
Das Referenzbild kann alternativ durch ein pixelweise berechnetes Medianbild aktualisiert werden, wobei ein Median aus einer Anzahl von n zuvor bearbeiteten Einzelbildern und dem aktuell zu bearbeitenden Einzelbild oder ein gleitender Median verwendet wird.
Das Referenzbild kann unter Berücksichtigung des aktuellen Videoeinzelbildes, insbesondere durch eine pixelweise Berechnung eines ersten Mittelwertbildes oder durch eine pixelweise Berechnung eines Medianbildes erzeugt werden. Die pixelweise Berechnung des ersten Mittelwertbildes aus der Bildung eines Mittelwerts kann aus einer Anzahl von n vorherigen Videoeinzelbildern oder aus einem gleitenden, insbesondere gewichteten Mittel gebildet werden. Die pixelweise Berechnung des Medianbildes kann aus der Bildung eines Median aus einer Anzahl von n vorherigen Videoeinzelbildern oder aus einem gleitenden Median gebildet werden. Das Referenzbild kann sonach mittels eines neuen Bildes aktualisiert werden. Dies kann geschehen durch eine pixelweise Berechnung eines Mittelwertbildes (Mittelwert aus n vorherigen Bildern oder gleitendes Mittel) oder eine pixelweise Berechnung eines Medianbildes (Median aus n vorherigen Bildern oder gleitender Median). Die Anzahl n kann z. B. 4 sein.
Vorteilhaft ist es, wenn das Ausgangsvideobild durch ein pixelweises Aktualisieren eines zweiten Mittelwertbildes mit dem aktuell bearbeiteten Einzelbild gebildet wird, wobei das zweite Mittelwertbild, insbesondere aus einer Anzahl von m zuvor bearbeiteten Einzelbildern oder aus einem gleitenden, insbesondere gewichteten Mittel gebildet wird.
Das korrigierte Videobild bzw. Ausgangsvideobild kann mittels einer pixelweisen Aktualisierung eines Mittelwertbildes erzeugt werden. Hierzu kann ein Mittelwert aus m vorherigen Bildern oder ein gleitendes Mittel verwendet werden. Beispielsweise kann das aktuelle Bild gewichtet, etwa mit einem Faktor z. B. von 0,5 hinzugerechnet werden. Der Faktor zur Gewichtung kann einstellbar ausgeführt sein. Die Anzahl m kann z. B. 4 sein.
Vorteilhaft ist es, wenn ein Schärfefilter auf das zweite Mittelwertbild angewendet wird. Durch diese Maßnahme kann die Bildqualität verbessert werden, um eine evtl. Unschärfe, bedingt durch ein Rauschen der optischen Flussberechnung, zu reduzieren.
In Anspruch 6 ist eine Videobildverarbeitungseinrichtung angegeben, welche als Eingangsbildsignale ein Eingangsvideobild mit mehreren Einzelbildern erhält und ein Ausgangsvideobild mit mehreren bearbeiteten Einzelbildern ausgibt und welche dazu eingerichtet ist, ein erfindungsgemäßes Verfahren auszuführen.
Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den Unteransprüchen. Nachfolgend ist anhand der Zeichnung prinzipmäßig ein Ausführungsbeispiel der Erfindung beschrieben.
Die einzige Figur der Zeichnung zeigt ein Flussdiagramm, welches das erfindungsgemäße Verfahren verdeutlicht.
In der Figur ist ein Verfahren zur Bearbeitung oder Korrektur von Einzelbildern eines Eingangsvideobildes 1 mittels wenigstens eines Referenzbildes und zur Erzeugung eines Ausgangsvideobildes 2 aus den bearbeiteten Einzelbildern dargestellt. In einem Schritt S1 erfolgt ein laufendes Aktualisieren des Referenzbildes, wobei das Referenzbild unter Verwendung bzw. Berücksichtigung des aktuell zu bearbeitenden oder zu korrigierenden Einzelbildes, insbesondere durch eine pixelweise Berechnung eines ersten Mittelwertbildes oder durch eine pixelweise Berechnung eines Medianbildes erzeugt wird.
Das Referenzbild kann durch ein pixelweise berechnetes erstes Mittelwertbild aktualisiert werden, wobei ein Mittelwert aus einer Anzahl von n (z. B. mit n = 4) zuvor bearbeiteten Einzelbildern und dem aktuell zu bearbeitenden Einzelbild oder ein gleitendes, insbesondere gewichtetes Mittel verwendet wird. Alternativ kann das Referenzbild durch ein pixelweise berechnetes Medianbild aktualisiert werden, wobei ein Median aus einer Anzahl von n (z. B. mit n = 4) zuvor bearbeiteten Einzelbildern und dem aktuell zu bearbeitenden Einzelbild oder ein gleitender Median verwendet wird.
In einem Schritt S2 wird ein optischer Fluss, bzw. ein entsprechendes Vektorfeld, zwischen dem (aktuell) zu bearbeitenden Einzelbild und dem Referenzbild berechnet oder ermittelt. Schließlich folgt in einem Schritt S3 ein Bearbeiten des Einzelbildes durch Verzerren des (aktuell) zu bearbeitenden Einzelbildes mittels des berechneten optischen Flusses. Hierzu können die Pixel entsprechend verschoben werden.
In einem gestrichelt angedeuteten optionalen Schritt S4 kann das Ausgangsvideobild 2 durch ein pixelweises Aktualisieren eines zweiten Mittelwertbildes mit dem aktuell bearbeiteten Einzelbild gebildet werden, wobei das zweite Mittelwertbild, insbesondere aus einer Anzahl von m (z. B. mit m = 4) zuvor bearbeiteten Einzelbildern oder aus einem gleitenden, insbesondere gewichteten Mittel gebildet wird.
In einem ebenfalls gestrichelt angedeuteten optionalen Schritt S5 kann ein Schärfefilter auf das zweite Mittelwertbild angewendet werden.
Schließlich wird ein korrigiertes Ausgangsvideobild 2 ausgegeben. Die Schritte S1 bis S5 können für alle Einzelbilder des Eingangsvideobildes 1 wiederholt werden, um das Ausgangsvideobild 2 zu erzeugen.
Das erfindungsgemäße Verfahren kann auf einer Videobildverarbeitungseinrichtung ablaufen, welche als Eingangsbildsignale das Eingangsvideobild 1 mit mehreren Einzelbildern erhält und das Ausgangsvideobild 2 mit den bearbeiteten Einzelbildern ausgibt. Im korrigierten Ausgangsvideobild 2 sind etwaige Hitzeturbulenzen entfernt bzw. kompensiert.
Bezugszeichenliste

1: Eingangsvideobild in Einzelbildern
2: Ausgangsvideobild in Einzelbildern
S1–S5: Verfahrensschritte

Claims

Verfahren zur Bearbeitung von Einzelbildern eines Eingangsvideobildes (1) mittels wenigstens eines Referenzbildes und zur Erzeugung eines Ausgangsvideobildes (2) aus den bearbeiteten Einzelbildern, gekennzeichnet durch folgende Schritte: – laufendes Aktualisieren des Referenzbildes unter Verwendung des aktuell zu bearbeitenden Einzelbildes; – Berechnen eines optischen Flusses zwischen dem zu bearbeitenden Einzelbild und dem Referenzbild; und – Bearbeiten des Einzelbildes durch Verzerren des Einzelbildes mittels des berechneten optischen Flusses.
Verfahren nach Anspruch 1, wobei das Referenzbild durch ein pixelweise berechnetes erstes Mittelwertbild aktualisiert wird, wobei ein Mittelwert aus einer Anzahl von n zuvor bearbeiteten Einzelbildern und dem aktuell zu bearbeitenden Einzelbild oder ein gleitendes, insbesondere gewichtetes Mittel verwendet wird.
Verfahren nach Anspruch 1, wobei das Referenzbild durch ein pixelweise berechnetes Medianbild aktualisiert wird, wobei ein Median aus einer Anzahl von n zuvor bearbeiteten Einzelbildern und dem aktuell zu bearbeitenden Einzelbild oder ein gleitender Median verwendet wird.
Verfahren nach Anspruch 1, 2 oder 3, wobei das Ausgangsvideobild (2) durch ein pixelweises Aktualisieren eines zweiten Mittelwertbildes mit dem aktuell bearbeiteten Einzelbild gebildet wird, wobei das zweite Mittelwertbild, insbesondere aus einer Anzahl von m zuvor bearbeiteten Einzelbildern oder aus einem gleitenden, insbesondere gewichteten Mittel gebildet wird.
Verfahren nach Anspruch 4, wobei ein Schärfefilter auf das zweite Mittelwertbild angewendet wird.
Videobildverarbeitungseinrichtung, welche als Eingangsbildsignale ein Eingangsvideobild (1) mit mehreren Einzelbildern erhält und ein Ausgangsvideobild (2) mit mehreren bearbeiteten Einzelbildern ausgibt und welche dazu eingerichtet ist, ein Verfahren nach einem der Ansprüche 1 bis 5 auszuführen.