DE102009001518B4

DE102009001518B4 - Verfahren zur Erzeugung einer HDR-Videobildfolge

Info

Publication number: DE102009001518B4
Application number: DE102009001518A
Authority: DE
Inventors: Markus Schu; Kilian Jakob; Peter Rieder
Original assignee: Trident Microsystems Far East Ltd Cayman Islands
Current assignee: Entropic Communications LLC
Priority date: 2009-03-12
Filing date: 2009-03-12
Publication date: 2011-09-01
Anticipated expiration: 2029-03-13
Also published as: DE102009001518A1

Abstract

Verfahren zur Erzeugung einer Videobildfolge mit hohem Dynamikbereich, das umfasst:
Bereitstellen einer ersten Videobildfolge (F1) mit zeitlich aufeinanderfolgenden Teilbildfolgen, wobei jede Teilbildfolge n, mit n ≥ 2, Bilder (F1₁(i), F1₂(i + k1), F1₃(i + k2)) mit unterschiedlichen Belichtungen und unterschiedlichen Bewegungsphasen aufweist;
Anwenden einer Bewegungsschätzung auf die erste Videobildfolge (F1) und Interpolieren einer bewegungskompensierten Teilbildfolge (F2₁(i), F2₂(i + k1), F2₃(i + k2)) zu jeder der Teilbildfolgen derart, dass die Bilder der bewegungskompensierten Teilbildfolge dieselbe Bewegungsphase besitzen, mittels
– Erzeugen von n Abtastbildfolgen (F1₁, F1₂, F1₃) aus der ersten Videobildfolge (F1) derart, dass die einzelnen Bilder einer Abtastbildfolge (F1₁, F1₂, F1₃) gleiche Belichtungen aufweisen, und
– Erzeugen bewegungskompensierter Bildfolgen (F2₁, F2₂, F2₃) aus den Abtastbildfolgen (F1₁, F1₂, F1₃) derart, dass die Bilder der bewegungskompensierten Bildfolgen (F2₁, F2₂, F2₃) eine gegebene Bewegungsphase (mx) aufweisen, wobei eine Gruppe mit je einem Bild aus jeder der bewegungskompensierter Bildfolgen (F2₁,...

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erzeugung einer HDR-Videobildfolge.
HDR-Videobildfolgen sind Videobildfolgen, bei denen die einzelnen Bilder im Vergleich zu herkömmlichen Videobildern einen hohen Dynamikbereich (High Dynamic Range, HDR) besitzen. Solche HDR-Bilder können dadurch erzeugt werden, dass aus einer gegebenen Kameraposition mehrere Bilder mit unterschiedlichen Belichtungszeiten aufgenommen werden, deren Bildinformationen anschließend überlagert werden. In einem Bild mit langer Belichtungszeit werden beispielsweise dunkle Details der fotografierten Umgebung kontrastreich dargestellt, während beispielsweise in Bildern mit niedriger Belichtungszeit helle Details der abgebildeten Umgebung kontrastreich erscheinen. Durch Kombination der einzelnen mit unterschiedlichen Belichtungszeiten erzeugten Bildern entsteht ein Bild, in dem sowohl helle als auch dunkle Details der fotografierten Umgebung kontrastreich dargestellt sind.
Ein Verfahren zur Erzeugung einer HDR-Videobildfolge ist beispielsweise in der US 6 993 200 B2 beschrieben.
Steht nur eine Kamera zur Verfügung, um die zu überlagernden Bilder aufzunehmen, können Probleme entstehen, wenn die Bilder Objekte enthalten, die sich bewegen. In diesem Fall kann sich die Position eines Objekts zwischen einem ersten Aufnahmezeitpunkt, zu dem ein Bild mit einer ersten Belichtungszeit aufgenommen wird, und einem zweiten Aufnahmezeitpunkt, zu dem ein Bild mit einer zweiten Belichtungszeit aufgenommen wird, ändern. Werden diese beide Bilder überlagert, so kann das Objekt in dem resultierenden HDR-Bild unscharf erscheinen.
In dem Dokument US 2003/0133035 A1 wird eine Synthetisierung von Bildern verhindert, deren Vektordifferenz größer als ein vorbestimmter Schwellwert ist.
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zur Erzeugung einer HDR-Videosignalfolge aus einer einzigen Videosignalfolge zur Verfügung zu stellen, bei dem die Videosignalfolge Teilbildfolgen mit n, wobei n ≥ 2 ist, Bildern unterschiedlicher Belichtungszeit und unterschiedlicher Bewegungsphase aufweist.
Diese Aufgabe wird durch ein Verfahren nach Anspruch 1 gelöst.
In dem Bild mit erhöhtem Dynamikbereich wird eine aus einer Bewegung von Objekten resultierende Unschärfe dadurch vermieden, dass unter Anwendung einer Bewegungsschätzung aus der ersten Videobildfolge eine Bildsequenz erzeugt wird, deren Bilder der Teilbildfolgen jeweils die gleiche Bewegungsphase besitzen.
Die Belichtung eines Bildes wird sowohl durch die Belichtungszeit, für welche bei Aufnahme des Bildes belichtet wurde, als auch durch die Größe der Blendenöffnung beeinflusst. Eine unterschiedliche Belichtung der einzelnen Bilder kann also durch eine Variation der Belichtungszeit und/oder durch eine Variation der Blendenöffnung erreicht werden. Eine ”höhere Belichtung” eines Bildes im Vergleich zu einem anderen Bild liegt dann vor, wenn für die Aufnahme des einen Bildes eine höhere Belichtungszeit und/oder eine größere Blendenöffnung als für die Aufnahme des anderen Bildes verwendet wurde. Außer den Parametern Belichtungszeit und Blendenöffnung kann die Belichtung auch durch Vorsehen einer Zusatzbeleuchtung variiert werden. Die Belichtung vergrößert sich dabei, wenn bei gleicher Belichtungszeit und gleicher Blendenöffnung die Lichtstärke der Zusatzbeleuchtung verstärkt wird. Die Zusatzbeleuchtung kann beispielsweise durch eine Leuchte mit zwei oder mehr Helligkeitsstufen realisiert sein. Um von Bild zu Bild die Helligkeit variieren zu können, sollte die Leuchte geringe Verzögerungszeiten bzw. Nachleuchtzeiten besitzen. Dies kann beispielsweise durch eine Leuchte auf Basis von Leuchtdioden (LEDs) erreicht werden. Eine solche Leuchte umfasst beispielsweise eine oder mehrere LEDs, die je nach gewünschter Helligkeit der Zusatzbeleuchtung eingeschaltet oder abgeschaltet werden.
Grundsätzlich führt eine Vergrößerung der Blendenöffnung zu einer Verringerung der Tiefenschärfe, und eine Erhöhung der Belichtungszeit führt zu einer Bewegungsunschärfe (Motion Blur). Indem die Belichtung über beide Parameter variierbar ist, besteht bei Anpassung bzw. Änderung der Belichtung eine Optimierungsmöglichkeit hinsichtlich einer möglichst geringen Bewegungsunschärfe oder einer möglichst großen Tiefenschärfe.
Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend anhand von Figuren erläutert. Die Figuren dienen zur Veranschaulichung des Grundprinzips der Erfindung. In den Figuren sind daher nur die zum Verständnis dieses Grundprinzips notwendigen Merkmale dargestellt. In den Figuren bezeichnen, sofern nicht anders angegeben, gleiche Bezugszeichen gleiche Merkmale mit gleicher Bedeutung.
1 veranschaulicht schematisch eine erste Videobildfolge, die zeitlich aufeinanderfolgende Bilder mit unterschiedlichen Belichtungszeiten und unterschiedlichen Bewegungsphasen aufweist.
2 veranschaulicht schematisch eine aus der ersten Videobildfolge resultierende bewegungskompensierte Videobildfolge.
3 veranschaulicht schematisch eine aus der bewegungskompensierten Videobildfolge resultierende Videobildfolge mit erhöhtem Dynamikbereich.
4 veranschaulicht ein erstes Beispiel einer Vorrichtung mit Bewegungsschätz- und Interpolationsanordnungen zur Erzeugung der Videobildfolge mit erhöhtem Dynamikbereich aus der ersten Videobildfolge.
5 veranschaulicht die Funktionsweise einer der Bewegungsschätz- und Interpolationsanordnungen der Vorrichtung gemäß 5.
6 veranschaulicht ein zweites Beispiel einer Vorrichtung mit Bewegungsschätz- und Interpolationsanordnungen zur Erzeugung der Videobildfolge mit erhöhtem Dynamikbereich aus der ersten Videobildfolge.
1 veranschaulicht schematisch eine erste Videobildfolge F1, die zeitlich aufeinanderfolgende Teilbildfolgen mit mehreren Bildern aufweist. Schematisch dargestellt sind in 1 alle Bilder F1₁(i), F1₂(i + k1), F1₃(i + k2) einer ersten Teilbildfolge sowie das erste Bild F1₁(i + 1) einer nachfolgenden Teilbildfolge. Die einzelnen Bilder der Teilbildfolgen besitzen jeweils unterschiedliche Belichtungen, so besitzt beispielsweise das erste Bild F1₁(i) der erste Teilbildfolge eine erste Belichtung, das zweite Bild F1₂(i + k1) eine zweite Belichtung und das dritte Bild F1₃(i + k2) eine dritte Belichtung. Die in 1 tiefgestellten, Indizes ”1”, ”2”, ”3” stehen dabei für die unterschiedlichen Belichtungen.
Die in 1 dargestellte erste Videobildfolge kann unter Verwendung nur einer Kamera erzeugt werden, die zeitlich aufeinanderfolgend Bilder mit unterschiedlichen Belichtungen aufnimmt. Zeitpunkte, zu denen die einzelnen Bilder aufgenommen wurden, sind in 1 mit t₀, t₀ + k1·T, t₀ + k2·T und t0 + T bezeichnet. T bezeichnet in dem dargestellten Beispiel den zeitlichen Abstand zwischen den Bildern gleicher Belichtung in zwei zeitlich aufeinanderfolgenden Teilbildfolgen bzw. die Dauer, innerhalb der die Bilder einer Teilbildfolge aufgenommen wurden bzw. in der Videobildfolge F1 vorhanden sind.
Die einzelnen Bilder der ersten Videobildfolge können zeitlich gleichmäßig beabstandet sein. In diesem Fall gilt für das dargestellte Beispiel, in dem jede Teilbildfolge drei Bilder mit unterschiedlichen Belichtungen aufweist: k1 = 1/3 und k2 = 2/3. Es sei angemerkt, dass das Vorsehen von drei Bildern mit unterschiedlichen Belichtungen in einer Teilbildfolge lediglich als Beispiel zu verstehen ist und dass selbstverständlich eine beliebige Anzahl von Teilbildern pro Teilbildfolge vorgesehen werden kann, wobei die Anzahl der Teilbilder für die einzelnen Teilbildfolgen insbesondere gleich sein kann. Besitzt jede Teilbildfolge allgemein n Bilder mit unterschiedlichen Belichtungen und sind die einzelnen Bilder der ersten Videobildfolge zeitlich gleichmäßig beabstandet, so beträgt der gegenseitige Abstand zweier zeitlich aufeinanderfolgender Bilder 1/n·T.
Aus der in 1 dargestellten erste Videobildfolge soll einer Videobildfolge mit erhöhtem Dynamikbereich (High Dynamic Range, HDR) erzeugt werden. Eine solche HDR-Videobildfolge weist zeitlich aufeinanderfolgende Videobilder auf, die jeweils einen erhöhten Dynamikbereich besitzen. Zur Erzeugung eines Videobildes mit erhöhtem Dynamikbereich können mehrere Bilder mit unterschiedlichen Belichtungen überlagert werden. Stammen die zu überlagernden Bilder – wie in dem Beispiel gemäß 1 – aus einer einzigen Quelle bzw. Kamera, und zeigen die zeitlich aufeinanderfolgend aufgenommenen Bilder Objekte, die sich über der Zeit bewegen, so kann die unmittelbare Überlagerung der Bilder einer Teilbildfolge zu einer Unschärfe im Bild führen, wie nachfolgend kurz anhand von 1 erläutert wird. Zur Veranschaulichung ist in den Bildern der ersten Videobildfolge E1 in 1 ein Objekt – in dem Beispiel ein rundes Objekt – dargestellt, das sich bewegt. Dieses Objekt ist in den einzelnen Bildern der Teilbildsequenz also an unterschiedlichen räumlichen Positionen innerhalb der einzelnen Bilder angeordnet. Dieses Objekt ist in den einzelnen Bildern einer Teilbildsequenz unterschiedlich belichtet, was in 1 durch unterschiedlich stark ausgeprägte Umrisse dieses Objekts veranschaulicht ist. Eine unmittelbare Überlagerung der drei Bilder F11(i), F12(i + k1), F13(i + k2) zu einem Bild, würde zu einer unscharfen Darstellung des Objekt in dem resultierenden Bild führen.
Mit m1, m2, m3 sind in 1 die Bewegungsphasen der einzelnen Bilder der Teilbildfolge bezeichnet. Diese Bewegungsphasen repräsentieren die zeitliche Position der einzelnen Bilder einer Teilbildfolge innerhalb des Zeitintervalls T, innerhalb dessen diese Teilbilder aufgenommen wurden. In dem dargestellten Beispiel gilt m1 = 0, m2 = k1 und m3 = k2.
Um die zuvor erläuterten Unschärfeprobleme bei der Überlagerung der Bilder einer Teilbildfolge zu einem HDR-Bild zu vermeiden, ist vorgesehen, zu jeder Teilbildfolge eine bewegungskompensierte Teilbildfolge zu erzeugen. Eine solche aus der in 1 dargestellten Teilbildfolge resultierende bewegungskompensierte Teilbildfolge ist schematisch in 2 dargestellt. Die einzelnen Bilder dieser bewegungskompensierten Teilbildfolge sind in 2 mit F21(i), F22(i + k1) und F22(i + k2) bezeichnet, wobei die Indizes ”1”, ”2”, ”3” wieder für die Belichtungen stehen. Die einzelnen Bilder einer bewegungskompensierten Teilbildsequenz besitzen eine gleiche Bewegungsphase mx, was in 2 dadurch veranschaulicht ist, dass das Objekt sich in diesen Bildern jeweils an der gleichen Position befindet. Die einzelnen Bilder der bewegungskompensierten Teilbildfolge können zeitlich aufeinanderfolgend erzeugt werden, wie dies in 2 dargestellt ist, können jedoch auch so erzeugt werden, dass sie jeweils zum gleichen Zeitpunkt erzeugt werden. Relevant ist dies lediglich hinsichtlich einer nachfolgenden, noch zu erläuternden Überlagerung der einzelnen Bilder einer Teilbildfolge zu einem HDR-Bild. Die Bilder der bewegungskompensierten Teilbildfolge werden durch ein noch zu erläuterndes Interpolationsverfahren aus den Bildern der ersten Videobildfolge F1 interpoliert.
Die gemeinsame Bewegungsphase mx der einzelnen Bilder der bewegungskompensierten Teilbildfolge kann der Bewegungsphase eines der Bilder der nicht-kompensierten Teilbildfolge aus der ersten Videobildfolge F1 entsprechen. In diesem Fall kann dieses Bild, dessen Bewegungsphase übernommen wird, aus der nicht-kompensierten Teilbildfolge unmittelbar in die bewegungskompensierte Teilbildfolge übernommen werden. Die gemeinsame Bewegungsphase mx kann jedoch auch so gewählt sein, dass sie sich von den Bewegungsphasen m1, m2, m3 der Bilder der nicht-kompensierten Teilbildfolge unterscheidet. In diesem Fall sind alle Bilder der bewegungskompensierten Teilbildfolge neu zu interpolieren bzw. berechnen.
Die Bildinhalte der einzelnen Bilder einer bewegungskompensierten Teilbildfolge werden anschließend zu einem HDR-Bild überlagert. 3 veranschaulicht schematisch eine aus einer solchen Überlagerung der Bilder einer Teilbildfolge resultierende HDR-Bildfolge F. Die Bildfrequenz der HDR-Bildfolge ist hierbei geringer als die Bildfrequenz der ersten Videobildfolge F1. Diese Bildfrequenz beträgt das 1/n-fache der Bildfrequenz der ersten Videobildfolge F1, wobei n die Anzahl der zu einem HDR-Bild überlagerten Bilder einer Teilbildfolge bezeichnet.
Ein Beispiels eines Verfahrens bzw. ein Beispiel einer Vorrichtung zur Erzeugung der HDR-Bildfolge F gemäß 3 aus der ersten Videobildfolge F1 gemäß 1 wird nachfolgend anhand von 4 erläutert.
4 zeigt ein Blockschaltbild eines Beispiels einer Interpolations- und Überlagerungseinheit zur Erzeugung der HDR-Bildfolge F aus der ersten Videobildfolge F1. Diese Vorrichtung umfasst eine Multiplexereinheit oder Abtasteinheit 1, der die erste Videobildfolge F1 zugeführt ist, und die dazu ausgebildet ist, aus dieser ersten Videobildfolge F1 eine Anzahl von Abtastbildfolgen F1₁, F1₂, F1₃ zu erzeugen. Die Anzahl der Abtastbildfolgen entspricht hierbei der Anzahl der Bilder, die eine Teilbildfolge eines ersten Videobildsignals F1 umfasst und die zu einem kontrastreichen HDR-Bild überlagert werden sollen. Jede der Abtastbildfolgen F1₁, F1₂, F1₃ umfasst eine Folge von Bildern, wobei die einzelnen Bilder einer Abtastbildfolge zeitlich aufeinanderfolgenden Teilbildfolgen entstammen. Die Bilder einer Abtastbildfolge besitzen hierbei dieselbe Belichtung und dieselbe Bewegungsphase. In dem dargestellten Beispiel umfasst die Abtastbildfolge F1₁ die Bilder mit der ersten Belichtung, die Abtastbildfolge F1₂ die Bilder mit der zweiten Belichtung und die Abtastbildfolge F1₃ die Bilder mit der dritten Belichtung. Jede dieser Abtastbildfolgen F1₁, F1₂, F1₃ ist eine Bewegungsschätz- und Interpolationseinheit 21, 22, 23 zugeführt. Die einzelnen Bewegungsschätz- und Interpolationseinheiten 21, 22, 23 sind dazu ausgebildet, aus der zugeführten Abtastbildfolge F1₁, F1₂, F1₃ eine Bildfolge zu interpolieren, deren Bilder die gewünschte gemeinsame Bewegungsphase mx (vgl. 2) besitzen. Sofern die gemeinsame Bewegungsphase mx der Bewegungsphase der Bilder einender Bildfolgen F1₁, F1₂, F1₃ entspricht, so kann diese Bildfolge unmittelbar übernommen werden, ohne dass eine Bewegungsschätzung und Interpolation erforderlich ist. Entspricht die gemeinsame. Bewegungsphase mx beispielsweise der ersten Bewegungsphase m1, also der Bewegungsphase der Bilder der ersten Abtastbildfolge F1₁, so kann auf die erste Bewegungsschätz- und Interpolationseinheit 21 verzichtet werden, was in 4 dadurch dargestellt ist, dass diese Bewegungsschätz- und Interpolationseinheit 21 gestrichelt dargestellt ist.
Die Bewegungsschätz- und Interpolationseinheiten 21, 22, 23 können herkömmliche Bewegungsschätz- und Interpolationseinheiten sein, die geeignet sind, durch einen Vergleich aufeinanderfolgende Bilder der zugeführten Bildfolge F1₁, F1₂ oder F1₃ Bewegung in den einzelnen Bildern zu schätzen und unter Verwendung dieser geschätzten Bewegungsinformation ein Zwischenbild mit einer gewünschten Bewegungsphase zu interpolieren. Die Funktionsweise einer dieser Bewegungsschätz- und Interpolationseinheiten wird nachfolgend anhand von 5 für die erste Bewegungsschätz- und Interpolationseinheit 21 der die erste Abtastbildfolge F1₁ zugeführt ist, veranschaulicht.
5 veranschaulicht zwei zeitlich aufeinanderfolgende Bilder F1₁(i), F1₁(i + 1) dieser ersten Abtastbildfolge F1₁. Die Bewegungsschätz- und Interpolationseinheit 21 ist dazu ausgebildet, Bewegung in diesen zwei aufeinanderfolgenden Bildern F1₁(i), F1₁(i + 1) zu schätzen und ein Zwischenbild F2₁(i) mit der gewünschten Bewegungsphase mx unter Verwendung der Bildinformation aus einem dieser Bilder F1₁(i), F₁(i + 1), oder unter Verwendung der Bildinformation aus beiden Bildern F1₁(i), F₁(i + 1) zu interpolieren. Die Bewegungsphase mx entspricht dabei der zeitlichen Position des Zwischenbildes F2₁(i) zwischen den beiden Bildern F₁(i), F₁(i + 1). Die Bewegungsschätz- und Interpolationseinheit ist grundsätzlich in der Lage, unter Verwendung der zuvor ermittelten Bewegungsinformationen das Zwischenbild mit einer beliebigen Bewegungsphase zu interpolieren. Solche Bewegungsschätz- und Interpolationseinheiten sind grundsätzlich bekannt, so dass auf weitere Ausführungen hierzu verzichtet werden kann.
Die durch die Bewegungsschätz- und Interpolationseinheiten 21, 22, 23 erzeugten bewegungskompensierten Bildfolgen F2₁, F2₂, F2₃ werden einer Mischer- bzw. Überlagerungseinheit 3 zugeführt, die dazu ausgebildet ist, zur Erzeugung eines HDR-Bilds der HDR-Bildfolge Bilder aus jeder der bewegungskompensierten Bildfolgen F2₁, F2₂, F2₃ zu überlagern, und zwar je ein Bild aus jeder dieser Bildfolgen F2₁, F2₂, F2₃. Am Ausgang dieser Mischer- bzw. Überlagerungseinheit 3 steht die HDR-Videobildfolge F zur Verfügung. Die Bilder an den Ausgängen der Bewegungsschätz- und Interpolationseinheiten 21, 22, 23 können jeweils zeitlich versetzt zueinander zur Verfügung stehen. In diesem Fall sind in dem Mischer 3 geeignete Zwischenspeicher vorzusehen, die die einzelnen Bilder bis zum Zeitpunkt der Überlagerung zwischenspeichern. Die Bewegungsschätz- und Interpolationseinheiten können jedoch auch so ausgebildet sein, dass sie die Bilder mit gleicher Bewegungsphase jeweils synchron an ihren Ausgängen zur Verfügung stellen. Auf Zwischenspeicher kann dann verzichtet werden.
Bei dem zuvor erläuterten Verfahren werden für die Bewegungsschätzung jeweils Bilder mit gleicher Belichtung miteinander verglichen. Alternativ dazu besteht jedoch auch die Möglichkeit, für die Bewegungsschätzung Bilder miteinander zu vergleichen, die nicht eine gleiche Belichtung besitzen, wie z. B. zwei unmittelbar aufeinanderfolgende Bilder der ersten Videobildfolge F1.
Bei einem weiteren Beispiel ist vorgesehen, für die Interpolation der Zwischenbilder einer Sequenz nur eine Bewegungsschätzung durchzuführen. Bezugnehmend auf das Beispiel gemäß 1 werden beispielsweise jeweils Bilder gleicher Belichtung in zwei aufeinanderfolgenden Sequenzen verglichen, wie z. B. die Bilder F1₁(i) in der ersten Sequenz und F1₁(i + 1) in der zweiten Sequenz. Die so erhaltene Bewegungsinformation wird dabei für die Interpolation aller Zwischenbilder, wie z. B. der Bilder F2₁(i), F2₂(i + ki1), F2₃(i + k2), verwendet.
Bei einem weiteren Beispiel ist vorgesehen, die Anzahl der Bilder aus einer Sequenz, die zu einem HDR-Bild überlagert werden, abhängig von der für die Sequenz ermittelten Bewegungsinformation einzustellen. So ist beispielsweise vorgesehen, mit einem zunehmenden Maß an Bewegung die Anzahl der überlagerten zu reduzieren, wobei im Extremfall nur eines der Bilder der Sequenz, beispielsweise ein Bild mit mittlerer Belichtung, als HDR-Bild ausgewählt wird. Dem liegt die Überlegung zugrunde, dass mit zunehmender Bewegung in der Bildfolge ein hoher Kontrastumfang durch das menschliche Auge ohnehin nicht mehr wahrgenommen werden kann.
Zur Erzeugung der bewegungskompensierten Bildfolgen mit gleicher Bewegungsphase können grundsätzlich beliebige bekannte Bewegungsschätzverfahren verwendet werden. Lediglich zum besseren Verständnis ist ein Beispiel eines blockbasierten Verfahrens zur Bewegungsschätzung nachfolgend kurz erläutert. Bei diesem Verfahren wird wenigstens eines der zwei miteinander verglichenen Bilder, wie z. B. die Bilder F1₁(i) und F1₁(i + 1), in Bildblöcke unterteilt, zu denen jeweils ein Bewegungsvektor ermittelt wird. Ein solcher Bewegungsvektor eines Bildblocks repräsentiert eine Verschiebung der Position des Inhalts dieses Bildblocks von einem Bild zum nächsten Bild. Eine Bewegung des Inhalts eines solchen Blocks ist dabei um so größer, je länger der Bewegungsvektor ist bzw. je größer dessen Betrag ist. Als Maß für die Bewegung in einem Bild kann beispielsweise der Betrag des betragsmäßig größten Bewegungsvektors oder der Mittelwert der Beträge einiger oder aller Bewegungsvektoren des Bildes verwendet werden. Eine Reduktion der Anzahl der zu überlagernden Bilder wird hierbei beispielsweise dann vorgenommen, wenn dieses so ermittelte Bewegungsmaß einen vorgegebenen Grenzwert überschreitet. Diese Reduktion der Anzahl der zu überlagernden Bilder kann dabei mit zunehmender Bewegung stufenweise erfolgen. Hierzu werden mehrere Grenzwerte definiert, mit denen das Bewegungsmaß verglichen wird, wobei die Anzahl der zu überlagernden Bilder mit Überschreiten jedes Grenzwertes weiter reduziert wird.
Bei einem weiteren Beispiel ist vorgesehen, die Bewegung in der Bildfolge F1 bereits bei Aufnahme der Bildfolge zu ermitteln und unmittelbar bei Aufnahme der Bildfolge die Anzahl der Bilder pro Sequenz abhängig von der ermittelten Bewegung zu reduzieren.
Eine Vorrichtung zur Durchführung eines solchen Verfahrens ist in 6 dargestellt. Diese Vorrichtung besitzt eine Bewegungsschätz- und Interpolationseinheit 20, die dazu ausgebildet ist, aus der ersten Videobildfolge F1 unter Verwendung der erläuterten Bewegungsschätz- und Interpolationsschritte die bewegungskompensierte Videobildfolge F2 gemäß 2 zu erzeugen. Diese bewegungskompensierte Videobildfolge F2 ist einer Multiplexer- oder Abtasteinheit 1 zugeführt, die abgetastete Videobildfolgen F2₁, F2₂, F2₃ aus dieser bewegungskompensierten Videobildfolge F2 erzeugt. Die einzelnen Bilder einer dieser Videobildfolgen F2₁, F2₂, F2₃ besitzen dabei jeweils die gleiche Belichtung. Diese Bildfolgen sind einer Mischer- oder Überlagerungseinheit 3 zugeführt, die diese Bildfolgen mit jeweils gleicher Belichtung zu einer HDR-Bildfolge mischt. Die Funktionsweise der Mischer- oder Überlagerungseinheit 3 kann der Funktionsweise der bereits anhand von 4 erläuterten Mischer- oder Überlagerungseinheit entsprechen.

Claims

Verfahren zur Erzeugung einer Videobildfolge mit hohem Dynamikbereich, das umfasst: Bereitstellen einer ersten Videobildfolge (F1) mit zeitlich aufeinanderfolgenden Teilbildfolgen, wobei jede Teilbildfolge n, mit n ≥ 2, Bilder (F1₁(i), F1₂(i + k1), F1₃(i + k2)) mit unterschiedlichen Belichtungen und unterschiedlichen Bewegungsphasen aufweist; Anwenden einer Bewegungsschätzung auf die erste Videobildfolge (F1) und Interpolieren einer bewegungskompensierten Teilbildfolge (F2₁(i), F2₂(i + k1), F2₃(i + k2)) zu jeder der Teilbildfolgen derart, dass die Bilder der bewegungskompensierten Teilbildfolge dieselbe Bewegungsphase besitzen, mittels – Erzeugen von n Abtastbildfolgen (F1₁, F1₂, F1₃) aus der ersten Videobildfolge (F1) derart, dass die einzelnen Bilder einer Abtastbildfolge (F1₁, F1₂, F1₃) gleiche Belichtungen aufweisen, und – Erzeugen bewegungskompensierter Bildfolgen (F2₁, F2₂, F2₃) aus den Abtastbildfolgen (F1₁, F1₂, F1₃) derart, dass die Bilder der bewegungskompensierten Bildfolgen (F2₁, F2₂, F2₃) eine gegebene Bewegungsphase (mx) aufweisen, wobei eine Gruppe mit je einem Bild aus jeder der bewegungskompensierter Bildfolgen (F2₁, F2₂, F2₃) eine bewegungskompensierte Teilbildfolge bildet; Überlagern der einzelnen Bilder (F2₁(i), F2₂(i + k1), F2₃(i + k2)) der bewegungskompensierten Teilbildfolge zu einem Bild (F(i)) mit erhöhtem Dynamikbereich.
Verfahren nach Anspruch 1, bei dem die Bewegungsschätzung einen Vergleich von Bildern, die die gleiche Belichtung be sitzen, in wenigstens zwei aufeinanderfolgenden Bildern umfasst.
Verfahren nach einem der vorangehenden Ansprüche, bei dem die Bewegungsschätzung einen Vergleich von Bildern innerhalb derselben Teilbildfolge umfasst.
Verfahren nach einem der vorangehenden Ansprüche, das weiterhin aufweist: Ermitteln eines Maßes für eine Bewegung, die in Bildern einer Teilbildfolge enthalten ist; Einstellen der Anzahl der Bilder dieser Teilbildfolge, die nach der Bewegungsschätzung überlagert werden, abhängig von dem ermittelten Maß für die Bewegung.