-
Die
vorliegende Erfindung bezieht sich auf das Gebiet der Anwendung
digitalen Videoaufnahmen. Insbesondere bezieht sich die vorliegende
Erfindung auf ein Verfahren und eine Einrichtung zum Eliminieren
von Flackereinflüssen
aus Entladungslampen während
pipeline-artiger digitaler Videoaufnahmen.
-
Digitalkameras
werden gegenwärtig
in vielen Anwendungen benutzt, die sowohl Standbilder als auch die
Videoaufnahme einschließen.
Um Bilder aufzunehmen, benutzen Digitalkameras ein Sensorarray,
das aus einem geordneten Muster von Photodioden (das heißt lichtempfindlichen
Dioden oder Photosensoren) gebildet ist. Jede Photodiode mißt die Lichtmenge,
die sie empfängt,
indem sie eine entsprechende Ladungsmenge auf einem integrierten Kondensator
speichert. Die von jeder Photodiode gespeicherte Ladungsmenge wird
dann in einen Digitalwert von einem Analog-Digital-Umsetzer derart
konvertiert, daß sämtliche
Digitalwerte, nachdem sie konvertiert und in einer bestimmten Matrix
neu zusammengesetzt sind, verarbeitet werden können, um ein Digitalbild zu
erreichen.
-
Typischerweise
wird das Photosensorarray von der aufzunehmenden Szene mit Hilfe
entweder eines mechanischen oder eines elektronischen Schließmechanismus
belichtet, der ermöglicht,
daß abwechselnd
entweder (1) Licht auf das Photosensorarray fällt oder (2) Ladung sich auf
jedem Photosensor in dem Array akkumuliert. Das Photosensorarray
kann die Ladung entweder zeilenweise aufnehmen, wie bei dem letztgenannten
Fall, oder alternativ, wie bei dem früheren Fall, das Bild insgesamt aufnehmen
(das heißt,
das Photosensorarray wird durch eine Lichtquelle insgesamt gleichzeitig
belichtet). Die Verarbeitung der Ladungen, welche auf jedem der
Photosensoren gespeichert sind, wird dann entweder zeilenweise oder
pixelweise durchgeführt. Bilder,
die in der genannten zeilenweise durchgeführten Art und Weise aufgenommen
werden, werden als in einem "pipeline-artigen" Betriebsmodus aufgenommen
bezeichnet. Für
Videobildaufnahmeanwendungen wird eine Reihe von Einzelbildrahmen
(das heißt
Abbildern) ähnlich
der obigen Weise aufgenommen.
-
Wenn
Digitalkameras so positioniert werden, daß sie herkömmliche filmbasierte Kameras
ersetzen, müssen
sie in der Lage sein, unter einer Vielzahl von Beleuchtungssituationen
zu arbeiten. Beispielsweise müssen
Digitalkameras in der Lage sein, Videos von Szenen aufzunehmen,
welche im Falle von Außenaufnahmen
durch Sonnenlicht belichtet werden oder welche im Falle von Innenaufnahmen
von Glühlampenlicht
oder Fluoreszenzlicht beleuchtet werden.
-
Wenn
jedoch eine Sequenz von Einzelbildern in einer Umgebung aufgenommen
wird, die von einer Entladungslampe (z.B. einer Leuchtstofflampe) beleuchtet
wird, enthält
das digitale Video Artefakte infolge der Tatsache, daß sich die
Intensität
und die Farbtemperatur der Entladungslampe als eine Funktion der
Zeit verändern
können.
So bieten Entladungslampen, wie beispielsweise Leuchtstofflampen,
keine konstante Intensität
des Lichts, sondern bieten stattdessen eine Intensität, welche,
wenn sie gemessen und als Diagramm dargestellt wird, einer vollwellengleichgerichteten
Sinuswelle ähnelt.
-
1 zeigt ein Beispiel der
Intensität
einer Leuchtstoffbeleuchtung, wie sie über die Zeit variiert, wobei
die Y-Achse die durch die Photodiode erfaßte Intensität des Lichts
und die X-Achse den Zeitverlauf darstellt. Wie anhand von 1 zu sehen ist, ist die Intensität des von
der Leuchtstoffbeleuchtung erzeugten (und somit von der Photodiode
erfaßten) Lichts
periodisch und ähnelt
dem Absolutbetrag einer Sinuswelle. Da die Veränderung der Intensität eine Funktion
der Zeit ist, wird ein Videostrom, der bei dieser Beleuchtung aufgenommen
wird, einen möglicherweise
erheblichen Betrag einer Veränderung
der Qualität
des aufgenommenen Videos enthalten, da die Aufnahme ebenfalls eine
Funktion der Zeit ist.
-
Das
Problem ist darüber
hinaus mit der Tatsache verbunden, daß die Variation der Intensität der fluoreszierenden
Beleuchtung sich in verschiedenen Teilen der Welt unterscheidet,
da einige Länder
ein 60Hz-Wechselstrom(AC)-Energieversorgungssystem und andere Länder ein
50Hz-AC-Energieversorgungssystem verwenden. Beispielsweise verwenden die
Vereinigten Staaten ein AC-Energieversorgungssystem, welches bei
60Hz oszilliert. Somit muß in
Abhängigkeit
von dem Land, in welchem die Digitalkamera verwendet wird, die Einzelbildaufnahmerate
so eingestellt werden, daß die
Einzelbildaufnahmerate eine Funktion des Betriebszyklus der Stromversorgung
ist.
-
Aus
der
US 5495313 A ist
eine Beleuchtungsmeßeinrichtung
für eine
Kamera bekannt. Ein Sensorarry wird verwendet, wobei Messungen an senkrechten
und wagerechten Sensorreihen zeitlich versetzt vorgenommen werden.
Mit einer Variation des zeitlichen Abstands wird eine Belichtungszeit
ermittelt.
-
Die
US 4827119 beschreibt eine
Einrichtung, um verschiedene Lichtquellen anhand ihrer Beleuchtung
und deren Wandlung in ein Frequenzspektrum zu identifizieren.
-
Eine
Lösung,
die es ermöglicht,
daß eine
Digitalkamera unter der Leuchtstofflampenbeleuchtung verschiedener
Energieversorgungssysteme funktioniert, besteht darin, daß der Benutzer
einen Code eingeben muß,
der das Land kennzeichnet, in welchem die Digitalkamera verwendet
wird. Die Kamera würde
dann die Einzelbildaufnahmerate in Übereinstimmung mit der Betriebsfrequenz
des Landes einstellen. Die Kamera würde eine Liste von Korrespondenzen
zwischen den Regionen, in welchen sie gegenwärtig betrieben wird, und zusätzlich,
welche Energieversorgungssysteme in dieser Region arbeiten, aufrechterhalten.
Darüber
hinaus erfordert diese Lösung,
daß der
Benutzer einen Code jedesmal dann eingibt, wenn der Benutzer eine
Region mit einem abweichenden Energieversorgungssystem betritt. Somit
würde diese
Lösung
erfordern, daß der
Benutzer manuell den gegenwärtigen
Ort des Benutzers eingibt.
-
Eine
zweite Lösung
bestünde
darin, ein System, wie beispielsweise ein globales Positionierungssystem
(GPS), in die Kamera selbst einzubringen, welches es der Kamera
ermöglichen
würde,
sich "selbst bewußt" darüber zu werden,
an welchem geographischen Ort sie sich befindet, und somit automatisch
die internen Systeme der Kamera dementsprechend einzustellen. Jedoch
würde diese
Lösung eine
zusätzliche
Schaltung erfordern, welche zusätzliche
Energie- und Kostenanforderungen an die Digitalkamera stellen würde.
-
Eine
weitere Lösung
würde darin
bestehen, eine Schaltung aufzunehmen, welche es der Kamera ermöglicht,
automatisch das Energieversorgungssystem zu erkennen, in welcher
sie gegenwärtig
arbeitet, indem der Benutzer die Kamera in das Energieversorgungssystem
des Landes einstecken muß. Wenn
beispielsweise ein Benutzer einen bestimmten Ort oder ein neues
Gebiet erreicht, würde
der Benutzer einfach die Kamera in eine Wandsteckdose einstecken,
um es der Schaltung einer Digitalkamera zu ermöglichen, den Betriebszyklus
des Energieversorgungssystems zu registrieren. Jedoch ist diese
Lösung
ebenfalls nicht zu empfehlen, da verschiedene Regionen in der Welt üblicherweise
verschiedene Konfigurationen der Wandsteckdosen und -stecker für diese
Steckdosen haben, so daß der
Benutzer einen Satz von Adaptern mit sich führen müßte, welche einige Zehn oder
Hunderte zählen
könnten,
um sicher zu sein, daß der
Benutzer die Digitalkamera in das Energieversorgungssystem einstecken
kann.
-
Aufgabe
der Erfindung ist es, ein die Einflüsse der Verwendung von Leuchtstoffbeleuchtung
beseitigendes System zu haben, das keinen Benutzereingriff oder
erhöhte
Kosten- und Energieversorgungsanforderungen
an die Kamera selbst erfordert.
-
Diese
Aufgabe wird erfindungsgemäß durch ein
Verfahren gemäß Anspruch
1, sowie Einrichtungen gemäß einem
der Ansprüche
9 oder 17 gelöst.
-
Offenbart
wird ein Verfahren, das als ersten Schritt das Einstellen einer
ersten Einzelbildrate aufweist. Dann wird eine Aufnahmeintegrationsperiode auf
eine erste Integrationsperiode eingestellt und unter einer Belichtungsquelle
mit einer ersten Frequenz ein Satz von Einzelbildern aufgenommen.
Anschließend
wird die erste Frequenz der Belichtung bestimmt. Außerdem wird
eine Einrichtung zum Durchführen
des oben genannten Verfahrens offenbart, die einen Bildsensor und
eine mit dem Bildsensor gekoppelte Aufnahmesteuereinheit aufweist.
-
1 ist
eine Kurve der Lichtintensität
aus einer Entladungslampe, gemessen über die Zeit.
-
2 veranschaulicht
die Abtastung von Bilddaten über
die Zeit unter Verwendung eines pipeline-artigen Bildsensors.
-
3 ist
eine Darstellung von zeilenweise gemittelten Bildaufnahmedaten über der
Zeit für
ein bestimmtes aufgenommenes Bild.
-
4 ist
eine Kurve des Betrags der aufgenommenen Beleuchtung, die die Bilddaten
einschließt, über der
Zeit.
-
5 ist
eine Kurve der Integrationszeit über der
Flackeramplitude für
zwei Lichtquellen bei verschiedenen Frequenzen.
-
6 ist
eine Kurve des in 4 gezeigten Signals nach einer
Fouriertransformation.
-
7 ist
ein Bildaufnahmesystem, das in Übereinstimmung
mit einem Ausführungsbeispiel
der vorliegenden Erfindung konfiguriert ist und welches einen Flackerdetektor
enthält.
-
8 ist
ein Ablaufdiagramm des Betriebs des einen Flackerdetektor enthaltenden
Bildaufnahmesystems.
-
Die
vorliegende Erfindung schafft ein Verfahren und eine Einrichtung
zum Reduzieren der Einflüsse
des Flackerns (oder Flimmerns) von Entladungslampen auf einen aufgenommenen
Videostrom. Aus Gründen
der Erläuterung
sind spezielle Ausführungsbeispiele
angegeben, um ein besseres Verständnis der
vorliegenden Erfindung zu erreichen. Für einen Fachmann wird es jedoch
beim Lesen dieser Offenbarung klar, daß die Erfindung ohne diese
Details ausgeführt
werden kann. Darüber
hinaus finden, obwohl die vorliegende Erfindung über die Verwendung eines CMOS-Bildsensors
beschrieben wird, die meisten, wenn nicht sämtliche, Aspekte der Erfindung
auf Bildsensoren im allgemeinen Anwendung. Darüber hinaus werden gut bekannte
Elemente, Einrichtungen, Prozeßschritte
und dergleichen nicht im Detail beschrieben, um ein Verdecken der
vorliegenden Erfindung zu vermeiden.
-
Da
die Intensität
und der Farbwert, die von einer Leuchtstofflampe ausgegeben werden,
infolge der angelegten Wechselspannung in einer sinusförmigen und
folglich periodischen Art und Weise variieren, benutzt die vorliegende
Erfindung den Bildsensor, um die Gesamtbeleuchtung abzutasten, um
zu erfassen, ob das System bei einer 50Hz-, 60Hz- oder Glühlichtsituation
arbeitet. Dann wird von dem Bildsensor eine Integration unter verschiedenen
Einschränkungen,
die auf der erfaßten
Lichtfrequenz basieren, durchgeführt.
Die Zeitgabe gestattet es dem Photosensorarray, jedes Einzelbild
zu etwa dem gleichen Zeitpunkt innerhalb des Zyklus der Oszillation der
Lichtintensität,
die aus der Leuchtstofflampe empfangen wird, aufzunehmen.
-
2 ist
ein Diagramm der Abtastung der Bilddaten über der Zeit unter Verwendung
eines pipeline-artigen Bildsensors. Die Einzelbildaufnahme beginnt
zum Zeitpunkt Null, wenn ein Einzelbildaufnahmesignal angelegt wird.
Während
der Aufnahme erhält
jede Zeile ein RÜCKSETZ-Signal,
welches es der Zeile ermöglicht,
die Integration zu beginnen. Bei einem Ausführungsbeispiel haben sämtliche
Zeilen eine Integrationszeit "t", welche für jede Zeile
gleich ist. Nach der Integrationszeit t wird ein Zeilenauslesesignal
an die spezielle Zeile des Bildsensors geliefert, um den integrierten
Wert auszulesen, welcher die Bilddaten für die spezielle Zeile für jedes
Pixel in dieser Zeile darstellt. Bei dem in 2 gezeigten
Beispiel enthält
der Bildsensor 480 Zeilen Auflösung, was
bedeutet, daß es
480 Zeilen von Pixelsensoren gibt. Sobald die Integrationszeit abgelaufen
ist, wird die jeweilige Zeile der Pixelsensorwerte zur Verarbeitung
ausgelesen. Nachdem die letzte Zeile der Pixelsensorwerte ausgelesen
ist, wird das nächste
Einzelbild aufgenommen, indem die erste Zeile des Bildsensors ein
RÜCKSETZ-Kommando
empfängt. Wenn
der Bildsensor in einem pipeline-artigen Modus betrieben wird, wird,
sobald die letzte Zeile des Bildsensors ein RÜCKSETZ-Kommando zum Initiieren
der Aufnahme empfangen hat, ein RÜCKSETZ-Kommando zum Initiieren
der Aufnahme für die
nächste,
welche die erste Zeile des Bildsensors ist, automatisch gesendet.
Wie es in 2 gezeigt ist, erfolgt das Abtasten
in der Zeitachse (X-Achse in dem Diagramm), aber das, was abgetastet
wird, variiert in der Zeile (Y-Achse in dem Diagramm), so daß die Beleuchtungsdaten
mit den tatsächlichen
Bilddaten vermischt werden.
-
3 ist
ein Diagramm der aufgenommenen Bilddaten für jede Zeile, welche über der
Zeit für
ein bestimmtes aufgenommenes Bild gemittelt worden sind (das heißt, bei
dem die Pixelwerte jeder Zeile gemittelt worden sind). Wie unten
erörtert
wird, werden die Bilddaten für
jede Zeile gemittelt, so daß die
Einflüsse
der Auswahl einer bestimmten Spalte der Pixeldaten beim Analysieren
abgeschwächt
werden. wenn beispielsweise die letzte Spalte der Pixelwerte auf
der rechten Seite des Bildes für
die Analyse ausgewählt
würde,
würde dies
ein stark abweichendes Ergebnis gegenüber dem Fall erbringen, wenn
die Spalte der Pixeldaten aus der Mitte des Bildes käme. Durch
Mitteln der Bilddaten für
jede Zeile haben die tatsächlichen Änderungen
der Werte infolge des in dem Abbild enthaltenen "Bildes" einen geringeren Einfluß auf die
aktuellen Daten, welche für
die Analyse der Beleuchtung des Bildes verwendet werden.
-
4 ist
eine Darstellung des Betrags der Aufnahmebeleuchtung, die von dem
Bildsensor über der
Zeit ausgegeben worden ist, nachdem sie durch einen Analog-Digital-Umsetzer
konvertiert worden ist. Die ausgegebenen Beleuchtungsdaten sind
mit den Bilddaten vermischt, und in 4 werden
beide über
der Zeit dargestellt. Die Lichtbeleuchtung stellt den Zeilenmittelwert
jeder Zeile, wie sie aufgenommen wird, dar. Die Y-Achse ist in Einheiten
des Ausgangssignals des Analog-Digital-Umsetzers, wobei bei diesem
Ausführungsbeispiel
sie eine ganze Zahl zwischen Null und 255 ist, was eine 8-Bit-Analog-Digital-Umsetzung
des Ausgangssignals des Bildsensors darstellt. Um die Frequenz der
Beleuchtungsamplitudenoszillation aufgrund der Leuchtstoffbeleuchtung
in den aufgenommenen Bilddaten zu bestimmen, werden die Bilddaten
durch eine Fouriertransformation weiterverarbeitet. Dies wird unten
näher anhand
von 6 erläutert.
-
Um
die Aufnahme von Einflüssen
der Beleuchtung, welche eine oszillierende Amplitude aufweist, in
die Bilddaten zu eliminieren, sei angemerkt, daß die Leistungsamplituden Fouriertransformierte eines
Impulssignalverlaufs den Absolutwert der sinc-Funktion (das heißt |sin(X)/X|) ähnelt, und
insbesondere, daß diese
Funktion Nullstellen enthält. Wenn
die Nullstellen dem Beleuchtungsflackern entsprechen, kann dann,
wenn die Integrationszeit auf diejenigen Werte eingestellt wird,
welche den Werten entsprechen, an welchem die Leistungsamplitude der
Fouriertransformierten gleich Null ist, das Beleuchtungsflackern
beseitigt werden. Somit kann in Abhängigkeit davon, ob die Bilder
bei einer 50Hz- oder 60Hz-Beleuchtung aufgenommen werden, die Integrationszeit
auf bestimmte Werte eingestellt werden, um die von dem os zillierenden
Pegel der Beleuchtung bewirkten Flackereffekte zu eliminieren. Um
die Oszillationsfrequenz der Lichtquelle besser bestimmen zu können, ist
es erforderlich, daß die
Integrationszeit so ausgewählt
wird, daß die
Amplitude der entweder von der 50Hz- oder von der 60Hz-Lichtquelle
bewirkten Einflüsse ähnlich wäre. Wie
anhand von 5 zu sehen ist, gibt es verschiedene
Orte, bei denen die Kurve der Amplitude des 60Hz-Signalverlaufs
gleich der Kurve der Amplitude des 50Hz-Signalverlaufs ist. Bei
einem Ausführungsbeispiel
wird die Integrationszeit auf 0,0132 Sekunden eingestellt. Der Grund
dafür,
weshalb die Integrationszeit auf einen Wert eingestellt wird, welcher
zu ähnlichen
Amplituden für
die 50Hz- und 60Hz-Frequenz führt,
besteht darin, daß das
Vorhandensein der Beleuchtung mit einer Frequenz leicht erfaßt werden
kann. Wenn beispielsweise die Integrationszeit auf 0,017 Sekunden
gesetzt würde,
bei der die Amplitude des 50Hz-Signals viel größer ist als die Amplitude des 60Hz-Signals,
dann wäre
es sehr schwierig, den von dem 60Hz-Signal bewirkten Einfluß zu erfassen,
da er ziemlich nah bei Null läge.
Tabelle 1 enthält
eine Beispielliste von Integrationszeiten, die zum Bestimmen der
Oszillationsfrequenz der Lichtquelle geeignet sind.
-
Tabelle
1 - Beispiel Integrationszeiten in Sekunden
-
Wie
oben anhand von 4 erörtert, ist der Einfluß der oszillierenden
Beleuchtung des aufgenommenen Bildes in den Bilddaten enthalten.
Um die Beleuchtungseffekte heraus zutrennen, wird eine schnelle Fouriertransformation
(FFT) an den Bilddaten ausgeführt,
um die Frequenz der Oszillation der Beleuchtung zu bestimmen, sofern
sie vorhanden ist.
-
6 ist
eine Darstellung der in 4 gezeigten Daten nach einer
FFT, wobei angenommen wird, daß die
Beleuchtung während
der Aufnahme der Bilddaten in 4 auf einer
60Hz-Lichtquelle beruht. Wie in 6 zu sehen
ist, gibt es eine "Spitze", die bei 120Hz erscheint,
da die Beleuchtungsdaten anzeigen, daß eine 60Hz-Stromversorgungsquelle erfaßt wurde.
Es sei angemerkt, daß die
Spitze bei 120Hz erscheint, da die Beleuchtung mit dem Doppelten
der Versorgungsfrequenz schwankt, welche in diesem Fall 60Hz ist
(das heißt,
die Beleuchtung ändert
sich sowohl bei dem "positiven" als auch dem "negativen" Abschnitt des 60Hz-Zyklus).
-
7 ist
eine Blockdarstellung eines in Übereinstimmung
mit einem Ausführungsbeispiel
der vorliegenden Erfindung konfigurierten Bildaufnahme- und Verarbeitungssystems
mit einem Photosensorarray 100, einer Puffer- und Verarbeitungseinheit 102, einer
Analog-Zu-Digital(A/D)-Einheit 104, einer Aufnahmesteuereinheit 106,
einer FFT-Einheit 108 und einer Detektoreinheit 110.
Die Puffer- und Verarbeitungseinheit 102, die FFT 108 und
die Erfassungseinheit 110 bilden einen Flacker-Detektor 112.
-
Das
Photosensorarray 100 wird in einem pipeline-artigen Modus
betrieben, welcher, wie oben erörtert
wurde, bedeutet, daß jede
Zeile des Photosensorarrays 100 Zeile für Zeile integriert wird. Das Ausgangssignal
des Photosensorarrays 100 wird einer A/D-Einheit 104 eingespeist.
Insbesondere gibt das Photosensorarray 100 die Aufnahmeladungen auf
der Grundlage der von der Aufnahmesteuereinheit 106 gesendeten
Steuersignale an die A/D-Einheit zur Verarbeitung aus. Die Aufnahmesteuereinheit 106 wird
wiederum von dem Flacker-Detektor 112 gesteuert. Sobald
die Puffer- und Verarbeitungseinheit 102 die aufgenommenen
Bilddaten von der A/D-Einheit 104 empfängt, führt sie insbesondere irgendeine
Verarbeitung durch, die erforderlich ist, und sendet dann die Ergebnisse
an die FFT-Einheit 108. Die FFT-Einheit 108 arbeitet
dann an den Ergebnissen, die aus der Puffer- und Verarbeitungseinheit 102 empfangen
worden sind, und sendet dann die sich ergebenden Daten an die Detektor-Einheit 110.
Die Detektoreinheit 110 gibt dann ein Signal an die Aufnahmesteuereinheit 106 aus,
um die Beleuchtungsbedingung anzuzeigen, unter welcher die Kamera betrieben
wird. Wie oben beschrieben, bilden die Puffer- und Verarbeitungseinheit 102,
die FFT-Einheit 108 und die Detektor-Einheit 110 einen
Flacker-Detektor 112.
-
Bei
einem Ausführungsbeispiel
stellt zu dem gleichen Zeitpunkt, zu dem die Puffer- und Verarbeitungseinheit 102 Daten
aus der A/D-Einheit 104 empfängt, die Puffer- und Verarbeitungseinheit 102 dieselben
Informationen an Nachverarbeitungs- und Speichereinheiten (nicht
gezeigt) zur Verfügung.
Die Nachverarbeitungs- und Speichereinheiten können Einheiten zum Bereitstellen
einer weiteren Bildverarbeitung, wie beispielsweise einer Kompression
oder Bildanreicherung, enthalten. Die Speicherkomponenten in den
Nachverarbeitungs- und
Speichereinheiten können
beliebige Medien enthalten, die zum Speichern digitaler Daten geeignet
sind. Bei einem Ausführungsbeispiel
ist die Speichereinheit ein nichtflüchtiger Speicher, wie beispielsweise
ein magnetisches Medium. Jedoch ist eine beliebige Speichermöglichkeit
zum Speichern digitaler Daten geeignet, unabhängig davon, ob sie ein flüchtiger
oder ein nicht-flüchtiger
Speicher ist. Bei anderen Ausführungsbeispielen
können
die vom Flacker-Detektor 112 zur Verfügung gestellten Funktionen
zusammen mit den von den Nachverarbeitungs- und Speichereinheiten
zur Verfügung
gestellten Funktionen implementiert werden. Zusätzlich sei angemerkt, daß die Funktionen
des Flacker-Detektors 112 zusammen mit den von dem Verarbeitungs-
und Speichereinheiten zur Verfügung
gestellten Funktionen durch einen Mehrzweckcomputer zur Verfügung gestellt
werden können,
der einen Mehrzweckprozessor und Speichereinheiten, wie sie oben
beschrieben sind, zur Verfügung
stellt. So kann die aktuelle Implementierung der in 7 beschriebenen
Verarbeitungs- und Speichereinheiten
in einer Vielzahl von Lösungen,
in Hardware oder Software, implementiert werden.
-
8 ist
ein Ablaufdiagramm eines Ausführungsbeispiels
der Operation der vorliegenden Erfindung. Der Prozeß beginnt
mit dem Schritt 300, während
dem die Aufnahmesteuereinheit 106 eingestellt wird, um
ein oder mehrere Einzelbilder unter Verwendung des Photosensorarrays 100 bei
einer bestimmten Einzelbildrate aufzunehmen. Die minimale Einzelbildrate
ist von der Gesamtzahl der zu gewinnenden Datenabtastwerte abhängig. Die
Abtastrate und die Gesamtzahl der Abtastwerte werden so ausgewählt, daß eine Unterabtastung
(undersampling) vermieden wird. Die exakten Abtastanforderungen
können über einen
nahezu unbeschränkten
Bereich variieren, vorausgesetzt die Nyquist-Auflösung wird
eingehalten. Bei einem Ausführungsbeispiel
wird die Einzelbildrate so eingestellt, um wenigstens 120Hz wiederzugewinnen,
was dem Doppelten der Frequenz eines beliebigen möglicherweise
anzutreffenden Leuchtstofflichts entspricht (das heißt dem Doppelten
der höchsten
möglichen
Energieversorgungsleitungsfrequenz, welche 60Hz ist). Dies dient
dazu zu sichern, daß die Änderungen
der Beleuchtung aufgenommen werden, da die Aufnahmefrequenz hoch genug
sein muß,
um Nyquist-Einflüsse
infolge einer Unterabtastung zu vermeiden.
-
Eine
Unterabtastung ist üblicherweise
kein Problem, da jede Zeile in dem Photosensorarray 100 eine "Probe" der Beleuchtung
aufnimmt. Nimmt man beispielsweise typische Einzelbildraten von
15 Einzelbildern pro Sekunde an, gäbe es selbst dann, wenn das
Photosensorarray 100 nur 16 Zeilen Auflösung hätte, genügend Abtastwerte, um der Nyquist-Auflösung von
240Hz zum Wiederherstellen von 120Hz zu genügen.
-
Im
Schritt 302 wird die Integrationszeit auf etwa 13,2ms eingestellt.
Wie oben beschrieben, wurde diese Integrati onszeit ausgewählt, um
eine Aufnahme der Beleuchtung von etwa der 60Hz- oder der 50Hz-Lichtquelle
bei der gleichen Amplitude zu ermöglichen. Die Operation fährt dann
zum Schritt 304 fort.
-
Im
Schritt 304 werden eines oder mehrere Einzelbilder von
dem Photosensorarray 100 bei der von der Aufnahmesteuereinheit 106 im
Schritt 302 eingestellten Integrationszeit (das heißt 13,2ms)
aufgenommen. Insbesondere ist die für jede Zeile verwendete Integrationszeit
13,2ms.
-
Im
Schritt 306 werden die für jede Zeile des Einzelbilds
aufgenommenen Bilddaten horizontal gemittelt. Wie oben beschrieben,
senkt die Mittelung der Bilddaten für alle Pixel in einer Zeile
die Einflüsse des
Vorhandenseins eines dunklen Objekts oder eines hellen Objekts in
der Szene, so daß irgendwelche
Beleuchtungsschwankungen, die von einem Leuchtstofflicht bewirkt
werden, einfacher erfaßt
werden können.
Wenn beispielsweise die aufgenommenen Bilder in ihren Bilddaten
vollständig
gleichmäßig sind,
wie beispielsweise vollständig
weiße
Bilder, dann können
irgendwelche Änderungen
in der Beleuchtung einfach erfaßt
werden. Ohne eine Mittelung führt
die Auswahl eines zufälligen
Spaltenpixels zu unvorhersagbaren Ergebnissen in Abhängigkeit davon,
welche Spalte des Photosensorarrays 100 ausgewählt wird.
Die sich ergebenden Daten wären ähnlich den
Daten in 4.
-
Im
Schritt 308 können
dann, wenn mehrere Einzelbilder aufgenommen worden sind und angenommen
wird, daß die
Lücke zwischen
den Einzelbildern gleich Null ist (das heißt, die Einzelbilder aufeinanderfolgend
ohne Pause aufgenommen werden), die horizontal gemittelten Bilddaten
"zusammengeheftet" werden, so daß sie eine
kontinuierliche Serie horizontal gemittelter Bilddaten ergeben.
Die Operation fährt
dann zum Schritt 310 fort.
-
Im
Schritt 310 wird an den Bilddaten eine schnelle Fouriertransformation
(FFT) von der FFT-Einheit 108 durchgeführt. Wie oben erörtert, werden
durch Ausführung
der FFT an den horizontal gemittelten Bilddaten aus dem Schritt 308 die
Ergebnisse so sein, wie es beispielsweise in 6 gezeigt ist
(wo die Zeilenfrequenz 60Hz ist). Es sei angemerkt, daß solange,
wie es genügend
Daten zum Auflösen
von 120Hz gibt, dann 100Hz ebenfalls aufgelöst werden kann. Die Operation
fährt dann
zum Schritt 312 fort.
-
Im
Schritt 312 wird der Wert der FFT bei dem 100Hz-Wert mit
dem Wert bei 120Hz verglichen. Im Schritt 314 bestimmt
die Detektor-Einheit 110, ob der Wert für den 60Hz-Wert (das heißt, der
120Hz-Wert, welcher für
die Nyquist-Auflösung
verwendet wird) oder der 50Hz-Wert (das heißt, der 100Hz-Wert, welcher für die Nyquist-Auflösung verwendet
wird) größer ist.
Bei einem Ausführungsbeispiel
wird dann, wenn sowohl der 60Hz-Wert als auch der 50Hz-Wert innerhalb
einer Toleranz von 10% voneinander beabstandet sind, angenommen,
daß die
Kamera unter Glühlichtbedingungen
arbeitet. Die Operation fährt dann
beim Block 316 fort.
-
Es
sei angemerkt, daß die
Verwendung der FFT eine algorithmische Optimierung aber kein Erfordernis
darstellt. Bei anderen Implementierungen kann auch eine diskrete
Fouriertransformation verwendet werden. Der Vorteil der Durchführung einer diskreten
Fouriertransformation besteht darin, daß man nicht darauf beschränkt ist,
eine Datenmenge auszuwählen,
welche aus einer Anzahl von Werten, die einer Potenz von 2 entspricht,
besteht. Obwohl die diskrete Fouriertransformation berechnungsintensiver
ist als die FFT, löst
sie ein spezielles Problem, nämlich
das des Frequenzverwischens.
-
Wenn
eine Transformation aus dem Zeitbereich in den Frequenzbereich ausgeführt wird,
gibt es ein Aliasing (Verfälschung)
der Eingangsdaten, sofern das Nyquist-Abtastkriterium nicht erfüllt ist.
Es gibt ein ähnliches
Problem bei den Ausgabespektren, bei denen dann, wenn die Frequenz
in dem Datensatz "zwischen" zwei digitalen Frequenzwerten
ist, das Frequenz-Aliasing auftritt und das sich ergebende Spektrum
verwischt erscheint. Um ein Frequenzverwischen zu vermeiden, kann
die diskrete Fouriertransformationen zu den Kosten der zusätzlichen
Berechnung verwendet werden. Da die Erfassung nur einmal auszuführen ist,
um die anfänglichen
Beleuchtungsbedingungen zu bestimmen, kann es akzeptabel sein, einen
berechnungsintensiveren Algorithmus zu verwenden. Die Auswahl ist
ein Kompromiß zwischen
der Rechenzeit und der Unterscheidungsgenauigkeit, aber die Verwendung
der schnellen Fouriertransformation ist kein Erfordernis.
-
Im
Schritt 316 wird auf der Grundlage der von der Detektor-Einheit 110 durchgeführten Bestimmung,
ob die Kamera unter einer 60Hz-, 50Hz- oder Glühlicht-Bedingung betrieben
wird, die Integrationszeit entsprechend eingestellt.
-
Sobald
die Flacker-Frequenz im Schritt 314 bestimmt worden ist,
gibt die Detektor-Einheit 110 ein Signal aus, daß bei einem
Ausführungsbeispiel
die Flackerfrequenz darstellt. Bei einem anderen Ausführungsbeispiel
gibt die Detektor-Einheit 110 ein Signal aus, daß signalisiert,
ob ein Glüh-,
50Hz- oder 60Hz-Beleuchtungssystem erfaßt worden ist. Sofern die Lichtquelle
eine nicht-flimmernde Quelle ist, würde dies im Schritt 314 oben
erfaßt
worden sein. Die Aufnahmesteuereinheit bestimmt dann die richtige Integrationszeit
für die
erfaßte
Frequenz.
-
Bei
bestimmten Konfigurationen bestimmt die Detektor-Einheit 110 die richtige Integrationszeit auf
der Grundlage der erfaßten
Flackerfrequenz. Dann steuert die Detektor-Einheit 110 die
Aufnahmesteuereinheit 106 derart, daß diese bei der bestimmten
Einzelbildrate aufnimmt. So kann die Implementierung der Steuerung
der Einzelbildratenaufnahme auf verschiedene Weise ausgeführt werden
und ist nicht auf ein spezielles Ausführungsbeispiel eingeschränkt.
-
Durch
Ausgeben der aktuellen Frequenz der Oszillation der Lichtquellenintensität ist die
vorliegende Erfindung nicht auf die Beseitigung von Flackereinflüssen aus
nur in 50Hz- oder 60Hz-Systemen aufgenommenem Video eingeschränkt. Bei
einigen Situationen extrem geringer Beleuchtung bei spielsweise,
bei denen die einzige Lichtquelle diejenige ist, die von einem Computermonitor
eines Nutzers zur Verfügung
gestellt wird, können
die Flackereffekte beseitigt werden, sofern das System die tatsächliche Frequenz
des erfaßten
Lichts ausgibt. Dies beruht darauf, daß die meisten Monitore eine
Auffrischrate aufweisen, die oberhalb 60Hz beginnt. Wenn beispielsweise
eine Szene von einem Monitor beleuchtet wird, der eine Auffrischrate
von 75Hz aufweist, is die Kamera in der Lage, die Videoaufnahmerate
mit der Auffrischrate des Monitors zu synchronisieren.
