DE102009002393A1

DE102009002393A1 - Verfahren und Vorrichtung zur Bearbeitung von Aufnahmebildern einer digitalen Videokamera

Info

Publication number: DE102009002393A1
Application number: DE102009002393A
Authority: DE
Inventors: Klaus Jacumet
Original assignee: Arnold and Richter KG; Arnold and Richter Cine Technik GmbH and Co KG
Current assignee: Arnold and Richter KG; Arnold and Richter Cine Technik GmbH and Co KG
Priority date: 2009-04-15
Filing date: 2009-04-15
Publication date: 2010-11-04
Also published as: US20120033932A1; EP2419789A1; WO2010119059A1

Abstract

Bei einem Verfahren und einer Vorrichtung zur Bearbeitung von Aufnahmebildern einer digitalen Videokamera, die von einem mit der digitalen Videokamera verbundenen Cine-Objektiv (1) auf eine Abbildungse (4, 5) projiziert werden, die die Aufnahmebilder in Aufnahmesignale umwandelt, wird mindestens ein Kalibrationsbild aufgenommen, aus dem mit einer Bildverarbeitungseinheit (7) Korrekturwerte für die Kornstruktur der Abbildungsscheibe (2) und/oder der Vignettierung im Randbereich der Aufnahmebilder errechnet und mit den realen Aufnahmebildern verknüpft werden.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bearbeitung von Aufnahmebildern einer digitalen Videokamera gemäß den Ansprüchen 1 und 14.
Digitale Videokameras mit elektronischen Bildsensoren für Bewegbilder werden in vielen Bereichen der Film- und TV-Produktion eingesetzt. Sie enthalten einen oder mehrere elektronische Bildsensoren und wenden unterschiedliche Sensortechnologien, wie etwa CCD oder C-MOS bei unterschiedlicher Größe der elektronischen Bildsensoren an.
Da kleinere elektronische Bildsensoren einfacher herzustellen sind, sind die mit diesen Bildsensoren ausgestatteten digitalen Videokameras weiter verbreitet. Dabei nehmen diese digitalen Videokameras in der Anwendung unter anderem den Nachteil in Kauf, dass aufgrund des kleinen elektronischen Bildsensors die Schärfentiefe im Aufnahmeobjekt zunimmt. Dieser Effekt ist bei vielen Produktionen unerwünscht, da eine geringe Schärfentiefe dem Kameramann die Möglichkeit gibt, die Aufmerksamkeit des Zuschauers auf eine bestimmte Ebene zu lenken, beispielsweise auf das Gesicht eines Schauspielers. Wird die Schärfentiefe zu groß, so geht dem Kameramann ein wesentliches Stilmittel verloren.
Bestimmte Teile einer Filmproduktion werden sowohl mit einer Laufbild-Filmaufnahmekamera mit einem Cine-Objektiv als auch mit einer digitalen Videokamera aufgenommen. Ist der elektronische Bildsensor der digitalen Videokamera aber kleiner als das Bildfenster der digitalen Videokamera, so können die aufgenommenen Szenen nicht aneinander geschnitten werden, da die jeweiligen Bildwinkel nicht zusammenpassen. Aus diesem Grunde ist es erwünscht, Cine-Objektive, die für Laufbild-Filmaufnahmekameras verwendet werden, auch für digitale Videokameras zu nutzen.
Der Einsatz von Cine-Objektive für Laufbild-Filmaufnahmekameras bei digitalen Videokameras beseitigt aber nicht das vorstehend genannte Problem, das allein von der Größe des elektronischen Bildsensors herrührt, da eine optische Adaption mit einer rein abbildenden Optik den Nachteil zu großer Schärfentiefe nicht behebt.
Zur Behebung dieses Problems wird gemäß 1 von dem mit der digitalen Videokamera verbundenen Cine-Objektiv 1 ein Bild auf einer im Strahlengang der Videokamera angeordneten Mattscheibe 2 abgebildet, deren Größe der des gewünschten Bildes, im oben angenommenen Fall der Größe des Filmbildes, entspricht. Dieses Bild wird über eine Relaisoptik 3 auf dem elektronischen Bildsensor 4 der digitalen Videokamera abgebildet, der mit einer Kameraelektronik 5 verbunden ist. Mit der Bezugsziffer 6 ist die optische Achse der digitalen Videokamera angegeben.
Bei dieser Anordnung entkoppelt die Mattscheibe 2 die beiden optischen Systeme des Cine-Objektivs 1 einerseits und der Relaisoptik 3 bzw. Sensorbaugruppe 4, 5 andererseits. Teil der Sensorbaugruppe 4, 5 ist ein Analog/Digital-Wandler, der in der schematischen Darstellung gemäß 1 nicht gesondert dargestellt ist. Die von der Sensorbaugruppe 4, 5 abgegebenen Signale werden entweder im elektronischen Bildsensor 4 selbst oder danach digitalisiert, so dass die Sensorbaugruppe 4, 5 aus dem eigentlichen elektronischen Bildsensor 4, einem Analog/Digital-Wandler und der dafür in der digitalen Videokamera typisch notwendigen Beschaltung besteht.
Mit der Lösung des Problems, auch kleine elektronische Bildsensoren durch die Entkopplung der beiden optischen Systeme mittels einer Mattscheibe verwenden zu können, treten aber zwei neue Probleme auf.
Zum einen ist die Struktur der im Strahlengang der digitalen Videokamera verwendeten Mattscheibe in dem von der digitalen Videokamera erzeugten Bild erkennbar, wobei die erkennbare Struktur der Mattscheibe bei stärker abgeblendetem Cine-Objektiv immer stärker sichtbar wird. Die Verwendung eines feineren Korns für die Mattscheibe schafft keine Verbesserung, da damit die Entkoppelung der beiden optischen Systeme der digitalen Videokamera entfallen würde.
Zum anderen tritt aufgrund von nicht angepassten Pupillenlagen zwischen dem Cine-Objektiv und der Relaisoptik eine Vignettierung im Randbereich der von der digitalen Videokamera aufgenommenen Bilder auf. Dabei hängt das Maß der Vignettierung vom verwendeten Cine-Objektiv und der Lage der Austrittspupille ab. Zwar wird der durch die Vignettierung hervorgerufene Schlüssellocheffekt durch die Mattscheibe unterdrückt, jedoch nicht vollständig beseitigt, wobei die Stärke der Auswirkung der Vignettierung vom jeweils verwendeten Typ des Cine-Objektivs sowie von der Blendenöffnung einer Iris-Blende des Cine-Objektivs abhängt.
Zur Beseitigung der Mattscheibenstruktur ist es aus der DE 20 16 183 B bekannt, eine Mattscheibe in ihrer Flächenebene in eine schnelle Schwingung zu versetzen, wodurch die Kornstruktur der Mattscheibe verwischt wird. Aber dieses Verfahren zur Beseitigung bzw. Verminderung der Kornstruktur der Mattscheibe ist mit dem Nachteil behaftet, dass der Aufbau der Schwingungserzeugungsvorrichtung aufgrund der mechanisch bewegten Mattscheibe sehr aufwändig ist, da die Forderung besteht, dass die Mattscheibe trotz der schnellen Schwingungsbewegung nur wenige hundertstel Millimeter aus ihrer Flächenebene abweichen darf, da ansonsten die mit der digitalen Videokamera aufgenommenen Bilder unscharf werden.
Darüber hinaus ist die schnelle Schwingungsbewegung mit Geräuschen verbunden, wobei die Mattscheibe in einer realisierten Ausführungsform in ihrer Flächenebene normal zu den Außenflächen rotiert, was mechanisch zu der einfachsten Lagerung führt. Dies führt aber bei Schwenkbewegungen der Videokamera zu entsprechenden Coriolis-Kräften, die wiederum die Lager der Rotationseinrichtung belasten und/oder die Lage der Mattscheibe für die Dauer der Schwenkbewegung beeinflussen.
Das Vignettierungsproblem wird mit der rotierenden bzw. oszillierenden Mattscheibe ohnehin nicht beseitigt.
Aus der Druckschrift. YU W: „PRACTICAL ANTI-VIGNETTING METHODS FOR DIGITAL CAMERAS" IEEE TRANSACTIONS ON CONSUMER ELECTRONICS, NEW YORK, NY, US, Bd. 50, Nr. 4, November 2004 (2004-11), Seiten 975–983, XP001224730, ISSN: 0098- 3063 ist ein Verfahren zur automatischen Korrektur von Vignettierungsfehlern in Bildern einer digitalen Videokamera bekannt, bei dem ein Referenzbild mit der Videokamera aufgenommen und ein Korrekturfaktor für jede Pixelposition berechnet wird, woraus ein Korrekturbild resultiert, das in Pixelwerten den berechneten Korrekturfaktoren entspricht. Danach werden mit derselben Videokamera aufgenommene Bilder korrigiert, indem sie mit Korrekturfaktoren, die in einer Tabelle abgelegt sind, multipliziert werden. Fehlende Korrekturfaktoren werden durch Interpolation unter Anwendung von Hypercosinus-Funktionen berechnet.
Dieses Korrekturverfahren erfordert einen sehr hohen Rechenaufwand sowohl bei der Erstellung der Korrekturbilder als auch bei der Korrektur der Aufnahmebilder und eignet sich nicht zur Verwendung von Cine-Objektiven, da die Bildwinkel sich nicht ändern.
Der vorliegenden Erfindung liegt die Aufgabenstellung zugrunde, ein Verfahren und eine Vorrichtung zur Bearbeitung von Aufnahmebildern einer digitalen Videokamera der eingangs genannten Art anzugeben, die den Einsatz von Cine-Objektiven auch in Verbindung mit digitalen Videokameras mit kleinem elektronischen Bildsensor ohne Beeinträchtigung der Bildqualität bei geringem Hardware- und Softwareaufwand ermöglichen.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Anspruchs 1 sowie eine Vorrichtung mit den Merkmalen des Anspruchs 16 gelöst.
Die erfindungsgemäße Lösung gibt ein Verfahren und eine Vorrichtung zur Bearbeitung von Aufnahmebildern einer digitalen Videokamera an, bei denen ein Cine-Objektiv auch in Verbindung mit einer digitalen Videokamera mit kleinem elektronischen Bildsensor eingesetzt werden kann, ohne dass die Bildqualität, insbesondere durch Sichtbarwerden der Kornstruktur einer im Strahlengang der digitalen Videokamera angeordneten Abbildungsscheibe, insbesondere einer Mattscheibe oder Faserplatte, oder Auftreten von Vignettierungeffekten, beeinträchtigt wird, wobei der Hard- und Softwareaufwand zum Erzielen einer hohen Bildqualität gering ist.
Die erfindungsgemäße Lösung geht von einer Entkoppelung der optischen Systeme aus, nämlich einerseits der Projektion eines Aufnahmebildes mittels des Cine-Objektivs auf der Abbildungsscheibe und andererseits der Projektion des Abbildungsscheibenbildes auf dem elektronischen Bildsensor mittels einer Relaisoptik und elektronischer Korrektur der durch die Verwendung des Cine-Objektivs und der Abbildungsscheibe hervorgerufenen Bildfehler.
Zu diesem Zweck wird mit der digitalen Videokamera ein Kalibrationsbild aufgenommen, aus dem Korrekturwerte sowohl für die Kornstruktur der Abbildungsscheibe als auch für die Vignettierung im Randbereich der Aufnahmebilder errechnet werden, die nach der Kalibrierung im Aufnahmemodus mit den Aufnahmebildern verknüpft werden.
Da die Effekte der Kornstruktur der Mattscheibe oder Faserplatte und der Vignettierung von der Blendenöffnung des Cine-Objektivs abhängen, werden nach einem weiteren Merkmal der Erfindung n Vignettierungs- und Strukturmatrizen für n unterschiedliche Blendenöffnungen des Cine-Objektivs ermittelt. Dabei wird berücksichtigt, dass zwar die Kornstruktur unabhängig von der Blendenöffnung des Cine-Objektivs ist, das Sichtbarwerden der Kornstruktur aber letztlich doch von der Blendenöffnung des Cine-Objektivs abhängt, da bei kleiner Blendenöffnung des Cine-Objektivs die aus dem Cine-Objektiv austretenden Lichtstrahlen parallel auf die Mattscheibe auftreffen, so dass die Kornstruktur der Mattscheibe deutlich sichtbar ist, während bei großen Blendenöffnungen die aus dem Cine-Objektiv austretenden Lichtstrahlen aus unterschiedlichen Winkeln auf die Mattscheibe auftreffen, so dass die Kornstruktur weniger deutlich sichtbar ist. Wegen dieser gegenüber den Vignettierungseffekten zwar geringeren Abhängigkeit der Kornstruktur von der Blendenöffnung des Cine-Objektivs wird auch die Kornstruktur bei unterschiedlichen Blendenöffnungen des Cine-Objektivs ermittelt.
Da die Vignettierungseffekte und Kornstrukturen auch vom jeweils verwendeten Objektivtyp abhängig sind, werden nach einem weiteren Merkmal der Erfindung die Vignettierungs- und Strukturmatrizen jeweils für einen bestimmten Cine-Objektiv-Typ ermittelt und als Korrekturwerte für die im Aufnahmebetrieb aufgenommenen Bilder der digitalen Videokamera eingesetzt.
Die Ermittlung der Kornstruktur der Abbildungsscheibe wird bei installierter Abbildungsscheibe vorgenommen. Zu diesem Zweck sind im Strahlengang der digitalen Videokamera das Cine-Objektiv, die als Mattscheibe oder Faserplatte ausgebildete Abbildungsscheibe, eine Relaisoptik und die elektronische Bildsensoreinrichtung zur Erzeugung eines oder mehrerer Korrekturbilder angeordnet, aus denen die Korrekturmatrizen für die Kornstruktur der Abbildungsscheibe und die Vignettierungseffekte errechnet werden, deren einzelne Werte dann im Aufnahmemodus der digitalen Videokamera zur Korrektur der Aufnahmebilder dienen.
Die elektronische Korrektur der Aufnahmebilder im Aufnahmemodus der digitalen Videokamera kann entweder auf der Ebene der Sensorrohdaten oder nach der Bildaufbereitung im RGB-Farbraum erfolgen.
Zur Ermittlung der Korrekturmatrizen werden für jedes Pixel des Kalibrationsbildes Korrekturwerte erstellt, indem

– die über das Kalibrationsbild verteilte mittlere Helligkeit des gesamten Kalibrationsbildes ermittelt wird,
– für jedes Pixel des Kalibrationsbildes ein lokaler Durchschnittswert der Helligkeit für eine vorgebbare Anzahl von Pixeln, die benachbart zu einem Bestimmungspixel ermittelt wird,
– das Verhältnis aus der mittleren Helligkeit des gesamten Kalibrationsbildes und dem lokalen Durchschnittswert der Helligkeit für eine vorgebbare Anzahl von Pixeln, die benachbart zu einem Bestimmungspixel sind, gebildet wird,

Dieses Verfahren zur Ermittlung und Aufbereitung der Korrekturmatrizen durch Mittelung über benachbarte Regionen, beispielsweise über einen Block aus 36 oder 49 Pixeln, führt zu sehr guten Ergebnissen, erfordert allerdings einen erhöhten Rechenaufwand. Zur Vereinfachung können auch nur lokale Durchschnittswerte der Helligkeit für eine vorgebbare Anzahl Pixel, beispielsweise 20 Pixel, einer aktuellen Zeile sowohl für die Vignettierungs- als auch für die Strukturmatrix gewonnen werden.
Die Korrekturmatrizen können entweder in einer Datenverarbeitungseinheit der digitalen Videokamera aus den Kalibrationsbildern berechnet und im Aufnahmemodus in einer Bildverarbeitungseinheit der digitalen Videokamera mit den Aufnahmebildern korreliert werden oder die mit der digitalen Videokamera aufgenommenen Kalibrationsbilder werden an einen Bildausgang der digitalen Videokamera als Videosignal ausgegeben und an einen externen PC übertragen, in dem die Korrekturmatrizen errechnet und über eine Datenschnittstelle an die Bildverarbeitungseinheit der digitalen Videokamera zurückgegeben und im Aufnahmemodus der digitalen Videokamera mit den Aufnahmebildern korreliert werden.
Die Korrektur der Aufnahmebilder im Aufnahmemodus der digitalen Videokamera erfolgt in einem echtzeitfähigen System, beispielsweise in einem programmierbaren Logikbaustein (FPGA – Field Programmable Gate Array), in dem jedes einzelne Pixel des Aufnahmebildes zunächst mit demselben Pixel der Vignettierungsmatrix und dann mit demselben Pixel der Strukturmatrix multipliziert wird, so dass an den Stellen, die aufgrund der Mattscheibenstruktur oder Vignettierung zu dunkel sind, die einzelnen Pixel mit einem Faktor größer 1 multipliziert und somit aufgehellt werden, während an den Stellen, die aufgrund der Kornstruktur der Mattscheibe oder der Vignettierung zu hell sind, mit einem Faktor kleiner 1 multipliziert und damit abgedunkelt werden, so dass ein von den Einflüssen der Kornstruktur und Vignettierung befreites, gleichmäßiges Aufnahmebild resultiert.
Zur Berücksichtigung der Blendenöffnung des jeweils verwendeten Cine-Objektivs werden die Werte der Blendenöffnung des Cine-Objektivs mit einem mit dem Cine-Objektiv verbundenen Sensor erfasst und zusammen mit den Korrekturwerten der Pixel gespeichert werden.
Weist das Cine-Objektiv keine entsprechenden Sensoren auf, so dass die Werte der Blendenöffnung des Cine-Objektivs nicht elektronisch eingegeben werden, können sowohl die Korrekturfaktoren als auch die Umschaltung der unterschiedlichen Korrekturmatrizen, die in Abhängigkeit von der Blendenöffnung des Cine-Objektivs aufgenommen wurden, auch manuell eingegeben werden.
Die erfindungsgemäße Vorrichtung zur Bearbeitung von Aufnahmebildern einer digitalen Videokamera mit einem Cine-Objektiv zur Projektion von Aufnahmebildern auf eine im Strahlengang des Cine-Objektiv angeordnete Abbildungsscheibe der digitalen Videokamera, einer elektronischen Bildsensoreinrichtung und einer Bildverarbeitungseinheit mit

– einem Prozessor,
– einer Einrichtung zur Abgabe von Bildsignalen,
– einem eingangsseitig mit der Einrichtung zur Abgabe der Bildsignale und ausgangsseitig mit dem Prozessor verbundenen Zwischenspeicher zur Speicherung von Kalibrationsbildern,
– einem eingangsseitig mit dem Prozessor verbundenen Vignettierungsmatrix-Speicher,
– einem eingangsseitig mit dem Prozessor verbundenen Strukturmatrix-Speicher,
– mehreren mit dem Vignettierungsmatrix-Speicher, dem Strukturmatrix-Speicher und der Einrichtung zur Abagbe der Bildsignale verbundenen Multiplizierern und
– einer mit den Multiplizierern verbundenen Ausgabeeinheit für ein korrigiertes Aufnahmebild.

Anhand von in der Zeichnung dargestellten Ausführungsbeispielen soll der der Erfindung zugrundeliegende Gedanke näher erläutert werden. Es zeigen:
1 ein schematisches Blockschaltbild einer digitalen Videokamera mit Abbildungsscheibe;
2 ein schematisches Blockschaltbild einer digitalen Videokamera Videokamera mit Abbildungsscheibe und einer Bildverarbeitungseinheit;
3 ein Blockschaltbild der in die digitale Videokamera integrierten Bildverarbeitungseinheit;
4 ein Beispiel für den Verlauf der Helligkeitsverteilung in einer Videozeile;
5 ein Flussdiagramm der Erstellung von Korrekturmatrizen aus dem bzw. den Kalibrierbild(ern);
6 eine grafische Darstellung einer Vignettierungsmatrix zur Korrektur realer Aufnahmebilder;
7 eine grafische Darstellung einer Strukturmatrix zur Korrektur realer Aufnahmebilder;
8 eine grafische Darstellung einer vereinfachten Vignettierungsmatrix zur Korrektur realer Aufnahmebilder und
9 ein Flussdiagramm zur kamerainternen oder externen Berechnung der Korrekturmatrizen und zur pixelweisen Korrektur realer Aufnahmebilder
2 zeigt das Blockdarstellung einer gegenüber dem schaltungstechnischen Aufbau der digitalen Videokamera gemäß 1 modifizierten digitalen Videokamera. Auf der optischen Achse 6 eines Cine-Objektivs 1 ist eine Mattscheibe oder Faserplatte 2, eine Relaisoptik 3 und ein elektronischer Bildsensor 4 angeordnet, der mit einer Bildelektronik 5 verbunden ist. Mit dem Cine-Objektiv 1 wird ein Aufnahmebild auf der Mattscheibe oder Faserplatte 2 abgebildet, deren Größe im Idealfall der Größe des Aufnahmebildes entspricht. Das Aufnahmebild wird dann über die Relaisoptik 3 auf dem elektronischen Bildsensor 4 mit nachgeschalteter Bildelektronik 5 abgebildet. Teil des elektronischen Bildsensors 4 oder der Bildelektronik 5 ist ein Analog-/Digital-Wandler, der in der schematischen Darstellung gemäß 2 nicht gesondert dargestellt ist. Die von der aus dem elektronischen Bildsensor 4 und der nachgeschalteten Bildelektronik 5 gebildeten Sensorbaugruppe 4, 5 abgegebenen Signale werden entweder im elektronischen Bildsensor 4 selbst oder danach digitalisiert, so dass die Sensorbaugruppe 4, 5 aus dem eigentlichen elektronischen Bildsensor 4, einem Analog/Digital-Wandler und der dafür in der digitalen Videokamera typisch notwendigen Beschaltung besteht.
Bei der bisher beschriebenen Anordnung von Bauteilen einer digitalen Videokamera kann zur Umwandlung der bewegten Aufnahmebilder ein Bildsensor eingesetzt werden, der kleiner ist als das Bildfeld der digitalen Videokamera. Allerdings ist bei dieser Anordnung die Struktur der Mattscheibe im Bild der digitalen Videokamera erkennbar, und zwar immer stärker mit zunehmender Abblendung des Cine-Objektivs, d. h. bei immer kleiner werdenden Blendenöffnungen. Darüber hinaus ist aufgrund nicht angepasster Pupillenlagen zwischen dem Cine-Objektiv und der Relaisoptik eine Vignettierung im Randbereich der Aufnahmebilder festzustellen, insbesondere, wenn die Cine-Objektive von unterschiedlichen Herstellern stammen und daher die Lage der Austrittspupille in keiner Weise definiert ist. Zwar wird der durch die Vignettierung entstehende Schlüssellocheffekt durch die Mattscheibe verringert, aber nicht vollständig beseitigt.
Zur Beseitigung der durch die Mattscheibe hervorgerufenen Kornstruktur und des Vignettierungseffektes ist gemäß 2 die in 1 dargestellte Anordnung einer digitalen Videokamera um eine Bildverarbeitungseinheit 7 erweitert. Diese Bildverarbeitungseinheit 7 wird entweder in die digitale Videokamera integriert oder als vollständige Einheit extern der digitalen Videokamera nachgeschaltet.
Alternativ kann nur der zeitkritische Teil als Bestandteil der digitalen Videokamera ausgebildet werden, während ein Prozessor zur Errechnung von Korrekturmatrizen extern angeordnet wird.
In einer weiteren Alternative kann die gesamte Bildverarbeitungseinheit 7 außerhalb der eigentlichen Videokamera zusätzlich angebracht werden, so dass zur Verwendung der erfindungsgemäßen Lösung kein Eingriff in die eigentliche Videokamera notwendig wird.
3 zeigt ein Blockschaltbild einer in die digitale Videokamera integrierten Bildverarbeitungseinheit 7.
Die Bildverarbeitungseinheit 7 enthält einen Controller oder Rechner 72, der die von der Sensorbaugruppe 4, 5 abgegebenen Roh- oder RGB-Daten 71 bearbeitet bzw. die Roh- oder RGB-Daten 71 abgibt und eingangsseitig mit einer externen Datenschnittstelle 70 und mit einem Zwischenspeicher 73 verbunden ist, der eingangsseitig mit den Roh- oder RGB-Daten 71 beaufschlagt wird. Ausgangsseitig ist der Controller/Rechner 72 sowohl mit einem Vignettierungsmatrix-Speicher 74 als auch mit einem Strukturmatrix-Speicher 75 verbunden. Der Ausgang des Vignettierungsmatrix-Speichers 74 ist mit einem ersten Multiplizierer 781 verbunden, der zusätzlich mit einem ersten Korrekturfaktur 76 beaufschlagt ist und ausgangsseitig an einen Eingang eines zweiten Multiplizierers 782 gelegt ist, an dessen zweitem Eingang die Roh- oder RGB-Daten 71 gelegt sind. Der Ausgang des Strukturmatrix-Speichers 75 ist an einen ersten Eingang eines dritten Multiplizierers 783 gelegt, der an einem zweiten Eingang mit einem zweiten Korrekturfaktor 77 beaufschlagt ist und ausgangsseitig an einen ersten Eingang eines vierten Multiplizierers 784 gelegt ist, dessen zweiter Eingang mit dem Ausgang des zweiten Multiplizierers 782 verbunden ist und an seinem Ausgang ein korrigiertes Aufnahmebild 79 abgibt.
Mit Hilfe des in 2 dargestellten Aufbaus einer digitalen Videokamera wird mindestens ein Kalibrier- oder Korrekturbild erzeugt, aus dem Korrekturmatrizen für die Kornstruktur der Mattscheibe 2 und für die Vignettierung entweder kameraintern mittels des Controller/Rechner 72 errechnet oder über einen Bildausgang der digitalen Videokamera als Videosignal ausgegeben und an einen externen PC übertragen werden, in dem die Korrekturmatrizen errechnet und über eine Datenschnittstelle an die Bildverarbeitungseinheit der digitalen Videokamera zurückgegeben werden. Diese Korrekturmatrizen dienen dann im Life- oder Aufnahmemodus zur Korrektur der bewegten Aufnahmebilder, wobei die elektronische Korrektur wahlweise auf der Ebene der Sensorrohdaten oder nach der Bildaufbereitung im RGB-Farbraum eingreift.
Da die Effekte der Kornstruktur und der Vignettierung von der Blendenöffnung des Cine-Objektivs 1 abhängen, werden mehrere Korrekturmatrizen für die Kornstruktur der Mattscheibe 2 und für die Vignettierung bei unterschiedlichen Blendenöffnungen des Cine-Objektivs 1 ermittelt. Bei unterschiedlichen Typen von Cine-Objektiven werden zudem mehrere Korrekturmatrizen für die unterschiedlichen Blendenöffnungen zusammen mit einer Angabe des Objektivtyps erzeugt.
Nachfolgend wird das erfindungsgemäße Verfahren zur Bearbeitung von Aufnahmebildern einer digitalen Videokamera bzw. die Funktion der in der 3 dargestellten Bildverarbeitungseinheit 7 beschrieben.
4 zeigt in einem Beispiel den Verlauf der Helligkeitsverteilung in einer Videozeile mit 760 Pixeln. Dieser Darstellung ist deutlich der hochfrequente Anteil der Mattscheibenstruktur zu entnehmen, die von einem grundsätzlichen Absinken der Helligkeit zu den Rändern aufgrund des Vignettierungseffektes überlagert ist. Die durch die Mattscheibenstruktur und den Vignettierungseffekt hervorgerufenen Helligkeitsänderungen der einzelnen Pixel der Videozeile werden mit Hilfe des erfindungsgemäßen Korrekturverfahrens kompensiert, indem zunächst Korrekturmatrizen für die Kornstruktur und die Vignettierung erstellt werden.
Anhand des in 5 dargestellten Flussdiagramms wird die Erstellung von Korrekturmatrizen aus dem Kalibrierbild bzw. den Kalibrierbildern erläutert. Zunächst wird im Schritt a ein Kalibrierbild von der Sensorbaugruppe 4, 5 aufgenommen und im Schritt b im Zwischenspeicher 73 gespeichert. Im Schritt c wird für jedes Pixel ein lokaler Durchschnittswert aus den benachbarten Pixeln, beispielsweise aus einem Pixelbereich mit 36 oder 49 benachbarten Pixeln errechnet. Vom Controller/Rechner 72 wird im Schritt d die mittlere Helligkeitsverteilung über das gesamte Bild ermittelt. Durch die Mittelung der Helligkeitsverteilung über die Nachbarpixel wird der hochfrequente Einfluss der Mattscheibenstruktur beseitigt und eine gleichmäßige Kurve der Helligkeitsverteilung über den Bildquerschnitt erzeugt, der den Vignettierungseffekt wiedergibt.
Ist die lokale Helligkeit des Korrekturbildes heller als der Durchschnitt des Gesamtbildes, so ergibt sich aus dem Verhältnis
I_{Durchschnitt Gesamtbild}/I_{lokaler
aktueller Durchschnitt}
ein Wert kleiner 1. Ist der aktuelle Wert der lokalen Helligkeit des Korrekturbildes dunkler als der Durchschnitt des Gesamtbildes, so ergibt sich aus dem vorstehenden Verhältnis ein Wert größer 1. Die im Schritt e gebildete und in 6 grafisch dargestellte Vignettierungsmatrix wird im Vignettierungsmatrix-Speicher 74 abgelegt.
Im Schritt f wird die Abweichung jedes Pixels vom lokalen Durchschnitt ermittelt. Daraus entsteht ein Abbild der Mattscheibenstruktur in Form einer Strukturmatrix. Ist die Helligkeit eines Pixels des Korrekturbildes größer als der lokale Durchschnitt, so ergibt sich aus dem Verhältnis
I_{lokaler
aktueller Durchschnitt}/I_aktuell
ein Wert kleiner 1. Ist der Helligkeitswert eines Pixels des Korrekturbildes dunkler als der lokale Durchschnitt, so resultiert ein Wert größer 1. Die im Schritt g gebildete und in 7 grafisch dargestellte Strukturmatrix wird im Strukturmatrix-Speicher 75 abgelegt.
Das vorstehend beschriebene Verfahren der Mittelung der Helligkeitsverteilung über benachbarte Regionen, beispielsweise über einen Block aus 36 oder 49 Pixeln, führt zu sehr guten Ergebnissen, ist allerdings sehr rechenaufwendig. Zur Vereinfachung können nur lokale Werte sowohl für die Vignettierungs- als auch für die Strukturmatrix aus 20 Pixeln der jeweils aktuellen Videozeile genommen werden. Daraus ergibt sich eine vereinfachte Vignettierungsmatrix wie sie in 8 dargestellt ist.
Als Hardware für die Berechnung der Korrekturmatrizen kann entsprechend dem in 9 dargestellten Flussdiagramm bei kamerainterner Datenverarbeitung ein kleiner Microcontroller eingesetzt werden, da dieser Vorgang nur bei der Kalibration durchgeführt wird und damit nicht zeitkritisch ist. Alternativ kann ein Rechenkern in einem programmierbaren Logikbaustein oder Logikarray, beispielsweise in einem Field Programmable Gate Array, eingesetzt werden.
Insbesondere zur Bearbeitung größerer Datenmengen, beispielsweise zur Erstellung von Korrekturmatrizen für zahlreiche Blendenöffnungen unterschiedlicher Typen von Cine-Objektiven, können die Kalibrierbilder zur externen datenverarbeitung am Bildausgang der Bildelektronik 5 als Videosignale ausgegeben und von dort an einen externen Rechner übertragen werden, beispielsweise als Videobild über eine Frame-Grabber-Karte. Im externen Rechner werden die Korrekturmatrizen errechnet und sämtliche oder die jeweils benötigten Korrekturmatrizen über die Datenschnittstelle 70, beispielsweise eine Ethernet-, USB- oder ähnliche Schnittstelle, an die Bildverarbeitungseinheit 7 abgegeben, wo sie im Vignettierungsmatrix-Speicher 74 und Strukturmatrix-Speicher 75 zum pixelweisen Abgleich mit den realen Aufnahmebildern abgelegt werden.
Die Korrektur der tatsächlichen Aufnahmebilder der digitalen Videokamera muss in einem echtzeitfähigen System beispielsweise mittels eines Field Programmable Gate Array realisiert werden. Die einzelnen Pixel des Aufnahmebildes 71 werden zunächst mit dem vom Vignettierungsmatrix-Speicher 74 abgegebenen, unter derselben Adresse gespeicherten Pixel multipliziert. Anschließend erfolgt eine Multiplikation mit dem vom Strukturmatrix- Speicher 75 abgegebenen Pixel mit derselben Adresse. Durch die Multiplikation jedes Pixels eines Aufnahmebildes mit denselben Pixeln des Kalibrierbildes werden Stellen, die aufgrund der Pixelkörnigkeit oder Vignettierung zu dunkel sind, mit einem Faktor größer 1 multipliziert und somit aufgehellt, während Stellen, die aufgrund der Pixelkörnigkeit oder Vignettierung zu hell sind, mit einem Faktor kleiner 1 multipliziert und damit abgedunkelt, so dass insgesamt das Aufnahmebild vom Einfluss der Kornstruktur und Vignettierung befreit wird.
Um den Einfluss der Blendenöffnung im Cine-Objektiv 1 zu berücksichtigen, können zwei unterschiedliche Verfahren verwendet werden.
Bei einem ersten Verfahren werden mehrere Korrekturbilder bei unterschiedlichen Blenden ermittelt und diese dann bei den entsprechenden Blenden im Aufnahmemodus wieder angewandt.
Bei einem zweiten Verfahren werden die beiden zusätzlichen Korrekturfaktoren 76, 77 eingesetzt, die auf die beiden Korrekturmatrizen einwirken. Hierfür sind der erste Multiplizierer 781 und der dritte Multiplizierer 783 vorgesehen, wobei die Korrekturfaktoren 76, 77 abhängig von der jeweiligen Blendenöffnung des Cine-Objektivs 1 sind.

1: Cine-Objektiv
2: Abbildungsscheibe (Mattscheibe oder Faserplatte)
3: Relaisoptik
4: elektronischer Bildsensor
5: Bildelektronik
6: Optische Achse
7: Bildverarbeitungseinheit
70: Externe Datenschnittstelle
71: Roh- oder RGB-Daten
72: Controller/Rechner
73: Zwischenspeicher
74: Vignettierungsmatrix-Speicher
75: Strukturmatrix-Speicher
76: Erster Korrekturfaktur
77: Zweiter Korrekturfaktor
79: korrigiertes Aufnahmebild
781: erster Multiplizierer
782: zweiter Multiplizierer
783: dritter Multiplizierer
784: vierter Multiplizierer

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- DE 2016183 B [0011]

Zitierte Nicht-Patentliteratur

- YU W: „PRACTICAL ANTI-VIGNETTING METHODS FOR DIGITAL CAMERAS” IEEE TRANSACTIONS ON CONSUMER ELECTRONICS, NEW YORK, NY, US, Bd. 50, Nr. 4, November 2004 (2004-11), Seiten 975–983 [0014]

Claims

Verfahren zur Bearbeitung von Aufnahmebildern einer digitalen Videokamera, die von einem mit der digitalen Videokamera verbundenen Cine-Objektiv auf eine Abbildungsscheibe und von dieser auf eine elektronische Sensorbaugruppe projiziert werden, die die Aufnahmebilder in als Roh- oder RGB-Daten bereitgestellte Aufnahmesignale umwandelt, dadurch gekennzeichnet, dass mindestens ein Kalibrationsbild aufgenommen wird, aus dem Korrekturwerte für die Kornstruktur der Abbildungsscheibe (2) und/oder der Vignettierung im Randbereich der Aufnahmebilder errechnet werden, und dass die Aufnahmebilder mit den Korrekturwerten verknüpft werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine Anzahl von n Vignettierungs- und Strukturmatrizen für n verschiedene Blendenöffnungen eines Cine-Objektivs (1) ermittelt werden.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Vignettierungs- und Strukturmatrizen jeweils für einen bestimmten Cine-Objektiv-Typ ermittelt werden.
Verfahren nach mindestens einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Aufnahmebilder auf der Ebene der von der Sensorbaugruppe (4, 5) abgegebenen Sensor-Rohdaten elektronisch korrigiert werden.
Verfahren nach mindestens einem der vorangehenden Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Aufnahmebilder nach der Bildaufbereitung aus den von der Sensorbaugruppe (4, 5) abgegebenen Sensor-Rohdaten im RGB-Farbraum korrigiert werden.
Verfahren nach mindestens einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass für jedes Pixel des Kalibrationsbildes Korrekturwerte erstellt werden, indem – die über das Kalibrationsbild verteilte mittlere Helligkeit des gesamten Kalibrationsbildes ermittelt wird, – für jedes Pixel des Kalibrationsbildes ein lokaler Durchschnittswert der Helligkeit für eine vorgebbare Anzahl von Pixeln, die benachbart zu einem Bestimmungspixel ermittelt wird, – das Verhältnis aus der mittleren Helligkeit des gesamten Kalibrationsbildes und dem lokalen Durchschnittswert der Helligkeit für eine vorgebbare Anzahl von Pixeln, die benachbart zu dem Bestimmungspixel sind, gebildet wird, – und dass die so ermittelten Korrekturwerte für jedes Bestimmungspixel in einer Vignettierungsmatrix gespeichert werden.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass eine Strukturmatrix als Abbild der Struktur der Abbildungsscheibe (2) aus dem Verhältnis des lokalen Durchschnittswerts der Helligkeit für eine vorgebbare Anzahl von Pixeln, die benachbart zu einem Bestimmungspixel sind und der Helligkeit jedes Bestimmungspixels dieser vorgegebenen Anzahl benachbarter Pixel erstellt und gespeichert wird.
Verfahren nach mindestens einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Vignettierungsmatrix und die Strukturmatrix aus dem lokalen Durchschnittswert der Helligkeit für eine vorgebbare Anzahl Pixel einer Zeile ermittelt werden.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die vorgegebene Anzahl Pixel aus zwanzig Pixeln einer Zeile besteht.
Verfahren nach mindestens einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Korrektur der Aufnahmebilder in einem echtzeitfähigen System durchgeführt wird.
Verfahren nach mindestens einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass jedes Pixel eines Aufnahmebildes mit dem in der Vignettierungsmatrix und der Strukturmatrix abgelegten Korrekturwert desselben Pixels multipliziert wird.
Verfahren nach mindestens einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Werte der Blendenöffnung eines Cine-Objektivs (1) mit einem mit dem Cine-Objektiv (1) verbundenen Sensor erfasst und zusammen mit den Korrekturwerten der Pixel gespeichert werden.
Verfahren nach mindestens einem der vorangehenden Ansprüche 1 bis 11, dadurch gekennzeichnet, dass die Vignettierungsmatrix und die Strukturmatrix für eine bestimmte Blendenöffnung eines Cine-Objektivs (1) manuell eingegeben wird.
Vorrichtung zur Bearbeitung von Aufnahmebildern einer digitalen Videokamera mit einem Cine-Objektiv (1) zur Projektion von Aufnahmebildern auf eine im Strahlengang des Cine-Objektivs (1) angeordnete Abbildungsscheibe (2) der digitalen Videokamera, einer Sensorbaugruppe (4, 5) und einer Bildverarbeitungseinheit (7) mit – einem Prozessor (72), – einer Einrichtung (71) zur Abgabe von Bildsignalen, – einem eingangsseitig mit der Einrichtung (71) zur Abgabe der Bildsignale und ausgangsseitig mit dem Prozessor (72) verbundenen Zwischenspeicher (73) zur Speicherung von Kalibrationsbildern, – einem eingangsseitig mit dem Prozessor (72) verbundenen Vignettierungsmatrix-Speicher (74), – einem eingangsseitig mit dem Prozessor (72) verbundenen Strukturmatrix-Speicher (75), – mehreren mit dem Vignettierungsmatrix-Speicher (74), dem Strukturmatrix-Speicher (75) und der Einrichtung (71) zur Abgabe der Bildsignale verbundenen Multiplizierern (781 bis 784) und einer mit den Multiplizierern (781 bis 784) verbundenen Ausgabeeinheit (79) für ein korrigiertes Aufnahmebild
Vorrichtung nach Anspruch 14, dadurch gekennzeichnet, dass der Prozessor (72) aus einem Microcontroller geringer Leistung zur Berechnung der Korrekturmatrizen besteht.
Vorrichtung nach Anspruch 14, dadurch gekennzeichnet, dass der Prozessor (72) aus einem Rechenkern eines programmierbaren Logikbausteins oder Logikarrays, insbesondere eines Field Programmable Gate Array, besteht.
Vorrichtung nach Anspruch 14, gekennzeichnet durch eine Datenschnittstelle (70) zur Abgabe von Videosignalen, insbesondere als Videobild über eine Frame-Grabber-Karte, an einen externen Rechner, der die Korrekturmatrizen errechnet und das Ergebnis über die Datenschnittstelle (70) an die Bildverarbeitungseinheit (7) abgibt.
Vorrichtung nach mindestens einem der vorangehenden Ansprüche 14 bis 17, gekennzeichnet durch ein echtzeitfähiges System zur Korrektur der realen Aufnahmebilder der digitalen Videokamera, das jedes Pixel des realen Aufnahmebildes mit einem vom Vignettierungsmatrix-Speicher (74) abgegebenen, unter derselben Adresse gespeicherten Pixel multipliziert, das Produkt mit dem vom Strukturmatrix-Speicher (75) abgegebenen Pixel derselben Adresse multipliziert, wobei durch die Multiplikation jedes Pixels eines Aufnahmebildes mit denselben Pixeln des Kalibrierbildes Stellen, die aufgrund der Pixelkörnigkeit oder Vignettierung zu dunkel sind, mit einem Faktor größer 1 multipliziert werden, während Stellen, die aufgrund der Pixelkörnigkeit oder Vignettierung zu hell sind, mit einem Faktor kleiner 1 multipliziert werden.
Vorrichtung nach Anspruch 18, dadurch gekennzeichnet, dass das echtzeitfähige System aus einem Field Programmable Gate Array besteht.