-
Stand der Technik
-
Die Erfindung betrifft ein Verfahren zur Erweiterung des Dynamik-Bereichs eines in einer monochromen Videokamera betriebenen Halbleiter-Bildsensors mit rasterförmig angeordneten Sensorelementen, die mehreren ineinander verschachtelten Gruppen zugeordnet sind, wobei aus jeweils einer Gruppe ein analoges Videosignal ausgelesen wird, das nach einstellbarer Verstärkung und einstellbarem Offset analog-digital-gewandelt wird.
-
Aus der
EP 1 255 410 A2 ist ein System zur Aufnahme von farbigen Bildern bekannt, bei welchem die Kanäle der einzelnen Sensorelemente skaliert ausgegeben werden.
-
Aus der
EP 1 227 661 A2 ein Bildaufnahmesystem bekannt, mit welchem ein vergrößerter digitaler Dynamikbereich erzeugt und gespeichert werden kann.
-
Halbleiter-Bildsensoren, insbesondere CMOS-Sensoren, werden in großen Stückzahlen für Farb-Videokameras hergestellt. In monochromen Kameras für verschiedene Anwendungen werden aus Kostengründen die gleichen Bildsensoren verwendet, jedoch ohne ein strukturiertes Farbfilter. Dabei werden nur die Sensorelemente und anschließende Schaltungen verwendet, welche an sich für die Farbe Grün vorgesehen sind. Die anderen Sensorelemente und Schaltungen bleiben dabei ungenutzt. Ein Nachteil solcher monochromen Kameras besteht darin, dass die Analog/Digital-Wandlung nur mit einer Bitbreite von 8 erfolgt, die Ausgangssignale also relativ grob quantisiert sind. Dies stört insbesondere dann, wenn es bei einer anschließenden Auswertung der digitalen Signale auf geringe Kontrastunterschiede ankommt oder wenn die Kamera in einem Helligkeitsbereich arbeitet, insbesondere bei geringen Beleuchtungsstärken, bei welcher die Amplitude der entstehenden Videosignale nur einen Teil des gesamten Amplitudenbereichs einnimmt.
-
Aufgabe der vorliegenden Erfindung ist es, diese Nachteile zu vermeiden, ohne dass teure spezielle Halbleiter-Bildsensoren eingesetzt werden müssen.
-
Vorteile der Erfindung
-
Diese Aufgabe wird erfindungsgemäß dadurch gelöst, dass die Verstärkung und/oder der Offset derart eingestellt werden, dass sich einander ergänzende Kennlinien ergeben, und dass die digitalen Videosignale zu einem breiteren Bitstrom als diejenigen der einzelnen digitalen Videosignale zusammengefasst werden.
-
Das Zusammenfassen kann derart erfolgen, dass Kennlinien aneinander anschließen, beispielsweise ein unterer Helligkeitsbereich von einer und ein oberer Helligkeitsbereich von einer anderen Kennlinie gebildet wird. Das Zusammenfassen kann jedoch auch derart erfolgen, dass sich die Kennlinien bezüglich ihrer ”Grauwertedichte” ergänzen.
-
Bei manchen Anwendungen mag zwar eine geknickte Kennlinie brauchbar sein. Um eine solche zu vermeiden, ist bei einer vorteilhafte Ausgestaltung vorgesehen, dass unterschiedlich eingestellte Verstärkungen und/oder Offsets in den digitalen Videosignalen kompensiert werden.
-
Durch das erfindungsgemäße Verfahren ist ein Zugewinn mehrerer Bitstellen im resultierenden digitalen Videosignal möglich. So kann beispielsweise ein Kanal, der aus dem Verstärker und dem Analog/Digital-Wandler besteht, für hohe Amplitudenauflösung, ein anderer für hohe Dynamik zuständig sein. Wird die Verstärkung hoch eingestellt, ist eine höhere Kontrastspreizung möglich, allerdings sinkt dabei die abbildbare Dynamik im digitalen Videosignal. Die Dynamik stellt dabei das Verhältnis zwischen den dunklen, gerade noch auflösbaren Bildteilen zu den gerade noch nicht hell gesättigten Bildbereichen dar. Bei niedriger Verstärkung wird die Dynamik erhöht, sehr helle wie auch sehr dunkle Bereiche sind im Bild aufgelöst sichtbar, der Kontrast zwischen Hell und Dunkel ist jedoch gering.
-
Eine speziell an die in großen Stückzahlen hergestellten Halbleiter-Bildsensoren angepasste Ausführungsform besteht darin, dass der Halbleiter-Bildsensor an sich für verschiedene Farben vorgesehene Sensorelemente, jedoch kein strukturiertes Farbfilter aufweist.
-
Bei dieser Ausführungsform kann vorgesehen sein, dass die Kennlinie der analogen Videosignale aus den an sich für Grün vorgesehenen Sensorelementen einen mittleren Teil der gesamten Kennlinie bildet. Dies kann je nach Erfordernissen im Einzelnen derart ausgestaltet sein, dass für die analogen Videosignale aus den an sich für Rot und Blau vorgesehenen Sensorelementen je ein weiterer Teil der Kennlinie vorgesehen ist.
-
Es ist bei der oben genannten Ausführungsform jedoch auch möglich, dass für die analogen Videosignale aus den an sich für Rot und Blau vorgesehen Sensorelementen ein gemeinsamer Teil der Kennlinie vorgesehen ist. Damit werden zwar nur zwei Teilkennlinien gebildet und die Vergrößerung des Dynamikbereichs höchstens auf die zweifache Bitbreite begrenzt. Für verschiedene Anwendungsfälle kann jedoch diese Variante ebenfalls zweckmäßig sein.
-
In beiden Fällen wird ein örtlicher Versatz bei dem Übergang von einer Kennlinie zur anderen dadurch vermieden, dass die analogen Videosignale aus den an sich für Rot und Blau vorgesehenen Sensorelementen einer Interpolation von Digitalwerten von benachbarten Bildelementen unterliegen.
-
Zeichnung
-
Ausführungsbeispiele der Erfindung sind in der Zeichnung anhand mehrerer Figuren dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
-
1 eine schematische Darstellung einer Anordnung zur Durchführung des erfindungsgemäßen Verfahrens,
-
2 das Zusammenfügen zweier Kennlinien und
-
3 eine ebenfalls schematische Darstellung für das Zusammenfügen von drei Kennlinien.
-
Beschreibung des Ausführungsbeispiels
-
Die in 1 dargestellten Teile befinden sich auf einem Chip, der den Halbleiter-Bildsensor trägt. Von den vielen Sensorelementen ist lediglich ein kleiner Ausschnitt dargestellt. Obwohl die Elemente nicht mit Filtern versehen sind, also letztlich farbneutral sind, sind sie der Anschaulichkeit halber noch mit den Farbbezeichnungen R, G, B versehen. Die ”grünen” Sensorelemente sind doppelt so häufig wie die ”roten” und ”blauen”, da sie einer Farbvideokamera den größten Anteil des Luminanzsignals liefern, was wiederum für den Schärfeeindruck maßgebend ist.
-
Mit Hilfe von im Einzelnen nicht dargestellten Schaltungen 2 werden die jeweils entsprechend der einfallenden Lichtmenge in den Sensorelementen aufintegrierten Ladungen gesondert für die Sensorelemente R, G, B ausgelesen und bilden somit analoge Videosignale R, G, B. Diese werden bei 3, 4, 5 verstärkt, was mit einem einstellbaren Verstärkungsfaktor in Multiplizierern 6, 7, 8 erfolgt. An die Multiplizierer 6, 7, 8 schließen sich Addierer 9, 10, 11 an, mit denen der Offset (Gleichspannungspegel) der analogen Videosignale eingestellt werden kann. Bei 12 werden die analogen Videosignale analog-digital-gewandelt und zu einem einzigen digitalen Signal zusammengefasst, das bei 13 entnommen werden kann.
-
2 zeigt eine Kennlinie H mit einer hohen Verstärkung und einem Offset und eine Kennlinie L mit einer niedrigen Verstärkung ohne Offset.
-
Unter der Voraussetzung eines linearen integrierenden Sensors ist das genaue Vermessen der Kennlinien nicht nötig. Es genügt, den Sensor mit einer homogenen Beleuchtung zu kalibrieren. Wird nur der Verstärkungsfaktor der Kanäle verändert, genügt für die Kalibrierung eine einzige Aufnahme. Unter der Voraussetzung einer homogenen Szene und eines gesättigten Bildpunktes lässt sich ein einfacher Zusammenhang finden, nämlich: g = (Grauwert Kanal H) (Grauwert Kanal L) = GWH/GWL. Dabei gibt g den Verstärkungsfaktor zwischen den Kanälen an. Für eine bessere Umsetzung auf Digitalwerte sollten beide Kanäle noch mit einem weiteren Faktor multipliziert werden, so dass ganzzahlige Werte entstehen, um keine Sensorauflösung durch Rundung zu verlieren. Lässt sich nicht nur die Verstärkung, sondern auch der Offset für jeden Kanal einstellen, sind zwei Aufnahmen für die Kalibrierung nötig. Voraussetzung ist ein genügend weiter Abstand zur Helligkeit in beiden Aufnahmen und keine Bildpunkte in der Sättigung.
-
Die in 2 schematisch dargestellte Einstellung erlaubt eine Vergrößerung des Dynamikbereichs, im folgenden auch Kontrastspreizung genannt. Dabei besteht folgender Zusammenhang: o = GWAH – 2GWAL und g = (GWBH – GWAH)/GWAL.
-
Dabei ist eine Berechnung von o nur auf den hoch verstärkenden Kanal anzuwenden, während die Berechnung von g nur im niedrig verstärkenden Kanal N stattfindet.
-
Für nichtlineare Bildsensoren oder Sensoren mit unbekannter Kennlinie ist eine Kalibration mit mehreren homogenen Aufnahmen bei unterschiedlichen Beleuchtungen erforderlich. Aus diesen Stützstellen lässt sich eine Look-up-table generieren. Ein weiterer Vorteil der Look-up-table besteht darin, dass der Sättigungswert erkannt und gekennzeichnet werden kann. Werden bei der Zusammensetzung der Look-up-table zwei Grauwerte des höher verstärkenden Kanals H auf einen Grauwert des gering verstärkenden Kanals L abgebildet, ist ab diesem Grauwert die Sättigung erreicht. Finden sich Bildpunkte mit diesem Grauwert, muss in diesen Bildpunkten der Interpolationsalgorithmus angewendet werden.
-
Die Interpolation bringt nur dann einen Verlust an räumlicher Auflösung mit sich, wenn sich einer der Farbkanäle in Sättigung befindet. Im einfachsten Fall kann der Wert des sich nicht in Sättigung befindlichen Nachbar-Pixels verwendet werden. Bessere Verfahren verwenden die Zweier- oder Vierer-Nachbarschaft zur Berechnung des Interpolationswertes. Dazu sind verschiedene Verfahren bekannt. Es ergibt sich damit folgender Algorithmus zur Gewinnung der Bilder mit erweitertem Dynamikbereich:
GW = o + GWA, wenn GW aus Kanal A,
g·GWB, wenn GW aus Kanal B,
Interpolation, sonst.
-
Durch unterschiedliche Einstellungen von Verstärkung und Offset passen die digitalen Grauwerte nicht mehr direkt zueinander. Ist beispielsweise der Verstärkungsfaktor des Grünkanals doppelt so groß eingestellt wie derjenige des Rot- bzw. Blaukanals, ist eine Multiplikation des Rot-/Blaukanals mit zwei auf der digitalen Ebene erforderlich. Dadurch wird die geringstwertige Bitstelle des Rot-/Blaukanals immer 0. Hier werden die hellen Bildbereiche besser erfasst. Im Grünkanal ist die höchstwertige Bitstelle immer 0, da damit die dunklen Bildbereiche abgedeckt werden.
-
Im hoch verstärkten Kanal ist die Sättigung schneller erreicht als im niedrig verstärkten Kanal. Deshalb ist abzufragen, ob die Pixel des hoch verstärkten Kanals in Sättigung sind. Ist dies der Fall, muss der Wert des jeweiligen Pixels verworfen und durch die Interpolation der umgebenden niedrig verstärkten Pixel ersetzt werden.
-
Wenn sich also ein Kanal in Sättigung befindet, was auch eine Sättigung in Richtung dunkel sein kann, werden diese ohnehin nicht mehr aussagekräftigen Werte durch das Interpolationsergebnis ersetzt. Im Sättigungsfall tritt daher ein Verlust der örtlichen Auflösung auf. Demgegenüber steht der Vorteil, dass in diesen Bildbereichen überhaupt ein Bild aufgenommen werden kann. In Bildbereichen, die nicht von der Sättigung betroffen sind, wird Bildinformation mit unterschiedlicher Signifikanz gemischt (Auffüllen der geringwertigen Bitstellen mit 0), was jedoch keine besondere Auswirkung hat.
-
3 zeigt die Auswertung von Signalen dreier Kanäle, nämlich R, G, B. Es sei nochmals erwähnt, dass hiermit nicht die Farben gemeint sind, sondern diejenigen Pixel bzw. Kanäle, die bei herkömmlichen Farbkameras den jeweiligen Farben zugeordnet sind. An den drei linken Diagrammen wird deutlich, dass der Kanal ”R” eine hohe und der Kanal ”G” eine niedrige Verstärkung aufweist. In beiden Fällen ist der Offset gleich 0. Im Kanal ”B” ist ein relativ großer Offset bei großer Verstärkung eingestellt.
-
Im Falle des Kanals ”G” wird also der gesamte Dynamikbereich genutzt, wobei eine Quantisierung von 256 Grauwerten, die mit einem 8-Bit-Datenwort dargestellt werden, erfolgt. Durch die hohe Verstärkung im Kanal ”R” wird nur der untere Teil des Helligkeitsbereichs genutzt, so dass eine feinere Quantisierung erfolgt. Im Kanal ”B” erfolgt mit ebenfalls relativ feiner Quantisierung die Übertragung eines Teilbereichs hoher Helligkeit. Ein Zusammensetzen der Kennlinien ergibt die rechts gezeigte Kennlinie mit einer Bitbreite von 12, wobei die Verstärkung in den Kanälen ”R” und ”B” auf der digitalen Ebene an die Verstärkung im Kanal ”G” angeglichen wurde.
-
In den Amplitudenbereichen, in denen Signale sowohl des Kanals ”G” als auch eines der Kanäle ”R” bzw. ”B” vorliegen, wird jeweils ein Grauwert aus dem Kanal ”G” entnommen, während die dazwischenliegenden Grauwerte aus den Kanälen ”R” und ”B” jeweils einen dazwischenliegenden Grauwert bilden, der wie oben beschrieben, durch Interpolation benachbarter Pixel gewonnen wird.
