DE102014102011B4

DE102014102011B4 - System und Verfahren zum Erzeugen eines Bildes mit einem breiten dynamischen Bereich

Info

Publication number: DE102014102011B4
Application number: DE102014102011.1A
Authority: DE
Inventors: Neil David Mc Kay
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2013-02-26
Filing date: 2014-02-18
Publication date: 2017-07-13
Anticipated expiration: 2034-02-19
Also published as: DE102014102011A1; US9019401B2; CN104010134B; CN104010134A; US20140240547A1

Abstract

System (10) zum Erzeugen eines Bildes mit einem breiten dynamischen Bereich, wobei das System (10) umfasst: eine Abbildungseinheit (12), die dazu konfiguriert ist, mehrere Bilder einer Szene mit jeweiligen Belichtungszeiten aufzunehmen, so dass alle der jeweiligen Belichtungszeiten voneinander verschieden sind; eine Verarbeitungseinheit (14) und eine Steuereinheit (16), die betriebstechnisch mit der Abbildungseinheit (12) und miteinander verbunden sind; wobei die mehreren Bilder jeweils durch jeweilige Sätze von Pixeln dargestellt werden, die jeweilige Pixelintensitäten definieren, wobei jedes Pixel in den jeweiligen Sätzen von Pixeln durch eine zweidimensionale Koordinate identifizierbar ist; wobei die Verarbeitungseinheit (14) dazu konfiguriert ist, die mehreren Bilder zu kombinieren, um ein kombiniertes Bild zu erzeugen, das durch einen Satz von kombinierten Pixeln dargestellt wird; wobei für jede der zweidimensionalen Koordinaten die Verarbeitungseinheit (14) dazu konfiguriert ist: die jeweiligen Pixelintensitäten für jedes der mehreren Bilder von der Abbildungseinheit (12) zu empfangen; einen jeweiligen Gewichtungsfaktor den jeweiligen Sätzen von Pixeln in jedem der mehreren Bilder zuzuweisen; einen jeweiligen kombinierten Intensitätswert für den Satz von kombinierten Pixeln an jeder der zweidimensionalen Koordinaten zu erhalten; die jeweiligen kombinierten Intensitätswerte unter Verwendung eines Abbildungsgraphen in jeweilige abgebildete Werte umzusetzen, wobei die jeweiligen abgebildeten Werte verwendet werden, um das kombinierte Bild zu erzeugen; wobei die Steuereinheit (16) dazu konfiguriert ist: eine erste Belichtungszeit auf einen ersten vorbestimmten Wert zu setzen und die Abbildungseinheit (12) anzuweisen, ein erstes der mehreren Bilder unter Verwendung der ersten Belichtungszeit aufzunehmen; eine zweite Belichtungszeit auf einen zweiten vorbestimmten Wert zu setzen und die Abbildungseinheit (12) anzuweisen, ein zweites der mehreren Bilder mit der zweiten Belichtungszeit aufzunehmen; auf der Basis dessen, ob eine vordefinierte Bedingung erfüllt ist, festzustellen, ob eine ausreichende Anzahl von Bildern erhalten wurde; und zusätzliche Bilder zu erhalten, wenn die vordefinierte Bedingung nicht erfüllt ist; ...

Description

TECHNISCHES GEBIET
Die Anmeldung bezieht sich im Allgemeinen auf ein System und ein Verfahren zum Erzeugen eines Bildes mit einem breiten dynamischen Bereich.
HINTERGRUND
Viele herkömmliche Digitalkameras erzeugen Bilder mit einem begrenzten dynamischen Bereich, beispielsweise wenn die Kamera 8-Bit-Pixel verwendet, ist das resultierende Bild auf 256 unterschiedliche Werte begrenzt. Das Ergebnis ist, dass in Situationen mit hohem Lichtkontrast aufgenommene Bilder entweder eine kurze Belichtungszeit verwenden und die Fähigkeit, dunkle Teile des Bildes aufzulösen, preisgeben müssen, oder sie eine lange Belichtungszeit verwenden müssen, was zu einer Sättigung oder Überbelichtung von hellen Teilen des Bildes führt.
Herkömmliche Systeme und Verfahren zum Erzeugen eines Bildes mit einem breiten dynamischen Bereich sind aus den Druckschriften US 2008/0 219 585 A1 und US 2011/0 090 365 A1 bekannt.
ZUSAMMENFASSUNG
Ein System und ein Verfahren zum Erzeugen eines Bildes mit einem breiten dynamischen Bereich umfasst eine Abbildungseinheit, eine Verarbeitungseinheit und eine Steuereinheit, die betriebstechnisch miteinander verbunden sind. Das System ermöglicht die Erzeugung von Bildern, die einen breiten dynamischen Bereich aufweisen, d. h. Bildern, in denen sowohl sehr dunkle als auch sehr helle Abschnitte des Bildes genau dargestellt sind. Die Abbildungseinheit ist dazu konfiguriert, mehrere Bilder einer Szene mit jeweiligen Belichtungszeiten aufzunehmen, so dass alle der jeweiligen Belichtungszeiten voneinander verschieden sind. Die mehreren Bilder werden jeweils durch jeweilige Sätze von Pixeln dargestellt, die jeweilige Pixelintensitäten definieren. Jedes Pixel in den jeweiligen Sätzen von Pixeln ist durch eine zweidimensionale Koordinate identifizierbar.
Die Verarbeitungseinheit ist dazu konfiguriert, die mehreren Bilder zu kombinieren, um ein kombiniertes Bild zu erzeugen, das durch einen Satz von kombinierten Pixeln dargestellt ist. Für jede der zweidimensionalen Koordinaten ist die Verarbeitungseinheit dazu konfiguriere, die jeweiligen Pixelintensitäten für jedes der Bilder von der Abbildungseinheit zu empfangen. Die Verarbeitungseinheit ist dazu konfiguriert, einen jeweiligen Gewichtungsfaktor zu den jeweiligen Sätzen von Pixeln in jedem der Bilder zuzuweisen. Ein jeweiliger kombinierter Intensitätswert für den Satz von kombinierten Pixeln wird an jeder der zweidimensionalen Koordinaten erhalten. Die Verarbeitungseinheit ist dazu konfiguriert, die jeweiligen kombinierten Intensitätswerte unter Verwendung eines Abbildungsgraphen in jeweilige abgebildete Werte umzusetzen, und die jeweiligen abgebildeten Werte werden verwendet, um das kombinierte Bild zu erzeugen.
Die Steuereinheit ist dazu konfiguriert, eine erste Belichtungszeit auf einen ersten vorbestimmten Wert zu setzen und die Abbildungseinheit anzuweisen, ein erstes der mehreren Bilder unter Verwendung der ersten Belichtungszeit aufzunehmen. Die Steuereinheit ist dazu konfiguriert, eine zweite Belichtungszeit auf einen zweiten vorbestimmten Wert zu setzen und die Abbildungseinheit anzuweisen, ein zweites der mehreren Bilder mit der zweiten Belichtungszeit aufzunehmen. Die Steuereinheit ist dazu konfiguriert, auf der Basis dessen, ob eine vordefinierte Bedingung erfüllt ist, festzustellen, ob eine ausreichende Anzahl von Bildern erhalten wurde.
Die Steuereinheit ist dazu konfiguriert, zusätzliche Bilder zu erhalten, wenn die vordefinierte Bedingung nicht erfüllt ist. In einem Beispiel ist die vordefinierte Bedingung erfüllt, wenn mindestens 20% der jeweiligen Pixelintensitäten des ersten und des zweiten der mehreren Bilder einen gesättigten Wert erreicht haben. Die Steuereinheit kann beispielsweise dazu konfiguriert sein, eine dritte Belichtungszeit auf einen dritten vorbestimmten Wert zu setzen und die Abbildungseinheit anzuweisen, ein drittes der mehreren Bilder mit der dritten Belichtungszeit aufzunehmen, wenn die vordefinierte Bedingung nicht erfüllt ist. In einem Beispiel ist die zweite Belichtungszeit ein konstanter Multiplikator der ersten Belichtungszeit. In einem anderen Beispiel ist die erste Belichtungszeit 2,5 Millisekunden; die zweite Belichtungszeit ist 10 Millisekunden und die dritte Belichtungszeit ist 40 Millisekunden.
Die Steuereinheit definiert einen maximalen zulässigen Pixelwert für jede der jeweiligen Pixelintensitäten. Der jeweilige Gewichtungsfaktor kann als jeweilige Belichtungszeit, wenn die jeweilige Pixelintensität unter dem maximalen Pixelwert liegt, und als null, wenn die jeweilige Pixelintensität auf dem maximalen Pixelwert liegt, festgelegt werden. Die Steuereinheit ist dazu konfiguriert, den jeweiligen kombinierten Intensitätswert als maximalen zulässigen Pixelwert festzulegen, wenn die Summe der jeweiligen Gewichtungsfaktoren null ist.
Die Verarbeitungseinheit erhält die jeweiligen kombinierten Intensitätswerte für jedes des Satzes von kombinierten Pixeln durch zuerst Bestimmen eines ersten Werts für jedes der mehreren Bilder als Produkt der jeweiligen Pixelintensitäten und der jeweiligen Gewichtungsfaktoren, dividiert durch die jeweilige Belichtungszeit, erhalten. Ein zweiter Wert wird durch Addieren des ersten Werts für jedes der mehreren Bilder bestimmt. Der jeweilige kombinierte Intensitätswert wird durch Dividieren des zweiten Werts durch eine Summe der jeweiligen Gewichtungsfaktoren für jedes der mehreren Bilder erhalten. Falls die Summe der jeweiligen Gewichtungsfaktoren für jedes der mehreren Bilder null ist, wird der jeweilige kombinierte Intensitätswert als maximal zulässiger Pixelwert festgelegt.
In der gezeigten Ausführungsform ist ein erster Abschnitt des Abbildungsgraphen ein linearer Maßstab und ein zweiter Abschnitt des Abbildungsgraphen ist ein logarithmischer Maßstab. In einem Beispiel wird der erste Abschnitt des Abbildungsgraphen auf jeweilige Pixelintensitäten angewendet, die weniger als 3% eines maximalen zulässigen Pixelwerts sind.
Die Abbildungseinheit, die Steuereinheit und die Verarbeitungseinheit können alle ein Teil einer einzigen Vorrichtung sein. Die Verarbeitungseinheit kann mindestens ein UND-Logikgatter, mindestens zwei Speichereinheiten, mindestens eine Komparatoreinheit und mindestens eine Dividierereinheit umfassen.
Die obigen Merkmale und Vorteile und weitere Merkmale und Vorteile der vorliegenden Erfindung sind aus der folgenden ausführlichen Beschreibung der besten Arten zur Ausführung der Erfindung in Verbindung mit den begleitenden Zeichnungen leicht ersichtlich.
KURZBESCHREIBUNG DER ZEICHNUNGEN
1 ist ein schematisches Diagramm eines Systems zum Kombinieren von mehreren Bildern, um ein kombiniertes Bild mit einem breiten dynamischen Bereich zu erzeugen;
2 ist ein schematisches Diagramm einer Abbildungseinheit, einer Verarbeitungseinheit und einer Steuereinheit, die in dem System von 1 verwendet werden können,
3 ist ein Ablaufplan eines Prozesses, der durch die Steuereinheit von 2 zum Aufnehmen der mehreren Bilder implementiert wird;
4 ist ein Ablaufplan eines Prozesses, der durch die Verarbeitungseinheit von 2 zum Kombinieren der mehreren Bilder implementiert wird;
5 ist ein Beispiel eines Abbildungsgraphen, der im Prozess von 4 verwendet werden kann; und
6 ist ein Beispiel einer Schaltung, die im System von 1 verwendet werden kann.
AUSFÜHRLICHE BESCHREIBUNG
In den Figuren, in denen sich in allen verschiedenen Ansichten gleiche Bezugszeichen auf dieselben oder ähnliche Komponenten beziehen, stellen 1 und 2 ein System 10 dar, das ein Bild mit einem breiten dynamischen Bereich unter Verwendung von mehreren Einzelstandbildern erzeugt, die mit verschiedenen Belichtungszeiten aufgenommen werden. Unter Verwendung von mehreren Bildern, die mit sowohl langen als auch kurzen Belichtungszeiten aufgenommen werden, kann das kombinierte Bild die besten Merkmale beider aufweisen: die Bilder mit langer Belichtungszeit können Details in dunklen Teilen des Bildes auflösen, während die Bilder mit kurzer Belichtungszeit die Auflösung von hellen Abschnitten des Bildes ohne Sättigung des Bildes ermöglichen.
In 2 umfasst das System 10 eine Abbildungseinheit 12, eine Verarbeitungseinheit 14 und eine Steuereinheit 16, die betriebstechnisch miteinander verbunden sind. Die Abbildungseinheit 12 ist dazu konfiguriert, mehrere Bilder derselben Szene mit jeweiligen Belichtungszeiten aufzunehmen, so dass alle der jeweiligen Belichtungszeiten voneinander verschieden sind. 1 stellt drei Bilder 20, 22, 24 dar, eine beliebige Anzahl von Bildern kann jedoch kombiniert werden. Mit Bezug auf 1 ist die Verarbeitungseinheit 14 dazu konfiguriert, die mehreren Bilder (wie z. B. die Bilder 20, 22 und 24) zu kombinieren, um ein kombiniertes Bild 26 zu erzeugen, das durch einen Satz von kombinierten Pixeln (wie z. B. das Pixel 26A) dargestellt wird. Die Abbildungseinheit 12, die Steuereinheit 16 und die Verarbeitungseinheit 14 können alle ein Teil einer einzigen Vorrichtung 18 (2) sein. Das System 10 kann viele verschiedene Formen annehmen und mehrere und/oder alternative Komponenten und Einrichtungen umfassen. Obwohl ein Beispielsystem 10 in den Figuren gezeigt ist, sollen die in den Figuren dargestellten Komponenten nicht begrenzend sein. Tatsächlich können zusätzliche oder alternative Komponenten und/oder Implementierungen verwendet werden.
In 1 werden die mehreren Bilder (wie z. B. die Bilder 20, 22 und 24) jeweils durch einen Satz von Pixeln (wie z. B. Pixel 20A, 22A bzw. 24A) dargestellt, die jeweils eine jeweilige Pixelintensität definieren. Wie dem Fachmann auf dem Gebiet bekannt ist, ist ein Pixel oder Bildelement das kleinste steuerbare Element eines Bildes, das auf dem Bildschirm dargestellt wird. Irgendeine Anzahl von Pixeln kann verwendet werden. Die Pixel können in einem zweidimensionalen Gitter dargestellt werden. Jedes Pixel kann durch eine zweidimensionale Koordinate (x, y) entsprechend seinen physikalischen Koordinaten identifizierbar sein. Das Pixel 20A in 1 kann beispielsweise durch (1, 3) und das Pixel 22A durch (3, 1) identifiziert sein. Die Bilder 20, 22 und 24 werden vom gleichen Blickpunkt aufgenommen, so dass sie Pixel für Pixel entsprechen.
In 2 kann die Abbildungseinheit 12 eine oder mehrere Linsen und/oder Filter (nicht dargestellt) umfassen, die dazu ausgelegt sind, Licht von einer Szene zu empfangen und/oder auf einen Bildsensor 12A zu formen. Der Bildsensor 12A kann beispielsweise eine oder mehrere ladungsgekoppelte Vorrichtungen (CCDs) umfassen, die dazu konfiguriert sind, Lichtenergie in ein digitales Signal umzusetzen. Die ladungsgekoppelte Vorrichtung ist eine analoge Vorrichtung, die eine kleine elektrische Ladung in jedem Photosensor erzeugt, wenn Licht auf diesen auftrifft. Die Ladungen werden mit einem Pixel auf einmal in Spannung umgesetzt, wenn sie vom Chip gelesen werden, und unter Verwendung einer zusätzlichen Schaltungsanordnung in digitale Daten umgewandelt. Der Bildsensor 12A kann einen Chip eines komplementären Metalloxid-Halbleiters (CMOS) umfassen, der ein aktiver Pixelsensor mit einer Schaltungsanordnung neben jedem Photosensor ist, der die Lichtenergie in eine Spannung umsetzt, die dann unter Verwendung der zusätzlichen Schaltungsanordnung auf dem Chip in digitale Daten umgesetzt wird.
In 2 kann die Steuereinheit 16 eine Eingabevorrichtung 28 und eine Ausgabevorrichtung 30 umfassen, um mit einem Benutzer zusammenzuwirken. Die Eingabevorrichtung 28 kann irgendeine Vorrichtung umfassen, die ermöglicht, dass der Benutzer Informationen oder Befehle zur Steuereinheit 16 liefert. Die Eingabevorrichtung 28 kann beispielsweise eine Computermaus und/oder Computertastatur umfassen. Die Ausgabevorrichtung 30 kann irgendeine Vorrichtung umfassen, die dazu konfiguriert ist, dem Benutzer Informationen zu präsentieren. Folglich kann die Ausgabevorrichtung 30 einen Anzeigebildschirm oder Computermonitor wie z. B. einen Flüssigkristallanzeigebildschirm (LCD-Bildschirm) umfassen.
Die Steuereinheit 16 und die Verarbeitungseinheit 14 können dazu konfiguriert sein, irgendeines von einer Anzahl von Computerbetriebssystemen zu verwenden, und umfassen im Allgemeinen computerausführbare Befehle, wobei die Befehle durch einen oder mehrere Computer ausführbar sein können. Computerausführbare Befehle können von Computerprogrammen kompiliert oder interpretiert werden, die unter Verwendung einer Vielfalt von gut bekannten Programmiersprachen und/oder Programmiertechnologien erstellt werden, einschließlich ohne Begrenzung und entweder allein oder in Kombination Java^TM, C, C++, Visual Basic, Java Script, Perl usw. Im Allgemeinen können die Verarbeitungseinheit 14 und die Steuereinheit 16 Befehle z. B. von einem Speicher, einem computerlesbaren Medium usw. empfangen und diese Befehle ausführen, wodurch ein oder mehrere Prozesse durchgeführt werden, einschließlich eines oder mehrerer der hier beschriebenen Prozesse. Solche Befehle und andere Daten können unter Verwendung einer Vielfalt von bekannten computerlesbaren Medien gespeichert und übertragen werden.
Ein computerlesbares Medium (auch als prozessorlesbares Medium bezeichnet) umfasst irgendein nichtflüchtiges (z. B. konkretes) Medium, das am Liefern von Daten (z. B. Befehlen) teilnimmt, die von einem Computer (z. B. von einem Prozessor eines Computers) gelesen werden können. Ein solches Medium kann viele Formen annehmen, einschließlich nichtflüchtiger Medien und flüchtiger Medien, ist jedoch nicht darauf begrenzt. Nichtflüchtige Medien können beispielsweise optische oder Magnetplatten und einen anderen dauerhaften Speicher umfassen. Flüchtige Medien können beispielsweise einen dynamischen Direktzugriffsspeicher (DRAM) umfassen, der typischerweise einen Hauptspeicher bildet. Solche Befehle können durch ein oder mehrere Übertragungsmedien übertragen werden, einschließlich Koaxialkabeln, Kupferdraht und Faseroptik einschließlich der Drähte, die einen Systembus bilden, der mit einem Prozessor eines Computers gekoppelt ist. Übliche Formen von computerlesbaren Medien umfassen beispielsweise eine Diskette, eine flexible Platte, eine Festplatte, ein Magnetband, irgendein anderes magnetisches Medium, einen CD-ROM, eine DVD, ein beliebiges anderes optisches Medium, Lochkarten, ein Papierband, irgendein anderes physikalisches Medium mit Mustern von Löchern, einen RAM, einen PROM, einen EPROM, einen FLASH-EEPROM, irgendeinen anderen Speicherchip oder eine Kassette oder irgendein anderes Medium, von dem ein Computer lesen kann.
Die Steuereinheit 16 und/oder Verarbeitungseinheit 14 definieren einen maximalen zulässigen Wert für jedes Pixel. Dies kann auf der Kapazität der Rechenvorrichtungen basieren, die in der Steuereinheit 16 und/oder Verarbeitungseinheit 14 verwendet werden. Der maximale zulässige Wert für ein Pixel ist beispielsweise 255 für ein 8-Bit-System und 65535 für ein 16-Bit-System (2ⁿ – 1, wobei n die Anzahl von Bits ist). Wenn die Abbildungseinheit 12 eine lineare Lichtansprechcharakteristik aufweist (d. h. wie ein gegebenes Pixel die Lichtintensität auf einen Pixelwert abbildet), ist das Diagramm des Pixelwerts als Funktion der Lichtintensität eine Treppenstufenfunktion, bis der Pixelwert sättigt (d. h. der Pixelwert den maximalen zulässigen Pixelwert erreicht). Die Abbildungseinheit 12 kann Vorrichtungen mit entweder linearem oder nicht-linearem Ansprechen auf Licht verwenden.
Die Steuereinheit 16 von 2 ist dazu ausgelegt, die Aufnahme der mehreren Bilder zu optimieren. Die Steuereinheit 16 führt dies teilweise durch Ausführen des Prozesses 100 durch, der sich innerhalb der Steuereinheit 16 befindet oder anderweitig leicht von der Steuereinheit 16 ausführbar ist. Der Prozess 100 wird nachstehend mit Bezug auf 3 im Einzelnen beschrieben.
In 3 setzt in Schritt 102 die Steuereinheit 16 eine erste Belichtungszeit auf einen ersten vorbestimmten Wert und weist die Abbildungseinheit 12 an, ein erstes der mehreren Bilder (wie z. B. das Bild 20 von 1) unter Verwendung der ersten Belichtungszeit aufzunehmen. In Schritt 104 ist die Steuereinheit 16 dazu konfiguriert, eine zweite Belichtungszeit auf einen zweiten vorbestimmten Wert zu setzen und die Abbildungseinheit 12 anzuweisen, ein zweites der mehreren Bilder (wie z. B. das Bild 22 von 1) mit der zweiten Belichtungszeit aufzunehmen.
In Schritt 106 von 3 stellt die Steuereinheit 16 auf der Basis dessen, ob eine vordefinierte Bedingung erfüllt ist, fest, ob eine ausreichende Anzahl von Bildern erhalten wurde. In einem Beispiel ist die vordefinierte Bedingung erfüllt, wenn mindestens 20% der jeweiligen Pixelintensitäten des ersten und des zweiten der mehreren Bilder einen gesättigten Wert erreicht haben. Wenn die vordefinierte Bedingung erfüllt ist (Schritt 108), können die Bilder (wie z. B. 20, 22 in 1) zur Verarbeitungseinheit 14 zur weiteren Berechnung und Analyse gesendet werden. Alternativ können das erste und das zweite Bild zur Verarbeitungseinheit 14 gesendet werden, wenn sie aufgenommen werden.
Wenn die vordefinierte Bedingung in Schritt 110 von 3 nicht erfüllt ist, weist die Steuereinheit 16 die Abbildungseinheit 12 an, zusätzliche Bilder zu erhalten. Die Steuereinheit 16 setzt beispielsweise eine dritte Belichtungszeit auf einen dritten vorbestimmten Wert und weist die Abbildungseinheit 12 an, ein drittes der mehreren Bilder (wie z. B. das Bild 24 von 1) mit der dritten Belichtungszeit aufzunehmen, wenn die vordefinierte Bedingung nicht erfüllt ist. Wie durch die Linie 112 in 3 gezeigt, läuft die Steuereinheit 16 in einer Schleife zu Schritt 106 zurück, um auf der Basis dessen, ob die vordefinierte Bedingung erfüllt ist, erneut festzustellen, ob eine ausreichende Anzahl von Bildern erhalten wurde.
Mit Bezug auf die Auswahl von Belichtungszeiten werden in einer Ausführungsform die Belichtungszeiten für die mehreren Bilder so ausgewählt, dass sie in festen Verhältnissen zueinander stehen. In einem Beispiel werden die Belichtungszeiten so festgelegt, dass sie Verhältnisse aufweisen, deren Summen sich zu Potenzen von 2 addieren. Belichtungszeiten, die zu 1, 3 und 12 proportional sind, ergeben beispielsweise Divisoren von 1, (1 + 3 = 4) und (1 + 3 + 12 = 16). Dies macht die Division im Unterschritt 210C (des nachstehend beschriebenen Prozesses 200) einfach, da die Summen der Gewichtungsfaktoren (im nachstehenden Unterschritt 210C bestimmt) immer Potenzen von 2 sind. In einer anderen Ausführungsform können die Belichtungszeiten dynamisch festgelegt werden, wobei ein Bild unter Verwendung einer kurzen Belichtungszeit aufgenommen wird, und dann nachfolgende Bilder mit fortlaufend längeren Belichtungszeiten aufgenommen werden, bis das aufgenommene Bild eine große Anzahl von gesättigten Pixeln aufweist. Dann können Bilder aus diesem Satz ausgewählt und kombiniert werden. In einem Beispiel ist die erste Belichtungszeit 2,5 Millisekunden; die zweite Belichtungszeit ist 10 Millisekunden und die dritte Belichtungszeit ist 40 Millisekunden.
Die Verarbeitungseinheit 14 von 2 kann dazu ausgelegt sein, die Kombination der mehreren Bilder zu optimieren. Die Verarbeitungseinheit 14 führt dies teilweise durch Ausführen des Prozesses 200 durch, der sich innerhalb der Verarbeitungseinheit 14 befindet oder anderweitig leicht durch die Verarbeitungseinheit 14 ausführbar ist. Der Prozess 200 wird nachstehend mit Bezug auf 4 im Einzelnen beschrieben. Wie vorher angemerkt, können die Abbildungseinheit 12, die Steuereinheit 16 und die Verarbeitungseinheit 14 ein Teil einer einzigen Vorrichtung 18 (2) sein, die sowohl den Prozess 100 (3) als auch den Prozess 200 (4) ausführt.
In 4 empfängt die Verarbeitungseinheit 14 in Schritt 202 die jeweiligen Pixelintensitäten an einer spezifischen Koordinate x, y für jedes der mehreren Bilder (wie z. B. Bilder 20, 22 und 24 in 1) von der Abbildungseinheit 12. Die zweidimensionale Koordinate x, y stellt ein einzelnes Pixel in jedem Bild dar. In Schritt 204 weist die Verarbeitungseinheit 14 einen jeweiligen Gewichtungsfaktor dem Pixel an der Koordinate x, y für jedes der mehreren erhaltenen Bilder zu.
Der Gewichtungsfaktor kann als Belichtungszeit (für dieses spezielle Bild), wenn die Pixelintensität unter dem maximalen zulässigen Pixelwert liegt, und null, wenn die Pixelintensität auf dem maximalen zulässigen Pixelwert liegt, festgelegt werden. Formal soll P_i die Pixelintensität vom Bild i sein und T_i soll die Belichtungszeit für das Bild i sein. Folglich ist der Gewichtungsfaktor W_i = 0 für die Koordinate x, y im Bild i, wenn die Pixelintensität auf ihrem maximalen zulässigen Wert liegt (d. h. die Pixelintensität gesättigt ist). Der Gewichtungsfaktor W_i für die Koordinate x, y im Bild i wird als Belichtungszeit festgelegt, W_i = T_i, wenn die Pixelintensität unter dem maximalen zulässigen Pixelwert liegt (d. h. die Pixelintensität nicht gesättigt ist).
In Schritt 206 von 4 stellt die Verarbeitungseinheit 14 für eine spezielle Koordinate x, y in jedem der mehreren Bilder fest, ob die Summe der jeweiligen Gewichtungsfaktoren null ist (ΣW_i), mit anderen Worten, ob jedes erhaltene Bild eine gesättigte Pixelintensität an dieser Koordinate x, y aufweist. Wenn dies der Fall ist, dann geht die Verarbeitungseinheit 14 zu Schritt 208 weiter, in dem der kombinierte Intensitätswert I für die Koordinate x, y als maximaler zulässiger Pixelwert festgelegt wird. Wenn die Summe der jeweiligen Gewichtungsfaktoren nicht null ist, geht die Verarbeitungseinheit 14 zu Schritt 210 weiter.
In Schritt 210 von 4 erhält die Verarbeitungseinheit 14 einen kombinierten Intensitätswert (I_x,y) für jedes der kombinierten Pixel (wie z. B. 26A in 1) auf der Basis der jeweiligen Gewichtungsfaktoren (in Schritt 204 erhalten) und der jeweiligen Pixelintensitäten (in Schritt 204 erhalten) für jedes der Bilder. Mit anderen Worten, die individuellen Pixelintensitäten werden in einen kombinierten Intensitätswert unter Verwendung der zugewiesenen Gewichtungsfaktoren von Schritt 204 umgesetzt. Dies wird durch die Unterschritte 210A, B und C ausgeführt.
Zuerst wird im Unterschritt 210A für jedes erhaltene Bild ein erster Wert (A_x,y) für die Koordinate x, y bestimmt. Der erste Wert für jedes Bild wird als Produkt der Pixelintensität und des Gewichtungsfaktors an der Koordinate x, y, dividiert durch die jeweilige Belichtungszeit, definiert. Unter der Annahme, dass i gesamte Bilder vorhanden sind, gilt A_x,y = W_iP_i/T_i, wobei P_i die Pixelintensität an der Koordinate x, y ist und T_i die Belichtungszeit für das Bild i ist.
Als nächstes wird im Unterschritt 210B ein zweiter Wert (B_x,y) durch Summieren oder Addieren des ersten Werts für jedes der mehreren Bilder bestimmt. Folglich gilt B_x,y = ΣW_iP_i/T_i.
Im Unterschritt 210C wird der kombinierte Intensitätswert (I_x,y) an der Koordinate x, y durch Dividieren des zweiten Werts durch eine Summe der jeweiligen Gewichtungsfaktoren (ΣW_i) für alle Bilder an der Koordinate x, y erhalten. Die kombinierte Intensität I_x,y wird durch die nachstehende Gleichung (1) bestimmt (wenn nicht die Summe der Gewichtungsfaktoren (ΣW_i) für die mehreren Bilder null ist, in welchem Fall sie in Schritt 208 verarbeitet werden würde). I_x,y = ΣW_iP_i/T_i/ΣW_i (Gl. 1)
Wahlweise kann in Schritt 212 von 4 dem Pixel an der Koordinate x, y eine Farbe (oder ein Farbton-Sättigungs-Wert) zugewiesen werden, wie später beschrieben. Mit Bezug auf Schritt 214 von 4 werden die kombinierten Intensitätswerte (I_x,y) der kombinierten Pixel (wie z. B. des Pixels 26A in 1) in jeweilige abgebildete Werte (M_x,y) unter Verwendung eines Abbildungsgraphen umgesetzt. Die Verarbeitungseinheit 14 ist dazu konfiguriert, das kombinierte Bild (wie z. B. das Bild 26) auf der Basis der jeweiligen abgebildeten Werte (M_x,y) der kombinierten Pixel zu erzeugen.
5 zeigt ein Beispiel eines Abbildungsgraphen 300, der in Schritt 214 verwendet werden kann. Die y-Achse 302 in 5 stellt abgebildete Werte dar und die x-Achse 304 stellt die kombinierte Intensität I_x,y (in Schritten 210 und 208 vorstehend bestimmt) dar. Andere Typen von Abbildungsgraphen können verwendet werden. In der gezeigten Ausführungsform ist ein erster Abschnitt 306 des Abbildungsgraphen ein linearer Maßstab und ein zweiter Abschnitt 308 des Abbildungsgraphen ist ein logarithmischer Maßstab.
In 5 wird der Punkt, an dem sich der erste und der zweite Abschnitt 306, 308 treffen, hier als Haltepunkt k (Bezugszeichen 310) bezeichnet. Der Haltepunkt k (Bezugszeichen 310) definiert einen Intensitätsgrenzpunkt 312. Der Intensitätsgrenzpunkt 312 entspricht einem abgebildeten Intensitätspunkt 314, der in 5 gezeigt ist. Folglich werden Intensitäten unter dem Grenzpunkt 312 linear skaliert und Intensitäten über dem Grenzpunkt 312 werden logarithmisch skaliert. In einem Beispiel wird der Intensitätsgrenzpunkt 312 auf 3% des maximalen zulässigen Pixelwerts gesetzt. In diesem Beispiel wird der erste Abschnitt 306 des Abbildungsgraphen 300 auf Pixelintensitäten, die geringer als oder 3% des maximalen zulässigen Pixelwerts sind, und der zweite Abschnitt 308 auf Pixelintensitäten, die über oder auf 3% des maximalen zulässigen Pixelwerts liegen, angewendet.
Wenn M als maximaler Pixelwert im Eingangsbild genommen wird und wenn der Stern eine Multiplikation darstellt, können die Gleichungen für die linearelogarithmische Abbildung sein: y = α*x, falls 0 < x < k (Gl. 2) und y = β + γ*log x falls k < x < M (Gl. 2)
Das Nehmen des Logarithmus der kombinierten Intensität bewahrt vielmehr Intensitätsverhältnisse als Intensitätsdifferenzen, was Details in dunklen Teilen des Bildes beibehält, während helle Teile des Bildes nicht zur Sättigung gedrängt werden. Die Ergebnisse sind für das menschliche Auge ansprechend. In einem Beispiel weist ein verarbeitetes Bild einen maximalen Pixelwert M von 1000 auf. Die logarithmische Abbildung wird so gewählt, dass der maximale Pixelwert auf den größten zulässigen ausgegebenen/abgebildeten Wert abbildet. Wenn S als größter zulässiger ausgegebener Wert genommen wird (für die abgebildeten Intensitätswerte), kann der Abbildungsgraph 300 folglich dargestellt werden durch LinLog(x), so dass LinLog(M) = β + γ log M = S (Gl. 3)
Am Haltepunkt k können die Werte des ersten und des zweiten Abschnitts 306, 308 (lineare und logarithmische Teile) des Graphen 300 angepasst werden. Außerdem kann am Haltepunkt k die Steigung des ersten und des zweiten Abschnitts 306, 308 angepasst werden. Dies ergibt die Bedingungen αk = β + γ log k und α = γ/k. Dies ermöglicht die Bestimmung der Konstanten α, β, und γ hinsichtlich k, wie durch die nachstehenden Gleichungen 4 bis 6 gezeigt: α = S/k(1 + log M/k) (Gl. 4) β = S(1 – log k)/(1 + log M/k) (Gl. 5) γ = S/(1 + log M/k) (Gl. 6)
In 4 stellt die Verarbeitungseinheit 14 in Schritt 216 fest, ob alle Koordinaten x, y verarbeitet wurden. Wenn nicht, wird der Spalten- oder Zeilenwert inkrementiert, um alle Koordinaten x, y der erhaltenen Bilder abzudecken, und wie durch die Linie 218 angegeben, werden die Schritte 204 bis 214 für jedes Pixel oder jede Koordinate x, y wiederholt. Wenn alle Koordinaten x, y verarbeitet wurden, wird das kombinierte Bild erzeugt (Schritt 220).
In 6 ist ein schematisches Diagramm einer Beispielschaltung 400 für die Verarbeitungseinheit 14 gezeigt. Die Schaltung 400 ermöglicht, dass die Verarbeitungseinheit 14 den Prozess 200 ausführt, wenn die Bilder in der Abbildungseinheit 12 aufgenommen werden (Prozess 100). Das Kombinieren der Bilder, wenn sie aufgenommen werden, verringert die Zeit zwischen den Bildern und minimiert daher Effekte wie Bewegungsunschärfe. Irgendein geeigneter Typ von Schaltung kann verwendet werden.
In 6 ist die Abbildungseinheit 12 betriebstechnisch mit einem Analog-Digital-Umsetzer 402 verbunden und sendet Daten von jedem aufgenommenen Bild zu diesem. Ein Pixeltakt (nicht dargestellt) kann verwendet werden, um das ankommende Signal von der Abbildungseinheit 12 in Pixel zu unterteilen. Die Steuereinheit 16 gibt die Belichtungszeit für jedes eingegebene Bild als Eingabe 404 ein. Mit Bezug auf 6 umfasst die Verarbeitungseinheit 14 eine Komparatoreinheit 406, die dazu konfiguriert ist festzustellen, ob ein Pixelwert auf seinem maximalen zulässigen Wert liegt, d. h. ob er gesättigt ist. Die Verarbeitungseinheit 14 umfasst ”UND”-Logikgatter 408 und 410. Wie bekannt ist, ist ein Logikgatter ein elementarer Baustein einer digitalen Schaltung. Die meisten Logikgatter weisen zwei Eingänge und einen Ausgang auf. In irgendeinem gegebenen Moment befindet sich jeder Anschluss in einem von zwei binären Zuständen, die durch verschiedene Spannungspegel dargestellt werden. Die ”UND”-Logikgatter 406 und 408 senden nur dann ein Signal aus, wenn beide Eingänge am Gatter übereinstimmende Signale empfangen. Wenn die Komparatoreinheit 406 feststellt, dass der Pixelwert nicht gesättigt ist, laufen der aktuelle Pixelwert und die Belichtungszeit (entsprechend dem aktuellen Bild) durch die ”UND”-Logikgatter 408, 410 in jeweilige Addiererschaltungen 412, 414, die die Summe der Pixelintensitäten (I₁ + I₂ + ...) und die Summe der Gewichtungsfaktoren (W₁ + W₂ + ...) berechnen (wie vorstehend in Schritt 210 beschrieben).
Wenn jedes Pixel verarbeitet wird, speichert eine erste Speichereinheit 416 die Summe der Pixelintensitäten und sendet die Werte der vorherigen Summen durch eine Schleife 420 (in Abhängigkeit davon, ob dies das erste zu kombinierende Bild oder ein nachfolgendes Bild ist) zur Addiererschaltung 412. Eine zweite Speichereinheit 418 speichert die Summe der Gewichtungsfaktoren und sendet die Werte der vorherigen Summen durch die Schleife 422 (in Abhängigkeit davon, ob dies das erste zu kombinierende Bild oder ein nachfolgendes Bild ist) zur Addiererschaltung 414.
In 6 umfasst die Verarbeitungseinheit 14 eine Dividierereinheit 424, die dazu konfiguriert ist, die Summe der Pixelintensitäten durch die Summe der Gewichtungsfaktoren zu dividieren (wie vorstehend in Schritt 210 beschrieben), um den kombinierten Intensitätswert I zu erhalten. Die erste und die zweite Speichereinheit 416, 418 können betriebstechnisch mit einer Speicherlöscheinheit 426 verbunden sein, die dazu konfiguriert ist, den Speicher, der in der ersten und der zweiten Speichereinheit 416, 418 gespeichert ist, vor dem Empfangen der Pixelintensitäten bzw. der Gewichtungsfaktoren vom ersten Bild zu löschen.
Der in 4 gezeigte Prozess 200 kann auf Farbbilder erweitert werden. In einer Ausführungsform kann die Abbildungseinheit 12 einen Bayer-Muster-Abbildungschip verwenden. Wie bekannt ist, ordnet der Bayer-Muster-Abbildungschip Farbfilter über den Pixeln des Bildsensors an, die in Vierer-Pixelgruppen angeordnet sind; jede Gruppe weist zwei grüne Pixel, ein rotes Pixel und ein blaues Pixel auf. Die Farbe für jedes Pixel wird im Allgemeinen durch Interpolation berechnet. In dieser Ausführungsform behandelt die Verarbeitungseinheit 14 die Rohbilder von der Abbildungseinheit 12 als Graustufenbilder und kombiniert sie unter Verwendung der vorstehend beschriebenen Schritte 202, 204, 206 und 212. In Schritt 214 von 4 kann das kombinierte Bild direkt vor dem Abbildungsschritt 216 in ein Farbbild umgewandelt werden (unter Verwendung von Interpolation oder irgendeines anderen Prozesses).
In einem anderen Beispiel kann die Abbildungseinheit 12 ein RGB-Farbbild (Rot-Blau-Grün-Farbbild) erhalten. In Schritt 214 von 4 kann das RGB-Farbbild (Rot-Blau-Grün-Farbbild) in einen alternativen Farbraum umgesetzt werden, wie z. B. HSV (Farbton-Sättigung-Wert). Der HSV-Farbraum (Farbton-Sättigung-Wert-Farbraum) setzt die drei RGB-Farbkanäle in einen Farbtonkanal, der Farbinformationen trägt, einen Sättigungskanal, der Informationen über die Intensität der Farbe trägt, und den ”Wert”-Kanal, der im Wesentlichen die Bildhelligkeit ist, um. Die Wertkanäle von mehreren Bildern können kombiniert werden, wie vorher im Prozess 200 vorstehend beschrieben. Die Farbton- und Sättigungskanäle können separat kombiniert werden. Für ein gegebenes Pixel kann das Bild mit dem maximalen Sättigungswert oder der maximalen Farbintensität für den Sättigungskanal ausgewählt werden und der Farbtonwert kann von diesem speziellen Bild genommen werden. Dies ermöglicht die Erzeugung einer Farbe des Pixels, indem es von dem Bild entnommen wird, das die besten Farbinformationen aufweist.
Zusammengefasst ermöglicht das System 10 die Aufnahme von digitalen Bildern, die einen breiten dynamischen Bereich aufweisen. Es erfasst Details in dunklen Teilen der erhaltenen Bilder, während eine Überbelichtung und Überstrahlung in hellen Bereichen weitgehend beseitigt wird. Das System 10 ist in Maschinensichtanwendungen nützlich, in denen die Beleuchtung nicht gesteuert werden kann, und erzeugt visuell ansprechende Bilder für die Betrachtung durch Menschen.

Claims

System (10) zum Erzeugen eines Bildes mit einem breiten dynamischen Bereich, wobei das System (10) umfasst: eine Abbildungseinheit (12), die dazu konfiguriert ist, mehrere Bilder einer Szene mit jeweiligen Belichtungszeiten aufzunehmen, so dass alle der jeweiligen Belichtungszeiten voneinander verschieden sind; eine Verarbeitungseinheit (14) und eine Steuereinheit (16), die betriebstechnisch mit der Abbildungseinheit (12) und miteinander verbunden sind; wobei die mehreren Bilder jeweils durch jeweilige Sätze von Pixeln dargestellt werden, die jeweilige Pixelintensitäten definieren, wobei jedes Pixel in den jeweiligen Sätzen von Pixeln durch eine zweidimensionale Koordinate identifizierbar ist; wobei die Verarbeitungseinheit (14) dazu konfiguriert ist, die mehreren Bilder zu kombinieren, um ein kombiniertes Bild zu erzeugen, das durch einen Satz von kombinierten Pixeln dargestellt wird; wobei für jede der zweidimensionalen Koordinaten die Verarbeitungseinheit (14) dazu konfiguriert ist: die jeweiligen Pixelintensitäten für jedes der mehreren Bilder von der Abbildungseinheit (12) zu empfangen; einen jeweiligen Gewichtungsfaktor den jeweiligen Sätzen von Pixeln in jedem der mehreren Bilder zuzuweisen; einen jeweiligen kombinierten Intensitätswert für den Satz von kombinierten Pixeln an jeder der zweidimensionalen Koordinaten zu erhalten; die jeweiligen kombinierten Intensitätswerte unter Verwendung eines Abbildungsgraphen in jeweilige abgebildete Werte umzusetzen, wobei die jeweiligen abgebildeten Werte verwendet werden, um das kombinierte Bild zu erzeugen; wobei die Steuereinheit (16) dazu konfiguriert ist: eine erste Belichtungszeit auf einen ersten vorbestimmten Wert zu setzen und die Abbildungseinheit (12) anzuweisen, ein erstes der mehreren Bilder unter Verwendung der ersten Belichtungszeit aufzunehmen; eine zweite Belichtungszeit auf einen zweiten vorbestimmten Wert zu setzen und die Abbildungseinheit (12) anzuweisen, ein zweites der mehreren Bilder mit der zweiten Belichtungszeit aufzunehmen; auf der Basis dessen, ob eine vordefinierte Bedingung erfüllt ist, festzustellen, ob eine ausreichende Anzahl von Bildern erhalten wurde; und zusätzliche Bilder zu erhalten, wenn die vordefinierte Bedingung nicht erfüllt ist; wobei das Erhalten eines jeweiligen kombinierten Intensitätswerts für jedes des Satzes von kombinierten Pixeln umfasst: Bestimmen eines ersten Werts für jedes der mehreren Bilder als Produkt der jeweiligen Pixelintensitäten und der jeweiligen Gewichtungsfaktoren, dividiert durch die jeweilige Belichtungszeit; Bestimmen eines zweiten Werts durch Addieren des ersten Werts für jedes der mehreren Bilder; und Erhalten des jeweiligen kombinierten Intensitätswerts durch Dividieren des zweiten Werts durch eine Summe der jeweiligen Gewichtungsfaktoren für jedes der mehreren Bilder; wobei die Steuereinheit (16) dazu konfiguriert ist: festzustellen, ob die Summe der jeweiligen Gewichtungsfaktoren für jedes der mehreren Bilder null ist; und den jeweiligen kombinierten Intensitätswert als maximalen zulässigen Pixelwert festzulegen, wenn die Summe der jeweiligen Gewichtungsfaktoren null ist.
System (10) nach Anspruch 1, wobei die vordefinierte Bedingung erfüllt ist, wenn mindestens 20% der jeweiligen Pixelintensitäten des ersten und des zweiten der mehreren Bilder einen gesättigten Wert erreicht haben.
System (10) nach Anspruch 1 wobei die zweite Belichtungszeit ein konstanter Multiplikator der ersten Belichtungszeit ist.
System (10) nach Anspruch 1, wobei die Steuereinheit (16) ferner dazu konfiguriert ist: eine dritte Belichtungszeit auf einen dritten vorbestimmten Wert zu setzen und die Abbildungseinheit (12) anzuweisen, ein drittes der mehreren Bilder mit der dritten Belichtungszeit aufzunehmen, wenn die vordefinierte Bedingung nicht erfüllt ist.
System (10) nach Anspruch 1, wobei für jedes der mehreren Bilder: die Steuereinheit (16) einen maximalen zulässigen Pixelwert für jede der jeweiligen Pixelintensitäten definiert; der jeweilige Gewichtungsfaktor als jeweilige Belichtungszeit festgelegt wird, wenn die jeweilige Pixelintensität unter dem maximalen zulässigen Pixelwert liegt; und der jeweilige Gewichtungsfaktor als null festgelegt wird, wenn die jeweilige Pixelintensität auf dem maximalen zulässigen Pixelwert liegt.
Verfahren zum Erzeugen eines Bildes mit breitem dynamischem Bereich, wobei das Verfahren umfasst: Aufnehmen von mehreren Bildern einer Szene jeweils mit mehreren jeweiligen Belichtungszeiten, wobei alle der mehreren jeweiligen Belichtungszeiten voneinander verschieden sind; wobei die mehreren Bilder jeweils durch jeweilige Sätze von Pixeln dargestellt werden, die jeweilige Pixelintensitäten definieren, wobei jedes Pixel in den jeweiligen Sätzen von Pixeln durch eine zweidimensionale Koordinate identifizierbar ist; Zuweisen eines jeweiligen Gewichtungsfaktors zu jeder der jeweiligen Pixelintensitäten in jedem der mehreren Bilder; Erhalten eines jeweiligen kombinierten Intensitätswerts an jeder der zweidimensionalen Koordinaten; Umsetzen der jeweiligen kombinierten Intensitätswerte in jeweilige abgebildete Werte unter Verwendung eines Abbildungsgraphen; und Erzeugen eines kombinierten Bildes unter Verwendung der jeweiligen abgebildeten Werte; wobei das Erhalten der jeweiligen kombinierten Intensitätswerte umfasst: Bestimmen eines ersten Werts für jedes der mehreren Bilder als Produkt der jeweiligen Pixelintensitäten und der jeweiligen Gewichtungsfaktoren, dividiert durch die jeweilige Belichtungszeit; Bestimmen eines zweiten Werts durch Addieren des ersten Werts für jedes der mehreren Bilder; Erhalten des jeweiligen kombinierten Intensitätswerts durch Dividieren des zweiten Werts durch eine Summe der jeweiligen Gewichtungsfaktoren für jedes der mehreren Bilder; Feststellen, ob die Summe der jeweiligen Gewichtungsfaktoren für jedes der mehreren Bilder null ist; und Festlegen des jeweiligen kombinierten Intensitätswerts als maximalen zulässigen Pixelwert, wenn die Summe der jeweiligen Gewichtungsfaktoren null ist.