DE102015110233B4

DE102015110233B4 - Eine Bilderzeugungsvorrichtung und ein Verfahren zum Produzieren eines dreidimensionalen Bildes eines Objekts

Info

Publication number: DE102015110233B4
Application number: DE102015110233.1A
Authority: DE
Inventors: Dirk Offenberg
Original assignee: Infineon Technologies Dresden GmbH and Co KG
Current assignee: Infineon Technologies Dresden GmbH and Co KG
Priority date: 2014-07-07
Filing date: 2015-06-25
Publication date: 2021-12-02
Anticipated expiration: 2035-06-26
Also published as: US10237534B2; US20160007009A1; DE102015110233A1

Abstract

Eine Bilderzeugungsvorrichtung (100), umfassend:eine Bildsensorschaltung (102), umfassend ein Pixelelement (104), wobei das Pixelelement (104) ausgebildet ist, um während eines ersten Empfangszeitintervalls elektromagnetische Wellen mit einer ersten Wellenlänge (106r) zu empfangen, wobei die elektromagnetischen Wellen mit der ersten Wellenlänge (106r) durch eine lichtemittierende Vorrichtung emittiert und durch ein Objekt (120) reflektiert werden, und um während eines darauffolgenden, zweiten Empfangszeitintervalls elektromagnetische Wellen mit einer zweiten Wellenlänge (108r) zu empfangen, wobei die elektromagnetischen Wellen mit der zweiten Wellenlänge (108r) durch die lichtemittierende Vorrichtung emittiert und durch das Objekt (120) reflektiert werden, und um während eines dritten Empfangszeitintervalls Umgebungslicht zu empfangen, das durch das Objekt (120) reflektiert wird; undeine Bildverarbeitungsschaltung (112), die ausgebildet ist, um ein Farbbild (114) des Objektes (120) basierend auf ersten Pixelbilddaten (116) und zweiten Pixelbilddaten (118) zu produzieren, wobei die ersten Pixelbilddaten (116) auf den elektromagnetischen Wellen mit der ersten Wellenlänge (106r) basieren, die durch das Pixelelement (104) während des ersten Empfangszeitintervalls empfangen werden, und wobei die zweiten Pixelbilddaten (118) auf den elektromagnetischen Wellen mit der zweiten Wellenlänge (108r) basieren, die durch das Pixelelement (104) während des zweiten Empfangszeitintervalls empfangen werden, wobei die Bildverarbeitungsschaltung (112) ferner ausgebildet ist, um das Farbbild (114) oder ein zusätzliches Helligkeitsbild des Objektes (120) basierend auf dritten Pixelbilddaten zu produzieren, wobei die dritten Pixelbilddaten auf dem Umgebungslicht basieren, das durch das Objekt (120) reflektiert und durch das Pixelelement (104) empfangen wird, wobei die Bildverarbeitungsschaltung (112) ferner eine Schaltung umfasst, die ausgebildet ist, um das Farbbild (114) des Objektes (120) basierend auf einer Subtraktion der dritten Pixelbilddaten von den ersten Pixelbilddaten zu produzieren.

Description

TECHNISCHES GEBIET
Ausführungsbeispiele beziehen sich auf das Produzieren von Farbbildern und insbesondere Bilderzeugungsvorrichtungen, ein Verfahren zum Produzieren eines Farbbildes eines Objektes und ein Verfahren zum Produzieren eines dreidimensionalen Bildes eines Objektes.
HINTERGRUND
Bei Kameras und Bilderzeugungsvorrichtungen erfordert jedes Pixel eines Bildsensors Farbteilpixel, um in die Kamera eintretendes Licht in separate Farben zu filtern. Folglich leiden Bildsensoren, die Farbfilter verwenden, unter einer reduzierten Auflösung. Probleme, die durch Farbartefakte während der Bilderzeugung von kontrastreichen Objekten verursacht werden, werden häufig toleriert. Laufzeit-Messungen (Time-of-flight (TOF) measurements) zum Produzieren von dreidimensionalen Bildern (3D-Bildern) leiden unter begrenzter Reichweite, relativ großen Pixeln, niedriger Auflösung, hohem Leistungsverbrauch, komplexen Bewertungsschaltungen und komplexen Bewertungsalgorithmen. Es ist wünschenswert, Bilderzeugungsvorrichtungen bereitzustellen, die Farbbilder mit verbesserter Auflösung und reduzierten Farbartefakten produzieren. Es ist auch wünschenswert, Bilderzeugungsvorrichtungen bereitzustellen, die den Prozess des Produzierens von 3D-Farbbildern mit minimalen Fehlern vereinfachen.
Druckschrift WO 2009 / 097 516 A1 beschreibt ein Verfahren zum Filtern von Entfernungsinformationen von einem 3D-Messkamerasystem. Das Verfahren umfasst das Vergleichen von Amplituden- und/oder Entfernungsinformationen für Pixel mit benachbarten Pixeln und das Mitteln der Entfernungsinformationen für die Pixel mit den benachbarten Pixeln, wenn die Amplituden- und/oder Entfernungsinformationen für die Pixel innerhalb eines Bereichs der Amplituden und/oder Abstände für die benachbarten Pixel sind.
Druckschrift EP 2 442 068 A2 schlägt ein Entfernungsmesssystem zur Erzeugung von Farbbildern unter Verwendung eines CMOS-Sensors vor. Die photoelektrischen Eigenschaften von Silizium werden genutzt, um Detektionssignale zu trennen, die durch unterschiedliche Wellenlängen des Lichts erzeugt werden, die kollektiv auf einen Photodetektorsensor (Pixel) auftreffen. Ein zeitsequenzieller Ansatz kann verwendet werden, um Schätzungen von RGB-Farbkomponenten zu erhalten.
ZUSAMMENFASSUNG
Es besteht ein Bedarf zum Bereitstellen eines verbesserten Konzeptes für eine Bilderzeugungsvorrichtung, ein Verfahren zum Produzieren eines Farbbildes eines Objektes und ein Verfahren zum Produzieren eines dreidimensionalen Bildes eines Objektes.
Dieser Bedarf kann durch den Gegenstand eines der Ansprüche gedeckt werden.
Einige Ausführungsbeispiele beziehen sich auf eine Bilderzeugungsvorrichtung. Die Bilderzeugungsvorrichtung umfasst eine Bildsensorschaltung, die ein Pixelelement umfasst. Das Pixelelement ist ausgebildet, um während eines ersten Empfangszeitintervalls elektromagnetische Wellen mit einer ersten Wellenlänge zu empfangen. Die elektromagnetischen Wellen mit der ersten Wellenlänge werden durch eine lichtemittierende Vorrichtung emittiert und durch ein Objekt reflektiert. Das Pixelelement ist ausgebildet, um während eines darauffolgenden, zweiten Empfangszeitintervalls elektromagnetische Wellen mit einer zweiten Wellenlänge zu empfangen. Die elektromagnetischen Wellen mit der zweiten Wellenlänge werden durch die lichtemittierende Vorrichtung emittiert und durch das Objekt reflektiert. Die Bilderzeugungsvorrichtung umfasst ferner eine Bildverarbeitungsschaltung, die ausgebildet ist, um ein Farbbild des Objektes basierend auf ersten Pixelbilddaten und zweiten Pixelbilddaten zu produzieren. Die ersten Pixelbilddaten basieren auf den elektromagnetischen Wellen mit der ersten Wellenlänge, die durch das Pixelelement während des ersten Empfangszeitintervalls empfangen werden. Die zweiten Pixelbilddaten basieren auf den elektromagnetischen Wellen mit der zweiten Wellenlänge, die durch das Pixelelement während des zweiten Empfangszeitintervalls empfangen werden.
Einige Ausführungsbeispiele beziehen sich auf eine Bilderzeugungsvorrichtung. Die Bilderzeugungsvorrichtung ist eine Bildsensorschaltung, die ein Array von Pixelelementen umfasst. Jedes Pixelelement in dem Array von Pixelelementen ist ausgebildet, um erste Pixelbilddaten basierend auf elektromagnetische Wellen mit einer ersten Wellenlänge zu produzieren, die während eines ersten Empfangszeitintervalls empfangen werden. Die elektromagnetischen Wellen mit der ersten Wellenlänge werden durch eine lichtemittierende Vorrichtung emittiert und durch ein Objekt reflektiert. Jedes Pixelelement ist ferner ausgebildet, um zweite Pixelbilddaten basierend auf elektromagnetische Wellen mit einer zweiten Wellenlänge zu produzieren, die während eines zweiten Empfangszeitintervalls empfangen werden. Die elektromagnetischen Wellen mit der zweiten Wellenlänge werden durch die lichtemittierende Vorrichtung emittiert und durch das Objekt reflektiert. Die Bilderzeugungsvorrichtung umfasst ferner eine Bildverarbeitungsschaltung, die ausgebildet ist, um ein Farbbild des Objektes basierend auf den ersten Bildpixeldaten und den zweiten Bildpixeldaten von jedem Pixelelement in dem Array von Pixelelementen zu produzieren.
Einige Ausführungsbeispiele beziehen sich auf ein Verfahren zum Produzieren eines dreidimensionalen Bildes eines Objektes. Das Verfahren umfasst das Modulieren einer sichtbaren Lichtquelle außerhalb einer Laufzeitkamera, um modulierte, elektromagnetische Wellen basierend auf einem durch die Laufzeitkamera erzeugten Modulationssteuersignal zu emittieren. Das Verfahren kann ferner das Empfangen der durch ein Objekt reflektierten, modulierten, elektromagnetischen Wellen durch die Laufzeitkamera und das Produzieren eines dreidimensionalen Bildes des Objektes basierend auf den empfangenen, modulierten, elektromagnetischen Wellen umfassen, wobei die empfangenen, modulierten, elektromagnetischen Wellen durch die sichtbare Lichtquelle emittiert und durch das Objekt reflektiert werden.
Einige Ausführungsbeispiele beziehen sich auf ein Verfahren zum Produzieren eines Farbbildes eines Objektes gemäß verschiedenen Ausführungsbeispielen. Das Verfahren umfasst das Empfangen von elektromagnetischen Wellen mit einer ersten Wellenlänge durch ein Pixelelement einer Bildsensorschaltung während eines ersten Empfangszeitintervalls, wobei die elektromagnetischen Wellen mit der ersten Wellenlänge durch eine lichtemittierende Vorrichtung emittiert und durch ein Objekt reflektiert werden. Das Verfahren umfasst ferner das Empfangen von elektromagnetischen Wellen mit einer zweiten Wellenlänge durch das Pixelelement während eines darauffolgenden, zweiten Empfangszeitintervalls, wobei die elektromagnetischen Wellen mit der zweiten Wellenlänge durch die lichtemittierende Vorrichtung emittiert und durch das Objekt reflektiert werden. Das Verfahren umfasst ferner das Produzieren eines Farbbildes des Objektes durch eine Bildverarbeitungsschaltung basierend auf ersten Pixelbilddaten und zweiten Pixelbilddaten, wobei die ersten Pixelbilddaten auf den elektromagnetischen Wellen mit der ersten Wellenlänge basieren, die durch das Pixelelement während des ersten Empfangszeitintervalls empfangen werden, und wobei die zweiten Pixelbilddaten auf den elektromagnetischen Wellen mit der zweiten Wellenlänge basieren, die durch das Pixelelement während des zweiten Empfangszeitintervalls empfangen werden.
Figurenliste
Einige Beispiele von Vorrichtungen und/oder Verfahren werden nachfolgend nur beispielhaft und unter Bezugnahme auf die beiliegenden Figuren beschrieben, in denen

1 eine schematische Darstellung einer Bilderzeugungsvorrichtung gemäß verschiedenen Ausführungsbeispielen zeigt;
2 eine schematische Darstellung einer Bilderzeugungsvorrichtung zeigt, die ausgebildet ist, um ein Bild gemäß verschiedenen Ausführungsbeispielen zu produzieren;
3 eine schematische Darstellung einer Bilderzeugungsvorrichtung gemäß verschiedenen Ausführungsbeispielen zeigt;
4 ein Flussdiagramm eines Verfahrens zum Produzieren eines dreidimensionalen Bildes gemäß verschiedenen Ausführungsbeispielen zeigt;
5 ein Flussdiagramm eines Verfahrens zum Produzieren eines Farbbildes gemäß

AUSFÜHRLICHE BESCHREIBUNG
Verschiedene Ausführungsbeispiele werden nun ausführlicher Bezug nehmend auf die beiliegenden Zeichnungen beschrieben, in denen einige Ausführungsbeispiele dargestellt sind. In den Figuren können die Stärken von Linien, Schichten und/oder Bereichen zur Verdeutlichung übertrieben sein.
Während sich Ausführungsbeispiele für verschiedene Modifikationen und alternative Formen eignen, werden dementsprechend Ausführungsbeispiele derselben in den Zeichnungen beispielhaft gezeigt und hier ausführlich beschrieben. Es versteht sich jedoch, dass es nicht beabsichtigt ist, Ausführungsbeispiele auf die offenbarten bestimmten Formen zu begrenzen, sondern im Gegensatz die Ausführungsbeispiele alle in den Schutzbereich der Offenbarung fallenden Modifikationen, Entsprechungen und Alternativen abdecken sollen. In der gesamten Beschreibung der Figuren beziehen sich gleiche Bezugszeichen auf gleiche oder ähnliche Elemente.
Es versteht sich, dass, wenn ein Element als mit einem anderen Element „verbunden“ oder „gekoppelt“ bezeichnet wird, es direkt mit dem anderen Element verbunden oder gekoppelt sein kann oder Zwischenelemente vorhanden sein können. Wenn im Gegensatz ein Element als „direkt“ mit einem anderen Element „verbunden“ oder „gekoppelt“ bezeichnet wird, sind keine Zwischenelemente vorhanden. Sonstige zum Beschreiben des Verhältnisses zwischen Elementen benutzten Ausdrücke sollten auf gleichartige Weise ausgelegt werden (z. B. „zwischen“ gegenüber „direkt zwischen“, „benachbart“ gegenüber „direkt benachbart“ usw.).
Die hier verwendete Terminologie bezweckt nur das Beschreiben bestimmter Ausführungsbeispiele und soll nicht begrenzend für weitere Ausführungsbeispiele sein. Nach hiesigem Gebrauch sollen die Singularformen „ein, eine“ und „das, der, die“ auch die Pluralformen umfassen, es sei denn im Zusammenhang wird deutlich etwas anderes angegeben. Es versteht sich weiterhin, dass die Begriffe „umfasst“, „umfassend“, „aufweisen“ und/oder „aufweisend“ bei hiesigem Gebrauch das Vorhandensein angegebener Merkmale, Ganzzahlen, Schritte, Operationen, Elemente und/oder Bestandteile angeben, aber nicht das Vorhandensein oder die Zufügung eines oder mehrerer anderer Merkmale, Ganzzahlen, Schritte, Operationen, Elemente, Bestandteile und/oder Gruppen derselben ausschließen.
Sofern nicht anderweitig definiert besitzen alle hier benutzten Begriffe (einschließlich technischer und wissenschaftlicher Begriffe) die gleiche Bedeutung wie sie gewöhnlich von einem Durchschnittsfachmann auf dem Gebiet verstanden wird, zu dem Ausführungsbeispiele gehören. Weiterhin versteht es sich, dass Begriffe, z. B. die in gewöhnlich benutzten Wörterbüchern definierten, als eine Bedeutung besitzend ausgelegt werden sollten, die ihrer Bedeutung im Zusammenhang der entsprechenden Technik entspricht, und nicht in einem idealisierten oder übermäßig formalen Sinn ausgelegt werden, sofern sie nicht ausdrücklich so definiert sind.
1 zeigt eine schematische Darstellung einer Bilderzeugungsvorrichtung 100 gemäß einem Ausführungsbeispiel. Die Bilderzeugungsvorrichtung 100 umfasst eine Bildsensorschaltung 102. Die Bildsensorschaltung 102 umfasst ein Pixelelement 104. Das Pixelelement 104 ist ausgebildet, um während eines ersten Empfangszeitintervalls elektromagnetische Wellen mit einer ersten Wellenlänge 106r zu empfangen. Die elektromagnetischen Wellen mit der ersten Wellenlänge 106r werden durch eine lichtemittierende Vorrichtung emittiert und durch ein Objekt 120 reflektiert. Das Pixelelement ist ausgebildet, um während eines darauffolgenden, zweiten Empfangszeitintervalls elektromagnetische Wellen mit einer zweiten Wellenlänge 108r zu empfangen. Die elektromagnetischen Wellen mit der zweiten Wellenlänge 108r werden durch die lichtemittierende Vorrichtung emittiert und durch das Objekt 120 reflektiert.
Die Bilderzeugungsvorrichtung 100 umfasst eine Bildverarbeitungsschaltung 112, die ausgebildet ist, um ein Farbbild 114 des Objektes basierend auf ersten Pixelbilddaten 116 und zweiten Pixelbilddaten 118 zu produzieren. Die ersten Pixelbilddaten 116 basieren auf den elektromagnetischen Wellen mit der ersten Wellenlänge 106r, die durch das Pixelelement 104 während des ersten Empfangszeitintervalls empfangen werden. Die zweiten Pixelbilddaten 118 basieren auf den elektromagnetischen Wellen mit der zweiten Wellenlänge 108r, die durch das Pixelelement 104 während des zweiten Empfangszeitintervalls empfangen werden.
Aufgrund der Implementierung des Pixelelements, das die elektromagnetischen Wellen 106r, 108r während eines ersten Empfangszeitintervalls bzw. eines zweiten Empfangszeitintervalls empfängt, kann eine höhere Pixelauflösung erreicht werden. Anstatt Farbfilter für die spektrale Trennung von empfangenen, lichtähnlichen Bildsensoren zu verwenden, können zum Beispiel Vollfarbinformationen über das Objekt basierend auf aufeinanderfolgender Illumination oder Beleuchtung des Objektes mit unterschiedlichen Farben bestimmt werden. Zum Beispiel kann ein Pixelelement für unterschiedliche Farbfilter vermieden werden. Zum Beispiel kann die Größe eines jeden Pixelelements reduziert werden.
Eine Bilderzeugungsvorrichtung 100 kann eine Kamera sein. Zum Beispiel kann die Kamera eine Linsenanordnung, durch die Licht in die Kamera eintritt, eine Verschlussanordnung, die es beim Öffnen erlaubt, dass ein Bild produziert wird und/oder eine Öffnungsanordnung, die die Lichtmenge steuert, die die Bildsensorschaltung 102 erreicht, umfassen.
Das Objekt 120 kann zum Beispiel eine zu fotografierende Person oder eine zu fotografierende Sache oder eine zu fotografierende Szenerie sein.
Zum Beispiel kann das Objekt 120 dreidimensional sein und/oder kann Farbe aufweisen.
Die Bildsensorschaltung 102 kann ein Array von Pixelelementen, wie beispielsweise ein zweidimensionales Array von Pixelelementen, umfassen. Das Pixelelement 104 kann eines in dem Array von Pixelelementen sein, die die Bilderfassungsschaltung 102 enthält.
Jedes Pixelelement 104 kann eine Photodetektionsschaltung für die Detektion von Licht umfassen. Zum Beispiel kann die Photodetektionsschaltung eine Erzeugungszone umfassen, z. B. eine photoempfindliche Region, wie beispielsweise eine Verarmungsregion oder eine Raumladungsregion, wo photoerzeugte Ladungsträger erzeugt werden können. Zum Beispiel können die photoerzeugten Ladungsträger positive Ladungsträger, z. B. Löcher, oder negative Ladungsträger, z. B. Elektronen, umfassen. Die Photodetektionsschaltung kann zum Beispiel durch eine Photodiode implementiert sein. Die Anzahl von photoerzeugten Ladungsträgern, die in jedem einzelnen Pixelelement 104 erzeugt werden, kann proportional zu der Intensität der elektromagnetischen Wellen sein, die durch das Objekt reflektiert und durch dieses Pixelelement 104 empfangen werden. Jedes Pixelelement 104 der Bildsensorschaltung 102 kann Pixelbilddaten produzieren, die auf einem elektrischen Signal basieren können, zum Beispiel einem Spannungssignal oder Stromsignal proportional zu der Anzahl von photoerzeugten Ladungsträgern, die durch das Pixelelement erzeugt werden.
Verschiedene Operationsmodi können durch die Bildsensorschaltung 102 zum Produzieren der photoerzeugten Ladungsträger und zum Umwandeln der optischen Informationen in elektrische Informationen verwendet werden. Zum Beispiel kann die Bildsensorschaltung 102 gemäß einigen Ausführungsbeispielen als eine ladungsgekoppelte Vorrichtung (CCD = Charge Coupled Device) ausgebildet sein. Bei anderen Ausführungsbeispielen kann die Bildsensorschaltung als eine komplementäre Metalloxidhalbleiter-Bilderzeugungsschaltung (CMOS-Bilderzeugungsschaltung; CMOS = Complementary Metal Oxide Semiconductor) ausgebildet sein. Bei CMOS-Bilderzeugungsschaltungen kann die Umwandlung der photoerzeugten Ladungen in einem Pixelelement 104 in ein elektrisches Signal durch das Pixelelement 104 selbst ausgeführt werden. Bei CCD-Schaltungen kann die Umwandlung von photoerzeugten Ladungen in ein elektrisches Signal an anderer Stelle in der Bildsensorschaltung 102 außer in dem Pixelelement 104 stattfinden. Bei beiden Anordnungen können die durch die Bildsensorschaltung 102 produzierten Pixelbilddaten an die Bildverarbeitungsschaltung 112 zur weiteren Verarbeitung gesendet werden.
Das Pixelelement 104 kann während eines ersten Empfangszeitintervalls, tr1, elektromagnetische Wellen mit der ersten Wellenlänge 106r empfangen. Danach kann das Pixelelement 104 während eines darauffolgenden, zweiten Empfangszeitintervalls, tr2, elektromagnetische Wellen mit der zweiten Wellenlänge 108r empfangen. Danach kann das Pixelelement 104 während eines darauffolgenden, dritten Empfangszeitintervalls, tr3, elektromagnetische Wellen mit der dritten Wellenlänge empfangen.
Die Bildsensorschaltung 102 kann Pixelbilddaten basierend auf der Intensität oder Menge an photoerzeugten Ladungsträgern produzieren, die in jedem Pixelelement erzeugt werden. Zum Beispiel kann die Bildsensorschaltung 102 erste Pixelbilddaten 116 basierend auf der Anzahl von photoerzeugten Ladungsträgern produzieren, die in dem Pixelelement 104 durch die empfangenen, elektromagnetischen Wellen mit der ersten Wellenlänge 106r, z. B. Licht einer ersten Farbe, während des ersten Empfangszeitintervalls, tr1, erzeugt werden. Anders ausgedrückt, die ersten Pixelbilddaten 116 können auf den elektromagnetischen Wellen mit der ersten Wellenlänge 106r basieren, die durch das Pixelelement 104 während des ersten Empfangszeitintervalls, tr1, empfangen werden.
Danach kann die Bildsensorschaltung 102 zweite Pixelbilddaten 118 basierend auf der Anzahl von photoerzeugten Ladungsträgern produzieren, die in dem Pixelelement 104 durch die empfangenen, elektromagnetischen Wellen mit der zweiten Wellenlänge 108r, z. B. Licht einer zweiten Farbe, während des zweiten Empfangszeitintervalls, tr2, erzeugt werden. Anders ausgedrückt, die zweiten Pixelbilddaten 118 können auf den elektromagnetischen Wellen mit der zweiten Wellenlänge 108r basieren, die durch das Pixelelement 104 während des zweiten Empfangszeitintervalls, tr2, empfangen werden.
Danach kann die Bildsensorschaltung 102 dritte Pixelbilddaten basierend auf der Anzahl von photoerzeugten Ladungsträgern produzieren, die in dem Pixelelement 104 durch die empfangenen, elektromagnetischen Wellen mit der dritten Wellenlänge, z. B. Licht einer dritten Farbe, während des dritten Empfangszeitintervalls in dem Pixelelement 104 erzeugt werden. Anders ausgedrückt, die dritten Pixelbilddaten können auf den elektromagnetischen Wellen mit der dritten Wellenlänge basieren, die durch das Pixelelement 104 während des dritten Empfangszeitintervalls empfangen werden.
Die empfangenen, elektromagnetischen Wellen mit der ersten 106r, zweiten 108r und dritten Wellenlänge können durch aktive Beleuchtung oder durch eine lichtemittierende Vorrichtung emittiert und durch ein zu fotografierendes Objekt reflektiert werden. Um nicht gewolltes Hintergrundlicht zu unterdrücken, können Bilder mit und ohne aktive Farbbeleuchtung aufgenommen oder produziert werden, und die Farbinformationen können aus einem unterschiedlichen Signal unter Verwendung der Prinzipien eines Lock-in-Verstärkers bestimmt werden.
Um nicht gewolltes Hintergrundlicht zu bestimmen und zu unterdrücken, kann das Pixelelement 104 zum Beispiel ferner durch das Objekt 120 reflektiertes Umgebungslicht während eines darauffolgenden, z. B. vierten, Empfangszeitintervalls, empfangen. Anders ausgedrückt, vierte Pixelbilddaten können ohne jegliche aktive Beleuchtung produziert werden. Anders ausgedrückt, die lichtemittierende Vorrichtung emittiert möglicherweise kein Licht für die Produktion vierter Pixelbilddaten. Die Bildsensorschaltung 102 kann vierte Pixelbilddaten basierend auf der Anzahl von photoerzeugten Ladungsträgern produzieren, die durch das Umgebungslicht während des vierten Empfangszeitintervalls in dem Pixelelement 104 erzeugt werden. Anders ausgedrückt, die vierten Pixelbilddaten können auf dem Umgebungslicht basieren, das während des vierten Empfangszeitintervalls durch das Pixelelement 104 empfangen wird.
Die fortlaufend produzierten, ersten Pixelbilddaten 116, zweiten Pixelbilddaten 118, dritten Pixelbilddaten und vierten Pixelbilddaten können fortlaufend an die Bildverarbeitungsschaltung 112 gesendet werden.
Die Bildverarbeitungsschaltung 112 kann die ersten Pixelbilddaten 116, zweiten Pixelbilddaten 118, dritten Pixelbilddaten und die vierten Pixelbilddaten kombinieren, um das finale Farbbild 114 zu produzieren. Anders ausgedrückt, die Bildverarbeitungsschaltung 112 kann das Farbbild 114 des Objektes 120 basierend auf den ersten Pixelbilddaten 116, zweiten Pixelbilddaten 118, dritten Pixelbilddaten und vierten Pixelbilddaten produzieren. Die Bildverarbeitungsschaltung 112 kann das Farbbild 114 oder ein zusätzliches Helligkeitsbild des Objektes 120 basierend auf den vierten Pixelbilddaten produzieren.
Zum Beispiel kann die Bildverarbeitungsschaltung 112 das Farbbild 114 basierend auf einer Summierung (oder Überlappung) der ersten Pixelbilddaten 116, der zweiten Pixelbilddaten 118 und der dritten Pixelbilddaten produzieren. Die vierten Pixelbilddaten können verwendet werden, um nicht gewolltes Hintergrundlicht von den ersten Pixelbilddaten 116, den zweiten Pixelbilddaten 118 und den dritten Pixelbilddaten durch eine Subtraktion zu entfernen. Zum Beispiel kann die Bildverarbeitungsschaltung 112 ferner eine Schaltung umfassen, die ausgebildet ist, um das Farbbild 114 des Objektes 120 basierend auf einer Subtraktion der ohne aktive Beleuchtung produzierten Pixelbilddaten von den mit aktiver Beleuchtung produzierten Pixelbilddaten zu produzieren. Zum Beispiel können die ohne aktive Beleuchtung produzierten Pixelbilddaten von jeglichen mit aktiver Beleuchtung produzierten Pixelbilddaten subtrahiert werden. Die mit aktiver Beleuchtung (von der lichtemittierenden Vorrichtung 220) produzierten Pixelbilddaten, wie oben beschrieben, können sich auf erste Pixelbilddaten 116, zweite Pixelbilddaten 118 und dritte Pixelbilddaten beziehen. Die ohne aktive Beleuchtung (nur Umgebungslicht) produzierten Pixelbilddaten, wie oben beschrieben, können sich auf vierte Pixelbilddaten beziehen. Zum Beispiel kann die Schaltung ausgebildet sein, um das Farbbild 114 des Objektes 120 basierend auf einer Subtraktion der vierten Pixelbilddaten von den ersten Pixelbilddaten zu produzieren.
Aufgrund der oben beschriebenen Implementierung, bei der Pixelbilddaten mit aktiver Beleuchtung und Pixelbilddaten ohne aktive Beleuchtung produziert werden können, kann nicht gewolltes Hintergrundlicht unterdrückt werden und die Farbinformationen des Farbbildes können durch ein Differenzsignal, d. h. Subtraktion der ohne aktive Beleuchtung produzierten Pixelbilddaten von den mit aktiver Beleuchtung produzierten Pixelbilddaten, einfach bestimmt werden.
Die Bildverarbeitungsschaltung 112 kann eine Lock-in-Verstärkungsschaltung 224 (siehe 2) für die Demodulation der empfangenen, elektromagnetischen Wellen 106r, 108r, 110r umfassen. Die Lock-in-Verstärkungsschaltung 224 kann als eine Analogschaltung oder eine Digitalschaltung implementiert sein und mit einer Modulationssteuerschaltung 226 verbunden sein (siehe 2). Die Lock-in-Verstärkungsschaltung kann Intensitätsinformationen der Pixelbilddaten basierend auf den Pixelbilddaten und dem Modulationssteuersignal von der Modulationssteuerschaltung 226 erhalten. Zum Beispiel kann die Lock-in-Verstärkerschaltung die Intensitätsinformationen der Pixelbilddaten basierend auf einem Hochfrequenz-Modulationssteuersignal der Modulationssteuerschaltung 226 demodulieren. Auf diese Weise kann die Lock-in-Verstärkungsschaltung Intensitätsinformationen der ersten Pixelbilddaten 116 basierend auf den ersten Pixelbilddaten 116 und dem Modulationssteuersignal erhalten. Auf diese Weise kann die Lock-in-Verstärkungsschaltung Intensitätsinformationen der darauffolgenden Pixelbilddaten 118 basierend auf den darauffolgenden Pixelbilddaten 118 und dem Modulationssteuersignal erhalten.
Aufgrund der Implementierung der Bildverarbeitungsschaltung 112 einschließlich der Lock-in-Verstärkungsschaltung für die Demodulation der empfangenen, elektromagnetischen Wellen 106, 108r, 110r kann eine erhöhte Genauigkeit der Messung von Intensitätsinformationen der Pixelbilddaten erreicht werden.
Die erhaltenen Intensitätsinformationen können durch die Bildverarbeitungsschaltung 112 verwendet werden, um das Farbbild 114 zum Beispiel basierend auf Intensitätsinformationen der ersten Pixelbilddaten 116, der zweiten Pixelbilddaten 118, der dritten Pixelbilddaten und vierten Pixelbilddaten zu produzieren.
Zum Beispiel können die Sequenz der Bildaufnahme und die Anzahl von Bildern mit und ohne aktive Beleuchtung im Verhältnis zu der Anzahl von Bildern mit aktiver Beleuchtung variiert und dynamisch angepasst werden.
Es versteht sich, dass verschiedene Ausführungsbeispiele nicht zwingend auf die oben beschriebene Bilderzeugungssequenz beschränkt sind und variiert werden können. Zum Beispiel können erste Pixelbilddaten 116, zweite Pixelbilddaten 118, dritte Pixelbilddaten und vierte Pixelbilddaten jeweils durch rote aktive Beleuchtung, grüne aktive Beleuchtung, blaue aktive Beleuchtung und Umgebungslicht erhalten werden. Die Szenerie kann zum Beispiel zuerst mit einer roten LED (LED = light emitting diode = Leuchtdiode), gefolgt von einer grünen LED, gefolgt von einer blauen LED illuminiert werden und ein Intensitätsbild kann für jede aufgezeichnet werden. Bei anderen Beispielen können erste Pixelbilddaten 116, zweite Pixelbilddaten 118, dritte Pixelbilddaten und vierte Pixelbilddaten jeweils zum Beispiel durch rote aktive Beleuchtung, blaue aktive Beleuchtung, Umgebungslicht, grüne aktive Beleuchtung erhalten werden. Ferner kann ein Bild ohne aktive Beleuchtung aufgezeichnet werden. Die Überlappung der Bilder führt zu einem Farbbild umfassend Distanzinformationen, und das nicht gewollte Hintergrundlicht kann basierend auf dem Bild ohne aktive Beleuchtung berechnet oder bestimmt werden.
Bei einigen Ausführungsbeispielen können Wellenlängen mit Ausnahme der bisher erwähnten in der lichtemittierenden Vorrichtung 200 zum Produzieren der Pixelbilddaten implementiert sein. Zum Beispiel kann bei einigen Ausführungsbeispielen eine unterschiedliche Farbkombination verwendet werden. Die Farben in einer Farbkombination können Komplementärfarben sein. Zum Beispiel kann eine Komplementärfarbkombination aus cyanfarbenem, magentafarbenem und gelben Licht anstelle einer Komplementärfarbkombination aus rotem, blauem und grünem Licht verwendet werden. Bei einigen Ausführungsbeispielen können mehr oder weniger als die bei diesen Ausführungsbeispielen beschriebenen, drei Farben verwendet werden.
Bei einigen Ausführungsbeispielen kann das Verhältnis der Anzahl von Pixelbilddaten ohne aktive Beleuchtung (nur Umgebungslicht) zu der mit aktiver Beleuchtung (gefärbtes Licht unterschiedlicher Wellenlängen) produzierten Anzahl von Pixelbilddaten bei Bedarf auch variiert und dynamisch angepasst werden. Zum Beispiel wird bei oben beschriebenen Ausführungsbeispielen Pixelbilddaten ohne aktive Beleuchtung für je drei Pixelbilddaten, die mit aktiver Beleuchtung gemacht werden, produziert. Dieses Verhältnis von 1:3 kann bei Bedarf variiert werden.
Bei einigen Ausführungsbeispielen kann die oben beschriebene Bilderzeugungssequenz wiederholt werden, sodass eine Vielzahl von Pixelbilddaten (z. B. erste Pixelbilddaten 116, zweite Pixelbilddaten 118, dritte Pixelbilddaten und vierte Pixelbilddaten) fortlaufend sehr häufig und sehr schnell produziert werden können. Zum Beispiel kann die Wiederholung der Bildaufnahmesequenz sehr häufig und sehr schnell ausgeführt werden. Zum Beispiel ist es möglich, die Bildaufnahmesequenz mehr als hundert Mal in einem Bruchteil einer Sekunde zu wiederholen. Die wiederholte Verarbeitung verbessert die Qualität des Farbbildes 114 und reduziert das Rauschen. Ferner können durch Bewegung verursachte Artefakte reduziert werden. Bei einigen Ausführungsbeispielen können Pixelbilddaten basierend auf elektromagnetischen Wellenlängen mit einer bestimmten Wellenlänge häufiger produziert werden als elektromagnetische Wellenlängen mit einer anderen Wellenlänge.
Andere Bildsensoren zum Produzieren von Farbbildern können Farbfilter anstatt einzelner Pixel verwenden, sodass die unterschiedlichen Pixel empfindlich für unterschiedliche Farben sind. Die Pixel für unterschiedliche Farben liegen nebeneinander. Zum Beispiel kann jedes Pixel eine 2x2-Anordnung mit vier Farbteilpixeln, z. B. Rot, Blau und Grün, umfassen. Die Farbfilter erlauben die Sendung von Licht einer ersten Wellenlänge, blockieren aber die Sendung aller anderen Wellenlängen. Ferner führt dies zu einer reduzierten Auflösung, da ein Pixel eine Vielzahl von Farbpixeln erfordert, um Vollfarbinformationen zu produzieren. Ferner werden durch kontrastreiche Objekte produzierte Farbartefakte häufig beobachtet. Anders als solche Bildsensoren kann das Pixelelement 104 die elektromagnetischen Wellen mit unterschiedlichen Wellenlängen an dem gleichen Elektromagnetische-Welle-Empfangsbereich des Pixelelements empfangen. Anders ausgedrückt, das Pixelelement 104 einer vorgeschlagenen Bilderzeugungsvorrichtung kann während des ersten Empfangszeitintervalls, tr1, die elektromagnetischen Wellen mit der ersten Wellenlänge 106r und während des darauffolgenden, zweiten Empfangszeitintervalls, tr2, die elektromagnetischen Wellen mit der zweiten Wellenlänge 108r an einem gleichen Elektromagnetische-Welle-Empfangsbereich des Pixelelements 104 empfangen. Anders ausgedrückt, kein Teil oder Abschnitt des Elektromagnetische-Welle-Empfangsbereichs kann zum Senden von elektromagnetischen Wellen mit einer ersten Wellenlänge verwendet werden, während elektromagnetische Wellen mit anderen Wellenlängen, die davor oder danach detektiert werden sollen, blockiert sind.
Die elektromagnetischen Wellen mit den unterschiedlichen Wellenlängen können durch das Pixelelement 104 über einen gemeinsamen Lichtweg empfangen werden. Zum Beispiel kann der gemeinsame Lichtweg einen Eingangsweg durch die Linsenanordnung zu der Bildsensorschaltung 102 umfassen. Der gemeinsame Lichtweg kann für elektromagnetische Wellen der ersten Wellenlänge 106r und die elektromagnetischen Wellen der zweiten Wellenlänge 108r während des ersten Empfangszeitintervalls, tr1, und des zweiten Empfangszeitintervalls, tr2, passierbar sein. Anders ausgedrückt, die elektromagnetischen Wellen mit der ersten Wellenlänge 106r und die elektromagnetischen Wellen mit der zweiten Wellenlänge 108r können durch das Pixelelement 104 über einen gemeinsamen Lichtweg empfangen werden. Anders ausgedrückt, der Lichtweg, der von den elektromagnetischen Wellen mit der ersten Wellenlänge 106r durchlaufen wird, um das Pixelelement 104 zu erreichen, kann identisch zu dem Lichtweg sein, der von den elektromagnetischen Wellen mit der zweiten Wellenlänge 108r durchlaufen wird, um das Pixelelement 104 zu erreichen. Nach Erreichen des Pixelelements 104 können die elektromagnetischen Wellen mit der ersten Wellenlänge 106r und die elektromagnetischen Wellen mit der zweiten Wellenlänge 108r an einem identischen Elektromagnetische-Welle-Empfangsbereich empfangen werden.
Zum Beispiel kann der Elektromagnetische-Welle-Empfangsbereich des Pixelelements 104 die kleinste Flächeneinheit definieren, die durch die Bildsensorschaltung 102 zum Empfangen der elektromagnetischen Wellen und somit zum Erhalten der ersten Pixelbilddaten 116 und der zweiten Pixelbilddaten 118 verwendet wird. Anders ausgedrückt, das Pixelelement 104 ist zum Beispiel nicht in weitere Teilpixel unterteilt. Zum Beispiel ist die Anzahl von Pixelelementen, die zum Erhalten von Pixelbilddaten für das produzierte Farbbild des Objektes verwendet werden, gleich einer Anzahl von Pixeln des produzierten Farbbildes 114 des Objektes 120. Anders ausgedrückt, eine Auflösung des produzierten Farbbildes kann gleich einer Anzahl von Pixelelementen der Bildsensorschaltung 102 sein.
Aufgrund der obigen Implementierung kann die Pixelauflösung verbessert werden, da die elektromagnetischen Wellen unterschiedlicher Wellenlängen durch einen gemeinschaftlich verwendeten, identischen Elektromagnetische-Welle-Empfangsbereich empfangen werden. Da die elektromagnetischen Wellen unterschiedlicher Wellenlängen jeweils aufeinanderfolgend ankommen, kann ferner der gleiche Photodetektor pro Pixelelement verwendet werden, um die Intensitätsdaten für jedes Pixelelement zu empfangen und zu produzieren, und mehrere Photodetektoren für jede Lichtwellenlänge sind nicht länger notwendig.
In einigen Fällen kann es wünschenswert sein, zusätzlich zu oder anstatt eines zweidimensionalen Farbbildes ein dreidimensionales Bild eines Objektes zu produzieren.
Zum Beispiel kann es wünschenswert sein, ein dreidimensionales Farbbild oder ein nicht farbiges, dreidimensionales Bild zu produzieren. Gemäß einigen Ausführungsbeispielen kann die Bilderzeugungsvorrichtung 100 eine Photomischvorrichtung (PMD = photonic mixing device) umfassen. Zum Beispiel kann das Pixelelement 104 als eine PMD-Schaltung ausgebildet sein, um Pixelbilddaten zu produzieren, die sowohl Intensitätsinformationen als auch Distanzinformationen aus jeder jeweiligen, empfangenen, elektromagnetischen Welle enthalten. Pixelbilddaten, die sowohl Intensitätsinformationen als auch Distanzinformationen umfassen, können durch die Bildverarbeitungsschaltung 112 verarbeitet werden, um das finale Bild zu produzieren, das ein dreidimensionales Farbbild sein kann.
Zum Beispiel kann das Pixelelement (oder jedes Pixelelement) der Bildsensorschaltung als eine PMD-Vorrichtung implementiert sein, die zwei transparente Ladungskollektoren umfasst, d. h. Photogates, die in Wechselvorspannung arbeiten. Durch Synchronisieren der Beleuchtungsquelle mit einem Modulationssteuersignal kann die Beleuchtungsquelle ausgebildet sein, um eine Vielzahl von Lichtpulsen, z. B. Infrarot-Licht oder sichtbares Licht, mit einer Modulationsfrequenz des Modulationssteuersignals zu erzeugen. Die reflektierten Lichtpulse können durch die Bildsensorschaltung der PMD-Vorrichtung empfangen werden, die die Phasenverzögerung des empfangenen Signals in Bezug auf die Vielzahl von durch die Illuminationsquelle erzeugten Lichtpulsen misst. Die Frequenz der Wechselvorspannung (Gegentaktsignalpulse), die auf die zwei Photogates angewandt wird, kann auf der Modulationsfrequenz des Modulationssteuersignals basieren, das auch für die Modulation der Illuminationsquelle verwendet werden kann. Die alternierend vorgespannten Photogates können abwechselnd die durch die Illuminationsquelle emittierten und durch ein Objekt reflektierten Lichtpulse empfangen. Da das empfangene Licht auch mit dem gleichen Signal wie die PMD-Bildsensorschaltung moduliert wird, kann die Differenz des elektrischen Signalausgangs von dem ersten Photogate und dem zweiten Photogate direkt von der Phasenverzögerung zwischen der Illuminationsquelle und der PMD-Bildsensorschaltung abhängig sein und kann durch die Korrelationsfunktion dargestellt werden. Zum Beispiel können diese Daten verwendet werden, um die Distanz von dem Objekt zu der Bildsensorschaltung zu berechnen, wobei die berechnete Distanz proportional zu der Phasenverschiebung geteilt durch die Modulationsfrequenz ist. Zum Beispiel kann das Wechselvorspannungssignal der PMD-Vorrichtung fortlaufend mit unterschiedlichen Phasenversätzen angewandt werden oder das durch die Illuminationsquelle emittierte Licht kann amplitudenmoduliert sein und fortlaufend mit unterschiedlichen Phasenversätzen emittiert werden. Die Phasenverzögerung zwischen der Illuminationsquelle und der PMD-Bildsensorschaltung kann basierend auf den unterschiedlichen Phasenversätzen bestimmt werden (z. B. durch Identifizieren des Phasenversatzes, der einem maximal detektierten Strom oder einer maximal detektierten Spannung entspricht).
Die Distanzinformationen der Pixelbilddaten können auf einer Phasenverzögerung zwischen den elektromagnetischen Wellen, die während eines Emittierzeitintervalls durch eine lichtemittierende Vorrichtung emittiert werden, und den entsprechenden elektromagnetischen Wellen, die durch das Pixelelement 104 während eines Empfangszeitintervalls empfangen werden, basieren. Zum Beispiel können die Distanzinformationen der ersten Pixelbilddaten 116 auf einer Phasenverzögerung zwischen den elektromagnetischen Wellen mit der ersten Wellenlänge 106e, die während eines ersten Emittierzeitintervalls, te1, durch die lichtemittierende Vorrichtung 220 emittiert werden, und den elektromagnetischen Wellen mit der ersten Wellenlänge 106r, die während des ersten Empfangszeitintervalls, tr1, empfangen werden, basieren.
Eine in TOF-Kameras verwendete Autokorrelationsfunktion kann bestimmt werden. Die Distanzinformationen werden zum Beispiel in der Phase der Autokorrelationsfunktion gehalten, während die Farbinformationen in der Amplitude der Autokorrelationsfunktion gehalten werden. Sowohl die Intensitätsinformationen als auch die Distanzinformationen der ersten Pixelbilddaten 116 können zum Beispiel basierend auf einer Autokorrelationsfunktion bestimmt werden. Zum Beispiel kann die Autokorrelationsfunktion auf dem Modulationssteuersignal und einem Signal basieren, das proportional zu den elektromagnetischen Wellen mit der ersten Wellenlänge ist, die durch das Pixelelement empfangen werden, wie beispielsweise einem Photostrom oder einer Spannung oder einem Widerstandssignal. Zum Beispiel kann die Autokorrelationsfunktion auf dem Modulationssteuersignal und demodulierten, empfangenen, elektromagnetischen Wellen 106r, 108r, 110r basieren. Zum Beispiel können die ersten Pixelbilddaten 116 und zweiten Pixelbilddaten 118 jeweils sowohl Intensitätsinformationen als auch Distanzinformationen umfassen, die den empfangenen, elektromagnetischen Wellen mit der ersten Wellenlänge 106r bzw. den elektromagnetischen Wellen mit der zweiten Wellenlänge 108r entsprechen.
Die Bildverarbeitungsschaltung 112 kann das (dreidimensionale) Farbbild 114 oder ein zusätzliches dreidimensionales Bild basierend auf den Distanzinformationen der Pixelbilddaten produzieren. Zum Beispiel kann die Bildverarbeitungsschaltung 112 das Farbbild 114 oder ein zusätzliches, dreidimensionales Bild basierend auf den Distanzinformationen der ersten Pixelbilddaten 116 bzw. zweiten Pixelbilddaten 118 produzieren. Zum Beispiel kann die Bildverarbeitungsschaltung 112 das Farbbild 114 oder das zusätzliche dreidimensionale Bild durch die Summierung (oder Überlappung) von ersten Pixelbilddaten 116 und zweiten Pixelbilddaten 118 produzieren. Die Überlappung der Bilder führt zu einem Farbbild, das Distanzinformationen umfasst. Das nicht gewollte Hintergrundlicht wird nicht länger in der Autokorrelationsfunktion gehalten.
2 zeigt eine schematische Darstellung der Bilderzeugungsvorrichtung 100 gemäß verschiedenen Ausführungsbeispielen.
Zum Beispiel kann ein Bediener der Bilderzeugungsvorrichtung 100 die Freigabe der Verschlussanordnung auslösen, was anzeigt, dass ein Bild des Objektes 120 durch die Bilderzeugungsvorrichtung produziert werden soll. Nach Freigabe des Verschlusses kann die lichtemittierende Vorrichtung 220 das Objekt oder die Szenerie fortlaufend mit elektromagnetischen Wellen mit einer ersten Wellenlänge 106e, elektromagnetischen Wellen mit einer zweiten Wellenlänge 108e und elektromagnetischen Wellen mit einer dritten Wellenlänge 110e hintereinander illuminieren. Zum Beispiel kann die lichtemittierende Vorrichtung 220 während eines ersten Emittierzeitintervalls, te1, elektromagnetische Wellen mit einer ersten Wellenlänge 106e emittieren, die sichtbares Licht einer ersten Farbe, z. B. rotes Licht, mit einer Wellenlänge von 620 bis 750 nm sein können. Danach kann die lichtemittierende Vorrichtung 220 während eines darauffolgenden, zweiten Emittierzeitintervalls, te2, elektromagnetische Wellen mit einer zweiten Wellenlänge 108e emittieren, die sichtbares Licht einer zweiten Farbe, z. B. grünes Licht, mit einer Wellenlänge von 495 bis 570 nm sein können. Danach kann die lichtemittierende Vorrichtung 220 auch während eines darauffolgenden, dritten Emittierzeitintervalls, te3, elektromagnetische Wellen mit einer dritten Wellenlänge 110e emittieren, die sichtbares Licht einer dritten Farbe, z. B. blaue Farbe, mit einer Wellenlänge von 450 bis 495 nm sein können.
Die lichtemittierende Vorrichtung 220 kann eine erste lichtemittierende Quelle 220a zum Emittieren der elektromagnetischen Wellen mit der ersten Wellenlänge 106e, eine zweite lichtemittierende Quelle 220b zum Emittieren der elektromagnetischen Wellen mit der zweiten Wellenlänge 108e und eine dritte lichtemittierende Quelle 220c zum Emittieren der elektromagnetischen Wellen mit der dritten Wellenlänge 110e umfassen. Bei einer Konfiguration kann die lichtemittierende Vorrichtung 220 eine Leuchtdiodenanordnung aufweisen, die eine erste Leuchtdiode (LED) 220a, z. B. eine rote LED, eine zweite Leuchtdiode 220b, z. B. eine grüne LED, und eine dritte Leuchtdiode 220c, z. B. eine blaue LED, umfassen kann. Bei anderen Konfigurationen können zum Beispiel Laserdioden anstelle von LEDs verwendet werden.
Wie in Bezug auf die obigen Ausführungsbeispiele beschrieben, kann das Bilderzeugungssequenzverfahren mehrere Male wiederholt werden, um zum Beispiel die Qualität zu verbessern und das Rauschen zu reduzieren. Die Bildakquisition erfolgt, sodass die Vielzahl von Pixelbilddaten (z. B. erste Pixelbilddaten 116, zweite Pixelbilddaten 118, dritte Pixelbilddaten und vierte Pixelbilddaten) fortlaufend sehr häufig und sehr schnell produziert werden kann, um die Qualität zu verbessern und das Rauschen zu reduzieren.
Die Bildverarbeitungsschaltung 112 kann eine Modulationssteuerschaltung 226 umfassen, die ausgebildet ist, um ein Modulationssteuersignal an die lichtemittierende Vorrichtung 220 bereitzustellen. Das Modulationssteuersignal kann zum Steuern einer Modulation (z. B. Amplituden-/Intensitätsmodulation) der durch die lichtemittierende Vorrichtung 220 emittierten, elektromagnetischen Wellen verwendet werden.
Die Modulationssteuerschaltung 226 kann ein Modulationssteuersignal an die lichtemittierende Vorrichtung 220 zum Steuern einer Modulation der elektromagnetischen Wellen mit der ersten Wellenlänge 106e, der elektromagnetischen Wellen mit der zweiten Wellenlänge 108e und der elektromagnetischen Wellen mit der dritten Wellenlänge 1 10e, die durch die lichtemittierende Vorrichtung 220 emittiert werden, bereitstellen. Zum Beispiel kann das Modulationssteuersignal ein Hochfrequenz-Signal sein. Das Modulationssteuersignal kann eine Frequenz größer als 1 MHz oder größer als das Zehnfache von MHz aufweisen. Zum Beispiel kann die Modulationsfrequenz von etwa 1 MHz bis etwa 5 MHz oder von etwa 1 MHz bis etwa 10 MHz oder von etwa 1 MHz bis etwa 20 MHz oder höher reichen, was zu Emittier- und Empfangszeitintervallen führen kann, die sich von etwa 1 µs bis etwa 20 ns oder von etwa 1 µs bis 100 ns oder von etwa 1 µs bis etwa 50 ns oder weniger bewegen. Zum Beispiel kann die Modulationssteuerschaltung 226 elektromagnetische Wellen von der ersten lichtemittierenden Quelle 220a mit dem Modulationssteuersignal modulieren. Die durch die lichtemittierende Vorrichtung 220 emittierten, elektromagnetischen Wellen 106e, 108e, 110e sind daher zum Beispiel modulierte, elektromagnetische Wellen, die durch das Modulationssteuersignal moduliert sind. Die Frequenz des Modulationssteuersignals zum Modulieren der elektromagnetischen Wellen mit der ersten Wellenlänge 106e während des ersten Zeitintervalls und zum Modulieren der elektromagnetischen Wellen mit der zweiten Wellenlänge 108e während des zweiten Zeitintervalls können gleich sein oder sich voneinander unterscheiden.
Die fortlaufend gesendeten, elektromagnetischen Wellen mit der ersten Wellenlänge 106e, der zweiten Wellenlänge 108e bzw. der dritten Wellenlänge 110e können jeweils fortlaufend durch das Objekt reflektiert werden und danach können die reflektierten, elektromagnetischen Wellen 106r, 108r, 110r fortlaufend durch die Bildsensorschaltung 112 der Bilderzeugungsvorrichtung 100 empfangen werden.
Die Modulation der LEDs kann jeweils mit der PMD der Pixelelemente synchronisiert sein. Die Modulation der Emission der elektromagnetischen Wellen mit den unterschiedlichen Wellenlängen, z.B. 106e, 108e, 110e, kann jeweils mit der PMD eines jeden Pixels synchronisiert sein, sodass Intensitätsinformationen und Distanzinformationen über das Objekt 120 durch das Pixelelement 104 genau produziert werden können.
Aufgrund der obigen Implementierung, wo die farbige Beleuchtung durch das Hochfrequenz-Modulationssteuersignal moduliert wird und die Modulierung der Kanäle mit der Autokorrelationsfunktion in der PMD synchronisiert werden kann, können Farbinformationen aus den unterschiedlichen Daten für jeden Kanal erhalten werden und nicht gewolltes Hintergrundlicht kann unterdrückt werden. Ferner sind Eigenschaften der aktiven Beleuchtung bekannt. Somit können Ergebnisse der Bildaufnahme weniger von den Bedingungen des Lichts um das Objekt oder die Szenerie herum abhängig sein. Somit ist zum Beispiel eine reguläre Weißabgleichkorrektur nicht länger notwendig, um sicherzustellen, dass die Farbe und die Farbtemperatur korrekt dargestellt sind. Anders ausgedrückt, zum Beispiel kann auf reguläre Weißabgleichkorrekturprozesse, wie beispielsweise vollautomatischen Abgleich, manuellen Weißabgleich, softwarebasierten Weißabgleich, Weißabgleich-Belichtungsreihe (Weißabgleich-Bracketing), die komplex, teuer (insbesondere mit dem manuellen Weißabgleich) sind und suboptimale Ergebnisse produzieren, verzichtet werden.
Während die obigen Ausführungsbeispiele beschreiben, wie Intensitäts-(Farb-)Informationen und Distanzinformationen gleichzeitig durch das Pixelelement 104 unter Verwendung der Autokorrelationsfunktion produziert werden können, können bei anderen Ausführungsbeispielen andere Operationsmodussequenzen angewandt werden. Zum Beispiel ist es möglich, dass die Intensitätsinformationen und die Distanzinformationen aufeinanderfolgend bestimmt werden, d. h. Intensitäts- und Distanzinformationen können durch das Pixelelement 104 zu unterschiedlichen Zeiten, z. B. in einer unterschiedlichen Sequenz, produziert werden.
Zum Beispiel können bei einigen Ausführungsbeispielen die ersten Pixelbilddaten 116 nur Distanzinformationen umfassen, während die zweiten Pixelbilddaten 118 und dritten Pixelbilddaten jeweils nur Intensitätsinformationen umfassen können. Die Distanzinformationen der ersten Pixelbilddaten 116 können auf einer Phasenverzögerung der empfangenen, elektromagnetischen Wellen mit der ersten Wellenlänge 106r basieren, während die Intensitätsinformationen der zweiten Pixelbilddaten 118 und der dritten Pixelbilddaten jeweils auf der Intensität der elektromagnetischen Wellen mit der zweiten Wellenlänge 108r bzw. der elektromagnetischen Wellen mit der dritten Wellenlänge 110r basieren können.
Die Entscheidung dahingehend, welche Wellenlänge der elektromagnetischen Wellen zu verwenden ist, um die Distanzinformation zu produzieren, kann basierend auf der Schwellenmodulationsfrequenz, z. B. einer maximal möglichen Modulationsfrequenz der lichtemittierenden Quellen 220a, 220b, 220c, getroffen werden. Zum Beispiel kann die Bestimmung der Distanzinformationen unter Verwendung der gefärbten LEDs, z. B. aller der gefärbten LEDs, durchgeführt werden. Alternativ dazu, kann nur eine LED zum Bestimmen der Distanzinformationen verwendet werden. Zum Beispiel kann nur eine LED, z. B. 220a, verwendet werden, um Distanzinformationen zu bestimmen, da die anderen LEDs möglicherweise nicht in der Lage sind, über 1 MHz moduliert zu werden. Bei anderen Ausführungsbeispielen kann eine zusätzliche Lichtquelle verwendet werden, um die Distanzinformationen zu bestimmen (z. B. Infrarot-LED, Infrarot-Laserdiode).
Bei einigen Ausführungsbeispielen kann ein einziger Bildsensor, z. B. Bildsensorschaltung 102, verwendet werden, um sowohl das Farbbild als auch das TOF-3D-Bild zu produzieren. Der einzige Bildsensor, z. B. Bildsensorschaltung 102, kann zum Beispiel in einem einzigen Halbleiterchip gebildet werden. Diese Implementierung kann verwendet werden, wenn elektromagnetische Wellen in dem sichtbaren Spektrum, d. h. elektromagnetische Wellen mit einer Wellenlänge, die zwischen ungefähr 350 nm und ungefähr 750 nm liegt, durch die Bildsensorschaltung empfangen werden können, um Intensitätsinformationen und Distanzinformationen zu produzieren, um das Farbbild und das 3D-Bild zu produzieren. Bei diesen Ausführungsbeispielen kann die Photodetektion der elektromagnetischen Wellen einer jeden jeweiligen Wellenlänge 106r, 108r, 110r sowohl für Intensitätsinformationen als auch für Distanzinformationen durch den gleichen Photodetektor, z. B. durch die gleiche Photodiode, in dem gleichen Pixelelement 104 ausgeführt werden.
Ein Farbbildaufnahmemodus kann in einem speziellen Operationsmodus einer TOF-Sensorkamera verwendet werden. Zum Beispiel können auch Farblichtquellen, z. B. LEDs und/oder Laserdioden, für den Betrieb im TOF-Modus verwendet werden, oder eine zusätzliche Infrarotlichtquelle kann verwendet werden.
Um die Verwendung von aktiver Beleuchtung, die für das menschliche Auge sichtbar sein kann, zu verringern, kann bei einigen Ausführungsbeispielen die Bilderzeugungsvorrichtung 100 zum Beispiel ferner eine Infrarot-Emittierschaltung umfassen, die ausgebildet ist, um während eines weiteren Emittierzeitintervalls elektromagnetische Infrarotwellen zu emittieren, die für das menschliche Auge unsichtbar sind, d. h. elektromagnetische Wellen mit einer Wellenlänge von ungefähr 700 nm bis 1 mm. Die elektromagnetischen Infrarotwellen können verwendet werden, um Distanzinformationen zu bestimmen, um ein 3D-Bild unter Verwendung von TOF-Messungen zu produzieren. Anders ausgedrückt, Distanzinformationen von Pixelbilddaten können aus dem Empfangen von elektromagnetischen Infrarotwellen produziert werden. Bei einigen Ausführungsbeispielen kann die Infrarot-Emittierschaltung als eine Infrarot-LED ausgebildet sein. Bei einigen Ausführungsbeispielen kann die Infrarot-Emittierschaltung als eine Infrarot-Laserdiode ausgebildet sein. Die Distanzinformationen der Pixelbilddaten können auf einer Phasenverzögerung der elektromagnetischen Infrarotwellen basieren.
Bei einigen Ausführungsbeispielen können mehr als eine, z. B. zwei oder mehr, Bildsensorschaltungen verwendet werden. Die zwei oder mehr Bildsensorschaltungen können zum Beispiel auf zwei oder mehr unterschiedlichen Halbleiterchips gebildet sein. Bei Ausführungsbeispielen, wo sichtbare elektromagnetische Wellen zum Bestimmen von Farbinformationen verwendet werden und wo elektromagnetische Infrarotwellen zum Bestimmen von Distanzinformationen verwendet werden, kann zum Beispiel ein erster Bildsensor, z. B. Bildsensorschaltung 102, verwendet werden, um ein Farbbild zu produzieren, und ein zweiter Bildsensor kann verwendet werden, um ein Laufzeit-3D-Bild (TOF-3D-Bild) zu produzieren.
Bei einigen Ausführungsbeispielen, wo sichtbare, elektromagnetische Wellen zum Bestimmen von Intensitätsinformationen verwendet werden und wo elektromagnetische Infrarotwellen zum Bestimmen von TOF-Distanzinformationen verwendet werden, kann ein einziger Bildsensor, z. B. Bildsensorschaltung 102, implementiert sein. Anders ausgedrückt, unterschiedliche Pixel werden für unterschiedliche Funktionen in einem einzigen Bildsensor verwendet. Zum Beispiel kann es Pixel für die Farbe (z. B. Rot, Grün, Blau) und Pixel für TOF-Informationen geben. Zum Beispiel kann die Bildsensorschaltung 102 ein erstes Array von Pixeln zum Erhalten von Intensitäts-(Farb-)Informationen und ein zweites Array von Pixeln zum Erhalten von Distanz-(3D-)Informationen umfassen. Zum Beispiel kann ein einziger Pixelsensor ein erstes Pixelelement 104 für Farbinformationen (z. B. Empfangen von elektromagnetischen Wellen in dem sichtbaren Spektrum) und ein zweites Pixelelement zum Erhalten von Distanzinformationen (z. B. Empfangen von elektromagnetischen Wellen in dem Infrarotspektrum) aufweisen.
Bei einer Implementierung dieser Pixelanordnung können Pixel in einem einzigen Bildsensor überlappen. Zum Beispiel können die Pixel für TOF-Informationen unter den Farbpixeln liegen. Zum Beispiel kann das zweite Pixelelement für die TOF-Informationen unter dem ersten Pixelelement für Farbinformationen 104 liegen. Daher ist zum Beispiel die laterale Größe von Pixelelement 104 lateral nicht beeinträchtigt. Diese Anordnung kann zum Beispiel verwendet werden, wenn die TOF-Informationen durch die Verwendung von elektromagnetischen Infrarotwellen bestimmt werden, die eine höhere Eindringtiefe in Silizium aufweisen. Aufgrund der Differenz bei der oberflächennahen Photostromerzeugung und der Photostromerzeugung tiefer in dem Substrat können die Farbinformationen und Distanzinformationen von der gleichen Bildsensorschaltung 102 (der gleiche Pixelsensor) separat ausgelesen werden.
Das Pixelelement 104 der Bildsensorschaltung 102 kann einen ersten Photodetektor umfassen, der innerhalb des Pixelelements 104 angeordnet ist, um elektromagnetische Wellen 106r, 108r, 110r, d. h. sichtbares Licht von unterschiedlichen Wellenlängen, die durch die lichtemittierende Vorrichtung 220 emittiert und durch das Objekt 120 reflektiert werden, zu empfangen bzw. zu detektieren. Der erste Photodetektor kann zum Beispiel elektromagnetische Wellen mit einer ersten Wellenlänge 106r umfassend sichtbares Licht einer ersten Farbe während des ersten Empfangszeitintervalls empfangen. Anders ausgedrückt, das Spektrum von elektromagnetischen Wellen, die während des ersten Empfangszeitintervalls empfangen werden, kann ein Maximum der ersten Farbe umfassen. Der erste Photodetektor kann aufeinanderfolgend Intensitätsinformationen der ersten 116, zweiten 118 und dritten Pixelbilddaten zum Produzieren des Farbbildes 114 produzieren. Der erste Photodetektor kann auch Umgebungslicht empfangen und detektieren, um vierte Pixelbilddaten zu produzieren, wie oben in Bezug auf verschiedene Ausführungsbeispiele beschrieben.
Das Pixelelement 104 kann während des weiteren Empfangszeitintervalls die elektromagnetischen Infrarotwellen empfangen, die durch die Infrarot-Emittierschaltung emittiert und durch das Objekt 120 reflektiert werden. Das Pixelelement 104 kann ferner einen zweiten Photodetektor umfassen, um die Distanzinformationen der Pixelbilddaten zum Produzieren eines dreidimensionalen Bildes zu produzieren. Die Bildsensorschaltung 102 kann einen zweiten Photodetektor umfassen, der innerhalb des Pixelelements 104 angeordnet ist, um elektromagnetische Infrarotwellen zu empfangen und zu detektieren, die durch die Infrarot-Emittierschaltung 220 emittiert und durch das Objekt 120 reflektiert werden. Der zweite Photodetektor kann die Distanzinformationen von fünften Pixelbilddaten zum Produzieren des Farbbildes 114 produzieren. Die fünften Pixel-Distanz-Bilddaten können auf einer Phasenverzögerung zwischen den elektromagnetischen Infrarotwellen, die durch die Infrarotlicht-Emittiervorrichtung während des weiteren Emittierzeitintervalls emittiert werden, und den elektromagnetischen Infrarotwellen, die durch das Pixelelement 104 während des weiteren Empfangszeitintervalls empfangen werden, basieren.
Das TOF-3D-Bild und das Farbbild können unter Verwendung verschiedener, elektronischer Prozesse zusammengebaut oder zusammengeführt werden. Die Bildverarbeitungsschaltung 112 kann das Farbbild oder ein zusätzliches, dreidimensionales Bild oder ein dreidimensionales Farbbild basierend auf (fünften) Pixel-Distanz-Bilddaten produzieren. Die (fünfte) Pixel-Distanz-Bilddaten kann auf den elektromagnetischen Infrarotwellen basieren, die durch das Pixelelement 104 während des weiteren Empfangszeitintervalls empfangen wurden. Zum Beispiel kann die Bildverarbeitungsschaltung 112 das Farbbild oder das zusätzliche, dreidimensionale Bild, oder das dreidimensionale Farbbild durch Summierung oder Überlappung der ersten 116, zweiten 118, dritten, vierten und fünften Pixelbilddaten produzieren. Wie oben beschrieben, können die vierten Pixelbilddaten, die Umgebungslicht-Informationen tragen, verwendet werden, um nicht gewolltes Hintergrundlicht zu entfernen.
Aufgrund der Implementierung des Verwendens von aufeinanderfolgendem Anschalten von aktiver Beleuchtung und/oder der ausschließlichen Verwendung von Umgebungslicht zum Produzieren von Informationen über das Hintergrundlicht können kontrastreiche und rauscharme Helligkeitsbilder erhalten werden. Zum Beispiel kann man auf spezielle Operationsmodi, die durch die PMD für TOF-Messungen verwendet werden, wie beispielsweise die Hintergrundlichtunterdrückungsfunktion (SBI-Funktion; SBI = suppression of background illumination), verzichtet. Die SBI-Funktion kann verhindern, dass das Pixel durch intensives Hintergrundlicht (größer als 150klux) eine Sättigung erreicht, die zu einem Verlust der Farbinformation führen kann. Die SBI-Schaltung kann verwendet werden, um den dynamischen Bereich zu steuern, durch den Farbbilder gemacht werden können.
Weitere Einzelheiten und Aspekte sind in Verbindung mit den vor- oder nachstehend beschriebenen Ausführungsbeispielen erwähnt (z. B. in Bezug auf die Bilderzeugungsvorrichtung, die Bildsensorschaltung, das Pixelelement, die Pixelbilddaten und die Pixelverarbeitungsschaltung). Das in 2 gezeigte Ausführungsbeispiel kann ein oder mehrere, optionale, zusätzliche Merkmale umfassen, die einem oder mehreren Aspekten entsprechen, die in Verbindung mit dem vorgeschlagenen Konzept oder einem oder mehrere vorstehend (z. B. 1) oder nachstehend (z. B. 3 und 4) beschriebenen Ausführungsbeispielen erwähnt sind.
3 zeigt eine schematische Darstellung einer Bilderzeugungsvorrichtung 300 gemäß verschiedenen Ausführungsbeispielen.
Die Bilderzeugungsvorrichtung 300 kann eine Bildsensorschaltung 102 umfassen, die ein Array von Pixelelementen 304 aufweist. Jedes Pixelelement 104 in dem Array von Pixelelementen 304 kann ausgebildet sein, um erste Pixelbilddaten 116 basierend auf elektromagnetischen Wellen mit einer ersten Wellenlänge 106 zu produzieren, die während eines ersten Empfangszeitintervalls, tr1, empfangen werden, wobei die elektromagnetischen Wellen mit der ersten Wellenlänge 106r durch eine lichtemittierende Vorrichtung emittiert und durch ein Objekt 120 reflektiert werden. Jedes Pixelelement 104 in dem Array von Pixelelementen 304 ist ferner ausgebildet, um zweite Pixelbilddaten 118 basierend auf elektromagnetischen Wellen mit einem zweiten Wellensignal 108r zu produzieren, die während eines zweiten Empfangszeitintervalls, tr2, empfangen werden, wobei die elektromagnetischen Wellen mit dem zweiten Wellensignal 108r durch die lichtemittierende Vorrichtung emittiert und durch das Objekt 120 reflektiert werden.
Die Bilderzeugungsvorrichtung 300 umfasst ferner die Bildverarbeitungsschaltung 112, die ausgebildet ist, um ein Farbbild 114 des Objektes 120 basierend auf den ersten Pixelbilddaten 116 und den zweiten Pixelbilddaten 118 aus jedem Pixelelement 104 in dem Array von Pixelelementen 304 zu produzieren.
Da die Implementierung des Arrays von Pixelelementen die elektromagnetischen Wellen 106r, 108r während eines ersten Empfangszeitintervalls bzw. eines zweiten Empfangszeitintervalls empfängt, kann zum Beispiel eine höhere Pixelauflösung erreicht werden und Vollfarbinformationen über das Objekt können basierend auf aufeinanderfolgender Illumination oder Beleuchtung des Objektes mit unterschiedlichen Farben bestimmt werden.
Das in 3 gezeigte Array von Pixelelementen 304 ist veranschaulichend als ein 2x2-Pixel-Array gezeigt. Es versteht sich, dass dieses Beispiel veranschaulichend verwendet ist und dass das Array von Pixelelementen 304 jegliche Anzahl von Pixeln umfassen kann, die für verschiedene Bilderzeugungsvorrichtungsanwendungen geeignet sind. Zum Beispiel kann das Array von Pixelelementen hunderte, tausende oder zehntausende oder mehr Pixelelemente aufweisen.
Pixelbilddaten, z. B. erste Pixelbilddaten 116 und zweite Pixelbilddaten 118, die durch jedes Pixelelement 104 in dem Array von Pixelelementen 304 fortlaufend produziert werden, sind veranschaulichend durch die gestrichelten Linien 116, 118 in 3 gekennzeichnet. Die Bildverarbeitungsschaltung 112 kann das Farbbild 114 basierend auf den ersten Pixelbilddaten 116 und den zweiten Pixelbilddaten 118 von jedem Pixelelement 104 in dem Array von Pixelelementen 304 produzieren.
Die Bildverarbeitungsschaltung 112 kann eine Vielzahl von aufeinanderfolgenden Farbbildern des Objektes basierend auf einer Vielzahl von aufeinanderfolgenden, ersten Pixelbilddaten 116 und einer Vielzahl von aufeinanderfolgenden, zweiten Pixelbilddaten 118 produzieren, die durch das Array von Pixelelementen 304 produziert werden. Die Bildverarbeitungsschaltung 112 kann die Vielzahl von aufeinanderfolgenden Farbbildern kombinieren, um das finale Farbbild 114 zu produzieren.
Weitere Einzelheiten und Aspekte sind in Verbindung mit vor- oder nachstehend beschriebenen Ausführungsbeispielen erwähnt (z. B. in Bezug auf die Bilderzeugungsvorrichtung, die Bildsensorschaltung, das Pixelelement, die Pixelbilddaten, und die Bildverarbeitungsschaltung). Der in 3 gezeigte Ausführungsbeispiel umfasst ein oder mehrere, optionale, zusätzliche Merkmale, die einem oder mehreren Aspekten entsprechen, die in Verbindung mit dem vorgeschlagenen Konzept oder einem oder mehreren vorstehend (z. B. 1 oder 2) oder nachstehend (z. B. 4) beschriebenen Ausführungsbeispielen erwähnt sind.
Bei einigen Ausführungsbeispielen können die hierin beschriebenen Implementierungen in einer TOF-Kamera angeordnet sein, da die TOF-Kamerafunktionen aktiv emittiertes, moduliertes, sichtbares Infrarotlicht verwenden. Anders ausgedrückt, die Bilderzeugungsvorrichtung 100, 300 kann als eine TOF-Kamera, z. B. eine TOF-Sensor-3D-Kamera, ausgebildet sein. Farbbilder und dreidimensionale Farbbilder können unter Verwendung der Implementierungen produziert werden anstatt des Produzierens von Bildern, die nur Helligkeitsinformationen in Infrarot- und Distanzinformationen tragen.
Bei anderen Ausführungsbeispielen kann die Bilderzeugungsvorrichtung 100, 300 als eine Kamera ausgebildet sein, um zweidimensionale Farbbilder und alternativ dazu oder zusätzlich dreidimensionale Bilder zu produzieren.
4 zeigt ein Flussdiagramm eines Verfahrens zum Produzieren eines dreidimensionalen Bildes gemäß verschiedenen Ausführungsbeispielen. Das Verfahren umfasst das Modulieren einer sichtbaren Lichtquelle außerhalb einer Laufzeitkamera, um modulierte, elektromagnetische Wellen basierend auf einem durch die Laufzeitkamera erzeugten Modulationssteuersignal zu emittieren.
Das Verfahren umfasst ferner das Empfangen der durch ein Objekt reflektierten, modulierten, elektromagnetischen Wellen durch die Laufzeitkamera.
Das Verfahren umfasst ferner das Produzieren eines dreidimensionalen Bildes des Objektes basierend auf den empfangenen, modulierten, elektromagnetischen Wellen, wobei die empfangenen, modulierten, elektromagnetischen Wellen durch die sichtbare Lichtquelle emittiert und durch das Objekt reflektiert werden.
Die sichtbare Lichtquelle kann eine Illuminationsquelle sein, die sichtbares Licht emittiert, d. h. elektromagnetische Wellen mit einer Wellenlänge, die von etwa 350 nm bis etwa 750 nm reicht und für das menschliche Auge sichtbar ist. Die Illumination des Objektes durch die sichtbare Lichtquelle kann die Sichtbarkeit des Objektes für das menschliche Auge verbessern.
Die sichtbare Lichtquelle kann eine unbewegliche Lichtquelle oder eine Lichtquelle eines Fahrzeugs, einer Geschwindigkeitsüberwachungskamera oder einer Straßenlampe oder eines Blitzgeräts einer Kamera umfassen.
Aufgrund der Implementierung des Modulierens einer unbeweglichen Lichtquelle oder einer Lichtquelle eines Fahrzeugs, einer Geschwindigkeitsüberwachungskamera oder einer Straßenlampe wird zum Beispiel eine aktive Beleuchtung durch die Bilderzeugungsvorrichtung nicht zwangsläufig ausgeführt. Somit ist eine lichtemittierende Vorrichtung zum Bereitstellen aktiver Beleuchtung zum Beispiel nicht zwangsläufig in der Bilderzeugungsvorrichtung enthalten.
Bei einigen Ausführungsbeispielen kann die unbewegliche Lichtquelle eine Lichtquelle außerhalb der Kamera sein. Bei einer Implementierung kann die unbewegliche Lichtquelle eine Lichtquelle einer Geschwindigkeitsüberwachungskamera sein. Bei einer anderen Implementierung kann die unbewegliche Lichtquelle eine Lichtquelle einer Beleuchtung in Haushalten oder eines an einem Gebäude befestigten Lichts oder einer Straßenlampe sein. Bei einigen Ausführungsbeispielen kann die Lichtquelle eine Lichtquelle eines Fahrzeugs sein.
Das Modulationssteuersignal kann durch eine Modulationssteuerschaltung der Bilderzeugungsvorrichtung erzeugt werden (z. B. in Verbindung mit 1, 2 und 3 erwähnt). Das Modulationssteuersignal kann an die unbewegliche Lichtquelle oder die Lichtquelle eines Fahrzeugs oder eines Endoskops oder einer Geschwindigkeitsüberwachungskamera oder einer Straßenlampe unter Verwendung einer verdrahteten oder drahtlosen Verbindung gesendet werden. Die TOF-Kamera kann eine Bilderzeugungsvorrichtung gemäß einem oder mehreren, oben beschriebenen Ausführungsbeispiele umfassen (z. B. 1, 2 und 3). Ein dreidimensionales Bild eines Objektes basierend auf den empfangenen, modulierten, elektromagnetischen Wellen kann durch die TOF-Kamera produziert werden, wenn die empfangenen, modulierten, elektromagnetischen Wellen durch die unbewegliche Lichtquelle emittiert und durch das Objekt reflektiert werden.
Verschiedene, hierin beschriebene Ausführungsbeispiele können in Kameras implementiert sein, die aktive Beleuchtung für andere Zwecke, zum Beispiel in Endoskopen, verwenden. Bei einigen Ausführungsbeispielen kann die Lichtquelle Teil eines Endoskops sein. Das Modulationssteuersignal kann an die aktive Beleuchtungsschaltung des Endoskops gesendet werden, sodass die aktive Beleuchtungsschaltung des Endoskops modulierte, elektromagnetische Wellen emittiert. Ein dreidimensionales Bild eines Objektes basierend auf den empfangenen, modulierten, elektromagnetischen Wellen kann durch die Bilderzeugungsvorrichtung produziert werden, wo die empfangenen, modulierten, elektromagnetischen Wellen durch die aktive Beleuchtungsschaltung des Endoskops emittiert und durch das Objekt reflektiert werden.
Weitere Einzelheiten und Aspekte sind in Verbindung mit vor- oder nachstehend beschriebenen Ausführungsbeispielen erwähnt (z. B. in Bezug auf die Bilderzeugungsvorrichtung, die Bildsensorschaltung und die Modulationssteuerschaltung). Die in 4 beschriebenen Ausführungsbeispiele können ein oder mehrere, optionale, zusätzliche Merkmale aufweisen, die einem oder mehreren Aspekten entsprechen, die in Verbindung mit dem vorgeschlagenen Konzept oder einem oder mehreren, vorstehend (z. B. 1 oder 2 oder 3) oder nachstehend (z. B. 5) beschriebenen Ausführungsbeispielen erwähnt sind.
5 zeigt ein Flussdiagramm eines Verfahrens 500 zum Produzieren eines Farbbildes eines Objektes gemäß verschiedenen Ausführungsbeispielen. Das Verfahren 500 umfasst das Empfangen 510 von elektromagnetischen Wellen mit einer ersten Wellenlänge durch ein Pixelelement einer Bildsensorschaltung während eines ersten Empfangszeitintervalls, wobei die elektromagnetischen Wellen mit der ersten Wellenlänge durch eine lichtemittierende Vorrichtung emittiert und durch ein Objekt reflektiert werden.
Das Verfahren 500 umfasst ferner das Empfangen 520 von elektromagnetischen Wellen mit einer zweiten Wellenlänge durch das Pixelelement während eines darauffolgenden, zweiten Empfangszeitintervalls, wobei die elektromagnetischen Wellen mit der zweiten Wellenlänge durch die lichtemittierende Vorrichtung emittiert und durch das Objekt reflektiert werden.
Das Verfahren 500 umfasst ferner das Produzieren 530 eines Farbbildes des Objektes durch eine Bildverarbeitungsschaltung basierend auf ersten Pixelbilddaten und zweiten Pixelbilddaten, wobei die ersten Pixelbilddaten auf den elektromagnetischen Wellen mit der ersten Wellenlänge basieren, die durch das Pixelelement während des ersten Empfangszeitintervalls empfangen wurden und wobei die zweiten Pixelbilddaten auf den elektromagnetischen Wellen mit der zweiten Wellenlänge basieren, die durch das Pixelelement während des zweiten Empfangszeitintervalls empfangen wurden.
Durch die Implementierung des Pixelelements so, dass es die elektromagnetischen Wellen während eines ersten Empfangszeitintervalls bzw. eines darauffolgenden, zweiten Empfangszeitintervalls empfängt, kann eine höhere Pixelauflösung erreicht werden.
Weitere Einzelheiten und Aspekte werden in Verbindung mit vorstehend beschriebenen Ausführungsbeispielen erwähnt (z. B. das Pixelelement der Bildsensorschaltung und die Bildverarbeitungsschaltung). Die in 5 beschriebenen Ausführungsbeispiele können ein oder mehrere, optionale, zusätzliche Merkmale aufweisen, die einem oder mehreren Aspekten entsprechen, die in Verbindung mit dem vorgeschlagenen Konzept oder einem oder mehreren, oben beschriebenen (z. B. 1 oder 2 oder 3 oder 4) beschriebenen Ausführungsbeispielen erwähnt sind.
Verschiedene, hierin beschriebene Ausführungsbeispiele beziehen sich auf RGBZ-Bilderzeuger. Die hierin beschriebenen Ausführungsbeispiele beziehen sich auf das Erhalten von Farbinformationen durch die sequentielle Emission von unterschiedlichen Farben durch aktive, modulierte Beleuchtung.
Prozesse zum Produzieren von 3D-Farbbildern sind häufig komplex, da zwei oder mehr Bildsensoren verwendet werden können. Ein Bildsensor kann zum Produzieren eines TOF-3D-Bildes verwendet werden und der andere Bildsensor kann zum Produzieren eines Farbbildes verwendet werden. Das TOF-3D-Bild und das Farbbild können elektronisch zusammengebaut oder unter Verwendung von Algorithmen zusammengeführt werden, was komplex ist und anfällig für Fehler sein kann. Fehler, die eingeführt werden, wenn die Bildsensoren der Kamera für das 3D-Bild und das Farbbild nicht auf der gleichen optischen Achse sind, können durch vorgeschlagene Systeme und Ausführungsbeispiele vermieden werden.
TOF-Sensor-3D-Kameras können unter Verwendung von Infrarotlicht betrieben werden. Produzierte Bilder können Helligkeitsinformationen (in Infrarot) und Distanzinformationen umfassen, jedoch fehlen ihnen Farbinformationen. Hierin beschriebene, vorgeschlagene Systeme und Ausführungsbeispiele erlauben, dass Farbinformationen mit den Distanzinformationen unter Verwendung eines einzigen Bildsensors erhalten werden.
Verschiedene Ausführungsbeispiele beziehen sich auf Pixel ohne Farbfilter. Die Farbinformationen können durch Farbbeleuchtung bestimmt werden, wenn unterschiedliche farbige Lichter fortlaufend aktiviert werden, um Bilder zu produzieren. Die Angaben der Bilder können sequentiell zusammengebaut werden, um ein Farbbild zu produzieren.
Bei verschiedenen Ausführungsbeispielen kann das nicht gewollte Hintergrundlicht unterdrückt werden, wobei die Farbbeleuchtung moduliert werden kann und in einer PMD mit der Modulation des Kanals synchronisiert werden kann. Die Farbinformationen können aus der Differenz der Daten der Kanäle bestimmt werden.
Um ein kontrastreiches, rauscharmes Helligkeitsbild in einem weiteren Bildaufnahmemodus zu produzieren, kann die Hintergrundlichtunterdrückung vermieden werden. Dies kann mit der aktiven Beleuchtung und ausschließlichen Verwendung von Hintergrundlicht, wie in vorgeschlagenen Systemen und Ausführungsbeispielen beschrieben, durchgeführt werden.
Verschiedene, hierin beschriebene Ausführungsbeispiele können in herkömmlichen Kameras für die Produktion von Farbinformationen implementiert sein. Verschiedene, hierin beschriebene Ausführungsbeispiele können in TOF-Kameras implementiert sein, die aktiv emittiertes, moduliertes, sichtbares oder Infrarotlicht verwenden. Die Bestimmung von Farbinformationen kann unter Verwendung vorgeschlagener Systeme, Verfahren und Ausführungsbeispielen durchgeführt werden, ohne zusätzliche Komplikationen oder Komplexitäten hinzuzufügen.
Ausführungsbeispiele können weiterhin ein Computerprogramm mit einem Programmcode zum Durchführen eines der obigen Verfahren bereitstellen, wenn das Computerprogramm auf einem Computer oder Prozessor ausgeführt wird. Ein Fachmann würde leicht erkennen, dass Schritte verschiedener oben beschriebener Verfahren durch programmierte Computer durchgeführt werden können. Hierbei sollen einige Ausführungsbeispiele auch Programmspeichervorrichtungen, z. B. Digitaldatenspeichermedien, abdecken, die maschinen- oder computerlesbar sind und maschinenausführbare oder computerausführbare Programme von Anweisungen codieren, wobei die Anweisungen einige oder alle der Schritte der oben beschriebenen Verfahren durchführen. Die Programmspeichervorrichtungen können z. B. Digitalspeicher, magnetische Speichermedien wie beispielsweise Magnetplatten und Magnetbänder, Festplattenlaufwerke oder optisch lesbare Digitaldatenspeichermedien sein. Auch sollen weitere Ausführungsbeispiele Computer programmiert zum Durchführen der Schritte der oben beschriebenen Verfahren oder (feld-) programmierbare Logik-Arrays ((F)PLA - (Field) Programmable Logic Arrays) oder (feld-) programmierbare Gate-Arrays ((F)PGA - (Field) Programmable Gate Arrays) programmiert zum Durchführen der Schritte der oben beschriebenen Verfahren abdecken.
Durch die Beschreibung und Zeichnungen werden nur die Grundsätze der Offenbarung dargestellt. Es versteht sich daher, dass der Fachmann verschiedene Anordnungen ableiten kann, die, obwohl sie nicht ausdrücklich hier beschrieben oder dargestellt sind, die Grundsätze der Offenbarung verkörpern und in ihrem Sinn und Schutzbereich enthalten sind. Weiterhin sollen alle hier aufgeführten Beispiele grundsätzlich nur Lehrzwecken dienen, um den Leser beim Verständnis der Grundsätze der Offenbarung und der durch den (die) Erfinder beigetragenen Konzepte zur Weiterentwicklung der Technik zu unterstützen, und sollen als ohne Begrenzung solcher besonders aufgeführten Beispiele und Bedingungen dienend aufgefasst werden. Weiterhin sollen alle hiesigen Aussagen über Grundsätze, Aspekte und Ausführungsbeispiele der Offenbarung wie auch besondere Beispiele derselben deren Entsprechungen umfassen.
Als „Mittel für...“ (Durchführung einer gewissen Funktion) bezeichnete Funktionsblöcke sind als Funktionsblöcke umfassend Schaltungen zu verstehen, die jeweils zum Durchführen einer gewissen Funktion ausgebildet sind. Daher kann ein „Mittel für etwas“ ebenso als „Mittel ausgebildet für oder geeignet für etwas“ verstanden werden. Ein Mittel ausgebildet zum Durchführen einer gewissen Funktion bedeutet daher nicht, dass ein solches Mittel notwendigerweise die Funktion durchführt (in einem gegebenen Zeitmoment).
Funktionen verschiedener in den Figuren dargestellter Elemente einschließlich jeder als „Mittel“, „Mittel zur Bereitstellung eines Sensorsignals“, „Mittel zum Erzeugen eines Sendesignals“ usw. bezeichneter Funktionsblöcke können durch die Verwendung dedizierter Hardware wie beispielsweise „eines Signalanbieters“, „einer Signalverarbeitungseinheit“, „eines Prozessors“, „einer Steuerung“, usw. wie auch als Hardware fähig der Ausführung von Software in Verbindung mit zugehöriger Software bereitgestellt werden. Weiterhin könnte jede hier als „Mittel“ beschriebene Instanz als „ein oder mehrere Module“, „eine oder mehrere Vorrichtungen“, „eine oder mehrere Einheiten“, usw. implementiert sein oder diesem entsprechen. Bei Bereitstellung durch einen Prozessor können die Funktionen durch einen einzigen dedizierten Prozessor, durch einen einzelnen geteilten Prozessor oder durch eine Vielzahl einzelner Prozessoren bereitgestellt werden, von denen einige geteilt sein können. Weiterhin soll ausdrückliche Verwendung des Begriffs „Prozessor“ oder „Steuerung“ nicht als ausschließlich auf zur Ausführung von Software fähige Hardware bezogen ausgelegt werden, und kann implizit ohne Begrenzung Digitalsignalprozessor-(DSP-) Hardware, Netzprozessor, anwendungsspezifische integrierte Schaltung (ASIC = Application Specific Integrated Circuit), feldprogrammierbare Logikanordnung (FPGA = Field Programmable Gate Array), Nurlesespeicher (ROM = Read Only Memory) zum Speichern von Software, Direktzugriffsspeicher (RAM = Random Access Memory) und nichtflüchtige Speichervorrichtung (storage) einschließen. Auch kann sonstige Hardware, herkömmliche und/oder kundenspezifische, eingeschlossen sein.
Der Fachmann sollte verstehen, dass alle hiesigen Blockschaltbilder konzeptmäßige Ansichten beispielhafter Schaltungen darstellen, die die Grundsätze der Offenbarung verkörpern. Auf ähnliche Weise versteht es sich, dass alle Flussdiagramme, Ablaufdiagramme, Zustandsübergangsdiagramme, Pseudocode und dergleichen verschiedene Prozesse darstellen, die im Wesentlichen in computerlesbarem Medium dargestellt und so durch einen Computer oder Prozessor ausgeführt werden, ungeachtet dessen, ob ein solcher Computer oder Prozessor ausdrücklich dargestellt ist.
Weiterhin sind die nachfolgenden Ansprüche hiermit in die detaillierte Beschreibung aufgenommen, wo jeder Anspruch als getrenntes Ausführungsbeispiel für sich stehen kann. Wenn jeder Anspruch als getrenntes Ausführungsbeispiel für sich stehen kann, ist zu beachten, dass - obwohl ein abhängiger Anspruch sich in den Ansprüchen auf eine besondere Kombination mit einem oder mehreren anderen Ansprüchen beziehen kann - andere Ausführungsbeispiele auch eine Kombination des abhängigen Anspruchs mit dem Gegenstand jedes anderen abhängigen oder unabhängigen Anspruchs einschließen können. Diese Kombinationen werden hier vorgeschlagen, sofern nicht angegeben ist, dass eine bestimmte Kombination nicht beabsichtigt ist. Weiterhin sollen auch Merkmale eines Anspruchs für jeden anderen unabhängigen Anspruch eingeschlossen sein, selbst wenn dieser Anspruch nicht direkt abhängig von dem unabhängigen Anspruch gemacht ist.
Es ist weiterhin zu beachten, dass in der Beschreibung oder in den Ansprüchen offenbarte Verfahren durch eine Vorrichtung mit Mitteln zum Durchführen jeder der jeweiligen Schritte dieser Verfahren implementiert sein können.
Weiterhin versteht es sich, dass die Offenbarung vielfacher, in der Beschreibung oder den Ansprüchen offenbarter Schritte oder Funktionen nicht als in der bestimmten Reihenfolge befindlich ausgelegt werden sollte. Durch die Offenbarung von vielfachen Schritten oder Funktionen werden diese daher nicht auf eine bestimmte Reihenfolge begrenzt, es sei denn, dass diese Schritte oder Funktionen aus technischen Gründen nicht austauschbar sind. Weiterhin kann bei einigen Ausführungsbeispielen ein einzelner Schritt mehrere Teilschritte einschließen oder in diese aufgebrochen werden. Solche Teilschritte können eingeschlossen sein und Teil der Offenbarung dieses Einzelschritts bilden, sofern sie nicht ausdrücklich ausgeschlossen sind.

Claims

Eine Bilderzeugungsvorrichtung (100), umfassend: eine Bildsensorschaltung (102), umfassend ein Pixelelement (104), wobei das Pixelelement (104) ausgebildet ist, um während eines ersten Empfangszeitintervalls elektromagnetische Wellen mit einer ersten Wellenlänge (106r) zu empfangen, wobei die elektromagnetischen Wellen mit der ersten Wellenlänge (106r) durch eine lichtemittierende Vorrichtung emittiert und durch ein Objekt (120) reflektiert werden, und um während eines darauffolgenden, zweiten Empfangszeitintervalls elektromagnetische Wellen mit einer zweiten Wellenlänge (108r) zu empfangen, wobei die elektromagnetischen Wellen mit der zweiten Wellenlänge (108r) durch die lichtemittierende Vorrichtung emittiert und durch das Objekt (120) reflektiert werden, und um während eines dritten Empfangszeitintervalls Umgebungslicht zu empfangen, das durch das Objekt (120) reflektiert wird; und eine Bildverarbeitungsschaltung (112), die ausgebildet ist, um ein Farbbild (114) des Objektes (120) basierend auf ersten Pixelbilddaten (116) und zweiten Pixelbilddaten (118) zu produzieren, wobei die ersten Pixelbilddaten (116) auf den elektromagnetischen Wellen mit der ersten Wellenlänge (106r) basieren, die durch das Pixelelement (104) während des ersten Empfangszeitintervalls empfangen werden, und wobei die zweiten Pixelbilddaten (118) auf den elektromagnetischen Wellen mit der zweiten Wellenlänge (108r) basieren, die durch das Pixelelement (104) während des zweiten Empfangszeitintervalls empfangen werden, wobei die Bildverarbeitungsschaltung (112) ferner ausgebildet ist, um das Farbbild (114) oder ein zusätzliches Helligkeitsbild des Objektes (120) basierend auf dritten Pixelbilddaten zu produzieren, wobei die dritten Pixelbilddaten auf dem Umgebungslicht basieren, das durch das Objekt (120) reflektiert und durch das Pixelelement (104) empfangen wird, wobei die Bildverarbeitungsschaltung (112) ferner eine Schaltung umfasst, die ausgebildet ist, um das Farbbild (114) des Objektes (120) basierend auf einer Subtraktion der dritten Pixelbilddaten von den ersten Pixelbilddaten zu produzieren.
Die Bilderzeugungsvorrichtung gemäß Anspruch 1, ferner umfassend eine lichtemittierende Vorrichtung, die ausgebildet ist, um während eines ersten Emittierzeitintervalls die elektromagnetischen Wellen mit der ersten Wellenlänge (106r) zu emittieren und während eines darauffolgenden, zweiten Emittierzeitintervalls die elektromagnetischen Wellen mit der zweiten Wellenlänge (108r) zu emittieren.
Die Bilderzeugungsvorrichtung gemäß Anspruch 1 oder 2, wobei die elektromagnetischen Wellen mit der ersten Wellenlänge (106r) sichtbares Licht einer ersten Farbe aufweisen, und wobei die elektromagnetischen Wellen mit der zweiten Wellenlänge (108r) sichtbares Licht einer zweiten Farbe aufweisen.
Die Bilderzeugungsvorrichtung gemäß einem der vorangehenden Ansprüche, wobei das Pixelelement (104) ausgebildet ist, um während des ersten Empfangszeitintervalls die elektromagnetischen Wellen mit der ersten Wellenlänge (106r) und während des darauffolgenden, zweiten Empfangszeitintervalls die elektromagnetischen Wellen mit der zweiten Wellenlänge (108r) an einem gleichen Elektromagnetische-Welle-Empfangsbereich des Pixelelements (104) zu empfangen.
Die Bilderzeugungsvorrichtung gemäß einem der vorangehenden Ansprüche, wobei das Pixelelement (104) einen Elektromagnetische-Welle-Empfangsbereich umfasst, wobei der Elektromagnetische-Welle-Empfangsbereich die kleinste Flächeneinheit definiert, die durch die Bildsensorschaltung (102) zum Erhalten der ersten Pixelbilddaten (116) und der zweiten Pixelbilddaten (118) verwendet wird.
Die Bilderzeugungsvorrichtung gemäß einem der vorangehenden Ansprüche, wobei die Bildsensorschaltung (102) eine Anzahl von Pixelelementen (104) umfasst, die zum Erhalten von Pixelbilddaten für das produzierte Farbbild (114) des Objektes (120) verwendet wird, die gleich einer Anzahl von Pixeln des produzierten Farbbildes (114) des Objektes (120) ist.
Die Bilderzeugungsvorrichtung gemäß einem der vorangehenden Ansprüche, wobei die Bildverarbeitungsschaltung (112) ausgebildet ist, um das Farbbild (114) basierend auf Intensitätsinformationen der ersten Pixelbilddaten (116) und Intensitätsinformationen der zweiten Pixelbilddaten (118) zu produzieren.
Die Bilderzeugungsvorrichtung gemäß einem der vorangehenden Ansprüche, wobei die Bildverarbeitungsschaltung (112) ausgebildet ist, um das Farbbild (114) oder ein zusätzliches, dreidimensionales Bild basierend auf Distanzinformationen der ersten Pixelbilddaten (116) zu produzieren, wobei die Distanzinformationen der ersten Pixelbilddaten (116) auf einer Phasenverzögerung zwischen den elektromagnetischen Wellen mit der ersten Wellenlänge (106r), die während eines ersten Emittierzeitintervalls durch eine lichtemittierende Vorrichtung emittiert werden, und den elektromagnetischen Wellen mit der ersten Wellenlänge (106r), die während des ersten Empfangszeitintervalls empfangen werden, basieren.
Die Bilderzeugungsvorrichtung gemäß einem der vorangehenden Ansprüche, wobei die Bildverarbeitungsschaltung (112) eine Modulationssteuerschaltung umfasst, die ausgebildet ist, um ein Modulationssteuersignal an eine lichtemittierende Vorrichtung bereitzustellen, die die elektromagnetischen Wellen mit der ersten Wellenlänge (106r) und die elektromagnetischen Wellen mit der zweiten Wellenlänge (108r) zum Steuern einer Modulation der elektromagnetischen Wellen mit der ersten Wellenlänge (106r) und der elektromagnetischen Wellen mit der zweiten Wellenlänge (108r) emittiert.
Die Bilderzeugungsvorrichtung gemäß einem der vorangehenden Ansprüche, wobei die Bildverarbeitungsschaltung (112) eine Lock-In-Verstärkungsschaltung umfasst, die ausgebildet ist, um Intensitätsinformationen der ersten Pixelbilddaten (116) basierend auf den ersten Pixelbilddaten (116) und ein Modulationssteuersignal, das zum Steuern einer Modulation der durch eine lichtemittierende Vorrichtung emittierten, elektromagnetischen Wellen mit der ersten Wellenlänge (106r) und der durch eine lichtemittierende Vorrichtung emittierten, elektromagnetischen Wellen mit der zweiten Wellenlänge (108r) verwendet wird, zu erhalten.
Die Bilderzeugungsvorrichtung gemäß einem der vorangehenden Ansprüche, wobei die Bildverarbeitungsschaltung (112) ausgebildet ist, um Intensitätsinformationen und Distanzinformationen der ersten Pixelbilddaten (116) basierend auf einer Autokorrelationsfunktion zu bestimmen.
Die Bilderzeugungsvorrichtung gemäß einem der vorangehenden Ansprüche, ferner umfassend eine Infrarot-Emittierschaltung, die ausgebildet ist, um während eines weiteren Emittierzeitintervalls elektromagnetische Infrarotwellen zu emittieren, wobei das Pixelelement (104) ausgebildet ist, um während eines weiteren Empfangszeitintervalls elektromagnetische Infrarotwellen zu empfangen, die durch die Infrarot-Emittierschaltung emittiert und durch ein Objekt (120) reflektiert werden, und wobei die Bildverarbeitungsschaltung (112) ausgebildet ist, um das Farbbild (114) oder ein zusätzliches, dreidimensionales Bild basierend auf Pixeldistanz-Bilddaten zu produzieren, wobei die Pixeldistanz-Bilddaten auf den elektromagnetischen Infrarotwellen basieren, die während des weiteren Empfangszeitintervalls durch das Pixelelement (104) empfangen werden.
Die Bilderzeugungsvorrichtung gemäß einem der vorangehenden Ansprüche, wobei die elektromagnetischen Wellen mit der ersten Wellenlänge (106r) und die elektromagnetischen Wellen mit der zweiten Wellenlänge (108r) durch das Pixelelement (104) über einen gemeinsamen Lichtweg empfangen werden.
Die Bilderzeugungsvorrichtung gemäß Anspruch 13, wobei der gemeinsame Lichtweg für elektromagnetische Wellen der ersten Wellenlänge (106r) und die elektromagnetischen Wellen der zweiten Wellenlänge (108r) während des ersten Empfangszeitintervalls und des zweiten Empfangszeitintervalls passierbar ist.
Die Bilderzeugungsvorrichtung gemäß einem der vorangehenden Ansprüche, wobei das Pixelelement (104) eines in einem Array von in der Bilderfassungsschaltung enthaltenen Pixelelementen ist, wobei die Bildverarbeitungsschaltung (112) ausgebildet ist, um das Farbbild (114) basierend auf ersten Pixelbilddaten (116) und zweiten Pixelbilddaten (118) von jedem Pixelelement (104) in dem Array von Pixelelementen zu produzieren.
Die Bilderzeugungsvorrichtung gemäß Anspruch 15, wobei die Bildverarbeitungsschaltung (112) ausgebildet ist, um eine Vielzahl von aufeinanderfolgenden Farbbildern (114) des Objektes (120) basierend auf einer Vielzahl von aufeinanderfolgenden, ersten Pixelbilddaten (116) und einer Vielzahl von aufeinanderfolgenden, zweiten Pixelbilddaten (118), die durch das Array von Pixelelementen (104) produziert werden, zu produzieren, und wobei die Bildverarbeitungsschaltung (112) ausgebildet ist, um die Vielzahl von aufeinanderfolgenden Farbbildern (114) zu kombinieren, um ein finales Farbbild (114) zu produzieren.
Ein Verfahren zum Produzieren eines Farbbildes (114) eines Objektes (120), das Verfahren umfassend: Empfangen von elektromagnetischen Wellen mit einer ersten Wellenlänge (106r) durch ein Pixelelement (104) einer Bildsensorschaltung (102) während eines ersten Empfangszeitintervalls, wobei die elektromagnetischen Wellen mit der ersten Wellenlänge (106r) durch eine lichtemittierende Vorrichtung emittiert und durch ein Objekt (120) reflektiert werden; Empfangen von elektromagnetischen Wellen mit einer zweiten Wellenlänge (108r) durch das Pixelelement (104) während eines darauffolgenden, zweiten Empfangszeitintervalls, wobei die elektromagnetischen Wellen mit der zweiten Wellenlänge (108r) durch die lichtemittierende Vorrichtung emittiert und durch das Objekt (120) reflektiert werden; Empfangen von Umgebungslicht, das durch das Objekt (120) reflektiert wird, durch das Pixelelement (104) während eines dritten Empfangszeitintervalls; und Produzieren eines Farbbildes (114) des Objektes (120) durch eine Bildverarbeitungsschaltung (112) basierend auf ersten Pixelbilddaten (116) und zweiten Pixelbilddaten (118), wobei die erste Pixelbilddaten (116) auf den elektromagnetischen Wellen mit der ersten Wellenlänge (106r) basieren, die durch das Pixelelement (104) während des ersten Empfangszeitintervalls empfangen werden, und wobei die zweiten Pixelbilddaten (118) auf den elektromagnetischen Wellen mit der zweiten Wellenlänge (108r) basieren, die durch das Pixelelement (104) während des zweiten Empfangszeitintervalls empfangen werden, wobei das Produzieren des Farbbildes (114) oder eines zusätzliches Helligkeitsbildes des Objektes (120) basierend auf dritten Pixelbilddaten und das Produzieren des Farbbildes (114) basierend auf einer Subtraktion der dritten Pixelbilddaten von den ersten Pixelbilddaten erfolgt, wobei die dritten Pixelbilddaten auf dem Umgebungslicht basieren, das durch das Objekt (120) reflektiert und durch das Pixelelement (104) empfangen wird.