DE102017115385B4

DE102017115385B4 - Vorrichtung und Verfahren zur Erfassung eines dreidimensionalen Tiefenbilds

Info

Publication number: DE102017115385B4
Application number: DE102017115385.3A
Authority: DE
Inventors: Jens Dekarz; Martin Gramatke
Original assignee: Basler AG
Current assignee: Basler AG
Priority date: 2017-07-10
Filing date: 2017-07-10
Publication date: 2022-08-11
Anticipated expiration: 2037-07-11
Also published as: DE102017115385A1

Abstract

Vorrichtung zur Steuerung einer Lichtlaufzeitkamera (100), bei der eine Entfernungsinformation für ein dreidimensionales Bild aus einem Laufzeitunterschied oder einer Phasenverschiebung zwischen einem von zumindest einer Lichtquelle (103) der Laufzeitkamera (100) emittierten Lichtsignal und einem von einem Bildsensor (108) der Laufzeitkamera (100) durch Streuung oder Reflektion des emittierten Lichtsignals empfangen Lichtsignal ermittelt wird, wobei die Vorrichtung (101) ausgestaltet ist:- zum Steuern der zumindest einen Lichtquelle (103) zur Abgabe einer Vielzahl von Lichtimpulsen für entsprechende Mikrobelichtungen;- zum Steuern von mindestens einer dem Bildsensor (108) zugeordneten elektrischen Verschlusseinrichtung mittels zumindest zweier impulsförmiger Steuersignale (c0, c1, c2) zum Öffnen und Schließen der mindestens einen Verschlusseinrichtung, um dadurch Zeitfenster zur Erfassung von mindestens zwei Signalen (S0, S1, S2) für mindestens zwei entsprechende Teilbilder zu erhalten;- wobei die Teilbilder durch Akkumulation von durch zumindest zwei Mikrobelichtungen in dem Bildsensor (108) generierten Ladungsträgern pro Pixel entstehen, wobei jeweils ein Lichtimpuls mit zugehörigem Zeitfenster zu einer Mikrobelichtung führt, und wobei sich die mindestens zwei Teilbilder im zeitlichen Versatz zwischen Lichtimpuls und Zeitfenster unterscheiden;- wobei die Steuerung der Lichtlaufzeitkamera (100) so erfolgt, dass sich für mindestens eines der mindestens zwei Teilbilder die eingesammelte Lichtmenge, insbesondere die vorbestimmte Anzahl von Mikrobelichtungen oder die Anzahl von Lichtquellen (103), von derjenigen der anderen Teilbilder unterscheidet; und- wobei der Zeitversatz zwischen dem Lichtimpuls und dem zugehörigen Zeitfenster einer Mikrobelichtung innerhalb eines jeden Teilbilds konstant ist.

Description

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Erfassung eines dreidimensionalen Tiefenbildes basierend auf einer Bildinformation aus einem Bildsensor mit ein- oder zweidimensionaler Bildpunktanordnung.
Zum elektronischen Erfassen von Bildern werden heutzutage meist digitale Kameras eingesetzt. Eine solche digitale Kamera ist beispielsweise in der US 4 131 919 A und in der EP 2 367 360 A2 beschrieben und wird hier nachfolgend als konventionelle digitale Kamera bezeichnet. Mit Hilfe konventioneller digitaler Kameras werden Helligkeitsbilder aufgenommen. In einem solchen Helligkeitsbild sind den Pixeln Helligkeitswerte zugeordnet.
Bildsensoren für konventionelle Kameras, nachfolgend als konventionelle Bildsensoren bezeichnet, bestehen meist aus einer periodischen Anordnung von Bildpunkten (nachfolgend als Pixel bezeichnet). Vorwiegend eindimensionale Anordnungen werden als Zeilensensoren und vorwiegend zweidimensionale Anordnungen werden als Flächensensoren bezeichnet. Unabhängig von der Technologie ist den Pixeln gemeinsam, dass sie jeweils einen lichtempfindlichen Bereich, typischerweise eine Photodiode (PD) oder eine sogenannte Pinned-Photo-Diode (PPD) aufweisen, welche so ausgestaltet ist, dass sie während einer Belichtungszeit in Abhängigkeit des einfallenden Lichts eine elektrische Größe erzeugt, die ein Maß für die Menge des von dem betreffenden Pixel empfangenen Lichts darstellt. Diese elektrische Größe kann eine Ladung, eine Spannung, ein Strom oder auch ein zeitcodiertes Signal, wie beispielsweise eine Impulsfolge, sein.
Des Weiteren gibt es dreidimensionale (3D) Kameras, die sogenannte Entfernungsbilder oder Tiefenbilder erzeugen bei denen den Pixeln Entfernungswerte zugeordnet werden, die ein Maß für die Entfernung zwischen der Kamera und dem Objekt darstellen.
Dabei ist es möglich, dass die Tiefenbilder direkt ausgegeben werden, oder dass intern weitere Verarbeitungsschritte erfolgen, beispielsweise das Erzeugen sogenannter Punktwolken aus 3D-Koordinaten oder die Interpretation der Tiefenbilder beispielsweise als Geste einer Hand.
In letzter Zeit werden vermehrt dreidimensional aufnehmende Lichtlaufzeitkameras angeboten, die eine lichtlaufzeitbasierte Entfernungsmessung vornehmen und als Time-of-Flight-Kameras (TOF-Kameras) bezeichnet werden.
HDR-Bilder (High-Dynamik-Range-Bilder) beschreiben digitale Bilder mit einem hohen Dynamikumfang. Dieser führt zu einer guten Erkennbarkeit sowohl helle als auch dunkle Bildbereiche. TOF-Kameras haben eine integrierte Beleuchtung, die zumeist getaktet oder moduliert ist. Sie lässt aus Sicht der TOF-Kamera in der Nähe befindliche Objekte grundsätzlich heller getaktet oder moduliert erscheinen als in der Ferne befindliche Objekte, welche vergleichsweise dunkel erscheinen. Ein hoher Dynamikumfang trägt somit dazu bei, dass eine TOF-Kamera sowohl für nahe als auch für weiter entfernt angeordnete Objekte die Entfernung korrekt bestimmen kann. Daher ist ein hoher Dynamikumfang zur Erzielung eines großen Entfernungsmessbereichs von zentraler Bedeutung.
Die DE 10 2014 013 099 A1 beschreibt eine ToF-Kamera und ein Verfahren zur Messung der Distanz zu einem Objekt anhand der Laufzeit des Lichts unter Verwendung eines konventionellen Bildsensors. Hierbei werden zur Ermittlung des Tiefenbildes drei verschiede Signale SO, S1 und S2 pro Pixel aufgenommen. Zum besseren Verständnis wird dieses Verfahren im Folgenden beispielhaft beschrieben. Abhängig von der Kameraarchitektur können auch weitere Signale S3 bis Sn verwendet werden. Ist der Anteil des Umgebungslichts gering, können auch zwei Signale S0 und S1 ausreichend sein.
2 zeigt ein schematisches Zeitdiagramm mit Signalverläufen zur Erläuterung der Zeitsteuerung einer TOF-Kamera. Dabei wird die Zeitsteuerung in Bezug auf das Aussenden von Lichtsignalen LcO, Lc1 und Lc2 mit zwei verschiedenen Intensitätspegeln „0“ und „1“ über der Zeit t gezeigt. Beispielsweise wird bei dem Pegel „1“ Licht ausgesendet und bei dem Pegel „0“ kein Licht ausgesendet. Dabei wird das Licht als zeitlich begrenzter Lichtimpuls 200, 201, 202 ausgesendet, der jeweils eine zeitliche Pulslänge tl aufweist.
In der TOF-Kamera wird einfallendes Licht mittels eines Bildsensors detektiert. Der Signalverlauf des einfallenden, reflektierten Lichts über der Zeit ist in 2 als Rc0, Rc1 und Rc2 bezeichnet. Bei Abwesenheit der ausgesandten Lichtimpulse 200, 201 und 202 besteht das einfallende Licht Rc0, Rc1 und Rc2 zunächst nur aus einem im Wesentlichen konstanten Pegel 209, der durch das einfallende Umgebungslicht erzeugt wird. Zu diesem Umgebungslicht addieren sich jeweils die einfallenden, reflektierten Lichtimpulse 206, 207 und 208. Diese haben eine Strecke mit ca. Lichtgeschwindigkeit zurückgelegt. Aus diesem Grund sind die einfallenden Lichtimpulse 206, 207 und 208 um eine Zeitdifferenz td von den ausgesandten Lichtimpulsen 200, 201 und 202 verzögert. Zusätzlich werden die ausgesandten Lichtimpulse 200, 201 und 202 durch die Ausbreitung im Raum gemäß des Abstandsquadratgesetzes und durch die unvollständige Reflektion am Objekt in der Intensität gemindert, sodass die einfallenden Lichtimpulse 206, 207 und 208 weniger Intensität aufweisen als die ausgesandten Lichtimpulse 200, 201 und 202.
Der Bildsensor in der TOF-Kamera wird mittels eines Ansteuersignals einer Synchronisationseinheit angesteuert. Dieses Ansteuersignal wird durch drei Steuersignale c0, c1 und c2 gebildet, mittels denen ein elektronischer Verschluss des Bildsensors über der Zeit t gesteuert wird. Im Einzelnen nehmen die Steuersignale die Zustände „0“ und „1“ an, wobei der elektrische Verschluss bspw. beim Zustand „0“ geschlossen ist und der Bildsensor kein Licht empfangen kann, während er beim Zustand „1“ geöffnet ist und der Bildsensor Licht empfangen kann. Die zeitliche Verschiebung zwischen der ansteigenden Flanke des ausgesandten Lichtimpulses 200 und der ansteigenden Flanke des Steuersignals c0 beträgt phi0. In 2 beträgt phi0=0, kann aber auch Werte ungleich Null annehmen. Die steigende Flanke des Steuersignals c0 ist gegenüber der steigenden Flanke des Steuersignals c1 um phi1 zeitverschoben. Die steigende Flanke des Steuersignals c1 ist in Bezug zur steigenden Flanke des Steuersignals c2 um phi2 zeitverschoben.
Somit wird während der Öffnungszeit des elektrischen Verschlusses nur ein Signalanteil der einfallenden Lichtsignale Rc0, Rc1 und Rc2 erfasst und daraus werden im Bildsensor Ladungsträger generiert. Dieser Vorgang wird als Mikrobelichtung bezeichnet.
3 zeigt ein schematisches Zeitdiagramm mit einer Anzahl N von Mikrobelichtungen. Da die Zahl der pro Mikrobelichtung im Bildsensor generierten Ladungsträger in der Praxis zumeist nicht ausreicht, um ein Signal mit ausreichendem Signal-Rausch-Verhältnis (SNR) zu generieren, wird dieser Vorgang nach einer Totzeit t0 N-mal pro Frame wiederholt, wie in 3 gezeigt. Hierbei ist ein Frame ein Zyklus einer Messung der Tiefenwerte für alle Pixel des Sensors. Hierbei wird das reflektierte Lichtsignal Rc0 während der Öffnungszeit der Verschlusseinrichtung, gesteuert durch das Steuersignal c0, akkumuliert und somit das Signal S0 gebildet. In gleicher Weise wird das reflektierte Lichtsignal Rc1 während der Öffnungszeit der Verschlusseinrichtung, gesteuert durch das Steuersignal c1, akkumuliert und somit das Signal S1 gebildet. Schließlich wird in gleicher Weise auch das reflektierte Licht Rc2 während der Öffnungszeit der Verschlusseinrichtung, gesteuert durch das Steuersignal c2, akkumuliert und somit das Signal S2 gebildet.
Für dieses Verfahren ist es nicht von Belang, in welcher Reihenfolge die erforderlichen Mikrobelichtungen innerhalb eines Frames aufgenommen werden. Ebenso können SO, S1 und S2 pro Pixel mit einem Bildsensor nacheinander (vgl. US 2001 / 0 046 317 A1 ) oder mit mehreren Sensoren gleichzeitig aufgenommen werden (vgl. WO 2005 / 036 372 A2 ). Dies kann so realisiert sein, dass das Steuersignal, welches eine elektronisches Verschlusseinrichtung öffnet bzw. schließt, bei jedem Bildsensor eine andere Zeitverschiebung aufweist und somit ein erster Bildsensor pro Pixel das Signal S0, ein zweiter Bildsensor pro Pixel das Signal S1 und ein dritter Bildsensor pro Pixel das Signal S3 aufnimmt.
4 zeigt ein Diagramm mit dem Verlauf 400 des akkumulierten Signals S0, dem Verlauf 401 des akkumulierten Signals S1 und dem Verlauf 402 des akkumulierten Signals S2 für einen Pixel in Abhängigkeit der Zeitdifferenz td. Die Signale SO, S1 und S2 bewegen sich dabei zwischen einem Hintergrundsignal Sb, das sich aus dem empfangenen Umgebungslicht ergibt, und einem maximalen Signal (Sättigungssignal) Sp. Damit das Signal fehlerfrei detektiert werden kann, muss es immer kleiner als ein Sättigungssignal Sp sein. Das Sättigungssignal Sp ist dabei das maximale Signal, das ein Pixel detektieren kann, ohne dabei in Sättigung zu gehen.
Durch Verhältnisbildung der Signale SO, S1 und S2 und Multiplikation mit einer Proportionalitätskonstante lässt sich ein die Entfernung zwischen Kamera und Reflexionspunkt am Objekt angebender Tiefenwert ermitteln. Dies gilt entsprechend auch im Falle von nur zwei Signalen S0 und S1, wobei hier der zurückkehrende Lichtimpuls (anteilig) in beide Fenster fällt (Messbereich) oder in mindestens ein Fenster kein Licht fällt (keine Messung möglich). Nähere Einzelheiten können der DE 10 2014 013 099 A1 entnommen werden.
5 zeigt schematische Signalverläufen unter Berücksichtigung des Abstandsquadratgesetzes. Das von der Lichtquelle der TOF-Kamera ausgesandte Licht unterliegt dem Abstandsquadratgesetz. Es besagt, dass sich die Leistung pro Fläche mit zunehmendem Abstand von der Lichtquelle umgekehrt proportional zum Quadrat des Abstandes verhält. Dies bedeutet, dass die Signale aus 4 mit einer 1/d² Funktion überlagert sind, wobei d der Distanz von der TOF-Kamera zum Objekt entspricht. Im Einzelnen zeigt 5 den Verlauf 503 des Signals S0, den Verlauf 504 des Signals S1 und den Verlauf 505 des Signals S2 in Abhängigkeit der Distanz d unter Berücksichtigung des Abstandsquadratgesetzes. Zusätzlich ist in 5 ein überlagertes Rauschen beispielhaft dargestellt. Die Signale SO, S1 und S2 bewegen sich dabei zwischen einem Hintergrundsignal Sb, das sich aus dem empfangenen Umgebungslicht ergibt, und dem Sättigungssignal Sp, das sich aus dem Umstand ergibt, dass Bildsensoren üblicherweise nur ein endlich großes maximales Signal im Pixel speichern können. Die Verläufe 503-505 der Signale lassen sich in drei Bereiche einteilen, nämlich einen Nahbereich 500, einen mittleren Bereich 501 und einen Fernbereich 502. Im Nahbereich 500 ist die Distanz d zum Objekt so gering, dass sich mindestens eines der Signal SO, S1 und S2 in der Sättigung befindet und der betreffende Pixel kann keine größere Signalmenge aufnehmen. In einem solchen Sättigungszustand kann keine korrekte Entfernungsermittlung vorgenommen werden.
Zusätzlich kann durch gesättigte Pixel der Effekt des sogenannten „Bloomings“ auftreten, Wird die von einem Pixel maximal aufnehmbare Signalmenge überschritten, so gibt dieser Pixel die überzähligen Ladungen an seine Nachbarpixel ab. Es kommt zum Aufblühen (engl.: blooming) der Nachbarpixel. Da die Nachbarpixel auch nur ein begrenztes Signal aufnehmen können, kann sich die Sättigung als Blooming-Effekt räumlich weiter ausweiten. In den vom Blooming betroffenen Pixeln liegt nun ein Signal vor, das von Signalen der Nachbarpixel verfälscht wurde. Somit kann für diese Pixel ebenfalls keine korrekte Entfernungsermittlung vorgenommen werden.
Um über die Gültigkeit von aus den Signale SO, S1 und S2 errechneten Entfernungswerten d zu entscheiden, kann bspw. die Kenntnis des Rauschens genutzt werden. Hierzu kann ein Schwellwert s vorgegeben werden, der für die Signale SO, S1 und S2 auf ein minimal tolerierbares SNR, welches oberhalb der Rauschgrenze liegen muss, eingestellt wird. Je höher der empfangene Signalanteil ist, desto höher ist das SNR. Umgekehrt gilt, je niedriger der empfangene Signalanteil ist, desto stärker fällt der Rauschanteil bei der Berechnung des SNRs ins Gewicht. Somit sinkt das SNR. Wenn das SNR unter dem einstellbaren Schwellwert s liegt, so ist der entsprechende Messwert d ungültig. Damit lässt sich zwischen gültigen und ungültigen Messwerten d unterscheiden.
In 5 sinken die Signalverläufe 503-505 durch die überlagerte 1/d² Funktion, die die Entfernungsabhängigkeit des reflektierten Lichts beschreibt. Dies bedeutet, dass auch das SNR mit zunehmender Objektdistanz d sinkt. Im mittleren Bereich 501 in 5 ist das SNR ausreichend, sodass es oberhalb des Schwellwerts s liegt. Es ist hier somit möglich, über Verhältnisbildung der Signale SO, S1 und S2 eine Entfernungsberechnung vorzunehmen.
In Fernbereich 502 der 5 verschlechtert sich das SNR aufgrund der zunehmenden Distanz zum Objekt zunehmend. Das Signal sinkt stark und liegt in der gleichen Größenordnung wie das Rauschen. Somit fällt das SNR der Signale unter den definierten Schwellwert s. In diesem Bereich ist somit zwar eine Berechnung der Entfernung möglich, die berechneten Distanzdaten weisen aber einen überhöhten Fehler außerhalb einer vorbestimmten Toleranzgrenze auf.
6 zeigt ein schematisches Diagramm, bei dem eine durch Simulation unter Berücksichtigung des Rauschens mittels der Kamera gemessenen Objektdistanz d_meas für mehrere Messungen über der tatsächlichen Objektdistanz d aufgetragen ist und eine Tiefenkennlinie 603 gebildet wird. Hierbei werden die in 5 gezeigten Signale SO, S1, S2 zueinander ins Verhältnis gesetzt und mit einer Proportionalitätskonstante multipliziert, um einen Entfernungswert zu erhalten (vgl. bspw. DE 10 2014 013 099 A1 ).
Durch Rauscheffekte weicht die gemessene Objektdistanz d_meas von der tatsächlichen Objektdistanz d ab und somit gibt sich keine exakte Gerade für die Tiefenkennlinie 603. In einem ersten Bereich 600 kann aufgrund der Sättigung des mindestens einen Signals im Nahbereich 500 in 5 kein korrekter Entfernungswert berechnet werden. In einem zweiten Bereich 601 kann eine Distanzinformation mit einem geringen Fehler berechnet werden, da hier die Signale SO, S1, S2 ein oberhalb des Schwellwerts s liegendes SNR aufweisen. In einem dritten Bereich 602 zeigt die Tiefenkennlinie 603 ein starkes Rauschen. Aufgrund des SNRs der Signale SO, S1 und S2, welches unterhalb des SNR-Schwellwerts s liegt, ist eine Entfernungsermittlung innerhalb der gewählten Fehlergrenze nicht möglich.
Es ist daher wünschenswert den Beginn des dritten Bereichs 602 so spät wie möglich einsetzen zu lassen, indem das SNR in diesem Bereich verbessert wird. Dies kann zum Beispiel dadurch geschehen, dass die aufgenommene Szene mit mehr Licht ausgeleuchtet wird. Dafür können zum Beispiel mehrere Lichtquellen verwendet werden oder die Leistung einer Lichtquelle kann erhöht werden. Des Weiteren kann die Belichtungszeit verlängert werden. Das SNR wird dann für den dritten Bereich 602 verbessert, sodass sich die Grenze zwischen dem zweiten Bereich 601 und dem dritten Bereich 602 in 6 nach hinten verschiebt und dadurch die TOF-Kamera auch Entfernungen weiter entfernter Objekte mit akzeptabler Toleranz ermitteln kann. Eine höhere Signalstärke führt jedoch auch dazu, dass Sättigungseffekte über einen größeren Distanzbereich auftreten können. Somit vergrößert sich gleichzeitig der erste Bereich 600 und die Grenze zwischen dem ersten Bereich 600 und dem zweiten Bereich 601 in 6 verschiebt sich in nachteiliger Weise nach hinten, wodurch die Entfernung naher Objekte erst ab einer größeren Mindestentfernung korrekt ermittelt werden kann.
Umgekehrt kann durch das Ausleuchten der Szene mit weniger Licht der erste Bereich 600 verkürzt werden, sodass weniger Signale in Sättigung sind. Dies kann zum Beispiel durch Verringerung der Anzahl der verwendeten Lichtquellen, der Verringerung der Leistung der Lichtquelle oder der Verkürzung der Belichtungszeit geschehen. Der zweite Bereich 601 setzt somit früher ein, da weniger Signale in Sättigung sind. Eine niedrigere Signalstärke führt jedoch wiederum dazu, dass das SNR abnimmt. Somit setzt der dritte Bereich 602 aufgrund des niedrigeren SNRs früher ein. Dadurch lässt sich mit der TOF-Kamera nunmehr auch die Entfernung naher Objekte bereits ab einer geringeren Entfernung bestimmen. Allerdings verschiebt sich dabei auch die Grenze zwischen dem zweiten Bereich 601 und dem dritten Bereich 602 in 6 nach links, wodurch sich die Entfernung weiter entfernt angeordneter Objekte schlechter oder gar nicht ermitteln lässt.
Es ist daher nicht möglich, den kompletten Arbeitsbereich einer TOF-Kamera auszunutzen, um Distanzwerte mit einem guten SNR erhalten zu können. Vielmehr kann durch entsprechende Wahl des Arbeitspunktes immer nur ein bestimmter Bereich aus dem theoretisch möglichen Arbeitsbereich einer TOF-Kamera ausgewählt werden.
Bisherige Lösungsverfahren schlagen vor, mehrere Tiefen- bzw. Entfernungsmessungen mit jeweils unterschiedlichen Belichtungszeiten durchzuführen. Dabei dient jede Belichtungszeit dazu, einen bestimmten Bereich aus dem theoretisch möglichen Arbeitsbereich der TOF- Kamera auszuwählen.
HAHNE, Uwe; ALEXA, Marc. Exposure Fusion for Time‐Of‐Flight Imaging. In: Computer graphics forum. Oxford, UK: Blackwell Publishing Ltd, 2011. S. 1887-1894 offenbart ein Verfahren zur Fusion von Tiefenkarten. Dazu werden mehrere Tiefenmessungen mit unterschiedlicher Belichtungszeit durchgeführt, um sowohl vordere Bereiche (Nahbereich) als auch hintere Bereiche (Fernbereich) einer Szene gut ausgeleuchtet darzustellen. So kann z.B. eine erste (z.B. kurze) Belichtung zur Ermittlung der Distanzen in einem ersten Bereich der Szene dienen. Eine zweite (z.B. längere) Belichtung kann zur Ermittlung der Distanzen in einem zweiten Bereich der Szene dienen. Die jeweiligen Tiefenkarten werden dann algorithmisch zu einer HDR-Tiefenkarte mit hoher Tiefenauflösung fusioniert, die Distanzen aus dem vorderen Nahbereich, als auch aus dem hinteren Fernbereich der Szene wiedergibt.
In der DE 10 2011084 976 A1 wird über die Beleuchtungsvorrichtung Licht mit unterschiedlichen Intensitätswerten pro Messung ausgesendet und diese Messungen zu einem Messzyklus zusammengefasst. Für jeden Pixel aus dem Messzyklus wird dann die Messung ausgewählt, welche innerhalb des Dynamikbereichs des Pixels liegt.
Beide vorstehend beschriebenen konventionellen Verfahren haben den Nachteil, dass die einzelnen Tiefenmessungen mit verschiedener Belichtungszeit hintereinander, und damit als getrennte Aufnahmen, aufgenommen werden müssen. Wenn sich innerhalb der Szene bewegliche Objekte befinden, kann es vorkommen, dass sich die Szene zwischen den verschiedenen Messungen verändert. Somit werden Messwerte fusioniert, bei denen einem Pixel zwei verschiedene Entfernungen zugeordnet sind. Dies führt dann zu sogenannten Bewegungsartefakten. Zusätzlich können hohe Beleuchtungsintensitäten, die den hinteren Bereich der Szene gut ausleuchten sollen, zu Überbelichtungen führen. Dies tritt besonders bei Objekten im Nahbereich auf. Das kann bei betroffenen Pixeln zum bereits erläuterten Blooming führen und somit zu einem Fehler in der Tiefenberechnung bei benachbarten Pixeln.
Die US 3 947 119 A offenbart eine automatische Entfernungswobbeltechnik (engl.: range sweep technique) für ein Aufnahmegerät zum zeitgleichen Anzeigen verschiedener Zielobjekte in unterschiedlicher Entfernung, wobei die Häufigkeit von Belichtungen mit zunehmender Verzögerungszeit zwischen Lichtsenderimpuls und Zeitfensterung des Lichtempfängers erhöht wird. Dies innerhalb einer einzelnen Integrationsperiode des Lichtempfängers und damit innerhalb der Erzeugung eines einzigen Bilds. Durch die steigende Häufigkeit der Belichtungen während des Wobbelvorgangs werden weiter entfernte Objekte häufiger erfasst und somit deren Ladungsträgeranteil im Bildsensor erhöht, um die geringere Signalintensität auszugleichen. Dadurch kann ein erweiterter Entfernungsbereich mit gleichmäßiger Zielhelligkeit überwacht werden.
Ferner offenbart die EP 3 159 711 A1 ein laufzeitbasiertes Entfernungsmesssystem zur Erfassung der Distanz zu Objekten in einem vorbestimmten Umgebungsbereich, wobei ein Oberflächenemitter (VCSEL) mit mehreren Strahlungszonen ein räumliches Muster aus mehreren Laserpunkten abstrahlt und die an etwaigen Objekten reflektierten Lichtsignale mittels entfernungsgefensterten (engl.: range gated) Detektoren erfasst. Hierfür sind zwei Zeitfenster vorgesehen, von denen das erste Zeitfenster zeitlich exakt mit der Einschaltdauer des VCSELs übereinstimmt und sich das zweite Zeitfenster unmittelbar an das erste anschließt. Die Entfernungsmessung erfolgt nun anhand der jeweils innerhalb der beiden Zeitfenster durch den Detektor empfangenen Ladungsmengen. Dies geschieht anhand einer Fallunterscheidung hinsichtlich der Signallaufzeit, wobei die in dem ersten Zeitfenster empfangene Ladungsmenge einer Entfernung mit Laufzeit innerhalb des ersten Fensters entspricht und die in dem zweiten Zeitfenster empfangene Ladungsmenge einer Entfernung mit Laufzeiten nach dem ersten Fenster entspricht. Durch Kombination zweier Distanzmessverfahren, nämlich Laufzeitmessung (engl.: time of flight (TOF)) und strukturiertes Licht (engl.: spot pattern projection) können die von beiden Distanzmessverfahren gelieferten Distanzen miteinander verrechnet bzw. das Hintergrundlicht geschätzt werden.
Der Erfindung liegt daher die Aufgabe zugrunde, eine Lichtlaufzeitkamera bereitzustellen, welche Tiefendaten mit einem guten SNR über einen möglichst großen Entfernungsarbeitsbereich der Kamera liefern kann.
Diese Aufgabe wird erfindungsgemäß gelöst durch eine Vorrichtung nach Anspruch 1, eine Lichtlaufzeitkamera nach Anspruch 11, ein Verfahren nach Anspruch 13 und ein Computerprogramm nach Anspruch 14.
Dementsprechend werden bspw. zeitverschränkt mit jedem Bild- oder Video-Frame mindestens zwei Teilbilder aufgenommen, wobei sich die durch Akkumulation der im Bildsensor generierten Ladungsträger eingesammelte Lichtmenge (z.B. durch eine geänderte Anzahl von Mikrobelichtungen oder Lichtquellen) für mindestens eines der Teilbilder von den anderen Teilbildern unterscheidet. Dadurch kann bspw. die Lichtmenge für den Nahbereich reduziert werden. Dabei besteht eine Mikrobelichtung aus einem durch die Lichtquelle(n) erzeugten Lichtimpuls und einem durch die Verschlusseinrichtung (Shutter) generierten Zeitfenster. Für die mindestens zwei Teilbilder unterscheiden sich die Mikrobelichtungen im zeitlichen Versatz zwischen Lichtimpuls und Zeitfenster. Demgemäß sammeln die Mikrobelichtungen beim ersten Teilbild mit geringstem Zeitversatz also solches Licht ein, das von Objekten im Nahbereich reflektiert wurde, und beim zweiten Teilbild solches Licht, das von weiter entfernt angeordneten Objekten reflektiert wird. Bei drei Teilbildern stammt das beim zweiten Teilbild mit mittlerem Zeitversatz eingesammelte Licht stammt von Objekten im mittleren Entfernungsbereich und das beim dritten Teilbild mit größtem Zeitversatz eingesammelte Licht von Objekten am Ende des Entfernungsmessbereichs der Lichtlaufzeitkamera. Hierbei wird das Rauschen der eingesammelten Lichtmenge vernachlässigt. Da nun die Anzahl der Mikrobelichtungen oder die Anzahl der Lichtquellen für die Teilbilder unterschiedlich gewählt wird, kann der Helligkeitsabfall der Beleuchtung aufgrund des Abstandsquadratgesetzes durch Verringerung (im Nahbereich) und Erhöhung (im mittleren und fernen Bereich) der eingesammelten Lichtmenge im mittleren und fernen Abstandsbereich kompensiert und dadurch sowohl das Sättigungsproblem im Nahbereich als auch das Rauschproblem im Fernbereich verringert werden.
Gemäß einer ersten vorteilhaften Weiterbildung kann die Lichtquelle und/oder die Verschlusseinrichtung so gesteuert werden, dass die eingesammelte Lichtmenge (also z.B. die Anzahl der Mikrobelichtungen oder die Anzahl der Lichtquellen) der mindestens zwei Teilbilder mit zunehmendem zeitlichen Versatz zwischen Lichtimpuls und Zeitfenster ansteigt. Dadurch kann der mit zunehmender Entfernung des aufgenommenen Objekts ansteigende Intensitätsabfall des empfangenen reflektierten Lichtsignals kompensiert und der Arbeitsbereich der Lichtlaufzeitkamera erhöht werden.
Gemäß einer zweiten vorteilhaften Weiterbildung können die Teilbilder vor der Ermittlung der Entfernungsinformation mit dem Umkehrwert der zugehörigen Anzahl der Mikrobelichtungen oder Lichtquellen gewichtet werden. Dies führt in vorteilhafter Weise dazu, dass durch Veränderung der Anzahl von Mikrobelichtungen oder Lichtquellen hervorgerufene Verfälschungen der Entfernungsermittlung korrigiert werden.
Gemäß einer dritten vorteilhaften Weiterbildung kann die Lichtquelle und/oder die Verschlusseinrichtung so gesteuert werden, dass die jeweilige Anzahl der Mikrobelichtungen in Abhängigkeit der Impulslänge der Lichtimpulse, der Größe des Zeitfensters und des zeitlichen Versatzes zwischen Lichtimpuls und Zeitfenster gewählt wird. Dadurch kann der Arbeitsbereich der Lichtlaufzeitkamera bestmöglich auf die verwendete Zeitsteuerung abgestimmt werden.
Gemäß einer vierten vorteilhaften Weiterbildung kann die Lichtquelle und/oder die Verschlusseinrichtung so gesteuert werden, dass die Anzahl der Mikrobelichtungen für das erste Signal kleiner ist als die Anzahl der Mikrobelichtungen für das zweite Signal, falls die Zeitverschiebung zwischen dem Lichtimpuls und dem ersten Steuersignal kleiner ist als die Zeitverschiebung zwischen dem ersten Steuersignal und dem zweiten Steuersignal, und dass die Anzahl der Mikrobelichtungen für das zweite Signal kleiner ist als die Anzahl der Mikrobelichtungen für das dritte Signal, falls die Zeitverschiebung zwischen dem ersten Steuersignal und dem zweiten Steuersignal kleiner ist als die Zeitverschiebung zwischen dem zweiten Steuersignal und dem dritten Steuersignal. Dadurch kann die Anzahl der Mikrobelichtungen zur Kompensation des quadratischen Intensitätsabfalls eingestellt werden. Vorzugsweise kann dabei die Anzahl der Mikrobelichtungen für das erste Signal zwei betragen, die Anzahl der Mikrobelichtungen für das zweite Signal vier betragen, und die Anzahl der Mikrobelichtungen für das dritte Signal acht betragen.
Gemäß einer fünften vorteilhaften Weiterbildung kann die Ermittlung der Anzahl der Mikrobelichtungen für die mindestens zwei Signale gemäß folgender Gleichung erfolgen: $Ni = a \cdot {(phi0 + phi \cdot i)}^{2},$
wobei i eine positive ganze Zahl größer oder gleich Null ist, Ni die Anzahl der Mikrobelichtungen für das (i+1)-te Signal angibt, phi0 die Zeitverschiebung zwischen dem Lichtimpuls und dem ersten Steuersignal angibt, phi die Zeitverschiebung zwischen unmittelbar aufeinanderfolgenden Steuersignalen angibt, und a einen Gewichtungsfaktor zur Steuerung der Signalintensität der mindestens drei Signale angibt. Dadurch kann eine einfache Rechenvorschrift zur automatisierten Einstellung der Anzahl der Mikrobelichtungen bereitgestellt werden.
Gemäß einer sechsten vorteilhaften Weiterbildung kann eine kontinuierliche Folge von Lichtimpulsen ausgesendet werden, wobei das Zeitfenster bei dem ersten Steuersignal bei jedem vierten Lichtimpuls, bei dem zweiten Steuersignal bei jedem zweiten Lichtimpuls, und bei dem dritten Steuersignal bei jedem Lichtimpuls auftritt. Diese kontinuierliche Ansteuerung der Lichtquelle trägt in vorteilhafter Weise zu einer verbesserten Temperaturstabilität der Kamera bei.
Gemäß einer siebten vorteilhaften Weiterbildung kann die Anzahl der Mikrobelichtungen oder der Lichtquellen für die mindestens zwei Signale in Abhängigkeit der Reflektivität der aufgenommenen Objekte verändert werden. Dies bietet den Vorteil, dass gültige Entfernungsinformationen auch bei hellen und dunklen Objekten in derselben aufgenommenen Szene erzielt werden können.
Gemäß einer achten vorteilhaften Weiterbildung kann die Anzahl von Mikrobelichtungen oder Lichtquellen für jeden Pixel des Bildsensors oder für jeden Frame einer Videoaufnahme separat ermittelt werden. Dadurch lässt sich die Anpassung an den Abfall des SNR und die Reflektivität der aufgenommenen Objekte für jeden Bildpunkt bzw. für jeden Videoframe optimieren.
Gemäß einer neunten vorteilhaften Weiterbildung kann auch die für jedes Teilbild ermittelten Anzahl der Mikrobelichtungen oder Lichtquellen für alle Pixel des Bildsensors gemeinsam verwendet werden, was einfach umsetzbar und auf einfache Weise mit konventionellen Sensoren realisierbar ist.
Vorzugsweise kann die vorgeschlagene Lichtlaufzeitkamera eine Recheneinrichtung aufweisen zur Berechnung der Entfernungsinformation des dreidimensionalen Bilds anhand der Werte der zumindest zwei Signale basierend auf einer Fallunterscheidung für verschiedene durch gegenseitige Größenverhältnisse der Werte der zumindest zwei Signale festgelegte Bereiche. Die Recheneinrichtung kann vorteilhaft so ausgestaltet sein, dass die Gültigkeit der berechneten Entfernungsinformation anhand eines Verhältnisses zwischen Signalqualität und Rauschen bestimmt wird. Ergänzend oder alternativ kann die Recheneinrichtung so ausgestaltet sein, dass eine Entscheidung über die Gültigkeit der berechneten Entfernungsinformation anhand des Sättigungsgrades der drei Signale erfolgt.
Die Komponenten der zur Lösung der vorgenannten Aufgabe vorgeschlagene Vorrichtung bzw. Lichtlaufzeitkamera können einzeln oder gemeinsam als diskrete Schaltkreise, integrierte Schaltkreise (z. B. Application-Specific Integrated Circuits (ASICs)), programmierbare Schaltkreise (z. B. Field Programmable Gate Arrays (FPGAs)) realisiert sein. Insbesondere die Recheneinheit kann durch ein FPGA als zentrales Bauteil realisiert sein. Ferner können die Schritte des Verfahrensanspruchs als Software-Programm oder Software-Routine zur Steuerung des Prozessors einer Computervorrichtung zu deren Ausführung realisiert sein.
Nachfolgend wird die vorliegende Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Zeichnungsfiguren näher erläutert. Es zeigen:

1 einen schematischen Aufbau einer TOF-Kamera, in der die vorliegende Erfindung implementiert werden kann;
2 schematische Zeitdiagramme mit Signalverläufen zur Steuerung einer TOF-Kamera;
3 schematische Zeitdiagramme für eine TOF-Kamera mit einer festen Anzahl von Mikrobelichtungen;
4 schematische Verläufe der durch Akkumulation gewonnen Signale in Abhängigkeit der Zeitdifferenz unter Vernachlässigung des Abstandsquadratgesetzes;
5 schematische Verläufe der durch Akkumulation gewonnen Signale in Abhängigkeit der Entfernung unter Berücksichtigung des Abstandsquadratgesetzes;
6 eine schematische Tiefenkennlinie mit Verlauf des Entfernungsermittlungswerts in Abhängigkeit der Entfernung;
7 schematische Zeitdiagramme für eine TOF-Kamera mit variabler Anzahl von Mikrobelichtungen gemäß einem ersten Ausführungsbeispiel;
8 schematische Verläufe der durch Akkumulation gewonnen Signale in Abhängigkeit der Entfernung unter Berücksichtigung des Abstandsquadratgesetzes bei verschiedener Anzahl von Mikrobelichtungen;
9 eine schematische Tiefenkennlinie mit Verlauf des Entfernungsermittlungswerts in Abhängigkeit der Entfernung bei verschiedener Anzahl von Mikrobelichtungen;
10 schematische Zeitdiagramme mit Signalverläufen zur Steuerung einer TOF-Kamera;
11 schematische Zeitdiagramme für eine TOF-Kamera mit variabler Anzahl von Mikrobelichtungen und kontinuierlicher Folge von Lichtimpulsen gemäß einem zweiten Ausführungsbeispiel; und
12 bis 16 schematische Zeitdiagramme für eine TOF-Kamera mit variabler Anzahl von Mikrobelichtungen und verschiedenen Kombinationen aus Pulslängen und Zeitverschiebungen, die in dem ersten und zweiten Ausführungsbeispiel eingesetzt werden können.

Gemäß den nachfolgenden Ausführungsbeispielen wird eine TOF-Kamera mit modifizierter und dadurch effektiverer Signalverarbeitung zur Entfernungsmessung beschrieben.
1 zeigt einen schematischen Aufbau einer TOF-Kamera 100, die eine Synchronisationseinheit 101 aufweist, welche eine elektronische Steuereinrichtung 102 für mindestens eine Lichtquelle 103 mittels eines Steuersignals 113 dergestalt ansteuert, dass diese Lichtquelle 103 zeitlich moduliertes Licht oder Lichtimpulse aussendet. Die ausgesandten Lichtstrahlen 114 und 116 werden von Objekten 105 und 106 gestreut oder reflektiert und gelangen zum Teil als Objektlichtstrahlen 115 und 117 zurück zur Kamera, wobei sie verzögert sind, da sie die benötigte Strecke mit etwa Lichtgeschwindigkeit zurücklegen. Dort werden sie mit einer Optik 107, z.B. mit einem Objektiv, gemeinsam mit bspw. aufgrund von Sonneneinstrahlung 118 einfallendem Umgebungslicht auf einen Bildsensor 108 abgebildet. Der Bildsensor 108 wird seinerseits mittels eines Ansteuersignals 112 von der Synchronisationseinheit 101 so angesteuert, dass er eine Demodulation der Objektlichtstrahlen vornimmt. Aus den vom Bildsensor 108 gelieferten Rohdaten werden dann in einer Recheneinheit 109 Tiefenbilder erzeugt, die über eine Schnittstelle 110 an eine Übertragungsleitung 111 ausgegeben werden. In den nachfolgenden Ausführungsbeispielen wird vorgeschlagen, die Signale S0 bis SN, die sich jeweils im zeitlichen Versatz zwischen Lichtimpuls und Steuersignal unterscheiden, durch eine unterschiedliche Anzahl von Mikrobelichtungen zu bilden, um den Helligkeitsabfall der Beleuchtung, welcher durch das Abstandsquadratgesetz verursacht wird, zu kompensieren. Dies kann dadurch erfolgen, dass die Anzahl der Mikrobelichtungen N0 für das Signal S0 kleiner als die Anzahl der Mikrobelichtungen N1 für das Signal S1 gewählt wird, wenn phi0 kleiner als phi1 ist. Wie bereits eingangs erwähnt, können bei geringem Anteil des Umgebungslichts bereits zwei Signale S0 und S1 ausreichend sein. Ansonsten wird die Anzahl der Mikrobelichtungen N1 für das Signal S1 kleiner als die Anzahl der Mikrobelichtungen N2 für das Signal S2 gewählt, wenn phi1 kleiner als phi2 ist. Dies gilt beispielhaft für den Fall, dass die elektronische Verschlusseinrichtung, welche durch das Steuersignal c0 geöffnet bzw. geschlossen wird, reflektiertes Licht aus dem vorderen Bereich der aufgenommenen Szene 104 zu dem Bildsensor 108 passieren lässt. Die elektronische Verschlusseinrichtung, gesteuert durch das Steuersignal c1, lässt reflektiertes Licht aus dem mittleren Bereich der aufgenommenen Szene 104 passieren und die Verschlusseinrichtung, welche durch das Steuersignal c2 geöffnet bzw. geschlossen wird, lässt reflektiertes Licht aus dem entfernteren Bereich der aufgenommenen Szene 104 passieren.
7 zeigt schematische Zeitdiagramme für eine TOF-Kamera mit variabler Anzahl von Mikrobelichtungen gemäß einem ersten Ausführungsbeispiel.
Hier werden die Mikrobelichtungen, durch deren Akkumulation das Signal S0 gebildet wird, N0=2 mal ausgeführt. Die Mikrobelichtungen, durch deren Akkumulation das Signal S1 gebildet wird, werden N1=4 mal ausgeführt. Die Mikrobelichtungen, durch deren Akkumulation das Signal S2 gebildet wird, werden N2=8 mal ausgeführt. Da die Signale SO, S1 und S2 durch eine unterschiedliche Anzahl von Mikrobelichtungen gebildet werden, müssen diese zur Wahrung des gegenseitigen Größenverhältnisses mit dem Inversen ihrer jeweiligen Mikrobelichtungsanzahl multipliziert werden. In diesem Beispiel muss somit das Signal S0 durch 2, das Signal S1 durch 4 und das Signal S2 durch 8 dividiert werden, damit eine korrekte nachfolgende Tiefenberechnung erfolgen kann.
8 zeigt ein Diagramm, ähnlich dem in 5, mit schematischen Verläufen 803, 804 bzw. 805 der durch Akkumulation gewonnen Signale SO, S1 und S2 in Abhängigkeit der Entfernung d unter Berücksichtigung des Abstandsquadratgesetzes bei verschiedener Anzahl von Mikrobelichtungen gemäß dem ersten Ausführungsbeispiel.
In 8 sind die Signale SO, S1 und S2 mit der 1/d²-Funktion überlagert. Jedoch wurden hier die jeweils für die Gewinnung der Signale SO, S1 und S2 verwendete Anzahl der Mikrobelichtungen gemäß 7 variiert, um dadurch die jeweils eingesammelte Lichtmenge zu verändern.
In einem linken Bereich 800 in 8 befindet sich mindestens eines der Signale SO, S1 und S2 in der Sättigung. Aus diesem Grund kann in diesem Bereich keine Entfernungsbestimmung erfolgen.
In einem mittleren Bereich 801 in 8 liegen die SNRs der Signale SO, S1 und S2 oberhalb eines gewählten Schwellwerts s. Dieser Bereich 801 ist im Vergleich zum entsprechenden Bereich 501 aus 5 deutlich größer geworden. Dies liegt daran, dass durch die Akkumulation einer größeren Anzahl von Mikrobelichtungen eine größere Lichtmenge eingesammelt und somit ein höherer Signalpegel erhalten wurde. Dies ist dahingehend vorteilhaft, dass nunmehr über einen größeren Arbeitsbereich eine Bestimmung der Entfernungsinformation mit gültigen Werten möglich ist.
Schließlich liegt das SNR der Signale SO, S1 und S2 im rechten Bereich 802 in 8 unterhalb des Schwellwerts s, sodass die dort bestimmte Entfernungsinformation einen überhöhten Fehler aufweist. Dieser Bereich ist allerdings im Vergleich zum entsprechenden Bereich 502 aus 5 deutlich kleiner geworden.
9 zeigt eine schematische Tiefenkennlinie mit Verlauf des Entfernungsermittlungswerts d_meas in Abhängigkeit der tatsächlichen Entfernung d bei verschiedener Anzahl von Mikrobelichtungen gemäß dem ersten Ausführungsbeispiel.
Im Einzelnen zeigt 9 ein Diagramm mit dem Verlauf des Ergebnisses einer Simulation der unter Berücksichtigung des Rauschens mittels der TOF-Kamera gemessenen Objektdistanz d_meas, unter Verwendung der Signale SO, S1 und S2 gemäß 8. Die gemessene Objektdistanz d_meas ist in dem Diagramm über der tatsächlichen Objektdistanz d aufgetragen. Im Bereich 900 befindet sich mindestens eines der Signale SO, S1 und S2 in der Sättigung, sodass keine Tiefeninformation (Entfernungsinformation) berechnet werden kann.
Der Bereich 901 ist deutlich größer als der entsprechende Bereich 601 bei der konventionellen TOF-Kamera gemäß 6. Dies ist dahingehend vorteilhaft, dass eine Tiefeninformation mit gewünschter Fehlertoleranz in einen deutlich größeren Entfernungsbereich berechnet werden kann.
Im rechten Bereich 902 in 9 zeigt die Tiefenkennlinie 903 starke Schwankungen. Aufgrund des in diesem Bereich niedrigen SNRs der Signale SO, S1 und S2 unterhalb des Schwellwerts s ist eine Entfernungsermittlung innerhalb der gewünschten Fehlertoleranz nicht mehr möglich. Dieser Bereich 902 ist aber im Vergleich zum entsprechenden Bereich 602 der konventionellen TOF-Kamera gemäß 6 deutlich kleiner geworden.
10 zeigt schematische Zeitdiagramme mit Signalverläufen zur Steuerung einer TOF-Kamera zur Erläuterung eines Berechnungsvorschlags für die Wahl der Anzahl Ni (N0, N1, N2...) von Mikrobelichtungen, um die Effekte des Abstandsquadratgesetzes zu kompensieren.
Hierbei wird ein kleiner Wert für Ni gewählt, wenn der zeitliche Abstand zwischen der steigenden Flanke des Lichtimpulses und der steigenden Flanke des Steuersignals klein ist. Dagegen wird ein großer Wert für Ni gewählt, wenn der zeitliche Abstand zwischen der steigenden Flanke des Steuersignals und der steigenden Flanke des Lichtimpulses groß ist.
Des Weiteren wird ein kleiner Wert für Ni gewählt, wenn der zeitliche Abstand zwischen der Impulsmitte des Lichtimpulses und der Impulsmitte des Steuersignals klein ist. Dagegen wird ein großer Wert für Ni gewählt, wenn der zeitliche Abstand zwischen der Impulsmitte des Lichtimpulses und der Impulsmitte des Steuersignals groß ist.
Schließlich wird ein kleiner Wert für Ni gewählt, wenn der zeitliche Abstand zwischen der fallenden Flanke des Lichtimpulses und der fallenden Flanke des Steuersignals klein ist. Dagegen wird ein großer Wert für Ni gewählt, wenn der zeitliche Abstand zwischen der fallenden Flanke des Lichtimpulses und der fallenden Flanke des Steuersignals groß ist.
Die nachfolgende Formel gibt beispielhaft, unter Bezugnahme auf 10, an, wie eine Rechenvorschrift aussehen kann, wenn der zeitliche Abstand zwischen der steigenden Flanke des Lichtimpulses und der steigenden Flanke des Steuersignals betrachtet wird: $N_{i} = a \cdot {(phi0 + phi \cdot i)}^{2},$
Hierbei ist i ∈ {0,1,2}, phi0 beschreibt die zeitliche Verzögerung (zeitlicher Abstand zwischen der steigenden Flanke des in 10 gezeigten Lichtimpulses 1000 und der steigenden Flanke des in 10 gezeigten ersten Steuersignals (c0) 1003. Ferner kennzeichnet phi den Zeitversatz zwischen der steigenden Flanke des ersten Steuersignals 1003 und der steigenden Flanke des in 10 gezeigten zweiten Steuersignals (c1) 1004. Der gesamte Ausdruck in Klammern wird nun quadratisch gewichtet, um den Abfall der Signalintensität, bedingt durch das Abstandsquadratgesetz, zu kompensieren. Durch Einstellen eines zusätzlichen Gewichtungsfaktors a können die Werte von NO, N1 und N2 so gewichtet werden, dass die Signalintensität von SO, S1 und S2 gleichermaßen erhöht bzw. vermindert werden kann.
11 zeigt schematische Zeitdiagramme für eine TOF-Kamera mit variabler Anzahl von Mikrobelichtungen und kontinuierlicher Folge von Lichtimpulsen gemäß einem zweiten Ausführungsbeispiel.
Bei der Ansteuerungsart der TOF-Kamera gemäß dem zweiten Ausführungsbeispiel wird ebenfalls eine unterschiedliche Anzahl von Mikrobelichtungen für die verschiedenen durch Akkumulation gewonnenen Signale SO, S1 und S2 verwendet. Hierbei sendet die Lichtquelle 103 aber im zweiten Ausführungsbeispiel eine kontinuierliche Folge von Lichtimpulsen aus, wobei die elektronische(n) Verschlusseinheit(en) dabei für die Bildung eines jeden der Signale SO, S1 und S2 mit unterschiedlicher Häufigkeit geöffnet und geschlossen werden. Somit werden gemäß 11 beispielsweise 8 Lichtimpulse von der Lichteinheit ausgesendet und die elektronische Verschlusseinheit wird im Ansprechen auf das Steuersignal c2 genau einmal pro Lichtimpuls geöffnet und geschlossen, um dadurch das Signal S2 aus acht Mikrobelichtungen zu bilden. Ferner wird die elektronische Verschlusseinheit im Ansprechen auf das Steuersignal c1 nur bei jedem zweiten Lichtimpuls geöffnet und geschlossen, sodass für das Signal S1 insgesamt vier Mikrobelichtungen stattfinden. Schließlich wird die elektronische Verschlusseinheit im Ansprechen auf das Steuersignal c0 nur bei jedem vierten Lichtimpuls geöffnet und geschlossen, sodass für die Bildung des Signals S0 insgesamt zwei Mikrobelichtungen zur Verfügung stehen.
Diese Ansteuerungsart ist vorteilhaft, da eine kontinuierliche Emission von Lichtimpulsen zur Temperaturstabilität der Kamera beiträgt.
12 bis 16 zeigen schematische Zeitdiagramme für eine TOF-Kamera mit variabler Anzahl von Mikrobelichtungen und verschiedenen Kombinationen aus Pulslängen und Zeitverschiebungen, die in dem ersten und zweiten Ausführungsbeispiel eingesetzt werden können.
Verschiedene Kombinationen der Impulslänge tl des Lichtimpulses, der Länge der Steuersignale c0, c1, c2, sowie der Zeitverschiebungen phi0, phi1 und phi2 generieren verschiedene Zeitsteuerungsmuster, die jeweils verschiedene Vor- und Nachteile aufweisen.
Das vorgeschlagene Ansteuerungsprinzip mit variabler Anzahl von Mikrobelichtungen kann unabhängig von der Wahl der Zeitsteuerung in vorteilhafter Weise eingesetzt werden.
Eine beispielhafte Auswahl verschiedener Kombinationen für die Ansteuerung der Lichteinheit 103 und die Steuersignale c0, c1 und c2 ist in den 12-16 gezeigt. Dabei bezeichnet der Parameter phi0 die zeitliche Verschiebung zwischen der steigenden Flanke des Lichtimpulses und der steigenden Flanke des Steuersignals c0. In den 12-14 ist phi0 jeweils 0. Generell kann der Parameter phi0 aber generell Werte ungleich Null annehmen. Der Parameter phi1 bezeichnet die zeitliche Verschiebung zwischen den steigenden Flanken der Steuersignale c0 und c1. Schließlich bezeichnet der Parameter phi2 die zeitliche Verschiebung zwischen den steigenden Flanken der Steuersignale c1 und c2. Die Variablen NO, N1 bzw. N2 bezeichnen die Anzahl der Mikrobelichtungen für jedes der Signale SO, S1 und S2.
Auch für die Zeitsteuerungen gemäß 12-16 kann das alternative Ansteuerungsverfahren gemäß dem in 11 gezeigten zweiten Ausführungsbeispiel verwendet werden. Hierbei wird für jedes Teilbild eine gleiche Anzahl von Lichtimpulsen - und damit eine kontinuierliche Folge von Lichtimpulsen - von der Lichteinheit 103 ausgesendet. Die Anzahl der Öffnungs- und Schließvorgänge der elektronischen Verschlusseinheit(en) unterscheiden sich dann für die Signale SO, S1 und S2. Dadurch lassen sich die Vorteile des gewählten Zeitsteuerungsmusters mit dem Vorteil der Temperaturstabilität durch das kontinuierliche Aussenden von Lichtimpulsen kombinieren.
Durch die Wahl einer unterschiedlichen Anzahl von Mikrobelichtungen lassen sich nicht nur durch das Abstandsquadratgesetz bedingte Effekte kompensieren. Auch können Reflektivitätsunterschiede von Objekten in der Szene kompensiert werden. Befinden sich Objekte verschiedener Reflektivität in der zu messenden Szene, kann die Anzahl der Wiederholungen der Mikrobelichtungen für die Signale SO, S1, S2 und damit die eingesammelte Lichtmenge an die Reflektivität der Objekte angepasst werden. Befindet sich beispielsweise ein Objekt mit einer hohen Reflektivität im vorderen Bereich der Szene, ein Objekt mit einer niedrigeren Reflektivität in einem mittleren Bereich, und ein Objekt mit einer hohen Reflektivität in einem hinteren Bereich, so kann die Anzahl der Mikrobelichtungen N1 für das Signal S1 hoch gewählt, um die niedrige Reflektivität der Objekte im mittleren Bereich zu kompensieren, wenn die durch das Steuersignal c1 geöffnete bzw. geschlossene elektronische Verschlusseinheit Licht aus dem mittleren Bereich der Szene passieren lässt. Dies ist vorteilhaft, da somit gültig Entfernungsinformationen für sehr helle und sehr dunkle Objekte in einer Szene gleichzeitig gemessen werden können
Die Anzahl der Mikrobelichtungen NO, N1, N2 und damit die eingesammelte Lichtmenge kann dabei für alle Pixel des Bildsensors identische sein. Das heißt, vor jedem Messvorgang können NO, N1 und N2 festgelegt werden. Diese Werte gelten dann für alle Pixel des Bildsensors. Dies ist vorteilhaft, da es einfach umsetzbar und mit herkömmlichen Sensoren realisiert werden kann.
Gemäß einem alternativen Beispiel kann die Anzahl der Mikrobelichtungen NO, N1 und N2 und damit die eingesammelte Lichtmenge für jeden Pixel des Bildsensors separat eingestellt werden. Diese Möglichkeit bietet den Vorteil, dass eine Optimierung bezüglich des Abfalls des SNR sowie der Reflektivität einzelner Objekte für jeden Objektpunkt im Raum möglich ist.
Des Weiteren kann eine entsprechende Regelung in einer Videoaufnahme erfolgen. In jedem aufgenommenen Frame werden das SNR und die Sättigung für jeden Pixel automatisch überprüft und die Dimensionierung der Anzahl Ni von Mikrobelichtungen und damit die eingesammelte Lichtmenge wird für den als nächstes aufzunehmenden Frame entsprechend angepasst. Somit wird für jeden aufgenommenen Frame automatisch die bestmögliche Einstellung gewählt, um den maximalen Tiefenbereich der TOF-Kamera auszunutzen.
In einem weiteren Ausführungsbeispiel wird vorgeschlagen, die eingesammelte Lichtmenge dadurch zu steuern, dass für jedes aufgenommene Signal SO, S1 und S2 die Anzahl der Lichtquellen, welche Licht in die Umgebung aussenden, variiert wird, um den Helligkeitsabfall der Beleuchtung, welcher durch das Abstandsquadratgesetz verursacht wird, zu kompensieren. Auch hier können bei geringem Umgebungslicht nur zwei aufgenommene Signale S0 und S1 für zwei Teilbilder verwendet werden.
Eine TOF-Kamera ist mit einer bestimmten Anzahl von Lichtquellen, z.B. LEDs, ausgestattet. Ist nun die Vorrichtung so ausgestattet, dass die Anzahl der Lichtquellen, welche tatsächlich Licht aussenden, mit zunehmenden zeitlichen Versatz zwischen Lichtimpuls und Zeitfenster zunehmen, so kann der Helligkeitsabfall der Beleuchtung durch Erhöhung der eingesammelten Lichtmenge kompensiert werden.
Beispielsweise kann eine TOF-Kamera mit 8 LEDs ausgestattet sein. Dann können beispielsweise zur Aufnahme für das erste Signal S0 zwei Lichtquellen (LEDs) Licht aussenden, während die anderen sechs Lichtquellen kein Licht aussenden. Für die Aufnahme des zweiten Signals S1 können beispielsweise vier Lichtquellen (LEDs) Licht aussenden, während zwei Lichtquellen kein Licht aussenden. Für die die Aufnahme des dritten Signals S2 können beispielsweise alle 8 Lichtquellen (LEDs)s Licht aussenden. Dies gilt beispielhaft für den Fall, dass das Signal S0 den Nahbereich, das Signal S1 den mittleren Bereich und das Signal S2 den Fernbereich der Szene wiedergibt.
Die Lichtintensität oder eingesammelte Lichtmenge wird somit für die drei genannten Bereiche angepasst.
Im Nahbereich kommt es, wie in 5 im Bereich 500 dargestellt, häufig zu Sättigungseffekten. Aus diesem Grund wird hier nur eine geringe Anzahl an Lichtquellen verwendet, welche Licht in die Szene aussenden, um eine Reduktion der eingesammelten Lichtmenge für den Nahbereich zu erhalten.
Im Fernbereich kommt es, wie in 5 im Bereich 502 dargestellt, zu einem schlechten SNR aufgrund der zunehmenden Distanz zum Objekt. Aus diesem Grund ist es sinnvoll möglichst viel Licht in die Szene auszusenden und nach Reflektion entsprechend einzusammeln, um das SNR zu verbessern. Somit ist es sinnvoll für die Aufnahme des Teilbildes S2 eine höhere Anzahl von Lichtquellen Licht in die Szene aussenden zu lassen, um so eine Steigerung der eingesammelten Lichtmenge für den Fernbereich zu erhalten.
Da die Signale S0 bis S2 jeweils über einer unterschiedlichen Anzahl von Lichtquellen gebildet werden, müssen zur Wahrung der gegenseitigen Größenverhältnisse die Signale SO, S1 und S2 mit dem inversen ihrer jeweiligen Lichtquellenanzahl multipliziert werden. In dem oben beschriebenen Beispiel muss somit das Signal S0 mit ½, das Signal S1 mit ¼ und das Signal S2 mit 1/8 multipliziert werden.
Auch hier gilt, dass die jeweilige Anzahl der zugeschalteten Lichtquellen in Abhängigkeit von der Impulslänge der Lichtimpulse, der Größe des Zeitfensters und des zeitlichen Versatzes zwischen Lichtimpuls und Zeitfenster gewählt wird, sodass der Arbeitsbereich der TOF-Kamera bestmöglich auf die verwendete Zeitsteuerung angepasst werden kann.
Zusammenfassend wurden eine Vorrichtung und ein Verfahren beschrieben zum Steuern einer Lichtlaufzeitkamera, bei der eine Entfernungsinformation für eine dreidimensionalen Bilddarstellung aus einem Laufzeitunterschied oder einer Zeitverschiebung zwischen einem von zumindest einer Lichtquelle der Laufzeitkamera emittierten Lichtsignal und einem von einem Bildsensor der Laufzeitkamera durch Streuung oder Reflektion des emittierten Lichtsignals empfangen Lichtsignal ermittelt wird, wobei die zumindest eine Lichtquelle zur Abgabe einer Vielzahl von Lichtimpulsen für entsprechende Mikrobelichtungen gesteuert wird. Ferner wird zumindest eine dem Bildsensor zugeordnete elektrische Verschlusseinrichtung mittels zumindest zweier impulsförmiger Steuersignale zum Öffnen und Schließen der Verschlusseinrichtung gesteuert, um dadurch Zeitfenster zur Erfassung von mindestens zwei Signalen für entsprechende Teilbilder zu erhalten, wobei die Teilbilder durch Akkumulation von durch eine vorbestimmte Anzahl von Mikrobelichtungen oder Lichtquellen in dem Bildsensor generierten Ladungsträgern pro Pixel erzeugt werden, wobei sich die Teilbilder im zeitlichen Versatz zwischen Lichtimpuls und Zeitfenster unterscheiden und wobei die Steuerung der Lichtlaufzeitkamera so erfolgt, dass sich die eingesammelte Lichtmenge für mindestens eines der zumindest zwei Teilbilder (bspw. durch eine andere vorbestimmte Anzahl von Mikrobelichtungen oder eine andere Anzahl von Lichtquellen (103)) von derjenigen der anderen Teilbilder unterscheidet.

Claims

Vorrichtung zur Steuerung einer Lichtlaufzeitkamera (100), bei der eine Entfernungsinformation für ein dreidimensionales Bild aus einem Laufzeitunterschied oder einer Phasenverschiebung zwischen einem von zumindest einer Lichtquelle (103) der Laufzeitkamera (100) emittierten Lichtsignal und einem von einem Bildsensor (108) der Laufzeitkamera (100) durch Streuung oder Reflektion des emittierten Lichtsignals empfangen Lichtsignal ermittelt wird, wobei die Vorrichtung (101) ausgestaltet ist: - zum Steuern der zumindest einen Lichtquelle (103) zur Abgabe einer Vielzahl von Lichtimpulsen für entsprechende Mikrobelichtungen; - zum Steuern von mindestens einer dem Bildsensor (108) zugeordneten elektrischen Verschlusseinrichtung mittels zumindest zweier impulsförmiger Steuersignale (c0, c1, c2) zum Öffnen und Schließen der mindestens einen Verschlusseinrichtung, um dadurch Zeitfenster zur Erfassung von mindestens zwei Signalen (S0, S1, S2) für mindestens zwei entsprechende Teilbilder zu erhalten; - wobei die Teilbilder durch Akkumulation von durch zumindest zwei Mikrobelichtungen in dem Bildsensor (108) generierten Ladungsträgern pro Pixel entstehen, wobei jeweils ein Lichtimpuls mit zugehörigem Zeitfenster zu einer Mikrobelichtung führt, und wobei sich die mindestens zwei Teilbilder im zeitlichen Versatz zwischen Lichtimpuls und Zeitfenster unterscheiden; - wobei die Steuerung der Lichtlaufzeitkamera (100) so erfolgt, dass sich für mindestens eines der mindestens zwei Teilbilder die eingesammelte Lichtmenge, insbesondere die vorbestimmte Anzahl von Mikrobelichtungen oder die Anzahl von Lichtquellen (103), von derjenigen der anderen Teilbilder unterscheidet; und - wobei der Zeitversatz zwischen dem Lichtimpuls und dem zugehörigen Zeitfenster einer Mikrobelichtung innerhalb eines jeden Teilbilds konstant ist.
Vorrichtung nach Anspruch 1, wobei die Vorrichtung (101) ausgestaltet ist zum Steuern der zumindest einen Lichtquelle (103) und/oder der Verschlusseinrichtung dergestalt, dass die eingesammelte Lichtmenge, insbesondere die Anzahl der Mikrobelichtungen oder die Anzahl der Lichtquellen (103), der mindestens zwei Teilbilder mit zunehmendem zeitlichen Versatz zwischen Lichtimpuls und Zeitfenster ansteigt.
Vorrichtung nach Anspruch 1 oder 2, wobei die Vorrichtung (101) so ausgestaltet ist, dass die Teilbilder vor der Ermittlung der Entfernungsinformation mit dem Umkehrwert der zugehörigen Anzahl von Mikrobelichtungen oder Anzahl der Lichtquellen (103) gewichtet werden.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Vorrichtung (101) ausgestaltet ist zum Steuern der zumindest einen Lichtquelle (103) und/oder der Verschlusseinrichtung dergestalt, dass die jeweils eingesammelte Lichtmenge, insbesondere die jeweilige Anzahl der Mikrobelichtungen oder Anzahl der Lichtquellen (103), in Abhängigkeit der Impulslänge der Lichtimpulse, der Größe des Zeitfensters und des zeitlichen Versatzes zwischen Lichtimpuls und Zeitfenster gewählt ist.
Vorrichtung nach einem der vorgenannten Ansprüche, wobei die Vorrichtung (101) ausgestaltet ist zum Steuern der Lichtquelle (103) und/oder der Verschlusseinrichtung dergestalt, dass die Anzahl der Mikrobelichtungen oder die Anzahl der Lichtquellen (103) für das erste Signal (S0) 2N beträgt, für das zweite Signal (S1) 4N beträgt, und für das dritte Signal (S2) 8N beträgt, wobei N eine natürliche Zahl ist.
Vorrichtung nach Anspruch 2, wobei die Vorrichtung (101) ausgestaltet ist zum Ermitteln der Anzahl der Mikrobelichtungen für die mindestens drei Signale (S0, S1, S2) gemäß folgender Gleichung: $Ni = a \cdot {(phi0 + phi \cdot i)}^{2},$
wobei i eine positive ganze Zahl größer oder gleich Null ist, Ni die Anzahl der Mikrobelichtungen für das (i+1)-te Signal angibt, phi0 die Zeitverschiebung zwischen dem Lichtimpuls und dem ersten Steuersignal angibt, phi die Zeitverschiebung zwischen unmittelbar aufeinanderfolgenden Steuersignalen angibt, und a einen Gewichtungsfaktor zur Steuerung der Signalintensität der mindestens drei Signale angibt.
Vorrichtung nach einem der Ansprüche 1 bis 5, wobei die Vorrichtung (101) ausgestaltet ist zum Steuern der Lichtquelle (103) dergestalt, dass eine kontinuierliche Folge von Lichtimpulsen ausgesendet wird, und zum Steuern der Verschlusseinrichtung dergestalt, dass das Zeitfenster für die Bildung mindestens eines der Signale mit unterschiedlicher Häufigkeit geschlossen und geöffnet wird.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Vorrichtung (101) ausgestaltet ist zum Verändern der eingesammelten Lichtmenge, insbesondere der Anzahl von Mikrobelichtungen oder Lichtquellen (103) für die mindestens zwei Signale (S0, S1, S2) in Abhängigkeit der Reflektivität eines aufgenommenen Objekts.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Vorrichtung (101) ausgestaltet ist zum separaten Ermitteln der Anzahl von Mikrobelichtungen oder Lichtquellen (103) für jeden Pixel des Bildsensors (108) oder für jeden Frame einer Videoaufnahme.
Vorrichtung nach einem der Ansprüche 1 bis 8, wobei die Vorrichtung (101) ausgestaltet ist zum Verwenden der für jedes Teilbild ermittelten Anzahl von Mikrobelichtungen oder Lichtquellen (103) für alle Pixel des Bildsensors (108).
Lichtlaufzeitkamera (100) mit einer Lichtquelle (103), einem Bildsensor (108) und einer Vorrichtung (101) nach einem der Ansprüche 1 bis 10.
Lichtlaufzeitkamera nach Anspruch 11, mit einer Recheneinrichtung (109) zur Berechnung der Entfernungsinformation des dreidimensionalen Bilds anhand der Werte der zumindest zwei Signale (S0, S1, S2) basierend auf einer Fallunterscheidung für verschiedene durch gegenseitige Größenverhältnisse der Werte der zumindest zwei Signale (S0, S1, S2) festgelegte Bereiche.
Verfahren zum Steuern einer Lichtlaufzeitkamera (100), bei der eine Entfernungsinformation für eine dreidimensionalen Bilddarstellung aus einem Laufzeitunterschied oder einer Phasenverschiebung zwischen einem von zumindest einer Lichtquelle (103) der Laufzeitkamera (100) emittierten Lichtsignal und einem von einem Bildsensor (108) der Laufzeitkamera (100) durch Streuung oder Reflektion des emittierten Lichtsignals empfangen Lichtsignal ermittelt wird, wobei das Verfahren die nachfolgenden Schritte umfasst: - Steuern der zumindest einen Lichtquelle (103) zur Abgabe einer Vielzahl von Lichtimpulsen für entsprechende Mikrobelichtungen; - Steuern von mindestens einer dem Bildsensor (108) zugeordneten elektrischen Verschlusseinrichtung mittels zumindest zweier impulsförmiger Steuersignale (c0, c1, c2) zum Öffnen und Schließen der mindestens einen Verschlusseinrichtung, um dadurch Zeitfenster zur Erfassung von mindestens zwei Signalen (S0, S1, S2) für entsprechende Teilbilder zu erhalten; und - Erzeugen der Teilbilder durch Akkumulation von durch zumindest zwei Mikrobelichtungen in dem Bildsensor (108) generierten Ladungsträgern pro Pixel, wobei jeweils ein Lichtimpuls mit zugehörigem Zeitfenster zu einer Mikrobelichtung führt und wobei sich die Teilbilder im zeitlichen Versatz zwischen Lichtimpuls und Zeitfenster unterscheiden; - wobei die Lichtlaufzeitkamera (100) so gesteuert wird, dass sich für mindestens eines der mindestens zwei Teilbilder die eingesammelte Lichtmenge, insbesondere die vorbestimmte Anzahl von Mikrobelichtungen oder die Anzahl von Lichtquellen (103), von derjenigen der anderen Teilbilder unterscheidet; und - wobei der Zeitversatz zwischen dem Lichtimpuls und dem zugehörigen Zeitfenster einer Mikrobelichtung innerhalb eines jeden Teilbilds konstant ist.
Computerprogramm zum Speichern auf einem Datenträger und zum Veranlassen einer Computervorrichtung zum Ausführen des Steuerverfahrens nach Anspruch 13, wenn das Computerprogramm auf der Computervorrichtung ausgeführt wird.