DE102010020510A1

DE102010020510A1 - Verfahren und Vorrichtung zur Abstandsbestimmung mit einer 3D Laufzeitkamera

Info

Publication number: DE102010020510A1
Application number: DE102010020510A
Authority: DE
Inventors: Thomas May; Javier Massanell
Original assignee: IFM Electronic GmbH
Current assignee: PMDtechnologies AG
Priority date: 2009-05-15
Filing date: 2010-05-15
Publication date: 2010-11-18

Abstract

Bei Verfahren zur Abstandsbestimmung mit einer 3D-Laufzeitkamera, die eine Sendereinheit mit mehreren Leuchtelementen zur Aussendung eines modulierten Lichtsignals ML, und eine Empfangseinheit mit einer Vielzahl von photosensitiven Detektorelementen zum Empfang und Demodulation des reflektierten modulierten Lichtsignals RL aufweist, werden Einflüsse durch Störsignale vermieden.

Description

Die vorliegende Erfindung betrifft Verfahren zur Abstandsbestimmung mit einer 3D-Laufzeitkamera und eine entsprechende Vorrichtung.
Herkömmliche Kameras arbeiten mit Bildsensoren in CMOS oder CCD-Technologie, die das 2-dimensionale Abbild einer Umgebung z. B. eines Objekts oder einer Szene pixelweise mit entsprechenden Grau-/Farbwerten erfassen.
Es sind seit längerem auch 3D-Bilderfassungssysteme bekannt, die meist auf einer Stereoauswertung beruhen. Diese Systeme erfordern neben den entsprechenden Stereoskopie-Algorithmen eine zuverlässige und stabile relative Anordnung der beiden Stereokameras zueinander und zusätzlich eine langzeitstabile Abbildung innerhalb der einzelnen Kameras. Um eine gewünschte Genauigkeit und Zuverlässigkeit dieser Systeme zu erzielen ist ein extrem hoher mechanischer Aufwand notwendig, der entsprechend hohe Kosten verursacht. Ein weiterer Nachteil ist der Platzbedarf dieser Systeme. Stereokameras werden häufig zur 3D-Raumüberwachung eingesetzt.
Eine 3D-Raumüberwachung ist auch mit Scannern möglich. Nachteilig bei Scanern ist jedoch, die relativ lange Auswertezeit und dass die für den Scan-Vorgang benötigten mechanisch betriebenen Bauteile einem Verschleiß unterliegen und deshalb verhältnismäßig hohe Kosten verursachen.
Zur dreidimensionalen Umgebungserfassung werden seit kurzem auch 3D-Laufzeitkameras eingesetzt, bei denen die Abstandsbestimmung mit Hilfe einer aktiven Beleuchtungseinheit erfolgt. Derartige Kameras werden u. a. von der Fa. ifm electronic gmbh unter der Bezeichnung.”pmd efector” bzw. von der Fa. PMDTechnologies GmbH unter der Bezeichnung CamCube hergestellt und vertrieben.
3D-Laufzeitkameras liefern neben diesen Informationen zusätzlich noch pixelweise eine Entfernungsinformation, die über die Zeitverschiebung bzw. Phasenverschiebung zwischen einem Referenzsignal das zur Ansteuerung der aktive Beleuchtungseinheit, die ein entsprechend moduliertes Lichtsignal aussendet, dient und dem vom Objekt oder der Szene reflektierten Lichtsignal bestimmt wird. Das Verfahren ist sehr schnell, so dass eine vollständige 3D-Information der Umgebung in Echtzeit zur Verfügung steht. Kernstück vieler Kameras ist ein PMD-Chip (Photomischdetektor), bei dem pixelweise eine Demodulation des reflektierten Lichtsignals erfolgt.
Bei allen Laufzeitverfahren zur Abstandsbestimmung können durch Störsignale, wie Mehrfachreflexionen oder Fremdsignale von anderen aktiven Beleuchtungseinheiten, die zu unabhängigen weiteren Laufzeitmeßsystemen gehören, zu Fehlern bei der Abstandsbestimmung führen, da der gemessene Abstand je nach Einfluss des Störsignals d. h. eines mehrfach reflektierten Lichtstrahls bzw. eines von einem anderen Messsystems stammenden Lichtstrahls nicht mit dem tatsächlichen Abstand zum Objekt übereinstimmt.
Aufgabe der Erfindung ist es deshalb eine PMD-Kamera zu schaffen, die die oben genannten Nachteile nicht aufweist, die insbesondere eine zuverlässige Abstandsbestimmung erlaubt, die Störeinflüsse möglichst vermeidet und ein einfach und kostengünstig mit einer herkömmlichen 3D-Laufzeitkamera umsetzbar ist.
Gelöst wird diese Aufgabe durch die in den Ansprüchen 1–4 angegebenen Merkmale.
Die wesentliche Idee der Erfindung besteht darin, dass das modulierte Lichtsignal aus mehreren Teilstrahlen besteht, die unterschiedliche Modulationsfrequenzen aufweisen. Die Teilstrahlen werden in entsprechenden Bereichen der Sendeeinheit generiert und in entsprechenden zugeordneten Bereichen der Empfangseinheit detektiert.
Vorteilhafte Ausgestaltungen der Erfdinung sind in den Unteransprüchen angegeben.
Nachfogend ist die Erfindung anhand eines in der Zeichnug dargestellten ausführungsbeispiels näher erläutert.
Es zeigen.
1 Prinzipdarstellung einer 3D-Laufzeitkamera mit einem PMD-Pixel.
2 schematische Darstellung einer herkömmlichen 3D-Laufzeitkamera nach 1
3 schematische Darstellung einer erfindungsgemäßen 3D-Laufzeitkamera nach 1
In 1 ist das PMD-Prinzip anhand eines Blockdiagrams näher erläutert. Die wesentlichen Elemente sind eine Modulatoreinheit ME, die eine Sendeeinheit SE (aktive Beleuchtungseinheit), die das modulierte Lichtsignal erzeugt, ansteuert und eine Empfangseinheit EE, in der die Demodulation des empfangenen Lichtsignals stattfindet. Die Modulatoreinheit besteht aus einem HF-Generator G, der eine Modulationsfrequenz MF (bis ca. 100 MHz) erzeugt. In einem Treiber T wird ein entsprechend moduliertes Ansteuersignal erzeugt, mit dem ein Leuchtelement z. B. eine Leuchtdiode LED, die Teil der Sendeeinheit SE ist, angesteuert wird. Die Sendeeinheit SE emittiert somit ein moduliertes Lichtsignal ML, dessen Intensität mit der Modulationsfrequenz MF variiert (als Wellenzug symbolisch dargestellt). Das modulierte Lichtsignal ML trifft auf ein nicht näher dargestelltes Objekt und wird von diesem reflektiert. Dieses reflektierte Lichtsignal RL wird in der Empfangseinheit EE detektiert. Die Empfangseinheit EE weist als photosensitives Detektorelement ein PMD-Pixel auf, das im Prinzip aus zwei Photodioden besteht, wobei die im PMD-Pixel erzeugten Photoelektronen mittels einer „Ladungsschaukel” auf die beiden Auslesekanäle qa und qb verteilt werden. Nach einer Digitalisierung der Ausgangssignale der Auslesekanäle werden die Signale in bekannter Weise in einem Mikrocontroller verarbeitet und so die Phaselage und Amplitude des reflektierten Lichtsignals RL bestimmt. Über die Phasenlage wird die Abstandsinformation des Objekts bezüglich dieses Pixels ermittelt. Auf die bei PMD-Kameras übliche 4 Phasenmessung (0, 90, 180 und 270) Grad wird hier nicht näher eingegangen.
In 2 ist die Abstandsbestimmung anhand eines Blockdiagramms für eine 3D-Laufzeitkamera (PMD-Kamera) näher erläutert. Die Sendeeinheit SE besteht hier aus einem Array von Leuchtelementen (z. B. 64 Dioden), die schachbrettartig angeordnet sind. Dargestellt sind schematisch nur drei Leuchtdioden 11, 12, 13.
Alle Leuchtelemente der Sendeeinheit SE werden mit der gleichen Modulationsfrequenz MF betrieben. Je nach Anzahl der Leuchtdioden, können auch mehrere Treiber, die Gruppen von Leuchtelementen ansteuern, vorgesehen sein.
Die Empfangseinheit EE besteht ebenfalls aus einem Pixelarray mit einer Vielzahl von photosensitiven Detektorelementen z. B. 205×205 Pixel, wobei auch hier schematisch nur 12 Pixel 11–112 dargestellt sind.
Zusätzlich zu 1 sind noch eine Digitalisierungseinheit DE, die eine Abtast-Halteschaltung (S/H) und einen Analog-Digitalwandler umfasst, ein Mikrocontroller μC zur Signalauswertung mit einer externen Schnittstelle (USB/Ethernet) und ein Netzteil das zur Spannungsversorgung der entsprechenden Komponenten dient, dargestellt. Weiterhin ist noch eine abbildende Optik, wie sie für derartige Kameras typisch ist, vor dem Empfangselement EE schematisch als Linse L2 gezeichnet. Die hier dargestellt 3D-Laufzeitkamera arbeitet nach dem in 1 erläuterten PMD-Prinzip als PMD-Kamera.
Ein Anteil ML des modulierten Lichtsignals wird von der Leuchtdiode 11 ausgesendet, dessen vom Objekt O reflektierte Anteil als reflektiertes moduliertes Lichtsignal RL vom Pixel 14 empfangen und demoduliert wird. Bei diesem Strahlengang ist eine zuverlässige Abstandsbestimmung zum Objekts O nach dem PMD-Prinzip möglich.
Befindet sich jedoch Störobjekt SO im Sendelichtstrahl, so kann es unter Umständen zu einer fehlerhaften Abstandsbestimmung kommen.
Dies wird nachstehend anhand des Strahlengangs des Lichtstrahls L' erläutert. Ein weitere Anteil ML' des modulierten Lichtsignals stammt von der Leuchtdiode 12. Dieser wird am Störobjekt SO abgelenkt und trifft dann erst auf das eigentliche interessierende Objekt O von wo er als Lichtsignal RL' in Richtung Empfangseinheit EE reflektiert wird. Detektiert wird das reflektierte Lichtsignal RL' ebenfalls wie das Lichtsignal RL vom Pixel 14.
Im Pixel 14 wird eine so genannte Mischphase erzeugt, die je nach Einfluss des Lichtsignals RL' zu einem fehlerhaften Abstandswert führt.
In 3 ist die erfindungsgemäße 3D-Laufzeitkamera näher dargestellt, die bis auf die geänderte Modulationseinheit ME und die entsprechenden Ansteuerungen der Sende- bzw. Empfangseinheit der in 2 dargestellten 3D-Laufzeitkamera entspricht, wobei die entsprechende Teile mit den gleichen Bezugszeichen wie in 2 bezeichnet sind.
Erfindungsgemäß ist jede der Leuchtdiode 11, 12 und 13 mit einer separaten Modulationseinheit ME1, ME2 und M3 verbunden. Außerdem sind entsprechende Gruppen von photosensitiven Detektorelementen beispielsweise die Pixel 11, 12, 13, 14, als Gruppe, die als Empfängerbereich EB11 bezeichnet ist, mit der entsprechenden Modulationseinheit ME1 verbunden. Die Zuordnung der einzelnen Bereiche von Sende- und Empfangseinheit ist in 4 besser dargestellt.
In einer einfacheren Ausgestaltung der Erfindung sind auch jeweils einzelne Gruppen von Leuchtelementen, d. h. einzelne Sendebereiche der Sendeeinheit SE, mit jeweils einer Modulationseinheit verbunden.
In 4 ist die Zuordnung der einzelnen Bereiche der Sendeeinheit SE und der Empfangseinheit EE nochmals nicht maßstabsgerecht schematisch dargestellt.
Das reflektierte Licht das von den LEDs im Sendebereich SB11 ausgesendet wird (Teilstrahl 11), gelangt auf den Empfangsbereich EB11. Entsprechendes gilt für die weiteren Bereiche mit entsprechenden Teilstrahlen T12, T13 etc.
Wie viele Leuchtelemente der Sendebereich SB11 umfasst hängt von der jeweiligen Anwendung ab. Gleiches gilt für die Anzahl der Pixel im Empfängerbereich EB11.
Durch vor der Sendeeinheit SE angeordnete diffraktive optische Elemente DOEs, in 3 schematisch als Linse L1 gestrichelt dargestellt, kann eine verbesserte Strahlführung erzielt werden, so dass so wenig wie möglich Licht auf einen Empfangsbereich trifft, das nicht von dem diesen Bereich zugeordneten Sendebereich stammt.
Nachfolgend ist die Funktion dieser 3D-Laufzeitkamera näher erläutert. Jede Modulationseinheit ME1, ME2, ME3 besitzt eine eigene Modulationsfrequenz MF1, MF2, MF3.
Der Teilstrahl T11 des modulierten Lichtsignals, der von der Leuchtdiode 11 stammt, weist deshalb eine andere Modulationsfrequenz MF1 als der Teilstrahl T12, der von der Leuchtdiode LED12 stammt und mit der Modulationsfrequenz MF2 moduliert ist. Die Teilstrahlen T11 bzw. T12 werden vom Objekt als Teilstrahlen RT11 bzw. RT12 reflektiert.
Bei der Demodulation im Pixel 14, das mit der Modulationsfrequenz MF1 arbeitet wird nur der Teilstrahl TR11 berücksichtigt und der Teilstrahl RT12, der die Modulationsfrequenz MF2 aufweist, unterdrückt, weil er die „falsche Modulationsfrequenz aufweist.
Durch die Unterdrückung von Störsignalen, die von Mehrfachreflexionen stammen, ist eine verbesserte Abstandsbestimmung zum Objekt O möglich.
Die weiteren Teilstrahlen T13 etc, die in den entsprechenden Bereichen SB13 etc. der Sendeeinheit SE generiert werden und die in den entsprechenden Bereichen EB13 der Empfängereinheit EE detektiert werden, sind der Übersichtlichkeit halber in 2 nicht eingezeichnet.
Die erfindungsgemäße 3D-Laufzeitkamera ist u. a. auch für Sicherheitsanwendungen insbesondere im Automobil-, Nutzfahrzeug-, Landmaschinenbereich oder bei mobilen Arbeitsmaschinen geeignet. Insbesondere Fahrerassistenzsysteme (Spurwechselassistent, Einparkassistent und Kollisionsvermeidungssysteme etc.) bzw. automatisch geführte Fahrzeuge (AGV-Automatic Guided Vehicles) sind auf eine zuverlässige Umgebungsinformation angewiesen.
Auch der Einsatz bei optischen Sicherheitssystemen im Industriesektor z. B. für die Absicherung von Gefahrenbereichen, die bisher mit optischen Lichtgittern erfolgte, ist denkbar. Weitere industrielle Anwendungen sind Zugangskontrolle, Befüllungsüberwachung bei Behältern, Förderbandüberwachung. Bauteileinspektion, Greifvorgänge etc.
In einer alternativen, etwas einfacheren Ausgestaltung der Erfindung, die nicht mehrere Modulationseinheiten benötigt, werden einzelne Leuchtelemente oder Gruppen von Leuchtelemente d. h. Bereiche der Sendeeinheit sequentiell angesteuert. Bei diesem Verfahren können Störsignale dadurch ermittelt werden, dass in den Bereichen der Empfangseinheit, in denen ohne Mehrfachreflexionen eigentlich keine reflektierten Lichtanteile auftreten dürften, trotzdem Ausgangssignale registriert werden.
Bei mobilen 3D-Laufzeitkamerasystemen besteht immer die Gefahr, dass Störsignale, die von Fremdfahrzeugen stammen, zu Fehlern bei der Abstandsbestimmung führen. Um dies auszuschließen, wird gemäß 2 als HF-Generator ein Spread Spectrum Generator eingesetzt. Die Modulationsfrequenz schwankt vorzugsweise in einem vorgegebenen Frequenzband um 1–2% und wechselt während einer Millisekunde ca. 50–500 mal. Bevorzugt erfolgt der Wechsel nicht deterministisch sondern stochastisch. Bei dem entsprechenden Verfahren ändert sich das modulierte Lichtsignal stochastisch innerhalb eines vorgegebenen Frequenzbandes.
Mit den erfindungsgemäßen Verfahren bzw. Vorrichtungen wird eine effektive Unterdrückung von Störsignalen bei 3D-Laufzeitkameras ermöglicht. Dadurch können diese u. a. auch bei sicherheitskritischen Anwendungen eingesetzt werden. Die Erfindung ist einfach und kostengünstig umsetzbar, da nur wenige Änderungen an bestehenden 3D-Laufzeitkameras notwendig sind.
Alternativ zu den unterschiedlichen Modulationsfrequenzen der Teilstrahlen ist es auch denkbar, die Teilstrahlen in einer anderen Weise zu individualisieren, so dass sie in der Empfängereinheit unterscheidbar sind. Eine Möglichkeit einer solchen Realisierung besteht darin, diese unterschiedlich zu kodieren.

Claims

Verfahren zur Abstandsbestimmung mit einer 3D-Laufzeitkamera, die eine Sendereinheit mit mehreren Leuchtelementen zur Aussendung eines modulierten Lichtsignals ML, und eine Empfangseinheit mit einer Vielzahl von photosensitiven Detektorelementen zum Empfang und Demodulation des reflektierten modulierten Lichtsignals RL aufweist, dadurch gekennzeichnet, dass das modulierte Lichtsignal ML aus mehreren Teilstrahlen T11, T12, T13 besteht, die jeweils in entsprechenden Bereichen SB11, SB12, SB13 der Sendereinheit SE generiert und in entsprechenden Bereichen EB11, EB12, EB13 der Empfängereinheit EE detektiert werden, wobei die Teilstrahlen T11, T12, T13 unterschiedliche Modulationsfrequenzen aufweisen.
Verfahren zur Abstandsbestimmung mit einer 3D-Laufzeitkamera, die eine Sendereinheit mit mehreren Leuchtelementen zur Aussendung eines modulierten Lichtsignals ML, und eine Empfangseinheit mit einer Vielzahl von photosensitiven Detektorelementen zum Empfang und Demodulation des reflektierten modulierten Lichtsignals RL aufweist, dadurch gekennzeichnet, dass das modulierte Lichtsignal ML stochastisch seine Modulationsfrequenz innerhalb einer vorgegebenen Frequenzbandbreite ändert.
Verfahren zur Abstandsbestimmung mit einer 3D-Laufzeitkamera, die eine Sendereinheit mit mehreren Leuchtelementen zur Aussendung eines modulierten Lichtsignals ML, und eine Empfangseinheit mit einer Vielzahl von photosensitiven Detektorelementen zum Empfang und Demodulation des reflektierten modulierten Lichtsignals RL aufweist, dadurch gekennzeichnet, einzelne Bereiche der Sendeeinheit SE sequentiell angesteuert werden und dass eine Abstandsbestimmung nur mit dem dem aktuell angesteuerten Sendebereich z. B. SB11 zugeordnetem Empfangsbereich EB11 auf der Empfangseinheit EE erfolgt.
Verfahren zur Abstandsbestimmung mit einer 3D-Laufzeitkamera, die eine Sendereinheit mit mehreren Leuchtelementen zur Aussendung eines modulierten Lichtsignals ML, und eine Empfangseinheit mit einer Vielzahl von photosensitiven Detektorelementen zum Empfang und Demodulation des reflektierten modulierten Lichtsignals RL aufweist, dadurch gekennzeichnet, dass das modulierte Lichtsignal ML aus mehreren Teilstrahlen T11, T12, T13 besteht, die so individualisiert sind, dass sie in der Empfängereinheit EE unterscheidbar sind.
Vorrichtung zur Abstandsbestimmung mit einer 3D-Laufzeitkamera, die eine Sendereinheit mit mehreren Leuchtelementen zur Aussendung eines modulierten Lichtsignals ML, und eine Empfangseinheit mit einer Vielzahl von photosensitiven Detektorelementen zum Empfang und Demodulation des reflektierten modulierten Lichtsignals RL aufweist, dadurch gekennzeichnet, dass die Sendereinheit SE und die Empfängereinheit EE in jeweils einander zugeordnete Bereiche SB11, SB12 .. bzw. EB11, EB12 .. unterteilt sind und dass für die jeweils einander zugeordneten Bereiche eine eigene Modulationseinheit ME1, ME2, ME3 vorgesehen ist.