DE102009046108B4

DE102009046108B4 - Kamerasystem

Info

Publication number: DE102009046108B4
Application number: DE102009046108.6A
Authority: DE
Inventors: Florian Forster; Javier Massanell
Original assignee: PMDtechnologies AG
Current assignee: PMDtechnologies AG
Priority date: 2009-10-28
Filing date: 2009-10-28
Publication date: 2022-06-09
Anticipated expiration: 2029-10-29
Also published as: DE102009046108A1; WO2011051286A1

Abstract

Kamerasystem mit mindestens zwei 3D-TOF-Kameras (200, 202), die als PMD-Kameras ausgebildet sind,und mit einer aktiven Beleuchtung (100) für beide 3D-TOF-Kameras (200, 202), wobei die beiden 3D-TOF-Kameras (200, 202) zur Erzielung eines Stereoeffektes versetzt zueinander angeordnet sind.wobei das Kamerasystem derart ausgestaltet ist, dass Distanz- und Amplitudenbilder der ersten und zweiten 3D-TOF-Kameras (200, 202) erfasst und ausgewertet werden und aus den Distanzbildern der ersten und zweiten 3D-TOF-Kamera (200, 202) ein erstes und zweites Raummodel und aus den stereoskopisch ausgewerteten Amplitudenbildern der beiden 3D-TOF-Kameras (200, 202) ein drittes Raummodel ermittelt wird.

Description

Die Erfindung betrifft ein Kamerasystem mit 3D-TOF-Kameras und einer aktiven Beleuchtung sowie ein Verfahren zum Betreiben eines solchen Kamerasystems nach der Gattung der unabhängigen Ansprüche
Aus dem Stand der Technik sind Systeme zur dreidimensionalen Bilderfassung bekannt, welche mit Hilfe einer aktiven Beleuchtung arbeiten. Dazu gehören so genannten Time-offlight- (TOF-) oder Laufzeitmesssysteme. Diese verwenden eine amplitudenmodulierte oder gepulste Beleuchtung, zur Ausleuchtung der zu erfassenden dreidimensionalen Szenerie.
Mit Kamerasystem soll insbesondere alle 3D-TOF-Kamerasysteme mit umfasst sein, die eine Laufzeitinformation aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Als 3D-TOF-Kameras sind insbesondere PMD-Kameras mit Photomischdetektoren (PMD) geeignet, wie sie u.a. in den Anmeldungen EP 1 777 747 B1 , US 6 587 186 B2 und auch DE 197 04 496 C2 beschrieben sind. Die PMD-Kamera erlaubt insbesondere eine flexible Anordnung der Lichtquelle und des Detektors, die sowohl in einem Gehäuse als auch separat angeordnet werden können.
Aus der DE 10 2008 006 449 A1 ist eine Vorrichtung zur Überwachung eines Raumvolumens bekannt, bei der beispielsweise eine Personenschleuse mit Hilfe von zwei TOF-Kameras überwacht wird. Die dreidimensionalen Raumbilder jeder TOF-Kamera werden gemeinsam so ausgewertet, dass nicht darstellbare Raumpunkte jeweils mithilfe von Raumbildern anderer TOF-Kameras ergänzt werden.
Aufgabe der Erfindung ist es, die Genauigkeit der erfassten Raumbilder zu verbessern.
Die Aufgabe wird in vorteilhafter Weise durch das erfindungsgemäße Kamerasystem gelöst.
Erfindungsgemäß ist ein Kamerasystem mit mindestens zwei 3D-TOF-Kameras, insbesondere PMD-Kameras, und einer aktiven Beleuchtung vorgesehen, bei der die beiden 3D-TOF-Kameras, vorzugsweise zur Erzielung eines Stereoeffektes, versetzt zueinander angeordnet sind. Dieses Vorgehen hat den Vorteil, dass dreidimensionale Rauminformationen nicht nur redundant, nämlich durch Erfassung zweier Distanzbilder der beiden 3D-TOF-Kameras, sondern auch diversitär, durch Ausnutzung eines Stereoeffekts der beiden erfassten Amplitudenbilder, erfasst werden.
Im abhängigen Anspruch ist eine vorteilhafte Weiterbildung des Anspruchs 1 angegeben.
Die ermittelten Raummodelle ermöglichen es in vorteilhafter Weise, ein gemeinsames Raummodell zu erstellen bzw. zu vervollständigen.
Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert. Es zeigen:

1 schematisch ein PMD-Kamerasystem,
2 schematisch ein erfindungsgemäßes Kamerasystem,
3 schematisch eine erfindungsgemäße Erfassungssituation,

1 zeigt eine Messsituation für eine optische Entfernungsmessung mit einem TOF-Kamerasystem, wie es beispielsweise aus der DE 197 04 496 bekannt ist.
Das TOF-Kamerasystem umfasst hier eine Sendeeinheit bzw. eine aktive Beleuchtung 100 mit einer Lichtquelle 12 und einer dazugehörigen Strahlformungsoptik 50 sowie eine Empfangseinheit bzw. 3D-TOF-Kamera 200 mit einer Empfangsoptik 150 und einem Photosensor 15. Der Photosensor 15 ist vorzugsweise als Pixel-Array, insbesondere als PMD-Sensor, ausgebildet. Die Empfangsoptik besteht typischerweise zur Verbesserung der Abbildungseigenschaften aus mehreren optischen Elementen. Die Strahlformungsoptik 50 der Sendeeinheit 100 ist vorzugsweise als Reflektor ausgebildet. Es können jedoch auch diffraktive Elemente oder Kombinationen aus reflektierenden und diffraktiven Elementen eingesetzt werden.
Das Messprinzip dieser Anordnung basiert im Wesentlichen darauf, dass ausgehend von der Phasendifferenz des emittierten und empfangenen Lichts die Laufzeit des emittierten und reflektierten Lichts ermittelt werden kann. Zu diesem Zwecke werden die Lichtquelle und der Photosensor 15 über einen Modulator 18 gemeinsam mit einer bestimmten Modulationsfrequenz mit einer ersten Phasenlage a beaufschlagt. Entsprechend der Modulationsfrequenz sendet die Lichtquelle 12 ein amplitudenmoduliertes Signal mit der Phase a aus. Dieses Signal bzw. die elektromagnetische Strahlung wird im dargestellten Fall von einem Objekt 20 reflektiert und trifft aufgrund der zurückgelegten Wegstrecke entsprechend phasenverschoben mit einer zweiten Phasenlage b auf den Photosensor 15. Im Photosensor 15 wird das Signal der ersten Phasenlage a des Modulators 18 mit dem empfangenen Signal, das mittlerweile eine zweite Phasenlage b angenommen hat, gemischt und aus dem resultierenden Signal die Phasenverschiebung bzw. die Objektentfernung ermittelt.
2 zeigt schematisch ein erfindungsgemäßes Kamerasystem mit einer gemeinsamen aktiven Beleuchtung 100 und einer ersten und zweiten 3D-TOF-Kamera 200, 202, die versetzt bzw. beabstandet voneinander angeordnet sind. Dieses System kann vorzugsweise, wie mit der gestrichelten Umrandung angedeutet, in einem gemeinsamen Gehäuse angeordnet sein. Je nach Anwendungsfall sind jedoch auch verschiedene Kombinationen denkbar. Beispielsweise könnte ein Kamerasystem gemäß 1 mit einer zusätzlichen, in einem separaten Gehäuse befindlichen, 3D-TOF-Kamera kombiniert werden. Selbstverständlich können auch alle Komponenten in einem separaten Gehäuse individuell angeordnet werden. Die aktive Beleuchtung 100 und die 3D-TOF-Kameras 200, 202 sind mit dem Modulator 18 verbunden und sind somit mit gleicher Modulationsfrequenz und Phasenlage beaufschlagt.
3 zeigt schematisch die unterschiedlichen Erfassungsbereiche der beiden 3D-TOF-Kameras 200, 202. In vereinfachter Darstellung sind die beiden 3D-TOF-Kameras 202, 200 direkt nebeneinander angeordnet, wobei die aktive Beleuchtung 100 direkt an diese Doppeleinheit angrenzt. Im dargestellten Beispiel liegen die beiden Erfassungsbereiche E1, E2 der beiden 3D-TOF-Kameras 200, 202 innerhalb des durch die aktive Beleuchtung 100 aufgespannten Beleuchtungsfeld B. Wie aus der 3 zu ersehen ist, überlappen die beiden Erfassungsbereiche E1, E2 im Wesentlichen im mittleren Bereich des Beleuchtungsfeldes B. Aufgrund der versetzten Anordnung der beiden 3D-TOF-Kameras können nun die Amplitudenbilder im Überlappungsbereich stereoskopisch ausgewertet und dreidimensionale Rauminformationen gewonnen werden. In den nicht überlappenden Bereichen liegt zumindest von einer 3D-TOF-Kamera eine Raum- bzw. Distanzinformation vor.
Bei geeigneter Anordnung der beiden 3D-TOF-Kameras 200, 202 ist es jedoch ohne weiteres möglich, den Erfassungsbereich beider 3D-TOF-Kameras im Wesentlichen zur Deckung zu bringen, sodass eine maximal redundante bzw. diversitäre Information vorliegt.
Der Einsatz mindestens zweier 3D-TOF-Kameras hat zusätzlich zur Redundanz auch den Vorteil, dass durch die Erfassung eines Objekts aus verschiedenen Blickwinkeln insbesondere auch zunächst abgeschattete Bereiche erfasst werden können. Des Weiteren erlauben die diversitären und redundanten Daten, eine höhere Genauigkeit der 3D-TOF-Daten sowie ein höheres Sicherheitsniveau zu erreichen.
Durch den Einsatz von mindestens zwei 3D-TOF-Kameras können folgende Kamerainformationen zur Bestimmung der 3D-TOF-Positionen herangezogen werden:

- X,Y,Z-Daten von der ersten 3D-TOF-Kamera 200, wobei der Z-Wert bzw. Distanzwert jedes Pixels auf einer TOF-Messung basiert. Die X,Y-Werte basieren auf strahlengeometrischen Zusammenhängen aufgrund der verwendeten abbildeten Optik.
- X,Y,Z-Werte von der zweiten 3D-TOF-Kamera 202 in entsprechender Weise. X,Y-Werte von der ersten 3D-TOF-Kamera 200 ausgehend von dem Amplitudenbild basierend auf strahlengeometrischen Zusammenhängen aufgrund der verwendeten abbildenden Optik der 3D-TOF-Kamera 200.

X,Y-Werte von der zweiten 3D-TOF-Kamera 202 ausgehend von den Amplitudenbildern in entsprechender Weise.
- Z-Wert aus der stereoskopischen Auswertung der X,Y-Werte der beiden 3D-TOF-Kameras.
Es sei bemerkt, dass die stereoskopische Auswertung nicht nur auf die Amplitudenbilder der beiden TOF-Kameras beschränkt ist, sondern dass auch die Distanzbilder der beiden Kameras stereoskopisch ausgewertet werden können.
In einer weiteren Ausgestaltung kann es vorgesehen sein, auch die Intensitätsbilder der beiden Kameras heranzuziehen. Die Intensitätsbilder bestehen hierbei vornehmlich aus Helligkeitswerte, die sowohl aus Anteilen des Umgebungslichts als auch aus Anteilen der aktiven Beleuchtung bestehen. Durch diese zusätzliche Auswertung kann die Genauigkeit und die Sicherheit des Gesamtsystems weiter verbessert werden.
Weiterhin ist es denkbar, mehr als zwei 3D-TOF-Kameras einzusetzen. Ein solches Vorgehen ist insbesondere dann von Vorteil, wenn sehr komplexe Objekte mit Hinterschneidungen oder Abschattungen zu erfassen sind. Die 3D-TOF-Kameras müssen hier nicht zwingend auf einer gemeinsamen Achse angeordnet sein, sondern können gegebenenfalls auch senkrecht zueinander stehen, sodass beispielsweise die Z-Dimension der einen Kamera durch die X-Dimension der anderen Kamera erfasst wird. Der erfindungsgemäße Einsatz mehrerer 3D-TOF-Kameras erlaubt es weit über die Möglichkeiten einer herkömmlichen Stereokamera, basierend auf ausschließlich Amplitudenbildern, hinaus zu gehen.

Claims

Kamerasystem mit mindestens zwei 3D-TOF-Kameras (200, 202), die als PMD-Kameras ausgebildet sind, und mit einer aktiven Beleuchtung (100) für beide 3D-TOF-Kameras (200, 202), wobei die beiden 3D-TOF-Kameras (200, 202) zur Erzielung eines Stereoeffektes versetzt zueinander angeordnet sind. wobei das Kamerasystem derart ausgestaltet ist, dass Distanz- und Amplitudenbilder der ersten und zweiten 3D-TOF-Kameras (200, 202) erfasst und ausgewertet werden und aus den Distanzbildern der ersten und zweiten 3D-TOF-Kamera (200, 202) ein erstes und zweites Raummodel und aus den stereoskopisch ausgewerteten Amplitudenbildern der beiden 3D-TOF-Kameras (200, 202) ein drittes Raummodel ermittelt wird.
Kamerasystem nach Anspruch 1, bei dem alle Raummodelle zur Vervollständigung eines gemeinsamen Raummodels herangezogen werden.