DE102014107799A1 - 3D-Kamera nach dem Stereoskopieprinzip und Verfahren zur Erfassung von dreidimensionalen Bilddaten - Google Patents

3D-Kamera nach dem Stereoskopieprinzip und Verfahren zur Erfassung von dreidimensionalen Bilddaten Download PDF

Info

Publication number
DE102014107799A1
DE102014107799A1 DE102014107799.7A DE102014107799A DE102014107799A1 DE 102014107799 A1 DE102014107799 A1 DE 102014107799A1 DE 102014107799 A DE102014107799 A DE 102014107799A DE 102014107799 A1 DE102014107799 A1 DE 102014107799A1
Authority
DE
Germany
Prior art keywords
image
camera
unit
lock
stereoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102014107799.7A
Other languages
English (en)
Inventor
Thorsten Pfister
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sick AG
Original Assignee
Sick AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sick AG filed Critical Sick AG
Priority to DE102014107799.7A priority Critical patent/DE102014107799A1/de
Publication of DE102014107799A1 publication Critical patent/DE102014107799A1/de
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87Combinations of systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Es wird eine 3D-Kamera (10) nach dem Stereoskopieprinzip zur Erfassung von dreidimensionalen Bilddaten eines Überwachungsbereichs (12) angegeben, die eine Beleuchtungseinheit (22), mindestens einen Bildsensor (16a–b) zur Aufnahme eines Ausgangsbilds des Überwachungsbereichs (12) und eine Stereoskopieeinheit (32) zum Berechnen von Abständen von Objekten in dem Überwachungsbereich (12) durch Triangulation anhand von Bildmerkmalen des Ausgangsbildes aufweist. Dabei ist eine Lock-In-Einheit (20a–b) vorgesehen, die dafür ausgebildet ist, aus Empfangssignalen des Bildsensors (16a–b) das Ausgangsbild durch ein Lock-In-Verfahren auf eine Modulationsfrequenz zu gewinnen, mit der von der Beleuchtungseinheit (22) ausgesandtes Licht periodisch moduliert ist.

Description

  • Die Erfindung betrifft eine 3D-Kamera nach dem Stereoskopieprinzip und ein Verfahren zur Erfassung von dreidimensionalen Bilddaten nach dem Oberbegriff von Anspruch 1 beziehungsweise 10.
  • Im Gegensatz zu einer herkömmlichen Kamera nimmt eine 3D-Kamera auch eine Tiefeninformation auf und erzeugt somit dreidimensionale Bilddaten mit Abstands- oder Entfernungswerten für die einzelnen Pixel des 3D-Bildes, das auch als Entfernungsbild oder Tiefenkarte bezeichnet wird. Die zusätzliche Entfernungsdimension lässt sich in einer Vielzahl von Anwendungen nutzen, um mehr Informationen über Objekte in der von der Kamera erfassten Szenerie zu gewinnen und so verschiedene Aufgaben im Bereich der Industriesensorik zu lösen.
  • In der Automatisierungstechnik, beispielsweise in den Bereichen Logistik und Fabrikautomation, können anhand dreidimensionaler Bildinformationen Objekte erfasst und klassifiziert werden, um weitere automatische Bearbeitungsschritte davon abhängig zu machen, welche Objekte vorzugsweise einschließlich ihrer Position und Orientierung erkannt wurden. Damit können beispielsweise die Steuerung von Robotern oder verschiedenartigen Aktoren an einem Förderband für automatische Sortierung- oder Bearbeitungsschritte unterstützt werden. Eine weitere Anwendungsmöglichkeit ist die Absicherung einer gefährlichen Maschine in der Sicherheitstechnik, wie etwa einer Presse oder eines Roboters, wo bei Eingriff eines Körperteils in einen Gefahrenbereich um die Maschine herum eine Absicherung erfolgt.
  • In mobilen Anwendungen, seien es Fahrzeuge mit Fahrer wie PKW, LKW, Arbeitsmaschinen oder Gabelstapler oder führerlose Fahrzeuge wie AGVs (Automated Guided Vehicle) oder Flurförderzeuge, soll die Umgebung und insbesondere ein geplanter Fahrweg möglichst vollständig und dreidimensional erfasst werden. Damit soll die autonome Navigation ermöglicht oder ein Fahrer unterstützt werden, um unter anderem Hindernisse zu erkennen, Kollisionen zu vermeiden oder das Be- und Entladen von Transportgütern einschließlich Kartons, Paletten, Containern oder Anhängern zu erleichtern.
  • Zur Überwachung dynamischer Prozesse oder Szenen werden dabei unter anderem sogenannte 3D-Snapshot-Sensoren benötigt, die in der Lage sind, mit einer Bildaufnahme instantan ein 3D-Bild zu erzeugen. Dabei wird in industriellen Anwendungen eine hohe Robustheit gegenüber wechselnden Mess- oder Umgebungsbedingungen gefordert.
  • Im Stand der Technik sind vor allem zwei Messprinzipien für einen optischen 3D-Sensor beziehungsweise eine 3D-Kamera bekannt, nämlich das Stereoskopieverfahren und das Lichtlaufzeitverfahren.
  • Die Stereobildgebung zur Ermittlung der Tiefeninformationen ist an das menschliche Sehen mit zwei Augen angelehnt und basiert auf Triangulation. Hierzu wird die zu erfassende Szene aus zwei verschiedenen Blickrichtungen aufgenommen. In den Aufnahmen werden beispielsweise durch Korrelation zueinander korrespondierende Pixel beziehungsweise Bildelemente identifiziert. Deren als Disparität bezeichneter gegenseitiger Versatz stellt ein Maß für die Entfernung dar, so dass in Kenntnis der optischen Parameter der Stereokamera und insbesondere den relativen Positionen, aus denen die Aufnahmen gemacht wurden, die jeweilige Entfernung durch trigonometrische Beziehungen beziehungsweise Triangulation berechnet werden kann. Stereosysteme können passiv, also allein mit dem Umgebungslicht arbeiten, oder eine eigene Beleuchtung aufweisen, die vorzugsweise ein strukturiertes Beleuchtungsmuster erzeugt, um die Entfernungsschätzung auch in Bereichen der Szenerie ohne natürlichen Kontrast zu ermöglichen. Eine beispielsweise aus der US 7 433 024 bekannte Variante verwendet nur eine Kamera, deren Bild mit dem bekannten strukturierten Beleuchtungsmuster verglichen wird. Dies fällt auch unter das Stereoskopieprinzip, indem man die strukturierte Beleuchtung als inverse Kamera auffasst.
  • Bei den Lichtlaufzeitverfahren unterscheidet man üblicherweise Phasen- und Pulsverfahren. Nun gibt es zwar 3D-Kameras, die nach dem Pulslaufzeitverfahren arbeiten, also sehr kurze einzelne Lichtpulse aussenden und die Laufzeit bis zum Empfang in den einzelnen Pixeln eines speziellen Bildsensors messen. An diese Bildsensoren sind dann aber extrem hohe Anforderungen zu stellen, um die erforderliche Zeitauflösung im Pikosekundenbereich zu erreichen, und außerdem müssen sehr starke Lichtpulse erzeugt werden, um in der kurzen Detektionszeit genügend Signal zur Verfügung zu stellen und ein ausreichendes Signal-Rausch-Verhältnis zu erhalten. Deshalb wird, anders als bei Laserscannern oder einstrahligen Systemen, in denen das Pulsverfahren durchaus verbreitet ist, für 3D-Kameras hauptsächlich eine Phasenlaufzeitmessung verwendet. Das von der Kamera zur Messung ausgesandte Licht wird dabei mit einer bestimmten Modulationsfrequenz amplitudenmoduliert. Das von Objekten in der Szenerie remittierte Licht wird in speziellen Pixeln des Bildsensors nach dem Lock-In-Verfahren detektiert. Dazu wird in den jeweiligen Pixeln das Empfangssignal mit der bekannten Modulationsfrequenz in vier verschiedenen Phasenlagen abgetastet. Man nennt solche Pixel auch Lock-In-Pixel. Aus den Abtastwerten lässt sich die Phase des Empfangssignals bei der Modulationsfrequenz rekonstruieren. Für diese Rekonstruktion genügen theoretisch bereits zwei Abtastungen, aber es werden in der Praxis vier Abtastungen verwendet, um Messfehler aufgrund von technisch unvermeidbaren Asymmetrien im Aufbau der Lock-In-Pixel zu vermeiden.
  • Weder Stereoverfahren noch Lichtlaufzeitverfahren zeigen in der Praxis ausreichende Robustheit gegenüber diversen Störeffekten.
  • Aus der EP 1 933 167 A1 ist bekannt, dreidimensionale Bilddaten mit verschiedenen Verfahren zu gewinnen und dann zu vergleichen oder miteinander zu verrechnen. Die konkrete Bestimmung der Lichtlaufzeit wird dabei nicht näher erläutert. Jedenfalls arbeitet jedes 3D-Prinzip für sich, und ein Vergleich erfolgt erst abschließend bereits auf der Ebene der dreidimensionalen Bilddaten. Dadurch werden einige mögliche Synergien zwischen den Verfahren nicht optimal genutzt.
  • Es ist daher Aufgabe der Erfindung, eine 3D-Kamera anzugeben, die zuverlässiger dreidimensionale Bilddaten gerade auch unter Störeinflüssen liefert.
  • Diese Aufgabe wird durch eine 3D-Kamera nach dem Stereoskopieprinzip und ein Verfahren zur Erfassung von dreidimensionalen Bilddaten nach Anspruch 1 beziehungsweise 10 gelöst. Eine 3D-Kamera nimmt mindestens ein noch zweidimensionales Ausgangsbild des beleuchteten Überwachungsbereichs auf und ermittelt durch Triangulation Abstände aus Bildmerkmalen des Ausgangsbildes. Diese Abstände entsprechen Objekten oder Objektkonturen in dem Überwachungsbereich und damit gerade der dritten Dimension der dreidimensionalen Bilddaten. Die Erfindung geht nun von dem Grundgedanken aus, das Ausgangsbild durch ein Lock-In-Verfahren auf eine Modulationsfrequenz zu gewinnen, mit der das Licht zum Beleuchten des Überwachungsbereichs moduliert wurde.
  • Die Erfindung hat den Vorteil, dass das Lock-In-Verfahren als sehr genau an das Sendelicht angepasstes spezifisches Filter wirkt. Die 3D-Erfassung wird damit besonders robust gegenüber Störsignalen anderer Frequenzen etwa von anderen Sensoren oder Kameras. Insbesondere kann ein Gleichlichtanteil und damit Umgebungslicht der Sonne oder einer Raumbeleuchtung praktisch vollständig unterdrückt werden. Die Erfindung verbindet insgesamt die Vorteile von Stereoverfahren und Lichtlaufzeitverfahren, wobei in der Kombination die jeweiligen Schwächen des einen Verfahrens durch Stärken des anderen Verfahrens ersetzt sind.
  • Um Missverständnisse auszuschließen, wird auf den Unterschied zwischen der Modulationsfrequenz und der eigentlichen Frequenz des Lichts hingewiesen. Das Lock-In-Verfahren bezieht sich auf eine zusätzliche Amplitudenmodulation der Beleuchtung. Das hat mit der Lichtfarbe nichts zu tun, obwohl zusätzliche Filter, insbesondere Interferenzfilter oder dergleichen, denkbar sind, welche das Empfangssignal von vorneherein auf das Spektrum der Beleuchtung beschränken.
  • Die Beleuchtungseinheit weist vorzugsweise ein Mustererzeugungselement zum Ausleuchten des Überwachungsbereichs mit einem Kontrastmuster auf. Die Bildmerkmale entsprechen dann Elementen des Kontrastmusters, obwohl natürliche Bildmerkmale ergänzend herangezogen werden können. Das Kontrastmuster ist für das Lock-In-Verfahren amplitudenmoduliert.
  • Die Stereoskopieeinheit ist bevorzugt dafür ausgebildet, Bildmerkmale des Ausgangsbildes mit dem Kontrastmuster zu korrelieren, um die Abstände zu berechnen. Hier tritt das an sich bekannte oder vorab als Referenz aufgenommene Kontrastmuster an die Stelle eines zweiten Bildes des Stereoverfahrens, die Beleuchtung wird also als inverse Kamera betrachtet.
  • Alternativ sind wie in einer klassischen Stereokamera mindestens zwei Bildsensoren zur Aufnahme von mindestens zwei Ausgangsbildern aus zueinander versetzter Perspektive vorgesehen, wobei die Stereoskopieeinheit dafür ausgebildet ist, Disparitäten zueinander korrespondierender Bildmerkmale in den Ausgangsbildern und aus den Disparitäten die Abstände zu berechnen. Die Disparität wird beispielsweise als gegenseitiger Pixelversatz zueinander korrespondierender Bildmerkmale geschätzt. Mit dem bekannten Basisabstand der Bildsensoren werden dann die Abstände trianguliert.
  • Die Lock-In-Einheit ist bevorzugt dafür ausgebildet, ein jeweiliges Empfangssignal von Lichtempfangselementen der Bildsensoren mit einem Vielfachen der Modulationsfrequenz abzutasten und aus den Abtastungen eine Empfangsamplitude zu rekonstruieren. Hierdurch werden Merkmale eines Lock-In-Verfahrens konkretisiert. Die Lage der Abtastpunkte bezüglich der Modulationsfrequenz wird vorgegeben und ist damit bekannt, so dass eine einfache geometrische Formel der bei den Abtastungen bestimmten Signalintensitäten die gesuchte Empfangsamplitude und damit den Helligkeits- oder Farbwert für das jeweilige Pixel ergibt. Eine entsprechende Auswertung erfolgt vorzugsweise für alle Pixel des Bildsensors oder der Bildsensoren und noch bevorzugter parallel oder zumindest gruppenweise parallel. Zu beachten ist, dass vorzugsweise nur die Amplitude rekonstruiert wird und nicht die Phase, da die eigentliche Entfernungsbestimmung nicht durch Lichtlaufzeitverfahren, sondern durch Triangulation erfolgt. Herkömmliche Lichtlaufzeitverfahren würden gerade umgekehrt nur die Phase rekonstruieren und sind an der Empfangsamplitude nicht primär interessiert.
  • Die Lock-In-Einheit ist bevorzugt dafür ausgebildet, aus den Abtastungen eine Phase zu rekonstruieren und daraus einen redundanten Abstandswert zu gewinnen. Nach dieser Ausführungsform wird die Phase doch rekonstruiert, aber nicht um das Ausgangsbild und das nachgelagerte Stereoskopieverfahren zu unterstützen, sondern um den Abstand ein zweites Mal unabhängig zu messen. Übrigens kann bei echter Stereoskopie mit zwei Bildsensoren die Auswertung doppelt redundant erfolgen, da beide Bildsensoren jeweils eine Abstandsbestimmung aus der Phase erlauben. Die aus der Phase gewonnenen Abstände können für einen Vergleich oder ein Verrechnen mit den stereoskopisch gewonnenen Abständen genutzt werden. Auch kann aufgrund der über die Phase geschätzten Abstände das Disparitätsfenster für die Korrelation des Stereoskopieverfahrens sehr eng festgelegt und damit der Rechenaufwand verringert werden.
  • Die Lock-In-Einheit ist bevorzugt in den Bildsensor integriert. Die Integration erfolgt insbesondere direkt in jedem einzelnen Pixel des Bildsensors („Smart Pixel”, „Lock-In-Pixel”). Damit ist eine schnelle Auswertung möglich, und nachgelagerte Einheiten müssen sich um das Lock-In-Verfahren nicht mehr kümmern, sondern können sofort das von Störeinflüssen befreite Ausgangsbild auslesen.
  • Die Bildsensoren sind bevorzugt Phasenlaufzeit-Bildsensoren. PMD (Photomischdetektion) ist ein beispielhaftes bekanntes Verfahren zur Messung von Lichtlaufzeiten anhand der Phase. PMD-Chips können erworben und unmittelbar verwendet werden. Allerdings dienen sie bestimmungsgemäß dazu, bereits selbsttätig dreidimensionale Bilddaten zu liefern, was erfindungsgemäß nicht oder allenfalls unterstützend ausgenutzt wird. Stattdessen werden nur Empfangsamplituden rekonstruiert, um Ausgangsbilder für ein Stereoskopieverfahren zu erhalten.
  • Die Bildsensoren weisen bevorzugt eine Bildwiederholrate von mindestens 500 Hz, insbesondere 1000 Hz auf. Die effektive Bildwiederholrate (Framerate) der 3D-Kamera ist durch die mehrfache Abtastung je Modulationsperiode des mit der Modulationsfrequenz amplitudenmodulierten Lichts der Beleuchtung um mindestens einen Faktor zwei und bei bevorzugter Abtastung an vier Stützstellen sogar einen Faktor vier reduziert. Deshalb werden vorzugsweise sehr schnelle Bildsensoren verwendet, damit die effektive Bildwiederholrate hoch genug bleibt.
  • Das erfindungsgemäße Verfahren kann auf ähnliche Weise weitergebildet werden und zeigt dabei ähnliche Vorteile. Derartige vorteilhafte Merkmale sind beispielhaft, aber nicht abschließend in den sich an die unabhängigen Ansprüche anschließenden Unteransprüchen beschrieben.
  • Die Erfindung wird nachstehend auch hinsichtlich weiterer Merkmale und Vorteile beispielhaft anhand von Ausführungsformen und unter Bezug auf die beigefügte Zeichnung näher erläutert. Die Abbildungen der Zeichnung zeigen in:
  • 1 eine schematische Schnittdarstellung einer 3D-Kamera; und
  • 2 zeitliche Verläufe der Amplitudenmodulation eines beispielhaften Sende- und Empfangssignals zur Erläuterung des Lock-In-Verfahrens.
  • 1 zeigt in einer Blockdarstellung den Aufbau einer 3D-Kamera 10 zur Aufnahme von dreidimensionalen Bilddaten eines Überwachungsbereichs 12. Darin sind zwei Kameramodule 14a–b in einem bekannten festen Abstand zueinander montiert und nehmen jeweils zweidimensionale Ausgangsbilder des Raumbereichs 12 auf. In jedem Kameramodul 14a–b ist ein Bildsensor 16a–b vorgesehen, üblicherweise ein matrixförmiger Aufnahmechip, der ein rechteckiges Pixelbild aufnimmt, beispielsweise ein CCD- oder ein CMOS-Sensor. Den Bildsensoren 16a–b ist jeweils ein Objektiv mit einer abbildenden Optik zugeordnet, welches als Linse 18a–b dargestellt ist und in der Praxis als jede bekannte Abbildungsoptik realisiert sein kann. Das Empfangssignal der Bildsensoren 16a–b wird insbesondere pixelweise mit einer Lock-In-Einheit 20a–b verarbeitet.
  • Zwischen den beiden Kameramodulen 14a–b ist eine Beleuchtungseinheit 22 mit einer Lichtquelle 24, einer Optik 26 und einem Mustererzeugungselement 28 vorgesehen. Der genaue Aufbau und die räumliche Anordnung der Beleuchtungseinheit 22 ist nur als Beispiel für an sich bekannte Beleuchtungen zur Erzeugung eines strukturierten Beleuchtungsmusters im Überwachungsbereich 12 zu verstehen.
  • Mit den beiden Kameramodulen 14a–b und der Beleuchtungseinheit 22 ist eine kombinierte Auswertungs- und Steuerungseinheit 30 verbunden. Für das Verständnis der Erfindung wird von deren Funktionalität nur eine Stereoskopieeinheit 32 beschrieben. Darin werden jeweils zwei Ausgangsbilder der beiden Kameramodule 14a–b mit einem bereits einleitend erläuterten Stereoverfahren ausgewertet, um die dreidimensionalen Bilddaten zu erhalten. Die Auswertungs- und Steuerungseinheit 30 kann einen oder mehrere digitale Bausteine umfassen, insbesondere solche, die für eine schnelle, parallele Verarbeitung großer Datenmengen ausgelegt sind, etwa ein FPGA (Field Programmable Gate Array) oder eine GPU (Graphics Processing Unit).
  • Über einen Ausgang 34 kann die 3D-Kamera 10 dreidimensionale Bilddaten oder andere Messergebnisse ausgeben, beispielsweise Ausgangsbilder eines Kameramoduls 14a–b, aber auch Auswertungsergebnisse wie Objektdaten oder die Identifizierung bestimmter Objekte. Speziell in sicherheitstechnischer Anwendung kann das Erkennen eines unzulässigen Eingriffs in Schutzfelder, die in dem Überwachungsbereich 12 definiert wurden, zur Ausgabe eines sicherheitsgerichteten Abschaltsignals führen. Dazu ist der Ausgang 34 dann vorzugsweise als Sicherheitsausgang (OSSD, Output Signal Switching Device) ausgeführt und die 3D-Kamera insgesamt im Sinne einschlägiger Sicherheitsnormen ausfallsicher aufgebaut.
  • Die Lock-In-Einheit 20a–b kann alternativ zur Darstellung in die Bildsensoren 16a–b integriert sein (Smart Pixel, Lock-In-Pixel). Ebenso denkbar ist umgekehrt, die Lock-In-Einheit 20a–b in der Auswertungs- und Steuerungseinheit 30 unterzubringen. Weiterhin kann in einer nicht dargestellten Variante der 3D-Kamera nur ein Kameramodul vorgesehen sein, dessen Ausgangsbild in der Stereoskopieeinheit 32 mit dem strukturierten Beleuchtungsmuster korreliert wird.
  • Die Besonderheit der 3D-Kamera 10 liegt darin, dass die Ausgangsbilder der Kameramodule 14a–b mit Hilfe eines Lock-In-Verfahrens gewonnen werden. Dazu wird das Licht der Beleuchtungseinheit 22 mit einer Modulationsfrequenz amplitudenmoduliert. Die Lock-In-Einheit 20a–b wertet das Empfangssignal der Bildsensoren 16a–b so aus, dass als Ausgangsbild ein Amplitudenbild exakt bei der Modulationsfrequenz entsteht. Die Lock-In-Einheit 20a–b stellt damit ein äußerst wirksames Filter auf das eigene Sendelicht dar und blendet Störsignale aus.
  • 2 zeigt zur weiteren Erläuterung des Lock-In-Verfahrens schematisch die Signale für eine Modulationsperiode. Mit gepunkteter Linie ist die auf das Licht der Beleuchtungseinheit 22 aufmodulierte periodische Intensitätsänderung dargestellt. Das Empfangssignal eines Pixels des Bildsensors 16a–b erfährt eine mit durchgezogener Linie dargestellte Amplitudenmodulation gleicher Form und Periode, jedoch je nach Entfernung und Remissionseigenschaften des von dem Pixel abgebildeten Objekts mit Phasenversatz und veränderter Amplitude.
  • Anhand mindestens zweier Abtastungen können der Phasenversatz und die Amplitude des Empfangssignals rekonstruiert werden. Zum Ausgleich von diversen Störeffekten und Toleranzen werden aber vorzugsweise zusätzliche Abtastungen vorgenommen, hier vier Abtastungen zu Abtastzeitpunkten entsprechend 0°, 90°, 180° und 270° plus der anfänglich unbekannte Phasenversatz, und daraus vier Amplitudenwerte S0, S1, S2 und S3 gewonnen. Daraus wird die Amplitude als Helligkeits- oder Farbwert des jeweiligen Pixels des Ausgangsbildes zu
    Figure DE102014107799A1_0002
    rekonstruiert. Die Rekonstruktion der Amplitude genügt für das Lock-In-Verfahren, da die eigentliche Entfernungsbestimmung nachgelagert in der Stereoskopieeinheit 32 auf Basis der im Lock-In-Verfahren gewonnenen Ausgangsbilder erfolgt. Ein Lichtlaufzeitverfahren würde statt der Amplitude den Phasenversatz zu φ = arctan( S0-S2 / S1-S3) und damit die Entfernung zu c / 21 / 2πf(φ) bestimmen, wobei c die Lichtgeschwindigkeit und die f die Modulationsfrequenz ist. Eine solche Laufzeitbestimmung kann auch die Erfindung als redundante Messung vornehmen.
  • Die Realisierung des Lock-In-Verfahrens ist auf verschiedene Weisen denkbar. In einer Ausführungsform wird als Bildsensor 16a–b ein für ein Phasenlaufzeitverfahren ausgebildeter Bildsensor, insbesondere ein PMD-Chip (Photomischdetektion) eingesetzt. Dabei ist die Lock-In-Einheit 20a–b in den Bildsensor 16a–b integriert, indem die Pixel selbst schon als Lock-In-Pixel ausgebildet sind, damit die Demodulation direkt selbst übernehmen und entsprechende im Lock-In-Verfahren erzeugte Amplitudenbilder ausgeben.
  • Mit PMD-Bildsensoren wird eine hohe Robustheit gegenüber Temperaturerhöhungen erreicht, weil das Rauschen durch temperaturunabhängiges Schrotrauschen dominiert wird. Eine Synchronisation zwischen Beleuchtungseinheit 22 und Bildsensor 14a–b ist im Gegensatz zu einem Phasenlaufzeitverfahren nicht unbedingt erforderlich, weil nur die Signalamplitude ausgewertet wird. Jedoch kann eine solche Synchronisation optional implementiert werden, um eine redundante Entfernungsbestimmung mittels Phasenmessung (Lichtlaufzeitverfahren) vorzunehmen. Allerdings ist das Auflösungsvermögen (Pixelanzahl) der wenigen kommerziell erhältlichen PMD-Bildsensoren beschränkt.
  • Bei der in 1 dargestellten Ausführungsform können Standard-Bildsensoren 16a–b wie etwa CMOS-Bildsensoren verwendet werden. Die Lock-In-Einheit 20a–b nutzt nachgelagert deren Bilder als einzelne Abtastung gemäß 2 für alle Pixel. Dementsprechend sollte die Bildwiederholungsrate der Bildsensoren 16a–b recht hoch sein, da mehrere und bei einer Vierfachabtastung gemäß 2 vier Bilder benötigt werden, um ein Ausgangsbild im Lock-In-Verfahren zu erzeugen. Vorteilhaft sind daher Bildwiederholraten von 500 Hz und mehr oder sogar 1000 Hz und mehr, die von verfügbaren Standard-Bildsensoren auch erreichbar sind. Damit sind dann Modulationsfrequenzen von einigen hundert Hertz möglich, denn in jede Periode der Modulationsfrequenz müssen mehrere und insbesondere vier Bilder aufgenommen werden. Alternativ kann eine kleinere Bildwiederholrate gewählt werden und eine Unterabtastung zur Demodulation genutzt werden.
  • Für ein Phasenlaufzeitverfahren würde man immer eine möglichst große Modulationsfrequenz wählen, da die Distanzmessunsicherheit umgekehrt proportional zur Modulationsfrequenz ist. Da erfindungsgemäß die Amplitude und nicht die Phase rekonstruiert wird, gilt diese Einschränkung hier nicht, und eine Modulationsfrequenz im Bereich einiger hundert Hertz ist ausreichend.
  • Im Gegensatz zur Verwendung spezieller Bildsensoren mit Lock-In-Pixeln sind Standard-Bildsensoren vergleichsweise günstig erhältlich und in Bezug auf ihre Auflösung weniger beschränkt, bieten also zumindest VGA-Auflösung. Dafür sind sie wegen der Dominanz des thermischen Rauschens temperaturempfindlicher als ein PMD-Bildsensor. Weiterhin ist der Signalverarbeitungsaufwand vorzugsweise auf einem FPGA oder DSP relativ hoch, da zusätzlich zum Stereoskopieverfahren auch die pixelweise Demodulation und Amplitudenbestimmung des Lock-In-Verfahrens durchgeführt werden muss.
  • Indem erfindungsgemäß ein Stereoverfahren auf Ausgangsbilder angewandt wird, die mittels Lock-In-Verfahren erzeugt wurden, können die Vorteile beider Verfahren miteinander vereint werden. Dazu sind in der nachfolgenden Tabelle die Vor- und Nachteile der beiden zugrunde liegenden Verfahren gegenübergestellt:
    Einflussfaktor Aktives Stereoverfahren Phasenlaufzeitverfahren mit Lock-In
    Temperatur (–) Starker Einfluss des thermischen Rauschens auf die Bildqualität (+) Kein signifikanter Einfluss, da Schrotrauschen dominiert
    Fremdlicht (–) Geringe Robustheit wegen Überblendung des Beleuchtungsmusters (+) Hohe Robustheit, da durch Messprinzip ausgeblendet
    Objektremission (+) Keinen Einfluss, solange Bildkontrast ausreicht (–) Messunsicherheit steigt mit sinkender Remission stark an
    Szenenkontrast (+) Unabhängig durch eigene Beleuchtung
    Koexistenz (+) Robust, da auch überlagerte Beleuchtungsmuster noch Kontrast erzeugen (–) Übersprechen muss unterbunden werden (etwa Multiplex wie FDM, WDM, TDM, CDM), sonst fehlerhafte Ergebnisse
  • Der Hauptnachteil eines aktiven Stereoverfahrens ist neben dem stärkeren Temperatureinfluss die relativ geringe Robustheit gegenüber Fremdlicht. Dafür ist dieses Verfahren recht unabhängig von der Objektremission, und die Koexistenz mehrerer Kameras mit überlappendem Sichtbereich ist unproblematisch. Ein Phasenlaufzeitverfahren ist gerade umgekehrt robust gegenüber Fremdlicht und Temperaturänderungen, hat aber eine starke Abhängigkeit der Messunsicherheit von der Remission und Probleme mit der Koexistenz.
  • Das erfindungsgemäße Verfahren profitiert bei jedem der genannten Einflussfaktoren von dem mit (+) gekennzeichneten Vorteil und vermeidet damit den mit (–) genannten Nachteil. Damit eröffnen sich neue industrielle Anwendungsfelder, die mit bisher verfügbaren 3D-Kameras nicht erschlossen werden können. Funktionsfähigkeit und Messeigenschaften der 3D-Kamera 10 werden im Gegensatz zum Stand der Technik weder durch Fremdlicht oder Temperaturänderungen noch durch die Remission der Messobjektoberfläche oder durch den simultanen Betrieb mehrerer Sensoren beziehungsweise Kameras signifikant beeinträchtigt. Sollte mit Bezug auf den zuletzt genannten Punkt die Überlagerung mehrerer Beleuchtungsmuster zu einer störenden Kontrastreduktion beziehungsweise Problemen bei der Stereokorrelation führen, so kann das Übersprechend ergänzend durch Multiplexverfahren (z. B. Frequenzmultiplex (FDM), Wellenlängenmultiplex (WDM), Zeitmultiplex (TDM) oder Codemultiplex (CDM)) reduziert werden.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 7433024 [0007]
    • EP 1933167 A1 [0010]

Claims (11)

  1. 3D-Kamera (10) nach dem Stereoskopieprinzip zur Erfassung von dreidimensionalen Bilddaten eines Überwachungsbereichs (12), die eine Beleuchtungseinheit (22), mindestens einen Bildsensor (16a–b) zur Aufnahme eines Ausgangsbilds des Überwachungsbereichs (12) und eine Stereoskopieeinheit (32) zum Berechnen von Abständen von Objekten in dem Überwachungsbereich (12) durch Triangulation anhand von Bildmerkmalen des Ausgangsbildes aufweist, gekennzeichnet durch eine Lock-In-Einheit (20a–b), die dafür ausgebildet ist, aus Empfangssignalen des Bildsensors (16a–b) das Ausgangsbild durch ein Lock-In-Verfahren auf eine Modulationsfrequenz zu gewinnen, mit der von der Beleuchtungseinheit (22) ausgesandtes Licht periodisch moduliert ist.
  2. 3D-Kamera (10) nach Anspruch 1, wobei die Beleuchtungseinheit (22) ein Mustererzeugungselement (28) zum Ausleuchten des Überwachungsbereichs (12) mit einem Kontrastmuster aufweist.
  3. 3D-Kamera (10) nach Anspruch 2, wobei die Stereoskopieeinheit (32) dafür ausgebildet ist, Bildmerkmale des Ausgangsbildes mit dem Kontrastmuster zu korrelieren, um die Abstände zu berechnen.
  4. 3D-Kamera (10) nach Anspruch 1 oder 2, die mindestens zwei Kameramodule (14a–b) zur Aufnahme von mindestens zwei Ausgangsbildern aus zueinander versetzter Perspektive aufweist, wobei die Stereoskopieeinheit (32) dafür ausgebildet ist, Disparitäten zueinander korrespondierender Bildmerkmale in den Ausgangsbildern und aus den Disparitäten die Abstände zu berechnen.
  5. 3D-Kamera (10) nach einem der vorhergehenden Ansprüche, wobei die Lock-In-Einheit (20a–b) dafür ausgebildet ist, ein jeweiliges Empfangssignal von Lichtempfangselementen der Bildsensoren (16a–b) mit einem Vielfachen der Modulationsfrequenz abzutasten und aus den Abtastungen eine Empfangsamplitude zu rekonstruieren.
  6. 3D-Kamera (10) nach einem der vorhergehenden Ansprüche, wobei die Lock-In-Einheit (20a–b) dafür ausgebildet ist, aus den Abtastungen eine Phase zu rekonstruieren und daraus einen redundanten Abstandswert zu gewinnen.
  7. 3D-Kamera (10) nach einem der vorhergehenden Ansprüche, wobei die Lock-In-Einheit (20a–b) in den Bildsensor (16a–b) integriert ist.
  8. 3D-Kamera (10) nach einem der vorhergehenden Ansprüche, wobei die Bildsensoren (16a–b) Phasenlaufzeit-Bildsensoren sind.
  9. 3D-Kamera (10) nach einem der vorhergehenden Ansprüche, wobei die Bildsensoren (16a–b) eine Bildwiederholrate von mindestens 500 Hz, insbesondere 1000 Hz aufweisen.
  10. Verfahren zur Erfassung von dreidimensionalen Bilddaten eines Überwachungsbereichs (12) nach dem Stereoskopieprinzip, wobei der Überwachungsbereich (12) beleuchtet und mindestens ein Ausgangsbild des Überwachungsbereichs (12) aufgenommen wird, wobei durch Triangulation anhand von Bildmerkmalen des Ausgangsbildes Abstände von Objekten in dem Überwachungsbereich (12) berechnet werden, dadurch gekennzeichnet, dass die Ausgangsbilder durch ein Lock-In-Verfahren auf eine Modulationsfrequenz gewonnen werden, mit der zum Beleuchten ausgesandtes Licht periodisch moduliert wird.
  11. Verfahren nach Anspruch 10, wobei das Empfangssignal für die Aufnahme der Ausgangsbilder mit einem Vielfachen der Modulationsfrequenz abgetastet und aus den Abtastungen eine Empfangsamplitude rekonstruiert wird.
DE102014107799.7A 2014-06-03 2014-06-03 3D-Kamera nach dem Stereoskopieprinzip und Verfahren zur Erfassung von dreidimensionalen Bilddaten Ceased DE102014107799A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102014107799.7A DE102014107799A1 (de) 2014-06-03 2014-06-03 3D-Kamera nach dem Stereoskopieprinzip und Verfahren zur Erfassung von dreidimensionalen Bilddaten

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014107799.7A DE102014107799A1 (de) 2014-06-03 2014-06-03 3D-Kamera nach dem Stereoskopieprinzip und Verfahren zur Erfassung von dreidimensionalen Bilddaten

Publications (1)

Publication Number Publication Date
DE102014107799A1 true DE102014107799A1 (de) 2015-12-03

Family

ID=54481184

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014107799.7A Ceased DE102014107799A1 (de) 2014-06-03 2014-06-03 3D-Kamera nach dem Stereoskopieprinzip und Verfahren zur Erfassung von dreidimensionalen Bilddaten

Country Status (1)

Country Link
DE (1) DE102014107799A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3454086A1 (de) * 2017-09-11 2019-03-13 Sick AG Optoelektronischer sensor und verfahren zur positionserfassung eines objekts

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1933167A2 (de) 2006-12-15 2008-06-18 Sick Ag Optoelektronischer Sensor sowie Verfahren zur Erfassung und Abstandsbestimmung eines Objekts
US7433024B2 (en) 2006-02-27 2008-10-07 Prime Sense Ltd. Range mapping using speckle decorrelation
DE102009046108A1 (de) * 2009-10-28 2011-05-05 Ifm Electronic Gmbh Kamerasystem
EP2589981A1 (de) * 2011-11-07 2013-05-08 Sick Ag Verfahren und Sensor, insbesondere Kamera, zum Bestimmen von Entfernungen

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7433024B2 (en) 2006-02-27 2008-10-07 Prime Sense Ltd. Range mapping using speckle decorrelation
EP1933167A2 (de) 2006-12-15 2008-06-18 Sick Ag Optoelektronischer Sensor sowie Verfahren zur Erfassung und Abstandsbestimmung eines Objekts
DE102009046108A1 (de) * 2009-10-28 2011-05-05 Ifm Electronic Gmbh Kamerasystem
EP2589981A1 (de) * 2011-11-07 2013-05-08 Sick Ag Verfahren und Sensor, insbesondere Kamera, zum Bestimmen von Entfernungen

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
H. Kraft et al.: 3D-camera of high 3D-frame rate, depth-resolution and background light elimination based on improved PMD (photonic mixer device)-technologies. In: OPTO, 2004. *
Lange, R.; Seitz, P.: Solid-state time-of-flight range camera. In: IEEE Journal of Quantum Electronics, Vol. 3, Mar 2001, No. 3, S. 390-397. IEEE Xplore [online]. DOI: 10.1109/3.910448, In: IEEE *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3454086A1 (de) * 2017-09-11 2019-03-13 Sick AG Optoelektronischer sensor und verfahren zur positionserfassung eines objekts
DE102017120953A1 (de) * 2017-09-11 2019-03-14 Sick Ag Optoelektronischer Sensor und Verfahren zur Positionserfassung eines Objekts

Similar Documents

Publication Publication Date Title
DE102013110615B3 (de) 3D-Kamera nach dem Stereoskopieprinzip und Verfahren zum Erfassen von Tiefenkarten
DE102017107903A1 (de) 3D-Lichtlaufzeitkamera und Verfahren zur Erfassung dreidimensionaler Bilddaten
EP3729137B1 (de) Multipuls-lidarsystem zur mehrdimensionalen erfassung von objekten
EP2275990B1 (de) 3D-Sensor
DE102010037744B3 (de) Optoelektronischer Sensor
EP1933167B1 (de) Optoelektronischer Sensor sowie Verfahren zur Erfassung und Abstandsbestimmung eines Objekts
EP2083209B1 (de) Sicherheitssystem zur berührungslosen Messung von Wegen und/oder Geschwindigkeiten
DE102013111547A1 (de) Sensor mit um Drehachse beweglicher Abtasteinheit
WO2014202471A1 (de) Vorrichtung und verfahren zum absichern einer automatisiert arbeitenden maschine
EP2019281B1 (de) Verfahren zum Betrieb eines 3D-Sensors
DE102009055626A1 (de) Optische Messeinrichtung und Verfahren zur optischen Vermessung eines Messobjekts
DE102009046108A1 (de) Kamerasystem
EP1460454A2 (de) Verfahren zur gemeinsamen Verarbeitung von tiefenaufgelösten Bildern und Videobildern
DE202015105376U1 (de) 3D-Kamera zur Aufnahme von dreidimensionalen Bildern
EP0918302A2 (de) Kohärenzdetektor
WO2007036553A1 (de) Vorrichtung und verfahren zur aufnahme von entfernungsbildern
DE202010012985U1 (de) Sensoranordnung zur Objekterkennung
DE102010036852C5 (de) Stereokamera
DE102014107799A1 (de) 3D-Kamera nach dem Stereoskopieprinzip und Verfahren zur Erfassung von dreidimensionalen Bilddaten
DE202013104715U1 (de) Sensor mit um Drehachse beweglicher Abtasteinheit
DE102010055865A1 (de) Kameravorrichtung für einen Kraftwagen
DE102012105401B3 (de) 3D-Kamera und Verfahren zur Bestimmung des diffusen Remissionsvermögens von Objekten
EP3282286B1 (de) Optischer sensor
EP2270424B1 (de) Optoelektronischer Sensor und Verfahren zur Überwachung
DE202012102541U1 (de) 3D-Kamera

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final