DE202012102541U1 - 3D-Kamera - Google Patents

3D-Kamera Download PDF

Info

Publication number
DE202012102541U1
DE202012102541U1 DE202012102541U DE202012102541U DE202012102541U1 DE 202012102541 U1 DE202012102541 U1 DE 202012102541U1 DE 202012102541 U DE202012102541 U DE 202012102541U DE 202012102541 U DE202012102541 U DE 202012102541U DE 202012102541 U1 DE202012102541 U1 DE 202012102541U1
Authority
DE
Germany
Prior art keywords
image data
camera
reference image
correlation
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE202012102541U
Other languages
English (en)
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sick AG
Original Assignee
Sick AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sick AG filed Critical Sick AG
Priority to DE202012102541U priority Critical patent/DE202012102541U1/de
Publication of DE202012102541U1 publication Critical patent/DE202012102541U1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Abstract

3D-Kamera (10) mit mindestens zwei Kameramodulen (14a–b), die jeweils einen Bildsensor (16a–b) zur Erzeugung von Bilddaten aus einem Überwachungsbereich (12) aufweisen, mit einer Triangulationseinheit (32) zur Berechnung einer Tiefenkarte aus den Bilddaten mittels Korrelation durch Anwendung eines Stereoalgorithmus’ sowie mit einer Beleuchtungseinheit (22) zur Erzeugung eines strukturierten Beleuchtungsmusters (28) in dem Überwachungsbereich (12), dadurch gekennzeichnet, dass die Triangulationseinheit (32) dafür ausgebildet ist, Referenzbilddaten des Beleuchtungsmusters (28) in mindestens einem bekannten Abstand einzulernen und im Betrieb Entfernungen anhand einer Korrelation der aufgenommenen Bilddaten mit den Referenzbilddaten zu bestimmen, um die durch den Stereoalgorithmus ermittelte Tiefenkarte um Bereiche (38a–b) zu ergänzen, in denen die Sichtbereiche (20a–b) der Kameramodule (14a–b) untereinander nicht überlappen, jedoch das strukturierte Beleuchtungsmuster (28) im Sichtbereich (20a–b) mindestens eines Kameramoduls (14a–b) liegt.

Description

  • Die Erfindung betrifft eine 3D-Kamera nach dem Oberbegriff von Anspruch 1.
  • Im Gegensatz zu einer herkömmlichen Kamera nimmt eine 3D-Kamera auch eine Tiefeninformation auf und erzeugt somit dreidimensionale Bilddaten mit Abstands- oder Entfernungswerten für die einzelnen Pixel des 3D-Bildes, das auch als Entfernungsbild oder Tiefenkarte bezeichnet wird. Die zusätzliche Entfernungsdimension lässt sich in einer Vielzahl von Anwendungen nutzen, um mehr Informationen über Objekte in der von der Kamera erfassten Szenerie zu gewinnen und so verschiedene Aufgaben im Bereich der Industriesensorik zu lösen.
  • In der Automatisierungstechnik können anhand solcher Bildinformationen Objekte erfasst und klassifiziert werden, um weitere automatische Bearbeitungsschritte davon abhängig zu machen, welche Objekte vorzugsweise einschließlich ihrer Position und Orientierung erkannt wurden. Damit kann beispielsweise die Steuerung von Robotern oder verschiedenartigen Aktoren an einem Förderband unterstützt werden.
  • In mobilen Anwendungen gewinnt ein Fahrzeug über dreidimensionale Bilddaten Informationen über seine Umgebung und insbesondere einen geplanten Fahrweg. Dies kann für eine autonome Fortbewegung oder eine Fahrassistenz genutzt werden.
  • Wenn eine Anwesenheit von Personen möglich oder, wie an einem sogenannten kooperativen Arbeitsplatz, sogar erwünscht und vorgesehen ist, treten häufig sicherheitstechnische Aspekte hinzu. Eine typische sicherheitstechnische Anwendung besteht in der Absicherung einer gefährlichen Maschine, wie etwa einer Presse oder eines Roboters, wo bei Eingriff eines Körperteils in einen Gefahrenbereich um die Maschine herum eine Absicherung erfolgt. Dies kann je nach Situation die Abschaltung der Maschine oder das Verbringen in eine sichere Position sein. Mit der zusätzlichen Tiefeninformation lassen sich dreidimensionale Schutzbereiche definieren, die genauer an die Gefahrensituation anpassbar sind als zweidimensionale Schutzfelder, und es kann auch besser beurteilt werden, ob sich eine Person in kritischer Weise an die Gefahrenquelle annähert.
  • In einer weiteren Anwendung werden erfasste Bewegungen als Befehl an eine mit der 3D-Kamera verbundene Steuerung interpretiert. Dazu werden beispielsweise Gesten erfasst. Obwohl dies in erster Linie aus der Unterhaltungselektronik bekannt ist, kann Gestensteuerung auch im industriellen Umfeld genutzt werden, wie dies etwa in der DE 10 2010 017 857 für einen in der Sicherheitstechnik eingesetzten Sensor beschrieben wird.
  • Zur Ermittlung der Tiefeninformationen sind verschiedene Verfahren bekannt, wie Lichtlaufzeitmessungen (Time-of-Flight), Interferometrie oder Triangulation. Unter den Triangulationsverfahren wiederum können Lichtschnitt- und Projektionsverfahren sowie Stereoskopie unterschieden werden. Beim Lichtschnittverfahren wird das Objekt unter dem Sensor bewegt und aus den gewonnenen streifenbasierten Tiefeninformationen eine 3D-Punktewolke erzeugt. Beim Projektionsverfahren wird beispielsweise ein Streifenmuster auf die abzutastende Oberfläche projiziert und aus Veränderungen des Musters durch die Objekte in der Szene eine Tiefeninformation abgeleitet. Alternativ wird ein sogenanntes selbstunähnliches, also örtlich eindeutiges Muster projiziert. Stereoskopieverfahren sind dem räumlichen Sehen mit zwei Augen angelehnt und suchen in zwei aus unterschiedlicher Perspektive aufgenommenen Bildern einander zugeordnete Bildelemente, aus deren Disparität in Kenntnis der optischen Parameter der Stereokamera die Entfernung durch Triangulation geschätzt wird.
  • Das Projektionsverfahren mit einem strukturierten Muster wird beispielsweise in der US 7 433 024 verwendet. Dabei wird eine Vielzahl von Referenzbildern des strukturierten Beleuchtungsmusters in unterschiedlichen Abständen eingelernt. Ein später aufgenommenes Bild wird mit diesen Referenzbildern verglichen, um Objektabstände zu schätzen. Ein Nachteil dieses Verfahrens ist die hohe Empfindlichkeit gegenüber Temperaturschwankungen im industriellen Umfeld sowie gegenüber mechanischen Verformungen. Daraus resultieren eine Veränderung der effektiven Lage und Form des Beleuchtungsmusters und somit große Messabweichungen bezüglich der Tiefeninformationen.
  • Stereoskopieverfahren ermitteln für kontrastlose Flächen oder sich periodisch wiederholende Muster keine zuverlässigen Tiefenwerte, da keine eindeutige Zuordnung von Bildelementen der beiden Aufnahmen möglich ist. Durch eine zusätzliche strukturierte Beleuchtung wird auch solchen Szenen ein ausreichender Kontrast aufgeprägt, so dass der robuste Einsatz für beliebige, auch zuvor unbekannte Szenen ermöglicht wird. Stereoskopieverfahren haben aber den Nachteil, dass sich die beiden Einzelbilder in einem Nahbereich nicht überlappen, so dass hier auch keine Entfernungen geschätzt werden können.
  • Aus der DE 10 2007 031 157 A1 ist bekannt, mehrere Messprinzipien zur Erzeugung eines dreidimensionalen Bildes miteinander zu kombinieren, um durch diversitäre Redundanz zuverlässigere Tiefenkarten zu erhalten. Das dort als aktive Triangulation bezeichnete Projektionsverfahren wird allerdings nicht als gleichwertig zu einem stereoskopischen Verfahren angesehen, da angenommen wird, dass nur mit Stereoskopie hochaufgelöste Bilder erreichbar sind. Zudem interessiert sich die DE 10 2007 031 157 A1 nur für untereinander identische Sichtbereiche aller Messprinzipien, da ansonsten die Redundanz verloren ginge. Der Sichtbereich des Gesamtsystems wird deshalb durch den Sichtbereich des Stereoskopieverfahrens limitiert.
  • Es ist deshalb Aufgabe der Erfindung, mit einer Stereokamera Tiefenkarten über einen größeren Sichtbereich aufzunehmen.
  • Diese Aufgabe wird durch eine 3D-Kamera nach Anspruch 1 gelöst. Dabei geht die Erfindung von dem Grundgedanken aus, mittels Stereoskopie gewonnene Tiefenkarten durch ein Projektionsverfahren zu ergänzen und dabei das ohnehin für die aktive Stereoskopie vorhandene Beleuchtungsmuster zu nutzen. Es kommt also zum einen ein Stereoalgorithmus zum Einsatz, in dem zur Erzeugung der Tiefenkarte einander zugehörige Teilbereiche in den von den beiden Kameramodulen aufgenommenen Bilddaten des Überwachungsbereichs anhand der Korrelation erkannt werden und deren Entfernung aus einer Disparität berechnet wird. Zusätzlich wird in den Bereichen, in denen sich die beiden Einzelbilder der Kamera nicht überlappen, jedoch ein Kameramodul das strukturierte Beleuchtungsmuster noch aufnimmt, ein Projektionsverfahren angewandt, bei dem die Bilddaten mit internen Referenzbilddaten korreliert werden.
  • Diese Referenzbilddaten werden zuvor eingelernt und abgespeichert, beispielsweise indem ein ebenes Objekt in bekanntem Abstand beleuchtet und aufgenommen wird.
  • Eine Referenz kann mehrfach in verschiedenen bekannten Abständen eingelernt werden, und die Korrelation stellt dann fest, zu welcher Referenz und damit welchem Abstand Merkmale des im Betrieb aufgenommenen Bildes am besten passen, oder es werden Abstände von Bildmerkmalen und damit Objekten aus den Abweichungen zu den Referenzbilddaten interpoliert.
  • Die Erfindung hat den Vorteil, dass eine Tiefenkarte auch für Bereiche erzeugt wird, in denen sich die Sichtbereiche der Kameramodule nicht überlappen. Dazu genügt ein Überlapp zwischen Beleuchtungsbereich und dem Sichtbereich zumindest eines Kameramoduls. Im Gegensatz zu dem Basisabstand zwischen den Kameramodulen, der zur Gewinnung unterschiedlicher Perspektiven nicht beliebig klein werden darf, kann der Abstand zwischen Beleuchtung und einem Kameramodul so gewählt werden, dass Blindzonen weitgehend vermieden werden. Mit den Blindzonen werden zugleich Okklusionen durch Objekte verringert, wenn der Abstand zwischen Beleuchtung und Kameramodul geringer ausfällt als der Basisabstand der Kameramodule untereinander.
  • Die Triangulationseinheit ist bevorzugt dafür ausgebildet, Referenzbilddaten zumindest für einen Nahbereichsabstand einzulernen, wobei sich die Sichtbereiche der Kameramodule erst in einem Abstand größer dem Nahbereichsabstand überlappen. Damit sind die Referenzbilddaten besonders geeignet, um durch ein Projektionsverfahren Tiefenwerte in einer Blindzone des Stereoverfahrens im Nahbereich der 3D-Kamera zu bestimmen. Diese Blindzone wird folglich reduziert. Bei vorgegebener Messbereichslänge ermöglicht eine reduzierte Blindzone, die gesamte Bauhöhe des Messaufbaus zu verkleinern. Dies ist von großem Vorteil für Anwendungen, in denen der Bauraum begrenzt ist.
  • Die Triangulationseinheit ist bevorzugt dafür ausgebildet, durch Vergleich mit Referenzbilddaten Entfernungswerte für einen erweiterten Sichtkegel zu bestimmen. Dies betrifft also nicht nur die Nahzone, sondern das gesamte Sichtfeld der 3D-Kamera, das lateral erweitert wird. Auch in größeren Abständen gibt es nämlich seitlich Bereiche, in denen sich zwar die Sichtfelder der Kameramodule untereinander nicht überlappen, sehr wohl aber eines der Kameramodule noch das Beleuchtungsmuster aufnimmt. Durch dessen Auswertung anhand von Referenzbilddaten wird die Tiefenkarte seitlich ergänzt.
  • Die Triangulationseinheit ist bevorzugt dafür ausgebildet, Entfernungswerte durch Korrelation mit den Referenzbilddaten auch in einem überlappenden Sichtbereich der Kameramodule zu bestimmen, um so die mittels Stereoskopie bestimmten Entfernungswerte zu überprüfen oder zu korrigieren. Hier wird das Projektionsverfahren redundant zu dem Stereoverfahren innerhalb des Sichtfeldes der Stereokamera eingesetzt. Diese Redundanz kann zum einen die Messdaten validieren. Zum anderen kann durch Datenfusion und Mittelungseffekte die Messgenauigkeit verbessert werden. Im Extremfall kann die Redundanz auch den Ausfall eines Kameramoduls kompensieren, welches defekt oder versehentlich abgedeckt ist. Eine Stereoauswertung ist dann nicht mehr möglich, außer es sind mehr als zwei Kameramodule vorhanden. Durch Auswertung der Bilddaten des verbleibenden Kameramoduls mit den Referenzdaten werden aber weiterhin Tiefenkarten erzeugt.
  • Die Triangulationseinheit ist bevorzugt dafür ausgebildet, einen ersten Satz Referenzbilddaten für ein erstes Kameramodul und/oder einen zweiten Satz Referenzbilddaten für ein zweites Kameramodul einzulernen und Entfernungswerte durch Vergleich der Bilddaten des ersten Kameramoduls mit dem ersten Satz Referenzbilddaten und/oder durch Vergleich der Bilddaten des zweiten Kameramoduls mit dem zweiten Satz Referenzbilddaten zu bestimmen. Das ergänzende Projektionsverfahren wird somit wahlweise für das eine Kameramodul oder das andere Kameramodul angewandt. Um ein maximales Sichtfeld beziehungsweise noch größere Redundanz zu erzielen, können auch zweifach für beide Kameramodule deren Bilddaten und zugehörige Referenzbilddaten korreliert werden.
  • Die Beleuchtungseinheit ist bevorzugt näher bei dem einen Kameramodul angeordnet als bei dem anderen Kameramodul. Eine solche dezentrale Anordnung bevorzugt längs der Basislinie, also der Verbindungslinie der beiden Kameramodule, sorgt für einen großen Überlappungsbereich zwischen dem näheren Kameramodul und dem Beleuchtungsmuster. Damit wird die Blindzone im Nahbereich in besonders hohem Maße reduziert und ein besonders großer zusätzlicher lateraler Messbereich eröffnet. Die Triangulationseinheit ist bevorzugt dafür ausgebildet, für den Stereoalgorithmus und für die Korrelation der Referenzbilddaten mit den aufgenommenen Bilddaten jeweils den gleichen Korrelationsalgorithmus zu verwenden. Dadurch verringert sich der Implementierungsaufwand für das ergänzende Projektionsverfahren.
  • Die Triangulationseinheit ist noch bevorzugter dafür ausgebildet, die Korrelation für den Stereoalgorithmus und für den Vergleich der Referenzbilddaten mit den aufgenommenen Bilddaten per Multiplexing auf denselben Komponenten durchzuführen. Durch ein Zeitmultiplexing muss außer dem Speicher für die Referenzbilddaten keine zusätzliche Hardware bereitgestellt werden. Alternativ ist auch denkbar, jeweils eigene Auswertungspfade vorzusehen. Dadurch lässt sich die Auswertung parallelisieren, um besonders hohe Echtzeitanforderungen zu erfüllen.
  • Die Triangulationseinheit ist bevorzugt dafür ausgebildet, die Referenzbilddaten mit aufgenommenen Bilddaten daraufhin zu vergleichen, ob das Beleuchtungsmuster in zu überprüfenden Teilbereichen vollständig erfasst wird. Dadurch werden Ausfälle bei der Projektion des Beleuchtungsmusters ebenso aufgedeckt wie defekte Pixel der Bildsensoren. Ein derartiger Vergleich findet vorzugsweise bei einer bekannten oder günstigen Konstellation der Objekte in der Szenerie statt, etwa wenn sich eine größere Fläche in einem bekannten Abstand befindet. Dann wird das Beleuchtungsmuster besonders genau erfassbar und vergleichbar.
  • Die Erfindung wird nachstehend auch hinsichtlich weiterer Merkmale und Vorteile beispielhaft anhand von Ausführungsformen und unter Bezug auf die beigefügte Zeichnung näher erläutert. Die Abbildungen der Zeichnung zeigen in:
  • 1 eine schematische Gesamtdarstellung einer Ausführungsform einer 3D-Kamera und deren Überwachungsbereich;
  • 2 eine schematische Draufsicht auf eine vereinfachte Darstellung der 3D-Kamera gemäß 1 zur Erläuterung einer Sichtbereichserweiterung gegenüber einer herkömmlichen 3D-Kamera;
  • 3 eine schematische Draufsicht ähnlich 2 bei einer anderen, dezentralen Position der Beleuchtung gegenüber den Kameramodulen;
  • 4 eine weitere schematische Ansicht einer 3D-Kamera zur Erläuterung der Abhängigkeit von Bauhöhe und Blindzone; und
  • 5 eine schematische Draufsicht auf eine 3D-Kamera nach dem Stand der Technik mit zwei Kameramodulen und einer Beleuchtung zur Erläuterung des verfahrensbedingten Zustandekommens von Blindzonen.
  • 1 zeigt in einer schematischen dreidimensionalen Darstellung den allgemeinen Aufbau einer 3D-Kamera 10 zur Aufnahme von Tiefenkarten eines Überwachungs- oder Raumbereichs 12. Diese Tiefenkarten werden beispielsweise für eine der einleitend genannten Anwendungen weiter ausgewertet.
  • In der 3D-Kamera 10 sind zwei Kameramodule 14a–b in einem bekannten festen Abstand zueinander montiert und nehmen jeweils Bilder des Raumbereichs 12 auf. In jeder Kamera ist ein Bildsensor 16a–b vorgesehen, üblicherweise ein matrixförmiger Aufnahmechip, der ein rechteckiges Pixelbild aufnimmt, beispielsweise ein CCD- oder ein CMOS-Sensor. Den Bildsensoren 16a–b ist jeweils ein Objektiv mit einer abbildenden Optik zugeordnet, welches als Linse 18a–b dargestellt ist und in der Praxis als jede bekannte Abbildungsoptik realisiert sein kann. Der Sichtwinkel dieser Optiken ist in 1 durch gestrichelte Linien dargestellt, die jeweils eine Sichtpyramide 20a–b bilden.
  • In der Mitte zwischen den beiden Bildsensoren 16a–b ist eine Beleuchtungseinheit 22 mit einer Lichtquelle 24 dargestellt. Diese räumliche Anordnung ist nur als Beispiel zu verstehen, und auf die Bedeutung der gegenseitigen Positionierung von Kameramodulen 14a–b und Beleuchtungseinheit 22 wird weiter unten noch näher eingegangen. Die Beleuchtungseinheit 22 erzeugt mit Hilfe eines Mustererzeugungselements 26 in dem Raumbereich 12 ein strukturiertes Beleuchtungsmuster 28, das vereinfachend als Punktmuster dargestellt ist. Praktisch sollte das Beleuchtungsmuster vorzugsweise zumindest lokal eindeutig oder selbstunähnlich in dem Sinne sein, dass Strukturen des Beleuchtungsmusters nicht zu Scheinkorrelationen führen, beziehungsweise einen Beleuchtungsbereich eindeutig kennzeichnen.
  • Mit den beiden Bildsensoren 16a–b und der Beleuchtungseinheit 22 ist eine kombinierte Auswertungs- und Steuerungseinheit 30 verbunden. Mittels der Auswertungs- und Steuerungseinheit 30 wird das strukturierte Beleuchtungsmuster 28 erzeugt und bei Bedarf in seiner Struktur oder Intensität variiert, und sie empfängt Bilddaten der Bildsensoren 16a–b. Aus diesen Bilddaten berechnet eine Triangulationseinheit 32 der Auswertungs- und Steuerungseinheit 30 dreidimensionale Bilddaten (Entfernungsbild, Tiefenkarte) des Raumbereichs 12. Die Triangulationseinheit 32 ist sowohl in der Lage, einen Stereoskopiealgorithmus auszuführen, als auch Entfernungen anhand einer Korrelation der Bilddaten mit zuvor eingelernten Referenzbilddaten des Beleuchtungsmusters 28 in einem bekannten Abstand oder mehreren bekannten Abständen zu bestimmen.
  • Der horizontale und vertikale Öffnungswinkel der Beleuchtungseinheit 22 sollte den gleichen Wert aufweisen wie der horizontale und vertikale Öffnungswinkel der Kameramodule 14a–b. Dies dient dazu, den Abbildungsmaßstab über alle Entfernungen gleich zu halten, damit die Größe des Vergleichsfensters des Stereoalgorithmus’ an die Größe der Strukturen der Beleuchtung angepasst ist.
  • Über einen Ausgang 34 kann die 3D-Kamera Tiefenkarten oder andere Messergebnisse ausgeben, beispielsweise Rohbilddaten eines Kameramoduls 14a–b, aber auch Auswertungsergebnisse wie Objektdaten, die Identifizierung bestimmter Objekte. Speziell in sicherheitstechnischer Anwendung kann das Erkennen eines unzulässigen Eingriffs in Schutzfelder, die in dem Raumbereich 12 definiert wurden, zur Ausgabe eines sicherheitsgerichteten Abschaltsignals führen. Dazu ist der Ausgang 34 vorzugsweise als Sicherheitsausgang (OSSD, Output Signal Switching Device) ausgeführt.
  • 5 zeigt in einer schematischen Draufsicht auf eine stereoskopische 3D-Kamera 110 nach dem Stand der Technik Sichtbereiche 120a–b von zwei Kameramodulen 114a–b der herkömmlichen 3D-Kamera 110, um das Zustandekommen einer Blindzone insbesondere im Nahbereich zu erläutern.
  • Eine Berechnung von Entfernungswerten durch einen Stereoalgorithmus kann nur für einen gemeinsamen Sichtbereich 136 erfolgen, in dem sich die Sichtbereiche 120a–b der beiden Kameramodule 114a–b überschneiden. Denn der Stereoalgorithmus sucht einen Bildausschnitt des Bildes des einen Kameramoduls 114a in dem Bild des anderen Kameramoduls 114b und berechnet hieraus mittels Triangulation eine Tiefeninformation. Im Nahbereich gibt es aber mangels Überschneidung der Sichtbereiche 120a–b keine derartigen Korrespondenzen. Deshalb entsteht eine Blindzone der Länge d1, in welcher durch Stereoskopie keine Tiefeninformationen berechnet werden können.
  • Aus diesem Grund ist vorgesehen, dass die Triangulationseinheit 32 zusätzlich zu einem Stereoalgorithmus eine weitere Auswertung in einem Projektionsverfahren vornimmt, bei dem die Beleuchtungseinheit 22 als inverse Kamera eingesetzt wird. Dazu wird das durch die Beleuchtungseinheit 22 erzeugte strukturierte Beleuchtungsmuster 28 als interne Referenz von der Auswerte- und Steuerungseinheit 30 eingelernt und abgespeichert. Dies kann beispielsweise durch die Projektion des Beleuchtungsmusters 28 auf eine in einem definierten Abstand angebrachte Fläche erfolgen. Das projizierte Bild wird als internes Referenzbild wahlweise von dem linken Kameramodul 14a, dem rechten Kameramodul 14b oder von beiden Kameramodulen 14a–b aufgezeichnet und gespeichert.
  • Zur Berechnung der Tiefeninformation führt nun die Triangulationseinheit 32 neben einem Vergleich des rechten mit dem linkem Kamerabild einen zusätzlichen Vergleich des linken Kamerabildes mit dem linken Referenzbild und/oder einen zusätzlichen Vergleich des rechten Kamerabildes mit dem rechten Referenzbild aus. Dies kann entweder parallel zur Verarbeitung der beiden Stereokamerabilder oder in zeitlichem Abstand nacheinander mit Hilfe desselben Korrelationsalgorithmus’ erfolgen.
  • 2 zeigt in einer schematischen Draufsicht auf die 3D-Kamera 10 die resultierenden Sichtbereiche. Dabei bezeichnen in den 1 bis 4 gleiche Bezugszeichen die gleichen oder einander entsprechenden Merkmale. Zusätzlich zu dem gemeinsamen Sichtbereich 36 der beiden Kameramodule 14a–b gibt es auch Überlappungsbereiche 38a–b, in denen sich der von der Beleuchtungseinheit 22 ausgeleuchtete Bereich 28 mit dem Sichtbereich 20a–b eines der beiden Kameramodule überlappt. In diesen Überlappungsbereichen 38a–b kann die Triangulationseinheit 32 Entfernungswerte bestimmen, welche die Entfernungswerte innerhalb des gemeinsamen Sichtbereichs 36 ergänzt.
  • Durch die zusätzliche Nutzung der internen Referenzbilder kann eine Tiefeninformation somit auch in Überlappungsbereichen 38a–b berechnet werden, in denen sich die Sichtbereiche 20a–b der beiden Kameras nicht überschneiden. Folglich kann zum einen das ursprünglich nur durch den gemeinsamen Sichtbereich 36 gegebene Sichtfeld lateral erweitert werden. Zum anderen kann die Blindzone von der ursprünglichen Länge d1 auf die Länge d2 verkürzt werden.
  • 3 zeigt in einer schematischen Draufsicht ähnlich 2 Sichtbereiche für eine Ausführungsform, bei dem die Beleuchtungseinheit 22 außermittig positioniert, also zu einem der beiden Kameramodule 14b hin verschoben wird. Dadurch kann eine zusätzliche Verkürzung der Blindzone auf den Abstand d3 mit d3 < d2 < d1 erreicht werden. Die Überlappungsbereiche 38a–b geben vor, in welchen Bereichen eine Ergänzung der Tiefenkarte durch ein Projektionsverfahren möglich ist. Durch die größere Nähe zwischen Beleuchtungseinheit 22 und Kameramodul 14b wird der Überlappungsbereich 38b vergrößert. Hierdurch kann die Blindzone für die in 3 gezeigte außermittige Situation im Vergleich zur mittigen Positionierung gemäß 2 der Beleuchtungsoptik nochmals deutlich reduziert werden. Zwar geht damit eine laterale Verschiebung des erweiterten Sichtfeldes 36, 38a–b relativ zu der 3D-Kamera 10 einher, doch kann dies einfach durch eine entsprechend entgegengesetzte Verschiebung der 3D-Kamera 10 kompensiert werden.
  • 4 zeigt eine noch weiter vereinfachte Darstellung einer 3D-Kamera 10 bei einer Montage von oben mit ihrem Beleuchtungsbereich 28 und dem effektiven Messbereich 40, der durch die Summe aus gemeinsamem Sichtbereich 36 und den Überlappungsbereichen 38a–b bestimmt ist. Wie leicht zu erkennen, muss die Blindzone bei der Montagehöhe berücksichtigt werden. Anders ausgedrückt kann die 3D-Kamera 10 bei identischem Messbereich 40 um den Betrag tiefer aufgehängt werden, um den die Blindzone reduziert werden kann. Das ist besonders dann nützlich, wenn die Bauhöhe beispielsweise durch die Raumhöhe eingeschränkt ist. Entsprechendes gilt selbstverständlich bei einer anderen als der beispielhaft diskutierten vertikalen Montage.
  • Zusätzlich zu einer Sichtbereichserweiterung hat die Erfindung gerade in sicherheitstechnischen Anwendungen Vorteile durch diversitäre Redundanz. Die Triangulationseinheit 32 muss sich nämlich nicht darauf beschränken, Tiefenwerte nur dort komplementär mit dem Projektionsverfahren zu berechnen, wo für den Stereoalgorithmus keine überlappenden Rohbilddaten aus zwei Perspektiven zur Verfügung stehen. In dem gemeinsamen Sichtbereich 36 beider Kameramodule 14a–b gibt es vielmehr drei denkbare Quellen für Tiefenwerte: stereoskopische Entfernungsschätzung, Vergleich des linken Kamerabildes mit dem linken Referenzbild und Vergleich des rechten Kamerabildes mit dem rechten Referenzbild. Damit können verschiedene redundante Paarungen gebildet oder sogar eine dreifache Redundanz erreicht werden. Wendet man jeweils unterschiedliche Algorithmen bei der Korrelation an, oder nutzt dafür unterschiedliche Hardwarekomponenten, so wird die Redundanz sogar diversitär. Diese Mehrkanaligkeit vereinfacht sicherheitstechnische Betrachtungen erheblich.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102010017857 [0006]
    • US 7433024 [0008]
    • DE 102007031157 A1 [0010]

Claims (9)

  1. 3D-Kamera (10) mit mindestens zwei Kameramodulen (14a–b), die jeweils einen Bildsensor (16a–b) zur Erzeugung von Bilddaten aus einem Überwachungsbereich (12) aufweisen, mit einer Triangulationseinheit (32) zur Berechnung einer Tiefenkarte aus den Bilddaten mittels Korrelation durch Anwendung eines Stereoalgorithmus’ sowie mit einer Beleuchtungseinheit (22) zur Erzeugung eines strukturierten Beleuchtungsmusters (28) in dem Überwachungsbereich (12), dadurch gekennzeichnet, dass die Triangulationseinheit (32) dafür ausgebildet ist, Referenzbilddaten des Beleuchtungsmusters (28) in mindestens einem bekannten Abstand einzulernen und im Betrieb Entfernungen anhand einer Korrelation der aufgenommenen Bilddaten mit den Referenzbilddaten zu bestimmen, um die durch den Stereoalgorithmus ermittelte Tiefenkarte um Bereiche (38a–b) zu ergänzen, in denen die Sichtbereiche (20a–b) der Kameramodule (14a–b) untereinander nicht überlappen, jedoch das strukturierte Beleuchtungsmuster (28) im Sichtbereich (20a–b) mindestens eines Kameramoduls (14a–b) liegt.
  2. 3D-Kamera (10) nach Anspruch 1, wobei die Triangulationseinheit (32) dafür ausgebildet ist, Referenzbilddaten zumindest für einen Nahbereichsabstand einzulernen, wobei sich die Sichtbereiche (20a–b) der Kameramodule (14a–b) erst in einem Abstand größer dem Nahbereichsabstand überlappen.
  3. 3D-Kamera (10) nach Anspruch 1 oder 2, wobei die Triangulationseinheit (32) dafür ausgebildet ist, durch Vergleich mit Referenzbilddaten Entfernungswerte für einen erweiterten Sichtkegel (36, 38a–b) zu bestimmen.
  4. 3D-Kamera (10) nach einem der vorhergehenden Ansprüche, wobei die Triangulationseinheit (32) dafür ausgebildet ist, Entfernungswerte durch Korrelation mit den Referenzbilddaten auch in einem überlappenden Sichtbereich (36) der Kameramodule (14a–b) zu bestimmen, um so die mittels Stereoskopie bestimmten Entfernungswerte zu überprüfen oder zu korrigieren.
  5. 3D-Kamera (10) nach einem der vorhergehenden Ansprüche, wobei die Triangulationseinheit (32) dafür ausgebildet ist, einen ersten Satz Referenzbilddaten für ein erstes Kameramodul (14a) und/oder einen zweiten Satz Referenzbilddaten für ein zweites Kameramodul (14b) einzulernen und Entfernungswerte durch Vergleich der Bilddaten des ersten Kameramoduls (14a) mit dem ersten Satz Referenzbilddaten und/oder durch Vergleich der Bilddaten des zweiten Kameramoduls (14b) mit dem zweiten Satz Referenzbilddaten zu bestimmen.
  6. 3D-Kamera (10) nach einem der vorhergehenden Ansprüche, wobei die Beleuchtungseinheit (22) näher bei dem einen Kameramodul (14b) angeordnet ist als bei dem anderen Kameramodul (14a).
  7. 3D-Kamera (10) nach einem der vorhergehenden Ansprüche, wobei die Triangulationseinheit (32) dafür ausgebildet ist, für den Stereoalgorithmus und für die Korrelation der Referenzbilddaten mit den aufgenommenen Bilddaten jeweils den gleichen Korrelationsalgorithmus zu verwenden.
  8. 3D-Kamera (10) nach Anspruch 7, wobei die Triangulationseinheit (32) dafür ausgebildet ist, die Korrelation für den Stereoalgorithmus und für den Vergleich der Referenzbilddaten mit den aufgenommenen Bilddaten per Multiplexing auf denselben Komponenten durchzuführen.
  9. 3D-Kamera (10) nach einem der vorhergehenden Ansprüche, wobei die Triangulationseinheit (32) dafür ausgebildet ist, die Referenzbilddaten mit aufgenommenen Bilddaten daraufhin zu vergleichen, ob das Beleuchtungsmuster (28) in zu überprüfenden Teilbereichen vollständig erfasst wird.
DE202012102541U 2012-07-10 2012-07-10 3D-Kamera Expired - Lifetime DE202012102541U1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE202012102541U DE202012102541U1 (de) 2012-07-10 2012-07-10 3D-Kamera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE202012102541U DE202012102541U1 (de) 2012-07-10 2012-07-10 3D-Kamera

Publications (1)

Publication Number Publication Date
DE202012102541U1 true DE202012102541U1 (de) 2013-10-18

Family

ID=49626125

Family Applications (1)

Application Number Title Priority Date Filing Date
DE202012102541U Expired - Lifetime DE202012102541U1 (de) 2012-07-10 2012-07-10 3D-Kamera

Country Status (1)

Country Link
DE (1) DE202012102541U1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016003745A1 (en) * 2014-06-30 2016-01-07 Microsoft Technology Licensing, Llc Depth estimation using multi-view stereo and a calibrated projector
WO2016032600A1 (en) * 2014-08-29 2016-03-03 Google Inc. Combination of stereo and structured-light processing
EP3232153A1 (de) * 2016-04-15 2017-10-18 Lockheed Martin Corporation Tragbares präzisionsscangerät

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007031157A1 (de) 2006-12-15 2008-06-26 Sick Ag Optoelektronischer Sensor sowie Verfahren zur Erfassung und Abstandsbestimmung eines Objekts
US7433024B2 (en) 2006-02-27 2008-10-07 Prime Sense Ltd. Range mapping using speckle decorrelation
DE102010017857A1 (de) 2010-04-22 2011-10-27 Sick Ag 3D-Sicherheitsvorrichtung und Verfahren zur Absicherung und Bedienung mindestens einer Maschine

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7433024B2 (en) 2006-02-27 2008-10-07 Prime Sense Ltd. Range mapping using speckle decorrelation
DE102007031157A1 (de) 2006-12-15 2008-06-26 Sick Ag Optoelektronischer Sensor sowie Verfahren zur Erfassung und Abstandsbestimmung eines Objekts
DE102010017857A1 (de) 2010-04-22 2011-10-27 Sick Ag 3D-Sicherheitsvorrichtung und Verfahren zur Absicherung und Bedienung mindestens einer Maschine

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016003745A1 (en) * 2014-06-30 2016-01-07 Microsoft Technology Licensing, Llc Depth estimation using multi-view stereo and a calibrated projector
CN106464851A (zh) * 2014-06-30 2017-02-22 微软技术许可有限责任公司 使用多视点立体图和经校准的投射器的深度估计
CN106464851B (zh) * 2014-06-30 2018-10-12 微软技术许可有限责任公司 使用多视点立体图和经校准的投射器的深度估计
WO2016032600A1 (en) * 2014-08-29 2016-03-03 Google Inc. Combination of stereo and structured-light processing
US9507995B2 (en) 2014-08-29 2016-11-29 X Development Llc Combination of stereo and structured-light processing
EP3232153A1 (de) * 2016-04-15 2017-10-18 Lockheed Martin Corporation Tragbares präzisionsscangerät

Similar Documents

Publication Publication Date Title
DE102013110615B3 (de) 3D-Kamera nach dem Stereoskopieprinzip und Verfahren zum Erfassen von Tiefenkarten
EP2275990B1 (de) 3D-Sensor
DE102010037744B3 (de) Optoelektronischer Sensor
EP3421189B1 (de) Verfahren zum überwachen einer maschine
DE102009031732B3 (de) Entfernungsmessender optoelektronischer Sensor
DE102007036129B3 (de) Vorrichtung und Verfahren zur dreidimensionalen Überwachung eines Raumbereichs mit mindestens zwei Bildsensoren
EP3011225B1 (de) Vorrichtung und verfahren zum absichern einer automatisiert arbeitenden maschine
EP2835973A1 (de) 3D-Kamera und Verfahren zur Erfassung von Dreidimensionalen Bilddaten
EP1933167B1 (de) Optoelektronischer Sensor sowie Verfahren zur Erfassung und Abstandsbestimmung eines Objekts
EP2083209B1 (de) Sicherheitssystem zur berührungslosen Messung von Wegen und/oder Geschwindigkeiten
EP2202994B1 (de) 3D-Kamera zur Raumüberwachung
EP2275989B1 (de) Stereoskopische 3D-Kamera
DE102007025373B3 (de) Visuelle Überwachung mit Entfernungsbestimmung und Plausibilitätsprüfung anhand von Bildgrößen
DE202008017962U1 (de) Beleuchtungseinheit zur Erzeugung eines selbstunähnlichen Musters
DE102017129609A1 (de) Erkennen von Veränderungen in einem Erfassungsbereich
DE102009035755A1 (de) Verfahren und Vorrichtung zum Überwachen eines Raumbereichs
DE202015105376U1 (de) 3D-Kamera zur Aufnahme von dreidimensionalen Bildern
EP3775767A1 (de) Verfahren und system zur vermessung eines objekts mittels stereoskopie
DE202012102541U1 (de) 3D-Kamera
DE102009026091A1 (de) Verfahren und System zur Überwachung eines dreidimensionalen Raumbereichs mit mehreren Kameras
DE102010036852C5 (de) Stereokamera
DE102012105401B3 (de) 3D-Kamera und Verfahren zur Bestimmung des diffusen Remissionsvermögens von Objekten
DE202012101965U1 (de) Stereokamera
DE102011017707A1 (de) Verfahren und Vorrichtung zur Erkennung von einem Objekt in einer Umgebung einer Kamera
EP2270424B1 (de) Optoelektronischer Sensor und Verfahren zur Überwachung

Legal Events

Date Code Title Description
R207 Utility model specification

Effective date: 20131212

R150 Utility model maintained after payment of first maintenance fee after three years
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0013020000

Ipc: H04N0013200000

R151 Utility model maintained after payment of second maintenance fee after six years
R158 Lapse of ip right after 8 years