DE102012105401B3 - 3D-Kamera und Verfahren zur Bestimmung des diffusen Remissionsvermögens von Objekten - Google Patents

3D-Kamera und Verfahren zur Bestimmung des diffusen Remissionsvermögens von Objekten Download PDF

Info

Publication number
DE102012105401B3
DE102012105401B3 DE201210105401 DE102012105401A DE102012105401B3 DE 102012105401 B3 DE102012105401 B3 DE 102012105401B3 DE 201210105401 DE201210105401 DE 201210105401 DE 102012105401 A DE102012105401 A DE 102012105401A DE 102012105401 B3 DE102012105401 B3 DE 102012105401B3
Authority
DE
Germany
Prior art keywords
camera
depth map
image data
correlation
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE201210105401
Other languages
English (en)
Inventor
Florian Schneider
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sick AG
Original Assignee
Sick AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sick AG filed Critical Sick AG
Priority to DE201210105401 priority Critical patent/DE102012105401B3/de
Application granted granted Critical
Publication of DE102012105401B3 publication Critical patent/DE102012105401B3/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • G01N21/4738Diffuse reflection, e.g. also for testing fluids, fibrous materials
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/30Interpretation of pictures by triangulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Es wird eine 3D-Kamera (10) angegeben, die mindestens einen Bildsensor (16a–b) zur Erzeugung von Bilddaten aus einem Überwachungsbereich (12) und eine Triangulationseinheit (30) zur Berechnung einer Tiefenkarte aus den Bilddaten mittels Korrelation sowie zur Bestimmung einer Korrelationsgüte der berechneten Tiefenkarte aufweist. Dabei ist eine Objektklassifikationseinheit (32) vorgesehen, die dafür ausgebildet ist, anhand mehrerer bei unterschiedlichen Belichtungszeiten erzeugter Tiefenkarten eine Messkurve der Korrelationsgüte in Abhängigkeit von der Belichtungszeit zu ermitteln, einen Skalierungsfaktor zu berechnen, mit dem die Messkurve auf eine Referenzkurve eines Objekts mit bekanntem diffusen Remissionsvermögen reskaliert wird, und das diffuse Remissionsvermögen eines in der Tiefenkarte erfassten Objekts aus dem Skalierungsfaktor und dem bekannten diffusen Remissionsvermögen der Referenzkurve zu bestimmen.

Description

  • Die Erfindung betrifft eine 3D-Kamera und ein Verfahren zur Bestimmung des diffusen Remissionsvermögens von Objekten nach dem Oberbegriff von Anspruch 1 beziehungsweise 10.
  • Im Gegensatz zu einer herkömmlichen Kamera nimmt eine 3D-Kamera auch eine Tiefeninformation auf und erzeugt somit dreidimensionale Bilddaten mit Abstands- oder Entfernungswerten für die einzelnen Pixel des 3D-Bildes, das auch als Entfernungsbild oder Tiefenkarte bezeichnet wird. Die zusätzliche Entfernungsdimension lässt sich in einer Vielzahl von Anwendungen nutzen, um mehr Informationen über Objekte in der von der Kamera erfassten Szenerie zu gewinnen.
  • In der Automatisierungstechnik können anhand solcher Bildinformationen Objekte erfasst und klassifiziert werden, um weitere automatische Bearbeitungsschritte davon abhängig zu machen, welche Objekte vorzugsweise einschließlich ihrer Position und Orientierung erkannt wurden. Damit kann beispielsweise die Steuerung von Robotern oder verschiedenartigen Aktoren an einem Förderband unterstützt werden.
  • Wenn eine Anwesenheit von Personen möglich oder, wie an einem sogenannten kooperativen Arbeitsplatz, sogar erwünscht und vorgesehen ist, treten häufig sicherheitstechnische Aspekte hinzu. Eine typische sicherheitstechnische Anwendung besteht in der der Absicherung einer gefährlichen Maschine, wie etwa einer Presse oder eines Roboters, wo bei Eingriff eines Körperteils in einen Gefahrenbereich um die Maschine herum eine Absicherung erfolgt. Dies kann je nach Situation die Abschaltung der Maschine oder das Verbringen in eine sichere Position sein. Mit der zusätzlichen Tiefeninformation lassen sich dreidimensionale Schutzbereiche definieren, die genauer an die Gefahrensituation anpassbar sind als zweidimensionale Schutzfelder, und es kann auch besser beurteilt werden, ob sich eine Person in kritischer Weise an die Gefahrenquelle annähert.
  • In einer weiteren Anwendung werden erfasste Bewegungen als Befehl an eine mit der 3D-Kamera verbundene Steuerung interpretiert. Dazu werden beispielsweise Gesten erfasst. Obwohl dies in erster Linie aus der Unterhaltungselektronik bekannt ist, kann es auch genutzt werden, um einen Sensor in der Sicherheitstechnik zu bedienen oder zu konfigurieren, wie etwa in der DE 10 2010 017 857 A1 beschrieben.
  • Ein bekanntes Prinzip zur Erfassung dreidimensionaler Bilddaten beruht auf Triangulation unter Zuhilfenahme einer aktiven Musterbeleuchtung. Bei stereoskopischen Systemen werden dann jeweils mindestens zwei Aufnahmen aus unterschiedlicher Perspektive erzeugt. In den überlappenden Bildbereichen werden gleiche Strukturen identifiziert und aus der Disparität und den optischen Parametern des Kamerasystems mittels Triangulation Entfernungen und somit das dreidimensionale Bild beziehungsweise die Tiefenkarte berechnet. Eine aktiv beleuchtete stereoskopische Sicherheitskamera ist beispielsweise aus EP 2 166 304 A1 bekannt.
  • Eine Stereokamera ist prinzipiell auch in der Lage, passiv zu arbeiten, d. h. ohne eine eigene Musterbeleuchtung. Für eine zuverlässige Bildauswertung, ganz besonders im Rahmen der Sicherheitstechnik, besteht aber der Anspruch, die dreidimensionalen Bilddaten in Form einer dichten Tiefenkarte zu erzeugen, also einen zuverlässigen Abstandswert für jeden auszuwertenden Bildbereich und bevorzugt nahezu jeden Bildpunkt verfügbar zu haben. Ist die zu überwachende Szenerie kontrastschwach oder weist Bereiche mit wenig Struktur auf, so wird dies mit einem passiven Sensor nicht erreicht. Große strukturlose Flächen oder zueinander ähnliche Strukturmerkmale können eine eindeutige Zuordnung von Bildbereichen beim Auffinden der Korrespondenzen zwischen den Strukturelementen der Bilder verhindern. Die Folge sind Lücken in den dreidimensionalen Bildern oder fehlerhafte Berechnungen der Entfernungen.
  • Andere Triangulationssysteme verwenden nur eine Kamera und werten die Veränderungen des projizierten Musters durch Objekte in verschiedenen Entfernungen aus. Dazu wird dem System das Beleuchtungsmuster eingelernt und so eine Erwartungshaltung für die Bilddaten bei verschiedenen Objektentfernungen und -strukturen generiert. Eine Möglichkeit besteht darin, das Beleuchtungsmuster auf Objekten, insbesondere einer Fläche, in verschiedenen Entfernungen als Referenzbild einzulernen. In einem derartigen System, welches beispielsweise in der US 2010/0118123 A1 offenbart wird, ist eine aktive Beleuchtung von vorne herein unverzichtbar.
  • Sofern sich die Auswertung nicht allein darauf beschränken soll, Veränderungen beliebigen Ursprungs zu erkennen, sind meist Objektdetektoren oder -klassifikatoren erforderlich. Diese erkennen herkömmlich Objekte in der Szene ausschließlich auf Basis von Punktewolken, nämlich den in den Pixeln der Tiefenkarte codierten Entfernungs- oder Abstandsdaten. Damit werden letztlich nur die Geometrieeigenschaften der Objekte ausgenutzt. Die Farb- oder Remissionseigenschaften dagegen gehen verloren.
  • Es ist zwar bekannt, zusätzlich zu der Tiefenkarte auch ein Grauwert- oder Farbbild aufzunehmen. Dies dient aber vor allem der Visualisierung. Sollen ein solches zusätzliches Bild für automatisierte Bildverarbeitungsschritte verwendet werden, so muss dieses Bild nicht nur gewonnen, sondern auch in korrekter Weise mit der Tiefenkarte zur Deckung gebracht werden.
  • Es ist daher Aufgabe der Erfindung, mit einer 3D-Kamera genauere Informationen über die Szenerie zu gewinnen.
  • Diese Aufgabe wird durch eine 3D-Kamera und ein Verfahren zur Bestimmung des diffusen Remissionsvermögens von Objekten nach Anspruch 1 beziehungsweise 10 gelöst. Dabei geht die Erfindung von dem Grundgedanken aus, dass das diffuse Remissionsvermögen erfasster Objekte in dem Überwachungsbereich eine Auswirkung auf die Qualität der Tiefenkarte hat, wobei diese Qualität über eine Korrelationsgüte bei der Erzeugung der Tiefenkarte quantifiziert wird. Um das Remissionsverhalten auszumessen, werden mehrere Tiefenkarten bei unterschiedlichen Belichtungszeiten erfasst und daraus eine Messkurve abgeleitet, welche die Korrelationsgüte in Abhängigkeit von der Belichtungszeit beschreibt.
  • Außerdem wird vorab eine Referenzkurve bestimmt und abgespeichert, welche die Korrelationsgüte in Abhängigkeit von der Belichtungszeit für ein Ziel bekannter Remission beschreibt, etwa ein Weißtarget oder ein Objekt beliebiger anderer, aber bekannter Remission. Aufgrund eines linearen Zusammenhangs können Messkurve und Referenzkurve relativ einfach durch Reskalierung, also eine Stauchung oder Streckung auf der durch die Belichtungszeit gegebenen X-Achse, anhand eines beliebigen zusammengehörigen Punktepaares in Übereinstimmung gebracht werden. Der dazu notwendige Skalierungsfaktor ermöglicht unmittelbar auch die Umrechnung des bekannten diffusen Remissionsvermögens der Referenzkurve auf das gesuchte diffuse Remissionsvermögen der Messkurve.
  • Aber auch wenn die Linearitätsannahmen sich als zu vereinfachend erweisen, kann ganz analog statt der Anwendung einer Reskalierung auf jeweils einen Punkt der Messkurve und der Referenzkurve eine ganze Schar solcher Punkte durch ein Optimierungsverfahren, beispielsweise eine Minimierung einer Kostenfunktion (z. B. least mean square), in Übereinstimmung gebracht und daraus ein optimaler Skalierungsfaktor bestimmt werden. Auch die Bestimmung des Remissionsvermögens aus dem erforderlichen Skalierungsfaktor kann durch eine Tabelle, welche den Zusammenhang zwischen Skalierungsfaktor und Remissionsvermögen enthält, ohne Annahme eines linearen Zusammenhangs erfolgen.
  • Ein Objekt remittiert bei gleichem diffusen Remissionsvermögen in unterschiedlichen Entfernungen in einem Maße weniger Licht, welches quadratisch mit dem Abstand zu der 3D-Kamera abfällt. Dieser Abstandseffekt kann ohne Weiteres berücksichtigt werden, indem der aus der Tiefenkarte bekannte Abstand in die Bestimmung des diffusen Remissionsvermögens einbezogen wird.
  • Die Erfindung hat den Vorteil, dass mit dem diffusen Remissionsvermögen ein zusätzlicher Parameter der erfassten Objekte zugänglich wird. Dies gelingt mit derselben Sensorik, die auch die Tiefenkarte erfasst, und obwohl sich das Remissionsspektrum der in einer Szene befindlichen Objekte über mehrere Größenordnungen erstrecken kann. Die Objektklassifikation wird somit verbessert, und Mehrdeutigkeiten bei der Zuordnung zu einer Klasse allein aufgrund von aus der Tiefenkarte abgeleiteten geometrischen Informationen können aufgrund der Zusatzinformation über das Remissionsvermögen aufgelöst werden. Es werden sogar Objekte untereinander identischer Geometrie, die in der Tiefenkarte nicht unterscheidbar sind, anhand des Remissionsvermögens korrekt klassifiziert. Die Remissionswerte können überdies genutzt werden, um Kalibrierungseinstellungen der 3D-Kamera einzustellen, wie Belichtungszeiten, eine Dynamikkennlinie des Bildsensors und dergleichen.
  • Die Triangulationseinheit ist bevorzugt dafür ausgebildet, die Korrelationsgüte aus einer Anzahl ungültiger Pixel in der Tiefenkarte zu bestimmen. Ungültige Pixel sind solche, zu denen bei der Korrelation kein Tiefenwert bestimmt werden konnte, jedenfalls nicht mit hinreichender Zuverlässigkeit beziehungsweise Genauigkeit. Das ist beispielsweise in übersteuerten oder zu dunklen Bildbereichen der Fall, wo die Struktur nicht mehr für eine verlässliche Korrelation genügt. Das Zählen solcher Pixel ist ein besonders einfach zu bestimmendes Gütemaß. Gängige Korrelationsalgorithmen bringen aber oft auch selbst ein Gütemaß mit, beispielsweise einen Korrelationskoeffizienten, oder das Verfahren definiert sich ein eigenes Gütemaß, wie den Abstand zwischen einer optimalen Übereinstimmung und einer nächstbesten Übereinstimmung.
  • Die Objektklassifikationseinheit ist bevorzugt dafür ausgebildet, in der Tiefenkarte anhand von darin erkannten Geometrieeigenschaften Teilbereiche des Überwachungsbereichs mit unterschiedlichen Objekten zu identifizieren und das diffuse Remissionsvermögen für Teilbereiche zu bestimmen. In dieser Ausführungsform wird eine Objektdetektion vorgeschaltet, die zunächst nicht von den erfindungsgemäß zu bestimmenden Remissionseigenschaften abhängt, sondern die Entfernungswerte der Tiefenkarte nutzt. Ebenfalls einfließen können Informationen über zu einem früheren Zeitpunkt erkannte Objekte, insbesondere durch Objektverfolgung (Tracking). Anhand von Bildbereichen der so erkannten Objekte wird deren Remissionsverhalten individuell oder lokal aus den zugehörigen Bildbereichen und nicht global aus sämtlichen erfassten Bilddaten bestimmt.
  • Die Objektklassifikationseinheit ist bevorzugt dafür ausgebildet, Objekte anhand von Geometrieeigenschaften und dem diffusen Remissionsvermögen zu klassifizieren. Dies geschieht zum Beispiel, indem zunächst auf herkömmliche Weise die Tiefenkarte ausgewertet wird, um Objekte zu identifizieren. Anschließend wird die Objektklassifikation anhand der bestimmten Remissionswerte verfeinert oder korrigiert. Der Prozess muss aber nicht zwingend nur in dieser Reihenfolge ablaufen. Auch Rückkopplungen oder Iterationen sind denkbar.
  • Die Objektklassifikationseinheit ist bevorzugt dafür ausgebildet, die Geometrieeigenschaften durch Kantendetektion zu erfassen. Dies ist ein bewährtes Beispiel für eine herkömmliche Objektklassifikation ohne Einbeziehung von Remissionseigenschaften.
  • Vorzugsweise ist in der 3D-Kamera eine Beleuchtungseinheit zur Erzeugung eines strukturierten Beleuchtungsmusters in dem Überwachungsbereich vorgesehen. Damit wird stets sichergestellt, dass die Szenerie ausreichend Struktur für die Korrelationen zur Gewinnung der Tiefenkarte aufweist. Das Beleuchtungsmuster ist vorzugsweise selbstunähnlich, insbesondere lokal selbstunähnlich in dem Sinne, dass es nicht durch Translationen innerhalb der Korrelationslänge in sich selbst überführt werden kann. Damit werden Scheinkorrelationen aufgrund des Beleuchtungsmusters und daraus resultierende Fehler in der Tiefenkarte ausgeschlossen.
  • Die Triangulationseinheit ist bevorzugt dafür ausgebildet, Referenzbilddaten des Beleuchtungsmusters in verschiedenen Abständen einzulernen und im Betrieb die Tiefenkarte anhand eines Vergleichs der aufgenommenen Bilddaten mit den Referenzbilddaten zu bestimmen. Dies ist eine bekannte Ausführungsform einer auf Triangulation basierenden 3D-Kamera, die mit nur einem zudem ruhenden Bildsensor auskommt.
  • Die 3D-Kamera ist bevorzugt eine Stereoskopiekamera mit mindestens zwei Kameramodulen, die jeweils einen Bildsensor aufweisen, wobei die Triangulationseinheit für die Anwendung eines Stereoalgorithmus’ ausgebildet ist, in dem zur Erzeugung der Tiefenkarte einander zugehörige Teilbereiche der von den beiden Kameramodulen aufgenommenen Bilder des Überwachungsbereichs erkannt und deren Entfernung anhand der Disparität berechnet wird. Es gibt robuste und auf moderner Hardware auch echtzeitfähige Algorithmen, mit denen auf diese Weise zuverlässig Tiefenkarten gewonnen werden können.
  • Die 3D-Kamera ist bevorzugt als Sicherheitskamera mit einem Sicherheitsausgang und einer Schutzfeldüberwachungseinheit ausgebildet, welche unzulässige Eingriffe in innerhalb des Überwachungsbereichs definierte Schutzfelder erkennt, daraufhin ein Abschaltsignal erzeugt und über den Sicherheitsausgang an eine überwachte Maschine ausgibt. Damit werden die einleitend genannten Vorteile einer 3D-Kamera gegenüber einer herkömmlichen Kamera im Bereich der Sicherheitstechnik verwirklicht. Das Remissionsvermögen ist eine weitere erfasste Objekteigenschaft, die beispielsweise für zusätzliche Automatisierungsaufgaben genutzt werden kann, welche die 3D-Kamera außer ihrer Absicherungsfunktion löst. Aber auch für rein sicherheitstechnische Anwendungen ist das Remissionsvermögen der erfassten Objekte ein sehr nützlicher Messwert, der beispielsweise für eine Unterscheidung von zulässigen und unzulässigen Objekten genutzt werden kann. Dazu werden beispielsweise in den Schutzfeldern zuzulassende und nicht zuzulassende Objekte mit bestimmten Farben gekennzeichnet, oder in einer flexibleren Anwendung werden die Remissionseigenschaften solcher bekannter Objekte eingelernt.
  • Das erfindungsgemäße Verfahren kann auf ähnliche Weise weitergebildet werden und zeigt dabei ähnliche Vorteile. Derartige vorteilhafte Merkmale sind beispielhaft, aber nicht abschließend in den sich an die unabhängigen Ansprüche anschließenden Unteransprüchen beschrieben.
  • Die Erfindung wird nachstehend auch hinsichtlich weiterer Merkmale und Vorteile beispielhaft anhand von Ausführungsformen und unter Bezug auf die beigefügte Zeichnung näher erläutert. Die Abbildungen der Zeichnung zeigen in:
  • 1 eine schematische Gesamtdarstellung einer Ausführungsform einer 3D-Kamera und deren Überwachungsbereich;
  • 2 den beispielhaften Verlauf von Messkurven der Korrelationsgüte in Abhängigkeit von der Belichtungszeit für drei Ziele unterschiedlichen diffusen Remissionsvermögens; und
  • 3 eine Darstellung ähnlich 2, nachdem die Messkurven längs der X-Achse auf eine Referenzkurve reskaliert wurden.
  • 1 zeigt in einer schematischen dreidimensionalen Darstellung den allgemeinen Aufbau einer 3D-Kamera 10 nach dem Stereoskopieprinzip, die zur Überwachung eines Raumbereichs 12 eingesetzt ist. Die Erfindung wird an diesem Beispiel einer stereoskopischen 3D-Kamera beschrieben, umfasst aber auch andere triangulationsbasierte 3D-Kameras, etwa mit nur einem Bildsensor und Auswertung der entfernungsabhängigen Veränderungen eines Beleuchtungsmusters, wie sie beispielhaft in der Einleitung genannt sind. Mit Überwachung sind im speziellen sicherheitstechnische Anwendungen gemeint. Das kann die Absicherung einer gefährlichen Maschine sein, indem dreidimensionale Schutzbereiche in dem Überwachungsbereich oder Raumbereich 12 definiert und von der 3D-Kamera auf unzulässige Eingriffe überwacht werden. Mit der 3D-Kamera sind aber auch andere Anwendungen denkbar, beispielsweise die Unterstützung von Automatisierungsaufgaben, Objekterkennung und -klassifikation oder das Erfassen von bestimmten Bewegungen, die als Befehl an die 3D-Kamera 10 oder an ein daran angeschlossenes System interpretiert werden.
  • In der 3D-Kamera 10 sind zwei Kameramodule 14a–b in einem bekannten festen Abstand zueinander montiert und nehmen jeweils Bilder des Raumbereichs 12 auf. In jeder Kamera ist ein Bildsensor 16a–b vorgesehen, üblicherweise ein matrixförmiger Aufnahmechip, der ein rechteckiges Pixelbild aufnimmt, beispielsweise ein CCD- oder ein CMOS-Sensor. Den Bildsensoren 16a–b ist jeweils ein Objektiv mit einer abbildenden Optik zugeordnet, welches als Linse 18a–b dargestellt ist und in der Praxis als jede bekannte Abbildungsoptik realisiert sein kann. Der Sichtwinkel dieser Optiken ist in 1 durch gestrichelte Linien dargestellt, die jeweils eine Sichtpyramide 20a–b bilden.
  • In der Mitte zwischen den beiden Bildsensoren 16a–b ist eine Beleuchtungseinheit 22 mit einer Lichtquelle 24 dargestellt, wobei diese räumliche Anordnung nur als Beispiel zu verstehen ist und die Beleuchtungseinheit ebenso asymmetrisch oder sogar außerhalb der 3D-Kamera 10 angeordnet sein kann. Die Beleuchtungseinheit 22 erzeugt mit Hilfe eines Mustererzeugungselements 26 in dem Raumbereich 12 ein strukturiertes Beleuchtungsmuster.
  • Mit den beiden Bildsensoren 16a–b und der Beleuchtungseinheit 22 ist eine kombinierte Auswertungs- und Steuerungseinheit 28 verbunden. Mittels der Auswertungs- und Steuerungseinheit 28 wird das strukturierte Beleuchtungsmuster erzeugt und bei Bedarf in seiner Struktur oder Intensität variiert, und sie empfängt Bilddaten der Bildsensoren 16a–b. Aus diesen Bilddaten berechnet eine Triangulationseinheit 30 der Auswertungs- und Steuerungseinheit 28 mit Hilfe einer stereoskopischen Disparitätsschätzung dreidimensionale Bilddaten (Entfernungsbild, Tiefenkarte) des Raumbereichs 12. Das strukturierte Beleuchtungsmuster sorgt dabei für einen guten Kontrast und eine eindeutig zuordenbare Struktur jedes Bildelements in dem beleuchteten Raumbereich 12.
  • Die Auswertungs- und Steuerungseinheit 28 umfasst zusätzlich eine Objektklassifikationseinheit 32, welche Teilbereiche in den aufgenommenen Bilddaten identifiziert, die unterschiedlichen Objekten zugehören. Dazu können bekannte Verfahren wie Kantendetektion oder Objekttracking eingesetzt werden. Zusätzlich wird erfindungsgemäß in einer weiter unten anhand der 2 und 3 noch näher erläuterten Weise das diffuse Remissionsvermögen von Objekten bestimmt. Diese zusätzliche Information kann verwendet werden, um die Objektklassifikation zu ersetzen, zu ergänzen, zu verbessern oder zu korrigieren, aber auch beispielsweise um Kalibrationsparameter der 3D-Kamera 10 zu setzen oder nachzustellen
  • Erkennt die Auswertungs- und Steuerungseinheit 28 weiterhin einen unzulässigen Eingriff in einen Schutzbereich 34 innerhalb des Raumbereichs 12, so wird eine Warnung ausgegeben oder eine Gefahrenquelle 36 abgesichert, beispielsweise ein Roboterarm oder eine sonstige Maschine gestoppt. Sicherheitsrelevante Signale, also vor allem das Abschaltsignal, werden über einen Sicherheitsausgang 38 ausgegeben (OSSD, Output Signal Switching Device). In nichtsicherheitstechnischen Anwendungen kann auf diese Funktionalität auch verzichtet werden. Ebenso ist denkbar, dass die dreidimensionalen Bilddaten lediglich als solche ausgegeben und weitere Auswertungen extern vorgenommen werden.
  • Um für sicherheitstechnische Anwendungen geeignet zu sein, ist die 3D-Kamera 10 vorzugsweise fehlersicher ausgelegt. Dies bedeutet unter anderem, dass die 3D-Kamera 10 sich selber in Zyklen unterhalb der geforderten Ansprechzeit testen kann, insbesondere auch Defekte der Beleuchtungseinheit 22 erkennt und somit sicherstellt, dass das Beleuchtungsmuster 20 in einer erwarteten Mindestintensität verfügbar ist, und dass der Sicherheitsausgang 26 sicher, beispielsweise zweikanalig ausgelegt ist. Ebenso ist auch die Steuerung 22 mit der Stereoskopieeinheit 24 selbstsicher, wertet also zweikanalig aus oder verwendet Algorithmen, die sich selbst prüfen können. Derartige Vorschriften sind für allgemeine berührungslos wirkende Schutzeinrichtungen beispielsweise in der EN 61496-1 bzw. der EN 13849-1 normiert. Eine entsprechende Norm für Sicherheitskameras befindet sich in der Vorbereitung.
  • Anhand der 2 und 3 wird nun erläutert, wie die 3D-Kamera den Remissionswert, also das diffuse Remissionsvermögen, von erfassten Objekten bestimmt. Die Berechnung der Remissionswerte basiert auf der Auswertung der Korrelationsgüte von mehreren 3D-Kamerabildern beziehungsweise Tiefenkarten, die bei unterschiedlichen Belichtungszeiten aufgenommen werden. Grundlage für die Berechnung der Remissionswerte ist der lineare Zusammenhang zwischen der Objekthelligkeit und dessen Remissionswert.
  • Es wird angenommen, dass ein Objekt mit einer bestimmten Remission bei einer mittleren Belichtungszeit der Bildsensoren 16a–b gut korrelierbar ist und dichte Tiefenwerte liefert. Wird das gleiche Objekt unter kürzeren beziehungsweise längeren Belichtungszeiten der Bildsensoren 16a–b betrachtet, reduziert sich die Korrelationsgüte des Algorithmus’ zur Berechnung der Tiefenwerte in der Triangulationseinheit 30. Eine mögliche Einheit, um die Korrelationsgüte zu messen, ist die Anzahl von Fehlstellen, also Pixeln, für die eine Entfernung gar nicht oder nur mit einer großen Unsicherheit bestimmt werden konnte.
  • 2 zeigt den beispielhaften Verlauf von Messkurven der Korrelationsgüte in Abhängigkeit von der Belichtungszeit für drei Ziele unterschiedlichen diffusen Remissionsvermögens. Dabei wird eine gestrichelte Linie für ein weißes Ziel mit einer Remission von 72 %, eine gepunktete Linie für ein graues Ziel mit einer Remission von 18 % und eine durchgezogene Linie für ein schwarzes Ziel mit einer Remission von 5 % verwendet. Die Ziele und Remissionswerte sind nur beispielhaft zu verstehen. Für mittlere Belichtungszeiten bleibt die Anzahl ungültiger Tiefenwerte in allen drei Messkurven gering, hier ist demnach die Korrelationsgüte sehr hoch. Für geringere oder höhere Belichtungszeiten dagegen steigt die Anzahl der ungültigen Tiefenwerte aufgrund von Bildrauschen beziehungsweise Bildübersteuerung an, die Korrelationsgüte nimmt demnach ab.
  • Vergleicht man in einem zweiten Schritt die drei Messkurven miteinander, so zeigt sich ein linearer Zusammenhang zwischen der Skalierung der Zeitachse, also den Belichtungszeiten auf der X-Achse, und den Remissionswerten. Es ist also möglich, die drei Messkurven durch Stauchen oder Strecken längs der X-Achse ineinander zu überführen. Dies wird in 2 durch Pfeile 40, 42 angedeutet, die einen Reskalierungsfaktor repräsentieren.
  • 3 zeigt die Messkurven noch einmal, nachdem eine entsprechende Reskalierung der Messkurven des grauen und des schwarzen Zieles vorgenommen wurde. Damit fallen alle Messkurven aufeinander und entsprechen der Messkurve des weißen Zieles, das hier beispielhaft als Referenzkurve ausgewählt wurde. Diese Wahl der Referenzkurve entspricht einer Kalibrierung der Messmethode. Die Remission des weißen Ziels ist demnach vorab bekannt. Die notwendigen Skalierungsfaktoren, die in 2 durch Pfeile 40, 42 repräsentiert sind und mit denen die Messkurven mit der Referenzkurve in Übereinstimmung gebracht werden, können auf die bekannte Remission des weißen Ziels angewandt werden, um so die Remissionswerte des grauen beziehungsweise des schwarzen Zieles zu berechnen. Dabei ist zu beachten, dass die Remission zusätzlich vom Objektabstand abhängt. Der Objektabstand ist aber aus der Tiefenkarte bekannt. Mit Hilfe des Abstandes, unter dem die Referenzkurve aufgenommen wurde, und mit dem bekannten abstandsabhängigen quadratischen Abfall der Intensität kann die Berechnung der Remission daher mit wenig Aufwand auch den Objektabstand berücksichtigen.
  • Die Messkurven der 2 sind weitgehend glatt und bedürfen in dieser Form zu ihrer Bestimmung einer Vielzahl von Messungen. Das ist aber in der Praxis gar nicht erforderlich. Da eine lineare Reskalierung möglich ist, genügt im Prinzip schon ein einziges zugehöriges Punktepaar der jeweiligen Messkurve und der Referenzkurve, um den Skalierungsfaktor zu bestimmen. Da dieses Punktepaar nicht ohne weiteres identifizierbar ist und Rauschen hinzukommt, wird dieser optimale Fall in der Praxis nicht genügen. Unter Einbeziehung des Vorwissens über die Kurvenform lässt sich der Skalierungsfaktor aber mit wenigen Messungen bestimmen, beispielsweise bei drei oder vier unterschiedlichen Belichtungszeiten.
  • Die 2 und 3 zeigen nur globale Messkurven für einen einzigen Objektbereich. Mit Hilfe einer vorgelagerten Segmentierung der Rohbilder in Objekten zugehörige Teilbereiche kann das beschriebene Vorgehen mehrfach genutzt werden, um jeweils die Remission einzelner Objekte zu bestimmen. Dazu werden beispielsweise vorab in der Objektklassifikationseinheit 32 Objekte und deren Bildbereiche mit von der Remission unabhängigen Verfahren identifiziert, etwa Kantendetektion oder Objektverfolgung. Anhand der Remission kann anschließend die Objektklassifikation verfeinert oder korrigiert werden. Alternativ zu einer Segmentierung in Objekte kann auch eine Segmentierung in vorgegebene Abschnitte vorgenommen werden. Dazu wird beispielsweise ein Mittelungsfenster in der Tiefenkarte gewählt oder ein solches Mittelungsfenster zur Bestimmung von lokalen Remissionen der ganzen Szenerie systematisch über die Tiefenkarte verschoben.

Claims (10)

  1. 3D-Kamera (10), die mindestens einen Bildsensor (16a–b) zur Erzeugung von Bilddaten aus einem Überwachungsbereich (12) und eine Triangulationseinheit (30) zur Berechnung einer Tiefenkarte aus den Bilddaten mittels Korrelation sowie zur Bestimmung einer Korrelationsgüte der berechneten Tiefenkarte aufweist, gekennzeichnet durch eine Objektklassifikationseinheit (32), die dafür ausgebildet ist, anhand mehrerer bei unterschiedlichen Belichtungszeiten erzeugter Tiefenkarten eine Messkurve der Korrelationsgüte in Abhängigkeit von der Belichtungszeit zu ermitteln, einen Skalierungsfaktor zu berechnen, mit dem die Messkurve auf eine Referenzkurve eines Objekts mit bekanntem diffusen Remissionsvermögen reskaliert wird, und das diffuse Remissionsvermögen eines in der Tiefenkarte erfassten Objekts aus dem Skalierungsfaktor und dem bekannten diffusen Remissionsvermögen der Referenzkurve zu bestimmen.
  2. 3D-Kamera (10) nach Anspruch 1, wobei die Triangulationseinheit (30) dafür ausgebildet ist, die Korrelationsgüte aus einer Anzahl ungültiger Pixel in der Tiefenkarte zu bestimmen.
  3. 3D-Kamera (10) nach Anspruch 1 oder 2, wobei die Objektklassifikationseinheit (32) dafür ausgebildet ist, in der Tiefenkarte anhand von darin erkannten Geometrieeigenschaften Teilbereiche des Überwachungsbereichs (12) mit unterschiedlichen Objekten zu identifizieren und das diffuse Remissionsvermögen für Teilbereiche zu bestimmen.
  4. 3D-Kamera (10) nach Anspruch 3, wobei die Objektklassifikationseinheit (32) dafür ausgebildet ist, Objekte anhand von Geometrieeigenschaften und dem diffusen Remissionsvermögen zu klassifizieren.
  5. 3D-Kamera (10) nach Anspruch 3 oder 4, wobei die Objektklassifikationseinheit (32) dafür ausgebildet ist, die Geometrieeigenschaften durch Kantendetektion zu erfassen.
  6. 3D-Kamera (10) nach einem der vorhergehenden Ansprüche, die eine Beleuchtungseinheit (22) zur Erzeugung eines strukturierten Beleuchtungsmusters in dem Überwachungsbereich (12) aufweist.
  7. 3D-Kamera (10) nach Anspruch 6, wobei die Triangulationseinheit (30) dafür ausgebildet ist, Referenzbilddaten des Beleuchtungsmusters in verschiedenen Abständen einzulernen und im Betrieb die Tiefenkarte anhand eines Vergleichs der aufgenommenen Bilddaten mit den Referenzbilddaten zu bestimmen.
  8. 3D-Kamera (10) nach einem der vorhergehenden Ansprüche, die eine Stereoskopiekamera mit mindestens zwei Kameramodulen (14a–b) ist, die jeweils einen Bildsensor (16a–b) aufweisen, und wobei die Triangulationseinheit (30) für die Anwendung eines Stereoalgorithmus’ ausgebildet ist, in dem zur Erzeugung der Tiefenkarte einander zugehörige Teilbereiche der von den beiden Kameramodulen (14a–b) aufgenommenen Bilder des Überwachungsbereichs (12) erkannt und deren Entfernung anhand der Disparität berechnet wird.
  9. 3D-Kamera nach einem der vorhergehenden Ansprüche, die als Sicherheitskamera mit einem Sicherheitsausgang und einer Schutzfeldüberwachungseinheit ausgebildet ist, welche unzulässige Eingriffe in innerhalb des Überwachungsbereichs definierte Schutzfelder erkennt, daraufhin ein Abschaltsignal erzeugt und über den Sicherheitsausgang an eine überwachte Maschine ausgibt.
  10. Verfahren zur Bestimmung des diffusen Remissionsvermögens von Objekten mit einer 3D-Kamera (10), insbesondere einer 3D-Kamera (10) nach einem der vorhergehenden Ansprüche, bei dem ein Bildsensor (16a–b) Bilddaten aus einem Überwachungsbereich (12) erzeugt und wobei aus den Bilddaten mittels Korrelation eine Tiefenkarte berechnet sowie eine Korrelationsgüte der berechneten Tiefenkarte bestimmt wird, dadurch gekennzeichnet, dass mehrere Tiefenkarten bei unterschiedlichen Belichtungszeiten erzeugt werden, dass daraus eine Messkurve der Korrelationsgüte in Abhängigkeit von der Belichtungszeit ermittelt wird, dass ein Skalierungsfaktor berechnet wird, mit dem die Messkurve auf eine Referenzkurve eines Objekts mit bekanntem diffusen Remissionsvermögen reskaliert wird, und dass das diffuse Remissionsvermögen eines in der Tiefenkarte erfassten Objekts aus dem Skalierungsfaktor und dem bekannten diffusen Remissionsvermögen der Referenzkurve bestimmt wird.
DE201210105401 2012-06-21 2012-06-21 3D-Kamera und Verfahren zur Bestimmung des diffusen Remissionsvermögens von Objekten Expired - Fee Related DE102012105401B3 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE201210105401 DE102012105401B3 (de) 2012-06-21 2012-06-21 3D-Kamera und Verfahren zur Bestimmung des diffusen Remissionsvermögens von Objekten

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201210105401 DE102012105401B3 (de) 2012-06-21 2012-06-21 3D-Kamera und Verfahren zur Bestimmung des diffusen Remissionsvermögens von Objekten

Publications (1)

Publication Number Publication Date
DE102012105401B3 true DE102012105401B3 (de) 2013-04-25

Family

ID=48051537

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201210105401 Expired - Fee Related DE102012105401B3 (de) 2012-06-21 2012-06-21 3D-Kamera und Verfahren zur Bestimmung des diffusen Remissionsvermögens von Objekten

Country Status (1)

Country Link
DE (1) DE102012105401B3 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2835050A1 (de) * 2013-08-09 2015-02-11 Lemken GmbH & Co. KG Landwirtschaftliche Verteilmaschine mit Ausbringgestänge
CN105651261A (zh) * 2016-02-26 2016-06-08 中国科学院长春光学精密机械与物理研究所 基于小卫星平台的双面阵立体测绘系统
DE102014219754B4 (de) 2013-10-01 2022-07-07 Avago Technologies International Sales Pte. Ltd. Gestenbasierte industrielle Überwachung

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2166304A1 (de) * 2008-09-23 2010-03-24 Sick Ag Beleuchtungseinheit und Verfahren zur Erzeugung eines selbstunähnlichen Musters
US20100118123A1 (en) * 2007-04-02 2010-05-13 Prime Sense Ltd Depth mapping using projected patterns
DE102010017857A1 (de) * 2010-04-22 2011-10-27 Sick Ag 3D-Sicherheitsvorrichtung und Verfahren zur Absicherung und Bedienung mindestens einer Maschine

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100118123A1 (en) * 2007-04-02 2010-05-13 Prime Sense Ltd Depth mapping using projected patterns
EP2166304A1 (de) * 2008-09-23 2010-03-24 Sick Ag Beleuchtungseinheit und Verfahren zur Erzeugung eines selbstunähnlichen Musters
DE102010017857A1 (de) * 2010-04-22 2011-10-27 Sick Ag 3D-Sicherheitsvorrichtung und Verfahren zur Absicherung und Bedienung mindestens einer Maschine

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2835050A1 (de) * 2013-08-09 2015-02-11 Lemken GmbH & Co. KG Landwirtschaftliche Verteilmaschine mit Ausbringgestänge
DE102014219754B4 (de) 2013-10-01 2022-07-07 Avago Technologies International Sales Pte. Ltd. Gestenbasierte industrielle Überwachung
CN105651261A (zh) * 2016-02-26 2016-06-08 中国科学院长春光学精密机械与物理研究所 基于小卫星平台的双面阵立体测绘系统
CN105651261B (zh) * 2016-02-26 2018-03-13 中国科学院长春光学精密机械与物理研究所 基于小卫星平台的双面阵立体测绘系统

Similar Documents

Publication Publication Date Title
DE102007036129B3 (de) Vorrichtung und Verfahren zur dreidimensionalen Überwachung eines Raumbereichs mit mindestens zwei Bildsensoren
EP3200122B1 (de) Optoelektronischer sensor und verfahren zur sicheren erkennung von objekten einer mindestgrösse
EP2118555B1 (de) Sicherheitseinrichtung für eine maschine
EP2083209B1 (de) Sicherheitssystem zur berührungslosen Messung von Wegen und/oder Geschwindigkeiten
EP2275989B1 (de) Stereoskopische 3D-Kamera
EP2434432A1 (de) Regelung der Belechtungsintensität für einen optoelektronischen Sensor
DE102009034848B4 (de) Optoelektronischer Sensor
EP3813355B1 (de) Kamera zur erfassung eines objektstroms und verfahren zur bestimmung der höhe von objekten
DE102017111885B4 (de) Verfahren und System zum Überwachen einer Maschine
EP2819109B1 (de) Optoelektronischen 3D-Sensor und Verfahren zum Erkennen von Objekten
DE102012105401B3 (de) 3D-Kamera und Verfahren zur Bestimmung des diffusen Remissionsvermögens von Objekten
EP3893145B1 (de) Absicherung einer gefahrenstelle
EP3651458B1 (de) Sichere stereokamera und verfahren zum prüfen der funktionsfähigkeit der bildsensoren
EP2270424B1 (de) Optoelektronischer Sensor und Verfahren zur Überwachung
DE102010036852A1 (de) Stereokamera
DE202012102298U1 (de) 3D-Kamera
EP3496398B1 (de) Sichere stereokamera und verfahren zum prüfen der funktionsfähigkeit der bildsensoren
DE102018117274A1 (de) Sichere Kamera und Verfahren zur sicheren Aufnahme und Auswertung von Bilddaten
DE202012102541U1 (de) 3D-Kamera
EP3798969A1 (de) Verfahren zur verarbeitung von tiefenbildern, bildverarbeitungsvorrichtung und tiefenkamera
DE102019127826A1 (de) Sicherer optoelektronischer Sensor und Verfahren zum Absichern eines Überwachungsbereichs
AT514730A2 (de) Verfahren zur Erkennung von Fehlern für zumindest ein Bildverarbeitungssystem
DE102014201313A1 (de) Verfahren zur Erkennung einer Bewegungsbahn mindestens eines bewegten Objektes innerhalb eines Erfassungsbereiches, Verfahren zur Gestikerkennung unter Einsatz eines derartigen Erkennungsverfahrens sowie Vorrichtung zur Durchführung eines derartigen Erkennungsverfahrens
DE202018104120U1 (de) Sichere Kamera zur sicheren Aufnahme und Auswertung von Bilddaten
DE102019117849B4 (de) Erfassung eines Objekts in einem Überwachungsbereich

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R018 Grant decision by examination section/examining division
R020 Patent grant now final

Effective date: 20130726

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee