DE102018102159A1

DE102018102159A1 - Verfahren zum Bestimmen der Belichtungszeit für eine 3D-Aufnahme

Info

Publication number: DE102018102159A1
Application number: DE102018102159.3A
Authority: DE
Inventors: Christian Schleith; Tom Jäckel; Alesander Frey; Markus Basel
Original assignee: Carl Zeiss Industrielle Messtechnik GmbH
Current assignee: Carl Zeiss Industrielle Messtechnik GmbH
Priority date: 2018-01-31
Filing date: 2018-01-31
Publication date: 2019-08-01

Abstract

Ein Verfahren dient zum Bestimmen der Belichtung, insbesondere der Belichtungszeit für eine Aufnahme bei einem Verfahren zum Bestimmen der 3D-Koordinaten eines Objekts (3), bei dem ein Muster auf das Objekt (3) projiziert wird und das von dem Objekt (3) reflektierte Licht aufgenommen wird. Um ein derartiges Verfahren zu verbessern wird eine Aufnahme des Objekts (3) mit einer vorbestimmten Belichtung, insbesondere Belichtungszeit hergestellt. Es wird ein Maskenbild dieser Aufnahme hergestellt, in dem die innerhalb des Messvolumens (6) liegenden Bereiche des Objekts (3) dargestellt sind. Die Belichtung, insbesondere die Belichtungszeit für die Aufnahme wird in Abhängigkeit von der vorbestimmten Belichtung, insbesondere Belichtungszeit, des mittleren Grauwerts in den innerhalb des Messvolumens (6) liegenden Bereichen der Aufnahme mit einer vorbestimmten Belichtung und eines optimalen Grauwerts bestimmt (Fig. 1).

Description

Die Erfindung betrifft ein Verfahren zum Bestimmen der Belichtung für eine Aufnahme bei einem Verfahren zum Bestimmen der 3D-Koordinaten eines Objekts. Das Verfahren zum Bestimmen der 3D-Koordinaten eines Objekts kann mit einer Vorrichtung durchgeführt werden, die einen Projektor zum Projizieren eines Musters auf das Objekt und eine Kamera zum Aufnehmen des von dem Objekt reflektierten Lichts umfasst.
Ein derartiges Verfahren zum Bestimmen der 3D-Koordinaten eines Objekts ist aus der US 7,570,370 B2 bekannt.
Die US 7,957,639 B2 offenbart ein Verfahren zum Bestimmen der 3D-Koordinaten eines Objekts, bei dem ein Muster auf das Objekt projiziert wird. Das Objekt wird von einer Kamera aufgenommen. Um die optimale Belichtung zu ermitteln werden zwei Bilder von dem Objekt hergestellt, nämlich ein erstes Bild, bei dem das Muster auf das Objekt projiziert wird, und ein zweites Bild, bei dem kein Muster auf das Objekt projiziert wird. Aus diesen beiden Bildern soll die optimale Belichtung ermittelt werden.
Aufgabe der Erfindung ist es, ein verbessertes Verfahren zum Bestimmen der Belichtung für eine Aufnahme bei einem Verfahren zum Bestimmen der 3D-Koordinaten eines Objekts vorzuschlagen.
Erfindungsgemäß wird diese Aufgabe durch die Merkmale des Anspruchs 1 gelöst. Bei den Verfahren zum Bestimmen der 3D-Koordinaten eines Objekts wird ein Muster auf das Objekt projiziert. Dieses Muster ist insbesondere ein Streifenmuster. Das von dem Objekt reflektierte Licht wird aufgenommen. Die Aufnahme kann durch eine Kamera erfolgen. Vorzugsweise umfasst die Kamera eine Optik und einen flächenhaften Aufnahmesensor, insbesondere einen CCD-Sensor oder CMOS-Sensor. Zum Bestimmen der 3D-Koordinaten kann die Aufnahme ausgewertet werden. Dies erfolgt vorzugsweise in einer Auswerteeinrichtung, insbesondere in einem Computer, vorzugsweise in einem PC.
Erfindungsgemäß wird die Belichtung für die Aufnahme bestimmt. Dabei wird vorzugsweise die Belichtungszeit für die Aufnahme bestimmt. Es ist allerdings auch möglich, stattdessen oder zusätzlich einen oder mehrere andere Parameter der Belichtung zu bestimmen, insbesondere die Blende der Kamera, die Empfindlichkeit des Flächensensors der Kamera und/oder die Intensität der Belichtung, also des projizierten Musters, insbesondere Streifenmusters.
Bei dem erfindungsgemäßen Verfahren wird zunächst eine Aufnahme des Objekts mit einer vorbestimmten Belichtung, insbesondere mit einer vorbestimmten Belichtungszeit hergestellt. Aus dieser Aufnahme wird ein Maskenbild hergestellt, in dem die innerhalb des Messvolumens liegenden Bereiche des Objekts dargestellt sind. Das Maskenbild enthält also Bereiche des Objekts, die innerhalb des Messvolumens liegen, und davon außerhalb liegende Bereiche. In dem Maskenbild können in einer bevorzugten Ausgestaltung auch jene Bereiche des Objekts, welche zwar geometrisch innerhalb des Messvolumens liegen, jedoch durch Verschattung nicht vermessen werden können, als außerhalb des Messvolumens liegend gekennzeichnet sein.
Die Belichtung für die Aufnahme zum Bestimmen der 3D-Koordinaten des Objekts wird in Abhängigkeit von der vorbestimmten Belichtung, des mittleren Grauwerts in den innerhalb des Messvolumens liegenden Bereichen der Aufnahme mit einer vorbestimmten Belichtung und eines optimalen Grauwerts bestimmt. Dabei kann insbesondere die Belichtungszeit für die Aufnahme auf diese Weise bestimmt werden. Es ist aber auch möglich, stattdessen oder zusätzlich einen oder mehrere andere Parameter der Belichtung für die Aufnahme zu bestimmen, insbesondere die Blende, die Empfindlichkeit und/oder die Intensität der Belichtung. Die Bestimmung der Belichtung für die Aufnahme erfolgt in Abhängigkeit von der vorbestimmten Belichtung, insbesondere der vorbestimmten Belichtungszeit, Blende, Empfindlichkeit und/oder Belichtungsintensität. Sie erfolgt ferner in Abhängigkeit von dem mittleren Grauwert derjenigen Bereiche der Aufnahme mit einer vorbestimmten Belichtung, die innerhalb des Messvolumens liegen, und eines optimalen Grauwerts für diese Bereiche. Bei dem optimalen Grauwert handelt es sich vorzugsweise um einen vorbestimmten Grauwert.
Durch die Erfindung kann der Vorteil erreicht werden, dass zum Bestimmen der Belichtung nur eine einzige Aufnahme erforderlich ist, nämlich die Aufnahme mit einer vorbestimmten Belichtung. Ferner kann der Vorteil erreicht werden, dass zur Bestimmung der Belichtung für die Aufnahme nur diejenigen Bereiche des Objekts herangezogen werden, die innerhalb des Messvolumens liegen. Das innerhalb des Messvolumens liegende Objekt einerseits und der Hintergrund andererseits können also voneinander getrennt werden.
Es ist möglich, das Verfahren in Echtzeit durchzuführen. Insbesondere kann das Verfahren kontinuierlich auf jedes Frame in einer kontinuierlichen Abfolge von Aufnahmen, insbesondere Videoaufnahmen angewendet werden. Sobald sich die Belichtung der Aufnahmeszene ändert kann die neu benötigte Belichtung, insbesondere Belichtungszeit sofort berechnet werden.
Zum Bestimmen der 3D-Koordinaten des Objekts wird eine Aufnahme des Objekts mit der erfindungsgemäß bestimmten Belichtung hergestellt und ausgewertet.
Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen beschrieben.
Vorteilhaft ist es, wenn die Belichtungszeit nach der Formel $t_{1} = \frac{b_{o p t}}{b_{n}} t_{0}$
bestimmt wird. Darin bedeutet b_opt einen optimalen Grauwert, b_n den mittleren Grauwert in den Bereichen der Aufnahme des Objekts mit einer vorbestimmten Belichtungszeit, die innerhalb des Messvolumens liegen, und t₀ die vorbestimmte Belichtungszeit der Aufnahme des Objekts. Daraus berechnet sich die zu bestimmende Belichtungszeit t₁.
Die erwähnte Formel gilt für eine lineare Kamera, insbesondere Industriekamera. Es ist allerdings auch möglich, eine nichtlineare Kamera zu verwenden, sofern die Gesetzmäßigkeit der Nichtlinearität bekannt ist oder zumindest angenähert werden kann. In diesem Fall muss die erwähnte Formel an diese Nichtlinearität angepasst werden. Sie enthält dann einen Nichtlinearitätsfaktor für die nichtlineare Kamera.
In einer möglichen Ausfürhungsform wird die Belichtung auch dann auf Grundlage der Bildgrauwerte und insbesondere eines mittleren Grauwertes bestimmt wird, wenn kein Bereich der Aufnahme innerhalb des Messvolumens liegt. Die vorliegende Erfindung kann daher beispielsweise auch für solche Messverfahren verwendet werden, bei welchen die Kamera, mit welcher die Aufnahme erstellt wird, vor oder während der Messung relativ zu dem Objekt bewegt wird.
Bevorzugt wird zur Bestimmung der (optimalen) Belichtung eine Gewichtung der Grauwerte vorgenommen. Insbesondere kann die Gewichtung der Grauwerte im Rahmen der Bestimung des mittleren Grauwertes erfolgen.
Bei den Grauwerten kann es sich um die Grauwerte an Stützstellen innerhalb der Aufnahme handeln.
Bevorzugt werden im Rahmen der Gewichtung helle Bereiche stärker gewichtet als dunkle Bereiche. Die Gewichtung kann z.B. dadurch erfolgen, dass nur bestimmte Grauwerte in die Bestimmung 1 eingehen, und hierfür beispielsweise mit 1 gewichtet werden, und andere Grauwerte nicht in die Bestimmung eingehen, d.h. mit Null gewichtet werden.
Beispielsweise kann die (optimale) Belichtung und/oder der mittlere Grauwert auf Grundlage eines vorbestimmten Anteils aller vorhandenen Stützstellen bestimmt werden, wofür die vorhandenen Stützstellen nach Helligkeit sortiert und nur die Stützstellen mit der höchsten Helligkeit ausgewählt werden.
Eine solche Gewichtung kann erfolgen, wenn die Bestimmung der (optimalen) Belichtung und/oder des mittleren Grauwertes auf Grundlage von innerhalb und/oder außerhalb des Messvolumens liegenden Bereichen der Aufnahme erfolgt.
Gemäß einer bevorzugten Ausgestaltung der vorliegenden Erfindung erfolgt die Bestimmung der Belichtung ausschließlich auf Grundlage von innerhalb des Messvolumens liegenden Bereichen der Aufnahme, sobald eine vorbestimmte Anzahl von Stützstellen innerhalb des Messvolumens vorliegt. Liegen daher ausreichend Grauwerte innerhalb des Messvolumens vor, können Grauwerte außerhalb des Messvolumens unberücksichtigt bleiben.
Bevorzugt erfolgt die Bestimmung der Belichtung jedoch auch auf Grundlage von außerhalb des Messvolumens liegenden Bereichen der Aufnahme, solange noch keine vorbestimmte Anzahl von Stützstellen innerhalb des Messvolumens vorliegt. Hierdurch wird ein Flackern des Bildes durch Artefakte und/oder beim Übergang vermieden werden.
Weiterhin bevorzugt erfolgt der Übergang von einer auf Bereiche außerhalb des Messvolumens gestützten Bestimmung zu einer auf Bereiche innerhalb des Messvolumens gestützten Bestimmung fließend. Insbesondere werden hierzu die innerhalb des Messvolumens liegenden Bereiche stärker gewichtet als außerhalb des Messvolumens liegende Bereiche.
Bevorzugt werden zur Bestimmung der Belichtung und/oder des mittleren Grauwertes Stützstellen herangezogen. Hierdurch müssen nicht sämtliche in den der Bestimmung zugrunge liegenden Bereichen liegende Pixel herangezogen werden. Bevorzugt sind die Stützstellen in den innerhalb des Messvolumens liegenden Bereichen gleichmäßig verteilt und/oder bilden ein gleichmäßiges Raster. Bevorzugt sind in den außerhalb des Messvolumens liegenden Bereichen die Stützstellen in der Mitte der Aufnahme dichter angeordnet als an den Rändern.
Gemäß einer bevorzugten Ausgestaltung der vorliegenden Erfindung wird zur Bestimmung der innerhalb des Messvolumens liegenden Bereiche ermittelt, in welchen Bereichen der Aufnahme das projizierte Muster erkennbar ist und/oder ein vorgegebenes Qualitätskriterium erfüllt.
Bevorzugt erfolgt dies durch Auswertung der Aufnahme. Insbesondere werden hierbei jene Bereiche, in welchen das Muster mit ausreichender Schärfe, Helligkeit und/oder Detailtreue vorliegt, als innerhalb des Messvolumnes liegend betrachtet. Bei einem Streifenmuster bedeutet dies beispielsweise, dass jene Bereiche als innerhalb des Messvolumnes liegend betrachtet werden, in welchen eng benachbarte parallele Streifen vorliegen.
Alternativ können die Bereiche der Aufnahme, in welchen das projizierte Muster erkennbar ist und/oder ein vorgegebenes Qualitätskriterium erfüllt, auch anhand einer bekannten Relativposition zwischen dem Objekt und dem Messystem und einer bekannten Form des Objektes ermittelt werden, bspw. anhand eines CAD-Modells des Objektes.
Weiter bevorzugt werden diejenigen Bereiche, in welchen das projizierte Muster nicht erkennbar ist und/oder das vorgegebene Qualitätskriterium nicht erfüllt, als außerhalb des Messvolumens liegend betrachtet.
Die Bestimmung der innerhalb und außerhalb des Messvolumens liegenden Bereiche erfolgt bevorzugt zur Erstellung des Maskenbildes.
Gemäß einem weiteren, unabhängigen Aspekt umfasst die vorliegende Erfindung weiterhin ein Verfahren zum Anpassen der Belichtung, insbesondere der Belichtungszeit (t₁) für eine Aufnahme bei einem Verfahren zum Bestimmen der 3D-Koordinaten eines Objekts, bei dem ein Muster auf das Objekt projiziert wird und das von dem Objekt reflektierte Licht aufgenommen wird, wobei eine Aufnahme des Objekts mit einer vorbestimmten Belichtung, insbesondere Belichtungszeit (t₀) hergestellt wird. Erfindungsgemäß werden gemäß dem zweiten Aspekt Bereiche der Aufnahme ermittelt, in welchen das projizierte Muster erkennbar ist und/oder ein vorgegebenes Qualitätskriterium erfüllt, wobei die Anpassung der Belichtung auf Grundlage eines Belichtungswertes, insbesondere eines mittleren Grauwertes, der ermittelten Bereiche erfolgt.
Bevorzugt erfolgt die Ermittlung der Bereiche der Aufnahme, in welchen das projizierte Muster erkennbar ist und/oder ein vorgegebenes Qualitätskriterium erfüllt, so wie dies oben bereits näher beschrieben wurde.
Weiterhin können jene bevorzugten Ausgestaltungen, welche oben für den ersten Aspekt der vorliegenden Erfindung beschrieben wurden, auch in gleicher Weise zur Weiterbildung des zweiten Aspekts herangezogen werden.
Weiter bevorzugt dient die Bestimmung der Belichtung gemäß dem ersten Aspekt der Anpassung der Belichtung, bevorzugt der Anpassung der Belichtung gemäß dem zweiten Aspekt.
Vorteilhaft ist es, wenn auf die Aufnahme mit einer vorbestimmten Belichtung ein Kantenfilter angewendet wird. Vorzugsweise handelt es sich um einen kontrastbasierten Kantenfilter. Besonders geeignet sind die Kantenfilter Sobel, Laplace und/oder Canny. Dabei ist es vorteilhaft, die Filtergröße, Filterrichtung und/oder Sensitivität entsprechend der verwendeten Kameraauflösung und der verwendeten Musterparameter, insbesondere der Streifenbreite so anzupassen, dass entlang der (senkrecht) projizierten Streifen Kanten im Kamerabild entstehen und detektiert werden. Aufgrund der abfallenden Kameraschärfe und/oder Projektorschärfe außerhalb des Messvolumens und/oder der abfallenden Bildhelligkeit außerhalb des Messvolumens werden hauptsächlich oder ausschließlich Kanten innerhalb des Messvolumens detektiert. Hierdurch kann der Bereich des Messvolumens von dem außerhalb des Messvolumens liegenden Bereich unterschieden werden. Durch den Kantenfilter kann die Herstellung des Maskenbildes erleichtert oder ermöglicht werden.
Vorteilhaft ist es, wenn die Filterrichtung in Abhängigkeit von dem projizierten Muster festgelegt wird. Sie kann insbesondere in Abhängigkeit davon festgelegt werden, ob senkrechte Streifen oder waagrechte Streifen projiziert werden. Vorteilhaft ist es, wenn die Filterrichtung durch Drehen eines Filterkernels festgelegt wird.
Es ist ferner vorteilhaft, wenn die Sensitivität des Filters eingestellt wird. Hierfür kann insbesondere ein Grauwertsprung festgelegt werden. Der Grauwertsprung kann einen Grenzwert für das Erkennen einer Kante im Kamerabild festlegen. Dadurch kann gewährleistet werden, dass eine Kante im Kamerabild zuverlässig detektiert werden kann und dass nicht versehentlich, beispielsweise aufgrund des Kamerarauschens, unzutreffende Kanten erkannt werden.
Vorteilhaft ist es, wenn die Filtergröße festgelegt wird. Die Filtergröße kann insbesondere durch die Breite der aufgenommenen Streifen im Kamerabild festgelegt werden. Die Breite der aufgenommenen Streifen kann je nach Kameraauflösung und/oder Projektorauflösung variieren. Anstelle der Anpassung der Filtergröße oder zusätzlich zu dieser Anpassung ist auch eine Veränderung der Bildgröße möglich, beispielsweise eine Verkleinerung oder Vergrößerung der Bildgröße, wodurch sich ebenfalls die Streifenbreite im Bild verändert.
Nach einer weiteren vorteilhaften Weiterbildung wird auf die Aufnahme, auf die der Kantenfilter angewandt wurde, ein Schwellwertverfahren angewandt. Dabei kann es sich um das Otsu-Schwellwertverfahren handeln. Durch die Benutzung eines Schwellwertverfahrens kann das Kantenbild in ein Binärbild umgewandelt werden.
Auf Grundlags des Binärbildes kann das das Maskenbild erstellt werden. Ein derartiges das Maskenbild darstellendes Binärbild enthält nur noch zwei Grauwerte, zum einen weiße Bereiche, die innerhalb des Messvolumens liegen, und zum anderen schwarze Bereiche, die außerhalb des Messvolumens liegen.
Durch das Schwellwertverfahren kann ein verbessertes Maskenbild erzeugt werden.
Im Rahmen der Erstellung des Maskennbildes werden bevorzugt außerhalb des Messvolumens liegende Kanten entfernt und/oder innerhalb des Messvolumens verlaufende Kanten geschlossen. Als innerhalb des Messvolumens verlaufend werden insbesondere jene Kanten betrachtet, welche in der Aufnahme gebündelt auftreten und/oder eng beieinander liegen. Die Kanten können dadurch geschlossen werden, dass Bereiche, welche keine Kante aufweisen und/oder die zwischen den projizierten Streifen liegen, als innerhalb des Messvolumens liegend behandelt werden. Die Entfernung von Kanten kann dadurch geschehen, dass Kanten außerhalb des Messvolumens gelöscht werden. Als außerhalb des Messvolumens liegend werden insbesondere solche Kanten betrachtet, welche einzeln und/oder weit von anderen Kanten entfernt liegen.
Die Unterscheidung kann also dadurch erfolgen, dass Kanten außerhalb des Messvolumens nicht in gebündelter Form auftreten, so dass sie als nicht zum Messvolumen gehörend erkannt werden können. Das Schließen und Entfernen von Kanten kann durch mathematische Morphologien erfolgen.
Die Erfindung betrifft ferner eine Vorrichtung zur Durchführung des erfindungsgemäßen Verfahrens. Die Vorrichtung umfasst einen Projektor zum Projizieren eines Musters auf das Objekt und mindestens eine Kamera zum Aufnehmen des von dem Objekt reflektierten Lichts. Sie kann ferner eine Auswerteeinrichtung zum Bestimmen der 3D-Koordinaten des Objekts aufweisen. Erfindungsgemäß umfasst die Vorrichtung eine Einrichtung zum Erzeugen eines Maskenbildes einer Aufnahme des Objekts mit einer vorbestimmten Belichtung und eine Einrichtung zur Bestimmung der Belichtung in Abhängigkeit von der vorbestimmten Belichtung, des mittleren Grauwerts in den innerhalb des Messvolumens liegenden Bereichen der Aufnahme mit einer vorbestimmten Belichtung und eines optimalen Grauwerts.
Vorteilhaft ist es, wenn die Vorrichtung eine Einrichtung zur Bestimmung der Belichtungszeit nach der Formel $t_{1} = \frac{b_{o p t}}{b_{n}} t_{0}$
und/oder eine Einrichtung zum Anwenden eines Kantenfilters auf die Aufnahme mit einer vorbestimmten Belichtung und/oder eine Einrichtung zur Anwendung eines Schwellwertverfahrens auf die Aufnahme, auf die der Kantenfilter angewandt wurde, umfasst.
Die vorligende Erfindung umfasst weiterhin eine Vorrichtung mit einen Projektor zum Projizieren eines Musters auf das Objekt und einer Kamera zum Aufnehmen des von dem Objekt reflektierten Lichts, sowie einer Einrichtung zur automatischen Bestimmung und/oder Anpassung der Belichtung gemäß einem der zuvor beschriebenen Verfahren.
Bevorzugt weist die Vorrichtung hierzu eine Steuerung auf, welche programmiert ist, ein solches Verfahren durchzuführen. Insbesondere weist die Steuerung hierfür einen Mikroprozessor und einen Speicher auf, in welchem ein Programm mit Befehlen zur Durchführung eines solchen Verfahrens abgespeichert ist.
Ein Ausführungsbeispiel der Erfindung wird nachstehend anhand der beigefügten Zeichnung im einzelnen erläutert. In der Zeichnung zeigt

1 eine Vorrichtung zum Bestimmen der 3D-Koordinaten eines Objekts,
2 eine Aufnahme des Objekts mit einer vorbestimmten Belichtungszeit,
3 das Bild gemäß 2 nach der Anwendung eines Kantenfilters,
4 das Bild gemäß 3 nach der Anwendung eines Schwellwertverfahrens und
5 ein Maskenbild, das aus dem Bild gemäß 4 hergestellt wurde.

Die in 1 gezeigte Vorrichtung zum Bestimmen der 3D-Koordinaten eines Objekts umfasst einen 3D-Sensor 1, der einen Projektor 2 und zwei Kameras 4, 5 umfasst. Der Projektor 2 projiziert ein Streifenmuster auf das Objekt 3. Die Kameras 4, 5 nehmen das Objekt 3 auf. Das Objekt 3 befindet sich innerhalb des Messvolumens 6. Außerhalb des Messvolumens 6 können weitere Objekte 7 vorhanden sein.
2 zeigt ein Beispiel für ein aufgenommenes Streifenbild, das mit einer vorbestimmten Belichtung, insbesondere mit einer vorbestimmten Belichtungszeit t₀ hergestellt worden ist. Auf dieses Streifenbild wird ein kontrastbasierter Kantenfilter (z.B. Sobel, Laplace, Canny-Algorithmus) zur Kantendetektion angewendet. Filtergröße, Filterrichtung und Sensitivität können entsprechend der verwendeten Kameraauflösung und der verwendeten Streifenbreite so angepasst werden, dass entlang der vom Projektor 2 (senkrecht) projizierten Streifen Kanten im Kamerabild detektiert werden. Aufgrund der abfallenden Kamera-/Projektorschärfe außerhalb des Messvolumens 6 sowie der abfallenden Bildhelligkeit werden hauptsächlich oder ausschließlich Kanten innerhalb des Messvolumens detektiert.
Das so erzeugte Kantenbild ist in 3 gezeigt. Je nach Aufnahmesituation enthält dieses Kantenbild auch Kantenelemente, welche außerhalb des Messvolumens liegen können. Durch die Benutzung eines Schwellwertverfahrens (beispielsweise des Otsu-Schwellwertverfahrens) wird das Kantenbild gemäß 3 in ein Binärbild gemäß 4 umgewandelt. Da auf dem Objekt 3 mehrere nahezu parallele Kanten wegen des projizierten Musters verlaufen können sowohl die detektierten Kanten außerhalb des Messvolumens 6 entfernt als auch die dicht parallel verlaufenden Kanten auf dem Objekt 3 mit Hilfe bekannter Bildverarbeitungsverfahren (z.B. mathematischer Morphologien) geschlossen werden. Auf diese Weise wird aus dem Binärbild gemäß 4 ein Maskenbild gemäß 5 erzeugt. Das Maskenbild gemäß 5 enthält ausschließlich oder annähernd ausschließlich gültige Pixel auf dem Objekt 3.
Die Bestimmung der Belichtungszeit t₁ für die Aufnahmen zum Bestimmen der 3D-Koordinaten des Objekts 3 erfolgt auf der Grundlage der Bereiche des Objekts 3, die innerhalb des Messvolumens 6 liegen und die aus dem Maskenbild gemäß 5 ersichtlich sind. Dazu wird der mittlere Grauwert b_n auf dem Ausgangsbild gemäß 2 innerhalb der Bereiche, die aus dem Maskenbild gemäß 5 ersichtlich sind, ermittelt. Ferner wird ein optimaler Grauwert b_opt bestimmt. Der optimale Grauwert kann vorher festgelegt werden. Er kann beispielsweise empirisch je nach Sensorkonfiguration ermittelt werden. Aufgrund der Linearität der Kamera kann die benötigte Belichtungszeit t₁ nach folgender Formel berechnet werden: $t_{1} = \frac{b_{o p t}}{b_{n}} t_{0}$
Falls die vorbestimmte Belichtungszeit t₀ des Ausgangsbildes gemäß 2 zu hoch sein sollte ist es möglich, ein zweites Bild als Ausgangsbild mit einer geringeren Belichtungszeit herzustellen. Dies kann insbesondere dann durchgeführt werden, wenn die Belichtungszeit des Ausgangsbildes so hoch ist, dass das Objekt im Kamerabild überstrahlt (Grauwert 256). Die übersteuerten Szenen können durch analytische Auswertung des Bildes identifiziert werden, beispielsweise durch Berechnung der Größe der Kontrastmaske, Anzahl der überbelichteten Pixel, Überprüfung der Unschärfe des Bildes anhand der Varianz des Kantenbildes.
Die Belichtungssteuerung nimmt auch dann eine Bestimmung bzw. Anpassung der Belichtung vor, wenn sich noch kein Bereich im Messvolumen befindet bzw. wenn sich das Objekt in das Messvolumen hineinbewegt.
Wenn sich noch kein Bereich im Messvolumen befindet, soll die Belichtungssteuerung das Bild genauso regeln wie später den Bereich im Messvolumen, so dass der Anwender auch erkennen kann, wo die Sensorkamera gerade „hinschaut“. Wenn der Sensor Richtung Messobjekt bewegt wird, und das Objekt in das Messvolumen eintaucht, soll es nicht zu einem plötzlichen Wechsel der Bildhelligkeit (Flackern) kommen, sondern der Übergang bis sich die Belichtungssteuerung ausschließlich auf den Bereich innerhalb des Messvolumens konzentriert soll möglichst fließend erfolgen.
Dies geschieht im Ausführungsbeispiel wie folgt:
Im Ausführungsbeispiel werden nicht alle Pixel der Aufnahme zur Bestimmung der Belichtung heangezogen, sondern einzelne Pixel als Stützstellen ausgewählt. Die als Stützstellen dienenden Bildpixel werden sortiert: Helle Pixel stehen vor dunkleren Pixeln (Hohe Grauwerte vor niedrigeren). Vorrang haben aber stets diejenigen Pixel, die die Bereiche des Objekts abbilden, die sich innerhalb des Messvolumens befinden. Je nach Rang in der sortierten Liste, gehen die Pixel mit einer entsprechenden Gewichtung in die Berechnung der Belichtungssteuerung ein.
Beispiel:

Ein Bild umfasst 24 Pixel als Stützstellen und hat folgende Grauwerte:

Pixel Nr.	Grauwert	Bauteil im Messvolumen
1	50	ja
2	36	ja
3	154	nein
4	23	ja
5	47	nein
6	68	nein
7	94	ja
8	215	nein
9	120	nein
10	135	ja
11	87	ja
12	69	ja
13	32	nein
14	25	nein
15	49	nein
16	67	nein
17	82	nein
18	26	nein
19	216	ja
20	203	nein
21	198	nein
22	185	nein
23	165	nein
24	178	nein

Diese Pixel werden wie folgt sortiert und erhalten eine (beispielhafte) Gewichtung:

Pixel Nr.	Grauwert	Bauteil im Messvolumen	Gewichtung
19	216	ja	10
10	135	ja	10
7	94	ja	10
11	87	ja	10
12	69	ja	10
1	50	ja	9
2	36	ja	8
4	23	ja	7
8	215	nein	6
20	203	nein	5
21	198	nein	4
22	185	nein	3
24	178	nein	2
23	165	nein	1
3	154	nein	0
9	120	nein	0
17	82	nein	0
6	68	nein	0
16	67	nein	0
15	49	nein	0
5	47	nein	0
13	32	nein	0
18	26	nein	0
14	25	nein	0

Die Gewichtung kann auch als eine reine ja/nein Entscheidung vorgenommen werden, d.h. je nach Rang in der sortierten Liste gehen die Pixel mit der jeweils gleichen Gewichtung in die Berechnung der Belichtungssteuerung ein oder gehen nicht in diese ein, haben also eine Gewichtung Null.
Sobald sich ein ausreichend großer Teil des Objekts im Messvolumen befindet, werden die anderen Bereiche nicht mehr berücksichtigt (Gewichtung 0). Dies erfolgt automatisch dadurch, dass die Bereiche innerhalb des Messvolumens in der Liste vor den Bereichen außerhalb des Messvolumens einsortiert werden.
In einer beispielhaften Anwendung kann der Anteil an Pixeln bzw. Stützstellen, welcher in die Bewertung eingeht, zwischen 0,5 % und 10 % aller Pixel bzw. Stützstellen liegen.
Durch die Erfindung kann die in einem Streifenprojektionssystem benötigte Belichtungszeit für ein Messobjekt aus einer einzelnen Aufnahme bestimmt werden. Hierbei wird nur das mit einem spezifischen Streifenmuster beleuchtete Messobjekt berücksichtigt, welches sich innerhalb des Gesichtsfelds des Systems befindet. Das Messobjekt kann also unabhängig vom Hintergrund betrachtet werden. Störende Effekte im Hintergrund haben keinen Einfluss auf die Bestimmung der Belichtungszeit. Die Bestimmung der Belichtungszeit kann in Echtzeit erfolgen. Hierdurch werden Vorteile gegenüber bekannten Lösungsansätzen erreicht, die entweder mindestens zwei Aufnahmen mit unterschiedlich projizierten Mustern und/oder unterschiedlicher Belichtungsdauer und/oder unterschiedlicher Projektorintensität benötigen oder die das gewünschte Messobjekt nicht vom Hintergrund trennen können, was dazu führt, dass Bildbereiche aus dem Hintergrund mit in die Berechnung der Belichtungszeit einbezogen werden. Diese Nachteile werden durch die Erfindung vermieden.
Das erfindungsgemäße Verfahren kann mit einer monochromen Kamera durchgeführt werden. Es kann allerdings auch mit einer Farbkamera realisiert werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 7570370 B2 [0002]
US 7957639 B2 [0003]

Claims

Verfahren zum Bestimmen der Belichtung, insbesondere der Belichtungszeit (t₁) für eine Aufnahme bei einem Verfahren zum Bestimmen der 3D-Koordinaten eines Objekts (3), bei dem ein Muster auf das Objekt (3) projiziert wird und das von dem Objekt (3) reflektierte Licht aufgenommen wird, dadurch gekennzeichnet, dass eine Aufnahme des Objekts (3) mit einer vorbestimmten Belichtung, insbesondere Belichtungszeit (t₀) hergestellt wird, dass ein Maskenbild dieser Aufnahme hergestellt wird, in dem die innerhalb des Messvolumens (6) liegenden Bereiche des Objekts (3) dargestellt sind, und dass die Belichtung, insbesondere die Belichtungszeit (t₁) für die Aufnahme in Abhängigkeit von der vorbestimmten Belichtung, insbesondere Belichtungszeit (t₀), des mittleren Grauwerts (b_n) in den innerhalb des Messvolumens (6) liegenden Bereichen der Aufnahme mit einer vorbestimmten Belichtung und eines optimalen Grauwerts (b_opt) bestimmt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Belichtungszeit (t₁) nach der Formel $t_{1} = \frac{b_{o p t}}{b_{n}} t_{0}$
bestimmt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Belichtung auch dann auf Grundlage der Bildgrauwerte bestimmt wird, wenn kein Bereich der Aufnahme innerhalb des Messvolumens liegt, wobei zur Bestimmung der optimalen Belichtung eine Gewichtung der Grauwerte erfolgt, wobei bevorzugt helle Bereiche stärker gewichtet werden.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Bestimmung der Belichtung ausschließlich auf Grundlage von innerhalb des Messvolumens (6) liegenden Bereichen der Aufnahme erfolgt, sobald eine vorbestimmte Anzahl von Stützstellen innerhalb des Messvolumens vorliegt, wobei bevorzugt der Übergang von einer auf Bereiche außerhalb des Messvolumens gestützten Bestimmung zu einer auf Bereiche innerhalb des Messvolumens gestützten Bestimmung fließend erfolgt, insbesondere indem innerhalb des Messvolumens (6) liegende Bereiche in die Gewichtung einbezogen und stärker gewichtet werden als außerhalb des Messvolumens liegende Bereiche.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Bereiche der Aufnahme ermittelt werden, in welchen das projizierte Muster erkennbar ist und/oder ein vorgegebenes Qualitätskriterium erfüllt, wobei bevorzugt zur Erzeugung des Maskenbildes diejenigen Bereiche, in welchen das projizierte Muster nicht erkennbar ist und/oder das vorgegebene Qualitätskriterium nicht erfüllt, als außerhalb des Messvolumens (6) liegend betrachtet werden.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass auf die Aufnahme mit einer vorbestimmten Belichtung, insbesondere Belichtungszeit ein Kantenfilter angewendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass auf die Aufnahme, auf die der Kantenfilter angewandt wurde, ein Schwellwertverfahren angewandt wird.
Vorrichtung zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche, gekennzeichnet durch einen Projektor (2) zum Projizieren eines Musters auf das Objekt (3), eine Kamera (4, 5) zum Aufnehmen des von dem Objekt (3) reflektierten Lichts, eine Einrichtung zum Herstellen eines Maskenbilds dieser Aufnahme, in dem die innerhalb des Messvolumens (6) liegenden Bereiche des Objekts (3) dargestellt sind, und eine Einrichtung zum Bestimmen der Belichtung, insbesondere der Belichtungszeit (t₁) für die Aufnahme in Abhängigkeit von der vorbestimmten Belichtung, insbesondere Belichtungszeit (t₀), des mittleren Grauwerts (b_n) in den innerhalb des Messvolumens (6) liegenden Bereichen der Aufnahme mit einer vorbestimmten Belichtung und eines optimalen Grauwerts (b_opt).
Vorrichtung nach Anspruch 8, gekennzeichnet durch eine Einrichtung zur Bestimmung der Belichtungszeit nach der Formel $t_{1} = \frac{b_{o p t}}{b_{n}} t_{0}$
und/oder eine Einrichtung zum Anwenden eines Kantenfilters auf die Aufnahme mit einer vorbestimmten Belichtung und/oder eine Einrichtung zur Anwendung eines Schwellwertverfahrens auf die Aufnahme, auf die der Kantenfilter angewandt wurde.
Vorrichtung insbesondere nach Anspruch 8 oder 9, gekennzeichnet durch eine Einrichtung zur automatischen Bestimmung der Belichtung mit einem Verfahren nach einem der Ansprüche 1 bis 7.