DE112021004600T5

DE112021004600T5 - Dreidimensionale messvorrichtung und dreidimensionales messverfahren

Info

Publication number: DE112021004600T5
Application number: DE112021004600.4T
Authority: DE
Inventors: Fumikazu Warashina
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2020-11-25
Filing date: 2021-11-18
Publication date: 2023-06-29
Also published as: US20230345142A1; WO2022113877A1; JPWO2022113877A1; CN116457629A

Abstract

Durch die vorliegende Erfindung wird eine dreidimensionale Hochgeschwindigkeits- und Hochpräzisionsmessung mit optischer Abtastung unter Verwendung eines ereignisbasierten Sensors durchgeführt. Eine dreidimensionale Messvorrichtung 8 umfasst:eine Projektionseinheit 7 zum Projizieren eines Referenzlichts auf ein Objekt W, während das Referenzlicht zum Abtasten veranlasst wird; eine Lichtempfangseinheit 3 zum Empfangen des vom Objekt W reflektierten Referenzlichts, zum Überwachen einer Luminanzänderung des Referenzlichts für jedes Pixel und zum Ausgeben der Position des Pixels, des Zeitpunkts, zu dem eine Luminanzänderung auftrat, und einer Polarität, die die Richtung der Luminanzänderung darstellt, als ein Ereignis, wenn eine Luminanzänderung größer oder gleich einem voreingestellten Schwellenwert ist; und eine Berechnungseinheit 9 für dreidimensionale Informationen zum Auswählen einer Ereignisgruppe, die eine ausgewiesene Zahl von Ereignissen enthält, in der die Ereignisse von positiver Polarität zu negativer Polarität wechseln, zum Berechnen einer Durchgangszeit, bei der das Referenzlicht ein Pixel passiert, auf der Grundlage des Zeitpunkts eines in der Ereignisgruppe enthaltenen Ereignisses und des Schwellenwerts der Luminanzänderung, die das Auftreten des Ereignisses darstellt, und Berechnen dreidimensionaler Information des Objekts W durch Triangulation auf der Grundlage der Durchgangszeit.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft eine dreidimensionale Messtechnik, insbesondere eine optische, dreidimensionale Messvorrichtung und ein dreidimensionales Messprogramm.
HINTERGRUND DER ERFINDUNG
Viele der dreidimensionalen Messvorrichtungen, die für den industriellen Einsatz auf dem Markt sind, basieren auf der Triangulation mit strukturiertem Licht. Für das strukturierte Licht wurden verschiedene Lichtprojektionsverfahren, wie das Lichtschnittverfahren, das Phasenverschiebungsverfahren und das Raumkodierungsverfahren vorgeschlagen. Bei dem Lichtschnittverfahren wird ein bandförmiges Spaltlicht auf ein Objekt projiziert, während das Objekt abgetastet wird, das Objekt von einer Bildgabeposition aus aufgenommen wird, die sich von einer Projektionsposition unterscheidet, und der Abstand zum Objekt durch Triangulation auf der Grundlage eines Projektionswinkels des Spaltlichts, eines Einfallswinkels des Spaltlichts auf die Bildgabeoberfläche und einer Grundlinienlänge zwischen der Lichtprojektionsposition und der Bildgabeposition berechnet wird. Der Projektionswinkel des Spaltlichts kann z.B. aus einem Sollwert an einen Abtaster oder einem Durchgangszeitpunkt des auf der Bildgabeoberfläche erscheinenden Spaltlichts gewonnen werden, und der Einfallswinkel des Spaltlichts kann z.B. aus der Einfallsposition des Spaltlichts auf der Bildgabefläche gewonnen werden. Dem Lichtschnittverfahren wird im Allgemeinen eine hohe Abstandsmessungsgenauigkeit nachgesagt, aber im Vergleich zum Phasenverschiebungsverfahren oder zum Raumkodierungsverfahren ist die Zahl der für eine einzelne Messung erforderlichen Bilder größer, und daher besteht das Problem, dass die Messung sehr lange dauert.
In den letzten Jahren wurde ein ereignisbasierter Bildsensor vorgeschlagen, der auf einem Konzept basiert, das sich von allgemeinen bildrahmenbasierten Bildsensoren unterscheidet. Der bildrahmenbasierte Bildsensor gibt in vorgegebenen Intervallen Bildrahmen aus, indem er durch Öffnen/Schließen eines Shutters für eine vorgegebene Zeitspanne belichtet wird. Der ereignisbasierte Bildsensor hingegen überwacht jedes Pixel unabhängig und asynchron von einem Moment zum anderen, und wenn dann eine Änderung der Luminanz, die einen vorbestimmten Schwellenwert überschreitet, erfasst wird, werden die Position des Pixels, an der die Luminanzänderung auftrat, der Zeitpunkt, zu dem die Luminanzänderung auftrat, und die Polarität, die eine Richtung der Luminanzänderung darstellt (ob sie heller oder dunkler geworden ist), als Ereignis ausgegeben. Der ereignisbasierte Bildsensor hat einen größeren Dynamikbereich als der bildrahmenbasierte Bildsensor und ist schneller, weil er nur Informationen über das Pixel ausgibt, an dem die Luminanzänderung auftrat. Es wird daher davon ausgegangen, dass die Verwendung des ereignisbasierten Bildsensors zur Beschleunigung des Lichtschnittverfahrens beiträgt.
Das Spaltlicht des Lichtschnittverfahrens weist eine bestimmte Breite und eine Luminanzverteilung mit einem Maximum nahe der Mitte auf. Fokussiert auf ein bestimmtes Pixel des Bildsensors, wenn das Spaltlicht mit einer solchen Luminanzverteilung durch das Pixel läuft, nimmt die Luminanz zu, wenn sich die Mitte des Spaltlichts dem Pixel nähert, und nimmt dann nach dem Durchlaufen ab. Der Zeitpunkt, zu dem das Spaltlicht durch das Pixel läuft, ist der Zeitpunkt, zu dem das Pixel die maximale Luminanz aufweist. Ein Ereignis umfasst jedoch nicht die Luminanz selbst, sondern wird im Allgemeinen erzeugt, wenn die Änderung der Luminanz gegenüber der Luminanz beim Auftreten des vorherigen Ereignisses größer oder gleich einem vorgegebenen Schwellenwert ist. Daher liegt der Zeitpunkt der Erzeugung des Ereignisses nicht immer bei der maximalen Luminanz. Bei der praktischen Anwendung der dreidimensionalen Messung ist es nicht immer notwendig, den Zeitpunkt der maximalen Luminanz zu wählen, und es reicht aus, den gleichen Zeitpunkt in Bezug auf die Luminanzverteilung des Spaltlichts zu erfassen. In Abhängigkeit von der Luminanz des Hintergrunds ist jedoch nicht bekannt, in welchem Stadium der Luminanzverteilung des Spaltlichts ein Ereignis eintritt, und der zeitliche Abstand zwischen den Ereignissen ist nicht konstant. Da der ereignisbasierte Bildsensor den Zeitpunkt, zu dem das Spaltlicht das Pixel durchläuft, nicht genau erfassen kann, kann daher keine ausreichende Abstandsmessungsgenauigkeit erzielt werden, selbst wenn der ereignisbasierte Bildsensor auf das Lichtschnittverfahren in seiner jetzigen Form angewendet wird. Techniken, die mit der vorliegenden Offenbarung in Zusammenhang stehen, sind bekannt, wie zum Beispiel in den nachstehenden Dokumenten offenbart.
Patentliteratur 1 offenbart eine dreidimensionale Eingabevorrichtung, bei der Bilder synchron von zwei Bildsensoren aufgenommen werden, während ein Objekt mit Spaltlicht abgetastet wird, Rahmenzahlen, bei denen die Pixel der jeweiligen Bildsensoren die maximale Helligkeit erfassen, gespeichert werden, die Pixel auf der Basis der Rahmenzahlen zugeordnet werden und ein Abstand auf der Basis der assoziierten Pixel berechnet wird.
Patentliteratur 2 offenbart ein Verfahren zur dreidimensionalen Rekonstruktion einer Szene, wobei eine erste Reihe von Ereignissen für jedes Pixel von einem ersten Sensor empfangen wird, eine zweite Reihe von Ereignissen für jedes Pixel von einem zweiten Sensor empfangen wird und ein erstes Ereignis in der ersten Reihe von Ereignissen mit einem zweiten Ereignis in der zweiten Reihe von Ereignissen gemäß der Minimierung einer Kostenfunktion abgeglichen wird.
Patentliteratur 3 beschreibt, dass ein Licht mit mehreren Spaltmustern projiziert wird, dass ein Verschiebungsbetrag jedes Spaltbildes aus einem Signal des durch ein optisches Erfassungssystem mit einer vorbestimmten Vergrößerung erfassten Mehrspaltbildes berechnet wird, dass dem berechneten Verschiebungsbetrag des Mehrspaltbildes eine dem Verschiebungsbetrag entsprechende Gewichtung gegeben wird und dass eine Höhe einer Probenoberfläche durch Ausführen eines gewichteten Mittelwerts berechnet wird. Es wird auch beschrieben, dass die Höhe der Probenoberfläche durch Interpolation der beiden Höhen berechnet wird.
Patentliteratur 4 beschreibt, dass, wenn reflektiertes Licht von einem Objekt zu einem bestimmten Zeitpunkt auf ein Pixel eines Flächensensors fällt, ein Abstand zu dem Objekt durch Anwendung von Triangulation berechnet wird, basierend auf einer Grundlinienlänge von einem Projektionsstartpunkt eines Spaltlichts zu einer Hauptpunktposition einer Lichtempfangslinse, einem Einfallswinkel des reflektierten Lichts relativ zur Referenzrichtung und einem Ablenkungswinkel zu diesem Zeitpunkt.
Patentliteratur 5 beschreibt, dass bei der dreidimensionalen Messung mit dem Lichtschnittverfahren eine Rahmenzahl (ein Zeitpunkt der Aufnahme) als Einstrahlungswinkelinformation des Spaltlichts verwendet wird.
Patentliteratur 6 offenbart eine dreidimensionale Messvorrichtung, die einen Lichtpunkt abtastet, wobei eine Anstiegs- oder Abfallzeit der Luminanzänderung an jedem Pixel verwendet wird.
[ZITIERLISTE]
[PATENTLITERATUR]

[PTL 1] JP 2000-088539 A
[PTL 2] JP 2018-516395 A
[PTL 3] JP 3542478 B
[PTL 4] JP 2002-090681 A
[PTL 5] JP 2006-333493 A
[PTL 6] JP 2003-329419 A

KURZFASSUNG DER ERFINDUNG
[TECHNISCHES PROBLEM]
In Anbetracht der Probleme des Standes der Technik besteht die Aufgabe der vorliegenden Erfindung darin, ein dreidimensionales Hochgeschwindigkeits- und Hochpräzisionsmessverfahren mit optischer Abtastung unter Verwendung eines ereignisbasierten Sensors bereitzustellen.
[LÖSUNG DES PROBLEMS]
Eine Ausgestaltung der vorliegenden Offenbarung stellt eine dreidimensionale Messvorrichtung bereit, die umfasst: eine Projektionseinheit, die konfiguriert ist, um ein Referenzlicht auf ein Objekt zu projizieren, während sie das Referenzlicht abtastet; eine Lichtempfangseinheit, die konfiguriert ist, um das von dem Objekt reflektierte Referenzlicht zu empfangen, eine Luminanzänderung des Referenzlichts für jedes Pixel zu überwachen und eine Position des Pixels, einen Zeitpunkt, zu dem die Luminanzänderung auftrat, und eine Polarität, die eine Richtung der Luminanzänderung darstellt, als ein Ereignis auszugeben, wenn die Luminanzänderung größer oder gleich einem vorbestimmten Schwellenwert ist; und eine Berechnungseinheit für dreidimensionale Informationen, die konfiguriert ist, um eine Ereignisgruppe auszuwählen, die eine bestimmte Zahl von Ereignissen enthält, bei denen sich das Ereignis von positiver Polarität zu negativer Polarität ändert, einen Durchgangszeitpunkt zu berechnen, zu dem das Referenzlicht das Pixel passiert, basierend auf dem Zeitpunkt des Ereignisses, das in der Ereignisgruppe enthalten ist, und dem Schwellenwert der Luminanzänderung, bei dem das Ereignis auftritt, und dreidimensionale Informationen des Objekts durch Triangulation zu berechnen, basierend auf dem Durchgangszeitpunkt.
Eine weitere Ausgestaltung der vorliegenden Offenbarung stellt ein dreidimensionales Messprogramm zur Verfügung, um einen Computer zu veranlassen, die nachstehenden Schritte auszuführen: Projizieren eines Referenzlichts auf ein Objekt, während das Referenzlicht abgetastet wird; Empfangen des vom Objekt reflektierten Referenzlichts, Überwachen einer Luminanzänderung des Referenzlichts für jedes Pixel, und Ausgeben einer Position des Pixels, eines Zeitpunkts, zu dem die Luminanzänderung auftrat, und einer Polarität, die eine Richtung der Luminanzänderung als ein Ereignis darstellt, wenn die Luminanzänderung größer oder gleich einem vorbestimmten Schwellenwert ist; Auswählen einer Ereignisgruppe, die eine bestimmte Zahl von Ereignissen enthält, bei denen das Ereignis von positiver Polarität zu negativer Polarität wechselt; Berechnen eines Durchgangszeitpunkts, zu dem das Referenzlicht das Pixel passiert, basierend auf dem Zeitpunkt des in der Ereignisgruppe enthaltenen Ereignisses und dem Schwellenwert der Luminanzänderung, bei dem das Ereignis auftritt; und Berechnen dreidimensionaler Informationen des Objekts durch Triangulation basierend auf dem Durchgangszeitpunkt.
[VORTEILHAFTE WIRKUNGEN DER ERFINDUNG]
Gemäß einer Ausgestaltung der vorliegenden Offenbarung kann selbst bei einem ereignisbasierten Sensor, bei dem der Zeitpunkt der Erzeugung eines Ereignisses nicht konstant ist, der Durchgangszeitpunkt, zu dem das Referenzlicht das Pixel durchläuft, genau berechnet werden. Durch die Auswahl einer bestimmten Zahl von Ereignissen ist es möglich, den Einfluss eines Fehlers des Zeitpunkts jedes Ereignisses abzuschwächen. Andererseits kann durch die Verwendung des ereignisbasierten Sensors die dreidimensionale Messung mit einer höheren Geschwindigkeit als bei einem bildrahmenbasierten Sensor durchgeführt werden. Daher ist es möglich, mit dem ereignisbasierten Sensor eine dreidimensionale Hochgeschwindigkeits- und Hochpräzisions-Messtechnik mit optischer Abtastung bereitzustellen.
Figurenliste

1 ist eine Draufsicht einer Stereokamera, die das Messprinzip eines Stereoverfahrens zeigt.
2 ist eine Draufsicht auf ein Lichtschnittsystem, die ein Messprinzip eines Lichtschnittverfahrens zeigt.
3 ist ein Blockdiagramm einer dreidimensionalen Messvorrichtung eines Ausführungsbeispiels.
4 ist ein Graph einer Luminanzänderung, der ein Beispiel für eine Ereignisgruppe zeigt, die durch den Durchgang des Referenzlichts erzeugt wird.
5 ist ein Graph der Luminanzänderung, der ein Beispiel für die Berechnung des Zeitpunkts des Durchgangs des Referenzlichts zeigt.
6 ist ein Graph der Luminanzänderung, der ein Beispiel für die Zeitspanne zeigt, die für den Durchgang des Referenzlichts erforderlich ist.
7 ist ein Graph einer Luminanzänderung, der ein Beispiel für ein Ereignis zeigt, das innerhalb eines bestimmten Zeitraums nicht auftritt.
8 ist ein Flussdiagramm, das ein Beispiel für den Betrieb der dreidimensionalen Messvorrichtung zeigt.

BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
Die Ausführungsbeispiele der vorliegenden Offenbarung werden im Nachstehenden unter Bezugnahme auf die beigefügten Zeichnungen ausführlich beschrieben. In den Zeichnungen sind identische oder ähnliche Bestandteile mit denselben oder ähnlichen Bezugszeichen versehen. Ferner schränken die nachstehend beschriebenen Ausführungsbeispiele den Schutzumfang der in den Ansprüchen beschriebenen Erfindung oder die Definitionen der Begriffe nicht ein.
Nachstehend wird das Messprinzip einer dreidimensionalen Messvorrichtung des vorliegenden Ausführungsbeispiels beschrieben. Zum besseren Verständnis werden zunächst die Messprinzipien eines Stereoverfahrens und eines Lichtschnittverfahrens beschrieben. 1 zeigt eine Draufsicht auf eine Stereokamera 1, die das Messprinzip des Stereoverfahrens zeigt. Die Stereokamera 1 verfügt über eine linke Lichtempfangseinheit 2 und eine rechte Lichtempfangseinheit 3, die z.B. zwei Kameras entsprechen. Die linke und die rechte Lichtempfangseinheit 2 und 3 sind z.B. äquiparallel zueinander angeordnet. Das heißt, die beiden Lichtempfangseinheiten sind durch eine Grundlinienlänge B getrennt, die optischen Achsen der Lichtempfangseinheiten sind parallel angeordnet, eine linke Lichtempfangsfläche 4 und eine rechte Lichtempfangsfläche 5 sind in einer Ebene orthogonal zu den beiden optischen Achsen angeordnet, so dass die x- und y-Richtung jeder Lichtempfangsfläche in dieselbe Richtung weisen. Jede Lichtempfangsfläche ist beispielsweise ein Bildsensor, bei dem eine Mehrzahl von Pixeln zweidimensional angeordnet ist, kann aber auch ein Zeilensensor usw. sein, bei dem eine Mehrzahl von Pixeln eindimensional angeordnet ist (z.B. nur in x-Richtung angeordnet).
In diesem Zusammenhang wird angenommen, dass eine Position eines Pixels auf der linken Lichtempfangsfläche 4, auf die ein Bild eines Punktes P auf einem in einem Objektraum existierenden Objekt projiziert wird, als x_l, bestimmt wird, und eine Position eines Pixels auf der rechten Lichtempfangsfläche 5, auf die das Bild des Punktes P des Objekts projiziert wird, als x_r bestimmt wird, wobei ein Disparität D zwischen der linken und der rechten Lichtempfangseinheit 2 und 3 (x_l - x_r) beträgt (D = x_l - x_r). Unter der Annahme, dass der Ursprung des XYZ-Koordinatensystems, das den dreidimensionalen Raum repräsentiert, in einem rechten Fokalpunkt liegt, die Fokalweite jeder Lichtempfangseinheit f beträgt und der Abstand zwischen den Pixeln in jeder der Lichtempfangsflächen 1 beträgt, ergibt sich der Abstand Z zum Punkt P auf dem Objekt (die Tiefe zum Punkt P (nachstehend wie vorstehend)) aus der nachstehenden Gleichung.

[Gleichung 1] $Z = \frac{B f}{D}$
Die Grundlinienlänge B und die Fokalweite f sind Konstanten, die durch die Konstruktion der Stereokamera 1 bestimmt werden. Wenn also das Bild des Punktes P auf der rechten Lichtempfangsfläche 5, das dem Bild des Punktes P auf der linken Lichtempfangsfläche 4 entspricht, durch Bildverarbeitung, wie z.B. Musterabgleich, erfasst werden kann, kann die Disparität D ermittelt werden, und dann kann der Abstand Z zu dem Punkt P des Objekts ermittelt werden.
Das Lichtschnittsystem wird z.B. durch Ersetzen der linken Lichtempfangseinheit 2 der Stereokamera 1 durch eine Lichtprojektionseinheit erreicht. 2 zeigt eine Draufsicht auf das Lichtschnittsystem 6, die das Messprinzip des Lichtschnittverfahrens zeigt. Das Lichtschnittsystem 6 enthält eine Lichtprojektionseinheit 7, die z.B. einem Projektor entspricht. Die Lichtprojektionseinheit 7 projiziert ein bandförmiges Spaltlicht auf das Objekt, während sie es abtastet, und die rechte Lichtempfangseinheit 3 empfängt das vom Objekt reflektierte Spaltlicht. Unter der Annahme, dass der Startpunkt der Lichtprojektion (oder ein Drehzentrum) am linken Fokalpunkt der Stereokamera 1 positioniert ist und ein Projektionswinkel von der linken optischen Achse der Stereokamera 1 θ beträgt, wird die Pixelposition x_l der virtuellen linken Lichtempfangsfläche 4 der Lichtprojektionseinheit 7 durch die nachstehende Gleichung erlangt. [0022]
[Gleichung 2] $x_{l} = ƒ tan θ$
Unter der Annahme, dass die Lichtprojektionseinheit 7 das bandförmige Spaltlicht vom Lichtprojektionsstartpunkt aus einstrahlt, während sie sich mit einer konstanten Winkelgeschwindigkeit ω um die zur XZ-Ebene senkrechte Y-Achse dreht, und dass das Spaltlicht die linke optische Achse zu einem Zeitpunkt t₀ durchläuft, und dass das Spaltlicht zum Zeitpunkt t unter dem Projektionswinkel θ auf den Punkt P des Objekts projiziert wird, kann der Projektionswinkel θ durch die nachstehende Gleichung ermittelt werden.

[Gleichung 3] $θ = ω (t - t_{0})$
Unter der Annahme, dass das reflektierte Licht am Punkt P des Spaltlichts an der Position x_r des Pixels auf der rechten Lichtempfangsfläche 5 empfangen wird, kann der Abstand Z zum Punkt P des Objekts durch Einsetzen der Gleichungen 2 und 3 in Gleichung 1 wie in der nachstehenden Gleichung dargestellt ermittelt werden. [Gleichung 4] $Z = \frac{B ƒ}{D} = \frac{B ƒ}{ƒ tan (ω (t - t_{0})) - x_{r}}$
Die Grundlinienlänge B, die Fokalweite f, die Winkelgeschwindigkeit ω und der Zeitpunkt t₀ sind Konstanten, die durch die Konstruktion des Lichtschnittsystems 6 bestimmt werden. Daher kann der Abstand Z zum Punkt P des Objekts durch Bestimmung des Zeitpunkts t ermittelt werden, zu dem das Spaltlicht an der Position x_r des Pixels auf der rechten Lichtempfangsfläche 5 erfasst wird.
Die dreidimensionale Messvorrichtung des vorliegenden Ausführungsbeispiels nutzt eine solche Konfiguration und ein solches Messprinzip des Lichtschnittverfahrens. Es sei darauf hingewiesen, dass die vorstehend beschriebene Konfiguration und das Messprinzip Beispiele sind und dass das Design entsprechend der Systemkonfiguration und dem Layout usw. geändert werden kann. Zum Beispiel sind die Lichtprojektionseinheit 7 und die rechte Lichtempfangseinheit 3 womöglich nicht äquiparallel zueinander angeordnet. Anstatt die linke Lichtempfangseinheit 2 durch die Lichtprojektionseinheit 7 zu ersetzen, kann die Lichtprojektionseinheit 7 zusätzlich zu den linken und rechten Lichtempfangseinheiten 2 und 3 ausgebildet werden, um eine Systemkonfiguration zu verwenden, die das Stereoverfahren und das Lichtschnittverfahren kombiniert. Ferner kann die Lichtprojektionseinheit 7 verwendet werden, die anstelle des bandförmigen Spaltlichts ein strahlförmiges Punktlicht oder ein blockkästchenförmiges Musterlicht auf das Objekt projiziert. Es sei darauf hingewiesen, dass die Berechnungsverfahren der dreidimensionalen Informationen auch je nach solchen Konstruktionsänderungen variiert.
Nachstehend wird die Konfiguration einer dreidimensionalen Messvorrichtung eines Ausführungsbeispiels erläutert. 3 zeigt ein Blockdiagramm einer dreidimensionalen Messvorrichtung 8. Obwohl nicht dargestellt, verfügt die dreidimensionale Messvorrichtung 8 über eine Computervorrichtung, die z.B. einen Prozessor, einen Speicher und eine Eingabe-/Ausgabeeinheit usw. umfasst. Der Prozessor weist z.B. eine CPU (Central Processing Unit) auf, der Speicher weist einen RAM (Random Access Memory, Speicher mit wahlfreiem Zugriff) und einen ROM (Read Only Memory, Festwertspeicher) auf usw., und die Eingabe-/Ausgabeeinheit gibt verschiedene Daten ein oder aus, die vom Prozessor verwendet oder erzeugt werden. Der Speicher speichert zum Beispiel ein vom Prozessor ausgeführtes Programm und verschiedene vom Prozessor verwendete oder erzeugte Daten.
Die dreidimensionale Messvorrichtung 8 verfügt über eine Projektionseinheit 7, eine Lichtempfangseinheit 3 und eine Berechnungseinheit 9 für dreidimensionale Informationen. Die Projektionseinheit 7 entspricht beispielsweise einem Projektor, die Lichtempfangseinheit 3 entspricht einer Kamera und die Berechnungseinheit 9 für dreidimensionale Informationen entspricht einem Prozessor. Es wird angenommen, dass die Zeitpunkte der Projektionseinheit 7 und der Lichtempfangseinheit 3 synchronisiert sind. Die Projektionseinheit 7 projiziert das Referenzlicht auf das Objekt W, während sie das Referenzlicht abtastet, die Lichtempfangseinheit 3 empfängt das vom Objekt W reflektierte Referenzlicht, und die Berechnungseinheit 9 für dreidimensionale Informationen berechnet die dreidimensionalen Informationen des Objekts W durch Triangulation auf der Grundlage der von der Lichtempfangseinheit 3 ausgegebenen Informationen. Es sei darauf hingewiesen, dass verschiedene Arten von Licht, wie z.B. ein Spaltlicht, ein Punktlicht und ein Musterlicht als Referenzlicht verwendet werden können.
Die Lichtempfangseinheit 3 verfügt über einen ereignisbasierten Sensor. Der Sensor der Lichtempfangseinheit 3 ist z.B. ein Bildsensor, bei dem eine Mehrzahl von Pixeln zweidimensional angeordnet ist, während es sich um einen Zeilensensor handeln kann, bei dem eine Mehrzahl von Pixeln eindimensional angeordnet ist. Die Lichtempfangseinheit 3 überwacht jedes Pixel unabhängig und asynchron von Moment zu Moment. Wenn eine Luminanzänderung erfasst wird, die größer oder gleich einem vorbestimmten Schwellenwert ist, gibt die Lichtempfangseinheit 3 die Position des Pixels, an dem die Luminanzänderung auftrat, den Zeitpunkt, zu dem die Luminanzänderung auftrat, und die Polarität, die die Richtung der Luminanzänderung angibt (ob sie heller (positive Polarität) oder dunkler (negative Polarität) geworden ist), als Ereignis für jedes Pixel aus. Wenn sich die Helligkeit des Hintergrunds des Objekts W nicht ändert und kein Rauschen in der Lichtempfangseinheit 3 auftritt, ist die Wahrscheinlichkeit groß, dass das Referenzlicht über ein bestimmtes Pixel gelaufen ist, als das bestimmte Pixel ein Ereignis ausgab. Daher berechnet die Berechnungseinheit 9 für dreidimensionale Informationen die dreidimensionale Information des Objekts W auf der Grundlage des von der Lichtempfangseinheit 3 ausgegebenen Ereignisses.
4 zeigt einen Graph der Luminanzänderung, der ein Beispiel für eine Ereignisgruppe zeigt, die durch den Durchgang des Referenzlichts erzeugt wird. Das Referenzlicht weist eine bestimmte Breite und eine Luminanzverteilung mit einem Maximum in der Nähe der Mitte auf. Wenn das Referenzlicht mit einer solchen Luminanzverteilung ein bestimmtes Pixel des Sensors durchläuft, nimmt die Luminanz zu, wenn sich das Zentrum des Referenzlichts dem Pixel nähert, und die Luminanz nimmt nach dem Durchlaufen des Pixels ab. Wenn ein Pixel in einem ereignisbasierten Sensor eine solche Änderung der Luminanz erfasst, steht zu erwarten, dass ein oder mehrere positive Ereignisse auftreten, wenn die Luminanz zunimmt, und ein oder mehrere negative Ereignisse auftreten, wenn die Helligkeit abnimmt. Obwohl ein Zeitpunkt, zu dem das Referenzlicht durch das Pixel läuft, der Zeitpunkt ist, zu dem das Pixel seine maximale Luminanz erreicht, weist das Ereignis nicht die Luminanz selbst auf, sondern wird im Allgemeinen erzeugt, wenn die Luminanzänderung gegenüber der Luminanz, bei der das vorherige Ereignis als Referenz auftrat, größer oder gleich einem vorbestimmten Schwellenwert ist. Daher wird das Ereignis nicht immer erzeugt, wenn die Luminanz maximal ist. In der Praxis ist es nicht immer erforderlich, dass die dreidimensionale Messung zum Zeitpunkt der maximalen Luminanz durchgeführt wird, und es reicht aus, dass der gleiche Zeitpunkt in Bezug auf die Luminanzverteilung des Referenzlichts erlangt werden kann. In Abhängigkeit von der Luminanz des Hintergrunds ist jedoch nicht bekannt, in welchem Stadium der Luminanzverteilung des Referenzlichts das Ereignis eintritt, und das Zeitintervall, in dem das Ereignis eintritt, ist nicht konstant. Da der ereignisbasierte Sensor den Zeitpunkt, zu dem das Referenzlicht das Pixel durchläuft, nicht genau erfassen kann, kann daher keine ausreichende Abstandsmessungsgenauigkeit erzielt werden, selbst wenn der ereignisbasierte Sensor auf das existierende Lichtschnittverfahren angewandt wird.
Die Berechnungseinheit 9 für dreidimensionale Informationen umfasst, wie in 3 gezeigt, eine Ereignisauswahleinheit 10, eine Durchgangszeitberechnungseinheit 11 und eine Abstandsberechnungseinheit 12. Es sei darauf hingewiesen, dass die „-Einheit“ der Berechnungseinheit 9 für dreidimensionale Informationen zum Beispiel ein Funktionsmodul ist, das durch das vom Prozessor ausgeführte Programm realisiert wird. Die Ereignisauswahleinheit 10 wählt eine Ereignisgruppe aus, die eine bestimmte Zahl von Ereignissen enthält, bei denen das Ereignis von positiver Polarität zu negativer Polarität wechselt, die Durchgangszeitberechnungseinheit 11 berechnet den Durchgangszeitpunkt, zu dem das Referenzlicht das Pixel durchläuft, basierend auf dem Zeitpunkt des Ereignisses, das in der Ereignisgruppe enthalten ist, und dem Schwellenwert der Luminanzänderung, bei dem das Ereignis auftritt, und die Abstandsberechnungseinheit 12 berechnet den Abstand zu dem Objekt W durch Triangulation basierend auf dem Durchgangszeitpunkt.
Die dreidimensionale Messvorrichtung 8 kann darüber hinaus eine Erlangungseinheit 13 für eine ausgewiesene Zahl aufweisen, die z.B. einer Benutzeroberfläche (UI), einem Speicher oder einer Kommunikationseinheit entspricht, die mit externen Vorrichtungen kommunizieren kann. Die Erfassungseinheit 13 für eine ausgewiesene Zahl erfasst die (ausgewiesene) Zahl der vom Benutzer ausgewiesenen Ereignisse und sendet die ausgewiesene Zahl an die Ereignisauswahleinheit 10.
Die Ereignisauswahleinheit 10 erlangt die ausgewiesene Zahl von der Erfassungseinheit 13 für eine ausgewiesene Zahl. Wenn die ausgewiesene Zahl beispielsweise zwei beträgt, wählt die Ereignisauswahleinheit 10 eine Ereignisgruppe aus, die zumindest zwei Ereignisse mit positiver und negativer Polarität enthält. Um jedoch den Zeitpunkt des Durchgangs des Referenzlichts genauer zu berechnen, wählt die Ereignisauswahleinheit 10 vorzugsweise eine Ereignisgruppe mit zumindest drei Ereignissen aus. Wenn die festgelegte Zahl beispielsweise drei beträgt, wählt die Ereignisauswahleinheit 10 eine Ereignisgruppe aus, die zwei positive Ereignisse E_P1, E_P2 und ein negatives Ereignis E_N1 enthält, wie in 4 gezeigt. Alternativ kann eine Ereignisgruppe ausgewählt werden, die ein positives Ereignis und zwei negative Ereignisse enthält. Wenn die festgelegte Zahl drei beträgt, kann der Berechnungsaufwand im Vergleich zur Auswahl von mehr als drei Ereignissen verringert werden.
Wenn außerdem die Intensität des Referenzlichts in Abhängigkeit vom Reflexionsgrad und/oder der Abstand des Objekts W zu schwach wird, die Breite des Referenzlichts im Verhältnis zur Pixelgröße zu schmal wird und/oder die Abtastgeschwindigkeit des Referenzlichts zu schnell wird, kann es sein, dass der Sensor die Luminanzänderung nicht erkennt und das Ereignis nicht eintritt, obwohl das Referenzlicht tatsächlich durch das Pixel läuft. In einem solchen Fall kann die Ereignisauswahleinheit 10 nicht die vorgesehene Zahl von Ereignissen auswählen, und der Durchgang des Referenzlichts wird verpasst. Um die festgelegte Zahl von Ereignissen zu erlangen, werden daher in der dreidimensionalen Messvorrichtung 8 die Intensität des Referenzlichts, die Breite des Referenzlichts, die Abtastgeschwindigkeit des Referenzlichts, der Schwellenwert der Luminanzänderung usw. zuvor entsprechend der Empfindlichkeit des Sensors, der Pixelgröße, der Ereigniserkennungsrate usw. eingestellt.
Die Durchgangszeitberechnungseinheit 11 berechnet den Durchgangszeitpunkt, zu dem das Referenzlicht das Pixel durchläuft, basierend auf den Zeitpunkten t₁, t₂ und t₃ der Ereignisse E_P1, E_P2 und E_N1, die in der Ereignisgruppe enthalten sind, und dem Schwellenwert der Luminanzänderung, bei dem die Ereignisse E_P1, E_P2 und E_N1 auftreten, wie in 4 dargestellt. Der Schwellenwert für die Luminanzänderung, bei dem das Ereignis eintritt, kann beispielsweise 20 % der Luminanz beim letzten Auftreten des Ereignisses betragen. In diesem Fall kann der Schwellenwert für eine positive Luminanzänderung K1 (K1>1, z.B. K1=1,2) und der Schwellenwert für eine negative Luminanzänderung K2 (K2<1, z.B. K2=0,8) betragen.
5 zeigt einen Graph der Luminanzänderung, der ein Berechnungsbeispiel für den Durchgangszeitpunkt des Referenzlichts zeigt. Die Durchgangszeitberechnungseinheit 11 berechnet den Zeitpunkt, zu dem das Referenzlicht das Pixel durchläuft, d.h. den Zeitpunkt t der Spitze der Luminanzverteilung des Referenzlichts, unter Verwendung von Interpolation oder gewichtetem Mittelwert usw. Wenn die Interpolation oder die gewichtete Mittelwertbildung durchgeführt wird, wird beispielsweise die Luminanz des ersten Ereignisses in der Ereignisgruppe auf 100 gesetzt, und dann kann die Luminanz des vorherigen Ereignisses mit dem Schwellenwert K1 multipliziert werden, wenn ein positives Ereignis auftritt, und die Luminanz des vorherigen Ereignisses kann mit dem Schwellenwert K2 multipliziert werden, wenn ein negatives Ereignis auftritt. In dem in 5 dargestellten Beispiel beträgt die Luminanz des ersten Ereignisses E_P1 beispielsweise 100, die Luminanz des zweiten Ereignisses E_P2 beträgt 100x1,2=120 und die Luminanz des dritten Ereignisses E_N1 beträgt 120×0,8=96. Die Interpolation oder die gewichtete Mittelwertbildung kann unter Verwendung dieser Luminanzinformationen durchgeführt werden.
Als Interpolationsverfahren können z.B. Polynominterpolation (Lagrange-Interpolation usw.), Spline-Interpolation, lineare Interpolation usw. verwendet werden. In dem in 5 gezeigten Beispiel ist es aufgrund der Zahl von drei ausgewählten Ereignissen bevorzugt, die Berechnung durch lineare Interpolation, z.B. durch gleichwinklige lineare Einpassung, durchzuführen, die einen relativ geringen Berechnungsaufwand und eine hohe Genauigkeit aufweist. In dem in 5 gezeigten Beispiel verläuft eine Gerade L1 durch zwei positive Ereignisse E_P1 und E_P2, und eine Gerade L2 weist eine Steigung auf, die der Steigung der Geraden L1 entgegengesetzt ist und durch ein negatives Ereignis E_N1 verläuft. Ein Zeitpunkt, zu dem sich die Gerade L1 und die Gerade L2 schneiden, entspricht dem Zeitpunkt t der Spitze der Helligkeitsverteilung des Referenzlichts, d.h. dem Zeitpunkt des Durchgangs des Referenzlichts. Auch eine polynomiale Interpolation, wie z.B. eine Parabeleinpassung, kann verwendet werden, ist aber nicht dargestellt.
Wird hingegen der gewichtete Mittelwert verwendet, kann der Zeitpunkt t der Spitze der Luminanzverteilung des Referenzlichts, d.h. der Zeitpunkt des Durchgangs des Referenzlichts, unter Verwendung der Luminanz des Ereignisses als Gewicht berechnet werden. In dem in 5 dargestellten Beispiel können beispielsweise die drei ausgewählten Ereignisse E_P1, E_P2 bzw. E_N1 mit Gewichten von 100, 120 bzw. 96 gewichtet werden. Eine Formel zur Berechnung des Durchgangszeitpunkts t des Referenzlichts auf der Grundlage des gewichteten Mittelwerts lautet zum Beispiel wie folgt.
[Gleichung 5] $t = \frac{t_{1} \times 100 + t_{2} \times 120 + t_{3} \times 96}{100 + 120 + 96}$
Durch die Berechnung des Durchgangszeitpunkts t des Referenzlichts mittels Interpolation oder gewichteter Mittelwertbildung usw., wie vorstehend beschrieben, kann der Durchgangszeitpunkt t des Referenzlichts auch bei einem ereignisbasierten Sensor, bei dem der Zeitpunkt der Ereigniserzeugung nicht konstant ist, genauer berechnet werden. Darüber hinaus kann durch die Auswahl der festgelegten Zahl N von Ereignissen der Einfluss eines Fehlers im Zeitpunkt jedes Ereignisses auf $1 / \sqrt{N}$
reduziert werden.
Wiederum Bezug nehmend auf 3 setzt die Abstandsberechnungseinheit 12 den Durchgangszeitpunkt t des Referenzlichts beispielsweise in Gleichung 4 ein und berechnet den Abstand Z zum Punkt P auf dem Objekt W, das auf dem Pixel abgebildet ist. Der Abstand Z ist die Tiefe von einer Grundlinie, die den Startpunkt der Lichtprojektion der Projektionseinheit 7 und den Fokus der Lichtempfangseinheit 3 verbindet, wie in 2 gezeigt, wobei der Abstand Z in die dreidimensionale Koordinate im XYZ-Koordinatensystem umgerechnet werden kann.
Die von der Berechnungseinheit 9 für dreidimensionale Informationen berechneten dreidimensionalen Informationen werden an die Umgebung der dreidimensionalen Messvorrichtung 8 ausgegeben. Die dreidimensionalen Informationen werden von externen Vorrichtungen 20, wie z.B. einer Robotersteuerung oder einer Fahrzeugsteuerung, verwendet. Die externe Einrichtung 20 kann z.B. eine Positionssteuerung, Geschwindigkeitssteuerung, Beschleunigungssteuerung usw. auf der Grundlage der dreidimensionalen Informationen durchführen, die mit hoher Geschwindigkeit und hoher Genauigkeit unter Verwendung des ereignisbasierten Sensors berechnet werden.
Gemäß dem vorstehend beschriebenen Ausführungsbeispiel kann der Durchgangszeitpunkt t des Referenzlichts genauer berechnet werden. Andererseits kann durch die Verwendung des ereignisbasierten Sensors die dreidimensionale Messung mit einer höheren Geschwindigkeit als bei einem rahmenbasierten Sensor durchgeführt werden. Folglich ist es möglich, mit dem ereignisbasierten Sensor eine dreidimensionale Hochgeschwindigkeits- und Hochpräzisionsmessung mit optischer Abtastung durchzuführen. Die ausgewählten Ereignisse werden jedoch möglicherweise nicht in erster Linie durch den Durchgang des Referenzlichts verursacht, sondern können durch andere Faktoren, wie eine Änderung des externen Lichts, eine Bewegung des Objekts, eine Mehrfachreflexion des Referenzlichts oder ein Rauschen in der Lichtempfangseinheit, verursacht werden.
Daher ist es vorteilhaft, dass die dreidimensionale Messvorrichtung 8 außerdem eine Erlangungseinheit 14 für eine ausgewiesene Zeit umfasst, die beispielsweise einer Benutzeroberfläche, einem Speicher oder einer Kommunikationseinheit entspricht, die mit externen Vorrichtungen kommunizieren kann. Die Zeiterfassungseinheit 14 erfasst die Durchgangszeit (ausgewiesene Zeit) des vom Benutzer ausgewiesenen Referenzlichts und überträgt die Sollzeit an die Ereignisauswahleinheit 10.
6 zeigt einen Graph der Luminanzänderung, der ein Beispiel für den Zeitpunkt zeigt, der für den Durchgang des Referenzlichts benötigt wird. Die Zeit, die das Referenzlicht benötigt, um ein bestimmtes Pixel zu passieren, hängt von der Abtastgeschwindigkeit des Referenzlichts, der Breite des Referenzlichts, dem Betrachtungswinkel der Lichtempfangseinheit und dem Abstand zu dem auf dem Pixel abgebildeten Objekt usw. ab, die gemäß den Spezifikationen der dreidimensionalen Messvorrichtung 8 bestimmt werden. Daher ist es beispielsweise vorzuziehen, dass das Objekt mit dem Referenzlicht abgetastet wird, die Zeitdauer des Durchgangs des Referenzlichts für jedes Pixel gemessen wird und auf der Grundlage der Zeitdauer des Durchgangs des Referenzlichts, die am längsten gedauert hat, die ausgewiesene Zeit berechnet wird, von der angenommen wird, dass sie nicht länger dauert. Mit anderen Worten, es ist vorzuziehen, dass die ausgewiesene Zeit als eine Zeitspanne festgelegt wird, die länger ist als die maximale Zeit, die das Referenzlicht für den Durchgang durch das Pixel benötigt.
Wiederum Bezug nehmend auf 3 erfasst die Ereignisauswahleinheit 10 die festgelegte Zeit von der Erlangungseinheit 14 für eine ausgewiesene Zeit und wählt eine Ereignisgruppe aus, die die festgelegte Zahl von Ereignissen enthält, bei denen das Ereignis innerhalb der erfassten ausgewiesenen Zeit von positiver Polarität zu negativer Polarität wechselt. 7 zeigt einen Graph der Luminanzänderung, der ein Beispiel für ein Ereignis zeigt, das nicht innerhalb der ausgewiesenen Zeitspanne auftritt. In dem in 7 gezeigten Beispiel ist die Ereignisgruppe mit drei Ereignissen E_P1, E_P2 und E_N1 dargestellt, bei denen das Ereignis von positiver Polarität zu negativer Polarität wechselt.
Das Ereignis E_P1 liegt jedoch nicht innerhalb des vorgesehenen Zeitraums und ist zeitlich von den anderen Ereignissen E_P2 und E_N1 getrennt. In einem solchen Fall ist es sehr wahrscheinlich, dass das Ereignis E_P1 nicht durch den Durchgang des Referenzlichts verursacht wird, sondern ein Rauschereignis ist, das durch andere Faktoren verursacht wird, wie z.B. Änderungen des externen Lichts, Bewegung des Objekts, mehrfach reflektiertes Referenzlicht und ein Rauschen in der Lichtempfangseinheit. Es ist wünschenswert, kein solches Ereignis E_P1 auszuwählen, das zeitlich extrem getrennt vorliegt. Daher wählt die Ereignisauswahleinheit 10 entsprechend der ausgewiesenen Zeit keine Rauschereignisse mehr aus und fungiert somit als Filter zum Entfernen von Rauschereignissen.
Im Allgemeinen ist der Betrag des Anstiegs einer Luminanzänderung aufgrund einer Änderung des externen Lichts, der Bewegung des Objekts, des mehrfach reflektierten Referenzlichts, eines Rauschens in der Lichtempfangseinheit 3 usw. geringer als ein Betrag des Anstiegs einer Luminanzänderung, der durch das direkt vom Objekt reflektierte Referenzlicht verursacht wird. Daher kann die Ereignisauswahleinheit 10 bei mehreren auszuwählenden Ereignisgruppen einen Rang berechnen, der dem Betrag der Luminanzzunahme entspricht, und eine Ereignisgruppe mit dem höchsten Rang auswählen. Da der Rang die Höhe der Spitze der Luminanzverteilung des Referenzlichts darstellt, ist es vorteilhaft, den Rang zu dem Zeitpunkt zu berechnen, zu dem die positive Polarität in die negative Polarität wechselt. Wenn die Schwellenwerte für die positiven und negativen Luminanzänderungen gleich sind, kann der Schwellenwert einfach um die Zahl der positiven Ereignisse erhöht und um die Zahl der negativen Ereignisse verringert werden. Wenn beispielsweise Ereignisse in der Reihenfolge positiv -> positiv -> positiv -> negativ -> negativ -> negativ auftreten und dann Ereignisse in der Reihenfolge positiv -> negativ aufgrund eines Rauschens auftreten, beträgt der Rang des ersten Spitzenwerts 3 und der Rang des zweiten Spitzenwerts 3-3+1=1, so dass die Ereignisauswahleinheit 10 die erste Ereignisgruppe mit dem Rang 3 auswählt. Alternativ dazu kann der Rang auf den Anfangswert 0 zurückgesetzt werden, wenn ein negatives Ereignis auftritt, anstatt ihn um die Zahl der negativen Ereignisse zu verringern (Punkte abzuziehen).
Wenn der Schwellenwert für eine positive Luminanzänderung auf K1 (K1>1) und der Schwellenwert für eine negative Luminanzänderung auf K2 (K2< 1) eingestellt ist und der Schwellenwert für eine positive Luminanzänderung und der Schwellenwert für eine negative Luminanzänderung unterschiedlich sind (K1≠K2), kann die Ereignisauswahleinheit 10 K1 mit der Zahl der positiven Ereignisse multiplizieren (Punkte addieren) und K2 mit der Zahl der negativen Ereignisse multiplizieren (Punkte subtrahieren). Wenn beispielsweise K1 1,2 und K2 0,6 beträgt und die Ereignisse in der Reihenfolge positiv -> positiv -> positiv -> negativ -> negativ -> negativ auftreten, und dann die Ereignisse aufgrund eines Rauschens in der Reihenfolge positiv -> negativ auftreten, beträgt der Rang des ersten Spitzenwerts 1,2x 1,2x 1,2 = 1,728 und der Rang des zweiten Spitzenwerts 1,2x1,2x1,2x0,6x0,6x0,6x1,2 ≈ 0,447. Daher wählt die Ereignisauswahleinheit 10 die erste Ereignisgruppe mit dem Rang von 1,728 aus. Anstatt K2 (K2< 1) mit der Zahl negativer Ereignisse zu multiplizieren (abzuziehen), kann der Rang auch auf den Anfangswert 1 zurückgesetzt werden, wenn ein negatives Ereignis auftritt.
8 zeigt ein Flussdiagramm, das ein Beispiel für den Betrieb der dreidimensionalen Messvorrichtung 8 zeigt. Es sei darauf hingewiesen, dass dieses Flussdiagramm z.B. vom Prozessor der dreidimensionalen Messvorrichtung 8 ausgeführt wird. In Schritt S10 wird die Zahl der vom Benutzer ausgewiesenen Ereignisse (ausgewiesene Zahl) erfasst. In Schritt S11 wird die Zeitspanne des Durchgangs (ausgewiesene Zeit) des vom Benutzer ausgewiesenen Referenzlichts erfasst. In Schritt S12 wird die Projektionsabtastung gestartet.
In Schritt S13 wird eine Ereignisgruppe ausgewählt, die die festgelegte Zahl von Ereignissen enthält, bei denen das Ereignis von positiver Polarität zu negativer Polarität wechselt. In diesem Zusammenhang wird ein Rauschereignis nicht ausgewählt, indem eine Ereignisgruppe ausgewählt wird, die innerhalb der ausgewiesenen Zeit existiert. Wenn eine Mehrzahl von Ereignisgruppen zur Auswahl steht, wird ein Rauschereignis nicht ausgewählt, indem der Rang entsprechend dem Betrag der Luminanzzunahme berechnet und die Ereignisgruppe mit dem höchsten Rang ausgewählt wird.
In Schritt S14 wird der Durchgangszeitpunkt, zu dem das Referenzlicht das Pixel durchläuft, auf der Grundlage des Zeitpunkts des in der ausgewählten Ereignisgruppe enthaltenen Ereignisses und des Schwellenwerts der Luminanzänderung berechnet. In diesem Zusammenhang ist es vorteilhaft, die Spitzenzeit t der Luminanzverteilung des Referenzlichts durch Interpolation oder gewichtete Mittelung usw. zu berechnen.
In Schritt S15 wird der Zeitpunkt des Durchgangs des Referenzlichts beispielsweise in Gleichung 4 eingesetzt, und der Abstand zum Objekt wird durch Triangulation berechnet. Dabei kann der Abstand anstelle der Tiefe in dreidimensionale Koordinaten umgerechnet werden. In Schritt S16 wird die berechnete dreidimensionale Information des Objekts nach außen ausgegeben.
Da es sich bei den Schritten S10 bis S11 um eine Vorverarbeitung für die dreidimensionale Messung handelt, können sie durchgeführt werden, wenn die dreidimensionale Messvorrichtung 8 installiert, kalibriert usw. wird, und die Schritte S12 bis S16 können durchgeführt werden, während die dreidimensionale Messvorrichtung 8 eine Messung durchführt. Daher können diese Schritte als separate Programme implementiert werden und müssen keine kontinuierliche Verarbeitung darstellen. Es sei auch darauf hingewiesen, dass es nicht notwendig ist, Schritt S16 auszuführen, wenn die dreidimensionale Messvorrichtung 8 und die in 3 gezeigte externe Einrichtung 20 auf derselben Vorrichtung angebracht sind.
Es sei darauf hingewiesen, dass die vorstehend beschriebene Konfiguration und der Betrieb der dreidimensionalen Messvorrichtung 8 Beispiele sind und dass andere Konfigurationen angenommen werden können. Zum Beispiel weist die dreidimensionale Messvorrichtung 8 womöglich keinen Prozessor zur Ausführung eines Programms auf, sondern eine integrierte Schaltung, die kein Programm ausführt (z.B. einen FPGA (Field-Programmable Gate Array) oder eine ASIC (Application Specific Integrated Circuit) usw.). In diesem Fall ist die „-Einheit“ der in 2 dargestellten Berechnungseinheit 9 für dreidimensionale Informationen als ein Abschnitt implementiert, der die integrierte Schaltung bildet.
Gemäß den vorstehend beschriebenen Ausführungsbeispielen ist es selbst bei einem ereignisbasierten Sensor, bei dem die Zeitpunkte des Auftretens von Ereignissen nicht konstant sind, möglich, den Durchgangszeitpunkt genauer zu berechnen, wenn das Referenzlicht die Pixel durchläuft. Darüber hinaus kann durch die Auswahl einer ausgewiesenen Zahl N von Ereignissen der Einfluss eines Fehlers im Zeitpunkt jedes Ereignisses auf $1 / \sqrt{N}$
verringert werden. Andererseits kann durch die Verwendung des ereignisbasierten Sensors die dreidimensionale Messung mit einer höheren Geschwindigkeit als bei einem bildrahmenbasierten Sensor durchgeführt werden. Daher ist es möglich, mit dem ereignisbasierten Sensor eine dreidimensionale Hochgeschwindigkeits- und Hochpräzisionsmessung durch optische Abtastung durchzuführen.
Außerdem wird durch die Verwendung des ereignisbasierten Sensors der Abstand für jedes Pixel der Lichtempfangseinheit 3 berechnet, so dass ein dichtes Abstandsbild erzeugt werden kann. Da die Ereignisverarbeitung für jedes Pixel unabhängig ist, ist außerdem eine Parallelisierung möglich, und es wird ein Sekundäreffekt erzielt, der nicht durch individuelle Unterschiede der Pixel in der Lichtempfangseinheit beeinträchtigt wird.
Es sei darauf hingewiesen, dass die vom vorstehend beschriebenen Prozessor ausgeführten Programme auf einem computerlesbaren, nicht-vergänglichen Aufzeichnungsmedium, wie z.B. einer CD-ROM, aufgezeichnet und bereitgestellt werden können oder über ein WAN (Wide Area Network) oder LAN (Local Area Network) von einem Servervorrichtung aus drahtgebunden oder drahtlos verteilt und bereitgestellt werden können.
Obwohl die verschiedenen Ausführungsbeispiele hierin beschrieben werden, sei darauf hingewiesen, dass die vorliegende Erfindung nicht auf die vorstehend beschriebenen Ausführungsbeispiele beschränkt ist und verschiedene Modifikationen innerhalb des Schutzbereichs der Ansprüche vorgenommen werden können.
Bezugszeichenliste

1: Stereokamera
2: linke Lichtempfangseinheit
3: rechte Lichtempfangseinheit (Lichtempfangseinheit)
4: linke Lichtempfangsfläche
5: rechte Lichtempfangsfläche (Lichtempfangsfläche)
6: Lichtschnittsystem
7: Lichtprojektionseinheit
8: dreidimensionale Messvorrichtung
9: Berechnungseinheit für dreidimensionale Informationen
10: Ereignisauswahleinheit
11: Durchgangszeitberechnungseinheit
12: Abstandsberechnungseinheit
13: Erfassungseinheit für ausgewiesene Zahl
14: Erfassungseinheit für ausgewiesene Zeit
20: externe Einrichtung
B: Länge der Grundlinie
D: Disparität
EP1, EP2: Ereignis mit positiver Polarität
EN1: Ereignis mit negativer Polarität
f: Fokalweite
K1, K2: Schwellenwert
L1, L2: gerade Linie
P: Punkt auf Objekt
t1, t2, t3: Zeitpunkt des Ereignisses
W: Objekt
Z: Abstand zum Punkt P des Objekts
θ: Projektionswinkel

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2000088539 A [0010]
JP 2018516395 A [0010]
JP 3542478 B [0010]
JP 2002090681 A [0010]
JP 2006333493 A [0010]
JP 2003329419 A [0010]

Claims

Dreidimensionale Messvorrichtung, die umfasst: eine Projektionseinheit, die konfiguriert ist, um ein Referenzlicht auf ein Objekt zu projizieren, während sie das Referenzlicht abtastet; eine Lichtempfangseinheit, die konfiguriert ist, um das von dem Objekt reflektierte Referenzlicht zu empfangen, eine Luminanzänderung des Referenzlichts für jedes Pixel zu überwachen und eine Position des Pixels, einen Zeitpunkt, zu dem die Luminanzänderung auftrat, und eine Polarität, die eine Richtung der Luminanzänderung darstellt, als ein Ereignis auszugeben, wenn die Luminanzänderung größer oder gleich einem vorbestimmten Schwellenwert ist; und eine Berechnungseinheit für dreidimensionale Informationen, die konfiguriert ist, um eine Ereignisgruppe auszuwählen, die eine ausgewiesene Zahl von Ereignissen enthält, bei denen sich das Ereignis von positiver Polarität zu negativer Polarität ändert, einen Durchgangszeitpunkt zu berechnen, zu dem das Referenzlicht das Pixel passiert, basierend auf dem Zeitpunkt des in der Ereignisgruppe enthaltenen Ereignisses und dem Schwellenwert der Luminanzänderung, bei dem das Ereignis auftritt, und dreidimensionale Informationen des Objekts durch Triangulation basierend auf dem Durchgangszeitpunkt zu berechnen.
Dreidimensionale Messvorrichtung nach Anspruch 1, wobei die Berechnungseinheit für dreidimensionale Informationen die Ereignisgruppe auswählt, die zumindest drei der Ereignisse umfasst.
Dreidimensionale Messvorrichtung nach Anspruch 1 oder 2, wobei die Berechnungseinheit für dreidimensionale Informationen die Ereignisgruppe auswählt, die die ausgewiesene Zahl von Ereignissen enthält, bei denen das Ereignis innerhalb einer ausgewiesenen Zeitspanne von positiver Polarität zu negativer Polarität wechselt.
Dreidimensionale Messvorrichtung nach einem der Ansprüche 1 bis 3, wobei die Berechnungseinheit für dreidimensionale Informationen bei mehreren auszuwählenden Ereignisgruppen einen Rang berechnet, der einem Betrag der Luminanzzunahme entspricht, und die Ereignisgruppe auswählt, bei der der Rang am höchsten ist.
Dreidimensionale Messvorrichtung nach Anspruch 4, wobei die Berechnungseinheit für dreidimensionale Informationen den Rang berechnet, indem ein Punkt addiert wird, der der Zahl des positiven Ereignisses entspricht, das in der Ereignisgruppe enthalten ist.
Dreidimensionales Messprogramm, das einen Computer veranlasst, die nachstehenden Schritte auszuführen: Projizieren eines Referenzlichts auf ein Objekt bei gleichzeitigem Abtasten des Referenzlichts; Empfangen des von dem Objekt reflektierten Referenzlichts, Überwachen einer Luminanzänderung des Referenzlichts für jedes Pixel und Ausgeben einer Position des Pixels, eines Zeitpunkts, zu dem die Luminanzänderung auftrat, und einer Polarität, die eine Richtung der Luminanzänderung darstellt, als ein Ereignis, wenn die Luminanzänderung größer oder gleich einem vorbestimmten Schwellenwert ist; Auswählen einer Ereignisgruppe, die eine ausgewiesene Zahl von Ereignissen enthält, bei denen das Ereignis von positiver Polarität zu negativer Polarität wechselt; Berechnen eines Durchgangszeitpunkts, zu dem das Referenzlicht das Pixel passiert, basierend auf dem Zeitpunkt des in der Ereignisgruppe enthaltenen Ereignisses und dem Schwellenwert der Luminanzänderung, bei dem das Ereignis auftritt; und Berechnen der dreidimensionalen Informationen des Objekts durch Triangulation auf der Grundlage des Durchgangszeitpunkts.