DE102020104137A1

DE102020104137A1 - Dreidimensionale Abbildungseinrichtung und dreidimensionales Abbildungsbedingungsanpassverfahren

Info

Publication number: DE102020104137A1
Application number: DE102020104137.3A
Authority: DE
Inventors: Junichirou Yoshida; Shouta TAKIZAWA
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2019-02-27
Filing date: 2020-02-18
Publication date: 2020-08-27
Also published as: US11398045B2; CN111629153B; US20200273194A1; JP6959277B2; JP2020139767A; CN111629153A

Abstract

Eine dreidimensionale Abbildungseinrichtung 1 umfasst eine Abstandsbilderlangungseinheit 2, die dafür ausgelegt ist, Abstandsbilder durch Wechseln von Belichtungsbedingungen zu erlangen; eine Effektivpixelzahl-Berechnungseinheit 10, die eine Effektivpixelzahl berechnet, die eine Anzahl effektiver Pixel mit einem Abstandswert in jedem erlangten Abstandsbild ist; eine Ineffektivpixel-Identifizierungseinheit 11, die ineffektive Pixel identifiziert, die andere als die effektiven Pixel der Abstandsbilder sind; und eine Belichtungsbedingung-Anpasseinheit7 12, die die zur Erlangung der Abstandsbilder eines Messobjekts verwendete Belichtungsbedingung festlegt. Die Belichtungsbedingung-Anpasseinheit legt eine Referenzbelichtungsbedingung fest, ermittelt, ob eine Referenzeffektivpixelzahl, die die Effektivpixelzahl eines unter der Referenzbelichtungsbedingung erlangten Referenzabstandsbildes ist, gleich oder kleiner als ein erster

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft eine dreidimensionale Abbildungseinrichtung und ein dreidimensionales Abbildungsbedingungsanpassverfahren.
STAND DER TECHNIK
Es gibt eine bekannte Abstandsbilderzeugungseinrichtung, bei der Abstandswerte, die durch Kombinieren einer Mehrzahl von Abstandswerten von entsprechenden Pixeln zwischen einer Mehrzahl von Abstandsbildern gewonnen werden, als Abstandswerte von Pixeln eines kombinierten Abstandsbildes verwendet werden (siehe zum Beispiel PTL 1).
Eine Steuereinheit der Abstandsbilderzeugungseinrichtung führt Bilderfassungsverarbeitung durch, indem eine Lichtemissionseinheit und ein Lichtempfangssensor gemäß einer Abbildungsbedingung gesteuert werden, die für jedes Abbildungsbild geändert wird. Die Abbildungsbedingung umfasst die Lichtemissionsmenge der Lichtemissionseinheit, die Belichtungszeit des Lichtempfangssensors und dergleichen.
LITERATURLISTE
PATENTLITERATUR
PTL 1 Japanische nicht geprüfte Patentanmeldung, Veröffentlichung Nr. 2017-181488
KURZDARSTELLUNG DER ERFINDUNG
TECHNISCHES PROBLEM
Wenn ein Messobjekt mit einer dreidimensionalen Kamera gemessen wird, werden ineffektive Pixel, für die kein Abstand berechnet werden kann, aufgrund eines durch auf der Oberfläche des Messobjekts reflektiertes Licht verursachten Lichthofes erzeugt. Um die Anzahl derartiger ineffektiver Pixel so weit wie möglich zu reduzieren, wird Abbilden mehrmals unter Ändern der Abbildungsbedingungen durchgeführt und werden eine Vielzahl von erlangten Abstandsbildern kombiniert.
Es ist jedoch sehr zeitaufwendig, die Abbildungsbedingungen zum Erlangen eines Abstandsbildes anzupassen, bei dem ineffektive Pixel auf einen gewünschten Anteil oder weniger reduziert worden sind. Obwohl der Anteil an ineffektiven Pixeln durch die Kombination von mehr Abstandsbildern ausreichend reduziert werden kann, steigt jedoch zusätzlich die Wahrscheinlichkeit, unnötige Abstandsbilder zu erlangen. Es ist daher wünschenswert, ein Abstandsbild zu erlangen, bei dem der Anteil ineffektiver Pixel hinreichend verringert worden ist, während die für die Aufnahme eines Bildes eines Messobjekts verwendete Zeit reduziert wird.
LÖSUNG DES PROBLEMS
Ein Aspekt der vorliegenden Offenlegung zielt auf eine dreidimensionale Abbildungseinrichtung ab, umfassend eine Abstandsbilderlangungseinheit, die dafür ausgelegt ist, Abstandsbilder durch Wechseln von Belichtungsbedingungen zu erlangen, eine Effektivpixelzahl-Berechnungseinheit, die eine Effektivpixelzahl berechnet, die eine Anzahl effektiver Pixel mit einem Abstandswert in jedem erlangten Abstandsbild ist, eine Ineffektivpixel-Identifizierungseinheit, die ineffektive Pixel identifiziert, die andere als die effektiven Pixel der Abstandsbilder sind, und eine Belichtungsbedingung-Anpasseinheit, die die zur Erlangung der Abstandsbilder eines Messobjekts verwendete Belichtungsbedingung festlegt, wobei die Belichtungsbedingung-Anpasseinheit eine Referenzbelichtungsbedingung festlegt, die eine der Belichtungsbedingungen ist, die als eine Referenz verwendet wird, ermittelt, ob eine Referenzeffektivpixelzahl, die die Effektivpixelzahl eines unter der Referenzbelichtungsbedingung erlangten Referenzabstandsbildes ist, gleich oder kleiner als ein erster Schwellenwert ist oder nicht, und in Reaktion darauf, dass die Referenzeffektivpixelzahl gleich oder kleiner als der erste Schwellenwert ist, eine zusätzliche Belichtungsbedingung festlegt, die von den zuvor festgelegten Belichtungsbedingungen verschieden ist und die eine Gesamteffektivpixelzahl maximiert, die die Effektivpixelzahl eines Gesamtabstandsbildes ist, das eine logische Summe aus einem unter der zusätzlichen Belichtungsbedingung erlangten zusätzlichen Abstandbild und dem Referenzabstandsbild ist, und das zusätzliche Festlegen der zusätzlichen Belichtungsbedingung unter Verwendung des Gesamtabstandsbildes als ein neues Referenzabstandsbild wiederholt, bis die Gesamteffektivpixelzahl größer als der erste Schwellenwert ist.
Figurenliste

1 ist ein Blockdiagramm, das eine dreidimensionale Abbildungseinrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung zeigt.
2 ist ein Diagramm zur Erklärung von Parallaxe in der in 1 gezeigten dreidimensionalen Abbildungseinrichtung.
3 ist ein Diagramm, das das Erzeugen eines Abstandsbildes in der dreidimensionalen Abbildungseinrichtung in 1 darstellt.
4 ist ein Flussdiagramm zur Erklärung eines von der dreidimensionalen Abbildungseinrichtung in 1 verwendeten dreidimensionalen Abbildungsbedingungsanpassverfahrens.
5 ist ein dem Flussdiagramm in 4 folgendes Flussdiagramm zur Erklärung eines von der dreidimensionalen Abbildungseinrichtung in 1 verwendeten dreidimensionalen Abbildungsbedingungsanpassverfahrens.
6 ist ein Blockdiagramm, das eine dreidimensionale Abbildungseinrichtung gemäß einer zweiten Ausführungsform zeigt.
7 ist ein Flussdiagramm zur Erklärung eines von der dreidimensionalen Abbildungseinrichtung in 6 verwendeten dreidimensionalen Abbildungsbedingungsanpassverfahrens.
8 ist ein dem Flussdiagramm von 7 folgendes Flussdiagramm zur Erklärung eines von der dreidimensionalen Abbildungseinrichtung in 6 verwendeten dreidimensionalen Abbildungsbedingungsanpassverfahrens.

BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
Eine dreidimensionale Abbildungseinrichtung 1 und ein dreidimensionales Abbildungsbedingungsanpassverfahren gemäß einer ersten Ausführungsform der vorliegenden Offenlegung werden nunmehr nachstehend mit Bezug auf die Zeichnungen beschrieben.
Wie es in 1 dargestellt ist, umfasst die dreidimensionale Abbildungseinrichtung 1 gemäß der vorliegenden Ausführungsform eine Abstandsbilderlangungseinheit 2, die Abstandsbilder erlangt, eine Abbildungsbedingung-Anpasseinheit 3, die mit der Abstandsbilderlangungseinheit 2 verbunden ist und die eine Abbildungsbedingung auf der Grundlage der erlangten Abstandsbilder festlegt, und eine Abstandsbildkombiniereinheit 4, die die erlangten Abstandsbilder kombiniert.
Die Abstandsbilderlangungseinheit 2 umfasst einen dreidimensionalen Sensor 5 und eine Bildverarbeitungseinheit 6.
Der dreidimensionale Sensor 5 umfasst zwei zweidimensionale Kameras 7 und 8, die mit einem Zwischenraum zwischen ihnen in einer die optischen Achsen der zweidimensionalen Kameras 7 und 8 schneidenden Richtung angeordnet sind und die überlappende Sichtfeldbereiche aufweisen, und einen Scheinwerfer 9 zum Ausstrahlen von Beleuchtungslicht in die Sichtfeldbereiche der beiden zweidimensionalen Kameras 7 und 8.
Der Scheinwerfer 9 projiziert ein Muster auf eine Oberfläche eines Messobjekts O.
Die Bildverarbeitungseinheit 6 umfasst einen Prozessor und einen Speicher, verarbeitet zwei aus dem dreidimensionalen Sensor 5 ausgegebene, zweidimensionale Bilder G1 und G2 und erzeugt ein Abstandsbild durch Berechnung eines Abstandswerts für jedes Pixel.
Wie es in 2 dargestellt ist, sind die zweidimensionalen Kameras 7 und 8 des dreidimensionalen Sensors 5 in relativen Positionen angeordnet, in welchen x-Positionen vollständig übereinstimmen, wobei x der vertikalen Richtung der Bilder G1 und G2 entspricht und y der horizontalen Richtung entspricht. Wenn ein Bild des gleichen Messobjekts O von den zweidimensionalen Kameras 7 und 8 aufgenommen wird, ist das Messobjekt O in den Bildern G1 und G2 in Positionen angeordnet, in welchen nur die y-Position durch eine Parallaxe dy verschieden ist.
Dementsprechend kann der Abstand zwischen dem dreidimensionalen Sensor 5 und dem Messobjekt O unter Verwendung der Parallaxe dy gemäß der folgenden Formel berechnet werden. $\begin{array}{l} Abstand = y - Richtung - Strecke zwischen den optischen Achsen \\ der zweidimensionalen Kameras 7 und 8 \times Brennweite/Parallaxe dy \end{array}$
Wenn die beiden zweidimensionalen Bilder G1 und G2, die durch Aufnehmen von Bildern des gleichen Messobjekts O durch die zweidimensionalen Kameras 7 und 8 erlangt werden, in die Bildverarbeitungseinheit 6 eingegeben werden, wird nach einem entsprechenden Bereich zwischen den beiden zweidimensionalen Bildern G1 und G2 gesucht.
Durch Verwendung eines Bildes eines kleinen Bereichs in einem der beiden zweidimensionalen Bilder G1 und G2 als eine Vorlage wird nach einem entsprechenden Bereich unter Verwendung von Vorlagenabgleich gesucht, bei dem nach einem entsprechenden Bereich mit dem gleichen Muster wie der Vorlage in einem Suchbereich des anderen der zweidimensionalen Bilder G1 und G2 gesucht wird.
Da, wie vorstehend beschrieben wurde, die zweidimensionalen Bilder G1 und G2 durch die zweidimensionalen Kameras 7 und 8 erlangt werden, bei welchen die x-Positionen vollständig übereinstimmen, ist, wie es in 3 dargestellt ist, der Suchbereich ein Bereich, der sich in der y-Richtung erstreckt, der den kleinen, als Vorlage dienenden Bereich umfasst.
Bei der vorliegenden Ausführungsform wird der Übereinstimmungsgrad unter Verwendung einer Summe absoluter Differenzen (SAD) ausgewertet. SAD ist die Summe absoluter Fehlerwerte zwischen dem kleinen Bereich und einem entsprechenden Bereich. Daher kann der Bereich mit der kleinsten SAD in dem Suchbereich als der entsprechende Bereich extrahiert werden.
Hier wird ein SAD-Schwellenwert im Voraus festgelegt und wird nur ein entsprechender Bereich, in dem die SAD in dem Suchbereich minimal ist und die SAD kleiner als der Schwellwert ist, als der entsprechende Bereich mit einem Abstandswert ausgegeben. Indem alle Pixel abgedeckt werden, während der in einem zweidimensionalen Bild G1 festgelegte kleine Bereich horizontal und vertikal um jeweils ein Pixel bewegt wird, werden die Abstandswerte für das gesamte Bild berechnet und wird ein Abstandsbild erzeugt.
Die Abbildungsbedingung-Anpasseinheit 3 umfasst einen Prozessor und einen Speicher. Die Abbildungsbedingung-Anpasseinheit 3 umfasst eine Effektivpixelzahl-Berechnungseinheit 10, die eine Effektivpixelzahl berechnet, die die Anzahl effektiver Pixel mit einem Abstandswert in dem durch die Bildverarbeitungseinheit 6 erzeugten Abstandsbild ist, und eine Ineffektivpixel-Identifizierungseinheit 11 zur Identifizierung von ineffektiven Pixeln ohne Abstandswert. Zusätzlich umfasst die Abbildungsbedingung-Anpasseinheit 3 eine Belichtungsbedingung-Anpasseinheit 12, die eine zum Abbilden des Messobjekts O verwendete Belichtungsbedingung festlegt, und eine Belichtungsbedingung-Speichereinheit 13, die die festgelegte Belichtungsbedingung speichert.
Die Belichtungsbedingung-Anpasseinheit 12 empfängt einen Befehl von außen, um eine neue Belichtungsbedingung festzulegen, und legt gemäß dem in den Flussdiagrammen in 4 und 5 dargestellten Belichtungsbedingungsanpassverfahren die zur Erlangung der Abstandsbilder des Messobjekts O verwendete Belichtungsbedingung fest.
Zunächst wird eine Referenzbelichtungsbedingung festgelegt, die eine Belichtungsbedingung ist, die als Referenz dient.
Das Festlegen der Referenzbelichtungsbedingung wird durch Wechseln der Belichtungsbedingung und Erlangen eines Abstandsbildes durch den dreidimensionalen Sensor 5 unter jeder Belichtungsbedingung durchgeführt. Als die Belichtungsbedingung wird die Lichtstärke I des Beleuchtungslichts aus dem Scheinwerfer 9 zwischen verschiedenen Pegeln gewechselt und wird die Belichtungszeit E der zweidimensionalen Kameras 7 und 8 zwischen verschiedenen Pegeln gewechselt, und es werden eine Mehrzahl von Belichtungsbedingungen einschließlich aller möglichen Kombinationen aus den Lichtstärken I und den Belichtungszeiten E erzielt.
Wie es insbesondere in 4 dargestellt ist, legt die Belichtungsbedingung-Anpasseinheit 12 die Lichtstärke I des Scheinwerfers 9 des dreidimensionalen Sensors 5 auf einen Minimalwert I₀ fest (Schritt S1) und die Belichtungszeit E der zweidimensionalen Kameras 7 und 8 auf ein Minimalwert E₀ fest (Schritt S2).
Unter der festgelegten Belichtungsbedingung erlangt die Abstandsbilderlangungseinheit 2 ein Abstandsbild (Schritt S3).
Das durch die Abstandsbilderlangungseinheit 2 erlangte Abstandsbild wird an die Belichtungsbedingung-Anpasseinheit 12 gesendet. Die Belichtungsbedingung-Anpasseinheit 12 sendet das Abstandsbild an die Effektivpixelzahl-Berechnungseinheit 10. Die Effektivpixelzahl-Berechnungseinheit 10 ermittelt für jedes Pixel, ob das gesendete Abstandsbild einen effektiven Abstandswert aufweist oder nicht und berechnet die Effektivpixelzahl, die die Anzahl effektiver Pixel mit einem effektiven Abstandswert ist (Schritt S4).
Das Abstandsbild und die berechnete Effektivpixelzahl werden in der Belichtungsbedingung-Anpasseinheit 12 in Zusammenhang mit der Belichtungsbedingung gespeichert (Schritt S5). Dann ermittelt die Belichtungsbedingung-Anpasseinheit 12, ob die Belichtungszeit E der zweidimensionalen Kameras 7 und 8 der Maximalwert ist oder nicht (Schritt S6), und wenn die Belichtungszeit E nicht der Maximalwert ist, wird die Belichtungszeit E um eine Stufe erhöht (zum Beispiel ΔE = +1%) (Schritt S7) und wird der Vorgang ab Schritt S3 wiederholt, bis die Belichtungszeit E den Maximalwert erreicht.
In Schritt S6 wird, wenn die Belichtungszeit E den Maximalwert erreicht, ermittelt, ob die Lichtstärke I des Scheinwerfers 9 der Maximalwert ist oder nicht (Schritt S8), und im Fall, dass die Lichtstärke I nicht der Maximalwert ist, wird die Lichtstärke I um eine Stufe erhöht (zum Beispiel ΔI = +1%) (Schritt S9) und werden die Vorgänge ab Schritt S2 wiederholt, bis die Lichtintensität I den Maximalwert erreicht.
Folglich werden die Abstandsbilder und die Effektivpixelzahlen für eine Mehrzahl von Belichtungsbedingungen, die aus allen Kombinationen aus den Lichtstärken I des Beleuchtungslichts und den Belichtungszeiten E bestehen, erlangt und jeweils in Zusammenhang mit den Belichtungszeiten E gespeichert.
Wenn die Abstandsbilder und die Effektivpixelzahlen entsprechend aller Belichtungsbedingungen erlangt wurden, extrahiert die Belichtungsbedingung-Anpasseinheit 12 die Belichtungsbedingung mit der größten entsprechenden Effektivpixelzahl aus den gespeicherten Belichtungsbedingungen und speichert sie in der Belichtungsbedingung-Anpasseinheit 13 als eine Referenzbelichtungsbedingung (Schritt S10). Dadurch wird die Referenzbelichtungsbedingung festgelegt.
Als Nächstes wird ermittelt, ob die Effektivpixelzahl (Referenzeffektivpixelzahl) Ns in dem Referenzabstandsbild, das das unter der Referenzbelichtungsbedingung erlangte Abstandsbild ist, gleich oder kleiner als ein vorgegebener Schwellenwert (erster Schwellenwert) Th ist oder nicht (Schritt S11).
Wenn die Referenzeffektivpixelzahl Ns größer als der Schwellenwert Th in Schritt S11 ist, endet das Belichtungsbedingungsanpassverfahren. In diesem Fall ist die beim Erlangen des Abstandsbildes des Messobjekts O verwendete Belichtungsbedingung die einzige Referenzbelichtungsbedingung.
Falls die Referenzeffektivpixelzahl Ns gleich oder kleiner als der Schwellenwert Th in Schritt S11 ist, wird eine zusätzliche Belichtungsbedingung festgelegt.
Wie es in 5 dargestellt ist, wird die zusätzliche Belichtungsbedingung durch Festlegen des Anfangswerts N_T0 der Gesamteffektivpixelzahl auf Null (Schritt S12) und Auswählen einer der Belichtungsbedingungen, die von der bereits festgelegten Belichtungsbedingung verschieden ist, Schritt (S13) festgelegt. Dann wird ein Gesamtabstandsbild, das eine logische Summe aus dem unter der ausgewählten Belichtungsbedingung erlangten Abstandsbild und dem Referenzabstandsbild ist, erzeugt (Schritt S14). Danach wird das erzeugte Gesamtabstandsbild in die Effektivpixelzahl-Berechnungseinheit 10 eingegeben und wird die Effektivpixelzahl (Gesamteffektivpixelzahl N_T ) des Gesamtabstandsbildes berechnet (Schritt S15).
Es wird ermittelt, ob die Gesamteffektivpixelzahl N_T größer als der Anfangswert N_T0 ist oder nicht (Schritt S16), und im Fall, dass die Gesamteffektivpixelzahl N_T größer als der Anfangswert N_T0 ist, wird die ausgewählte Belichtungsbedingung vorübergehend gespeichert (Schritt S17) und wird die Gesamteffektivpixelzahl N_T durch einen neuen Anfangswert N_T0 ersetzt (Schritt S18). Dann wird ermittelt, ob alle Belichtungsbedingungen beendet worden sind oder nicht (Schritt S19), und im Fall, dass nicht alle Belichtungsbedingungen beendet worden sind, werden die Vorgänge ab Schritt S13 wiederholt.
Wenn in Schritt S16 die Gesamteffektivpixelzahl N_T gleich oder kleiner als der Anfangswert N_T0 ist, werden die Vorgänge ab Schritt S19 ausgeführt. Falls in Schritt S19 ermittelt wird, dass alle Belichtungsbedingungen beendet worden sind, wird die zuletzt gespeicherte Belichtungsbedingung in der Belichtungsbedingung-Speichereinheit 13 als eine zusätzliche Belichtungsbedingung gespeichert (zusätzlich festgelegt) (Schritt S20).
Zu diesem Zeitpunkt ist die Gesamteffektivpixelzahl N_T des Gesamtabstandsbildes, das die logische Summe aus dem unter der zusätzlichen Belichtungsbedingung erlangten zusätzlichen Abstandsbild und dem Referenzabstandsbild ist, am größten.
Darüber hinaus wird ermittelt, ob die Gesamteffektivpixelzahl N_T gleich oder kleiner als der Schwellenwert Th ist oder nicht (Schritt S21), und im Fall, dass die Gesamteffektivpixelzahl N_T gleich oder kleiner als der Schwellenwert Th ist, wird das Gesamtabstandsbild durch ein neues Referenzabstandbild ersetzt (Schritt S22) und werden die Vorgänge ab Schritt S12 wiederholt.
In Schritt S21 wird im Fall, dass die Gesamteffektivpixelzahl N_T größer als der Schwellenwert Th ist, das Belichtungsbedingungsanpassverfahren beendet und sind zwei oder mehr Belichtungsbedingungen, die die in der Belichtungsbedingung-Speichereinheit 13 gespeicherte Referenzbelichtungsbedingung umfassen, die verwendeten Belichtungsbedingungen, wenn die Abstandsbilder des Messobjekts O erlangt werden.
Nachdem die Belichtungsbedingungen festgelegt worden sind, wenn ein Befehl zum Erlangen der Abstandsbilder des aktuellen Messobjekts O eingegeben wird, erlangt die dreidimensionale Abbildungseinrichtung 1 unter der oder den festgelegten einen oder mehreren Belichtungsbedingungen Abstandsbilder und werden die erlangten Abstandsbilder durch die Abstandsbildkombiniereinheit 4 kombiniert. Folglich ist es möglich, ein kombiniertes Abstandsbild mit einer größeren Effektivpixelzahl auszugeben, die Pixel umfasst, für die Abstandswerte nicht lediglich unter der Referenzbelichtungsbedingung erlangt werden konnten.
Gemäß der dreidimensionalen Abbildungseinrichtung 1 und dem Abbildungsbedingungsanpassverfahren gemäß der vorliegenden Ausführungsform kann somit die zu verwendende Belichtungsbedingung festgelegt werden, bevor das Abstandsbild des Messobjekts O erzielt wird, und kann das nachfolgende Abstandsbild des Messobjekts O in einer kurzen Zeit erlangt werden. Das heißt, ein Vorteil liegt darin, dass die zur Messung erforderliche Zeit stark reduziert werden kann im Vergleich zu dem herkömmlichen Verfahren, bei dem Abstandsbilder des Messobjekts O erlangt werden, während die Belichtungszeit E umfassend gewechselt wird.
Bei der vorliegenden Ausführungsform wird ferner die Belichtungsbedingung, die die Effektivpixelzahl Ns maximiert, als die Referenzbelichtungsbedingung ausgewählt; die vorliegende Erfindung ist darauf jedoch nicht beschränkt. Jede Belichtungsbedingung, bei der die Effektivpixelzahl Ns einen zweiten Schwellenwert überschreitet, kann zum Beispiel als die Referenzbelichtungsbedingung beim Wechseln der Belichtungsbedingung festgelegt werden. Durch geeignetes Festlegen eines zweiten Schwellenwerts kann die Referenzbelichtungsbedingung in einer kurzen Zeit festgelegt werden, ohne die Effektivpixelzahl für alle Belichtungsbedingungen zu erfassen.
Wenn ermittelt wird, ob das Pixel ein effektives Pixel ist oder nicht, kann, falls das Pixel ein effektives Pixel ist, der SAD-Wert des Pixels zusätzlich in Zusammenhang damit gespeichert werden. Im Fall, dass effektive Pixel der zu kombinierenden Abstandsbilder sich überlappen, wenn das kombinierte Abstandsbild in der Abstandsbildkombiniereinheit 4 erzeugt wird, können die Abstandswerte mit dem kleineren SAD-Wert, das heißt die Abstandswerte mit dem höheren Übereinstimmungsgrad, als die Pixelwerte des kombinierten Abstandsbildes übernommen werden. Folglich kann ein kombiniertes Abstandsbild mit zuverlässigeren Abstandswerten erlangt werden.
Als Nächstes wird eine dreidimensionale Abbildungseinrichtung 21 gemäß der zweiten Ausführungsform nachstehend mit Bezug auf die Zeichnungen beschrieben.
In der Beschreibung der vorliegenden Ausführungsform sind Abschnitten mit der gleichen Konfiguration wie bei der dreidimensionalen Abbildungseinrichtung 1 gemäß der vorstehend beschriebenen ersten Ausführungsform die gleichen Bezugszeichen zugeordnet und entfällt deren Beschreibung.
Wie es in 6 dargestellt ist, umfasst die dreidimensionale Abbildungseinrichtung 21 gemäß der vorliegenden Ausführungsform die Abstandsbilderlangungseinheit 2, eine Abbildungsbedingung-Anpasseinheit 22 und die Abstandsbildkombiniereinheit 4.
Die Abstandsbilderlangungseinheit 2 und die Abstandsbildkombiniereinheit 4 sind die gleichen wie bei der ersten Ausführungsform.
Die Abbildungsbedingung-Anpasseinheit 22 umfasst einen Prozessor und einen Speicher.
Die Abbildungsbedingung-Anpasseinheit 22 umfasst die Belichtungsbedingung-Anpasseinheit 12, die Belichtungsbedingung-Speichereinheit 13 und eine Positionsgenauigkeit-Berechnungseinheit 23, die für jede Belichtungsbedingung eine Veränderung der Position des Messobjekts O berechnet, wenn die Position des Messobjekts O durch Bildverarbeitung von einem Abstandsbild aus einer Mehrzahl von unter jeder Belichtungsbedingung erlangten Abstandsbildern erkannt wird.
Die Belichtungsbedingung-Anpasseinheit 12 empfängt von außen einen Befehl zum Festlegen einer neuen Belichtungsbedingung und legt dadurch gemäß dem in den Flussdiagrammen in 7 und 8 dargestellten Belichtungsbedingungsanpassverfahren die zur Erlangung eines Abstandsbildes des Messobjekts O verwendete Belichtungsbedingung fest.
Zunächst wird eine Referenzbelichtungsbedingung festgelegt, die eine Belichtungsbedingung ist, die als Referenz dient.
Das Festlegen der Referenzbelichtungsbedingung wird durch Wechseln der Belichtungsbedingung und Erlangen eines Abstandsbildes durch den dreidimensionalen Sensor 5 unter jeder Belichtungsbedingung durchgeführt. Als die Belichtungsbedingung wird die Lichtstärke I des Beleuchtungslichts aus dem Scheinwerfer 9 zwischen verschiedenen Pegeln gewechselt und wird die Belichtungszeit der zweidimensionalen Kameras 7 und 8 zwischen verschiedenen Pegeln gewechselt, und es werden eine Mehrzahl von Belichtungsbedingungen einschließlich aller möglichen Kombinationen aus der Beleuchtungslichtstärke I und der Belichtungszeit E erzielt.
Wie es insbesondere in 7 dargestellt ist, legt die Belichtungsbedingung-Anpasseinheit 12 die Lichtstärke I des Scheinwerfers 9 des dreidimensionalen Sensors 5 auf den Minimalwert I₀ fest (Schritt SA1) und legt die Belichtungszeit E der zweidimensionalen Kameras 7 und 8 auf den Minimalwert Eo fest (Schritt SA2). Zusätzlich wird die Abbildungszahl N initialisiert (Schritt SA3).
Ein Abstandsbild wird durch die Abstandsbilderlangungseinheit 2 unter der festgelegten Belichtungsbedingung erlangt (Schritt SA4).
Das erlangte Abstandsbild wird zu der Positionsgenauigkeit-Berechnungseinheit 23 gesendet und darin gespeichert (Schritt SA5).
Es wird ermittelt, ob die Abbildungszahl N eine vorgegebene Zahl Na erreicht hat oder nicht (Schritt SA6), und im Fall, dass die Abbildungszahl N die vorgegebene Zahl Na nicht erreicht hat, wird die Abbildungszahl N einmal inkrementiert (Schritt SA7) und wird der Vorgang ab SA4 wiederholt.
Wenn die in einer vorgegebenen Abbildungszahl Na gewonnenen Na Abstandsbilder gesendet worden sind, berechnet die Positionsgenauigkeit-Berechnungseinheit 23 eine Veränderung des Abstandswerts auf der Grundlage dieser Abstandsbilder (wiederholte Erkennungsgenauigkeit) (Schritt SA8).
Die Veränderung des Abstandswerts wird zum Beispiel wie folgt berechnet.
Zum Beispiel wird die Form des Messobjekts O im Voraus als ein Modell registriert und wird Musterabgleich an dem durch die Abstandsbilderlangungseinheit 2 erlangten Abstandsbild durchgeführt, um nach der gleichen Form wie des Modells zu suchen. Aus der Suche ergibt sich, dass die Position des erkannten Messobjekts O auf dem Bild vorübergehend gespeichert wird. Abbilden, Suchen und Speichern der Position werden Na Mal wiederholt. Dann wird die Veränderung aus den gespeicherten Na Positionen berechnet. Vorzugsweise wird die Standardabweichung für jede Komponente der Position (X, Y, R) des Messobjekts O berechnet und wird die Veränderung ausgewertet.
Die ausgewertete Veränderung des Abstandes wird mit der Belichtungsbedingung in Zusammenhang gebracht und in der Belichtungsbedingung-Anpasseinheit 12 gespeichert (Schritt SA9). Dann ermittelt die Belichtungsbedingung-Anpasseinheit 12, ob die Belichtungszeit E der zweidimensionalen Kameras 7 und 8 der Maximalwert ist oder nicht (Schritt SA10), und wenn die Belichtungszeit E nicht der Maximalwert ist, wird die Belichtungszeit E um eine Stufe erhöht (zum Beispiel ΔE = +1%) (Schritt SA11) und werden die Vorgänge ab Schritt SA3 wiederholt, bis die Belichtungszeit E den Maximalwert erreicht.
In Schritt SA7 wird im Fall, dass die Belichtungszeit E den Maximalwert erreicht hat, ermittelt, ob die Lichtstärke I des Scheinwerfers 9 der Maximalwert ist oder nicht (Schritt SA12), und im Fall, dass die Lichtstärke I nicht der Maximalwert ist, wird die Lichtstärke I um eine Stufe erhöht (zum Beispiel ΔI = +1%) (Schritt SA13) und werden die Vorgänge ab Schritt SA2 wiederholt, bis die Lichtstärke I den Maximalwert erreicht.
Dadurch werden die Veränderungen der Abstandswerte der Abstandsbilder für eine Mehrzahl von Belichtungsbedingungen, die aus allen Kombinationen aus der Lichtstärke I des Beleuchtungslichts und der Belichtungszeit E bestehen, berechnet und in Zusammenhang mit den Belichtungszeiten E gespeichert.
Wenn Abstandsbilder und Veränderungen der Abstandswerte entsprechend aller Belichtungsbedingungen erlangt worden sind, extrahiert die Belichtungsbedingung-Anpasseinheit 12 die Belichtungsbedingung mit der kleinsten Veränderung unter den gespeicherten Belichtungsbedingungen und speichert sie in der Belichtungsbedingung-Anpasseinheit 13 als die Referenzbelichtungsbedingung (Schritt SA14). Dadurch wird die Referenzbelichtungsbedingung festgelegt.
Als Nächstes wird ermittelt, ob die Referenzveränderung Bs, die eine Veränderung in dem Referenzabstandsbild ist, das das unter der Referenzbelichtungsbedingung erlangte Abstandsbild ist, gleich oder kleiner als ein vorgegebener Schwellenwert Th ist oder nicht (Schritt SA15).
Falls die Referenzveränderung Bs gleich oder kleiner als der Schwellenwert Th in Schritt SA12 ist, endet das Belichtungsbedingung-Anpassverfahren. In diesem Fall ist die beim Erlangen des Abstandsbildes des Messobjekts O verwendete Belichtungsbedingung die einzige Referenzbelichtungsbedingung.
Falls die Referenzveränderung Bs größer als der Schwellenwert Th in Schritt SA12 ist, wird eine zusätzliche Belichtungsbedingung festgelegt.
Wie es in 8 dargestellt ist, wird das Festlegen der zusätzlichen Belichtungsbedingung durchgeführt, indem ein Anfangswert B_T0 der Veränderung auf einen beliebigen Wert M festgelegt wird (zum Beispiel ein großer Bereich, der nicht im Veränderungsbereich liegen kann) (Schritt SA16) und wird eine von der bereits festgelegten Belichtungsbedingung verschiedene Belichtungsbedingung ausgewählt (Schritt SA17). Dann werden das unter der ausgewählten Belichtungsbedingung erlangte Abstandsbild und das Referenzabstandsbild kombiniert, um ein kombiniertes Abstandsbild zu erzeugen (Schritt SA18). Danach wird das erzeugte kombinierte Abstandsbild in die Positionsgenauigkeit-Berechnungseinheit 23 eingegeben und wird eine kombinierte Veränderung B_T , die eine Veränderung des kombinierten Abstandsbildes ist, berechnet (Schritt SA19).
Es wird ermittelt, ob die kombinierte Veränderung B_T gleich oder kleiner als der Anfangswert B_T0 ist oder nicht (Schritt SA20), und im Fall, dass die kombinierte Veränderung B_T gleich oder kleiner als der Anfangswert B_T0 ist, wird die ausgewählte Belichtungsbedingung vorübergehend gespeichert (Schritt SA21) und wird die kombinierte Veränderung B_T durch einen neuen Anfangswert B_T0 ersetzt (Schritt SA22). Dann wird ermittelt, ob alle Belichtungsbedingungen beendet worden sind oder nicht (Schritt SA23), und falls nicht werden die Vorgänge ab Schritt SA17 wiederholt.
Wenn in Schritt SA20 die kombinierte Veränderung B_T größer als der Anfangswert B_T0ist, werden die Vorgänge ab Schritt SA23 ausgeführt. Falls in Schritt SA23 ermittelt wird, dass alle Belichtungsbedingungen beendet worden sind, wird die zuletzt gespeicherte Belichtungsbedingung in der Belichtungsbedingung-Speichereinheit 13 als eine zusätzliche Belichtungsbedingung gespeichert (zusätzlich festgelegt) (Schritt SA24).
Darüber hinaus wird ermittelt, ob die kombinierte Veränderung B_T gleich oder kleiner als der Schwellenwert Th ist oder nicht (Schritt SA25), und im Fall, dass die kombinierte Veränderung B_T gleich oder kleiner als der Schwellenwert Th ist, wird das Gesamtabstandsbild durch ein neues Referenzabstandsbild ersetzt (Schritt SA26) und werden die Vorgänge ab Schritt SA16 wiederholt.
In Schritt SA25 wird im Fall, dass die kombinierte Veränderung B_T größer als der Schwellenwert Th ist, das Belichtungsbedingung-Anpassverfahren beendet und sind zwei oder mehr Belichtungsbedingungen, die die in der Belichtungsbedingung-Speichereinheit 13 gespeicherte Referenzbelichtungsbedingung umfassen, die verwendeten Belichtungsbedingungen, wenn das Abstandsbild des Messobjekts O erlangt wird.
Durch Verwendung der dreidimensionalen Abbildungseinrichtung 21 und des Abbildungsbedingungsanpassverfahrens gemäß der vorliegenden Ausführungsform kann ferner die zu verwendende Abbildungsbedingung festgelegt werden, bevor das Abstandsbild des Messobjekts O erlangt wird, und kann das nachfolgende Abstandsbild des Messobjekts O in einer kurzen Zeit erlangt werden. Das heißt, ein Vorteil liegt darin, dass die zur Messung erforderliche Zeit stark reduziert werden kann im Vergleich zu dem herkömmlichen Verfahren, bei dem Abstandsbilder des Messobjekts O erlangt werden, während die Belichtungszeit E umfassend gewechselt wird.
Da Belichtungsbedingungen ausgewählt werden, die die Erlangung von Abstandsbildern mit kleinen Veränderungen der Position des Messobjekts O ermöglichen, ist es zusätzlich möglich, ein Abstandsbild zu erzielen, das durch präzises Messen des Abstands von dem gewünschten Gegenstand, das heißt dem Messobjekt O, erzielt wird.
Bei der vorliegenden Ausführungsform wird ferner die Belichtungsbedingung, die die Veränderung der Position des Messobjekts O minimiert, als die Referenzbelichtungsbedingung ausgewählt; die vorliegende Erfindung ist darauf jedoch nicht beschränkt. Zum Beispiel kann beim Ändern der Belichtungsbedingung jede Belichtungsbedingung als die Referenzbelichtungsbedingung festgelegt werden, deren Veränderung kleiner als ein vorgegebener Schwellenwert ist. Durch geeignetes Festlegen des Schwellenwerts ist es möglich, die Referenzbelichtungsbedingung in einer kurzen Zeit festzulegen, ohne für alle Belichtungsbedingungen Veränderungen zu erfassen.
Wenn das Abstandsbild erzeugt wird, kann zusätzlich der SAD-Wert von jedem Pixel für jedes Pixel gespeichert werden. Im Fall, dass Effektivpixel der zu kombinierenden Abstandsbilder sich überlappen, wenn das kombinierte Abstandsbild in der Abstandsbildkombiniereinheit 4 erzeugt wird, können die Abstandswerte mit dem kleineren SAD-Wert, das heißt die Abstandswerte mit dem höheren Übereinstimmungsgrad, als die Pixelwerte des kombinierten Abstandsbildes übernommen werden. Dadurch kann ein kombiniertes Abstandsbild mit zuverlässigeren Abstandswerten erlangt werden.
Bezugszeichenliste

1,21: dreidimensionale Abbildungseinrichtung
2: Abstandsbilderlangungseinheit
4: Abstandsbildkombiniereinheit
10: Effektivpixelzahlrechner
11: Ineffektivpixel-Identifizierungseinheit
12: Belichtungsbedingung-Anpasseinheit
23: Positionsgenauigkeitsrechner
Bs: Standardveränderung
B_T: kombinierte Veränderung
G1, G2: zweidimensionales Bild
Ns: Effektivpixelzahl (Referenzeffektivpixelzahl)
N_T: Gesamteffektivpixelzahl
O: zu messendes Objekt
Th: Schwellenwert (erster Schwellenwert)

Claims

Dreidimensionale Abbildungseinrichtung, umfassend: eine Abstandsbilderlangungseinheit, die dafür ausgelegt ist, Abstandsbilder durch Wechseln von Belichtungsbedingungen zu erlangen; eine Effektivpixelzahl-Berechnungseinheit, die eine Effektivpixelzahl berechnet, die eine Anzahl effektiver Pixel mit einem Abstandswert in jedem erlangten Abstandsbild ist; eine Ineffektivpixel-Identifizierungseinheit, die ineffektive Pixel identifiziert, die andere als die effektiven Pixel der Abstandsbilder sind; und eine Belichtungsbedingung-Anpasseinheit, die die zur Erlangung der Abstandsbilder eines Messobjekts verwendete Belichtungsbedingung festlegt, wobei die Belichtungsbedingung-Anpasseinheit eine Referenzbelichtungsbedingung festlegt, die eine der Belichtungsbedingungen ist, die als eine Referenz verwendet wird, ermittelt, ob eine Referenzeffektivpixelzahl, die die Effektivpixelzahl eines unter der Referenzbelichtungsbedingung erlangten Referenzabstandsbildes ist, gleich oder kleiner als ein erster Schwellenwert ist oder nicht, und in Reaktion darauf, dass die Referenzeffektivpixelzahl gleich oder kleiner als der erste Schwellenwert ist, eine zusätzliche Belichtungsbedingung festlegt, die von den zuvor festgelegten Belichtungsbedingungen verschieden ist und die eine Gesamteffektivpixelzahl maximiert, die die Effektivpixelzahl eines Gesamtabstandsbildes ist, das eine logische Summe aus einem unter der zusätzlichen Belichtungsbedingung erlangten zusätzlichen Abstandbildes und dem Referenzabstandsbild ist, und zusätzliches Festlegen der zusätzlichen Belichtungsbedingung unter Verwendung des Gesamtabstandsbildes als ein neues Referenzabstandsbild wiederholt, bis die Gesamteffektivpixelzahl größer als der erste Schwellenwert ist.
Dreidimensionale Abbildungseinrichtung nach Anspruch 1, wobei die Belichtungsbedingung-Anpasseinheit eine Belichtungsbedingung, unter der die Effektivpixelzahl aus einer Mehrzahl der durch Wechseln der Belichtungsbedingungen erlangten Abstandsbilder am größten wird, als die Referenzbelichtungsbedingung festlegt.
Dreidimensionale Abbildungseinrichtung nach Anspruch 1, wobei die Belichtungsbedingung-Anpasseinheit eine Belichtungsbedingung, unter der die Effektivpixelzahl größer als ein zweiter Schwellenwert ist, als die Referenzbelichtungsbedingung festlegt.
Dreidimensionale Abbildungseinrichtung nach einem der Ansprüche 1 bis 3, wobei die Abstandsbilderlangungseinheit das Abstandsbild für jede Belichtungsbedingung erlangt, indem zwei zweidimensionale Bilder mit Parallaxe erlangt werden, ein Übereinstimmungsgrad zwischen den zweidimensionalen Bildern für jedes Pixel bewertet wird und indem ein Abstandswert einem Pixel zugeordnet wird, dessen Übereinstimmungsgrad höher als ein vorgegebener Schwellenwert ist.
Dreidimensionale Abbildungseinrichtung nach Anspruch 4, ferner umfassend: eine Abstandsbildkombiniereinheit, die ein kombiniertes Abstandsbild erzeugt auf der Grundlage der Abstandsbilder, die einzeln für alle Belichtungsbedingungen erlangt wurden, die durch die Belichtungsbedingung-Anpasseinheit in Reaktion auf die Referenzeffektivpixelzahl oder die Gesamteffektivpixelzahl festgelegt wird, die größer als der erste Schwellenwert ist.
Dreidimensionale Abbildungseinrichtung nach Anspruch 5, wobei in jedem Abstandsbild der Übereinstimmungsgrad in Zusammenhang mit jedem Pixel, das ein Effektivpixel wird, gespeichert wird, und in Reaktion auf die überlappenden Effektivpixel der zu kombinierenden Abstandsbilder die Abstandsbildkombiniereinheit den Abstandswert mit dem höheren Übereinstimmungsgrad als einen Pixelwert des kombinierten Abstandsbildes übernimmt.
Dreidimensionale Abbildungseinrichtung, umfassend: eine Abstandsbilderlangungseinheit, die dafür ausgelegt ist, Abstandsbilder durch Wechseln von Belichtungsbedingungen zu erlangen; eine Positionsgenauigkeit-Berechnungseinheit, die für jede Belichtungsbedingung eine Veränderung der Position eines Messobjekts in einer unter den Belichtungsbedingungen erlangten Mehrzahl von Abstandsbildern berechnet; und eine Belichtungsbedingung-Anpasseinheit, die die zur Erlangung der Abstandsbilder des Messobjekts verwendeten Belichtungsbedingungen festlegt; wobei die Belichtungsbedingung-Anpasseinheit eine Referenzbelichtungsbedingung festlegt, die eine der Belichtungsbedingungen ist, die als eine Referenz verwendet wird, und ermittelt, ob eine Veränderung der Position des Messobjekts in einem unter der Referenzbelichtungsbedingung erlangten Referenzabstandsbild größer als ein Schwellenwert ist oder nicht, und in Reaktion darauf, dass die Veränderung größer als der Schwellenwert ist, eine zusätzliche Belichtungsbedingung festlegt, die von den zuvor festgelegten Belichtungsbedingungen verschieden ist und die eine Veränderung der Position des Messobjekts in einer Mehrzahl von kombinierten Abstandsbildern minimiert, die durch Kombinieren eines unter der zusätzlichen Belichtungsbedingung erlangten zusätzlichen Abstandbildes mit dem Referenzabstandsbild gewonnen wird, und zusätzliches Festlegen der zusätzlichen Belichtungsbedingung unter Verwendung des kombinierten Abstandsbildes als das neue Referenzabstandsbild wiederholt, bis die Veränderung der Position des Messobjekts in dem kombinierten Abstandsbild gleich oder kleiner als der Schwellenwert wird.
Dreidimensionales Abbildungsverfahren, umfassend: Festlegen einer Referenzbelichtungsbedingung, die eine Belichtungsbedingung ist, die als Referenz verwendet wird, Berechnen eine Referenzeffektivpixelzahl, die eine Anzahl der effektiven Pixel mit einem Abstandswert in einem unter der Referenzbelichtungsbedingung erlangten Referenzabstandsbild ist; Ermitteln, ob die Referenzeffektivpixelzahl gleich oder kleiner als ein Schwellenwert ist; und in Reaktion darauf, dass die Referenzeffektivpixelzahl gleich oder kleiner als der Schwellenwert ist, Festlegen einer zusätzlichen Belichtungsbedingung, die eine zusätzliche Belichtungsbedingung ist, die von der zuvor festgelegten Belichtungsbedingung verschieden ist und die eine Gesamteffektivpixelzahl eines Gesamtabstandsbildes maximiert, das eine logische Summe aus einem unter der zusätzlichen Belichtungsbedingung erlangten zusätzlichen Abstandbildes und dem Referenzabstandsbild ist, und Wiederholen des zusätzlichen Festlegens der zusätzlichen Belichtungsbedingung unter Verwendung des Gesamtabstandsbildes als das neue Referenzabstandsbild, bis die Gesamteffektivpixelzahl größer als der Schwellenwert wird.
Dreidimensionales Abbildungsverfahren, umfassend: Festlegen einer Referenzbelichtungsbedingung, die eine Belichtungsbedingung ist, die als Referenz verwendet wird, und Ermitteln, ob eine Veränderung der Position eines Messobjekts in einer unter der Referenzbelichtungsbedingung erlangten Mehrzahl von Referenzabstandsbildern größer als ein Schwellenwert ist oder nicht, und in Reaktion darauf, dass die Veränderung größer als der Schwellenwert ist, Festlegen einer zusätzlichen Belichtungsbedingung, die von der zuvor festgelegten Belichtungsbedingung verschieden ist und die die Veränderung der Position des Messobjekts in einer Mehrzahl von kombinierten Abstandsbildern minimiert, die durch Kombinieren einer unter der zusätzlichen Belichtungsbedingung erlangten Mehrzahl von zusätzlichen Abstandbildern mit dem Referenzabstandsbild gewonnen wird; und Wiederholen des zusätzlichen Festlegens der zusätzlichen Belichtungsbedingung unter Verwendung des kombinierten Abstandsbildes als das neue Referenzabstandsbild, bis die Veränderung der Position des Messobjekts in dem kombinierten Abstandsbild gleich oder kleiner als der Schwellenwert wird.