DE112015007146T5

DE112015007146T5 - DEVICE AND METHOD FOR THREE-DIMENSIONAL IMAGE MEASUREMENT

Info

Publication number: DE112015007146T5
Application number: DE112015007146.6T
Authority: DE
Inventors: Yukiyasu Domae; Makito Seki; Masahiro Shikai; Haruhisa Okuda
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2015-11-25
Filing date: 2015-11-25
Publication date: 2018-08-02
Also published as: JPWO2017090111A1; JP6038415B1; CN108369089A; CN108369089B; WO2017090111A1

Abstract

Ein dreidimensionales Bildmessgerät ist zur Erzeugung von Distanzbilddaten vorgesehen, in denen ein Abstand von einem Sensor zu einem Objekt durch einen Pixelwert ausgedrückt wird, basierend auf Musterbilddaten, die durch Fotografieren eines Musters mit dem Sensor erhalten werden, das von einem Projektor auf das zu fotografierende Objekt projiziert wird. Das dreidimensionale Bildmessgerät enthält Steuerungseinrichtungen, die ein Pixel mit einem unbekannten Pixelwert in Distanzbilddaten, die aus vom Sensor aufgenommenen Musterbilddaten gewonnen werden, mit einem Pixelwert eines Distanzbildes ergänzen, das aus vom Sensor unter einer anderen Aufnahmebedingung aufgenommenen Musterbilddaten gewonnen wird. Die Steuerungseinrichtungen ändern zumindest eines der Elemente: die Belichtungszeit des Sensors; den Blendenwert des Sensors; die Verstärkung des Sensors; die Projektionsintensität des Projektors; die Projektionsrichtung des Projektors; die Position von Umgebungslicht zu einem Zeitpunkt der Aufnahme; und die Richtung von Umgebungslicht zu einem Zeitpunkt der Aufnahme, um eine andere Aufnahmebedingung zu realisieren.A three-dimensional image measuring apparatus is provided for generating distance image data in which a distance from a sensor to an object is expressed by a pixel value based on pattern image data obtained by photographing a pattern with the sensor from a projector onto the object to be photographed is projected. The three-dimensional image measuring apparatus includes control means for supplementing a pixel having an unknown pixel value in distance image data obtained from pattern image data taken by the sensor with a pixel value of a distance image obtained from pattern image data taken by the sensor under another shooting condition. The controllers change at least one of the elements: the exposure time of the sensor; the aperture value of the sensor; the gain of the sensor; the projection intensity of the projector; the projection direction of the projector; the position of ambient light at a time of recording; and the direction of ambient light at a time of recording to realize another recording condition.

Description

TECHNISCHES GEBIETTECHNICAL AREA

Die vorliegende Erfindung bezieht sich auf ein dreidimensionales Bildmessgerät und ein Verfahren zum Messen einer dreidimensionalen Form eines Objekts durch Projizieren eines Musters auf das Objekt, Erfassen eines Bildes des von ihm reflektierten Lichts und Analysieren des reflektierten Lichts unter Verwendung eines dreidimensionalen Bildmessverfahrens, wie etwa eines räumlichen Kodierverfahrens.The present invention relates to a three-dimensional image measuring apparatus and method for measuring a three-dimensional shape of an object by projecting a pattern on the object, capturing an image of the light reflected therefrom, and analyzing the reflected light using a three-dimensional image measuring method such as a spatial image encoding method.

STAND DER TECHNIKSTATE OF THE ART

Das Fotografieren von reflektiertem Licht eines auf ein Objekt projizierten Musters mit einem Sensor, wie z.B. einer Kamera, kann ein Musterbild liefern, das ein reflektiertes Lichtbild des zu messenden Objekts ist, auf das ein vorbestimmtes Muster projiziert wird. Ist die Positionsbeziehung zwischen einem Projektor, der das Muster projiziert hat, und dem Sensor, der das Musterbild fotografiert hat, bekannt, kann durch die Analyse dieses Musterbildes der Abstand vom Sensor zum Objekt gemäß dem Triangulationsprinzip wiederhergestellt werden.Photographing reflected light of a pattern projected onto an object with a sensor, such as a laser. a camera, may provide a pattern image which is a reflected light image of the object to be measured, on which a predetermined pattern is projected. If the positional relationship between a projector that has projected the pattern and the sensor that has photographed the pattern image is known, by analyzing this pattern image, the distance from the sensor to the object can be restored according to the triangulation principle.

Im Allgemeinen entspricht dem ein dreidimensionales Bildmessverfahren, das als aktives Stereoverfahren bezeichnet wird, und dies umfasst ein räumliches Kodierungsverfahren, ein strukturiertes Lichtverfahren, ein optisches Schneideverfahren, ein Punktlicht-Projektionsverfahren und ein Schlitzlicht-Projektionsverfahren.In general, this corresponds to a three-dimensional image measuring method called an active stereo method, and this includes a spatial coding method, a structured light method, an optical cutting method, a point light projection method, and a slit light projection method.

Die Messung des Abstandes zum Objekt mit diesem dreidimensionalen Bildmessverfahren erfordert einen deutlichen Unterschied zwischen einem Pixelwert, der erhalten wird, wenn ein Element des Sensors das reflektierte Licht des auf das Objekt projizierten Musters empfängt, und einem Wert eines Pixelwertes eines anderen Elements, das nicht das reflektierte Licht empfängt. Diese Pixelwerte werden in Abhängigkeit von verschiedenen Faktoren bestimmt, wie etwa dem Umgebungslicht, das anders ist als das projizierte Muster, einer diffusen Reflexion von einem Oberflächenmaterial des Objekts, der Lichtintensität des Projektionsmusters und der Lichtempfindlichkeit des Sensors.The measurement of the distance to the object with this three-dimensional image measuring method requires a marked difference between a pixel value obtained when one element of the sensor receives the reflected light of the pattern projected on the object and a value of a pixel value of another element that does not receiving reflected light. These pixel values are determined depending on various factors, such as the ambient light other than the projected pattern, diffuse reflection from a surface material of the object, the light intensity of the projection pattern, and the photosensitivity of the sensor.

Wenn ein Muster auf ein schwarzes Objekt mit hoher diffuser Reflexion projiziert wird, kehrt nur reflektiertes Licht geringer Intensität zurück, was die Messung des Musters erschwert. In diesem Fall ist es notwendig, die vom Element des Sensors empfangene Lichtmenge zu erhöhen. Die Verlängerung der Belichtungszeit ist eine Möglichkeit, die empfangene Lichtmenge zu erhöhen. Durch die Verlängerung der Belichtungszeit wird die Messung jedoch stark vom Umgebungslicht beeinflusst. Beispielsweise wird bei der Projektion eines Musters auf ein weißes Objekt oder ein Objekt mit geringer diffuser Reflexion auch die Reflexion von Umgebungslicht oder Musterlicht als reflektiertes Licht von einem Teil zurückgegeben, auf welches das Muster nicht projiziert wird.When a pattern is projected onto a black object with high diffuse reflection, only low-intensity reflected light returns, making it difficult to measure the pattern. In this case, it is necessary to increase the amount of light received by the element of the sensor. The extension of the exposure time is one way to increase the amount of light received. However, extending the exposure time will greatly affect the measurement of ambient light. For example, when projecting a pattern on a white object or an object with little diffuse reflection, the reflection of ambient light or pattern light as reflected light is also returned from a part to which the pattern is not projected.

Auch in diesem Fall ist es schwierig, das Muster zu messen. Dies ist ein Beispiel dafür, dass es schwierig ist, ein schwarzes Objekt mit hohem diffusem Reflexionsgrad und ein weißes Objekt oder ein Objekt mit niedrigem diffusem Reflexionsgrad gleichzeitig zu messen. Aber auch wenn die vom Element des Sensors empfangene Lichtmenge auf andere Weise als durch eine Verlängerung der Belichtungszeit erhöht wird, tritt das gleiche Problem auf.Even in this case, it is difficult to measure the pattern. This is an example of how difficult it is to simultaneously measure a black object with high diffuse reflectance and a white object or object with low diffuse reflectance. However, even if the amount of light received by the element of the sensor is increased other than by increasing the exposure time, the same problem arises.

Als Verfahren zur Verwendung bei der dreidimensionalen Bildmessung einer solchen Szene, in der mehrere Objekte mit unterschiedlichen Oberflächenzuständen nebeneinander existieren, gibt es ein Verfahren zur Wiederherstellung eines Abstands auf der Basis von einem Musterbild mit Mehrfachbelichtungen (Bild mit mehreren Verschlusszeiten), bei dem in unterschiedlichen Belichtungszeiten aufgenommene Musterbilder miteinander zusammengesetzt werden (vgl. Patentdokument 1).As a method for use in the three-dimensional image measurement of such a scene in which a plurality of objects having different surface states coexist, there is a method of restoring a distance based on a multiple exposure pattern image (multiple shutter speed image) at different exposure times recorded pattern images are assembled together (see Patent Document 1).

STAND DER TECHNIKSTATE OF THE ART

Patentdokument 1: Japanisches Patent JP 4 889 373 B1 Patent Document 1: Japanese Patent JP 4 889 373 B1

KURZBESCHREIBUNG DER ERFINDUNGBRIEF DESCRIPTION OF THE INVENTION

Mit der Erfindung zu lösende ProblemeProblems to be solved by the invention

Bei einem solchen dreidimensionalen Bildmessverfahren erfolgt die dreidimensionale Bildmessung durch ein räumliches Kodierungsverfahren unter Verwendung eines Musterbildes mit Mehrfachbelichtung, bei dem ein Musterbild mit kurzer Belichtungszeit und ein Musterbild mit langer Belichtungszeit zusammengesetzt werden. Es gibt jedoch ein Problem des Auftretens eines Pixels mit einem falschen Wert, d.h. des Auftretens einer fehlerhaften Messung aufgrund einer Verschlechterung der Kontinuität zwischen den Pixeln, die durch eine unzureichende Reichweite eines Lichtempfangselements der Kamera verursacht wird.In such a three-dimensional image measuring method, the three-dimensional image measurement is performed by a spatial coding method using a multiple exposure pattern image in which a short exposure time pattern image and a long exposure time pattern image are composed. However, there is a problem of the occurrence of a pixel having an incorrect value, i. the occurrence of erroneous measurement due to deterioration of the continuity between the pixels caused by an insufficient range of a light receiving element of the camera.

Ziel der vorliegenden Erfindung ist es, die oben genannten Probleme zu lösen, und Aufgabe der Erfindung ist es, ein dreidimensionales Bildmessgerät anzugeben, das in der Lage ist, bei einer Szene, in der es mehrere Objekte mit unterschiedlichen Oberflächenzuständen gibt, eine stabile Messung mit weniger Messunterbrechungen durchzuführen und zugleich fehlerhafte Messungen zu unterdrücken.The object of the present invention is to solve the above-mentioned problems, and an object of the invention is to provide a three-dimensional image measuring apparatus capable of stable measurement in a scene where there are a plurality of objects having different surface states perform less measurement interruptions and at the same time suppress erroneous measurements.

Mittel zum Lösen der Probleme Means of solving the problems

Gemäß einem Aspekt der vorliegenden Erfindung wird ein dreidimensionales Bildmessgerät zur Erzeugung von Distanzbilddaten angegeben, bei dem ein Abstand von einem Sensor zu einem Objekt durch einen Pixelwert ausgedrückt wird, basierend auf Musterbilddaten, die durch das Fotografieren eines Musters mit dem Sensor erhalten werden, wobei das Muster von einem Projektor auf das zu fotografierende Objekt projiziert wird.According to one aspect of the present invention, there is provided a three-dimensional image measuring apparatus for generating distance image data in which a distance from a sensor to an object is expressed by a pixel value based on pattern image data obtained by photographing a pattern with the sensor Pattern projected by a projector on the object to be photographed.

Das dreidimensionale Bildmessgerät weist eine Steuerungseinrichtung auf, die ein Pixel mit einem unbekannten Pixelwert in Distanzbilddaten, die aus von dem Sensor aufgenommenen Musterbilddaten gewonnen werden, mit einem Pixelwert eines Distanzbildes ergänzen, das aus von dem Sensor unter einer anderen Aufnahmebedingung aufgenommenen Musterbilddaten gewonnen wird.The three-dimensional image measuring apparatus has control means for supplementing a pixel having an unknown pixel value in distance image data obtained from pattern image data taken by the sensor with a pixel value of a distance image obtained from pattern image data taken by the sensor under another shooting condition.

Effekt der ErfindungEffect of the invention

Daher ist es mit dem dreidimensionalen Bildmessgerät gemäß der vorliegenden Erfindung möglich, in einer Szene, in der sich mehrere Objekte mit unterschiedlichen Oberflächenzuständen befinden, eine stabile Messung mit weniger Messausfall bei gleichzeitiger Unterdrückung von Fehlmessungen durchzuführen.Therefore, with the three-dimensional image measuring apparatus according to the present invention, it is possible to perform a stable measurement with less measurement failure while suppressing erroneous measurements in a scene where there are a plurality of objects having different surface states.

Figurenlistelist of figures

1 Fig. 10 is a block diagram showing a hardware configuration of a three-dimensional image measuring apparatus according to a first embodiment of the present invention;
2 is a block diagram illustrating the function of an information processing apparatus 3 according to 1 schematically shows;
3A FIG. 16 is a view showing a camera image 21 when a measurement object with the three-dimensional image measuring apparatus shown in FIG 1 photographed;
3B FIG. 16 is a view showing a distance image 22 when the measurement object with the three-dimensional image measuring apparatus shown in FIG 1 photographed;
4 shows an example of a pattern image having a positive pattern image 23 and a negative pattern image 24 used in a general spatial coding process;
5A Fig. 12 is a view of an example of an image showing that a taking result of the measuring object differs due to a different exposure time, and a view of an example of an image of an image 25 in case it is the (first) darkest one;
5B Fig. 15 is a view of an example of an image showing that a taking result of the measuring object differs due to a difference in exposure time, and a view of an example of an image of an image 26 in case it is the second darkest one;
5C Fig. 12 is a view of an example of an image showing that a taking result of the measuring object differs due to a difference in exposure time, and is a view of an example of an image of an image 27 when it is the third darkest;
5D FIG. 15 is a view of an example of an image showing that a taking result of the measuring object differs due to a difference in exposure time, and FIG. 16 is a view of an example of an image of an image 28 in case it is the fourth darkest, ie, a case it is the (first) brightest;
6A Fig. 16 shows an example of an image of a camera image 41 of a pattern image with a small light-receiving amount of a pixel;
6B FIG. 16 is a view showing an example of an image of a distance image 42 from the camera image 41 shown in FIG 6A shows;
7A Fig. 12 shows an example of a camera image 43 of a pattern image having a relatively high light-receiving amount of one pixel;
7B FIG. 16 is a view showing an example of an image of a distance image from the camera image 43 shown in FIG 7A shows;
8A FIG. 16 is a view showing an example of an image of a camera image of an object showing a measurement result of the three-dimensional image measuring apparatus according to FIG 1 is;
8B FIG. 14 is a view showing an example of an image of an original distance image based on a relatively short exposure time, which is a measurement result of the three-dimensional image measuring apparatus according to FIG 1 is;
8C FIG. 16 is a view showing an example of a distance image calculated by Eq. (2), which shows a measurement result of the three-dimensional image measuring apparatus according to FIG 1 is;
8D FIG. 14 is a view showing an example of a distance image calculated by equations (2) and (3), which is a measurement result of the three-dimensional image measuring apparatus according to FIG 1 is;
9 FIG. 11 is a flowchart showing a three-dimensional image measuring operation performed by the information processing apparatus 3 of FIG Three-dimensional image measuring device according to 1 to be carried out;
10 FIG. 15 is a flowchart showing a measurement reliability evaluation process (step S9) which is a subroutine according to FIG 9 is;
11 FIG. 15 is a flowchart showing a distance image composing method (step S10) which is a subroutine according to FIG 9 is;
12 Fig. 10 is a block diagram showing a hardware configuration of a three-dimensional image measuring apparatus according to a second embodiment of the present invention;
13 Fig. 10 is a block diagram showing a hardware configuration of a three-dimensional image measuring apparatus according to a third embodiment of the present invention;
14 FIG. 10 is a flowchart showing a three-dimensional image measuring process performed with an information processing apparatus 3 of the three-dimensional image measuring apparatus according to FIG 13 should be carried out and
15 FIG. 10 is a block diagram showing a hardware configuration of a three-dimensional image measuring apparatus according to a fourth embodiment of the present invention. FIG.

BESCHREIBUNG DER AUSFÜHRUNGSFORMENDESCRIPTION OF THE EMBODIMENTS

Ausführungsform 1Embodiment 1

1 ist ein Blockschaltbild, das eine Hardwarekonfiguration eines dreidimensionalen Bildmessgerätes gemäß einer ersten Ausführungsform der vorliegenden Erfindung zeigt. Gemäß 1 sind an Schnittstellen-Schaltungen 36 bzw. 37 eines Informationsverarbeitungsgerätes 3 eine Kamera 1, die ein Bild eines dreidimensionalen Objekts zur Ausgabe von Bilddaten aufnimmt, und ein Projektor 2, der eine vorbestimmte Lichtmenge auf das dreidimensionale Objekt projiziert, angeschlossen. Das Informationsverarbeitungsgerät 3 ist so konfiguriert, dass es Steuerungseinrichtungen, wie z.B. einen Computer oder einen Digitalrechner enthält. 1 FIG. 10 is a block diagram showing a hardware configuration of a three-dimensional image measuring apparatus according to a first embodiment of the present invention. FIG. According to 1 are at interface circuits 36 and 37 of an information processing device 3 a camera 1 which captures an image of a three-dimensional object for outputting image data, and a projector 2 which projects a predetermined amount of light onto the three-dimensional object. The information processing device 3 is configured to include control devices such as a computer or a digital computer.

Im Einzelnen weist das Informationsverarbeitungsgerät 3 Folgendes auf: eine Zentraleinheit (nachfolgend CPU genannt) 31, die eine dreidimensionale Bildvermessung durchführt; einen Lese-Speicher (nachfolgend ROM genannt) 32, der ein Programm des dreidimensionalen Bildvermessungsverfahrens speichert; einen Direktzugriffsspeicher (nachfolgend RAM genannt) 33, der temporär Ein- und Ausgangsdaten sowie Ein- und Ausgangssignale speichert; ein Eingabegerät 34, das z.B. eine Maus, eine Tastatur, eine Kamera zur Gestenerkennung, einen montierbaren Beschleunigungssensor und dergleichen enthält und eine Bedienung eines Bedieners empfängt; und ein Anzeigegerät 35, wie z.B. ein Display, das dem Bediener Informationen anzeigt. Diese Komponenten 31 bis 37 sind über einen Bus 30 verbunden.In detail, the information processing apparatus has 3 Comprising: a central processing unit (hereinafter referred to as CPU) 31 which performs three-dimensional image measurement; a reading memory (hereinafter called ROM) 32 which stores a program of the three-dimensional image measuring method; a random access memory (hereinafter called RAM) 33 which temporarily stores input and output data and input and output signals; an input device 34 which includes, for example, a mouse, a keyboard, a gesture recognition camera, a mountable acceleration sensor, and the like and receives an operation of an operator; and a display device 35 , such as a display that displays information to the operator. These components 31 to 37 are over a bus 30 connected.

Die Schnittstellen-Schaltung 36 wandelt Daten und Signale der Kommunikation zwischen Kamera 1 und CPU 31 um. Zusätzlich führt die Schnittstellen-Schaltung 37 eine Konvertierung o.ä. eines Befehlssignals von der CPU 31 zum Projektor 2 durch. Konkret gibt die CPU 31 ein Musterprojektions-Befehlssignal aus, das die Projektion eines vorbestimmten Musters, das später detailliert beschrieben wird, an den Projektor 2 über die Schnittstellen-Schaltung 37 anweist. Zusätzlich erzeugt die CPU 31 ein Fotografieranweisungssignal, das über die Schnittstellen-Schaltung 36 zur Kamera 1 ausgegeben wird. Als Reaktion darauf gibt die Kamera 1 Musterbilddaten, also Bilddaten eines fotografierten vorbestimmten Musters, und hochfrequente Musterbilddaten der Musterbilddaten an die CPU 31 über die Schnittstellen-Schaltung 36 aus.The interface circuit 36 converts data and signals of communication between camera 1 and CPU 31 around. In addition, the interface circuit 37 performs a conversion or the like. a command signal from the CPU 31 to the projector 2 by. Specifically, the CPU gives 31 a pattern projection command signal, which is the projection of a predetermined pattern, which will be described in detail later, to the projector 2 instructs via the interface circuit 37. In addition, the CPU generates 31 a photographing instruction signal transmitted through the interface circuit 36 to the camera 1 is issued. In response, the camera gives 1 Pattern image data, that is, image data of a photographed predetermined pattern, and high-frequency pattern image data of the pattern image data to the CPU 31 via the interface circuit 36.

Das dreidimensionale Bildmessgerät gemäß der vorliegenden Ausführungsform setzt Distanzbilder miteinander zusammen (Bilder, in denen ein Abstand von der Kamera 1 zum Messobjekt durch Pixelwerte ausgedrückt wird), die aus unter verschiedenen Aufnahmebedingungen aufgenommenen Musterbildern gewonnen werden. Zu diesem Zeitpunkt wird für ein Pixel mit einem unbekannten Pixelwert in einem Distanzbild, das aus einem unter einer fotografischen Bedingung aufgenommenen Musterbild mit einer relativ kleinen empfangenen Lichtmenge des Pixels erhalten wird, mit einem Pixelwert eines Distanzbildes, das aus einem unter einer fotografischen Bedingung aufgenommenen Musterbild mit einer relativ großen empfangenen Lichtmenge des Pixels erhalten wird, eine Ergänzung durchgeführt. Zusätzlich wird zu diesem Zeitpunkt das Zusammensetzverfahren für ein Pixel mit hoher Messzuverlässigkeit und ein Pixel mit niedriger Messzuverlässigkeit einer hochfrequenten Komponente im Muster, geändert.The three-dimensional image measuring apparatus according to the present embodiment combines distance images with each other (images in which a distance from the camera 1 to the measurement object expressed by pixel values) obtained from pattern images taken under different recording conditions. At this time, for a pixel having an unknown pixel value in a distance image obtained from a pattern image taken under a photographic condition with a relatively small amount of received light received by the pixel, a pixel value of a distance image consisting of a pattern image taken under a photographic condition is obtained with a relatively large amount of received light of the pixel, a supplement is performed. In addition, at this time, the composition method for a pixel having high measurement reliability and a pixel having low measurement reliability of a high-frequency component in the pattern are changed.

Die Kamera 1 ist eine digitale Kamera zur Ausgabe von Bilddaten an das Informationsverarbeitungsgerät 3, die durch das Fotografieren eines Musters eines vom Projektor 2 projizierten dreidimensionalen Objekts aufgenommen werden. Wenn die Kamera 1 jedoch eine Kommunikationsfunktion hat, um die Aufnahmeanweisung vom Informationsverarbeitungsgerät 3 zu empfangen und das fotografierte Musterbild an das Informationsverarbeitungsgerät 3 zurückzugeben, kann die Kamera 1 auch eine Lochkamera, eine Entfernungsmesser-Kamera oder eine View-Kamera sein. Wenn ein Musterbild fotografiert werden kann, ist es auch möglich, eine mit einem Mikrolinsenarray ausgestattete Lichtfeldkamera zur Abschätzung der Strahlrichtung des in eine Linse einfallenden Lichts zu verwenden.The camera 1 is a digital camera for outputting image data to the information processing apparatus 3 by photographing a pattern one from the projector 2 projected three-dimensional object. If the camera 1 however, has a communication function to the receiving instruction from the information processing apparatus 3 to receive and the photographed pattern image to the information processing device 3 can return the camera 1 also a pinhole camera, a rangefinder camera or a view camera. If a pattern image can be photographed, it is also possible to use a light field camera equipped with a microlens array for Estimation of the beam direction of the light incident in a lens.

Der Projektor 2 empfängt einen Musterprojektionsbefehl vom Informationsverarbeitungsgerät 3 und strahlt ein vorbestimmtes Muster auf ein dreidimensionales Objekt. Hierzu kann Folgendes Verwendung finden: ein CRT-Projektor; ein Flüssigkristallprojektor; ein digitaler Lichtverarbeitungs-Projektor; ein Flüssigkristallelement vom Reflexionstyp Projektor; ein Anzeigeelement vom Reflexionstyp Projektor unter Verwendung eines Beugungsphänomens; ein Laser, ein Beugungsgitter und ein Polygonspiegel; und ein Laser mit einem Antriebsgerät, das die Beleuchtungsposition verändert.The projector 2 receives a pattern projection command from the information processing apparatus 3 and emits a predetermined pattern on a three-dimensional object. The following can be used: a CRT projector; a liquid crystal projector; a digital light processing projector; a reflection type liquid crystal element projector; a reflection-type display element using a diffraction phenomenon; a laser, a diffraction grating and a polygon mirror; and a laser with a drive unit that changes the lighting position.

2 ist ein Blockschaltbild, das die Funktion des Informationsverarbeitungsgerätes 3 gemäß 1 eine schematisch zeigt. Das Informationsverarbeitungsgerät 3 ist gemäß 2 so konfiguriert, dass es Folgendes aufweist:

(1) eine Projektionsmuster-Steuereinheit 10, die ein Musterprojektions-Befehlssignal zur Projektion eines vorbestimmten Musters an den Projektor 2 ausgibt;
(2) eine Bildaufnahme-Steuereinheit 11, die zu einem mit dem Musterprojektions-Befehlssignal der Projektionsmuster-Steuereinheit 10 synchronisierten Zeitpunkt ein Aufnahme-Befehlssignal an die Kamera 1 ausgibt;
(3) eine Distanz-Wiederherstellungseinheit 12, die einen Abstand zwischen der Kamera 1 und dem Objekt, basierend auf dem von der Kamera 1 aufgenommenen Musterbild als Distanzbilddaten digitaler Informationen wiederherstellt;
(4) eine Messzuverlässigkeits-Auswerteeinheit 13, die die Zuverlässigkeit der Entfernungsschätzung jedes Pixels bewertet, basierend auf den von der Distanz-Wiederherstellungseinheit 12 wiederhergestellten Distanzbilddaten und den von der Kamera 1 aufgenommenen hochfrequenten Musterbilddaten (ein Bild, das durch Fotografieren eines Musters mit feinen Merkmalen in einer Vielzahl von vom Projektor 2 projizierten Mustertypen erhalten wird); und
(5) eine Distanzbild-Zusammensetzeinheit 14, die eine Vielzahl von Distanzbildern miteinander zusammensetzt, um ein Pixel mit einem unbekannten Pixelwert und ein Pixel mit einem falschen Pixelwert in Bezug auf einen tatsächlichen Abstand zwischen der Kamera und dem Objekt zu reduzieren, basierend auf einer Vielzahl von durch die Distanz-Wiederherstellungseinheit 12 wiederhergestellten Distanzbilddaten und basierend auf einer Messzuverlässigkeits-Karte der Distanzbilddaten, die durch die Messzuverlässigkeits-Auswerteeinheit 13 hergestellt wird.

2 is a block diagram illustrating the function of the information processing device 3 according to 1 a schematic shows. The information processing device 3 is according to 2 configured to have:

(1) a projection pattern control unit 10 including a pattern projection command signal for projecting a predetermined pattern to the projector 2 outputs;
(2) An image capture control unit 11 associated with the pattern projection command signal of the projection pattern control unit 10 synchronized a recording command signal to the camera 1 outputs;
(3) a distance restoration unit 12 taking a distance between the camera 1 and the object based on that of the camera 1 restores captured pattern image as distance image data of digital information;
(4) a measurement reliability evaluation unit 13 which evaluates the reliability of the distance estimation of each pixel based on that of the distance restoration unit 12 restored distance image data and that of the camera 1 recorded high-frequency pattern image data (an image obtained by photographing a pattern with fine features in a variety of from the projector 2 projected pattern types is obtained); and
(5) a distance image composing unit 14 which composes a plurality of distance images with each other to reduce a pixel having an unknown pixel value and a pixel having a wrong pixel value with respect to an actual distance between the camera and the object based on a plurality of the distance restoration unit 12 recovered distance image data and based on a measurement reliability map of the distance image data generated by the measurement reliability evaluation unit 13 will be produced.

Die Projektionsmuster-Steuereinheit 10 und die Bildaufnahme-Steuereinheit 11 werden unter Verwendung eines Synchronisationssignals gesteuert, um das Timing des Musterprojektions-Befehlssignals und des Aufnahme-Befehlssignals einzustellen. Hierdurch können Bilddaten von synchronisierten Musterbildern geliefert werden.The projection pattern control unit 10 and the image capture controller 11 are controlled using a synchronization signal to adjust the timing of the pattern projection command signal and the capture command signal. This allows image data to be delivered from synchronized pattern images.

3A ist eine Ansicht, die ein Kamerabild 21 zeigt, wenn ein Messobjekt mit dem dreidimensionalen Bildmessgerät gemäß 1 fotografiert wird. Zusätzlich ist 3B eine Ansicht, die ein Distanzbild 22 zeigt, wenn das Messobjekt mit dem dreidimensionalen Bildmessgerät gemäß 1 fotografiert wird. Im Kamerabild 21 gemäß 3A wird die Lichtintensität, die entsprechend dem Reflexionsgrad des Materials des Objekts reflektiert wird, in einem Pixelwert reflektiert, so dass ein schwarzes Objekt schwarz und ein weißes Objekt weiß ist. In dem, dem Kamerabild 21 entsprechenden Distanzbild 22 gemäß 3B wird dagegen der Abstand von der Kamera 1 zum Objekt als Pixelwert ausgedrückt, so dass das Objekt in der Nähe der Kamera 1 hell und das entfernte Objekt schwarz dargestellt wird. 3A is a view that is a camera image 21 shows when a measurement object with the three-dimensional image measuring device according to 1 is photographed. In addition is 3B a view that is a distance image 22 shows when the measurement object with the three-dimensional image measuring device according to 1 is photographed. In the camera picture 21 according to 3A For example, the light intensity reflected according to the reflectance of the material of the object is reflected in a pixel value, so that a black object is black and a white object is white. In that, the camera picture 21 corresponding distance image 22 according to 3B in contrast, the distance from the camera 1 to the object expressed as a pixel value, leaving the object near the camera 1 bright and the removed object is displayed in black.

4 zeigt ein Beispiel für ein Musterbild mit einem positiven Musterbild 23 und einem negativen Musterbild 24, die in einem allgemeinen räumlichen Kodierungsverfahren verwendet werden. Das heißt, 4 zeigt ein Bild einer Vielzahl von binären Mustern, die in einem allgemeinen räumlichen Kodierungsverfahren verwendet werden. Wenn ein Schlitzmuster in vertikaler Richtung ausgestrahlt wird, so wird der beleuchtete Teil hell und der nicht beleuchtete Teil dunkel dargestellt. Wie in 4 dargestellt, werden Schlitzmuster mit mehreren verschiedenen Frequenzbändern ausgestrahlt; es wird ein schmales Spaltmuster entsprechend der Breite des Spalts als Hochfrequenz-Musterbild und ein breites Spaltmuster als Niederfrequenz-Musterbild bezeichnet. 4 shows an example of a pattern image with a positive pattern image 23 and a negative pattern image 24 used in a general spatial coding method. This means, 4 Fig. 12 shows an image of a plurality of binary patterns used in a general spatial coding method. If a slit pattern is emitted in the vertical direction, the illuminated part is bright and the non-illuminated part is dark. As in 4 shown, slot patterns are emitted with several different frequency bands; a narrow slit pattern corresponding to the width of the slit is called a high-frequency pattern image, and a wide slit pattern is called a low-frequency pattern image.

Um einen Messfehler beim räumlichen Kodierungsverfahren zu unterdrücken, wird zusätzlich ein Paar von Schlitzmustern mit entgegengesetzten Vorzeichen des binären Musters verwendet (d.h. Bilddaten eines Paares, die durch Invertierung von Helligkeit und Dunkelheit des fotografierten Musters erhalten werden). In diesem Fall wird ein Paar Musterbilder dieses Paares als positives Musterbild 23 und ein weiteres Paar Musterbilder als negatives Musterbild 24 bezeichnet.In addition, in order to suppress a measurement error in the spatial coding method, a pair of slot patterns having opposite signs of the binary pattern (ie, picture data of a pair obtained by inverting the brightness and darkness of the photographed pattern) are used. In this case, a pair of pattern images of this pair becomes a positive pattern image 23 and another pair of pattern images as a negative pattern image 24 designated.

Die Distanz-Wiederherstellungseinheit 12 stellt einen Abstand einschließlich des Abstands von der Kamera 1 zum Objekt wieder her, basierend auf dem durch die Bildaufnahme-Steuereinheit 11 erhaltenen Musterbild. Im Distanz-Wiederherstellungsergebnis ist es möglich, ein dreidimensionales Objekt als Punktwolke auszudrücken, die ein Satz von Punktgruppen ist, aber das Ausdrücken des dreidimensionalen Objekts als Distanzbilddaten ermöglicht die Nutzung einer Bildverarbeitung mit einer kurzen Bearbeitungszeit.The distance recovery unit 12 sets a distance including the distance from the camera 1 to the object, based on the image acquisition control unit 11 obtained pattern image. In the distance restoration result, it is possible to express a three-dimensional object as a point cloud, which is a set of point groups, but expressing the point Three-dimensional object as distance image data allows the use of image processing with a short processing time.

Die Messzuverlässigkeits-Auswerteeinheit 13 quantifiziert die Möglichkeit des Auftretens einer Messung mit einem unbekannten oder falschen Pixelwert in jedem Pixel des von der Distanz-Wiederherstellungseinheit 12 wiederhergestellten Distanzbildes von der Kamera 1 zum Objekt. Dazu werden unter den von der Bildaufnahme-Steuereinheit 11 aufgenommenen Musterbilddaten hochfrequente Musterbilddaten verwendet. Da es sich bei einem Hochfrequenzmuster um ein enges Muster handelt, neigt das Muster dazu, entsprechend einer Änderung der Intensität des Umgebungslichts oder des reflektierten Lichts des Musterlichts selbst zu verschwinden.The measurement reliability evaluation unit 13 quantifies the possibility of the occurrence of a measurement with an unknown or incorrect pixel value in each pixel of the distance restoration unit 12 restored distance image from the camera 1 to the object. These are among those of the image acquisition control unit 11 recorded pattern image data used high-frequency pattern image data. Since a high-frequency pattern is a narrow pattern, the pattern tends to disappear in accordance with a change in the intensity of the ambient light or the reflected light of the pattern light itself.

Insbesondere dann, wenn die Intensität des reflektierten Lichts stark ist, werden nicht nur das Pixel, das das reflektierte Licht direkt empfängt, gesättigt, sondern auch die Pixel um dieses Pixel herum, was zu einem weiten Bereich von Fehlmessungen führt. Da das Hochfrequenzmuster leicht durch Schwankungen des reflektierten Lichts beeinflusst wird, eignet sich die Analyse seines Zustands zur Beurteilung der Messzuverlässigkeit.In particular, when the intensity of the reflected light is strong, not only the pixel that directly receives the reflected light saturates, but also the pixels around that pixel, resulting in a wide range of erroneous measurements. Since the high-frequency pattern is easily affected by fluctuations in the reflected light, the analysis of its condition is suitable for evaluating measurement reliability.

In diesem Fall wird eine Messzuverlässigkeits-Karte R_PN wie folgt definiert. $R_{P N} = | I_{H i g h}^{P} - I_{H i g h}^{N} |$

In this case, a measurement reliability map R _PN is defined as follows.

R_{P N} = | I_{H i G H}^{P} - I_{H i G H}^{N} |

Hier sind I^p _High hochfrequente positive Musterbilddaten und I^N _High hochfrequente negative Musterbilddaten. Ein extremer Unterschied besteht ursprünglich in den Werten der jeweiligen Pixel der hochfrequenten positiven Musterbilddaten und der hochfrequenten negativen Musterbilddaten, jedoch tritt kein Unterschied auf in Abhängigkeit vom Einfluss von Umgebungslicht oder von der Intensität des reflektierten Lichts des Musterlichts. Dies entspricht der Tatsache, dass das Hochfrequenzmuster nicht beobachtet werden kann. Das heißt, wenn ein Wert der Messzuverlässigkeits-Karte R_PN sich zu 0 ergibt oder kleiner als ein vorbestimmter Schwellenwert ist (z.B. ein positiver Wert nahe 0 (Null), z.B. 0,01), kann man feststellen, dass die Messzuverlässigkeit bemerkenswert niedrig ist.Here, I ^p _{High are} high-frequency positive pattern image data and I ^N _{High are} high-frequency negative pattern image data. An extreme difference is originally in the values of the respective pixels of the high-frequency positive pattern image data and the high-frequency negative pattern image data, but no difference occurs depending on the influence of ambient light or the intensity of the reflected light of the pattern light. This corresponds to the fact that the high-frequency pattern can not be observed. That is, when a value of the measurement reliability map R _PN becomes 0 or less than a predetermined threshold (eg, a positive value near 0 (zero), eg, 0.01), it can be said that the measurement reliability is remarkably low ,

Die Distanzbild-Zusammensetzeinheit 14 setzt Distanzbilder zusammen, die unter verschiedenen Aufnahmebedingungen aufgenommen werden, und korrigiert ein Pixel mit einem unbekannten Pixelwert und ein Pixel mit einem anderen Pixelwert als dem tatsächlichen Abstand zwischen Kamera 1 und dem Objekt unter der jeweiligen Aufnahmebedingung. Eine andere Aufnahmebedingung ist es, die Lichtmenge, die von einem Element der Kamera empfangen wird, zu verändern, das Musterbild zu fotografieren und das Distanzbild wiederherzustellen.The distance image composing unit 14 Composes distance images taken under different shooting conditions and corrects a pixel with an unknown pixel value and a pixel with a different pixel value than the actual distance between camera 1 and the object under the respective shooting condition. Another shooting condition is to change the amount of light received by an element of the camera, to photograph the pattern image, and to restore the distance image.

In der Gerätekonfiguration gemäß 1 verändert das Informationsverarbeitungsgerät 3: die Belichtungszeit der Kamera 1 (z.B. durch Verwendung einer ersten Belichtungszeit und einer zweiten Belichtungszeit länger als die erste Belichtungszeit); den Blendenwert der Kamera 1; die Verstärkung der Kamera 1; die Projektionsintensität des Projektors 2; und die Projektionsrichtung des Projektors 2, was es ermöglicht, die unterschiedlichen Aufnahmebedingungen zu realisieren.In the device configuration according to 1 changes the information processing device 3 : the shutter speed of the camera 1 (eg, by using a first exposure time and a second exposure time longer than the first exposure time); the aperture value of the camera 1 ; the amplification of the camera 1 ; the projection intensity of the projector 2 ; and the projection direction of the projector 2 , which makes it possible to realize the different recording conditions.

5A ist eine Ansicht eines Beispiels eines Bildes, das zeigt, dass sich ein Aufnahmeergebnis des Messobjekts aufgrund einer unterschiedlichen Belichtungszeit unterscheidet, und eine Ansicht eines Beispiels eines Bildes eines Bildes 2, wenn es das dunkelste ist. Darüber hinaus ist 5B eine Ansicht eines Beispiels eines Bildes, das zeigt, dass sich ein Aufnahmeergebnis des Messobjekts aufgrund einer unterschiedlichen Belichtungszeit unterscheidet, und ist eine Ansicht eines Beispiels eines Bildes eines Bildes 26 in dem Fall, dass es das zweitdunkelste ist. 5A FIG. 13 is a view of an example of an image showing that a taking result of the measuring object differs due to a different exposure time, and a view of an example of an image of an image 2 when it's the darkest. In addition, it is 5B 10 is a view of an example of an image showing that a taking result of the measuring object is different due to a different exposure time, and is a view of an example of an image of an image 26 in case it is the second darkest one.

Weiterhin ist 5C eine Ansicht eines Beispiels eines Bildes, das zeigt, dass sich ein Aufnahmeergebnis des Messobjekts aufgrund einer unterschiedlichen Belichtungszeit unterscheidet, und ist eine Ansicht eines Beispiels eines Bildes eines Bildes 27 in dem Fall, dass es das drittdunkelste ist.Furthermore is 5C 11 is a view of an example of an image showing that a taking result of the measuring object differs due to a different exposure time, and is a view of an example of an image of an image 27 in the case that it is the third darkest.

Darüber hinaus ist 5D ein Beispiel für ein Bild, das zeigt, dass sich ein Aufnahmeergebnis des Messobjekts aufgrund einer unterschiedlichen Belichtungszeit unterscheidet, und ist ein Beispiel für ein Bild eines Bildes 28 in dem Fall, dass es das viertdunkelste ist, d.h. ein Fall, dass es das erst-hellste ist. Das heißt, 5A bis 5D sind Bilder von fotografierten Bildern desselben Objekts mit unterschiedlichen Belichtungszeiten und unter unterschiedlichen Aufnahmebedingungen.In addition, it is 5D an example of an image showing that a photographing result of the measuring object differs due to a different exposure time, and is an example of an image of an image 28 in the case that it is the fourth darkest one, that is, a case that it is the first brightest is. This means, 5A to 5D are images of photographed images of the same object with different exposure times and under different recording conditions.

Die Belichtungszeit des Bildes gemäß 5A ist die kürzeste, und die Belichtungszeit wird immer größer von 5B, 5C bis 5D. Bei einem Bild mit relativ kurzer Belichtungszeit ist es schwierig, einen Unterschied zwischen einem schwarzen Objekt und der Umgebung zu festzustellen; bei einem Bild mit langer Belichtungszeit ist es dagegen schwierig, einen Unterschied zwischen einem weißen Objekt und der Umgebung zu festzustellen.The exposure time of the image according to 5A is the shortest, and the exposure time is getting bigger by 5B . 5C to 5D , In an image with a relatively short exposure time, it is difficult to detect a difference between a black object and the environment; on the other hand, with a long exposure image, it is difficult to detect a difference between a white object and the environment.

6A zeigt ein Beispiel eines Kamerabildes 41 eines Musterbildes mit einer geringen Lichtaufnahmemenge eines Pixels. Zusätzlich ist 6B eine Ansicht, die ein Beispiel für ein Bild eines Distanzbildes 42 aus dem Kamerabild 41 gemäß 6A zeigt, und 7A eine Ansicht, die ein Beispiel für ein Bild eines Kamerabildes 43 eines Musterbildes mit einer relativ hohen Lichtaufnahmemenge eines Pixels zeigt. Schließlich ist 7B eine Ansicht, die ein Beispiel für ein Bild eines Distanzbildes aus dem Kamerabild 43 gemäß 7A zeigt. 6A shows an example of a camera image 41 a pattern image with a low light-receiving amount of a pixel. In addition is 6B a view that gives an example of a picture of a distance image 42 from the camera image 41 according to 6A shows, and 7A a view that is an example of an image of a camera image 43 a pattern image with a relatively high light receiving amount of a pixel. Finally is 7B a view showing an example of an image of a distance image from the camera image 43 according to 7A shows.

Kleine schwarze Kreise im Distanzbild 42 gemäß 6B zeigen Pixel mit unbekanntem Pixelwert an. Wenn die Belichtungszeit kurz ist, dann ist ein Pixelwert eines weißen Objektes leicht zu erhalten, aber ein Pixelwert für ein schwarzes Objekt ist eher unbekannt. Ein texturähnlicher Teil in einem Distanzbild 44 gemäß 7B weist auf einen falschen Pixelwert hin. Wenn die Belichtungszeit lang ist, wird der Pixelwert eines schwarzen Objektes genau ermittelt, aber der Pixelwert eines weißen Objektes neigt dazu, falsch zu sein. Bei einem Pixel mit unbekanntem Pixelwert kann eine Ergänzung durch periphere Pixel vorgenommen werden, aber ein Pixel mit falschem Pixelwert kann nicht ergänzt werden, und das Auftreten eines schwerwiegenden Problems, wie z.B. die Kollision von Robotern, ist in der Praxis wahrscheinlich. Durch das Zusammensetzen von Distanzbildern mit einander mit der folgenden Strategie wird daher eine hohe Qualität der Distanzbilddaten erreicht.Small black circles in the distance image 42 according to 6B display pixels with unknown pixel value. If the exposure time is short, then a pixel value of a white object is easy to obtain, but a pixel value for a black object is rather unknown. A texture-like part in a distance image 44 according to 7B indicates an incorrect pixel value. When the exposure time is long, the pixel value of a black object is accurately detected, but the pixel value of a white object tends to be wrong. A pixel with an unknown pixel value can be supplemented with peripheral pixels, but a pixel with a wrong pixel value can not be supplemented, and the occurrence of a serious problem, such as the collision of robots, is likely in practice. Therefore, by composing distance images with each other with the following strategy, a high quality of the distance image data is achieved.

Die Distanzbild-Zusammensetzeinheit 14 setzt Distanzbilder miteinander zusammen, um Distanzbilddaten Ifusion (x, y) entsprechend der folgenden Gleichung zu erzeugen, und gibt die Distanzbilddaten Ifusion (x, y) aus. $I_{f u s i o n (x, y)} = {\begin{matrix} I_{L o w} (x, y) & w e n n & I_{L o w} (x, y) \neq 0 \\ I_{H i g h} (x, y) & ^{s o n s t} \end{matrix}$

The distance image composing unit 14 assembles distance images together to produce distance image data Ifusion (x, y) according to the following equation, and outputs the distance image data Ifusion (x, y).

I_{f u s i O n (x . y)} = {\begin{matrix} I_{L O w} (x . y) & w e n n & I_{L O w} (x . y) \neq 0 \\ I_{H i G H} (x . y) & ^{s O n s t} \end{matrix}

Hier bedeutet I_Low Distanzbilddaten mit einer geringen Lichtaufnahmemenge eines Pixelwertes, basierend auf einem unter einer bestimmten Aufnahmebedingung aufgenommenen Musterbild. I_High sind Distanzbilddaten mit einer hohen empfangenen Lichtaufnahmemenge eines Pixelwertes, basierend auf einem unter anderen Aufnahmebedingungen aufgenommenen Musterbild.Here, I means _low distance image data having a low light receiving amount of a pixel value based on a pattern image taken under a certain shooting condition. I _high are distance image data having a high received light receiving amount of a pixel value based on a pattern image taken under other shooting conditions.

Wenn das Distanzbild zweimal durch Änderung der Belichtungszeit aufgenommen wird, entsprechen Distanzbilddaten basierend auf der Aufnahme mit kurzer Belichtungszeit I_Low, während Distanzbilddaten basierend auf der Aufnahme mit langer Belichtungszeit I_High entsprechen. In diesem Fall bedeutet (x, y) eine zweidimensionale Position eines Pixels im Bild.When the distance image is taken twice by changing the exposure time, distance image data based on the short exposure time image I corresponds to _Low , while distance image data based on the long exposure time image corresponds to I _High . In this case, (x, y) means a two-dimensional position of a pixel in the image.

Da ein Muster in einem Musterbild mit geringer empfangener Lichtmenge verschwindet, ist ein berechenbarer Pixelwert der Distanzbilddaten eher unbekannt. Der Einfluss von Umgebungslicht kann aber auch unterdrückt werden, was das Lichtempfangsrauschen (im folgenden Rauschen genannt) reduziert, so dass der Wert des Pixels, in dem ein Pixelwert der Distanzbilddaten berechnet werden kann, tendenziell genau ist. Andererseits nimmt, da ein Musterbild mit einer hohen empfangenen Lichtmenge stark von Umgebungslicht beeinflusst wird, das Rauschen zu, und der Pixelwert der Distanzbilddaten neigt dazu, falsch zu sein.Since a pattern disappears in a pattern image with a small amount of light received, a calculable pixel value of the distance image data is rather unknown. However, the influence of ambient light can also be suppressed, which reduces the light-receiving noise (hereinafter called noise), so that the value of the pixel in which a pixel value of the distance image data can be calculated tends to be accurate. On the other hand, since a pattern image having a high amount of received light is strongly influenced by ambient light, the noise increases, and the pixel value of the distance image data tends to be wrong.

Das heißt, die Distanzbilddaten I_Low haben weniger Rauschen, aber es gibt viele Punkte, an denen der Pixelwert unbekannt ist. Die Distanzbilddaten I_High haben mehr Rauschen. Es besteht jedoch die Möglichkeit, dass der Pixelwert eines Pixels mit einem unbekannten Pixelwert in den Distanzbilddaten I_Low aus der Distanzbilddaten I_High hergeleitet werden kann.That is, the distance image data I _Low has less noise, but there are many points where the pixel value is unknown. The distance image data I _High has more noise. However, there is a possibility that the pixel value of a pixel having an unknown pixel value in the distance image data I _Low may be derived from the distance image data I _High .

Daher ist es, wie in Gleichung (2) gezeigt, möglich, mit einer Strategie der Verwendung der Distanzbilddaten I_Low als Referenz und Ergänzung der Pixel, deren Pixelwert von I_Low unbekannt ist (in Gleichung (2), I_Low (x, y) = 0 entspricht einem Pixel mit unbekanntem Pixelwert) mit einem Pixelwert der Distanzbilddaten I_Hig, hochwertige Distanzbilddaten I_fusion (x, y) mit weniger Rauschen und weniger Pixel mit unbekanntem Pixelwert zu erhalten.Therefore, as shown in Equation (2), it is possible with a strategy of using the distance image data I _Low as a reference and supplementing the pixels whose pixel value of I _{Low is} unknown (in Equation (2), I _Low (x, y ) = 0 corresponds to a pixel of unknown pixel value) with a pixel _{value of} the distance _{image data} I _{Hig to obtain} high-quality distance _{image data} I _fusion (x, y) with less noise and fewer pixels with unknown pixel value.

Ist in diesem Fall der Pixelwert der Distanzbilddaten I_High für das Pixel mit einem unbekannten Pixelwert in den Distanzbilddaten I_Low falsch, wird auch das zusammengesetzte Ergebnis des Distanzbildes falsch. Ausgehend von der Messzuverlässigkeitskarte R_PN aus den hochfrequenten positiven Musterbilddaten I^P _High und den hochfrequenten negativen Musterbilddaten I^N _High, die bei der Berechnung der Distanzbilddaten I_High gewonnen werden, setzen sich die Distanzbilddaten I_fusion (x, y) wie folgt zusammen. ${I^{'}}_{H i g h} (x, y) = {\begin{matrix} I_{H i g h} (x, y) & w e n n & R_{P N} (x, y) \neq 0 \\ 0 & s o n s t \end{matrix}$

I_{f u s i o n (x, y)} = {\begin{matrix} I_{L o w} (x, y) & w e n n & I_{L o w} (x, y) \neq 0 \\ {I^{'}}_{H i g h} (x, y) & s o n s t \end{matrix}

In this case, if the pixel value of the distance image data I _High for the pixel having an unknown pixel value in the distance image data I _{Low is} false, the composite result of the distance image also becomes false. Starting from the measurement reliability map R _PN from the high-frequency positive pattern image data I ^P _high and the high-frequency negative pattern image data I ^N _High derived when calculating the distance image data I _high, the distance image data I _fusion (x, y) set up as follows.

{I^{'}}_{H i G H} (x . y) = {\begin{matrix} I_{H i G H} (x . y) & w e n n & R_{P N} (x . y) \neq 0 \\ 0 & s O n s t \end{matrix}

I_{f u s i O n (x . y)} = {\begin{matrix} I_{L O w} (x . y) & w e n n & I_{L O w} (x . y) \neq 0 \\ {I^{'}}_{H i G H} (x . y) & s O n s t \end{matrix}

Das heißt, ähnlich wie in Gleichung (2) wird unter Verwendung der Distanzbilddaten I_Low als Referenz, das Pixel, dessen Pixelwert der Distanzbilddaten I_Low unbekannt ist (in Gleichung (2), I_Low (x, y) = 0 entspricht einem Pixel mit unbekanntem Pixelwert), mit dem Pixelwert der Distanzbilddaten I_High ergänzt, aber der Pixelwert wird auf den Wert gleich 0 (der Pixelwert ist unbekannt) gesetzt, wenn der Wert der Messzuverlässigkeitskarte R_PN gleich dem Wert 0 ist. Dies kann hochwertige Distanzbilddaten I_fusion (x, y) mit weiter reduziertem Rauschen liefern.That is, similarly to the equation (2), using the distance image data I _Low as the reference, the pixel whose pixel value of the distance image data I _{Low is} unknown (in Equation (2), I _Low (x, y) = 0 corresponds to one pixel with unknown pixel value) is added to the pixel value of the distance image data I _High , but the pixel value is set to the value equal to 0 (the pixel value is unknown) when the value of the Measurement reliability map R _{PN is} equal to the value 0. This can provide high quality distance image data I _fusion (x, y) with further reduced noise.

In Gleichung (3) werden die Fälle in Abhängigkeit davon klassifiziert, ob der Wert der Messzuverlässigkeitskarte R_PN gleich 0 ist oder nicht. Es kann jedoch ein vorbestimmter Schwellenwert (z.B. ein Wert nahe 0 (Null), z.B. 0,01) definiert werden, um Fälle zu klassifizieren, je nachdem, ob der Wert der Messzuverlässigkeits-Karte R_PN größer oder kleiner als der Schwellenwert ist. In diesem Fall wird der Pixelwert auf 0 gesetzt, wenn der Wert kleiner als der Schwellenwert ist.In Equation (3), the cases are classified depending on whether the value of the measurement reliability map R _PN is 0 or not. However, a predetermined threshold (eg, a value near 0 (zero), eg, 0.01) may be defined to classify cases depending on whether the value of the measurement reliability map R _{PN is} greater or less than the threshold. In this case, the pixel value is set to 0 if the value is less than the threshold.

8A ist eine Ansicht, die ein Beispiel für ein Bild eines Kamerabildes eines Objekts zeigt, das ein Messergebnis des dreidimensionalen Bildmessgerätes gemäß 1 ist. Darüber hinaus ist 8B eine Ansicht, die ein Beispiel für ein Bild eines Originaldistanzbildes zeigt, das auf einer relativ kurzen Belichtungszeit basiert, die ein Messergebnis des dreidimensionalen Bildmessgerätes gemäß 1 ist. 8A FIG. 16 is a view showing an example of an image of a camera image of an object showing a measurement result of the three-dimensional image measuring apparatus according to FIG 1 is. In addition, it is 8B 10 is a view showing an example of an image of an original distance image based on a relatively short exposure time, which is a measurement result of the three-dimensional image measuring apparatus according to FIG 1 is.

Weiterhin ist 8C eine Ansicht, die ein Beispiel für ein Bild eines nach Gleichung (2) berechneten Distanzbildes zeigt, das ein Messergebnis des dreidimensionalen Bildmessgerätes gemäß 1 ist. Darüber hinaus ist 8D eine Ansicht, die ein Beispiel für ein Bild eines durch die Gleichungen (2) und (3) berechneten Distanzbildes zeigt, das ein Messergebnis des dreidimensionalen Bildmessgerätes gemäß 1 ist.Furthermore is 8C 10 is a view showing an example of an image of a distance image calculated by Equation (2), which shows a measurement result of the three-dimensional image measuring apparatus according to FIG 1 is. In addition, it is 8D 11 is a view showing an example of an image of a distance image calculated by the equations (2) and (3), which is a measurement result of the three-dimensional image measuring apparatus according to FIG 1 is.

In diesem Fall sind, bezogen auf 8A bis 8D, ein Bild auf der linken Seite ein schwarzes Objekt und ein Bild auf der rechten Seite ein Objekt mit einem weißen und einem metallischen Teil. In dem in 8A gezeigten Original-Distanzbild treten viele Pixel mit unbekanntem Pixelwert auf, aber in den Ergebnissen gemäß den Gleichungen (2), (3) und (4) werden in den Bildern gemäß 8C und 8D diese Pixel durch genaue Werte ergänzt. Bemerkenswerte Ergebnisse werden speziell für das schwarze Objekt gezeigt. Im Ergebnis gemäß 8C nach Gleichung (2) werden absolut falsche Pixelwerte in einem Teil des weißen Objekts und im Metallanteil gemischt. Das Ergebnis in 8D gemäß den Gleichungen (3) und (4) zeigt jedoch, dass die meisten davon entfernt werden .In this case, based on 8A to 8D , an image on the left side of a black object and an image on the right side an object with a white and a metallic part. In the in 8A In the original distance image shown, many pixels of unknown pixel value appear, but in the results according to the equations (2), (3) and (4), in the images in FIG 8C and 8D these pixels are supplemented by exact values. Notable results are shown especially for the black object. As a result, according to 8C According to equation (2), absolutely incorrect pixel values are mixed in a part of the white object and in the metal part. The result in 8D however, according to equations (3) and (4), most of them are removed.

Inzwischen kann auch bei Verwendung der Gleichungen (3) und (4) (8D) ein Pixel mit unbekanntem Pixelwert erhalten bleiben. In diesem Fall kann die Ergänzung aus den umliegenden Pixelwerten erfolgen. Während das Verfahren zur Ergänzung nicht begrenzt ist, kann auch ein bikubisches Verfahren oder ein B-Spline-Verfahren verwendet werden. Darüber hinaus ist es auch möglich, die Distanzbilder wiederholt miteinander zusammenzusetzen, indem man eine weitere andere Aufnahmebedingung verwendet und Gleichung (2) oder Gleichung (3) und Gleichung (4) verwendet.Meanwhile, even using equations (3) and (4) ( 8D ) a pixel with unknown pixel value is preserved. In this case, the supplement can be made from the surrounding pixel values. While the method of supplementation is not limited, a bicubic method or a B-spline method may also be used. Moreover, it is also possible to repeatedly combine the distance images by using another other recording condition and using equation (2) or equation (3) and equation (4).

9 ist ein Flussdiagramm, das einen dreidimensionalen Bildmessvorgang zeigt, der vom Informationsverarbeitungsgerät 3 des dreidimensionalen Bildmessgerätes gemäß 1 durchzuführen ist. Darüber hinaus ist 10 ein Flussdiagramm mit einem Messzuverlässigkeits-Auswertungsverfahren (Schritt S9), das ein Unterprogramm gemäß 9 ist. Weiterhin ist 11 ein Flussdiagramm mit einem Distanzbild-Zusammensetzverfahren (Schritt S10), das ein Unterprogramm gemäß 9 ist. 9 FIG. 11 is a flowchart showing a three-dimensional image measuring process performed by the information processing apparatus 3 of the three-dimensional image measuring device according to 1 is to perform. In addition, it is 10 a flowchart with a measurement reliability evaluation method (step S9), the subroutine according to 9 is. Furthermore is 11 a flowchart with a distance image composing method (step S10), the subroutine according to 9 is.

Bei dem dreidimensionalen Bildmessungsverfahren in 9 wird ein Musterbild durch zweimalige Beleuchtung mit einem Projektionsmuster (Schritte S2 bis S3, S6 bis S7) mit verschiedenen Fotografierparametern P1 und P2 (Schritte S1, S5) aufgenommen. In diesem Fall entsprechen die Parameter einer Belichtungszeit der Kamera 1, einem Blendenwert der Kamera 1, einer Verstärkung der Kamera 1, einer Projektionsintensität des Projektors 2, einer Projektionsrichtung des Projektors 2, einer Intensität von Umgebungslicht zum Zeitpunkt der Aufnahme und einer Änderung einer Richtung von Umgebungslicht zum Zeitpunkt der Aufnahme.In the three-dimensional image measuring method in 9 For example, a pattern image is taken by lighting twice with a projection pattern (steps S2 to S3, S6 to S7) with different photographing parameters P1 and P2 (steps S1, S5). In this case, the parameters correspond to an exposure time of the camera 1 , an aperture value of the camera 1 , a gain of the camera 1 , a projection intensity of the projector 2 , a projection direction of the projector 2 , an intensity of ambient light at the time of recording and a change in a direction of ambient light at the time of recording.

Der Fotografierparameter P1 gemäß 9 ist eine Parametereinstellung, die einen dunklen Helligkeitswert im gesamten aufgenommenen Bild bewirkt. Die Belichtungszeit der Kamera 1 ist kurz, und die Verstärkung der Kamera 1 ist auf klein eingestellt. Anschließend projiziert der Projektor 2 ein Projektionsmuster und die Kamera 1 fotografiert ein Musterbild während der Synchronisation. Aus dem fotografierten Musterbild wird ein Distanzbild erstellt.The photographing parameter P1 according to 9 is a parameter setting that causes a dark brightness value in the entire captured image. The exposure time of the camera 1 is short, and the gain of the camera 1 is set to small. Then project the projector 2 a projection pattern and the camera 1 shoots a pattern image during synchronization. From the photographed pattern image a distance image is created.

Anschließend werden die Parameter so eingestellt, dass ein hoher Helligkeitswert im gesamten fotografierten Bild entsteht und die Musterprojektion, das Fotografieren und die Distanzbilderstellung durchgeführt werden. Anhand der zweimaligen Aufnahme werden die Messzuverlässigkeit ausgewertet (Schritt S9) und die Distanzbilder miteinander zusammengesetzt (Schritt 10).Then, the parameters are set so that a high brightness value is formed throughout the photographed image, and the pattern projection, photographing and distance imaging are performed. The measurement reliability is evaluated on the basis of the two-time recording (step S9) and the distance images are combined with one another (step 10 ).

Bei der Messzuverlässigkeitsauswertung in 10 wird eine Berechnung durchgeführt, um einen Differenzabsolutwert zu gewinnen zwischen dem hochfrequenten Negativ-Musterbild und dem hochfrequenten Positiv-Musterbild beim Fotografieren mit dem Parameter P2, der so eingestellt ist, dass ein hoher Helligkeitswert im gesamten Objekt entsteht, um Differenzbilddaten mit einem Pixelwert des Differenzabsolutwertes zu erzeugen (Schritt S11).For the measurement reliability evaluation in 10 A calculation is made to obtain a differential absolute value between the high-frequency negative pattern image and the high-frequency positive pattern image when photographing with the parameter P2 set to produce a high brightness value in the entire object to obtain difference image data having a pixel value of the difference absolute value to generate (step S11).

Ein nicht ausgewähltes Pixel wird als zu verarbeitendes ausgewähltes Pixel gesetzt, um das Verfahren der folgenden Schritte S13 bis S15 durchzuführen. Ist der Differenz-Absolutwert des ausgewählten Pixels 0 (JA im Schritt S13), wird ein Wert der Messzuverlässigkeit des ausgewählten Pixels auf 0 gesetzt, und das Verfahren geht zum Schritt S16 über.An unselected pixel is set as the selected pixel to be processed to produce the Perform method of the following steps S13 to S15. If the difference absolute value of the selected pixel is 0 (YES in step S13), a value of the measurement reliability of the selected pixel is set to 0, and the process proceeds to step S16.

Ist dagegen der Differenz-Absolutwert des ausgewählten Pixels 1 (NEIN im Schritt S13), wird ein Wert der Messzuverlässigkeit des ausgewählten Pixels auf 1 (Schritt S15) gesetzt, und das Verfahren geht zum Schritt S16 über. Die Schritte S12 bis S14 werden für alle Pixel des zu verarbeitenden Bildes wiederholt (Schritt S16), und wenn ein Berechnungsergebnis der Messzuverlässigkeit für alle Pixel (JA im Schritt S16) erhalten wird, wird eine Messzuverlässigkeits-Karte erzeugt (Schritt S17), und das Verfahren kehrt zur ursprünglichen Routine zurück.On the other hand, it is the difference absolute value of the selected pixel 1 (NO in step S13), a value of the measurement reliability of the selected pixel is set to 1 (step S15), and the process proceeds to step S16. Steps S12 to S14 are repeated for all the pixels of the image to be processed (step S16), and when a measurement result of the measurement reliability for all pixels (YES in step S16) is obtained, a measurement reliability map is generated (step S17) The procedure returns to the original routine.

Im Distanzbild-Zusammensetzverfahren gemäß 11 werden zunächst durch Setzen eines nicht ausgewählten Pixels als zu bearbeitendes ausgewähltes Pixel (Schritt S21) die folgenden Schritte S22 bis S26 durchgeführt. In diesem Fall, wenn der Pixelwert der Distanzbilddaten (Fotografierparameter P1) 0 ist (JA im Schritt S22), geht das Verfahren zum Schritt S23 über. Ist der Pixelwert dagegen ungleich 0 (NEIN im Schritt S22; beachten Sie, dass dann, wenn der Pixelwert ungleich 0 ist, es sich um einen Pixelwert handelt, der gleich oder größer als ein vorbestimmter Schwellenwert ist (z.B., nahe dem Wert von 0, z.B. 0.01)), dann wird im Schritt S24 der Pixelwert von Distanzbilddaten (Fotografierparameter P1) durch den Pixelwert der zusammengesetzten Distanzbilddaten ersetzt, und das Verfahren geht weiter zum Schritt S27.In the distance image composing method according to 11 Next, by setting an unselected pixel as the selected pixel to be processed (step S21), the following steps S22 to S26 are performed. In this case, when the pixel value of the distance image data (photographing parameter P1) is 0 (YES in step S22), the process proceeds to step S23. On the other hand, if the pixel value is not equal to 0 (NO in step S22, note that when the pixel value is other than 0, it is a pixel value equal to or greater than a predetermined threshold (eg, close to the value of 0, 0.01)), then in step S24, the pixel value of distance image data (photographing parameter P1) is replaced with the pixel value of the composite distance image data, and the process proceeds to step S27.

Wenn der Pixelwert der Messzuverlässigkeits-Karte 0 ist (JA im Schritt S23), wird 0 durch den Pixelwert der zusammengesetzten Distanzbilddaten ersetzt, und das Verfahren geht zum Schritt S27 über. Ist dagegen der Pixelwert ungleich 0 (NEIN im Schritt S23), wird der Pixelwert von Distanzbilddaten (Fotografierparameter P2) durch den Pixelwert der zusammengesetzten Distanzbilddaten ersetzt und das Verfahren geht weiter zum Schritt S27.If the pixel value of the measurement reliability map is 0 (YES in step S23), 0 is replaced by the pixel value of the composite distance image data, and the process proceeds to step S27. On the other hand, if the pixel value is not equal to 0 (NO in step S23), the pixel value of distance image data (photographing parameter P2) is replaced with the pixel value of the composite distance image data, and the process proceeds to step S27.

Die Schritte S21 bis S26 werden für alle Pixel des zu verarbeitenden Bildes wiederholt (Schritt S27), und wenn ein Zusammensetzergebnis der Distanzbilddaten für alle Pixel (JA im Schritt S27) erhalten wird, werden die zusammengesetzten Distanzbilddaten erzeugt und ausgegeben (Schritt S28), und das Verfahren kehrt zur ursprünglichen Routine zurück.Steps S21 to S26 are repeated for all pixels of the image to be processed (step S27), and when a composite result of the distance image data for all pixels (YES in step S27) is obtained, the composite distance image data is generated and output (step S28), and the process returns to the original routine.

Wie oben beschrieben, wird im Distanzbild-Zusammensetzverfahren gemäß 11, basierend auf den Distanzbilddaten aus der Aufnahme mit dem Fotografierparameter P1, der so eingestellt ist, dass ein insgesamt niedrigerer Helligkeitswert entsteht, dann, wenn der Pixelwert der Distanzbilddaten mit dem Fotografierparameter P1 ungleich 0 ist (0 bedeutet einen Zustand, in dem ein Entfernungswert unbekannt ist) (NEIN im Schritt S22), der Pixelwert der Distanzbilddaten mit dem Fotografierparameter P1 als Pixelwert der zusammengesetzten Distanzbilddaten (Schritt S24) gesetzt.As described above, in the distance image composing method according to FIG 11 based on the distance image data from the photograph with the photographing parameter P1 set to give an overall lower brightness value, when the pixel value of the distance image data with the photographing parameter P1 is other than 0 (0 means a state in which a distance value is unknown is (NO in step S22), the pixel value of the distance image data having the photographing parameter P1 is set as the pixel value of the composite distance image data (step S24).

Ist der Pixelwert der Distanzbilddaten mit dem Fotografierparameter P1 gleich 0 (JA im Schritt S22), wird auf die Messzuverlässigkeits-Karte verwiesen, die unter Verwendung der Bilddaten gemäß 4 erstellt wird. Ist in der Messzuverlässigkeits-Karte der Pixelwert des entsprechenden Pixels ungleich 0 (NEIN im Schritt S23), wird der Pixelwert der Distanzbilddaten mit dem Fotografierparameter P2 als Pixelwert des zusammengesetzten Distanzbildes gesetzt (Schritt S26). Ist der Pixelwert des entsprechenden Pixels 0 (JA im Schritt S23), wird der entsprechende Pixelwert des zusammengesetzten Distanzbildes auf 0 gesetzt (Schritt S25).If the pixel value of the distance image data with the photographing parameter P1 is 0 (YES in step S22), reference is made to the measurement reliability map generated using the image data in FIG 4 is created. In the measurement reliability map, if the pixel value of the corresponding pixel is not equal to 0 (NO in step S23), the pixel value of the distance image data is set with the photographing parameter P2 as the pixel value of the composite distance image (step S26). If the pixel value of the corresponding pixel is 0 (YES in step S23), the corresponding pixel value of the composite distance image is set to 0 (step S25).

Für Pixel mit einem Pixelwert von 0 in der Messzuverlässigkeits-Karte kann basierend auf dem zusammengesetzten Distanzbild und durch das Zusammensetzen von Distanzbilddaten, die mit weiteren unterschiedlichen Fotografierparametern P3 (anders als die Fotografierparameter P1 und P2) in einem ähnlichen Verfahren aufgenommen werden , ein Distanzbild mit noch weniger Messausfall erzeugt werden.For pixels having a pixel value of 0 in the measurement reliability map, a distance image may be determined based on the composite distance image and composing distance image data taken with other different photographing parameters P3 (other than the photographing parameters P1 and P2) in a similar process even less measurement failure can be generated.

Dies kann zusammengesetzte Distanzbilddaten I_fusion mit weniger Pixeln mit einem unbekannten Pixelwert und mit weniger Rauschen liefern und auch in Umgebungen, in denen die Messung schwierig ist, wie z.B. bei Szenen, in denen ein weißes und ein schwarzes Objekt nebeneinander existieren, ein hochwertiges Distanzbild liefern.This can provide composite distance image data I _fusion with fewer pixels of unknown pixel value and less noise, and also provide a high quality distance image in environments where measurement is difficult, such as in scenes where a white and a black object coexist ,

Zweite AusführungsformSecond embodiment

12 ist ein Blockschaltbild, das eine Hardwarekonfiguration eines dreidimensionalen Bildmessgerätes gemäß einer zweiten Ausführungsform der vorliegenden Erfindung zeigt. Bezogen auf 12 unterscheidet sich das dreidimensionale Bildmessgerät gemäß der zweiten Ausführungsform von dem dreidimensionalen Bildmessgerät gemäß der ersten Ausführungsform gemäß 1 in den folgenden Punkten.

(1) Das Informationsverarbeitungsgerät 3 enthält außerdem eine Schnittstellen-Schaltung 38, die an einen Bus 30 angeschlossen ist.
(2) Weiterhin enthalten ist eine Bewegungsvorrichtung 4, die an die Schnittstellen-Schaltung 38 angeschlossen ist und z.B. ein zu fotografierendes Objekt dreidimensional bewegt.

12 Fig. 10 is a block diagram showing a hardware configuration of a three-dimensional image measuring apparatus according to a second embodiment of the present invention. Related to 12 The three-dimensional image measuring apparatus according to the second embodiment differs from the three-dimensional image measuring apparatus according to the first embodiment according to FIG 1 in the following points.

(1) The information processing apparatus 3 also includes an interface circuit 38 connected to a bus 30 connected.
(2) Also included is a moving device 4 which is connected to the interface circuit 38 and, for example, three-dimensionally moves an object to be photographed.

Die Unterschiede werden im Folgenden detailliert beschrieben. The differences are described in detail below.

Eine CPU 31 des Informationsverarbeitungsgerätes 3 überträgt, wie in 12 gezeigt, über die Schnittstellen-Schaltung 38 ein vorbestimmtes Bewegungsbefehlssignal an die Bewegungsvorrichtung 4 und in Antwort hierauf gibt die Bewegungsvorrichtung 4 ein entsprechendes Antwortsignal (z.B. ein ACK-Signal) an die CPU 31 zurück. Die Bewegungsvorrichtung 4 bewegt das zu fotografierende Objekt z.B. anhand des Bewegungsbefehlssignals in drei Dimensionen.A CPU 31 of the information processing device 3 transfers as in 12 shown, via the interface circuit 38, a predetermined movement command signal to the moving device 4 and in response to this gives the motion device 4 a corresponding response signal (eg an ACK signal) to the CPU 31 back. The movement device 4 moves the object to be photographed eg in three dimensions based on the motion command signal.

Dies ermöglicht nicht nur eine Änderung der Belichtungszeit der Kamera 1, eines Blendenwertes der Kamera 1, einer Verstärkung der Kamera 1, einer Projektionsintensität eines Projektors 2 und einer Projektionsrichtung des Projektors 2, sondern auch eine Änderung der Intensität von Umgebungslicht zum Zeitpunkt der Aufnahme und einer Richtung von Umgebungslicht zum Zeitpunkt der Aufnahme, was eine flexiblere Änderung der Aufnahmebedingung ermöglicht.This not only allows a change in the exposure time of the camera 1 , an aperture value of the camera 1 , a gain of the camera 1 , a projection intensity of a projector 2 and a projection direction of the projector 2 but also a change in the intensity of ambient light at the time of capture and a direction of ambient light at the time of acquisition, allowing a more flexible change in the shooting condition.

In diesem Fall ist das Umgebungslicht Licht, das von etwas anderem als dem Projektor 2 emittiert wird, einschließlich Sonnenlicht, elektrischem Licht, Wärmestrahlung, einschließlich Flammen und Lumineszenz. Die Intensität des Umgebungslichts kann durch Veränderung der Position von Lichtneigungseinrichtungen verändert werden. Die Lichtneigungseinrichtungen sind ein Schirm oder eine Abdeckung. Zusätzlich kann eine Bewegungsvorrichtung mit einem Industrieroboter eingesetzt werden.In this case, the ambient light is light from something other than the projector 2 including sunlight, electric light, heat radiation, including flames and luminescence. The intensity of the ambient light can be changed by changing the position of light tilting devices. The light tilting devices are a screen or a cover. In addition, a moving device with an industrial robot can be used.

Die Bewegungsvorrichtung 4 ist z.B. ein Stellantrieb. Die Bewegungsvorrichtung 4 selbst kann als Abschirmgerät dienen, das Umgebungslicht zur Kamera und zum Projektor blockiert. Zusätzlich kann die Bewegungsvorrichtung 4 so konfiguriert werden, dass sie eine Vielzahl von Antrieben enthält. In diesem Fall kann Umgebungslicht aus einer Vielzahl von Lichtquellen blockiert werden. Darüber hinaus kann die Bewegungsvorrichtung 4 eine mehrachsige Bewegungsvorrichtung, wie z.B. ein Roboterarm sein, der durch eine Vielzahl von Aktoren konfiguriert wird. Eine Hand, wie etwa ein Greifer, kann an einer Spitze befestigt werden.The movement device 4 is eg an actuator. The movement device 4 itself can serve as a shielding device that blocks ambient light to the camera and the projector. In addition, the movement device 4 be configured to contain a variety of drives. In this case, ambient light from a variety of light sources can be blocked. In addition, the movement device 4 a multi-axis motion device such as a robot arm configured by a plurality of actuators. A hand, such as a claw, can be attached to a point.

In diesem Fall kann der Roboterarm eine Haltung ändern, und die Hand kann die Lichtquelle von Umgebungslicht blockieren. Alternativ kann der Roboterarm ein Abschirmobjekt wie eine umlaufende Platte oder halbtransparentes Milchglas halten und die Einstellung des Abschirmobjekts ändern, um die Lichtquelle des Umgebungslichts zu blockieren. Alternativ kann der Roboterarm einen Spiegel halten, um die Richtung des Umgebungslichts zu ändern. Alternativ kann der Roboterarm einen Schalter zur Steuerung einer Lichtquelle von Umgebungslicht betätigen, um die Beleuchtung des Umgebungslichts ein- und auszuschalten.In this case, the robot arm can change a posture and the hand can block the light source from ambient light. Alternatively, the robot arm may hold a shielding object such as a revolving plate or semi-transparent frosted glass and change the setting of the shielding object to block the light source of the ambient light. Alternatively, the robotic arm can hold a mirror to change the direction of the ambient light. Alternatively, the robotic arm may actuate a switch to control a light source from ambient light to turn on and off the illumination of the ambient light.

Wie oben beschrieben, kann die Bewegungsvorrichtung 4 beliebig konfiguriert werden, sofern eine Änderung der Intensität oder der Richtung des Umgebungslichts erreicht wird. Es liegt auf der Hand, dass ein schlangenförmiger Roboter oder ein Aktor, der sich immer wieder mit Luft ausdehnt oder zusammenzieht, auch die Bewegungsvorrichtung 4 darstellen kann, da er die gleiche Aktion gegen Umgebungslicht ausführt.As described above, the movement device 4 be configured as desired, provided that a change in the intensity or the direction of the ambient light is achieved. It is obvious that a serpentine robot or an actuator that expands or contracts with air over and over again also includes the moving device 4 because it performs the same action against ambient light.

Auch bei dieser Ausführungsform wird eine dreidimensionale Bildvermessung ähnlich wie in 9 durchgeführt. In diesem Fall ermöglicht die Einstellung des Umgebungslichts bei Einstellung mit den Fotografierparametern P1 und P2 in den Schritten S1 und S5 gemäß 9 eine Einstellung, die einen niedrigen Helligkeitswert oder einen hohen Helligkeitswert im gesamten Bild bewirkt. Außerdem wird der Projektor 2 bei sichtbarem Licht stark von Umgebungslicht beeinflusst.Also in this embodiment, a three-dimensional image measurement similar to that in FIG 9 carried out. In this case, the adjustment of the ambient light when set with the photographing parameters P1 and P2 in steps S1 and S5 according to FIG 9 a setting that causes a low brightness value or a high brightness value throughout the image. In addition, the projector 2 strongly influenced by ambient light in visible light.

Durch weitere Änderungen der Belichtungszeit der Kamera 1, des Blendenwertes der Kamera 1, der Verstärkung der Kamera 1, der Projektionsintensität des Projektors 2 und der Projektionsrichtung des Projektors 2, um die Fotografierparameter in einem Zustand des Blockierens des Umgebungslichts oder des Konstanthaltens des Umgebungslichts mit der Bewegungsvorrichtung 4 einzustellen, ist es möglich, ein qualitativ hochwertiges Distanzbild mit weniger Rauschen zu erzeugen.By further changes in the exposure time of the camera 1 , the aperture value of the camera 1 , the amplification of the camera 1 , the projection intensity of the projector 2 and the projection direction of the projector 2 to control the photographing parameters in a state of blocking the ambient light or keeping the ambient light constant with the moving device 4 It is possible to produce a high-quality distance image with less noise.

Dritte AusführungsformThird embodiment

13 ist ein Blockschaltbild, das eine Hardwarekonfiguration eines dreidimensionalen Bildmessgerätes gemäß einer dritten Ausführungsform der vorliegenden Erfindung zeigt. Bezogen auf 13 unterscheidet sich das dreidimensionale Bildmessgerät gemäß der dritten Ausführungsform von dem dreidimensionalen Bildmessgerät gemäß der ersten Ausführungsform gemäß 1 in den folgenden Punkten.

(1) Ein Informationsverarbeitungsgerät 3 beinhaltet außerdem eine Schnittstellen-Schaltung 39.
(2) Ein an die Schnittstellen-Schaltung 39 angeschlossenes Kommunikationsgerät 5 ist ebenfalls enthalten.
(3) Ein Kommunikationsgerät 6, das über eine Kommunikationsleitung 9 mit dem Kommunikationsgerät 5 verbunden ist, ist ebenfalls enthalten.
(4) Ein Beleuchtungsgerät 7, das an das Kommunikationsgerät 6 angeschlossen ist und ein Objekt beleuchtet, ist ebenfalls enthalten.

13 FIG. 10 is a block diagram showing a hardware configuration of a three-dimensional image measuring apparatus according to a third embodiment of the present invention. FIG. Related to 13 The three-dimensional image measuring apparatus according to the third embodiment differs from the three-dimensional image measuring apparatus according to the first embodiment according to FIG 1 in the following points.

(1) An information processing apparatus 3 also includes an interface circuit 39.
(2) A communication device connected to the interface circuit 39 5 is also included.
(3) A communication device 6 that via a communication line 9 with the communication device 5 is connected is also included.
(4) A lighting device 7 connected to the communication device 6 is connected and illuminates an object is also included.

Die oben genannten Unterschiede werden im Folgenden detailliert beschrieben.The above differences are described in detail below.

Die Schnittstellen-Schaltung 39 des Informationsverarbeitungsgerätes 3 bildet, wie in 13 gezeigt, einen Befehlssignal-Mitteilungspfad, indem sie über das Kommunikationsgerät 5, die Kommunikationsleitung 9 und das Kommunikationsgerät 6 mit dem Beleuchtungsgerät 7 verbunden ist. Eine CPU 31 des Informationsverarbeitungsgerätes 3 steuert den Betrieb des Beleuchtungsgerätes 7, indem sie über den obigen Befehlssignal-Mitteilungspfad ein Beleuchtungsbefehlssignal an das Beleuchtungsgerät 7 sendet.The interface circuit 39 of the information processing apparatus 3 forms, as in 13 shown a command signal message path, passing through the communication device 5 , the communication line 9 and the communication device 6 with the lighting device 7 connected is. A CPU 31 of the information processing device 3 controls the operation of the lighting device 7 by sending a lighting command signal to the lighting device via the above command signal notification path 7 sends.

Das Beleuchtungsgerät 7 sendet daraufhin ein dem Beleuchtungsbefehlssignal entsprechendes Antwortsignal (z.B. ein ACK-Signal) über den obigen Befehlssignals-Mitteilungspfad an eine CPU 31. Dies ermöglicht die Steuerung von Umgebungslicht auf das Objekt auch bei der vorliegenden Ausführungsform, ähnlich wie bei der zweiten Ausführungsform.The lighting device 7 then sends a response signal (eg, an ACK signal) corresponding to the illumination command signal to a CPU via the above command signal notification path 31 , This enables the control of ambient light on the object also in the present embodiment, similarly to the second embodiment.

In diesem Fall sind das Kommunikationsgerät 5 und das Kommunikationsgerät 6 jeweils ein drahtloses Kommunikationsgerät oder ein kabelgebundenes Kommunikationsgerät. Das drahtlose Kommunikationsgerät ist z.B. ein drahtloser Router. Das kabelgebundene Kommunikationsgerät ist ein Kommunikationsgerät mit einem Kommunikationsport, wie z.B. einem Ethernet-Anschluss (eingetragene Marke), einem USB-Anschluss oder einer seriellen Schnittstelle.In this case, the communication device 5 and the communication device 6 each a wireless communication device or a wired communication device. The wireless communication device is eg a wireless router. The wired communication device is a communication device having a communication port such as an Ethernet port (registered trademark), a USB port or a serial port.

Das Beleuchtungsgerät 7 ist in der Lage, entweder eine oder mehrere der Größen Intensität und Stellung der Beleuchtung auf das Objekt, basierend auf dem BeleuchtungsBefehlssignal der CPU 31 des Informationsverarbeitungsgerätes 3 zu ändern. Das Beleuchtungsgerät 7 weist zumindest eine Intensitätssteuerung, welche die Einstellung der Intensität ermöglicht, wie z.B. die Steuerung einer Ein- und Ausschaltzeit mit Pulsweitenmodulation, und eine bewegliche Einheit auf, die die Richtung des Lichts ändert.The lighting device 7 is capable of either one or more of the magnitude intensity and position of the illumination on the object, based on the illumination command signal of the CPU 31 of the information processing device 3 to change. The lighting device 7 has at least one intensity control which enables the adjustment of the intensity, such as the control of an on and off time with pulse width modulation, and a movable unit which changes the direction of the light.

14 ist ein Flussdiagramm, das ein dreidimensionales Bildmessverfahren zeigt, das mit dem Informationsverarbeitungsgerät 3 des dreidimensionalen Bildmessgerätes gemäß 13 durchgeführt werden soll. Das dreidimensionale Bildmessverfahren gemäß 14 unterscheidet sich von dem dreidimensionalen Bildmessverfahren gemäß 9 in den folgenden Punkten:

(1) Anstelle der Schrittes S1 ist das Verfahren im Schritt S31 „Abschwächung der Beleuchtungsstärke des Beleuchtungsgerätes 7 gleich oder kleiner als ein vorbestimmter Schwellwert Th1, oder Einstellung einer Einstellung als solcher“ vorgesehen.
(2) Anstelle des Schritts S5 ist ein Verfahren im Schritt S32 vorgesehen, bei dem „die Beleuchtungsstärke des Beleuchtungsgerätes 7 gleich oder größer als ein vorbestimmter Schwellwert Th2 (> Th1) ist, oder die Einstellung der Einstellung als solche“.

14 FIG. 10 is a flowchart showing a three-dimensional image measuring method used with the information processing apparatus. FIG 3 of the three-dimensional image measuring device according to 13 to be carried out. The three-dimensional image measuring method according to 14 differs from the three-dimensional image measuring method according to 9 in the following points:

(1) Instead of the step S1, the process in step S31 is "attenuation of the illuminance of the lighting apparatus 7 equal to or less than a predetermined threshold value Th1, or setting of a setting as such.
(2) Instead of the step S5, a process in step S32 is provided, in which "the illuminance of the lighting device 7 is equal to or greater than a predetermined threshold Th2 (> Th1), or the setting of the setting as such ".

Im Schritt S31 gemäß 14 werden anhand des Beleuchtungsbefehlssignals der CPU 31 des Informationsverarbeitungsgerätes 3 die Intensität und/oder die Lage des Beleuchtungsgerätes 7 durch Ansteuerung des Intensitätsreglers oder einer beweglichen Einheit des Beleuchtungsgerätes 7 verändert.In step S31 according to 14 are determined by the illumination command signal of the CPU 31 of the information processing device 3 the intensity and / or the position of the lighting device 7 by controlling the intensity controller or a movable unit of the lighting device 7 changed.

Zu diesem Zeitpunkt wird die Beleuchtungsstärke so abgeschwächt, dass ein niedrigerer Helligkeitswert im gesamten Bild des Objekts entsteht und die Beleuchtungsstärke gleich oder kleiner als der vorbestimmte Schwellwert Th1 ist, oder die Einstellung der Beleuchtung wird geändert und so eingestellt, dass eine direkte Beleuchtung in eine Aufnahmerichtung der Kamera vermieden wird.At this time, the illuminance is attenuated so that a lower brightness value is formed in the entire image of the object and the illuminance is equal to or smaller than the predetermined threshold Th1, or the adjustment of the illumination is changed and adjusted so that direct illumination in a take-up direction the camera is avoided.

Im Schritt S32 gemäß 14 werden, basierend auf dem Beleuchtungsbefehlssignal der CPU 31 des Informationsverarbeitungsgerätes 3, die Intensität und/oder die Lage des Beleuchtungsgerätes 7 durch Ansteuerung des Intensitätsreglers oder der beweglichen Einheit des Beleuchtungsgerätes 7 verändert. Zu diesem Zeitpunkt wird die Beleuchtungsstärke so erhöht, dass ein hoher Helligkeitswert im gesamten Bild des Objekts entsteht und die Beleuchtungsstärke gleich oder größer als der vorbestimmte Schwellwert Th2 (> Th1) ist, oder die Einstellung wird geändert und so eingestellt, dass die Intensität z.B. direkt in Aufnahmerichtung der Kamera 1 erhöht wird.In step S32 according to 14 based on the lighting command signal from the CPU 31 of the information processing device 3 , the intensity and / or the position of the lighting device 7 by controlling the intensity controller or the movable unit of the lighting device 7 changed. At this time, the illuminance is increased so that a high brightness value is formed in the entire image of the object and the illuminance is equal to or greater than the predetermined threshold Th2 (> Th1), or the setting is changed and set such that the intensity is, for example, directly in shooting direction of the camera 1 is increased.

Wie oben beschrieben, ist es bei der vorliegenden Ausführungsform mit dem Beleuchtungsgerät 7 möglich, das Umgebungslicht zu steuern und ein hochwertiges Distanzbild zu erzeugen.As described above, in the present embodiment, with the lighting apparatus 7 possible to control the ambient light and to produce a high-quality distance image.

Vierte AusführungsformFourth embodiment

15 ist ein Blockschaltbild, das eine Hardwarekonfiguration eines dreidimensionalen Bildmessgerätes gemäß einer vierten Ausführungsform der vorliegenden Erfindung zeigt. Das dreidimensionale Bildmessgerät gemäß der vierten Ausführungsform gemäß 15 unterscheidet sich von dem dreidimensionalen Bildmessgerät gemäß der zweiten Ausführungsform gemäß 12 in den folgenden Punkten:

(1) Anstelle der Bewegungsvorrichtung 4 ist ein Bewegungssteuergerät 8 vorgesehen, das eine Funktion zur Steuerung des Betriebs einer Kamera 1 und eines Projektors 2 sowie eine Funktion einer Bewegungsvorrichtung 4 hat.

15 FIG. 10 is a block diagram showing a hardware configuration of a three-dimensional image measuring apparatus according to a fourth embodiment of the present invention. FIG. The three-dimensional image measuring apparatus according to the fourth embodiment according to 15 differs from the three-dimensional image measuring apparatus according to the second embodiment according to 12 in the following points:

(1) Instead of the movement device 4 is a motion control device 8th provided that a function to control the operation of a camera 1 and a projector 2 and a function of a movement device 4 Has.

Eine CPU 31 eines Informationsverarbeitungsgerätes 3 überträgt gemäß 15 über eine Schnittstellen-Schaltung 38 ein vorbestimmtes Bewegungsbefehlssignal an das Bewegungssteuergerät 8, und das Bewegungssteuergerät 8 gibt daraufhin ein entsprechendes Antwortsignal (z.B. ein ACK-Signal) an die CPU 31 zurück. Das Bewegungssteuergerät 8 verändert die jeweiligen Positionen und Einstellungen der Kamera 1 und des Projektors 2 mit Hilfe eines Fotografiebefehlssignals und eines Projektionsbefehlssignals basierend auf dem Bewegungsbefehlssignal der CPU 31 des Informationsverarbeitungsgerätes 3.A CPU 31 an information processing device 3 transfers according to 15 via an interface circuit 38, a predetermined movement command signal to the motion control device 8th , and the motion controller 8th then sends a corresponding response signal (eg an ACK signal) to the CPU 31 back. The motion controller 8th changes the respective positions and settings of the camera 1 and the projector 2 by using a photographing command signal and a projection command signal based on the motion command signal of the CPU 31 of the information processing device 3 ,

Daraufhin geben die Kamera 1 ein Antwortsignal (z.B. ein ACK-Signal) an das Bewegungssteuergerät 8 und der Projektor 2 ein Antwortsignal (z.B. ein ACK-Signal) an das Bewegungssteuergerät 8 zurück. Das Bewegungssteuergerät 8 kann ein Roboterarm sein, oder eine sogenannte Handöse, in der die Kamera 1 und der Projektor 2 auf einer Handspitze montiert sind. Es ist zu beachten, dass das Bewegungssteuergerät 8 so konfiguriert werden kann, dass es eine Vielzahl von Aktoren enthält, um eine individuelle Änderung der jeweiligen Positionen und Einstellungen der Kamera 1 und des Projektors 2 zu ermöglichen.Then enter the camera 1 a response signal (eg, an ACK signal) to the motion controller 8th and the projector 2 a response signal (eg, an ACK signal) to the motion controller 8th back. The motion controller 8th may be a robotic arm, or a so-called hand-held eye, in which the camera 1 and the projector 2 mounted on a hand tip. It should be noted that the motion control unit 8th can be configured to include a variety of actuators to individually change the respective positions and settings of the camera 1 and the projector 2 to enable.

Wenn Objekte mit unterschiedlichen Oberflächenzuständen, wie ein schwarzes Objekt und ein weißes Objekt, in einem zu fotografierenden Objekt koexistieren, ist es möglich, die Messung mit einem unbekannten oder falschen Messwert eines Distanzbildes mit dem bei der ersten Ausführungsform vorgeschlagenen Distanzbildzusammensetzverfahren zu unterdrücken. Andererseits kann eine Messung mit einem unbekannten oder falschen Messwert aufgrund einer Positionsbeziehung zwischen dem Objekt und der Kamera 1 und dem Projektor 2 auftreten, z.B. wenn das Licht des Projektors 2 aufgrund einer Abschirmung aus Sicht der Kamera 1 nicht beobachtet werden kann.When objects having different surface states such as a black object and a white object coexist in an object to be photographed, it is possible to suppress the measurement with an unknown or incorrect measurement of a distance image with the distance image composing method proposed in the first embodiment. On the other hand, a measurement with an unknown or incorrect reading may be due to a positional relationship between the subject and the camera 1 and the projector 2 occur, for example, when the light of the projector 2 due to a shield from the camera's point of view 1 can not be observed.

In diesem Fall ermöglicht das Verschieben der Kamera 1 und des Projektors 2 durch das Bewegungssteuergerät 8 eine weitere Eliminierung einer Messung mit einem unbekannten oder falschen Messwert. In einer Messzuverlässigkeits-Karte, die durch ein Messzuverlässigkeits-Auswertverfahren nach 10 erstellt wird, kann man einen Ort, an dem die Messung mit einem unbekannten oder falschen Messwert aufgrund der Abschirmung des Lichts des Projektors 2 stattgefunden hat, effizient neu messen, indem man nur die Beleuchtungsrichtung ändert und dabei eine Sichtlinie beibehält, um den Bereich zu betrachten, in dem der Pixelwert der Messzuverlässigkeits-Karte gleich dem Wert 0 ist, was wenig zuverlässig ist. Zu diesem Zeitpunkt ermöglicht die Priorisierung eines großen Bereichs, in dem der Pixelwert der Messzuverlässigkeits-Karte zu 0 wird, eine effizientere Neuvermessung der Pixel der Messung mit einem unbekannten oder falschen Messwert.In this case, you can move the camera 1 and the projector 2 through the motion control device 8th another elimination of a measurement with an unknown or incorrect reading. In a measurement reliability map, by a measurement reliability evaluation method according to 10 is created, you can create a place where the measurement with an unknown or incorrect reading due to the shielding of the light of the projector 2 efficiently re-measure by merely changing the direction of illumination while maintaining a line of sight to view the area where the pixel value of the measurement reliability map equals 0, which is not very reliable. At this time, prioritizing a large area where the pixel value of the measurement reliability map becomes 0 makes it possible to more efficiently remeasure the pixels of the measurement with an unknown or erroneous reading.

Wie oben beschrieben, ist es bei der vorliegenden Ausführungsform möglich, mit dem Bewegungssteuergerät 8 ein hochwertiges Distanzbild zu erzeugen, das sowohl Messungen mit einem unbekannten oder falschen Messwert aufgrund der unterschiedlichen Oberflächenzustände als auch Messungen mit einem unbekannten oder falschen Messwert aufgrund einer Positionsbeziehung zwischen dem Objekt, der Kamera 1 und dem Projektor 2 effizient unterdrückt.As described above, in the present embodiment, it is possible with the motion control apparatus 8th to produce a high-quality distance image that includes both measurements with an unknown or incorrect reading due to the different surface states as well as measurements with an unknown or incorrect reading due to a positional relationship between the object, the camera 1 and the projector 2 efficiently suppressed.

Modifizierte AusführungsformModified embodiment

Obwohl eine Kamera 1 in den oben beschriebenen Ausführungen verwendet wird, ist die vorliegende Erfindung nicht darauf beschränkt. Es kann auch ein Sensor ,wie eine Kamera, ein CCD-Sensor, ein Bildsensor verwendet werden, die in der Lage sind, ein Bild von einem Objekt aufzunehmen.Although a camera 1 is used in the above-described embodiments, the present invention is not limited thereto. Also, a sensor such as a camera, a CCD sensor, an image sensor capable of taking an image of an object can be used.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11: Kameracamera
22: Projektorprojector
33: InformationsverarbeitungsgerätInformation processing apparatus
44: Bewegungsvorrichtungmover
55: Kommunikationsgerätcommunication device
66: Kommunikationsgerätcommunication device
77: Beleuchtungsgerätlighting device
88th: BewegungssteuergerätMotion controller
99: Kommunikationsgerätcommunication device
1010: Projektionsmuster-SteuereinheitProjection pattern control unit
1111: Bildaufnahme-SteuereinheitImage pickup control unit
1212: Distanzbild-WiederherstellungseinheitDistance image restoration unit
13 13: Messzuverlässigkeits-AuswerteeinheitMeasuring reliability evaluation unit
1414: Distanzbild-ZusammensetzeinheitDistance image composition unit
1515: Projektionsflächeprojection
2121: Kamerabildcamera image
2222: Distanzbilddistance image
2323: Positives MusterbildPositive pattern picture
2424: Negatives MusterbildNegative pattern image
25 bis 2825 to 28: Gemessenes BildMeasured image
3030: Busbus
3131: Zentraleinheit (CPU)Central processing unit (CPU)
3232: Lese-Speicher (ROM)Read-only memory (ROM)
3333: Direktzugriffsspeicher (RAM)Random Access Memory (RAM)
3434: Eingabegerätinput device
3535: Anzeigegerätdisplay
36 bis 3936 to 39: Schnittstellen-SchaltungInterface circuit
4141: Kamerabildcamera image
4242: Distanzbilddistance image
4343: Kamerabildcamera image
4444: Distanzbilddistance image

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

JP 4889373 B1 [0008]

Claims

A three-dimensional image measuring apparatus for generating distance image data in which a distance from a sensor to an object is expressed by a pixel value based on pattern image data obtained by photographing a pattern projected on the object to be photographed by a projector with the sensor, the three-dimensional image data Image measuring device comprising Control means for supplementing a pixel having an unknown pixel value in distance image data obtained from pattern image data taken by the sensor with a pixel value of a distance image obtained from pattern image data taken by the sensor under another shooting condition.

Three-dimensional image measuring device after Claim 1 wherein the control means change at least one of: the exposure time of the sensor; the aperture value of the sensor; the gain of the sensor; the projection intensity of the projector; the projection direction of the projector; the position of ambient light at the time of recording; and the direction of ambient light at the time of shooting to realize another shooting condition.

Three-dimensional image measuring device after Claim 2 wherein the control means generates: positive pattern image data and negative pattern image data which are pattern images taken by the sensor under the various shooting conditions and the image data of a pair obtained by inverting brightness and darkness of a pattern by a spatial encoding method; - generate differential image data having a pixel value of difference absolute value obtained from a difference between the positive pattern image data and the negative pattern image data; and - only a pixel having an unknown pixel value in a distance image obtained from a pattern image picked up by the sensor is supplemented with a pixel value of a distance image obtained from a pattern image picked up by the sensor under the other picking condition when the pixel value of the difference image data is not equal to 0 or greater than a predetermined threshold.

Three-dimensional image measuring device after Claim 3 wherein the generated positive pattern images and negative pattern images include a high frequency band pattern.

Three-dimensional image measuring device after Claim 4 wherein the controllers control at least one of the respective positions and settings of the sensor and the projector based on a measurement reliability obtained from a difference between the generated positive pattern image and the negative pattern image.

Three-dimensional image measuring device after Claim 4 wherein the control means supplement a pixel having an unknown pixel value of a distance image obtained from a pattern image taken at a predetermined first exposure time with a pixel value of a distance image obtained from a pattern image taken at a second exposure time longer than the first exposure time ,

Three-dimensional image measuring device according to one of Claims 1 to 6 , which further comprises: a moving device connected to the control means and realizing the different shooting condition by moving the object based on a command signal of the control means.

Three-dimensional image measuring device, after one of Claims 1 to 6 further comprising a lighting device connected to the control means and illuminating an object, the lighting device realizing the different shooting conditions by changing a lighting condition for lighting the object based on a command signal from the control means.

Three-dimensional image measuring device, after one of Claims 1 to 6 , which further comprises a lighting device, wherein the lighting device is a motion control device that is connected to the control devices, the sensor and the projector and moves an object, the lighting device the different recording conditions by changing at least the position or the position of the sensor or the Projector realized on the basis of a command signal of the control devices.

A three-dimensional image measuring method for use in a three-dimensional image measuring apparatus having control means that generates distance image data in which a distance from a sensor to an object is expressed by a pixel value based on pattern image data obtained by photographing with the sensor one of a projector on the object to be photographed projected pattern, wherein the three-dimensional image measuring method comprises the step of: - supplementing a pixel with an unknown pixel value in distance image data obtained from sensor image data taken by the sensor with a pixel value of one from the sensor under one recording picture data taken other picture conditional image obtained by the control devices.

Three-dimensional image measuring method after Claim 10 in which, in the step of supplementing, the control means realize a different shooting condition by changing at least one of: the exposure time of the sensor, the diaphragm value of the sensor, the gain of the sensor, the projection intensity of the projector, the projecting direction of the projector, the position of ambient light at the time of recording and the direction of ambient light at the time of recording.

Three-dimensional image measuring method after Claim 11 in which, in the step of complementing, the control means generate: positive pattern image data and negative pattern image data taken by the sensor under the different photographing conditions and the image data of a pair obtained by inverting brightness and darkness of a pattern by means of a spatial coding method; Generate difference image data having a pixel value of difference absolute value resulting from a difference between the positive pattern image data and the negative pattern image data; and only if the pixel value of the difference image data is not 0 or greater than a predetermined threshold value, a pixel having a unknown pixel value in a distance image obtained from a pattern image picked up by the sensor is supplemented with a pixel value of a distance image consisting of a distance image obtained from the sensor under the other recording condition recorded pattern image.

Three-dimensional image measuring method after Claim 12 wherein the generated positive pattern images and negative pattern images include a high frequency band pattern.

Three-dimensional image measuring method after Claim 13 wherein, in the step of supplementing, the control means based on the measurement reliability obtained from a difference between the generated positive pattern images and the negative pattern images control at least one of the parameters: the respective positions and settings of the sensor and the projector.

Three-dimensional image measuring method after Claim 13 wherein, in the step of supplementing, the control means supplement a pixel of a distance image having an unknown pixel value obtained from a pattern image taken in a predetermined first exposure time with a pixel value of a distance image obtained from a pattern image taken in a second exposure time; which is longer than the first exposure time.