JP2001108420A - Device and method for shape measurement - Google Patents

Device and method for shape measurement

Info

Publication number
JP2001108420A
JP2001108420A JP28667999A JP28667999A JP2001108420A JP 2001108420 A JP2001108420 A JP 2001108420A JP 28667999 A JP28667999 A JP 28667999A JP 28667999 A JP28667999 A JP 28667999A JP 2001108420 A JP2001108420 A JP 2001108420A
Authority
JP
Japan
Prior art keywords
light
detection signal
reflected
distance
reflected light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP28667999A
Other languages
Japanese (ja)
Other versions
JP3711808B2 (en
Inventor
Osamu Nishikawa
修 西川
Ken Tokai
研 東海
Tsutomu Abe
勉 安部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP28667999A priority Critical patent/JP3711808B2/en
Publication of JP2001108420A publication Critical patent/JP2001108420A/en
Application granted granted Critical
Publication of JP3711808B2 publication Critical patent/JP3711808B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Instruments For Measurement Of Length By Optical Means (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a device and a method for shape measurement which are small-sized and inexpensive, has high light use efficiency, and can accurately measure the distance to a body without being affected by external conditions such as a difference in the reflection factor of the body surface. SOLUTION: First and second shutters 11A and 11B are opened and a semiconductor laser 3 emits intensity-modulated illumination light 4a. A plane sensor 9 detects the composite light of reflected light 4b from an object 6 and reference light 4c from a half-mirror 10 and outputs a detection signal. The 2nd shutter 11B is closed and the semiconductor laser 3 emits intensity-modulated illumination light 4b. A distance arithmetic part 13 after making corrections for removing the influence of the reflection factor of the body according to the detection signal of the composite light and the detection signal of the reflected light 4b calculates the distance to the body according to the detection signal of the composite light which has been corrected.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、強度変調された出
射光を物体に向けて出射し、物体からの反射光と出射光
との位相差に基づいて物体までの距離を計測する形状計
測装置および形状計測方法に関し、特に、小型かつ安価
で、光利用効率が高く、物体表面の反射率の違い等の外
的条件に左右されることなく、正確に物体までの距離を
計測可能な形状計測装置および形状計測方法に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a shape measuring apparatus which emits intensity-modulated outgoing light toward an object and measures a distance to the object based on a phase difference between reflected light from the object and emitted light. And shape measurement methods, especially those that are small and inexpensive, have high light use efficiency, and can accurately measure the distance to an object without being affected by external conditions such as differences in the reflectance of the object surface. The present invention relates to an apparatus and a shape measurement method.

【0002】[0002]

【従来の技術】三次元形状を計測する方式として、パッ
シブ方式とアクティブ方式の2つが提案されている。パ
ッシブ方式は、エネルギーを対象物体に放射することな
しに形状を計測する方式であり、アクティブ方式は、何
らかのエネルギーを対象物体に放射しその反射を検出す
ることによって形状を計測する方式である。
2. Description of the Related Art As a method for measuring a three-dimensional shape, two methods, a passive method and an active method, have been proposed. The passive method is a method of measuring a shape without radiating energy to a target object, and the active method is a method of measuring a shape by radiating some energy to a target object and detecting its reflection.

【0003】パッシブ方式において、対象物体までの複
数点の距離を計測する方法の一つとしてステレオ法があ
る。このステレオ法は、2台のカメラをある間隔をおい
て設置し、得られた2つの画像の視差から三角法により
対象物体までの距離を計測する方式である。この方式
は、画像として取り込むことができれば遠方までの距離
を計測することができるという特長はあるが、模様のな
い滑らかな面を持った表面全体の三次元計測を行うこと
ができないという重大な問題点が存在する。また、2台
のカメラの光軸を一致させることが原理的にできないた
め、距離を測定できない領域(オクルージョン)が発生
するという欠点があった。
In the passive method, there is a stereo method as one of the methods for measuring the distance of a plurality of points to a target object. The stereo method is a method in which two cameras are installed at a certain interval, and the distance to a target object is measured by a trigonometric method from the parallax of two obtained images. This method has the advantage that it can measure the distance to a distant place if it can be captured as an image, but it has a serious problem that it is not possible to perform three-dimensional measurement of the entire surface with a smooth surface without patterns There is a point. In addition, since the optical axes of the two cameras cannot be matched in principle, there is a disadvantage that an area (occlusion) where the distance cannot be measured occurs.

【0004】アクティブ法において、対象物体までの複
数点の距離を計測する方法の一つとして光切断法があ
る。この光切断法は、スリット光をある角度で対象物体
に照射し、それとは別の角度から撮像した画像から三角
法により対象物体までの距離を計測する方式である。こ
の方式は、比較的簡単な構成で実現できるという特長は
あるが、スリット光を微少な角度単位で走査しなければ
ならず、その度に画像を撮像するため、計測時間が長く
なるという問題点がある。この問題点を解決するために
光切断法を応用した方式に空間コード化法がある。この
空間コード化法は、スリット光を何回も照射する替わり
に、投影光のパターンをコード化することにより、少な
い投影回数で距離を計測する方式であるが、水平方向の
サンプル数をnとすると、log2n回(n=512ポ
イントとして9回)の撮像を行わなければならないた
め、測定時間が長くなるという問題点があった。また、
投光器と撮像器の光軸を一致させることが原理的にでき
ないため、距離を測定できない領域(オクルージョン)
が発生するという欠点があった。
In the active method, there is a light section method as one of the methods for measuring the distance of a plurality of points to a target object. This light cutting method is a method of irradiating a target object with slit light at a certain angle, and measuring the distance to the target object by triangulation from an image taken from another angle. This method has the advantage that it can be realized with a relatively simple configuration, but the slit light has to be scanned in small angle units, and an image is taken each time, so that the measurement time becomes longer. There is. In order to solve this problem, there is a spatial coding method as a method applying the light sectioning method. This spatial coding method measures the distance with a small number of projections by coding the pattern of the projection light instead of irradiating the slit light many times, but the number of samples in the horizontal direction is n. Then, since it is necessary to perform log 2 n times (n = 512 points and nine times) of imaging, there is a problem that the measurement time becomes long. Also,
Area where the distance cannot be measured because the optical axis of the projector and the imager cannot be matched in principle (occlusion)
However, there is a drawback that the problem occurs.

【0005】アクティブ法において、1回の撮像で複数
点の距離を計測できる方式の一つとして、強度変調され
た光を対象物体に照射し、その反射光の位相分布を計測
する位相分布計測方式がある。
In the active method, as one of the methods capable of measuring the distance between a plurality of points by one imaging, a phase distribution measuring method of irradiating an object with intensity-modulated light and measuring the phase distribution of the reflected light. There is.

【0006】従来の位相分布計測方式としては、例え
ば、文献1「SPIE Vol,2588,1995年,126〜134ページに
記載された論文(An new active 3D-Vision system base
d on rf-modulation interferometry light)」、および
特許第2690673号、および、SPIE Vol.2748,1966
年、47〜59ページ「The Emerging Versatility of a Sc
annless Range Imager」に示されるものがある。
[0006] As a conventional phase distribution measurement method, for example, a paper described in Reference 1 “SPIE Vol, 2588, 1995, pp. 126-134 (An new active 3D-Vision system base)
d on rf-modulation interferometry light), and Patent No. 2690673, and SPIE Vol. 2748, 1966.
Year, p. 47-59 `` The Emerging Versatility of a Sc
annless Range Imager ".

【0007】図8は、文献1に示された従来の形状計測
装置を示す。この形状計測装置100は、光源101A
から集光レンズ102を介してポッケルズセルのような
結晶を用いた平面変調器103に出射された光に強度変
調を施す変調/復調信号発生器104と、強度変調され
た光105aを対象物体6に平面照射する投影レンズ1
06と、対象物体6で反射し結像レンズ107を介して
ポッケルズセルのような結晶を用いた平面復調器108
に入射した反射光105bに強度復調を施す変調/復調
信号発生器104と、強度復調を施された光信号を撮像
するCCDカメラ109とを有する。このような構成に
おいて、光源101Aから発せられた光は、集光レンズ
102により、平面変調器103に入射し、変調/復調
信号発生器104の信号に基いて強度変調を施された
後、その強度変調された光105aは、投影レンズ10
6によって対象物体6に平面照射される。対象物体6か
らの反射光105bは、結像レンズ107により平面復
調器108に入射し、変調/復調信号発生器104の信
号に基いて強度復調を施された後、CCDカメラ109
上に結像する。CCDカメラ109で撮像された濃淡画
像は、対象物体6までの距離に起因する位相情報を含ん
でいる。コンピュータ110でこの濃淡画像を処理する
ことにより、1回の撮像で対象物体6の距離データを得
ることができる。
FIG. 8 shows a conventional shape measuring device disclosed in Document 1. The shape measuring device 100 includes a light source 101A
And a modulation / demodulation signal generator 104 for performing intensity modulation on light emitted to a plane modulator 103 using a crystal such as a Pockels cell via a condenser lens 102, and an intensity-modulated light 105a to the target object 6. Projection lens 1 for flat illumination
06 and a plane demodulator 108 using a crystal such as a Pockels cell reflected by the target object 6 via an imaging lens 107.
A modulation / demodulation signal generator 104 for demodulating the intensity of the reflected light 105b incident on the optical disc 105b, and a CCD camera 109 for imaging the optical signal subjected to the intensity demodulation. In such a configuration, the light emitted from the light source 101A is incident on the plane modulator 103 by the condenser lens 102 and is subjected to intensity modulation based on the signal of the modulation / demodulation signal generator 104. The intensity-modulated light 105a is transmitted to the projection lens 10
6 irradiates the target object 6 in a plane. The reflected light 105b from the target object 6 is incident on the plane demodulator 108 by the imaging lens 107, and is subjected to intensity demodulation based on the signal of the modulation / demodulation signal generator 104.
Image on top. The grayscale image captured by the CCD camera 109 includes phase information resulting from the distance to the target object 6. By processing the grayscale image by the computer 110, the distance data of the target object 6 can be obtained by one imaging.

【0008】図9は、特許第2690673号公報に記
載された従来の形状計測装置を示す。図8との相違点
は、光源として半導体レーザ101Bを用いているこ
と、ポッケルズセルのような結晶を用いた変調器は用い
ずに半導体レーザ101Bで直接強度変調を行っている
こと、ポッケルズセルのような結晶を用いた復調器は用
いずにイメージインテンシファイア111で復調を行っ
ていることの3点である。変調/復調信号発生器104
の信号に基いて強度変調を施された光は、半導体レーザ
101Bから放射された後、投影レンズ106によって
対象物体6に平面照射される。対象物体6からの反射光
105bは、結像レンズ107によりイメージインテン
シファイア111に結像される。変調/復調信号発生器
104の信号を高圧ドライブ回路112により高圧信号
に変換し、イメージインテンシファイア111のゲイン
コントローラ端子に入力することにより強度復調された
反射光は、CCDカメ109で撮像される。CCDカメ
ラ109で撮像された濃淡画像は、対象物体6までの距
離に起因する位相情報を含んでいる。コンピュータ11
0でこの濃淡画像を処理することにより、1回の撮像で
対象物体6の距離データを得ることができる。
FIG. 9 shows a conventional shape measuring device described in Japanese Patent No. 2690673. The difference from FIG. 8 is that the semiconductor laser 101B is used as a light source, the intensity modulation is performed directly by the semiconductor laser 101B without using a modulator using a crystal such as a Pockels cell, The third point is that demodulation is performed by the image intensifier 111 without using a demodulator using a crystal. Modulation / demodulation signal generator 104
Is emitted from the semiconductor laser 101B, and then is projected onto the target object 6 by the projection lens 106. The reflected light 105b from the target object 6 is imaged by the imaging lens 107 on the image intensifier 111. The signal from the modulation / demodulation signal generator 104 is converted into a high-voltage signal by the high-voltage drive circuit 112, and is input to the gain controller terminal of the image intensifier 111. . The grayscale image captured by the CCD camera 109 includes phase information resulting from the distance to the target object 6. Computer 11
By processing this grayscale image with 0, the distance data of the target object 6 can be obtained by one imaging.

【0009】しかし、図8に示す形状計測装置100に
よると、平面変調器103、平面復調器108にポッケ
ルズセルのような結晶を用いた変調器/復調器を用いて
いるため、非常に高価な装置となってしまうという欠点
があった。また、この結晶を用いた変調器/復調器は開
口が約数ミリ程度と小さいため、光源101Aから放射
された光および対象物体6で反射された光をこの開口に
合わせて集光レンズ107を用いて集光しなければなら
ず、装置が大型化してしまうという欠点があった。ま
た、図9に示す形状計測装置100によると、イメージ
インテンシファイア111を用いているため、非常に高
価な装置となってしまうという欠点があった。また、こ
のイメージインテンシファイア111を駆動するために
は数百ボルトという高電圧信号を強度変調することが必
要なため、駆動回路が複雑になるという欠点があった。
また、このイメージインテンシファイア111はCCD
カメラ109に比べて大きいため装置全体が大型化して
しまうという欠点があった。
However, according to the shape measuring apparatus 100 shown in FIG. 8, since a modulator / demodulator using a crystal such as a Pockels cell is used for the plane modulator 103 and the plane demodulator 108, a very expensive apparatus is used. There was a disadvantage that it would be. Since the modulator / demodulator using this crystal has an aperture as small as about several millimeters, the condenser lens 107 adjusts the light emitted from the light source 101A and the light reflected by the target object 6 in accordance with the aperture. It has to be used to collect light, and there is a disadvantage that the device becomes large. Further, according to the shape measuring apparatus 100 shown in FIG. 9, since the image intensifier 111 is used, there is a disadvantage that the apparatus becomes very expensive. Further, in order to drive the image intensifier 111, it is necessary to modulate the intensity of a high voltage signal of several hundred volts, so that there is a disadvantage that the drive circuit becomes complicated.
The image intensifier 111 is a CCD
There is a drawback that the entire apparatus becomes large because it is larger than the camera 109.

【0010】そこで、高価な変調器/復調器や高価で大
型のイメージインテンシファイアを用いることなく距離
を計測する方式として、参照光を用いた位相分布計測方
式による従来の形状計測装置として、例えば、特公昭5
9−30233号公報に示されるものがある。
Therefore, as a method of measuring distance without using an expensive modulator / demodulator or an expensive and large image intensifier, a conventional shape measuring device using a phase distribution measuring method using a reference light, for example, , Tokubo Sho5
There is one disclosed in Japanese Patent Publication No. 9-30233.

【0011】図10は、その従来の形状計測装置を示
す。この形状計測装置100は、発振器120の信号に
基づく駆動回路121からの駆動信号によって所定の周
波数で強度変調された光を出射する発光素子123と、
発光素子123から投影レンズ124を介して入射した
光を透過および反射させるビームスプリッタ125と、
ビームスプリッタ125を透過し、物体6で反射し、再
びビームスプリッタ125で反射した光、およびビーム
スプリッタ125で反射し、反射鏡128で反射して再
びビームスプリッタ125を透過した光を集光レンズ1
26を介して受光する受光素子127と、受光素子12
7の出力信号を増幅する増幅器128と、増幅器128
の出力信号を検波する検波器129と、検波器129の
出力信号から振幅を読み取るレベル計130とを有す
る。
FIG. 10 shows the conventional shape measuring apparatus. The shape measuring device 100 includes a light emitting element 123 that emits light whose intensity is modulated at a predetermined frequency by a driving signal from a driving circuit 121 based on a signal of an oscillator 120,
A beam splitter 125 for transmitting and reflecting light incident from the light emitting element 123 via the projection lens 124,
The light transmitted through the beam splitter 125, reflected by the object 6, and reflected again by the beam splitter 125, and the light reflected by the beam splitter 125, reflected by the reflecting mirror 128, and transmitted through the beam splitter 125 again are collected by the condenser lens 1.
A light receiving element 127 for receiving light through the light receiving element 26;
, An amplifier 128 for amplifying the output signal of
And a level meter 130 for reading the amplitude from the output signal of the detector 129.

【0012】このような構成において、発振器120の
信号に基づく駆動回路121からの駆動信号によって所
定の周波数で強度変調された光が発光素子123から放
射されると、その光は投影レンズ124を介してビーム
スプリッタ125に入射される。ビームスプリッタ12
5により透過された一方の光(照明光)は、物体6で反
射し、再びビームスプリッタ125で反射され、集光レ
ンズ126を介して受光素子127に入射される。ビー
ムスプリッタ125により反射された他方の光(参照
光)は、既知の距離に設置された反射鏡128により反
射され、ビームスプリッタ125で透過され、同じく受
光素子127に入射される。この2つの光は受光素子1
27上で光学的に合成され、その波形が電気信号に変換
され、増幅器128に送られる。この波形の振幅は、受
光素子127から物体6までの距離と受光素子127か
ら反射鏡128までの距離との差により変化する。増幅
された波形信号を検波器129により検波し、レベル計
130で振幅を読み取ることにより物体6までの距離を
算出することができる。
In such a configuration, when light whose intensity is modulated at a predetermined frequency by the driving signal from the driving circuit 121 based on the signal of the oscillator 120 is emitted from the light emitting element 123, the light is transmitted through the projection lens 124. Incident on the beam splitter 125. Beam splitter 12
One light (illumination light) transmitted by 5 is reflected by the object 6, is reflected again by the beam splitter 125, and is incident on the light receiving element 127 via the condenser lens 126. The other light (reference light) reflected by the beam splitter 125 is reflected by a reflecting mirror 128 provided at a known distance, transmitted by the beam splitter 125, and similarly incident on the light receiving element 127. These two lights are received by the light receiving element 1
Optically synthesized on 27, the waveform is converted into an electric signal and sent to an amplifier 128. The amplitude of this waveform changes depending on the difference between the distance from the light receiving element 127 to the object 6 and the distance from the light receiving element 127 to the reflecting mirror 128. The distance to the object 6 can be calculated by detecting the amplified waveform signal with the detector 129 and reading the amplitude with the level meter 130.

【0013】[0013]

【発明が解決しようとする課題】しかし、従来の形状計
測装置によれば、発光素子123から受光素子127に
至る間に照明光、参照光ともにビームスプリッタ125
を2回通過するため、受光素子127に入射する光量が
出射光の1/4になり、光利用効率が悪いという問題あ
る。また、受光素子127に入射する光には、物体6表
面の反射率の影響が含まれているため、受光素子127
の出力信号に基づいて物体6までの距離を算出している
ので、物体6表面の反射率の違いにより、正確な距離を
測定できないという問題がある。さらに、光軸に対して
凹凸を持つ物体では正確な距離を測定できない、暗いと
ころでは問題ないが、外光のあるところでは正確な距離
を測定できない、三次元形状を測定するには光を2次元
的に走査しなければならず、測定時間が長くなる等の通
常の使用環境では距離測定が不可能となる重大な欠点が
ある。
However, according to the conventional shape measuring apparatus, both the illumination light and the reference light are transmitted from the light emitting element 123 to the light receiving element 127 by the beam splitter 125.
Twice, the amount of light incident on the light receiving element 127 becomes に of the outgoing light, and there is a problem that the light use efficiency is poor. Further, since the light incident on the light receiving element 127 includes the influence of the reflectance of the surface of the object 6, the light receiving element 127
Since the distance to the object 6 is calculated based on the output signal of the object 6, there is a problem that an accurate distance cannot be measured due to a difference in reflectance of the surface of the object 6. Furthermore, it is not possible to measure an accurate distance with an object having unevenness with respect to the optical axis. There is no problem in a dark place, but an accurate distance cannot be measured in a place with external light. There is a serious drawback that distance measurement cannot be performed in a normal use environment, such as the need to perform dimensional scanning and a long measurement time.

【0014】従って、本発明の目的は、小型かつ安価
で、光利用効率が高い形状計測装置を提供することにあ
る。また、本発明の他の目的は、物体表面の反射率の違
い等の外的条件に左右されることなく、正確に物体まで
の距離を計測し得る形状計測装置および形状計測方法を
提供することにある。
Accordingly, it is an object of the present invention to provide a small and inexpensive shape measuring device having high light use efficiency. Another object of the present invention is to provide a shape measuring device and a shape measuring method capable of accurately measuring a distance to an object without being influenced by external conditions such as a difference in reflectance of the surface of the object. It is in.

【0015】[0015]

【課題を解決するための手段】本発明は、上記目的を達
成するため、所定の周波数で強度変調された出射光を物
体に向けて出射し、前記物体からの反射光と前記出射光
との位相差に基づいて前記物体までの距離を計測する形
状計測装置において、前記所定の周波数で強度変調され
た前記出射光を前記物体に向けて出射する光出射手段
と、前記光出射手段から出射された前記出射光を所定の
方向に反射する反射部材と、前記物体からの前記反射光
と前記反射部材からの前記出射光とを受光し、それらの
合成により前記位相差が反映された合成検出信号、前記
出射光の出射によって前記物体で反射した前記反射光を
受光して反射光検出信号、および前記反射部材からの前
記出射光を受光して参照光検出信号を出力する検出手段
と、前記合成検出信号、前記反射光検出信号および前記
参照光検出信号に基づいて、前記物体表面の反射率の違
い等の外的成分を除去する補正を行って前記距離を演算
する演算手段とを備えたことを特徴とする形状計測装置
を提供する。
According to the present invention, in order to achieve the above object, the present invention emits outgoing light whose intensity is modulated at a predetermined frequency toward an object, and outputs the reflected light from the object and the outgoing light. In a shape measuring device that measures a distance to the object based on a phase difference, a light emitting unit that emits the intensity-modulated outgoing light toward the object at the predetermined frequency, and a light emitted from the light emitting unit. A reflection member that reflects the emitted light in a predetermined direction, and a combined detection signal that receives the reflected light from the object and the emitted light from the reflective member and reflects the phase difference by combining them. Detecting means for receiving the reflected light reflected by the object by emitting the emitted light and receiving a reflected light detection signal, and receiving the emitted light from the reflecting member and outputting a reference light detection signal; and Detection signal Calculating means for calculating the distance by performing a correction for removing an external component such as a difference in reflectance of the object surface based on the reflected light detection signal and the reference light detection signal. To provide a shape measuring device.

【0016】上記構成によれば、反射部材としては、例
えば、出射光を所定の割合で透過および反射させるビー
ムスプリッタ、あるいは物体への出射光の照射を妨げな
い位置に設けられた反射ミラーを用いることができる。
反射部材としてビームスプリッタを用いることにより、
出射光がビームスプリッタを通る回数が1回になるの
で、検出手段が受光する反射光と出射光の光量がビーム
スプリッタによって減少するのを抑制することが可能に
なる。反射部材として上記反射ミラーを用いることによ
り、検出手段が受光する反射光と出射光の光量が反射ミ
ラーによって減少するのを防げる。また、合成検出信
号、反射光検出信号および参照光検出信号に基づいて、
物体表面の反射率の違い等の外的成分を除去する補正を
行うことにより、物体までの距離が正確に求まる。
According to the above configuration, as the reflecting member, for example, a beam splitter for transmitting and reflecting the outgoing light at a predetermined ratio or a reflecting mirror provided at a position that does not hinder the irradiation of the outgoing light to the object is used. be able to.
By using a beam splitter as a reflection member,
Since the number of times that the output light passes through the beam splitter is one, it is possible to suppress the amount of the reflected light and the output light received by the detection unit from being reduced by the beam splitter. By using the above-mentioned reflecting mirror as a reflecting member, it is possible to prevent the amount of reflected light and outgoing light received by the detecting means from being reduced by the reflecting mirror. Further, based on the combined detection signal, the reflected light detection signal and the reference light detection signal,
By performing a correction for removing an external component such as a difference in the reflectance of the object surface, the distance to the object can be accurately obtained.

【0017】[0017]

【発明の実施の形態】図1は、本発明の第1の実施の形
態に係る三次元形状計測装置を示す。この装置1は、変
調信号を発生する変調信号発生器2と、変調信号発生器
2からの変調信号に基づいて強度変調されたレーザ光か
らなる照明光4aを出射する半導体レーザ3と、半導体
レーザ3からの照明光4aを対象物体6に向けて照射す
る投影レンズ5と、対象物体6で反射した反射光4bを
光学フィルタ8を介して平面センサ9上に結像させる結
像レンズ7と、半導体レーザ3からの照明光4aを透過
させるとともに、反射させ、その反射させたレーザ光を
参照光4cとして光学フィルタ8を介して平面センサ9
上に導くハーフミラー10と、対象物体6と光学フィル
タ8との間に配置された第1のシャッタ11Aと、ハー
フミラー10と光学フィルタ8との間に配置された第2
のシャッタ11Bと、平面センサ9の出力信号を濃淡情
報として記憶する2次元の画像メモリ12と、画像メモ
リ12に記憶された濃淡情報に基づいて対象物体6の表
面形状に関する距離データを2次元的に算出する距離演
算部13と、この装置1の各部を制御するCPU14と
を有する。
FIG. 1 shows a three-dimensional shape measuring apparatus according to a first embodiment of the present invention. The device 1 includes a modulation signal generator 2 for generating a modulation signal, a semiconductor laser 3 for emitting illumination light 4a composed of laser light intensity-modulated based on the modulation signal from the modulation signal generator 2, and a semiconductor laser. A projection lens 5 for irradiating the illumination light 4a from 3 toward the target object 6, an imaging lens 7 for forming an image of the reflected light 4b reflected by the target object 6 on the flat sensor 9 via the optical filter 8, The illumination light 4a from the semiconductor laser 3 is transmitted and reflected, and the reflected laser light is used as the reference light 4c via the optical filter 8 and the flat sensor 9 as the reference light 4c.
A half mirror 10 leading upward, a first shutter 11A arranged between the target object 6 and the optical filter 8, and a second shutter 11A arranged between the half mirror 10 and the optical filter 8.
, A two-dimensional image memory 12 for storing the output signal of the plane sensor 9 as density information, and two-dimensional distance data relating to the surface shape of the target object 6 based on the density information stored in the image memory 12. And a CPU 14 for controlling each unit of the apparatus 1.

【0018】第1および第2のシャッタ11A,11B
としては、例えば、偏光子と検光子の間に透明電極を両
端に設けた電気光学効果を有する単結晶板を配置したも
のを用いることができる。なお、液晶,機械式等を用い
てもよい。また、本実施の形態では、電圧印加(ON)
によって入射光を透過するものを用いる。
First and second shutters 11A and 11B
For example, a device in which a single crystal plate having an electro-optical effect and having transparent electrodes provided at both ends between a polarizer and an analyzer can be used. Note that a liquid crystal, a mechanical type, or the like may be used. In the present embodiment, voltage application (ON)
That transmits incident light.

【0019】図2は、平面センサ9を構成する1つの画
素回路を示す。平面センサ9は、振幅検出モードと光量
検出モードとを有し、2次元状に配列された複数の画素
を備える。1つの画素は、フォトダイオード90と、第
1のバイパス回路切り替え部91Aと、ハイパスフィル
タ(HPF:High Pass Filter)92と、比較器93a,
ダイオード93b,コンデンサ93cからなるピークホ
ールド回路93と、電流変換回路94と、第2のバイパ
ス回路切り替え部91Bと、第1のバイパス回路切り替
え部91Aと第2のバイパス回路切り替え部91Bとに
接続され、HPF92とピークホールド回路93をバイ
パスするバイパス配線95と、スイッチ96と、電荷蓄
積回路97とを備える。
FIG. 2 shows one pixel circuit constituting the flat sensor 9. The plane sensor 9 has an amplitude detection mode and a light amount detection mode, and includes a plurality of pixels arranged two-dimensionally. One pixel includes a photodiode 90, a first bypass circuit switching unit 91A, a high pass filter (HPF) 92, a comparator 93a,
It is connected to a peak hold circuit 93 including a diode 93b and a capacitor 93c, a current conversion circuit 94, a second bypass circuit switching unit 91B, a first bypass circuit switching unit 91A, and a second bypass circuit switching unit 91B. , HPF 92 and a bypass line 95 for bypassing the peak hold circuit 93, a switch 96, and a charge storage circuit 97.

【0020】図3(a)〜(d)は、平面センサ9の動
作を示す。第1および第2のバイパス回路切り替え部9
1A,91BをA側に設定すると、同図(a)に示すよ
うに、フォトダイオード90から信号Saが出力され、
そのフォトダイオード90の出力信号Saは、HPF9
2でDC成分V0 がカットされて同図(b)に示す高周
波信号Sbとなり、ピークホールド回路93に入力され
る。ピークホールド回路93により同図(c)に示すよ
うに振幅のピーク値が保持されたピーク値信号Scが出
力される。このピーク値信号Scは非常に低電圧であ
り、検出が困難であるため、電流変換回路94により電
流に変換してから電荷蓄積回路97に一定時間蓄積して
いる。電荷蓄積回路97の蓄積電圧Sdは、同図(d)
に示すように、直線的に増加し、レーザ光の変調周波数
ω/2πと比較して十分大きな時間T1 の期間積分する
と、容易に検出可能な電圧値Vとなる。この電圧値Vは
合成光の振幅に比例することは明らかである。データ転
送期間T2 に電圧値Vは距離演算部13に転送される。
電荷蓄積回路97からは、対象物体6からの強度変調光
の振幅が検出され、対象物体6までの距離に対応した位
相データを含んだ画像信号が得られる。放電期間T3 で
電荷蓄積回路97はスイッチ96により接地され、蓄積
された電荷は放出され、その後再び蓄積が開始される。
一方、第1および第2のバイパス回路切り替え部91
A,91BをB側に設定すると、フォトダイオード90
の出力信号Saは直接電荷蓄積回路97に入力され、対
象物体6からの定常光の平均輝度が検出され、対象物体
6の輝度データが得られる。これらの回路によりフォト
ダイオード90の出力信号Saの高周波成分の振幅を電
圧の形で検出することが可能となる。
FIGS. 3A to 3D show the operation of the flat sensor 9. FIG. First and second bypass circuit switching unit 9
When 1A and 91B are set to the A side, a signal Sa is output from the photodiode 90 as shown in FIG.
The output signal Sa of the photodiode 90 is the HPF 9
In step 2, the DC component V 0 is cut off to become a high-frequency signal Sb shown in FIG. The peak hold circuit 93 outputs a peak value signal Sc holding the peak value of the amplitude as shown in FIG. Since this peak value signal Sc has a very low voltage and is difficult to detect, it is converted into a current by the current conversion circuit 94 and then stored in the charge storage circuit 97 for a certain period of time. The storage voltage Sd of the charge storage circuit 97 is as shown in FIG.
As shown in, increases linearly, when compared with the modulation frequency omega / 2 [pi of laser light period the integral of a sufficiently large time T 1, a readily detectable voltage value V. It is clear that this voltage value V is proportional to the amplitude of the combined light. The voltage value V in the data transfer period T 2 are transferred to the distance calculation unit 13.
From the charge storage circuit 97, the amplitude of the intensity-modulated light from the target object 6 is detected, and an image signal including phase data corresponding to the distance to the target object 6 is obtained. In the discharging period T3, the charge storage circuit 97 is grounded by the switch 96, the stored charge is released, and then the storage is started again.
On the other hand, the first and second bypass circuit switching units 91
When A and 91B are set to the B side, the photodiode 90
Is directly input to the charge storage circuit 97, the average luminance of the stationary light from the target object 6 is detected, and the luminance data of the target object 6 is obtained. With these circuits, the amplitude of the high frequency component of the output signal Sa of the photodiode 90 can be detected in the form of a voltage.

【0021】次に、本装置1の動作を図4および図5を
も参照し、図6のフローチャートに従って説明する。図
4(a),(b)は、反射光4bの位相遅れにより合成
光の振幅が変化することを計算機シミュレーションによ
り表した図である。図5(a)は、照明光4a、参照光
4cおよび外光4dによる撮像状態を示し、図5(b)
は、照明光4aおよび外光4dによる撮像状態を示し、
図5(c)は、参照光4cのみによる撮像状態を示す。
Next, the operation of the apparatus 1 will be described with reference to FIGS. 4 and 5 and the flowchart of FIG. FIGS. 4A and 4B are diagrams showing, by computer simulation, that the amplitude of the combined light changes due to the phase delay of the reflected light 4b. FIG. 5A shows an imaging state using the illumination light 4a, the reference light 4c, and the external light 4d, and FIG.
Indicates an imaging state using the illumination light 4a and the external light 4d,
FIG. 5C shows an imaging state using only the reference light 4c.

【0022】(1)照明光4a、参照光4cおよび外光
4dによる撮像 ここでは、図5(a)に示すように、強度変調された照
明光4a、参照光4c、および外光4dを用いた照明条
件で対象物体6を撮像する(ST1)。すなわち、CP
U14は、変調信号発生器2への制御信号により、半導
体レーザ3から強度変調された照明光4aを発生させ
る。また、CPU14は、第1および第2のシャッタ1
1A,11Bへの制御信号により、両シャッタ11A,
11Bを開状態にし、対象物体6からの反射光4b、お
よび参照光4cを全て透過させる。すなわち、半導体レ
ーザ3からの照明光4aは、投影レンズ5を介してハー
フミラー10に入射する。ハーフミラー10に入射した
照明光4aは、透過する光と反射する光に2分される。
ハーフミラー10を透過した照明光4aは、対象物体6
に照射され、対象物体6で反射した反射光4bは、結像
レンズ7、および第1のシャッタ11Aを通り、光学フ
ィルタ8を介して平面センサ9上に結像される。ハーフ
ミラー10で反射した参照光4cは、第2のシャッタ1
1Bおよび光学フィルタ8を介して平面センサ9に入射
する。従って、平面センサ9には、反射光4bと参照光
4cとの合成光が入射する。また、CPU14は、平面
センサ9への制御信号により、平面センサ9の光検出モ
ードを強度変調光の振幅を検出する振幅検出モードに設
定する。この状態で撮像することにより、後述する式
(6)で表されるような反射光4bと参照光4cとの合
成光の振幅情報が濃淡情報(画像データAn)として画
像メモリ12に記憶される。
(1) Imaging with illumination light 4a, reference light 4c and external light 4d Here, as shown in FIG. 5A, intensity-modulated illumination light 4a, reference light 4c and external light 4d are used. The target object 6 is imaged under the set lighting conditions (ST1). That is, CP
U14 generates the intensity-modulated illumination light 4a from the semiconductor laser 3 according to the control signal to the modulation signal generator 2. Further, the CPU 14 controls the first and second shutters 1.
1A and 11B, the shutters 11A,
11B is opened, and all the reflected light 4b from the target object 6 and the reference light 4c are transmitted. That is, the illumination light 4 a from the semiconductor laser 3 enters the half mirror 10 via the projection lens 5. The illumination light 4a that has entered the half mirror 10 is split into transmitted light and reflected light.
The illumination light 4a transmitted through the half mirror 10
The reflected light 4b reflected by the target object 6 passes through the imaging lens 7 and the first shutter 11A, and forms an image on the flat sensor 9 via the optical filter 8. The reference light 4c reflected by the half mirror 10 is transmitted to the second shutter 1
The light enters the flat sensor 9 via the optical filter 1B and the optical filter 8. Therefore, the combined light of the reflected light 4b and the reference light 4c enters the flat sensor 9. Further, the CPU 14 sets the light detection mode of the flat sensor 9 to the amplitude detection mode for detecting the amplitude of the intensity-modulated light according to the control signal to the flat sensor 9. By taking an image in this state, the amplitude information of the combined light of the reflected light 4b and the reference light 4c as expressed by Expression (6) described later is stored in the image memory 12 as grayscale information (image data An). .

【0023】(2)照明光4aおよび外光4dによる撮
像 ここでは、図5(b)に示すように、強度変調された照
明光4aを照射し、参照光4cを遮光し、外光4dが照
射された状態で対象物体6を撮像する(ST2)。すな
わち、CPU14は、変調信号発生器2への制御信号に
より半導体レーザ3から強度変調された照明光4aを発
生させる。また、CPU14は、第1および第2のシャ
ッタ11A,11Bへの制御信号により、第1のシャッ
タ11Aを開状態にし、第2のシャッタ11Bを閉状態
にして、対象物体6からの反射光4bを透過させ、参照
光4cを遮光し、また、平面センサ9への制御信号によ
り、平面センサ9の光検出モードを強度変調光の振幅を
検出する振幅検出モードに設定する。この状態で撮像す
ることにより、後述する式(7)で表されるような反射
光4bの振幅情報が濃淡情報(画像データBn)として
2次元的に画像メモリ12に記録される。
(2) Imaging with illumination light 4a and external light 4d Here, as shown in FIG. 5 (b), illumination light 4a whose intensity is modulated is irradiated, reference light 4c is blocked, and external light 4d is The target object 6 is imaged in the irradiated state (ST2). That is, the CPU 14 generates the intensity-modulated illumination light 4 a from the semiconductor laser 3 by the control signal to the modulation signal generator 2. Further, the CPU 14 opens the first shutter 11A, closes the second shutter 11B in response to a control signal to the first and second shutters 11A and 11B, and controls the reflected light 4b from the target object 6. Is transmitted, the reference light 4c is shielded, and the light detection mode of the plane sensor 9 is set to an amplitude detection mode for detecting the amplitude of the intensity-modulated light by a control signal to the plane sensor 9. By taking an image in this state, the amplitude information of the reflected light 4b represented by the expression (7) described later is two-dimensionally recorded in the image memory 12 as light and shade information (image data Bn).

【0024】(3)参照光4cのみによる撮像 次に、CPU14は、半導体レーザモニタ出力線14a
を監視し(ST3)、レーザ出力の変動が設定された閾
値より大きい場合は、以下の撮像を行う(ST4)。レ
ーザ出力の変動が設定された閾値より小さい場合は、撮
像を終了する。但し、本装置1の起動時に1回だけ以下
の撮像を行って得られた濃淡情報(画像データCn)を
画像メモリ12に格納しておき、後述する距離データの
算出に用いる。ここでは、図5(c)に示すように、対
象物体6からの反射光4bを遮光し、参照光4cのみを
撮像する。すなわち、CPU14は、変調信号発生器2
への制御信号により、半導体レーザ3から強度変調され
た照明光4aを発生させる。また、CPU14は、第1
および第2のシャッタ11A,11Bへの制御信号によ
り、第1のシャッタ11Aを閉状態にし、第2のシャッ
タ11Bを開状態にして、対象物体6からの反射光4b
を遮光し、参照光4cを透過させる。また、平面センサ
9への制御信号により、平面センサ9の光検出モードを
強度変調光の振幅を検出する振幅検出モードに設定す
る。この状態で撮像することにより、後述する式(8)
で表されるような参照光4cによる振幅情報が濃淡情報
(画像データCn)として2次元的に画像メモリ12に
記録される。
(3) Imaging Using Only Reference Light 4c Next, the CPU 14 operates the semiconductor laser monitor output line 14a.
Is monitored (ST3), and if the fluctuation of the laser output is larger than the set threshold, the following imaging is performed (ST4). If the fluctuation of the laser output is smaller than the set threshold value, the imaging ends. However, the density information (image data Cn) obtained by performing the following imaging only once at the time of activation of the present apparatus 1 is stored in the image memory 12 and used for calculating distance data described later. Here, as shown in FIG. 5C, the reflected light 4b from the target object 6 is shielded, and only the reference light 4c is imaged. That is, the CPU 14 controls the modulation signal generator 2
, The semiconductor laser 3 generates intensity-modulated illumination light 4a. Further, the CPU 14
The first shutter 11A is closed and the second shutter 11B is opened according to a control signal to the second shutters 11A and 11B, and the reflected light 4b from the target object 6 is set.
Is shielded, and the reference light 4c is transmitted. Further, the light detection mode of the plane sensor 9 is set to an amplitude detection mode for detecting the amplitude of the intensity-modulated light according to a control signal to the plane sensor 9. By taking an image in this state, the following equation (8) is obtained.
Is two-dimensionally recorded in the image memory 12 as density information (image data Cn).

【0025】(4)距離データを2次元的に算出 距離演算部13では、このように撮像された2〜3枚の
画像データAn,Bn,Cnを基に後述する式(12)
により距離データを2次元的に算出する(ST5)。
(4) Two-dimensional calculation of distance data The distance calculation unit 13 calculates the following equation (12) based on the two or three pieces of image data An, Bn, and Cn thus captured.
To calculate distance data two-dimensionally (ST5).

【0026】以下、この算出ついて詳細に説明する。変
調の角周波数をω、振幅を2Eとすると、半導体レーザ
3から放射される強度変調光からなる照明光4aは、次
の式(1)のように表される。 I0=E(sinωt+1) ・・・(1)
Hereinafter, this calculation will be described in detail. Assuming that the angular frequency of the modulation is ω and the amplitude is 2E, the illumination light 4a composed of the intensity-modulated light emitted from the semiconductor laser 3 is expressed by the following equation (1). I 0 = E (sin ωt + 1) (1)

【0027】対象物体6までの距離が0〜2.5mとす
ると、必要とされる変調周波数は30MHzとなる。ハ
ーフミラー10の光透過率をa、対象物体6上のある点
での反射係数をCn とすると、その点が平面センサ9上
に結像された地点nに入射する反射光4bの強度は、外
光4dの強度をeとすると、次の式(2)のように表さ
れる。 In=d1n・aE{sin(ωt+φn)+1}+e ・・・(2)
If the distance to the target object 6 is 0 to 2.5 m, the required modulation frequency is 30 MHz. Assuming that the light transmittance of the half mirror 10 is a and the reflection coefficient at a certain point on the target object 6 is C n , the intensity of the reflected light 4 b incident on the point n where the point is imaged on the flat sensor 9 is , The intensity of the external light 4d is represented by e, and is expressed by the following equation (2). I n = d 1 C n · aE {sin (ωt + φ n ) +1} + e (2)

【0028】ここで、d1は本装置1の光学系(投影系
および結像系)で決まる定数、φnは平面センサ9上に
入射する光の光源からの飛行距離に起因する位相遅れで
ある。(半導体レーザ3〜対象物体6)+(対象物体6
〜平面センサ9)間の距離をLとすると、 φn=ωL/C ただし、Cは光速
Here, d 1 is a constant determined by the optical system (projection system and imaging system) of the apparatus 1, and φ n is a phase delay caused by a flight distance of light incident on the flat sensor 9 from the light source. is there. (Semiconductor laser 3 to target object 6) + (target object 6
n = ωL / C where C is the speed of light

【0029】一方、ハーフミラー10の反射率をbと
し、半導体レーザ3から平面センサ9までの光路長、お
よび平面センサ9の大きさが変調波の波長と比較して十
分に小さいとすると、平面センサ9上での参照光4cの
強度は一様となり、平面センサ9上の地点nでは、次の
式(3)のように表される。 Rn=d2bE(sinωt+1) ・・・(3) ここで、d2は本装置1の光学系(結像系)で決まる定
数である。
On the other hand, assuming that the reflectance of the half mirror 10 is b and the optical path length from the semiconductor laser 3 to the plane sensor 9 and the size of the plane sensor 9 are sufficiently smaller than the wavelength of the modulated wave, The intensity of the reference light 4c on the sensor 9 becomes uniform, and at the point n on the flat sensor 9, it is expressed by the following equation (3). R n = d 2 bE (sinωt + 1) (3) where d 2 is a constant determined by the optical system (imaging system) of the device 1.

【0030】平面センサ9上の地点nでの光の強度Pn
は、反射光4bと参照光4cの合成光となり、式(2)
と式(3)の加算により次の式(4)のように表され
る。
The light intensity P n at the point n on the flat sensor 9
Is a combined light of the reflected light 4b and the reference light 4c, and the expression (2)
Expression (4) is obtained by adding Expression (3) and Expression (3).

【数1】 ただし、(Equation 1) However,

【数2】 図4(a)では、対象物体6までの距離が比較的小さい
場合、つまり位相遅れが小さい場合(π/4遅れ)であ
り、合成光の振幅は大きくなる。図2(b)では、対象
物体6までの距離が比較的大きい場合、つまり位相遅れ
が大きい場合(7π/8遅れ)であり、合成光の振幅は
小さくなる。合成光は、上記式(4)で表されるよう
に、DC成分 (d1na+d2b)E+e および、高周波成分
(Equation 2) In FIG. 4A, when the distance to the target object 6 is relatively small, that is, when the phase delay is small (π / 4 delay), the amplitude of the combined light increases. In FIG. 2B, when the distance to the target object 6 is relatively large, that is, when the phase delay is large (7π / 8 delay), the amplitude of the combined light is small. Combined light, as represented by the above formula (4), DC component (d 1 C n a + d 2 b) E + e and the high frequency component

【数3】 の和となる。振幅項の中に現れるd1・Cn・aEおよび
2・bEは、強度変調しないした光を照射したときの
反射光(物体6の表面反射率を含む)4bおよび参照光
4cの振幅成分であるので、予め次のように測定してお
くことが可能である。
(Equation 3) Is the sum of D 1 · C n · aE and d 2 · bE appearing in the amplitude term are the amplitude components of the reflected light (including the surface reflectance of the object 6) 4 b and the reference light 4 c when irradiating the light whose intensity is not modulated. Therefore, it is possible to measure in advance as follows.

【0031】図5(a)の撮像状態のとき、平面センサ
9に入射する強度変調光の振幅を2Anとすると、An
次の式(6)のように表される。
[0031] When the imaging state of FIG. 5 (a), when the amplitude of the intensity-modulated light incident on the planar sensor 9 and 2A n, A n can be expressed as the following equation (6).

【数4】 図5(b)の撮像状態のとき、平面センサ9に入射する
光の強度は次のように表される。強度変調光の振幅を2
nとすると、Bnは次の式(7)ように表わされる。 Bn=d1naE ・・・(7)
(Equation 4) In the imaging state of FIG. 5B, the intensity of light incident on the flat sensor 9 is expressed as follows. Set the amplitude of the intensity modulated light to 2
Assuming B n , B n is represented by the following equation (7). B n = d 1 C n aE ··· (7)

【0032】図5(c)の撮像状態のとき、平面センサ
9に入射する光の強度は次の式(8)ように表される。 Cn=d2bE ・・・(8)
In the imaging state shown in FIG. 5C, the intensity of light incident on the flat sensor 9 is expressed by the following equation (8). C n = d 2 bE (8)

【0033】式(6),(7),(8)より、合成波の
振幅は、次の式(9)のように表される。
From the equations (6), (7) and (8), the amplitude of the composite wave is expressed as the following equation (9).

【数5】 光源である半導体レーザ3と対象物体6との距離、およ
び対象物体6と平面センサ9との間の距離をL、光速を
Cとすると、位相遅れφnは、次の式(11)のように
表される。 φn=ωL/C ・・・(11)
(Equation 5) Assuming that the distance between the semiconductor laser 3 as a light source and the target object 6 and the distance between the target object 6 and the plane sensor 9 are L and the light speed is C, the phase delay φ n is given by the following equation (11). Is represented by φ n = ωL / C (11)

【0034】上記式(9),(11)より距離Lは、先
に述べた3種類の画像データAn,Bn,Cnにより次
の式(12)のように表される。
From the above equations (9) and (11), the distance L is expressed by the following three types of image data An, Bn and Cn as in the following equation (12).

【数6】 従って、対象物体6までの距離を算出するには、3種類
の画像データAn,Bn,Cnを検出すればよいことに
なる。式(12)には対象物体6の反射係数C n、光学
系に起因する定数d1,d2、および外光強度eが含まれ
ないので、どのような反射率分布を持った物体をどのよ
うな外光4d下で撮像しても距離情報を取得することが
できる。
(Equation 6)Therefore, to calculate the distance to the target object 6, three types
Only need to detect the image data An, Bn, Cn
Become. Equation (12) shows the reflection coefficient C of the target object 6 n, Optics
Constant d due to the system1, DTwo, And the external light intensity e
Since there is no object,
Can acquire distance information even when imaged under external light 4d.
it can.

【0035】上述した第1の実施の形態によれば、以下
の効果が得られる。 (イ)半導体レーザ3から出射された照明光4aおよび
参照光4cのハーフミラー10を通る回数が共に1回に
なるので、平面センサ9が受光する反射光4bと参照光
4cの光量の減少を抑制することが可能になる。 (ロ)光を復調する手段として従来用いられてきた結晶
による光強度復調器、イメージインテンシファイア等の
高価で大型な手段を必要とせずに、物体6までの距離に
応じた位相分布が得られるため、安価で小型の三次元形
状計測装置を提供することができる。 (ハ)平面センサ9の前面に光源の光を選択的に透過す
る光学フィルタ8を設けているので、光源として赤外線
もしくは紫外線などを用いれば、外光4dの影響による
誤差の小さい、高精度な三次元形状を計測することがで
きる。 (ニ)対象物体6までの距離に応じた位相分布を電圧値
として計測できるため、三次元形状を容易に計測するこ
とができる。 (ホ)1つの平面センサ9で距離画像と輝度画像の両方
を得ることができ、この二つの画像は画素が1対1に対
応しているため、距離画像を用いた輝度画像の画像処理
を容易に行うことができる。 (ヘ)照明条件の異なる3枚の画像を撮像することによ
り、どのような反射率分布を持った対象物体6をどのよ
うな外光4d下で撮像しても距離情報を取得することが
できる。 (ト)距離画像と輝度画像の両方が得られるので、例え
ば、スタジオで撮像した画像と建築画像および背景画像
とを合成した合成画像の作成や合成画像から物体画像を
切り出す処理等が容易になる。
According to the above-described first embodiment, the following effects can be obtained. (A) Since both the number of times that the illumination light 4a and the reference light 4c emitted from the semiconductor laser 3 pass through the half mirror 10 is one, the reduction of the light amounts of the reflected light 4b and the reference light 4c received by the flat sensor 9 can be reduced. It becomes possible to suppress. (B) A phase distribution corresponding to the distance to the object 6 can be obtained without the need for expensive and large-sized means such as a crystal light intensity demodulator and an image intensifier which have been conventionally used as a means for demodulating light. Therefore, an inexpensive and compact three-dimensional shape measuring apparatus can be provided. (C) Since the optical filter 8 for selectively transmitting the light of the light source is provided on the front surface of the flat sensor 9, if infrared light or ultraviolet light is used as the light source, the error due to the influence of the external light 4 d is small, and the accuracy is high. A three-dimensional shape can be measured. (D) Since a phase distribution corresponding to the distance to the target object 6 can be measured as a voltage value, a three-dimensional shape can be easily measured. (E) Both a distance image and a luminance image can be obtained by one plane sensor 9, and since these two images have one-to-one correspondence with pixels, image processing of the luminance image using the distance image can be performed. It can be done easily. (F) By capturing three images with different illumination conditions, distance information can be obtained even if the target object 6 having any reflectance distribution is captured under any external light 4d. . (G) Since both the distance image and the luminance image are obtained, for example, it is easy to create a composite image in which the image captured in the studio is combined with the architectural image and the background image, and to cut out an object image from the composite image. .

【0036】図7は、本発明の第2の実施の形態に係る
形状計測装置を示す。この第2の実施の形態は、第1の
実施の形態のハーフミラー10の代わりに、対象物体6
に照射される照明光4aの光路(同図中点線で示す。)
から外れた位置に反射ミラー15を配置したものであ
り、他は第1の実施の形態と同様に構成されている。こ
の第2の実施の形態によれば、平面センサ9に入射する
反射光4bの光量がハーフミラー10によって半減しな
いため、平面センサ9の出力信号が大きくなり、S/N
比が向上する。
FIG. 7 shows a shape measuring apparatus according to a second embodiment of the present invention. The second embodiment is different from the first embodiment in that the target object 6 is replaced with the half mirror 10.
The optical path of the illumination light 4a applied to the light (shown by a dotted line in the figure).
The reflection mirror 15 is arranged at a position deviated from the above, and the other configuration is the same as that of the first embodiment. According to the second embodiment, since the amount of the reflected light 4b incident on the flat sensor 9 is not reduced by half by the half mirror 10, the output signal of the flat sensor 9 increases, and the S / N ratio increases.
The ratio improves.

【0037】なお、本発明は、上記実施の形態に限定さ
れず、種々に変形実施が可能である。例えば、上記実施
の形態では、光源として半導体レーザを使用している
が、原理的にコヒーレントな光を必要としないため、一
般的な光源、例えば、キセノンランプ,ストロボ等を用
いることも可能である。また、上記実施の形態では、反
射光4bと参照光4cを共通の平面センサ9で受光した
が、反射光4bを平面センサで受光し、参照光4cを1
つあるいは複数の受光素子で受光し、各々の出力信号を
合成した合成信号を出力するようにしてよい。この場
合、ハーフミラー等の反射部材を省略して出射光4aを
参照光として直接取り込むことも可能である。また、第
1の実施の形態では、ハーフミラー10を用いたが、入
射光を所定の比率で透過および反射させるビームスプリ
ッタでもよい。
The present invention is not limited to the above embodiment, but can be variously modified. For example, in the above-described embodiment, a semiconductor laser is used as a light source. However, since a coherent light is not required in principle, a general light source, for example, a xenon lamp or a strobe can be used. . Further, in the above embodiment, the reflected light 4b and the reference light 4c are received by the common plane sensor 9, but the reflected light 4b is received by the plane sensor and the reference light 4c is set to 1
One or a plurality of light receiving elements may receive light and output a combined signal obtained by combining respective output signals. In this case, it is also possible to omit the reflection member such as a half mirror and directly take in the emitted light 4a as reference light. Although the half mirror 10 is used in the first embodiment, a beam splitter that transmits and reflects incident light at a predetermined ratio may be used.

【0038】[0038]

【発明の効果】以上説明したように、本発明によれば、
光出射手段から出射された出射光、および物体からの反
射光の光量が反射部材によって減少するのを抑制するこ
とができるので、光利用効率が高くなる。また、出射光
と反射光との位相差に基づいて物体までの距離を計測し
ているので、高価な変調器/復調器や高価で大型のイメ
ージインテンシファイアを用いる必要がないため、小型
かつ安価な形状計測装置および形状計測方法を提供する
ことができる。また、物体表面の反射率の違い等の外的
成分を除去する補正を行って物体までの距離を演算する
ことにより、正確に物体までの距離を計測することが可
能になる。
As described above, according to the present invention,
Since the amount of light emitted from the light emitting means and the amount of light reflected from the object can be suppressed from being reduced by the reflecting member, the light use efficiency is increased. Further, since the distance to the object is measured based on the phase difference between the emitted light and the reflected light, there is no need to use an expensive modulator / demodulator or an expensive and large image intensifier. An inexpensive shape measuring device and shape measuring method can be provided. Further, by performing a correction for removing an external component such as a difference in reflectance on the surface of the object and calculating the distance to the object, it is possible to accurately measure the distance to the object.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の第1の実施の形態に係る三次元形状計
測装置の構成図
FIG. 1 is a configuration diagram of a three-dimensional shape measuring apparatus according to a first embodiment of the present invention.

【図2】第1の実施の形態に係る平面センサを構成する
画素回路を示すブロック図
FIG. 2 is a block diagram illustrating a pixel circuit included in the flat sensor according to the first embodiment;

【図3】(a)〜(d)は、第1の実施の形態に係る平
面センサの動作を説明するための波形図
FIGS. 3A to 3D are waveform diagrams for explaining the operation of the flat sensor according to the first embodiment;

【図4】(a),(b)は、反射光の位相遅れにより合
成光の振幅が変化することを計算機シミュレーションに
より表した図
FIGS. 4A and 4B are diagrams showing, by a computer simulation, that the amplitude of the combined light changes due to the phase delay of the reflected light.

【図5】(a),(b),(c)は、第1の実施の形態
に係る三次元形状計測装置の動作を説明するための図
FIGS. 5A, 5B, and 5C are diagrams for explaining the operation of the three-dimensional shape measuring apparatus according to the first embodiment.

【図6】第1の実施の形態に係る三次元形状計測装置の
動作を説明するためのフローチャート
FIG. 6 is a flowchart for explaining the operation of the three-dimensional shape measuring apparatus according to the first embodiment;

【図7】本発明の第2の実施の形態に係る三次元形状計
測装置の構成図
FIG. 7 is a configuration diagram of a three-dimensional shape measuring apparatus according to a second embodiment of the present invention.

【図8】従来の三次元形状計測装置の構成図FIG. 8 is a configuration diagram of a conventional three-dimensional shape measuring apparatus.

【図9】従来の三次元形状計測装置の構成図FIG. 9 is a configuration diagram of a conventional three-dimensional shape measuring apparatus.

【図10】従来の三次元形状計測装置の構成図FIG. 10 is a configuration diagram of a conventional three-dimensional shape measuring apparatus.

【符号の説明】[Explanation of symbols]

1 三次元形状計測装置 2 変調信号発生器 3 半導体レーザ 4a 照明光 4b 反射光 4c 参照光 5 投影レンズ 6 対象物体 7 結像レンズ 8 光学フィルタ 9 平面センサ 10 ハーフミラー 11A,11B シャッタ 12 画像メモリ 13 距離演算部 14 CPU 14a 半導体レーザモニタ出力線 15 反射ミラー 90 フォトダイオード 91A 第1のバイパス回路切り替え部 91B 第2のバイパス回路切り替え部 92 ハイパスフィルタ(HPF) 93 ピークホールド回路 93a 比較器 93b ダイオード 93c コンデンサ 94 電流変換回路 95 バイパス配線 96 スイッチ 97 電荷蓄積回路 DESCRIPTION OF SYMBOLS 1 3D shape measuring apparatus 2 Modulation signal generator 3 Semiconductor laser 4a Illumination light 4b Reflected light 4c Reference light 5 Projection lens 6 Target object 7 Imaging lens 8 Optical filter 9 Planar sensor 10 Half mirror 11A, 11B Shutter 12 Image memory 13 Distance calculation unit 14 CPU 14a Semiconductor laser monitor output line 15 Reflection mirror 90 Photodiode 91A First bypass circuit switching unit 91B Second bypass circuit switching unit 92 High pass filter (HPF) 93 Peak hold circuit 93a Comparator 93b Diode 93c Capacitor 94 Current conversion circuit 95 Bypass wiring 96 Switch 97 Charge storage circuit

───────────────────────────────────────────────────── フロントページの続き (72)発明者 安部 勉 神奈川県足柄上郡中井町境430 グリーン テクなかい 富士ゼロックス株式会社内 Fターム(参考) 2F064 AA09 CC01 FF02 GG12 GG22 HH03 HH08 JJ06 2F065 AA06 AA53 DD02 DD04 EE03 FF42 FF52 GG04 GG06 JJ03 JJ18 JJ26 LL00 LL04 LL21 LL30 LL53 NN08 NN17 QQ00 QQ02 QQ24 QQ25 QQ33  ──────────────────────────────────────────────────続 き Continuing on the front page (72) Inventor Tsutomu Abe 430 Sakai, Nakagawa-cho, Ashigarakami-gun, Kanagawa Green Tech Nakai F-term in Fuji Xerox Co., Ltd. 2F064 AA09 CC01 FF02 GG12 GG22 HH03 HH08 JJ06 2F065 AA06 AA53 DD02 DD04 EE03 FF42 FF52 GG04 GG06 JJ03 JJ18 JJ26 LL00 LL04 LL21 LL30 LL53 NN08 NN17 QQ00 QQ02 QQ24 QQ25 QQ33

Claims (7)

【特許請求の範囲】[Claims] 【請求項1】所定の周波数で強度変調された出射光を物
体に向けて出射し、前記物体からの反射光と前記出射光
との位相差に基づいて前記物体までの距離を計測する形
状計測装置において、 前記所定の周波数で強度変調された前記出射光を前記物
体に向けて出射する光出射手段と、 前記光出射手段から出射された前記出射光を所定の方向
に反射する反射部材と、 前記物体からの前記反射光と前記反射部材からの前記出
射光とを受光し、それらの合成により前記位相差が反映
された合成検出信号、前記出射光の出射によって前記物
体で反射した前記反射光を受光して反射光検出信号、お
よび前記反射部材からの前記出射光を受光して参照光検
出信号を出力する検出手段と、 前記合成検出信号、前記反射光検出信号および前記参照
光検出信号に基づいて、前記物体表面の反射率の違い等
の外的成分を除去する補正を行って前記距離を演算する
演算手段とを備えたことを特徴とする形状計測装置。
1. A shape measurement for emitting outgoing light intensity-modulated at a predetermined frequency toward an object and measuring a distance to the object based on a phase difference between reflected light from the object and the outgoing light. In the device, a light emitting unit that emits the emitted light whose intensity is modulated at the predetermined frequency toward the object, a reflecting member that reflects the emitted light emitted from the light emitting unit in a predetermined direction, A combined detection signal that receives the reflected light from the object and the outgoing light from the reflecting member, and reflects the phase difference by combining them; and the reflected light reflected by the object by emitting the outgoing light. Detecting means for receiving the reflected light detection signal and receiving the emitted light from the reflection member and outputting a reference light detection signal; and outputting the reference light detection signal to the combined detection signal, the reflected light detection signal and the reference light detection signal. And a calculating means for calculating the distance by performing a correction for removing an external component such as a difference in reflectance of the surface of the object based on the calculated value.
【請求項2】前記検出手段は、前記所定の方向に設けら
れ、入射光の光強度に応じた検出信号を出力する検出器
と、前記物体と前記検出器との間の光路上、および前記
反射部材と前記検出器との間の光路上に各々設けられ、
開閉動作により前記光路を開放あるいは遮断する2つの
シャッタ手段と、前記2つのシャッタ手段の開閉制御に
より、前記検出器から前記合成検出信号、前記反射光検
出信号および前記参照光検出信号を出力させる制御手段
とを備えた構成の請求項1記載の形状計測装置。
2. The detector according to claim 1, wherein said detector is provided in said predetermined direction, and outputs a detection signal according to the light intensity of the incident light; an optical path between said object and said detector; Each provided on an optical path between a reflecting member and the detector,
Two shutter means for opening or closing the optical path by opening and closing operation, and control for outputting the combined detection signal, the reflected light detection signal and the reference light detection signal from the detector by opening and closing control of the two shutter means. The shape measuring apparatus according to claim 1, comprising:
【請求項3】前記検出手段は、前記位相差が反映された
前記合成検出信号として前記反射光と前記出射光の合成
光の振幅を示す振幅検出信号を出力するとともに、外光
による前記物体からの定常反射光検出信号として定常反
射光の光量を示す光量検出信号を出力し、 前記演算手段は、前記振幅検出信号に基づいて前記距離
を演算するとともに、前記光量検出信号に基づいて前記
物体の輝度を演算する構成の請求項1記載の形状計測装
置。
3. The detection means outputs an amplitude detection signal indicating an amplitude of a combined light of the reflected light and the output light as the combined detection signal reflecting the phase difference, and outputs the amplitude detection signal from the object by external light. Outputting a light quantity detection signal indicating the light quantity of the steady reflected light as a steady reflected light detection signal of the; andthe calculating means calculates the distance based on the amplitude detection signal, and calculates the distance of the object based on the light quantity detection signal. The shape measuring device according to claim 1, wherein the shape measuring device has a configuration for calculating luminance.
【請求項4】前記検出手段は、入射光の光強度に応じた
検出信号を出力する検出器と、前記検出器の前面に設け
られ、前記反射部材あるいは前記物体からの光を選択的
に透過する光学フィルタとを備えた構成の請求項1記載
の形状計測装置。
4. The detector according to claim 1, wherein the detector outputs a detection signal corresponding to the light intensity of the incident light, and is provided on a front surface of the detector, and selectively transmits light from the reflecting member or the object. The shape measuring apparatus according to claim 1, further comprising an optical filter configured to perform the measurement.
【請求項5】前記検出手段は、2次元状に配列され、入
射光の光強度に応じた検出信号を出力する複数の検出素
子を備え、 前記演算手段は、前記物体上の複数の点までの前記距離
を演算する構成の請求項1記載の形状計測装置。
5. The detecting means includes a plurality of detecting elements arranged two-dimensionally and outputting a detection signal according to the light intensity of incident light, and the calculating means includes a plurality of detecting elements up to a plurality of points on the object. The shape measuring apparatus according to claim 1, wherein the distance is calculated.
【請求項6】所定の周波数で強度変調された出射光を物
体に向けて出射し、前記物体からの反射光と前記出射光
との位相差に基づいて前記物体までの距離を計測する形
状計測装置において、 前記所定の周波数で強度変調された前記出射光を前記物
体に向けて出射する光出射手段と、 前記物体からの前記反射光と前記出射光とを受光し、そ
れらの合成により前記位相差が反映された合成検出信
号、前記出射光の出射によって前記物体で反射した反射
光を受光して反射光検出信号、および前記出射光を受光
して参照光検出信号を出力する検出手段と、 前記合成検出信号、前記反射光検出信号および前記参照
光検出信号に基づいて、前記物体表面の反射率の違い等
の外的成分を除去する補正を行って前記距離を演算する
演算手段とを備えたことを特徴とする形状計測装置。
6. A shape measurement for emitting outgoing light intensity-modulated at a predetermined frequency toward an object and measuring a distance to the object based on a phase difference between reflected light from the object and the outgoing light. An apparatus, wherein: a light emitting unit that emits the emitted light whose intensity is modulated at the predetermined frequency toward the object; receives the reflected light and the emitted light from the object; A combined detection signal in which the phase difference is reflected, a reflected light detection signal that receives reflected light reflected by the object by emitting the emitted light, and a detection unit that receives the emitted light and outputs a reference light detection signal, Calculating means for calculating the distance by performing a correction to remove an external component such as a difference in reflectance of the object surface based on the combined detection signal, the reflected light detection signal and the reference light detection signal. That Shape measuring device according to symptoms.
【請求項7】所定の周波数で強度変調された出射光を物
体に向けて出射し、前記物体からの反射光と前記出射光
との位相差に基づいて前記物体までの距離を計測する形
状計測方法において、 前記所定の周波数で強度変調された前記出射光を前記物
体に向けて出射し、前記反射光と前記出射光を検出し
て、それらの合成により前記位相差が反映した合成検出
信号に変換し、前記出射光を前記物体に向けて出射し、
前記物体で反射した反射光を検出して反射光検出信号に
変換し、前記出射光を検出して参照光検出信号に変換す
る第1の工程と、 前記合成検出信号、前記反射光検出信号および前記参照
光検出信号に基づいて、前記物体表面の反射率の違い等
の外的成分を除去する補正を行って前記距離を演算する
第2の工程とを含むことを特徴とする形状計測方法。
7. A shape measurement for emitting outgoing light intensity-modulated at a predetermined frequency toward an object and measuring a distance to the object based on a phase difference between reflected light from the object and the outgoing light. In the method, the emission light intensity-modulated at the predetermined frequency is emitted toward the object, the reflected light and the emission light are detected, and the combined detection signal reflects the phase difference by combining them. Converting, emitting the emitted light toward the object,
A first step of detecting reflected light reflected by the object and converting the reflected light into a reflected light detection signal, detecting the emitted light and converting it into a reference light detection signal, the combined detection signal, the reflected light detection signal and A second step of performing a correction to remove an external component such as a difference in reflectance of the object surface based on the reference light detection signal and calculating the distance.
JP28667999A 1999-10-07 1999-10-07 Shape measuring apparatus and shape measuring method Expired - Fee Related JP3711808B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP28667999A JP3711808B2 (en) 1999-10-07 1999-10-07 Shape measuring apparatus and shape measuring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP28667999A JP3711808B2 (en) 1999-10-07 1999-10-07 Shape measuring apparatus and shape measuring method

Publications (2)

Publication Number Publication Date
JP2001108420A true JP2001108420A (en) 2001-04-20
JP3711808B2 JP3711808B2 (en) 2005-11-02

Family

ID=17707573

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28667999A Expired - Fee Related JP3711808B2 (en) 1999-10-07 1999-10-07 Shape measuring apparatus and shape measuring method

Country Status (1)

Country Link
JP (1) JP3711808B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6721679B2 (en) 2000-10-27 2004-04-13 Honda Giken Kogyo Kabushiki Kaisha Distance measuring apparatus and distance measuring method
JP2005510697A (en) * 2001-11-27 2005-04-21 カリダス プレシジョン システムズ ゲーエムベーハー Solid object shape detection method and apparatus
JP2008531999A (en) * 2005-02-26 2008-08-14 ライボルト オプティクス ゲゼルシャフト ミット ベシュレンクテル ハフツング Optical monitoring system for lamination process
WO2010095328A1 (en) * 2009-02-20 2010-08-26 株式会社日立国際電気 Line width measuring apparatus and light quantity adjusting method
JP2012515892A (en) * 2009-01-20 2012-07-12 ヴァイツェル ティロ Optical path length determination device and determination method
CN106767522A (en) * 2017-04-01 2017-05-31 长春理工大学 A kind of freeform optics surface detection method and device for heavy caliber depth rise

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6721679B2 (en) 2000-10-27 2004-04-13 Honda Giken Kogyo Kabushiki Kaisha Distance measuring apparatus and distance measuring method
JP2005510697A (en) * 2001-11-27 2005-04-21 カリダス プレシジョン システムズ ゲーエムベーハー Solid object shape detection method and apparatus
JP2010175550A (en) * 2001-11-27 2010-08-12 Trimble Germany Gmbh Method and device for detecting shape of three-dimensional object
JP2008531999A (en) * 2005-02-26 2008-08-14 ライボルト オプティクス ゲゼルシャフト ミット ベシュレンクテル ハフツング Optical monitoring system for lamination process
JP2012515892A (en) * 2009-01-20 2012-07-12 ヴァイツェル ティロ Optical path length determination device and determination method
WO2010095328A1 (en) * 2009-02-20 2010-08-26 株式会社日立国際電気 Line width measuring apparatus and light quantity adjusting method
CN106767522A (en) * 2017-04-01 2017-05-31 长春理工大学 A kind of freeform optics surface detection method and device for heavy caliber depth rise
CN106767522B (en) * 2017-04-01 2023-05-19 长春理工大学 Optical free-form surface detection method and device for large caliber deep sagittal height

Also Published As

Publication number Publication date
JP3711808B2 (en) 2005-11-02

Similar Documents

Publication Publication Date Title
JP3695188B2 (en) Shape measuring apparatus and shape measuring method
US11212512B2 (en) System and method of imaging using multiple illumination pulses
US6819436B2 (en) Image capturing apparatus and distance measuring method
US6600168B1 (en) High speed laser three-dimensional imager
US6459493B1 (en) Apparatus for measuring surface form
US20140168424A1 (en) Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene
JPH11508371A (en) Telecentric stereo camera and method
Dorrington et al. Achieving sub-millimetre precision with a solid-state full-field heterodyning range imaging camera
US11614517B2 (en) Reducing interference in an active illumination environment
JP3414624B2 (en) Real-time range finder
JP3711808B2 (en) Shape measuring apparatus and shape measuring method
JP2001264014A (en) Optical sensor and three-dimensional shape measuring instrument
JP2008064697A (en) Laser sheet formation device, particle measuring device, laser sheet formation method, and particle measuring method
KR101832364B1 (en) Depth Extraction Apparatus and Method Using Retroreflective Film
JPH0483133A (en) Three-dimensional scanner
JP2002152584A (en) Device and method for arranging color scannerless range image pickup system
JP2001268445A (en) Photosensor and three-dimensional shape measuring device
JP3668466B2 (en) Real-time range finder
JP2001153612A (en) Three-dimensional image pickup device and method, and inteference light generating device
JP6693757B2 (en) Distance image generating apparatus and method
JP2000241134A (en) Apparatus and method for measuring shape
KR20140048445A (en) Distance measuring apparatus and distance measuring method
JPH04110706A (en) Device for taking three-dimensional form data
US10742881B1 (en) Combined temporal contrast sensing and line scanning
JP2001280927A (en) Method and instrument for measuring three-dimensional shape

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050726

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050808

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090826

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100826

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110826

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees