JP2001356004A - 画像撮像装置及び距離測定方法 - Google Patents
画像撮像装置及び距離測定方法Info
- Publication number
- JP2001356004A JP2001356004A JP2000176142A JP2000176142A JP2001356004A JP 2001356004 A JP2001356004 A JP 2001356004A JP 2000176142 A JP2000176142 A JP 2000176142A JP 2000176142 A JP2000176142 A JP 2000176142A JP 2001356004 A JP2001356004 A JP 2001356004A
- Authority
- JP
- Japan
- Prior art keywords
- light
- wavelength
- intensity
- irradiation
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000003287 optical effect Effects 0.000 claims abstract description 184
- 238000009826 distribution Methods 0.000 claims abstract description 121
- 230000001678 irradiating effect Effects 0.000 claims abstract description 57
- 238000003384 imaging method Methods 0.000 claims description 85
- 238000004364 calculation method Methods 0.000 claims description 42
- 230000007423 decrease Effects 0.000 claims description 30
- 238000002834 transmittance Methods 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 19
- 238000012634 optical imaging Methods 0.000 claims description 18
- 238000004611 spectroscopical analysis Methods 0.000 claims description 9
- 238000005286 illumination Methods 0.000 claims description 5
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 230000003595 spectral effect Effects 0.000 abstract description 8
- 238000012545 processing Methods 0.000 description 33
- 238000010586 diagram Methods 0.000 description 32
- 230000015654 memory Effects 0.000 description 13
- 238000005259 measurement Methods 0.000 description 11
- 238000000926 separation method Methods 0.000 description 11
- 238000003702 image correction Methods 0.000 description 8
- 238000000691 measurement method Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000013213 extrapolation Methods 0.000 description 4
- 238000002310 reflectometry Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 101000777301 Homo sapiens Uteroglobin Proteins 0.000 description 1
- 102100031083 Uteroglobin Human genes 0.000 description 1
- 229910021417 amorphous silicon Inorganic materials 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
撮影し、被写体の奥行き距離を簡便に測定することので
きる画像撮像装置及び距離測定方法を提供する。 【解決手段】 第1の波長を有し、光軸と垂直な面にお
いて第1の強度分布を有する第1の照射光と、第1の波
長とは異なる第2及び第3の波長を有し、光軸と垂直な
面において第1の強度分布とは異なる第2の強度分布を
有する第2の照射光とを、同時に被写体に照射する照射
部と、被写体から得られる出射光から、第1の波長を有
する第1の出射光と、第2の波長を有する第2の出射光
と、第3の波長を有する第3の出射光とを光学的に分離
する分光部と、それぞれの強度を撮像及び検出する撮像
部及び光強度検出部と、第1、第2及び第3の出射光の
強度に基づいて被写体までの奥行き距離を算出する奥行
き距離算出部とを備えた。これにより、被写体の奥行き
距離を簡便に測定することができる。
Description
離に関する情報を取得する画像撮像装置及び距離測定方
法に関する。特に本発明は、光が照射された被写体から
得られる出射光を撮影して被写体の奥行きに関する情報
を取得する画像撮像装置及び距離測定方法に関する。
を得るために、物体にスリットや縞模様などのパターン
光を投影し、物体に投影されたパターンを撮影して解析
する三次元画像計測の手法が知られている。代表的な計
測方法として、スリット光投影法(別名、光寸断法)、
コード化パターン光投影法などがあり、井口征士、佐藤
宏介著「三次元画像計測」(昭晃堂)に詳しい。
昭和61年7月15日)及び特開昭63−233312
号公報(公開日昭和63年9月29日)には、異なる光
源位置から被写体に光を照射し、被写体からの出射光の
強度比に基づいて、被写体までの距離を測定する距離測
定装置及び距離測定方法が開示されている。
和62年2月28日)には、位相の異なる2つの光を被
写体に照射し、被写体からの出射光の位相差に基づい
て、被写体までの距離を測定する距離検出装置が開示さ
れている。
Cameraの開発」(3次元画像コンファレンス99、19
99年)には、投影光に超高速の強度変調を加え、強度変
調光で照明された被写体を高速シャッター機能を備えた
カメラで撮影し、被写体までの距離によって変化する強
度変調度合いから、距離を測定する方法が開示されてい
る。
特開平11−94520号公報には、異なる波長特性を
有した、異なる光パタンを被写体に投射し、被写体から
の入射光の波長成分を抽出することにより被写体までの
距離を計算する実時間レンジファインダが開示されてい
る。
び距離測定方法では、特開昭61−155909号公報
及び特開昭63−233312号公報に開示されたよう
に、放射位置を異ならせて光を順次照射し、それぞれの
出射光を測定する必要があるため、測定に時間差が生じ
る。そのため、動きのある被写体の場合、距離を測定す
ることができないという問題が生じる。また光源の位置
を変えて照射する間に、撮影装置のぶれにより、測定誤
差が生じる可能性がある。
照射し、出射光を照射光の波長特性に合わせたフィルタ
ーを用いて、分光し、出射光強度を測定することができ
る。しかし、被写体の被照射部の分光反射率が異なる場
合、照射光の波長の違いから出射光強度に違いが生じる
ため、出射光強度の比から奥行き距離を計算する際の誤
差要因となり、正確な奥行き距離が計算できないという
問題が生じていた。
特開平11−94520号公報に開示された実時間レン
ジファインダにおいても、波長特性の異なる光を用いて
被写体までの距離を計算している。しかし、被写体の被
照射部の分光反射率が異なる場合においては、上述した
ように誤差要因となり、正確な奥行き距離が計算できな
い。
た距離検出装置では、位相差を検出するための精度の高
い位相検出器が必要となり、装置が高価になり、簡便性
に欠ける。また、被写体の点からの出射光の位相を測定
するため、被写体全体の奥行き分布を測定することがで
きない。
Cameraの開発」(3次元画像コンファレンス99,19
99年)に開示された強度変調を用いた距離測定方法は、
同一の光源において強度の増減変調を行うため、非常に
高速に光変調を行う必要があり、簡便に測定することが
できず、また、測定にも時間差があるため動きのある被
写体に対しては正確に距離を測定できないという問題が
ある。
とのできる画像撮像装置及び距離測定方法を提供するこ
とを目的とする。この目的は、特許請求の範囲における
独立項に記載の特徴の組み合わせにより達成される。ま
た従属項は本発明の更なる有利な具体例を規定する。
に、本発明の第1の形態においては、被写体の奥行きに
関する情報を取得する画像撮像装置であって、第1の波
長を主要な波長成分とし、照射する光の光軸と垂直な面
における第1の強度分布を有する第1の照射光と、第1
の波長とは異なる第2及び第3の波長を主要な波長成分
とし、照射する光の光軸と垂直な面において第1の強度
分布とは異なる第2の強度分布を有する第2の照射光と
を、被写体に照射する照射部と、照射部により第1及び
第2の照射光が照射された被写体からの出射光に基づい
て、被写体までの奥行き距離を算出する奥行き算出部と
を備えたことを特徴とする画像撮像装置を提供する。
第1の方向で単調に増加する強度分布を有し、第2の照
射光は、第1の方向とは逆向きの第2の方向で単調に増
加する強度分布を有してもよい。また、第1の照射光
は、光軸と垂直な面において光軸から遠ざかるにつれ単
調に増加または減少する強度分布を有し、第2の照射光
は、光軸と垂直な面において光軸から遠ざかるにつれ、
第1の照射光が光軸から遠ざかるにつれ単調に増加する
場合は減少し、第1の照射光が光軸から遠ざかるにつれ
単調に減少する場合は増加する、強度分布を有してもよ
い。照射部は、第1及び第2の照射光を同時に照射する
ことが好ましい。
が照射された被写体から得られる出射光を結像する光学
結像部と、被写体から得られる出射光から、第1の波長
を有する第1の出射光と、第2の波長を有する第2の出
射光と、第3の波長を有する第3の出射光とを光学的に
分離する分光部と、分光部によって分離され、光学結像
部が結像する第1、第2及び第3の出射光を受光する受
光部と、受光部が受光する第1、第2及び第3の出射光
の強度を検出する光強度検出部とをさらに備え、奥行き
算出部は、第1、第2及び第3の出射光の強度を用い
て、被写体までの奥行き距離を算出してもよい。
て、照射部と、受光部又は光学結像部のいずれかとを結
ぶ線を光軸と垂直な面に投影した線と平行な第1の方向
で強度が増加し、第2の照射光は、光軸と垂直な面にお
いて、第1の方向と逆向きの第2の方向で強度が増加し
てもよい。
の照射光光学フィルターと、第2及び第3の波長の光を
透過する第2の照射光光学フィルターとを有し、第1の
照射光光学フィルターは、第1の照射光が入射され、第
2の照射光光学フィルターは、第2の照射光が入射され
てもよい。また、第1の照射光光学フィルターは、入射
面において第1の方向で透過率が増加し、第2の照射光
光学フィルターは、第1の方向と逆向きの第2の方向で
透過率が増加してもよい。
おいて第1の照射光の光軸から遠ざかるにつれ透過率が
増加または減少し、第2の照射光光学フィルターは、入
射面において第2の照射光の光軸から遠ざかるにつれ透
過率が、第1の照射光光学フィルターの透過率が第1の
照射光の光軸から遠ざかるにつれ増加する場合は減少
し、第1の照射光光学フィルターの透過率が第1の照射
光の光軸から遠ざかるにつれ減少する場合は増加しても
よい。また、分光部は、第1の波長の光を透過する第1
の出射光光学フィルター、第2の波長の光を透過する第
2の出射光光学フィルター、及び第3の波長の光を透過
する第3の出射光光学フィルターとを有し、第1の出射
光光学フィルターは、第1の出射光が入射され、第2の
出射光光学フィルターは、第2の出射光が入射され、第
3の出射光光学フィルタは、第3の出射光が入射しても
よい。
の出射光光学フィルターと、第2及び第3の波長の光を
透過する第2の出射光光学フィルターとを有し、第1の
出射光光学フィルターは、第1の出射光が入射され、第
2の出射光光学フィルターは、第2及び第3の出射光が
入射されてもよい。また、受光部は、固体撮像素子を有
し、分光部は、第1の波長の光を透過する第1の出射光
光学フィルターと、第2の波長の光を透過する第2の出
射光光学フィルターと、第3の波長の光を透過する第3
の出射光光学フィルターとを有し、第1、第2及び第3
の出射光光学フィルターが固体撮像素子の受光面に交互
に配置されてもよい。
強度に基づく値と、第1の出射光の強度とを用いて、被
写体までの奥行き距離を算出してもよい。また、奥行き
算出部は、第2の出射光と第3の出射光の平均強度及び
第1の出射光の強度を用いて、被写体までの奥行き距離
を算出してもよい。
は、第1の波長を主要な波長成分とし、照射する光の光
軸と垂直な面における第1の強度分布を有する第1の照
射光と、第1の波長より短い第2の波長、及び第1の波
長より長い第3の波長を主要な波長成分とし、照射する
光の光軸と垂直な面において第1の強度分布とは異なる
第2の強度分布を有する第2の照射光とを、被写体に照
射し、照射部により第1及び第2の照射光が照射された
被写体からの出射光を結像する光学結像部と、被写体か
ら得られる出射光から、第1の波長を有する第1の出射
光と、第2及び第3の波長を有する第2の出射光とを光
学的に分離する分光部と、分光部によって分離され、光
学結像部が結像する第1の出射光及び第2の出射光を受
光する受光部と、受光部が受光する第1及び第2の出射
光の強度を検出する光強度検出部とをさらに備え、奥行
き算出部は、第1及び第2の出射光の強度を用いて、被
写体までの奥行き距離を算出してもよい。
第2の出射光の強度の半分の値を用いて、被写体までの
前記奥行き距離を算出してもよい。また、光強度検出部
は、受光部に撮像された被写体の画像の各画素において
第1及び第2の出射光の強度を算出し、奥行き算出部
は、各画素の各々に対応する被写体の領域までの奥行き
を各々求めることにより、被写体の奥行き分布を算出し
てもよい。
において、第1及び第2の照射光は赤外線領域の光であ
り、分光部は、被写体から得られる出射光から可視光を
光学的に分離する手段をさらに備え、受光部は、分光部
により光学的に分離され、光学結像部が結像する可視光
を受光する可視光用の固体撮像素子をさらに備え、奥行
き算出部が算出する被写体の奥行き分布と共に可視光用
の固体撮像素子に撮像された被写体の画像を記録する記
録部をさらに備えてもよい。
奥行きに関する情報を取得する距離測定方法であって、
第1の波長を主要な波長成分とし、照射する光の光軸と
垂直な面における第1の強度分布を有する第1の照射光
と、第1の波長とは異なる第2及び第3の波長を主要な
波長成分とし、照射する光の光軸と垂直な面において第
1の強度分布とは異なる第2の強度分布を有する第2の
照射光とを、同時に被写体に照射する照射段階と、第1
及び第2の照射光が照射された被写体から得られる出射
光から、第1の波長を有する第1の出射光と、第2の波
長を有する第2の出射光と、第3の波長を有する第3の
出射光とを光学的に分離する分光段階と、分離された第
1、第2及び第3の出射光を撮像する撮像段階と、撮像
された第1、第2及び第3の出射光の強度を検出する光
強度検出段階と、第1、第2及び第3の出射光の強度に
基づいて、被写体までの奥行き距離を算出する奥行き算
出段階とを備えたことを特徴とする距離測定方法を提供
する。
の強度に基づく値及び第1の出射光の強度に基づいて、
被写体までの奥行き距離を算出してもよい。また、奥行
き算出段階は、第2の出射光と第3の出射光の平均強度
及び第1の出射光の強度に基づいて、被写体までの奥行
き距離を算出してもよい。
は、被写体の奥行きに関する情報を取得する距離測定方
法であって、第1の波長を主要な波長成分とし、光軸と
垂直な面における第1の強度分布を有する第1の照射光
と、第1の波長より短い第2の波長、及び第1の波長よ
り長い第3の波長を主要な波長成分とし、光軸と垂直な
面において第1の強度分布と異なる第2の強度分布を有
する第2の照射光とを、同時に被写体に照射する照射段
階と、第1及び第2の照射光が照射された被写体から得
られる出射光から、第1の波長を有する第1の出射光
と、第2及び第3の波長を有する第2の出射光とを光学
的に分離する分光段階と、分離された第1の出射光及び
第2の出射光を撮像する撮像段階と、受光された第1の
出射光及び第2の出射光の強度をそれぞれ検出する光強
度検出段階と、第1の出射光の強度及び第2の出射光の
強度に基づいて、被写体までの奥行き距離を算出する奥
行き算出段階とを備えたことを特徴とする距離測定方法
を提供する。
においては、奥行き算出段階は、第1の出射光の強度及
び第2の出射光の強度の半分の値に基づいて、被写体ま
での奥行き距離を算出してもよい。
奥行きに関する情報を取得する画像撮像装置であって、
第1の波長を主要な波長成分とし、照射する光の進行方
向において強度が変化するよう変調した第1の照射光
と、第1の波長とは異なる第2及び第3の波長を主要な
波長成分とし、照射する光の進行方向において強度が変
化するよう変調した第2の照射光とを、被写体に照射す
る照射部と、照射部により第1及び第2の照射光が照射
された被写体からの出射光に基づいて、被写体までの奥
行き距離を算出する奥行き算出部とを備えたことを特徴
とする画像撮像装置を提供する。
単調に増加または減少するよう変調された照射光であ
り、第2の照射光は、進行方向において、第1の照射光
の強度が進行方向において単調に増加する場合は単調に
減少し、第1の照射光の強度が進行方向において単調に
減少する場合は単調に増加するよう変調された照射光で
あってもよい。また、照射部によって照射される第1及
び第2の照射光の強度を、時間により変化させる変調部
をさらに備えていてもよい。
は、照射部は、第1の波長を主要な波長成分とし、光の
進行方向において強度が変化するよう変調した第1の照
射光と、第1の波長より短い第2の波長、及び第1の波
長より長い第3の波長を主要な波長成分とし、光の進行
方向において強度が変化するよう変調した第2の照射光
とを、被写体に照射し、照射部により第1及び第2の照
射光が照射された被写体からの出射光を結像する光学結
像部と、被写体から得られる出射光から、第1の波長を
有する第1の出射光と、第2及び第3の波長を有する第
2の出射光とを光学的に分離する分光部と、分光部によ
って分離され、光学結像部が結像する第1の出射光及び
第2の出射光を受光する受光部と、受光部が受光する第
1及び第2の出射光の強度を検出する光強度検出部とを
さらに備え、奥行き算出部は、受光部における第1及び
第2の出射光の強度に基づいて、被写体までの奥行き距
離を算出してもよい。
奥行きに関する情報を取得する距離測定方法であって、
第1の波長を主要な波長成分とし、照射する光の進行方
向において強度が変化するよう変調した照射光と、第1
の波長とは異なる第2及び第3の波長を主要な波長成分
とし、照射する光の進行方向において強度が変化するよ
う変調した第2の照射光とを、同時に前記被写体に照射
する照射段階と、第1及び第2の照射光が照射された被
写体から得られる出射光から、第1の波長を有する第1
の出射光と、第2の波長を有する第2の出射光と、第3
の波長を有する第3の出射光とを光学的に分離する分光
段階と、分離された第1、第2及び第3の出射光を撮像
する撮像段階と、撮像された第1、第2及び第3の出射
光の強度を検出する光強度検出段階と、第1、第2及び
第3の出射光の前記撮像部における強度に基づいて、被
写体までの奥行き距離を算出する奥行き算出段階とを備
えたことを特徴とする距離測定方法を提供する。
び第3の出射光の強度に基づく値と、第1の出射光の撮
像部における強度とに基づいて、被写体までの奥行き距
離を算出してもよい。
は、被写体の奥行きに関する情報を取得する距離測定方
法であって、第1の波長を主要な波長成分とし、光の進
行方向において強度が変化するよう変調した第1の照射
光と、第1の波長より短い第2の波長、及び第1の波長
より長い第3の波長を主要な波長成分とし、光の進行方
向において強度が変化するよう変調した第2の照射光と
を、同時に前記被写体に照射する照射段階と、第1及び
第2の照射光が照射された被写体から得られる出射光か
ら、第1の波長を有する第1の出射光と、第2及び第3
の波長を有する第2の出射光とを光学的に分離する分光
段階と、分離された第1の出射光及び前記第2の出射光
を撮像する撮像段階と、受光された第1の出射光及び第
2の出射光の強度をそれぞれ検出する光強度検出段階
と、第1の出射光の撮像部における強度と、第2の出射
光の撮像部における強度とに基づいて、被写体までの奥
行き距離を算出する奥行き算出段階とを備えたことを特
徴とする距離測定方法を提供する。
特徴の全てを列挙したものではなく、これらの特徴群の
サブコンビネーションも又、発明となりうる。
本発明を説明するが、以下の実施形態は特許請求の範囲
にかかる発明を限定するものではなく、又実施形態の中
で説明されている特徴の組み合わせの全てが発明の解決
手段に必須であるとは限らない。
の実施形態の原理説明図である。光源26は、第1の照
射光16、第2の照射光18を照射する光源である。照
射光16及び照射光18は、光軸に垂直な面において、
それぞれ異なる第1及び第2の強度分布を有する。光源
26は、第1の照射光16を被写体12に照射し、カメ
ラ28は、第1の照射光16の被照射部14における第
1の反射光22を撮影する。次に、光源26は第2の照
射光18を被写体12に照射し、カメラ28は、第2の
照射光18の被照射部14における第2の反射光24を
撮影する。カメラ28は例えば電荷結合素子(CCD)
イメージセンサであって、各画素単位で第2の照射光1
8の被照射部14における第2の反射光24を撮影し、
画素毎にそれぞれの強度を検出する。またカメラ28
は、光源26から所定の距離L1離れた位置に配置され
る。
2の照射光18の強度Wdの、光軸と垂直な面における
強度分布の一例を説明する図である。図2(a)はWa
及びWdそれぞれの光軸と垂直な面における強度分布を
表している。縦軸は強度を表し、横軸は図1における光
源26及びカメラ28とを結ぶ線と、縦軸に示される強
度を有する照射光の成分とがなす角度を表している。W
aは光軸と垂直な面における第1の方向で単調に増加し
ている。またWdは光軸と垂直な面においてWaとは逆
の方向で単調に増加している。図2(b)はWa及びW
dの強度比を示す。
2に示されるような強度分布を有している場合、図2
(b)に示されるように、カメラ28の各画素において
検出された強度比Wa/Wdに基づいて図1における第
1の照射光16及び第2の照射光18の照射角θ2が算
出され、強度比Wa/Wdを検出した画素の位置によっ
て第1の反射光22及び第2の反射光24の入射角θ1
が算出される。これらの入射角θ1、θ2及び光源26
とカメラ28との距離L1から、三角測量法により被照
射部14の奥行き距離を算出することができる。
第2の照射光18とを順に照射し、それぞれ撮影するた
め撮影に時間差が生じる。したがって動きのある被写体
には適用することができない。そこで第1の照射光16
と第2の照射光18との波長特性を異ならせ、第1の照
射光16と第2の照射光18とを同時に照射し、被照射
部からの反射光から、第1の照射光16による第1の反
射光22と第2の照射光18による第2の反射光24と
を波長分離して、それぞれの反射光の強度を測定する方
法が考えられる。
て異なる。このため反射光強度比Wa/Wdを求めて
も、被写体の奥行き距離を算出することができない。第
1の照射光16の波長λ1と第2の照射光18の波長λ
2との差を微小にして、表面反射率の違いを無視して強
度比Wa/Wdを求め、被照射部14の奥行き距離を算
出することもできるが、計算に誤差が生じてしまう。こ
の誤差を小さくするためには、波長λ1とλ2との差を
十分に小さくしなければならないが、波長λ1とλ2と
の差を小さくすると、波長分離の精度が悪くなり、波長
毎の強度測定に誤差が含まれることになる。
度測定の精度を上げるためには、波長λ1とλ2との差
を大きくしなければならないし、波長による表面反射率
の違いを小さくして、距離測定の精度を上げるために
は、波長λ1とλ2との差を小さくしなければならない
というジレンマに陥り、距離測定の精度を改善すること
に自ずと限界が生じる。
施形態では、第1の波長を主要な波長成分とし、照射す
る光の光軸と垂直な面における第1の強度分布を有する
第1の照射光と、第1の波長とは異なる第2及び第3の
波長を主要な波長成分とし、照射する光の光軸と垂直な
面において第1の強度分布とは異なる第2の強度分布を
有する第2の照射光とを前記被写体に同時に照射する。
次に第1の照射光による第1の反射光と第2の照射光に
よる第2の反射光とを光学的に分離し、第2の反射光よ
り、第2の強度分布を有する光が第1の波長を主要な波
長成分とする光であった場合に、被写体から得られるで
あろう仮の反射光の強度を求める。この仮の反射光の強
度と、第1の反射光の強度との強度比と、光源26とカ
メラ28との距離L1とに基づいて被照射部14の奥行
き距離を算出する。仮の反射光の強度を求めることによ
り、波長による表面反射率の違いをキャンセルすること
ができるため、奥行き距離を正確に求めることができ
る。
像撮像装置200の構成の一例を示す図である。画像撮
像装置200は、照射部40、撮像部100、制御部9
0及び処理部110を有する。
像部100は照射部40が照射した被写体12を撮像す
る。処理部110は撮像部100が撮像した被写体12
の画像を処理して、撮像された被写体12の奥行き距離
を求め、被写体12の奥行き分布情報として記憶する。
処理部60はまた、撮像部120が撮像した被写体12
の画像を記録することもできる。制御部90は、処理部
が求めた被写体12の奥行き距離に基づいてフィードバ
ック制御を行い、照射部40が照射する光の強度、発光
のタイミング、発光時間、放射位置等を制御し、撮像部
100の露光時間等を制御する。
ター42a、42bとを有する。光源部44からの光は
光学フィルター42a、42bを透過し、第1の照射光
16と第2の照射光18として被写体12に照射され
る。光学フィルター42aは第1の波長λ1の光を透過
し、光学フィルター42bは第2の波長λ2及び第3の
波長λ3の光を透過する。第1の照射光16は光軸と垂
直な面において第1の強度分布を有し、第2の照射光1
8は第1の強度分布とは異なる第2の強度分布を有す
る。第1及び第2の強度分布は、後述する光学フィルタ
ー42a及び42bの透過率分布により定まり、光学フ
ィルター42a及び42bの透過率分布はそれぞれ異な
る。
場合には、コンデンサーレンズ等の光学レンズを照射光
の光路に挿入して、光を集光させてもよい。
の光学レンズ46と、分光部50と、受光部60とを有
する。光学レンズ46は、被写体12からの反射光48
を結像する。分光部50は、被写体12からの反射光4
8を、照射部40が照射した波長特性に合わせて波長分
離する。受光部60は、光学レンズ46が結像し、分光
部50によって波長分離された反射光を受光する。
ある。被写体像は固体撮像素子の受光面上に結像され
る。結像された被写体像の光量に応じ、固体撮像素子の
各センサエレメントに電荷が蓄積され、蓄積された電荷
は、一定の順序に走査され、電気信号として読み出され
る。
度を画素単位に高い精度で検出可能なように、S/N比
が良く、画素数が大きい電荷結合素子(CCD)イメー
ジセンサであることが望ましい。固体撮像素子としてC
CD以外にMOSイメージセンサ、CdS−Se密着型
イメージセンサ、a−Si密着型イメージセンサ、又は
バイポーラ密着型イメージセンサ等を用いても良い。
度検出部70と、奥行き算出部80と、画像補正部56
と、記録部58を有する。画像メモリ54は、撮像部1
00が撮像した被写体12の画像を、照射部40が照射
した照射光の波長特性に合わせて格納する。光強度検出
部70が画像メモリ54に格納された被写体12の画像
から反射光の強度を画素単位または画素領域単位で検出
する。奥行き算出部80は、光強度検出部70が検出し
た反射光強度に基づいて、各画素領域に写された被写体
12の奥行き距離を算出する。記録部58は、奥行き算
出部80が算出した被写体12の奥行き距離の分布を記
録する。画像補正部56は、画像メモリ54に格納され
た被写体12の画像について、階調補正、ホワイトバラ
ンス等の補正を行う。記録部58は、画像補正部56が
処理した被写体12の画像を記録する。また、光強度検
出部70及び奥行き算出部80はそれぞれ、被写体12
からの反射光の検出レベル及び被写体12の奥行き分布
の情報を制御部58に出力する。記録部58は、フラッ
シュメモリ、メモリカード等の半導体メモリに画像デー
タ及び奥行き分布情報を記録する。
体12の奥行き距離に基づいてフィードバック制御を行
い、照射部40が照射する光の強度、発光のタイミング
等を制御し、撮像部100の受光部60の受光感度や露
光時間等を制御する。制御部90は、測光センサ(図示
せず)の測光データや、測距センサの測距データを用い
て、照射部40と撮像部100を制御しても良い。ま
た、制御部90は、処理部110が求めた被写体12の
奥行き距離に基づいて、被写体12の画像を撮影すると
きの撮像部100のフォーカス、絞り、露光時間等を調
整してもよい。
度分布の一例を説明する図である。面66は、照射部4
0から照射された光の光軸64と垂直な面である。面6
6において照射部40が照射した光は線68に示す方向
で単調に増加又は減少する。線68は照射部40と受光
部又は光学結像部72とを結ぶ線62を面66に投影し
た線と平行である。本実施例では、照射部40と撮像部
(受光部又は光学結像部)との距離、照射光の照射角、
及び反射光の入射角に基づいて、三角測量法により被写
体の奥行き距離を算出するので、図4において説明した
ような強度分布を照射部から照射される第1の照射光及
び第2の照射光が有することが好ましいが、他の例にお
いては、第1の照射光は、光軸と垂直な面において光軸
から遠ざかるにつれ単調に増加または減少する強度分布
を有し、第2の照射光は、光軸と垂直な面において光軸
から遠ざかるにつれ、第1の照射光が光軸から遠ざかる
につれ単調に増加する場合には減少し、第1の照射光が
光軸から遠ざかるにつれ単調に減少する場合には増加す
る強度分布を有していてもよく、また他の分布を有して
いてもよい。
ター42の一例の説明図である。図5(a)は一方向に
おいて透過率が変化する光学フィルター42の一例の説
明図である。図3に関連して説明したように、照射部は
透過率分布の異なる2種の光学フィルター42を有して
いる。片方は図5(a)のに示すように一方向におい
て透過率が単調に増加する透過率分布を有しており、も
う一方は図5(a)のに示すように、とは逆の方向
において透過率が単調に増加する透過率分布を有してい
る。また、照射部は図5(b)に示すような、片方は中
心部から遠ざかるにつれ透過率が単調に増加する透過率
分布を有し、もう一方は中心部から遠ざかるにつれ透過
率が単調に減少する透過率分布の光学フィルター42を
有していてもよく、他の透過率分布の光学フィルター4
2を有していてもよい。また、光学フィルター42はそ
れぞれ異なる波長近傍を主に透過することが好ましい。
ター42は、全方位に対して距離算出が行えるが、三角
測量法により距離を算出しており、照射部40と撮像部
100を結ぶ方向と平行な方向以外には誤差が生じてし
まう。そのため、本実施形態においては、図5(a)に
関連して説明した光学フィルター42を用いるのがより
好ましい。
00の構成の一例を示す図である。照射部40は光源部
44と、光学フィルター42a、42bを有する。光学
フィルター42aは主に波長λAの光を透過し、光学フ
ィルター42bは主に波長λB、λCを有する光を透過
する。照射部40は光源部からの照射光を光学フィルタ
ー42a、42bを介して、波長λAの光と、波長λB
の光として被写体12に照射する。
被写体12の被照射部14からの反射光を撮像部100
の光学レンズ46が結像する。分光部50は、波長λ
A、λB、λCの3つの光に波長分離して光路を分割す
るプリズムである。受光部60a、60b、及び60c
は3板の固体撮像素子である。分光部50によって分光
された波長λA、λB、λCを有する光はそれぞれ受光
部60a、60b、及び60cに受光される。各受光部
60a、60b、及び60cに受光された光は、光電効
果により電荷として読み出され、A/D変換器(図示せ
ず)によりデジタル電気信号に変換され、処理部110
(図示せず)に入力される。
の一例を示す図である。各受光部60a、60b、及び
60cが出力する被写体像は、それぞれ画像メモリ54
a、54b、及び54cに格納される。光強度検出部7
0は、各画像メモリ54a、54b、及び54cに格納
される画像データを用いて、波長λA、λB、及びλC
の反射光の強度を検出する。奥行き算出部80は、光強
度検出部70が検出した波長λA、λB、及びλCの反
射光の強度及び照射部40と光学レンズ(光学結像部)
46又は受光部60との距離を用いて、照射部40から
被写体12の被照射部14までの距離を求める。奥行き
算出部80は撮像された画像の画素または画素の領域単
位で、画素または画素領域に写された被写体12の奥行
き距離を算出し、被写体12の奥行き分布を求め、出力
する。記録部58は、被写体12の奥行き分布情報を記
録する。
λB、及びλCの反射光の強度を制御部90へ出力す
る。奥行き算出部80は、被写体12の奥行き分布情報
を制御部90へ出力する。制御部90は、強度レベルが
適正でない場合、光源部44の放射光強度を調整する。
80による奥行き距離計算方法の説明図である。照射部
40(図示せず)から波長λaを主要な波長成分とし、
第1の強度分布を有する第1の照射光と、波長λb及び
λcを主要な波長成分とし、第1の強度分布とは異なる
第2の強度分布を有する第2の照射光が被写体12(図
示せず)に照射され、被写体12からの反射光を受光部
60が受光する。
強度Wa、波長λbの反射光の強度Wb、波長λcの強
度Wcをそれぞれ検出する。奥行き算出部は、波長λb
及び波長λcの反射光の強度Wb及びWcを用いて、第
2の照射光が波長λaを主要な波長成分であり、第2の
強度分布を有すると仮定した場合の、仮の反射光強度W
dを算出する。反射光の強度Waと、仮の反射光強度W
dとの比Wa/Wdを算出し、照射部40(図示せず)
と光学レンズ46(図示せず)又は受光部60との距離
と、強度比Wa/Wdとに基づいて被写体12の奥行き
距離を算出する。
は、共に波長λaを主要な波長成分としているので、被
写体12の被照射部14における表面反射率の波長によ
る差の影響をキャンセルすることができる。また、仮の
反射光強度Wdは、波長λaとは異なるλb及びλcを
主要な波長成分とする反射光の強度より算出されるの
で、λa、λb及びλcをそれぞれ波長分離する際に分
離が容易にできる程度に波長間隔をとることにより、波
長分離の際の誤差をも減少させることができ、前述した
ジレンマを解消することが可能となる。
反射光の強度Wb及びWcを用いて仮の反射光強度Wd
を算出する方法には、多様な変形がありうる。
の強度Wdを求める方法の一例の説明図である。波長λ
bの強度Wbと、波長λcの反射光の強度Wcとを補間
又は外挿することにより、波長λaの場合の仮の強度W
dを求める。図9(a)のように波長λbと波長λcと
の中間値が波長λaとなるようにそれぞれの波長を設定
し、波長λbの反射光の強度Wbと、波長λcの反射光
の強度Wcとの中間値を仮の反射光の強度Wdとしても
よく、図9(b)のように線形近似により仮の反射光の
強度Wdを外挿して求めてもよい。
射光及び第2の照射光による、第1の反射光及び第2の
反射光からそれぞれ仮の反射光強度を求める方法の一例
をを説明する図である。照射部40から(図示せず)が
照射する第1の照射光による第1の反射光が波長λ1及
びλ2を主要な波長成分とし、第2の照射光による第2
の反射光が波長λ3及びλ4を主要な波長成分とする場
合に、図10(a)及び(b)に示すように、それぞれ
の波長成分の強度を線形補間し、仮の反射光強度Wa及
びWdを算出する。図9及び図10において仮の反射光
の強度を算出する方法について説明したが、仮の反射光
の強度を算出する方法は図9及び図10で説明したもの
に限定されるものではない。
の方法においても、仮の反射光強度を正確に求めること
ができるように、波長λbとλcは線形補間又は外挿が
可能な範囲で近接した値に設定することがより好まし
い。
図である。グラフの横軸は波長、縦軸は反射率である。
グラフ202、204、206は、それぞれ人間の肌、
道、木の葉の3種の物体の表面反射率を分光計で測定し
た結果である。650nm近傍の波長領域ではグラフ上
のマークに示されるように、いずれの物体でもかなりの
精度で補間又は外挿が可能である。波長λa、λb、λ
cとして、このような補間又は外挿が可能な領域の値を
選択することが好ましい。また、受光部の固体撮像素子
の出力信号に対して、通常のデジタルカメラ等で行われ
る階調補正等の画像補正処理を行うと、信号の線形性が
失われる。そこで固体撮像素子への入射光強度に対して
線形性を有する信号強度の段階で、強度を検出し、補間
処理をすることが好ましい。あるいは、階調補正等の画
像補正処理による信号変換関数の逆関数を表すテーブル
を用意しておき、画像補正後の信号出力を一旦逆関数の
テーブルを参照して、固体撮像素子への入射光強度に対
して線形性を有する信号強度に変換してから、強度を検
出し、補間処理を行うようにしてもよい。
離して光路を分割する光学分割素子、例えばプリズムを
用いたが、分光部50として、受光部60の受光面に配
置した光学フィルターを用いてもよい。
長成分を透過する光学フィルターの一例を説明する図で
ある。受光部60として単板の固体撮像素子84を用
い、固体撮像素子84の受光面に光学フィルター74を
設ける。光学フィルター74は、波長λa、λb、λc
のみをそれぞれ透過させるフィルターが交互に配置され
る。これにより、固体撮像素子84の画素によって波長
λa、λb、λcのいずれの光を受光したものであるか
がわかり、波長λa、λb、λcを有する光を波長分離
して受光することができる。プリズムを用いる場合と比
べ、単板の固体撮像素子84に受光させるため、装置を
小型化することができる。
れる光の波長によって表面反射率の違いが大きい被写体
を対象にする場合、波長λa、λb、λcは仮の反射光
強度の算出に誤差が生じないように、できるだけ近接し
ていることが望ましい。一方で、各波長成分の反射光の
強度の検出精度を上げるためには、波長λa、λb、λ
c以外の波長成分ができるだけ含まれないようにする
か、波長λa、λb、λcの値を互いに離れた値にし
て、波長λa、λb、λcの分解能を上げ、波長の干渉
をできるだけ少なくすることが望ましい。したがって、
被写体の表面反射率の特性や要求される測定精度に応じ
て、光源部44の波長特性、光学フィルターの波長透過
特性、撮像部100の分光部50の波長透過特性を設計
することが好ましい。
例を示すフローチャートである。照射部は40、第1の
波長λaを主要な波長成分とし、光軸と垂直な面におけ
る第1の強度分布を有する第1の照射光と、第1の波長
λaとは異なる第2、第3の波長λb、λcを主要な波
長成分とし、照射する光の光軸と垂直な面において第1
の強度分布とは異なる第2の強度分布を有する第2の照
射光とを、同時に被写体12に照射する。(S100)
び第2の照射光が照射された被写体12からの反射像を
結像する。(S102)
射された被写体12から得られる反射光から、第1の波
長λaを有する第1の反射光と、第2の波長λbを有す
る第2の反射光と、第3の波長λcを有する第3の反射
光とを光学的に分離する。(S103)
光を受光する(S104)。処理部の光強度検出部70
は、第1、第2及び第3の反射光の強度Wa,Wb及び
Wcを検出する。
の反射光の強度Wa,Wb及びWcと、照射部40と光
学レンズ46又は受光部60との距離とに基づいて、被
写体12までの奥行き距離を算出する。(S105)
一例を示すフローチャートである。第2及び第3の反射
光の強度Wb、Wcに基づいて、波長λaの光が第2の
強度分布を有していると仮定した場合の被写体12から
の仮の反射光の強度Wdを求める。(S112)
射光の強度Wb及びWcを補間または外挿することによ
り求まる。第1の反射光の強度Waと仮の反射光の強度
Wdとの比Wa/Wdを求める(S114)。反射光強
度比Wa/Wd、照射部40と撮像部100の光学レン
ズ46又は受光部60との距離、及び撮像部100にお
いて反射光強度比がWa/Wdである画素の位置に基づ
いて被写体12までの距離を算出する。(S115)
一例を示すフローチャートである。第2及び第3の反射
光の強度Wb、Wcの平均強度Wd=(Wb+Wc)/
2を求める(S118)。第1の反射光の強度Waと第
2、第3の反射光の平均強度Wdとの比Wa/Wdを求
める(S120)。反射光強度比Wa/Wd、照射部4
0と撮像部100の光学レンズ46又は受光部60との
距離、及び撮像部100において反射光強度比がWa/
Wdである画素の位置とに基づいて被写体12までの距
離を算出する。(S122)
装置によれば、異なる波長特性を有し、異なる強度分布
を有する照射光を同時に被写体に照射し、被写体から得
られる反射光から波長特性に合わせて波長分離し、波長
分離された反射光の強度を用いて、被写体までの奥行き
距離を簡便に求めることができる。
撮像素子に撮像し、画像データとして格納するため、画
素又は画素領域単位で反射光強度を検出して奥行き距離
を算出することができ、撮像された被写体の領域の奥行
き分布を得ることができる。したがって、被写体の2次
元画像から被写体の奥行き分布を獲得して、被写体の3
次元立体画像を作成することが可能である。
を示す。本実施例における画像撮像装置は、図6に関連
して説明した実施例の画像撮像装置と比較して、照射部
40と撮像部100の一部の構成が異なるだけである。
そこで、同一の構成要素についは説明を省略し、照射部
40及び撮像部100についてのみ説明する。図16
は、本実施例の照射部40と撮像部100の構成図であ
る。本実施例では、照射部40の光学フィルター42a
は波長λaを主要な波長成分とする光を透過し、光学フ
ィルター42bは、波長λaより短い波長λbと、波長
λaより短い波長λcとを主要な波長成分とする光を透
過する。照射部40は波長λaを主要な波長成分とし、
照射する光の光軸と垂直な面における第1の強度分布を
有する第1の照射光と、波長λaより短い波長λb及び
波長λaより長い波長λcとを主要な波長成分とし、照
射する光の光軸と垂直な面において第1の強度分布とは
異なる第2の強度分布を有する第2の照射光とを同時に
被写体12の被照射部14に照射する。撮像部100の
分光部50は、波長λaを主要な波長成分とする光と、
波長λb及びλcを主要な波長成分とする光とに波長分
離して光路を分割するプリズムである。受光部60a及
び60bは2板の固体撮像素子である。分光部50によ
って分光された波長λaを有する光は、受光部60a
に、波長λb及びλcを有する光は受光部60bにそれ
ぞれ受光される。受光部60a及び60bに受光された
光は、電気信号に変換されて、処理部110に入力され
る。
図である。各受光部60a、60bが出力する被写体像
は、それぞれ画像メモリ54a、54bに格納される。
光強度検出部70は各画像メモリ54a、54bに格納
された画像データを用いて、波長λaを有する反射光、
波長λbとλcを有する反射光の強度を検出する。奥行
き算出部80は、光強度検出部70が検出した波長λa
の反射光の強度、波長λb及びλcの反射光の強度を用
いて、被写体12の被照射部14の奥行き距離を求め
る。奥行き算出部80は撮像された画像の画素または画
素の領域単位で、画素又は画素領域に写された被写体1
2の被照射部14までの奥行き距離を算出し、被写体1
2の奥行き分布を求め、出力する。記録部58は被写体
の奥行き分布情報を記録する。
部80による奥行き距離算出方法の説明図である。光強
度検出部70は、波長λaの反射光の強度Wa、波長λ
bとλcを有する反射光の強度Weをそれぞれ検出す
る。奥行き算出部80は、λbと波長λcを有する反射
光の強度Weに半分の値をWdとする。波長λaは、波
長λbと波長λcの中間の値であるから、Wdの値は、
波長λaを有する第2の強度分布を有する光を照射した
と仮定した場合に被照射部14から得られる仮の反射光
の強度にほぼ等しい。反射光の強度Waと、仮の反射光
強度Wdとの比Wa/Wdを算出し、照射部40(図示
せず)と光学レンズ46(図示せず)又は受光部60と
の距離と、強度比Wa/Wdとに基づいて被写体の奥行
き距離を算出する。
は、共に波長λaを主要な波長成分としているので、被
写体12の被照射部における表面反射率の波長による差
の影響をキャンセルすることができる。また、仮の反射
光強度Wdは、波長λaとは異なるλb及びλcを主要
な波長成分とする反射光の強度より算出されるので、λ
a、λb及びλcをそれぞれ波長分離する際に分離が容
易にできる程度に波長間隔をとることにより、波長分離
の際の誤差をも減少させることができる。
うに、波長λaは、波長λb、λcの中間の波長である
ことがより好ましい。上記の説明では、分光部50は、
波長λaを有する光と、波長λb及びλcを有する光と
に波長分離したが、フィルタリングの方法として、波長
λb、λcを選択的に透過する必要はなく、波長λaを
カットするバンドカットフィルターを用いても同じ効果
を奏する。
ーチャートである。照射部40は、λaを主要な波長成
分とし、光軸と垂直な面における第1の強度分布を有す
る第1の照射光と、波長λaより短い波長λb及び波長
λaより長い波長λcを主要な波長成分とし、光軸と垂
直な面において第1の強度分布とは異なる第2の強度分
布を有する第2の照射光とを、同時に被写体12に照射
する(S200)。
が照射された被写体12からの反射像を結像する(S2
02)。分光部50は、第1及び第2の照射光が照射さ
れた被写体12から得られる反射光から、波長λaを有
する第1の反射光と、波長λb及びλcを有する第2の
反射光とを光学的に分離する(S204)。
反射光を受光する(S206)。光強度検出部70は、
第1及び第2の反射光の強度Wa及びWeを検出する
(S208)。
Waと、第2の反射光の強度Weの半分の値Wdとの比
Wa/Weを求め(S210)、反射光強度比Wa/W
d、照射部40と撮像部100の光学レンズ46又は受
光部60との距離、及び撮像部100において反射光強
度がWa/Wdである画素の位置とに基づいて被写体1
2までの距離を算出する(S212)。
置によれば、第1の波長を主要な波長成分とし、光軸と
垂直な面において第1の強度分布を有する第1の照射光
と、第1の波長を中間に挟む第2、第3の波長を主要な
波長成分とし、第1の強度分布とは異なる第2の強度分
布を有する第2の照射光とを、同時に被写体に照射し、
被写体の被照射部から得られる反射光から、第1の波長
を有する第1の反射光と、第2及び第3の波長を有する
第2の反射光とに分離し、第1の反射光強度と、第2の
反射光強度の半分の値との比に基づいて被写体の奥行き
距離を算出することができる。第2の反射光強度を半分
にするだけで、第1の波長を有する光が第2の強度分布
を有する場合の仮の反射光強度を求めることができるた
め、非常に簡便に被写体の奥行き距離を算出することが
できる。また、被写体からの反射光を受光する固体撮像
素子を2板にすることができ、装置の小型化を図ること
ができる。
の構成を示す。本実施例における画像撮像装置は、図6
に関連して説明した実施例の画像撮像装置と比較して、
照射部40と撮像部100の一部の構成が異なるだけで
ある。そこで、同一の構成要素についは説明を省略し、
照射部40及び撮像部100についてのみ説明する。図
20は、本実施例の照射部40と撮像部100の構成図
である。本実施例では、照射部40から照射される照射
光は赤外光である。光学フィルター42aは、赤外領域
における波長λaの光を透過し、光学フィルター42b
は、赤外領域における波長λb及び波長λcを有する光
を透過する。照射部40は波長λaを主要な波長成分と
し、光軸と垂直な面において第1の強度分布を有する第
1の照射光と、波長λb及びλcを主要な波長成分と
し、光軸と垂直な面において第1の強度分布とは異なる
第2の強度分布を有する第2の照射光とを同時に被写体
12に照射する。被写体12にはさらに可視光領域の
光、例えば自然光や照明光が照射される。
波長λaを有する光と、赤外領域の波長λb及びλcを
有する光をと、可視光領域の光とに波長分離して光路を
分割するプリズムである。受光部60a、60b、及び
60cは3板の固体撮像素子である。分光部50によっ
て分光された波長λaを有する光は、受光部60aに、
波長λb及びλcを有する光は受光部60bに、可視光
は受光部60cにそれぞれ受光される。赤外領域の反射
光の撮影像がピンぼけしないように、受光部60a、6
0bはピントが合う位置に予め設定しておく。受光部6
0a、60b及び60cに受光された光は、電気信号に
変換され、処理部110に入力される。
図である。各受光部60a及び60bが出力する被写体
像は、それぞれ画像メモリ54a及び54bに格納され
る。光強度検出部70は、各画像メモリ54a及び54
bに格納された画像データを用いて、反射光の強度を検
出し、奥行き算出部80は、光強度検出部70が検出し
た反射光の強度を用いて、被写体12の奥行き距離を算
出する。光強度検出部70と奥行き算出部80の動作
は、図6又は図16に関連して説明した実施例と同様で
あるから、説明を省略する。
素または画素の領域単位で、画素又は画素領域に写され
た被写体12の奥行き距離を算出し、被写体12の奥行
き分布を求め、出力する。記録部58は、被写体の奥行
き分布情報を記録する。画像補正部56は、画像メモリ
54cに格納された画像データに対して、階調補正等の
画像補正を行い、被写体12の画像データとして出力
し、記録部58は被写体12の画像データを被写体12
の奥行き分布情報とともに記録する。
する反射光を分離せずに、受光部60bに受光させた
が、別の例においては、受光部60として4板の固体撮
像素子を用いて、分光部50によって波長λbを有する
反射光と波長λcを有する反射光とを分離させて、異な
る固体撮像素子にそれぞれの反射光を受光させてもよ
い。その場合、図3に関連して説明した実施例と同様の
方法で、λa、λb、λcのそれぞれの反射光の強度を
用いて、被写体の奥行き距離を求めることができる。
置によれば、被写体の奥行き距離測定には赤外光を用い
るため、被写体に自然光や照明光が照射された自然な条
件の下でも、被写体の奥行き距離を測定することができ
る。したがって、被写体の奥行き距離測定のために、部
屋を暗室にする必要がない。また、可視光領域の反射光
を分離させて撮像することができるため、被写体の奥行
き分布を測定すると同時に、被写体の画像を撮影するこ
とができる。撮影された被写体の画像から奥行き分布に
基づいて、主要被写体を抽出したり、背景と人物像を分
離するなど、被写体の奥行き分布を用いた、被写体の画
像処理が可能である。
は、第1及び第2の照射光は光軸に垂直な面において異
なる強度分布を有していたが、第1及び第2の照射光
は、垂直方向に長いスリット光であり、それぞれ水平方
向に強度を変化しながら掃引してもよい。この場合、そ
れぞれの強度の変化は異なるものにする。被写体が動き
のある物体である場合、第1及び第2の照射光の掃引速
度は、被写体の動きに対して十分に速いことが望まし
い。
2の透過率分布を有していたが、光学フィルター42
は、入射面において、透過できる光の波長が変化する、
透過波長分布を有していてもよい。この場合、本実施形
態の画像撮像装置は、受光部が受光した反射光の波長に
基づいて被写体の奥行き距離を算出する。
2の実施形態の原理説明図である。図22(a)におい
て、被写体12に光86a及び86bを照射する。光8
6a及び86bは進行方向において強度が減少する光で
あり、強度減少の割合は同一である。光86a及び86
bは被写体12において反射し、反射光を生じる。光8
6a及び86bの被写体12による反射光の強度を検出
し、それぞれの強度により被写体12の奥行き分布情報
を得ることができる。すなわち、被写体12の被照射部
が遠ければ反射光の強度は弱くなり、被照射部が近けれ
ば反射光の強度は弱くなる。被写体12における反射率
が既知であるならば、それぞれの反射光の強度、光86
a及び86bの照射時における強度、変調部82が変調
する照射光16の強度変調速度、被写体12の反射率、
及び光速により、光86a及び86bが照射する被写体
12のそれぞれの被照射部までの距離を算出することが
できる。しかし、全ての被写体について反射率を予め測
定することは非常に困難である。
に対して強度が減少する光88を被写体12に照射す
る。光88は被写体12により反射し、反射光を生じ
る。次に図22(c)のように、進行方向に対して強度
が増加する光92を被写体12に照射する。光92は被
写体12により反射し、反射光を生じる。これらの光8
8及び光92の被写体12によるそれぞれの反射光の強
度を検出し、その比を算出する。それぞれの反射光強度
の比に基づいて被写体12までの距離を算出することに
より、被写体12の反射率による影響をキャンセルする
ことが可能となる。
2とを順に照射し、それぞれ反射光の強度を検出するた
め、それぞれの反射光強度検出に時間差が生じる。した
がって動きのある被写体には適用することができない。
そこで、図22(d)においては、光88と光92との
波長特性を異ならせ、光88及び光92を同時に被写体
12に照射する。光88は、図22(b)で説明した、
進行方向において強度が減少する光であり、光92は、
図22(c)で説明した、進行方向において強度が増加
する光である。図22(e)のように、光88及び光9
2は被写体12により反射され、反射光を生じる。被写
体12からの反射光を、光88と光92によるものとに
それぞれ波長分離し、それぞれの反射光の強度を検出
し、被写体12の奥行き距離を測定する方法が考えられ
る。
波長による表面反射率の違いがあるため、奥行き距離計
算に誤差が生じる。計算誤差を小さくするためには光8
8の波長λ1と、光92の波長λ2との差を小さくしな
ければならないが、波長λ1とλ2との差を小さくする
と波長分離の精度が悪くなり、誤差が生じる。このた
め、前述したようなジレンマに陥り、距離測定の精度を
改善することに限界が生じる。
長特性を有し、進行方向において強度が増加するよう変
調した第1の照射光と、第1の波長特性とは異なる第2
の波長特性を有し、進行方向において強度が減少するよ
う変調した第2の照射光とを、同時に被写体に照射し、
第1の照射光による反射光と、第2の照射光による反射
光とを光学的に分離し、第2の照射光による反射光を用
いて、第1の波長特性を有する光が進行方向において強
度が減少するよう変調されたとした場合に被写体から得
られるであろう仮の反射光強度を求め、第1の照射光に
よる反射光強度と、仮の反射光強度との比に基づいて被
写体の奥行き距離を算出する。仮の反射光強度を求める
ことにより、波長による表面反射率の違いをキャンセル
することができるため、奥行き距離を正確に求めること
ができる。上述した実施形態においては、第1の照射光
が進行方向において強度が増加し、第2の照射光が進行
方向において強度が減少したが、第1の照射光が進行方
向において強度が減少し、第2の照射光が進行方向にお
いて強度が増加し、第1の波長特性を有する光が進行方
向において強度が増加するよう変調されたと仮定して仮
の反射光強度を求めてもよいことは明らかである。
である。本実施形態の画像撮像装置は、第1の実施形態
と比較して、照射部40の一部と、照射光の強度を変調
する変調部82を用いた点と、照射部40と撮像部10
0の光軸を同一にするために、ハーフミラー76及び7
8を用いた点と、被写体12の奥行き算出部80の動作
だけが異なる。その他の構成については、第1の実施形
態の各例における構成と同様の構成をとることができ
る。
ー42a及び42bとを有する。光学フィルター42a
は、第1の波長λa近傍の光を透過し、光学フィルター
42bは、第2の波長λb近傍及び第3の波長λc近傍
の光を透過する。光源部40は、光学フィルター42a
を介して、波長λaを主要な波長成分とし、照射する光
の進行方向において強度が変化する第1の照射光と、波
長λb及びλcを主要な波長成分とし、照射する光の進
行方向において強度が変化する第2の照射光とを照射す
る。変調部は照射光16及び18の強度を時間により変
調する。波長λa、λb、λcは、第1の実施形態の各
例において説明した値を有する。
で反射し、さらにハーフミラー78で反射して被写体1
2の被照射部14に照射される。被写体12からの反射
による反射光22及び24は、ハーフミラー78を通過
し、撮像部100の光学レンズ46によって結像され
る。
を、波長λa、λb、λcの光に分光する。分光部50
により分光された各波長の光は、受光部60a、60
b、60cに受光される。受光部60が受光した各波長
の光の強度に応じた電気信号が処理部110に読み出さ
れる。また、分光部50、受光部60は、図6、図1
6、図20のそれぞれに関連して説明した、第1の実施
形態の各例における分光部50、受光部60、処理部1
10と同様の構成、機能を有してもよい。
に関連して説明した第1の実施形態の各例における処理
部110と同様の構成を有している。処理部110にお
ける仮の反射光の強度の算出方法は、図8又は図18に
関連して説明した第1の実施形態の各例における算出方
法と同様である。
例を示すフローチャートである。照射部40は進行方向
において強度が変調する、波長λaの第1の照射光と、
波長λaとは異なる波長λb及びλcを有し、進行方向
において強度が変調する第2の照射光とを、同時に被写
体12に照射する。(S300)
び第2の照射光が照射された被写体12からの反射光を
結像する(S302)。分光部50は、被写体12から
の反射光から、波長λaを有する第1の反射光と、波長
λbを有する第2の反射光と、波長λcを有する第3の
反射光とを光学的に分離する。(S304)
3の反射光を受光する(S306)。処理部110の光
強度検出部70は、第1、第2、第3の反射光の強度W
a,Wb、Wcを検出する。(S308)
反射光の強度Wa、Wb、Wcを用いて、被写体12ま
での奥行き距離を算出する。(S310)
一例を示すフローチャートである。第2及び第3の反射
光の強度Wb、Wcに基づいて、波長λaの光が第2の
照射光と同一の強度変調されたと仮定した場合の被写体
12からの仮の反射光の強度Wdを求める(S31
2)。仮の反射光の強度Wdは、第1の実施形態の各例
において説明した方法と同様にして求める。第1の反射
光の強度Waと、仮の反射光の強度Wdとの比Wa/W
dを求める(S314)。反射光強度比Wa/Wd、第
1、第2の照射光の強度変調速度に基づいて被写体の奥
行き距離を算出する。(S316)
例を示すフローチャートである。本例において波長λa
は、波長λbと波長λcの中間の値を有する。
度が変調する波長λaの第1の照射光と、波長λb及び
λcを有する第2の照射光とを同時に被写体12に照射
する(S400)。光学レンズ46は、第1及び第2の
照射光が照射された被写体12からの反射像を結像する
(S402)。分光部50は、被写体12からの反射光
から、波長λaを有する第1の反射光と、波長λb及び
λcを有する第2の反射光を光学的に分離する(S40
4)。第1の反射光の強度Waと、第2の反射光の強度
の半分の値Wd=We/2との比、Wa/Wdを算出す
る(S410)。反射光強度比Wa/Wd及び、第1及
び第2の照射光の強度変調速度に基づいて被写体12の
奥行き距離を算出する。(S412)
装置によれば、異なる波長特性を有し、異なる強度分布
を有する照射光を同時に被写体に照射し、被写体から得
られる反射光から波長特性に合わせて波長分離し、波長
分離された反射光の強度を用いて、被写体までの奥行き
距離を簡便に求めることができる。
光と撮像部に入射する反射光の光軸が光学的に同軸であ
るため、照射部によって照射された被写体を撮像部が撮
影する際、影になって撮影できない領域が生じることが
ない。したがって照射された被写体の全体領域の奥行き
分布を算出することができ、奥行き距離を算出できない
死角が生じることがない。また、照射部と撮像部の光軸
を同軸にすることにより、画像撮像装置全体を小型化す
ることができる。
り変調しているので、撮像部100は、高速シャッター
を有していることが望ましい。高速シャッターは、受光
部60が受光する光強度の瞬時値を撮像する。
及び距離測定方法によれば、異なる波長特性を有し、光
軸と垂直な面において異なる強度分布を有するか、進行
方向において異なる強度変調された光を同時に被写体に
照射し、被写体からの反射光を波長特性に合わせて光学
的に分離し、強度を測定することにより、被写体の奥行
き距離を簡便に算出することができる。
たが、本発明の技術的範囲は上記実施の形態に記載の範
囲には限定されない。上記実施の形態に、多様な変更又
は改良を加えることが可能であることが当業者に明らか
である。その様な変更又は改良を加えた形態も本発明の
技術的範囲に含まれ得ることが、特許請求の範囲の記載
から明らかである。
被写体から得られる出射光の一例として反射光を撮像
し、反射光の強度から被写体までの距離を求めたが、被
写体が光を透過する透明もしくは半透明の物体である場
合、被写体を通過した透過光の強度から被写体の奥行き
距離を求めることもできる。
よれば、光が照射された被写体から得られる反射光を撮
影することにより、被写体の奥行き距離を簡便に測定す
ることができる。
る。
る。
る。
の説明図である。
の構成を示す図である。
図である。
ある。
求める方法の説明図である。
れ仮の反射光強度を求める方法の説明図である。
説明図である。
ャートである。
ートである。
ローチャートである。
0及び撮像部100の構成を示す図である。
10の構成を示す図である。
離算出方法の説明図である。
方法のフローチャートである。
射部40及び撮像部100の構成を示す図である。
理部110の構成を示す図である。
る。
00の構成を示す図である。
ローチャートである。
理S310のフローチャートである。
の例のフローチャートである。
像部 74・・・光学フィルター、76,78・・・ハーフミ
ラー 80・・・奥行き距離算出部、84・・・受光部 90・・・制御部、100・・・撮像部 110・・・処理部、200・・・画像撮像装置
Claims (30)
- 【請求項1】 被写体の奥行きに関する情報を取得する
画像撮像装置であって、 第1の波長を主要な波長成分とし、照射する光の光軸と
垂直な面における第1の強度分布を有する第1の照射光
と、前記第1の波長とは異なる第2及び第3の波長を主
要な波長成分とし、照射する光の光軸と垂直な面におい
て前記第1の強度分布とは異なる第2の強度分布を有す
る第2の照射光とを、前記被写体に照射する照射部と、 前記照射部により前記第1及び第2の照射光が照射され
た前記被写体からの出射光に基づいて、前記被写体まで
の奥行き距離を算出する奥行き算出部とを備えたことを
特徴とする画像撮像装置。 - 【請求項2】 前記第1の照射光は、光軸と垂直な面に
おける第1の方向で単調に増加する強度分布を有し、前
記第2の照射光は、前記第1の方向とは逆向きの第2の
方向で単調に増加する強度分布を有することを特徴とす
る請求項1に記載の画像撮像装置。 - 【請求項3】 前記第1の照射光は、光軸と垂直な面に
おいて光軸から遠ざかるにつれ単調に増加または減少す
る強度分布を有し、前記第2の照射光は、光軸と垂直な
面において光軸から遠ざかるにつれ、前記第1の照射光
が光軸から遠ざかるにつれ単調に増加する場合は減少
し、前記第1の照射光が光軸から遠ざかるにつれ単調に
減少する場合は増加する、強度分布を有することを特徴
とする請求項1に記載の画像撮像装置。 - 【請求項4】 前記照射部は、前記第1及び第2の照射
光を同時に照射することを特徴とする請求項1から3の
いずれかに記載の画像撮像装置。 - 【請求項5】 前記照射部により前記第1及び第2の照
射光が照射された前記被写体から得られる出射光を結像
する光学結像部と、 前記被写体から得られる前記出射光から、前記第1の波
長を有する第1の出射光と、前記第2の波長を有する第
2の出射光と、前記第3の波長を有する第3の出射光と
を光学的に分離する分光部と、 前記分光部によって分離され、前記光学結像部が結像す
る前記第1、第2及び第3の出射光を受光する受光部
と、 前記受光部が受光する前記第1、第2及び第3の出射光
の強度を検出する光強度検出部とをさらに備え、 前記奥行き算出部は、前記第1、第2及び第3の出射光
の強度を用いて、前記被写体までの奥行き距離を算出す
ることを特徴とする請求項4に記載の画像撮像装置。 - 【請求項6】 前記第1の照射光は、光軸と垂直な面に
おいて、前記照射部と、前記受光部又は前記光学結像部
のいずれかとを結ぶ線を光軸と垂直な面に投影した線と
平行な第1の方向で強度が増加し、前記第2の照射光
は、光軸と垂直な面において、前記第1の方向と逆向き
の第2の方向で強度が増加することを特徴とする、請求
項5に記載の画像撮像装置。 - 【請求項7】 前記照射部は、前記第1の波長の光を透
過する第1の照射光光学フィルターと、前記第2及び第
3の波長の光を透過する第2の照射光光学フィルターと
を有し、前記第1の照射光光学フィルターは、前記第1
の照射光が入射され、前記第2の照射光光学フィルター
は、前記第2の照射光が入射されることを特徴とする請
求項5又は6に記載の画像撮像装置。 - 【請求項8】 前記第1の照射光光学フィルターは、入
射面において第1の方向で透過率が増加し、前記第2の
照射光光学フィルターは、前記第1の方向と逆向きの第
2の方向で透過率が増加することを特徴とする、請求項
7に記載の画像撮像装置。 - 【請求項9】 前記第1の照射光光学フィルターは、入
射面において前記第1の照射光の光軸から遠ざかるにつ
れ透過率が増加または減少し、前記第2の照射光光学フ
ィルターは、入射面において前記第2の照射光の光軸か
ら遠ざかるにつれ透過率が、前記第1の照射光光学フィ
ルターの透過率が前記第1の照射光の光軸から遠ざかる
につれ増加する場合は減少し、前記第1の照射光光学フ
ィルターの透過率が前記第1の照射光の光軸から遠ざか
るにつれ減少する場合は増加することを特徴とする請求
項7に記載の画像撮像装置。 - 【請求項10】 前記分光部は、前記第1の波長の光を
透過する第1の出射光光学フィルター、前記第2の波長
の光を透過する第2の出射光光学フィルター、及び前記
第3の波長の光を透過する第3の出射光光学フィルター
とを有し、前記第1の出射光光学フィルターは、前記第
1の出射光が入射され、前記第2の出射光光学フィルタ
ーは、前記第2の出射光が入射され、前記第3の出射光
光学フィルタは、前記第3の出射光が入射されることを
特徴とする請求項5又は6に記載の画像撮像装置。 - 【請求項11】 前記分光部は、前記第1の波長の光を
透過する第1の出射光光学フィルターと、前記第2及び
第3の波長の光を透過する第2の出射光光学フィルター
とを有し、前記第1の出射光光学フィルターは、前記第
1の出射光が入射され、前記第2の出射光光学フィルタ
ーは、前記第2及び第3の出射光が入射されることを特
徴とする請求項5又は6に記載の画像撮像装置。 - 【請求項12】 前記受光部は、固体撮像素子を有し、
前記分光部は、前記第1の波長の光を透過する第1の出
射光光学フィルターと、前記第2の波長の光を透過する
第2の出射光光学フィルターと、前記第3の波長の光を
透過する第3の出射光光学フィルターとを有し、前記第
1、第2及び第3の出射光光学フィルターが前記固体撮
像素子の受光面に交互に配置されたことを特徴とする請
求項5又は6に記載の画像撮像装置。 - 【請求項13】 前記奥行き算出部は、前記第2及び第
3の出射光の強度に基づく値と、前記第1の出射光の強
度とを用いて、前記被写体までの奥行き距離を算出する
ことを特徴とする請求項5から12のいずれかに記載の
画像撮像装置。 - 【請求項14】 前記奥行き算出部は、前記第2の出射
光と前記第3の出射光の平均強度及び前記第1の出射光
の強度を用いて、前記被写体までの奥行き距離を算出す
ることを特徴とする請求項13に記載の画像撮像装置。 - 【請求項15】 前記照射部は、第1の波長を主要な波
長成分とし、照射する光の光軸と垂直な面における第1
の強度分布を有する第1の照射光と、前記第1の波長よ
り短い第2の波長、及び前記第1の波長より長い第3の
波長を主要な波長成分とし、照射する光の光軸と垂直な
面において前記第1の強度分布とは異なる第2の強度分
布を有する第2の照射光とを、前記被写体に照射し、 前記照射部により前記第1及び第2の照射光が照射され
た前記被写体からの出射光を結像する光学結像部と、 前記被写体から得られる前記出射光から、前記第1の波
長を有する第1の出射光と、前記第2及び第3の波長を
有する第2の出射光とを光学的に分離する分光部と、 前記分光部によって分離され、前記光学結像部が結像す
る前記第1の出射光及び前記第2の出射光を受光する受
光部と、 前記受光部が受光する前記第1及び第2の出射光の強度
を検出する光強度検出部とをさらに備え、 前記奥行き算出部は、前記第1及び第2の出射光の強度
を用いて、前記被写体までの奥行き距離を算出すること
を特徴とする請求項4に記載の画像撮像装置。 - 【請求項16】 前記奥行き算出部は、前記第1の出射
光の強度及び前記第2の出射光の強度の半分の値を用い
て、前記被写体までの前記奥行き距離を算出することを
特徴とする請求項15に記載の画像撮像装置。 - 【請求項17】 前記光強度検出部は、前記受光部に撮
像された前記被写体の画像の各画素において前記第1及
び第2の出射光の強度を算出し、前記奥行き算出部は、
前記各画素の各々に対応する前記被写体の領域までの前
記奥行きを各々求めることにより、前記被写体の奥行き
分布を算出することを特徴とする請求項5から16のい
ずれかに記載の画像撮像装置。 - 【請求項18】 前記第1及び第2の照射光は赤外線領
域の光であり、 前記分光部は、前記被写体から得られる前記出射光から
可視光を光学的に分離する手段をさらに備え、 前記受光部は、前記分光部により光学的に分離され、前
記光学結像部が結像する前記可視光を受光する可視光用
の固体撮像素子をさらに備え、 前記奥行き算出部が算出する前記被写体の前記奥行き分
布と共に前記可視光用の固体撮像素子に撮像された前記
被写体の画像を記録する記録部をさらに備えたことを特
徴とする請求項17に記載の画像撮像装置。 - 【請求項19】 被写体の奥行きに関する情報を取得す
る距離測定方法であって、 第1の波長を主要な波長成分とし、照射する光の光軸と
垂直な面における第1の強度分布を有する第1の照射光
と、前記第1の波長とは異なる第2及び第3の波長を主
要な波長成分とし、照射する光の光軸と垂直な面におい
て前記第1の強度分布とは異なる第2の強度分布を有す
る第2の照射光とを、同時に前記被写体に照射する照射
段階と、 前記第1及び第2の照射光が照射された前記被写体から
得られる出射光から、前記第1の波長を有する第1の出
射光と、前記第2の波長を有する第2の出射光と、前記
第3の波長を有する第3の出射光とを光学的に分離する
分光段階と、 分離された前記第1、第2及び第3の出射光を撮像する
撮像段階と、 撮像された前記第1、第2及び第3の出射光の強度を検
出する光強度検出段階と、 前記第1、第2及び第3の出射光の強度に基づいて、前
記被写体までの奥行き距離を算出する奥行き算出段階と
を備えたことを特徴とする距離測定方法。 - 【請求項20】 前記奥行き算出段階は、前記第2及び
第3の出射光の強度に基づく値及び前記第1の出射光の
強度に基づいて、前記被写体までの前記奥行き距離を算
出することを特徴とする請求項19に記載の距離測定方
法。 - 【請求項21】 前記奥行き算出段階は、前記第2の出
射光と前記第3の出射光の平均強度及び前記第1の出射
光の強度に基づいて、前記被写体までの前記奥行き距離
を算出することを特徴とする請求項19に記載の距離測
定方法。 - 【請求項22】 被写体の奥行きに関する情報を取得す
る距離測定方法であって、 第1の波長を主要な波長成分とし、光軸と垂直な面にお
ける第1の強度分布を有する第1の照射光と、前記第1
の波長より短い第2の波長、及び前記第1の波長より長
い第3の波長を主要な波長成分とし、光軸と垂直な面に
おいて前記第1の強度分布と異なる第2の強度分布を有
する第2の照射光とを、同時に前記被写体に照射する照
射段階と、 前記第1及び第2の照射光が照射された前記被写体から
得られる出射光から、前記第1の波長を有する第1の出
射光と、前記第2及び第3の波長を有する第2の出射光
とを光学的に分離する分光段階と、 分離された前記第1の出射光及び前記第2の出射光を撮
像する撮像段階と、 受光された前記第1の出射光及び前記第2の出射光の強
度をそれぞれ検出する光強度検出段階と、 前記第1の出射光の強度及び前記第2の出射光の強度に
基づいて、前記被写体までの奥行き距離を算出する奥行
き算出段階とを備えたことを特徴とする距離測定方法。 - 【請求項23】 前記奥行き算出段階は、前記第1の出
射光の強度及び前記第2の出射光の強度の半分の値に基
づいて、前記被写体までの前記奥行き距離を算出するこ
とを特徴とする請求項22に記載の距離測定方法。 - 【請求項24】 被写体の奥行きに関する情報を取得す
る画像撮像装置であって、 第1の波長を主要な波長成分とし、照射する光の進行方
向において強度が変化するよう変調した第1の照射光
と、前記第1の波長とは異なる第2及び第3の波長を主
要な波長成分とし、照射する光の進行方向において強度
が変化するよう変調した第2の照射光とを、前記被写体
に照射する照射部と、 前記照射部により前記第1及び第2の照射光が照射され
た前記被写体からの出射光に基づいて、前記被写体まで
の奥行き距離を算出する奥行き算出部とを備えたことを
特徴とする画像撮像装置。 - 【請求項25】 前記第1の照射光は、進行方向におい
て強度が単調に増加または減少するよう変調された照射
光であり、前記第2の照射光は、進行方向において、前
記第1の照射光の強度が進行方向において単調に増加す
る場合は単調に減少し、前記第1の照射光の強度が進行
方向において単調に減少する場合は単調に増加するよう
変調された照射光であることを特徴とする請求項24に
記載の画像撮像装置。 - 【請求項26】 前記照射部によって照射される前記第
1及び第2の照射光の強度を、時間により変化させる変
調部をさらに備えたことを特徴とする請求項24又は2
5に記載の画像撮像装置。 - 【請求項27】 前記照射部は、第1の波長を主要な波
長成分とし、光の進行方向において強度が変化するよう
変調した第1の照射光と、前記第1の波長より短い第2
の波長、及び前記第1の波長より長い第3の波長を主要
な波長成分とし、光の進行方向において強度が変化する
よう変調した第2の照射光とを、前記被写体に照射し、 前記照射部により前記第1及び第2の照射光が照射され
た前記被写体からの出射光を結像する光学結像部と、 前記被写体から得られる前記出射光から、前記第1の波
長を有する第1の出射光と、前記第2及び第3の波長を
有する第2の出射光とを光学的に分離する分光部と、 前記分光部によって分離され、前記光学結像部が結像す
る前記第1の出射光及び前記第2の出射光を受光する受
光部と、 前記受光部が受光する前記第1及び第2の出射光の強度
を検出する光強度検出部とをさらに備え、 前記奥行き算出部は、前記受光部における前記第1及び
第2の出射光の強度に基づいて、前記被写体までの奥行
き距離を算出することを特徴とする請求項26に記載の
画像撮像装置。 - 【請求項28】 被写体の奥行きに関する情報を取得す
る距離測定方法であって、 第1の波長を主要な波長成分とし、照射する光の進行方
向において強度が変化するよう変調した照射光と、前記
第1の波長とは異なる第2及び第3の波長を主要な波長
成分とし、照射する光の進行方向において強度が変化す
るよう変調した第2の照射光とを、同時に前記被写体に
照射する照射段階と、 前記第1及び第2の照射光が照射された前記被写体から
得られる出射光から、前記第1の波長を有する第1の出
射光と、前記第2の波長を有する第2の出射光と、前記
第3の波長を有する第3の出射光とを光学的に分離する
分光段階と、 分離された前記第1、第2及び第3の出射光を撮像する
撮像段階と、 撮像された前記第1、第2及び第3の出射光の強度を検
出する光強度検出段階と、 前記第1、第2及び第3の出射光の前記撮像部における
強度に基づいて、前記被写体までの奥行き距離を算出す
る奥行き算出段階とを備えたことを特徴とする距離測定
方法。 - 【請求項29】 前記奥行き算出段階は、前記撮像部に
おける前記第2及び第3の出射光の強度に基づく値と、
前記第1の出射光の前記撮像部における強度とに基づい
て、前記被写体までの前記奥行き距離を算出することを
特徴とする請求項28に記載の距離測定方法。 - 【請求項30】 被写体の奥行きに関する情報を取得す
る距離測定方法であって、 第1の波長を主要な波長成分とし、光の進行方向におい
て強度が変化するよう変調した第1の照射光と、前記第
1の波長より短い第2の波長、及び前記第1の波長より
長い第3の波長を主要な波長成分とし、光の進行方向に
おいて強度が変化するよう変調した第2の照射光とを、
同時に前記被写体に照射する照射段階と、 前記第1及び第2の照射光が照射された前記被写体から
得られる出射光から、前記第1の波長を有する第1の出
射光と、前記第2及び第3の波長を有する第2の出射光
とを光学的に分離する分光段階と、 分離された前記第1の出射光及び前記第2の出射光を撮
像する撮像段階と、 受光された前記第1の出射光及び前記第2の出射光の強
度をそれぞれ検出する光強度検出段階と、 前記第1の出射光の前記撮像部における強度と、前記第
2の出射光の前記撮像部における強度とに基づいて、前
記被写体までの奥行き距離を算出する奥行き算出段階と
を備えたことを特徴とする距離測定方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000176142A JP4040825B2 (ja) | 2000-06-12 | 2000-06-12 | 画像撮像装置及び距離測定方法 |
US09/878,398 US6724490B2 (en) | 2000-06-12 | 2001-06-12 | Image capturing apparatus and distance measuring method |
US10/790,187 US6819436B2 (en) | 2000-06-12 | 2004-03-02 | Image capturing apparatus and distance measuring method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000176142A JP4040825B2 (ja) | 2000-06-12 | 2000-06-12 | 画像撮像装置及び距離測定方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007248028A Division JP4516590B2 (ja) | 2007-09-25 | 2007-09-25 | 画像撮像装置及び距離測定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001356004A true JP2001356004A (ja) | 2001-12-26 |
JP4040825B2 JP4040825B2 (ja) | 2008-01-30 |
Family
ID=18677898
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000176142A Expired - Lifetime JP4040825B2 (ja) | 2000-06-12 | 2000-06-12 | 画像撮像装置及び距離測定方法 |
Country Status (2)
Country | Link |
---|---|
US (2) | US6724490B2 (ja) |
JP (1) | JP4040825B2 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009002823A (ja) * | 2007-06-22 | 2009-01-08 | Bridgestone Corp | 3次元形状測定システム、及び、3次元形状測定方法 |
JP2011007616A (ja) * | 2009-06-25 | 2011-01-13 | Honda Motor Co Ltd | 三次元形状測定システム |
JP2011022034A (ja) * | 2009-07-16 | 2011-02-03 | Honda Motor Co Ltd | 三次元形状測定システム及び三次元形状測定方法 |
JP2011237360A (ja) * | 2010-05-13 | 2011-11-24 | Seiko Epson Corp | 光学式検出装置、表示装置及び電子機器 |
JP2012028949A (ja) * | 2010-07-21 | 2012-02-09 | Canon Inc | 画像処理装置及びその制御方法 |
KR101180027B1 (ko) | 2011-03-10 | 2012-09-06 | 디나스트 | 광센서 및 이를 이용한 감지 방법 |
JP2012189532A (ja) * | 2011-03-14 | 2012-10-04 | Seiko Epson Corp | 位置検出システム及び投射型表示システム |
JP2012220193A (ja) * | 2011-04-04 | 2012-11-12 | Seiko Epson Corp | 光学式位置検出装置、光学式位置検出システム、および入力機能付き表示システム |
JP2014055972A (ja) * | 2009-04-10 | 2014-03-27 | Omron Corp | 観察装置 |
JP2015121524A (ja) * | 2013-11-19 | 2015-07-02 | キヤノン株式会社 | 画像処理装置およびその制御方法、撮像装置、プログラム |
US10311595B2 (en) | 2013-11-19 | 2019-06-04 | Canon Kabushiki Kaisha | Image processing device and its control method, imaging apparatus, and storage medium |
JPWO2021131052A1 (ja) * | 2019-12-27 | 2021-07-01 |
Families Citing this family (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3884321B2 (ja) * | 2001-06-26 | 2007-02-21 | オリンパス株式会社 | 3次元情報取得装置、3次元情報取得における投影パターン、及び、3次元情報取得方法 |
US20070019181A1 (en) * | 2003-04-17 | 2007-01-25 | Sinclair Kenneth H | Object detection system |
US20050007776A1 (en) * | 2003-07-07 | 2005-01-13 | Monk Bruce C. | Method and system for a processor controlled illumination system for reading and analyzing materials |
JP2005067281A (ja) * | 2003-08-20 | 2005-03-17 | Toshiba Corp | 距離検出装置、エアバッグ制御装置および距離検出方法 |
US7359041B2 (en) * | 2003-09-04 | 2008-04-15 | Avago Technologies Ecbu Ip Pte Ltd | Method and system for optically tracking a target using a triangulation technique |
WO2005036372A2 (en) * | 2003-10-09 | 2005-04-21 | Honda Motor Co., Ltd. | Systems and methods for determining depth using shuttered light pulses |
DE60331151D1 (de) * | 2003-10-27 | 2010-03-18 | Bea Sa | Entfernungsmessgerät |
US7084989B2 (en) * | 2004-04-19 | 2006-08-01 | Sick Ivp Aktiebolag | Measuring apparatus and method in a distribution system |
KR100791389B1 (ko) * | 2006-12-26 | 2008-01-07 | 삼성전자주식회사 | 스트럭쳐드 라이트를 이용한 거리 측정 장치 및 방법 |
US20080231835A1 (en) * | 2007-03-23 | 2008-09-25 | Keigo Iizuka | Divergence ratio distance mapping camera |
JP5471266B2 (ja) * | 2009-10-07 | 2014-04-16 | セイコーエプソン株式会社 | 位置検出機能付き投射型表示装置 |
WO2011054083A1 (en) * | 2009-11-04 | 2011-05-12 | Technologies Numetrix Inc. | Device and method for obtaining three-dimensional object surface data |
KR101626072B1 (ko) | 2009-11-13 | 2016-06-13 | 삼성전자주식회사 | 영상 보정 장치 및 영상 보정 방법 |
US8716649B2 (en) | 2011-05-05 | 2014-05-06 | Maxim Integrated Products, Inc. | Optical gesture sensor using a single illumination source |
US9229581B2 (en) | 2011-05-05 | 2016-01-05 | Maxim Integrated Products, Inc. | Method for detecting gestures using a multi-segment photodiode and one or fewer illumination sources |
TWI526706B (zh) * | 2011-10-05 | 2016-03-21 | 原相科技股份有限公司 | 影像系統 |
US9137511B1 (en) * | 2011-12-15 | 2015-09-15 | Rawles Llc | 3D modeling with depth camera and surface normals |
US9501152B2 (en) | 2013-01-15 | 2016-11-22 | Leap Motion, Inc. | Free-space user interface and control using virtual constructs |
US8638989B2 (en) | 2012-01-17 | 2014-01-28 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
US9070019B2 (en) | 2012-01-17 | 2015-06-30 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
US8693731B2 (en) | 2012-01-17 | 2014-04-08 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US9679215B2 (en) | 2012-01-17 | 2017-06-13 | Leap Motion, Inc. | Systems and methods for machine control |
US10691219B2 (en) | 2012-01-17 | 2020-06-23 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
KR101977711B1 (ko) | 2012-10-12 | 2019-05-13 | 삼성전자주식회사 | 깊이 센서, 이의 이미지 캡쳐 방법, 및 상기 깊이 센서를 포함하는 이미지 처리 시스템 |
CN102865849B (zh) * | 2012-10-19 | 2015-04-08 | 广州市盛光微电子有限公司 | 一种用于测距的拍摄装置及测距方法 |
US9459697B2 (en) | 2013-01-15 | 2016-10-04 | Leap Motion, Inc. | Dynamic, free-space user interactions for machine control |
WO2014200589A2 (en) | 2013-03-15 | 2014-12-18 | Leap Motion, Inc. | Determining positional information for an object in space |
US9916009B2 (en) | 2013-04-26 | 2018-03-13 | Leap Motion, Inc. | Non-tactile interface systems and methods |
KR20150010230A (ko) * | 2013-07-18 | 2015-01-28 | 삼성전자주식회사 | 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치. |
US10281987B1 (en) | 2013-08-09 | 2019-05-07 | Leap Motion, Inc. | Systems and methods of free-space gestural interaction |
US9721383B1 (en) | 2013-08-29 | 2017-08-01 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
US9632572B2 (en) | 2013-10-03 | 2017-04-25 | Leap Motion, Inc. | Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation |
US9996638B1 (en) | 2013-10-31 | 2018-06-12 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
KR102194234B1 (ko) * | 2014-06-02 | 2020-12-22 | 삼성전자주식회사 | 깊이 카메라를 이용하여 피사체에 대응하는 깊이 값을 생성하는 방법 및 장치 |
DE202014103729U1 (de) | 2014-08-08 | 2014-09-09 | Leap Motion, Inc. | Augmented-Reality mit Bewegungserfassung |
TWI555997B (zh) | 2015-04-17 | 2016-11-01 | 原相科技股份有限公司 | 測距系統及測量距離的方法 |
CN110068307B (zh) * | 2015-04-21 | 2021-09-17 | 原相科技股份有限公司 | 测距系统及测量距离的方法 |
EP3318173A4 (en) * | 2015-06-30 | 2019-04-17 | Olympus Corporation | IMAGE PROCESSING DEVICE, MEASURING SYSTEM AND ENDOSCOPY SYSTEM |
US10706572B2 (en) * | 2015-08-26 | 2020-07-07 | Olympus Corporation | System and method for depth estimation using multiple illumination sources |
KR102323217B1 (ko) * | 2015-12-21 | 2021-11-08 | 삼성전자주식회사 | 매크로 픽셀의 노이즈를 제어하는 뎁스 센서, 3차원 카메라 및 제어 방법 |
EP3418772A4 (en) * | 2016-02-17 | 2019-03-13 | Panasonic Intellectual Property Management Co., Ltd. | DISTANCE MEASURING DEVICE |
EP3433577B1 (de) | 2016-03-22 | 2020-08-12 | Fraunhofer Gesellschaft zur Förderung der Angewand | Vorrichtung und verfahren zum verknüpfen von messsignalen aus beleuchtungssignalen |
WO2018094307A1 (en) * | 2016-11-18 | 2018-05-24 | Robert Bosch Start-Up Platform North America, Llc, | Sensing system and method |
JP2018124167A (ja) * | 2017-01-31 | 2018-08-09 | オムロン株式会社 | 傾斜測定装置 |
EP3724704A4 (en) * | 2017-12-13 | 2021-12-22 | 3M Innovative Properties Company | CONTROL FILM WITH HIGH LIGHT TRANSMISSION |
EP3530179A1 (en) * | 2018-02-27 | 2019-08-28 | Koninklijke Philips N.V. | Obtaining images for use in determining one or more properties of skin of a subject |
GB201804550D0 (en) | 2018-03-21 | 2018-05-02 | Trw Ltd | A 3D imaging system and method of 3D imaging |
US10901092B1 (en) * | 2018-10-02 | 2021-01-26 | Facebook Technologies, Llc | Depth sensing using dynamic illumination with range extension |
US10896516B1 (en) * | 2018-10-02 | 2021-01-19 | Facebook Technologies, Llc | Low-power depth sensing using dynamic illumination |
CN110974132B (zh) * | 2019-12-23 | 2022-06-03 | 重庆金山医疗技术研究院有限公司 | 一种胶囊式内窥镜及其相对运动检测方法和系统 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61155909A (ja) | 1984-12-28 | 1986-07-15 | Machida Seisakusho:Kk | 距離測定装置 |
DE3675848D1 (de) | 1985-08-21 | 1991-01-10 | Honeywell Inc | Entfernungsmessgeraet. |
JPH0676888B2 (ja) | 1987-03-20 | 1994-09-28 | 大阪大学長 | 被測定物体からの反射光による距離測定方法 |
JP3240835B2 (ja) * | 1994-06-09 | 2001-12-25 | 株式会社日立製作所 | 車両用距離計測装置 |
JP3417222B2 (ja) | 1996-08-07 | 2003-06-16 | 松下電器産業株式会社 | 実時間レンジファインダ |
US6148270A (en) * | 1996-10-30 | 2000-11-14 | Yamatake-Honeywell Co., Ltd. | Fast target distance measuring device and high-speed moving image measuring device |
JP3414624B2 (ja) | 1997-09-16 | 2003-06-09 | 松下電器産業株式会社 | 実時間レンジファインダ |
JP3560798B2 (ja) | 1997-12-26 | 2004-09-02 | シャープ株式会社 | 電子写真感光体およびそれを用いた画像形成装置 |
JP3875817B2 (ja) * | 1999-09-27 | 2007-01-31 | ペンタックス株式会社 | 測距装置の地図座標検出システム |
EP1126412B1 (en) * | 2000-02-16 | 2013-01-30 | FUJIFILM Corporation | Image capturing apparatus and distance measuring method |
-
2000
- 2000-06-12 JP JP2000176142A patent/JP4040825B2/ja not_active Expired - Lifetime
-
2001
- 2001-06-12 US US09/878,398 patent/US6724490B2/en not_active Expired - Lifetime
-
2004
- 2004-03-02 US US10/790,187 patent/US6819436B2/en not_active Expired - Lifetime
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009002823A (ja) * | 2007-06-22 | 2009-01-08 | Bridgestone Corp | 3次元形状測定システム、及び、3次元形状測定方法 |
JP2014055972A (ja) * | 2009-04-10 | 2014-03-27 | Omron Corp | 観察装置 |
JP2014055971A (ja) * | 2009-04-10 | 2014-03-27 | Omron Corp | 計測装置 |
JP2011007616A (ja) * | 2009-06-25 | 2011-01-13 | Honda Motor Co Ltd | 三次元形状測定システム |
JP2011022034A (ja) * | 2009-07-16 | 2011-02-03 | Honda Motor Co Ltd | 三次元形状測定システム及び三次元形状測定方法 |
JP2011237360A (ja) * | 2010-05-13 | 2011-11-24 | Seiko Epson Corp | 光学式検出装置、表示装置及び電子機器 |
JP2012028949A (ja) * | 2010-07-21 | 2012-02-09 | Canon Inc | 画像処理装置及びその制御方法 |
KR101180027B1 (ko) | 2011-03-10 | 2012-09-06 | 디나스트 | 광센서 및 이를 이용한 감지 방법 |
US9109885B2 (en) | 2011-03-10 | 2015-08-18 | Korea Institute Of Science And Technology | Optical sensor and sensing method using the same |
JP2012189532A (ja) * | 2011-03-14 | 2012-10-04 | Seiko Epson Corp | 位置検出システム及び投射型表示システム |
JP2012220193A (ja) * | 2011-04-04 | 2012-11-12 | Seiko Epson Corp | 光学式位置検出装置、光学式位置検出システム、および入力機能付き表示システム |
JP2015121524A (ja) * | 2013-11-19 | 2015-07-02 | キヤノン株式会社 | 画像処理装置およびその制御方法、撮像装置、プログラム |
US10311595B2 (en) | 2013-11-19 | 2019-06-04 | Canon Kabushiki Kaisha | Image processing device and its control method, imaging apparatus, and storage medium |
JPWO2021131052A1 (ja) * | 2019-12-27 | 2021-07-01 | ||
WO2021131052A1 (ja) * | 2019-12-27 | 2021-07-01 | 株式会社ジェイエイアイコーポレーション | 撮像装置 |
JP7355408B2 (ja) | 2019-12-27 | 2023-10-03 | 株式会社ジェイエイアイコーポレーション | 撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
US20040165196A1 (en) | 2004-08-26 |
JP4040825B2 (ja) | 2008-01-30 |
US20010052985A1 (en) | 2001-12-20 |
US6819436B2 (en) | 2004-11-16 |
US6724490B2 (en) | 2004-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4040825B2 (ja) | 画像撮像装置及び距離測定方法 | |
EP1126412B1 (en) | Image capturing apparatus and distance measuring method | |
US11792384B2 (en) | Processing color information for intraoral scans | |
JP3417222B2 (ja) | 実時間レンジファインダ | |
JP4516590B2 (ja) | 画像撮像装置及び距離測定方法 | |
EP1190213A1 (en) | Color structured light 3d-imaging system | |
JP2007528028A (ja) | 異なる焦点に合わせられた画像を生成する光学システム | |
US6252659B1 (en) | Three dimensional measurement apparatus | |
JP3695188B2 (ja) | 形状計測装置および形状計測方法 | |
JP2000506970A (ja) | 三次元カラー結像 | |
US8005290B2 (en) | Method for image calibration and apparatus for image acquiring | |
JP4090860B2 (ja) | 3次元形状測定装置 | |
JP4447970B2 (ja) | 物体情報生成装置および撮像装置 | |
JP3414624B2 (ja) | 実時間レンジファインダ | |
JP4150506B2 (ja) | 画像撮像装置及び距離測定方法 | |
JP2003185412A (ja) | 画像取得装置および画像取得方法 | |
TWI749145B (zh) | 光譜測定裝置及光譜測定方法 | |
JP2812371B2 (ja) | 表面形状測定装置 | |
JP4204746B2 (ja) | 情報獲得方法、撮像装置及び、画像処理装置 | |
JP4141627B2 (ja) | 情報獲得方法、画像撮像装置及び、画像処理装置 | |
JP2002296114A (ja) | 分光反射率画像の取得方法、撮影装置および分光反射率画像取得システム | |
JP3668466B2 (ja) | 実時間レンジファインダ | |
JPH0711420B2 (ja) | 距離画像取得方法及び装置 | |
JP2002174683A (ja) | 距離情報取得装置、および距離情報取得方法 | |
JPH08159876A (ja) | 分光測定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050907 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070724 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070921 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071108 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4040825 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111116 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121116 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121116 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131116 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |