JP2001012919A - 奥行検出装置及び撮像装置 - Google Patents

奥行検出装置及び撮像装置

Info

Publication number
JP2001012919A
JP2001012919A JP18662199A JP18662199A JP2001012919A JP 2001012919 A JP2001012919 A JP 2001012919A JP 18662199 A JP18662199 A JP 18662199A JP 18662199 A JP18662199 A JP 18662199A JP 2001012919 A JP2001012919 A JP 2001012919A
Authority
JP
Japan
Prior art keywords
parallax
unit
depth
image
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP18662199A
Other languages
English (en)
Other versions
JP3998863B2 (ja
Inventor
Shuji Ono
修司 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP18662199A priority Critical patent/JP3998863B2/ja
Publication of JP2001012919A publication Critical patent/JP2001012919A/ja
Application granted granted Critical
Publication of JP3998863B2 publication Critical patent/JP3998863B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Focusing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

(57)【要約】 【課題】 外界の所定の被写体についての奥行情報の分
解能を向上することのできる奥行検出装置及び撮像装置
を提供する。 【解決手段】 複数の視点から観察される外界の画像に
基づいて、外界の所定の被写体についての奥行きを表す
奥行情報を検出する奥行検出装置であって、視点から観
察される外界の画像を結ぶ視差用結像部14と、視差用
結像部14により結ばれた画像を取り込む視差用撮像部
16と、視差用撮像部16により取り込まれた複数の画
像に基づいて、外界の所定の被写体についての複数の検
出視差量を検出する視差量検出部18と、当該視差量検
出部18により検出された複数の検出視差量に基づい
て、所定の被写体について奥行情報を推定する実質視差
量推定部19及び奥行算出部20とを有するように構成
する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、複数の視点から観
察される外界の画像に基づいて、前記外界の所定の被写
体の奥行きを示す奥行情報を検出する奥行検出装置及び
撮像装置に関する。
【0002】
【従来の技術】従来、被測定物体の3次元形状や奥行情
報を非接触に測定する方法として、レンズ焦点法、単眼
視、ステレオ法、動画像等の受動的な方法や、光レーダ
法、アクティブステレオ法、照度差ステレオ法、モアレ
法、干渉法等の能動的な方法が知られている。
【0003】ステレオ法は、三角測量の原理を応用し、
被測定物体を異なる位置(視点)から撮影して得られた
複数の画像から、被測定物体の形状を測定する方法であ
る。このステレオ法では、まず、被測定物体を異なる位
置から撮影して複数の画像を取得する。次いで、1の画
像中の所定の点(領域)に対応する他の画像の点(領
域)を検出する処理、いわゆる対応点決定(マッチン
グ)処理を行う。この対応点決定処理はステレオ法の最
も重要な処理である。この対応点決定処理の方法として
は、画像の相関を用いる方法等が提案されている。これ
らの詳細は、「コンピュータビジョン:技術論評と将来
展望、(株)新技術コミュニケーションズ、1998、
ISBN4−915851−17−6」の「第8章 ス
テレオ視」に詳しく記載されている。この文献には、対
応点決定処理の方法は、画像の所定の領域を使ってマッ
チングする「area-based matching」と、画像からエッ
ジ等を検出し、当該エッジの形状を使ってマッチングす
る「feature-based matching」とに大別されるといった
内容が記述されている。
【0004】次いで、複数の視差画像間での対応する点
の位置の差である視差(disparity)量を求め、三角測
量の原理、レンズの性質、幾何学の法則等に基づいて、
当該視差量を使うことにより所定の被写体までの距離を
算出する。ここで、例えば、複数の視点の光軸が交差す
る場合においては、視点間隔、視点位置から視点の光軸
が交差する点(視差光軸交差点)までの距離、視点位置
から被写体までの距離、視差量の4つの要素は、簡単な
関係式で表せる。視点間隔及び視点位置から視点光軸交
差点までの距離は、予め設定することができ、規定の値
とすることができる。また、視差量は視差画像から算出
することができる。このため、前記関係式により視点位
置から被写体までの距離を求めることができる。
【0005】図1は、上記したステレオ法を実施する従
来例に係る奥行検出装置の構成を示す図である。奥行検
出装置100は、レンズ102と、シャッター部104
と、CCD(charge coupled device)106と、視差
画像記憶部108と、奥行検出部110と、制御部11
2とを有する。レンズ102は外界からの光を集める。
シャッター部104は、視点となる開閉自在な開閉部1
04A、104Bを有している。シャッター部104の
開閉部104A又は104Bは制御部112の制御によ
りいずれか一方が開くようになっている。CCD106
は、自己の受光面上に結ばれた複数の視点からの外界の
画像を取り込む。
【0006】視差画像記憶部108はCCD106によ
り取り込まれた画像データを記憶する。奥行検出部11
0は、視差画像記憶部108に記憶された複数の画像同
士の対応点を検出し、当該対応点間の視差量を検出し、
対応点に該当する被写体までの距離を検出する。制御部
112は、各部を制御する。例えば、シャッター部10
4の開閉部104A、104Bの開閉を制御する。
【0007】奥行検出装置100において、制御部11
2が一方の開閉部104A又は104Bを開ける。これ
により、レンズ102及び、開いている一方の開閉部1
04A又は104Bを介して、外界の像がCCD106
に結ばれる。CCD106は、結ばれた像の画像を取り
込んで、視差画像記憶部108に記憶する。次いで、制
御部112が他方の開閉部104A又は104Bのみを
開ける。これにより、レンズ102及び、開いている開
閉部104A又は104Bを介して、外界の像がCCD
106に結ばれる。CCD106は、結ばれた像を取り
込んで、視差画像記憶部108に記憶する。次いで、奥
行検出部110がこれら視差画像記憶部108に記憶さ
れた異なる視点から見た外界の画像に基づいて、画像同
士の対応点を検出し、当該対応点間の視差量を検出し、
当該対応点の被写体までの距離を検出する。
【0008】
【発明が解決しようとする課題】ところで、CCD10
6で取り込まれたデジタル画像データの最小単位はCC
D106の画素により定まる。このため、対応点決定処
理により得られる視差量は、一般に1画素を単位とした
整数値(1画素、2画素等)となる。この視差量は、離
散的なサンプリングによって発生する丸め誤差を含んで
いるので、本来の視差量を正確に表していない。このた
め、当該視差量に基づいて算出される被写体までの距離
の値に対して、当該丸め誤差の影響が生じてしまうとい
う問題が生じる。
【0009】図2は、従来例に係る奥行検出装置により
検出される視差量を説明する図である。図2(A)は、
各被写体A〜Dの奥行き位置を示し、図2(B)は、各
被写体A〜Dの実際の視差量と視点の間隔との関係、及
び実際の視差量と奥行検出装置により検出される視差量
との関係を示す図である。ここで、図2(B)は、横軸
に視点間隔をとり、縦軸に実際の視差量をとるものとす
る。図2(A)に示すように、視点から遠い順に、被写
体A、B、C、Dが存在している。また、図2(B)に
示すように、2つの視点から見た際における各被写体
A、B、C、Dについての実際の視差量は、視点に近い
被写体ほど大きい。また、視点間隔が大きくなるほど各
被写体についての実際の視差量は大きくなる。この奥行
検出装置においては、視点間隔の広さと、実際の視差量
とは比例関係を有している。
【0010】ここで、視点間隔がBLの場合についての
実際の視差量と、検出される視差量について説明する。
視点間隔がBLの場合には、2つの視点から見た画像に
発生する被写体A、B、C、Dについての実際の視差量
は、それぞれ0.3PIXEL、0.7PIXEL、1.3PIXE
L、1.6PIXELである。しかしながら、図2(B)に示
すように、デジタル画像データを使用した対応点決定処
理によると、被写体Aについては、視差量0PIXELと検
出され、被写体B、Cについては、視差量1PIXELと検
出され、被写体Dについては、視差量2PIXELと検出さ
れる。このため、被写体B、Cまでの距離は、当該視差
量1PIXELに基づいて算出され、実際には異なる位置に
ある被写体が、同じ奥行き位置にあると扱われてしまう
という問題が生じる。
【0011】このような問題を解決する方法、すなわ
ち、奥行を示す奥行情報についての分解能を向上させる
方法としては、丸め誤差を無視できる程度にサンプリン
グを高密度にすることが考えられる。しかしながら、高
密度なサンプリングを行うためには、画素が細かい高価
な撮像素子や、画像スキャナー等が必要となり、コスト
が大きくなるという問題が生じる。また、高密度なサン
プリングによって得られる画像データの量は膨大になる
ために、対応点決定処理等の処理時間の増大し、画像デ
ータを記憶するために必要な記憶容量が増大するという
問題が生じる。また、上記問題を解決する他の方法とし
ては、各視点間隔を広くする方法が考えられる。しかし
なから、視点間隔を広くすると、装置のサイズが大きく
なり、装置に係るコストが増大するという問題が生じ
る。
【0012】そこで、本発明は、上記課題を解決しつ
つ、外界の所定の被写体の奥行情報の分解能を容易且つ
効果的に向上することのできる奥行検出装置及び撮像装
置を提供することを目的とする。この目的は特許請求の
範囲における独立項に記載の特徴の組み合わせにより達
成される。また従属項は本発明の更なる有利な具体例を
規定する。
【0013】
【課題を解決するための手段】上記目的を達成するため
に、本発明の第1の形態に係る奥行検出装置は、複数の
視点から観察される外界の画像に基づいて、外界の所定
の被写体についての奥行きを表す奥行情報を検出する奥
行検出装置であって、視点から観察される外界の画像を
結ぶ視差用結像部と、視差用結像部により結ばれた画像
を取り込む視差用撮像部と、視差用撮像部により取り込
まれた複数の画像に基づいて、外界の所定の被写体につ
いての複数の検出視差量を検出する視差量検出部と、視
差量検出部により検出された複数の検出視差量に基づい
て、所定の被写体について前記奥行情報を推定する奥行
推定部とを有することを特徴とする。
【0014】視差用撮像部は、少なくとも3つ以上の視
点から観察される外界の画像を取り込むようにしてもよ
い。視差用結像部を移動させて視点を変更する視差用結
像部駆動部を更に有するようにしてもよい。視差用結像
部は、単一光軸の光学系を有し、視差用結像部を透過し
た光を通過させる視点となる光通過部の位置を少なくと
も3箇所以上有する光通過制御部を備え、視差用撮像部
は、各位置の光通過部を介して結ばれる外界の画像を取
り込むようにしてもよい。奥行推定部は、複数の検出視
差量と、当該検出視差量を求めるために使用した画像に
おける視点の間隔とに基づいて、所定の視点の間隔にお
ける実質視差量を決定する実質視差量推定部と、視点の
間隔及び実質視差量に基づいて奥行情報を算出する奥行
算出部とを有するようにしてもよい。
【0015】少なくとも一つの視点において視差用結像
部の光軸の向きを複数の向きに変更する光軸変更部を更
に有し、視差量検出部は、少なくとも一つの視点におい
て、視差用結像部の光軸を複数に向けた場合に得られる
複数の画像のそれぞれと、他の視点において観察される
画像とに基づいて、外界の所定の被写体について複数の
視差量を検出するようにしてもよい。奥行推定部は、複
数の検出視差量と、当該検出視差量を求めるために使用
した画像における光軸の位置関係とに基づいて、所定の
光軸の位置関係における実質視差量を決定する実質視差
量推定部と、所定の光軸の位置関係及び実質視差量に基
づいて奥行情報を算出する奥行算出部とを有するように
してもよい。
【0016】視差用結像部は、単一光軸の光学系を有
し、視差用結像部を光軸に平行な方向に移動させる視差
用結像部駆動部と、視差用結像部を透過した光を通過さ
せる視点となる光通過部の位置を複数有する光通過制御
部とを備え、視差用撮像部は、各位置の光通過部を介し
て結ばれる外界の画像を取り込み、視差量検出部は、視
差用結像部が第1位置である場合における複数の視点か
ら観察される画像に基づいて、外界の所定の被写体につ
いての一の検出視差量を検出し、更に、視差用結像部が
第2位置である場合における複数の視点から観察される
画像に基づいて、外界の所定の被写体についての他の検
出視差量を検出するようにしてもよい。奥行推定部は、
複数の検出視差量と、当該検出視差量を求めるために使
用した画像における視差用結像部の焦点位置とに基づい
て、所定の焦点位置における実質視差量を決定する実質
視差量推定部と、所定の焦点位置及び実質視差量に基づ
いて奥行情報を算出する奥行算出部とを有するようにし
てもよい。
【0017】視差用撮像部により取り込まれた各視点に
おける画像を縮小した縮小画像を生成する縮小画像生成
部と、縮小画像生成部に、少なくとも一つの視点におい
て得られた画像から複数の縮小画像を生成させる縮小画
像生成制御部とを更に備え、視差量検出部は、縮小画像
生成部により生成された一の視点における複数の縮小画
像と、他方の視点における縮小画像とに基づいて、外界
の所定の被写体についての複数の検出視差量を検出し、
奥行推定部は、複数の検出視差量に基づいて、奥行情報
を検出するようにしてもよい。
【0018】縮小画像生成部は、画像における複数画素
の複数組をそれぞれ縮小画像の1画素に変換することに
より縮小画像を生成し、縮小画像生成制御部は、縮小画
像生成部に、画像における組の切り出す範囲を複数の視
点を結ぶ視点方向に異ならせて複数の縮小画像を生成さ
せるようにしてもよい。奥行推定部は、複数の検出視差
量と、当該検出視差量を求めるために使用した画像にお
ける組の範囲の位置とに基づいて、実質視差量を決定す
る実質視差量推定部と、実質視差量に基づいて奥行情報
を算出する奥行算出部とを有するようにしてもよい。
【0019】上記目的を達成するために、本発明の第1
の形態に係る撮像装置は、所望の外界を撮像する撮像装
置であって、外界の画像を結ぶ結像系と、結像系により
結ばれた画像を撮像する撮像系と、撮像系により取り込
まれた複数の画像に基づいて、外界の所定の被写体につ
いての複数の検出視差量を検出する視差量検出部と、視
差量検出部により検出された複数の検出視差量に基づい
て、所定の被写体についての奥行きを表す奥行情報を推
定する奥行推定部と、奥行推定部により検出された奥行
情報に基づいて、結像系又は撮像系を制御する制御部と
を有することを特徴とする。
【0020】結像系は、外界の画像を結ぶ結像部と、複
数の視点から観察される外界の画像を結ぶ視差用結像部
とを有し、撮像系は、結像部により結ばれた画像を撮像
する撮像部と、視差用結像部により結ばれた画像を取り
込む視差用撮像部とを有し、視差用検出部は、視差用撮
像部により取り込まれた複数の画像に基づいて、外界の
所定の被写体についての複数の検出視差量を検出し、制
御部は、奥行推定部により検出された奥行情報に基づい
て、結像部又は撮像部を制御するようにしてもよい。な
お、上記の発明の概要は、本発明の必要な特徴の全てを
列挙したものではなく、これらの特徴群のサブコンビネ
ーションもまた発明となりうる。
【0021】
【発明の実施の形態】以下、発明の実施の形態を通じて
本発明を説明するが、以下の実施形態は特許請求の範囲
に係る発明を限定するものではなく、また実施形態の中
で説明されている特徴の組み合わせの全てが発明の解決
手段に必須であるとは限らない。図3は、本発明の第1
の実施形態に係る奥行検出装置を有する撮像装置10の
一例としてのデジタルカメラの構成を示す。ここで、デ
ジタルカメラには、画像を一枚毎に取り込むカメラだけ
でなく、画像を連続して取り込むビデオカメラ等が含ま
れる。撮像装置10は、奥行検出装置12と、結像部2
4と、撮像部26と、記憶部28と、制御部30とを有
する。奥行検出装置12は、視差用結像部14と、光通
過制御部の一例としてのシャッター部40及び視差用制
御部42と、視差用撮像部16と、視差画像記憶部17
と、視差量検出部18と、奥行推定部の一例としての実
質視差量推定部19及び奥行算出部20と、奥行記憶部
22とを有する。ここで、本実施形態では、特許請求の
範囲にいう結像系は、結像部24及び視差用結像部14
によって構成され、撮像系は、撮像部26及び視差用撮
像部16によって構成される。
【0022】結像部24は、例えば、単数或いは複数の
レンズを有しており、外界からの光を集めることによ
り、撮像部26の受光面上に外界の被写体の画像を結
ぶ。本実施形態では、撮像部26は、光電変換素子の一
例としてのCCD(Charge Coupled Device)であり、
受光面上に結ばれた画像を画像データに変換して取り込
む。記憶部28は、撮像部26によって変換された画像
データを記憶する。
【0023】視差用結像部14は、外界の画像を視差用
撮像部16の受光面上に結ぶ。シャッター部40は、視
点となる光通過部の一例としての複数の開閉自在な開閉
部40A、40B、40C、40D、40Eを有してい
る。シャッター部40は視差用結像部14の瞳面、或い
はその近傍に配置されることが好ましい。本実施の形態
では、最も外側に位置する開閉部40A及び開閉部40
Eの視点を結ぶ視差方向の間隔(視点間隔)は、BLで
あり、その他の開閉部40B、40C及び40Dは、開
閉部40A及び開閉部40Eの間に等間隔に設けられて
いる。視差用撮像部16は、シャッター部40の開いて
いる開閉部40A、40B、40C、40D又は40E
を介して結ばれた外界の画像を画像データに変換する。
視差用制御部42は、シャッター部40の開閉部40A
〜40Eのいずれか一つを順次開けて、各開閉部40A
〜40Eを介して結ばれる外界の各画像を視差用撮像部
16に画像データに変換させる。視差画像記憶部17
は、視差用撮像部16により変換された画像データを記
憶する。
【0024】視差量検出部18は、視差画像記憶部17
に記憶された複数の画像に基づいて、外界の所定の被写
体について対応点決定処理を行うことにより、複数の視
点間隔における複数の視差量(検出視差量)を検出す
る。ここで、対応点決定処理は、従来より知られている
技術であるので説明を省略する。
【0025】本実施形態では、視差量検出部18は、開
閉部40A及び開閉部40Eのそれぞれを介して結ばれ
た2つの画像を使って、視点間隔がBLの場合における
外界の所定の被写体についての検出視差量を検出する。
また、視差量検出部18は、開閉部40A及び開閉部4
0Dのそれぞれを介して結ばれた2つの画像を使って、
視点間隔が3/4×BLの場合における外界の所定の被
写体についての検出視差量を検出する。また、視差量検
出部18は、開閉部40A及び開閉部40Cのそれぞれ
を介して結ばれた2つの画像を使って、視点間隔が1/
2×BLの場合における外界の所定の被写体についての
検出視差量を検出する。また、視差量検出部18は、開
閉部40A及び開閉部40Bのそれぞれを介して結ばれ
た2つの画像を使って、視点間隔が1/4×BLの場合
における外界の所定の被写体についての検出視差量を検
出する。
【0026】実質視差量推定部19は、複数の視点間隔
における検出視差量に基づいて、所定の視点間隔におけ
る実質の視差量(実質視差量)を推定する。本実施形態
においては、実質視差量推定部19は、視点間隔と検出
視差量とをそれぞれ軸とする座標系において、視差量検
出部18が検出した複数の視点間隔及び検出視差量の各
点に基づいて、関数を推定し、当該関数に基づいて所定
の視点間隔における実質視差量を推定する。ここで、本
実施形態の撮像装置では、視点間隔と同一の被写体につ
いての実際の視差量とが比例関係にあることに着目し
て、原点を通る直線の関数を推定する。ここで、例え
ば、最小2乗法により、すなわち、視点間隔及び検出視
差量の各点での、関数に相当する線からの偏差の2乗の
和を最小にする関数を検出することにより、関数を推定
することが好ましい。
【0027】図4は、本発明の第1の実施形態に係る実
質視差量推定部の処理を説明する図である。図4は、横
軸に視点間隔をとり、縦軸に視差量をとるものとし、図
中小さい丸印は、実際の視差量を示し、大きい丸印は、
検出視差量を示す。図4に示すように、外界の所定の被
写体についての検出視差量は、整数PIXELとなる。図4
中では、視点間隔がBL、3/4×BL、及び1/2×
BLの時のそれぞれの検出視差量は1PIXELであり、視
点間隔が1/4×BLの時の検出視差量は0PIXELであ
る。実質視差量推定部19は、このような視点間隔及び
検出視差量で示される各点に基づいて、図4に示す直線
βを推定する。直線βは、視点間隔及び実際の視差量の
関係を示す直線αに近い直線となる。したがって、当該
関数βを使うと、実際の視差量に近似する、整数以下の
単位を有する実質視差量を検出することができる。
【0028】奥行算出部20は、実質視差量推定部19
により算出された実質視差量及びその際の視点間隔に基
づいて、外界の所定の被写体の奥行きを表す奥行情報を
検出する。上記した実際の視差量に近似する、整数以下
の単位を有する実質視差量に基づいて奥行情報を検出す
るので、奥行情報の分解能を向上することができる。実
質視差量及びその際の視点間隔に基づいて、奥行情報を
検出する方法は、例えば、従来より知られている三角測
量の原理、レンズの性質、幾何学の法則等に基づいて表
すことができるので、ここでは、説明を省略する。
【0029】奥行記憶部22は、奥行算出部20により
検出された被写体の奥行情報を記憶する。制御部30
は、奥行記憶部22に記憶されている所定の被写体の奥
行情報に基づいて、結像部24のフォーカスや、撮像部
26による撮像動作のタイミングやスピード等を制御す
る。ここで、記憶部28、視差画像記憶部18、及び奥
行記憶部22は、それぞれ、撮像装置10内に常設され
ているRAM(Random Access Memory)、フラッシュメ
モリであってもよく、また、撮像装置10に対して着脱
可能な、例えば、フロッピーディスク、MD(Mini Dis
k)、スマートメディア(商標)等の記録媒体であって
もよい。
【0030】次に、撮像装置10の動作を説明する。撮
像装置10において、視差用制御部42がシャッター部
40の開閉部40Aのみを開放する。これにより、開閉
部40Aを介して、外界の画像が視差用撮像部16の受
光面上に結ばれる。視差用撮像部16は、結ばれた外界
の画像を画像データに変換して視差画像記憶部17に格
納する。同様にして、視差用制御部42がシャッター部
40の開閉部40B、40C、40D、及び40Eのい
ずれか一つを順次開放し、視差用撮像部16が開閉部4
0B、40C、40D、又は40Eを介して結ばれる外
界の画像を画像データに変換して視差画像記憶部17に
格納する。
【0031】次いで、視差量検出部18は、視差画像記
憶部17に記憶された複数の画像に基づいて、外界の所
定の被写体について対応点決定処理を行うことにより、
複数の視点間隔における複数の検出視差量を検出する。
次いで、実質視差量推定部19が、複数の視点間隔にお
ける検出視差量に基づいて、所定の視点間隔における実
質視差量を推定し、奥行算出部20が当該実質視差量及
びその際の視点間隔に基づいて、外界の所定の被写体の
奥行きを表す奥行情報を検出する。そして、奥行検出部
22が検出された被写体についての奥行情報を記憶す
る。
【0032】次いで、制御部30が奥行記憶部22に記
憶されている被写体の奥行情報に基づいて、結像部24
及び撮像部26を制御する。これにより、結像部24が
外界からの光を集め、撮像部6の受光面上に外界の被写
体の画像を結ぶ。そして、撮像部26が自己の受光面上
に結ばれた画像を画像データに変換し、記憶部28が撮
像部26によって変換された画像データを記憶する。
【0033】このとき、記憶部28は、自己が記憶する
画像データと、当該画像データを取り込むに際して、視
差用撮像部16により取り込まれて視差画像記憶部18
に記憶された複数の視点からの画像と、当該複数の視点
からの画像により算出されて奥行記憶部22に記憶され
ている被写体の奥行情報とを対応付ける対応付け情報も
記憶する。これにより、後に、画像データと、当該画像
データに関する複数の視点からの画像と、当該画像デー
タに含まれている被写体の奥行情報とを対応付けて利用
することができる。上記したように、外界の所定の被写
体の奥行情報の分解能を高めることができ、更に、この
ように分解能が高められた奥行情報に基づいて結像部2
4及び撮像部26を制御するので、画像を高精度に取り
込むことができる。
【0034】次に、本発明の第2の実施形態に係る奥行
検出装置を有する撮像装置について説明する。本実施形
態に係る撮像装置の構成は、図3に示す第1の実施形態
に係る撮像装置と奥行検出装置12の構成のみ異なるの
で、ここでは、奥行検出装置12について説明すること
とし、他の構成については説明を省略する。
【0035】図5は、本発明の第2の実施形態に係る奥
行検出装置の構成を示す図である。ここで、図3に示す
第1の実施形態に係る奥行検出装置と同一機能を有する
構成については同一符号を付すこととする。本実施形態
に係る奥行検出装置12は、第1の実施形態に係る奥行
検出装置において、シャッター部40及び視差用制御部
42を備えず、駆動部15を更に備える。駆動部15
は、視差用結像部14及び視差用撮像部16を移動させ
る。本実施形態では、駆動部15は、視差用結像部14
及び視差用撮像部16を視差用結像部14の光軸を平行
に維持したまま、当該光軸に垂直な方向の3カ所以上の
位置に移動させる。
【0036】次に、本撮像装置の動作を説明する。撮像
装置において、駆動部15が視差用結像部14及び視差
用撮像部16を所定の視点位置に維持させる。これによ
り、当該視点位置において視差用結像部14を介して外
界の画像が視差用撮像部16の受光面上に結ばれる。こ
の時、視差用撮像部16は受光面上に結ばれた画像を画
像データに変換し、視差画像記憶部17が画像データを
記憶する。次いで、駆動部15が視差用結像部14及び
視差用撮像部16を他の視点位置に移動させ、当該視点
位置において、視差用撮像部16が受光面上に結ばれた
画像を画像データに変換し、視差画像記憶部17が画像
データを記憶する。同様にして、更に他の視点位置にお
いても、視差用撮像部16が当該視点位置において受光
面上に結ばれる画像を画像データに変換し、視差画像記
憶部17が画像データを記憶する。
【0037】次いで、視差量検出部18が、視差画像記
憶部17に記憶された複数の画像に基づいて、外界の所
定の被写体について対応点決定処理を行うことにより、
複数の視点間隔における複数の検出視差量を検出する。
次いで、実質視差量推定部19が、複数の視点間隔にお
ける検出視差量に基づいて、所定の視点間隔における実
質視差量を推定する。これによって、整数以下の単位を
有する高精度な実質視差量を検出することができる。次
いで、奥行算出部20が当該実質視差量及びその際の視
点間隔に基づいて、外界の所定の被写体の奥行きを表す
奥行情報を検出する。そして、奥行記憶部22が検出さ
れた被写体についての奥行情報を記憶する。このよう
に、本奥行検出装置では、整数以下の単位を有する高精
度な実質視差量を検出することができ、さらに、当該実
質視差量に基づいて奥行情報を検出するので、奥行情報
の分解能を向上することができる。
【0038】次に、本発明の第3の実施形態に係る奥行
検出装置を有する撮像装置について説明する。本実施形
態に係る撮像装置の構成は、図3に示す第1の実施形態
に係る撮像装置と奥行検出装置12の構成のみ異なるの
で、ここでは、奥行検出装置12について説明すること
とし、他の構成については説明を省略する。
【0039】図6は、本発明の第3の実施形態に係る奥
行検出装置の構成を示す図である。ここで、図3に示す
第1の実施形態に係る奥行検出装置と同一機能を有する
構成については同一符号を付すこととする。本実施形態
に係る奥行検出装置12は、複数の視差用結像部14及
び視差用撮像部16の組と、視差画像記憶部17と、視
差量検出部55と、実質視差量推定部56と、奥行算出
部57と、奥行記憶部22と、駆動部58とを有する。
一の視差用結像部14と、他の視差用結像部14とは、
各光軸が交差するようになっている。駆動部58は、一
の視差用結像部14及び視差用撮像部16の組を当該視
差用結像部14の主点位置を中心に回転させる。これに
より、複数の視差用結像部14の光軸が交差する位置
(視点光軸交差点)が変わる。
【0040】視差量検出部55は、視差画像記憶部17
に記憶されている複数の画像中の異なる視点を介して取
り込まれた複数の画像に基づいて、外界の所定の被写体
についての複数の検出視差量を検出する。ここで、複数
の画像から外界の所定の被写体についての検出視差量を
検出する処理は、対応点決定処理として従来より知られ
ているので説明を省略する。本実施形態では、視差量検
出部55は、一の視差用結像部14の光軸を複数に変更
させて得られた複数の画像のそれぞれと、他の視差用結
像部14の光軸を所定の向きにして得られた画像とに基
づいて複数の検出視差量を検出する。
【0041】図7は、本発明の第3の実施形態に係る視
点交差位置の距離と実際の視差量との関係を示す図であ
る。ここで、視点交差位置の距離は、複数の視差用結像
部14の主点を含む平面(基準面)から距離である。ま
た、視点交差位置より奥行検出装置12側に位置する被
写体に発生する視差の方向をプラス方向とする。また、
図7に示す被写体A〜Dは、図6に示すように、奥行検
出装置12から遠い方から順に被写体A、B、C、Dが
並んでいるものとし、被写体Aは、複数の基準面から距
離Aの位置にあり、被写体Bは基準面から距離Bにある
ものとする。
【0042】図7に示すように、各被写体の像に発生す
る視差量は、基準面から遠いほど小さい、すなわち、被
写体D、C、B、Aの順に視差量が小さくなる。また、
各被写体の像に発生する視差量は、視点交差位置の距離
が長くなるほど大きくなる。また、被写体が視点交差位
置を含む基準面に平行な面内にあるときに被写体の像に
発生する視差量は0となる。すなわち、視点交差位置の
距離が距離Bの時には、被写体Bの像に発生する視差量
は0となり、視点交差位置の距離が距離Aの時には、被
写体Aの像に発生する視差量は0となる。
【0043】実質視差量推定部56は、視差量検出部5
5により検出された複数の検出視差量に基づいて、複数
の視差用結像部14の光軸交差点が所定の位置にある場
合における所定の被写体の実質視差量を推定する。本実
施形態では、実質視差量推定部56は、検出視差量と、
当該検出視差量を求めた画像を得た場合における視点交
差位置の距離とをそれぞれ軸とする座標系において、検
出視差量と視点交差位置の距離とで示される各点に基づ
いて関数を推定し、当該関数に基づいて所定の視点交差
位置の距離における実質視差量を推定する。ここで、例
えば、最小2乗法により、すなわち、視点交差位置の距
離及び検出視差量の各点での、偏差の2乗の和を最小に
する関数を検出することにより、関数を推定することが
好ましい。このように関数を推定するので、実際の視差
量により近似する、整数以下の単位を有する実質視差量
を検出できる。
【0044】図8は、本発明の第3の実施形態に係る実
質視差量推定部の処理を説明する図である。図8は、横
軸に視点交差位置の距離をとり、縦軸に視差量をとるも
のとする。図8中の×印は、各視点交差位置における視
点交差位置の距離及び検出視差量を示す。図8に示すよ
うに、外界の所定の被写体についての検出視差量は、整
数PIXELとなる。例えば、視線光軸交差点の距離を短く
していくと、検出視差量は、2PIXEL、1PIXEL、0PIXE
L、−1PIXEL、−2PIXELのように変化する。実質視差
量推定部19は、図8の検出視差量及び視点交差位置距
離で示される各点に基づいて、検出視差量と視点交差位
置距離との関数を推定する。このようにして求められる
関数は、図8に示すように、実際の視差量と視点交差位
置距離との関数に近似したものとなる。したがって、当
該関数によると、実際の視差量に近似する、整数以下の
単位を有する実質視差量を検出することができる。
【0045】奥行算出部57は、実質視差量推定部56
により算出された実質視差量及びその際の視差交差位置
の距離に基づいて、外界の所定の被写体の奥行きを表す
奥行情報を検出する。このように、上記した整数以下の
単位を有する実質視差量に基づいて奥行情報を検出する
ので、奥行情報の分解能を向上することができる。実質
視差量及び視差交差位置の距離に基づいて、奥行情報を
検出する処理は、例えば、従来より知られている三角測
量の原理、レンズの性質、幾何学の法則等に基づいて表
すことができるので、ここでは、説明を省略する。
【0046】次に、本撮像装置の動作を説明する。撮像
装置において、駆動部58が一方の視差用結像部14及
び視差用撮像部16の組を視差用結像部14の光軸が所
定の方向に向くように維持させる。次いで、視差用撮像
部16は受光面上に結ばれた画像を画像データに変換
し、視差画像記憶部17が画像データを記憶する。ま
た、他方の視差用結像部14を介して結ばれた外界の画
像を視差用撮像部16が画像データに変換し、視差画像
記憶部17が画像データを記憶する。次いで、駆動部5
8が視差用結像部14及び視差用撮像部16の組を視差
用結像部14の光軸が他の方向に向くように回転させ
る。次いで、視差用撮像部16は受光面上に結ばれた画
像を画像データに変換し、視差画像記憶部17が画像デ
ータを記憶する。このようにして、駆動部58は、一方
の視差用結像部14及び視差用撮像部16の組を視差用
結像部14の光軸を複数の異なる方向に向け、それぞれ
の場合において、視差用撮像部16が受光面上に結ばれ
た画像を画像データに変換し、視差画像記憶部17が画
像データを記憶する。
【0047】次いで、視差量検出部55が、視差画像記
憶部17に記憶された、一の視差用結像部14の光軸を
複数に変更させて得られた複数の画像のそれぞれと、他
の視差用結像部14の光軸を所定の向きにして得られた
画像とに基づいて、複数の視点交差位置におけるそれぞ
れの検出視差量を検出する。次いで、実質視差量推定部
56が、複数の視点交差位置における検出視差量に基づ
いて、所定の視点交差位置における実質視差量を推定す
る。これによって、整数以下の単位を有する高精度な実
質視差量を検出することができる。次いで、奥行算出部
57が当該実質視差量及び視点交差位置の距離に基づい
て、外界の所定の被写体の奥行きを表す奥行情報を検出
する。そして、奥行記憶部22が検出された被写体につ
いての奥行情報を記憶する。このように、本奥行検出装
置では、整数以下の単位を有する高精度な実質視差量を
検出することができ、さらに、当該実質視差量に基づい
て奥行情報を検出するので、奥行情報の分解能を向上す
ることができる。
【0048】次に、本発明の第4の実施形態に係る奥行
検出装置を有する撮像装置について説明する。本実施形
態に係る撮像装置の構成は、図3に示す第1の実施形態
に係る撮像装置と奥行検出装置12の構成のみ異なるの
で、ここでは、奥行検出装置12について説明すること
とし、他の構成については説明を省略する。図9は、本
発明の第4の実施形態に係る奥行検出装置の構成を示す
図である。ここで、図3に示す第1の実施形態に係る奥
行検出装置と同一機能を有する構成については同一符号
を付すこととする。また、図に示すように、視点を結ぶ
方向にZ軸を取るものとする。本実施形態に係る奥行検
出装置は、視差用結像部14と、シャッター部50と、
視差用撮像部16と、視差画像記憶部17と、視差量検
出部59と、実質視差量推定部60と、奥行算出部61
と、奥行記憶部22と、視差用制御部62とを有する。
【0049】視差用制御部62は、視差用結像部14の
位置を当該視差用結像部14の光軸に平行な方向に移動
させる。本実施形態では、視差用制御部62は視差用結
像部14を例えば、4つの異なる位置に移動させる。こ
れにより、視差用結像部14による合焦点面の位置が変
わる。例えば、視差用結像部14をシャッター部50に
近づけることにより合焦点面を遠くに移動させることが
でき、逆に視差用結像部14をシャッター部50から遠
ざけることにより合焦点面を近くに移動させることがで
きる。
【0050】また、視差用制御部62は、シャッター部
50の開閉部50A又は50Bのいずれか一方のみを開
いた状態にする。ここで、視差用結像部14を移動させ
ると、視差用撮像部16に結ばれる画像の大きさが変化
するので、画像の大きさを補正することが好ましい。画
像の大きさは、例えば、ズームレンズを使って光学的に
補正するようにしてもよく、また取り込まれた画像デー
タに画像処理を行うことにより補正するようにしてもよ
い。
【0051】視差量検出部59は、視差画像記憶部17
に記憶されている複数の画像中の異なる視点を介して取
り込まれた複数の画像に基づいて、外界の所定の被写体
についての複数の検出視差量を検出する。ここで、複数
の画像から外界の所定の被写体についての検出視差量を
検出する処理は、対応点決定処理として従来より知られ
ているので説明を省略する。本実施形態では、視差量検
出部59は、視差用結像部14を所定の位置においた場
合に複数の視点を介して取り込まれた複数の画像に基づ
いて検出視差量を検出し、視差用結像部14をおいたそ
れぞれの位置について検出視差量を検出する。
【0052】図10は、本発明の第4の実施形態に係る
視差用撮像部16に結ばれる被写体の像を説明する図で
ある。ここで、図10においては、図9に示すZ軸と同
一のZ軸を取るものとする。また、図10に示す被写体
A〜Cは、図9に示すように、奥行検出装置12から遠
い方から順に被写体C、B、Aが並んでいるものとし、
被写体Cは合焦点面β上にあり、被写体Bは合焦点面α
上にあるものとする。図10(A)は、合焦点面αにし
た場合における各被写体の視差量を示し、開閉部50A
を介して結ばれた被写体の像を波線で示し、開閉部50
Bを介して結ばれた被写体の像を実線で示す。図10
(B)は、合焦点面βにした場合における各被写体の視
差量を示し、開閉部50Aを介して結ばれた被写体の像
を波線で示し、開閉部50Bを介して結ばれた被写体の
像を実線で示す。
【0053】図10(A)に示すように、合焦点面αに
ある被写体Bの像は、開閉部50Aのみが開いた状態か
ら開閉部50Bのみが開いた状態になった場合でも移動
しない。また、合焦点面αより視差用結像部14から近
い被写体Aの像は、開閉部50Aのみが開いた状態から
開閉部50Bのみが開いた状態になった場合には、Z軸
のマイナスの方向に移動する。また、合焦点面αより視
差用結像部14から遠い被写体Bの像は、開閉部50A
のみが開いた状態から開閉部50Bのみが開いた状態に
なった場合には、Z軸のプラスの方向に移動する。
【0054】図10(B)に示すように、合焦点面βに
ある被写体Cの像は、開閉部50Aのみが開いた状態か
ら開閉部Bのみが開いた状態になった場合でも移動しな
い。また、合焦点面βより視差用結像部14から近い被
写体A、Bの像は、開閉部Aのみが開いた状態から開閉
部Bのみが開いた状態になった場合には、Z軸のマイナ
スの方向に移動し、視差用結像部14に近い被写体ほど
移動量が大きい。
【0055】実質視差量推定部60は、視差用結像部1
4による合焦点面の距離が複数の場合における複数の検
出視差量に基づいて、所定の合焦点面の距離における実
質視差量を推定する。また、本実施形態においては、実
質視差量推定部44は、合焦点面の距離と検出視差量と
をそれぞれ軸とする座標系において、視差量検出部59
が検出した複数の合焦点面の距離における複数の検出視
差量を示す各点に基づいて、関数を推定し、当該関数に
基づいて所定の合焦点面の距離における実質視差量を推
定する。このように関数を推定するので、実際の視差量
により近似する、整数以下の単位を有する実質視差量を
検出できる。
【0056】奥行算出部61は、実質視差量推定部60
により算出された実質視差量及び合焦点面の距離に基づ
いて、外界の所定の被写体の奥行きを表す奥行情報を検
出する。このように、上記した整数以下の単位を有する
実質視差量に基づいて奥行情報を検出するので、奥行情
報の分解能を向上することができる。実質視差量及び合
焦点面の距離に基づいて、奥行情報を検出する処理は、
例えば、従来より知られている三角測量の原理、レンズ
の性質、幾何学の法則等に基づいて表すことができるの
で、ここでは、説明を省略する。
【0057】次に、本撮像装置の動作を説明する。撮像
装置において、視差用制御部62が視差用結像部14の
位置を第1の位置に維持すると共に、シャッター部50
の開閉部50Aのみを開けた状態にする。そして、視差
用撮像部16が、開閉部50Aを介して受光面上に結ば
れる外界の画像を画像データに変換し、視差画像記憶部
17が変換された当該画像データを記憶する。次いで、
制御部62がシャッター部50の開閉部50Bのみを開
けた状態にする。そして、視差用撮像部16が開閉部5
0Bを介して受光面上に結ばれる外界の画像を画像デー
タに変換し、視差画像記憶部17が変換された当該画像
データを記憶する。
【0058】次いで、視差用制御部62が視差用結像部
54の位置を第2の位置に移動させ、上記同様に開閉部
50A、開閉部50Bのそれぞれを介して結ばれる画像
を画像データとして視差画像記憶部17に記憶する。更
に、視差用結像部54を第3の位置、第4の位置に移動
させて上記同様な動作を行う。
【0059】次いで、視差用結像部54が第1乃至第4
の位置のそれぞれの場合における開閉部50A及び開閉
部50Bを介して取り込まれた画像データに基づいて、
視差量検出部59が複数の合焦点面の距離である場合に
おける外界の所定の被写体についての検出視差量を検出
する。次いで、実質視差量推定部60が、視差用結像部
14が各合焦点面の距離である場合における複数の検出
視差量に基づいて、所定の合焦点面の距離における実質
視差量を推定する。次いで、奥行算出部61が、実質視
差量推定部60により算出された実質視差量及び合焦点
面の距離に基づいて、外界の所定の被写体の奥行きを表
す奥行情報を検出する。そして、奥行記憶部22が検出
された被写体についての奥行情報を記憶する。このよう
に、本奥行検出装置では、整数以下の単位を有する高精
度な実質視差量を検出することができる。また、当該実
質視差量に基づいて奥行情報を検出するので、奥行情報
の分解能を向上することができる。
【0060】次に、本発明の第5の実施形態に係る奥行
検出装置を有する撮像装置について説明する。本実施形
態に係る撮像装置の構成は、図3に示す第1の実施形態
に係る撮像装置と奥行検出装置12の構成のみ異なるの
で、ここでは、奥行検出装置12について説明すること
とし、他の構成については説明を省略する。図11は、
本発明の第5の実施形態に係る奥行検出装置の構成を示
す図である。ここで、図3に示す第1の実施形態に係る
奥行検出装置と同一機能を有する構成については同一符
号を付すこととする。また、図に示すように、視点とな
る開閉部50A及び50Bを結ぶ方向にZ軸を取るもの
とする。本実施形態に係る奥行検出装置12は、視差用
結像部14と、シャッター部50と、視差用撮像部16
と、縮小画像生成部66と、視差画像記憶部17と、視
差量検出部68と、実質視差量推定部70と、奥行算出
部72と、奥行記憶部22と、視差用制御部65とを有
する。
【0061】視差用制御部65は、シャッター部50の
開閉部50A、50Bの一方のみを開けた状態にして、
視差用撮像部16に外界の画像を画像データに変換させ
る。縮小画像生成部66は、視差用撮像部16により変
換された各視点からの画像データから縮小画像を生成す
る。このように、縮小画像を生成することで、処理に使
用するデータ量を削減することができる。本実施形態で
は、画像データの5×5画素の矩形の複数の組のそれぞ
れを1画素に変換することにより縮小画像を生成する。
【0062】図12は、本発明の第5の実施形態に係る
縮小画像生成部による縮小画像の生成方法の一例を示す
図である。図12(A)は、開閉部50Aを介して得ら
れた画像を示し、図12(D)は、開閉部50Bを介し
て得られた画像を示している。縮小画像生成部66は、
図12(A)における所定のサンプル領域に属する複数
の画素について、図12(B)に示すように5×5画素
の矩形の組に切り分ける。ここで、図中の小さい矩形が
元の画像の1画素を示している。次いで、各組について
縮小処理を行って図12(C)に示すように、各組をそ
れぞれ1つの縮小画像の画素にする。縮小処理として
は、例えば、5×5画素の各画素の画素データを加算し
て縮小画像の1画素の画素データにする、或いは、加算
した後平均を取って縮小画像の1画素の画素データにす
る等がある。ここで、本説明においては、説明を簡略化
するために、画像の1画素は白又は黒(斜線)であり、
縮小処理においては、組の中の半数以上を占める色が当
該縮小画像の画素の色になるものとする。図12(B)
に示す画像は、図12(C)に示すように、縮小画像で
は左から1、2番目の画素が白画素となり、3〜5番目
の画素が黒画素となる。
【0063】また、縮小画像生成部66は、図12
(D)における上記サンプル領域に属する複数の画素に
ついて、図12(E)に示すように5×5画素の矩形の
組に切り出す。次いで、各組について縮小処理を行って
図12(F)に示すように、各組をそれぞれ1つの画素
にする。これにより、図12(E)に示す画像は、図1
2(F)に示すように、縮小画像では左から1〜3番目
の画素が白画素となり、4、5番目の画素が黒画素とな
る。
【0064】また、縮小画像生成部66は、すくなくと
も一の視点から得られた画像データに基づいて複数の縮
小画像を生成する。本実施形態では、縮小画像生成部6
6は、複数の画素の組を切り出す範囲を視点を結ぶ方向
に異ならせることにより複数の縮小画像を生成する。具
体的には、例えば、縮小画像生成部66は、開閉部50
Aを介して取り込まれた画像における複数の画素につい
て、図12(E)に示す矩形の組の切り出し範囲の位置
を視差方向であるZ軸方向に、−2画素、−1画素、+
1画素、+2画素ずつずらして複数の縮小画像を生成す
る。
【0065】図13は、本発明の第5の実施形態に係る
縮小画像生成部により生成される縮小画像の一例を示す
図である。図13(C)は、図12(E)に示す切り出
し範囲の位置(基準切り出し位置:位置C)における縮
小画像を示す。図13(A)に示すように、基準切り出
し位置から−2画素ずらした位置(位置A)の範囲を組
とした場合には、縮小画像の左から1〜3番目の画素が
白画素であり、4、5番目の画素が黒画素である縮小画
像が生成される。図13(B)に示すように、基準切り
出し位置から−1画素ずらした位置(位置B)の範囲を
組とした場合には、縮小画像の左から1〜3番目の画素
が白画素であり、4、5番目の画素が黒画素である縮小
画像が生成される。
【0066】図13(D)に示すように、基準切り出し
位置から+1画素ずらした位置(位置D)の範囲を組と
した場合には、縮小画像の左から1、2番目の画素が白
画素であり、3〜5番目の画素が黒画素である縮小画像
が生成される。図13(E)は、に示すように、基準切
り出し位置から+1画素ずらした位置(位置E)の範囲
を組とした場合には、縮小画像の左から1、2番目の画
素が白画素であり、3〜5番目の画素が黒画素である縮
小画像が生成される。
【0067】視差量検出部68は、縮小画像記憶部66
に記憶された、開閉部50Aを介して取り込まれた画像
データから生成された複数の縮小画像のそれぞれと、開
閉部50Bを介して取り込まれた画像データから生成さ
れた縮小画像とに基づいて、外界の所定の被写体につい
ての複数の検出視差量を検出する。本実施形態での具体
的な例を示すと、視差量検出部68は、図12(C)に
示す一の視点における縮小画像中の所定の被写体を示す
特徴点位置(本実施形態では、白画像と黒画像との境と
する。)を検出する。この例では、特徴点位置は、左か
ら2番目と3番目の画素の間であると検出される。
【0068】次いで、図13(A)〜(E)に示す他の
視点における縮小画像中の特徴点位置を検出し、前記位
置の視点における特徴点位置との視差量を検出する。図
13(A)に示す縮小画像では、特徴点位置は左から3
番目と4番目の画素の間であると検出され、視差量は1
pixelと検出される。図13(B)に示す縮小画像で
は、特徴点位置は左から3番目と4番目の画素の間であ
ると検出され、視差量は1pixelと検出される。図13
(C)に示す縮小画像では、特徴点位置は左から3番目
と4番目の画素の間であると検出され、視差量は1pixe
lと検出される。図13(D)に示す縮小画像では、特
徴点位置は左から2番目と3番目の画素の間であると検
出され、視差量は0pixelと検出される。図13(E)
に示す縮小画像では、特徴点位置は左から2番目と3番
目の画素の間であると検出され、視差量は0pixelと検
出される。
【0069】実質視差量推定部70は、複数の縮小画像
についての複数の検出視差量に基づいて、所定の切り出
し範囲の位置における実質視差量を推定する。本実施形
態では、実質視差量推定部70は、各位置の範囲の組に
おける検出視差量を平均して、実質視差量を検出する。
上記した例では、実質視差量を(1+1+1+0+0)
/5=0.6Pixelと検出する。
【0070】図14は、本発明の第5の実施形態に係る
実質視差量推定部の処理を説明する図である。図14で
は、切り出し位置Cの範囲の組における視差量0を基準
として、他の位置A、B、D、Eの範囲の組における視
差量を並べた図である。図14において、白丸は、真の
視差量を示し、黒丸は観測(検出)される検出視差量を
示す。実質視差量推定部70により、各位置の範囲の組
における検出視差量を平均して検出された実質視差量
は、図14の横線に示す実質視差量を検出したことと同
じことを意味している。
【0071】すなわち、図14に示すように、各位置に
おける視差量を位置Cを基準にした視差量とした後に、
合計した値と各位置における視差量を合計した値は一致
する。これは、各位置における検出視差量を位置Cを基
準に補正する場合においては、位置Aと位置Eについて
の位置Cからのずれ量は相殺され、位置Bと位置Eにつ
いての位置Cからのずれ量は相殺されるからである。こ
こで、図12(B)に示す画像と、図12(E)に示す
画像との間で視差量を検出したとすると、図12からわ
かるように3pixelと検出される。一方、実質視差量推
定部70によると縮小画像の0.6pixel、つまり、通
常の画像の3pixelと検出される。このように、実質視
差量推定部70によると、細かい画素の画像により得ら
れる視差量を、少ない処理量で得ることができる。
【0072】奥行算出部72は、実質視差量推定部70
により算出された実質視差量に基づいて、外界の所定の
被写体の奥行きを表す奥行情報を検出する。このよう
に、上記した整数以下の単位を有する実質視差量に基づ
いて奥行情報を検出するので、奥行情報の分解能を向上
することができる。実質視差量に基づいて、奥行情報を
検出する処理は、例えば、従来より知られている三角測
量の原理、レンズの性質、幾何学の法則等に基づいて表
すことができるので、ここでは、説明を省略する。
【0073】次に、撮像装置10の動作を説明する。本
撮像装置において、視差用制御部65がシャッター部5
0の開閉部50Aのみを開放して、視差用撮像部16に
開閉部50Aを介して結ばれた外界の画像を画像データ
に変換させる。次いで、縮小画像生成部66が前記画像
データから複数の縮小画像を生成し、視差画像記憶部1
8に画像データを格納させる。また、視差用制御部65
がシャッター部50の開閉部50Bのみを開放して、視
差用撮像部16に開閉部50Bを介して結ばれた外界の
画像を画像データに変換させる。次いで、縮小画像生成
部66が前記画像データから縮小画像を生成し、視差画
像記憶部18に画像データを格納させる。
【0074】次いで、視差量検出部68が開閉部50A
を介して取り込まれた画像データから生成された複数の
縮小画像のそれぞれと、開閉部50Bを介して取り込ま
れた画像データから生成された縮小画像とに基づいて、
外界の所定の被写体についての複数の検出視差量を検出
する。次いで、実質視差量推定部70が複数の検出視差
量に基づいて実質視差量を推定する。次いで、奥行算出
部72が実質視差量推定部70により算出された実質視
差量に基づいて、外界の所定の被写体の奥行きを表す奥
行情報を検出する。そして、奥行記憶部22が検出され
た被写体についての奥行情報を記憶する。
【0075】上記したように、視差用結像部14及び視
差用撮像部16を動かす機構を備えることなく、少ない
処理量で外界の所定の被写体の位置を詳細に検出するこ
とができ、高い分解能の奥行情報を得ることができる。
【0076】本発明は上記の実施形態に限定されるもの
ではなく、種々の変形が可能である。例えば、上記の実
施形態では、実質視差量推定部19、60は、関数を推
定し、当該関数に基づいて実質視差量を推定していた
が、本発明はこれに限られず、複数の検出視差量と、上
記の実質視差量推定部19、60による処理により検出
される実質視差量とを対応付けたテーブルを用意してお
き、当該テーブルを使って、検出視差量に対応する実質
視差量を検出するようにしてもよい。
【0077】また、実質視差量推定部19及び奥行算出
部20の構成、実質視差量推定部56及び奥行算出部5
7の構成、又は、実質視差量推定部60及び奥行算出部
61の構成は、実質視差量推定部70及び奥行算出部7
2の構成は、上記に限らず、例えば、複数の検出視差量
と、この場合において上記の実質視差量推定部19(5
6、60、70)及び奥行算出部20(57、61、7
2)の処理により検出される奥行情報とを対応付けたテ
ーブルを用意しておき、当該テーブルを使って複数の視
点間隔における検出視差量に対応する奥行情報を取り出
す構成としてもよい。
【0078】上記実施形態では、光通過部の一例として
開口(開閉部)を用い、当該開口を3つ以上設けるよう
にしていたが、例えば、光通過部の一例としての開口を
一つ用意し、当該開口自体を3つ以上の位置に移動させ
るようにしてもよい。また、光通過部は開口に限らず、
例えば、光を通過させることができるものであればよ
い。また、上記第1の実施形態では、開口の位置を5箇
所備えるようにしていたが、本発明にはこれに限られ
ず、複数の視点間隔を実現することができればよい、す
なわち、光通過部の位置が3箇所以上あればよい。
【0079】また、上記第1及び第3の実施形態では、
複数の開閉部のそれぞれを別々に開けるようにしていた
が、本発明はこれに限られず、同時に2つの開閉部を開
けるようにしてもよい。この場合には、一枚の画像中の
所定の範囲或いは形状について、当該画像との相関を取
り、相関度が最も高い部分に基づいて、同時に開けた開
閉部による視差量を検出することができる。
【0080】また、上記実施形態では、結像系は別構成
の視差用結像部14及び結像部24を備えていたが、本
発明はこれに限られず、結像系が単一のレンズ系のみを
有していてもよい。この場合、単一のレンズ系によって
視差用結像部14及び結像部24を構成してもよく、プ
リズム等の光分岐手段によって外界の画像を視差用撮像
部16及び撮像部26に結ばせるようにしてもよい。ま
た、視差用結像部14及び結像部24の一部を共通の構
成にしてもよい。また、撮像系は、複数の撮像部、すな
わち、視差用撮像部16及び撮像部26を有していた
が、本発明はこれに限られず、撮像系が単一の撮像部の
みを有していてもよい。この場合、単一の撮像部が視差
用撮像部16及び撮像部26として機能してもよい。
【0081】また、上記実施形態では、撮像部26とし
てCCDを用いて例を示したが、本発明はこれに限られ
ず、撮像部26に、例えば、光化学反応部材の一例とし
てのフィルムを設置する設置部を備え、設置部に設置さ
れたフィルムにより画像を撮像するようにしてもよい。
また、上記実施形態では、デジタルカメラを例に取って
説明したが、本発明はこれに限られず、人間の体腔内を
観察する内視鏡等の他の撮像装置に適用することもでき
る。
【0082】また、上記実施形態では、視差用撮像部1
6として、CCDを用いていたが、本発明はこれに限ら
れず、視差用撮像部16に、例えば、光化学反応部材の
一例としてもフィルムを設置する設置部を備え、設置部
に設置されたフィルムにより画像を撮像するようにして
もよい。このようにした場合には、当該フィルムに取り
込まれた複数の視点からの画像を、例えばフィルムスキ
ャナ等でデジタル画像データとして視差用画像記憶部1
7に記憶させることにより、上記同様に、奥行情報の分
解能を向上することができる。
【0083】以上、本発明を実施の形態を用いて説明し
たが、本発明の技術的範囲は上記実施の形態に記載の範
囲には限定されない。上記実施の形態に、多様な変更又
は改良を加えることができることが当業者に明らかであ
る。その様な変更又は改良を加えた形態も本発明の技術
的範囲に含まれ得ることが、特許請求の範囲の記載から
明らかである。
【0084】
【発明の効果】上記説明から明らかなように、本発明に
よれば、外界における奥行情報の分解能を容易且つ効果
的に向上することができる。
【図面の簡単な説明】
【図1】 従来例に係る奥行検出装置の構成を示す図で
ある。
【図2】 従来例に係る奥行検出装置により検出される
視差量を説明する図である。
【図3】 本発明の第1の実施形態に係る奥行検出装置
を有する撮像装置の構成を示す図である。
【図4】 本発明の第1の実施形態に係る実質視差量推
定部の処理を説明する図である。
【図5】 本発明の第2の実施形態に係る奥行検出装置
の構成を示す図である。
【図6】 本発明の第3の実施形態に係る奥行検出装置
の構成を示す図である。
【図7】 本発明の第3の実施形態に係る視点交差位置
と視差量との関係を示す図である。
【図8】 本発明の第3の実施形態に係る実質視差量推
定部の処理を説明する図である。
【図9】 本発明の第4の実施形態に係る奥行検出装置
の構成を示す図である。
【図10】 本発明の第4の実施形態に係る奥行検出装
置の視差用撮像部に結ばれる被写体の像を説明する図で
ある。
【図11】 本発明の第5の実施形態に係る奥行検出装
置の構成を示す図である。
【図12】 本発明の第5の実施形態に係る画像から縮
小画像を生成する処理を説明する図である。
【図13】 本発明の第5の実施形態に係る画像から複
数の異なる縮小画像を生成する処理を説明する図であ
る。
【図14】 本発明の第5の実施形態に係る実質視差量
推定部の処理を説明する図である。
【符号の説明】
10 撮像装置 12 奥行検
出装置 14 視差用結像部 15 駆動部 16 視差用撮像部 17 視差画
像記憶部 18 55 59 68 視差量検出部 19 56 60 70 実質視差量推定部 20 57 72 奥行算出部 22 奥行記憶部 24 結像部 26 撮像部 28 記憶部 30 制御部 40 50 シャッター部 42 65 視差用
制御部 66 縮小画像生成部

Claims (14)

    【特許請求の範囲】
  1. 【請求項1】 複数の視点から観察される外界の画像に
    基づいて、前記外界の所定の被写体についての奥行きを
    表す奥行情報を検出する奥行検出装置であって、 前記視点から観察される前記外界の画像を結ぶ視差用結
    像部と、 前記視差用結像部により結ばれた前記画像を取り込む視
    差用撮像部と、 前記視差用撮像部により取り込まれた複数の前記画像に
    基づいて、前記外界の所定の被写体についての複数の検
    出視差量を検出する視差量検出部と、 前記視差量検出部により検出された前記複数の検出視差
    量に基づいて、前記所定の被写体について前記奥行情報
    を推定する奥行推定部とを有することを特徴とする奥行
    検出装置。
  2. 【請求項2】 前記視差用撮像部は、少なくとも3つ以
    上の前記視点から観察される前記外界の画像を取り込む
    ことを特徴とする請求項1に記載の奥行検出装置。
  3. 【請求項3】 前記視差用結像部を移動させて前記視点
    を変更する視差用結像部駆動部を更に有することを特徴
    とする請求項2に記載の奥行検出装置。
  4. 【請求項4】 前記視差用結像部は、単一光軸の光学系
    を有し、 前記視差用結像部を透過した光を通過させる視点となる
    光通過部の位置を少なくとも3箇所以上有する光通過制
    御部を備え、 前記視差用撮像部は、前記各位置の光通過部を介して結
    ばれる前記外界の画像を取り込むことを特徴とする請求
    項1に記載の奥行検出装置。
  5. 【請求項5】 前記奥行推定部は、 前記複数の検出視差量と、当該検出視差量を求めるため
    に使用した前記画像における視点の間隔とに基づいて、
    所定の視点の間隔における実質視差量を決定する実質視
    差量推定部と、 前記視点の間隔及び実質視差量に基づいて前記奥行情報
    を算出する奥行算出部とを有することを特徴とする請求
    項1乃至4のいずれかに記載の奥行検出装置。
  6. 【請求項6】 前記少なくとも一つの視点において前記
    視差用結像部の光軸の向きを複数の向きに変更する光軸
    変更部を更に有し、 前記視差量検出部は、前記少なくとも一つの視点におい
    て、前記視差用結像部の光軸を複数に向けた場合に得ら
    れる複数の画像のそれぞれと、他の前記視点において観
    察される画像とに基づいて、前記外界の所定の被写体に
    ついて複数の視差量を検出することを特徴とする請求項
    1に記載の奥行検出装置。
  7. 【請求項7】 前記奥行推定部は、 前記複数の検出視差量と、当該検出視差量を求めるため
    に使用した前記画像における光軸の位置関係とに基づい
    て、所定の光軸の位置関係における実質視差量を決定す
    る実質視差量推定部と、 前記所定の光軸の位置関係及び実質視差量に基づいて前
    記奥行情報を算出する奥行算出部とを有することを特徴
    とする請求項6に記載の奥行検出装置。
  8. 【請求項8】 前記視差用結像部は、単一光軸の光学系
    を有し、 前記視差用結像部を光軸に平行な方向に移動させる視差
    用結像部駆動部と、 前記視差用結像部を透過した光を通過させる視点となる
    光通過部の位置を複数有する光通過制御部とを備え、 前記視差用撮像部は、前記各位置の光通過部を介して結
    ばれる前記外界の画像を取り込み、 前記視差量検出部は、前記視差用結像部が第1位置であ
    る場合における前記複数の視点から観察される画像に基
    づいて、前記外界の所定の被写体についての一の検出視
    差量を検出し、更に、前記視差用結像部が第2位置であ
    る場合における前記複数の視点から観察される前記画像
    に基づいて、前記外界の所定の被写体についての他の検
    出視差量を検出することを特徴とする請求項1に記載の
    奥行検出装置。
  9. 【請求項9】 前記奥行推定部は、 前記複数の検出視差量と、当該検出視差量を求めるため
    に使用した前記画像における前記視差用結像部の焦点位
    置とに基づいて、所定の焦点位置における実質視差量を
    決定する実質視差量推定部と、 前記所定の焦点位置及び実質視差量に基づいて前記奥行
    情報を算出する奥行算出部とを有することを特徴とする
    請求項8に記載の奥行検出装置。
  10. 【請求項10】 前記視差用撮像部により取り込まれた
    各視点における前記画像を縮小した縮小画像を生成する
    縮小画像生成部と、 前記縮小画像生成部に、少なくとも一つの前記視点にお
    いて得られた前記画像から複数の前記縮小画像を生成さ
    せる縮小画像生成制御部とを更に備え、 前記視差量検出部は、前記縮小画像生成部により生成さ
    れた一の視点における複数の縮小画像と、他方の視点に
    おける前記縮小画像とに基づいて、前記外界の所定の被
    写体についての複数の検出視差量を検出し、 前記奥行推定部は、前記複数の検出視差量に基づいて、
    前記奥行情報を検出することを特徴とする請求項1に記
    載の奥行検出装置。
  11. 【請求項11】前記縮小画像生成部は、前記画像におけ
    る複数画素の複数組のそれぞれを前記縮小画像の1画素
    に変換することにより前記縮小画像を生成し、 前記縮小画像生成制御部は、前記縮小画像生成部に、前
    記画像における前記組を切り出す範囲を複数の視点を結
    ぶ視点方向に異ならせて複数の縮小画像を生成させるこ
    とを特徴とする請求項10に記載の奥行検出装置。
  12. 【請求項12】 前記奥行推定部は、 前記複数の検出視差量と、当該検出視差量を求めるため
    に使用した前記画像における前記組の範囲の位置とに基
    づいて、実質視差量を決定する実質視差量推定部と、 前記実質視差量に基づいて前記奥行情報を算出する奥行
    算出部とを有することを特徴とする請求項11に記載の
    奥行検出装置。
  13. 【請求項13】 所望の外界を撮像する撮像装置であっ
    て、 前記外界の画像を結ぶ結像系と、 前記結像系により結ばれた前記画像を撮像する撮像系
    と、 前記撮像系により取り込まれた複数の前記画像に基づい
    て、前記外界の所定の被写体についての複数の検出視差
    量を検出する視差量検出部と、 前記視差量検出部により検出された前記複数の検出視差
    量に基づいて、前記所定の被写体についての奥行きを表
    す奥行情報を推定する奥行推定部と、 前記奥行推定部により検出された奥行情報に基づいて、
    前記結像系又は前記撮像系を制御する制御部とを有する
    ことを特徴とする撮像装置。
  14. 【請求項14】 前記結像系は、 前記外界の画像を結ぶ結像部と、 複数の視点から観察される前記外界の画像を結ぶ視差用
    結像部とを有し、 前記撮像系は、 前記結像部により結ばれた前記画像を撮像する撮像部
    と、 前記視差用結像部により結ばれた前記画像を取り込む視
    差用撮像部とを有し、 前記視差用検出部は、前記視差用撮像部により取り込ま
    れた複数の前記画像に基づいて、前記外界の所定の被写
    体についての複数の検出視差量を検出し、 前記制御部は、前記奥行推定部により検出された奥行情
    報に基づいて、前記結像部又は前記撮像部を制御するこ
    とを特徴とする請求項13に記載の撮像装置。
JP18662199A 1999-06-30 1999-06-30 奥行検出装置及び撮像装置 Expired - Lifetime JP3998863B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP18662199A JP3998863B2 (ja) 1999-06-30 1999-06-30 奥行検出装置及び撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18662199A JP3998863B2 (ja) 1999-06-30 1999-06-30 奥行検出装置及び撮像装置

Publications (2)

Publication Number Publication Date
JP2001012919A true JP2001012919A (ja) 2001-01-19
JP3998863B2 JP3998863B2 (ja) 2007-10-31

Family

ID=16191795

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18662199A Expired - Lifetime JP3998863B2 (ja) 1999-06-30 1999-06-30 奥行検出装置及び撮像装置

Country Status (1)

Country Link
JP (1) JP3998863B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003004441A (ja) * 2001-06-18 2003-01-08 Hitachi Ltd 距離計測方法および距離計測機能を有する画像入力装置
JP2003098424A (ja) * 2001-09-25 2003-04-03 Fujitsu Ten Ltd 画像処理測距装置
JP2006170706A (ja) * 2004-12-14 2006-06-29 Nissan Motor Co Ltd エッジ位置算出装置、障害物検出システム
JP2010252105A (ja) * 2009-04-16 2010-11-04 Sony Corp 撮像装置
JP2014138279A (ja) * 2013-01-17 2014-07-28 Canon Inc 撮像装置および撮像装置の制御方法
WO2014150159A1 (en) * 2013-03-15 2014-09-25 Intel Corporation Variable resolution depth representation
WO2023003345A1 (ko) * 2021-07-20 2023-01-26 엘지이노텍 주식회사 얼라인 보정 부재 및 이를 이용한 광학 모듈 얼라인 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003004441A (ja) * 2001-06-18 2003-01-08 Hitachi Ltd 距離計測方法および距離計測機能を有する画像入力装置
JP2003098424A (ja) * 2001-09-25 2003-04-03 Fujitsu Ten Ltd 画像処理測距装置
JP2006170706A (ja) * 2004-12-14 2006-06-29 Nissan Motor Co Ltd エッジ位置算出装置、障害物検出システム
JP2010252105A (ja) * 2009-04-16 2010-11-04 Sony Corp 撮像装置
JP2014138279A (ja) * 2013-01-17 2014-07-28 Canon Inc 撮像装置および撮像装置の制御方法
WO2014150159A1 (en) * 2013-03-15 2014-09-25 Intel Corporation Variable resolution depth representation
WO2023003345A1 (ko) * 2021-07-20 2023-01-26 엘지이노텍 주식회사 얼라인 보정 부재 및 이를 이용한 광학 모듈 얼라인 방법

Also Published As

Publication number Publication date
JP3998863B2 (ja) 2007-10-31

Similar Documents

Publication Publication Date Title
US6445814B2 (en) Three-dimensional information processing apparatus and method
US5757674A (en) Three-dimensional position detecting apparatus
US6847392B1 (en) Three-dimensional structure estimation apparatus
CN101630406B (zh) 摄像机的标定方法及摄像机标定装置
KR100776649B1 (ko) 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법
US20110249117A1 (en) Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program
US20120147150A1 (en) Electronic equipment
CN107122770B (zh) 多目相机系统、智能驾驶系统、汽车、方法和存储介质
JP2003502925A (ja) 一台の携帯カメラによる3d情景の撮影法
JPH11242745A (ja) 顔画像の計測・処理方法
CN114359406A (zh) 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法
JP3998863B2 (ja) 奥行検出装置及び撮像装置
Yamaguti et al. A method of distance measurement by using monocular camera
JP3988574B2 (ja) 画像処理装置
CN113160416B (zh) 一种用于煤流检测的散斑成像装置及方法
JP3897079B2 (ja) 視差画像入力装置及び撮像装置
WO2023065721A1 (en) Methods, devices and systems for transparent object three-dimensional reconstruction
JP6257260B2 (ja) 撮像装置及びその制御方法
Jin et al. Parallax tolerant light field stitching for hand-held plenoptic cameras
JP2001012944A (ja) 視差画像入力装置及び撮像装置
US11017546B2 (en) Method and device for depth detection using stereo images
JP3655065B2 (ja) 位置・姿勢検出装置と位置・姿勢検出方法と3次元形状復元装置及び3次元形状復元方法
JP2001012927A (ja) 視差画像入力装置及び撮像装置
Zheng et al. Robust depth-map estimation from image sequences with precise camera operation parameters
JP2000275024A (ja) 3次元入力装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061121

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061205

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070206

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070808

R150 Certificate of patent or registration of utility model

Ref document number: 3998863

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100817

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110817

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110817

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120817

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120817

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130817

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term