JP2001012915A - 視差画像入力装置及び撮像装置 - Google Patents

視差画像入力装置及び撮像装置

Info

Publication number
JP2001012915A
JP2001012915A JP11186483A JP18648399A JP2001012915A JP 2001012915 A JP2001012915 A JP 2001012915A JP 11186483 A JP11186483 A JP 11186483A JP 18648399 A JP18648399 A JP 18648399A JP 2001012915 A JP2001012915 A JP 2001012915A
Authority
JP
Japan
Prior art keywords
parallax
image
unit
imaging
imaging unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11186483A
Other languages
English (en)
Other versions
JP3897079B2 (ja
Inventor
Shuji Ono
修司 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP18648399A priority Critical patent/JP3897079B2/ja
Publication of JP2001012915A publication Critical patent/JP2001012915A/ja
Application granted granted Critical
Publication of JP3897079B2 publication Critical patent/JP3897079B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Input (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

(57)【要約】 【課題】 外界における奥行き位置の分解能を向上する
ことのできる視差画像入力装置及び撮像装置を提供す
る。 【解決手段】 複数の視点からの外界の画像を取得する
視差画像入力装置12であって、複数の視点からの外界
の画像を結ぶ視差用結像部14と、視差用結像部14に
より結ばれた画像を取得する視差用撮像部16とを有
し、視差用結像部14は、複数の視点を結ぶ視差方向に
対する結像倍率を視差方向と垂直な方向に対する結像倍
率より高くして視点からの画像を結ぶ視差用光学系(1
4A、14B、及び14C)を有するように構成する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、複数の視点から見
た画像を取り込む視差画像入力装置及び撮像装置に関す
る。
【0002】
【従来の技術】従来、被測定物体の3次元形状や奥行き
情報を非接触に測定する方法として、レンズ焦点法、単
眼視、ステレオ法、動画像等の受動的な方法や、光レー
ダ法、アクティブステレオ法、照度差ステレオ法、モア
レ法、干渉法等の能動的な方法が知られている。
【0003】ステレオ法は、三角測量の原理を応用し、
被測定物体を異なる位置(視点)から撮影して得られた
複数の画像から、被測定物体の形状を測定する方法であ
る。このステレオ法では、まず、被測定物体を異なる位
置から撮影して複数の画像を取得する。次いで、1の画
像中の所定の点(領域)に対応する他の画像の点(領
域)を検出する処理、いわゆる対応点決定(マッチン
グ)処理を行う。この対応点決定処理はステレオ法の最
も重要な処理である。この対応点決定処理の方法として
は、画像の相関を用いる方法等が提案されている。これ
らの詳細は、「コンピュータビジョン:技術論評と将来
展望、(株)新技術コミュニケーションズ、1998、
ISBN4−915851−17−6」の「第8章 ス
テレオ視」に詳しく記載されている。この文献には、対
応点決定処理の方法は、画像の所定の領域を使ってマッ
チングする「area-based matching」と、画像からエッ
ジ等を検出し、当該エッジの形状を使ってマッチングす
る「feature-based matching」とに大別されるといった
内容が記述されている。
【0004】次いで、複数の視差画像間での対応する点
の位置の差である視差(disparity)量を求め、三角測
量の原理に基づいて、当該視差量を使うことにより所定
の被写体までの距離を算出する。ここで、例えば、複数
の視点の光軸が交差する場合においては、視点間隔、視
点位置から視点の光軸が交差する点(視差光軸交差点)
までの距離、視点位置から被写体までの距離、視差量の
4つの要素は、簡単な関係式で表せる。視点間隔及び視
点位置から視点光軸交差点までの距離は、予め設定する
ことができ、規定の値とすることができる。また、視差
量は視差画像から算出することができる。このため、前
記関係式により視点位置から被写体までの距離を求める
ことができる。
【0005】図1は、上記したステレオ法を実施する従
来例に係る視差画像入力装置の構成を示す図である。視
差画像入力装置100は、レンズ102と、シャッター
部104と、CCD(charge coupled device)106
と、視差画像記憶部108と、奥行検出部110と、制
御部112とを有する。レンズ102は外界からの光を
集める。シャッター部104は、視点となる開閉自在な
開閉部104A、104Bを有している。シャッター部
104の開閉部104A又は104Bは制御部112の
制御によりいずれか一方が開くようになっている。CC
D106は、自己の受光面上に結ばれた複数の視点から
の外界の画像を取り込む。
【0006】視差画像記憶部108はCCD106によ
り取り込まれた画像データを記憶する。奥行検出部11
0は、視差画像記憶部108に記憶された複数の画像同
士の対応点を検出し、当該対応点間の視差量を検出し、
対応点に該当する被写体までの距離を検出する。制御部
112は、各部を制御する。例えば、シャッター部10
4の開閉部104A、104Bの開閉を制御する。
【0007】視差画像入力装置100において、制御部
112が一方の開閉部104A又は104Bを開ける。
これにより、レンズ102及び、開いている一方の開閉
部104A又は104Bを介して、外界の像がCCD1
06に結ばれる。CCD106は、結ばれた像の画像を
取り込んで、視差画像記憶部108に記憶する。次い
で、制御部112が他方の開閉部104A又は104B
のみを開ける。これにより、レンズ102及び、開いて
いる開閉部104A又は104Bを介して、外界の像が
CCD106に結ばれる。CCD106は、結ばれた像
を取り込んで、視差画像記憶部108に記憶する。次い
で、奥行検出部110がこれら視差画像記憶部108に
記憶された異なる視点から見た外界の画像に基づいて、
画像同士の対応点を検出し、当該対応点間の視差量を検
出し、当該対応点の被写体までの距離を検出する。
【0008】
【発明が解決しようとする課題】ところで、CCD10
6で取り込まれたデジタル画像データの最小単位はCC
D106の画素により定まる。このため、対応点決定処
理により得られる視差量は、一般に1画素を単位とした
整数値(1画素、2画素等)となる。この視差量は、離
散的なサンプリングによって発生する丸め誤差を含んで
いるので、本来の視差量を正確に表していない。このた
め、当該視差量に基づいて算出される被写体までの距離
の値に対して、当該丸め誤差の影響が生じてしまうとい
う問題が生じる。
【0009】図2は、視差画像により検出される視差量
及び奥行き位置を説明する図である。図2(A)は、2
つの視点及び各被写体A〜Fの奥行き位置を示し、図2
(B)は、視差量と奥行き位置とを説明する図である。
図2(A)に示すように、視点から遠い順に、被写体
A、B、C、D、E、Fが存在し、これらの中の被写体
Bが視点の焦点位置(focus)に存在している。
【0010】これら被写体A、B、C、D、E、Fに対
する2つの視点から見た画像に発生する視差量は、実際
には、それぞれ、−0.3pixel、0.0pixel、0.3
pixel、0.7pixel、1.3pixel、1.6pixelであ
る。しかしながら、図2(B)に示すように、デジタル
画像データを使用した対応点決定処理によると、被写体
A、B、Cについては、視差量0pixelと検出され、被
写体D、Eについては、視差量1pixelと検出され、被
写体Fについては、視差量2pixelと検出される。この
ため、被写体A、B、Cまでの距離は、当該視差量0pi
xelに基づいて算出され、実際には異なる位置にある被
写体が、同じ奥行き位置にあると扱われてしまう問題が
生じる。
【0011】このような問題を解決するためには、丸め
誤差を無視できる程度にサンプリングを高密度にする必
要があった。しかしながら、高密度なサンプリングを行
うためには、画素が細かい高価な撮像素子や、画像スキ
ャナー等が必要となり、コストが大きくなるという問題
が生じる。また、高密度なサンプリングによって得られ
る画像データの量は膨大になるために、対応点決定処理
等の処理時間の増大し、画像データを記憶するために必
要な記憶容量が増大するという問題がある。そこで本発
明は、上記の課題を解決しつつ、外界の被写体の奥行き
位置の分解能を効果的に向上することのできる視差画像
入力装置及び撮像装置を提供することを目的とする。こ
の目的は特許請求の範囲における独立項に記載の特徴の
組み合わせにより達成される。また従属項は本発明の更
なる有利な具体例を規定する。
【0012】
【課題を解決するための手段】上記目的を達成するため
に、本発明の第1の形態に係る視差画像入力装置は、複
数の視点から見た外界の画像を取得する視差画像入力装
置であって、複数の視点から見た外界の画像を結ぶ視差
用結像部と、視差用結像部により結ばれた画像を取得す
る視差用撮像部とを有し、視差用結像部は、複数の視点
を結ぶ視差方向に対する結像倍率を視差方向と垂直な方
向に対する結像倍率より高くする視差用光学系を有する
ことを特徴とする。
【0013】視差用結像部は、視差用光学系を複数有
し、当該視差用光学系は前記複数の視点中の少なくとも
2つの視点から見た外界の画像をそれぞれ結ばせるよう
にしてもよい。また、視差用結像部は、視点となる複数
の開口を有するシャッター部を有し、視差用撮像部は、
シャッター部の開口を介して結ばれる外界の像を撮像す
るようにしてもよい。
【0014】視差用撮像部は、光電変換素子であっても
よい。光電変換素子は、複数の視点を結ぶ視差方向の画
素数が、視差方向とほぼ垂直な方向の画素数より多くて
もよい。視差用撮像部により取り込まれた画像に基づい
て外界の所定の被写体までの距離を示す奥行き情報を検
出する奥行検出部を更に備えるようにしてもよい。視差
用撮像部は、光化学反応部材を設置する設置部を有して
もよい。
【0015】本発明の第1の形態に係る撮像装置は、所
望の外界を撮像する撮像装置であって、外界の画像を結
ぶ光学系と、光学系により結ばれた画像を撮像する撮像
部と、 複数の視点から見た外界の画像を結ぶ視差用結
像部と、視差用結像部により結ばれた画像を取得する視
差用撮像部とを有し、視差用結像部は、複数の視点を結
ぶ視差方向に対する結像倍率を視差方向と垂直な方向に
対する結像倍率より高くする視差用光学系を有すること
を特徴とする。
【0016】視差用撮像部により撮像された複数の視点
から見た画像に基づいて、外界の所定の被写体までの距
離に対応する奥行き情報を検出する奥行検出部を更に備
えるようにしてもよい。奥行検出部により検出された奥
行き情報に基づいて、光学系又は撮像部を制御する制御
部を更に備えるようにしてもよい。視差用撮像部により
撮像された複数の視点から見た画像と、撮像部により撮
像された画像とを対応付けて記憶する記憶部を更に備え
るようにしてもよい。撮像部は、光電変換素子であって
よく、また、光化学反応部材を設置する設置部を有する
ようにしてもよい。なお、上記の発明の概要は、本発明
の必要な特徴の全てを列挙したものではなく、これらの
特徴群のサブコンビネーションもまた発明となりうる。
【0017】
【発明の実施の形態】以下、発明の実施の形態を通じて
本発明を説明するが、以下の実施形態は特許請求の範囲
に係る発明を限定するものではなく、また実施形態の中
で説明されている特徴の組み合わせの全てが発明の解決
手段に必須であるとは限らない。図3は、本発明の第1
の実施形態に係る視差画像入力装置を含む撮像装置10
の一例としてのデジタルカメラの構成を示す。ここで、
デジタルカメラには、画像を一枚毎に撮像するカメラだ
けでなく、画像を連続して撮像するビデオカメラ等が含
まれる。撮像装置10は、光学系24と、撮像部の一例
としてのCCD26と、記憶部28と、視差用結像部1
4、視差用撮像部16、視差画像記憶部18、奥行検出
部20、及び奥行記憶部22を有する視差画像入力装置
12と、制御部30とを備える。
【0018】光学系24は、外界からの光を集めること
により、CCD26の受光面上に外界の被写体の画像を
結ぶ。CCD26は、受光面上に結ばれた画像を画像デ
ータに変換する。記憶部28は、CCD26によって変
換された画像データを記憶する。
【0019】視差用結像部14は、複数の視点から見た
外界の画像を視差用撮像部16の受光面上に結ぶ。視差
用撮像部16は、視差用結像部14により結ばれた画像
を画像データに変換する。視差画像記憶部18は、視差
用撮像部16により変換された画像データを記憶する。
奥行検出部20は、視差画像記憶部18に記憶された画
像に基づいて、外界の所定の被写体について対応点決定
処理を行うことにより視差量を求め、当該視差量に基づ
いて奥行き位置(奥行き情報)を検出する。対応点決定
処理は、従来より知られている技術であるので説明を省
略する。また、視差量に基づいて奥行き位置を検出する
処理は、従来より知られている三角測量の原理に基づい
て行うことができるのでここでは説明を省略する。
【0020】奥行記憶部22は、奥行検出部20により
検出された被写体の奥行き位置を記憶する。制御部30
は、奥行記憶部22に記憶されている被写体の奥行き位
置に基づいて、光学系24のフォーカスや、CCD26
による撮像動作等を制御する。ここで、記憶部28、視
差画像記憶部18、及び奥行記憶部22は、それぞれ、
撮像装置10内に常設されているRAM(Random Acces
s Memory)、フラッシュメモリであってもよく、また、
撮像装置10に対して着脱可能な、例えば、フロッピー
ディスク、MD(Mini Disk)、スマートメディア等の
記録媒体であってもよい。
【0021】次に、撮像装置10の動作を説明する。撮
像装置10において、視差用結像部14が複数の視点か
ら見た外界の画像を視差用撮像部16の受光面上に結
び、視差用撮像部16が受光面上に結ばれた画像を画像
データに変換し、視差画像記憶部18が視差用撮像部1
6により変換された画像データを記憶する。次いで、奥
行検出部20が視差画像記憶部18に記憶された画像に
基づいて、対応点決定処理により外界の所定の被写体に
ついての視差量を検出し、当該視差量に基づいて当該被
写体についての奥行き位置を検出し、奥行記憶部22が
検出された当該被写体の奥行き位置を記憶する。
【0022】次いで、制御部30が奥行記憶部22に記
憶されている被写体の奥行き位置に基づいて、光学系2
4及びCCD26を制御する。これにより、光学系24
が外界からの光を集め、CCD26の受光面上に外界の
被写体の画像を結ぶ。そして、CCD26が自己の受光
面上に結ばれた画像を画像データに変換し、記憶部28
がCCD26によって変換された画像データを記憶す
る。このとき、記憶部28は、自己が記憶する画像デー
タと、当該画像データを取り込むに際して、視差用撮像
部16により取り込まれて視差画像記憶部18に記憶さ
れた複数の視点からの画像と、当該複数の視点からの画
像により算出されて奥行記憶部22に記憶されている被
写体の奥行き位置とを対応付ける対応付け情報も記憶す
る。これにより、後に、画像データと、当該画像データ
に関する複数の視点からの画像と、当該画像データに含
まれている被写体の奥行き情報とを対応付けて利用する
ことができる。
【0023】図4は、本発明の第1の実施形態に係る視
差用結像部14及び視差用撮像部16の構成を示す図で
ある。視差用結像部14は、視差用光学系の一例として
の凹シリンドリカルレンズ14Aと、凸シリンドリカル
レンズ14Bと、凸球面レンズ14Cとの組を複数(図
では、2組)有する。この各組がそれぞれ異なる視点か
ら見た外界の像を各視差用撮像部16上に結ぶ。
【0024】凹シリンドリカルレンズ14A及び凸シリ
ンドリカルレンズ14Bは、主に、複数の視点を結ぶ方
向(視差方向)に対して垂直な方向に外界からの光の幅
を縮小する。凸球面レンズ14Cは、凹シリンドリカル
レンズ14A及び凸シリンドリカルレンズ14Bを透過
した光を視差用撮像部16の受光面上で結像させる。凹
シリンドリカルレンズ14A、凸シリンドリカルレンズ
14B、及び凸球面レンズ14Cは、視差方向に対する
結像倍率を視差方向と垂直な方向に対する結像倍率より
高くして外界の画像を視差用撮像部16に結ぶ、いわゆ
るアナモルフィックな光学系である。視差用撮像部16
は、例えば、光電変換素子の一例としてのCCDで構成
されており、視差方向の画素数が視差方向に直行する方
向の画素数より多くなっている。
【0025】図5は、本発明の第1の実施形態に係る視
差用結像部14により視差用撮像部16に結ばれる画像
を説明する図である。図5(A)は、従来の視差用撮像
部に結ばれる画像を示し、図5(B)は、本発明に係る
視差用撮像部16に結ばれる画像を示す。図5(A)に
示すように、従来は外界の画像が視差方向及び視差方向
と垂直な方向に対して、それぞれ等しい倍率で結ばれて
いた。これに対して、本発明の視差用撮像部16に結ば
れる画像は、図5(B)に示すように視差方向に対する
結像倍率が視差方向と垂直な方向に対する結像倍率より
高い。
【0026】これにより、視差が発生する視差方向につ
いては、各画素が取り込むべき外界の範囲を細かくする
ことができる。このため、視差方向に発生する視差量を
より詳細に決定することができ、ひいては、より詳細に
被写体の奥行き位置を検出することができる。また、視
差方向と垂直な方向については、比較的少ない画素数で
画像を取り込むことができので、視差用撮像部16に要
求される画素数少なく、且つ視差用撮像部16のサイズ
を小さく抑えることができる。これにより、撮像装置1
0の装置サイズを小さくすることができる。また、視差
用撮像部16の画素数を少なくでき、処理において扱う
データ量を抑えることができるので、処理時間を短縮す
ることができる。更に、詳細に被写体の奥行き位置を検
出できるので、当該奥行き位置に基づいた制御によっ
て、例えば、光学系24におけるフォーカスの精度を高
めることができ、取り込む画像の質を向上することがで
きる。
【0027】図6は、本発明の第1の実施形態に係る視
差用結像部14及び視差用撮像部16の他の構成を示す
図である。ここで、図4に示す視差用結像部14及び視
差用撮像部16と同一な機能要素には、同一符号を付し
て重複する説明を省略する。視差用結像部14は、一組
の凹シリンドリカルレンズ14A、凸シリンドリカルレ
ンズ14B及び凸球面レンズ14Cと、シャッター部1
4Dを有する。シャッター部14Dは、視点となる開口
部の一例としての開閉自在な複数の開閉部15A、15
Bを有する。シャッター部14Dは、凹シリンドリカル
レンズ14A、凸シリンドリカルレンズ14B及び凸球
面レンズ14Cを有する光学系の主点位置、例えば、視
点方向についての主点位置、或いは主点位置の近傍に配
置することが望ましい。
【0028】この構成では、図示しないシャッター駆動
部がいずれか一方の開閉部15A又は15Bを開ける。
これにより、凹シリンドリカルレンズ14A、凸シリン
ドリカルレンズ14B、凸球面レンズ14C、及び開い
ている開閉部15A又は15Bを介して視差用撮像部1
6の受光面上に外界の像が結ばれる。そして、視差用撮
像部16が結ばれた像を取り込む。次いで、シャッター
駆動部が前記一方の開閉部15A又は15Bを閉じ、他
方の開閉部15A又は15Bを開ける。これにより、凹
シリンドリカルレンズ14A、凸シリンドリカルレンズ
14B、凸球面レンズ14C、及び開いている開閉部1
5A又は15Bを介して視差用撮像部16の受光面上に
外界の像が結ばれる。そして、視差用撮像部16が結ば
れた像を取り込む。このようにして、異なる視点からの
画像を視差用撮像部16が取り込む。この構成において
も、上記同様な効果を得ることができる。
【0029】また、この構成では、次のようにすること
もできる。すなわち、開閉部15A及び15Bの両方を
同時に開けておき、凹シリンドリカルレンズ14A、凸
シリンドリカルレンズ14B、凸球面レンズ14C、及
び開閉部15A及び15Bを介して視差用撮像部16の
受光面上に外界の像を結ばせることにより、これら異な
る視点から見た画像が含まれる一枚の画像を視差用撮像
部16に取り込ませるようにしてもよい。この場合に
は、奥行検出部20は、当該一枚の画像中の所定の範囲
或いは形状について、当該画像との相関を取ればよく、
相関を取った場合の相関度が最も高い部分に基づいて視
差量を検出することができる。この構成においても、上
記同様な効果を得ることができる。
【0030】図7は、本発明の第2の実施形態に係る視
差画像入力装置を含む撮像装置の一例としての銀塩カメ
ラの構成を示す。ここで、図3に示す撮像装置10と同
一な機能要素には、同一符号を付して重複する説明を省
略する。撮像装置40は、光学系32と、絞り部33
と、シャッター部34と、撮像部及び設置部の一例とし
てのフィルム部36と、制御部38と、視差画像入力装
置12とを有する。
【0031】光学系32は、例えば、複数のレンズで構
成され、外界からの光を集めることにより、フィルム部
36のフィルムの表面に外界の被写体の画像を結ぶ。絞
り部33は、光学系32内において透過する光の一部を
絞る。これにより、光学系32による色収差、球面収差
等を除去する。シャッター部34は、光学系32を透過
する光のフィルム部36側への通過を制御する動作(シ
ャッター動作)を行う。フィルム部36は、光化学反応
部材の一例としてのフィルムを設置する。フィルムは、
ベースとなる部材に、照射された光に応じて化学変化す
るフォトレジスト(感光剤)が塗布されたものである。
制御部38は、奥行記憶部22に記憶された奥行き位置
に基づいて、光学系32のフォーカス位置、絞り部33
の絞り量、シャッター部34のシャッター動作等の制御
を行う。
【0032】次に、本撮像装置40の動作を説明する。
本撮像装置において、視差用結像部14が、複数の視点
から見た外界の画像を視差用撮像部16の受光面上に結
び、視差用撮像部16が結ばれた画像を画像データに変
換し、視差画像記憶部18が視差用撮像部16により変
換された画像データを記憶する。次いで、奥行検出部2
0が視差画像記憶部18に記憶された画像に基づいて、
対応点決定処理により外界の所定の被写体の視差量を算
出し、当該視差量に基づいて奥行き位置を検出し、奥行
記憶部22が検出された被写体の奥行き位置を記憶す
る。
【0033】次いで、奥行記憶部22に記憶されている
被写体の奥行き位置に基づいて制御部38が、光学系3
2のフォーカス、絞り部33の絞り量を変更する。更
に、制御部38が被写体の奥行き位置に基づいてシャッ
タ動作のスピードを決定し、当該スピードに従ってシャ
ッター部34にシャッター動作を行わせる。これによ
り、光学系32及び絞り部33がフィルム部36に設置
されたフィルムの表面上に外界の被写体の画像を結ぶ。
この結果、結ばれた画像に応じてフィルム部36のフィ
ルムのフォトレジストが感光する。本撮像装置40の視
差画像入力装置12は、上記した第1の実施形態に係る
撮像装置の視差画像入力装置と同様な構成をしているの
で、上記第1の実施形態と同様な効果を得ることがき
る。
【0034】図8は、本発明の第3の実施形態に係る視
差画像入力装置の構成を示す図である。ここで、図3に
示す撮像装置10と同一な機能要素には、同一符号を付
して重複する説明を省略する。視差画像入力装置60
は、筐体62と、駆動部64とを有する。筐体62は、
視差用結像部14と、視差用撮像部16と、視差画像記
憶部18と、奥行検出部20と、奥行記憶部22とを有
する。駆動部64は、異なる視点から見た外界の画像を
取り込むべく、筐体62を移動する。筐体62の移動方
法としては、視差用結像部14の光軸を平行に維持して
筐体62を移動させる方法であってもよく、視差用結像
部14の光軸が常に所定の点を向くように維持して筐体
62を駆動させる方法であってもよい。
【0035】図9は、本発明の第3の実施形態に係る視
差用結像部14及び視差用撮像部16の構成を示す図で
ある。ここで、図4に示す視差用結像部14及び視差用
撮像部16と同一な機能要素には、同一符号を付して重
複する説明を省略する。視差用結像部14は、一組の凹
シリンドリカルレンズ14Aと、凸シリンドリカルレン
ズ14Bと、凸球面レンズ14Cとを有する。本撮像装
置によると、所定の位置に筐体62がある状態で、凹シ
リンドリカルレンズ14A、凸シリンドリカルレンズ1
4B、及び凸球面レンズ14Cが、外界の画像を視差用
撮像部16の受光面上に結び、視差用撮像部16が結ば
れた画像を画像データに変換し、視差画像記憶部18が
視差用撮像部16により変換された画像データを記憶す
る。
【0036】次いで、駆動部64が筐体62を前記位置
と異なる位置に移動させ、凹シリンドリカルレンズ14
A、凸シリンドリカルレンズ14B、及び凸球面レンズ
14Cが、外界の画像を視差用撮像部16の受光面上に
結び、視差用撮像部16が結ばれた画像を画像データに
変換し、視差画像記憶部18が視差用撮像部16により
変換された画像データを記憶する。これによって、異な
った複数の視点からの外界の画像を獲得することができ
る。この後、奥行検出部20が視差画像記憶部18に記
憶された画像に基づいて、対応点決定処理により外界の
所定の被写体の視差量を決定し、更に、当該視差量に基
づいて奥行き位置を検出し、奥行記憶部22が検出され
た被写体の奥行き位置を記憶する。
【0037】視差用画像入力装置60によると、視差用
撮像部16には視差方向に対する結像倍率が視差方向と
垂直な方向に対する結像倍率より高い外界の画像が結ば
れる。したがって、視差が発生する視差方向について
は、各画素が取り込むべき外界の範囲を細かくすること
ができる。このため、視差方向に発生する視差量をより
詳細に決定することができ、奥行検出部20がより詳細
に被写体の奥行き位置を検出することができる。また、
視差方向と垂直な方向については、比較的少ない画素数
で画像を取り込むことができので、視差用撮像部16に
要求される画素数を抑えることができるとともに、視差
用撮像部16の視差方向と垂直な方向のサイズを抑える
ことができる。これにより、視差用画像入力装置60の
装置サイズを小さくすることができる。
【0038】図10は、本発明の第4の実施形態に係る
視差画像入力装置を含む撮像装置の一例としての内視鏡
装置の構成を示す。内視鏡装置は、人間の体腔内の画像
を取り込むための装置である。ここで、図3に示す撮像
装置10と同一な機能要素には、同一符号を付して重複
する説明を省略する。内視鏡装置70は、挿入部72A
と、本体部72Bとを有する内視鏡72と、記憶部28
と、表示装置76と、視差画像記憶部18と、奥行検出
部20と、奥行記憶部22とを有する。
【0039】本体部72Bは、光学系24と、CCD2
6と、視差用結像部14と、視差用撮像部16とを有す
る。挿入部72Aは、人間の体腔内に挿入される部位で
あり、2組のリレーレンズ系74を有する。各リレーレ
ンズ系74は、挿入部72Aの先端部から観察される外
界からの光を光学系24又は視差用結像部14へと透過
させる。表示装置76は、記憶部28に記憶された画像
データを表示する。
【0040】内視鏡装置70において、一方のリレーレ
ンズ系74が外界の光を視差用結像部14に導き、他方
のリレーレンズ系74が外界の光を光学系24に導く。
視差用結像部14が、リレーレンズ系74を介して導か
れた外界の光により、複数の視点からの外界の画像を視
差用撮像部16の受光面上に結び、視差用撮像部16が
結ばれた画像を画像データに変換し、視差画像記憶部1
8が視差用撮像部16により変換された画像データを記
憶する。
【0041】次いで、奥行検出部20が視差画像記憶部
18に記憶された画像に基づいて、対応点決定処理によ
り外界の所定の被写体の奥行き位置を検出し、奥行記憶
部22が検出された被写体の奥行き位置を記憶する。一
方、光学系24が、リレーレンズ系74を介して導かれ
た外界の光を集めることにより、CCD26の受光面上
に外界の被写体の画像を結び、CCD26が自己の受光
面上に結ばれた画像を画像データに変換し、記憶部28
がCCD26によって変換された画像データを記憶す
る。次いで、表示装置76が記憶部28に記憶された画
像データに基づいて画像を表示する。
【0042】内視鏡装置70によると、視差用撮像部1
6には視差方向に対する結像倍率が視差方向と垂直な方
向に対する結像倍率より高い外界の画像が結ばれる。し
たがって、視差が発生する視差方向について、各画素が
取り込むべき外界の範囲を細かくすることができる。こ
のため、視差方向に発生する視差量をより詳細に決定す
ることができ、奥行検出部20がより詳細に被写体の奥
行き位置を検出することができる。また、視差方向と垂
直な方向については、比較的少ない画素数で画像を取り
込むことができので、視差用撮像部16に要求される画
素数を抑えることができるとともに、視差用撮像部16
の視差方向と垂直な方向のサイズを抑えることができ
る。
【0043】本発明は上記の実施形態に限定されるもの
ではなく、種々の変形が可能である。例えば、上記の実
施形態では、視差用光学系として、凹シリンドリカルレ
ンズ14A、凸シリンドリカルレンズ14B及び凸球面
レンズ14Cを用いていたが、本発明はこれに限られ
ず、複数の視点を結ぶ視差方向に対する結像倍率を視差
方向と垂直な方向に対する結像倍率より高くして視点か
ら見た画像を結ぶ光学系であればよい。
【0044】また、上記した第4の実施形態では、本体
部72に、光学系24と、CCD26と、視差用結像部
14と、視差用撮像部16とを備えるようにしたが、本
発明はこれに限られず、例えば、光学系24と、CCD
26と、視差用結像部14と、視差用撮像部16とを挿
入部72Aの先端側に備えるようにしてもよく、要は、
内視鏡装置70内であれば、各機能要素をどこに備えて
もよい。
【0045】上記実施の形態では、視差用撮像部16と
して、CCDを用いていたが、本発明はこれに限られ
ず、視差用撮像部16に、例えば、光化学反応部材の一
例としてもフィルムを設置する設置部を備え、設置部に
設置されたフィルムにより画像を撮像するようにしても
よい。このようにすると、フィルムを現像し、フィルム
に取り込まれた複数の視点からの画像を、例えばフィル
ムスキャナ等でデジタル画像データとして取り込む場合
に、フィルムスキャナの視差方向の各画素が取り込むべ
き外界の範囲を細かくすることができる。これにより、
複数の視点からの画像に基づいて、視差方向に発生する
視差量を詳細に決定することができ、被写体の奥行き位
置を詳細に検出することができる。
【0046】以上、本発明を実施の形態を用いて説明し
たが、本発明の技術的範囲は上記実施の形態に記載の範
囲には限定されない。上記実施の形態に、多様な変更又
は改良を加えることができることが当業者に明らかであ
る。その様な変更又は改良を加えた形態も本発明の技術
的範囲に含まれ得ることが、特許請求の範囲の記載から
明らかである。
【0047】
【発明の効果】上記説明から明らかなように、本発明に
よれば、外界における奥行き位置の分解能を向上する視
差画像を容易に取り込むことができる。
【図面の簡単な説明】
【図1】 従来例に係る視差画像入力装置の構成を示す
図である。
【図2】 視差画像により検出される視差量を説明する
図である。
【図3】 本発明の第1の実施形態に係る視差画像入力
装置を含む撮像装置の構成を示す図である。
【図4】 本発明の第1の実施形態に係る視差用結像部
及び視差用撮像部の構成を示す図である。
【図5】 本発明の第1の実施形態に係る視差用撮像部
に結ばれる画像を説明する図である。
【図6】 本発明の第1の実施形態に係る視差用結像部
及び視差用撮像部の他の構成を示す図である。
【図7】 本発明の第2の実施形態に係る視差画像入力
装置を含む撮像装置の構成を示す図である。
【図8】 本発明の第3の実施形態に係る視差画像入力
装置の構成を示す図である。
【図9】 本発明の第3の実施形態に係る視差用結像部
及び視差用撮像部の構成を示す図である。
【図10】 本発明の第4の実施形態に係る視差画像入
力装置を含む撮像装置の構成を示す図である。
【符号の説明】
10 40 50 撮像装置 12 60 視差画
像入力装置 14 視差用結像部 16 視差用撮像部 18 視差画像記憶部 20 奥行検出部 22 奥行記憶部 24 32 光学系 26 CCD 28 記憶部 30 38 制御部 33 絞り部 34 シャッター部 36 フィルム部 62 筐体 64 駆動部 70 内視鏡装置 72 内視鏡 74 リレーレンズ系 76 表示装置
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 7/18 G01B 11/24 K 5C061 13/02 G06F 15/64 320C 320G Fターム(参考) 2F065 AA04 AA53 BB05 DD03 FF05 FF09 JJ03 JJ13 JJ26 LL08 LL30 QQ24 QQ31 2H040 BA15 CA22 FA02 GA02 GA10 GA11 2H059 AA09 AA12 5B047 AA07 BB04 BC05 BC06 5C054 AA05 CA04 CC07 FA00 FD02 FD07 HA12 5C061 AA29 AB03 AB06 AB12

Claims (13)

    【特許請求の範囲】
  1. 【請求項1】 複数の視点から見た外界の画像を取得す
    る視差画像入力装置であって、 前記複数の視点から見た前記外界の画像を結ぶ視差用結
    像部と、 前記視差用結像部により結ばれた前記画像を取り込む視
    差用撮像部とを有し、 前記視差用結像部は、 前記複数の視点を結ぶ視差方向に対する結像倍率を前記
    視差方向と垂直な方向に対する結像倍率より高くする視
    差用光学系を有することを特徴とする視差画像入力装
    置。
  2. 【請求項2】 前記視差用結像部は、前記視差用光学系
    を複数有し、当該視差用光学系は前記複数の視点中の少
    なくとも2つの視点から見た前記外界の画像をそれぞれ
    結ばせることを特徴とする請求項1に記載の視差画像入
    力装置。
  3. 【請求項3】 前記視差用結像部は、前記視点となる複
    数の開口を有するシャッター部を有し、 前記視差用撮像部は、前記シャッター部の前記開口を介
    して結ばれる外界の像を取り込むことを特徴とする請求
    項1に記載の視差画像入力装置。
  4. 【請求項4】 前記視差用撮像部は、光電変換素子であ
    ることを特徴とする請求項1乃至3のいずれかに記載の
    視差画像入力装置。
  5. 【請求項5】 前記光電変換素子は、前記複数の視点を
    結ぶ視差方向の画素数が、前記視差方向とほぼ垂直な方
    向の画素数より多いことを特徴とする請求項4に記載の
    視差画像入力装置。
  6. 【請求項6】 前記視差用撮像部により取り込まれた前
    記画像に基づいて前記外界における所定の被写体までの
    距離を示す奥行き情報を検出する奥行検出部を更に備え
    ることを特徴とする請求項4又は5に記載の視差画像入
    力装置。
  7. 【請求項7】 前記視差用撮像部は、光化学反応部材を
    設置する設置部を有することを特徴とする請求項1乃至
    3のいずれかに記載の視差画像入力装置。
  8. 【請求項8】 所望の外界を撮像する撮像装置であっ
    て、 前記外界の画像を結ぶ光学系と、 前記光学系により結ばれた前記画像を撮像する撮像部
    と、 複数の視点から見た前記外界の画像を結ぶ視差用結像部
    と、 前記視差用結像部により結ばれた前記画像を取得する視
    差用撮像部とを有し、 前記視差用結像部は、 前記複数の視点を結ぶ視差方向に対する結像倍率を前記
    視差方向と垂直な方向に対する結像倍率より高くする視
    差用光学系を有することを特徴とする撮像装置。
  9. 【請求項9】 前記視差用撮像部により撮像された複数
    の視点から見た前記画像に基づいて、前記外界の所定の
    被写体までの距離に対応する奥行き情報を検出する奥行
    検出部を更に備えることを特徴とする請求項8に記載の
    撮像装置。
  10. 【請求項10】 前記奥行検出部により検出された奥行
    き情報に基づいて、前記光学系又は前記撮像部を制御す
    る制御部を更に備えたことを特徴とする請求項9に記載
    の撮像装置。
  11. 【請求項11】 前記視差用撮像部により撮像された複
    数の視点から見た画像と、前記撮像部により撮像された
    前記画像とを対応付けて記憶する記憶部を更に備えるこ
    とを特徴とする請求項8乃至10のいずれかに記載の撮
    像装置。
  12. 【請求項12】 前記撮像部は、光電変換素子であるこ
    とを特徴とする請求項8乃至11のいずれかに記載の撮
    像装置。
  13. 【請求項13】 前記撮像部は、光化学反応部材を設置
    する設置部を有することを特徴とする請求項8乃至11
    のいずれかに記載の撮像装置。
JP18648399A 1999-06-30 1999-06-30 視差画像入力装置及び撮像装置 Expired - Fee Related JP3897079B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP18648399A JP3897079B2 (ja) 1999-06-30 1999-06-30 視差画像入力装置及び撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18648399A JP3897079B2 (ja) 1999-06-30 1999-06-30 視差画像入力装置及び撮像装置

Publications (2)

Publication Number Publication Date
JP2001012915A true JP2001012915A (ja) 2001-01-19
JP3897079B2 JP3897079B2 (ja) 2007-03-22

Family

ID=16189287

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18648399A Expired - Fee Related JP3897079B2 (ja) 1999-06-30 1999-06-30 視差画像入力装置及び撮像装置

Country Status (1)

Country Link
JP (1) JP3897079B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006087088A (ja) * 2004-08-20 2006-03-30 Sony Corp 撮像装置および撮像方法
KR101139661B1 (ko) 2004-08-20 2012-05-15 소니 주식회사 촬상 장치 및 촬상 방법
JP2013545132A (ja) * 2010-10-18 2013-12-19 リーチ3ディ メディカル エルエルシー ステレオ光学系
US9635347B2 (en) 2010-11-15 2017-04-25 Reach3D Medical Llc Stereoscopic relay optics
US9661303B2 (en) 2011-12-14 2017-05-23 Sony Corporation Multi-camera stereoscopic imaging apparatus for reducing the effects of aberration
JP2017138600A (ja) * 2016-02-03 2017-08-10 台湾東電化股▲ふん▼有限公司 カメラ装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006087088A (ja) * 2004-08-20 2006-03-30 Sony Corp 撮像装置および撮像方法
JP4645358B2 (ja) * 2004-08-20 2011-03-09 ソニー株式会社 撮像装置および撮像方法
KR101139661B1 (ko) 2004-08-20 2012-05-15 소니 주식회사 촬상 장치 및 촬상 방법
JP2013545132A (ja) * 2010-10-18 2013-12-19 リーチ3ディ メディカル エルエルシー ステレオ光学系
US9494802B2 (en) 2010-10-18 2016-11-15 Reach3D Medical Llc Stereoscopic optics
US10310283B2 (en) 2010-10-18 2019-06-04 Reach3D Medical Llc Stereoscopic optics
US9635347B2 (en) 2010-11-15 2017-04-25 Reach3D Medical Llc Stereoscopic relay optics
US9661303B2 (en) 2011-12-14 2017-05-23 Sony Corporation Multi-camera stereoscopic imaging apparatus for reducing the effects of aberration
CN103163717B (zh) * 2011-12-14 2017-06-30 索尼公司 立体摄像设备
JP2017138600A (ja) * 2016-02-03 2017-08-10 台湾東電化股▲ふん▼有限公司 カメラ装置

Also Published As

Publication number Publication date
JP3897079B2 (ja) 2007-03-22

Similar Documents

Publication Publication Date Title
US7733404B2 (en) Fast imaging system calibration
US7945938B2 (en) Network camera system and control method therefore
CN102227746B (zh) 立体图像处理装置、方法和立体成像设备
US8134604B2 (en) Camera shake correction device, camera shake correction method and imaging device
EP1956831B1 (en) Focus adjusting device, image pickup apparatus, and focus adjustment method
US7868915B2 (en) Photographing apparatus, method and computer program product
US11825183B2 (en) Photographing method and photographing apparatus for adjusting a field of view of a terminal
JP2003502925A (ja) 一台の携帯カメラによる3d情景の撮影法
CN109951638A (zh) 摄像头防抖系统、方法、电子设备和计算机可读存储介质
WO2023236508A1 (zh) 一种基于亿像素阵列式相机的图像拼接方法及系统
JP2008301052A (ja) 画像処理方法及び装置
JP5857712B2 (ja) ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
JPH10142490A (ja) 環境認識装置及びカメラ
JP3897079B2 (ja) 視差画像入力装置及び撮像装置
JP3998863B2 (ja) 奥行検出装置及び撮像装置
JP4871691B2 (ja) 撮像装置及びその制御方法
JP2001012944A (ja) 視差画像入力装置及び撮像装置
JP2005287878A (ja) 生体判別装置および認証装置ならびに生体判別方法
JP2001012916A (ja) 視差画像入力装置及び撮像装置
JP2008211534A (ja) 顔検知装置
CN102934002A (zh) 立体成像数字相机和控制其操作的方法
JP2001012927A (ja) 視差画像入力装置及び撮像装置
JP2000283751A (ja) 位置測定装置
JP2005117316A (ja) 撮影装置、撮影方法、およびプログラム
JP2001012912A (ja) 視差画像撮像装置、視差画像処理装置、視差画像撮像方法、及び視差画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061205

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061212

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110105

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110105

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120105

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120105

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130105

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130105

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140105

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees