JP2001012944A - 視差画像入力装置及び撮像装置 - Google Patents
視差画像入力装置及び撮像装置Info
- Publication number
- JP2001012944A JP2001012944A JP11184463A JP18446399A JP2001012944A JP 2001012944 A JP2001012944 A JP 2001012944A JP 11184463 A JP11184463 A JP 11184463A JP 18446399 A JP18446399 A JP 18446399A JP 2001012944 A JP2001012944 A JP 2001012944A
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- image
- unit
- imaging
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
(57)【要約】
【課題】 外界における奥行き位置の分解能を向上する
ことのできる視差画像入力装置及び撮像装置を提供す
る。 【解決手段】 第１及び第２視点から観察される外界の
画像を結ぶ視差用結像部１４と、視差用結像部１４によ
り結ばれた画像を取り込む視差用撮像部１６と、第１視
点又は第２視点の少なくとも一方の視点において、視差
用結像部１４又は視差用撮像部１６を移動させて視差用
撮像部１６に外界の画像を取り込ませる視差用制御部３
２とを有するように構成する。
ことのできる視差画像入力装置及び撮像装置を提供す
る。 【解決手段】 第１及び第２視点から観察される外界の
画像を結ぶ視差用結像部１４と、視差用結像部１４によ
り結ばれた画像を取り込む視差用撮像部１６と、第１視
点又は第２視点の少なくとも一方の視点において、視差
用結像部１４又は視差用撮像部１６を移動させて視差用
撮像部１６に外界の画像を取り込ませる視差用制御部３
２とを有するように構成する。
Description
【０００１】
【発明の属する技術分野】本発明は、複数の視点から見
た画像を取り込む視差画像入力装置及び撮像装置に関す
る。
た画像を取り込む視差画像入力装置及び撮像装置に関す
る。
【０００２】
【従来の技術】従来、被測定物体の３次元形状や奥行き
情報を非接触に測定する方法として、レンズ焦点法、単
眼視、ステレオ法、動画像等の受動的な方法や、光レー
ダ法、アクティブステレオ法、照度差ステレオ法、モア
レ法、干渉法等の能動的な方法が知られている。
情報を非接触に測定する方法として、レンズ焦点法、単
眼視、ステレオ法、動画像等の受動的な方法や、光レー
ダ法、アクティブステレオ法、照度差ステレオ法、モア
レ法、干渉法等の能動的な方法が知られている。
【０００３】ステレオ法は、三角測量の原理を応用し、
被測定物体を異なる位置（視点）から撮影して得られた
複数の画像から、被測定物体の形状を測定する方法であ
る。このステレオ法では、まず、被測定物体を異なる位
置から撮影して複数の画像を取得する。次いで、１の画
像中の所定の点（領域）に対応する他の画像の点（領
域）を検出する処理、いわゆる対応点決定（マッチン
グ）処理を行う。この対応点決定処理はステレオ法の最
も重要な処理である。この対応点決定処理の方法として
は、画像の相関を用いる方法等が提案されている。これ
らの詳細は、「コンピュータビジョン：技術論評と将来
展望、（株）新技術コミュニケーションズ、１９９８、
ＩＳＢＮ４−９１５８５１−１７−６」の「第８章 ス
テレオ視」に詳しく記載されている。この文献には、対
応点決定処理の方法は、画像の所定の領域を使ってマッ
チングする「area-based matching」と、画像からエッ
ジ等を検出し、当該エッジの形状を使ってマッチングす
る「feature-based matching」とに大別されるといった
内容が記述されている。
被測定物体を異なる位置（視点）から撮影して得られた
複数の画像から、被測定物体の形状を測定する方法であ
る。このステレオ法では、まず、被測定物体を異なる位
置から撮影して複数の画像を取得する。次いで、１の画
像中の所定の点（領域）に対応する他の画像の点（領
域）を検出する処理、いわゆる対応点決定（マッチン
グ）処理を行う。この対応点決定処理はステレオ法の最
も重要な処理である。この対応点決定処理の方法として
は、画像の相関を用いる方法等が提案されている。これ
らの詳細は、「コンピュータビジョン：技術論評と将来
展望、（株）新技術コミュニケーションズ、１９９８、
ＩＳＢＮ４−９１５８５１−１７−６」の「第８章 ス
テレオ視」に詳しく記載されている。この文献には、対
応点決定処理の方法は、画像の所定の領域を使ってマッ
チングする「area-based matching」と、画像からエッ
ジ等を検出し、当該エッジの形状を使ってマッチングす
る「feature-based matching」とに大別されるといった
内容が記述されている。
【０００４】次いで、複数の視差画像間での対応する点
の位置の差である視差（disparity）量を求め、三角測
量の原理に基づいて、当該視差量を使うことにより所定
の被写体までの距離を算出する。ここで、例えば、複数
の視点の光軸が交差する場合においては、視点間隔、視
点位置から視点の光軸が交差する点（視差光軸交差点）
までの距離、視点位置から被写体までの距離、視差量の
４つの要素は、簡単な関係式で表せる。視点間隔及び視
点位置から視点光軸交差点までの距離は、予め設定する
ことができ、規定の値とすることができる。また、視差
量は視差画像から算出することができる。このため、前
記関係式により視点位置から被写体までの距離を求める
ことができる。
の位置の差である視差（disparity）量を求め、三角測
量の原理に基づいて、当該視差量を使うことにより所定
の被写体までの距離を算出する。ここで、例えば、複数
の視点の光軸が交差する場合においては、視点間隔、視
点位置から視点の光軸が交差する点（視差光軸交差点）
までの距離、視点位置から被写体までの距離、視差量の
４つの要素は、簡単な関係式で表せる。視点間隔及び視
点位置から視点光軸交差点までの距離は、予め設定する
ことができ、規定の値とすることができる。また、視差
量は視差画像から算出することができる。このため、前
記関係式により視点位置から被写体までの距離を求める
ことができる。
【０００５】図１は、上記したステレオ法を実施する従
来例に係る視差画像入力装置の構成を示す図である。視
差画像入力装置１００は、レンズ１０２と、シャッター
部１０４と、ＣＣＤ（charge coupled device）１０６
と、視差画像記憶部１０８と、奥行検出部１１０と、制
御部１１２とを有する。レンズ１０２は外界からの光を
集める。シャッター部１０４は、視点となる開閉自在な
開閉部１０４Ａ、１０４Ｂを有している。シャッター部
１０４の開閉部１０４Ａ又は１０４Ｂは制御部１１２の
制御によりいずれか一方が開くようになっている。ＣＣ
Ｄ１０６は、自己の受光面上に結ばれた複数の視点から
の外界の画像を取り込む。
来例に係る視差画像入力装置の構成を示す図である。視
差画像入力装置１００は、レンズ１０２と、シャッター
部１０４と、ＣＣＤ（charge coupled device）１０６
と、視差画像記憶部１０８と、奥行検出部１１０と、制
御部１１２とを有する。レンズ１０２は外界からの光を
集める。シャッター部１０４は、視点となる開閉自在な
開閉部１０４Ａ、１０４Ｂを有している。シャッター部
１０４の開閉部１０４Ａ又は１０４Ｂは制御部１１２の
制御によりいずれか一方が開くようになっている。ＣＣ
Ｄ１０６は、自己の受光面上に結ばれた複数の視点から
の外界の画像を取り込む。
【０００６】視差画像記憶部１０８はＣＣＤ１０６によ
り取り込まれた画像データを記憶する。奥行検出部１１
０は、視差画像記憶部１０８に記憶された複数の画像同
士の対応点を検出し、当該対応点間の視差量を検出し、
対応点に該当する被写体までの距離を検出する。制御部
１１２は、各部を制御する。例えば、シャッター部１０
４の開閉部１０４Ａ、１０４Ｂの開閉を制御する。
り取り込まれた画像データを記憶する。奥行検出部１１
０は、視差画像記憶部１０８に記憶された複数の画像同
士の対応点を検出し、当該対応点間の視差量を検出し、
対応点に該当する被写体までの距離を検出する。制御部
１１２は、各部を制御する。例えば、シャッター部１０
４の開閉部１０４Ａ、１０４Ｂの開閉を制御する。
【０００７】視差画像入力装置１００において、制御部
１１２が一方の開閉部１０４Ａ又は１０４Ｂを開ける。
これにより、レンズ１０２及び、開いている一方の開閉
部１０４Ａ又は１０４Ｂを介して、外界の像がＣＣＤ１
０６に結ばれる。ＣＣＤ１０６は、結ばれた像の画像を
取り込んで、視差画像記憶部１０８に記憶する。次い
で、制御部１１２が他方の開閉部１０４Ａ又は１０４Ｂ
のみを開ける。これにより、レンズ１０２及び、開いて
いる開閉部１０４Ａ又は１０４Ｂを介して、外界の像が
ＣＣＤ１０６に結ばれる。ＣＣＤ１０６は、結ばれた像
を取り込んで、視差画像記憶部１０８に記憶する。次い
で、奥行検出部１１０がこれら視差画像記憶部１０８に
記憶された異なる視点から見た外界の画像に基づいて、
画像同士の対応点を検出し、当該対応点間の視差量を検
出し、当該対応点の被写体までの距離を検出する。
１１２が一方の開閉部１０４Ａ又は１０４Ｂを開ける。
これにより、レンズ１０２及び、開いている一方の開閉
部１０４Ａ又は１０４Ｂを介して、外界の像がＣＣＤ１
０６に結ばれる。ＣＣＤ１０６は、結ばれた像の画像を
取り込んで、視差画像記憶部１０８に記憶する。次い
で、制御部１１２が他方の開閉部１０４Ａ又は１０４Ｂ
のみを開ける。これにより、レンズ１０２及び、開いて
いる開閉部１０４Ａ又は１０４Ｂを介して、外界の像が
ＣＣＤ１０６に結ばれる。ＣＣＤ１０６は、結ばれた像
を取り込んで、視差画像記憶部１０８に記憶する。次い
で、奥行検出部１１０がこれら視差画像記憶部１０８に
記憶された異なる視点から見た外界の画像に基づいて、
画像同士の対応点を検出し、当該対応点間の視差量を検
出し、当該対応点の被写体までの距離を検出する。
【０００８】
【発明が解決しようとする課題】ところで、ＣＣＤ１０
６で取り込まれたデジタル画像データの最小単位はＣＣ
Ｄ１０６の画素により定まる。このため、対応点決定処
理により得られる視差量は、一般に１画素を単位とした
整数値（１画素、２画素等）となる。この視差量は、離
散的なサンプリングによって発生する丸め誤差を含んで
いるので、本来の視差量を正確に表していない。このた
め、当該視差量に基づいて算出される被写体までの距離
の値に対して、当該丸め誤差の影響が生じてしまうとい
う問題が生じる。
６で取り込まれたデジタル画像データの最小単位はＣＣ
Ｄ１０６の画素により定まる。このため、対応点決定処
理により得られる視差量は、一般に１画素を単位とした
整数値（１画素、２画素等）となる。この視差量は、離
散的なサンプリングによって発生する丸め誤差を含んで
いるので、本来の視差量を正確に表していない。このた
め、当該視差量に基づいて算出される被写体までの距離
の値に対して、当該丸め誤差の影響が生じてしまうとい
う問題が生じる。
【０００９】図２は、視差画像により検出される視差量
及び奥行き位置を説明する図である。図２（Ａ）は、２
つの視点及び各被写体Ａ〜Ｆの奥行き位置を示し、図２
（Ｂ）は、視差量と奥行き位置とを説明する図である。
図２（Ａ）に示すように、視点から遠い順に、被写体
Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆが存在し、これらの中の被写体
Ｂが視点の焦点位置（focus）に存在している。
及び奥行き位置を説明する図である。図２（Ａ）は、２
つの視点及び各被写体Ａ〜Ｆの奥行き位置を示し、図２
（Ｂ）は、視差量と奥行き位置とを説明する図である。
図２（Ａ）に示すように、視点から遠い順に、被写体
Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆが存在し、これらの中の被写体
Ｂが視点の焦点位置（focus）に存在している。
【００１０】これら被写体Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆに対
する２つの視点から見た画像に発生する視差量は、実際
には、それぞれ、−０．３PIXEL、０．０PIXEL、０．３
PIXEL、０．７PIXEL、１．３PIXEL、１．６PIXELであ
る。しかしながら、図２（Ｂ）に示すように、デジタル
画像データを使用した対応点決定処理によると、被写体
Ａ、Ｂ、Ｃについては、視差量０PIXELと検出され、被
写体Ｄ、Ｅについては、視差量１PIXELと検出され、被
写体Ｆについては、視差量２PIXELと検出される。この
ため、被写体Ａ、Ｂ、Ｃまでの距離は、当該視差量０PI
XELに基づいて算出され、実際には異なる位置にある被
写体が、同じ奥行き位置にあると扱われてしまう問題が
生じる。
する２つの視点から見た画像に発生する視差量は、実際
には、それぞれ、−０．３PIXEL、０．０PIXEL、０．３
PIXEL、０．７PIXEL、１．３PIXEL、１．６PIXELであ
る。しかしながら、図２（Ｂ）に示すように、デジタル
画像データを使用した対応点決定処理によると、被写体
Ａ、Ｂ、Ｃについては、視差量０PIXELと検出され、被
写体Ｄ、Ｅについては、視差量１PIXELと検出され、被
写体Ｆについては、視差量２PIXELと検出される。この
ため、被写体Ａ、Ｂ、Ｃまでの距離は、当該視差量０PI
XELに基づいて算出され、実際には異なる位置にある被
写体が、同じ奥行き位置にあると扱われてしまう問題が
生じる。
【００１１】このような問題を解決するためには、丸め
誤差を無視できる程度にサンプリングを高密度にする必
要があった。しかしながら、高密度なサンプリングを行
うためには、画素が細かい高価な撮像素子や、画像スキ
ャナー等が必要となり、コストが大きくなるという問題
が生じる。また、高密度なサンプリングによって得られ
る画像データの量は膨大になるために、対応点決定処理
等の処理時間の増大し、画像データを記憶するために必
要な記憶容量が増大するという問題がある。そこで本発
明は、上記の課題を解決しつつ、外界の被写体の奥行き
位置の分解能を効果的に向上することのできる視差画像
入力装置及び撮像装置を提供することを目的とする。こ
の目的は特許請求の範囲における独立項に記載の特徴の
組み合わせにより達成される。また従属項は本発明の更
なる有利な具体例を規定する。
誤差を無視できる程度にサンプリングを高密度にする必
要があった。しかしながら、高密度なサンプリングを行
うためには、画素が細かい高価な撮像素子や、画像スキ
ャナー等が必要となり、コストが大きくなるという問題
が生じる。また、高密度なサンプリングによって得られ
る画像データの量は膨大になるために、対応点決定処理
等の処理時間の増大し、画像データを記憶するために必
要な記憶容量が増大するという問題がある。そこで本発
明は、上記の課題を解決しつつ、外界の被写体の奥行き
位置の分解能を効果的に向上することのできる視差画像
入力装置及び撮像装置を提供することを目的とする。こ
の目的は特許請求の範囲における独立項に記載の特徴の
組み合わせにより達成される。また従属項は本発明の更
なる有利な具体例を規定する。
【００１２】
【課題を解決するための手段】上記目的を達成するため
に、本発明の第１の形態に係る視差画像入力装置は、第
１視点及び第２視点から観察される外界の画像を取得す
る視差画像入力装置であって、第１及び第２視点から観
察される外界の画像を結ぶ視差用結像部と、視差用結像
部により結ばれた画像を取り込む視差用撮像部と、第１
視点又は第２視点の少なくとも一方の視点において、視
差用結像部又は視差用撮像部を移動させて視差用撮像部
に外界の画像を取り込ませる撮像制御部とを有すること
を特徴とする。
に、本発明の第１の形態に係る視差画像入力装置は、第
１視点及び第２視点から観察される外界の画像を取得す
る視差画像入力装置であって、第１及び第２視点から観
察される外界の画像を結ぶ視差用結像部と、視差用結像
部により結ばれた画像を取り込む視差用撮像部と、第１
視点又は第２視点の少なくとも一方の視点において、視
差用結像部又は視差用撮像部を移動させて視差用撮像部
に外界の画像を取り込ませる撮像制御部とを有すること
を特徴とする。
【００１３】撮像制御部は、視差用撮像部を第１視点及
び第２視点を結ぶ視差方向に移動させるようにしてもよ
い。視差用撮像部は、画像の一構成単位である画素のデ
ータを検出するセルを複数有し、撮像制御部は、セルの
視差方向の幅の整数倍の距離に、セルの視差方向の幅未
満の距離を加算した距離だけ視差用撮像部を移動させる
ようにしてもよい。撮像制御部は、視差用結像部を第１
視点及び第２視点を結ぶ視差方向に移動させるようにし
てもよい。
び第２視点を結ぶ視差方向に移動させるようにしてもよ
い。視差用撮像部は、画像の一構成単位である画素のデ
ータを検出するセルを複数有し、撮像制御部は、セルの
視差方向の幅の整数倍の距離に、セルの視差方向の幅未
満の距離を加算した距離だけ視差用撮像部を移動させる
ようにしてもよい。撮像制御部は、視差用結像部を第１
視点及び第２視点を結ぶ視差方向に移動させるようにし
てもよい。
【００１４】視差用撮像部により取り込まれた一方の視
点における複数の画像と、他方の視点における画像とに
基づいて、外界の所定の被写体についての奥行きを表す
奥行情報を検出する奥行検出部を更に有するようにして
もよい。奥行検出部は、視差用撮像部により取り込まれ
た複数の視点の画像に基づいて、外界の所定の被写体の
視差量を検出し、一方の視点における複数の画像に基づ
いて視差量を補正し、当該補正した視差量に基づいて奥
行情報を検出するようにしてもよい。
点における複数の画像と、他方の視点における画像とに
基づいて、外界の所定の被写体についての奥行きを表す
奥行情報を検出する奥行検出部を更に有するようにして
もよい。奥行検出部は、視差用撮像部により取り込まれ
た複数の視点の画像に基づいて、外界の所定の被写体の
視差量を検出し、一方の視点における複数の画像に基づ
いて視差量を補正し、当該補正した視差量に基づいて奥
行情報を検出するようにしてもよい。
【００１５】奥行検出部は、視差用撮像部により取り込
まれた一方の視点の複数の画像に基づいて、外界の所定
の被写体の画像中の詳細な位置を検出し、当該画像中の
詳細な位置に基づいて視差量を検出し、当該視差量に基
づいて奥行情報を検出するようにしてもよい。
まれた一方の視点の複数の画像に基づいて、外界の所定
の被写体の画像中の詳細な位置を検出し、当該画像中の
詳細な位置に基づいて視差量を検出し、当該視差量に基
づいて奥行情報を検出するようにしてもよい。
【００１６】上記目的を達成するために、本発明の第１
の形態に係る撮像装置は、所望の外界を撮像する撮像装
置であって、外界の画像を結ぶ結像系と、結像系により
結ばれた画像を撮像する撮像系と、複数の視点の少なく
とも一つの視点において、結像系又は撮像系を移動させ
て撮像系に外界の画像を取り込ませる撮像制御部と、撮
像系により取り込まれた一の視点における複数の画像
と、他の視点における画像とに基づいて、外界の所定の
被写体についての奥行きを表す奥行情報を検出する奥行
検出部とを有することを特徴とする。
の形態に係る撮像装置は、所望の外界を撮像する撮像装
置であって、外界の画像を結ぶ結像系と、結像系により
結ばれた画像を撮像する撮像系と、複数の視点の少なく
とも一つの視点において、結像系又は撮像系を移動させ
て撮像系に外界の画像を取り込ませる撮像制御部と、撮
像系により取り込まれた一の視点における複数の画像
と、他の視点における画像とに基づいて、外界の所定の
被写体についての奥行きを表す奥行情報を検出する奥行
検出部とを有することを特徴とする。
【００１７】結像系は、外界の画像を結ぶ結像部と、第
１及び第２視点から観察される外界の画像を結ぶ視差用
結像部とを有し、撮像系は、結像部により結ばれた画像
を撮像する撮像部と、視差用結像部により結ばれた画像
を取り込む視差用撮像部とを有し、撮像制御部は、第１
視点又は第２視点の少なくとも一方の視点において、視
差用結像部又は視差用撮像部を移動させて視差用撮像部
に外界の画像を取り込ませ、奥行検出部は、視差用撮像
部により取り込まれた一方の視点における複数の画像
と、他方の視点における画像とに基づいて、外界の所定
の被写体についての奥行きを表す奥行情報を検出するよ
うにしてもよい。なお、上記の発明の概要は、本発明の
必要な特徴の全てを列挙したものではなく、これらの特
徴群のサブコンビネーションもまた発明となりうる。
１及び第２視点から観察される外界の画像を結ぶ視差用
結像部とを有し、撮像系は、結像部により結ばれた画像
を撮像する撮像部と、視差用結像部により結ばれた画像
を取り込む視差用撮像部とを有し、撮像制御部は、第１
視点又は第２視点の少なくとも一方の視点において、視
差用結像部又は視差用撮像部を移動させて視差用撮像部
に外界の画像を取り込ませ、奥行検出部は、視差用撮像
部により取り込まれた一方の視点における複数の画像
と、他方の視点における画像とに基づいて、外界の所定
の被写体についての奥行きを表す奥行情報を検出するよ
うにしてもよい。なお、上記の発明の概要は、本発明の
必要な特徴の全てを列挙したものではなく、これらの特
徴群のサブコンビネーションもまた発明となりうる。
【００１８】
【発明の実施の形態】以下、発明の実施の形態を通じて
本発明を説明するが、以下の実施形態は特許請求の範囲
に係る発明を限定するものではなく、また実施形態の中
で説明されている特徴の組み合わせの全てが発明の解決
手段に必須であるとは限らない。図３は、本発明の第１
の実施形態に係る視差画像入力装置を有する撮像装置１
０の一例としてのデジタルカメラの構成を示す。ここ
で、デジタルカメラには、画像を一枚毎に取り込むカメ
ラだけでなく、画像を連続して取り込むビデオカメラ等
が含まれる。撮像装置１０は、視差画像入力装置１２
と、結像部２４と、撮像部２６と、記憶部２８と、制御
部３０とを有する。視差画像入力装置１２は、視差用結
像部１４と、シャッター部３４と、撮像制御部の一例と
しての視差用制御部３２と、視差用撮像部１６と、視差
画像記憶部１８と、奥行検出部２０と、奥行記憶部２２
とを有する。ここで、本実施形態では、特許請求の範囲
にいう結像系は、結像部２４及び視差用結像部１４によ
って構成され、撮像系は、撮像部２６及び視差用撮像部
１６によって構成される。
本発明を説明するが、以下の実施形態は特許請求の範囲
に係る発明を限定するものではなく、また実施形態の中
で説明されている特徴の組み合わせの全てが発明の解決
手段に必須であるとは限らない。図３は、本発明の第１
の実施形態に係る視差画像入力装置を有する撮像装置１
０の一例としてのデジタルカメラの構成を示す。ここ
で、デジタルカメラには、画像を一枚毎に取り込むカメ
ラだけでなく、画像を連続して取り込むビデオカメラ等
が含まれる。撮像装置１０は、視差画像入力装置１２
と、結像部２４と、撮像部２６と、記憶部２８と、制御
部３０とを有する。視差画像入力装置１２は、視差用結
像部１４と、シャッター部３４と、撮像制御部の一例と
しての視差用制御部３２と、視差用撮像部１６と、視差
画像記憶部１８と、奥行検出部２０と、奥行記憶部２２
とを有する。ここで、本実施形態では、特許請求の範囲
にいう結像系は、結像部２４及び視差用結像部１４によ
って構成され、撮像系は、撮像部２６及び視差用撮像部
１６によって構成される。
【００１９】結像部２４は、例えば、単数或いは複数の
レンズを有しており、外界からの光を集めることによ
り、撮像部２６の受光面上に外界の被写体の画像を結
ぶ。本実施形態では、撮像部２６は、光電変換素子の一
例としてのＣＣＤ（Charge Coupled Device）であり、
受光面上に結ばれた画像を画像データに変換して取り込
む。記憶部２８は、撮像部２６によって変換された画像
データを記憶する。
レンズを有しており、外界からの光を集めることによ
り、撮像部２６の受光面上に外界の被写体の画像を結
ぶ。本実施形態では、撮像部２６は、光電変換素子の一
例としてのＣＣＤ（Charge Coupled Device）であり、
受光面上に結ばれた画像を画像データに変換して取り込
む。記憶部２８は、撮像部２６によって変換された画像
データを記憶する。
【００２０】視差用結像部１４は、外界の画像を視差用
撮像部１６の受光面上に結ぶ。シャッター部３４は、視
点となる複数の開閉自在な開閉部３４Ａ、３４Ｂを有す
る。シャッター部３４は視差用結像部１４の瞳面、或い
はその近傍に配置されることが好ましい。視差用撮像部
１６は、視差用結像部１４により結ばれた画像を画像デ
ータに変換する。本実施形態では、視差用撮像部１６
は、画像データの１画素のデータを生成する構成単位で
あるセルを複数有するＣＣＤ（Charge Coupled Devic
e）である。視差画像記憶部１８は、視差用撮像部１６
により変換された画像データを記憶する。
撮像部１６の受光面上に結ぶ。シャッター部３４は、視
点となる複数の開閉自在な開閉部３４Ａ、３４Ｂを有す
る。シャッター部３４は視差用結像部１４の瞳面、或い
はその近傍に配置されることが好ましい。視差用撮像部
１６は、視差用結像部１４により結ばれた画像を画像デ
ータに変換する。本実施形態では、視差用撮像部１６
は、画像データの１画素のデータを生成する構成単位で
あるセルを複数有するＣＣＤ（Charge Coupled Devic
e）である。視差画像記憶部１８は、視差用撮像部１６
により変換された画像データを記憶する。
【００２１】視差用制御部３２は、シャッター部３４の
開閉部３４Ａ、３４Ｂの一方を開けた状態にして、視差
用撮像部１６に外界の画像を画像データに変換させる。
また、視差用制御部３２は、少なくとも一つの視点にお
いて、視差用撮像部１６を複数の視点を結ぶ方向（視差
方向）に微少移動させて、当該位置において外界の画像
を画像データに変換させる。本実施形態では、視差用制
御部３２は、２つの視点のそれぞれにおいて、視差用撮
像部１６を１つのセルの視差方向の幅（単位をPIXELと
いう）未満（例えば、０．５PIXEL）の距離移動させ
る。
開閉部３４Ａ、３４Ｂの一方を開けた状態にして、視差
用撮像部１６に外界の画像を画像データに変換させる。
また、視差用制御部３２は、少なくとも一つの視点にお
いて、視差用撮像部１６を複数の視点を結ぶ方向（視差
方向）に微少移動させて、当該位置において外界の画像
を画像データに変換させる。本実施形態では、視差用制
御部３２は、２つの視点のそれぞれにおいて、視差用撮
像部１６を１つのセルの視差方向の幅（単位をPIXELと
いう）未満（例えば、０．５PIXEL）の距離移動させ
る。
【００２２】奥行検出部２０は、視差画像記憶部１８に
記憶された複数の視点における画像に基づいて、外界の
所定の被写体について対応点決定処理を行うことにより
視差量を求める。対応点決定処理は、従来より知られて
いる技術であるので説明を省略する。次いで、奥行検出
部２０は、各視点において視差用撮像部１６を移動させ
る前に取り込まれた画像と、移動後に取り込まれた画像
とに基づいて、当該視点における所定の被写体の位置を
詳細に検出する。
記憶された複数の視点における画像に基づいて、外界の
所定の被写体について対応点決定処理を行うことにより
視差量を求める。対応点決定処理は、従来より知られて
いる技術であるので説明を省略する。次いで、奥行検出
部２０は、各視点において視差用撮像部１６を移動させ
る前に取り込まれた画像と、移動後に取り込まれた画像
とに基づいて、当該視点における所定の被写体の位置を
詳細に検出する。
【００２３】図４は、本発明の第１の実施形態に係る奥
行検出部における所定の被写体の位置を詳細に検出する
処理を説明する図である。図４（Ａ）は、視差用撮像部
１６を移動前における視差用撮像部１６の受光面上の様
子を示し、図４（Ｂ）は、視差用撮像部１６を視差方向
に、０．５PIXEL移動させた後における視差用撮像部１
６の受光面上の様子を示す。なお、同図においては、視
差用撮像部１６の図中最上部を基準としてPIXELを単位
として距離を示し、被写体の存在する距離範囲の平均値
を当該被写体の位置とする。
行検出部における所定の被写体の位置を詳細に検出する
処理を説明する図である。図４（Ａ）は、視差用撮像部
１６を移動前における視差用撮像部１６の受光面上の様
子を示し、図４（Ｂ）は、視差用撮像部１６を視差方向
に、０．５PIXEL移動させた後における視差用撮像部１
６の受光面上の様子を示す。なお、同図においては、視
差用撮像部１６の図中最上部を基準としてPIXELを単位
として距離を示し、被写体の存在する距離範囲の平均値
を当該被写体の位置とする。
【００２４】図４（Ａ）に示すように、視差用撮像部１
６の図中上から３番目のセル上に被写体α及び被写体β
の像が結ばれている場合には、奥行検出部２０は視差用
撮像部１６により変換される画像データに基づいて、被
写体α及び被写体βは上から３番目の画素、すなわち、
２．５（２．０〜３．０）PIXELにあると把握する。
６の図中上から３番目のセル上に被写体α及び被写体β
の像が結ばれている場合には、奥行検出部２０は視差用
撮像部１６により変換される画像データに基づいて、被
写体α及び被写体βは上から３番目の画素、すなわち、
２．５（２．０〜３．０）PIXELにあると把握する。
【００２５】この時に、視差用撮像部１６を視差方向
に、０．５PIXEL移動させると、図４（Ｂ）に示すよう
に被写体αは上から２番目のセル上に結ばれ、被写体β
は上から３番目のセル上に結ばれる。この場合には、奥
行検出部２０は視差用撮像部１６により変換される画像
データに基づいて、被写体αは当該上から２番目の画
素、すなわち、１．５（１．０〜２．０）PIXELにある
として把握し、被写体βは上から３番目の画素、すなわ
ち、２．５（２．０〜３．０）PIXELにあると把握す
る。
に、０．５PIXEL移動させると、図４（Ｂ）に示すよう
に被写体αは上から２番目のセル上に結ばれ、被写体β
は上から３番目のセル上に結ばれる。この場合には、奥
行検出部２０は視差用撮像部１６により変換される画像
データに基づいて、被写体αは当該上から２番目の画
素、すなわち、１．５（１．０〜２．０）PIXELにある
として把握し、被写体βは上から３番目の画素、すなわ
ち、２．５（２．０〜３．０）PIXELにあると把握す
る。
【００２６】ここで、奥行検出部２０は、移動後におけ
る各被写体の位置について、移動する前の視差用撮像部
１６の最上部の位置を基準として修正する、すなわち、
各位置に視差用撮像部１６の移動量を反映させる。この
結果、被写体αは、２．０（１．５〜２．５）PIXELに
あると把握され、被写体βは３．０（２．５〜３．５）
PIXELにあると把握される。次いで、奥行検出部２０
は、移動前後における各画像データから把握された各被
写体の位置について統合する。この結果、被写体αは、
２．２５（２．０〜２．５）PIXELにあると把握され、
被写体βは、２．７５（２．５〜３．０）PIXELにある
と把握される。このように、各被写体の位置をより詳細
に把握することができる。
る各被写体の位置について、移動する前の視差用撮像部
１６の最上部の位置を基準として修正する、すなわち、
各位置に視差用撮像部１６の移動量を反映させる。この
結果、被写体αは、２．０（１．５〜２．５）PIXELに
あると把握され、被写体βは３．０（２．５〜３．５）
PIXELにあると把握される。次いで、奥行検出部２０
は、移動前後における各画像データから把握された各被
写体の位置について統合する。この結果、被写体αは、
２．２５（２．０〜２．５）PIXELにあると把握され、
被写体βは、２．７５（２．５〜３．０）PIXELにある
と把握される。このように、各被写体の位置をより詳細
に把握することができる。
【００２７】また、奥行検出部２０は、詳細に検出した
位置に基づいて、前記視差量を補正し、補正後の視差量
に基づいて奥行き位置（奥行き情報）を検出する。視差
量に基づいて奥行き位置を検出する処理は、従来より知
られている三角測量の原理に基づいて行うことができる
のでここでは説明を省略する。
位置に基づいて、前記視差量を補正し、補正後の視差量
に基づいて奥行き位置（奥行き情報）を検出する。視差
量に基づいて奥行き位置を検出する処理は、従来より知
られている三角測量の原理に基づいて行うことができる
のでここでは説明を省略する。
【００２８】奥行記憶部２２は、奥行検出部２０により
検出された被写体の奥行き位置を記憶する。制御部３０
は、奥行記憶部２２に記憶されている被写体の奥行き位
置に基づいて、光学系２４のフォーカスや、ＣＣＤ２６
による撮像動作等を制御する。ここで、記憶部２８、視
差画像記憶部１８、及び奥行記憶部２２は、それぞれ、
撮像装置１０内に常設されているＲＡＭ（Random Acces
s Memory）、フラッシュメモリであってもよく、また、
撮像装置１０に対して着脱可能な、例えば、フロッピー
ディスク、ＭＤ（Mini Disk）、スマートメディア（商
標）等の記録媒体であってもよい。
検出された被写体の奥行き位置を記憶する。制御部３０
は、奥行記憶部２２に記憶されている被写体の奥行き位
置に基づいて、光学系２４のフォーカスや、ＣＣＤ２６
による撮像動作等を制御する。ここで、記憶部２８、視
差画像記憶部１８、及び奥行記憶部２２は、それぞれ、
撮像装置１０内に常設されているＲＡＭ（Random Acces
s Memory）、フラッシュメモリであってもよく、また、
撮像装置１０に対して着脱可能な、例えば、フロッピー
ディスク、ＭＤ（Mini Disk）、スマートメディア（商
標）等の記録媒体であってもよい。
【００２９】次に、撮像装置１０の動作を説明する。撮
像装置１０において、視差用制御部３２がシャッター部
３４の開閉部３４Ａのみを開放して、視差用撮像部１６
に開閉部３４Ａを介して結ばれた外界の画像を画像デー
タに変換させ、視差画像記憶部１８に画像データを格納
させる。また、視差用制御部３２がシャッター部３４の
開閉部３４Ｂのみを開放して、視差用撮像部１６に開閉
部３４Ｂを介して結ばれた外界の画像を画像データに変
換させ、視差画像記憶部１８に画像データを格納させ
る。
像装置１０において、視差用制御部３２がシャッター部
３４の開閉部３４Ａのみを開放して、視差用撮像部１６
に開閉部３４Ａを介して結ばれた外界の画像を画像デー
タに変換させ、視差画像記憶部１８に画像データを格納
させる。また、視差用制御部３２がシャッター部３４の
開閉部３４Ｂのみを開放して、視差用撮像部１６に開閉
部３４Ｂを介して結ばれた外界の画像を画像データに変
換させ、視差画像記憶部１８に画像データを格納させ
る。
【００３０】次いで、視差用制御部３２が視差用撮像部
１６を視差方向に微少移動させる。その後、視差用制御
部３２がシャッター部３４の開閉部３４Ａのみを開放し
て、視差用撮像部１６に開閉部３４Ａを介して結ばれた
外界の画像を画像データに変換させ、視差画像記憶部１
８に画像データを格納させる。また、視差用制御部３２
がシャッター部３４の開閉部３４Ｂのみを開放して、視
差用撮像部１６に開閉部３４Ｂを介して結ばれた外界の
画像を画像データに変換させ、視差画像記憶部１８に画
像データを格納させる。
１６を視差方向に微少移動させる。その後、視差用制御
部３２がシャッター部３４の開閉部３４Ａのみを開放し
て、視差用撮像部１６に開閉部３４Ａを介して結ばれた
外界の画像を画像データに変換させ、視差画像記憶部１
８に画像データを格納させる。また、視差用制御部３２
がシャッター部３４の開閉部３４Ｂのみを開放して、視
差用撮像部１６に開閉部３４Ｂを介して結ばれた外界の
画像を画像データに変換させ、視差画像記憶部１８に画
像データを格納させる。
【００３１】次いで、奥行検出部２０が、視差画像記憶
部１８に記憶された複数の視点における画像に基づい
て、外界の所定の被写体について対応点決定処理を行う
ことにより視差量を求める。次いで、奥行検出部２０
は、各視点において視差用撮像部１６を移動させる前に
取り込まれた画像と、移動後に取り込まれた画像とに基
づいて、当該視点における所定の被写体の位置を詳細に
検出する。次いで、奥行検出部２０は、詳細に検出した
位置に基づいて、視差量を補正し、補正後の視差量に基
づいて奥行情報を検出する。そして、奥行記憶部２２が
検出された被写体についての奥行情報を記憶する。
部１８に記憶された複数の視点における画像に基づい
て、外界の所定の被写体について対応点決定処理を行う
ことにより視差量を求める。次いで、奥行検出部２０
は、各視点において視差用撮像部１６を移動させる前に
取り込まれた画像と、移動後に取り込まれた画像とに基
づいて、当該視点における所定の被写体の位置を詳細に
検出する。次いで、奥行検出部２０は、詳細に検出した
位置に基づいて、視差量を補正し、補正後の視差量に基
づいて奥行情報を検出する。そして、奥行記憶部２２が
検出された被写体についての奥行情報を記憶する。
【００３２】次いで、制御部３０が奥行記憶部２２に記
憶されている被写体の奥行き位置に基づいて、結像部２
４及び撮像部２６を制御する。これにより、結像部２４
が外界からの光を集め、撮像部６の受光面上に外界の被
写体の画像を結ぶ。そして、撮像部２６が自己の受光面
上に結ばれた画像を画像データに変換し、記憶部２８が
撮像部２６によって変換された画像データを記憶する。
憶されている被写体の奥行き位置に基づいて、結像部２
４及び撮像部２６を制御する。これにより、結像部２４
が外界からの光を集め、撮像部６の受光面上に外界の被
写体の画像を結ぶ。そして、撮像部２６が自己の受光面
上に結ばれた画像を画像データに変換し、記憶部２８が
撮像部２６によって変換された画像データを記憶する。
【００３３】このとき、記憶部２８は、自己が記憶する
画像データと、当該画像データを取り込むに際して、視
差用撮像部１６により取り込まれて視差画像記憶部１８
に記憶された複数の視点からの画像と、当該複数の視点
からの画像により算出されて奥行記憶部２２に記憶され
ている被写体の奥行情報とを対応付ける対応付け情報も
記憶する。これにより、後に、画像データと、当該画像
データに関する複数の視点からの画像と、当該画像デー
タに含まれている被写体の奥行情報とを対応付けて利用
することができる。上記したように、外界の所定の被写
体の位置を詳細に検出することができ、奥行情報の分解
能を向上することができる。更に、奥行情報の分解能が
向上したために、結像部２４及び撮像部２６を高精度に
制御することができ、高品位な画像を取り込むことがで
きる。
画像データと、当該画像データを取り込むに際して、視
差用撮像部１６により取り込まれて視差画像記憶部１８
に記憶された複数の視点からの画像と、当該複数の視点
からの画像により算出されて奥行記憶部２２に記憶され
ている被写体の奥行情報とを対応付ける対応付け情報も
記憶する。これにより、後に、画像データと、当該画像
データに関する複数の視点からの画像と、当該画像デー
タに含まれている被写体の奥行情報とを対応付けて利用
することができる。上記したように、外界の所定の被写
体の位置を詳細に検出することができ、奥行情報の分解
能を向上することができる。更に、奥行情報の分解能が
向上したために、結像部２４及び撮像部２６を高精度に
制御することができ、高品位な画像を取り込むことがで
きる。
【００３４】次に、本発明の第２の実施形態に係る視差
画像入力装置を有する撮像装置について説明する。本実
施形態に係る撮像装置は、図３に示す第１の実施形態に
係る撮像装置と視差画像入力装置１２の構成のみ異なる
ので、ここでは、視差画像入力装置１２について説明す
ることとし、他の構成については説明を省略する。
画像入力装置を有する撮像装置について説明する。本実
施形態に係る撮像装置は、図３に示す第１の実施形態に
係る撮像装置と視差画像入力装置１２の構成のみ異なる
ので、ここでは、視差画像入力装置１２について説明す
ることとし、他の構成については説明を省略する。
【００３５】図５は、本発明の第２の実施形態に係る視
差画像入力装置の構成を示す図である。ここで、図３に
示す第１の実施形態に係る視差画像入力装置と同一機能
を有する構成については同一符号を付すこととする。本
視差画像入力装置１２は、第１の実施形態に係る視差画
像入力装置において、視差用制御部３２に換えて視差用
制御部３６を備え、奥行検出部２０に換えて奥行検出部
３８を備える。
差画像入力装置の構成を示す図である。ここで、図３に
示す第１の実施形態に係る視差画像入力装置と同一機能
を有する構成については同一符号を付すこととする。本
視差画像入力装置１２は、第１の実施形態に係る視差画
像入力装置において、視差用制御部３２に換えて視差用
制御部３６を備え、奥行検出部２０に換えて奥行検出部
３８を備える。
【００３６】視差用制御部３６は、シャッター部３４の
開閉部３４Ａ、３４Ｂの一方を開けた状態にして、視差
用撮像部１６に外界の画像を画像データに変換させる。
また、視差用制御部３６は、少なくとも一つの視点にお
いて、視差用結像部１４を複数の視点を結ぶ方向（視差
方向）に微少移動させて、外界の画像を画像データに変
換させる。本実施形態では、視差用制御部３６は、２つ
の視点のそれぞれにおいて、視差用撮像部１４を移動さ
せる。
開閉部３４Ａ、３４Ｂの一方を開けた状態にして、視差
用撮像部１６に外界の画像を画像データに変換させる。
また、視差用制御部３６は、少なくとも一つの視点にお
いて、視差用結像部１４を複数の視点を結ぶ方向（視差
方向）に微少移動させて、外界の画像を画像データに変
換させる。本実施形態では、視差用制御部３６は、２つ
の視点のそれぞれにおいて、視差用撮像部１４を移動さ
せる。
【００３７】奥行検出部３８は、視差画像記憶部１８に
記憶された複数の視点における画像に基づいて、外界の
所定の被写体について対応点決定処理を行うことにより
視差量を求める。対応点決定処理は、従来より知られて
いる技術であるので説明を省略する。次いで、奥行検出
部３８は、各視点において視差用結像部１４を移動させ
る前に取り込まれた画像と、移動後に取り込まれた画像
とに基づいて、当該視点における所定の被写体の位置を
詳細に検出する。図６は、本発明の第２の実施形態に係
る奥行検出部における所定の被写体の位置を詳細に検出
する処理を説明する図である。図６（Ａ）は、視差用結
像部１４を移動前における視差用撮像部１６の受光面上
の様子を示し、図６（Ｂ）は、視差用結像部１４を視差
方向に移動させた後における視差用撮像部１６の受光面
上の様子を示す。
記憶された複数の視点における画像に基づいて、外界の
所定の被写体について対応点決定処理を行うことにより
視差量を求める。対応点決定処理は、従来より知られて
いる技術であるので説明を省略する。次いで、奥行検出
部３８は、各視点において視差用結像部１４を移動させ
る前に取り込まれた画像と、移動後に取り込まれた画像
とに基づいて、当該視点における所定の被写体の位置を
詳細に検出する。図６は、本発明の第２の実施形態に係
る奥行検出部における所定の被写体の位置を詳細に検出
する処理を説明する図である。図６（Ａ）は、視差用結
像部１４を移動前における視差用撮像部１６の受光面上
の様子を示し、図６（Ｂ）は、視差用結像部１４を視差
方向に移動させた後における視差用撮像部１６の受光面
上の様子を示す。
【００３８】図６（Ａ）に示すように、視差用撮像部１
６の図中上から３番目のセル上に被写体γ及び被写体δ
の像が結ばれている場合において、視差用結像部１４を
視差方向に微少移動させると、例えば、図６（Ｂ）に示
すように被写体γは上から３番目のセル上に結ばれ、被
写体δは上から４番目のセル上に結ばれる。図示するよ
うに、視差用結像部１４の移動後における被写体γ及び
被写体δの位置は、主に視差用結像部１４の移動距離及
びセル内における被写体の位置により決まる。そこで、
奥行検出部３８は、視差用結像部１４の移動後における
被写体の位置を検出することにより、移動前における被
写体のセル内の位置を詳細に検出する。また、奥行検出
部３８は、詳細に検出した位置に基づいて、前記視差量
を補正し、補正後の視差量に基づいて奥行情報を検出す
る。視差量に基づいて奥行情報を検出する処理は、従来
より知られている三角測量の原理に基づいて行うことが
できるのでここでは説明を省略する。
６の図中上から３番目のセル上に被写体γ及び被写体δ
の像が結ばれている場合において、視差用結像部１４を
視差方向に微少移動させると、例えば、図６（Ｂ）に示
すように被写体γは上から３番目のセル上に結ばれ、被
写体δは上から４番目のセル上に結ばれる。図示するよ
うに、視差用結像部１４の移動後における被写体γ及び
被写体δの位置は、主に視差用結像部１４の移動距離及
びセル内における被写体の位置により決まる。そこで、
奥行検出部３８は、視差用結像部１４の移動後における
被写体の位置を検出することにより、移動前における被
写体のセル内の位置を詳細に検出する。また、奥行検出
部３８は、詳細に検出した位置に基づいて、前記視差量
を補正し、補正後の視差量に基づいて奥行情報を検出す
る。視差量に基づいて奥行情報を検出する処理は、従来
より知られている三角測量の原理に基づいて行うことが
できるのでここでは説明を省略する。
【００３９】次に、撮像装置１０の動作を説明する。撮
像装置１０において、視差用制御部３６がシャッター部
３４の開閉部３４Ａのみを開放して、視差用撮像部１６
に開閉部３４Ａを介して結ばれた外界の画像を画像デー
タに変換させ、視差画像記憶部１８に画像データを格納
させる。また、視差用制御部３６がシャッター部３４の
開閉部３４Ｂのみを開放して、視差用撮像部１６に開閉
部３４Ｂを介して結ばれた外界の画像を画像データに変
換させ、視差画像記憶部１８に画像データを格納させ
る。
像装置１０において、視差用制御部３６がシャッター部
３４の開閉部３４Ａのみを開放して、視差用撮像部１６
に開閉部３４Ａを介して結ばれた外界の画像を画像デー
タに変換させ、視差画像記憶部１８に画像データを格納
させる。また、視差用制御部３６がシャッター部３４の
開閉部３４Ｂのみを開放して、視差用撮像部１６に開閉
部３４Ｂを介して結ばれた外界の画像を画像データに変
換させ、視差画像記憶部１８に画像データを格納させ
る。
【００４０】次いで、視差用制御部３６が視差用結像部
１４を視差方向に微少移動させる。その後、視差用制御
部３６がシャッター部３４の開閉部３４Ａのみを開放し
て、視差用撮像部１６に開閉部３４Ａを介して結ばれた
外界の画像を画像データに変換させ、視差画像記憶部１
８に画像データを格納させる。また、視差用制御部３６
がシャッター部３４の開閉部３４Ｂのみを開放して、視
差用撮像部１６に開閉部３４Ｂを介して結ばれた外界の
画像を画像データに変換させ、視差画像記憶部１８に画
像データを格納させる。
１４を視差方向に微少移動させる。その後、視差用制御
部３６がシャッター部３４の開閉部３４Ａのみを開放し
て、視差用撮像部１６に開閉部３４Ａを介して結ばれた
外界の画像を画像データに変換させ、視差画像記憶部１
８に画像データを格納させる。また、視差用制御部３６
がシャッター部３４の開閉部３４Ｂのみを開放して、視
差用撮像部１６に開閉部３４Ｂを介して結ばれた外界の
画像を画像データに変換させ、視差画像記憶部１８に画
像データを格納させる。
【００４１】次いで、奥行検出部３８が、視差画像記憶
部１８に記憶された複数の視点における画像に基づい
て、外界の所定の被写体について対応点決定処理を行う
ことにより視差量を求める。次いで、奥行検出部３８
が、各視点において視差用結像部１４を移動させる前に
取り込まれた画像と、移動後に取り込まれた画像とに基
づいて、当該視点における所定の被写体の位置を詳細に
検出する。次いで、奥行検出部３８が、詳細に検出した
位置に基づいて、視差量を補正し、補正後の視差量に基
づいて奥行情報を検出する。そして、奥行記憶部２２が
検出された被写体についての奥行情報を記憶する。
部１８に記憶された複数の視点における画像に基づい
て、外界の所定の被写体について対応点決定処理を行う
ことにより視差量を求める。次いで、奥行検出部３８
が、各視点において視差用結像部１４を移動させる前に
取り込まれた画像と、移動後に取り込まれた画像とに基
づいて、当該視点における所定の被写体の位置を詳細に
検出する。次いで、奥行検出部３８が、詳細に検出した
位置に基づいて、視差量を補正し、補正後の視差量に基
づいて奥行情報を検出する。そして、奥行記憶部２２が
検出された被写体についての奥行情報を記憶する。
【００４２】次いで、制御部３０が奥行記憶部２２に記
憶されている被写体の奥行き位置に基づいて、結像部２
４及び撮像部２６を制御する。これにより、結像部２４
が外界からの光を集め、撮像部６の受光面上に外界の被
写体の画像を結ぶ。そして、撮像部２６が自己の受光面
上に結ばれた画像を画像データに変換し、記憶部２８が
撮像部２６によって変換された画像データを記憶する。
憶されている被写体の奥行き位置に基づいて、結像部２
４及び撮像部２６を制御する。これにより、結像部２４
が外界からの光を集め、撮像部６の受光面上に外界の被
写体の画像を結ぶ。そして、撮像部２６が自己の受光面
上に結ばれた画像を画像データに変換し、記憶部２８が
撮像部２６によって変換された画像データを記憶する。
【００４３】上記したように、外界の所定の被写体の位
置を詳細に検出することができ、奥行情報の分解能を向
上することができる。更に、奥行情報の分解能が向上し
たために、結像部２４及び撮像部２６を高精度に制御す
ることができ、高品位な画像を取り込むことができる。
置を詳細に検出することができ、奥行情報の分解能を向
上することができる。更に、奥行情報の分解能が向上し
たために、結像部２４及び撮像部２６を高精度に制御す
ることができ、高品位な画像を取り込むことができる。
【００４４】本発明は上記の実施形態に限定されるもの
ではなく、種々の変形が可能である。例えば、上記実施
形態では、視差用制御部３２は、視点において、視差用
撮像部１６を視差方向に１つのセルの視差方向の幅未満
の距離ずらすようにしていたが、本発明はこれに限られ
ず、視差方向に１つのセルの視差方向の幅の整数倍の距
離にセルの視差方向の幅未満の距離を加算した距離だけ
視差用撮像部１６を動かすようにしてもよい。
ではなく、種々の変形が可能である。例えば、上記実施
形態では、視差用制御部３２は、視点において、視差用
撮像部１６を視差方向に１つのセルの視差方向の幅未満
の距離ずらすようにしていたが、本発明はこれに限られ
ず、視差方向に１つのセルの視差方向の幅の整数倍の距
離にセルの視差方向の幅未満の距離を加算した距離だけ
視差用撮像部１６を動かすようにしてもよい。
【００４５】また、上記の実施形態では、奥行検出部２
０、３８は、複数の視点における画像に基づいて視差量
を求め、その後、各視点において視差用結像部１４又は
視差用撮像部１６を移動させることにより得られた複数
の画像に基づいて視差量を補正するようにしていたが、
本発明はこれに限られず、少なくとも一つの視点におい
て視差用結像部１４又は視差用撮像部１６を移動させる
ことにより得られた複数の画像に基づいて当該画像中の
所定の被写体の詳細な位置を求め、その後、当該詳細な
位置に基づいて視差量を検出するようにしてもよい。こ
の場合、各視点において視差用結像部１４又は視差用撮
像部１６を移動させることにより得られた複数の画像に
基づいて当該画像中の所定の被写体の詳細な位置を求
め、その後、各視点における当該詳細な位置に基づい
て、視差量を検出することが好ましい。
０、３８は、複数の視点における画像に基づいて視差量
を求め、その後、各視点において視差用結像部１４又は
視差用撮像部１６を移動させることにより得られた複数
の画像に基づいて視差量を補正するようにしていたが、
本発明はこれに限られず、少なくとも一つの視点におい
て視差用結像部１４又は視差用撮像部１６を移動させる
ことにより得られた複数の画像に基づいて当該画像中の
所定の被写体の詳細な位置を求め、その後、当該詳細な
位置に基づいて視差量を検出するようにしてもよい。こ
の場合、各視点において視差用結像部１４又は視差用撮
像部１６を移動させることにより得られた複数の画像に
基づいて当該画像中の所定の被写体の詳細な位置を求
め、その後、各視点における当該詳細な位置に基づい
て、視差量を検出することが好ましい。
【００４６】また、上記実施形態では、別構成の視差用
結像部１４及び結像部２４を備えていたが、本発明はこ
れに限られず、結像系が単一のレンズ系のみを有してい
てもよい。この場合、単一のレンズ系によって視差用結
像部１４及び結像部２４を構成してもよく、プリズム等
の光分岐手段によって外界の画像を視差用撮像部１６及
び撮像部２６に結ばせるようにしてもよい。また、視差
用結像部１４及び結像部２４の一部を共通の構成にして
もよい。また、撮像系は、複数の撮像部、すなわち、視
差用撮像部１６及び撮像部２６を有していたが、本発明
はこれに限られず、撮像系が単一の撮像部のみを有して
いてもよい。この場合、単一の撮像部が視差用撮像部１
６及び撮像部２６として機能してもよい。
結像部１４及び結像部２４を備えていたが、本発明はこ
れに限られず、結像系が単一のレンズ系のみを有してい
てもよい。この場合、単一のレンズ系によって視差用結
像部１４及び結像部２４を構成してもよく、プリズム等
の光分岐手段によって外界の画像を視差用撮像部１６及
び撮像部２６に結ばせるようにしてもよい。また、視差
用結像部１４及び結像部２４の一部を共通の構成にして
もよい。また、撮像系は、複数の撮像部、すなわち、視
差用撮像部１６及び撮像部２６を有していたが、本発明
はこれに限られず、撮像系が単一の撮像部のみを有して
いてもよい。この場合、単一の撮像部が視差用撮像部１
６及び撮像部２６として機能してもよい。
【００４７】上記の実施形態では、撮像部２６としてＣ
ＣＤを用いて例を示したが、本発明はこれに限られず、
撮像部２６に、例えば、光化学反応部材の一例としての
フィルムを設置する設置部を備え、設置部に設置された
フィルムにより画像を撮像するようにしてもよい。ま
た、上記実施形態では、デジタルカメラを例に取って説
明したが、本発明はこれに限られず、人間の体腔内を観
察する内視鏡等の他の撮像装置に適用することもでき
る。
ＣＤを用いて例を示したが、本発明はこれに限られず、
撮像部２６に、例えば、光化学反応部材の一例としての
フィルムを設置する設置部を備え、設置部に設置された
フィルムにより画像を撮像するようにしてもよい。ま
た、上記実施形態では、デジタルカメラを例に取って説
明したが、本発明はこれに限られず、人間の体腔内を観
察する内視鏡等の他の撮像装置に適用することもでき
る。
【００４８】また、上記実施形態では、視差用撮像部１
６として、ＣＣＤを用いていたが、本発明はこれに限ら
れず、視差用撮像部１６に、例えば、光化学反応部材の
一例としてもフィルムを設置する設置部を備え、設置部
に設置されたフィルムにより画像を撮像するようにして
もよい。このようにした場合には、当該フィルムに取り
込まれた複数の視点からの画像を、例えばフィルムスキ
ャナ等でデジタル画像データとして視差用画像記憶部１
７に記憶させることにより、上記同様に、奥行情報の分
解能を向上することができる。
６として、ＣＣＤを用いていたが、本発明はこれに限ら
れず、視差用撮像部１６に、例えば、光化学反応部材の
一例としてもフィルムを設置する設置部を備え、設置部
に設置されたフィルムにより画像を撮像するようにして
もよい。このようにした場合には、当該フィルムに取り
込まれた複数の視点からの画像を、例えばフィルムスキ
ャナ等でデジタル画像データとして視差用画像記憶部１
７に記憶させることにより、上記同様に、奥行情報の分
解能を向上することができる。
【００４９】以上、本発明を実施の形態を用いて説明し
たが、本発明の技術的範囲は上記実施の形態に記載の範
囲には限定されない。上記実施の形態に、多様な変更又
は改良を加えることができることが当業者に明らかであ
る。その様な変更又は改良を加えた形態も本発明の技術
的範囲に含まれ得ることが、特許請求の範囲の記載から
明らかである。
たが、本発明の技術的範囲は上記実施の形態に記載の範
囲には限定されない。上記実施の形態に、多様な変更又
は改良を加えることができることが当業者に明らかであ
る。その様な変更又は改良を加えた形態も本発明の技術
的範囲に含まれ得ることが、特許請求の範囲の記載から
明らかである。
【００５０】
【発明の効果】上記説明から明らかなように、本発明に
よれば、外界における奥行き位置の分解能を容易且つ効
果的に向上することができる。
よれば、外界における奥行き位置の分解能を容易且つ効
果的に向上することができる。
【図１】 従来例に係る視差画像入力装置の構成を示す
図である。
図である。
【図２】 視差画像により検出される視差量を説明する
図である。
図である。
【図３】 本発明の第１の実施形態に係る視差画像入力
装置を有する撮像装置の構成を示す図である。
装置を有する撮像装置の構成を示す図である。
【図４】 本発明の第１の実施形態に係る奥行検出部に
おける所定の被写体の位置を詳細に検出する処理を説明
する図である。
おける所定の被写体の位置を詳細に検出する処理を説明
する図である。
【図５】 本発明の第２の実施形態に係る視差画像入力
装置の構成を示す図である。
装置の構成を示す図である。
【図６】 本発明の第２の実施形態に係る奥行検出部に
おける所定の被写体の位置を詳細に検出する処理を説明
する図である。
おける所定の被写体の位置を詳細に検出する処理を説明
する図である。
１０ 撮像装置 １２ 視差画像入力
装置 １４ 視差用結像部 １６ 視差用撮像部 １８ 視差画像記憶部 ２０ ３８ 奥行検
出部 ２２ 奥行記憶部 ２４ 結像部 ２６ 撮像部 ２８ 記憶部 ３０ 制御部 ３２ ３６ 視差用制御部
装置 １４ 視差用結像部 １６ 視差用撮像部 １８ 視差画像記憶部 ２０ ３８ 奥行検
出部 ２２ 奥行記憶部 ２４ 結像部 ２６ 撮像部 ２８ 記憶部 ３０ 制御部 ３２ ３６ 視差用制御部
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 13/02 Ｇ０６Ｆ 15/62 ４１５ Ｆターム(参考） 2F065 AA06 DD03 FF05 FF09 JJ03 JJ26 KK02 LL30 MM23 PP02 QQ23 QQ28 UU05 UU07 2F112 AC06 BA06 BA09 CA12 DA13 DA32 FA03 GA10 2H059 AA08 AA18 5B057 BA15 DA07 DB03 DC02 5C061 AB03 AB08
Claims (9)
- 【請求項１】 第１視点及び第２視点から観察される外
界の画像を取得する視差画像入力装置であって、 前記第１及び第２視点から観察される前記外界の画像を
結ぶ視差用結像部と、 前記視差用結像部により結ばれた前記画像を取り込む視
差用撮像部と、 前記第１視点又は前記第２視点の少なくとも一方の視点
において、前記視差用結像部又は前記視差用撮像部を移
動させて前記視差用撮像部に前記外界の画像を取り込ま
せる撮像制御部とを有することを特徴とする視差画像入
力装置。 - 【請求項２】 前記撮像制御部は、前記視差用撮像部を
前記第１視点及び第２視点を結ぶ視差方向に移動させる
ことを特徴とする請求項１に記載の視差画像入力装置。 - 【請求項３】 前記視差用撮像部は、前記画像の一構成
単位である画素のデータを検出するセルを複数有し、 前記撮像制御部は、前記セルの視差方向の幅の整数倍の
距離に、前記セルの視差方向の幅未満の距離を加算した
距離だけ前記視差用撮像部を移動させることを特徴とす
る請求項２に記載の視差画像入力装置。 - 【請求項４】 前記撮像制御部は、前記視差用結像部を
前記第１視点及び第２視点を結ぶ視差方向に移動させる
ことを特徴とする請求項１に記載の視差画像入力装置。 - 【請求項５】 前記視差用撮像部により取り込まれた一
方の視点における複数の画像と、他方の視点における前
記画像とに基づいて、前記外界の所定の被写体について
の奥行きを表す奥行情報を検出する奥行検出部を更に有
することを特徴とする請求項１乃至４のいずれかに記載
の視差画像入力装置。 - 【請求項６】 前記奥行検出部は、前記視差用撮像部に
より取り込まれた複数の視点の画像に基づいて、前記外
界の所定の被写体の視差量を検出し、一方の視点におけ
る複数の画像に基づいて視差量を補正し、当該補正した
視差量に基づいて奥行情報を検出することを特徴とする
請求項５に記載の視差画像入力装置。 - 【請求項７】 前記奥行検出部は、前記視差用撮像部に
より取り込まれた一方の視点の複数の画像に基づいて、
前記外界の所定の被写体の画像中の詳細な位置を検出
し、当該画像中の詳細な位置に基づいて視差量を検出
し、当該視差量に基づいて奥行情報を検出することを特
徴とする請求項５に記載の視差画像入力装置。 - 【請求項８】 所望の外界を撮像する撮像装置であっ
て、 前記外界の画像を結ぶ結像系と、 前記結像系により結ばれた前記画像を撮像する撮像系
と、 複数の視点の少なくとも一つの視点において、前記結像
系又は前記撮像系を移動させて前記撮像系に前記外界の
画像を取り込ませる撮像制御部と、 前記撮像系により取り込まれた一の視点における複数の
画像と、他の視点における前記画像とに基づいて、前記
外界の所定の被写体についての奥行きを表す奥行情報を
検出する奥行検出部とを有することを特徴とする撮像装
置。 - 【請求項９】 前記結像系は、 前記外界の画像を結ぶ結像部と、 第１及び第２視点から観察される前記外界の画像を結ぶ
視差用結像部とを有し、 前記撮像系は、 前記結像部により結ばれた前記画像を撮像する撮像部
と、 前記視差用結像部により結ばれた前記画像を取り込む視
差用撮像部とを有し、 前記撮像制御部は、前記第１視点又は前記第２視点の少
なくとも一方の視点において、前記視差用結像部又は前
記視差用撮像部を移動させて前記視差用撮像部に前記外
界の画像を取り込ませ、 前記奥行検出部は、前記視差用撮像部により取り込まれ
た一方の視点における複数の画像と、他方の視点におけ
る前記画像とに基づいて、前記外界の所定の被写体につ
いての奥行きを表す奥行情報を検出することを特徴とす
る請求項８に記載の撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11184463A JP2001012944A (ja) | 1999-06-29 | 1999-06-29 | 視差画像入力装置及び撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11184463A JP2001012944A (ja) | 1999-06-29 | 1999-06-29 | 視差画像入力装置及び撮像装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001012944A true JP2001012944A (ja) | 2001-01-19 |
Family
ID=16153603
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11184463A Pending JP2001012944A (ja) | 1999-06-29 | 1999-06-29 | 視差画像入力装置及び撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001012944A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010281685A (ja) * | 2009-06-04 | 2010-12-16 | National Univ Corp Shizuoka Univ | 位置計測システム及び位置計測方法 |
| CN102959969A (zh) * | 2010-06-29 | 2013-03-06 | 富士胶片株式会社 | 单眼立体摄像装置 |
| JP2014028008A (ja) * | 2012-07-31 | 2014-02-13 | Olympus Corp | ステレオ計測装置およびステレオ計測方法 |
| CN106463002A (zh) * | 2014-06-03 | 2017-02-22 | 株式会社日立制作所 | 图像处理装置以及立体视觉显示方法 |
| JP2017038933A (ja) * | 2016-08-24 | 2017-02-23 | オリンパス株式会社 | ステレオ計測用画像取得装置及びステレオ計測用画像取得装置の作動方法 |
| WO2020012757A1 (ja) * | 2018-07-13 | 2020-01-16 | Dmg森精機株式会社 | 測定装置 |
-
1999
- 1999-06-29 JP JP11184463A patent/JP2001012944A/ja active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010281685A (ja) * | 2009-06-04 | 2010-12-16 | National Univ Corp Shizuoka Univ | 位置計測システム及び位置計測方法 |
| CN102959969A (zh) * | 2010-06-29 | 2013-03-06 | 富士胶片株式会社 | 单眼立体摄像装置 |
| CN102959969B (zh) * | 2010-06-29 | 2015-07-15 | 富士胶片株式会社 | 单眼立体摄像装置 |
| JP2014028008A (ja) * | 2012-07-31 | 2014-02-13 | Olympus Corp | ステレオ計測装置およびステレオ計測方法 |
| CN106463002A (zh) * | 2014-06-03 | 2017-02-22 | 株式会社日立制作所 | 图像处理装置以及立体视觉显示方法 |
| JP2017038933A (ja) * | 2016-08-24 | 2017-02-23 | オリンパス株式会社 | ステレオ計測用画像取得装置及びステレオ計測用画像取得装置の作動方法 |
| WO2020012757A1 (ja) * | 2018-07-13 | 2020-01-16 | Dmg森精機株式会社 | 測定装置 |
| CN112384753A (zh) * | 2018-07-13 | 2021-02-19 | Dmg森精机株式会社 | 测量装置 |
| US11393104B2 (en) | 2018-07-13 | 2022-07-19 | Dmg Mori Co., Ltd. | Distance measuring device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7868915B2 (en) | Photographing apparatus, method and computer program product | |
| US7554575B2 (en) | Fast imaging system calibration | |
| CN104079819B (zh) | 图像处理设备和方法、以及摄像设备 | |
| US7215364B2 (en) | Digital imaging system using overlapping images to formulate a seamless composite image and implemented using either a digital imaging sensor array | |
| US7639282B2 (en) | Image sensing device that acquires a movie of a person or an object and senses a still image of the person or the object, and control method thereof | |
| CN107087107A (zh) | 基于双摄像头的图像处理装置及方法 | |
| US20120147150A1 (en) | Electronic equipment | |
| WO2014044126A1 (zh) | 坐标获取装置、实时三维重建系统和方法、立体交互设备 | |
| CN109712192A (zh) | 摄像模组标定方法、装置、电子设备及计算机可读存储介质 | |
| KR101510312B1 (ko) | 복수의 카메라들을 이용한 3d 얼굴 모델링 장치, 시스템 및 방법 | |
| CN109951638A (zh) | 摄像头防抖系统、方法、电子设备和计算机可读存储介质 | |
| CN108446596A (zh) | 基于可见光相机矩阵的虹膜3d四维数据采集系统及方法 | |
| CN109559353A (zh) | 摄像模组标定方法、装置、电子设备及计算机可读存储介质 | |
| CN113591526A (zh) | 人脸活体检测方法、装置、设备及计算机可读存储介质 | |
| JP2001177752A (ja) | 互いに相違する集束距離で撮影された画像構成要素を有する組合せ出力画像を生成するための撮像方法および装置 | |
| KR102029335B1 (ko) | 왜곡 영상 보정 장치 및 방법 | |
| JP2001012944A (ja) | 視差画像入力装置及び撮像装置 | |
| JPH1079029A (ja) | 立体情報検出方法及びその装置 | |
| JP3897079B2 (ja) | 視差画像入力装置及び撮像装置 | |
| JP3998863B2 (ja) | 奥行検出装置及び撮像装置 | |
| JP3631541B2 (ja) | ステレオ画像による物体の移動追跡方法 | |
| JP2001012916A (ja) | 視差画像入力装置及び撮像装置 | |
| JP7321772B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| CN114565954A (zh) | 一种轻量级人脸检测与跟踪方法 | |
| JP6063680B2 (ja) | 画像生成装置、画像生成方法、撮像装置、および撮像方法 |