JP2002159024A - 視差画像撮像装置及び視差画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 動きのある被写体の奥行きに関する情報を取
得することのできる画像撮像装置及び画像処理装置を提
供する。 【解決手段】 複数の視点位置の少なくとも１つにおい
て２回以上前記被写体を撮像し、残りの視点位置におい
て１回撮像する撮像装置２００と、同一視点位置で２回
以上撮像することで得られた２枚以上の画像と前記同一
視点位置と異なる視点位置で撮像した画像に基づき前記
被写体の前記特定領域の奥行きを算出する処理ユニット
６０を備えた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、被写体の奥行きに
関する情報を取得する画像撮像装置、画像処理装置、画
像撮像方法、記録媒体、およびプログラムに関する。特
に本発明は、視差画像に基づいて被写体の奥行きに関す
る情報を取得する画像撮像装置、画像処理装置、画像撮
像方法、記録媒体、およびプログラムに関する。

【０００２】

【従来の技術】被写体の位置情報を得るために、人間の
両眼立体視の機能を真似て、カメラを２台並べて、異な
る２つの視点から被写体を見た場合の視差画像を撮影
し、被写体の奥行き値を測定するステレオ撮影の技法が
古くからある。視点位置の違いから、被写体の像の位置
が視差画像上でずれることを検出し、像の位置ずれとカ
メラのレンズの焦点距離に基づいて、３角測量の原理に
よりカメラから被写体までの距離を測定する。また、特
許２６１１１７３号公報（登録日平成９年２月２７日）
には少なくとも３つの撮像装置を用いて移動物の位置を
測定する方法が開示されている。

【０００３】

【発明が解決しようとする課題】しかしながら、少なく
とも３つの撮像装置による撮影を必須とするため、装置
が大掛かりになり、計算にかかる処理コストが大きくな
るという問題がある。

【０００４】そこで本発明は、上記の課題を解決するた
めに、シンプルな装置で動きのある被写体の奥行きに関
する情報を取得することのできる画像撮像装置、画像処
理装置、画像撮像方法、記録媒体、およびプログラムを
提供することを目的とする。この目的は特許請求の範囲
における独立項に記載の特徴の組み合わせにより達成さ
れる。また従属項は本発明の更なる有利な具体例を規定
する。

【０００５】

【課題を解決するための手段】即ち、本発明の第１の形
態によると、被写体の奥行きに関する情報を取得する画
像撮像装置は、複数の視点位置から被写体を撮像する撮
像部と、撮像部に複数の視点位置から異なるタイミング
で被写体を撮像させ、複数の視点位置の少なくとも１つ
の視点位置において２回以上被写体を撮像させる制御部
とを備える。

【０００６】撮像部は、異なる複数の位置に設けられた
複数の撮像ユニットを有し、制御部は、複数の撮像ユニ
ットに異なるタイミングで被写体を撮像させ、複数の撮
像ユニットの少なくとも１つの撮像ユニットに２回以上
被写体を撮像させてもよい。撮像部の視点位置を複数の
位置に移動させる視点位置移動部をさらに備え、制御部
は、視点位置移動部に撮像部の視点位置を移動させつ
つ、視点位置で撮像部に被写体を順次撮像させ、複数の
視点位置の少なくとも１つの視点位置において２回以上
被写体を撮像させてもよい。

【０００７】画像撮像装置は、１つの視点位置で２回以
上撮像することで得られた２枚以上の画像と１つの視点
位置と異なる視点位置で撮像した画像に基づき被写体の
特定領域の奥行きを算出してもよい。

【０００８】画像撮像装置は、１つの視点位置で２回以
上撮像することで得られた２枚以上の画像と異なる視点
位置で撮像した画像に基づき被写体の特定領域の像の位
置のずれを検出する位置ずれ検出部をさらに備え、奥行
き算出部は、位置ずれ検出部が検出した位置ずれに基づ
いて、被写体の特定領域の奥行きを算出してもよい。

【０００９】画像撮像装置は、１つの視点位置における
２以上の画像に基づき、異なる視点位置での撮像と同時
刻において１つの視点位置から撮像されたと仮定した場
合の被写体の特定領域の像を推定する推定画像生成部を
さらに備え、位置ずれ検出部は、異なる視点位置から見
た被写体の特定領域の像と、推定された被写体の特定領
域の像との位置のずれを検出してもよい。

【００１０】画像撮像装置は、撮像部が被写体を撮像す
る時刻を設定する時刻設定部をさらに備え、推定画像生
成部は、１つの視点位置で複数回撮像した場合における
各撮像時刻と、各画像における被写体中の特定領域の像
の位置とに基づき、１つの視点位置における所定の時刻
の像の位置を推定してもよい。

【００１１】撮像部は、外界の映像を結像する結像部と
結像部を透過した光の透過範囲を制限する少なくとも１
つの開口を有する光制限部を有し、視点位置移動部は、
光制限部を動かすことにより開口を複数の位置に移動さ
せて複数の位置を実現してもよい。

【００１２】撮像部は、結像部と結像部を透過した光の
透過範囲を制限する複数の開口を有する光制限部を有
し、視点位置移動部は、複数の開口の少なくとも１つを
閉じることにより複数の位置を実現してもよい。

【００１３】視点位置移動部は、少なくとも同一直線上
に並ばない３つの視点位置に、撮像部を移動させてもよ
い。撮像部は、少なくとも同一直線上に並ばない３つの
位置に、複数の撮像ユニットを有してもよい。

【００１４】視点位置移動部は、撮像部を菱形の各頂点
と中心の５つの位置に移動させてもよい。

【００１５】撮像部は、複数の撮像ユニットを、少なく
とも菱形の各頂点と中心の５つの位置に有してもよい。
撮像部は、２つの視点位置から被写体を撮像し、制御部
は、撮像部に２つの視点位置から被写体を交互に３回以
上撮像させてもよい。

【００１６】被写体の奥行きに関する情報を取得する画
像処理装置であって、複数の異なる視点位置から異なる
タイミングで順次被写体を撮像した画像であって、少な
くとも同一の視点位置から撮像した２以上の画像を含む
複数の画像を入力する入力部と、同一視点位置における
２以上の画像に基づき、同一視点位置と異なる視点位置
での撮像と同時刻において同一視点位置から撮像された
と仮定した場合の被写体の特定領域の像を推定する推定
画像生成部と、同一視点位置と異なる視点位置から見た
被写体の特定領域の像と、推定された被写体の特定領域
の像との位置のずれを検出する位置ずれ検出部と、位置
ずれ検出部が検出した位置ずれに基づいて、被写体の特
定領域の奥行きを算出する奥行き算出部とを備えたこと
を特徴とする。

【００１７】推定画像生成部は、同一視点位置で複数回
撮像した時刻と、被写体の特定領域の像の位置とに基づ
き、同一視点位置と異なる視点位置での撮像と同時刻
に、同一視点位置から被写体の特定領域の像を見た場合
の像の位置を推定してもよい。

【００１８】推定画像生成部は、同一視点位置で複数回
撮像した被写体の特定領域の像の位置と大きさとに基づ
き、同一視点位置と異なる視点位置での撮像と同時刻
に、同一視点位置から被写体の特定領域の像を見た場合
の像の位置を推定してもよい。

【００１９】推定画像生成部は、同一視点位置で撮像さ
れた２枚以上の画像における被写体の像の位置又は大き
さに変化がある領域と、被写体の像の位置及び大きさに
変化がない領域とに分け、変化のない領域について推定
画像を推定する場合に、同一視点位置で撮像された２枚
以上の画像の１枚を推定画像としてもよい。

【００２０】入力部は、異なる２つの視点位置から交互
に被写体を撮像した複数の画像を入力し、推定画像生成
部は、一方の視点位置から撮像された一の画像と、一の
画像より前のタイミングで一方の視点位置から撮像され
た画像とを用いて、第１の推定処理を行い、さらに、第
１の推定処理の後に、一の画像より後のタイミングで一
方の視点位置から撮像された画像と、一の画像とを用い
て、第２の推定処理を行い、位置ずれ検出部は、第１の
推定処理と第２の推定処理の間に、一の画像と、他方の
視点位置から撮像した画像とを用いて、位置のずれを検
出してもよい。

【００２１】被写体の奥行きに関する情報を取得する画
像撮像方法であって、第１の視点位置における第１の時
刻での被写体の第１の画像を撮像し、第２の視点位置に
おける第２の時刻での被写体の第２の画像を撮像し、第
１の視点位置における第３の時刻での被写体の第３の画
像を撮像し、第１の画像と第３の画像に基づいて第１の
視差位置における第２の時刻での被写体の特定領域の像
を推定し、推定した被写体の特定領域の像と第２の画像
における被写体の特定領域の像の位置のずれを検出し、
位置ずれに基づいて、被写体の特定領域の奥行きを算出
することを特徴とする。

【００２２】被写体の奥行きに関する情報を取得するコ
ンピュータ用のプログラムを格納した記録媒体であっ
て、プログラムが、複数の異なる視点位置から順次被写
体を撮像した画像であって、少なくとも同一の視点位置
から撮像した２以上の画像を含む複数の画像を入力する
入力モジュールと、同一視点位置における２以上の画像
に基づき、同一視点位置と異なる視点位置での撮像と同
時刻において同一視点位置から撮像されたと仮定した場
合の被写体の特定領域の像を推定する推定画像生成モジ
ュールと、同一視点位置と異なる視点位置から見た被写
体の特定領域の像と、推定された被写体の特定領域の像
との位置のずれを検出する位置ずれ検出モジュールと、
位置ずれ検出部が検出した位置ずれに基づいて、被写体
の特定領域の奥行きを算出する奥行き算出モジュールと
を備えたことを特徴とする。

【００２３】被写体の奥行きに関する情報を取得するコ
ンピュータ用のプログラムは、複数の異なる視点位置か
ら順次前記被写体を撮像した画像であって、少なくとも
１つの同一の視点位置から撮像した２以上の画像を含む
複数の画像を入力する入力モジュールと、同一視点位置
における２以上の画像に基づき、同一視点位置と異なる
視点位置での撮像と同時刻において同一視点位置から撮
像されたと仮定した場合の被写体の特定領域の像を推定
する推定画像生成モジュールと、同一視点位置と異なる
視点位置から見た被写体の特定領域の像と、推定された
被写体の特定領域の像との位置のずれを検出する位置ず
れ検出モジュールと、位置ずれ検出部が検出した位置ず
れに基づいて、被写体の特定領域の奥行きを算出する奥
行き算出モジュールとを備える。

【００２４】なお上記の発明の概要は、本発明の必要な
特徴の全てを列挙したものではなく、これらの特徴群の
サブコンビネーションも又発明となりうる。

【００２５】

【発明の実施の形態】以下、発明の実施の形態を通じて
本発明を説明するが、以下の実施形態はクレームにかか
る発明を限定するものではなく、又実施形態の中で説明
されている特徴の組み合わせの全てが発明の解決手段に
必須であるとは限らない。

【００２６】（実施形態１） 本発明の第１の実施形態
を説明する。図１は、撮像装置２００の機能説明図であ
る。撮像装置２００は、制御部２０２と、視点位置移動
部２０４と、時刻設定部２０６と、撮像部２０８とを有
する。制御部２０２、視点位置移動部２０４、時刻設定
部２０６、撮像部２０８は、それぞれ後述する撮像系Ｃ
ＰＵ５０、レンズ駆動部４２、シャッタ駆動部４８、撮
像ユニット２０としてデジタルカメラ１０の中で実現さ
れてもよい。以下デジタルカメラ１０で詳しく述べる。

【００２７】図２は、画像撮像装置の一例としてのデジ
タルカメラ１０の構成図である。デジタルカメラ１０に
は、デジタルスチルカメラや静止画像を撮影できるデジ
タルビデオカメラ等が含まれる。デジタルカメラ１０
は、主に撮像ユニット２０、撮像制御ユニット４０、処
理ユニット６０、表示ユニット１００、および操作ユニ
ット１１０を含む。

【００２８】撮像ユニット２０は、撮影および結像に関
する機構部材および電気部材を含む。撮像ユニット２０
はまず、映像を取り込んで処理を施す撮影レンズ２２、
絞り２４、シャッタ２６、光学ＬＰＦ（ローパスフィル
タ）２８、固体撮像素子の一例であるＣＣＤ３０、およ
び撮像信号処理部３２を含む。撮影レンズ２２は、フォ
ーカスレンズやズームレンズ等からなる。この構成によ
り、被写体像がＣＣＤ３０の受光面上に結像する。結像
した被写体像の光量に応じ、ＣＣＤ３０の各センサエレ
メント（図示せず）に電荷が蓄積される（以下その電荷
を「蓄積電荷」という）。蓄積電荷は、リードゲートパ
ルスによってシフトレジスタ（図示せず）に読み出さ
れ、レジスタ転送パルスによって電圧信号として順次読
み出される。

【００２９】デジタルカメラ１０は一般に電子シャッタ
機能を有するので、シャッタ２６のような機械式シャッ
タは必須ではない。電子シャッタ機能を実現するため
に、ＣＣＤ３０にシャッタゲートを介してシャッタドレ
インが設けられる。シャッタゲートを駆動すると蓄積電
荷がシャッタドレインに掃き出される。シャッタゲート
の制御により、各センサエレメントに電荷を蓄積するた
めの時間、すなわちシャッタ速度が制御できる。

【００３０】ＣＣＤ３０から出力される電圧信号、すな
わちアナログ信号は撮像信号処理部３２でＲ、Ｇ、Ｂ成
分に色分解され、まずホワイトバランスが調整される。
つづいて撮像信号処理部３２はガンマ補正を行い、必要
なタイミングでＲ、Ｇ、Ｂ信号を順次Ａ／Ｄ変換し、そ
の結果得られたデジタルの画像データ（以下単に「デジ
タル画像データ」とよぶ）を処理ユニット６０へ出力す
る。

【００３１】撮像ユニット２０はさらに、ファインダ３
４とストロボ３６を有する。ファインダ３４には図示し
ないＬＣＤを内装してもよく、その場合、後述のメイン
ＣＰＵ６２等からの各種情報をファインダ３４内に表示
できる。ストロボ３６は、コンデンサ（図示せず）に蓄
えられたエネルギが放電管３６ａに供給されたときそれ
が発光することで機能する。

【００３２】撮像制御ユニット４０は、レンズ駆動部４
２、フォーカス駆動部４４、絞り駆動部４６、シャッタ
駆動部４８、それらを制御する撮像系ＣＰＵ５０、測距
センサ５２、および測光センサ５４をもつ。レンズ駆動
部４２などの駆動部は、それぞれステッピングモータ等
の駆動手段を有する。後述のレリーズスイッチ１１４の
押下に応じ、測距センサ５２は被写体までの距離を測定
し、測光センサ５４は被写体輝度を測定する。測定され
た距離のデータ（以下単に「測距データ」という）およ
び被写体輝度のデータ（以下単に「測光データ」とい
う）は撮像系ＣＰＵ５０へ送られる。撮像系ＣＰＵ５０
は、ユーザから指示されたズーム倍率等の撮影情報に基
づき、レンズ駆動部４２とフォーカス駆動部４４を制御
して撮影レンズ２２のズーム倍率とピントの調整を行
う。また撮像系ＣＰＵ５０は、視差画像を撮像するため
に、レンズ駆動部４２を制御して撮影レンズ２２の位置
を移動させる。

【００３３】撮像系ＣＰＵ５０は、１画像フレームのＲ
ＧＢのデジタル信号積算値、すなわちＡＥ情報に基づい
て絞り値とシャッタ速度を決定し、またシャッタを駆動
させるタイミングを決定する。決定された値にしたが
い、絞り駆動部４６とシャッタ駆動部４８がそれぞれ絞
り量の調整とシャッタ２６の開閉を行う。

【００３４】撮像系ＣＰＵ５０はまた、測光データに基
づいてストロボ３６の発光を制御し、同時に絞り２６の
絞り量を調整する。ユーザが映像の取込を指示したと
き、ＣＣＤ３０が電荷蓄積を開始し、測光データから計
算されたシャッタ時間の経過後、蓄積電荷が撮像信号処
理部３２へ出力される。

【００３５】処理ユニット６０は、デジタルカメラ１０
全体、とくに処理ユニット６０自身を制御するメインＣ
ＰＵ６２と、これによって制御されるメモリ制御部６
４、ＹＣ処理部７０、オプション装置制御部７４、圧縮
伸張処理部７８、通信Ｉ／Ｆ部８０を有する。メインＣ
ＰＵ６２は、シリアル通信などにより、撮像系ＣＰＵ５
０との間で必要な情報をやりとりする。メインＣＰＵ６
２の動作クロックは、クロック発生器８８から与えられ
る。クロック発生器８８は、撮像系ＣＰＵ５０、表示ユ
ニット１００に対してもそれぞれ異なる周波数のクロッ
クを提供する。

【００３６】メインＣＰＵ６２には、キャラクタ生成部
８４とタイマ８６が併設されている。タイマ８６は電池
でバックアップされ、つねに日時をカウントしている。
このカウント値から撮影日時に関する情報、その他の時
刻情報がメインＣＰＵ６２に与えられる。キャラクタ生
成部８４は、撮影日時、タイトル等の文字情報を発生
し、この文字情報が適宜撮影画像に合成される。

【００３７】メモリ制御部６４は、不揮発性メモリ６６
とメインメモリ６８を制御する。不揮発性メモリ６６
は、ＥＥＰＲＯＭ（電気的消去およびプログラム可能な
ＲＯＭ）やＦＬＡＳＨメモリなどで構成され、ユーザー
による設定情報や出荷時の調整値など、デジタルカメラ
１０の電源がオフの間も保持すべきデータが格納されて
いる。不揮発性メモリ６６には、場合によりメインＣＰ
Ｕ６２のブートプログラムやシステムプログラムなどが
格納されてもよい。一方、メインメモリ６８は一般にＤ
ＲＡＭのように比較的安価で容量の大きなメモリで構成
される。メインメモリ６８は、撮像ユニット２０から出
力されたデータを格納するフレームメモリとしての機
能、各種プログラムをロードするシステムメモリとして
の機能、その他ワークエリアとしての機能をもつ。不揮
発性メモリ６６とメインメモリ６８は、処理ユニット６
０内外の各部とメインバス８２を介してデータのやりと
りを行う。

【００３８】ＹＣ処理部７０は、デジタル画像データに
ＹＣ変換を施し、輝度信号Ｙと色差（クロマ）信号Ｂ−
Ｙ、Ｒ−Ｙを生成する。輝度信号と色差信号はメモリ制
御部６４によってメインメモリ６８に一旦格納される。
圧縮伸張処理部７８はメインメモリ６８から順次輝度信
号と色差信号を読み出して圧縮する。こうして圧縮され
たデータ（以下単に「圧縮データ」という）は、オプシ
ョン装置制御部７４を介してオプション装置７６の一種
であるメモリカードへ書き込まれる。

【００３９】処理ユニット６０はさらにエンコーダ７２
をもつ。エンコーダ７２は輝度信号と色差信号を入力
し、これらをビデオ信号（ＮＴＳＣやＰＡＬ信号）に変
換してビデオ出力端子９０から出力する。オプション装
置７６に記録されたデータからビデオ信号を生成する場
合、そのデータはまずオプション装置制御部７４を介し
て圧縮伸張処理部７８へ与えられる。つづいて、圧縮伸
張処理部７８で必要な伸張処理が施されたデータはエン
コーダ７２によってビデオ信号へ変換される。

【００４０】オプション装置制御部７４は、オプション
装置７６に認められる信号仕様およびメインバス８２の
バス仕様にしたがい、メインバス８２とオプション装置
７６の間で必要な信号の生成、論理変換、または電圧変
換などを行う。デジタルカメラ１０は、オプション装置
７６として前述のメモリカードのほかに、例えばＰＣＭ
ＣＩＡ準拠の標準的なＩ／Ｏカードをサポートしてもよ
い。その場合、オプション装置制御部７４は、ＰＣＭＣ
ＩＡ用バス制御ＬＳＩなどで構成してもよい。

【００４１】通信Ｉ／Ｆ部８０は、デジタルカメラ１０
がサポートする通信仕様、たとえばＵＳＢ、ＲＳ−２３
２Ｃ、イーサネット（登録商標）、Ｂｌｕｅｔｏｏｔ
ｈ、ＩｒＤＡなどの仕様に応じたプロトコル変換等の制
御を行う。通信Ｉ／Ｆ部８０は、必要に応じてドライバ
ＩＣを含み、ネットワークを含む外部機器とコネクタ９
２を介して通信する。そうした標準的な仕様のほかに、
例えばプリンタ、カラオケ機、ゲーム機等の外部機器と
の間で独自のＩ／Ｆによるデータ授受を行う構成として
もよい。

【００４２】表示ユニット１００は、ＬＣＤモニタ１０
２とＬＣＤパネル１０４を有する。それらはＬＣＤドラ
イバであるモニタドライバ１０６、パネルドライバ１０
８によってそれぞれ制御される。ＬＣＤモニタ１０２
は、例えば２インチ程度の大きさでカメラ背面に設けら
れ、現在の撮影や再生のモード、撮影や再生のズーム倍
率、電池残量、日時、モード設定のための画面、被写体
画像などを表示する。ＬＣＤパネル１０４は例えば小さ
な白黒ＬＣＤでカメラ上面に設けられ、画質（ＦＩＮＥ
／ＮＯＲＭＡＬ／ＢＡＳＩＣなど）、ストロボ発光／発
光禁止、標準撮影可能枚数、画素数、電池容量などの情
報を簡易的に表示する。

【００４３】操作ユニット１１０は、ユーザーがデジタ
ルカメラ１０の動作やそのモードなどを設定または指示
するために必要な機構および電気部材を含む。パワース
イッチ１１２は、デジタルカメラ１０の電源のオンオフ
を決める。レリーズスイッチ１１４は、半押しと全押し
の二段階押し込み構造になっている。一例として、半押
しでＡＦおよびＡＥがロックし、全押しで撮影画像の取
込が行われ、必要な信号処理、データ圧縮等の後、メイ
ンメモリ６８、オプション装置７６等に記録される。操
作ユニット１１０はこれらのスイッチの他、回転式のモ
ードダイヤルや十字キーなどによる設定を受け付けても
よく、それらは図２において機能設定部１１６と総称さ
れている。操作ユニット１１０で指定できる動作または
機能の例として、「ファイルフォーマット」、「特殊効
果」、「印画」、「決定／保存」、「表示切換」等があ
る。ズームスイッチ１１８は、ズーム倍率を決める。

【００４４】以上の構成による主な動作は以下のとおり
である。まずデジタルカメラ１０のパワースイッチ１１
２がオンされ、カメラ各部に電力が供給される。メイン
ＣＰＵ６２は、機能設定部１１６の状態を読み込むこと
で、デジタルカメラ１０が撮影モードにあるか再生モー
ドにあるかを判断する。

【００４５】カメラが撮影モードにあるとき、メインＣ
ＰＵ６２はレリーズスイッチ１１４の半押し状態を監視
する。半押し状態が検出されたとき、メインＣＰＵ６２
は測光センサ５４および測距センサ５２からそれぞれ測
光データと測距データを得る。得られたデータに基づい
て撮像制御ユニット４０が動作し、撮影レンズ２２のピ
ント、絞りなどの調整が行われる。調整が完了すると、
ＬＣＤモニタ１０２に「スタンバイ」などの文字を表示
してユーザーにその旨を伝え、つづいてレリーズスイッ
チ１１４の全押し状態を監視する。レリーズスイッチ１
１４が全押しされると、所定のシャッタ時間をおいてシ
ャッタ２６が閉じられ、ＣＣＤ３０の蓄積電荷が撮像信
号処理部３２へ掃き出される。撮像信号処理部３２によ
る処理の結果生成されたデジタル画像データはメインバ
ス８２へ出力される。デジタル画像データは一旦メイン
メモリ６８へ格納され、この後ＹＣ処理部７０と圧縮伸
張処理部７８で処理を受け、オプション装置制御部７４
を経由してオプション装置７６へ記録される。記録され
た画像は、フリーズされた状態でしばらくＬＣＤモニタ
１０２に表示され、ユーザーは撮影画像を知ることがで
きる。以上で一連の撮影動作が完了する。

【００４６】一方、デジタルカメラ１０が再生モードの
場合、メインＣＰＵ６２は、メモリ制御部６４を介して
メインメモリ６８から最後に撮影した画像を読み出し、
これを表示ユニット１００のＬＣＤモニタ１０２へ表示
する。この状態でユーザーが機能設定部１１６にて「順
送り」、「逆送り」を指示すると、現在表示している画
像の前後に撮影された画像が読み出され、ＬＣＤモニタ
１０２へ表示される。

【００４７】本実施形態において、撮像ユニット２０
は、２以上の異なる視点位置から被写体の視差画像を撮
像する。

【００４８】図３は、撮像ユニット２０の撮影レンズ２
２の構成の一例である。これは撮影レンズ２２をデジタ
ルカメラ１０の正面から見た図である。撮影レンズ２２
が１つ設けられ、レンズ駆動部４２が撮影レンズ２２を
視点位置２２Ｒ、２２Ｌに移動させて、被写体を異なる
視点から見た場合の視差画像をＣＣＤ３０に撮像する。

【００４９】また、レンズ駆動部４２が撮像ユニット２
０全体を移動させることにより異なる視点位置での撮像
を実現してもよい。このようにレンズ等撮像ユニットの
一部又は撮像ユニット全体を移動させて異なる視点位置
で撮像するモーションステレオ法は、二台以上のカメラ
を用いる複眼ステレオ法による撮像より、装置が簡単で
小さく、経済的であり、また撮像装置のピント等撮像条
件の調整が容易である。

【００５０】撮像ユニット２０のＣＣＤ３０は、各々の
視点位置に対して別個に設けられ、撮像レンズ２２が、
それぞれの視点位置で結像する被写体の像を受光しても
よい。また、２つの視点位置で結像する被写体の像を受
光できる共通のＣＣＤ３０を１つ設けてもよい。

【００５１】本実施形態のＣＣＤ３０は、固体撮像素子
の一例である。固体撮像素子は、半導体化および集積化
された撮像素子で、構造上、半導体基板上に光電変換と
電荷の蓄積機能をもった画素群を二次元的に配列したも
のである。固体撮像素子は、撮影レンズ２２によって結
像された光を受光し、光電変換作用によって電荷を蓄積
する。蓄積された電荷像は一定の順序に走査され、電気
信号として読み出される。

【００５２】固体撮像素子は、基本的に、外部から入射
する光を受光して光電変換を行うための受光素子部を含
む半導体素子と、半導体素子を収納するパッケージと、
受光素子部への光の入射を可能にするため、パッケージ
の半導体素子と対向する位置に配置された透明保護部材
と、透明保護部材の外側表面あるいは内側において、透
明保護部材よりも高い遮光性を有する遮光部材から構成
されていることが好ましい。これにより、撮像される画
像の品質を向上させることができる。さらに透明保護部
はマイクロレンズの機能を持つことにより、結像される
画像の解像度を向上させてもよい。受光素子部と透明保
護部の間に、または、透明保護部の上または透明保護部
中にカラーフィルタを設け、カラーの画像を撮像できる
ようにしてもよい。

【００５３】本実施形態のＣＣＤ３０は、視差画像にお
ける視差を正確に検出できるように、解像度が十分に高
い電荷結合素子（ＣＣＤ）１次元イメージセンサ（リニ
アセンサ）又は２次元イメージセンサ（エリアセンサ）
イメージセンサであることが望ましい。固体撮像素子と
してＣＣＤ以外に、ＭＯＳイメージセンサ、ＣｄＳ−Ｓ
ｅ密着型イメージセンサ、ａ−Ｓｉ（アモルファスシリ
コン）密着型イメージセンサ、又はバイポーラ密着型イ
メージセンサのいずれかを用いてもよい。

【００５４】さらに、撮影レンズ２２は視差撮影用の光
学レンズ系以外に本撮影用の光学レンズ系を有し、本撮
影用の光学レンズ系と視差撮影用の撮影レンズ系が、被
写体の画像及び視差画像をそれぞれ異なる２つのＣＣＤ
３０に撮像してもよい。本撮影用の光学レンズ系は、標
準の光学レンズであってもよく、視野角の広い広角レン
ズまたは魚眼レンズであってもよい。本撮影用の光学レ
ンズ系が像を受光させるＣＣＤ３０と、視差撮影用の光
学レンズ系が像を受光させるＣＣＤ３０とで、ＣＣＤの
解像度や感度が異なっていてもよい。

【００５５】本実施形態の処理ユニット６０は、撮像ユ
ニット２０が撮像した被写体の視差画像に基づいて、被
写体の奥行き情報を獲得する。

【００５６】図４は、処理ユニット６０の機能ブロック
図である。処理ユニット６０は、視差画像記憶部３０２
と、推定画像生成部３０３と、位置ずれ検出部３０４
と、奥行き算出部３０８と、記録部３１０とを有する。

【００５７】視差画像記憶部３０２は、撮像ユニット２
０が基準視点位置で２回、参照視点位置で１回撮像した
３以上の画像とこれらの画像が撮像された時刻とを記憶
する。時刻とは、撮像の相対的時刻でよく、撮像の時間
間隔等でよい。推定画像生成部３０３は、視差画像記憶
部３０２が記憶する３以上の画像の中から基準視点位置
で撮像された画像を選び、基準視点位置で撮像された２
以上の画像より、参照視点位置で撮像した時刻の基準視
点位置からの推定画像を生成する。推定画像の生成方法
は後述する。位置ずれ検出部３０４は、参照視点位置で
撮像された画像と推定画像とにおいて被写体の特定領域
の像の位置が視差によってずれる量を検出する。

【００５８】奥行き算出部３０８は、位置ずれ検出部３
０４が検出した複数の位置ずれ量を用いて、被写体の特
定領域の奥行き値を算出する。奥行き値の計算方法は三
角測量の原理に基づく。位置ずれ検出部３０４及び奥行
き算出部３０８によって、視差画像に撮像された被写体
の一部の領域または全部の領域について、被写体の奥行
き値が算出される。

【００５９】奥行き算出部３０８は算出した被写体の奥
行き情報を撮像制御ユニット４０へ入力し、撮像制御ユ
ニット４０は、被写体の奥行き情報に基づいて、フォー
カス駆動部４４、絞り駆動部４６及びシャッタ駆動部４
８を制御して、フォーカス、絞り、シャッタ速度を調整
してもよい。

【００６０】記録部３１０は、奥行き算出部３０８が算
出した被写体の奥行き情報、及び視差画像記憶部３０２
が記憶する被写体の視差画像をオプション装置７６に記
録させる。

【００６１】処理ユニット６０の推定画像生成部３０
３、位置ずれ検出部３０４、及び奥行き算出部３０８の
機能は一例として、図２のメインＣＰＵ６２と、メイン
メモリ６８や不揮発性メモリ６６に格納またはロードさ
れたプログラムとの連携によって実現することができ
る。メインＣＰＵ６２が内蔵メモリをもつ場合にはその
メモリに必要なプログラムを格納し、諸機能をファーム
ウエアとして実現してもよい。処理ユニット６０の視差
画像記憶部３０２が記憶すべき視差画像データは、メイ
ンメモリ６８または不揮発性メモリ６６に記憶させるこ
とができる。また視差画像データは圧縮伸張処理部７８
によって圧縮されてもよい。処理ユニット６０の記録部
３１０の機能は一例として、オプション装置制御部７４
によって実現することができる。また、ユーザの指示を
受け付ける操作ユニット１１０が被写体の画像の特定領
域を処理ユニット６０に指示し、奥行き算出部３０８
は、ユーザが指定する特定領域について奥行き値を算出
してもよい。デジタルカメラ１０において処理ユニット
６０の上述の機能を実現する設計には相当の自由度があ
る。

【００６２】図５は、本実施形態の撮像フローの一例を
説明する図である。撮像系ＣＰＵ５０は、前記したよう
に決定されたシャッタスピードに基づき撮像の時間間隔
Ｔ秒を決定し、レンズ駆動部４２、シャッタ駆動部４
８、撮像ユニット２０に決定した時間間隔Ｔ秒を伝える
（Ｓ１００）。レンズ駆動部４２は、レンズ２２を視点
位置２２Ｌに移動させ、シャッタ駆動部４８と撮像ユニ
ット２０は、連携により被写体を撮像し、画像Ｌ１を得
る（Ｓ１０２）。レンズ駆動部４２は、レンズ２２を視
点位置２２Ｒに移動させ、シャッタ駆動部４８と撮像ユ
ニット２０は、連携により前回の撮像からＴ秒後に被写
体を撮像し、画像Ｒ２を得る（Ｓ１０４）。レンズ駆動
部４２は、レンズ２２を視点位置２２Ｌに移動させ、シ
ャッタ駆動部４８と撮像ユニット２０は、連携により前
回の撮像からＴ秒後に被写体を撮像し、画像Ｌ３を得る
（Ｓ１０６）。

【００６３】視差画像記憶部３０２は、画像Ｌ１、画像
Ｒ２及び画像Ｌ３の画像データと時間間隔Ｔのデータを
受け取り、記憶する（Ｓ１０７）。推定画像生成部３０
３は、画像Ｌ１と画像Ｌ３とに基づき、画像Ｒ２が撮像
された時刻の視点位置２２Ｌからの推定画像Ｌ２を推定
する（Ｓ１１０）。位置ずれ検出部３０４は、画像Ｒ２
と推定画像Ｌ２における被写体の特定領域の像の視差に
よる位置ずれ量を検出する（Ｓ１１２）。奥行き算出部
３０８は、位置ずれ量から被写体の特定領域の奥行き値
を三角測量の原理に基づき算出する（Ｓ１１４）。記録
部３１０は、受け取った奥行き値を記憶する（Ｓ１１
６）。この撮像方法によると、動きのある被写体に対し
ても、モーションステレオ法で有効な被写体の奥行き値
を知ることができる。

【００６４】図６は、被写体の像の中で、被写体の動き
が無視できる領域と無視できない領域とに分ける処理フ
ローである。視差画像記憶部３０２は、画像Ｌ１、画像
Ｒ２及び画像Ｌ３の画像データと時間間隔Ｔのデータを
受け取り、記憶する（Ｓ１０７）。推定画像生成部３０
３は、画像の特定領域を選択する（Ｓ１０８）。推定画
像生成部３０３は、画像Ｌ１と画像Ｌ３の画像における
被写体の特定領域の像の位置及び大きさの違いが予め設
定した値以下であるか判断する（Ｓ１０９）。位置又は
大きさの違いが設定した値より大きい場合、図５の場合
と同様に推定画像Ｌ２を生成し（Ｓ１１０）、画像Ｒ２
と推定画像Ｌ２における被写体の特定領域の視差による
位置ずれ量を検出し（Ｓ１１２）、位置ずれ量から奥行
き値を算出し（Ｓ１１４）、記録部３１０は奥行き値を
記憶する（Ｓ１１６）。一方、位置及び大きさの違いが
設定した値より小さい場合、位置ずれ検出部３０４は画
像Ｌ１と画像Ｒ２における前記特定領域の像の位置ずれ
を検出し（Ｓ１１３）、奥行き算出部３０８は、位置ず
れ量から被写体の特定領域の奥行き値を三角測量の原理
に基づき算出し（Ｓ１１４）、記録部３１０は、受け取
った奥行き値を記憶する（Ｓ１１６）。この処理による
と、動きのほとんど無い特定領域では、画像推定の処理
を省くことができる。

【００６５】また、画像Ｌ１と画像Ｌ３を複数の区画に
分けて、画像Ｌ１と画像Ｌ３の対応する区画の中の像が
一致するかどうかで区画を分け、一致しない区画では、
図５の場合と同様に推定画像Ｌ２を生成し（Ｓ１１
０）、画像Ｒ２と推定画像Ｌ２における被写体の特定領
域の視差による位置ずれ量を検出し（Ｓ１１２）、位置
ずれ量から奥行き値を算出し（Ｓ１１４）、記録奥行き
値を記憶する（Ｓ１１６）。一致する区画では、位置ず
れ検出部３０４は画像Ｌ１と画像Ｒ２における前記特定
領域の像の位置ずれを検出し（Ｓ１１３）、奥行き算出
部３０８は、位置ずれ量から被写体の特定領域の奥行き
値を三角測量の原理に基づき算出し（Ｓ１１４）、記録
部３１０は、受け取った奥行き値を記憶する（Ｓ１１
６）。この処理によると、動きのほとんど無い区画で
は、画像推定の処理を省くことができる。

【００６６】推定画像生成方法について詳しく説明す
る。画像処理するときは被写体を細かい領域に分けて領
域毎に処理する。領域毎に奥行き値および動き量が異な
るからである。

【００６７】図７は、人物の鼻を特定領域とし推定画像
生成方法の一例をあらわしたものである。撮像の時間間
隔は十分短いため被写体の動きによる位置変化は時間に
対して線形であると近似することができる。前記図５の
撮像フローのように等しい時間間隔で撮像した場合、
Ａ、Ｂにおける画像Ｌ１ハナと画像Ｌ３ハナの中から対
応する特徴点を設定し、画像Ｌ１ハナの特徴点と、対応
する画像Ｌ３ハナの特徴点とを１：１に内分する点が対
応する推定画像Ｌ２ハナの特徴点となる。撮像の時間間
隔が異なる場合も内分点、外分点の計算で同様に算出で
きる。なお同一視点位置で３回以上撮像してもよく、こ
の場合被写体の動きによる位置変化は多項式近似してよ
く、これによるとさらによい近似になることは言うまで
もない。

【００６８】図８は、人物の鼻を特定領域とした推定画
像生成方法の他の例をあらわしたものである。Ａのよう
に画像Ｌ１ハナと画像Ｌ３ハナから特徴点の内分点、外
分点を算出することにより視点位置２２Ｌからの被写体
の特定領域の推定画像群Ｌを推定できる。この推定画像
群Ｌの中から、Ｂの画像Ｒ２ハナの像の大きさが一致す
るものを画像Ｒ２ハナに対応する推定画像Ｌ２ハナとす
る。この推定方法によると、撮像の時刻の情報が無くて
も推定できる。また、被写体の動きが、直線に近ければ
加速していてもよい近似となる。図７で説明した推定方
法を補完するために用いてもよい。

【００６９】図９は、撮像ユニット２０の撮影レンズ２
２の構成の他の例で、撮像ユニット２０を正面から見た
ものである。レンズ駆動部４２は、撮像ユニット２０の
視点位置（例えば撮影レンズ２２）を少なくとも同一直
線上に並ばない３つの視点位置に移動させるのが好まし
い。特に本図で例示する形態では、レンズ駆動部４２
は、撮像ユニット２０の視点位置を菱形の中心と各頂点
の位置に移動させる。すなわち、視点位置は、菱形の中
心と各頂点の位置２２ａ、２２ｂ、２２ｃ、２２ｄ、２
２ｅである。レンズ駆動部４２は、撮像ユニット２０の
視点位置を正方形の中心と各頂点の位置に移動させても
よい。被写体が、画像の中心から右又は左に大きくずれ
た場合、２２ａと２２ｃの組み合わせでは視差による位
置のずれが小さくなり奥行き値の算出が困難な「死角」
ができる。この場合、２２ａと２２ｂを組み合わせると
よい。死角を作らずに広い視野にわたって被写体を撮像
し視差による位置ずれを検出するためには、このように
５つの視点位置を設定すると効果的である。撮影レンズ
２２が１つ設けられ、レンズ駆動部４２が撮影レンズ２
２を移動させて、被写体を異なる視点から見た場合の視
差画像をＣＣＤ３０に撮像する。２つの視点位置から見
た場合の２つの視差画像においては、奥行き値の算出が
困難な死角領域であっても、第３の視点位置から見た視
差画像を組み合わせることにより、死角領域を解消する
ことができ、広い視野にわたって被写体の奥行き情報を
高い精度で算出することができる。

【００７０】図１０は、撮像ユニット２０が視点位置を
変える他の例である。絞り２４は、光制限部の一例であ
る。レンズ２２は固定で、絞り駆動部４６が絞り２４の
開口２５をレンズ瞳面に平行に移動させる。図１１のよ
うに、絞り２４を回転させて開口２５の位置を変えても
よい。また、複数の開口を液晶光シャッタで開閉させる
ことにより開口２５の位置を変えてもよい。このように
開口の位置を変えることで複数の視点位置での撮像を可
能にする。被写体のなかでピントの合うピント面上にあ
る領域の像は開口２５を移動させても前記像の位置は変
化しないが、ピントの合っていないいわゆるぼけた像は
開口２５を移動させると、それにともない移動する。ま
たぼけた像の移動量はピント面からの距離にともない大
きくなり、このことを利用して奥行き値を得る。この場
合、絞り２４を移動させるだけでよく、撮像ユニット２
０全体やレンズ２２を移動させる場合に較べ可動部が小
さく軽量であるため、移動のシステムが簡単になり制御
も容易になる。また、視点位置の移動に要する時間も短
縮でき撮像間隔を短くできるので推定画像の推定精度も
よくなる。

【００７１】以上述べたように、本実施形態の画像撮像
装置によれば、３次元方向に動いている被写体であって
も、動き成分をキャンセルした視差画像のペアを作るこ
とができる。モーションステレオ法は、小さな装置で経
済的に視差画像が撮れるという利点があったが、それぞ
れの視差画像は順次撮像された物であるため、撮像の時
刻が異なり、動いている被写体に対しては有効では無か
った。本実施形態によると、同一視点位置からの複数の
画像を用いて特定時刻の推定画像を推定し、他の視点位
置の画像とそれと同時に撮像されたと見なせる推定画像
とを組み合わせることにより、同時刻の視差画像のペア
をモーションステレオ法で作ることができ、有効な奥行
き値を求めることができる。

【００７２】（実施形態２） 本発明の第２の実施形態
を説明する。図１２は、画像処理装置の一例としての、
写真画像の現像や編集等を行うラボシステム３５０の構
成図である。本実施形態のラボシステム３５０は、入力
部３５２と、処理部３５４と、記録部３５６と、出力部
３５８とを有する。

【００７３】入力部３５２は、被写体の画像データを入
力する。画像データとして、被写体を異なる視点から見
た場合の画像を入力する。デジタルカメラ等で撮影され
た対象物のデジタル画像を入力する場合、入力部３５２
には、半導体メモリカード等の着脱自在な記録媒体から
画像データを読み取るための読み取り装置が用いられ
る。また、フロッピーディスク、ＭＯ、ＣＤ−ＲＯＭ等
から画像データを読み取る場合は、入力部２１０とし
て、それぞれフロッピードライブ、ＭＯドライブ、ＣＤ
ドライブ等が用いられてもよい。

【００７４】処理部３５４は、入力部３５２が入力した
画像を記憶し、被写体の奥行き情報を算出する。処理部
３５４は算出した奥行き情報を画像とともに記録部３５
６に出力する。また処理部３５４は算出した奥行き情報
をもとに、被写体の画像を処理して、記録部３５６と出
力部３５８に出力してもよい。

【００７５】記録部３５６は、処理部３５４が出力した
奥行き情報または画像データを着脱自在な記録媒体に記
録する。記録媒体として、書き込み可能なＣＤ−ＲＯ
Ｍ、ＤＶＤ等の光記録媒体や、ＭＯ等の光磁気記録媒
体、フロッピーディスク等の磁気記録媒体等が用いられ
る。記録部３５６として、ＣＤ−Ｒドライブ、ＤＶＤド
ライブ、ＭＯドライブ、フロッピードライブ等が用いら
れる。また、記録部３５６は、フラッシュメモリ、メモ
リカード等の半導体メモリに奥行き情報または画像デー
タを記録してもよい。

【００７６】出力部３５８は、処理部３５４が出力した
被写体の処理された画像データを画像として出力する。
例えば画像を画面表示する場合、出力部３５８には画像
を表示するモニタが用いられる。また例えば画像を印刷
する場合、出力部３５８にはデジタルプリンタやレーザ
プリンタ等のプリンタが用いられる。

【００７７】図１３は、処理部３５４の機能構成図であ
る。処理部３５４は、視差画像記憶部３０２と、推定画
像生成部３０３と、位置ずれ検出部３０４と、奥行き算
出部３０８と、画像変換部３１２とを有する。

【００７８】視差画像記憶部３０２は、入力部３５２が
入力した被写体の３以上の画像のデータをＲＡＭ等の半
導体メモリまたはハードディスク等の磁気記録媒体に記
憶する。推定画像生成部３０３は、同一視点位置で複数
回撮像された２以上の画像に基づき、所定の時刻の前記
同一視点位置からの被写体の特定領域の像を推定する。
位置ずれ検出部３０４は、推定画像生成に用いられる視
点位置以外の視点位置において撮像された被写体の特定
領域の像と推定画像の組み合わせにおいて、被写体の特
定領域の像の位置が視差によってずれる量を検出する。
奥行き算出部３０８は、位置ずれ検出部３０４が検出し
た複数の位置ずれ量を用いて、被写体の特定領域の奥行
き値を算出する。

【００７９】推定画像生成部３０３、位置ずれ検出部３
０４及び奥行き算出部３０８が、画像に撮像された被写
体の一部の領域または全部の領域について、被写体の奥
行き情報を算出する処理については、第１の実施形態と
同じであるから、説明を省略する。

【００８０】画像変換部３１２は、奥行き算出部３０８
が算出した被写体の奥行き情報に基づいて、被写体の画
像を処理する。画像変換部３１２は、被写体の奥行き情
報、視差画像、または処理された画像を記憶部３５６と
出力部３５８に出力する。

【００８１】本実施形態の画像処理装置によれば、動い
ている被写体の視差画像を入力して、被写体の奥行き情
報を算出することができる。また算出された奥行き情報
に基づいて、画像処理を行い、ＣＡＤ等の図面データを
作成することができる。さらに撮像の時間間隔を入力す
れば、特定領域毎に動きの速さと方向が算出できる。

【００８２】（実施形態３） 次に、本発明の第３の実
施形態を説明する。図１４は、画像処理装置の構成図で
ある。本実施形態の画像処理装置の基本的な構成及び動
作は、第２の実施形態の画像処理装置と同様である。本
実施形態では、画像処理装置の処理部３５４として、パ
ーソナルコンピュータやワークステーション等の電子計
算機を用いる点が、第２の実施形態と異なる。

【００８３】図１４を参照しながら、本実施形態の処理
部３５４のハードウエア構成を説明する。ＣＰＵ２３０
はＲＯＭ２３２及びＲＡＭ２３４に格納されたプログラ
ムに基づいて動作する。キーボード、マウス等の入力装
置２３１を介して利用者によりデータが入力される。ハ
ードディスク２３３は、画像等のデータ、及びＣＰＵ２
３０を動作させるプログラムを格納する。ＣＤ−ＲＯＭ
ドライブ２３５はＣＤ−ＲＯＭ２９０からデータ又はプ
ログラムを読み取り、ＲＡＭ２３４、ハードディスク２
３３及びＣＰＵ２３０の少なくともいずれかに提供す
る。

【００８４】ＣＰＵ２３０が実行するプログラムの機能
構成は、第２の実施形態の画像処理装置の処理部３５４
の機能構成と同じであり、視差画像記憶モジュールと、
推定画像生成モジュールと、位置ずれ検出モジュール
と、奥行き算出モジュールと、画像変換モジュールとを
有する。

【００８５】視差画像記憶モジュール、推定画像生成モ
ジュール、位置ずれ検出モジュール、奥行き算出モジュ
ール、及び画像変換モジュールが、ＣＰＵ２３０に行わ
せる処理は、それぞれ、第２の実施形態の画像処理装置
の処理部３５４における、視差画像記憶部３０２、推定
画像生成部３０３、位置ずれ検出部３０４、奥行き算出
部３０８、及び画像変換部３１２の機能及び動作と同じ
であるから、説明を省略する。これらのプログラムは、
ＣＤ−ＲＯＭ２９０等の記録媒体に格納されて利用者に
提供される。記録媒体の一例としてのＣＤ−ＲＯＭ２９
０には、本出願で説明した画像処理装置の動作の一部又
は全ての機能を格納することができる。

【００８６】上記のプログラムは記録媒体から直接ＲＡ
Ｍ２３４に読み出されてＣＰＵ２３０により実行されて
もよい。あるいは、上記のプログラムは記録媒体からハ
ードディスク２３３にインストールされ、ＲＡＭ２３４
に読み出されてＣＰＵ２３０により実行されてもよい。

【００８７】記録媒体としては、ＣＤ−ＲＯＭ２９０の
他にも、ハードディスク、ＲＯＭやＲＡＭ等のメモリ、
ＤＶＤやＰＤ等の光学記録媒体、フロッピーディスクや
ミニディスク（ＭＤ）等の磁気記録媒体、ＭＯ等の光磁
気記録媒体、テープ状記録媒体、不揮発性の半導体メモ
リカード等を用いることができる。

【００８８】上記のプログラムは、単一の記録媒体に格
納されてもよいし、複数の記録媒体に分割されて格納さ
れてもよい。また、上記プログラムは記録媒体に圧縮さ
れて格納されてもよい。圧縮されたプログラムは伸張さ
れ、ＲＡＭ２３４等の別の記録媒体に読み出され、実行
されてもよい。さらに、圧縮されたプログラムはＣＰＵ
２３０によって伸張され、ハードディスク２３３等にイ
ンストールされた後、ＲＡＭ２３４等の別の記録媒体に
読み出され、実行されてもよい。

【００８９】さらに、記録媒体の一例としてのＣＤ−Ｒ
ＯＭ２９０は、通信ネットワークを介して、ホストコン
ピュータによって提供される上記のプログラムを格納し
てもよい。記録媒体に格納された上記のプログラムは、
ホストコンピュータのハードディスクに格納され、通信
ネットワークを介してホストコンピュータから当該コン
ピュータに送信され、ＲＡＭ２３４等の別の記録媒体に
読み出され、実行されてもよい。

【００９０】上記のプログラムを格納した記録媒体は、
本出願の画像処理装置を製造するためにのみ使用される
ものであり、そのような記録媒体の業としての製造およ
び販売等が本出願に基づく特許権の侵害を構成すること
は明らかである。

【００９１】（実施形態４） 次に、本発明の第４の実
施形態を説明する。本実施形態の画像撮像装置の一例
は、カメラを内蔵したノート型コンピュータやカメラを
内蔵した携帯型電子端末等の電子機器等である。これら
の場合、ノート型コンピュータや携帯型電子端末の電子
計算機部分は主に図１４に示した処理部３５４として機
能する。本実施形態の画像撮像装置は、第１の実施形態
の画像撮像装置の処理ユニット６０を、図１４に示した
処理部３５４のハードウエア構成に換えたものである。
本実施形態の画像撮像装置の基本的な構成及び動作は、
第１の実施形態の画像撮像装置と同様である。

【００９２】本実施形態の処理部３５４のハードウエア
構成は、第３の実施形態の処理部３５４のハードウエア
構成と同じであるから説明を省略する。ＣＰＵ２３０が
実行するプログラムの機能構成は、第１の実施形態の画
像撮像装置の処理ユニット６０の機能構成と同じであ
り、視差画像記憶モジュールと、推定画像生成モジュー
ルと、位置ずれ検出モジュールと、奥行き算出モジュー
ルと、記録モジュールとを有する。

【００９３】視差画像記憶モジュール、推定画像生成モ
ジュール、位置ずれ検出モジュール、奥行き算出モジュ
ール、及び画像変換モジュールが、ＣＰＵ２３０に行わ
せる処理は、それぞれ、第２の実施形態の画像撮像装置
の処理部３５４における、視差画像記憶部３０２、推定
画像生成部３０３、位置ずれ検出部３０４、奥行き算出
部３０８、及び記録部３１０の機能及び動作と同じであ
るから、説明を省略する。これらのプログラムは、ＣＤ
−ＲＯＭ２９０等の記録媒体に格納されて利用者に提供
される。記録媒体の一例としてのＣＤ−ＲＯＭ２９０に
は、本出願で説明した画像撮像装置の動作の一部又は全
ての機能を格納することができる。

【００９４】上記のプログラムを格納した記録媒体は、
本出願の画像撮像装置を製造するためにのみ使用される
ものであり、そのような記録媒体の業としての製造およ
び販売等が本出願に基づく特許権の侵害を構成すること
は明らかである。

【００９５】以上述べたように、本発明の画像撮像装置
及び画像処理装置によれば、動いている被写体に対して
も、２以上の異なる視点位置から撮像した被写体の画像
であって、同一視点位置で撮像した２以上の画像を含む
複数の画像から、動きによる位置ずれを除いた視差画像
のペアを推定でき、被写体の特定領域の像の位置ずれを
検出することができ、位置ずれ量を用いて被写体の奥行
き値を求めることができる。

【００９６】以上、本発明を実施の形態を用いて説明し
たが、本発明の技術的範囲は上記実施の形態に記載の範
囲には限定されない。上記実施の形態に、多様な変更又
は改良を加えることができる。その様な変更又は改良を
加えた形態も本発明の技術的範囲に含まれ得ることが、
特許請求の範囲の記載から明らかである。

【００９７】例えば、第１の実施形態では、撮像部が複
数の視点位置から異なるタイミングで被写体を撮像する
ことを実現する１つの方法として、１つの撮像ユニット
２０の視点位置を移動させて、複数の視点位置から被写
体を順次撮像する形態について説明したが、他の方法と
して、複数の撮像ユニット２０を異なる複数の位置に予
め設け、複数の撮像ユニット２０に異なるタイミングで
被写体を順次撮像させてもよい。なお、この場合の撮像
ユニット２０とは、物理的に異なる光学系を有する撮像
機器のことであり、例えば、複数の撮像ユニット２０
は、光学系（撮影レンズ２２等）および受光素子（ＣＣ
Ｄ）等をそれぞれ別個に有し、撮像信号処理部３２やス
トロボ３６等を共有する。

【００９８】図１５は、複数の撮像ユニット２０を備え
た撮像部を被写体側から見た図である。撮像部は、異な
る複数の位置に設けられた複数の撮像ユニット２０を有
する。すなわち、撮像部は、異なる複数の位置に撮像ユ
ニット２０を設けることにより、複数の視点位置からの
被写体の撮像を実現する。制御部２０２は、時刻設定部
２０６と共に、複数の撮像ユニット２０が被写体を撮像
するタイミングを制御し、複数の撮像ユニット２０に異
なるタイミングで順次被写体を撮像させる。この際、制
御部２０２は、少なくとも１つの撮像ユニット２０に２
回以上被写体を撮像させる。撮像部は、少なくとも同一
直線上に並ばない３つの位置に、複数の撮像ユニット２
０を有するのが好ましい。より好ましくは、撮像部は、
菱形の各頂点と中心の５つの位置に撮像ユニット２０を
有する。撮像部は、正方形の各頂点と中心の５つの位置
に撮像ユニット２０を有してもよい。

【００９９】また、画像撮像装置は、２つの視点位置か
ら交互に被写体を撮像し、連続する３つの画像を用い
て、被写体の奥行き情報を算出してもよい。この場合、
画像撮像装置は、時系列で連続的に奥行き情報を算出で
き、例えば、立体動画像を生成することができる。

【０１００】図１６は、立体モデリングシステム５００
の機能ブロックを示す。立体モデリングシステム５００
も、本発明に係る画像撮像装置の一例である。立体モデ
リングシステム５００は、被写体の奥行き情報を時系列
に連続して算出し、立体動画像を生成する。立体モデリ
ングシステム５００は、制御部５０２と、時刻設定部５
０６と、撮像部５０８と、視差画像記憶部５１０と、２
つの推定画像生成部５１２と、位置ずれ検出部５１４
と、奥行き算出部５１６と、出力部５１８とを備える。
特に、本例では、立体モデリングシステム５００は、推
定画像生成部５１２として推定画像生成部５１２Ｌおよ
び推定画像生成部５１２Ｒを備える。更に、撮像部５０
８は、２つの撮像ユニット２０、すなわち、撮像ユニッ
ト２０Ｌと撮像ユニット２０Ｒとを有する。撮像ユニッ
ト２０Ｌと撮像ユニット２０Ｒは、異なる位置に設定さ
れる。

【０１０１】視差画像記憶部５１０、推定画像生成部５
１２、位置ずれ検出部５１４、奥行き算出部５１６、お
よび撮像ユニット２０は、それぞれ、第１の実施形態で
説明した、視差画像記憶部３０２、推定画像生成部３０
３、位置ずれ検出部３０４、奥行き算出部３０８、およ
び撮像ユニット２０と同様の機能を有する。また、制御
部５０２は、撮像ユニット２０Ｌと撮像ユニット２０Ｒ
に交互に被写体を撮像するように、撮像のタイミングを
決定し、時刻設定部５０６に出力する。時刻設定部５０
６は、制御部５０２が決定したタイミングに従い、撮像
するタイミングを撮像部５０８に出力する。撮像部５０
８は、受け取ったタイミングに従い、撮像ユニット２０
Ｌと撮像ユニット２０Ｒとに交互に撮像させ、撮像した
視差画像を視差画像記憶部５１０に出力する。

【０１０２】視差画像記憶部５１０は、受け取った視差
画像を、推定画像生成部５１２と位置ずれ検出部５１４
に出力する。特に、本例の視差画像記憶部５１０は、撮
像ユニット２０Ｌが撮像した視差画像を推定画像生成部
５１２Ｌに出力し、撮像ユニット２０Ｒが撮像した視差
画像を推定画像生成部５１２Ｒに出力する。推定画像生
成部５１２Ｌおよび推定画像生成部５１２Ｒは、それぞ
れ、異なるタイミングで撮像した画像を用いて、推定画
像を生成し、位置ずれ検出部５１４に出力する。

【０１０３】位置ずれ検出部は、第１の実施形態と同様
に、一方の撮像ユニット２０で撮像した視差画像と、対
応する推定画像（一方の撮像ユニット２０が撮像した時
刻に、他方の撮像ユニット２０の視点位置からみえるで
あろう視差画像）とを用いて、位置ずれ量を検出し、奥
行き算出部５１６に出力する。奥行き算出部５１６は、
第１の実施形態と同様に、位置ずれ量を用いて、被写体
の奥行き値を算出し、出力部５１８に出力する。出力部
５１８は、受け取った奥行き値を用いて、被写体の立体
モデルを生成する。出力部５１８は、撮像した時間順に
立体モデルを出力することにより、動画像として出力し
てもよい。

【０１０４】図１７は、立体モデリングシステム５００
の処理フローを示す。制御部５０２は、時刻設定部５０
６と協働して、撮像ユニット２０Ｌおよび撮像ユニット
２０Ｒに所定の時間間隔で交互に撮像するよう指示す
る。本例では、制御部５０２および時刻設定部５０６が
撮像を指示するタイミングは、順に、第１のタイミン
グ、第２のタイミング、第３のタイミングというように
続いていき、第１のタイミングでは、撮像ユニット２０
Ｌが被写体を撮像し、第２のタイミングでは、撮像ユニ
ット２０Ｒが被写体を撮像し、その後も同様に交互に撮
像する。撮像部５０８は、制御部５０２および時刻設定
部５０６からの指示に従い、第１のタイミングで撮像ユ
ニット２０Ｌに被写体を撮像させて、画像Ｌ１を取得
し、視差画像記憶部５１０に出力する（Ｓ２００）。同
様に、第２のタイミングでは、撮像ユニット２０Ｒに被
写体を撮像させて、画像Ｒ２を取得し、視差画像記憶部
５１０に出力する（Ｓ２０４）。続いて、第３のタイミ
ングで撮像ユニット２０Ｌが画像Ｌ３を取得し、視差画
像記憶部５１０に出力する（Ｓ２０８）。視差画像記憶
部５１０は、画像Ｌ１および画像Ｌ３を推定画像生成部
５１２Ｌに出力すると、推定画像生成部５１２Ｌは、画
像Ｌ１と画像Ｌ３を用いて、第２のタイミングに撮像ユ
ニット２０Ｌから見えるであろう画像、すなわち、推定
画像Ｌ２を生成し、位置ずれ検出部５１４に出力する
（Ｓ２１２）。更に、視差画像記憶部５１０は、画像Ｒ
２を位置ずれ検出部５１４に出力すると（Ｓ２１６）、
位置ずれ検出部５１４は、推定画像Ｌ２と画像Ｒ２の位
置ずれ量を検出し、続いて、奥行き算出部５１６は、検
出した位置ずれ量を用いて、第２のタイミングにおける
被写体の奥行き量を算出し、出力部５１８に出力する
（Ｓ２２０）。

【０１０５】次に、撮像ユニット２０Ｒが、第４のタイ
ミングで画像Ｒ４を撮像すると（Ｓ２２４）、推定画像
生成部５１２Ｒは、視差画像記憶部５１０を経由して取
得した、画像Ｒ２と画像Ｒ４を用いて、第３のタイミン
グの推定画像Ｒ３を生成し、位置ずれ検出部５１４に出
力する（Ｓ２２８）。位置ずれ検出部５１４は、更に、
視差画像記憶部５１０から画像Ｌ３を受け取ると（Ｓ２
３２）、画像Ｌ３と推定画像Ｒ３の位置ずれ量を検出
し、続いて、奥行き算出部５１６は、検出した位置ずれ
量を用いて、第３のタイミングにおける被写体の奥行き
量を算出し、出力部５１８に出力する（Ｓ２３６）。次
に、撮像ユニット２０Ｌが、第５のタイミングで画像Ｌ
５を撮像すると（Ｓ２４０）、推定画像生成部５１２Ｌ
は、視差画像記憶部５１０を経由して取得した、画像Ｌ
３と画像Ｌ５を用いて、第４のタイミングの推定画像Ｌ
４を生成し、位置ずれ検出部５１４に出力する（Ｓ２４
４）。位置ずれ検出部５１４は、更に、視差画像記憶部
５１０から画像Ｒ４を受け取ると（Ｓ２４８）、画像Ｒ
４と推定画像Ｌ４の位置ずれ量を検出し、続いて、奥行
き算出部５１６は、検出した位置ずれ量を用いて、第４
のタイミングにおける被写体の奥行き量を算出し、出力
部５１８に出力する（Ｓ２５２）。

【０１０６】次に、撮像ユニット２０Ｒが、第６のタイ
ミングで画像Ｒ６を撮像すると（Ｓ２５４）、推定画像
生成部５１２Ｒは、視差画像記憶部５１０を経由して取
得した、画像Ｒ４と画像Ｒ６を用いて、第５のタイミン
グの推定画像Ｒ５を生成し、位置ずれ検出部５１４に出
力する（Ｓ２５６）。位置ずれ検出部５１４は、更に、
視差画像記憶部５１０から画像Ｌ５を受け取ると（Ｓ２
６０）、画像Ｌ５と推定画像Ｒ５の位置ずれ量を検出
し、続いて、奥行き算出部５１６は、検出した位置ずれ
量を用いて、第５のタイミングにおける被写体の奥行き
量を算出し、出力部５１８に出力する（Ｓ２６４）。以
下、同様に各タイミング毎に被写体の奥行き量を算出す
ることにより、出力部５１８は、所望する時刻の立体モ
デルを表示させることができる。更に、出力部５１８
は、立体モデルを時刻順に動画として表示してもよい。
また、立体モデリングシステム５００は、処理装置であ
るプロセッサを、推定画像生成部５１２Ｌ、推定画像生
成部５１２Ｒ、および位置ずれ検出部５１４にそれぞれ
割り当てて処理してもよい。このように、被写体を２つ
の視点位置から交互に撮像し、連続するタイミングで撮
像した３つの画像を用いることにより、撮像から奥行き
値算出までのタイムラグを最小にすると共に、被写体の
奥行き値を効率よく算出することができる。

【０１０７】

【発明の効果】上記説明から明らかなように、本発明に
よれば動きのある被写体の奥行きに関する情報を取得す
ることのできる。

【図面の簡単な説明】

【図１】撮像装置２００の機能説明図である。

【図２】撮像装置の一例としてのデジタルカメラ１０の
構成図である。

【図３】撮像装置２００の撮像レンズ２２の構成の一例
である。

【図４】処理ユニット６０の機能説明図である。

【図５】撮像のフローチャートである。

【図６】画像処理のフローチャートである。

【図７】撮像の時刻に基づく画像推定方法の一例であ
る。

【図８】特定領域の大きさに基づく画像推定方法の一例
である。

【図９】撮像装置２００の撮像レンズ２２の構成の他の
例である。

【図１０】撮像装置２００の撮像レンズ２２の構成の他
の例である。

【図１１】絞り２４の構成の一例である。

【図１２】画像処理装置の一例である。

【図１３】処理部３５４の機能説明図である。

【図１４】画像処理装置の他の例である。

【図１５】 複数の撮像ユニット２０を備えた撮像部を
被写体側から見た図である。

【図１６】 立体モデリングシステム５００の機能ブロ
ック図である。

【図１７】 立体モデリングシステム５００の処理のフ
ローチャートである。

【符号の説明】

１０ デジタルカメラ ２０ 撮像ユニット ２２ レンズ ２４ 絞り ２５ 開口 ３０ ＣＣＤ ４０ 撮像制御ユニット ４２ レンズ駆動部 ４６ 絞り駆動部 ６０ 処理ユニット １００ 表示ユニット １１０ 操作ユニット ２００ 撮像装置 ２０２、５０２ 制御部 ２０４ 視点位置移動部 ２０６、５０６ 時刻設定部 ２０８、５０８ 撮像部 ２３２ ＲＯＭ ２３５ 記録媒体 ３０２、５１０ 視差画像記憶部 ３０３、５１２ 推定画像生成部 ３０４、５１４ 位置ずれ検出部 ３０８、５１６ 奥行き算出部 ３１０ 記憶部 ３５０ ラボシステム ３５２ 入力部 ３５４ 処理部 ３５６ 記録部 ３５８、５１８ 出力部 ５００ 立体モデリングシステム

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/232 Ｈ０４Ｎ 5/232 Ｚ ５Ｌ０９６ 7/18 7/18 Ｅ Ｆターム(参考） 2F065 AA01 FF01 FF05 GG08 JJ03 JJ05 JJ26 LL30 NN02 QQ23 QQ31 QQ41 SS13 5B057 AA20 CA12 CB13 CC03 CD02 CD14 CH01 CH11 CH14 DA07 DA16 DB03 5C022 AA01 AB17 AC42 AC54 AC69 AC74 5C054 FC15 GA01 GA04 GB01 HA05 5C061 AB04 AB06 AB08 5L096 AA09 BA20 CA02 DA02 FA02 FA69 HA04 LA05 LA11

Claims (22)

【特許請求の範囲】
1. 【請求項１】 被写体の奥行きに関する情報を取得する
   画像撮像装置であって、 複数の視点位置から前記被写体を撮像する撮像部と、 前記撮像部に前記複数の視点位置から異なるタイミング
   で前記被写体を撮像させ、前記複数の視点位置の少なく
   とも１つの視点位置において２回以上前記被写体を撮像
   させる制御部とを備えることを特徴とする画像撮像装
   置。
2. 【請求項２】 前記撮像部は、 異なる複数の位置に設けられた複数の撮像ユニットを有
   し、 前記制御部は、前記複数の撮像ユニットに異なるタイミ
   ングで前記被写体を撮像させ、前記複数の撮像ユニット
   の少なくとも１つの前記撮像ユニットに２回以上前記被
   写体を撮像させることを特徴とする請求項１に記載の画
   像撮像装置。
3. 【請求項３】 前記撮像部の視点位置を複数の位置に移
   動させる視点位置移動部をさらに備え、 前記制御部は、前記視点位置移動部に前記撮像部の前記
   視点位置を移動させつつ、前記複数の視点位置から異な
   るタイミングで前記撮像部に前記被写体を順次撮像さ
   せ、前記複数の視点位置の少なくとも１つの視点位置に
   おいて２回以上前記被写体を撮像させることを特徴とす
   る請求項１に記載の画像撮像装置。
4. 【請求項４】 前記画像撮像装置は、前記１つの視点位
   置で２回以上撮像することで得られた２枚以上の画像と
   前記１つの視点位置と異なる視点位置で撮像した画像に
   基づき前記被写体の前記特定領域の奥行きを算出する奥
   行き算出部をさらに備えたことを特徴とする請求項１に
   記載の画像撮像装置。
5. 【請求項５】 前記画像撮像装置は、前記１つの視点位
   置で２回以上撮像することで得られた２枚以上の画像と
   前記異なる視点位置で撮像した画像に基づき前記被写体
   の特定領域の像の位置のずれを検出する位置ずれ検出部
   をさらに備え、前記奥行き算出部は、前記位置ずれ検出
   部が検出した前記位置ずれに基づいて、前記被写体の前
   記特定領域の奥行きを算出することを特徴とする請求項
   ４に記載の画像撮像装置。
6. 【請求項６】 前記画像撮像装置は、前記１つの視点位
   置における２以上の画像に基づき、前記異なる視点位置
   での撮像と同時刻において前記１つの視点位置から撮像
   されたと仮定した場合の前記被写体の特定領域の像を推
   定する推定画像生成部をさらに備え、前記位置ずれ検出
   部は、前記異なる視点位置から見た前記被写体の特定領
   域の像と、前記推定された前記被写体の特定領域の像と
   の位置のずれを検出することを特徴とする請求項５に記
   載の画像撮像装置。
7. 【請求項７】 前記画像撮像装置は、前記撮像部が前記
   被写体を撮像する時刻を設定する時刻設定部をさらに備
   え、前記推定画像生成部は、前記１つの視点位置で複数
   回撮像した場合における各撮像時刻と、各画像における
   前記被写体中の特定領域の像の位置とに基づき、前記１
   つの視点位置における所定の時刻の前記像の位置を推定
   することを特徴とする請求項６に記載の画像撮像装置。
8. 【請求項８】 前記撮像部は、 外界の映像を結像する結像部と前記結像部を透過した光
   の透過範囲を制限する少なくとも１つの開口を有する光
   制限部を有し、 前記視点位置移動部は、前記光制限部を動かすことによ
   り前記開口を複数の位置に移動させて前記複数の位置を
   実現することを特徴とする請求項３に記載の画像撮像装
   置。
9. 【請求項９】 前記撮像部は、 前記結像部と前記結像部を透過した光の透過範囲を制限
   する複数の開口を有する光制限部を有し、 前記視点位置移動部は、前記複数の開口の少なくとも１
   つを閉じることにより前記複数の位置を実現することを
   特徴とする請求項３に記載の画像撮像装置。
10. 【請求項１０】 前記視点位置移動部は、少なくとも同
    一直線上に並ばない３つの視点位置に、前記撮像部を移
    動させることを特徴とする請求項３に記載の画像撮像装
    置。
11. 【請求項１１】 前記撮像部は、少なくとも同一直線上
    に並ばない３つの位置に、前記複数の撮像ユニットを有
    することを特徴とする請求項２に記載の画像撮像装置。
12. 【請求項１２】 前記視点位置移動部は、前記撮像部を
    菱形の各頂点と中心の５つの位置に移動させることを特
    徴とする請求項１０に記載の画像撮像装置。
13. 【請求項１３】 前記撮像部は、前記複数の撮像ユニッ
    トを、少なくとも菱形の各頂点と中心の５つの位置に有
    することを特徴とする請求項１１に記載の画像撮像装
    置。
14. 【請求項１４】 前記撮像部は、２つの前記視点位置か
    ら前記被写体を撮像し、 前記制御部は、前記撮像部に前記２つの視点位置から前
    記被写体を交互に３回以上撮像させることを特徴とする
    請求項１に記載の画像撮像装置。
15. 【請求項１５】 被写体の奥行きに関する情報を取得す
    る画像処理装置であって、 複数の異なる視点位置から異なるタイミングで順次前記
    被写体を撮像した画像であって、少なくとも１つの同一
    の視点位置から撮像した２以上の画像を含む複数の画像
    を入力する入力部と、 前記同一視点位置における２以上の画像に基づき、前記
    同一視点位置と異なる視点位置での撮像と同時刻におい
    て前記同一視点位置から撮像されたと仮定した場合の前
    記被写体の特定領域の像を推定する推定画像生成部と、 前記同一視点位置と異なる視点位置から見た前記被写体
    の特定領域の像と、前記推定された前記被写体の特定領
    域の像との位置のずれを検出する位置ずれ検出部と、 前記位置ずれ検出部が検出した前記位置ずれに基づい
    て、前記被写体の前記特定領域の奥行きを算出する奥行
    き算出部とを備えたことを特徴とする画像処理装置。
16. 【請求項１６】 前記推定画像生成部は、前記同一視点
    位置で複数回撮像した場合における各撮像時刻と、各画
    像における前記被写体中の特定領域の像の位置とに基づ
    き、前記同一視点位置と異なる視点位置での撮像と同時
    刻に、前記同一視点位置から前記被写体の特定領域の像
    を見た場合の前記像の位置を推定することを特徴とする
    請求項１５に記載の画像処理装置。
17. 【請求項１７】 前記推定画像生成部は、前記同一視点
    位置で複数回撮像した場合における前記被写体の特定領
    域の各像の位置と大きさとに基づき、前記同一視点位置
    と異なる視点位置での撮像と同時刻に、前記同一視点位
    置から前記被写体の特定領域の像を見た場合の前記像の
    位置を推定することを特徴とする請求項１５に記載の画
    像処理装置。
18. 【請求項１８】 前記推定画像生成部は、前記同一視点
    位置で撮像された２枚以上の画像における前記被写体の
    像の位置又は大きさに変化がある領域と、前記被写体の
    像の位置及び大きさに変化がない領域とに分け、前記変
    化のない領域について前記推定画像を推定する場合に、
    前記同一視点位置で撮像された２枚以上の画像の１枚を
    推定画像とすることを特徴とする請求項１５に記載の画
    像処理装置。
19. 【請求項１９】 前記入力部は、異なる２つの前記視点
    位置から交互に前記被写体を撮像した複数の画像を入力
    し、 前記推定画像生成部は、一方の視点位置から撮像された
    一の画像と、前記一の画像より前のタイミングで前記一
    方の視点位置から撮像された画像とを用いて、第１の推
    定処理を行い、さらに、前記第１の推定処理の後に、前
    記一の画像より後のタイミングで前記一方の視点位置か
    ら撮像された画像と、前記一の画像とを用いて、第２の
    推定処理を行い、 前記位置ずれ検出部は、前記第１の推定処理と前記第２
    の推定処理の間に、前記一の画像と、他方の視点位置か
    ら撮像した画像とを用いて、前記位置のずれを検出する
    ことを特徴とする請求項１５に記載の画像処理装置。
20. 【請求項２０】 被写体の奥行きに関する情報を取得す
    る画像撮像方法であって、 第１の視点位置における第１の時刻での前記被写体の第
    １の画像を撮像し、 第２の視点位置における第２の時刻での前記被写体の第
    ２の画像を撮像し、 第１の視点位置における第３の時刻での前記被写体の第
    ３の画像を撮像し、 前記第１の画像と第３の画像に基づいて第１の視差位置
    における第２の時刻での前記被写体の特定領域の像を推
    定し、 前記推定した前記被写体の特定領域の像と第２の画像に
    おける前記被写体の特定領域の像の位置のずれを検出
    し、 前記位置ずれに基づいて、前記被写体の前記特定領域の
    奥行きを算出することを特徴とする画像撮像方法。
21. 【請求項２１】 被写体の奥行きに関する情報を取得す
    るコンピュータ用のプログラムを格納した記録媒体であ
    って、前記プログラムが、 複数の異なる視点位置から順次前記被写体を撮像した画
    像であって、少なくとも１つの同一の視点位置から撮像
    した２以上の画像を含む複数の画像を入力する入力モジ
    ュールと、 前記同一視点位置における２以上の画像に基づき、前記
    同一視点位置と異なる視点位置での撮像と同時刻におい
    て前記同一視点位置から撮像されたと仮定した場合の前
    記被写体の特定領域の像を推定する推定画像生成モジュ
    ールと、 前記同一視点位置と異なる視点位置から見た前記被写体
    の特定領域の像と、前記推定された前記被写体の特定領
    域の像との位置のずれを検出する位置ずれ検出モジュー
    ルと、 前記位置ずれ検出部が検出した前記位置ずれに基づい
    て、前記被写体の前記特定領域の奥行きを算出する奥行
    き算出モジュールとを備えたことを特徴とする記憶媒
    体。
22. 【請求項２２】 被写体の奥行きに関する情報を取得す
    るコンピュータ用のプログラムであって、 複数の異なる視点位置から異なるタイミングで順次前記
    被写体を撮像した画像であって、少なくとも１つの同一
    の視点位置から撮像した２以上の画像を含む複数の画像
    を入力する入力モジュールと、 前記同一視点位置における２以上の画像に基づき、前記
    同一視点位置と異なる視点位置での撮像と同時刻におい
    て前記同一視点位置から撮像されたと仮定した場合の前
    記被写体の特定領域の像を推定する推定画像生成モジュ
    ールと、 前記同一視点位置と異なる視点位置から見た前記被写体
    の特定領域の像と、前記推定された前記被写体の特定領
    域の像との位置のずれを検出する位置ずれ検出モジュー
    ルと、 前記位置ずれ検出部が検出した前記位置ずれに基づい
    て、前記被写体の前記特定領域の奥行きを算出する奥行
    き算出モジュールとを備えたことを特徴とするプログラ
    ム。