JP2011091463A - ３ｄ撮像装置およびその動作制御方法 - Google Patents

Abstract

【目的】自動で２Ｄ撮像と３Ｄ撮像とを判定する。
【構成】２つの固体電子撮像装置を備えた３Ｄ撮像装置を用いて第１の被写体像31と第２の被写体像41とが得られる。共通部分の被写体像55の位置が合わせられて重畳画像50が得られる。重畳画像50が複数の区画に分割される。分割された複数の区画ごとに合焦評価値が算出される。最大の合焦評価値を与える区画が共通の被写体像55にあれば３Ｄ撮像が行われる。最大の合焦評価値を与える区画が共通の被写体像55になければ２Ｄ撮像が行われる。
【選択図】図４

Description

この発明は，３Ｄ撮像装置およびその動作制御方法に関する。

３Ｄ撮像できるディジタル・カメラにおいては２Ｄ撮像と３Ｄ撮像とを切り替えることができないものがある（特許文献１，２）。また，手動により２Ｄ撮像と３Ｄ撮像とを切り替えることができるものもある（特許文献３）。光スイッチング装置において２Ｄ表示モードと３Ｄ表示モードとを切り替えることができるものもあるが（特許文献４），切り替え方法に関することは言及されていない。

２Ｄ映像表示と３Ｄ映像表示とを切り替えることができるもの，３次元表示に適さない場合に別の表示形態で表示できる画像データを生成するものもあるが（特許文献５，６，７），すでに得られている２Ｄ表示用のデータ等と３Ｄ表示用のデータ等とを表示用に読み出すものであり，２Ｄ撮像を行う場合と３Ｄ撮像を行う場合との撮像時の切り替えには適用できない。

特開平8-194274号公報 特開2005-70077号公報 特開平8-317425号公報 特許第4284186号公報 特開2007-65067号公報 特開2009-42314号公報 特開2005-167310号広報

この発明は，３Ｄ表示用の画像データの撮像と２Ｄ表示用の画像データの撮像とを適切に切り替えることができるようにすることを目的とする。

第１の発明による３Ｄ撮像装置は，被写体を撮像し，第１の被写体像を表す第１の画像データを出力する第１の固体電子撮像装置，被写体を撮像し，第２の被写体像を表す第２の画像データを出力する第２の固体電子撮像装置，上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを用いて同じタイミングで撮像することにより得られる第１の被写体像と第２の被写体像とを，共通の被写体像部分について位置が合わせられた重畳画像を複数の部分画像に分けた場合において，その複数の部分画像のそれぞれの合焦評価値を算出する合焦評価値算出手段，上記合焦評価値算出手段によって算出された複数の部分画像のそれぞれの合焦評価値のうちの最大の合焦評価値を与える部分画像が，上記共通の被写体像部分に存在するかどうかを判定する第１の判定手段，上記第１の判定手段によって，最大の合焦評価値を与える部分画像が上記共通の被写体像部分に存在すると判定されたことにより，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御し，上記第１の固体電子撮像装置から第１の画像データを，上記第２の固体電子撮像装置から第２の画像データを出力するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御する３Ｄ撮像制御手段，ならびに上記第１の判定手段によって，最大の合焦評価値を与える部分画像が上記共通の被写体像部分に存在しないと判定されたことにより，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置または上記第２の固体電子撮像装置のいずれか一方を制御し，上記第１の固体電子撮像装置から第１の画像データを出力する，あるいは上記第２の固体電子撮像装置から第２の画像データを出力するように上記第１の固体電子撮像装置または上記第２の固体電子撮像装置を制御する２Ｄ撮像制御手段を備えていることを特徴とする。

第１の発明は，上記３Ｄ撮像装置に適した動作制御方法も提供している。すなわち，この方法は，被写体を撮像し，第１の被写体像を表す第１の画像データを出力する第１の固体電子撮像装置および被写体を撮像し，第２の被写体像を表す第２の画像データを出力する第２の固体電子撮像装置を備えた３Ｄ撮像装置の動作制御方法において，合焦評価値算出手段が，上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを用いて同じタイミングで撮像することにより得られる第１の被写体像と第２の被写体像とを，共通の被写体像部分について位置が合わせられた重畳画像を複数の部分画像に分けた場合において，その複数の部分画像のそれぞれの合焦評価値を算出し，第１の判定手段が，上記合焦評価値算出手段によって算出された複数の部分画像のそれぞれの合焦評価値のうちの最大の合焦評価値を与える部分画像が，上記共通の被写体像部分に存在するかどうかを判定し，３Ｄ撮像制御手段が，上記第１の判定手段によって，最大の合焦評価値を与える部分画像が上記共通の被写体像部分に存在すると判定されたことにより，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御し，上記第１の固体電子撮像装置から第１の画像データを，上記第２の固体電子撮像装置から第２の画像データを出力するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御し，２Ｄ撮像制御手段が，上記第１の判定手段によって，最大の合焦評価値を与える部分画像が上記共通の被写体像部分に存在しないと判定されたことにより，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置または上記第２の固体電子撮像装置のいずれか一方を制御し，上記第１の固体電子撮像装置から第１の画像データを出力する，あるいは上記第２の固体電子撮像装置から第２の画像データを出力するように上記第１の固体電子撮像装置または上記第２の固体電子撮像装置を制御するものである。

第１の固体電子撮像装置を用いて被写体を撮像することにより得られる第１の被写体像と第２の固体電子撮像装置を用いて被写体を撮像することにより得られる第２の被写体像との共通の被写体像部分が３Ｄ表示用の画像となる。第１の発明によると，この共通の被写体像部分に，画像を複数の部分に分けた場合の部分画像の最大の合焦評価値が存在するかどうかが判定される。そのような部分画像が存在する場合には，３Ｄ撮像が行われて，得られた第１の画像データと第２の画像データとの両方の画像データが出力される。そのような部分画像が存在しない場合には，２Ｄ撮像が行われて，得られた第１の画像データまたは第２の画像データのいずれかの画像データが出力される。最大の合焦評価値である部分画像は合焦していることを示しているから，そのような部分画像が共通部分に存在する場合には，３Ｄ表示した場合にぼけの無い立体画像が得られる。３Ｄ撮像に適した条件となるので，３Ｄ撮像が行われる。３Ｄ撮像（立体撮像）と２Ｄ撮像（平面撮像）とを自動で切り替えることができるようになる。部分画像の最大の合焦評価値が共通部分に存在しなく，共通部分以外の第１の被写体像または第２の被写体像のいずれかに存在する場合には，第１の被写体像または第２の被写体像のうち，合焦評価値が所定のしきい値以上となるような部分画像が存在するような被写体像を表す画像データを記録するように２Ｄ撮像が行われることが好ましい。

上記第１の判定手段によって，最大の合焦評価値を与える部分画像が上記共通の被写体像部分に存在すると判定されたことにより，上記共通の被写体像部分に存在する最大の合焦評価値を与える部分画像と最大の合焦評価値から所定範囲内の合焦評価値を与える部分画像とが所定間隔開いて存在しているかどうかを判定する第２の判定手段，上記第２の判定手段によって，最大の合焦評価値を与える部分画像が上記共通の被写体像部分に存在すると判定されたことにより，上記共通の被写体像部分に存在する最大の合焦評価値を与える部分画像と最大の合焦評価値から所定範囲内の合焦評価値を与える部分画像とが所定間隔開いて存在していると判定されたことにより，最大の合焦評価値を与える部分画像の被写体と最大の合焦評価値から所定範囲内の合焦評価値を与える部分画像の被写体との距離差を表す第１の距離差を算出する第１の距離差算出手段，および上記第１の距差算出手段によって算出された第１の距離差が所定のしきい値以上となるかどうかを判定する第３の判定手段をさらに備えてもよい。

この場合，上記３Ｄ撮像制御手段は，たとえば，上記第３の判定手段によって，被写体の第１の距離差が所定のしきい値以上となる部分画像が存在すると判定されたことに応じて，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御し，上記第１の固体電子撮像装置から第１の画像データを，上記第２の固体電子撮像装置から第２の画像データを出力するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御するものであり，上記２Ｄ撮像制御手段は，たとえば，上記第２の判定手段によって，最大の合焦評価値から所定範囲内の合焦評価値を与え，かつ所定間隔開いている２つの部分画像が上記共通の被写体像部分に存在しないと判定されたことにより，あるいは上記第３の判定手段によって，最大の合焦評価値から所定範囲内の合焦評価値を与える部分画像が存在しないと判定されたことにより，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置または上記第２の固体電子撮像装置のいずれか一方を制御し，上記第１の固体電子撮像装置から第１の画像データを出力する，あるいは上記第２の固体電子撮像装置から第２の画像データを出力するように上記第１の固体電子撮像装置または上記第２の固体電子撮像装置を制御するものとなろう。

また，上記第２の判定手段によって，最大の合焦評価値を与える部分画像と最大の合焦評価値から所定範囲内の合焦評価値を与える部分画像とが所定間隔開いて存在しないと判定されたことに応じて，最大の合焦評価値を与える部分画像の被写体と，その部分画像に隣接する部分画像の被写体との距離差を表す第２の距離差を算出する第２の距離差算出手段をさらに備えてもよい。この場合，上記第３の判定手段は，たとえば，上記第１の距離差または上記第２の距離差が所定のしきい値以上となるかどうかを判定するものであり，上記３Ｄ撮像制御手段は，たとえば，上記第３の判定手段によって，被写体の第１の距離差または第２の距離差が所定のしきい値以上となる部分画像が存在すると判定されたことに応じて，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御し，上記第１の固体電子撮像装置から第１の画像データを，上記第２の固体電子撮像装置から第２の画像データを出力するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御するものである。

第２の発明による３Ｄ撮像装置は，第１の撮像範囲内の被写体を撮像し，第１の被写体像を表す第１の画像データを出力する第１の固体電子撮像装置，第２の撮像範囲内の被写体を撮像し，第２の被写体像を表す第２の画像データを出力する第２の固体電子撮像装置，上記第１の撮像範囲と上記第２の撮像範囲との共通の撮像範囲内に存在する主要被写体までの距離を測定する測距手段，上記測距手段によって測距された主要被写体までの距離が所定のしきい値以下かどうかを判定する第１の判定手段，上記第１の判定手段によって所定のしきい値以下と判定されたことに応じて，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置または上記第２の固体電子撮像装置のいずれか一方を制御し，上記第１の固体電子撮像装置から第１の画像データを出力する，あるいは上記第２の固体電子撮像装置から第２の画像データを出力するように上記第１の固体電子撮像装置または上記第２の固体電子撮像装置を制御する２Ｄ撮像制御手段，ならびに上記第１の判定手段によって，主要被写体までの距離が所定のしきい値よりも大きいと判定されたことに応じて，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御し，上記第１の固体電子撮像装置から第１の画像データを，上記第２の固体電子撮像装置から第２の画像データを出力するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御する３Ｄ撮像制御手段を備えていることを特徴とする。

第２の発明は，上記３Ｄ撮像装置に適した動作制御方法も提供している。すなわち，この方法は，第１の撮像範囲内の被写体を撮像し，第１の被写体像を表す第１の画像データを出力する第１の固体電子撮像装置および第２の撮像範囲内の被写体を撮像し，第２の被写体像を表す第２の画像データを出力する第２の固体電子撮像装置を備えた３Ｄ撮像装置の動作制御方法において，測距手段が，上記第１の撮像範囲と上記第２の撮像範囲との共通の撮像範囲内に存在する主要被写体までの距離を測定し，第１の判定手段が，上記測距手段によって測距された主要被写体までの距離が所定のしきい値以下かどうかを判定し，２Ｄ撮像制御手段が，上記第１の判定手段によって所定のしきい値以下と判定されたことに応じて，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置または上記第２の固体電子撮像装置のいずれか一方を制御し，上記第１の固体電子撮像装置から第１の画像データを出力する，あるいは上記第２の固体電子撮像装置から第２の画像データを出力するように上記第１の固体電子撮像装置または上記第２の固体電子撮像装置を制御し，３Ｄ撮像制御手段が，上記第１の判定手段によって，主要被写体までの距離が所定のしきい値よりも大きいと判定されたことに応じて，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御し，上記第１の固体電子撮像装置から第１の画像データを，上記第２の固体電子撮像装置から第２の画像データを出力するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御するものである。

第２の発明によると，第１の撮像範囲と第２の撮像範囲との共通の撮像範囲内に存在する主要被写体までの距離が測定される。主要被写体までの距離が所定のしきい値以下であれば，２Ｄ撮像が行われ，２Ｄ撮像により得られた画像データが記録媒体に記録される。主要被写体までの距離が所定のしきい値よりも大きければ，３Ｄ撮像が行われ，３Ｄ撮像により得られた画像データが出力される。主要被写体まで距離が短ければ立体画像として見づらいので２Ｄ撮像が行われる。立体画像として見やすい場合に３Ｄ撮像を行うことができる。

上記２Ｄ撮像制御手段は，たとえば，上記第１の判定手段によって所定のしきい値以下と判定されたことに応じて，シャッタ・レリーズに応じた第１のタイミングで撮像するように上記第１の固体電子撮像装置または上記第２の固体電子撮像装置のいずれか一方を制御し，上記第１の固体電子撮像装置から第１の画像データを出力する，あるいは上記第２の固体電子撮像装置から第２の画像データを出力し，かつシャッタ・レリーズに応じた第２のタイミングで撮像するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置との両方を制御し，上記第１の固体電子撮像装置から第１の画像データおよび上記第２の固体電子撮像装置から第２の画像データを出力するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御するものである。

また，上記２Ｄ撮像制御手段は，上記第１の判定手段によって所定のしきい値以下と判定されたことに応じて，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置との両方を制御し，上記第１の固体電子撮像装置から得られる第１の画像データおよび上記第２の固体電子撮像装置から得られる第２の画像データを３Ｄ画像用として出力し，上記シャッタ・レリーズに応じたタイミングの撮像により得られる第１の画像データまたは第２の画像データのいずれか一方を２Ｄ画像用として出力するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御するものでもよい。

第３の発明による３Ｄ撮像装置は，第１の撮像範囲内の被写体を撮像し，第１の被写体像を表す第１の画像データを出力する第１の固体電子撮像装置，第２の撮像範囲内の被写体を撮像し，第２の被写体像を表す第２の画像データを出力する第２の固体電子撮像装置，主要被写体までの距離との距離差が所定のしきい値以上となるような被写体部分が，上記第１の撮像範囲と上記第２の撮像範囲との共通の撮像範囲を分割した複数の分割範囲のそれぞれの範囲内に存在する被写体部分の中に複数存在するかどうかを判定する第１の判定手段，上記第１の判定手段によって主要被写体までの距離との距離差が所定のしきい値以上となるような被写体部分が複数存在しないと判定されたことに応じて，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置または上記第２の固体電子撮像装置のいずれか一方を制御し，上記第１の固体電子撮像装置から出力された第１の画像データを出力する，あるいは上記第２の固体電子撮像装置から第２の画像データを出力するように上記第１の固体電子撮像装置または上記第２の固体電子撮像装置を制御する２Ｄ撮像制御手段，ならびに上記第１の判定手段によって主要被写体までの距離との距離差が所定のしきい値以上となるような被写体部分が複数存在すると判定されたことに応じて，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御し，上記第１の固体電子撮像装置から第１の画像データを，上記第２の固体電子撮像装置から第２の画像データを出力するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御する３Ｄ撮像制御手段を備えていることを特徴とする。

第３の発明は，上記３Ｄ撮像装置に適した動作制御方法も提供している。すなわち，この方法は，第１の撮像範囲内の被写体を撮像し，第１の被写体像を表す第１の画像データを出力する第１の固体電子撮像装置および第２の撮像範囲内の被写体を撮像し，第２の被写体像を表す第２の画像データを出力する第２の固体電子撮像装置を備えた３Ｄ撮像装置において，第１の判定手段が，主要被写体までの距離との距離差が所定のしきい値以上となるような被写体部分が，上記第１の撮像範囲と上記第２の撮像範囲との共通の撮像範囲を分割した複数の分割範囲のそれぞれの範囲内に存在する被写体部分の中に複数存在するかどうかを判定し，２Ｄ撮像制御手段が，上記第１の判定手段によって主要被写体までの距離との距離差が所定のしきい値以上となるような被写体部分が複数存在しないと判定されたことに応じて，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置または上記第２の固体電子撮像装置のいずれか一方を制御し，上記第１の固体電子撮像装置から第１の画像データを出力する，あるいは上記第２の固体電子撮像装置から第２の画像データを出力するように上記第１の固体電子撮像装置または上記第２の固体電子撮像装置を制御し，３Ｄ撮像制御手段が，上記第１の判定手段によって主要被写体までの距離との距離差が所定のしきい値以上となるような被写体部分が複数存在すると判定されたことに応じて，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御し，上記第１の固体電子撮像装置から第１の画像データを，上記第２の固体電子撮像装置から第２の画像データを出力するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御するものである。

第３の発明によると，第１の撮像範囲と第２の撮像範囲との共通の撮像範囲を分割した複数の分割範囲のそれぞれの範囲内に存在する被写体までの距離と主要被写体までの距離との距離差が所定のしきい値以上となるような被写体部分が複数存在するかどうかが判定される。そのような被写体部分が複数存在する場合には３Ｄ撮像が行われる。そのような被写体部分が複数存在しない場合には２Ｄ撮像が行われる。距離差が所定のしきい値以上となるような被写体部分が複数存在する場合には，立体画像として見やすいので３Ｄ撮像が行われる。逆にそのような被写体部分が複数存在しない場合には立体画像として見づらいので２Ｄ撮像が行われる。立体画像として見やすい場合に３Ｄ撮像を行うことができる。

上記２Ｄ撮像制御手段は，たとえば，上記第１の判定手段によって主要被写体までの距離との距離が所定のしきい値以上となるような被写体部分が複数存在すると判定されたことに応じて，シャッタ・レリーズに応じた第１のタイミングで撮像するように上記第１の固体電子撮像装置または上記第２の固体電子撮像装置のいずれか一方を制御し，上記第１の固体電子撮像装置から得られる第１の画像データまたは上記第２の固体電子撮像装置から得られる第２の画像データを出力し，かつシャッタ・レリーズに応じた第２のタイミングで撮像するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置との両方を制御し，上記第１の固体電子撮像装置から得られる第１の画像データおよび上記第２の固体電子撮像装置から得られる第２の画像データとを出力するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御するものである。

また，上記２Ｄ撮像制御手段は，上記第１の判定手段によって主要被写体までの距離との距離が所定のしきい値以上となるような被写体部分が複数存在すると判定されたことに応じて，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置との両方を制御し，上記第１の固体電子撮像装置から得られる第１の画像データおよび上記第２の固体電子撮像装置から得られる第２の画像データを３Ｄ画像用として出力し，上記シャッタ・レリーズに応じたタイミングの撮像により得られた第１の画像データまたは第２の画像データのいずれか一方を２Ｄ画像用として出力するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御するものでもよい。

３Ｄ撮像装置の電気的構成を示すブロック図である。 第１の被写体像の一例である。 第２の被写体像の一例である。 重畳画像の一例である。 重畳画像を複数の区画に分割している。 重畳画像を複数の区画に分割した場合の各区画の被写体像の合焦値である。 撮像処理手順を示すフローチャートである。 撮像処理手順を示すフローチャートである。 重畳画像の一例である。 撮像レンズ位置と合焦評価値との関係を示している。 撮像処理手順を示すフローチャートである。 重畳画像の一例である。 撮像処理手順を示すフローチャートである。 ３Ｄ撮像装置の電気的構成を示すブロック図である。 撮像処理手順を示すフローチャートである。 撮像処理手順を示すフローチャートである。 警告表示の一例である。 共通する被写体像の一例である。 分割された区画ごとの被写体までの距離を示している。 撮像処理手順を示すフローチャートである。

図１は，この発明の実施例を示すもので，３Ｄ撮像装置の電気的構成を示すブロック図である。

３Ｄ撮像装置の全体の動作は，ＣＰＵ１によって統括される。

ＣＰＵ１には，二段ストローク・タイプのシャッタ・レリーズ・ボタン，２Ｄ撮像を手動で選択する２Ｄ撮像モード手動設定スイッチ，３Ｄ撮像を手動で選択する３Ｄ撮像モード手動設定スイッチ，２Ｄ撮像または３Ｄ撮像を自動で判定して撮像するときに設定される撮像モード自動判定スイッチ，電源ボタンなどを含む操作装置２および動作プログラム，所定のデータを記憶する主記憶装置３が接続されている。操作装置２からの操作信号は，ＣＰＵ１に入力する。

３Ｄ撮像装置には，第１の被写体を撮像し，第１の被写体像を表す第１の画像データを出力する第１の固体電子撮像装置12が含まれている。この第１の固体電子撮像装置12には，被写体を撮像するＣＣＤ（図示略）などの固体電子撮像素子が含まれている。固体電子撮像素子の受光面前方には第１の撮像レンズ11が設けられている。第１の撮像レンズ11の位置は撮像制御装置15によって制御される。また，３Ｄ撮像装置には，第２の被写体を撮像し，第２の被写体像を表す第２の画像データを出力する第２の固体電子撮像装置14が含まれている。この第２の固体電子撮像装置14にもＣＣＤ（図示略）などの固体電子撮像素子が含まれており，固体電子撮像素子の受光面前方に第２の撮像レンズ13が設けられている。第２の撮像レンズ13も撮像制御装置15によって位置が制御される。３Ｄ撮像の場合，第１の被写体と第２の被写体とは一部が重複するように撮像され，その重複部分の被写体像が立体画像表示として利用される。

第１の固体電子撮像装置12から出力された第１の画像データおよび第２の固体電子撮像装置14から出力された第２の画像データは撮像制御装置15に入力する。撮像制御装置15には，ＡＦ（自動合焦）制御装置16も含まれている。撮像制御装置15に入力した第１の画像データおよび第２の画像データは，ＡＦ制御装置16に入力する。ＡＦ制御装置16において，第１の固体電子撮像装置12に含まれている固体電子撮像素子の受光面に第１の被写体像が合焦するように第１の合焦評価値が生成される。その第１の合焦評価値にもとづいて，第１の撮像レンズ11の位置が制御される。同様に，ＡＦ制御装置16において，第２の固体電子撮像装置14に含まれている固体電子撮像素子の受光面に第２の被写体像が合焦するように第２の合焦評価値が生成される。その第２の合焦評価値にもとづいて第２の撮像レンズ13の位置が制御される。

２Ｄ撮像または３Ｄ撮像を自動で判定して撮像するときに設定される撮像モード自動判定スイッチにより，撮像モード自動判定が設定されている場合には，撮像制御装置15から出力される第１の画像データおよび第２の画像データは自動モード判定装置20に入力する。撮像制御装置15に入力した第１の画像データおよび第２の画像データは立体撮像判定装置21を介してＡＦ位置判定装置22に入力する。ＡＦ位置判定装置22において，最も合焦している部分が第１の被写体像と第２の被写体像とのうちどの部分に位置しているかが判定される。その判定結果を表すデータが立体撮像判定装置21に入力する。最も合焦している部分の位置に応じて立体撮像（３Ｄ撮像）とするか平面撮像（２Ｄ撮像）とするかが判定される。また，自動モード判定装置20には奥行判定装置23も含まれている。この奥行判定装置23による奥行判定によっても立体撮像とするか平面撮像とするかを判定することができる。これらの判定処理について詳しくは後述する。

第１の画像データ（第２の画像データでもよい）が撮像周期で画像表示制御装置４に与えられることにより，画像表示装置５の表示画面上に第１の被写体像がスルー画（撮像周期での動画）表示される。

シャッタ・レリーズ・ボタンが押されると，立体撮像が行われる場合には，第１の画像データおよび第２の画像データは立体画像処理装置８に入力する。立体画像処理装置８において，第１の被写体像と第２の被写体像との視差調整，第１の被写体像と第２の被写体像との共通の画像部分の位置あわせ，圧縮,白バランス調整などの所定の立体画像処理が行われる。立体画像処理装置８から出力された第１の画像データおよび第２の画像データは画像記録再生制御装置６によってメモリ・カード７に記録される。第１の画像データおよび第２の画像データではなく，第１の画像データのうち第１の被写体像と第２の被写体像との共通部分の画像データおよび第２の画像データのうち第１の被写体像と第２の被写体像との共通部分の画像データをメモリ・カード７に記録するようにしてもよい。

同様に，平面撮像が行われる場合には，第１の画像データ（第２の画像データでもよい）が平面画像処理装置９に入力し，圧縮，白バランス調整など所定の平面画像処理が行われる。平面画像処理装置９から出力された第１の画像データが画像記録再生制御装置６によってメモリ・カード７に記録されるようになる。

図２は，第１の固体電子撮像装置12によって撮像された第１の被写体像30の一例である。第１の被写体像30には，人物像31，32および33が含まれている。

図３は，第２の固体電子撮像装置14によって，第１の固体電子撮像装置12と同じタイミングで撮像された第２の被写体像40の一例である。第２の被写体像40には，人物像41，42および43が含まれている。

図２に示す第１の被写体像30の左側ほぼ２／３の被写体像部分35と,図３に示す第２の被写体像40の右側ほぼ２／３の被写体像部分45とは共通する被写体像部分である（厳密にいえば，視差があるので異なるが同じ撮像範囲であり，この実施例では共通する被写体像部分と呼ぶこととする）。

図４は，重畳画像50の一例である。

重畳画像50は，図２に示す第１の被写体像30と図２に示す第２の被写体像40とを共通の画像部分35と45とが一致するように位置あわせされて重ねあわされた画像である。重畳画像50の中央部分には，第１の被写体像30と第２の被写体像40との共通に含まれている被写体像部分55とされている。この中央の共通被写体像部分55の右側には第１の被写体像30にのみ含まれている被写体像部分56があり，共通被写体像部分55の左側には第２の被写体像40にのみ含まれている被写体像部分57がある。

共通被写体像部分55には，第１の被写体像30および第２の被写体像40にいずれも含まれている人物像32（42）および33（43）が表示されている。共通被写体像部分55の右側の被写体像部分56には，第１の被写体像30には含まれているが第２の被写体像40には含まれていない人物像31が表示されている。共通被写体像部分55の左側の被写体像部分57には，第２の被写体像40には含まれているが第１の被写体像30には含まれていない人物像41が表示されている。

共通被写体像部分55に相当する第１の被写体像30の左側の被写体像部分35および第２の被写体像40の右側の被写体像部分45が，上述のように立体表示に利用される画像となる。

図５は，重複画像50が複数の区画に分割された様子を示している。

重複画像50が横方向９個縦方向６個の複数の区画di１〜di54に分割されている（分割数はいずれでもよいのはいうまでもない）。この実施例においては，撮像レンズ11および12がホーム・ポジションから移動させられていわゆる合焦評価値が得られる（図10参照）。この合焦評価値は，分割された区画di１〜di54に対応して対応して区画ごとに得られる。

図６は，区画ごとに得られる合焦評価値を示している。

上述したように分割された区画di１〜di54のそれぞれの区画に対応して合焦評価値af１〜af54が得られている。上述したように重複被写体像部分55に対応する領域55Ａ内の合焦評価値は第１の被写体像30を表す第１の画像データと第２の被写体像40を表す第２の画像データとの両方の画像データが存在するが，いずれか一方の画像データを用いて合焦評価値が算出される。領域56Ａ内の合焦評価値は第１の画像データを用いて算出され，領域57Ａ内の合焦評価値は第２の画像データを用いて算出される。

この実施例においては，撮像モード自動判定が設定されている場合には，区画ごとに算出された合焦評価値のうち最大の合焦評価値が重複被写体像部分55に対応する領域55Ａに存在する場合には３Ｄ撮像が行われ，最大の合焦評価値が重複被写体像部分55に対応する領域55Ａに存在しない場合には２Ｄ撮像が行われる。好ましくは，第１の被写体像30のうち重複被写体像部分55以外に最大の合焦評価値が存在した場合には，第１の画像データが記録され，第２の被写体像40のうち重複被写体像部分55以外に最大の合焦評価値が存在した場合には第２の画像データが記録される。

図７および図８は，２Ｄ撮像または３Ｄ撮像を自動で判定して撮像するときに設定される撮像モード自動判定が設定されている場合の撮像処理手順を示すフローチャートである。

上述のように，立体撮像が行われる（ステップ61）。すなわち，第１の固体電子撮像装置12と第２の固体電子撮像装置14との両方を用いて第１の被写体と第２の被写体とが撮像される。上述したように，第１の被写体像30と第２の被写体像40との共通部分が検出される（ステップ62）。共通部分は第１の固体電子撮像装置12の撮影範囲と第２の固体電子撮像装置14の撮影範囲とから決定される。

シャッタ・レリーズ・ボタンの第一段階の押し下げがあると（ステップ63でＹＥＳ），上述したようにＡＦ処理が行われる（ステップ64）。これにより，第１の被写体像30と第２の被写体像40との重複画像50を分割して得られた区画ごとに合焦評価値が算出される（図６）。

区画ごとに算出された合焦評価値のうち，最大の合焦評価値を与える区画が共通の被写体像部分に存在すれば（ステップ65でＹＥＳ），立体撮像を行うように設定される（ステップ66）。最大の合焦評価値を与える区画が共通の被写体像部分に存在しなければ（ステップ65でＮＯ），平面撮像を行うように設定される（ステップ67）。

シャッタ・レリーズ・ボタンの第二段階の押し下げがあると（ステップ68でＹＥＳ），立体撮像を行うように設定されているかどうかが判定される（ステップ69）。

立体撮像を行うように設定されていると，第１の固体電子撮像装置12と第２の固体電子撮像装置14とを用いて被写体を撮像する立体撮像が行われる（ステップ70）。立体撮像により得られた第１の画像データと第２の画像データとがメモリ・カード７に記録される（ステップ72）。もっとも，上述したように立体表示には第１の被写体像と第２の被写体像との共通の被写体像部分が利用されるので，第１の画像データのうち共通の被写体像部分の画像データと第２の画像データのうち共通の被写体像部分の画像データとをメモリ・カード７に記録するようにしてもよい。

平面撮像を行うように設定されていると，第１の固体電子撮像装置12または第２の固体電子撮像装置14のいずれかを用いて撮像（平面撮像）が行われる（ステップ71）。平面撮像により得られた画像データがメモリ・カード７に記録される（ステップ72）。シャッタ・レリーズ・ボタンの第一段階の押し下げ前に表示画面に表示される被写体像が第１の固体電子撮像装置12によって撮像されるものであれば，第１の固体電子撮像装置12を用いて平面撮像が行われ，そうでなければ第２の固体電子撮像装置14を用いて平面撮像が行われるようにすることができる。また，上述のように，共通被写体像部分以外の第１の被写体像に最大の合焦評価値を与える区画が存在すれば第１の固体電子撮像装置12を用いて平面撮像を行い，共通被写体像部分以外の第２の被写体像に最大の合焦評価値を与える区画が存在すれば第２の固体電子撮像装置14を用いて平面撮像を行うようにしてもよい。

図４に示す例では，たとえば，人物像31に対応する区画が最大の合焦評価値を与えている場合には平面撮像が行われ，人物像33に対応する区画が最大の合焦評価値を与えている場合に立体撮像が行われる。

図９から図11は，他の実施例を示している。

この実施例では，上述したように共通の被写体像部分に最大の合焦評価値を与える区画が存在し，かつその共通の被写体像部分に最大の合焦評価値に近い合焦評価値が点在する場合には，最大の合焦評価値を与える区画に対応する被写体部分と最大の合焦評価値に近い合焦評価値を与える区画に対応する被写体部分との奥行とが所定のしきい値以上の場合に立体撮像とし，所定のしきい値未満の場合に平面撮像とするものである。

図９は，重複画像80の一例である。

重複画像80は，第１の固体電子撮像装置12を用いて撮像することにより得られた第１の被写体像88と，第２の固体電子撮像装置14を用いて撮像することにより得られた第２の被写体像89とから構成されている。第１の被写体像88と第２の被写体像89との共通の被写体像部分85の位置が合わせられている。

共通の被写体像部分85に人物像81，82，83および84が含まれている。人物像81に含まれている顔の画像部分の合焦評価値（区画di81）が最大であり，人物像83に含まれている顔の画像部分の合焦評価値（区画di83）が最大合焦評価値に近い（最大の合焦評価値から所定範囲内の合焦評価値）ものとする。

図10は，撮像レンズ位置と合焦評価値との関係を示している。

グラフＧ81は区画di81内の画像を表す画像データから得られる撮像レンズ位置と合焦評価値との関係を示し，グラフＧ83は区画di83内の画像を表す画像データから得られる撮像レンズ位置と合焦評価値との関係を示している。

グラフＧ81から分かるように，区画di81内の画像から得られる合焦評価値はaf81であり，区画di83内の画像から得られる合焦評価値はaf83である。最大の合焦評価値af81と合焦評価値af83との差が所定範囲内であったとする。最大の合焦評価値af81を与える撮像レンズ位置はＰ81であり，合焦評価値af83を与える撮像レンズ位置はＰ83である。撮像レンズ位置Ｐ81とＰ83とのレンズ位置差ΔＰが区画di81内の被写体部分と区画di83内の被写体部分との奥行きを示している。奥行きを表すレンズ位置差ΔＰが所定のしきい値より大きければ立体撮像が行われ，レンズ位置差ΔＰが所定のしきい値以下であれば平面撮像が行われる。

図11は，撮像処理手順の一部を示すフローチャートであり，図７および図８の処理手順の一部に相当する。図11において，図７または図８に示す処理と同一の処理については同一符号を付して説明を省略する。

上述したように共通の被写体像部分に最大の合焦評価値が存在すると（ステップ65でＹＥＳ），最大の合焦評価値に近い合焦評価値（最大の合焦評価値から所定範囲内の合焦評価値）を与える区画が共通の被写体像部分に点在するかどうかが判断される（ステップ91）。最大の合焦評価値に近い合焦評価値を与える区画が，最大の合焦評価値を与える区画に接していれば点在していないと判断され，接していなければ点在していると判断される。

最大の合焦評価値に近い合焦評価値が共通の被写体像部分に点在していると判断されると（ステップ91でＹＥＳ），上述したように最大の合焦評価値を与える区画内の被写体部分と，最大の合焦評価値に近い合焦評価値を与える区画内の被写体部分との奥行ΔＰが算出される（ステップ92）。所定の奥行きしきい値th１が設定され（ステップ93），奥行きΔＰと奥行きしきい値th１とが比較される（ステップ94）。奥行きΔＰが奥行きしきい値th１より大きければ（ステップ94でＹＥＳ），共通被写体像部分を立体的に表示した場合に立体的に見えるので立体撮像を行うように設定される（ステップ66）。奥行きΔＰが奥行きしきい値th１以下であれば（ステップ94でＮＯ），共通被写体像部分の被写体は平面的なので立体的に表示しても立体的に見ることは難しい。平面撮像を行うように設定される（ステップ67）。

奥行きは，上述したように撮像レンズ位置を利用もよいし，測距センサなどを用いて上述したように最大の合焦評価値を与える区画内の被写体部分と，最大の合焦評価値に近い合焦評価値を与える区画内の被写体部分との差を実際に測定するようにしてもよい。

図12および図13は，他の実施例を示している。

図12は，重畳画像100の一例である。

この実施例では，上述したように共通の被写体像部分に最大の合焦評価値を与える区画が存在し，かつその共通の被写体像部分に最大の合焦評価値に近い合焦評価値が点在しない場合に，最大の合焦評価値を与える区画に対応する被写体部分と最大の合焦評価値に隣接する区画に対応する被写体部分との奥行とが所定のしきい値以上の場合に立体撮像とし，所定のしきい値未満の場合に平面撮像とするものである。

重複画像100は，第１の固体電子撮像装置12を用いて撮像することにより得られた第１の被写体像101と，第２の固体電子撮像装置14を用いて撮像することにより得られた第２の被写体像102とから構成されている。第１の被写体像101と第２の被写体像102との共通の被写体像部分105の位置が合わせられている。共通の被写体像部分105には区画di13〜di15，di22〜di24，di31〜di33も図示されている。

共通の被写体像部分105に猫の画像107が含まれている。猫の画像107のうち，区画di23内の画像部分の合焦評価値が最大であるものとする。すると，区画di23に隣接する区画di13〜di15，di22，di24，di31〜di33内のそれぞれの被写体部分と最大の合焦評価値を与える区画di23内の被写体部分との奥行きが所定のしきい値以上であれば立体撮像が行われ，そうでなければ平面撮像が行われる。この奥行きも上述したように，撮像レンズ位置の差を利用して算出できる。

図13は，撮像処理手順の一部を示すフローチャートであり，図11の処理手順に対応する。図13において，図11に示す処理と同一の処理については同一符号を付して説明を省略する。

上述したように共通の被写体像部分に最大の合焦評価値が存在するが（ステップ65でＹＥＳ），最大の合焦評価値に近い合焦評価値が共通の被写体像部分に点在していないと判断されると（ステップ91でＮＯ），上述したように最大の合焦評価値を与える区画内の被写体部分と，最大の合焦評価値を与える区画に隣接する区画の被写体部分とのそれぞれの奥行ΔＰが算出される（ステップ95）。

その後は，所定の奥行きしきい値th１が設定され（ステップ93），奥行きΔＰと奥行きしきい値th１とが比較される（ステップ94）。奥行きΔＰが奥行きしきい値th１より大きければ（ステップ94でＹＥＳ），共通被写体像部分を立体的に表示した場合に立体的に見えるので立体撮像を行うように設定される（ステップ66）のは図11に示す処理と同様である。

上述した実施例において最大の合焦評価値に近い合焦評価値を与える区画が点在する場合（ステップ91でＹＥＳの場合）に設定される奥行きしきい値と，最大の合焦評価値に近い合焦評価値を与える区画が点在しない場合（ステップ91でＮＯ）に設定される奥行きしきい値とは異なるようにしてもよい。一般的には，最大の合焦評価値に近い合焦評価値を与え．合焦評価値を与える区画が点在しない場合に設定される奥行きしきい値の方が小さくなるであろう。

図14から図17は，さらに他の実施例を示している。

図14は，３Ｄ撮像装置の電気的構成を示すブロック図である。

３Ｄ撮像装置の全体の動作は，ＣＰＵ110によって統括される。

３Ｄ撮像装置には，二段ストローク・タイプのシャッタ・レリーズ・ボタン130が含まれている。シャッタ・レリーズ・ボタン130からの出力信号は，ＣＰＵ110に入力する。また，３Ｄ撮像装置には，動作プログラム，所定のデータを記憶するメモリ136も含まれている。

図14に示す３Ｄ撮像装置には，第１の撮像ユニット111と第２の撮像ユニット121とが含まれている。撮像ユニット（固体電子撮像装置）は２つでなく，３つ以上でもよい。

第１の撮像ユニット111には，第１のＣＣＤ（固体電子撮像装置）114が含まれている。この第１のＣＣＤ114の前方には，モータ・ドライバ117によってズーム位置が制御されるズーム・レンズ112およびモータ・ドライバ118によってレンズ位置が制御されるフォーカス・レンズ（撮像レンズ）113が配置されている。モータ・ドライバ117および118はＣＰＵ110によって制御される。第１のＣＣＤによって，第１の被写体が撮像され，第１の被写体像を表す第１の映像信号がアナログ／ディジタル変換回路115において第１の画像データに変換される。第１の画像データは，画像入力コントローラ116を介して第１の撮像ユニット111から出力される。

第１の画像データは画像信号処理回路132に入力し，白バランス調整などの所定の信号処理が行われる。画像信号処理回路132から出力した第１の画像データは，表示制御回路134を介して画像表示装置135に与えられる。画像表示装置135の表示画面に第１の被写体像がスルー画（動画）で表示されることとなる。

第２の撮像ユニット112には，第２のＣＣＤ（固体電子撮像装置）124が含まれている。第２のＣＣＤ124の前方にもモータ・ドライバ127によってズーム位置が制御されるズーム
レンズ122およびモータ・ドライバ128によってレンズ位置が制御されるフォーカス・レンズ123が配置されている。モータ・ドライバ127および128もＣＰＵ110によって制御される。第２のＣＣＤ124によって，第２の被写体が撮像され，第２の被写体像を表す第２の映像信号がアナログ／ディジタル変換回路125において第２の画像データに変換される。第２の画像データは画像入力コントローラ126を介して第２の撮像ユニット121から出力される。

上述したように，第１の被写体と第２の被写体は一部共通しており，その共通の部分を撮像して得られる被写体像部分が立体的に見えるようになる。

３Ｄ撮像とするか２Ｄ撮像とするかを自動で判定する撮像モード自動判定が設定されている場合に，シャッタ・レリーズ・ボタン130の第一段階の押下があると，第１の撮像ユニット111から出力した第１の画像データおよび第２の撮像ユニット112から出力した第２の画像データがＡＥ／ＡＦ（自動露光／自動合焦）検出回路131に入力する。ＡＥ／ＡＦ検出回路131において，主要被写体までの距離が算出される。算出された主要被写体までの距離が所定のしきい値以下であれば，２Ｄ撮像が行われるように判定される。算出された主要被写体までの距離が所定のしきい値より大きければ，３Ｄ撮像が行われるように判定される。２Ｄ撮像が行われる場合には第１の撮像ユニット111が動作するが，第２の撮像ユニット121は動作しないように撮像モード／判定切替回路139によって，第２の撮像ユニット121が制御される。３Ｄ撮像が行われる場合には第１の撮像ユニット111および第２の撮像ユニット121のいずれもが動作するように，撮像モード／判定切替回路139によって第２の撮像ユニット121が制御される。

主要被写体の位置は，第１の被写体像と第２の被写体像の共通の被写体像部分の中央部分に存在する被写体の位置としてもよいし，シャッタ・レリーズ・ボタン130の押し下げ前は第１の撮像ユニット111から出力される第１の被写体像がスルー画表示（アングル決定のための動画表示）されるから，第１の被写体像の中央部分に存在する被写体部分が主要被写体の位置としてもよい。第１の被写体像の中央部分に存在する被写体部分が主要被写体の位置とされる場合には，第１の被写体像を表す第１の画像データのみで主要被写体までの距離を算出できるので，第２の被写体像を表す第２の画像データはＡＥ／ＡＦ検出回路131に入力しなくともよい。また，被写体像（第１の被写体像，第２の被写体像または第１の被写体像と第２の被写体像との共通部分の被写体像のいずれでもよい）の顔検出処理を行い，検出された顔画像部分を主要被写体としてもよい。複数の顔画像部分が検出された場合には，顔画像らしさ，顔のサイズ，ユーザによる選択などにより主要被写体を決定することができる。顔検出は，画像信号処理回路132において行われる。

また，主要被写体までの距離は，現実に主要被写体までの距離を算出するのではなく，上述のように，主要被写体が存在する被写体像部分についてのＡＦ評価値を示すグラフを得，得られたグラフから最大のＡＦ評価値を与えるフォーカス・レンズ位置を利用してもよい。そのフォーカス・レンズ位置は実質的に主要被写体までの距離を示すものとなるので，フォーカス・レンズ位置を主要被写体までの距離の代わりに利用できる。

撮像モード自動判定が設定されている場合において，シャッタ・レリーズ・ボタン130の第二段階の押下があると，被写体までの距離に応じて３Ｄ撮像または２Ｄ撮像が行われる。

３Ｄ撮像が行われる場合には，第１の撮像ユニット111により第１の被写体が撮像され，第１の被写体像を表す第１の画像データが画像信号処理回路132に入力する。また，第１の撮像ユニット121の撮像タイミングと同じタイミングで第２の撮像ユニット121により第２の被写体が撮像され，第２の被写体像を表す第２の画像データが画像信号処理回路132に入力する。画像信号処理回路132において，第１の被写体像と第２の被写体像との共通部分の被写体像の位置あわせ等の所定の画像信号処理が行われる。第１の被写体像のうち共通部分の被写体像を表す画像データと，第２の被写体像のうち共通部分の被写体像を表す画像データとが圧縮処理回路133において圧縮される。圧縮された画像データが３Ｄ表示用の画像データとして，メディア・コントローラ137によってメモリ・カード138に記録される。もちろん，共通部分の画像データだけでなく，第１の被写体像を表す画像データと第２の被写体像を表す画像データと共通部分の被写体像の範囲を示すデータとを３Ｄ表示用のデータとしてメモリ・カード138に記録するようにしてもよい。

２Ｄ撮像モードが行われる場合には，第２の撮像ユニット121を用いた撮像は行われずに第１の撮像ユニット111を用いて第１の被写体像が撮像される。第１の撮像ユニット111から出力された第１の画像データは画像信号処理回路132に入力し，上述したように所定の信号処理が行われる。画像信号処理回路132から出力された第１の画像データが圧縮処理回路133において圧縮される。圧縮された第１の画像データがメディア・コントローラ137によってメモリ・カード138に記録される。

図15および図16は，３Ｄ撮像装置において撮像モード自動判定が設定された場合の撮像処理手順を示すフローチャートである。

撮像モード自動判定が設定されると，第１の撮像ユニット111および第２の撮像ユニット121を用いて第１の被写体および第２の被写体がそれぞれ撮像される（立体撮像，ステップ141）。また，平面撮像フラグがクリアされる（ステップ142）。

シャッタ・レリーズ・ボタン130の第一段階の押し下げがあると（ステップ143でＹＥＳ），上述したように，ＡＥ／ＡＦ検出回路131においてＡＦ処理が行われる（ステップ144）。ＡＦ処理において得られた合焦値にもとづいてフォーカス・レンズ113および123が位置決めさせられる。また，ＡＥ／ＡＦ検出回路131において露光量も算出され，シャッタ速度も決定される。

上述のように，ＡＦ処理において得られた合焦値から主要被写体までの距離が算出される（ステップ145）。算出された距離が所定のしきい値以下であれば（ステップ146でＹＥＳ），画像表示装置135の表示画面に警告が表示される（ステップ147）。

図17は，表示画面に表示される警告文の一例である。

表示画面160のほぼ中央に「近すぎるため，２Ｄ撮像モードに切り替えます」とう文字の警告文161が表示されている。主要被写体が近い場合には３Ｄ撮像して３Ｄ表示しても立体的に見えないことが多い。このために，この実施例では主要被写体が近い場合には２Ｄ撮像が行われる。３Ｄ撮像が行われずに２Ｄ撮像が行われることをユーザに知らせるために警告文161が表示される。

図15に戻って，上述のように主要被写体までの距離がしきい値以下であると（ステップ146でＹＥＳ），警告表示が行われるとともに平面撮像フラグがオンとされる（ステップ148）。

シャッタ・レリーズ・ボタン130の第二段階の押し下げがあると（ステップ149でＹＥＳ），平面撮像フラグがオンに設定されているかどうかが確認される（ステップ150）。平面撮像フラグがオンに設定されていると（ステップ150でＹＥＳ），平面撮像（第１の撮像ユニット111のみによる撮像）が行われる（ステップ151）。平面撮像フラグがオンに設定されていなければ（ステップ150でＮＯ），立体撮像（第１の撮像ユニット111と第２の撮像ユニット121とによる撮像）が行われる（ステップ152）。

平面撮像が行われた場合には，第１の撮像ユニット111の撮像にもとづいて得られた２Ｄ表示用の第１の画像データがメモリ・カード138に記録される（ステップ153）。立体撮像が行われた場合には，上述のように，第１の撮像ユニット111の撮像にもとづいて得られた第１の画像データのうち共通部分の画像データと，第２の撮像ユニット112の撮像にもとづいて得られた第２の画像データのうち共通部分の画像データとがメモリ・カード138に記録される。

上述の実施例においては，主要被写体が近い場合には平面撮像が行われているが，単に平面撮像が行われるのではなく，平面／立体連続撮像モードとしてもよい。平面／立体連続撮像モードでは，まず，第１の撮像ユニット111を用いた平面撮像が行われる。平面撮像後に，第１の撮像ユニット111を用いた撮像と第２の撮像ユニット121とを用いた撮像が同じタイミングで行われる（立体撮像）。平面撮像により得られた第１の画像データと，立体撮像により得られた第１の画像データのうち共通部分の画像データおよび第２の画像データのうち共通部分の画像データとがメモリ・カード138に記録される（３Ｄ用画像）。立体表示用の画像データもメモリ・カード138に記録されることとなる。もっとも，平面撮像と立体撮像とは異なるタイミングとせずに，立体撮像により得られた第１の画像データのうち共通部分の画像データおよび第２の画像データのうち共通部分の画像データと立体撮像により得られた第１の画像データ（または第２の画像データ）をメモリ・カード138に記録するようにしてもよい。また共通部分の画像データだけでなく３Ｄ用画像として第１の画像データと第２の画像データとをメモリ・カード138に記録してもよい。

図18から図20は，他の実施例を示している。この実施例では，第１の被写体像と第２の被写体像との共通部分の被写体像を複数の区画に分割した場合に，合焦させるべき被写体像部分が表す被写体部分までの距離と所定以上の距離差がある被写体部分が複数個存在する場合には立体撮像が行われ，複数個存在しない場合には平面撮像が行われる。

図18は，第１の被写体像と第２の被写体像との共通部分の被写体像の一例である。

共通部分の被写体像170は複数の区画171に分割されている。区画172内に主要被写体像としての顔の画像が存在している。区画172内の主要被写体像が合焦するように，合焦制御が行われる。

図19は，図18に示す共通の被写体像170を複数の区画に分割した場合における各区画内の被写体像部分が示す被写体までの距離を示している。

全体の領域180は，図18に示す共通の被写体像170に対応している。各区画181は，共通の被写体像170を分割した各区画171に対応している。区画182は，共通の被写体像170の顔画像の区画182に対応している。各区画181または182内に表示されている数字は，それらの区画に対応する被写体像が表す被写体までの距離を示している。

上述したように合焦するように選択された被写体像の部分は区画172の被写体像部分であり，区画182に示されているように，その被写体像部分が表す顔までの距離は２ｍである。その他の区画は，３ｍ，５ｍまたは∞ｍである。図19に示す例では，合焦させるべき被写体像部分が表す被写体部分までの距離と所定以上の距離差（たとえば，２ｍ）がある被写体部分が複数個存在するから立体撮像が行われることとなる。これらの距離も実際に距離を測定してもよいし（測距回路が設けられよう），各区画内の被写体像から得られる合焦値に対応するレンズ位置を利用してもよい。

図20は，撮像モード自動判定が設定された場合の撮像処理手順の一部を示すフローチャートである。この図において，図15または図16に示す処理と同一の処理については同一符号を付して説明を省略する。

上述したのと同様に，主要被写体での距離が算出される（ステップ145）。また，共通の被写体像部分が複数の区画に分割され，それぞれの区画内の被写体像が表す被写体までの距離が算出される。

主要被写体までの距離との距離差がしきい値以上あるような区画内の被写体像に対応する被写体が２つ以上存在するかどうかが判定される（ステップ151）。２つ以上存在しなければ（ステップ151でＮＯ），共通部分の被写体像が表す被写体は平面的であると考えられる。立体表示に適さないので，警告表示が行われて平面撮像フラグがオンされる（ステップ147，148）。平面撮像が行われることとなる。主要被写体までの距離との距離差がしきい値以上あるような区画内の被写体像に対応する被写体が２つ以上存在すれば（ステップ151でＹＥＳ），ステップ147および148がスキップされる。立体撮像が行われることとなる。

この実施例においても，主要被写体までの距離との距離差がしきい値以上あるような区画内の被写体像に対応する被写体が２つ以上存在しない場合に，単に平面撮像するのではなく，上述したように平面／立体連続撮像するようにしてもよい。

上述した実施例においては，シャッタ・レリーズ・ボタン第一段階の押下に応じてＡＦ処理が行われている。しかしながら，いわゆるコンティニュアスＡＦでは一定周期での撮像が行われる都度ＡＦ処理が行われるので，そのようなコンティニュアスＡＦにもとづくＡＦ処理を行うようにしてもよい。

上述の実施例においては，３Ｄ撮像装置がメモリ・カード７に画像データを記録しているが，３Ｄ撮像装置が通信機能を有している場合，画像データを送信し，３Ｄ撮像装置とは別の記録装置を用いて画像データを記録するようにしてもよい。

１，110 ＣＰＵ（３Ｄ記録制御手段，２Ｄ記録制御手段）
６ ３Ｄ記録再生制御装置（３Ｄ記録制御手段，２Ｄ記録制御手段）
12，114 第１の固体電子撮像装置
14，124 第２の固体電子撮像装置
22 ＡＦ位置判定装置（合焦評価値算出手段）
21 立体撮像判定装置（第１の判定手段）
139 撮像モード判定／切替回路

Claims (12)

1. 被写体を撮像し，第１の被写体像を表す第１の画像データを出力する第１の固体電子撮像装置，
   被写体を撮像し，第２の被写体像を表す第２の画像データを出力する第２の固体電子撮像装置，
   上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを用いて同じタイミングで撮像することにより得られる第１の被写体像と第２の被写体像とを，共通の被写体像部分について位置が合わせられた重畳画像を複数の部分画像に分けた場合において，その複数の部分画像のそれぞれの合焦評価値を算出する合焦評価値算出手段，
   上記合焦評価値算出手段によって算出された複数の部分画像のそれぞれの合焦評価値のうちの最大の合焦評価値を与える部分画像が，上記共通の被写体像部分に存在するかどうかを判定する第１の判定手段，
   上記第１の判定手段によって，最大の合焦評価値を与える部分画像が上記共通の被写体像部分に存在すると判定されたことにより，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御し，上記第１の固体電子撮像装置から第１の画像データを，上記第２の固体電子撮像装置から第２の画像データを出力するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御する３Ｄ撮像制御手段，ならびに
   上記第１の判定手段によって，最大の合焦評価値を与える部分画像が上記共通の被写体像部分に存在しないと判定されたことにより，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置または上記第２の固体電子撮像装置のいずれか一方を制御し，上記第１の固体電子撮像装置から第１の画像データを出力する，あるいは上記第２の固体電子撮像装置から第２の画像データを出力するように上記第１の固体電子撮像装置または上記第２の固体電子撮像装置を制御する２Ｄ撮像制御手段，
   を備えた３Ｄ撮像装置。
2. 上記第１の判定手段によって，最大の合焦評価値を与える部分画像が上記共通の被写体像部分に存在すると判定されたことにより，上記共通の被写体像部分に存在する最大の合焦評価値を与える部分画像と最大の合焦評価値から所定範囲内の合焦評価値を与える部分画像とが所定間隔開いて存在しているかどうかを判定する第２の判定手段，
   上記第２の判定手段によって，最大の合焦評価値を与える部分画像が上記共通の被写体像部分に存在すると判定されたことにより，上記共通の被写体像部分に存在する最大の合焦評価値を与える部分画像と最大の合焦評価値から所定範囲内の合焦評価値を与える部分画像とが所定間隔開いて存在していると判定されたことにより，最大の合焦評価値を与える部分画像の被写体と最大の合焦評価値から所定範囲内の合焦評価値を与える部分画像の被写体との距離差を表す第１の距離差を算出する第１の距離差算出手段，および
   上記第１の距差算出手段によって算出された第１の距離差が所定のしきい値以上となるかどうかを判定する第３の判定手段をさらに備え，
   上記３Ｄ撮像制御手段が，
   上記第３の判定手段によって，被写体の第１の距離差が所定のしきい値以上となる部分画像が存在すると判定されたことに応じて，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御し，上記第１の固体電子撮像装置から第１の画像データを，上記第２の固体電子撮像装置から第２の画像データを出力するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御するものであり，
   上記２Ｄ撮像制御手段が，
   上記第２の判定手段によって，最大の合焦評価値から所定範囲内の合焦評価値を与え，かつ所定間隔開いている２つの部分画像が上記共通の被写体像部分に存在しないと判定されたことにより，あるいは上記第３の判定手段によって，最大の合焦評価値から所定範囲内の合焦評価値を与える部分画像が存在しないと判定されたことにより，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置または上記第２の固体電子撮像装置のいずれか一方を制御し，上記第１の固体電子撮像装置から第１の画像データを出力する，あるいは上記第２の固体電子撮像装置から第２の画像データを出力するように上記第１の固体電子撮像装置または上記第２の固体電子撮像装置を制御するものである，
   請求項１に記載の３Ｄ撮像装置。
3. 上記第２の判定手段によって，最大の合焦評価値を与える部分画像と最大の合焦評価値から所定範囲内の合焦評価値を与える部分画像とが所定間隔開いて存在しないと判定されたことに応じて，最大の合焦評価値を与える部分画像の被写体と，その部分画像に隣接する部分画像の被写体との距離差を表す第２の距離差を算出する第２の距離差算出手段をさらに備え，
   上記第３の判定手段は，
   上記第１の距離差または上記第２の距離差が所定のしきい値以上となるかどうかを判定するものであり，
   上記３Ｄ撮像制御手段が，
   上記第３の判定手段によって，被写体の第１の距離差または第２の距離差が所定のしきい値以上となる部分画像が存在すると判定されたことに応じて，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御し，上記第１の固体電子撮像装置から第１の画像データを，上記第２の固体電子撮像装置から第２の画像データを出力するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御するものである，
   請求項１または２に記載の３Ｄ撮像装置。
4. 第１の撮像範囲内の被写体を撮像し，第１の被写体像を表す第１の画像データを出力する第１の固体電子撮像装置，
   第２の撮像範囲内の被写体を撮像し，第２の被写体像を表す第２の画像データを出力する第２の固体電子撮像装置，
   上記第１の撮像範囲と上記第２の撮像範囲との共通の撮像範囲内に存在する主要被写体までの距離を測定する測距手段，
   上記測距手段によって測距された主要被写体までの距離が所定のしきい値以下かどうかを判定する第１の判定手段，
   上記第１の判定手段によって所定のしきい値以下と判定されたことに応じて，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置または上記第２の固体電子撮像装置のいずれか一方を制御し，上記第１の固体電子撮像装置から第１の画像データを出力する，あるいは上記第２の固体電子撮像装置から第２の画像データを出力するように上記第１の固体電子撮像装置または上記第２の固体電子撮像装置を制御する２Ｄ撮像制御手段，ならびに
   上記第１の判定手段によって，主要被写体までの距離が所定のしきい値よりも大きいと判定されたことに応じて，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御し，上記第１の固体電子撮像装置から第１の画像データを，上記第２の固体電子撮像装置から第２の画像データを出力するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御する３Ｄ撮像制御手段，
   を備えた３Ｄ撮像装置。
5. 上記２Ｄ撮像制御手段は，
   上記第１の判定手段によって所定のしきい値以下と判定されたことに応じて，シャッタ・レリーズに応じた第１のタイミングで撮像するように上記第１の固体電子撮像装置または上記第２の固体電子撮像装置のいずれか一方を制御し，上記第１の固体電子撮像装置から第１の画像データを出力する，あるいは上記第２の固体電子撮像装置から第２の画像データを出力し，かつシャッタ・レリーズに応じた第２のタイミングで撮像するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置との両方を制御し，上記第１の固体電子撮像装置から第１の画像データを，上記第２の固体電子撮像装置から第２の画像データを出力するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御するものである，
   請求項４に記載の３Ｄ撮像装置。
6. 上記２Ｄ撮像制御手段は，
   上記第１の判定手段によって所定のしきい値以下と判定されたことに応じて，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置との両方を制御し，上記第１の固体電子撮像装置から得られる第１の画像データおよび上記第２の固体電子撮像装置から得られる第２の画像データを３Ｄ画像用として出力し，上記シャッタ・レリーズに応じたタイミングの撮像により得られる第１の画像データまたは第２の画像データのいずれか一方を２Ｄ画像用として出力するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御するものである，
   請求項４または５に記載の３Ｄ撮像装置。
7. 第１の撮像範囲内の被写体を撮像し，第１の被写体像を表す第１の画像データを出力する第１の固体電子撮像装置，
   第２の撮像範囲内の被写体を撮像し，第２の被写体像を表す第２の画像データを出力する第２の固体電子撮像装置，
   主要被写体までの距離との距離差が所定のしきい値以上となるような被写体部分が，上記第１の撮像範囲と上記第２の撮像範囲との共通の撮像範囲を分割した複数の分割範囲のそれぞれの範囲内に存在する被写体部分の中に複数存在するかどうかを判定する第１の判定手段，
   上記第１の判定手段によって主要被写体までの距離との距離差が所定のしきい値以上となるような被写体部分が複数存在しないと判定されたことに応じて，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置または上記第２の固体電子撮像装置のいずれか一方を制御し，上記第１の固体電子撮像装置から第１の画像データを出力する，あるいは上記第２の固体電子撮像装置から第２の画像データを出力するように上記第１の固体電子撮像装置または上記第２の固体電子撮像装置を制御する２Ｄ撮像制御手段，ならびに
   上記第１の判定手段によって主要被写体までの距離との距離差が所定のしきい値以上となるような被写体部分が複数存在すると判定されたことに応じて，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御し，上記第１の固体電子撮像装置から第１の画像データを，上記第２の固体電子撮像装置から第２の画像データを出力するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御する３Ｄ撮像制御手段，
   を備えた３Ｄ撮像装置。
8. 上記２Ｄ撮像制御手段は，
   上記第１の判定手段によって主要被写体までの距離との距離が所定のしきい値以上となるような被写体部分が複数存在すると判定されたことに応じて，シャッタ・レリーズに応じた第１のタイミングで撮像するように上記第１の固体電子撮像装置または上記第２の固体電子撮像装置のいずれか一方を制御し，上記第１の固体電子撮像装置から得られる第１の画像データまたは上記第２の固体電子撮像装置から得られる第２の画像データを出力し，かつシャッタ・レリーズに応じた第２のタイミングで撮像するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置との両方を制御し，上記第１の固体電子撮像装置から得られる第１の画像データおよび上記第２の固体電子撮像装置から得られる第２の画像データを出力するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御するものである，
   請求項７に記載の３Ｄ撮像装置。
9. 上記２Ｄ撮像制御手段は，
   上記第１の判定手段によって主要被写体までの距離との距離が所定のしきい値以上となるような被写体部分が複数存在すると判定されたことに応じて，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置との両方を制御し，上記第１の固体電子撮像装置から得られる第１の画像データおよび上記第２の固体電子撮像装置から得られる第２の画像データを３Ｄ画像用として出力し，上記シャッタ・レリーズに応じたタイミングの撮像により得られた第１の画像データまたは第２の画像データのいずれか一方を２Ｄ画像用として出力するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御するものである，
   請求項７または８に記載の３Ｄ撮像装置。
10. 被写体を撮像し，第１の被写体像を表す第１の画像データを出力する第１の固体電子撮像装置および被写体を撮像し，第２の被写体像を表す第２の画像データを出力する第２の固体電子撮像装置を備えた３Ｄ撮像装置の動作制御方法において，
    合焦評価値算出手段が，上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを用いて同じタイミングで撮像することにより得られる第１の被写体像と第２の被写体像とを，共通の被写体像部分について位置が合わせられた重畳画像を複数の部分画像に分けた場合において，その複数の部分画像のそれぞれの合焦評価値を算出し，
    第１の判定手段が，上記合焦評価値算出手段によって算出された複数の部分画像のそれぞれの合焦評価値のうちの最大の合焦評価値を与える部分画像が，上記共通の被写体像部分に存在するかどうかを判定し，
    ３Ｄ撮像制御手段が，上記第１の判定手段によって，最大の合焦評価値を与える部分画像が上記共通の被写体像部分に存在すると判定されたことにより，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御し，上記第１の固体電子撮像装置から第１の画像データを，上記第２の固体電子撮像装置から第２の画像データを出力するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御し，
    ２Ｄ撮像制御手段が，上記第１の判定手段によって，最大の合焦評価値を与える部分画像が上記共通の被写体像部分に存在しないと判定されたことにより，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置または上記第２の固体電子撮像装置のいずれか一方を制御し，上記第１の固体電子撮像装置から第１の画像データを出力する，あるいは上記第２の固体電子撮像装置から第２の画像データを出力するように上記第１の固体電子撮像装置または上記第２の固体電子撮像装置を制御する，
    ３Ｄ撮像装置の動作制御方法。
11. 第１の撮像範囲内の被写体を撮像し，第１の被写体像を表す第１の画像データを出力する第１の固体電子撮像装置および第２の撮像範囲内の被写体を撮像し，第２の被写体像を表す第２の画像データを出力する第２の固体電子撮像装置を備えた３Ｄ撮像装置の動作制御方法において，
    測距手段が，上記第１の撮像範囲と上記第２の撮像範囲との共通の撮像範囲内に存在する主要被写体までの距離を測定し，
    第１の判定手段が，上記測距手段によって測距された主要被写体までの距離が所定のしきい値以下かどうかを判定し，
    ２Ｄ撮像制御手段が，上記第１の判定手段によって所定のしきい値以下と判定されたことに応じて，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置または上記第２の固体電子撮像装置のいずれか一方を制御し，上記第１の固体電子撮像装置から第１の画像データを出力する，あるいは上記第２の固体電子撮像装置から第２の画像データを出力するように上記第１の固体電子撮像装置または上記第２の固体電子撮像装置を制御し，
    ３Ｄ撮像制御手段が，上記第１の判定手段によって，主要被写体までの距離が所定のしきい値よりも大きいと判定されたことに応じて，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御し，上記第１の固体電子撮像装置から第１の画像データを，上記第２の固体電子撮像装置から第２の画像データを出力するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御する，
    ３Ｄ撮像装置の動作制御方法。
12. 第１の撮像範囲内の被写体を撮像し，第１の被写体像を表す第１の画像データを出力する第１の固体電子撮像装置および第２の撮像範囲内の被写体を撮像し，第２の被写体像を表す第２の画像データを出力する第２の固体電子撮像装置を備えた３Ｄ撮像装置において，
    第１の判定手段が，主要被写体までの距離との距離差が所定のしきい値以上となるような被写体部分が，上記第１の撮像範囲と上記第２の撮像範囲との共通の撮像範囲を分割した複数の分割範囲のそれぞれの範囲内に存在する被写体部分の中に複数存在するかどうかを判定し，
    ２Ｄ撮像制御手段が，上記第１の判定手段によって主要被写体までの距離との距離差が所定のしきい値以上となるような被写体部分が複数存在しないと判定されたことに応じて，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置または上記第２の固体電子撮像装置のいずれか一方を制御し，上記第１の固体電子撮像装置から第１の画像データを出力する，あるいは上記第２の固体電子撮像装置から第２の画像データを出力するように上記第１の固体電子撮像装置または上記第２の固体電子撮像装置を制御し，
    ３Ｄ撮像制御手段が，上記第１の判定手段によって主要被写体までの距離との距離差が所定のしきい値以上となるような被写体部分が複数存在すると判定されたことに応じて，シャッタ・レリーズに応じたタイミングで撮像するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御し，上記第１の固体電子撮像装置から第１の画像データを，上記第２の固体電子撮像装置から第２の画像データを出力するように上記第１の固体電子撮像装置と上記第２の固体電子撮像装置とを制御する，
    ３Ｄ撮像装置の動作制御方法。

Images