JP2010268078A

JP2010268078A - 撮像装置

Info

Publication number: JP2010268078A
Application number: JP2009115908A
Authority: JP
Inventors: Atsushi Ishihara; 厚石原
Original assignee: Olympus Imaging Corp
Current assignee: Olympus Imaging Corp
Priority date: 2009-05-12
Filing date: 2009-05-12
Publication date: 2010-11-25
Anticipated expiration: 2029-05-12
Also published as: JP5415820B2

Abstract

【課題】本発明は、鑑賞者に不快感を与えることのない３Ｄ動画像を提供することのできる撮像装置を提供する。
【解決手段】本発明の撮像装置は、視差を有する複数の視点から被写体を撮影することによって３Ｄ動画像を撮影することが可能な撮影部と、前記３Ｄ動画像中における前記被写体の所定の周期の振動を検出する画像振動検出部と、前記３Ｄ動画像と、当該３Ｄ動画像の撮影中に前記画像振動検出部により検出された前記被写体の所定の周期の振動が発生している振動期間と、を関連づけて記録する記録部と、を具備することを特徴とする。
【選択図】図３

Description

本発明は、複数の異なる視点から被写体を撮影することにより、立体表示可能な画像を撮影することが可能な撮像装置に関する。

複数の異なる視点から同一の被写体を撮影することによって、３Ｄ表示（立体表示）可能な静止画像（３Ｄ静止画像）や動画像（３Ｄ動画像）を撮影する技術が知られている。

３Ｄ表示可能な画像を撮影する方法としては、例えば特許第３７２２４９８号公報に開示されているように、１台の撮像装置を所定の距離だけ移動させながら複数の視点で撮影する方法が知られている。また、３Ｄ表示可能な画像を撮影する方法としては、所定の距離だけ離間して配設された２つの撮影用レンズを備えた撮像装置を用いて撮影する方法や、２台の撮像装置を所定の距離だけ離間させた状態に固定して撮影する方法も知られている。

また、例えば特許第４１４８８１１号公報に開示されているように、３Ｄ画像を表示する表示装置も一般的なものとなりつつあり、使用者が手軽に３Ｄ静止画像や３Ｄ動画像を撮影し、鑑賞することが可能である。

特許第３７２２４９８号公報特許第４１４８８１１号公報

３Ｄ画像を表示する表示装置は、鑑賞者に臨場感のある映像を提供することができることが特徴であるが、鑑賞者が３Ｄ画像から得る感覚と、鑑賞者の実際の周囲の環境の感覚とに不整合が生じた場合には、鑑賞者に不快感や目の疲れを与えてしまう場合がある。

例えば、携帯型の撮像装置で３Ｄ動画像を撮影する場合、撮影者の移動や手ぶれによって、３Ｄ動画中において被写体が振動してしまう。このように被写体が振動した状態の３Ｄ動画像を鑑賞すると、鑑賞者の頭部は実際には静止しているにもかかわらず、鑑賞者が視覚を通じて３Ｄ動画像から得る感覚はあたかも頭部が振動しているかのようなものとなるため、鑑賞者は不快に感じやすい。

本発明は、上記問題点に鑑みてなされたものであり、鑑賞者に不快感を与えることのない３Ｄ動画像を提供することのできる撮像装置を提供することを目的とする。

本発明に係る撮像装置は、視差を有する複数の視点から被写体を撮影することによって３Ｄ動画像を撮影することが可能な撮影部と、前記３Ｄ動画像中における前記被写体の所定の周期の振動を検出する画像振動検出部と、前記３Ｄ動画像と、当該３Ｄ動画像の撮影中に前記画像振動検出部により検出された前記被写体の所定の周期の振動が発生している振動期間と、を関連づけて記録する記録部と、を具備することを特徴とする。

本発明によれば、鑑賞者に不快感を与えることのない３Ｄ動画像を提供することが可能な撮像装置を提供することができる。

デジタルカメラの正面側を示す斜視図である。デジタルカメラの背面側を示す斜視図である。デジタルカメラの概略的な構成を説明するブロック図である。３Ｄ効果判定処理のフローチャートである。問題振動判定処理のフローチャートである。被写体の動きベクトルを算出する領域を説明する図である。３Ｄ動画中において被写体が振動している様子を説明する図である。メインルーチンのフローチャートである。動画像撮影処理のフローチャートである。類似振動判定処理のフローチャートである。再生処理のフローチャートである。第２の実施形態のデジタルカメラの構成を説明する図である。

本発明の撮像装置の好ましい形態について図面を参照して説明する。以下では、一例として本発明を撮像装置としてのデジタルカメラ１に適用した例を説明する。なお、以下の説明に用いた各図においては、各構成要素を図面上で認識可能な程度の大きさとするため、各構成要素毎に縮尺を異ならせてあるものであり、本発明は、これらの図に記載された構成要素の数量、構成要素の形状、構成要素の大きさの比率、及び各構成要素の相対的な位置関係のみに限定されるものではない。

（第１の実施形態）
本実施形態のデジタルカメラ１は、静止画像及び動画像を電子的に記録可能な装置であって、複数の異なる視点から同一の被写体を撮影して被写体の立体的な表示が可能な画像を得るためのものである。

以下では、複数の異なる視点から略同期して被写体を撮影して得られる視差を有する静止画像の組み合わせ及び視差を有する動画像の組み合わせを、それぞれ３Ｄ静止画像及び３Ｄ動画像と称するものとする。また、一つの視点から被写体を撮影して得られる、視差を持たない静止画像及び動画像を、それぞれ２Ｄ静止画像及び２Ｄ動画像と称するものとする。

本実施形態のデジタルカメラ１は、一例として、図１に示すように所定の長さの基線長ＢＬだけ離間した２つの視点から被写体を撮影する撮影部２を具備している。撮影部２は、２つの視点にそれぞれ対応する、左撮影部２ａ及び右撮影部２ｂを具備してなる。

デジタルカメラ１は、この左撮影部２ａ及び右撮影部２ｂによって異なる視点から被写体を撮影することによって、被写体の３Ｄ静止画像及び３Ｄ動画像を記録することが可能である。また、デジタルカメラ１は、左撮影部２ａ及び右撮影部２ｂの一方によって被写体を撮影することによって、被写体の２Ｄ静止画像及び２Ｄ動画像を記録することが可能である。

撮影部２の構成は異なる２つの視点から視差を有して被写体を撮影することが可能であれば特に限定されるものではないが、本実施形態では、左撮影部２ａ及び右撮影部２ｂのそれぞれに撮影用レンズとＣＣＤセンサやＣＭＯＳセンサ等の撮像素子とが配設されて構成されるものとする。

なお、撮影部２は、単一の撮像素子と、左撮影部２ａ及び右撮影部２ｂにそれぞれ配設され該撮像素子に被写体像を結像する一対の撮影用レンズとを備えるものであって、一対の撮影用レンズから撮像素子へ至る光束を、可動ミラーや液晶シャッタ等により高速に切り替え可能な構成であってもよい。例えば、撮像素子によって１／１２０秒毎に左撮影部２ａを介して得られる左視点画像と右撮影部２ｂを介して得られる右視点画像と、を切り換えて撮影することができれば、２つの異なる視点から略同期して被写体を撮影して得られる３Ｄ静止画像及び３Ｄ動画像を記録することができる。

まず、図１及び図２を参照して、デジタルカメラ１の外観上の構成を説明する。デジタルカメラ１の被写体に対向する前面には、上述した左撮影部２ａ及び右撮影部２ｂの他に、音声を記録するためのマイクロホン３が配設されている。

デジタルカメラ１の背面には、音声を出力するためのスピーカ７と、画像を表示出力するための画像表示部１０が配設されている。スピーカ７は、例えば２Ｄ動画像や３Ｄ動画像の撮影と同時に記録された音声を出力することができる。

画像表示部１０は、２Ｄ静止画像及び２Ｄ動画像を表示することが可能であるとともに、異なる２つの視点から撮影された視差を有する画像を表示することにより、３Ｄ静止画像及び３Ｄ動画像を表示することが可能に構成されている。このような画像表示部１０は周知のものであるため、詳細な説明は省略するものとする。なお、画像表示部１０は、表示面上に操作部材としてのタッチセンサを具備した、いわゆるタッチパネルとして構成されるものであってもよい。

また、デジタルカメラ１の上面及び背面には、使用者がデジタルカメラ１の動作指示を入力するための操作部材が配設されている。操作部材は、静止画撮影スイッチ４、動画撮影スイッチ５、電源スイッチ６、ズーム操作スイッチ８及び十字スイッチ９等からなる。

静止画撮影スイッチ４は、デジタルカメラ１による２Ｄ静止画像又は３Ｄ静止画像の撮影動作の指示を入力するためのスイッチである。動画撮影スイッチ５は、デジタルカメラ１による２Ｄ動画像又は３Ｄ動画像の撮影動作の開始及び停止の指示を入力するためのスイッチである。

電源スイッチ６は、デジタルカメラ１の電源オン状態及び電源オフ状態の切り替え指示を入力するためのスイッチである。ズーム操作スイッチ８は、左撮影部２ａ及び右撮影部２ｂの焦点距離の変更動作（ズーム動作）の指示を入力するためのスイッチである。また、十字スイッチ９は、デジタルカメラ１の動作モードの変更の指示を入力するためのスイッチである。

なお、本実施形態では、操作部材は、複数のプッシュスイッチにより構成されているが、操作部材は、レバースイッチ、ダイヤルスイッチ、タッチセンサ、照度センサ及び加速度センサ等を具備して構成されるものであってもよい。

次に図３を参照して、デジタルカメラ１の動作を制御するための構成を説明する。デジタルカメラ１には、制御部２０と、操作判定部１１と、記録部１２と、時計部１３とが配設されている。図示しないが、デジタルカメラ１には、デジタルカメラ１の各部構成の動作に必要な電力を供給するための電源部が配設されている。なお、デジタルカメラ１には、外部装置との間で有線又は無線の通信により画像等の送受信が可能な通信部が配設されてもよい。

制御部２０は、演算装置、記憶装置、入出力装置及び電力制御装置等を具備して構成され、所定のプログラムに基づいてデジタルカメラ１の各部構成の動作を制御する制御装置である。制御部２０は、後述するデジタルカメラ１の動作を実現するために必要な構成として、画像処理部２１、３Ｄ効果判定部２２及び画像振動検出部２３を具備して構成されている。なお、画像処理部２１、３Ｄ効果判定部２２及び画像振動検出部２３の制御部２０への実装は、ハードウェア的なものであってもよいしソフトウェア的なものであってもよい。

画像処理部３０は、撮影部２により撮影された画像に対し所定の画像処理を行うものである。本実施形態では、画像処理部３０は、画像中における人物の顔の数、位置、大きさ及び表情を、パターンマッチング等の所定の画像処理により認識する顔認識部２４を具備して構成されている。また、画像処理部３０は、撮影部２における合焦動作に用いるための画像のコントラスト値を算出するコントラスト算出部等を具備している。

３Ｄ効果判定部２２は、詳しくは後述するが、撮影部２の焦点距離及び合焦距離、顔認識部２４により認識された画像中の人物の顔の位置や大きさ等の情報に基づいて、撮影部２の基線長ＢＬに対してデジタルカメラ１と主要被写体との距離が立体的な表示をする場合に適切な関係にあるか否かを判定するものである。

画像振動検出部２３は、詳しくは後述するが、撮影部２による動画像の撮影中において、動画像のフレーム間の比較等に基づいて、動画像中の動きベクトルを算出し、被写体に対するデジタルカメラ１の所定の範囲の周期の揺れを検出するものである。言い換えれば、画像振動検出部２３は、動画像中における被写体の所定の範囲の周期の振動を検出する。

操作判定部１１は、使用者によって上述した操作部材を介して入力される操作指示を判定するものである。操作判定部１１による判定結果は制御部２０へ出力される。

記録部１２は、情報を記録可能な装置であり、本実施形態では、撮影部２により撮影された画像を記録する。記録部１２は、半導体の不揮発メモリや、小型のハードディスクドライブ等の記録媒体を具備して構成されている。なお、記録部１２はデジタルカメラ１とは別体であって、有線又は無線の通信形式によりデジタルカメラ１との間で情報の授受が可能なものであってもよい。

時計部１３は、撮影部２により撮影された画像の日時を記録するためのものである。デジタルカメラ１により撮影される画像には、この時計部１３から読み取られた日時が撮影日時情報として付加される。

以下に、図４から図８のフローチャートを参照して、上述した構成を有するデジタルカメラ１の動作を説明する。

まず、３Ｄ効果判定部２２の詳細な動作について説明する。３Ｄ効果判定部２２は、図４に示す３Ｄ効果判定処理を実施する。３Ｄ効果判定処理は、概略的には、撮影部２の基線長ＢＬに対してデジタルカメラ１と主要被写体との距離が立体的な表示をする場合に適切な関係にあるか否かを判定する処理である。

例えば、デジタルカメラ１と主要被写体との距離が遠い場合、左撮影部２ａによって得られる左視点画像と及び右撮影部２ｂによって得られる右視点画像との間における差異、すなわち視差が僅かとなってしまうため、効果的に立体的な表示を行うことができる３Ｄ静止画像又は３Ｄ動画像を得ることは困難である。

本実施形態では、デジタルカメラ１を携帯が容易な大きさとした場合に設定し得る基線長ＢＬの大きさを考慮して、デジタルカメラ１と主要被写体との距離の適切な値ＬＡを、一例として３ｍとする。なお、この値ＬＡは、３Ｄ静止画像又は３Ｄ動画像を表示する表示装置の仕様等も加味して定められることが好ましい。

以下では、撮影部２の基線長ＢＬに対してデジタルカメラ１と主要被写体との距離が立体的な表示をするのに適切な関係にある場合を、３Ｄ効果が有効であると称し、不適切な関係にある場合を、３Ｄ効果が無効であると称するものとする。

まず、ステップＳ２０において、顔認識部２４により、撮影部２により得られた画像中に人物の顔の存在を認識する顔認識処理を行う。そして、ステップＳ２１において、画像の中央部に人物の顔が存在するか否かを判定する。すなわち、ステップＳ２１では、人物が主要被写体であるか否かを判定する。

ステップＳ２１において、画像の中央部に人物の顔が存在すると判定した場合には、ステップＳ２２へ移行する。ステップＳ２２からステップＳ２４では、主要被写体である人物の画像中における顔の大きさＤｆ、及び撮影部２の撮影用レンズの焦点距離Ｚに基づいて、デジタルカメラ１と主要被写体との距離が立体的な表示をするのに適切な関係にあるか否かを判定する。

具体的には、ステップＳ２４において、画像中において最も中心に近い人物の顔の大きさの代表値Ｄｆ、例えば人物の顔の面積や縦方向の画素数等を、撮影用レンズの焦点距離Ｚにより除算した値が、所定の値Ａ０よりも大きければ、ステップＳ２５において３Ｄ効果は有効であると判定する。また、人物の顔の大きさの代表値Ｄｆを焦点距離Ｚにより除算した値が、所定の値Ａ０以下であれば、ステップＳ２８において３Ｄ効果は無効であると判定する。

ここで、ステップＳ２４において、人物の顔の大きさの代表値Ｄｆを焦点距離Ｚにより除算するのは、画像中の主要被写体である人物の顔が大きい場合であっても焦点距離Ｚが大きい場合には、デジタルカメラ１と人物との距離が遠く３Ｄ効果が得られにくいからである。本実施形態のように、人物の顔の大きさの代表値Ｄｆを焦点距離Ｚにより除算すれば、このような撮影用レンズの焦点距離Ｚの変化の影響を排除することができる。

また、判定に用いる所定の値Ａ０は、デジタルカメラ１と主要被写体との距離の適切な値ＬＡや撮影部２の撮像素子のサイズ等を考慮して定められる。

一方、ステップＳ２１において、画像の中央部に人物の顔が存在しないと判定した場合、すなわち主要被写体が人物ではない場合には、ステップＳ２６へ移行する。ステップＳ２６及びステップＳ２７では、ピントが合わせられたものが主要被写体であるとみなし、撮影用レンズの合焦距離Ｌに基づいてデジタルカメラ１と主要被写体との距離が立体的な表示をするのに適切な関係にあるか否かを判定する。

具体的には、ステップＳ２７において、撮影用レンズの合焦距離Ｌが、デジタルカメラ１と主要被写体との距離の適切な値ＬＡよりも小さければ、ステップＳ２５において３Ｄ効果は有効であると判定する。また、撮影用レンズの合焦距離Ｌが、デジタルカメラ１と主要被写体との距離の適切な値ＬＡ以上であれば、ステップＳ２８において３Ｄ効果は無効であると判定する。

なお、本実施形態では、画像の中央に人物の顔が認識された場合には、画像中の人物の顔の大きさによって３Ｄ効果の有効無効を判定しているが、画像中に人物が存在するか否かに関わらず撮影用レンズの合焦距離Ｌによって３Ｄ効果の有効無効を判定してもよい。

次に、画像振動検出部２３の詳細な動作について図５から図７を参照して説明する。画像振動検出部２３は、図５に示す問題振動判定処理を実施する。問題振動判定処理は、概略的には、撮影部２により撮影された３Ｄ動画像中における被写体の振動を検出し、該振動の振幅が所定の値以上であった場合に、その振動を問題振動として判定する処理である。

本実施形態では一例として、図６に示すように、画像振動検出部２３は、撮影部２が撮影中の３Ｄ動画像の、中央部の上側である領域Ａ１及び中央部の下側である領域Ａ２の二つの領域における、所定の単位時間における被写体の動きベクトルを算出することが可能である。

まず、ステップＳ６０において、３Ｄ動画像の中央部上側の領域Ａ１における動きベクトルＸ１を算出する。次に、ステップＳ６１において、３Ｄ動画像の中央部下側の領域Ａ２における動きベクトルＸ２を算出する。

次に、ステップＳ６２及びステップＳ６３に示すように、この２つの領域Ａ１及びＡ２における動きベクトルＸ１及びＸ２の大きさの大小を比較する。例えば、図７に示すように、３Ｄ動画像中において被写体が中央部下側を略中心として揺動している場合には、領域Ａ１の動きベクトルＸ１の大きさの方が、領域Ａ２の動きベクトルＸ２よりも大きくなる。

そして、ステップＳ６４及びＳ６５に示すように、動きベクトルＸ１及びＸ２のうちの大きさが大きいと判定された方の動きベクトルの大きさをＸ３として一時記憶する。また、ステップＳ６４に示すように、領域Ａ１の動きベクトルＸ１の大きさの方が領域Ａ２の動きベクトルＸ２よりも大きい場合には、この振動をパターン１として記憶する。一方、、ステップＳ６５に示すように、領域Ａ２の動きベクトルＸ２の大きさの方が領域Ａ１の動きベクトルＸ１よりも大きい場合には、この振動をパターン２として記憶する。

次に、ステップＳ６６において、Ｘ３の値が、所定のしきい値Ｘ０よりも大きいか否かを判定する。すなわち、振動の振幅が所定の値以上であるか否かを判定する。そして、Ｘ３の値が、所定のしきい値Ｘ０よりも大きければ、ステップＳ６７においてこの振動を問題振動と判定する。

なお、本実施形態では、図６に示すように、画像の二つの領域における動きベクトルから被写体の振動を判定するようにしているが、本発明はこの形態に限られるものではない。例えば、画像中の動きベクトルを算出する領域をさらに増やしてもよい。また、被写体が人物である場合には、フレーム間における顔認識部２４により認識された人物の顔の位置や角度の変化から、３Ｄ動画像中における被写体の振動を判定してもよい。

次に、図８を参照して、デジタルカメラ１の動作制御のメインルーチンを説明する。このメインルーチンは、電源スイッチ６が操作されて、デジタルカメラ１が電源オン状態とされることにより開始される。

まず、ステップＳ０１において、電源スイッチ６が操作されてデジタルカメラ１を電源オフ状態とする指示入力がなされたか否かを判定する。電源オフ状態とする指示入力がなされたと判定した場合には、撮影用レンズの位置を所定の位置に移動する等の終了処理を実施した後に、デジタルカメラ１を電源オフ状態とする。

一方、電源オフ状態とする指示入力がなされていないと判定した場合には、ステップＳ０２へ移行し、デジタルカメラ１の動作モードが撮影モードに設定されているか否かを判定する。

ステップＳ０２で撮影モードに設定されていないと判定した場合には、ステップＳ０３において、デジタルカメラ１の動作モードが再生モードに設定されているか否かを判定する。ステップＳ０３で再生モードに設定されていないと判定した場合には、動作モードの設定に異常がある旨を画像表示部１０に表示してステップＳ０１へ戻る。ステップＳ０３で再生モードに設定されていると判定した場合には、ステップＳ０４において詳しくは後述する再生処理を実行する。

一方、ステップＳ０２で撮影モードに設定されていると判定した場合には、ステップＳ１０へ移行する。ステップＳ１０及びステップＳ１１では、いわゆるライブビューと称される、被写体の最新のスルー画像を画像表示部１０に表示する。具体的には、ステップＳ１０において、撮影部２の左撮影部２ａ及び右撮影部２ｂの少なくとも一方によって撮影を行い、ステップＳ１１においてその画像を画像表示部１０に表示する。

そして、ステップＳ１２において、図４を参照して説明した３Ｄ効果判定処理を実行する。すなわち、ステップＳ１０で撮影した画像について、３Ｄ効果が有効であるか否かを判定する。

ステップＳ１２において、３Ｄ効果が有効であると判定した場合には、ステップＳ１４において、効果的に立体的な表示を行うことができる３Ｄ静止画像を撮影可能である旨を画像表示部１０に表示する。なお、音によって３Ｄ効果が有効であることを出力してもよい。また、ステップＳ１０において、左撮影部２ａ及び右撮影部２ｂの双方で撮影を行った場合には、ステップＳ１４において左視点画像及び右視点画像を同時に画像表示部１０に表示し３Ｄ表示を行ってもよい。

そして、ステップＳ１５及びステップＳ１７において、使用者により静止画像又は動画像の撮影の指示が入力されたか否かを判定する。静止画像又は動画像の撮影の指示が入力されていないと判定した場合には、ステップＳ０１へ戻る。

ステップＳ１５において、使用者により静止画撮影スイッチ４が操作され、２Ｄ静止画像又は３Ｄ静止画像の撮影動作の指示が入力されたと判定した場合には、ステップＳ１６に移行して、撮影部２により２Ｄ静止画像又は３Ｄ静止画像を撮影し記録部１２に記録する。ステップＳ１６において、２Ｄ静止画像及び３Ｄ静止画像のどちらを撮影して記録するかは、事前に使用者により設定された動作条件に従うものとする。

なお、３Ｄ効果が有効である場合には３Ｄ静止画像を撮影し、３Ｄ効果が無効である場合には、左撮影部２ａ及び右撮影部２ｂの一方のみによって２Ｄ静止画像を撮影するように、自動的に撮影部２の動作を切り替える形態であってもよい。このような形態であれば、３Ｄ効果が無効である場合に、左撮影部２ａ及び右撮影部２ｂの撮影に用いない方を停止させることができるため、消費電力を抑制することができる。また、記録部１２の記録容量も節約することができる。

一方、ステップＳ１７において、使用者により動画撮影スイッチ５が操作され、動画像の撮影動作の開始指示が入力されたと判定した場合には、ステップＳ１８に移行し、詳しくは後述する動画像撮影処理を実行する。

次に、図９を参照して、ステップＳ１８の動画像撮影処理について説明する。
本実施形態では、動画像撮影処理は、撮影部２の左撮影部２ａ及び右撮影部２ｂによって被写体を異なる複数の視点から撮影し、被写体の３Ｄ動画像を記録部１２に記録するものとする。また詳しくは後述するが、この動画像撮影処理では、３Ｄ動画像の撮影中に、画像振動検出部２３によって問題振動と判定された振動が所定の周期で所定の時間継続した場合に、この振動の継続期間を振動期間として記録する。

まず、ステップＳ３０に示すように、３Ｄ動画像の撮影を開始する。なお、本実施形態では３Ｄ動画像と同期して音声も記録する。そして、ステップＳ３１において、整数の変数である振動期間カウンタＭを０とする。

次に、ステップＳ３２において、動画撮影スイッチ５が再び操作される等により動画像の撮影動作の終了指示が入力されたか否かを判定する。ステップＳ３２において、動画像の撮影動作の終了指示が入力されたと判定した場合には、ステップＳ５０へ移行し、３Ｄ動画像及び音声をファイル化して記録部１２に記録するとともに、該ファイルに振動期間の情報を紐付けて記録する。

ステップＳ３２において、動画像の撮影動作の終了指示が入力されていないと判定した場合には、ステップＳ３３へ移行し、画像振動検出部２３による前述した問題振動判定処理を行う。

ステップＳ３３の問題振動判定処理において問題振動が発生したと判定されていなければ、ステップＳ３１へ戻る（ステップＳ３４のＮＯ）。一方、ステップＳ３３の問題振動判定処理において問題振動が発生したと判定されていれば、ステップＳ３５へ移行する（ステップＳ３４のＹＥＳ）。

ステップＳ３５では、振動期間カウンタＭの値に１を足し、さらに整数の変数である振動回数カウンタＮの値を０とする。そして、図１０に示す類似振動判定処理を実行する。類似振動判定処理では、ステップＳ７０に示すように、画像振動検出部２３による前述した問題振動判定処理を行い、ステップＳ７２に示すように、最新の問題振動と判定された振動が、過去に問題振動と判定された振動と、パターン１及びパターン２のうちの同じパターンであるか否かを判定する。

ここで、最新の問題振動と判定された振動が、過去に問題振動と判定された振動と、同じパターンであれば、この振動を類似振動と判定する。例えば図７に示すように、３Ｄ動画像中において被写体が中央部下側を略中心とした揺動を繰り返した場合には、パターン１の振動が繰り返し発生するため、類似振動が発生したと判定する。

類似振動は発生していないと判定した場合（ステップＳ３７のＮＯ）には、ステップＳ４９において、振動期間カウンタＭの値から１を引き、ステップＳ３２に戻る。一方、類似振動が発生したと判定した場合（ステップＳ３７のＹＥＳ）には、ステップＳ３８において、類似振動の発生時刻と、当該類似振動と同様のパターンであると判定された前回の振動の発生時刻との間の間隔が、所定の範囲内であるか否かを判定する。

すなわち、ステップＳ３８においては、同様のパターンの問題振動の発生周期が、所定の範囲内であるか否かを判定する。ここで、所定の範囲は、一例として０．１秒から１秒程度とする。

ステップＳ３８の判定において、同様のパターンの問題振動の発生間隔が所定の範囲外であった場合（ステップＳ３８のＮＯ）には、ステップＳ４９において、振動期間カウンタＭの値から１を引き、ステップＳ３２に戻る。

一方、ステップＳ３８の判定において、同様のパターンの問題振動の発生間隔が所定の範囲内であった場合（ステップＳ３８のＹＥＳ）には、ステップＳ３９において、振動回数カウンタＮの値に１を足す。

そして、ステップＳ４０において、振動回数カウンタＮの値が３より大きいか否かを判定する。すなわち、ステップＳ４０では、同様のパターンの問題振動が、所定の回数以上繰り返されたか否かを判定する。振動回数カウンタＮの値が３以下であれば、ステップＳ３６へ戻り、振動回数カウンタＮの値が３より大きければ、ステップＳ４１へ移行する。

ステップＳ４１では、第Ｍ回目の振動期間の開始時刻ｔｓ（Ｍ）として、現在の時刻を記録する。そして、ステップＳ４２において、タイマーＴｗの値を０とする。ここで、タイマーＴｗは、カウントアップタイマーであり、すなわち、ステップＳ４２の時点から計時を開始する。

そして、ステップ４３において、前述した類似振動判定処理を実行する。ステップＳ４３の類似振動判定処理において、類似振動が発生したと判定された場合（ステップＳ４４のＹＥＳ）には、ステップＳ４２へ戻る。すなわち、類似振動が繰り返し発生している間は、タイマーＴｗの値は０にリセットされ続ける。

ステップＳ４３の類似振動判定処理において、類似振動は発生していないと判定された場合（ステップＳ４４のＮＯ）には、ステップＳ４５へ移行し、タイマーＴｗの値が５秒よりも大きいか否かを判定する。ステップＳ４５において、タイマーＴｗの値が５秒以下の場合には、ステップＳ４３に戻る。

一方、ステップＳ４５において、タイマーＴｗの値が５秒より大きい場合、すなわち類似振動が５秒間よりも長い期間発生していない場合には、ステップＳ４６へ移行する。ステップＳ４６では、第Ｍ回目の振動期間の終了時刻ｔｅ（Ｍ）として、現在の時刻を記録する。

以上に説明したように、本実施形態の動画像撮影処理では、振動方向（パターン）が類似した所定の振幅以上の被写体の問題振動が、０．１秒から１秒の間の周期で４回以上繰り返し生じた場合に、振動期間の開始時刻ｔｓ（Ｍ）を記録する。

そして、この問題振動が発生しなくなった後に、タイマーＴｗの値が５秒を超えた時点で、振動期間の終了時刻ｔｅ（Ｍ）を記録する。このタイマーＴｗの値が５秒に達するまで、すなわち現在の振動期間の継続中に新たにパターンが類似した問題振動が生じた場合には、再びタイマーＴｗの値を０として、５秒間の振動期間の延長を行う。

なお、本実施形態では、０．１秒から１秒の間の周期の被写体の振動が問題振動であるとしているが、この周期の値は本実施形態に限られるものではない。この問題振動の周期及び振幅は、あらかじめ設定された値の他に、使用者がその値を変更可能であってもよい。

次に、図１１を参照して、ステップＳ０４の再生処理について説明する。
再生処理は、ステップ８０に示すように、デジタルカメラ１の動作モードが再生モードに設定されている期間中に実施される。再生処理では、まずステップＳ８１において、記録部１２に記録されている静止画像及び動画像の一覧を画像表示部１０に表示する、いわゆるサムネイル表示を行う。

そして、ステップＳ８２において、使用者により、静止画像及び動画像のうちのいずれかを選択する指示が操作部材により入力されたと判定した場合には、ステップＳ８３に移行して、選択されたものが静止画像であるか動画像であるかを判定する。

静止画像が選択された場合には、ステップＳ８４において、選択された静止画像を画像表示部１０に拡大して表示する。ここで、使用者が十字スイッチ９を操作する等により送り指示が入力されたと判定した場合（ステップＳ８５のＹＥＳ）には、次の静止画像又は動画像が選択されたものとしてステップＳ８３へ戻る。また、使用者がズーム操作スイッチ８を操作する等により一覧表示指示が入力されたと判定した場合（ステップＳ８６のＹＥＳ）には、ステップＳ８０へ戻る。

一方、ステップＳ８３で使用者により選択されたものが３Ｄ動画像であると判定した場合には、ステップＳ９０において、選択された３Ｄ動画像に紐付けられて記録された振動期間の情報を読み出す。

次にステップＳ９１において、選択された３Ｄ動画像を再生し画像表示部１０に表示する。この３Ｄ動画像の再生動作時においては、ステップＳ９２及びステップＳ９３に示すように、動画像の再生時間が振動期間中である場合には、３Ｄ動画像を２Ｄ動画像として画像表示部１０に表示する。ここで、振動期間中とは、前述したように、記録部１２に記録された振動期間の開始時刻ｔｓ（Ｍ）と終了時刻ｔｓ（Ｍ）との間の期間のことである。

３Ｄ動画像を２Ｄ動画像として表示するためには、左撮影部２ａ及び右撮影部２ｂにより撮影された画像のうちの一方を、左視点画像及び右視点画像として同時に表示すればよい。なお、ステップＳ９３において、３Ｄ動画像と同時に記録された音声は、２Ｄ動画像として表示している間もそのまま再生しスピーカ７から出力する。

そして、ステップＳ９４に示すように、再生中の３Ｄ動画像の再生が終了する、または再生処理の終了指示が操作部材により入力されるまで、各フレームについてステップＳ９２の判定を繰り返す。

以上のように、本実施形態では、３Ｄ動画像の再生であっても、被写体の所定の領域の周期の振動が発生している振動期間については、当該３Ｄ動画像を２Ｄ動画像として再生し表示する。

以上に説明したように、本実施形態のデジタルカメラ１は、３Ｄ動画像の撮影時において、３Ｄ動画像中の被写体の所定の周期の振動を検出し、その振動が発生している振動期間を３Ｄ動画像とともに記録部１２に記録する。そして、画像表示部１０にこの３Ｄ動画像を再生して表示する場合には、３Ｄ動画像中の被写体の所定の周期の振動が検出された振動期間中は、３Ｄ動画像を２Ｄ動画像として表示する。

このため、本実施形態のデジタルカメラ１は、鑑賞者に不快感を与えやすい周期で被写体が振動している状態の３Ｄ動画像を表示することがないため、鑑賞者に不快感を与えることなく３Ｄ動画像を表示することができる。

なお、上述した実施形態では、画像振動検出部２３は、３Ｄ画像中における被写体の振動を検出するものとしたが、画像振動検出部２３は、３Ｄ画像中の動きベクトルに基づいて被写体の急激な拡大や縮小も検出するものであってもよい。この場合、急激なズーム動作等による被写体の拡大や縮小によって鑑賞者に不快感を与えることも防止することができる。

（第２の実施形態）
以下に、図１２を参照して本発明の第２の実施形態を説明する。第２の実施形態は、上述した第１の実施形態に比して画像振動検出部２３の構成のみが異なる。以下ではこの相違点のみを説明するものとし、また、第１の実施形態と同様の構成要素については同一の符号を付し、その説明を適宜に省略するものとする。

本実施形態では、図１２に示すように、画像振動検出部２３は、振動検出センサ２５を具備して構成されている。振動検出センサ２５は、デジタルカメラ１の振動を検出するためのものであって、例えば角加速度センサや、加速度センサ等により構成されている。

画像振動検出部２３は、この振動検出センサ２５により検出されたデジタルカメラ１の振動の状態、及び撮影部２の撮影用レンズの焦点距離Ｚに基づいて、３Ｄ動画像中における被写体の振動を算出し、被写体の所定の周期の振動を検出する。

このような構成であれば、３Ｄ動画像のフレーム間の比較から被写体の動きベクトルを算出するという比較的処理能力を必要とする処理が不要となるため、第１の実施形態に比して消費電力を抑えることができる。また、振動検出センサ２５は、いわゆる手ぶれ防止機構に用いられる手ぶれ検出用のセンサと併用することができる。

なお、本発明は、上述した各実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う撮像装置もまた本発明の技術的範囲に含まれるものである。

例えば、上述した実施形態では、３Ｄ動画像の撮影中に鑑賞者に不快感を与えやすい周期で被写体が振動している状態を検出するものとしたが、３Ｄ静止画像であっても、右視点画像及び左視点画像の少なくとも一方に像のブレが生じた場合には、鑑賞者に不快感を与えてしまうことがある。したがって、３Ｄ静止画像を撮影可能な撮像装置であって、３Ｄ静止画像の撮影時に右視点画像及び左視点画像の少なくとも一方に像のブレが検出された場合には、２Ｄ静止画像として記録する、またはブレが検出された３Ｄ静止画像を２Ｄ静止画像として表示する撮像装置も本発明に含まれる。

また上述した実施形態では、デジタルカメラ１は、２つの視点に対応する一対の左撮影部２ａ及び右撮影部２ｂを具備してなるが、例えば単一の撮影部を有する２台のデジタルカメラを組み合わせて使用し、該２台のデジタルカメラを有線又は無線による通信により略同期させて動作させる構成にも本発明は適用可能である。

本発明は、上述の実施形態で説明したデジタルカメラに限らず、撮影機能を備えた録音機器、携帯電話、ＰＤＡ、パーソナルコンピューター、ゲーム機、デジタルメディアプレーヤー、テレビ、ＧＰＳ、時計等の電子機器にも適用可能である。

１デジタルデジタルカメラ、
２撮影部、
２ａ左撮影部、
２ｂ右撮影部、
３マイクロホン、
４静止画撮影スイッチ、
５動画撮影スイッチ５、
６電源スイッチ、
８ズーム操作スイッチ、
９十字スイッチ９、
１０画像表示部、
１１操作判定部、
１２記録部、
１３時計部、
２０制御部、
２１画像処理部、
２２被写体状況判定部、
２３画像振動検出部、
２４顔認識部。

Claims

視差を有する複数の視点から被写体を撮影することによって３Ｄ動画像を撮影することが可能な撮影部と、
前記３Ｄ動画像中における前記被写体の所定の周期の振動を検出する画像振動検出部と、
前記３Ｄ動画像と、当該３Ｄ動画像の撮影中に前記画像振動検出部により検出された前記被写体の所定の周期の振動が発生している振動期間と、を関連づけて記録する記録部と、
を具備することを特徴とする撮像装置。
前記３Ｄ動画像を再生して表示可能な画像表示部を具備し、
前記画像表示部は、前記３Ｄ動画像の表示時において、当該３Ｄ動画像に関連付けられて前記記録部に記録された前記振動期間中は、前記３Ｄ動画像を、２Ｄ動画像として表示することを特徴とする請求項１に記載の撮像装置。