JP2013162489A - ３ｄ画像撮像装置 - Google Patents

Abstract

【課題】ファントグラムに関する複雑な知識を要することなく、容易にファントグラム画像を得ることが可能な３Ｄ画像撮像装置を提供する。
【解決手段】デジタルカメラ１は、立体視用の画像を撮像するＣＣＤイメージセンサ１５０Ａ、１５０Ｂと、ＣＣＤイメージセンサ１５０Ａ、１５０Ｂで撮像された画像に対して変形処理を施すことによりファントグラム画像を生成する画像処理部１６０と、ＣＣＤイメージセンサ１５０Ａ、１５０Ｂで撮像された画像のうちファントグラム変形後において有効な画像範囲を視覚的に認識可能なように、前記ＣＣＤイメージセンサ１５０Ａ、１５０Ｂで撮像された画像に対して画像処理を施す画像処理部１６０と、画像処理部１６０で画像処理が施された画像を表示する液晶モニタ２７０と、を備える。
【選択図】図１

Description

本発明は、３Ｄ画像（立体画像）を撮影する３Ｄ画像撮像装置に関するものである。

視差を有する第１視点画像（左目用画像と右目用画像とのうちの一方の画像）と第２視点画像（左目用画像と右目用画像とのうちの他方の画像）からなる３Ｄ画像は、一般に、２台のカメラを横に並べて、あるいは２つの光学系を有する１台のカメラを用いて、撮影される。

３Ｄ画像は、一般的に、表示面（第１視点画像及び第２視点画像）に正対して視聴することにより、これらの画像に含まれる被写体が表示面よりもユーザ側に（手前に）飛び出して見えたり、表示面を挟んでユーザとは反対側に（奥に）引っ込んで見えたりする。一方、ファントグラム画像という特殊な３Ｄ画像が存在する。このファントグラム画像は、表示面に正対して視聴を行なうのではなく、表示面に対して斜め上方から俯角を持って見下ろすように視聴することにより、あたかも被写体が表示面上に立ち上がっているように見える３Ｄ画像である。

特許文献１には、一般的な３Ｄ画像撮像装置で撮影した第１視点画像及び第２視点画像からファントグラム画像を生成する方法が開示されている。具体的には、３Ｄ画像撮像装置を用いて斜め上方から俯角を持って見下ろすように撮影した第１視点画像及び第２視点画像を撮影し、撮影した第１視点画像及び第２視点画像に対してそれぞれパースペクティブの変更等の画像処理を施すことにより、ファントグラム用の第１視点画像及び第２視点画像を生成する。これらの生成された画像により、ファントグラム画像が構成される。

より具体的には、特許文献１では、ファントグラム画像を生成する際、基準面（例えば、被写体が載置されるテーブルの上面）上でのパースペクティブ（視差）を得て、これを無くすように、撮像した第１視点画像及び第２視点画像を変形することが開示されている。基準面上でのパースペクティブを無くすのは、視点位置や被写体位置に関する情報を用いた演算を行うことにより行なわれる。

また、特許文献２には、ファントグラム画像を生成する際、俯角をつけて撮影された第１視点画像及び第２視点画像からこれらの画像の上端部（上辺部）および下端部（下辺部）での基準面の視差を求め、この視差に基づいて画像の変形量を決定する方法が開示されている。

特開２００４−１７８５７９号公報 特開２００８−２７６０３６号公報

従来ファントグラム画像を得るためには、特許文献１や２に開示されているような複雑な知識をユーザが有している必要があるだけでなく、撮影後に別途、一般的な３Ｄ画像撮像装置で撮影した第１視点画像及び第２視点画像に対して複雑な演算処理を施す必要があった。そのため、一般的なユーザが、自身の撮像した画像等についてファントグラム画像を得ることは非常に困難であった。

本発明は、ファントグラムに関する複雑な知識を要することなく、容易にファントグラム画像を得ることができる３Ｄ画像撮像装置を提供することを目的とする。

本発明の第１の態様の３Ｄ画像撮像装置は、立体視用の画像を撮像する撮像部と、撮像部で撮像された画像に対して変形処理を施すことによりファントグラム画像を生成するファントグラム画像生成部と、撮像部で撮像された画像のうちファントグラム変形後において有効な画像範囲を視覚的に認識可能なように、撮像部で撮像された画像に対して画像処理を施す画像処理部と、画像処理部で画像処理が施された画像を表示する表示部と、を備える。

本発明の第２の態様の３Ｄ画像撮像装置は、立体視用の画像を撮像する撮像部と、自装置の俯角を検出する俯角検出部と、現在の撮影モードがファントグラム撮影モードか否かを検出する撮影モード検出部と、撮影モード検出部で現在の撮影モードがファントグラム撮影モードであることが検出されたときは、撮像部で撮像された画像に対して変形処理を施すことによりファントグラム画像を生成するファントグラム画像生成部と、撮影モード検出部で現在の撮影モードがファントグラム撮影モードであることが検出されたときは、撮像部で撮像された立体視用の画像とファントグラム画像生成部で生成されたファントグラム画像との少なくとも一方と、俯角検出部で検出された俯角と、撮影時の焦点距離と、ファントグラム撮影モードで撮影されたことを示す情報とを内部記憶媒体または外部記憶媒体に記録する記録部と、を備える。

本発明の第３の態様の３Ｄ画像撮像装置は、立体視用の画像を撮像する撮像部と、自装置の俯角を検出する俯角検出部と、撮像部で撮像された画像に対して変形処理を施すことによりファントグラム画像を生成するファントグラム画像生成部と、ファントグラム画像生成部で生成されたファントグラム画像に関する確認画像を生成する確認画像生成部と、立体視用の画像を撮像する際に、ファントグラム画像生成部で生成された確認画像を表示する表示部と、を備える。表示部は自装置の本体に対して回転可能なバリアングル式のものであり、表示部の回転角を検出する回転角検出部と、俯角検出部で検出された俯角と回転角検出部で検出された回転角が所定の条件を満たす場合、確認画像生成部に前記ファントグラム画像の確認画像を生成させ、表示部に生成された確認画像を表示させるよう制御する制御部と、を備える。

本発明の各態様によれば、撮像部で撮像された画像に対して変形処理が施されることにより、ファントグラム画像が自動で生成される。したがって、ユーザがファントグラムに関する複雑な知識を有していなくても、容易にファントグラム画像を得ることができる。

また、本発明の第１の態様によれば、ファントグラム撮影を行う際、撮像部で撮像された画像のうちファントグラム変形後において有効な画像範囲を認識可能なように、撮像部で撮像された画像に対して画像処理が施された画像が表示部に表示される。なお、表示部への、認識可能な態様での画像の表示は、ファントグラム画像の撮影モードにあるとき、レリーズボタンが半押しされたとき、あるいはレリーズボタンが全押しされたときのいずれとしてもよい。これにより、ユーザは、表示部に表示された有効な画像範囲を確認しながら構図の変更や撮り直しができ、撮影者の意図したファントグラム画像を得ることができる。

また、本発明の第２の態様によれば、現在の撮影モードがファントグラム撮影モードであるときは、画像生成部で生成された立体視用の画像とファントグラム画像生成部で生成されたファントグラム画像との少なくとも一方と、俯角検出部で検出された俯角と、撮影時の焦点距離と、ファントグラム撮影であることを示す情報とが、内部記憶媒体または外部記憶媒体に記録される。画像生成部で生成された立体視用の画像とファントグラム画像生成部で生成されたファントグラム画像とのどれを記録するかはユーザの意図に応じて設定可能とすればよい。このような構成によれば、例えば、ファントグラム画像を記録していない場合でも、撮影後の別の機会に、通常の３Ｄ画像に対して俯角等を用いて演算することにより、ファントグラム画像を生成することが可能となる。

また、本発明の第３の態様によれば、自装置の俯角と表示部の回転角が所定の条件を満たすときは、自動的に、ファントグラム画像の確認画像が生成され、表示部に確認画像が表示される。これにより、ユーザがファントグラム撮影モード等を手動で設定せずとも、ファントグラム画像を撮影することができる。さらに、ユーザは、撮影中、表示されたファントグラム画像の確認画像を確認しながら構図の変更や撮り直しができ、撮影者の意図したファントグラム画像を得ることができる。

実施形態１のデジタルカメラの構成を示すブロック図である。 デジタルカメラの撮像動作を説明するためのフローチャートである。 ２Ｄ撮影モードにおける撮像動作を説明するためのフローチャートである。 通常３Ｄ撮影モードにおける撮像動作を説明するためのフローチャートである。 ファントグラム撮影モードにおける撮像動作を説明するためのフローチャートである。 ファントグラム画像生成用の変形パラメータの決定方法を説明するための図である。 ファントグラム画像生成用の変形パラメータの決定方法を説明するための図である。 ＣＣＤイメージセンサから取得した第１視点画像及び第２視点画像から、ファントグラム画像を生成するフローチャートである。 撮影アシストの説明図である。 実施形態２におけるファントグラム撮影モードによる撮像動作を説明するためのフローチャートである。 ファントグラム変形後の有効画像範囲を示すガイドラインを第１視点画像（第２視点画像）に重畳して液晶モニタに表示した画像を示す図である。 ファントグラム変形された画像と、ファントグラム画像としてメモリに記録される画像領域の関係を示したものである。 ファントグラム変形前後の画像の領域を示す図である。 実施形態３のデジタルカメラの構成を示すブロック図である。 デジタルカメラの撮像動作を説明するためのフローチャートである。 使用者がファントグラム撮影を行っているとみなせる状態を示す図である。

（実施形態１）
以下、本発明をデジタルカメラに適用した場合の実施形態１について図面を参照しながら説明する。

１−１.デジタルカメラの構成
デジタルカメラの構成に関して図１を参照して説明する。

図１は、本実施形態のデジタルカメラ１の構成を示すブロック図である。デジタルカメラ１は、光学系１１０Ａ、１１０Ｂ、ズームモータ１２０、ＯＩＳアクチュエータ１３０、フォーカスモータ１４０、ＣＣＤイメージセンサ１５０Ａ、１５０Ｂ、画像処理部１６０、メモリ２００、コントローラ２１０、ジャイロセンサ２２０、カードスロット２３０、メモリカード２４０、操作部材２５０、ズームレバー２６０、液晶モニタ２７０、内部メモリ２８０、撮影モード設定ボタン２９０、及び姿勢検出センサ３００を備える。

光学系１１０Ａは、ズームレンズ１１１Ａ、ＯＩＳ１１２Ａ、及びフォーカスレンズ１１３Ａを含む。また、光学系１１０Ｂは、ズームレンズ１１１Ｂ、ＯＩＳ１１２Ｂ、及びフォーカスレンズ１１３Ｂを含む。なお、光学系１１０Ａは、第１視点における被写体像を形成する。また、光学系１１０Ｂは、第１視点とは異なる第２視点における被写体像を形成する。

ズームレンズ１１１Ａ、１１１Ｂは、光学系の光軸に沿って移動することにより、被写体像を拡大又は縮小可能である。ズームレンズ１１１Ａ、１１１Ｂは、ズームモータ１２０によって制御される。

ＯＩＳ１１２Ａ、１１２Ｂは、光軸に垂直な面内で移動可能な補正レンズを有する。ＯＩＳ１１２Ａ、１１２Ｂは、デジタルカメラ１のブレを相殺する方向に補正レンズを駆動することにより、被写体像のブレを低減する。補正レンズは、ＯＩＳ１１２Ａ、１１２Ｂ内において所定量だけ中心から移動することが出来る。ＯＩＳ１１２Ａ、１１２Ｂは、ＯＩＳアクチュエータ１３０によって制御される。

フォーカスレンズ１１３Ａ、１１３Ｂは、光学系の光軸に沿って移動することにより、被写体像のピントを調整する。フォーカスレンズ１１３Ａ、１１３Ｂは、フォーカスモータ１４０によって制御される。

ズームモータ１２０は、ズームレンズ１１１Ａ、１１１Ｂを駆動制御する。ズームモータ１２０は、パルスモータ、ＤＣモータ、リニアモータ、サーボモータなどで実現できる。ズームモータ１２０は、カム機構やボールネジなどの機構を介してズームレンズ１１１Ａ、１１１Ｂを駆動するようにしてもよい。また、ズームレンズ１１１Ａと、ズームレンズ１１１Ｂとは、別々のズームレンズにより駆動制御される構成としても良い。

ＯＩＳアクチュエータ１３０は、ＯＩＳ１１２Ａ、１１２Ｂ内の補正レンズを光軸と垂直な面内で駆動制御する。ＯＩＳアクチュエータ１３０は、平面コイルや超音波モータなどで実現できる。

フォーカスモータ１４０は、フォーカスレンズ１１３Ａ、１１３Ｂを駆動制御する。フォーカスモータ１４０は、パルスモータ、ＤＣモータ、リニアモータ、サーボモータなどで実現できる。フォーカスモータ１４０は、カム機構やボールネジなどの機構を介してフォーカスレンズ１１３Ａ、１１３Ｂを駆動するようにしてもよい。

ＣＣＤイメージセンサ１５０Ａ、１５０Ｂは、光学系１１０Ａ、１１０Ｂで形成された被写体像を撮像して、第１視点信号及び第２視点信号を生成する。ＣＣＤイメージセンサセンサ１５０Ａ、１５０Ｂは、露光、転送、電子シャッターなどの各種動作を行う。なお、説明の便宜上、以後、第１視点信号及び第２視点信号を「第１視点画像」及び「第２視点画像」と言い、第１視点信号及び第２視点信号に対する信号処理を「第１視点画像」及び「第２視点画像」に対する「画像処理」という。第１視点画像がユーザの左目及び右目の一方の目によって視認され、第２視点画像がユーザの他方の目によって視認されることにより、通常の３Ｄ画像がユーザにより認識される。また、第１視点画像に対して後述するファントグラム変形を施すことにより生成されたファントグラム用第１視点画像がユーザの左目及び右目の一方の目によって視認され、第２視点画像に対して同じくファントグラム変形を施すことにより生成されたファントグラム用第２視点画像がユーザの他方の目によって視認されることにより、あたかも被写体が表示面上に立ち上がっているように見えるファントグラムがユーザにより認識される。

画像処理部１６０は、ＣＣＤイメージセンサ１５０Ａ、１５０Ｂで生成された第１視点画像及び第２視点画像に対して各種の処理を施す。すなわち画像処理部１６０は、液晶モニタ２７０に表示するための画像（レビュー画像）を生成したり、メモリカード２４０に再格納するための画像を生成したりする。また画像処理部１６０は、第１視点画像及び第２視点画像に対してガンマ補正、ホワイトバランス補正、傷補正などの各種画像処理を行う。

また、画像処理部１６０は、光学系１１０Ａ、１１０Ｂ（レンズ）の焦点距離や姿勢検出センサ３００の信号に基づき、ＣＣＤイメージセンサ１５０Ａ、１５０Ｂで生成された第１視点画像及び第２視点画像のそれぞれに対して、ファントグラム画像生成のための画像変形処理を施し、ファントグラム用の第１視点画像及び第２視点画像を生成する。以後、これを適宜、「ファントグラム画像を生成する」という。画像処理部１６０は、第１視点画像と第２視点画像とを比較することにより、両画像の特定領域ごとの視差量を求めてもよい。この視差量は、ファントグラム用に変形した第１視点画像と第２視点画像の視差量を調整する場合に、その調整幅を決定する際などに利用する。

さらに、画像処理部１６０は、上述の各種処理が施された第１視点画像及び第２視点画像のそれぞれに対して、ＪＰＥＧ規格に準拠した圧縮形式等による圧縮処理を施す。第１視点画像及び第２視点画像を圧縮して得られる各圧縮画像データは互いに関連付けられて、メモリカード２４０に記録される。なお、両圧縮画像データが記録される際、ＭＰＦファイルフォーマットを用いて記録されるのが望ましい。また、ファントグラム画像表示用に変形された画像と、通常の変形処理されていない画像が、別ファイルに、あるいは１つのファイルにまとめて格納されてもよい。例えばＭＰＦファイルフォーマットでは、３個以上の画像をまとめて格納できる。従って通常の３Ｄ画像を構成する第１視点画像及び第２視点画像と、ファントグラム画像を構成する第１視点画像及び第２視点画像を、１つのＭＰＦファイルに格納することができる。また、表示時に切り替えることにより、通常の３Ｄ画像とファントグラム画像とのいずれかを選択的に表示することできる。圧縮する画像信号が動画の場合、Ｈ．２６４／ＡＶＣ等の動画圧縮規格が適用できる。また、ＭＰＦファイルフォーマットと、ＪＰＥＧ画像若しくはＭＰＥＧ動画と、を同時に記録する構成にしても構わない。

画像処理部１６０は、ＤＳＰやマイコンなどで実現可能である。レビュー画像の解像度は、液晶モニタ２７０の画面解像度に設定しても構わないし、ＪＰＥＧ規格に準拠した圧縮形式等により圧縮され生成される画像データの解像度に設定しても構わない。

メモリ２００は、画像処理部１６０及びコントローラ２１０のワークメモリとして機能する。メモリ２００は、例えば、画像処理部１６０で処理された画像、若しくは画像処理部１６０で処理される前のＣＣＤイメージセンサ１５０から入力される画像を一時的に蓄積する。また、メモリ２００は、撮影時における光学系１１０Ａ、１１０Ｂ、ＣＣＤイメージセンサ１５０Ａ、１５０Ｂの撮影条件を一時的に蓄積する。撮影条件とは、被写体距離、画角情報、ＩＳＯ感度、シャッタースピード、ＥＶ値、Ｆ値、レンズ間距離、撮影時刻、ＯＩＳシフト量等である。メモリ２００は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。

コントローラ２１０は、デジタルカメラ１全体を制御する。例えば、コントローラ２１０は、上記第１視点画像及び第２視点画像、並びにそれらから求めた視差量などに基づいて、ズームモータ１２０、ＯＩＳアクチュエータ１３０、フォーカスモータ１４０などの制御を行なう。コントローラ２１０は、半導体素子などで実現可能である。コントローラ２１０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ２１０は、マイコンなどで実現できる。

ジャイロセンサ２２０は、圧電素子等の振動材を有する。ジャイロセンサ２２０は、圧電素子等の振動材を一定周波数で振動させコリオリ力による力を電圧に変換して角速度情報を得る。ジャイロセンサ２２０から角速度情報を得て、この揺れを相殺する方向にＯＩＳ内の補正レンズを駆動させることにより、使用者によりデジタルカメラ１００に与えられる手振れは補正される。なお、ジャイロセンサ２２０は、少なくともピッチ角の角速度情報を計測可能なデバイスであればよい。ジャイロセンサ２２０がロール角の角速度情報を計測可能である場合、デジタルカメラ１が略水平方向に移動した際の回転を検出することができる。

カードスロット２３０は、メモリカード２４０を着脱可能である。カードスロット２３０は、機械的及び電気的にメモリカード２４０と接続可能である。

メモリカード２４０は、フラッシュメモリや強誘電体メモリなどを内部に含み、データを格納可能である。なお、メモリカード２４０は、デジタルカメラ１に構成要素として含まれていなくてもよい。

操作部材２５０は、レリーズボタンを備える。レリーズボタンは、使用者の押圧操作を受け付ける。レリーズボタンを半押しした場合、コントローラ２１０を介してＡＦ制御及び、ＡＥ制御を開始する。また、レリーズボタンを全押しした場合、撮像動作を行う。

ズームレバー２６０は、使用者からズーム倍率の変更指示を受け付ける部材である。

液晶モニタ２７０は、ＣＣＤイメージセンサ１５０で生成した第１視点画像又は第２視点画像やメモリカード２４０から読み出した第１視点画像及び第２視点画像を２Ｄ表示若しくは３Ｄ表示可能な表示デバイスである。液晶モニタ２７０は、デジタルカメラ１００の各種の設定情報を表示可能である。例えば、液晶モニタ２７０は、撮影時における撮影条件である、ＥＶ値、Ｆ値、シャッタースピード、ＩＳＯ感度等を表示可能である。

モード設定ボタン２９０は、デジタルカメラ１で撮影する際の撮影モードを設定するためのボタンである。デジタルカメラ１は、「撮影モード」として、（１）人物モード、（２）マクロモード、（３）風景モード等を備えている。デジタルカメラ１は、さらに、ファントグラム画像を撮像（生成）するための（４）ファントグラム撮影モードを備えている。また、デジタルカメラ１は、２Ｄ画像を撮像するための「２Ｄ撮影モード」や、通常の３Ｄ画像を撮影するための「通常３Ｄ撮影モード」を備えている。なお、単に「３Ｄ撮影モード」というときは、「通常３Ｄ撮影モード」と「ファントグラム撮影モード」の両方を含む。「２Ｄ撮影モード」と「３Ｄ撮影モード」は、撮影シーンごとに選択できるようになっていてもよい。デジタルカメラ１は、設定された撮影モードに応じて適切な撮影パラメータを設定し、撮像を行う。なお、デジタルカメラ１が自動で撮影モードの設定を行うカメラ自動設定モードがあってもよい。また、モード設定ボタン２９０は、メモリカード２４０に記録された画像（データ）の再生を行う際の再生モードを設定するボタンである。

液晶モニタ２７０は、２Ｄ撮影モードのとき、第１視点画像と第２視点画像とのいずれかを選択して表示しても構わないし、表示画面を左右もしくは上下に分割して第１視点画像と第２視点画像の両方を表示しても構わないし、第１視点画像と第２視点画像とをライン毎に交互に表示しても構わない。

液晶モニタ２７０は、通常３Ｄ撮影モードのとき、第１視点画像と第２視点画像とをフレームシーケンシャル方式で表示しても構わないし、第１視点画像と第２視点画像とをオーバーレイ方式で表示しても構わない。あるいは、表示画面を左右もしくは上下に分割して第１視点画像と第２視点画像を表示しても構わない。

内部メモリ２８０は、フラッシュメモリや強誘電体メモリなどで構成される。内部メモリ２８０は、デジタルカメラ１全体を制御するための制御プログラム等を格納する。

姿勢検出センサ３００は、撮影時に撮影者がデジタルカメラ１を斜め下方に向けて把持している場合（すなわち、デジタルカメラ１が俯角を持って把持されている場合）の俯角を検出する。姿勢検出センサは、例えば、３軸の加速度センサなどにより実現可能である。姿勢検出センサ３００で検出された俯角に基づき、コントローラ２１０は、ファントグラム画像を生成する際に用いる、ＣＣＤデジタルカメラ１で生成された画像に対する変形量を算出する。

１−２．デジタルカメラ１の撮像動作
以下、デジタルカメラ１の撮像動作について説明を行う。

図２は、デジタルカメラ１の撮像動作を説明するためのフローチャートである。図３は、２Ｄ撮影モードにおける撮像動作を説明するためのフローチャートである。図４は、通常３Ｄ撮影モードにおける撮像動作を説明するためのフローチャートである。図５は、ファントグラム撮影モードにおける撮像動作を説明するためのフローチャートである。

まず、モード設定ボタン２９０が使用者により操作されると、デジタルカメラ１は操作後の撮影モードを取得する（Ｓ２０１）。

コントローラ２１０は、取得した撮影モードが、２Ｄ撮影モードか、通常３Ｄ撮影モードか、ファントグラム撮影モードかを判定し（Ｓ２０２）、判定結果に応じた制御動作を行う（Ｓ２０３、Ｓ２０４、Ｓ２０５）。以下、それぞれの撮影モードでの動作を説明する。

（１）２Ｄ撮影モードでの動作
図３を参照して２Ｄ撮影モードでの動作を説明する。取得した撮影モードが２Ｄ撮影モードである場合、コントローラ２１０は、レリーズボタンが全押しされるまで待機する（Ｓ３０１）。

レリーズボタンが全押しされると（Ｓ３０１でＹｅｓ）、ＣＣＤイメージセンサ１５０Ａ、１５０Ｂのうち少なくとも一方のＣＣＤイメージセンサは、２Ｄ撮影モード時の撮影条件に基づいて撮像動作を行い、第１視点画像及び第２視点画像のうち少なくとも一方の画像を生成する（Ｓ３０２）。

画像処理部１６０は、生成された画像信号に対して２Ｄ撮影モードに則した各種画像処理を行い、圧縮画像データを生成する（Ｓ３０３）。

コントローラ２１０は、圧縮画像データをカードスロット２３０に接続されたメモリカード２４０に記録する（Ｓ３０４）。この際、１つの視点において得られる圧縮画像データを１つの画像データとしてメモリカード２４０に記録する。なお、第１視点画像の圧縮画像データと第２視点画像の圧縮画像データとが得られた場合、コントローラ２１０は、２つの圧縮画像データを、例えばＭＰＦファイルフォーマットに従って関連付けて、メモリカード２４０に記録しても構わない。

（２）通常３Ｄ撮影モードでの動作
図４を参照して通常３Ｄ撮影モードでの動作を説明する。取得した撮影モードが通常３Ｄ撮影モードである場合、コントローラ２１０は、レリーズボタンが半押しされるまで待機する（Ｓ４０１）。

レリーズボタンが半押しされると（Ｓ４０１でＹｅｓ）、画像処理部１６０は、種々の撮影パラメータを決定する（Ｓ４０２）。例えば、画像処理部１６０は、フォーカス、シャッター速度などの撮影パラメータを決定する。また、画像処理部１６０は、ＣＣＤイメージセンサ１５０Ａ、１５０Ｂから取得した第１視点画像と第２視点画像との対応部分を検出してそれぞれの視差を求め、さらに画面全体の視差分布を求める。また、画像処理部１６０は、求めた視差分布に基づいて、通常３Ｄ撮影に最適な撮影パラメータを決定する。視差分布に基づいて決定される撮影パラメータとしては、例えば画像センサからの画像取得位置が挙げられる。取得位置を調整することで、３Ｄ画像表示装置に３Ｄ画像を表示した際に、液晶モニタ２７０の表示面上に存在するように見える（視差が０の）被写体の前後方向（表示面に対して垂直な方向）の位置を変更することが可能である。視差分布が得られている場合、視差の平均値が０となるように画像取得位置を調整することで、見やすい３Ｄ画像とすることが可能である。なお、視差分布に基づいて調整してもよいパラメータとしては、この例以外に、左右の光学系１１０Ａ、１１０Ｂの光軸の回転角や、光軸間距離がある。また視差の調整は、前述の視差の平均値が０となるようにする調整に限られず、視差分布が所定の範囲に収まるようにする調整や、特定の指定された被写体の視差を０とする調整であっても構わない。また、レリーズボタンが半押しされたときに、基準面（テーブル面）の視差が０となるように視差の調整を行ってもよい。またこれらの視差調整機能を、ユーザ指示により停止させることができるようになっていてもよい。この場合には、視差に関わる撮影パラメータは、予め定められた所定のパラメータに決定される。

撮影パラメータが決定されると、コントローラ２１０は、レリーズボタンが全押しされるまで待機する（Ｓ４０３）。

レリーズボタンが全押しされると（Ｓ４０３でＹｅｓ）、ＣＣＤイメージセンサ１５０Ａ、１５０Ｂは、既に設定された３Ｄ撮影パラメータに従って撮像動作を行い、第１視点画像及び第２視点画像を生成する（Ｓ４０４）。

画像処理部１６０は、生成された２つの画像に対して、通常３Ｄ撮影モードに則した各種画像処理を行い、第１視点画像と第２視点画像との２つの圧縮画像データを生成する（Ｓ４０５）。

コントローラ２１０は、生成された２つの圧縮画像データをカードスロット２３０に接続されたメモリカード２４０に記録する（Ｓ４０６）。なお、２つの圧縮画像データをメモリカード２４０に記録する際、例えばＭＰＦファイルフォーマットに従って関連付けて記録する。

（３）ファントグラム撮影モードでの動作
図５を参照してファントグラム撮影モードでの動作を説明する。取得した撮影モードがファントグラム撮影モードである場合、コントローラ２１０は、レリーズボタンが半押しされるまで待機する（Ｓ５０１）。

レリーズボタンが半押しされると（Ｓ５０１でＹｅｓ）、画像処理部１６０は、種々の撮影パラメータを決定する（Ｓ５０２）。例えば、画像処理部１６０は、フォーカス、シャッター速度などの撮影パラメータを決定する。また、画像処理部１６０は、姿勢検出センサ３００からカメラの俯角を取得するとともに、光学系１１０Ａ、１１０Ｂのコントローラから光学系１１０Ａ、１１０Ｂ（レンズ）の現在の焦点距離を取得する。そして、画像処理部１６０は、これらの値を用いてファントグラム画像生成のための変形パラメータを算出する。変形パラメータ算出の詳細については後述する。画像処理部１６０は、ＣＣＤイメージセンサ１５０Ａ、１５０Ｂから取得した画像から視差分布を求め、視差調整のための調整用パラメータを算出してもよい。

画像処理部１６０は、液晶モニタ２７０への表示用のファントグラム画像の確認画像を生成し、表示する（Ｓ５０３）。具体的には、画像処理部１６０は、ＣＣＤイメージセンサ１５０Ａ、１５０Ｂから取得した第１視点画像及び第２視点画像を、液晶モニタ２７０への表示用に縮小し、上述の変形パラメータに従って変形する。さらにファントグラムの基準面での視差が０となるようにファントグラム用の第１視点画像と第２視点画像と間の視差の調整を行なう。画像変形を行なってファントグラム画像を生成する方法の詳細については、後述する。こうして生成されたファントグラム画像は、液晶モニタ２７０に表示される。この時、液晶モニタ２７０には、生成したファントグラム画像だけでなく、ファントグラム画像を適切に視聴可能とする撮影条件に関するアシスト情報を提示してもよい。アシスト情報の詳細については後述する。

液晶モニタ２７０でのファントグラム画像の確認画像表示後、コントローラ２１０は、レリーズボタンが全押しされるまで待機する。（Ｓ５０４）

レリーズボタンが全押しされると（Ｓ５０４でＹｅｓ）、ＣＣＤイメージセンサ１５０Ａ、１５０Ｂは、上述の決定された撮影パラメータに従って撮像動作を行い、第１視点画像及び第２視点画像を生成する（Ｓ５０５）。

その後、画像処理部１６０は、ファントグラム撮影モードにおける画像処理を行う（Ｓ５０６）。具体的には、画像処理部１６０は、ＣＣＤイメージセンサ１５０Ａ、１５０Ｂで生成された第１視点画像及び第２視点画像に対して、決定された変形パラメータによる変形および視差調整を行うことにより、第１視点画像と第２視点画像に対応するファントグラム画像を生成する。また、画像処理部１６０は、ステップＳ５０２で、第１視点画像と第２視点画像についての圧縮画像データを生成する。

コントローラ２１０は、生成された２つの圧縮画像データを、カードスロット２３０に接続されたメモリカード２４０に記録する（Ｓ５０７）。２つの圧縮画像データをメモリカード２４０に記録する際、例えばＭＰＦファイルフォーマットに従って関連付けて記録する。また、撮影した画像を通常の３Ｄ画像として視聴する場合と、ファントグラム画像として視聴する場合とに対応して、ファントグラム変形前の圧縮画像データとファントグラム変形後の圧縮画像データを別々のファイルに、あるいは同一のファイルに格納してもよい。同一のファイルにファントグラム変形前の圧縮画像データとファントグラム変形後の圧縮画像データを格納する場合、ファントグラム変形後の圧縮画像データに、ファントグラム変形後の圧縮画像データであることを示す情報（符号）を付せばよい。また、ファントグラム変形前の圧縮画像データとファントグラム変形後の圧縮画像データとのいずれか一方のみを記録するようにしてもよい。また、ファントグラム変形前の圧縮画像データを記録したのか、ファントグラム変形後の圧縮画像データを記録したのか、その両方を記録したのかを示すフラグを記録してもよい。さらに、ファントグラム撮影の場合、俯角と焦点距離を記録するようにしてもよい。ファントグラム撮影の場合に、俯角と焦点距離を記録しておけば、ファントグラム変形後の圧縮画像データを記録していなくても、後で別途、ファントグラム変形前の圧縮画像データに対して俯角を用いてファントグラム変形を施すことにより、ファントグラム変形後の圧縮画像データを得ることができる。なお画像と共に記録する俯角や焦点距離は、ファントグラム変形のためのパラメータを計算するためのものである。ファントグラム変形のためのパラメータ決定に必要な別の情報、たとえば、焦点距離の代わりに垂直画角が記録されていても、同じ効果が得られる。

なお、上述のフローチャートでは、レリーズボタンが半押しされたとの判定（Ｓ５０１）がなされた後に液晶モニタ２７０にファントグラム画像の確認画像を表示するが、この限りではない。レリーズボタンの半押しの有無に関わらず液晶モニタ２７０にファントグラムの確認画像を表示し続けてもよい。この場合、上記ステップＳ５０３の処理を行い続ける必要がある。

１−２−１．ファントグラム画像生成用変形パラメータの決定
以下、ファントグラム画像生成のための変形パラメータの決定方法について述べる。

図６は、ファントグラム画像生成用の変形パラメータの決定方法を説明するための図である。なお、以下の説明では、光学系１１０Ａを介してＣＣＤイメージセンサ１５０Ａにより撮像された画像（第１視点画像）に対しての変形パラメータの決定方法について説明するが、光学系１１０Ｂを介してＣＣＤイメージセンサ１５０Ｂにより撮像された画像（第２視点画像）に対しても同様の処理が行われる。

点Ｏは光学系１１０Ａの主点（レンズ中心）、Ｓ６０１は光学系１１０Ａの光軸を示す。Ｓ６０２は、光軸Ｓ６０１に垂直な平面であり、光学系１１０Ａの焦点距離（つまり画角）及びＣＣＤイメージセンサ１５０Ａの撮像面の形状によって形状及び範囲が定まる仮想スクリーンを示す。この仮想スクリーンＳ６０２には、ＣＣＤイメージセンサ１５０Ａ上に結像したのと相似の画像Ｓ６１１が投影される。Ｓ６０３は、上記仮想スクリーンＳ６０２の法線（すなわち、光軸Ｓ６０１）と角度（俯角）θをなすように設けられた基準スクリーンである。Ｓ６１２は、光学系１１０Ａの主点Ｏを基準点として画像Ｓ６１１を基準スクリーンＳ６０３上に投影した画像である。この画像Ｓ６１２は、ファントグラム画像を構成する第１視点画像と第２視点画像のうちの一方の画像である。画像Ｓ６１１を画像Ｓ６１２のように変形させることを、以下「ファントグラム変形」という。

図７は、図６同様、ファントグラム画像生成用の変形パラメータの決定方法を説明するための図である。具体的には、画像Ｓ６１１及び画像Ｓ６１２を同一平面上に投影し、この平面に対して垂直な方向からこれらの画像Ｓ６１１、Ｓ６１２を見た状態を示す図である。

ここで、撮影時の俯角をθ、光学系の垂直画角をνとおくと、画像Ｓ６１１、Ｓ６１２の枠の四角形ＡＢＣＤ、ＡＢＥＦの各上辺ＣＤ、ＥＦの長さの比、すなわち線分ＣＤに対する線分ＥＦの倍率Ｍｘは、次式によって得ることができる。

同様に２つの四角形ＡＢＣＤ、ＡＢＥＦの高さの比 My=h2/h1は、次式によって得ることができる。

このことから、四角形ＡＢＣＤの４隅の座標を
A: (0, h1)
B: (w, h1)
C: (w, 0)
D: (0, 0)
と置くと、四角形ＡＢＥＦの４隅の座標は
A: (0, h1)
B: (w, h1)
E: (w/2*Mx+w/2, h1*(1−My)）
F: (−w/2*Mx+w/2, h1*(1-My))
と表すことができる。

画像全体をファントグラム変形するためには、四角形ＡＢＣＤを四角形ＡＢＥＦに変換する３×３行列の透視変換行列Ｍｐを求める。透視変換行列Ｍｐにより、四角形ＡＢＣＤに対応するスクリーンＳ６０２上の任意の画素 (x,y)から、四角形ＡＢＥＦに対応するスクリーンＳ６０３上の画素 (x’, y’)が、同次座標を用いることで得られる。これを（数３）に示す。

すなわち、撮影時の俯角θと垂直画角νとに基づいて透視変換行列Ｍｐを得ることができ、この透視変換行列Ｍｐを用いることで、ファントグラム用の画像変換を行なうことができる。なお、垂直画角νは、レンズの焦点距離から求めることができる。

透視変換行列Ｍｐの具体例について説明する。
例えば、焦点距離 50mm、俯角 45°の場合、
Mx = 1.63, My = 1.86
となる、従って 画像横幅 480pix、高さ270pix の場合、長方形ＡＢＣＤの頂点座標は、
A( 0, 270)
B(480, 270)
C(480, 0)
D( 0, 0)
台形ＡＢＥＦの頂点座標は、
A( 0, 270)
B(480, 270)
E(631.58, -232.42)
F(-151.58, -232.42)
となる。この関係から「同次座標」による変換行列Ｍｐを求めると、（数４）に示す通りとなる。

撮影画像（長方形ＡＢＣＤ）中の任意の点の座標(x,y)に対して、（数５）の処理を行う。

変換後の座標(x', y')は、（数６）の通りとなる。

によって得られる。
なお、明細書中では「同次座標」として、上記の正規化処理を省略した（数７）の形で表現している。

また、変換行列Mpの「同次座標」での逆行列は、（数８）に示す通りとなる。

１−２−２．ファントグラム画像の生成
ファントグラム画像の生成動作について述べる。

図８は、ＣＣＤイメージセンサ１５０Ａ、１５０Ｂから取得された第１視点画像及び第２視点画像から、ファントグラム画像を生成する動作を示すフローチャートである。

まず、ＣＣＤイメージセンサ１５０Ａから取得した第１視点画像に対し、前節に述べたファントグラム変形に関する変形パラメータと変形方法を用いて、画像処理部１６０で第１視点画像にファントグラム変形を施す（Ｓ８０１）。

同様に、ＣＣＤイメージセンサ１５０Ｂから取得した第２視点画像に対し、ファントグラム変形を施す（Ｓ８０２）。

ファントグラム変形後の第１視点画像および第２視点画像に対し、画像処理部１６０は、視差検出を行い、基準面の視差を求める（Ｓ８０３）。ファントグラム撮影における基準面とは、例えば主要被写体がテーブル（家具のテーブル）上に置かれている場合、そのテーブル面とする場合が多い。この場合、基準面の視差を求めることは、テーブル面の視差を検出することを意味する。画像中の様々な被写体の視差の中から基準面の視差を求める際、例えばテーブル面より奥に（下方に）被写体はないものと想定して、テーブル面における最も遠方部分の視差を基準面の視差としてもよい。あるいは、テーブル面上に凹凸がある場合も想定して、一定頻度で遠方に存在する視差を基準面の視差としてもよい。さらに、主要被写体は画面中央部に、テーブル面は画面周辺部に映っているものと想定して、画面周辺部の視差分布に基づいて基準面の視差を決定してもよい。

算出した基準面の視差に基づいて、画像処理部１６０は、ファントグラム変形済みの第１視点画像と第２視点画像の基準面での視差が０となるよう調整を行なう（Ｓ８０４）。具体的には、画像処理部１６０は、ファントグラム変形済みの第１視点画像と第２視点画像の基準面での視差に応じて、ファントグラム変形済みの第１視点画像の左側および第２視点画像の右側をトリミング（削除）することにより、基準面での視差が０になるよう調整を行う。

以上、ファントグラム画像を生成するフローを述べたが、この例のステップＳ８０４では、光学系１１０Ａと光学系１１０Ｂの光軸が平行であることを前提として視差を基準面に合わせる方法を述べた。しかしこの限りではない。あらかじめ光軸を回転させて主要被写体で視差が０となるように調整したり、上記のように光軸が平行な場合、ＣＣＤイメージセンサ１５０Ａ、１５０Ｂからの画像取得位置を調整することにより視差を主要被写体に合わせて、撮影し、その後、ファントグラム変形を行なっても同様の効果が得られる。

１−２−３．ファントグラム撮影のアシスト
ファントグラム撮影をアシストするためのアシスト情報の生成について述べる。

ファントグラムは、撮影条件と視聴条件を適切に調節しなければ、ファントグラム中の被写体が高さ方向に伸びすぎたり、ファントグラム中の被写体が斜めに倒れ、歪む。このような問題を避けるためには以下の条件を満たす必要がある。
（１）撮影時における基準面（一般的にはテーブル面）に対するカメラの俯角と、視聴時における表示面に対する視聴者の俯角とを一致させること。
（２）視聴時の表示装置（表示部）の表示面のサイズと視聴距離に応じて、焦点距離と撮影距離を適合させること。

ここでは、（２）の条件を満足させるための撮影アシストを行うことについて説明する。図９は、これを説明するための図である。

点Ｏは光学系１１０Ａの主点（レンズ中心）、点Ｏ′は被写体を示す。Ｓ１３０１は、光学系１１０Ａの光軸を示す。Ｒは、点Ｏと点Ｏ′との間の距離、つまり撮影距離を示す。Ｓ１３０２は光軸Ｓ１３０１に垂直な平面であり、光学系１１０Ａの焦点距離（つまり画角）及びＣＣＤイメージセンサ１５０Ａの撮像面の形状によって形状及び範囲が定まる仮想スクリーンを示す。仮想スクリーンＳ１３０２には、ＣＣＤイメージセンサ１５０Ａ上に結像したのと相似の画像Ｓ１３１１が投影される。

Ｓ１３０４は、ファントグラム視聴用の表示装置（あるいは液晶モニタ２７０）の表示面を示す。Ｖ′は被写体位置、Ｖは視聴位置、Ｌは被写体位置Ｖ′と視聴位置Ｖとの間の距離、つまり視聴距離を示す。Ｓ１３０３は、表示面に表示されたファントグラム画像を撮影者が視聴するときの視線を示す。

ファントグラムを視聴する撮影者においてファントグラムが実像のように認識される（すなわち、ファントグラム中の被写体が歪みなく認識される）ためには、以下の３つの条件が満たされる必要がある。
（１）撮影距離Ｒと視聴距離Ｌが同一であること
（２）２つの光学系（１１０Ａ、１１０Ｂ）の光軸の間隔が目の間隔と同一（約65mm）であること
（３）仮想スクリーンＳ１３０２と表示面Ｓ１３０４の大きさが同一であること
実際には、この全てが満たされる保証はない。したがって、光学系１１０Ａの焦点距離やレンズ間隔、あるいは撮影距離を変更することで、歪みを少なくする必要がある。ただし、被写体が実物より拡大または縮小されて知覚されることについては、歪みとは見なさないことにする。

まず、仮想スクリーンＳ１３０２と表示面Ｓ１３０４の大きさが同一でない場合、画像上において被写体が高さ方向に歪んで見えることになる。この歪みは視聴距離を変えることで打ち消すことができる。すなわち、視聴距離を変えることで、仮想スクリーンＳ１３０２と表示面Ｓ１３０４の比と、撮影距離Ｒと視聴距離Ｌの比を同一にすることにより解消される。仮想スクリーンＳ１３０２の大きさは、撮影距離Ｒと焦点距離で決まる画角によって決定する。視聴距離をＬ、表示面Ｓ１３０４の縦の長さ（Ａ’Ｄ’の長さ）をＨ、撮影時の俯角をθ、レンズの焦点距離（３５ｍｍ換算）をｆとすると、（数９）を満たすことが視聴したときに歪みのないファントグラムとなるファントグラム画像を得るための条件となる。

すなわち、表示面Ｓ１３０４の縦の長さＨが決まれば、最適視聴距離Ｌと焦点距離ｆは１次関数の関係となる。

一方、光軸間の距離と目の間隔の違いは、視差の違いとなって表れる。つまり、知覚される被写体の飛びだし量の違いとなって表れる。ファントグラムにおいては、被写体の飛び出し量の過不足は被写体が前後に倒れて知覚される原因になる。この光軸間の距離と目の間隔の違いを打ち消すためには、撮影距離と視聴距離を光軸間の距離と目の間隔の違いに応じて変更する必要がある。視聴距離が固定されている場合には、撮影時の被写体距離を変更する。最適な被写体距離は、被写体の基準面からの高さと画像中心からの距離によって変わるため、一画像中に複数の被写体が写る場合を考慮すると、最適な解は存在しない。しかし、目の間隔に対する光軸間距離Ｓ[mm]の割合と、視聴距離Ｌに対する撮影距離Ｒの割合を略一致させれば、良好な結果が得られる。すなわち次の条件を満たせばよい。ここで、６５（[mm]）とは平均的な成人の目の間隔である。

以上のことから、あらかじめファントグラム画像を表示する表示面Ｓ１３０４の大きさと視聴距離を決定すれば、最適な焦点距離と撮影距離を一意に決定することができる。あるいは表示面Ｓ１３０４の大きさと撮影時の焦点距離が決まれば、好ましい撮影距離および視聴距離を決定することもできる。このような情報を、例えば液晶モニタ２７０に表示することによって、撮影をアシストすることができる。あるいは、数９、数１０に示した条件から大きく外れた条件での撮影時に、これを警告することで、ファントグラム画像の撮影をアシストすることもできる。

アシストの具体例をいくつか挙げる。
１）撮影者は、ファントグラム画像を表示する表示面のサイズと視聴距離を事前に登録しておく。数９で決まる最適焦点距離になるようズームモータ１２０を駆動して焦点距離を変更する。さらに数１０による最適な撮影距離を液晶モニタ２７０に示す。
２）表示面サイズと視聴距離を登録した上で、ファントグラム画像を撮影する際の焦点距離と視差から求めた撮影距離が、上記最適な焦点距離と撮影距離と略同一であるか否かを判定して、その結果を撮影者に教示する。例えば、その結果を液晶モニタ２７０に表示する。
３）あらかじめファントグラム画像を表示する表示面のサイズのみを登録する。撮影時の焦点距離ｆに基づいて最適視聴距離Ｌを算出しこれを視聴者に提示すると共に、記録画像に保存する。合わせて視差を最適にするための撮影距離Ｒを算出して、この距離で撮影するよう撮影者に提示する。

その他、数９、数１０に基づく情報を撮影者及び視聴者に提示することで、歪みの少ないファントグラム画像の撮影及び視聴が可能になる。なお、上記の例では光軸間距離Ｓを可変とする例は示していないが、光軸間距離Ｓを可変制御することは歪みの少ないファントグラム撮影を行う上で非常に有効である。光軸間距離Ｓが可変であれば、撮影距離Ｒと視聴距離Ｌを独立して変更することが可能になり、任意の構図のファントグラム撮影が可能になる。一方、光軸間距離Ｓが可変でない場合、数９と数１０を同時に成り立たせることが困難な場合がある。逆に言えばこの２式を厳密に守ろうとすると、構図上の制約が厳しくなる。したがって、この２式の成立判定には、一定の許容範囲を設けることが望ましい。さらにどうしても両立が難しい場合には、立体視の知覚上、より大きな影響が表れやすい数９の条件が優先して満たされるようにアシストを行なうことが望ましい。

１−３．まとめ

本実施形態のデジタルカメラ１は、立体視用の画像を撮像するＣＣＤイメージセンサ１５０Ａ、１５０Ｂと、ＣＣＤイメージセンサ１５０Ａ、１５０Ｂで撮像された画像に対して撮影条件に応じた変形処理を施すことによりファントグラム画像を生成する画像処理部１６０と、画像処理部１６０で生成されたファントグラム画像を表示する液晶モニタ２７０と、を備える。

本実施形態のデジタルカメラ１によれば、ＣＣＤイメージセンサ１５０Ａ、１５０Ｂで撮像された画像に対して変形処理が施されることにより、ファントグラム画像が自動で生成される。したがって、ユーザがファントグラムに関する複雑な知識を有していなくても、容易にファントグラム画像を得ることができる。

特に、本実施形態のデジタルカメラ１によれば、ファントグラム撮影を行う際、液晶モニタ２７０にファントグラム画像の確認画像が表示される。なお、液晶モニタ２７０への、ファントグラム画像の確認画像の表示は、ファントグラムの撮影モードにあるとき、レリーズボタンが半押しされたとき、あるいはレリーズボタンが全押しされたときのいずれとしてもよい。これにより、ユーザは、撮影中、表示されたファントグラム画像の確認画像を確認しながら構図の変更や撮り直しができ、撮影者の意図したファントグラム画像を得ることができる。

また、本実施形態のデジタルカメラ１は、立体視用の画像を撮像するＣＣＤイメージセンサ１５０Ａ、１５０Ｂと、自装置の俯角を検出する俯角検出部と、現在の撮影モードがファントグラム撮影モードか否かを検出するコントローラ２１０と、コントローラ２１０で現在の撮影モードがファントグラム撮影モードであることが検出されたときは、ＣＣＤイメージセンサ１５０Ａ、１５０Ｂで撮像された画像に対して変形処理を施すことによりファントグラム画像を生成する画像処理部１６０と、を備え、コントローラ２１０で現在の撮影モードがファントグラム撮影モードであることが検出されたときは、コントローラ２１０は、ＣＣＤイメージセンサ１５０Ａ、１５０Ｂで生成された立体視用の画像と画像処理部１６０で生成されたファントグラム画像との少なくとも一方と、姿勢検出センサ３００で検出された俯角と、撮影時の焦点距離と、ファントグラム撮影モードで撮影されたことを示す情報とをメモリカード２４０に記録する。

本実施形態のデジタルカメラ１においては、ＣＣＤイメージセンサ１５０Ａ、１５０Ｂで生成された立体視用の画像と画像処理部１６０で生成されたファントグラム画像とのどれを記録するかはユーザの意図に応じて設定可能とすればよい。このような構成によれば、例えば、ファントグラム画像を記録していない場合でも、撮影後の別の機会に、通常の３Ｄ画像に対して俯角等を用いて演算することにより、ファントグラム画像を生成することが可能となる。なお、通常の画像やファントグラム画像の記録先は、メモリカード２４０に限られない。例えば、デジタルカメラ１内部にフラッシュメモリ等を用いた記憶部を設け、この記憶部に記録させるようにしてもよい。

ところで、従来は、ファントグラム画像を生成する上で重要な画像の変形を、機械的な自動処理で行なうことが困難であるという課題を有していた。例えば特許文献１に開示されている方法では、視点位置、被写体位置などの情報に基づき画像変形を行なうが、このような情報を正確に取得するには、機構が複雑になったり高価なセンサを要したりする。このような機構やセンサを一般的なコンパクトカメラに組み込むことは困難である。一方、特許文献２に開示された方法では、画像上端部および下端部に映った基準面の視差を正確に見積もる必要がある。ここで、基準面とはファントグラムにおいて視差が０に設定される面であり、主要被写体が置かれたテーブルとされることが多い。第１視点画像と第２視点画像の比較を行なうことで画像上端部および下端部での基準面の視差を機械的に求めることは原理的には可能である。しかし、一般にテーブル面は無地、または低コントラストであることが多い。また、主要被写体に焦点を合わせた場合、画像上端部および下端部の基準面では焦点がずれている（ピンボケしている）可能性が高い。さらに、画像上端部や下端部に写った基準面に掛かる位置に、高さを持った別の被写体が写っている場合、基準面の視差であるのか、別の被写体の視差であるのかの区別がつかない。これらの理由により、画像上端部および下端部に映った基準面の視差を正確に求めることは困難である。基準面上に格子パターンを投影することで、基準面の視差を得やすくすることはできるが、一般的な撮影ではこのような方法を採ることは困難である。

以上のように、従来においては、被写体や基準面（テーブル）により種々の制約が存在することから、カメラを向けるだけで自動的に画像の変形量を算出してファントグラム変形を行なうことは困難であった。そのため、ファントグラム変形は、コンピュータ等を用いて撮影後に行なわれていた。つまり、撮影者は、撮影中、ファントグラム変形の結果を知ることができないという問題があった。特に、ファントグラム変形により生成されたファントグラム画像は、ＣＣＤイメージセンサから出力された撮像画像に対して形状が変化することにより、例えば撮影位置から離れたもの（奥に存在するもの）は拡大されることにより、撮像画像に含まれていた被写体やその一部が画枠からはみ出して消失する場合があった。ファントグラムは、被写体を画面上に立ち上がらせて見せるものであるため、被写体の一部が切断されて写っていない状態は通常起こりえない状態であり、被写体の立体感を大きく損ねる。また、ファントグラムによって知覚される被写体の立体形状が、実物に対して異なる形状となって見える、つまり歪んで見えるという課題も有していた。

しかし、本実施形態のデジタルカメラ１によれば、上述のように、これらの問題を解消することができる。つまり、失敗なくファントグラム画像を撮影、記録することができる。

（実施形態２）
実施形態１に述べたデジタルカメラでは、撮影モード設定ボタン２９０でファントグラム撮影モードが選択された場合、レリーズボタンを半押しすると、ファントグラム画像の確認画像が液晶モニタ３００に表示される。実施形態２では、液晶モニタに３Ｄ画像を表示できない場合や、液晶モニタが３Ｄ画像を表示できない場合でも、ファントグラム変形により表示されなくなる画像領域を撮影者が認識可能とすることを目的とする。

図１０は、実施形態２におけるファントグラム撮影モードによる撮像動作を説明するためのフローチャートである。実施形態１における図５のフローチャートとは、ステップＳ９０３のみが異なる。

すなわち、ステップＳ９０３では、ファントグラム変形後の有効画像範囲を示すガイドラインを第１視点画像または第２視点画像に重畳して液晶モニタ２７０に表示する（Ｓ９０３）。図１１は、ファントグラム変形後の有効画像範囲を示すガイドラインＳ１５０２を第１視点画像（第２視点画像）Ｓ１５０１に重畳して液晶モニタ２７０に表示した画像を示す図である。図１１の画像例では、ガイドラインＳ１５０２を破線で表示しているが、これに限定されない。ガイドラインＳ１５０２は、実線、鎖線等、種々の態様で表示可能である。ファントグラム変形を行うと、ファントグラム変形前の第１視点画像（第２視点画像）Ｓ１５０１に写っていた被写体の一部は、ファントグラム変形により画面からはみ出すことになる。例えば、被写体Ｓ１５０４は、ガイドラインＳ１５０２で示される台形の範囲内に収まっているが、被写体Ｓ１５０４は、ガイドラインＳ１５０２で示される台形の範囲内からはみ出すことになる。有効画像範囲を示すガイドラインＳ１５０２を第１視点画像（第２視点画像）Ｓ１５０１に重畳して表示することにより、撮影者に注意を喚起することができる。

２−１．ファントグラム変形後の有効画像範囲の決定
ファントグラム変形後における有効画像範囲を示すガイドラインの決定方法を、図１２、図１３により説明する。

図１２は、ファントグラム変形により生成された画像と、ファントグラム画像としてメモリに記録される画像の関係を示す図である。

Ｓ１００１は、第１視点画像または第２視点画像に対し、(数３)によるファントグラム変形を行なって得られる画像を示す。

メモリカード２４０に記録される画像は、ファントグラム変形を行って得られる台形ＡＢＥＦの画像Ｓ１００１ではなく、これを矩形ＡＢＧＨにトリミングした画像Ｓ１００２である。画像Ｓ１００２は、変形前の画像のアスペクト比を維持しつつ最大の領域が確保されている。この結果、台形ＡＢＥＦから矩形ＡＢＧＨを除いた領域は、ファントグラム画像としてメモリカードには記録されない。

図１３は、ファントグラム変形前後の画像の領域を示す図である。

Ｓ１１０１は、ファントグラム変形前の第１視点画像または第２視点画像の領域を示す。

Ｓ１１０２は、ファントグラム変形後にトリミングされた画像領域を示す。この画像領域Ｓ１１０２は、図１２の画像Ｓ１００２（矩形ＡＢＧＨ）と対応する。すなわち、ファントグラム画像としてメモリカードに記録される画像Ｓ１００２（矩形ＡＢＧＨ）は、変形を行なう前の第１視点画像（第２視点画像）ＡＢＣＤにおける台形ＡＢＧ’Ｈ’部分の画像Ｓ１１０２に相当し、四角形ＡＢＣＤから台形ＡＢＧ’Ｈ’の領域を除いた領域は、メモリカードに記録されないことになる。有効画像範囲として、ファントグラム変形を行なう前の画像に重畳して表示するガイドラインは、台形ＡＢＧ’Ｈ’の外枠のラインである。

ガイドラインの各頂点ＡＢＧ’Ｈ’の座標は、１−２−１節に述べた透視変換行列Ｍｐを用いて得ることができる。すなわち、ファントグラム変形後の画像から、トリミングを行なう矩形領域の各頂点Ａ、Ｂ、Ｇ、Ｈの座標（x’,y’）に対して、対応する頂点Ａ、Ｂ、Ｇ’、Ｈ’の座標（x,y）を、透視変換行列Ｍｐの逆行列Ｍｐ^-1用いて得ることができる。これを（数１１）に示す。

ただし、Ｍｐ^-1は、透視変換行列Ｍｐの逆行列を意味する。

なお、この例では、有効画像範囲の境界を示すラインだけをオーバーラップして表示する例を示したが、その限りではない。例えば、無効画像領域の画像のコントラストを下げる、輝度を下げるなど、無効領域に対して有効領域とは異なる画像処理を施すことにより両者の違いを示してもよく、この場合においても同様の効果が得られる。

２−２．まとめ
本実施形態のデジタルカメラ１は、立体視用の画像を撮像するＣＣＤイメージセンサ１５０Ａ、１５０Ｂと、ＣＣＤイメージセンサ１５０Ａ、１５０Ｂで撮像された画像に対してファントグラム変形を施すことによりファントグラム画像を生成する画像処理部１６０と、ＣＣＤイメージセンサ１５０Ａ、１５０Ｂで撮像された画像のうちファントグラム変形後において有効な画像範囲を認識可能なように、ＣＣＤイメージセンサ１５０Ａ、１５０Ｂで撮像された画像に対して画像処理を施す画像処理部１６０と、画像処理部１６０で画像処理が施された画像を表示する液晶モニタ２７０と、を備える。

本実施形態のデジタルカメラ１によれば、ファントグラム撮影を行う際、ＣＣＤイメージセンサ１５０Ａ、１５０Ｂで撮像された画像のうちファントグラム変形後において有効な画像範囲を認識可能なように撮像された画像に対して画像処理が施された画像が液晶モニタ２７０に表示される。なお、液晶モニタ２７０への、認識可能な態様での画像の表示は、ファントグラム撮影モードにあるとき、レリーズボタンが半押しされたとき、あるいはレリーズボタンが全押しされたときのいずれとしてもよい。これにより、ユーザは、液晶モニタ２７０に表示された有効な画像範囲を確認しながら構図の変更や撮り直しができ、撮影者の意図したファントグラム画像を得ることができる。

（実施形態３）
以下、本発明をデジタルカメラに適用した場合の実施形態３について説明する。

３−１.デジタルカメラの構成
デジタルカメラの構成に関して説明する。

図１４は、本実施形態におけるデジタルカメラ１１の構成を示すブロック図である。図１４に示すデジタルカメラ１１は、図１に示す実施形態１のデジタルカメラ１に対して、モニタ角度検出センサ１１０１を追加した構成となっている。これに伴い、コントローラ１１０２は、実施形態１のデジタルカメラ１のコントローラ２０１とは異なる機能を有する。

本実施形態のデジタルカメラ１１では、液晶モニタ２７０が、いわゆるバリアングル式のものであり、回転可能となっている。具体的には、液晶モニタ２７０は、デジタルカメラ１１の本体の背面上部に横方向に設けられた回転軸を中心として上下方向に回転するようになっている。モニタ角度検出センサ１１０１は、液晶モニタ２７０の回転角を検出する。回転角は、例えば、回転軸に可変抵抗を設け、液晶モニタ２７０の回転角に応じて変化する抵抗値を検出することにより、検出することができる。あるいは、回転軸にバネを設け、液晶モニタ２７０の回転に伴ってバネに加わる力を検出することにより、回転角を検出することも可能である。

コントローラ１１０２は、実施形態１のデジタルカメラ１のコントローラ２０１が有する機能に加え、姿勢検出センサ３００とモニタ角度検出センサ１１０１の角度を参照してファントグラム撮影用の処理を行うか否かの判断を行なう機能を有する。

３−２．撮像動作
デジタルカメラ１１の撮像動作について説明を行う。図１５は、デジタルカメラ１１の撮像動作を説明するためのフローチャートである。

モード設定ボタン２９０が使用者により操作されると、デジタルカメラ１１は操作後の撮影モードを取得する（Ｓ１２０１）。

コントローラ２１０は、取得した撮影モードが２Ｄ撮影モードか、３Ｄ撮影モード（通常３Ｄ撮影モードと、ファントグラム撮影モードの両方を含む）かを判定する（Ｓ１２０２）。取得した撮影モードが２Ｄ撮影モードである場合、前述の図３に示したステップＳ３０１に進んで、２Ｄ撮影モードの処理を行う（Ｓ１２０４）。つまり、実施形態１に示した処理と同様の処理を行なう。

一方、取得した撮影モードが３Ｄ撮影モードである場合、カメラの俯角θｄとモニタの回転角θｍが、ファントグラム撮影とみなすための所定の条件を満たすか判断する（Ｓ１２０３）。具体的には、取得した撮影モードが３Ｄ撮影モードである場合（Ｓ１２０２でＹＥＳ）、姿勢検出センサ３００によりカメラの俯角θｄが検出される。同時にモニタ角度検出センサ１１０１により液晶モニタ２７０の回転角θｍが検出される。２つの角度θｄ、θｍが、（数１２）の関係を満たす場合、使用者がファントグラム撮影を行おうとしているものと判断し、図５のステップＳ５０１に進み、実施形態１と同様のファントグラム撮影モードの処理を行なう（Ｓ１２０５）。なおδは、ファントグラム撮影モードへの切替の判断に幅を持たせるための定数である。

（数１２）は、俯角θｄをつけて被写体に向けられたカメラに対して液晶モニタ２７０が上下方向に回転することで、背面モニタ２７０が水平となり、使用者が液晶モニタ２７０を視聴する条件が、ファントグラムの視聴に適した条件になることを意味する。つまり、上記条件を満たすことは、使用者がファントグラム撮影を行っているとみなせることを意味する。この様子を図１６に示す。

一方、（数１２）に示したようなファントグラム撮影とみなす条件を満たさない場合には、図４のステップＳ４０１に進んで通常３Ｄ撮影モードの処理を行う（Ｓ１２０６）。つまり、実施形態１に示した処理と同様の処理を行なう。なおファントグラム撮影モードへの切替の判断は、（数１２）に限定されるものではない。例えば、（数１３）のように、さらに俯角の取り方に関する条件などが加わったものであってもよい。

３−３．まとめ
本実施形態３におけるデジタルカメラ１１は、立体視用の画像を撮像するＣＣＤイメージセンサ１５０Ａ、１５０Ｂと、自装置の俯角を検出する姿勢検出センサ３００と、ＣＣＤイメージセンサ１５０Ａ、１５０Ｂで撮像された画像に対して変形処理を施すことによりファントグラム画像を生成するとともに、生成されたファントグラム画像に関する確認画像を生成する画像処理部１６０と、立体視用の画像を撮像する際に、画像処理部１６０で生成された確認画像を表示する液晶モニタ２７０と、を備える。液晶モニタ２７０は自装置の本体に対して回転可能なバリアングル式のものであり、液晶モニタ２７０の回転角を検出するモニタ角度検出センサ１１０１と、姿勢検出センサ３００で検出された俯角とモニタ角度検出センサ１１０１で検出された回転角が所定の条件を満たす場合、画像処理部１６０にファントグラム画像の確認画像を生成させ、液晶モニタ２７０に生成された確認画像を表示させるよう制御するコントローラ１１０２と、を備える。

実施形態３のデジタルカメラ１１によれば、自装置の俯角と表示部の回転角が所定の条件を満たすときは、自動的に、ファントグラム画像の確認画像が生成され、液晶モニタ２７０に確認画像が表示される。これにより、ユーザがファントグラム撮影モード等を手動で設定せずとも、ファントグラム画像を撮影することができる。さらに、ユーザは、撮影中、表示されたファントグラム画像の確認画像を確認しながら構図の変更や撮り直しができ、撮影者の意図したファントグラム画像を得ることができる。

（４．その他の実施形態）

上記実施形態１〜３で説明したデジタルカメラにおいて、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。

また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係るデジタルカメラをハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。

また、上記実施形態における処理方法の実行順序は、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができる。

また、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

本発明にかかる３Ｄ画像撮像装置によれば、ファントグラムに関する複雑な知識を要することなく、意図したファントグラム画像を容易に撮影することができるため、３Ｄ画像を撮影するデジタルカメラ、放送用カメラ、及び３Ｄ画像の記録再生を行うレコーダー若しくは、プレーヤーに広く応用することが可能である。

１１０Ａ、１１０Ｂ 光学系
１２０Ａ、１２０Ｂ ズームモータ
１３０Ａ、１３０Ｂ ＯＩＳアクチュエータ
１４０Ａ、１４０Ｂ フォーカスモータ
１５０Ａ、１５０Ｂ ＣＣＤイメージセンサ
１６０ 画像処理部
２００ メモリ
２１０ コントローラ
２２０ ジャイロセンサ
２３０ カードスロット
２４０ メモリカード
２５０ 操作部材
２６０ ズームレバー
２７０ 液晶モニタ
２８０ 内部メモリ
２９０ モード設定ボタン
３００ 姿勢検出センサ
１１０１ モニタ角度検出センサ
１１０２ コントローラ

Claims (5)

1. 立体視用の画像を撮像する撮像部と、
   前記撮像部で撮像された画像に対して変形処理を施すことによりファントグラム画像を生成するファントグラム画像生成部と、
   前記撮像部で撮像された画像のうち前記ファントグラム変形後において有効な画像範囲を視覚的に認識可能なように、前記撮像部で撮像された画像に対して画像処理を施す画像処理部と、
   前記画像処理部で画像処理が施された画像を表示する表示部と、
   を備える３Ｄ画像撮像装置。
2. 前記画像処理部は、前記撮像部で撮像された画像に対して、前記撮像部で撮像された画像のうち前記ファントグラム変形後において有効な画像範囲を示す枠線を付加する画像処理を施す、
   請求項１記載の３Ｄ画像撮像装置。
3. 前記画像処理部は、前記撮像部で撮像された画像に対して、前記撮像部で撮像された画像のうち前記ファントグラム変形後において有効な画像範囲の表示態様と有効でない画像範囲の表示態様とを異ならせる画像処理を施す、
   請求項１記載の３Ｄ画像撮像装置。
4. 立体視用の画像を撮像する撮像部と、
   自装置の俯角を検出する俯角検出部と、
   現在の撮影モードがファントグラム撮影モードか否かを検出する撮影モード検出部と、
   前記撮影モード検出部で現在の撮影モードがファントグラム撮影モードであることが検出されたときは、前記撮像部で撮像された画像に対して変形処理を施すことによりファントグラム画像を生成するファントグラム画像生成部と、
   前記撮影モード検出部で現在の撮影モードがファントグラム撮影モードであることが検出されたときは、前記撮像部で撮像された立体視用の画像と前記ファントグラム画像生成部で生成されたファントグラム画像との少なくとも一方と、前記俯角検出部で検出された俯角と、撮影時の焦点距離と、ファントグラム撮影モードで撮影されたことを示す情報とを内部記憶媒体または外部記憶媒体に記録する記録部と、
   を備える３Ｄ画像撮像装置。
5. 立体視用の画像を撮像する撮像部と、
   自装置の俯角を検出する俯角検出部と、
   前記撮像部で撮像された画像に対して変形処理を施すことによりファントグラム画像を生成するファントグラム画像生成部と、
   前記ファントグラム画像生成部で生成されたファントグラム画像に関する確認画像を生成する確認画像生成部と、
   前記立体視用の画像を撮像する際に、前記ファントグラム画像生成部で生成された確認画像を表示する表示部と、を備え、
   前記表示部は自装置の本体に対して回転可能なバリアングル式のものであり、
   前記表示部の回転角を検出する回転角検出部と、
   前記俯角検出部で検出された俯角と前記回転角検出部で検出された回転角が所定の条件を満たす場合、前記確認画像生成部に前記ファントグラム画像の確認画像を生成させ、前記表示部に前記生成された確認画像を表示させるよう制御する制御部と、
   を備える３Ｄ撮像装置。

Images