JP2011171813A - 撮像装置及び立体画像表示方法 - Google Patents

Abstract

【課題】立体動画を違和感無く鑑賞することが可能な撮像装置を提供する。
【解決手段】動画撮影が開始し、視差調節のための指示がなされると、撮像部１，２から得られた画像データから特定被写体が検出され、この特定被写体の位置ずれが算出され、この位置ずれから視差補正データが生成されてＲＡＭ９に記憶される。撮像部１，２から得られた２つの画像データは、ＲＡＭ９に記憶された視差補正データにしたがって特定被写体の視差がゼロとなるように互いにずらして合成表示される。視差補正データがＲＡＭ９に記憶された後は、特定被写体の奥行き方向の移動量が閾値（１）を超えたときにのみ、この視差補正データを更新して、特定被写体の視差を調節し、特定被写体の奥行き方向の移動量が閾値（１）以下のときには、視差補正データの更新は行わない。
【選択図】図４

Description

本発明は、撮像装置及び立体画像表示方法に関する。

特許文献１には、立体撮像が可能な撮像装置において、撮像部で撮像された左右２つの画像から主被写体の抽出を行い、この２つの画像を立体視可能に表示したときに、この主被写体の視差がゼロとなるように、この２つの画像を重ねて表示する方法が記載されている。この方法によれば、主被写体の視差がゼロとなるように表示されるため、観察者からは、主被写体を基準にして奥行きのある画像を楽しむことができる。

この方法を動画においても適用すると、主被写体を抽出する処理、主被写体の視差がゼロとなるように左右画像を合成する処理を１フレーム毎に実施する必要がある。しかし、動画において、フレーム毎に視差の調整がなされるのでは、フレーム毎に画像が微妙に変化することになってしまい、見づらい画像となってしまう可能性がある。

特開平１０−１５５１０４号公報

本発明は、上記事情に鑑みてなされたものであり、立体動画を違和感無く鑑賞することが可能な撮像装置及び立体画像表示方法を提供することを目的とする。

本発明の撮像装置は、所定の距離を空けて配置された第一の撮像部及び第二の撮像部と、前記第一の撮像部で撮像して得られる第一の画像データに基づく第一の画像及び前記第二の撮像部で撮像して得られる第二の画像データに基づく第二の画像を立体視可能に合成表示する表示部とを有する撮像装置であって、前記第一の画像データ及び前記第二の画像データに含まれる特定被写体を抽出する特定被写体抽出部と、前記第一の画像データに含まれる前記特定被写体の位置と前記第二の画像データに含まれる前記特定被写体の位置とのずれ量を算出するずれ量算出部と、前記ずれ量にしたがって視差補正データを生成しメモリに記憶する視差補正データ生成部と、前記メモリに記憶された前記視差補正データに基づいて前記第一の画像及び前記第二の画像を前記表示部に立体視可能に合成表示させる表示制御部と、前記視差補正データが記憶されてからの前記特定被写体の奥行き方向の移動量を検出する移動量検出部とを備え、前記視差補正データは、前記第一の画像データに含まれる前記特定被写体の前記表示部における表示位置と前記第二の画像データに含まれる前記特定被写体の前記表示部における表示位置とのずれ量である前記特定被写体の視差が所定値以下となるように、前記第一の画像に対して前記第二の画像をどれだけずらして表示すべきかを示したデータであり、前記表示制御部は、前記視差補正データで示されるずらし量だけ前記第一の画像と前記第二の画像を相対的にずらして立体視可能に合成表示させ、前記特定被写体抽出部、前記ずれ量算出部、及び前記移動量検出部は、動画撮影時において前記視差補正データが一旦記憶されてからは１又は複数フレーム毎に処理を実施し、前記視差補正データ生成部は、動画撮影時において前記視差補正データを一旦記憶してからは、１又は複数フレーム毎に前記視差補正データを生成し、かつ、前記視差補正データの記憶を一旦行った後は所定条件を満たしたときにのみ前記メモリの前記視差補正データを更新し、前記移動量検出部は、前記メモリに記憶されている視差補正データと、１又は複数フレーム毎に生成される前記視差補正データとの差を、前記特定被写体の奥行き方向の移動量として検出し、前記所定条件とは、前記特定被写体の奥行き方向の移動量が第一の閾値を越えた場合である、ものである。

本発明の立体画像表示方法は、所定の距離を空けて配置された第一の撮像部及び第二の撮像部のうち前記第一の撮像部で撮像して得られる第一の画像データに基づく第一の画像及び前記第二の撮像部で撮像して得られる第二の画像データに基づく第二の画像を立体視可能に合成表示する立体画像表示方法であって、前記第一の画像データ及び前記第二の画像データに含まれる特定被写体を抽出する特定被写体抽出ステップと、前記第一の画像データに含まれる前記特定被写体の位置と前記第二の画像データに含まれる前記特定被写体の位置とのずれ量を算出するずれ量算出ステップと、前記ずれ量にしたがって視差補正データを生成しメモリに記憶する視差補正データ生成ステップと、前記メモリに記憶された前記視差補正データにしたがって前記第一の画像及び前記第二の画像を前記表示部に合成表示させる表示制御ステップと、前記視差補正データが記憶されてからの前記特定被写体の奥行き方向の移動量を検出する移動量検出ステップとを備え、前記視差補正データは、前記第一の画像データに含まれる前記特定被写体の前記表示部における表示位置と前記第二の画像データに含まれる前記特定被写体の前記表示部における表示位置とのずれ量である前記特定被写体の視差が所定値以下となるように、前記第一の画像に対して前記第二の画像をどれだけずらして表示すべきかを示したデータであり、前記表示制御ステップでは、前記視差補正データで示されるずらし量だけ前記第一の画像と前記第二の画像を相対的にずらして合成表示させ、前記特定被写体抽出ステップ、前記ずれ量算出ステップ、及び前記移動量検出ステップは、動画撮影時において前記視差補正データが一旦記憶されてからは１又は複数フレーム毎に実施し、前記視差補正データ生成ステップでは、動画撮影時において前記視差補正データを一旦記憶してからは、１又は複数フレーム毎に前記視差補正データを生成し、かつ、前記視差補正データの記憶を一旦行った後は所定条件を満たしたときにのみ前記メモリの前記視差補正データを更新し、前記移動量検出ステップでは、前記メモリに記憶されている視差補正データと、１又は複数フレーム毎に生成される前記視差補正データとの差を、前記特定被写体の奥行き方向の移動量として検出し、前記所定条件とは、前記特定被写体の奥行き方向の移動量が第一の閾値を越えた場合である、ものである。

本発明によれば、立体動画を違和感無く鑑賞することが可能な撮像装置及び立体画像表示方法を提供することができる。

本発明の一実施形態を説明するための撮像装置の外観図 図１に示した撮像装置の背面図 図１に示した撮像装置の内部構成を示すブロック図 図１〜３に示した撮像装置の動画撮影モード時の動作を説明するためのフローチャート 図１〜３に示した撮像装置の動画撮影時の動作を説明するための図 図１〜３に示した撮像装置において、フレーム毎に視差補正データを更新したときの画像表示例を示した図 特定被写体として左右画像データの中央にある被写体を抽出した場合の合成画像の表示例を示した図 特定被写体として顔を抽出した場合の合成画像の表示例を示した図 図１〜３に示した撮像装置の内部構成の変形例を示した図 図９に示した撮像装置の動画撮影モード時の動作を説明するためのフローチャート 図９に示した撮像装置の動画撮影モード時の動作を説明するための図 図９に示した撮像装置において、顔検出機能で抽出された特定被写体が複数のときの第一の動作例を説明するための図 図９に示した撮像装置において、顔検出機能で抽出された特定被写体が複数のときの第二の動作例を説明するための図 図１〜３に示した撮像装置の内部構成の変形例を示した図 図１４に示した撮像装置の動画撮影モード時の動作を説明するためのフローチャート 図１４に示した撮像装置の動画撮影モード時の動作の変形例を説明するためのフローチャート 図１〜３に示した撮像装置の内部構成の変形例を示した図 図１７に示した撮像装置の動画撮影モード時の動作を説明するためのフローチャート

以下、本発明の一実施形態を説明するための撮像装置について図面を参照して説明する。この撮像装置は、距離をあけて配置された左右２つの撮像部を有し、各撮像部で撮像して得られた右画像データ及び左画像データを立体視可能に合成表示するものとなっている。右画像データ及び左画像データを立体視可能に合成表示する方法としては、時分割視差画像方式、レンチキュラ方式、及びパララックスバリア方式等をはじめとして多くの方式が知られているが、いずれの方式も、１つの表示部において、観察者の右目には右画像データに基づく画像を見せ、観察者の左目には左画像データに基づく画像を見せ、双方の画像の重なり具合を調整することで、観察者に特定被写体を基準にして奥行き感（立体感）のある画像を見せるものである。この撮像装置ではこれらのいずれの方法も採用可能であるが、以下では時分割視差画像方式を用いた例について説明する。

時分割視差画像方式とは、１つの液晶表示部に右画像データと左画像データを交互に表示すると共に、右画像データを表示したときには、液晶表示部のバックライトからの光を観察者の右目の方向に向けて照射し、左画像データを表示したときには、液晶表示部のバックライトからの光を観察者の左目の方向に向けて照射することで、観察者に立体画像を認識させる方式である。

次に、この撮像装置の機能の概略について説明する。この撮像装置は、動画撮影時において、撮像した画像に含まれる特定被写体に対して視差が最適量（例えばゼロ又は微小な値）となるように左右画像を立体視可能に表示するものである。ただし、フレーム毎に視差が最適量となるように表示を制御するのではなく、特定被写体が大きく動いたときにのみ、視差が最適量となるように表示を制御することで、違和感のない動画鑑賞を実現している。

図１は、本発明の一実施形態を説明するための撮像装置の外観図である。図１に示した撮像装置１００は、箱状のハウジングＫと、ハウジングＫの前面に水平方向（ハウジングＫの長手方向）に距離を空けて設けられた右眼用の撮像部１及び左眼用の撮像部２と、ハウジングＫの上面に設けられたレリーズボタン１６ａとを備える。撮像部１は撮影レンズ１Ｒを備え、撮像部２は撮影レンズ１Ｌを備える。撮影レンズ１Ｒの光軸Ｒと、撮影レンズ１Ｌの光軸Ｌとが交差する角度を輻輳角といい、輻輳角が所定値となるように、撮影レンズ１Ｒと撮影レンズ１Ｌの位置が設定されている。

図２は、図１に示した撮像装置の背面図である。撮像装置１００のハウジングＫの背面には、表示部１１と、撮像装置１００の各種操作を行うための操作キー群とが設けられている。

図３は、図１に示した撮像装置の内部構成を示すブロック図である。図３に示すように、撮像装置１００は、撮像部１，２と、画像入力コントローラ３と、信号処理部４と、特定被写体抽出部５と、視差量コントロール部６と、立体画像処理部７と、ＣＰＵ（中央演算処理装置）８と、ＲＡＭ（ランダムアクセスメモリ）９と、表示部１１が接続された表示制御部１０と、着脱可能な記録媒体１３が接続された記録制御部１２と、マイク及びスピーカ１５が接続された音声制御部１４と、ＣＰＵ８に接続された操作部１６と、視差調節判定部１８とを備え、撮像部１，２以外の各部はバス１７で相互に接続されている。

撮像部１，２は、それぞれ、撮影レンズ及び絞り等の光学系、ＣＣＤイメージセンサ等の撮像素子、この撮像素子から出力された撮像信号にアナログ信号処理を施すアナログ信号処理部、アナログ信号処理部で処理後の信号をデジタル変換するＡＤ変換部、及び撮像素子を駆動する駆動部等を含む。

画像入力コントローラ３は、撮像部１，２の各々から出力された撮像信号を取り込み、この撮像信号をＲＡＭ９に記憶する。

信号処理部４は、ＲＡＭ９に記憶された撮像信号に、同時化処理（１画素に３つの色データを持たせる処理）、ホワイトバランス処理、ＲＧＢ−ＹＣ変換処理等のデジタル信号処理を施して、画像データを生成する。ここで生成される画像データのうち、撮像部１から出力された撮像信号から生成されたものを右画像データといい、撮像部２から出力された撮像信号から生成されたものを左画像データという。右画像データ及び左画像データはＲＡＭ９に記憶される。

表示部１１は、左画像データに基づく左画像と右画像データに基づく右画像とを立体視可能に合成表示するものであり、時分割視差画像方式、レンチキュラ方式、及びパララックスバリア方式等に対応した液晶表示装置等で構成される。本明細書では、時分割視差画像方式に対応した液晶表示装置を採用した場合について説明する。

特定被写体抽出部５は、同一フレームで得られた右画像データ及び左画像データに含まれる同一の特定被写体を抽出する。特定被写体とは、ユーザによって指定された被写体、人物やペット等の顔を含む被写体、撮像画像の中央に存在する被写体等、ある条件を満たす被写体である。

顔を含む被写体を特定被写体として抽出する場合、特定被写体抽出部５は、右画像データ及び左画像データの各々から人物及び動物等の顔を検出する顔検出機能を用いて顔を検出する。そして、検出された顔のうち、右画像データと左画像データから共通に検出された顔を特定被写体として抽出する。

撮像画像の中央に存在する被写体を特定被写体として抽出する場合、特定被写体抽出部５は、次の２通りの方法で特定被写体を抽出する。
１）左画像データ及び右画像データをそれぞれ縦３×横３の計９分割し、左画像データ及び右画像データ各々の中央１／９の領域から人物、乗り物、動物等の被写体をテンプレートマッチング等で検出する。そして、左画像データ及び右画像データから共通に検出された被写体を、特定被写体として抽出する。
２）左画像データの中央１／９の領域にある被写体を検出する。その被写体をテンプレートとして記憶しておき、右画像データに対し、そのテンプレートを用いてテンプレートマッチングを行って、右画像データから該被写体と同じ被写体を検出する。そして、左画像データ及び右画像データから共通に検出された被写体を、特定被写体として抽出する。

視差量コントロール部６は、特定被写体抽出部５で抽出された特定被写体の、右画像データにおける位置と左画像データにおける位置とのずれ量を算出する。このずれ量は、例えば、左画像データの特定被写体の位置に対する右画像データの特定被写体の位置のずれ量をピクセル数で表し、そのずれ方向をプラスマイナスの符号で表したデータである。符号がプラスのときは右方向にずれていることを表し、符号がマイナスのときは左方向にずれていることを表す。例えば、“−１０ピクセル”というずれ量は、左画像の特定被写体に対して、右画像の特定被写体が左方向に１０ピクセルずれていることを示したデータとなる。

立体画像処理部７は、左画像データ、右画像データ、及び上記ずれ量に基づいて立体画像データを生成する。立体画像データとは、右画像データと、左画像データと、視差補正データとを１ファイルとしたデータである。視差補正データとは、右画像データに基づく右画像と左画像データに基づく左画像を相対的にどれだけずらして表示部１１に表示すべきかを指定したデータである。視差補正データは、例えば、左画像に対する右画像のずらし量をピクセル数で表し、そのずらし方向をプラスマイナスの符号で表したデータである。

立体画像処理部７は、視差調節部７１と立体画像データ生成部７２とを含む。

視差調節部７１は、視差量コントロール部６で算出されたずれ量にしたがって、特定被写体抽出部５で抽出された特定被写体の視差が最適量（例えば、ゼロ又は微小量）となるような視差補正データを生成し、この視差補正データをＲＡＭ９に記憶する。ここで、特定被写体の視差とは、右画像データに基づく右画像を表示部１１に表示したときの該特定被写体の表示位置と、左画像データに基づく左画像を表示部１１に表示したときの該特定被写体の表示位置とのずれ量で定義される。この撮像装置１００では、初期状態においては視差補正データが０となっている。

立体画像データ生成部７２は、１フレーム毎に得られる右画像データ及び左画像データと、ＲＡＭ９に記憶されている最新の視差補正データとを１ファイルにして立体画像データを生成する。立体画像データは、記録制御部１２の制御により、記録媒体１３に記録される。

視差調節判定部１８は、視差補正データの更新（ＲＡＭ９に記憶された視差補正データの変更）がなされてからの特定被写体の奥行き方向の移動量を検出する移動量検出機能と、検出した移動量に基づいて視差調節部７１が視差補正データの更新を行うべきか否かを判定する判定機能とを有する。この移動量には、奥行き方向に遠ざかる方向の移動量と奥行き方向に近づく方向の移動量とが含まれるが、方向については特に符号はつけず、絶対値として検出する。

視差調節判定部１８は、視差補正データが初期値から更新された後は、１又は複数フレーム毎に上記移動量を検出して所定条件を満たすかどうかを判定する。視差調節判定部１８は、特定被写体の奥行き方向の移動量の閾値（１）を記憶するメモリ１８ａを有しており、上記移動量が閾値（１）を超えていた場合に上記所定条件を満たしたと判定し、この差が閾値（１）以下だった場合に上記所定条件を満たしていないと判定する。視差調節部７１は、視差調節判定部１８で上記所定条件を満たしたと判定されたときには生成した視差補正データをＲＡＭ９に記憶し（視差補正データの更新）、視差調節判定部１８で上記所定条件を満たしていないと判定されたときには生成した視差補正データをＲＡＭ９に記憶しない。

ここで上記移動量は、ＲＡＭ９に記憶されている視差補正データと、視差調節部７１が生成した最新の視差補正データとの差の絶対値に相当するため、視差調節判定部１８は当該差を算出することで、上記移動量を検出する。なお、この移動量は、撮像装置１００に測距センサを設け、この測距センサにより求めることも可能である。

ＣＰＵ８は、撮像装置１００全体を統括制御する。

操作部１６は、ユーザからの指示をＣＰＵ８に通知するインターフェースであり、図１に示したシャッタボタン１６ａもここに含まれる。シャッタボタン１６ａは、例えば二段ストローク式になっており、半押しすると、ＡＥ（自動露出）・ＡＦ（自動焦点調節）等を実施するための仮撮像が実施され、全押しすると、記録用の本撮像が実施されるようになっている。

以上のように構成された撮像装置１００の動画撮影モード時の動作を説明する。以下で説明する動画撮影モードとは、撮像部１，２により所定間隔で連続して撮像を行い、各撮像で得られる立体画像データを動画再生可能な形式で記録媒体１３に記録していくモードのことを言う。

図４は、図１〜３に示した撮像装置１００の動画撮影モード時の動作を説明するためのフローチャートである。動画撮影モードが設定されると、１フレーム毎に右画像データ及び左画像データの生成が行われ、生成された右画像データ及び左画像データと視差補正データ（初期値）とを１ファイルにした立体画像データが生成される。そして、表示制御部１０は、この立体画像データに含まれる右画像データに基づく右画像と左画像データに基づく左画像とを、この立体画像データに含まれる視差補正データにしたがって表示部１１に合成表示させる。ここでは、視差補正データが初期値（＝０ピクセル）であるため、右画像と左画像は同一アドレスの画素同士が重なるように交互に表示される。

動画撮影モードが開始された後に、操作部１６を介して特定被写体の検出操作が実施されると（ステップＳ４１：ＹＥＳ）、この検出操作が実施された直後又はその時点のフレーム（ｎフレームとする）で得られた右画像データ及び左画像データの各々から特定被写体を検出する処理が実施される。そして特定被写体が検出された場合には（ステップＳ４２：ＹＥＳ）、ステップ４３の処理が実施される。

ステップＳ４３では、検出された特定被写体のずれ量が算出され、このずれ量をもとに、この特定被写体の視差が最適量（ここではゼロとする）となるように視差補正データが生成される。生成された視差補正データはＲＡＭ９に記憶されている視差補正データの初期値に上書きされて、視差補正データが更新される。

視差補正データが更新された後は、ＲＡＭ９に記憶されている最新の視差補正データにしたがってｎフレームで得られた左画像データ及び右画像データに基づく左画像及び右画像が表示部１１に合成表示される（ステップＳ４４）。例えば視差補正データが１０ピクセルであった場合には、左画像に対して右画像が右方向に１０ピクセルずれて表示部１１に表示される。

続いて、（ｎ＋１）フレームの撮像が実施されると、右画像データ及び左画像データの生成が行われ、この右画像データ及び左画像データから特定被写体（ｎフレームで検出した特定被写体と同じ被写体）が抽出されて、この特定被写体の右画像データにおける位置と左画像データにおける位置とのずれ量が算出される。そして、このずれ量にしたがって視差調節部７１が（ｎ＋１）フレームに対応する視差補正データを生成する（ステップＳ４５）。

次に、視差調節判定部１８が、（ｎ＋１）フレームに対応する視差補正データとＲＡＭ９に記憶されている視差補正データとの差の絶対値（特定被写体の移動量に相当する）を求め、この差の絶対値が閾値（１）を超えているか否かを判定する（ステップＳ４６）。

特定被写体の移動量が閾値（１）以下であった場合（ステップＳ４６：ＮＯ）、視差補正データの上書き処理（ステップＳ４７）は省略され、ステップＳ４５で得られた左画像データに基づく左画像と右画像データに基づく右画像とが、ＲＡＭ９に記憶されている視差補正データにしたがって合成表示される（ステップＳ４８）。

一方、特定被写体の移動量が閾値（１）を超えていた場合（ステップＳ４６：ＹＥＳ）、視差調節部７１は、ＲＡＭ９に記憶されている視差補正データに、（ｎ＋１）フレームに対応する視差補正データを上書きして視差補正データを更新する（ステップＳ４７）。ステップＳ４７の後はステップＳ４８が実施される。

ステップＳ４８の後、ＣＰＵ８は視差調整動作を終了するか否かを判定し、撮影終了操作がなされた場合には処理を終了し、撮影終了操作がなされない場合にはステップＳ４５に処理を戻す。

図５は、図１〜３に示した撮像装置の動画撮影時の動作を説明するための図である。図５では、特定被写体抽出操作がなされた後のｎフレーム目、（ｎ＋１）フレーム目、（ｎ＋２）フレーム目のそれぞれの撮影が実施されたときの被写体Ａ，Ｂ，Ｃの位置関係を符号ｔ１、ｔ２、ｔ３で示している。そして、ｎフレーム目で得られる左画像データと右画像データをそれぞれ符号Ｌ１，Ｒ１で示し、（ｎ＋１）フレーム目で得られる左画像データと右画像データをそれぞれ符号Ｌ２，Ｒ２で示し、（ｎ＋２）フレーム目で得られる左画像データと右画像データをそれぞれ符号Ｌ３，Ｒ３で示している。また、左画像データＬ１及び右画像データＲ１を立体視可能に表示したときの合成画像をＬＲ１とし、左画像データＬ２及び右画像データＲ２を立体視可能に表示したときの合成画像をＬＲ２とし、左画像データＬ３及び右画像データＲ３を立体視可能に表示したときの合成画像をＬＲ３としている。また、図５では特定被写体を被写体Ａとした例を示している。

ｎフレームでは視差補正データが初期値から更新されるため、合成画像ＬＲ１は、被写体Ａの視差がゼロとなるように視差調整されて表示される。（ｎ＋１）フレームになると、符合ｔ２に示したように、被写体Ａが手前に移動しているため、視差補正データが変化するが、視差補正データの変化量は閾値（１）以下であるため、視差補正データの補正は行われない。このため、合成画像ＬＲ２では、被写体Ａが手前に移動した分、被写体Ａの視差がゼロよりも僅かに大きくなって表示される。

（ｎ＋２）フレームになると、符合ｔ３に示したように、被写体Ａは更に手前に移動しているため、視差補正データはｎフレームと比較して閾値（１）よりも大きく変化する。このため、合成画像ＬＲ３は、被写体Ａの視差がゼロとなるように視差調整されて表示される。

図５に示した画像Ｌ３’、画像Ｒ３’、画像ＬＲ３’は、それぞれ、（ｎ＋２）フレームにおいて視差補正データを更新しなかった場合の画像Ｌ３、画像Ｒ３、画像ＬＲ３に相当するものである。特定被写体の移動量が閾値（１）よりも大きいときに視差補正データの更新を行わないと、合成画像ＬＲ３’に示すように、被写体Ａの視差は大きくなってしまい、鑑賞しづらくなってしまう。そこで、撮像装置１００では、このような場合には視差補正データを更新して、合成画像ＬＲ３を表示するようにすることで、違和感のない立体動画鑑賞をできるようにしている。

図６は、図１に示した撮像装置１００において、フレーム毎に視差補正データを更新したときの画像表示例を示している。図６に示すように、フレーム毎に視差補正データの補正を行ってしまうと、合成画像はＬＲ１→ＬＲ２→ＬＲ３のように変化する。この方法では、被写体Ａの視差を常にゼロにすることができる。しかし、合成画像ＬＲ２，ＬＲ３を見て分かるように、被写体Ｂ，Ｃについては、視差がどんどんずれていってしまう。このように、視差補正データを毎フレーム更新してしまうと、特定被写体が近づいてきた場合に、特定被写体以外の被写体の視差ずれが大きくなり、全体として立体動画が見づらいものとなってしまう。

撮像装置１００によれば、図５に示したように、被写体Ａが近づいてきた場合でも、合成画像ＬＲ１→合成画像ＬＲ２→合成画像ＬＲ３のように画面が切り替わるため、被写体Ａがあまり動いていないときには被写体Ｂ，Ｃの視差ずれを最小限にすることができ、違和感のない動画鑑賞が可能となる。

図７は、特定被写体として左右画像データの中央にある被写体を抽出した場合の合成画像の表示例を示した図である。図７において、画像７１Ｌは、撮影範囲７０を撮像して得られた左画像であり、画像７１Ｒは、撮影範囲７０を撮像して得られた右画像を示している。左画像と右画像の中心にある車７０ａが特定被写体として抽出されると、この車７０ａの視差がゼロとなるように左画像と右画像が合成表示される。表示部１１では、画像７３のように左画像と右画像が合成表示される。これにより、画像７４に示したように、観察者７５からは、車７０ａを基準にして、木７０ｂは車７０ａよりも手前に見え、家７０ｃは車７０ａよりも奥に見えるようになる。

図８は、特定被写体として顔を抽出した場合の合成画像の表示例を示した図である。図８において、画像８１Ｌは、撮影範囲８０を撮像して得られた左画像であり、画像８１Ｒは、撮影範囲８０を撮像して得られた右画像を示している。左画像と右画像に含まれる犬８０ｂの顔が特定被写体として抽出されると、この犬８０ｂの顔の視差がゼロとなるように左画像と右画像が合成表示される。表示部１１では、画像８３のように左画像と右画像が合成表示される。これにより、画像８４に示したように、観察者８５からは、犬８０ｂを基準にして、車８０ａと家８０ｃが犬８０ｂよりも奥に見えるようになる。

以上のように、撮像装置１００によれば、特定被写体の検出操作に応じて視差補正データの更新が一旦なされてからは、特定被写体の奥行き方向の移動量が閾値（１）よりも大きくなったときにのみ、視差補正データの更新が行われる。このため、特定被写体が僅かに動いた場合には、視差の調節が実施されないため、立体動画を違和感なく鑑賞することが可能となる。

また、撮像装置１００によれば、視差補正データを用いて視差を調整するため、精度の高い視差調整が可能となる。撮像装置１００では、移動量を算出しているが、この移動量と視差補正データとは相関がある。このため、この移動量を用いて視差の調整を行うことも可能である。視差補正データは、あるフレームにおける特定被写体のずれ量によって決まる絶対的な値である。一方、移動量は、前フレームで使用した視差補正データと現フレームの視差補正データとの差で決まる相対的な値である。このため、移動量には誤差に誤差が重なっていくおそれがある。したがって、移動量ではなく視差補正データを用いて視差の調整を行うことで、精度の高い視差調整が可能となる。

なお、以上の説明では、特定被写体の検出操作に応じて視差補正データの記憶が実施されてからは、ステップＳ４５の視差補正データの生成処理（特定被写体を抽出し、抽出した被写体位置からずれ量を算出し、算出したずれ量から視差補正データを生成する一連の処理）とステップＳ４６，Ｓ４７の処理を１フレーム毎に行うものとしたが、これに限らない。これらの処理は複数フレーム毎に実施してもよい。つまり、複数フレームに１回の割合で視差補正データを生成してステップＳ４６の判定を行い、ステップＳ４６の判定を行わないフレームでは、ステップＳ４５において視差補正データの算出処理は行わず、左画像データ及び右画像データを生成した後ステップＳ４８に処理を移行すればよい。

また、以上の説明では動画撮影モード時に一連の処理を行うものとしたが、これに限らない。例えば、動画撮影モードや静止画撮影モード（撮像部１，２で撮像を実施して得られる立体画像データを静止画ファイルの形式で記録するモード）が開始したときに実施されるライブビュー画像（スルー画像）を表示するための撮像モードにおいて、一連の処理を実施してもよい。また、この撮像モードにおいて行われるシャッタボタン１６ａの半押しによるＡＦ・ＡＥ開始のための撮影準備操作、又は、シャッタボタン１６ａの全押しによる記録開始のための撮影指示操作等を、図４に示したステップＳ４１で検出する特定被写体の検出操作とすることで、ユーザが撮影を行う場合にのみ視差調整を実施することができ、視差調整に必要な処理量を削減することができる。なお、本明細書において、動画撮影とは、上記動画撮影モード又は上記撮像モードを開始して行われる撮影のことを意味する。

また、操作部１６に特定被写体の検出操作を指示するための専用のボタンを設けておき、このボタンが押されたときに特定被写体の検出操作がなされたと判定してもよい。また、シャッタボタン１６ａの全押し操作を特定被写体の検出操作としたときには、ＣＰＵ８が、各フレームで生成される左画像データ及び右画像データと、ＲＡＭ９に記憶されている視差補正データとを１ファイルにした立体画像データを、記録媒体１３に順次記録しておくようにすればよい。各フレームの立体画像データを記録媒体１３に記録しておくことで、後に再生するときにも、立体画像データに含まれる視差補正データにしたがって良好な立体表示を行うことができる。

また、上記閾値（１）は可変としてもよい。例えば、閾値（１）を特定被写体抽出部５で抽出された特定被写体の距離に応じて変更してもよい。特定被写体の距離が近い場合、その特定被写体は視差変化が生じやすいため、閾値（１）を小さくすることで視差調節の反応性を上げることができる。また、特定被写体の距離が遠い場合、その特定被写体は急激な視差変化が生じにくいため、ノイズ等の影響を受けにくくする目的で閾値（１）を大きくすればよい。なお、特定被写体の距離は、視差量コントロール部６で求めたずれ量によって判定することができる。このずれ量は、特定被写体が撮像装置の近くにいるほど大きな値となるため、ある閾値を設定し、この閾値よりもずれ量が大きいときは、特定被写体の距離が近いと判定し、この閾値よりもずれ量が小さいときは、特定被写体の距離が遠いと判定すればよい。また、閾値（１）を変更するタイミングは、図４のステップＳ４６で特定被写体の移動量を算出する前後又は同時とすればよい。このタイミングにおいて、最新のずれ量を用いて特定被写体の距離を判定し、その判定結果にしたがって閾値（１）を変更すればよい。

また、閾値（１）を特定被写体の動きによって変えるようにしてもよい。例えば、等速運動をしている特定被写体は、視差調節を頻繁に行っても不快感を招くことはないため、閾値（１）を低く設定すればよい。また、不規則な運動をしている特定被写体は、視差調節を頻繁に行うと不快感を与えることになってしまうため、閾値（１）を高く設定すればよい。なお、特定被写体の動きは、特定被写体抽出部５が抽出した特定被写体の位置の変化を見ることで検出することができる。また、閾値（１）を変更するタイミングは、図４のステップＳ４６で特定被写体の移動量を算出する前後又は同時とすればよい。このタイミングにおいて、直前に抽出された最新の特定被写体の位置と、それよりも前に抽出されていた特定被写体の位置の履歴から、特定被写体の動きを判定し、その判定結果にしたがって閾値（１）を変更すればよい。この場合には、特定被写体抽出部５が、抽出した特定被写体の位置の履歴を保持しておく必要がある。

また、閾値（１）を、操作部１６を操作することによって任意の値に設定できるようにしてもよい。このようにすることで、視差補正データの更新頻度をユーザが任意に決めることができ、ユーザの好みに応じた立体動画表示が可能になる。

次に、撮像装置１００の変形例について説明する。

（第一の変形例）
図９は、図１〜３に示した撮像装置の内部構成の変形例を示した図である。図９に示した撮像装置は、操作部１６にタッチパネル１６ｂを追加した以外は図３に示した構成と同じである。

タッチパネル１６ｂは、表示部１１の表示面上に設けられており、指等で表面を触れるタッチ操作によって、ＣＰＵ８に所定の指示を行うことができるようになっている。

図１０は、図９に示した撮像装置の動画撮影モード時の動作を説明するためのフローチャートである。図１０に示したフローチャートは、ステップＳ４１をステップＳ１０１に変更し、ステップＳ４８とステップＳ４９の間にステップＳ１０２を追加した以外は図４に示したフローチャートと同じである。また、図１１は、図９に示した撮像装置の動画撮影モード時の動作を説明するための図である。図１１において、画像１１０Ｌは、撮影範囲１１０を撮像して得られた左画像であり、画像１１０Ｒは、撮影範囲１１０を撮像して得られた右画像を示している。

図９に示した撮像装置では、動画撮影モード開始後、画面中に表示される被写体がタッチされると（ステップＳ１０１：ＹＥＳ）、ＣＰＵ８が、特定被写体の検出操作があったと判定してステップＳ４２以降の処理を実施する。ステップＳ４２では、特定被写体抽出部５が、タッチされた被写体を特定被写体として抽出する。また、ステップＳ４８で画像表示を行った後、画面中に表示される被写体が再びタッチされると（ステップＳ１０２：ＹＥＳ）、ＣＰＵ８が、再びステップＳ４２に処理を戻して、それ以降の処理を実施する。

例えば、タッチパネル１６ｂのタッチ操作がなされる直前のフレームで得られた右画像が画像１１０Ｒであり、左画像が１１０Ｌであるとすると、表示部１１には画像１１１が表示される。画像１１１では、初期値の視差補正データにしたがって右画像と左画像が合成表示されている。この画像１１１が表示された状態で車１１０ａに対応するタッチパネル１６ｂ部分がタッチされると、この車１１０ａが特定被写体として抽出されることになる。そして、表示部１１には、画像１１３，１１５に示すように、車１１０ａの視差がゼロとなった画像が表示されるようになる。

タッチされた被写体を特定被写体として抽出する具体例について以下に説明する。まず、表示部１１の画面を８×８の６４分割にしておく。そして、あるフレームにおいて画面に指が接触すると、右画像のうち該指が接触した領域に対応する領域（分割領域）を検出する。次に、この分割領域をテンプレートとして、この分割領域に対応する左画像上の領域（対応領域）をテンプレートマッチングで探す。対応領域を検出したら、右画像上の分割領域と左画像上の対応領域とに外枠を長方形として鍵括弧で表示する。

以上のように、図９に示した撮像装置によれば、タッチ操作によって任意の被写体を特定被写体として抽出することができるため、ユーザの意図に合った立体動画表示が可能となる。また、特定被写体の検出操作に応じて視差補正データの記憶がなされた後でも、タッチパネル１６ｂで例えば他の被写体をタッチすることで、特定被写体を変更して、特定被写体の視差調整動作（ステップＳ４２〜Ｓ４８）を最初からやり直すことができる。このため、表示を自由に変更することができ、利便性の高い撮像装置を実現することができる。

なお、図９に示した撮像装置において、特定被写体抽出部５が、画像データから顔を検出し、その顔を特定被写体として抽出する場合には、抽出される特定被写体が複数になる場合も考えられる。この場合の対処法については以下の第一の例と第二の例がある。

＜第一の例＞
図１２は、図９に示した撮像装置において、抽出された特定被写体が複数のときの第一の動作例を説明するための図である。図１２において、画像１２０Ｌは、撮影範囲１２０を撮像して得られた左画像であり、画像１２０Ｒは、撮影範囲１２０を撮像して得られた右画像を示している。

タッチパネル１６ｂのタッチ操作がなされる直前のフレームで得られた右画像が画像１２０Ｒであり、左画像が１２０Ｌであるとすると、表示部１１には画像１２１が表示される。画像１２１では、初期値の視差補正データにしたがって右画像と左画像が合成表示されている。このとき、左画像１２０Ｌと右画像１２０Ｒからは、特定被写体として動物１２０ａ，１２０ｂが抽出されているとする。このように特定被写体が複数抽出された場合には、画像１２１において、抽出された特定被写体に対して、それが特定被写体として抽出された被写体であることが分かるように、枠Ｗを表示させる。

そして、画像１２１が表示された状態で、複数の枠Ｗのうちの１つに対応するタッチパネル１６ｂ部分がタッチされると、特定被写体抽出部５は、タッチされた枠Ｗが付された被写体を最終的な特定被写体として抽出する。視差量コントロール部６は、この最終的な特定被写体にしたがってずれ量を求めればよい。このようにすることで、表示部１１には、画像１２２，１２３に示すように、タッチされた動物１２０ｂの視差がゼロとなった画像が表示されるようになる。

＜第二の例＞
図１３は、図９に示した撮像装置において、抽出された特定被写体が複数のときの第二の動作例を説明するための図である。図１３において、画像１３０Ｌは、撮影範囲１３０を撮像して得られた左画像であり、画像１３０Ｒは、撮影範囲１３０を撮像して得られた右画像を示している。

タッチパネル１６ｂのタッチ操作がなされる直前のフレームで得られた右画像が画像１３０Ｒであり、左画像が１３０Ｌであるとすると、表示部１１には画像１３１が表示される。画像１３１では、初期値の視差補正データにしたがって右画像と左画像が合成表示されている。このとき、左画像１３０Ｌと右画像１３０Ｒからは、特定被写体として動物１３０ａ，１３０ｂ、１３０ｃが抽出されているとする。このように特定被写体が複数抽出された場合には、画像１３１において、抽出された特定被写体に対して、それが特定被写体として抽出された被写体であることが分かるように、枠Ｗを表示させる。ここまでは第一の例と同じである。

第二の例では、抽出された被写体毎に枠Ｗの色を変えて表示させる。そして、画像１３１に、枠Ｗの色と撮像装置から被写体までの距離とを対応付けた距離インジケータ１３１ａを併せて表示させる。距離インジケータ１３１ａは、それぞれ異なる色のブロックを並べて表示したものであり、画面上部にあるブロックほど、距離が遠いブロックであることを示している。抽出された被写体の距離に応じて、この距離インジケータからその距離に対応する色を選択し、その色をその被写体に付与する枠Ｗの色とすることで、ユーザは、抽出された被写体の距離を知ることができるようになる。この結果、特定被写体の選択をサポートできるようになる。

画像１３１が表示された状態で、複数の枠Ｗのうちの１つに対応するタッチパネル１６ｂ部分がタッチされると、特定被写体抽出部５は、タッチされた枠Ｗが付された被写体を最終的な特定被写体として抽出する。視差量コントロール部６は、この最終的な特定被写体にしたがってずれ量を求めればよい。このようにすることで、表示部１１には、画像１３２，１３３に示すように、タッチされた動物１３０ｂの視差がゼロとなった画像が表示されるようになる。

なお、第一の例と第二の例では、複数ある被写体の中からタッチパネル１６ｂで１つを選択できるようにしているが、操作部１６に含まれる十字キー等によって、複数ある被写体の中から１つを選択できるようにしてもよい。なお、図３に示した撮像装置においても、特定被写体が複数検出された場合には、第一の例と第二の例を適用することで、複数の中から１つを抽出することができる。

（第二の変形例）
図１４は、図１〜３に示した撮像装置の内部構成の変形例を示した図である。図１４に示した撮像装置は、操作部１６にＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）１６ｃを追加し、視差調節判定部１８に閾値（２）を記憶するメモリ１８ｂを追加した以外は図３に示した構成と同じである。

視差調節判定部１８は、視差補正データが一旦更新された後に、ＲＡＭ９に記憶されている視差補正データと新たに求めた視差補正データとの差の絶対値が閾値（１）を超えている場合、つまり所定条件を満たす場合でも、新たに求めた視差補正データの絶対値が閾値（２）を超える場合には、視差補正データの更新を行わない判定を下す。視差補正データの絶対値があまりにも大きいと、その視差補正データにしたがって左右画像を合成表示したときに立体感がつきすぎて画像が見づらくなったり、目が疲れてしまったりすることになる。このため、第二の変形例では、このような事態を防ぐために、所定条件を満たす場合でも、視差補正データの絶対値が閾値（２）以下のときにだけ視差補正データの更新を行うようにしている。

ＬＥＤ１６ｃは、所定条件が満たされている状態で視差補正データの更新が行われない期間では、視差補正データの更新を行わない旨をユーザに通知するための通知手段として機能する。具体的に、ＬＥＤ１６ｃは、動画撮影モード中は常時点灯し、視差補正データの絶対値が閾値（２）を超えているときには点滅し、視差補正データの絶対値が閾値（２）以下のときには点灯したままとなるように、ＣＰＵ８によって制御される。

次に、図１４に示した撮像装置の動作について説明する。

図１５は、図１４に示した撮像装置の動画撮影モード時の動作を説明するためのフローチャートである。図１５に示したフローチャートは、ステップＳ４７をステップＳ１５１〜Ｓ１５５に変更し、ステップＳ４１の前にステップＳ１５６を追加し、ステップＳ４９の後にステップＳ１５７を追加した以外は図４に示したフローチャートと同じである。

ステップＳ４６の判定がＹＥＳのとき、視差調節判定部１８は、ステップＳ４５で生成された視差補正データの絶対値が閾値（２）を超えているか否かを判定する（ステップＳ１５１）。閾値（２）は、それ以上の視差補正データとなってしまうと、その視差補正データにしたがって左右画像を合成表示したときに、極端な立体度がついてしまい立体視に不快になってしまうような値である。

ステップＳ１５１の判定がＹＥＳのとき、視差調節部７１は、視差補正データの更新を実施しない（ステップＳ１５２）。ステップＳ１５２の後、ＣＰＵ８はＬＥＤ１６ｃを点滅させる（ステップＳ１５３）。ステップＳ１５３の後は、ステップＳ４８が実施される。

ステップＳ１５１の判定がＮＯのとき、視差調節部７１は、視差補正データの更新を実施する（ステップＳ１５４）。ステップＳ１５４の後、ＣＰＵ８はＬＥＤ１６ｃを点灯させたままとする（ステップＳ１５５）。ステップＳ１５５の後はステップＳ４８の処理が実施される。

このように、図１４に示した撮像装置によれば、視差補正データの記憶が行われてから所定条件が満たされた場合（ステップＳ４６：ＹＥＳ）でも、該所定条件が満たされた時点のフレームで得られる画像データから生成される視差補正データ（ステップＳ４５で生成された視差補正データ）の絶対値が閾値（２）を越えていた場合には、視差調節部７１が視差補正データの更新を実施しないようにしている。このため、極端な視差の調節が行われることはなく、立体動画の鑑賞を良好に行うことができる。また、この撮像装置によれば、視差補正データの更新がなされないことをＬＥＤ１６ｃの点滅でユーザに通知する。このため、ユーザは、この通知を受けて、視差補正データの更新がなされるように撮像装置を動かすといった対応が可能となる。したがって、ユーザに対し、フレーミングのアシストが可能となる。

（第三の変形例）
第三の変形例の撮像装置の構成は、視差調節判定部１８に閾値（３）を記憶するメモリを追加し、ＬＥＤ１６ｃを削除した以外は図１４に示した構成と同じである。閾値（３）は、閾値（２）よりも小さい値である。この撮像装置では、視差調節判定部１８が、視差補正データの絶対値が閾値（２）を超えた後、視差補正データの絶対値が閾値（３）以下になったときに、視差補正データの更新を行う判定を下すようにしている。

図１６は、図１４に示した撮像装置の動画撮影モード時の動作の変形例を説明するためのフローチャートである。図１６に示したフローチャートは、ステップＳ１５２〜ステップＳ１５５をステップＳ１６１〜ステップＳ１６５に変更したした以外は図１５に示したフローチャートと同じである。

ステップＳ１５１の判定がＹＥＳのとき、視差調節部７１は視差補正データの更新を実施しない（ステップＳ１６１）。次に、ＲＡＭ９に記憶されている視差補正データにしたがって、ステップＳ４５で得られた左画像データに基づく画像と右画像データに基づく画像とが表示部１１に合成表示される（ステップＳ１６２）。

次に、次フレームの撮像が実施され、このフレームに対応する視差補正データが生成される（ステップＳ１６３）。ステップＳ１６３の後、視差調節判定部１８は、ステップＳ１６３で生成された視差補正データの絶対値が閾値（３）以下か否かを判定する（ステップＳ１６４）。

ステップＳ１６４の判定がＮＯの場合は、ステップＳ１６１に処理が戻る。ステップＳ１６４の判定がＹＥＳの場合は、視差調節部７１が、ステップＳ１６３で生成した視差補正データをＲＡＭ９に記憶して、視差補正データを更新する（ステップＳ１６５）。ステップＳ１６５の後は、ステップＳ４８が実施される。

このように、第三の変形例の撮像装置によれば、所定条件が満たされた状態で、視差補正データの絶対値が閾値（２）を超えた場合には、視差補正データの絶対値が閾値（２）よりも小さい閾値（３）以下となるまでは視差補正データの更新は行われない。このため、視差補正データの更新の実施と非実施が頻繁に切り替わってしまうのを防ぐことができ、合成画像が頻繁に変化して不快感を与えてしまうのを防ぐことができる。

（第四の変形例）
図１７は、図１〜３に示した撮像装置の内部構成の変形例を示した図である。図１７に示した撮像装置は、タイマ１９を追加し、ＬＥＤ１６ｃを削除した以外は図１４に示した構成と同じである。タイマ１９はバス１７に接続され、ＣＰＵ８によって制御される。タイマ１９は例えばデジタルカウンタである。

図１８は、図１７に示した撮像装置の動画撮影モード時の動作を説明するためのフローチャートである。図１８に示したフローチャートは、ステップＳ１６１〜ステップＳ１６４をステップＳ１８１〜ステップＳ１８６に変更したした以外は図１６に示したフローチャートと同じである。

ステップＳ１５１の判定がＹＥＳのとき、タイマ１９がカウントを開始する（ステップＳ１８１）。ステップＳ１８１の後、視差補正データの更新は実施されず（ステップＳ１８２）、ＲＡＭ９に記憶されている視差補正データにしたがって、ステップＳ４５で得られた左画像データに基づく画像と右画像データに基づく画像とが表示部１１に合成表示される（ステップＳ１８３）。

ステップＳ１８３の後、タイマ１９のカウント値が閾値（４）を超えているか否かがＣＰＵ８により判定される（ステップＳ１８４）。閾値（４）は、所定条件を満たす状態でこれ以上視差補正データの更新がなされない期間が続くと、立体視が不快になってしまうという値である。

ステップＳ１８４の判定がＹＥＳのとき、ＣＰＵ８は、ＲＡＭ９に記憶されている視差補正データを初期値にリセットし、特定被写体の検出操作の有無を監視する状態（ステップＳ４１）に処理を移行する。

ステップＳ１８４の判定がＮＯのとき、次フレームの撮像が実施され、このフレームに対応する視差補正データが生成される（ステップＳ１８５）。ステップＳ１８５の後、視差調節判定部１８は、ステップＳ１８５で生成された視差補正データの絶対値が閾値（２）以下か否かを判定する（ステップＳ１８６）。

ステップＳ１８６の判定がＮＯの場合は、ステップＳ１８４に処理が戻る。ステップＳ１８６の判定がＹＥＳの場合は、視差調節部７１が、ステップＳ１８５で生成した視差補正データをＲＡＭ９に記憶して、視差補正データを更新する（ステップＳ１６５）。ステップＳ１６５の後は、ステップＳ４８が実施される。

このように、第四の変形例では、所定条件を満たし、かつ、視差補正データの絶対値が閾値（２）を超えた状態が所定時間（閾値（４）より長い時間）継続された場合に、ＣＰＵ８が、視差調節処理を強制的に終了して、動画撮影モード開始時の初期状態に戻す。つまり、改めて特定被写体抽出を実施する動作に移行する。ここで言う特定被写体抽出を実施する動作とは、例えば中央にある被写体を特定被写体として抽出して改めて視差補正データの算出を行う動作等、ユーザの操作を伴わずに特定被写体を再抽出する動作のことを示す。

これにより、長い時間、特定被写体の視差が大きな値になってしまうのを防ぐことができ、ユーザに不快感を与えてしまうのを防ぐことができる。また、タイマ１９のカウント値によって自動的に視差調節処理を最初からやり直すことが可能なため、複雑な操作なく、良好な立体表示を再開することができる。

なお、タイマ１９は単純に時間をカウントするものに限らず、例えば撮影フレーム数をカウントするものであってもよい。

なお、第一の変形例〜第四の変形例は適宜組み合わせて実施することも可能である。

以上のように、本明細書には次の事項が開示されている。

開示された撮像装置は、所定の距離を空けて配置された第一の撮像部及び第二の撮像部と、前記第一の撮像部で撮像して得られる第一の画像データに基づく第一の画像及び前記第二の撮像部で撮像して得られる第二の画像データに基づく第二の画像を立体視可能に合成表示する表示部とを有する撮像装置であって、前記第一の画像データ及び前記第二の画像データに含まれる特定被写体を抽出する特定被写体抽出部と、前記第一の画像データに含まれる前記特定被写体の位置と前記第二の画像データに含まれる前記特定被写体の位置とのずれ量を算出するずれ量算出部と、前記ずれ量にしたがって視差補正データを生成しメモリに記憶する視差補正データ生成部と、前記メモリに記憶された前記視差補正データにしたがって前記第一の画像及び前記第二の画像を前記表示部に合成表示させる表示制御部と、前記視差補正データが記憶されてからの前記特定被写体の奥行き方向の移動量を検出する移動量検出部とを備え、前記視差補正データは、前記第一の画像データに含まれる前記特定被写体の前記表示部における表示位置と前記第二の画像データに含まれる前記特定被写体の前記表示部における表示位置とのずれ量である前記特定被写体の視差が所定値以下となるように、前記第一の画像に対して前記第二の画像をどれだけずらして表示すべきかを示したデータであり、前記表示制御部は、前記視差補正データで示されるずらし量だけ前記第一の画像と前記第二の画像を相対的にずらして合成表示させ、前記特定被写体抽出部、前記ずれ量算出部、及び前記移動量検出部は、動画撮影時において前記視差補正データが一旦記憶されてからは１又は複数フレーム毎に処理を実施し、前記視差補正データ生成部は、前記視差補正データの記憶を一旦行った後は所定条件を満たしたときにのみ前記メモリの前記視差補正データを更新し、前記所定条件とは、前記特定被写体の奥行き方向の移動量が第一の閾値を越えた場合であるものである。

この構成により、特定被写体の位置が奥行き方向に大きく変化したときにのみ視差補正データが更新される。このため、特定被写体の位置が奥行き方向に少ししか変化していないときに特定被写体の視差が変わることはなく、立体視を良好に行うことが可能になる。

開示された撮像装置は、前記視差補正データ生成部が、動画撮影時において前記視差補正データを一旦記憶してからは、１又は複数フレーム毎に前記視差補正データを生成し、前記移動量検出部が、前記メモリに記憶されている視差補正データと、１又は複数フレーム毎に生成される前記視差補正データとの差を、前記特定被写体の奥行き方向の移動量として検出するものを含む。

この構成により、特定被写体の奥行き方向の移動量を検出する物理的なセンサが不要となり、装置のコスト削減、小型化が可能となる。

開示された撮像装置は、前記第一の閾値が可変であるものを含む。

この構成により、閾値が固定のときと比較して視差の調節を柔軟に実施できるようになり、被写体やユーザの好みに応じて最適な立体表示が可能になる。

開示された撮像装置は、前記第一の閾値を前記特定被写体の距離又は動きに応じて変更するものを含む。

この構成により、特定被写体の距離又は動きに応じて視差の調節を柔軟に実施できるようになり、被写体に応じた最適な立体表示が可能になる。

開示された撮像装置は、前記第一の閾値を外部操作に応じて変更するものを含む。

この構成により、外部操作に応じて視差の調節を柔軟に実施できるようになり、ユーザの好みに応じた最適な立体表示が可能になる。

開示された撮像装置は、前記特定被写体抽出部が、前記第一の画像データ及び前記第二の画像データの中央部分に存在する被写体、顔検出機能によって検出した被写体、又は外部操作によって指定された被写体を、前記特定被写体として抽出するものを含む。

開示された撮像装置は、前記視差補正データの記憶が行われてから前記所定条件が満たされた場合でも、前記視差補正データが第二の閾値を越えていた場合には、前記視差補正データの更新を実施しないものを含む。

この構成により、視差補正データが大きすぎる場合には視差補正データの更新が行われないため、視差の過度な調節がなされて立体視がしにくくなってしまうのを防ぐことができる。

開示された撮像装置は、前記視差補正データが前記第二の閾値を越えてからは、前記視差補正データが前記第二の閾値よりを下回った場合に前記視差補正データの更新を実施するものを含む。

この構成により、複雑な操作なく、視差の調節を自動的に再開させることができる。

開示された撮像装置は、前記視差補正データが前記第二の閾値を越えてからは、前記視差補正データが前記第一の閾値よりも大きく前記第二の閾値よりも小さい第三の閾値を下回った場合に、前記視差補正データの更新を実施するものを含む。

この構成により、複雑な操作なく、視差の調節を自動的に再開させることができる。また、第二の閾値より小さい第三の閾値を下回ったときに視差の調節が再開されるため、視差の調節処理の実施と停止が頻繁に切り替わってしまうのを防ぐことができる。

開示された撮像装置は、前記所定条件が満たされている状態で前記視差補正データの更新を行わない期間では、前記視差補正データの更新を行わない旨をユーザに通知するものを含む。

この構成により、視差の調節が行われないことをユーザに知らせることができる。ユーザは上記通知を受けて、視差補正データが第二の閾値や第三の閾値を下回るようにフレーミングを変えることができるようになる。このため、ユーザに対してフレーミングのアシストが可能となる。

開示された撮像装置は、前記視差補正データが前記第二の閾値を越えた状態が所定時間継続された場合、改めて前記特定被写体の抽出を実施する動作に移行するものを含む。

特定被写体が大きく移動した状態で長い時間、視差の調節が行われないのでは、撮影画像として良好なものとは言い難い。そこで、視差補正データが第二の閾値を越えた状態が所定時間継続された場合には、改めて前記特定被写体の抽出を実施する動作に移行することで、良好な撮像画像を得ることができる。

開示された撮像装置は、動画撮影が開始された後、仮撮像を行う指示、本撮像を行う指示、及び特定被写体を指定する指示のいずれかがなされたときに、前記特定被写体抽出部、前記ずれ量算出部、及び前記視差補正データ生成部が動作を開始して、前記視差補正データを前記メモリに記憶するものを含む。

この構成により、仮撮像を行うタイミング、本撮像を行うタイミング、特定被写体を指定したタイミングのいずれかで視差調整を開始することができる。

開示された撮像装置は、前記動画撮影が開始された後、特定被写体を指定する指示がなされたときに、前記特定被写体抽出部、前記ずれ量算出部、及び前記視差補正データ生成部が動作を開始して、前記視差補正データを前記メモリに記憶し、前記視差補正データが前記メモリに記憶された後でも、特定被写体を指定する指示が再度なされた場合には、前記特定被写体抽出部、前記ずれ量算出部、及び前記視差補正データ生成部が動作を開始して、前記視差補正データを前記メモリに記憶するものを含む。

この構成により、任意のタイミングで特定被写体を指定しなおすことができる。

開示された立体画像表示方法は、所定の距離を空けて配置された第一の撮像部及び第二の撮像部のうち前記第一の撮像部で撮像して得られる第一の画像データに基づく第一の画像及び前記第二の撮像部で撮像して得られる第二の画像データに基づく第二の画像を立体視可能に合成表示する立体画像表示方法であって、前記第一の画像データ及び前記第二の画像データに含まれる特定被写体を抽出する特定被写体抽出ステップと、前記第一の画像データに含まれる前記特定被写体の位置と前記第二の画像データに含まれる前記特定被写体の位置とのずれ量を算出するずれ量算出ステップと、前記ずれ量にしたがって視差補正データを生成しメモリに記憶する視差補正データ生成ステップと、前記メモリに記憶された前記視差補正データにしたがって前記第一の画像及び前記第二の画像を前記表示部に合成表示させる表示制御ステップと、前記視差補正データが記憶されてからの前記特定被写体の奥行き方向の移動量を検出する移動量検出ステップとを備え、前記視差補正データは、前記第一の画像データに含まれる前記特定被写体の前記表示部における表示位置と前記第二の画像データに含まれる前記特定被写体の前記表示部における表示位置とのずれ量である前記特定被写体の視差が所定値以下となるように、前記第一の画像に対して前記第二の画像をどれだけずらして表示すべきかを示したデータであり、前記表示制御ステップでは、前記視差補正データで示されるずらし量だけ前記第一の画像と前記第二の画像を相対的にずらして合成表示させ、前記特定被写体抽出ステップ、前記ずれ量算出ステップ、及び前記移動量検出ステップは、動画撮影時において前記視差補正データが一旦記憶されてからは１又は複数フレーム毎に実施し、前記視差補正データ生成ステップでは、動画撮影時において前記視差補正データを一旦記憶してからは、１又は複数フレーム毎に前記視差補正データを生成し、かつ、前記視差補正データの記憶を一旦行った後は所定条件を満たしたときにのみ前記メモリの前記視差補正データを更新し、前記移動量検出ステップでは、前記メモリに記憶されている視差補正データと、１又は複数フレーム毎に生成される前記視差補正データとの差を、前記特定被写体の奥行き方向の移動量として検出し、前記所定条件とは、前記特定被写体の奥行き方向の移動量が第一の閾値を越えた場合であるものである。

１，２ 撮像部
５ 特定被写体抽出部
６ 視差量コントロール部
９ ＲＡＭ
１８ 視差調節判定部
７１ 視差調節部
１００ 撮像装置

Claims (12)

1. 所定の距離を空けて配置された第一の撮像部及び第二の撮像部と、前記第一の撮像部で撮像して得られる第一の画像データに基づく第一の画像及び前記第二の撮像部で撮像して得られる第二の画像データに基づく第二の画像を立体視可能に合成表示する表示部とを有する撮像装置であって、
   前記第一の画像データ及び前記第二の画像データに含まれる特定被写体を抽出する特定被写体抽出部と、
   前記第一の画像データに含まれる前記特定被写体の位置と前記第二の画像データに含まれる前記特定被写体の位置とのずれ量を算出するずれ量算出部と、
   前記ずれ量にしたがって視差補正データを生成しメモリに記憶する視差補正データ生成部と、
   前記メモリに記憶された前記視差補正データに基づいて前記第一の画像及び前記第二の画像を前記表示部に立体視可能に合成表示させる表示制御部と、
   前記視差補正データが記憶されてからの前記特定被写体の奥行き方向の移動量を検出する移動量検出部とを備え、
   前記視差補正データは、前記第一の画像データに含まれる前記特定被写体の前記表示部における表示位置と前記第二の画像データに含まれる前記特定被写体の前記表示部における表示位置とのずれ量である前記特定被写体の視差が所定値以下となるように、前記第一の画像に対して前記第二の画像をどれだけずらして表示すべきかを示したデータであり、
   前記表示制御部は、前記視差補正データで示されるずらし量だけ前記第一の画像と前記第二の画像を相対的にずらして立体視可能に合成表示させ、
   前記特定被写体抽出部、前記ずれ量算出部、及び前記移動量検出部は、動画撮影時において前記視差補正データが一旦記憶されてからは１又は複数フレーム毎に処理を実施し、
   前記視差補正データ生成部は、動画撮影時において前記視差補正データを一旦記憶してからは、１又は複数フレーム毎に前記視差補正データを生成し、かつ、前記視差補正データの記憶を一旦行った後は所定条件を満たしたときにのみ前記メモリの前記視差補正データを更新し、
   前記移動量検出部は、前記メモリに記憶されている視差補正データと、１又は複数フレーム毎に生成される前記視差補正データとの差を、前記特定被写体の奥行き方向の移動量として検出し、
   前記所定条件とは、前記特定被写体の奥行き方向の移動量が第一の閾値を越えた場合である撮像装置。
2. 請求項１記載の撮像装置であって、
   前記第一の閾値を前記特定被写体の距離又は動きに応じて変更する撮像装置。
3. 請求項１記載の撮像装置であって、
   前記第一の閾値を外部操作に応じて変更する撮像装置。
4. 請求項１〜３のいずれか１項記載の撮像装置であって、
   前記特定被写体抽出部が、前記第一の画像データ及び前記第二の画像データの中央部分に存在する被写体、顔検出機能によって検出した被写体、又は外部操作によって指定された被写体を、前記特定被写体として抽出する撮像装置。
5. 請求項１〜４のいずれか１項記載の撮像装置であって、
   前記視差補正データの記憶が行われてから前記所定条件が満たされた場合でも、前記視差補正データが第二の閾値を越えていた場合には、前記視差補正データの更新を実施しない撮像装置。
6. 請求項５記載の撮像装置であって、
   前記視差補正データが前記第二の閾値を越えてからは、前記視差補正データが前記第二の閾値よりを下回った場合に前記視差補正データの更新を実施する撮像装置。
7. 請求項５記載の撮像装置であって、
   前記視差補正データが前記第二の閾値を越えてからは、前記視差補正データが前記第一の閾値よりも大きく前記第二の閾値よりも小さい第三の閾値を下回った場合に、前記視差補正データの更新を実施する撮像装置。
8. 請求項５〜７のいずれか１項記載の撮像装置であって、
   前記所定条件が満たされている状態で前記視差補正データの更新を行わない期間では、前記視差補正データの更新を行わない旨をユーザに通知する撮像装置。
9. 請求項５記載の撮像装置であって、
   前記視差補正データが前記第二の閾値を越えた状態が所定時間継続された場合、改めて前記特定被写体の抽出を実施する動作に移行する撮像装置。
10. 請求項１〜９のいずれか１項記載の撮像装置であって、
    動画撮影が開始された後、仮撮像を行う指示、本撮像を行う指示、及び特定被写体を指定する指示のいずれかがなされたときに、前記特定被写体抽出部、前記ずれ量算出部、及び前記視差補正データ生成部が動作を開始して、前記視差補正データを前記メモリに記憶する撮像装置。
11. 請求項１０記載の撮像装置であって、
    前記動画撮影が開始された後、特定被写体を指定する指示がなされたときに、前記特定被写体抽出部、前記ずれ量算出部、及び前記視差補正データ生成部が動作を開始して、前記視差補正データを前記メモリに記憶し、前記視差補正データが前記メモリに記憶された後でも、特定被写体を指定する指示が再度なされた場合には、前記特定被写体抽出部、前記ずれ量算出部、及び前記視差補正データ生成部が動作を開始して、前記視差補正データを前記メモリに記憶する撮像装置。
12. 所定の距離を空けて配置された第一の撮像部及び第二の撮像部のうち前記第一の撮像部で撮像して得られる第一の画像データに基づく第一の画像及び前記第二の撮像部で撮像して得られる第二の画像データに基づく第二の画像を立体視可能に合成表示する立体画像表示方法であって、
    前記第一の画像データ及び前記第二の画像データに含まれる特定被写体を抽出する特定被写体抽出ステップと、
    前記第一の画像データに含まれる前記特定被写体の位置と前記第二の画像データに含まれる前記特定被写体の位置とのずれ量を算出するずれ量算出ステップと、
    前記ずれ量にしたがって視差補正データを生成しメモリに記憶する視差補正データ生成ステップと、
    前記メモリに記憶された前記視差補正データにしたがって前記第一の画像及び前記第二の画像を前記表示部に合成表示させる表示制御ステップと、
    前記視差補正データが記憶されてからの前記特定被写体の奥行き方向の移動量を検出する移動量検出ステップとを備え、
    前記視差補正データは、前記第一の画像データに含まれる前記特定被写体の前記表示部における表示位置と前記第二の画像データに含まれる前記特定被写体の前記表示部における表示位置とのずれ量である前記特定被写体の視差が所定値以下となるように、前記第一の画像に対して前記第二の画像をどれだけずらして表示すべきかを示したデータであり、
    前記表示制御ステップでは、前記視差補正データで示されるずらし量だけ前記第一の画像と前記第二の画像を相対的にずらして合成表示させ、
    前記特定被写体抽出ステップ、前記ずれ量算出ステップ、及び前記移動量検出ステップは、動画撮影時において前記視差補正データが一旦記憶されてからは１又は複数フレーム毎に実施し、
    前記視差補正データ生成ステップでは、動画撮影時において前記視差補正データを一旦記憶してからは、１又は複数フレーム毎に前記視差補正データを生成し、かつ、前記視差補正データの記憶を一旦行った後は所定条件を満たしたときにのみ前記メモリの前記視差補正データを更新し、
    前記移動量検出ステップでは、前記メモリに記憶されている視差補正データと、１又は複数フレーム毎に生成される前記視差補正データとの差を、前記特定被写体の奥行き方向の移動量として検出し、
    前記所定条件とは、前記特定被写体の奥行き方向の移動量が第一の閾値を越えた場合である立体画像表示方法。