JP2012182746A - 画像処理装置、表示装置、撮像装置および画像処理プログラム - Google Patents

Abstract

【課題】３Ｄ画像を動画で鑑賞することによって生じる目の疲労感を低減することができる画像処理装置、表示装置、撮像装置および画像処理プログラムを提供する。
【解決手段】互いに視差を有する２つの画像データで構成された複数の３次元画像が時系列に沿って連続的に再生される動画の画面内で動きがある被写体を含む動体領域を検出する動体領域検出部９４と、動体領域検出部９４が検出した動体領域の２つの画像データにおける視差を小さくする調整を行う視差調整部９５と、を備える。
【選択図】図３

Description

本発明は、互いに対応する画素点が視差を有する２つの画像データに対して画像処理を行って３次元画像を生成する画像処理装置、表示装置、撮像装置および画像処理プログラムに関する。

近年、同一の被写体に対してデジタルステレオカメラを用いて撮影することによって複数の画像データを取得し、この取得した複数の画像データに含まれる被写体の視差を利用することにより、ユーザが立体的に見ることができる３次元画像（以下、「３Ｄ画像」という）を表示する表示装置が知られている。

このような表示装置において、３Ｄ画像に含まれる被写体の視差を調整することができる技術が知られている（特許文献１参照）。この技術では、ユーザ毎に設定された視差に応じて、デジタルステレオカメラの輻輳角または基線長を自動で調整して被写体を撮影することにより、ユーザが所望する視差で３Ｄ画像を撮影することができる。

特開２００２−２３２９１３号公報

ところで、従来の技術では、３Ｄ画像を動画で鑑賞する場合、３Ｄ画像内において動きのある被写体は、静止している被写体よりも認識しづらく、ひいては疲労を生じやすかった。このため、３Ｄ画像を動画で鑑賞することによって生じる疲労感を低減することができる技術が求められていた。

本発明は、上記に鑑みてなされたものであって、３Ｄ画像を動画で鑑賞する際に疲労感を低減することができる画像処理装置、表示装置、撮像装置および画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、互いに視差を有する２つの画像データで構成された複数の３次元画像が時系列に沿って連続的に再生される動画の画面内で動きがある被写体を含む動体領域を検出する動体領域検出部と、前記動体領域検出部が検出した前記動体領域の前記２つの画像データにおける視差を小さくする調整を行う視差調整部と、を備えたことを特徴とする。

また、本発明にかかる画像処理装置は、上記発明において、前記動体領域検出部は、前記被写体の画像の特性を示す被写体情報が前記動画の画面内で概ね規則的に変化する領域を前記動体領域として検出することを特徴とする。

また、本発明にかかる画像処理装置は、上記発明において、前記被写体情報は、所定の周波数帯域に含まれる周波数で時間的に変化することを特徴とする。

また、本発明にかかる画像処理装置は、上記発明において、前記所定の周波数帯域は、０．１Ｈｚ〜１０Ｈｚであることを特徴とする。

また、本発明にかかる画像処理装置は、上記発明において、前記被写体情報は、輝度情報、濃淡情報、コントラスト情報または色情報のいずれかであることを特徴とする。

また、本発明にかかる画像処理装置は、上記発明において、前記視差調整部は、前記動体領域の前記２つの画像データにおける視差を時系列に沿って徐々に小さくしながら調整することを特徴とする。

また、本発明にかかる画像処理装置は、上記発明において、前記２つの画像データそれぞれに対応する２つの画像を所定の縦横比率で切り出して前記３次元画像のもととなる画像を生成する立体画像生成部をさらに備え、前記視差調整部は、前記立体画像生成部が切り出す領域を変更することによって、前記動体領域の前記２つの画像データにおける視差を調整することを特徴とする。

また、本発明にかかる画像処理装置は、上記発明において、前記視差調整部が調整した前記視差を含む視差情報を、前記２つの画像データに対応付けて記憶する記憶部をさらに備えたことを特徴とする。

また、本発明にかかる表示装置は、上記記載の画像処理装置と、前記動画を表示する表示部と、前記視差調整部が前記動体領域の前記２つの画像データにおける視差を調整した前記３次元画像を前記表示部に表示させる表示制御部と、を備えたことを特徴とする。

また、本発明にかかる撮像装置は、上記記載の表示装置と、被写体を異なる位置から撮像することによって前記２つ画像データの各々を時系列に沿って連続的に生成する撮像部と、を備えたことを特徴とする。

また、本発明にかかる画像処理プログラムは、互いに視差を有する２つの画像データで構成された複数の３次元画像が時系列に沿って連続的に再生される動画の画面内で動きがある被写体を含む動体領域を検出する動体領域検出部ステップと、前記動体領域検出ステップが検出した前記動体領域の前記２つの画像データにおける視差を小さくする調整を行う視差調整ステップと、を画像処理装置に実行させることを特徴とする。

本発明によれば、３Ｄ画像の動画内で動きがある被写体の動体領域を検出し、この動体領域の視差を小さくする調整を行う。この結果、ユーザが３Ｄ画像を動画で鑑賞する際に疲労感を低減することができるという効果を奏する。

図１は、本発明の一実施の形態にかかる撮像装置の被写体に面する側の構成を示す図である。 図２は、本発明の一実施の形態にかかる撮像装置のユーザに面する側の構成を示す図である。 図３は、本発明の一実施の形態にかかる撮像装置の構成を示すブロック図である。 図４は、本発明の一実施の形態にかかる撮像装置が備える表示部の概略構成を示す模式図である。 図５は、本発明の一実施の形態にかかる撮像装置が備える撮像部が互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する際の状況を示す模式図である。 図６は、図５に示す状況下で撮像部が生成する２つの画像データそれぞれに対応する２つの画像の一例を示す図である。 図７は、図５に示す状況下で立体画像生成部が生成した左目画像と右目画像とを仮想的に重ねた画像を示す図である。 図８は、図５に示す状況下で撮像部と被写体との撮影距離との関係を示す図である。 図９は、ユーザが表示部の表示画面から仮想的に視認する３Ｄ画像の位置を説明する模式図である。 図１０は、本発明の一実施の形態にかかる撮像装置を用いてユーザが撮影する状況を説明する模式図である。 図１１は、本発明の一実施の形態にかかる撮像装置が行う処理の概要を模式的に説明する図である。 図１２は、本発明の一実施の形態にかかる撮像装置が行う処理の概要を示すフローチャートである。 図１３は、図１０に示す状況下で撮像部が生成する画像の一例を示す図である。 図１４は、本発明の一実施の形態にかかる立体画像生成部が行う処理の概要を示す図である。 図１５は、図１４に示す状況で立体画像生成部が生成した左目画像と右目画像とを仮想的に重ねた画像の一例を示す図である。 図１６は、本発明の一実施の形態にかかる立体画像生成部が全体の一致度を高めて生成した左目画像と右目画像とを仮想的に重ねた画像の一例を示す図である。 図１７は、図１２に示した動体領域検出処理の概要を示すフローチャートである。 図１８は、本発明の一実施の形態にかかる動体領域検出部が行う処理の概要を示す図である。 図１９は、図１８に示す状況で動体領域検出部が一つのブロックにおいて検出した最大輝度の変化を模式的に示す図である。 図２０は、本発明の一実施の形態において動体領域検出部が動体領域を検出する別の画像（その１）の一例を示す図である。 図２１は、本発明の一実施の形態において動体領域検出部が動体領域を検出する別の画像（その２）の一例を示す図である。

以下に、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一の部分には同一の符号を付している。

図１は、本発明の一実施の形態にかかる撮像装置の被写体に面する側（前面側）の構成を示す図である。図２は、本発明の一実施の形態にかかる撮像装置のユーザに面する側（背面側）の構成を示す図である。図３は、本発明の一実施の形態にかかる撮像装置の構成を示すブロック図である。なお、本実施の形態においては、画像処理装置および表示装置を備えた撮像装置を例に説明する。さらに、本実施の形態においては、撮像装置としてデジタルステレオカメラを例に挙げて説明する。

図１〜図３に示すように、撮像装置１は、撮像部２と、姿勢検出部３と、タイマー４と、操作入力部５と、表示部６と、タッチパネル７と、記憶部８と、制御部９と、を備える。

撮像部２は、被写体を異なる位置から撮像し、互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する。撮像部２は、互いに異なる光学系を有する第１撮像部２１および第２撮像部２２を備える。第１撮像部２１および第２撮像部２２は、互いの光軸Ｌ１，Ｌ２が同一平面上で並設される。

第１撮像部２１は、レンズ部２１ａと、レンズ駆動部２１ｂと、絞り２１ｃと、絞り駆動部２１ｄと、シャッタ２１ｅと、シャッタ駆動部２１ｆと、撮像素子２１ｇと、信号処理部２１ｈと、を有する。

レンズ部２１ａは、フォーカスレンズやズームレンズ等の複数のレンズによって構成され、所定の視野領域から光を集光する。レンズ駆動部２１ｂは、ＤＣモータ等を用いて構成され、レンズ部２１ａのレンズを光軸Ｌ１上に沿って移動させることにより、レンズ部２１ａのピント位置や焦点距離等の変更を行う。

絞り２１ｃは、レンズ部２１ａが集光した光の入射量を制限することにより露出の調整を行う。絞り駆動部２１ｄは、ステッピングモータ等によって構成され、絞り２１ｃを駆動する。

シャッタ２１ｅは、撮像素子２１ｇの状態を露光状態または遮光状態に設定する。シャッタ駆動部２１ｆは、ステッピングモータ等によって構成され、レリーズ信号に応じてシャッタ２１ｅを駆動する。

撮像素子２１ｇは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等によって実現される。撮像素子２１ｇは、レンズ部２１ａが集光した光を受光して光電変換を行うことによって、光を電気信号（アナログ信号）に変換し、この変換した電気信号を信号処理部２１ｈに出力する。

信号処理部２１ｈは、撮像素子２１ｇから出力される電気信号に増幅等の信号処理を施した後、Ａ／Ｄ変換を行うことによってデジタルの画像データに変換して制御部９に出力する。

第２撮像部２２は、第１撮像部２１と同様の構成によって実現され、レンズ部２２ａと、レンズ駆動部２２ｂと、絞り２２ｃと、絞り駆動部２２ｄと、シャッタ２２ｅと、シャッタ駆動部２２ｆと、撮像素子２２ｇと、信号処理部２２ｈと、を有する。

姿勢検出部３は、加速度センサを用いて構成される。姿勢検出部３は、撮像装置１の加速度を検出することにより、撮像装置１の姿勢状態を検出する。具体的には、姿勢検出部３は、水平面を基準としたときの撮像装置１の姿勢を検出する。

タイマー４は、計時機能や撮影日時の判定機能を有する。タイマー４は、撮像された画像データに日時データを付加させるため、制御部９に日時データを出力する。

操作入力部５は、撮像装置１の電源状態をオン状態またはオフ状態に切換える電源スイッチ５１と、静止画撮影の指示を与える静止画レリーズ信号の入力を受け付ける静止画レリーズスイッチ５２と、撮像装置１の各種撮影モードを切換える切換スイッチ５３と、撮像部２のズーム操作を行うズームスイッチ５４と、動画撮影の指示を与える動画レリーズ信号の入力を受け付ける動画レリーズスイッチ５５と、撮像装置１の各種設定を変更する変更スイッチ５６と、を有する。

図４は、表示部６の概略構成を示す模式図である。図４に示すように、表示部６は、バックライト６１と、表示パネル６２と、視差バリア６３と、を有する。バックライト６１は、ＬＥＤ（Light Emitting Diode）等によって構成され、画像を表示するための光を背面から照射する。表示パネル６２は、液晶または有機ＥＬ（Electro Luminescence）等の表示パネルによって構成される。視差バリア６３は、液晶等によって構成され、表示パネル６２の上面に積層されてなる。視差バリア６３は、表示パネル６２の各画素の間隔よりも狭い間隔でスリットが設けられ、ユーザの右目Ｅ_Ｒと左目Ｅ_Ｌとにそれぞれ対応した画像を分離する。このような視差バリア６３として、例えばパララックバリア方式が適用される。なお、視差バリア６３の代わりに、レンティキュラレンズを積層したレンズシートを表示パネル６２の上面に設けてもよい。

以上の構成を有する表示部６は、制御部９から３Ｄ画像データが入力された場合、制御部９の制御のもとで表示パネル６２が左端の画素から水平方向に左目画像と右目画像とを交互に表示し、視差バリア６３が表示パネル６２の各画素から出た光を分離する。このため、左目画像が左目Ｅ_Ｌのみに、右目画像が右目Ｅ_Ｒのみにそれぞれ届く。これにより、ユーザは、表示部６が表示する３Ｄ画像を立体視することができる。また、表示部６が表示態様を３Ｄ画像から２Ｄ画像に切り換える際には、視差バリア６３に印加される電圧がオン状態からオフ状態に変化することによって視差バリア６３が遮光状態から透過状態に遷移し、左目画像または右目画像のどちらか一方が表示パネル６２に出力される。

タッチパネル７は、表示部６の表示画面上に重ねて設けられる（図２を参照）。タッチパネル７は、ユーザが表示部６で表示される状態に基づいて接触（タッチ）した位置を検出し、この検出した位置に応じた操作信号の入力を受け付ける。一般に、タッチパネルとしては、抵抗膜方式、静電容量方式、光学方式等がある。本実施の形態では、いずれの方式のタッチパネルであっても適用可能である。

記憶部８は、撮像装置１の内部に固定的に設けられるフラッシュメモリやＲＡＭ（Random Access Memory）等の半導体メモリを用いて実現される。記憶部８は、撮像部２が撮影した画像データを記憶する画像データ記憶部８１と、撮像装置１が実行する各種プログラムや撮像プログラムを記憶するプログラム記憶部８２と、を有する。なお、記憶部８に対し、外部から装着されるメモリカード等の記憶媒体に対して情報を記憶する一方、記憶媒体が記憶する情報を読み出す記憶媒体インターフェースとしての機能を具備させてもよい。

制御部９は、ＣＰＵ（Central Processing Unit）等によって実現される。制御部９は、操作入力部５およびタッチパネル７からの操作信号等に応じて記憶部８のプログラム記憶部８２からプログラムを読み出して実行し、撮像装置１を構成する各部に対して制御信号を送信したりデータを転送したりすることにより、撮像装置１の動作を制御する。

制御部９の詳細な構成を説明する。制御部９は、画像処理部９１と、立体画像生成部９２と、顔検出部９３と、動体領域検出部９４と、視差調整部９５と、表示制御部９６と、ヘッダ情報生成部９７と、を有する。

画像処理部９１は、信号処理部２１ｈ，２２ｈからそれぞれ出力された左目画像データおよび右目画像データに対して各種の画像処理を施す。具体的には、画像処理部９１は、信号処理部２１ｈ，２２からそれぞれ出力された左目画像データおよび右目画像データに対して、エッジ強調、色補正およびγ補正等の処理を施す。

立体画像生成部９２は、画像処理部９１によって画像処理された左目画像データおよび右目画像データを所定の縦横比（たとえばアスペクト比３：４）でそれぞれ切り出すことによって３Ｄ画像を生成する。なお、立体画像生成部９２が左目画像データおよび右目画像データそれぞれ切り出す縦横比を変更スイッチ５６で変更できるようにしてもよい。

顔検出部９３は、左目画像データまたは右目画像データに含まれる人物の顔をパターンマッチングによって検出する。なお、顔検出部９３は、人物の顔だけでなく、犬や猫等の顔を検出してもよい。さらに、顔検出部９３は、パターンマッチング以外の周知技術を用いて人物の顔を検出してもよい。

動体領域検出部９４は、左目画像データおよび右目画像データで構成された複数の３Ｄ画像を時系列に沿って連続的に再生する動画の画面内において動きがある被写体を含む動体領域を検出する。たとえば、動体領域検出部９４は、隣接する３Ｄ画像間で輝度が時間とともに概ね周期的（規則的）に時間変化する領域を動体領域として検出する。ここで、動体領域とは、左目画像データに対応する左目画像および右目画像データに対応する右目画像それぞれにおいて動きがある被写体を含む領域である。また、動体領域検出部９４は、被写体の画像の特性を示す被写体情報が３Ｄ画像の動画の画面内で所定の周波数帯域に含まれる周波数で変化する領域を動体領域として検出する。この所定の周波数帯域としては、０．１Ｈｚ〜１０Ｈｚである。さらに、被写体情報としては、輝度情報、濃淡情報、コントラスト情報または色情報のいずれかである。なお、動体領域検出部９４は、動体領域として検出する周波数帯域を適宜変更してもよい。

視差調整部９５は、動体領域検出部９４が検出した動体領域の視差を小さくする調整を行う。具体的には、視差調整部９５は、動体領域検出部９４が検出した動体領域の視差をほぼ無くした状態に調整する。ここで、動体領域の視差とは、左目画像データに対応する左目画像および右目画像データに対応する右目画像それぞれに含まれる動体領域における対応画素の視差である。また、視差調整部９５は、立体画像生成部９２が左目画像データおよび右目画像データそれぞれから切り出す領域を変更することによって、動体領域における対応画素点の視差を無くした状態に調整する。

表示制御部９６は、３Ｄ画像または２Ｄ画像を表示部６に表示させる制御を行う。具体的には、表示制御部９６は、表示部６に３Ｄ画像を表示させる場合、立体画像生成部９２によって生成された３Ｄ画像の左目画像と右目画像とをそれぞれ短冊状に分割し、この分割した画像を表示部６の表示画面における横方向の１画素毎に交互に並べて３Ｄ画像を表示部６に表示させる制御を行う。これに対して、表示制御部９６は、表示部６に２Ｄ画像を表示させる場合、表示部６の視差バリア６３のスリットを遮光状態から透過状態にするため、視差バリア６３に印加する電源をオン状態からオフ状態にするとともに、左目画像または右目画像どちらか一方のみを表示部６に表示パネル６２に表示させる。

ヘッダ情報生成部９７は、３Ｄ画像の視差をヘッダ情報として生成し、このヘッダ情報を撮像部２が生成する画像データに付加して画像データ記憶部８１に記憶させる。

以上の構成を有する撮像装置１において、音声入出力機能、フラッシュ機能およびインターネットを介して外部のパーソナルコンピュータ（図示せず）と双方向に通信を行う通信機能等を具備させてもよい。

つぎに、撮像部２が互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する際の状況について説明する。図５は、撮像部２が、互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する際の状況を示す模式図である。

図５に示すように、撮像部２は、撮像部２からの距離が異なる被写体Ａ１（距離ｄ１）および被写体Ａ２（距離ｄ２）に対して、距離Ｂ１だけ離れて並設された第１撮像部２１および第２撮像部２２で撮像することにより、左目画像データおよび右目画像データを生成する。

続いて、立体画像生成部９２は、第１撮像部２１および第２撮像部２２によって生成された左目画像データおよび右目画像データそれぞれを所定の縦横比率で切り出すことによって左目画像１００Ｌおよび右目画像１００Ｒを生成する。図６は、図５に示す状況下で撮像部２が生成する２つの画像データそれぞれに対応する２つの画像の一例を示す図である。図６において、左目画像１００Ｌは、立体画像生成部９２が第２撮像部２２によって生成された左目画像データに対応する画像から切り出して生成した画像である。また、図６において、右目画像１００Ｒは、立体画像生成部９２が第１撮像部２１によって生成された右目画像データに対応する画像から切り出して生成した画像である。図７は、図５に示す状況下で立体画像生成部９２が生成した左目画像１００Ｌと右目画像１００Ｒとを仮想的に重ねた画像（１００ＬＲ）を示す図である。なお、図６および図７に示す破線および一点鎖線は、第１撮像部２１および第２撮像部２２がそれぞれ生成する画像データに対応する画像領域を示す。

図８は、図５に示す状況下で、画像中の被写体位置と撮像部から被写体までの距離との関係を示す図である。図８では、横軸が画面の左端を原点としたときの画像１００ＬＲ内の横方向の被写体位置であり、縦軸が撮像部２と被写体との距離である。

図８に示すように、撮像部２と被写体Ａ２との距離は、撮像部２と被写体Ａ１との距離より大きい。このため、被写体Ａ２の領域がほぼ重なる。具体的には、図７に示すように、画像１００ＬＲ内では、被写体Ａ２の領域がほぼ重なる。一方、被写体Ａ１の領域は重ならない（対応画素の視差Ｐ１）。このように、左目画像１００Ｌと右目画像１００Ｒでは、撮像部２からの距離が近い被写体（被写体Ａ１）ほど画像内での対応画素点の視差が大きく、撮像部２からの距離が遠い被写体（被写体Ａ２）ほど対応画素点の視差が小さい。

ここで、図９を参照して、ユーザが表示部６の表示画面から仮想的に視認する３Ｄ画像の位置について説明する。図９は、ユーザが表示部６の表示画面から仮想的に視認する３Ｄ画像の位置を説明する模式図である。図９においては、左目画像および右目画像の対応画素点の視差をΔｘ、ユーザが表示部６の表示画面から仮想的に視認する３Ｄ画像の位置をΔｚとする。また、矢印ａ１が左目Ｅ_Ｌに入り込む左目画像における画素の光を示し、矢印ａ２が右目Ｅ_Ｒに入り込む右目画像における画素の光を示す。

図９（ａ）に示すように、左目Ｅ_Ｌおよび右目Ｅ_Ｒそれぞれに入る左目画像および左目画像の対応画素点が同じ位置（視差Δｘ＝０）で表示されている場合、ユーザが仮想的に視認する３Ｄ画像の位置が表示部６の表示画面上（位置Δｚ＝０）になる。

また、図９（ｂ）に示すように、左目Ｅ_Ｌおよび右目Ｅ_Ｒそれぞれに入る左目画像および右目画像の対応画素点が別の位置（視差Δｘ＝Δｘ１）で表示されている場合、ユーザが仮想的に視認する３Ｄ画像の位置が表示部６の表示画面から直交する方向に飛び出した位置（位置Δｚ＝Δｚ１）になる。

さらに、図９（ｃ）に示すように、３Ｄ画像の位置が移動、たとえば右側に移動したい場合、ユーザの目が飛び出した３Ｄ画像の移動に追従しながら移動する。このため、ユーザは、３Ｄ画像が止まった状態（図９（ｂ））に比べて、目に疲労を感じやすい。そこで、本実施の形態では、３Ｄ画像の動画の画面内において移動する被写体や動きが激しい被写体に対して、表示部６の表示画面から飛び出さない状態で表示部６に表示させる。たとえば、図１０に示すように、ユーザが撮像装置１を用いて、動きのある被写体である滝Ａ３を撮影する場合、３Ｄ画像内で滝Ａ３が写る領域に対応する画像を表示部６の表示画面から飛び出さない状態で表示部に表示させる。具体的には、図１１に示すように、被写体Ａが画像１１０から飛び出した状態（図１１（ａ））から飛び出さない状態（図１１（ｂ））で表示部６に表示させる。これにより、ユーザが感じる目の疲労を低減する。なお、図１０においては、被写体Ａ３から撮像装置１までの距離は、背景に比して近い距離（視差が大きい）にあるものとする。

つぎに、本実施の形態にかかる撮像装置１が行う処理について説明する。図１２は、撮像装置１が行う処理の概要を示すフローチャートである。なお、本実施の形態にかかる撮像装置１は、複数の撮影モードや画像データを再生する再生モードを設定することができる。以下においては、複数の撮影モードのうち３Ｄ撮影モードに設定された場合のみを説明する。

まず、図１２に示すように、制御部９は、撮像部２が生成した左目画像データおよび右目画像データを取得する（ステップＳ１０１）。たとえば、図１３に示すように、撮像部２は、左目画像データに対応する左目画像２００Ｌおよび右目画像データに対応する右目画像２００Ｒを生成する。この生成された左目画像２００Ｌおよび右目画像２００Ｒは、制御部９に取得される。なお、図１３に示す破線および一点鎖線は、第１撮像部２１および第２撮像部２２がそれぞれ生成する画像データに対応する画像領域を示す。

その後、動体領域検出部９４は、３Ｄ画像の動画の画面内で動きがある被写体を含む動体領域を検出する動体領域検出処理を実行する（ステップＳ１０２）。なお、動体領域検出処理の詳細は後述する。

続いて、動体領域検出部９４が動体領域を検出した場合（ステップＳ１０３：Ｙｅｓ）、視差調整部９５は、動体領域検出部９４が検出した動体領域の視差を調整する（ステップＳ１０４）。具体的には、図１４に示すように、視差調整部９５は、立体画像生成部９２が左目画像２００Ｌおよび右目画像２００Ｒから切り出す領域を、被写体Ａ３の視差がほぼ無くなるように変更する（図１４（ａ）→図１４（ｂ））。これにより、図１４に示すように、被写体Ａ３の領域の視差Ｐ３は、ほぼ無くなった状態になる。この結果、被写体Ａ３の領域に対応する画像は、３Ｄ画像として表示される際に表示部６の表示画面から飛び出さない状態で表示される。なお、図１４においては、右目画像２００Ｒの切り出し位置のみを変更する代わりに、左目画像２００Ｌの切り出し位置のみを変更してもよいし、左目画像２００Ｌおよび右目画像２００Ｒの切り出し位置を変更してもよい。

その後、ヘッダ情報生成部９７は、立体画像生成部９２が左目画像および右目画像それぞれから切り出した位置情報を生成する（ステップＳ１０５）。具体的には、図１４に示すように、ヘッダ情報生成部９７は、立体画像生成部９２が左目画像２００Ｌおよび右目画像２００Ｒそれぞれから切り出したずれ量Δｘ３を位置情報として生成する。

続いて、表示制御部９６は、視差調整部９５が調整した３Ｄ画像のライブビュー画像を表示部６に表示させる（ステップＳ１０６）。

その後、制御部９は、撮像装置１が撮像部２によって微小な時間間隔で連続的に生成された３Ｄ画像を記録する動画の記録中であるか否かを判断する（ステップＳ１０７）。撮像装置１が動画の記録中でない場合（ステップＳ１０７：Ｎｏ）、撮像装置１は後述するステップＳ１０８へ移行する。一方、撮像装置１が動画の記録中である場合（ステップＳ１０７：Ｙｅｓ）、撮像装置１は後述するステップＳ１１０へ移行する。

ステップＳ１０８において、動画撮影を指示する動画レリーズ信号が入力された場合（ステップＳ１０８：Ｙｅｓ）、撮像装置１は、制御部９の制御のもと、撮像部２が微小な時間間隔で連続的に生成した２つの画像データで構成された３Ｄ画像を画像データ記憶部８１に記録する動画撮影を開始する（ステップＳ１０９）。

ステップＳ１０９の後、動画レリーズスイッチ５５が操作されることにより動画撮影の終了信号が入力された場合（ステップＳ１１０：Ｙｅｓ）、制御部９は、撮像部２が生成した一連の動画データに、ヘッダ情報生成部９７がその時点で生成したヘッダ情報を対応付けて画像データ記憶部８１に記録する（ステップＳ１１１）。その後、撮像装置１は一連の処理を終了する。

これに対して、ステップＳ１０９の後、動画撮影の終了信号が入力されていない場合（ステップＳ１１０：Ｎｏ）、撮像装置１はステップＳ１０１へ戻る。

つぎに、ステップＳ１０８において、動画レリーズ信号が入力されていない場合（ステップＳ１０８：Ｎｏ）について説明する。この場合において、静止画レリーズスイッチ５２が操作されることにより静止画レリーズ信号が入力されたとき（ステップＳ１１２：Ｙｅｓ）、制御部９は、撮像部２が生成した画像データに、ヘッダ情報生成部９７がその時点で生成したヘッダ情報として、立体画像生成部９２が左目画像および右目画像それぞれから切り出した位置情報を対応付けて画像データ記憶部８１に記録する（ステップＳ１１３）。その後、撮像装置１は一連の処理を終了する。

ステップＳ１１２において、静止画レリーズ信号が入力されていない場合（ステップＳ１１２：Ｎｏ）について説明する。この場合、撮像装置１はステップＳ１０１へ戻る。

つぎに、ステップＳ１０３において、動体領域検出部９４が動体領域を検出していない場合（ステップＳ１０３：Ｎｏ）について説明する。この場合、視差調整部９５は、左目画像データおよび右目画像データの全体の一致度を高める視差の調整を行う（ステップＳ１１４）。具体的には、視差調整部９５は、図１６に示すように、立体画像生成部９２が左目画像２００Ｌおよび右目画像２００Ｒから切り出す領域を、背景の視差がほぼ無くなるように変更する。図１６に示す場合、ステップＳ１１４の結果、ずれ量はΔｘ４となり、被写体Ａ３の領域は、視差Ｐ４を有するようになる。したがって、被写体Ａ３の領域は、３Ｄ画像として表示部６の表示画面と直交する方向へ仮想的に飛び出した状態でユーザに視認される。

つぎに、図１２に示したステップＳ１０２の動体領域検出処理について説明する。図１７は、動体領域検出処理の概要を示すフローチャートである。

まず、動体領域検出部９４は、左目画像データに対応する左目画像または右目画像データに対応する右目画像を９ブロックに分割する（ステップＳ２０１）。たとえば、図１８に示すように、動体領域検出部９４は、左目画像２００Ｌを９ブロック（ブロック２００ａ〜２００ｉ）に分割する。

その後、動体領域検出部９４は、各ブロックにおける最大輝度の検出し（ステップＳ２０２）、最大輝度の変化の周波数が所定の周波数帯域にあるか否かを判断する（ステップＳ２０３）。なお、図１８においては、動体領域検出部９４は、最大輝度の検出するブロックをブロック２００ａ→ブロック２００ｂ→・・・→ブロック２００iの順に行ってもよいし、画像２００における中央のブロック２００ｅから優先に行ってもよい。

図１９は、図１８に示す状況で動体領域検出部９４が一つのブロックにおいて検出した最大輝度の変化を模式的に示す図である。図１８においては、縦軸が最大輝度を示し、横軸が時間を示す。また、図１８において、曲線ｋ_１が最大輝度の変化を示す。動体領域検出部９４は、時点ｔ_１における輝度最大値ｍ_１から時点ｔ_２における輝度最大値ｍ_２までの周期Ｔから輝度最大値の周波数を推測して算出する。その後、動体領域検出部９４は、算出した輝度最大値の周波数が所定の周波数帯域にあるか否かを判定する。この所定の周波数帯域としては、０．１Ｈｚ〜１０Ｈｚの帯域が好ましい。具体的には、所定の周波数帯域としては、乗り物酔いを感じる周波数０．１Ｈｚから動画を再生する際に隣接する画像間で残像が残ることによって目の疲労感が生じる周波数１０Ｈｚの帯域であればよい。なお、周波数帯域は、０．１Ｈｚ〜１０Ｈｚの帯域内であれば被写体や撮影シーンに応じて適宜変更するようにしてもよい。また、周波数大気は、複数の周期を平均して求めて算出してもよい。

ステップＳ２０３において、一つのブロック（たとえばブロック２００ｄ）における最大輝度の変化の周波数が所定の周波数帯域にある場合（ステップＳ２０３：Ｙｅｓ）、動体領域検出部９４は、最大輝度の変化の周波数が所定の周波数帯域にあるブロックを動きがある被写体を含む動体領域として検出する（ステップＳ２０４）。

続いて、動体領域検出部９４は、動体領域の位置情報を画像データ記憶部８１に記録し（ステップＳ２０５）、全ブロックが終了したか否かを判断する（ステップＳ２０６）。全ブロックが終了した場合（ステップＳ２０６：Ｙｅｓ）、図１１に示したメインルーチンに戻る。一方、全ブロックが終了していない場合（ステップＳ２０６：Ｎｏ）、動体領域検出部９４は、最大輝度の変化の周波数が所定の周波数帯域にあるか否かを検出するブロックを別ブロックに移動し（ステップＳ２０７）、撮像装置１はステップＳ２０３へ戻る。

ステップＳ２０３において、一つのブロックにおける最大輝度の変化の周波数が所定の周波数帯域にない場合（ステップＳ２０３：Ｎｏ）について説明する。この場合、撮像装置１はステップＳ２０６へ移行する。

以上説明した本発明の一実施の形態によれば、動体領域検出部９４が３Ｄ画像の動画の画面内で動きがある被写体を含む動体領域を検出し、視差調整部９５が動体領域検出部９４によって検出された動体領域の２つの画像データにおける視差を小さくする調整を行う。この結果、ユーザが３Ｄ画像を動画で鑑賞する際に疲労感を低減することができる。

さらに、本発明の一実施の形態によれば、動体領域検出部９４が動画の画面内において最大輝度の変化が０．１Ｈｚ〜１０Ｈｚの帯域内である領域を動体領域として検出する。これにより、ユーザの刺激に与える刺激が大きい被写体を表示部６の表示画面から飛び出さない状態で表示部６に表示させることができるので、ユーザの疲労感をより低減することができる。

また、本発明の一実施の形態では、視差調整部９５が動体領域の視差を徐々に小さくしながらほぼ無くなった状態に調整してもよい。これにより、動画の表示直後では動体領域に対応する３Ｄ画像の領域が仮想的に飛び出した状態で迫力ある３Ｄ画像としてユーザに視認させることができる。さらに、ユーザが目に疲労を感じる前に表示部６の表示画面から飛び出さない状態で表示部６に表示させることができる。

なお、本発明の一実施の形態では、表示部６がライブビュー画像を３Ｄ画像で表示する際に行っていたが、たとえば、画像データ記憶部８１に記憶された画像データを再生する再生モードにおいて表示部６が表示する３Ｄ画像の動画に対して行ってもよい。さらに、画像データを他の外部装置で再生する場合に本処理を行ってもよい。

また、本発明の一実施の形態では、動体領域検出部９４が動体領域として被写体の最大輝度の変化が所定の周波数の範囲内である領域を動体領域として検出していたが、濃淡の最大値の時間変化またはコントラストの最大値の時間変化が所定の周波数帯域にある領域を動体領域として検出してもよい。さらに、動体領域検出部９４は、色（ＲＧＢ）の最大値の時間変化が所定の周波数帯域にある領域を動体領域として検出してもよい。さらにまた、動体領域検出部９４は、隣接する画像間において被写体の動きベクトルの変化が所定の周波数帯域にある領域を動体領域として検出してもよい。

また、本発明の一実施の形態では、動体領域検出部９４が風景を撮影した３Ｄ画像に対して動体領域検出処理を行っていたが、たとえば被写体を近接して撮影するマクロ撮影で撮影した３Ｄ画像の動画に対して適用することもできる。たとえば、図２０に示すように、動体領域検出部９４は、花の上で動き回る虫Ａ４，Ａ５が写る画像３００に対して複数のブロックに分割し、この分割したブロックごとに動体領域の検出を行ってもよい。さらに、動体領域検出部９４は、動く被写体に適した撮影モードで撮影した３Ｄ画像の動画においても動体領域を検出する際にも適用することができる。たとえば、図２１に示すように、動体領域検出部９４は、走っている車Ａ６が写る画像４００に対して、上述した同様の処理を行ってもよい。

また、本発明の一実施の形態では、動体領域検出部９４が画像データに含まれる情報、たとえばコントラスト情報、濃淡情報、輝度情報または被写体の種類に応じて、撮影シーンを判断し、この判断した撮影シーンに基づいて、動体領域として検出する周波数帯域や被写体情報を設定するようにしてもよい。

また、本発明の一実施の形態では、動体領域検出部９４が動体領域を検出する際に左目画像または右目画像に対して、９つのブロックに分割していたが、ブロックの数は適宜変更することができる。たとえば、動体領域検出部９４は、動体領域を検出するまで、左目画像または右目画像を分割するブロックの数を段階的に増加させながら検出してもよい。さらに、動体領域検出部９４は、複数のブロックで動体領域を検出した場合、複数のブロックの中で一番大きい最大輝度を有するブロックを優先して最大輝度の変化の周波数の範囲を判定するようにしてもよい。

上述した実施の形態１，２では、２つの撮像部がそれぞれ画像データを生成していたが、たとえば、１つの撮像部のみを有する構成とし、この撮像部が連続的に撮影することによって生成された複数の画像データから所望の視差を有する２つの画像データを選択して３Ｄ画像データを生成してもよい。

また、上述した実施の形態１，２では、撮像部２が互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成していたが、たとえば、１つの撮像素子のみを有する構成とし、この１つの撮像素子の撮像領域内の別の領域に２つの光学系によって集光させることにより、互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成するようにしてもよい。さらに、この場合、２つの光学系は、撮像装置１の装置本体部に対して着脱自在な構成にするようにしてもよい。

また、上述した実施の形態１，２では、撮像装置としてデジタルステレオカメラを例に説明したが、たとえば、デジタルビデオカメラ、カメラ付き携帯電話、パーソナルコンピュータ、テレビ等の表示装置、携帯型電子タブレットおよびデジタルフォトフレーム等の表示機能を備えた各種電子機器に適用することができる。

１ 撮像装置
２ 撮像部
３ 姿勢検出部
４ タイマー
５ 操作入力部
６ 表示部
７ タッチパネル
８ 記憶部
９ 制御部
２１ 第１撮像部
２１ａ，２２ａ レンズ部
２１ｂ，２２ｂ レンズ駆動部
２１ｃ，２２ｃ 絞り
２１ｄ，２２ｄ 絞り駆動部
２１ｅ，２２ｅ シャッタ
２１ｆ，２２ｆ シャッタ駆動部
２１ｇ，２２ｇ 撮像素子
２１ｈ，２２ｈ 信号処理部
２２ 第２撮像部
５１ 電源スイッチ
５２ 静止画レリーズスイッチ
５３ 切換スイッチ
５４ ズームスイッチ
５５ 動画レリーズスイッチ
５６ 変更スイッチ
８１ 画像データ記憶部
８２ プログラム記憶部
９１ 画像処理部
９２ 立体画像生成部
９３ 顔検出部
９４ 動体領域検出部
９５ 視差調整部
９６ 表示制御部
９７ ヘッダ情報生成部

Claims (11)

1. 互いに視差を有する２つの画像データで構成された複数の３次元画像が時系列に沿って連続的に再生される動画の画面内で動きがある被写体を含む動体領域を検出する動体領域検出部と、
   前記動体領域検出部が検出した前記動体領域の前記２つの画像データにおける視差を小さくする調整を行う視差調整部と、
   を備えたことを特徴とする画像処理装置。
2. 前記動体領域検出部は、前記被写体の画像の特性を示す被写体情報が前記動画の画面内で概ね規則的に変化する領域を前記動体領域として検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記被写体情報は、所定の周波数帯域に含まれる周波数で時間的に変化することを特徴とする請求項２に記載の画像処理装置。
4. 前記所定の周波数帯域は、０．１Ｈｚ〜１０Ｈｚであることを特徴とする請求項３に記載の画像処理装置。
5. 前記被写体情報は、輝度情報、濃淡情報、コントラスト情報または色情報のいずれかであることを特徴とする請求項２〜４のいずれか一つに記載の画像処理装置。
6. 前記視差調整部は、前記動体領域の前記２つの画像データにおける視差を時系列に沿って徐々に小さくしながら調整することを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
7. 前記２つの画像データそれぞれに対応する２つの画像を所定の縦横比率で切り出して前記３次元画像のもととなる画像を生成する立体画像生成部をさらに備え、
   前記視差調整部は、前記立体画像生成部が切り出す領域を変更することによって、前記動体領域の前記２つの画像データにおける視差を調整することを特徴とする請求項１〜６のいずれか一つに記載の画像処理装置。
8. 前記視差調整部が調整した前記視差を含む視差情報を、前記２つの画像データに対応付けて記憶する記憶部をさらに備えたことを特徴とする請求項１〜７のいずれか一つに記載の画像処理装置。
9. 請求項１〜８のいずれか一つに記載の画像処理装置と、
   前記動画を表示する表示部と、
   前記視差調整部が前記動体領域の前記２つの画像データにおける視差を調整した前記３次元画像を前記表示部に表示させる表示制御部と、
   を備えたことを特徴とする表示装置。
10. 請求項９に記載の表示装置と、
    被写体を異なる位置から撮像することによって前記２つ画像データの各々を時系列に沿って連続的に生成する撮像部と、
    を備えたことを特徴とする撮像装置。
11. 互いに視差を有する２つの画像データで構成された複数の３次元画像が時系列に沿って連続的に再生される動画の画面内で動きがある被写体を含む動体領域を検出する動体領域検出部ステップと、
    前記動体領域検出ステップが検出した前記動体領域の前記２つの画像データにおける視差を小さくする調整を行う視差調整ステップと、
    を画像処理装置に実行させることを特徴とする画像処理プログラム。

Images