JP2014225736A - 画像処理装置 - Google Patents

Abstract

【課題】ユーザに違和感を覚えさせない表示画像を表示装置に表示することができる画像処理装置を提供する。
【解決手段】画像処理装置は、異なる視点から同時に撮影された複数の画像に含まれる同一の物体を抽出する物体抽出部と、複数の画像の各々での物体の水平方向の表示位置及び該表示位置間のずれ量を算出するずれ量算出部と、ずれ量に基づいて、複数の画像の各々での物体の奥行き方向の位置を算出する奥行き算出部と、ずれ量及び奥行き方向の位置に基づいて、複数の画像の各々での物体の水平方向の表示位置を調整する表示画像調整部と、複数の画像に基づく表示画像を表示装置に表示する表示制御部と、を備える。表示画像調整部は、複数の画像の各々において、表示位置が調整される前の物体の表示領域のうち、調整後の物体の表示領域と重複する領域以外の領域を他の画像を用いて補完する。
【選択図】図３

Description

本発明は、立体放送の映像を表示させる画像処理装置に関する。

近年、立体視が可能な３Ｄ放送が注目されている。このような３Ｄ放送の記録・伝送方式の１つにサイドバイサイド方式がある。このサイドバイサイド方式では、たとえば特許文献１が示すように、各フレーム毎に右目用画像及び左目用画像の水平方向のサイズを半分に圧縮し、それらを横に並べて１画面に合成した映像を放送する。受信機器側では、映像の各フレーム毎に、並べられた水平圧縮画像の水平方向のサイズをそれぞれ２倍に延ばすことにより、右目用画像及び左目用画像を取得する。

この方式では、サイズ圧縮によって画像の水平方向の解像度が半分になってしまう。そのため、たとえば特許文献１では、左目用画像及び右目用画像の類似度から算出した奥行き情報に基づいて、画像の注目領域にぼやけ回復処理を行っている。この処理によって画像ぼやけを回復して、画像を高解像度化している。

一般的な３Ｄ放送対応テレビジョン装置では、映像の各フレーム毎に、右目用画像及び左目用画像を交互に表示する。ユーザは、その表示切替周期と同期して左右の視界が交互に遮蔽されるシャッター付き眼鏡などを用いて交互表示された画面を見ることにより、映像を立体視することができる。

一方、３Ｄ放送に対応していない従来のテレビジョン装置でも、３Ｄ放送を画面に表示させることは可能である。この場合、右目用画像及び左目用画像のどちらか一方のみが画面に表示される。

特開２０１２−２４９０３８号公報

しかしながら、３Ｄ放送対応テレビジョン装置に３Ｄ放送を表示させていても、ユーザが感じる映像の立体感が、実際に映像を撮影したときの物体の立体感を忠実に再現できていない場合がある。特に、スリーンサイズやユーザの視聴位置などによっては、自然な立体的な映像を再現できない場合がある。たとえば、物体が飛び出し過ぎて見えたり沈み込み過ぎて見えたりするため、遠近感に違和感を覚える場合がある。ユーザがこのような映像を見続けると、違和感を覚えるばかりでなく、目が疲労し易い。

また、３Ｄ放送に対応していない従来のテレビジョン装置に３Ｄ放送を表示させると、片目用の映像しか表示されない。そのため、映像中の物体は、実際に映像を撮影したときの物体の本来の位置と比べてずれた位置に表示されるので、ユーザは違和感を覚えることがある。

これらの問題に対し、特許文献１では何ら言及していない。

本発明は、このような状況を鑑みてなされたものであり、ユーザに違和感を覚えさせない表示画像を表示装置に表示することができる画像処理装置を提供することを目的とする。

上記目的を達成するために、本発明の一の局面による画像処理装置は、異なる視点から同時に撮影された複数の画像に含まれる同一の物体を抽出する物体抽出部と、複数の画像の各々での物体の水平方向の表示位置及び該表示位置間のずれ量を算出するずれ量算出部と、ずれ量に基づいて、複数の画像の各々での物体の奥行き方向の位置を算出する奥行き算出部と、ずれ量及び奥行き方向の位置に基づいて、複数の画像の各々での物体の水平方向の表示位置を調整する表示画像調整部と、複数の画像に基づく表示画像を表示装置に表示する表示制御部と、を備え、表示画像調整部は、複数の画像の各々において、表示位置が調整される前の物体の表示領域のうち、調整後の物体の表示領域と重複する領域以外の領域を他の画像を用いて補完する。

上記構成によれば、視点の異なる複数の画像に基づく表示画像が表示装置に表示されると、調整された表示位置に物体が表示される。この際、表示位置の調整に伴って物体の奥行き方向の位置も変化する。また、調整前の物体の表示領域のうちの調整後の物体の表示領域と重ならない領域は無表示の領域となるが、表示画像調整部は、他の画像を用いて、無表示の領域を補完する。すなわち、視点の異なる他の画像には、撮影時に物体の背後に位置する別の物体が写っているので、表示画像調整部は他の画像を用いることよって無表示の領域を補完して、無表示の領域に物体の背後に位置していた別の物体を表示させることができる。そのため、表示装置が立体表示に対応している場合、物体の奥行き感も調整されるので、より自然な立体的な映像を再現できる。従って、ユーザの目を疲労し難くすることができる。また、表示装置が立体表示に対応していない場合、１つの視点から撮影された画像（たとえばユーザが片目で見る場合の画像）が表示されるが、物体の表示位置は、実際に画像が撮影されたときの物体の本来の位置と比べてもずれた位置には表示されない。従って、ユーザに違和感を覚えさせない表示画像を表示装置に表示することができる。

また、上記構成において、立体表示に対応する表示装置に表示画像を表示する画像処理装置であって、ユーザ入力を受け付ける入力部と、表示画像調整部による物体の水平方向の表示位置の調整量をユーザ入力に基づいて設定する調整量設定部と、複数の画像の各々において、調整量設定部が設定した調整量で水平方向の表示位置を調整する物体を特定するための調整範囲をユーザ入力に基づいて設定する範囲設定部と、をさらに備えていてもよい。

この構成によれば、ユーザは、立体表示に対応する表示装置の表示画像に対して立体感などの視覚効果の調整範囲及びその調整量を任意に設定することができる。そのため、スリーンサイズやユーザの視聴位置などが異なっても、自然な立体画像を再現させることができる。従って、ユーザは違和感なく表示画像を見ることができる。また、表示画像を見続けることで目が疲労するといった不具合も改善することができる。

また、上記構成において、調整量設定部は、複数の画像の各々における物体のコントラスト及びシャープネスのうちの少なくとも一方の特徴の強さの調整量をユーザ入力に基づいて設定してもよい。

この構成によれば、調整量設定部により設定される調整量に応じて、範囲設定部により設定される調整範囲内にある物体のコントラスト及びシャープネスのうちの少なくとも一方の特徴の強さを調整することができる。従って、鮮明な立体画像を再現させることができる。

また、上記構成において、表示画像調整部は、物体の水平方向の表示位置の調整量を、調整範囲内にある第１物体よりも調整範囲外にある第２物体の方が少なくなるように調整してもよい。

この構成によれば、調整範囲内にある第１物体よりも少ない調整量で、調整範囲外にある第２物体の視覚効果（たとえば、上述のような水平方向の表示位置、コントラスト、シャープネスなど）も調整することができる。従って、調整範囲の内外で立体感や鮮明度などの視覚効果の差を少なくすることができるので、より違和感のない自然な立体画像を再現させることができる。

また、上記構成において、表示画像調整部は、調整範囲と該調整範囲外の第２物体との最短距離の長さに応じて、調整量を少なくしてもよい。

この構成によれば、調整範囲外にある第２物体が調整範囲から離れるほどその調整量が少なくなるように、第２物体の視覚効果を調整することができる。そのため、さらに自然な立体画像を再現させることができる。

或いは、上記目的を達成するために、本発明の一の局面による画像処理装置は、立体表示に非対応の表示装置に表示画像を表示する画像処理装置であって、異なる視点から同時に撮影された複数の画像に含まれる同一の物体を抽出する物体抽出部と、複数の画像の各々での物体の水平方向の表示位置及び該表示位置間のずれ量を算出するずれ量算出部と、ずれ量に基づいて、複数の画像の各々での物体の奥行き方向の位置を算出する奥行き算出部と、ずれ量及び奥行き方向の位置に基づいて、複数の画像の各々での物体の水平方向の表示位置を調整する表示画像調整部と、複数の画像のうちのいずれかの画像を表示画像として表示装置に表示する表示制御部と、を備え、表示画像調整部は、複数の画像のうちのいずれかの画像において、表示位置が調整される前の物体の表示領域のうち、調整後の物体の表示領域と重複する領域以外の領域を他の画像を用いて補完する。

上記構成によれば、視点の異なる複数の画像のうちのいずれかの画像が表示画像として表示装置に表示されると、調整された表示位置に物体が表示される。この際、表示位置の調整に伴って物体の奥行き方向の位置も変化する。また、調整前の物体の表示領域のうちの調整後の物体の表示領域と重ならない領域は無表示の領域となるが、表示画像調整部は、他の画像を用いて、無表示の領域を補完する。すなわち、視点の異なる他の画像には、撮影時に物体の背後に位置する別の物体が写っているので、表示画像調整部は他の画像を用いることよって無表示の領域を補完して、無表示の領域に物体の背後に位置していた別の物体を表示させることができる。そのため、表示装置が立体表示に対応していない場合、１つの視点から撮影された画像（たとえばユーザが片目で見る場合の画像）が表示されるが、物体の表示位置は、実際に画像が撮影されたときの物体の本来の位置と比べてもずれた位置には表示されない。従って、ユーザに違和感を覚えさせない表示画像を表示装置に表示することができる。

上記構成において、表示画像調整部は、ずれ量及び奥行き方向の位置に基づいて、複数の画像のうちのいずれかの画像での物体の水平方向の表示位置を平均化した位置に物体を配置してもよい。

この構成によれば、各画像において、各物体の水平方向の表示位置を平均化した位置に物体が配置される。そのため、立体表示に非対応の表示装置が複数の画像のうちのいずれか１つの画像を表示しても、その表示画像の物体に立体感をもたせることができる。

また、上記構成において、複数の画像のうちのいずれかの画像における物体のコントラスト及びシャープネスのうちの少なくとも一方の特徴の強さを抽出する特徴量抽出部をさらに備え、表示画像調整部は、複数の画像のうちのいずれかの画像において、平均化した位置に配置した第１物体よりも奥行き方向の前方に位置する第２物体の少なくとも一方の特徴の強さを強くし、第１物体よりも奥行き方向の後方に位置する第３物体をぼかしてもよい。

この構成によれば、平均化した位置に配置した第１物体よりも前方に位置する第２物体のコントラスト又はシャープネスは強くし、第１物体よりも後方に位置する第３物体はぼかす。そのため、ユーザの遠近感に応じた視覚効果を第２及び第３物体に与えることができる。従って、立体表示に非対応の表示装置の表示画像に疑似的な立体感を与えることができる。

さらに、上記構成において、表示画像調整部は、複数の画像のうちのいずれかの画像において、平均化した位置に配置した第１物体よりも奥行き方向の前方に位置する第２物体の少なくとも一方の特徴の強さを第１物体及び第２物体間の奥行き方向の位置の差に応じて強くし、第１物体よりも奥行き方向の後方に位置する第３物体を第１物体及び第３物体間の奥行き方向の位置の差に応じて強くぼかしてもよい。

この構成によれば、ユーザの遠近感に応じてより自然な視覚効果を第２及び第３物体に与えることができる。従って、立体表示に非対応の表示装置の表示画像に、違和感の少ないより自然な立体感を与えることができる。

また、上記構成において、表示画像調整部は、複数の画像のうちのいずれかの画像において、平均化した位置に配置した第１物体よりも奥行き方向の前方に位置する第２物体を第１物体及び第２物体間の奥行き方向の位置の差に応じて拡大表示してもよい。

この構成によれば、立体表示に非対応の表示装置の表示画像に遠近感を与えることができる。

本発明によれば、ユーザに違和感を覚えさせない表示画像を表示装置に表示することができる画像処理装置を提供することができる。

ＳＴＢを液晶テレビジョンに接続した画像出力システムの外観図である。 ＳＴＢの構成を示すブロック図である。 第１実施形態における画像制御部の構成例を示すブロック図である。 規定距離離れた位置よりも物体オブジェクトの奥行き方向の位置が前方にある場合である。 規定距離離れた位置に物体オブジェクトの奥行き方向の位置がある場合である。 規定距離離れた位置よりも物体オブジェクトの奥行き方向の位置が後方にある場合である。 ユーザより設定される調整範囲の一例を示す図である。 第２実施形態における画像制御部の構成例を示すブロック図である。 物体オブジェクトの焦点が規定距離離れた位置よりも前方にある場合である。 物体オブジェクトの焦点が規定距離離れた位置よりも後方にある場合である。

以下に、図面を参照して、本発明の実施形態を説明する。
＜第１実施形態＞

図１は、ＳＴＢ（Set Top Box）を液晶テレビジョンに接続した画像出力システムの外観図である。図１に示すように、ＳＴＢ１００は、液晶テレビジョン２００にＨＤＭＩ（登録商標）ケーブル３００を介して接続されている。ＳＴＢ１００は、画像処理装置の一例であり、アンテナ１ａ（後述の図２参照）から伝送される放送信号に基づく画像信号及び音声信号を液晶テレビジョン２００に出力する。液晶テレビジョン２００は、３Ｄ放送に対応する表示装置の一例であり、ＳＴＢ１００から出力される画像信号に基づく画像を表示画面２０１に表示する。また、液晶テレビジョン２００は、ＳＴＢ１００から出力される音声信号に基づく音声をスピーカ（不図示）から出力する。なお、以下では、ＳＴＢ１００が、受信した３Ｄ放送に基づく表示画像を３Ｄ放送対応の液晶テレビジョン２００に表示させる場合について説明する。

次に、ＳＴＢ１００について詳細に説明する。図２は、ＳＴＢの構成を示すブロック図である。図２に示すように、ＳＴＢ１００は、チューナ部１と、入力部２と、入出力Ｉ／Ｆ３と、メモリ４と、制御部５と、を備えている。このほか、ＳＴＢ１００は、ＨＤＤ（Hard Disk Drive）などの記憶装置、光ディスクドライブ装置などを備えていてもよい。

チューナ部１は、アンテナ１ａから伝送される放送信号から予め設定されたチャンネルの放送番組を選局し、選局後の放送信号を制御部５に出力する。また、チューナ部１は、３Ｄ放送信号を受信すると、たとえばサイドバイサイド方式により右目用画像信号、及び左目用画像信号を生成し、制御部５に出力する。

入力部２は、ＳＴＢ１００に搭載されており、ユーザ入力を受け付け、ユーザ入力に基づく入力信号を制御部５に出力する。この入力部２は、さらに、リモートコントローラなどの外部入力デバイスと、外部入力デバイスから出力される入力信号を受け付ける信号受信部とを含んでいてもよい。

入出力Ｉ／Ｆ３は、ＳＴＢ１００が外部機器と通信するための通信インターフェースであり、ＨＭＤＩ規格に準拠する通信部（不図示）を含んで構成されている。この入出力Ｉ／Ｆ３には、図２に示すように、液晶テレビジョン２００に接続されたＨＤＭＩケーブル３００が接続されている。

メモリ４は、不揮発性の記録媒体であり、ＳＴＢ１００の各部（特に制御部５）に用いられるプログラム及び制御情報、液晶テレビジョン２００に表示させる様々な表示情報などを格納している。

制御部５は、メモリ４に格納されているプログラム及び制御情報などを用いて、ＳＴＢ１００の各部を制御している。制御部５は、画像制御部５１と、音声制御部５２と、ＯＳＤ制御部５３と、表示制御部５４と、有している。

画像制御部５１は、チューナ部１から出力される放送信号に基づく映像信号を生成する。生成した映像信号は入出力Ｉ／Ｆ３から液晶テレビジョン２００に出力され、映像信号に基づく映像が液晶テレビジョン２００に表示される。また、画像制御部５１は、チューナ部１から３Ｄ放送信号から生成された右目用画像信号、及び左目用画像信号に対して様々な画像調整処理を施す。この画像制御部５１の詳細は後に詳述する。

音声制御部５２は、チューナ部１から出力される放送信号に基づく音声信号を生成する。また、音声制御部５２は、生成した音声信号を入出力Ｉ／Ｆ３から液晶テレビジョン２００に出力し、音声信号に基づく音声を液晶テレビジョン２００のスピーカから出力させる。

ＯＳＤ制御部５３は、入力部２を介したユーザ入力を受けるＯＳＤ表示（不図示）を液晶テレビジョン２００に表示させる（後述の図５など参照）。

表示制御部５４は、液晶テレビジョン２００における表示画像を制御する。また、表示制御部５４は、画像制御部５１により画像調整処理された右目用画像及び左目用画像に基づく表示画像を液晶テレビジョン２００に表示する。

次に、画像制御部５１について説明する。図３は、画像制御部の構成例を示すブロック図である。図３に示すように、画像制御部５１は、物体抽出部５１１と、ずれ量算出部５１２と、奥行き算出部５１３と、特徴量抽出部５１４と、調整量設定部５１５と、範囲設定部５１６と、表示画像調整部５１７と、を含んで構成されている。

物体抽出部５１１は、異なる視点から同時に撮影された右目用画像及び左目用画像の類似度から、両画像に含まれる同一の物体オブジェクトを抽出する。なお、抽出される物体オブジェクトは１つの場合もあるが、通常は複数である。物体抽出部５１１は、抽出した各物体オブジェクトに関する物体情報を、右目用画像及び左目用画像のそれぞれに関連付ける。そして、物体抽出部５１１は、物体情報とともに、右目用画像及び左目用画像をずれ量算出部５１２と特徴量算出部とに出力する。

ずれ量算出部５１２は、右目用画像及び左目用画像における各物体オブジェクトの水平方向及び垂直方向の位置を算出する。さらに、ずれ量算出部５１２は、右目用画像及び左目用画像に含まれる同一の物体オブジェクトに対し、右目用画像及び左目用画像での各表示位置から、各表示位置間の水平方向のずれ量を算出する。そして、ずれ量算出部５１２は、各物体オブジェクトの水平方向の位置、垂直方向の位置、及びずれ量を各物体オブジェクトと関連付けて物体情報に格納する。そして、ずれ量算出部５１２は、物質情報とともに、右目用画像及び左目用画像を奥行き算出部５１３に出力する。

奥行き算出部５１３は、ずれ量算出部５１２にて算出された水平方向のずれ量に基づいて、液晶テレビジョン２００の表示画像での各物体オブジェクトの奥行き方向の位置（すなわち表示画面２０１からの飛び出し量）を算出する。図４Ａ〜図４Ｃは、ずれ量から奥行き方向の位置を算出する方法を説明するための図である。図４Ａは、規定距離離れた位置よりも物体オブジェクトの奥行き方向の位置が前方にある場合である。図４Ｂは、規定距離離れた位置に物体オブジェクトの奥行き方向の位置がある場合である。図４Ｃは、規定距離離れた位置よりも物体オブジェクトの奥行き方向の位置が後方にある場合である。

図４Ａ〜図４Ｃにおいて、規定距離離れた位置とは、右目用画像及び左目用画像が撮影された時の撮影距離であるが、表示画像ではユーザの視点と表示画面２０１間の最短距離を示す。また、各視点（ユーザの左目及び右目）間の距離、及び規定距離は、通常、統一規格により定められたものが用いられる。そのため、奥行き算出部５１３は、右目用画像及び左目用画像の物体オブジェクトの水平方向の各表示位置の差（ずれ量）、既知の各視点距離及び規定距離（視点と表示画面２０１との最短距離）とから、液晶テレビジョン２００に３Ｄ表示されたときの物体オブジェクトの奥行き方向の位置を算出することができる。算出された物体オブジェクトの奥行き方向の位置は、奥行き情報として、物質情報に格納される。そして、奥行き算出部５１３は、物質情報を含む右目用画像及び左目用画像を表示画像調整部５１７に出力する。

たとえば、図４Ａの場合、物体オブジェクトは、右目用画像よりも左目用画像の方が右側に表示される。この場合、ユーザの右目の視線と左目の視線とが表示画面２０１よりも前方で交差する（すなわち焦点が合う）。そのため、ユーザには、物体オブジェクトが表示画面２０１よりも前方に飛び出したように見える。

また、図４Ｂの場合、右目用画像及び左目用画像の物体オブジェクトが表示画面２０１上で重なっている。すなわち、両者のずれ量はほぼ０である。この場合には、ユーザの両目の焦点が表示画面２０１上で合う。そのため、ユーザには、物体オブジェクトが表示画面２０１上にあるように見える。

また、図４Ｃの場合、物体オブジェクトは、右目用画像よりも左目用画像の方が左側に表示される。この場合、ユーザの右目の視線と左目の視線とが表示画面２０１よりも後方で交差する（すなわち焦点が合う）。そのため、ユーザには、物体オブジェクトが表示画面２０１よりも後方に沈み込んだように見える。

特徴量抽出部５１４は、右目用画像及び左目用画像の各物体オブジェクトのコントラスト及びシャープネスのうちの少なくとも一方の特徴の強さを抽出し、各物体オブジェクトと関連付けて物体情報に格納する。特徴量抽出部５１４は、物質情報とともに、右目用画像及び左目用画像を奥行き算出部５１３に出力する。

調整量設定部５１５は、ＯＳＤ制御部５３から入力されるユーザ入力に基づいて、後述する表示画像調整部５１７が行う画像調整処理の調整量（補正量）を設定し、調整量情報として表示画像調整部５１７に出力する。

範囲設定部５１６は、ＯＳＤ制御部５３から入力されるユーザ入力に基づいて、右目用画像及び左目用画像において、調整量設定部５１５により設定された調整量を用いて、後述する表示画像調整部５１７が画像調整処理を行う調整範囲を設定する。言い換えると、この調整範囲により、調整量設定部５１５により設定された調整量で画像調整処理が施される物体オブジェクトが特定される。図５は、ユーザより設定される調整範囲の一例を示す図である。図５に示すように、ユーザ入力に基づいて、水平方向、高さ方向、及び奥行き方向の調整範囲が設定される。この調整範囲は範囲情報として表示画像調整部５１７に出力される。

表示画像調整部５１７は、右目用画像及び左目用画像の各物体オブジェクトに対して、各画像の物体情報、調整量情報、及び範囲情報に基づく画像調整処理を施す。この画像調整処理とは、たとえば、表示画像での物体オブジェクトの奥行き方向の位置（すなわち表示画像での物体オブジェクトと表示画面２０１との奥行き方向の最短距離）、コントラスト、及びシャープネスなどの調整である。

次に、表示画像調整部５１７が右目用画像及び左目用画像に施す画像調整処理について説明する。まず、物体オブジェクトの奥行き方向の位置の調整について、たとえば、図４Ａにおいて物体オブジェクトの飛び出し量を抑える場合を例として説明する。まず、ユーザ入力により、表示画像での物体オブジェクトの飛び出し量を抑える旨とユーザが所望する調整量とが入力され、且つ、画像調整処理を施す範囲が指定される。この場合、調整量設定部５１５は、調整量として、右目用画像の物体オブジェクトを水平方向の左方に移動させる距離と、左目用画像の物体オブジェクトを水平方向の右方に移動させる距離とを調整量情報に設定する。また、範囲設定部５１６は、ユーザ入力に基づいて、右目用画像及び左目用画像において、調整量設定部５１５が設定した調整量で水平方向の表示位置を調整する調整範囲を範囲情報に設定する。

表示画像調整部５１７は、範囲情報が示す表示画面２０１中の調整範囲内に表示される物体オブジェクトを特定する。次に、表示画像調整部５１７は、右目用画像において、特定された各物体オブジェクトを調整量情報が示す距離で水平方向の右方に移動させる。また、左目用画像において、特定された各物体オブジェクトを調整量情報が示す距離で水平方向の左方に移動させる。こうすれば、ユーザの右目の視線と左目の視線とが交差する位置（すなわち焦点）が画像調整処理前よりも表示画面２０１に近くなるので、物体オブジェクトの飛び出し量がユーザ入力に応じて抑えられる。

なお、右目用画像及び左目用画像において、物体オブジェクトを移動させると、何も表示されない領域（無表示領域）が生じる。この何も表示されない領域とは、表示位置が調整される前の物体オブジェクトの表示領域のうち、調整後の物体オブジェクトの表示領域と重複する領域以外の領域である。そのため、表示画像調整部５１７は、右目用画像の無表示領域を左目用画像での調整前の物体オブジェクト近傍の別の物体オブジェクトを用いて補完する、また、表示画像調整部５１７は、左目用画像の無表示領域を右目用画像での調整前の物体オブジェクト近傍の別の物体オブジェクトを用いて補完する。

次に、物体オブジェクトのコントラスト及びシャープネスの調整について説明する。まず、ユーザ入力により、表示画像のコントラスト及びシャープネスを調整する旨とユーザが所望する調整量とが入力され、且つ、画像調整処理を施す範囲が指定される。調整量設定部５１５は、ユーザ入力に基づく調整量（コントラスト及びシャープネスの強さ）を調整量情報に設定する。このとき、調整量設定部５１５は、コントラスト及びシャープネスの強さ（絶対値）を調整量情報に設定してもよい。また、範囲設定部５１６は、ユーザ入力に基づいて、右目用画像及び左目用画像において、調整量設定部５１５が設定した調整量でコントラスト及びシャープネスを調整する調整範囲を範囲情報に設定する。

表示画像調整部５１７は、範囲情報が示す表示画面２０１中の調整範囲内に表示される物体オブジェクトを特定する。次に、表示画像調整部５１７は、右目用画像及び左目用画像において、特定された各物体オブジェクトのコントラスト及びシャープネスを調整量情報が示す調整量に調整する。こうすれば、ユーザは、調整範囲内にある物体オブジェクトのコントラスト及びシャープネスを所望の強さに調整することができる。従って、たとえば、表示画面２０１から飛び出して見える物体オブジェクトのコントラスト及びシャープネスを強くし、表示画面２０１から沈み込んで見える物体オブジェクトのコントラスト及びシャープネスを弱くすれば、表示画像の立体感を強めることができる。また、表示画面２０１を鮮明にすることもできる。なお、逆の操作を行えば、表示画像の立体感を弱めることもできる。従って、ユーザは違和感のない自然な立体画像を見ることができる。

以上では、調整範囲内にある物体オブジェクトに画像調整処理を施すことを説明した。調整範囲外にある物体オブジェクトについては、画像調整処理を施さないようにしてもよいが、より自然な立体画像を表示させるために、効果を弱めて画像調整処理を施すことが好ましい。この場合、表示画像調整部５１７は、右目用画像及び左目用画像において、物体オブジェクトの水平方向の表示位置、コントラスト、及びシャープネスの調整量を、調整範囲内にある物体オブジェクトよりも調整範囲外にある物体オブジェクトの方が少なくなるように調整する。

また、調整範囲外にある物体オブジェクトに施す画像調整処理の効果は、調整範囲から離れた距離（調整範囲との間隔）に応じて弱められるとより好ましい。この場合、表示画像調整部５１７は、右目用画像及び左目用画像において、調整範囲外にある物体オブジェクトの水平方向の表示位置、コントラスト、及びシャープネスの調整量を、調整範囲と該調整範囲外の物体オブジェクトとの最短距離の長さに応じて少なくする。

なお、上述の説明では、右目用画像及び左目用画像における物体オブジェクトに水平方向の表示位置、コントラスト、及びシャープネスの調整を全て施しているが、本発明の適用範囲はこの例示に限定されない。物体オブジェクトに施す画像調整処理は、水平方向の表示位置、コントラスト、及びシャープネスのうちの少なくとも１つであってもよい。

以上、第１実施形態について説明した。第１実施形態によれば、ＳＴＢ１００は、物体抽出部５１１と、ずれ量算出部５１２と、奥行き算出部５１３と、表示画像調整部５１７と、表示制御部５４と、を備える。物体抽出部５１１は、異なる視点から同時に撮影された右目用画像及び左目用画像に含まれる同一の物体オブジェクトを抽出する。ずれ量算出部５１２は、右目用画像及び左目用画像での物体オブジェクトの水平方向の表示位置及び該表示位置間のずれ量を算出する。奥行き算出部５１３は、ずれ量に基づいて、右目用画像及び左目用画像での物体オブジェクトの奥行き方向の位置を算出する。表示画像調整部５１７は、ずれ量及び奥行き方向の位置に基づいて、右目用画像及び左目用画像での物体オブジェクトの水平方向の表示位置を調整する。表示制御部５４は、右目用画像及び左目用画像に基づく表示画像を液晶テレビジョン２００に表示する。また、表示画像調整部５１７は、右目用画像及び左目用画像において、表示位置が調整される前の物体オブジェクトの表示領域のうち、調整後の物体オブジェクトの表示領域と重複する領域以外の領域を他の画像を用いて補完する。

この構成によれば、視点の異なる右目用画像及び左目用画像に基づく表示画像が液晶テレビジョン２００に表示されると、調整された表示位置に物体オブジェクトが表示される。この際、表示位置の調整に伴って物体オブジェクトの奥行き方向の位置も変化する。また、調整前の物体オブジェクトの表示領域のうちの調整後の物体オブジェクトの表示領域と重ならない領域は無表示の領域となるが、表示画像調整部５１７は、他の画像を用いて、無表示の領域を補完する。すなわち、視点の異なる他の画像には、撮影時に物体オブジェクトの背後に位置する別の物体オブジェクトが写っているので、表示画像調整部５１７は他の画像を用いることよって無表示の領域を補完して、無表示の領域に物体オブジェクトの背後に位置していた別の物体オブジェクトを表示させることができる。そのため、液晶テレビジョン２００が立体表示に対応している場合、物体オブジェクトの奥行き感も調整されるので、より自然な立体的な映像を再現できる。従って、ユーザの目を疲労し難くすることができる。また、液晶テレビジョン２００が立体表示に対応していない場合、１つの視点から撮影された画像（たとえばユーザが片目で見る場合の画像）が表示されるが、物体オブジェクトの表示位置は、実際に画像が撮影されたときの物体の本来の位置と比べてもずれた位置には表示されない。従って、ユーザに違和感を覚えさせない表示画像を液晶テレビジョン２００に表示することができる。

また、第１実施形態によれば、立体表示に対応する液晶テレビジョン２００に表示画像を表示するＳＴＢ１００は、ユーザ入力を受け付ける入力部２と、調整量設定部５１５と、範囲設定部５１６と、をさらに備える。調整量設定部５１５は、表示画像調整部５１７による物体オブジェクトの水平方向の表示位置の調整量をユーザ入力に基づいて設定する。範囲設定部５１６は、右目用画像及び左目用画像において、調整量設定部５１５が設定した調整量で水平方向の表示位置を調整する物体オブジェクトを特定するための調整範囲をユーザ入力に基づいて設定する。

こうすれば、ユーザは、立体表示に対応する液晶テレビジョン２００の表示画像に対して立体感などの視覚効果の調整範囲及びその調整量を任意に設定することができる。そのため、スリーンサイズやユーザの視聴位置などが異なっても、自然な立体画像を再現させることができる。従って、ユーザは違和感なく表示画像を見ることができる。また、表示画像を見続けることで目が疲労するといった不具合も改善することができる。

また、第１実施形態によれば、調整量設定部５１５は、右目用画像及び左目用画像における物体オブジェクトのコントラスト及びシャープネスのうちの少なくとも一方の特徴の強さの調整量をユーザ入力に基づいて設定する。

こうすれば、調整量設定部５１５により設定される調整量に応じて、範囲設定部５１６により設定される調整範囲内にある物体オブジェクトのコントラスト及びシャープネスのうちの少なくとも一方の特徴の強さを調整することができる。従って、鮮明な立体画像を再現させることができる。

また、第１実施形態によれば、表示画像調整部５１７は、物体オブジェクトの水平方向の表示位置の調整量を、調整範囲内にある第１物体オブジェクトよりも調整範囲外にある第２物体オブジェクトの方が少なくなるように調整する。

こうすれば、調整範囲内にある第１物体オブジェクトよりも少ない調整量で、調整範囲外にある第２物体オブジェクトの視覚効果（たとえば、上述のような水平方向の表示位置、コントラスト、シャープネスなど）も調整することができる。従って、調整範囲の内外で立体感や鮮明度などの視覚効果の差を少なくすることができるので、より違和感のない自然な立体画像を再現させることができる。

さらに、表示画像調整部５１７は、調整範囲と該調整範囲外の第２物体オブジェクトとの最短距離の長さに応じて、調整量を少なくする。こうすれば、調整範囲外にある第２物体オブジェクトが調整範囲から離れるほどその調整量が少なくなるように、第２物体オブジェクトの視覚効果を調整することができる。そのため、さらに自然な立体画像を再現させることができる。
＜第２実施形態＞

次に、第２実施形態について説明する。第２実施形態では、ＳＴＢ１００は、３Ｄ放送に非対応の液晶テレビジョン２００にＨＤＭＩケーブル３００を介して接続されている。また、第２実施形態では、主に表示画像調整部５１７の画像調整処理が異なっている。以下では、第１実施形態と異なる構成について説明する。また、第１実施形態と同様の構成部には同じ符合を付し、その説明を省略する。

図６は、第２実施形態における画像制御部の構成例を示すブロック図である。図６に示すように、画像制御部５１は、物体抽出部５１１と、ずれ量算出部５１２と、奥行き算出部５１３と、特徴量抽出部５１４と、表示画像調整部５１７と、を含んで構成されている。なお、物体抽出部５１１、ずれ量算出部５１２、奥行き算出部５１３、及び特徴量抽出部５１４は第１実施形態と同様であるため、その説明を割愛する。

３Ｄ放送に非対応の液晶テレビジョン２００にＳＴＢ１００が接続されているとき、表示画像調整部５１７は、右目用画像及び左目用画像のうちの少なくとも一方の各物体オブジェクトに対して、各画像の物体情報、調整量情報、及び範囲情報に基づく画像調整処理を施す。この画像調整処理とは、たとえば、右目用画像及び左目用画像のうちの少なくとも一方での物体オブジェクトの水平方向の表示位置、コントラスト、及びシャープネスなどの調整である。表示画像調整部５１７は、そして、表示画像調整部５１７は、画像調整処理が施された右目用画像及び左目用画像のうちの一方を出力する。そのため、表示制御部５４は、画像調整処理が施された右目用画像及び左目用画像のうちの少なくとも一方を液晶テレビジョン２００に表示させる。

図７Ａ及び図７Ｂは、物体オブジェクトの水平方向の表示位置の調整を説明するための図である。図７Ａは、物体オブジェクトの焦点が規定距離離れた位置よりも前方にある場合である。また、図７Ｂは、物体オブジェクトの焦点が規定距離離れた位置よりも後方にある場合である。なお、第２実施形態では、物体オブジェクトの焦点が規定距離離れた位置にある場合（たとえば図４Ｂ参照）、物体オブジェクトの水平方向の表示位置は調整されない。

図７Ａ及び図７Ｂに示すように、表示画像調整部５１７は、ずれ量及び奥行き方向の位置に基づいて、右目用画像及び左目用画像のうちの少なくとも一方において、各画像での物体オブジェクトの水平方向の各表示位置の中央に配置する。このとき、右目用画像及び左目用画像のうちの少なくとも一方において、物体オブジェクトを移動させると無表示領域が、表示画像調整部５１７は、右目用画像の無表示領域を左目用画像での調整前の物体オブジェクト近傍の別の物体オブジェクトを用いて補完する、また、表示画像調整部５１７は、左目用画像の無表示領域を右目用画像での調整前の物体オブジェクト近傍の別の物体オブジェクトを用いて補完する。

この際、表示画像調整部５１７は、奥行き情報を参照して物体オブジェクトの奥行き方向の位置が表示画面２０１よりも前方にあるか後方にあるかを判定し、その判定結果に応じて、中央に配置される物体オブジェクトを拡大又は縮小して表示してもよい。たとえば、物体オブジェクトが表示画面２０１よりも前方にある場合、図７Ａに示すように、表示画像調整部５１７は、右目用画像及び左目用画像のうちの少なくとも一方において、中央に配置した物体オブジェクトを元のサイズよりも拡大して表示してもよい。一方、物体オブジェクトが表示画面２０１よりも後方にある場合、図７Ｂに示すように、表示画像調整部５１７は、右目用画像及び左目用画像のうちの少なくとも一方において、中央に配置した物体オブジェクトを元のサイズよりも縮小して表示してもよい。

なお、この際の拡大率又は縮小率は、物体オブジェクトの奥行き方向の位置に応じて設定されてもよいし、ユーザ入力に基づいて設定されてもよい。こうすれば、右目用画像及び左目用画像のうちの一方が液晶テレビジョン２００に表示されても、表示画像に疑似的な立体感を持たせることができる。

また、表示画像調整部５１７は、右目用画像及び左目用画像のうちの少なくとも一方において、中央に配置された物体オブジェクト（第１物体オブジェクト）よりも奥行き方向の前方に位置する別の物体オブジェクト（第２物体オブジェクト）のコントラスト及びシャープネスを強くする。さらに、表示画像調整部５１７は、中央に配置された第１物体オブジェクトよりも奥行き方向の後方に位置する別の物体オブジェクト(第３物体オブジェクト）にぼかし処理を施す。このぼかし処理は、特に、第３オブジェクトの輪郭部、及び第１オブジェクトと第３オブジェクトとの境界近傍に施すことが望ましい。

この際、これらの画像調整処理（コントラスト及びシャープネス、ぼかし処理）の調整量は、各物体オブジェクトでほぼ同じであってもよいが、各物体オブジェクトの奥行き方向の位置に応じて設定されることと好ましい。たとえば、第２物体オブジェクトでは、奥行き方向の位置が第１オブジェクトから離れているほど、コントラスト及びシャープネスが強められるようにしてもよい。また、第３物体オブジェクトでは、奥行き方向の位置が第１オブジェクトから離れているほど、強くぼかされるようにしてもよい。

なお、ここでは、右目用画像及び左目用画像のうちの少なくとも一方における各物体オブジェクト（たとえば第１〜第３オブジェクト）にコントラスト及びシャープネスの調整を施しているが、本発明の適用範囲はこの例示に限定されない。物体オブジェクトに施す画像調整処理は、コントラスト及びシャープネスのうちの少なくとも１つであってもよい。

このほか、表示画像調整部５１７は、右目用画像及び左目用画像のうちの少なくとも一方において、中央に配置した第１物体オブジェクトよりも奥行き方向の前方に位置する第２物体オブジェクトを両者の奥行き方向の位置の差に応じて拡大表示してもよい。さらに、第１物体オブジェクトよりも奥行き方向の後方に位置する第３物体オブジェクトを両者の奥行き方向の位置の差に応じて縮小表示してもよい。なお、この際の拡大率又は縮小率は、第１物体オブジェクトと第２又は第３物体オブジェクトとの奥行き方向の位置の差に応じて設定されてもよいし、ユーザ入力に基づいて設定されてもよい。

以上、第２実施形態について説明した。第２実施形態によれば、ＳＴＢ１００は、立体表示に非対応の液晶テレビジョン２００に表示画像を表示する画像処理装置である。ＳＴＢ１００は、物体抽出部５５１と、ずれ量算出部５１２と、奥行き算出部５１３と、表示画像調整部５１７と、表示制御部５４と、を備える。物体抽出部５１１は、異なる視点から同時に撮影された右目用画像及び左目用画像に含まれる同一の物体を抽出する。ずれ量算出部５１２は、右目用画像又は左目用画像での物体の水平方向の表示位置及び該表示位置間のずれ量を算出する。奥行き算出部５１３は、ずれ量に基づいて、右目用画像又は左目用画像での物体の奥行き方向の位置を算出する。表示画像調整部５１７は、ずれ量及び奥行き方向の位置に基づいて、右目用画像又は左目用画像での物体の水平方向の表示位置を調整する。表示制御部５４は、右目用画像又は左目用画像を表示画像として表示装置に表示する。また、表示画像調整部５１７は、右目用画像又は左目用画像において、表示位置が調整される前の物体の表示領域のうち、調整後の物体の表示領域と重複する領域以外の領域を他の画像を用いて補完する。

この構成によれば、視点の異なる右目用画像又は左目用画像が表示画像として液晶テレビジョン２００に表示されると、調整された表示位置に物体オブジェクトが表示される。この際、表示位置の調整に伴って物体オブジェクトの奥行き方向の位置も変化する。また、調整前の物体オブジェクトの表示領域のうちの調整後の物体オブジェクトの表示領域と重ならない領域は無表示の領域となるが、表示画像調整部５１７は、他の画像を用いて、無表示の領域を補完する。すなわち、視点の異なる他の画像には、撮影時に物体オブジェクトの背後に位置する別の物体オブジェクトが写っているので、表示画像調整部５１７は他の画像を用いることよって無表示の領域を補完して、無表示の領域に物体オブジェクトの背後に位置していた別の物体オブジェクトを表示させることができる。そのため、液晶テレビジョン２００が立体表示に対応していない場合、１つの視点から撮影された画像（たとえばユーザが片目で見る場合の画像）が表示されるが、物体オブジェクトの表示位置は、実際に画像が撮影されたときの物体の本来の位置と比べてもずれた位置には表示されない。従って、ユーザに違和感を覚えさせない表示画像を液晶テレビジョン２００に表示することができる。

さらに、ＳＴＢ１００では、表示画像調整部５１７は、ずれ量及び奥行き方向の位置に基づいて、右目用画像又は左目用画像での物体オブジェクトの水平方向の表示位置を平均化した位置に物体オブジェクトを配置する。

この構成によれば、各画像において、各物体オブジェクトの水平方向の表示位置を平均化した位置に物体オブジェクトが配置される。そのため、立体表示に非対応の液晶テレビジョン２００が右目用画像及び左目用画像のうちの１つの画像を表示しても、その表示画像の物体オブジェクトに立体感をもたせることができる。

さらに、ＳＴＢ１００は、右目用画像又は左目用画像における物体オブジェクトのコントラスト及びシャープネスのうちの少なくとも一方の特徴の強さを抽出する特徴量抽出部５１４をさらに備える。表示画像調整部５１７は、右目用画像又は左目用画像において、平均化した位置に配置した第１物体オブジェクトよりも奥行き方向の前方に位置する第２物体オブジェクトのコントラスト又はシャープネスの強さを強くする。また、表示画像調整部５１７は、第１物体オブジェクトよりも奥行き方向の後方に位置する第３物体オブジェクトをぼかす。

こうすれば、平均化した位置に配置した第１物体オブジェクトよりも前方に位置する第２物体オブジェクトのコントラスト又はシャープネスは強くし、第１物体オブジェクトよりも後方に位置する第３物体オブジェクトはぼかす。そのため、ユーザの遠近感に応じた視覚効果を第２及び第３物体オブジェクトに与えることができる。従って、立体表示に非対応の液晶テレビジョン２００の表示画像に疑似的な立体感を与えることができる。

さらに、表示画像調整部５１７は、右目用画像又は左目用画像において、第１物体オブジェクトよりも第２物体オブジェクトのコントラスト又はシャープネスの強さを第１及び第２物体オブジェクト間の奥行き方向の位置の差に応じて強くする。また、表示画像調整部５１７は、第１物体オブジェクトよりも奥行き方向の後方に位置する第３物体オブジェクトを第１物体オブジェクト及び第３物体オブジェクト間の奥行き方向の位置の差に応じて強くぼかす。こうすれば、ユーザの遠近感に応じてより自然な視覚効果を第２及び第３物体オブジェクトに与えることができる。従って、立体表示に非対応の液晶テレビジョン２００の表示画像に、違和感の少ないより自然な立体感を与えることができる。

また、第２実施形態によれば、表示画像調整部５１７は、右目用画像又は左目用画像において、平均化した位置に配置した第１物体オブジェクトよりも奥行き方向の前方に位置する第２物体オブジェクトを第１物体オブジェクト及び第２物体オブジェクト間の奥行き方向の位置の差に応じて拡大表示する。こうすれば、立体表示に非対応の液晶テレビジョン２００の表示画像に遠近感を与えることができる。

以上、本発明の実施形態について説明した。なお、上述の実施形態は例示であり、その各構成要素や各処理の組み合わせに色々な変形が可能であり、本発明の範囲にあることは当業者に理解されるところである。

たとえば、上述の実施形態では、画像制御部５１（及びその各構成部）、音声制御部５２、ＯＳＤ制御部５３、及び表示制御部５４は、制御部５の機能部として実現されているが、本発明の適用範囲はこの例に限定されない。これらの機能部は、物理的な構成部（たとえば電気回路など）により実現されていてもよい。さらに、これらの機能部の少なくとも一部が他の構成部とは異なる独立した構成部であってもよい。

また、上述の実施形態では、液晶テレビジョン２００の表示画像は右目用画像及び左目用画像を用いて表示されているが、本発明の適用範囲はこの例示に限定されない。液晶テレビジョン２００の表示画像は、異なる視点から同時に撮影された複数の画像を用いて表示されてもよい。

また、上述の実施形態では、ＳＴＢ１００を例に説明したが、本発明の適用範囲はこの例に限定されない。本発明の画像処理装置は、たとえば、ＢＤレコーダ、ＤＶＤレコーダ、ＨＤＤレコーダなどのディスク装置、チューナ装置、ホームターミナル装置などにも広く適用可能である。或いは、液晶テレビジョンなどのテレビジョン装置に搭載されていてもよい。

１００ ＳＴＢ
１ チューナ部
１ａ アンテナ
２ 入力部
３ 入出力Ｉ／Ｆ
４ メモリ
５ 制御部
５１ 画像制御部
５１１ 物体抽出部
５１２ ずれ量算出部
５１３ 奥行き算出部
５１４ 特徴量抽出部
５１５ 調整量設定部
５１６ 範囲設定部
５１７ 表示画像調整部
５２ 音声制御部
５３ ＯＳＤ制御部
５４ 表示制御部
２００ 液晶テレビジョン
２０１ 表示画面
３００ ＨＤＭＩケーブル

Claims (10)

1. 異なる視点から同時に撮影された複数の画像に含まれる同一の物体を抽出する物体抽出部と、
   前記複数の画像の各々での前記物体の水平方向の表示位置及び該表示位置間のずれ量を算出するずれ量算出部と、
   前記ずれ量に基づいて、前記複数の画像の各々での前記物体の奥行き方向の位置を算出する奥行き算出部と、
   前記ずれ量及び前記奥行き方向の位置に基づいて、前記複数の画像の各々での前記物体の前記水平方向の表示位置を調整する表示画像調整部と、
   前記複数の画像に基づく表示画像を表示装置に表示する表示制御部と、
   を備え、
   前記表示画像調整部は、前記複数の画像の各々において、前記表示位置が調整される前の前記物体の表示領域のうち、調整後の前記物体の表示領域と重複する領域以外の領域を他の画像を用いて補完することを特徴とする画像処理装置。
2. 立体表示に対応する前記表示装置に前記表示画像を表示する画像処理装置であって、
   ユーザ入力を受け付ける入力部と、
   前記表示画像調整部による前記物体の前記水平方向の表示位置の調整量を前記ユーザ入力に基づいて設定する調整量設定部と、
   前記複数の画像の各々において、前記調整量設定部が設定した前記調整量で前記水平方向の表示位置を調整する前記物体を特定するための調整範囲を前記ユーザ入力に基づいて設定する範囲設定部と、
   をさらに備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記調整量設定部は、前記複数の画像の各々における前記物体のコントラスト及びシャープネスのうちの少なくとも一方の特徴の強さの調整量を前記ユーザ入力に基づいて設定することを特徴とする請求項２に記載の画像処理装置。
4. 前記表示画像調整部は、前記物体の前記水平方向の表示位置の前記調整量を、前記調整範囲内にある第１物体よりも前記調整範囲外にある第２物体の方が少なくなるように調整することを特徴とする請求項２又は請求項３に記載の画像処理装置。
5. 前記表示画像調整部は、前記調整範囲と該調整範囲外の前記第２物体との最短距離の長さに応じて、前記調整量を少なくすることを特徴とする請求項４に記載の画像処理装置。
6. 立体表示に非対応の表示装置に表示画像を表示する画像処理装置であって、
   異なる視点から同時に撮影された複数の画像に含まれる同一の物体を抽出する物体抽出部と、
   前記複数の画像の各々での前記物体の水平方向の表示位置及び該表示位置間のずれ量を算出するずれ量算出部と、
   前記ずれ量に基づいて、前記複数の画像の各々での前記物体の奥行き方向の位置を算出する奥行き算出部と、
   前記ずれ量及び前記奥行き方向の位置に基づいて、前記複数の画像の各々での前記物体の前記水平方向の表示位置を調整する表示画像調整部と、
   前記複数の画像のうちのいずれかの画像を前記表示画像として前記表示装置に表示する表示制御部と、
   を備え、
   前記表示画像調整部は、前記複数の画像のうちの前記いずれかの画像において、前記表示位置が調整される前の前記物体の表示領域のうち、調整後の前記物体の表示領域と重複する領域以外の領域を他の画像を用いて補完することを特徴とする画像処理装置。
7. 前記表示画像調整部は、前記ずれ量及び前記奥行き方向の位置に基づいて、前記複数の画像のうちの前記いずれかの画像での前記物体の前記水平方向の表示位置を平均化した位置に前記物体を配置することを特徴とする請求項６に記載の画像処理装置。
8. 前記複数の画像のうちの前記いずれかの画像における前記物体のコントラスト及びシャープネスのうちの少なくとも一方の特徴の強さを抽出する特徴量抽出部をさらに備え、
   前記表示画像調整部は、前記複数の画像のうちの前記いずれかの画像において、前記平均化した位置に配置した第１物体よりも前記奥行き方向の前方に位置する第２物体の前記少なくとも一方の特徴の強さを強くし、前記第１物体よりも前記奥行き方向の後方に位置する第３物体をぼかすことを特徴とする請求項７に記載の画像処理装置。
9. 前記表示画像調整部は、前記複数の画像のうちの前記いずれかの画像において、前記平均化した位置に配置した前記第１物体よりも前記奥行き方向の前方に位置する前記第２物体の前記少なくとも一方の特徴の強さを前記第１物体及び前記第２物体間の前記奥行き方向の位置の差に応じて強くし、前記第１物体よりも前記奥行き方向の後方に位置する前記第３物体を前記第１物体及び前記第３物体間の奥行き方向の位置の差に応じて強くぼかすことを特徴とする請求項８に記載の画像処理装置。
10. 前記表示画像調整部は、前記複数の画像のうちの前記いずれかの画像において、前記平均化した位置に配置した前記第１物体よりも前記奥行き方向の前方に位置する前記第２物体を前記第１物体及び前記第２物体間の前記奥行き方向の位置の差に応じて拡大表示することを特徴とする請求項８又は請求項９に記載の画像処理装置。