JP2012090094A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】個々のユーザに適した３Ｄ画像を表示することができるようにする。
【解決手段】表示制御部３２Ｃは、検査用の３Ｄ画像を表示部２７に表示させる。入力部２８は、ユーザによる表示部２７に表示されている検査用の３Ｄ画像の視差量が許容範囲内であるかどうかの指示を受け付ける。決定部３２Ｂは、入力部２８により受け付けられた指示に基づいて、表示部２７に表示されている検査用の３Ｄ画像の視差量が許容範囲内ではないという指示に対応する視差量が含まれないように、許容範囲の推定値を決定する。視差処理部３１は、許容範囲の推定値に基づいて３Ｄ画像を表示部２７に表示させる。本発明は、例えば、３Ｄ画像を表示するテレビジョン受像機に適用することができる。
【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、個々のユーザに適した３Ｄ画像を表示することができるようにした画像処理装置、画像処理方法、およびプログラムに関する。

近年、３Ｄ画像が注目を集めてきており、３Ｄ画像を表示可能な表示装置が開発されている（例えば、特許文献１参照）。このような表示装置で表示される３Ｄ画像の視差量は、一般的なユーザに適したものになっている。

特開２０１０−２１１０３６号公報

しかしながら、３Ｄ画像を知覚するための両眼立体視能力や、奥行き方向の表示範囲の好みには個人差がある。従って、一般的なユーザにとっては適切な３Ｄ画像であっても、あるユーザには疲労を伴う３Ｄ画像であったり、奥行き感が不足した物足りない３Ｄ画像であったりする場合がある。

本発明は、このような状況に鑑みてなされたものであり、個々のユーザに適した３Ｄ画像を表示することができるようにするものである。

本発明の一側面の画像処理装置は、第１の３Ｄ画像を表示部に表示させる第１の表示制御手段と、ユーザによる前記表示部に表示されている前記第１の３Ｄ画像の視差量が許容範囲内であるかどうかの指示を受け付ける受付手段と、前記受付手段により受け付けられた前記指示に基づいて、前記表示部に表示されている前記第１の３Ｄ画像の視差量が許容範囲内ではないという指示に対応する視差量が含まれないように、前記許容範囲の推定値を決定する決定手段と、前記許容範囲の推定値に基づいて第２の３Ｄ画像を前記表示部に表示させる第２の表示制御手段とを備える画像処理装置である。

本発明の一側面の画像処理方法およびプログラムは、本発明の一側面の画像処理装置に対応する。

本発明の一側面においては、第１の３Ｄ画像が表示部に表示され、ユーザによる前記表示部に表示されている前記第１の３Ｄ画像の視差量が許容範囲内であるかどうかの指示が受け付けられ、その指示に基づいて、前記表示部に表示されている前記第１の３Ｄ画像の視差量が許容範囲内ではないという指示に対応する視差量が含まれないように、前記許容範囲の推定値が決定され、前記許容範囲の推定値に基づいて第２の３Ｄ画像が前記表示部に表示される。

本発明の一側面によれば、個々のユーザに適した３Ｄ画像を表示することができる。

本発明を適用した再生システムの一実施の形態の構成例を示すブロック図である。 図１のテレビジョン受像機の構成例を示すブロック図である。 検査用の３Ｄ画像の例を示す図である。 視差設定処理を説明するフローチャートである。 図２の視差処理部の詳細構成例を示す図である。 図５の視差処理部の視差処理を説明するフローチャートである。 図２の視差処理部の他の詳細構成例を示す図である。 図７の視差補正部の詳細構成例を示すブロック図である。 図７の視差処理部の視差処理を説明するフローチャートである。 図９の視差補正処理の詳細について説明するフローチャートである。 図７の視差補正部の他の詳細構成例を示すブロック図である。 視差制御の例を説明する図である。 図１１の視差補正部の視差補正処理を説明するフローチャートである。 コンピュータの一実施の形態の構成例を示す図である。

＜一実施の形態＞
［再生システムの一実施の形態の構成例］
図１は、本発明を適用した画像処理装置としてのテレビジョン受像機を備える再生システムの一実施の形態の構成例を示すブロック図である。

図１の再生システム１０は、テレビジョン受像機１１、リモートコントローラ１２、および再生装置１３により構成される。再生システム１０は、再生装置１３により再生された画像をテレビジョン受像機１１に表示する。

具体的には、再生システム１０のテレビジョン受像機１１は、リモートコントローラ１２により発光された光を受光し、その光に対応するコマンドなどにしたがって各種の処理を行う。例えば、テレビジョン受像機１１は、コマンドにしたがって、図示せぬアンテナを介して所定のチャンネルの番組の２Ｄ画像のＡＶストリームを受信し、その番組の２Ｄ画像や音声を出力する。

また、テレビジョン受像機１１は、コマンドにしたがって、検査用の３Ｄ画像（第１の３Ｄ画像）を表示する。このとき、ユーザは、表示中の検査用の３Ｄ画像の視差量が許容範囲内であるかどうかを、リモートコントローラ１２などを操作して指示する。テレビジョン受像機１１は、その指示に対応するコマンドにしたがって、表示中の検査用の３Ｄ画像の視差量が許容範囲内ではないという指示に対応する視差量が含まれないように、ユーザの視差量の許容範囲の推定値を決定する。テレビジョン受像機１１は、その許容範囲の推定値の最大値を最大視差量として保持するとともに、最小値を最小視差量として保持する。

なお、視差量とは、左目用の画像と右目用の画像のずれ量である。ここでは、左目用の画像が右目用の画像より左側にずれている場合、即ち３Ｄ画像の奥行方向の位置が表示面より奥側にある場合、視差量は正の値となり、左目用の画像が右目用の画像より右側にずれている場合、即ち３Ｄ画像の奥行方向の位置が表示面より手前側にある場合、視差量は負の値となるものとする。

また、テレビジョン受像機１１は、コマンドにしたがって、再生装置１３により再生され、送信されてくる３Ｄ画像のＡＶストリームを受信する。そして、テレビジョン受像機１１は、そのＡＶストリームに対応する３Ｄ画像（第２の３Ｄ画像）の画像データに対して、最小視差量と最大視差量に基づいて画像処理を行い、個々のユーザに適した３Ｄ画像の画像データを生成する。テレビジョン受像機１１は、画像処理後の画像データに対応する３Ｄ画像を出力するとともに、ＡＶストリームに対応する音声を出力する。

リモートコントローラ１２は、テレビジョン受像機１１のユーザにより操作される。リモートコントローラ１２は、ユーザの操作に応じて各種のコマンドを生成し、そのコマンドに対応する光を発光する。

再生装置１３は、テレビジョン受像機１１のユーザなどの指示により、自分自身に装着されたディスクや、内蔵するハードディスク等に記憶されているＡＶストリームを再生し、テレビジョン受像機１１に送信する。

［テレビジョン受像機の構成例］
図２は、図１のテレビジョン受像機１１の構成例を示すブロック図である。

図２のテレビジョン受像機１１は、チューナ２１、受信部２２、デマルチプレクサ２３、オーディオデコーダ２４、スピーカ２５、ビデオデコーダ２６、表示部２７、入力部２８、制御部２９、メモリ３０、視差処理部３１、および検査画像生成部３２により構成される。

テレビジョン受像機１１のチューナ２１は、図示せぬアンテナを介してデジタル放送信号を受信する。チューナ２１は、制御部２９からの指示に基づいて、受信されたデジタル放送信号から、ユーザにより選局が指示されたチャンネルのデジタル放送信号を抽出し、復調する。チューナ２１は、その結果得られるＡＶストリームを、デマルチプレクサ２３に供給する。

受信部２２は、図１の再生装置１３から送信されてくる３Ｄ画像のＡＶストリームを受信し、制御部２９からの指示に応じてデマルチプレクサ２３に供給する。

デマルチプレクサ２３は、チューナ２１または受信部２２から供給されるＡＶストリームを、画像ストリームと音声ストリームに分離する。デマルチプレクサ２３は、音声ストリームをオーディオデコーダ２４に供給し、画像ストリームをビデオデコーダ２６に供給する。

オーディオデコーダ２４は、デマルチプレクサ２３から供給される音声ストリームを所定の方式でデコードし、その結果得られる音声データに対してD/A変換を行う。オーディオデコーダ２４は、D/A変換の結果得られるアナログ信号である音声信号をスピーカ２５に供給して、その音声信号に基づく音声を出力させる。

ビデオデコーダ２６は、デマルチプレクサ２３から供給される所定の番組の２Ｄ画像の画像ストリームを所定の方式でデコードし、その結果得られる２Ｄ画像の画像データを表示部２７に供給する。ビデオデコーダ２６は、デマルチプレクサ２３から供給される３Ｄ画像の画像ストリームを所定の方式でデコードし、その結果得られる画像データを視差処理部３１に供給する。

表示部２７は、ビデオデコーダ２６から供給される２Ｄ画像の画像データを左目用の画像データおよび右目用の画像データとし、左目用の画像データに対応する画像と右目用の画像データに対応する画像を交互に表示する。これにより、ユーザは、所定の番組の２Ｄ画像を見ることができる。

また、表示部２７は、視差処理部３１から供給される３Ｄ画像データや検査画像生成部３２から供給される検査用の３Ｄ画像の画像データのうちの、左目用の画像データに対応する画像と右目用の画像データに対応する画像を交互に表示する。このとき、ユーザは、左目用の画像の表示時に左目用のシャッタが開き、右目用の画像の表示時に右目用のシャッタが開くメガネを装着して視聴する。これにより、ユーザは、３Ｄ画像を見ることができる。

入力部２８は、図１のリモートコントローラ１２からの光を受光する受光部、操作ボタンなどにより構成される。入力部２８は、リモートコントローラ１２からの光を受光し、その光に対応するコマンドを制御部２９に供給する。また、入力部２８は、ユーザによる操作ボタンの操作を表す操作信号を制御部２９に供給する。

制御部２９は、入力部２８から供給されるコマンドや操作信号に基づいて、チューナ２１に選局するチャンネルを指示したり、受信部２２にＡＶストリームの出力を指示したりする。また、制御部２９は、コマンドや操作信号に基づいて、視差処理部３１に最小視差量と最大視差量に基づいて画像処理を行う視差処理の開始を指示する。さらに、制御部２９は、コマンドや操作信号に基づいて、検査画像生成部３２に最大視差量と最小視差量を設定する視差設定処理の開始、および表示中の検査用の３Ｄ画像の視差量が許容範囲内であるかどうかを指示する。

メモリ３０は、フラッシュメモリなどにより構成される。メモリ３０は、検査画像生成部３２から供給される最小視差量および最大視差量を保持する。また、メモリ３０には、検査用の３Ｄ画像の画像データ（以下、検査画像データという）として所定の３Ｄ画像の画像データが予め記憶されている。

視差処理部３１は、制御部２９からの指示に応じて、視差処理を行う。具体的には、視差処理部３１は、メモリ３０から最小視差量および最大視差量を読み出す。視差処理部３１は、最小視差量と最大視差量に基づいて、ビデオデコーダ２６から供給される３Ｄ画像の画像データに対して画像処理を行い、個々のユーザに適した３Ｄ画像の画像データを生成する。視差処理部３１は、画像処理後の３Ｄ画像の画像データを表示部２７に供給する。

検査画像生成部３２は、変更部３２Ａ、決定部３２Ｂ、および表示制御部３２Ｃにより構成され、制御部２９からの指示に応じて、視差設定処理を行う。具体的には、検査画像生成部３２の変更部３２Ａ（変更手段）は、制御部２９からの表示中の検査用の３Ｄ画像の視差量が許容範囲内であるかどうかの指示に基づいて、メモリ３０に記憶されている検査画像データの視差量を変更する。検査画像データの視差量の変更方法としては、例えば、検査画像データのうちの右目用の画像データに対応する画像と左目用の画像データに対応する画像をそれぞれ水平方向にシフトする方法がある。

決定部３２Ｂ（決定手段）は、制御部２９からの表示中の検査用の３Ｄ画像の視差量が許容範囲内であるかどうかの指示に基づいて、表示中の検査用の３Ｄ画像の視差量が許容範囲内でないという指示に対応する視差量が含まれないように、ユーザの視差量の許容範囲の推定値を決定する。そして、決定部３２Ｂは、決定された推定値の最大値を最大視差量としてメモリ３０に供給し、最小値を最小視差量としてメモリ３０に供給する。

表示制御部３２Ｃは、メモリ３０から検査画像データを読み出し、表示部２７に供給する。また、表示制御部３２Ｃは、変更部３２Ａにより視差量が変更された検査画像データを表示部２７に供給する。

［検査用の３Ｄ画像の例］
図３は、図２のメモリ３０に記憶されている検査画像データに対応する検査用の３Ｄ画像の例を示す図である。

図３に示すように、検査用の３Ｄ画像は、左目用の画像４１と右目用の画像４２により構成される。図３の例では、左目用の画像４１には、長方形の検査用のパターン４１Ａが配置される。右目用の画像４２には、左目用の画像４１上のパターン４１Ａの位置に対応する右目用の画像４２上の位置から右側に距離ｄだけ離れた位置に、パターン４１Ａと同一のパターン４２Ａが配置される。即ち、図３の検査用の３Ｄ画像の視差量は、＋ｄである。

図２の変更部３２Ａは、制御部２９からの表示中の検査用の３Ｄ画像の視差量が許容範囲内であるかどうかの指示に基づいて、視差量＋ｄを変更する。

なお、図３の例では、検査用の３Ｄ画像内に長方形の検査用のパターンが１つだけ設けられたが、検査用のパターンの数や形状は、これに限定されない。

［視差設定処理の説明］
図４は、図１のテレビジョン受像機１１による視差設定処理を説明するフローチャートである。この視差設定処理は、例えば、ユーザがリモートコントローラ１２などを操作し、最大視差量および最小視差量の設定を指示したとき、開始される。

図４のステップＳ１１において、テレビジョン受像機１１の表示制御部３２Ｃは、制御部２９からの視差設定処理の開始の指示に応じて、メモリ３０から検査画像データを読み出す。

なお、制御部２９からの視差設定処理の開始の指示は、以下のようにして行われる。例えば、リモートコントローラ１２は、ユーザによる最大視差量および最小視差量の設定を指示するための操作に応じて、視差設定処理の開始を指示するコマンド（以下、視差設定処理開始コマンドという）を生成する。そして、リモートコントローラ１２は、その視差設定処理開始コマンドに対応する光を発光する。入力部２８は、その光を受光し、その光に対応する視差設定処理開始コマンドを制御部２９に供給する。制御部２９は、その視差設定処理開始コマンドに基づいて、検査画像生成部３２に視差設定処理の開始を指示する。

ステップＳ１２において、表示制御部３２Ｃ（第１の表示制御手段）は、検査画像データを表示部２７に供給し、検査用の３Ｄ画像を表示させる。このとき、ユーザは、表示部２７に表示中の検査用の３Ｄ画像を見ながら、３Ｄ画像が知覚できるか、目が疲れるかなどを判断する。そして、ユーザは、例えば、３Ｄ画像が知覚でき、目が疲れない場合、リモートコントローラ１２などを用いて、表示中の検査用の３Ｄ画像の視差量が許容範囲内である旨を指示するための操作を行う。一方、ユーザは、例えば、３Ｄ画像が知覚できない場合や、目が疲れる場合、リモートコントローラ１２などを用いて、表示中の検査用の３Ｄ画像の視差量が許容範囲内でない旨を指示するための操作を行う。入力部２８（受付手段）は、これらの操作に応じたコマンドや操作信号を受け付け、制御部２９に供給する。制御部２９は、そのコマンドや操作信号に基づいて、表示中の検査用の３Ｄ画像の視差量が許容範囲内であるかどうかを検査画像生成部３２に指示する。

ステップＳ１３において、変更部３２Ａは、制御部２９から表示中の検査用の３Ｄ画像の視差量が許容範囲内であるという指示が行われたかどうかを判定する。ステップＳ１３で表示中の検査用の３Ｄ画像の視差量が許容範囲内であるという指示が行われたと判定された場合、処理はステップＳ１４に進む。

ステップＳ１４において、変更部３２Ａは、検査画像データの視差量を所定量だけ大きくする。そして、処理はステップＳ１２に戻り、表示中の検査用の３Ｄ画像の視差量が許容範囲内であるという指示が行われなくなるまで、ステップＳ１２乃至Ｓ１４の処理が繰り返される。即ち、ユーザにより表示中の検査用の３Ｄ画像の視差量が許容範囲内である旨を指示するための操作が行われなくなるまで、表示部２７に表示される検査用の３Ｄ画像の視差量が所定量ずつ大きくされる。

一方、ステップＳ１３で制御部２９から表示中の検査用の３Ｄ画像の視差量が許容範囲内であるという指示が行われていないと判定された場合、処理はステップＳ１５に進む。ステップＳ１５において、決定部３２Ｂは、制御部２９から表示中の検査用の３Ｄ画像の視差量が許容範囲内ではないという指示が行われたかどうかを判定する。

ステップＳ１５で表示中の検査用の３Ｄ画像の視差量が許容範囲内ではないという指示が行われていないと判定された場合、処理はステップＳ１３に戻る。そして、表示中の検査用の３Ｄ画像の視差量が許容範囲内であるという指示、または、ないという指示が行われるまで、ステップＳ１３およびＳ１５の処理が繰り返される。

一方、ステップＳ１５で表示中の検査用の３Ｄ画像の視差量が許容範囲内ではないという指示が行われたと判定された場合、処理はステップＳ１６に進む。ステップＳ１６において、決定部３２Ｂは、前回の検査画像データの視差量、即ち現在の検査画像データの視差量より所定量だけ小さい値を許容範囲の推定値の最大値に決定し、最大視差量としてメモリ３０に供給し、保持させる。

ステップＳ１７において、表示制御部３２Ｃは、メモリ３０から検査画像データを再度読み出す。ステップＳ１８において、表示制御部３２Ｃは、検査画像データを表示部２７に供給し、検査用の３Ｄ画像を表示させる。このとき、ユーザは、ステップＳ１２の処理時と同様に、リモートコントローラ１２などを用いて、表示中の検査用の３Ｄ画像の視差量が許容範囲内である旨またはない旨を指示するための操作を行う。その結果、制御部２９は、表示中の検査用の３Ｄ画像の視差量が許容範囲内であるかどうかを検査画像生成部３２に指示する。

ステップＳ１９において、変更部３２Ａは、制御部２９から表示中の検査用の３Ｄ画像の視差量が許容範囲内であるという指示が行われたかどうかを判定する。ステップＳ１９で表示中の検査用の３Ｄ画像の視差量が許容範囲内であるという指示が行われたと判定された場合、処理はステップＳ２０に進む。

ステップＳ２０において、変更部３２Ａは、検査画像データの視差量を所定量だけ小さくする。そして、処理はステップＳ１８に戻り、表示中の検査用の３Ｄ画像の視差量が許容範囲内であるという指示が行われなくなるまで、ステップＳ１８乃至Ｓ２０の処理が繰り返される。即ち、ユーザにより表示中の検査用の３Ｄ画像の視差量が許容範囲内である旨を指示するための操作が行われなくなるまで、表示部２７に表示される検査用の３Ｄ画像の視差量が所定量ずつ小さくされる。

一方、ステップＳ１９で制御部２９から表示中の検査用の３Ｄ画像の視差量が許容範囲内であるという指示が行われていないと判定された場合、処理はステップＳ２１に進む。ステップＳ２１において、決定部３２Ｂは、制御部２９から表示中の検査用の３Ｄ画像の視差量が許容範囲内ではないという指示が行われたかどうかを判定する。

ステップＳ２１で表示中の検査用の３Ｄ画像の視差量が許容範囲内ではないという指示が行われていないと判定された場合、処理はステップＳ１９に戻る。そして、表示中の検査用の３Ｄ画像の視差量が許容範囲内であるという指示、または、ないという指示が行われるまで、ステップＳ１９およびＳ２１の処理が繰り返される。

一方、ステップＳ２１で表示中の検査用の３Ｄ画像の視差量が許容範囲内ではないという指示が行われたと判定された場合、処理はステップＳ２２に進む。ステップＳ２２において、決定部３２Ｂは、前回の検査画像データの視差量、即ち現在の検査画像データの視差量より所定値だけ大きい値を許容範囲の推定値の最小値に決定し、最小視差量としてメモリ３０に供給し、保持させる。

なお、本実施の形態では、予め記憶されている検査用の３Ｄ画像と、視差量が変更された検査用の３Ｄ画像を用いて許容範囲の推定値が決定されたが、予め記憶されている検査用の３Ｄ画像のみを用いて許容範囲の推定値が決定されるようにしてもよい。

また、本実施の形態では、検査用の３Ｄ画像の視差量は所定量ずつ増減されたが、検査用の３Ｄ画像の視差量はランダムに変更されるようにしてもよい。

［視差処理部の詳細構成例］
図５は、図２の視差処理部３１の詳細構成例を示す図である。

図５の視差処理部３１は、視差検出部５１、比較部５２、警告画像生成部５３、および合成部５４により構成される。図５の視差処理部３１は、ビデオデコーダ２６から供給される３Ｄ画像の画像データの視差量が許容範囲の推定値内にない場合、その画像データに対応する３Ｄ画像に警告画像を重畳して表示させる。

具体的には、視差処理部３１の視差検出部５１は、図２のビデオデコーダ２６から供給される３Ｄ画像の画像データに対してブロックマッチング等を行い、その画像データの各画素の視差量を検出する。なお、ここでは、視差量の検出単位は、１画素とするが、視差量の検出単位は、これに限定されず、例えば複数画素単位であってもよい。視差検出部５１は、検出された各画素の視差量を比較部５２に供給する。

比較部５２は、メモリ３０から最小視差量と最大視差量を読み出す。比較部５２は、視差検出部５１から供給される各画素の視差量と、最小視差量および最大視差量とを比較し、視差量が許容範囲の推定値内にない画素があるかどうかを判定する。比較部５２は、視差量が許容範囲の推定値内にない画素があると判定した場合、警告画像の生成を警告画像生成部５３に指示する。

なお、ここでは、視差量が許容範囲の推定値内にない画素があると判定された場合、警告画像の生成が指示されるものとするが、所定の画素の視差量が許容範囲の推定値内にないと判定された場合、警告画像の生成が指示されるようにしてもよい。所定の画素の視差量とは、例えば、主要な被写体が存在する領域の視差量、各画素の視差量のヒストグラムにおいて度数が最も大きい視差量などである。

警告画像生成部５３は、比較部５２から供給される指示に応じて、視差量がユーザに適していないことを警告するための警告画像の画像データを生成し、合成部５４に供給する。警告画像の画像データは、メモリ３０（図２）などに予め記憶されていてもよい。

合成部５４（第２の表示制御手段）は、警告画像生成部５３から警告画像の画像データが供給されていない場合、ビデオデコーダ２６から供給される３Ｄ画像の画像データをそのまま表示部２７に供給し、３Ｄ画像のみを表示させる。一方、合成部５４は、警告画像生成部５３から警告画像の画像データが供給された場合、その警告画像の画像データと３Ｄ画像の画像データを合成して表示部２７に供給し、警告画像が重畳された３Ｄ画像を表示させる。これにより、例えば、図５に示すように、「視差が不適切です！」という文字の警告画像が重畳された３Ｄ画像が表示部２７に表示される。

なお、表示部２７に表示される警告画像は、ユーザからの指示に応じて削除可能にされてもよい。

［第１の視差処理の説明］
図６は、図５の視差処理部３１の視差処理を説明するフローチャートである。この視差処理は、例えば、図２のビデオデコーダ２６からフレーム単位の３Ｄ画像の画像データが入力されたとき、開始される。

図６のステップＳ３０において、視差処理部３１の視差検出部５１（図５）は、図２のビデオデコーダ２６から供給される３Ｄ画像の画像データに対してブロックマッチング等を行い、その画像データの各画素の視差量を検出する。視差検出部５１は、検出された各画素の視差量を比較部５２に供給する。

ステップＳ３１において、比較部５２は、図２のメモリ３０から最小視差量と最大視差量を読み出す。ステップＳ３２において、比較部５２は、視差検出部５１から供給される各画素の視差量、並びに、最小視差量および最大視差量に基づいて、視差量が最小視差量以上最大視差量以下の範囲内にない画素があるかどうかを判定する。

ステップＳ３２で、視差量が、最小視差量以上最大視差量以下の範囲内、即ち許容範囲の推定値内にない画素があると判定された場合、比較部５２は、警告画像の生成を警告画像生成部５３に指示し、処理をステップＳ３３に進める。

ステップＳ３３において、警告画像生成部５３は、比較部５２から供給される指示に応じて、視差量がユーザに適していないことを警告するための警告画像の画像データを生成し、合成部５４に供給する。

ステップＳ３４において、合成部５４は、警告画像生成部５３から供給される警告画像の画像データと、ビデオデコーダ２６（図２）から供給される３Ｄ画像の画像データを合成する。ステップＳ３５において、合成部５４は、合成の結果得られる画像データを表示部２７に供給し、警告画像が重畳された３Ｄ画像を表示させる。

一方、ステップＳ３２で視差量が最小視差量以上最大視差量以下の範囲内にない画素がないと判定された場合、即ち全画素の視差量が許容範囲の推定値内である場合、処理はステップＳ３６に進む。ステップＳ３６において、合成部５４は、ビデオデコーダ２６から供給される３Ｄ画像の画像データをそのまま表示部２７に供給し、３Ｄ画像のみを表示させる。そして、処理は終了する。

以上のように、図５の視差処理部３１は、ユーザの視差量の許容範囲の推定値に基づいて、３Ｄ画像に警告画像を重畳し、表示させるので、個々のユーザに適した３Ｄ画像を表示することができる。

［視差処理部の他の詳細構成例］
図７は、図２の視差処理部３１の他の詳細構成例を示す図である。

図７の視差処理部３１は、視差検出部５１と視差補正部７１により構成される。なお、図５の構成と同じ構成には同じ符号を付してあり、重複する説明については適宜省略する。

図７の視差処理部３１は、図２のビデオデコーダ２６から供給される３Ｄ画像の画像データの視差量が許容範囲の推定値内にない場合、許容範囲の推定値内になるように、その画像データの視差量を補正する。

具体的には、視差処理部３１の視差補正部７１は、メモリ３０から最小視差量と最大視差量を読み出す。視差補正部７１は、視差検出部５１により検出された３Ｄ画像の画像データの各画素の視差量、並びに、最小視差量および最大視差量に基づいて、視差量が許容範囲の推定値内にない画素があるかどうかを判定する。視差補正部７１（視差量補正手段）は、視差量が許容範囲の推定値内にない画素があると判定した場合、補正後の全画素の視差量が許容範囲の推定値内になるように、視差量を補正するためのパラメータを決定する。

そして、視差補正部７１は、パラメータに基づいて、ビデオデコーダ２６から供給される３Ｄ画像の画像データの視差量を補正する。視差補正部７１は、補正後の３Ｄ画像の画像データを表示部２７（図２）に供給し、視差量が補正された３Ｄ画像を表示部２７に表示させる。これにより、表示部２７には、全画素の視差量が許容範囲の推定値内にある３Ｄ画像が表示される。

［視差補正部の詳細構成例］
図８は、図７の視差補正部７１の詳細構成例を示すブロック図である。

図８の視差補正部７１は、視差制御部８１とシフト処理部８２により構成される。図８の視差補正部７１は、３Ｄ画像の全画素の視差量が許容範囲の推定値内になるように、３Ｄ画像の視差量をシフトすることにより、補正する。

具体的には、視差補正部７１の視差制御部８１は、図２のメモリ３０から最小視差量と最大視差量を読み出す。視差制御部８１は、図７の視差検出部５１により検出された３Ｄ画像の画像データの各画素の視差量、並びに、最小視差量および最大視差量に基づいて、視差量が許容範囲の推定値内にない画素があるかどうかを判定する。視差制御部８１は、視差量が許容範囲の推定値内にない画素がある場合、全画素の視差量が許容範囲の推定値内になるために必要な視差量のシフト量をパラメータとして決定する。視差制御部８１は、そのシフト量をシフト処理部８２に供給する。

シフト処理部８２は、視差制御部８１から供給されるシフト量に基づいて、ビデオデコーダ２６から供給される３Ｄ画像の画像データに対応する３Ｄ画像を構成する左目用の画像と右目用の画像を、それぞれ、シフト量の1/2だけ水平方向にシフトする。そして、シフト処理部８２は、シフトによってシフト量だけ視差量が補正された３Ｄ画像の画像データを表示部２７（図２）に供給し、視差量が補正された３Ｄ画像を表示部２７に表示させる。

なお、シフト処理部８２は、視差制御部８１からシフト量が供給されない場合、ビデオデコーダ２６から供給される３Ｄ画像の画像データをそのまま表示部２７に供給し、３Ｄ画像を表示部２７に表示させる。

［第２の視差処理の説明］
図９は、図８の視差補正部７１を備える図７の視差処理部３１の視差処理を説明するフローチャートである。この視差処理は、例えば、図２のビデオデコーダ２６からフレーム単位の３Ｄ画像の画像データが入力されたとき、開始される。

図９のステップＳ５０において、視差処理部３１の視差検出部５１（図７）は、図２のビデオデコーダ２６から供給される３Ｄ画像の画像データに対してブロックマッチング等を行い、その画像データの各画素の視差量を検出する。視差検出部５１は、検出された各画素の視差量を視差補正部７１に供給する。

ステップＳ５１において、視差補正部７１の視差制御部８１（図８）は、図２のメモリ３０から最小視差量と最大視差量を読み出す。

ステップＳ５２において、視差制御部８１は、視差検出部５１から供給される各画素の視差量、並びに、最小視差量および最大視差量に基づいて、視差量が最小視差量以上最大視差量以下の範囲内にない画素があるかどうかを判定する。

ステップＳ５２で、視差量が、最小視差量以上最大視差量以下の範囲内、即ち許容範囲の推定値内にない画素があると判定された場合、ステップＳ５３において、視差補正部７１は、３Ｄ画像の画像データの視差を補正する視差補正処理を行う。この視差補正処理の詳細は、後述する図１０を参照して説明する。

ステップＳ５４において、シフト処理部８２は、視差補正処理によって視差量が補正された３Ｄ画像の画像データを表示部２７（図２）に供給し、視差量が補正された３Ｄ画像を表示部２７に表示させる。そして、処理は終了する。

一方、ステップＳ５２で視差量が最小視差量以上最大視差量以下の範囲内にない画素がないと判定された場合、処理はステップＳ５５に進む。ステップＳ５５において、シフト処理部８２は、ビデオデコーダ２６から供給される３Ｄ画像の画像データをそのまま表示部２７に供給し、３Ｄ画像を表示させる。そして、処理は終了する。

図１０は、図９のステップＳ５３の視差補正処理の詳細について説明するフローチャートである。

図１０のステップＳ６１において、視差補正部７１の視差制御部８１（図８）は、３Ｄ画像の画像データの各画素の視差量並びに最小視差量および最大視差量に基づいて、全画素の視差量が許容範囲の推定値内になるために必要な視差量のシフト量をパラメータとして決定する。視差制御部８１は、そのシフト量をシフト処理部８２に供給する。

ステップＳ６２において、シフト処理部８２は、視差制御部８１から供給されるシフト量に基づいて、ビデオデコーダ２６から供給される３Ｄ画像の画像データに対応する３Ｄ画像を構成する左目用の画像と右目用の画像を、それぞれ、シフト量の1/2だけ水平方向にシフトする。これにより、３Ｄ画像の画像データの視差量がシフト量だけ補正される。そして、処理は、図９のステップＳ５３に戻り、処理はステップＳ５４に進む。

以上のように、図７の視差処理部３１は、ユーザの視差量の許容範囲の推定値に基づいて、３Ｄ画像の全画素の視差量が許容範囲の推定値内になるように視差量を補正するので、個々のユーザに適した３Ｄ画像を表示することができる。

［視差補正部の他の詳細構成例］
図１１は、図７の視差補正部７１の他の詳細構成例を示すブロック図である。

図１１の視差補正部７１は、視差制御部１０１と画像変換部１０２により構成される。図１１の視差補正部７１は、３Ｄ画像の全画素の視差量が許容範囲の推定値内になるように、３Ｄ画像の視差量をシフトし、スケーリングすることにより、補正する。

具体的には、視差制御部１０１は、図８の視差制御部８１と同様に、メモリ３０から最小視差量と最大視差量を読み出す。視差制御部１０１は、視差制御部８１と同様に、視差検出部５１により検出された３Ｄ画像の画像データの各画素の視差量、並びに、最小視差量および最大視差量に基づいて、視差量が許容範囲の推定値内にない画素があるかどうかを判定する。視差制御部１０１は、視差量が許容範囲の推定値内にない画素がある場合、全画素の視差量が許容範囲の推定値内になるために必要な視差量のシフト量とスケーリング率をパラメータとして決定する。

具体的には、視差制御部１０１は、まず、以下の式（１）を用いて、補正後の３Ｄ画像の視差量が許容範囲の推定値内になるために必要なスケーリング率ｒと、オフセット量（ｘ_Ｌｉ，ｙ_Ｌｉ），（ｘ_Ｒｉ，ｙ_Ｒｉ）（ｉ＝０，１）を決定する。

なお、式（１）において、x’’_Ｌ，y’’_Ｌ，x’’_Ｒ，y’’_Ｒは、それぞれ、補正後の３Ｄ画像の各画素を構成する左目用の画素の水平方向の位置、その画素の垂直方向の位置、右目用の画素の水平方向の位置、その画素の垂直方向の位置を表している。また、x_Ｌ，y_Ｌ，x_Ｒ，y_Ｒは、それぞれ、補正前の３Ｄ画像の各画素を構成する左目用の画素の水平方向の位置、その画素の垂直方向の位置、右目用の画素の水平方向の位置、その画素の垂直方向の位置を表している。

次に、視差制御部１０１は、式（１）を以下の式（２）と（３）に分解し、シフト量Ｓを決定する。

なお、式（２）および式（３）において、x’_Ｌ，y’_Ｌ，x’_Ｒ，y’_Ｒは、それぞれ、シフト後の３Ｄ画像の各画素を構成する左目用の画素の水平方向の位置、その画素の垂直方向の位置、右目用の画素の水平方向の位置、その画素の垂直方向の位置を表している。また、式（３）において、ｘ_ＬＣは、シフト後の左目用の画像の中心の水平方向の位置であり、ｘ_ＲＣは、シフト後の右目用の画像の中心の水平方向の位置である。視差制御部１０１は、決定されたシフト量Ｓとスケーリング率ｒを画像変換部１０２に供給する。

画像変換部１０２は、前変換部１１１と後変換部１１２により構成される。

前変換部１１１には、ビデオデコーダ２６から供給される３Ｄ画像の画像データが入力される。前変換部１１１は、図８のシフト処理部８２と同様に、視差制御部１０１から供給されるシフト量Ｓに基づいて、上述した式（２）にしたがって、入力された３Ｄ画像の画像データに対応する３Ｄ画像を構成する左目用の画像と右目用の画像を水平方向にシフトする。前変換部１１１は、シフト後の３Ｄ画像の画像データを後変換部１１２に供給する。

後変換部１１２は、視差制御部１０１から供給されるスケーリング率に基づいて、上述した式（３）にしたがって、前変換部１１１から供給される３Ｄ画像の画像データに対応する左目用の画像と右目用の画像を画像の中心を基準として画面全体を水平方向にスケーリングする。後変換部１１２は、スケーリング後の３Ｄ画像の画像データを表示部２７（図２）に供給し、視差量が補正された３Ｄ画像を表示部２７に表示させる。

以上のように、図１１の視差補正部７１では、３Ｄ画像の視差量をスケーリングすることができるので、補正後の３Ｄ画像の立体感をより自然なものにすることができる。

なお、本実施の形態では、式（１）の変換を、式（２）の変換と式（３）の変換の２段階に分解するが、式（２）の変換の代わりに、左目用の画像と右目用の画像を画像の端を基準として画面全体を水平方向にスケーリングする変換を用いることも可能である。この場合、視差制御部１０１は、２つのスケーリング率を決定して、一方のスケーリング率を前変換部１１１に供給し、他方のスケーリング率を後変換部１１２に供給する。そして、前変換部１１１は、入力された３Ｄ画像の画像データに対応する左目用の画像と右目用の画像を画像の端を基準として画面全体を水平方向にスケーリングする。

［視差制御の説明］
図１２は、図１１の視差制御部１０１による視差制御の例を説明する図である。

図１２の例では、最小視差量が−５６画素であり、最大視差量が＋５５画素であるものとする。

図１２に示すように、視差検出部５１（図７）により検出された３Ｄ画像の視差量の最小値が−８０画素であり、最大値が＋３２画素である場合、視差制御部１０１は、例えば、シフト量Ｓを＋２５画素に決定する。これにより、シフト後の３Ｄ画像の視差量の最小値は−５５画素となり、最大値は５７画素となる。

この場合、シフト処理後の３Ｄ画像の視差量の最大値は、最大視差量よりもわずかに大きい。従って、視差制御部１０１は、スケーリング率ｒを１より小さい、例えば0.95に決定する。これにより、スケーリング後の３Ｄ画像の視差量の最小値は−５２画素となり、最大値は５４画素となる。従って、スケーリング後の３Ｄ画像の視差量は、最小視差量以上最大視差量以下の範囲内になる。

［第３の視差処理の説明］
図１１の視差補正部７１を備える図７の視差処理部３１の視差処理は、図９のステップＳ５３の視差補正処理を除いて図９の視差処理と同様である。従って、図１３を参照して、図１１の視差補正部７１の視差補正処理を説明する。

図１３のステップＳ１３１において、図１１の視差補正部７１の視差制御部１０１は、３Ｄ画像の画像データの各画素の視差量並びに最小視差量および最大視差量に基づいて、上述した式（１）乃至（３）を用いて、全画素の視差量が許容範囲の推定値内になるために必要な視差量のシフト量とスケーリング率を決定する。視差制御部１０１は、シフト量とスケーリング率を画像変換部１０２に供給する。

ステップＳ１３２において、画像変換部１０２の前変換部１１１は、視差制御部１０１から供給されるシフト量に基づいて、上述した式（２）にしたがって、ビデオデコーダ２６から供給される３Ｄ画像の画像データに対応する３Ｄ画像を構成する左目用の画像と右目用の画像を水平方向にシフトする。前変換部１１１は、シフト後の３Ｄ画像の画像データを後変換部１１２に供給する。

ステップＳ１３３において、後変換部１１２は、視差制御部１０１から供給されるスケーリング率に基づいて、上述した式（３）にしたがって、前変換部１１１から供給される３Ｄ画像の画像データに対応する左目用の画像と右目用の画像を画像の中心を基準として画面全体を水平方向にスケーリングする。そして、処理は、図９のステップＳ５３に戻り、処理はステップＳ５４に進む。

なお、視差量を補正するためのパラメータは、補正後の３Ｄ画像の全画素の視差量が許容範囲の推定値内になるように決定されるのではなく、所定の画素の視差量が許容範囲の推定値内になるように決定されてもよい。所定の画素の視差量とは、例えば、主要な被写体が存在する領域の視差量、各画素の視差量のヒストグラムにおいて度数が最も大きい視差量などである。

[本発明を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

そこで、図１４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０８やROM（Read Only Memory）２０２に予め記録しておくことができる。

あるいはまた、プログラムは、リムーバブルメディア２１１に格納（記録）しておくことができる。このようなリムーバブルメディア２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

なお、プログラムは、上述したようなリムーバブルメディア２１１からドライブ２１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、デジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。

CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０６が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０８に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。

これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０７から出力、あるいは、通信部２０９から送信、さらには、記憶部２０８に記録等させる。

なお、入力部２０６は、キーボードや、マウス、マイク等で構成される。また、出力部２０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１１ テレビジョン受像機， ２８ 入力部， ３１ 視差処理部， ３２ 検査画像生成部， ３２Ａ 変更部， ３２Ｂ 決定部， ３２Ｃ 表示制御部， ５４ 合成部， ７１ 視差補正部

Claims (9)

1. 第１の３Ｄ画像を表示部に表示させる第１の表示制御手段と、
   ユーザによる前記表示部に表示されている前記第１の３Ｄ画像の視差量が許容範囲内であるかどうかの指示を受け付ける受付手段と、
   前記受付手段により受け付けられた前記指示に基づいて、前記表示部に表示されている前記第１の３Ｄ画像の視差量が許容範囲内ではないという指示に対応する視差量が含まれないように、前記許容範囲の推定値を決定する決定手段と、
   前記許容範囲の推定値に基づいて第２の３Ｄ画像を前記表示部に表示させる第２の表示制御手段と
   を備える画像処理装置。
2. 前記表示部に表示される前記第１の３Ｄ画像の視差量を変更する変更手段
   をさらに備える
   請求項１に記載の画像処理装置。
3. 前記変更手段は、前記受付手段により前記表示部に表示されている前記第１の３Ｄ画像の視差量が許容範囲内ではないという指示が受け付けられるまで前記第１の３Ｄ画像の視差量を増加および減少させる
   請求項２に記載の画像処理装置。
4. 前記第２の表示制御手段は、前記第２の３Ｄ画像の視差量が前記許容範囲の推定値内にない場合、前記第２の３Ｄ画像に警告画像を重畳して前記表示部に表示させる
   請求項１に記載の画像処理装置。
5. 前記第２の３Ｄ画像の視差量が前記許容範囲の推定値内にない場合、前記第２の３Ｄ画像の視差量が前記許容範囲の推定値内になるように、前記第２の３Ｄ画像の視差量を補正する視差量補正手段
   をさらに備え、
   前記第２の表示制御手段は、前記視差量補正手段による補正後の前記第２の３Ｄ画像を前記表示部に表示させる
   請求項１に記載の画像処理装置。
6. 前記視差量補正手段は、前記第２の３Ｄ画像を構成する左目用の画像と右目用の画像を水平方向にシフトすることにより、前記第２の３Ｄ画像の視差量を補正する
   請求項５に記載の画像処理装置。
7. 前記視差量補正手段は、前記第２の３Ｄ画像を構成する左目用の画像と右目用の画像を水平方向にシフトし、スケーリングすることにより、前記第２の３Ｄ画像の視差量を補正する
   請求項５に記載の画像処理装置。
8. 画像処理装置が、
   第１の３Ｄ画像を表示部に表示させる第１の表示制御ステップと、
   ユーザによる前記表示部に表示されている前記第１の３Ｄ画像の視差量が許容範囲内であるかどうかの指示を受け付ける受付ステップと
   前記受付ステップの処理により受け付けられた前記指示に基づいて、前記表示部に表示されている前記第１の３Ｄ画像の視差量が許容範囲内ではないという指示に対応する視差量が含まれないように、前記許容範囲の推定値を決定する決定ステップと、
   前記許容範囲の推定値に基づいて第２の３Ｄ画像を前記表示部に表示させる第２の表示制御ステップと
   を含む画像処理方法。
9. コンピュータに、
   第１の３Ｄ画像を表示部に表示させる第１の表示制御ステップと、
   ユーザによる前記表示部に表示されている前記第１の３Ｄ画像の視差量が許容範囲内であるかどうかの指示を受け付ける受付ステップと
   前記受付ステップの処理により受け付けられた前記指示に基づいて、前記表示部に表示されている前記第１の３Ｄ画像の視差量が許容範囲内ではないという指示に対応する視差量が含まれないように、前記許容範囲の推定値を決定する決定ステップと、
   前記許容範囲の推定値に基づいて第２の３Ｄ画像を前記表示部に表示させる第２の表示制御ステップと
   を含む処理を実行させるためのプログラム。

Images