JP2015156607A - 画像処理装置、画像処理装置、及び電子機器 - Google Patents

Abstract

【課題】画質の劣化を抑制し、かつ立体感を強調することが可能な画像処理方法、画像処理装置、及び電子機器を提案する。
【解決手段】原画像と、当該原画像中の各画素に関連付けられた視差値の分布を示す視差マップとを取得することと、プロセッサに、取得された前記原画像と前記視差マップとに基づき、視差のダイナミックレンジを決定させることと、前記視差マップ中の各視差が、決定された前記視差のダイナミックレンジ内に分布するように、当該視差マップを変換することと、を含む、画像処理方法。
【選択図】図１４

Description

本開示は、画像処理装置、画像処理装置、及び電子機器に関する。

近年、コンテンツを立体的に表示することが可能な立体視表示装置が普及しつつある。立体視表示装置では、ディスプレイ上に右目用画像及び左目用画像を水平方向にずらして表示し、そのずれの程度で視差量を調整し、これにより、奥行き方向の任意の距離にコンテンツを表示する。

コンテンツを立体的に表示する方法としては、専用の眼鏡を用いた方式が古くから提案されてきたが、近年では、専用の眼鏡を用いずに３Ｄ映像を見せることが可能な裸眼３Ｄ映像技術が提案されている。

特表２０１０−５２９５２１号公報

２視点以上の視点画像を表示する立体視表示装置の場合、ディスプレイの光学特性上の理由から、近隣の視点画像から各視点画像へ光が漏れ込んでくる現象が発生する場合があり、この現象はクロストークと呼ばれている。クロストークが生じると、左右両眼用の立体視表示画像としてボケや二重像等のような画像の歪みが生じる可能性があり、画質が著しく低下する場合がある。すなわち、画質と視差はトレードオフの関係にあり、画質を一定のレベルだけ担保したまま表示できる視差の範囲には限界がある。

一方で、視差は、ディスプレイの表示面に対して奥行き方向の手前側及び奥側の双方に設定することが可能であるが、視差の分布が当該表示面に対して奥行き方向の一方に偏っている場合もある。このような場合には、ディスプレイの表示面に対して他方の視差表示範囲を有効に利用できていない場合が少なくは無く、結果としてディスプレイの性能を十分に活かしきれず、立体感が制限されている。

そこで、本開示では、画質の劣化を抑制し、かつ立体感を強調することが可能な、新規かつ改良された画像処理方法、画像処理装置、及び電子機器を提案する。

本開示によれば、原画像と、当該原画像中の各画素に関連付けられた視差値の分布を示す視差マップとを取得することと、プロセッサに、取得された前記原画像と前記視差マップとに基づき、視差のダイナミックレンジを決定させることと、前記視差マップ中の各視差が、決定された前記視差のダイナミックレンジ内に分布するように、当該視差マップを変換することと、を含む、画像処理方法が提供される。

また、本開示によれば、原画像と、当該原画像中の各画素に関連付けられた視差値の分布を示す視差マップとを取得する取得部と、取得された前記原画像と前記視差マップに基づき、視差のダイナミックレンジを決定する視差レンジ決定部と、前記視差マップ中の各視差が、決定された前記視差のダイナミックレンジ内に分布するように、当該視差マップを変換する視差レイアウト変換部と、を含む、画像処理装置が提供される。

また、本開示によれば、原画像と、当該原画像中の各画素に関連付けられた視差値の分布を示す視差マップとを取得する取得部と、取得された前記原画像と前記視差マップに基づき、視差のダイナミックレンジを決定する視差レンジ決定部と、前記視差マップ中の各視差が、決定された前記視差のダイナミックレンジ内に分布するように、当該視差マップを変換する視差レイアウト変換部と、を含む、電子機器が提供される。

以上説明したように本開示によれば、質の劣化を抑制し、かつ立体感を強調することが可能な、新規かつ改良された画像処理方法、画像処理装置、及び電子機器が提供される。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の実施形態に係る画像処理装置を含むシステムの概略的な構成の一例を示した説明図である。 同実施形態に係る表示装置の概略的な構成の一例を示した説明図である。 クロストークにより、見える画像にボケや二重像が発生した例を示す模式図である。 ２視点以上の視点画像を表示する立体視表示装置における視差制御の一例について説明するための図である。 クロストークのモデル式を示す模式図である。 クロストークによる劣化量の計算の方法を示す模式図である。 クロストーク劣化量ΔＩの視差依存性を示す模式図である。 クロストーク劣化量ΔＩのコントラスト／空間周波数依存性を示す模式図である。 クロストーク劣化量ΔＩの視差遷移グラフの学習方法の例を示す模式図である。 学習データの解析結果（クラスごとのサンプルデータの平均）を示す特性図である。 ヒストグラムの平坦化にについて説明するための説明図である。 視差レイアウトの変換に係る処理の概要について説明するための説明図である。 視差レイアウトの変換に係る処理の処理結果の一例を示している。 本開示の第１の実施形態に係る画像処理装置の機能構成の一例を示したブロック図である。 原画像の一例である。 視覚特性ＪＮＤと輝度との関係を示す特性図である。 空間周波数、画像中の物体の動き、及びコントラスト感度の関係を示す特性図である。 視差マップの一例である。 視差の分布を示すヒストグラムの一例を示す模式図である。 原画像中における前方ＲＯＩ及び後方ＲＯＩの一例を示す模式図である。 後方ＲＯＩにおける最大視差量のヒストグラムの一例である。 前方ＲＯＩにおける最大視差量のヒストグラムの一例である。 最大視差量マップの一例である。 視差レイアウト変換部の機能構成の一例を示したブロック図である。 視差の分布を平坦化するためのＩ／Ｏカーブの一例を示す模式図である。 中間レイヤにおける最大の視差量が、最手前や最奥の最大の視差量よりも大きくなる場合の原画像の一例を示す。 図２４に示した原画像に対応した視差マップの一例を示す模式図である。 図２４に示した原画像の最大視差量マップの一例を示す模式図である。 位相差決定部が、実際に表示する視点画像の位相差を決定する方法の一例を示している。 本開示の第２の実施形態に係る画像処理装置の機能構成の一例を示したブロック図である。 本開示の第３の実施形態に係る画像処理装置の機能構成の一例を示したブロック図である。 変形例１に係る画像処理装置の動作について説明するための説明図である。 視差量毎に注目度のスコアを累積したヒストグラムを示す模式図である。 重み付け視差ヒストグラムを示す模式図である。 変形例２に係る視差レイアウトを変換するためのＩ／Ｏカーブの一例を示す模式図である。 ＲＧＢのサブピクセルとそのクロストーク比を示す平面図であって、パララックス素子の傾きによるクロストーク比を示す模式図である。 ＲＧＢのサブピクセルとそのクロストーク比を示す平面図であって、パララックス素子の傾きによるクロストーク比を示す模式図である。 色割れによる縞模様が発生した例を示す模式図である。 色割れが発生しない最大の視差量を推定する方法を示す模式図である。 ハードウェア構成の一例を示した図である。 本開示の実施形態に係る画像処理装置の適用例（テレビジョン装置）の外観を表す斜視図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．概要
２．表示装置の構成
３．課題の整理
４．原理の説明
４．１．クロストークのモデル式
４．２．学習によるクロストーク劣化量ΔＩの視差遷移の推定
４．３．ヒストグラムの平坦化と視差レイアウトの変換への応用
５．第１の実施形態
６．第２の実施形態
７．第３の実施形態
８．変形例
８．１．変形例１
８．２．変形例２
８．３．変形例３
９．ハードウェア構成
１０．適用例
１１．まとめ

＜１．概要＞
まず、図１を参照しながら、本開示の実施形態に係る画像処理装置の概要について説明する。図１は、本実施形態に係る画像処理装置を含むシステムの概略的な構成の一例を示した説明図である。

図１に示すように、本開示の実施形態に係る画像処理装置１０は、表示装置２０に接続される。なお、画像処理装置１０は、表示装置２０に内蔵されてもよい。以降では、画像処理装置１０が、表示装置２０とは別筐体として設けられているものとして説明する。

本開示の実施形態に係る表示装置２０は、表示装置２０の表示面の前方において互いに異なる所定の位置に複数（少なくとも２以上）の仮想視点をあらかじめ設定し、当該仮想視点のそれぞれで異なる視点映像を視聴可能に構成されている。このような構成により、例えば、視聴者の左右の目がそれぞれ異なる仮想視点となるように、各仮想視点の位置をあらかじめ調整し、各仮想視点に異なる視差が設定された視差画像を表示させることで、視聴者は、立体感を持った画像を視聴することが可能となる。表示装置２０の具体的な一例として、裸眼３Ｄディスプレイが挙げられる。

画像処理装置１０は、表示対象となる原画像を外部から取得し、取得した原画像に基づき各仮想視点に対応する視点画像を生成して表示装置２０に出力する。例えば、画像処理装置１０は、静止画像や動画像などの画像を含む放送を受信するためのアンテナ３０に接続されていてもよい。

なお、本説明において原画像とは、各仮想視点に対応する視点画像の生成元となる画像を示すものであり、当該視点画像を生成可能であれば、その態様は特に限定されない。例えば、原画像は、静止画像であってもよいし、動画像であってもよい。また、原画像は、立体視を実現するための、所謂、ステレオ画像であってもよいし、立体視を考慮していない画像（換言すると、１視点分の画像）であってもよい。なお、立体視を考慮していない画像を原画像として取得した場合には、画像処理装置１０が、当該原画像に対して画像解析を施すことで、当該解析結果に基づき各視点画像を生成すればよい。また、ステレオ画像を原画像とする場合においても、当該ステレオ画像よりも多くの視点を考慮した視点画像を必要とする場合には、画像処理装置１０が、当該原画像に対して画像解析を施すことで、必要とされる視点分の視点画像を生成すればよい。

また、画像処理装置１０が原画像を取得する取得元は特に限定されない。例えば、図１に示すように、画像処理装置１０は、放送として配信された原画像を、アンテナ３０を介して受信してもよい。また、他の一例として、画像処理装置１０は、外部メディアに記録された原画像を当該外部メディアから読み出してもよい。また、他の一例として、画像処理装置１０内に原画像を記憶するための記憶部を設け、画像処理装置１０は、当該記憶部に記憶された原画像を読み出す構成としてもよい。

＜２．表示装置の構成＞
次に、図２を参照しながら、本開示の実施形態に係る表示装置２０の構成の一例について説明する。図２は、本実施形態に係る表示装置の概略的な構成の一例を示した説明図である。なお、図２において、横方向で示されたｘ方向は、表示装置２０の表示面に対する水平方向を示しており、図面に対して垂直な方向で示されたｙ方向は、表示装置２０の表示面に対する垂直方向を示している。また、縦方向で示されたｚ方向は、表示装置２０の表示面に対する奥行き方向を示している。

図２に示すように、表示装置２０は、バックライト２１と、バリア２３と、表示パネル２５とを含む。図２に示す構成は、例えば、表示パネル２５として液晶パネルを使用した表示装置（ディスプレイ）を示しており、バックライト２１から照射され表示パネル２５を透過した光が像として視聴者に到達する。図２に示す構成では、バックライト２１の前方にバリア２３が設けられている。また、バリア２３の前方には、当該バリア２３と所定の距離だけ離間した位置に表示パネル２５が設けられている。

バリア２３は、例えば、レンチキュラ板やパララクスバリア等の光学部材からなる。バリア２３には、ｘ方向に沿って開口部が所定の周期で設けられており、バックライト２１から照射された光のうち、バリア２３の開口部を通過した光のみが表示パネル２５に到達する。

表示パネル２５は、複数の画素を含む。また、表示パネル２５の各画素は、あらかじめ設定された複数の仮想視点のいずれかを示すインデックスが関連付けられており、当該インデックスに対応した視差画像の画素を表示するように構成されている。なお、各画素と各インデックスとの間の関連付けは、バリア２３、表示パネル２５、及び各仮想視点の間の位置関係に応じて、あらかじめ設計されている。

具体的な一例として、図２に示す例では、表示パネル２５は、それぞれ異なる仮想視点に対応したインデックスが関連付けられた画素２５ａ〜２５ｄを含む。例えば、図２に示された仮想視点Ｍ_Ｌには、バリア２３の開口部を透過した光Ｌａが、画素２５ａを透過して収束し、仮想視点Ｍ_Ｒには、バリア２３の開口部を透過した光Ｌｂが、画素２５ｂを透過して収束するように設計されている。このとき、例えば、仮想視点Ｍ_Ｌに視聴者の左目が位置し、仮想視点Ｍ_Ｒに視聴者の左目が位置する場合に、画素２５ａに左目用の視差画像を表示させ、画素２５ｂに右目用の視差画像を表示させることで、視聴者は、立体感を持った画像を視聴することが可能となる。

なお、図２に示す例はあくまで一例であり、視点の位置に応じて異なる視差画像を観測することが可能であれば、表示装置２０の構成は特に限定されない。具体的な一例として、表示パネル２５の前面にバリア２３を設ける構成としてもよい。

＜３．課題の整理＞
２視点以上の視点画像を表示する立体視表示装置（例えば、表示装置２０）の場合、ディスプレイの光学特性上の理由から、近隣の視点画像から各視点画像へ光が漏れ込んでくる、クロストークと呼ばれる現象が発生する場合がある。クロストークが生じると、左右両眼用の立体視表示画像としてボケや二重像等のような画像の歪みが生じる可能性があり、画質が著しく低下する場合がある。例えば、図３は、クロストークにより、見える画像にボケや二重像が発生した例を示す模式図である。図３に示すように、クロストークにより画像にボケや二重像が発生し、視差が大きくなるほどボケや二重像が増加する。すなわち、画質と視差はトレードオフの関係にあり、画質を一定のレベルだけ担保したまま表示できる視差の範囲には限界がある。

一方で、視差は、ディスプレイの表示面に対して奥行き方向の手前側及び奥側の双方に設定することが可能であるが、視差の分布が当該表示面に対して奥行き方向の一方に偏っている場合もある。例えば、図４は、２視点以上の視点画像を表示する立体視表示装置における視差制御の一例について説明するための図である。図４における比較例１は、視差の分布が表示面に対して奥行き方向の一方（手前側）に偏っている場合の例を示している。即ち、比較例１に示す例では、奥行き方向に異なる位置に配置された画像ｎ１１及びｎ１２それぞれが、表示面を基準として手前側に偏っている状態を示している。

また、比較例２は、奥行き方向の手前及び奥について、クロストークの影響が生じ得る視差（以降では、「限界表示視差」と呼ぶ場合がある）を算出し、比較例１に係る画像ｎ１１及びｎ１２の視差を、限界表示視差の範囲内に制限した場合の例を示している。

比較例２に示す技術では、ディスプレイの特性や画像の特徴からボケや二重像が発生しない最大視差量を推定し、推定結果に基づき、奥行き方向の手前及び奥について、クロストークの影響が生じない限界の視差（以降では、「限界表示視差」と呼ぶ場合がある）を算出する。そして、比較例２に示す技術では、比較例１における画像ｎ１１及びｎ１２の視差値をゲイン倍することで、変換後の画像ｎ２１及びｎ２２の視差値を、算出した限界表示視差の範囲内に制限している。そのため、画像ｎ２１及びｎ２２が手前側に集中して、奥側の視差範囲を有効に利用できず（即ち、ディスプレイの性能を十分に活かしきれず）、結果として立体感が制限されている場合がある。

また、比較例３は、比較例１に係る画像ｎ１１及びｎ１２を、表示面を基準として手前側と奥側の視差範囲双方が活用されるように、参照符号ｎ３１及びｎ３２で示される位置に再配置した場合の例を示している。なお、各画像を奥行き方向に沿って再配置する処理を、以降では「視差レイアウトの変更」と呼ぶ場合がある。

比較例３に示すように、比較例１における画像ｎ１１及びｎ１２の視差レイアウトを変更することで、手前側及び奥側の双方の視差範囲が活用され、比較例１、２に示す例に比べてより立体感を強調することが可能となる。その一方で、比較例３に係る例の場合には、各画像ｎ３１及びｎ３２について視差が発生する範囲を正確に推定することが困難であり、限界表示視差の範囲外においてクロストークが生じ、ボケや二重像等のような画像の歪みが顕在化する場合がある。

これに対して、比較例２及び３に示す技術を組み合わせることで、限界表示視差の範囲を有効に利用する方法が考え得る。しかしながら、単に、比較例２及び３に示す技術を組み合わせるのみでは、限界表示視差の範囲を有効に利用することは困難である。

具体的な一例として、比較例３に係る技術に基づき視差レイアウトを変更することで視差の範囲を拡大し、次いで、比較例２に係る技術に基づき視差の範囲を制限する方法が考え得る。しかしながら、視差レイアウトの変更時には、手前側及び奥側の最大視差量を仮定することが困難であり、また、表示面に対して手前側と奥側との間で視差範囲の比が一定とは限らない。そのため、比率の小さい側における視差が最大視差よりも小さくなり、結果として視差範囲を有効に利用できなくなる場合がある。

また、他の一例として、比較例２に係る技術に基づき視差の範囲を抑制し、次いで、比較例３に係る技術に基づき視差レイアウトを変更することで視差の範囲を拡大する方法が考え得る。この場合には、視差レンジの手前側及び奥側における最大視差量を仮定（算出）することが可能であるが、ボケや二重像が発生しやすいオブジェクトは必ずしも最手前または最奥に位置するとは限らず、視差レンジ内の中間レイヤでボケや二重像が発生する場合がある。

そこで、本実施形態に係る画像処理装置１０では、ボケや二重像のような画質の劣化を抑制し、かつ、視差範囲を有効に活用することで立体感を強調可能とすることを目的とする。

＜４．原理の説明＞
次に、本実施形態に係る画像処理装置１０における視差制御に係る各処理の原理について説明する。
［４．１．クロストークのモデル式］
まず、本実施形態における、クロストークのモデル式について説明する。本実施形態では、クロストークによって発生するボケのある画像、二重像（以下、ボケ・二重像という）と画像特徴の相関を考慮し、ディスプレイの視差表示性能を最大限発揮する視差制御を実現する。クロストークによって発生するボケ・二重像と画像特徴の相関は、図５に示すクロストークのモデル式から導出される。

本実施形態の骨子を説明するため、先ず、ボケ・二重像の知覚の劣化モデルを説明する。一般的に、画質の劣化は、評価の基準となる基準画像Ｆと、評価の対象となる評価画像Ｇとの差分値で客観評価できる。これを立体視表示装置のボケ・二重像の発生に適用すると、基準画像Ｆは原画像（本来表示したい画像）であり、評価画像Ｇは視差をつけた場合に実際に見える画像となる。評価画像Ｇと基準画像Ｆの差分値がクロストークによる劣化量である。この計算は画像の階調値によって計算するが、画像の階調値と画素の物理的な輝度の関係はγ特性として明らかになっている。すなわち、クロストークによる劣化量は物理量（輝度）として定義される。以下では、画像の階調値での計算方法を示す。

図６は、クロストークモデル式による劣化量の計算の方法を示す模式図である。先ず、クロストークモデルを用いて、原画像Ｆから見える画像Ｇを計算する。クロストークモデルは、ディスプレイの輝度プロファイルから得ることができる。例えば、図６に示すように、視点５が見える位置に目がある場合、視点５の画像は支配的に見え、この強度を１とする。このとき、隣接する視点４、６はαだけ見え、さらに２つ隣りの視点３、７はβだけ見え、それ以上離れた視点はγだけ見える。視点５以外の位置に目がある場合もこれらの１、α、β、γの関係を得ることができる。この関係から、原画像Ｆと見える画像Ｇの関係を行列とし定義したものがクロストークモデル行列である。図６に示すように、クロストークモデル行列は１、α、β、γを要素にもつ対角行列として定義される。基準画像Ｆ（原画像）に対しクロストークモデル行列を積算すると、見える画像Ｇを生成することができる。クロストークモデル行列は画像のボケ・二重像を発生させる、ローパスフィルタとしての性質を持つ。

次に、見える画像Ｇ（評価画像）と基準画像Ｆ（原画像）の差分値、すなわち、クロストーク劣化量ΔＩを求める。図６の右下の図では、視点４に対し、見える画像Ｇ（評価画像）と基準画像Ｆ（原画像）の差分をとり、クロストーク劣化量ΔＩを求めている。クロストーク劣化量ΔＩは、輝度で表され、図６の右下の図において、輝度が明るい領域ほどクロストーク劣化量ΔＩが大きくなる。視差を変えて反復計算を繰り返すと、クロストーク劣化量ΔＩの視差遷移を画像データとして得ることができる。

図７は、クロストーク劣化量ΔＩの視差依存性を示す模式図である。図７では、視差を０ピクセル（ｐｉｘ）から１ピクセル（ｐｉｘ）、３ピクセル（ｐｉｘ）、６ピクセル（ｐｉｘ）と順次に増加させ、図３に示す見える画像Ｇのクロストークが劣化する様子を示している。例えば視差が０ピクセルの場合は２次元画像であり、視差が０より大きくなるほど３次元画像の場合は表示対象の深さ方向の位置が基準位置（ディスプレイ面）から離れていく。図７に示すように、視差を増加させると、クロストーク劣化量ΔＩは増加する傾向にある。クロストーク劣化量ΔＩが一定量の閾値を超えると、人はボケ・二重像を知覚し、画質が劣化したように知覚する。

本実施形態では、デバイスのクロストークと画像特徴を利用し、ボケ・二重像が発生する画素数が一定の数以下（例えば画像全体の画素数の１％など）に収まるような視差を決定する。

次に、具体的な実現方法として、学習によるクロストーク劣化量ΔＩの視差遷移を推定する方法について説明する。

［４．２．学習によるクロストーク劣化量ΔＩの視差遷移の推定］
上記のように、各画素に対して図６の計算を反復計算し、画素毎にクロストーク劣化量ΔＩを求めることで、ボケ・二重像が発生する画素数が一定の数以下（例えば画像全体の画素数の１％など）に収まるような視差を決定することができる。しかしながら、図６に示した行列式を用いてリアルタイム動画像処理を実現すると、クロストーク劣化量ΔＩが前述したボケ・二重像の知覚閾値を超えるまで行列計算を反復して行わなければならないため、計算量が大きくなる。そこで、本開示の実施形態では、クロストーク劣化量ΔＩの視差依存性に加え、クロストーク劣化量ΔＩのコントラスト／空間周波数への依存性を利用することで、クロストーク劣化量ΔＩの視差遷移を推定するフレームワークを構築する。

図８は、クロストーク劣化量ΔＩのコントラスト／空間周波数依存性を示す模式図である。図８は、図７と同様に多視点画像の視差を一様につけたときのクロストーク劣化量を示しており、一例として画面全体で５ピクセル（ｐｉｘ）の視差を付けた場合を示している。ここで、図８の上段の図は、図４に示した方法により、見える画像Ｇ（評価画像）と基準画像Ｆ（原画像）との差分から得たクロストーク劣化量ΔＩを示している。また、図８の下段の図は、基準画像Ｆ（原画像）を示している。図６と同様に、上段のクロストーク劣化量ΔＩを示す画像においては、白い部分がクロストーク劣化量の大きい部分を示している。

図８に示すように、クロストーク劣化量ΔＩは、コントラストが高いほど急激に増加し、空間周波数が高いほど急激に増加する。例えば、図８の左の人の顔（領域Ａ１）と右の花の茎（領域Ａ２）のクロストーク劣化量ΔＩを比較すると、花の茎周辺の領域Ａ２は、顔周辺の領域Ａ１と比較して図３の上段の図でより白くなっており、クロストーク劣化量ΔＩが大きい。一方、原画像において、領域Ａ１，Ａ２のコントラスト／空間周波数を比較すると、人の顔（領域Ａ１）と花の茎（領域Ａ２）は両方ともコントラスト（局所的な階調変化のダイナミックレンジ）は同程度であるが、人の顔は空間周波数が低く（階調の空間変化の間隔が広く）、花の茎は空間周波数が高い（階調の空間変化の間隔が狭い）。また、コントラストが低い領域は全体的にクロストーク劣化量ΔＩが小さいが、コントラストが同じであってもクロストーク劣化量ΔＩは空間周波数によって相違することになる。このように、クロストーク劣化量ΔＩは視差が増えるにつれて増加傾向で変化していき、また、変化の特性はコントラスト／空間周波数に対して依存性がある。従って、クロストーク量ΔＩの視差／コントラスト／空間周波数への依存性は、以下の式で表すことができる。

ただし、Ｃｓｆは空間周波数ごとにＮ個に分解されるコントラストベクトル、Ｃｉは空間周波数ｉのコントラスト、ｓ_ｉはある視差におけるコントラストＣｉの劣化への影響度を表す係数、ｄｉｓｐは視差、Ｎ（σ）は残差である。さらに、数式１の第１項は以下のように表すことができる。

数式２のコントラスト／空間周波数を表すＣｓｆを固定して考えると、右辺の第１項（ΔＩハットと称する）は、Ｃｓｆにおけるクロストーク劣化量ΔＩの視差遷移の統計値と解釈することができる。この性質を利用し、予めオフラインでクロストーク劣化量ΔＩの視差遷移グラフを学習し、学習結果をリアルタイムの画像処理へ応用する。

図９は、クロストーク劣化量ΔＩの視差遷移グラフの学習方法の例を示す模式図である。ここでは、学習方法を４つのステップに分けて説明する。学習の第１のステップでは、原画像Ｆのコントラスト／空間周波数を解析する。具体的には、Ｎ個の帯域通過型の画像フィルタを用いて、原画像ＦをＮ個の空間周波数ごとのコントラストマップに分解する。ここで、帯域通過型フィルタとしては、例えば、Ｇａｂｏｒフィルタ、ＬＯＧフィルタなどの既存の帯域通過型の画像フィルタを用いることができる。これにより、Ｎ個のフィルタの出力として、空間周波数ごとにその成分がＮ個に分解され、コントラスト／空間周波数の関係を表すコントラストベクトルＣｓｆ＝（Ｃ_０，Ｃ_１，．．．，Ｃ_Ｎ−１）が画素毎に得られる。コントラストベクトルＣｓｆの各成分（要素）は、空間周波数毎のコントラストを表している。

第２のステップとして、クロストーク劣化量ΔＩのマップを種々の視差で生成する。具体的には、視点画像間の視差量（画素のずれ量）を変えながら多視点画像を生成し、クロストークモデルを用いて視差毎にクロストーク劣化量ΔＩを求める。このステップでは、画像ごとにクロストーク劣化量ΔＩマップを種々の視差に対して計算する。つまり、数式２の統計値ΔＩハットを計算するための、サンプルデータを計算する。このサンプルデータ作成のためにのみ、図６のクロストークモデルを用いる。

第３のステップとして、クロストーク劣化量ΔＩの視差遷移をデータベース化する。具体的には、クロストーク劣化量ΔＩのコントラスト／空間周波数に対する依存性を利用し、コントラスト／空間周波数を表すＣｓｆごとにクラス分けをし、クラスごとにクロストーク劣化量ΔＩの視差遷移データを保持する。

一例として、図８で説明した左の人の顔（領域Ａ１）と右の花の茎（領域Ａ２）におけるクロストーク劣化量ΔＩの比較を説明する。先に説明したように、図８の左の人の顔（領域Ａ１）と右の花の茎（領域Ａ２）はコントラストが同程度であるが、空間周波数の分布が異なる。空間周波数分布については、人の顔の空間周波数は低い帯域が支配的で、花の茎の空間周波数は高い周波数が支配的である。

図１０に基づいて、上述した第１〜第３のステップについて具体的に説明する。図１０は、学習データの解析結果（クラスごとのサンプルデータの平均）を示す特性図である。図１０では、フィルタ数をＮ＝４とし、同一コントラストでの比較のため、帯域通過型フィルタの応答を、支配的な空間周波数のコントラストを１として正規化し、各フィルタの応答の比率によってクラス分けをした例を示している。

図１０に示す例では、４つのフィルタによって空間周波数毎にその成分が分解されたコントラストベクトルＣｓｆ＝（Ｃ０，Ｃ１，Ｃ２，Ｃ３）＝（ｒ１ｃｐｄ，ｒ２ｃｐｄ，ｒ４ｃｐｄ，ｒ８ｃｐｄ）が求められる（第１のステップ）。図１０では、得られたコントラストベクトルの成分に応じて、人の顔の画像（領域Ａ１）に多いクラスと、花の茎など細線の画像（領域Ａ２）に多いクラスのそれぞれに該当するコントラストベクトルを示している。上述したように、人の顔の空間周波数は低い帯域が支配的で、花の茎の空間周波数は高い周波数が支配的である。従って、人の顔の画像に多いクラスに分類されたコントラストベクトルは、低い空間周波数の帯域に対応する成分が高い空間周波数の帯域に対応する成分よりも大きくなっている。また、花の茎など細線の画像に多いクラスに分類されたコントラストベクトルは、高い空間周波数の帯域に対応する成分が低い空間周波数の帯域に対応する成分よりも大きくなっている。

従って、コントラストベクトルの成分に基づいて画像のクラス分けを行うことができる。任意の画像にフィルタ処理を施すことで、当該任意の画像が、例えば人の顔（領域Ａ１）の画像のクラスに属する画像であるか、花の茎（領域Ａ２）の画像のクラスに属する画像か、あるいは他のクラスに属する画像であるかを判断することができる。

図１０に示すように、人の顔の画像（領域Ａ１）に多いクラスと、花の茎など細線の画像（領域Ａ２）に多いクラスのそれぞれに該当するコントラストベクトルについて、視点画像間の視差量（画素のずれ量）を変えながら多視点画像を生成し、クロストークモデルを用いて視差毎にクロストーク劣化量ΔＩを求める（第３のステップ）。これによって、図１０に示すように、空間周波数の違いによるクロストーク劣化量ΔＩの視差遷移グラフが、人の顔の画像（領域Ａ１）に多いクラス（図１０中に実線で示す）と、花の茎など細線の画像（領域Ａ２）に多いクラス（図１０中に破線で示す）のそれぞれについて作成される。２つの視差遷移グラフの比較を行うと、結果として、左の人の顔（領域Ａ１）に多く分布するコントラスト／空間周波数のクラスではクロストーク劣化量ΔＩの視差遷移が緩やかに増加傾向にあるのに対し、右の花の茎（領域Ａ２）に多く分布するコントラスト／空間周波数のクラスではクロストーク劣化量ΔＩの視差遷移が急激に増加する傾向にあることがわかる。これは、図８で説明した定性的な知見と一致する。

次に、第４のステップとして、第３のステップで得られたクラスごとのクロストーク劣化量ΔＩの視差遷移データに対して最小二乗法等による回帰分析を行い、クロストーク劣化量ΔＩの視差遷移を関数化する。回帰分析によって、クロストーク劣化量ΔＩが視差／コントラスト／空間周波数の関数、すなわちΔＩハットとして算出することができる。このステップでは、情報圧縮のため、クロストーク劣化量ΔＩを視差／コントラスト／空間周波数を引数とした関数化を行う。図１０の例では、左の人の顔（領域Ａ１）に多く分布するコントラスト／空間周波数のクラスでは、視差（横軸）の増加量に対してクロストーク劣化量ΔＩ（縦軸）が緩やかに増加する関数（図１０中に実線で示す）が得られる。また、右の花の茎（領域Ａ２）に多く分布するコントラスト／空間周波数のクラスでは、視差（横軸）の増加量に対してクロストーク劣化量ΔＩ（縦軸）急激に増加する関数（図１０中に破線で示す）が得られる。これにより、クロストーク劣化量ΔＩは、以下の式により表すことができる。
ΔＩ＝Ａ（Ｃｓｔ）×ｄｉｓｐ

十分なデータ量のテーブルを保持できる場合であれば、クラスごとにクロストーク劣化量ΔＩの平均値を計算し、関数ではなくデータのテーブルとして保持することもできる。また、関数化においては線形・非線形などの方式や、折れ線、定義域・値域の保持などのいずれの方法をとってもよい。

図９の右下に示すグラフは、第４のステップで得られたグラフを示している。なお、図９では、クロストーク劣化量ΔＩと視差との関係を線形に関数化した例を示している。図９に示す例では、画像の種類に応じてクロストーク劣化量ΔＩと視差との関係を示す特性の傾きが変化する。上述のように、人の顔（領域Ａ１）に多く分布するクラスは傾きが小さい特性Ｃ１となり、花の茎（領域Ａ２）に多く分布するクラスは傾きが大きい特性Ｃ２となる。以上の４つのステップにより、数式２に示すΔＩハットを学習により計算することができる。

このように、学習により得られたΔＩハットは、コントラストベクトルＣｓｆ毎に、視差とクロストーク劣化量ΔＩとの関係を規定したデータベース（関数、又はテーブル等）として構築されることになる。

［４．３．ヒストグラムの平坦化と視差レイアウトの変換への応用］
次に、視差レイアウトを変換する技術（以降では、「視差拡大技術」と呼ぶ場合がある）について説明する。本開示の実施形態では、原画像の視差分布を示すヒストグラムを平坦化することで、入力視差（変換前）と出力視差（変換後）の関係を示すＩ／Ｏカーブ（換言すると、変換テーブル）を生成し、当該Ｉ／Ｏカーブに基づき視差レイアウトを変換する。そこで、まず、図１１を参照しながら、コントラストの変換を例に、ヒストグラムの平坦化にについて説明する。

参照符号Ｓ１０１は、コントラストが変換される前の原画像と、当該原画像の階調値の分布を表現したヒストグラムを示している。変換前の原画像のヒストグラムが示すように、変換前の原画像の階調値は「０」側（即ち、暗い側）に偏っており、当該原画像も全体的に暗くかつコントラストが低くなっていることがわかる。

参照符号Ｓ１０３は、参照符号Ｓ１０１に示すような階調値が「０」側に偏ったヒストグラムを平坦化するためのＩ／Ｏカーブの一例を示している。参照符号Ｓ１０３の上側に示すＩ／Ｏカーブは、横軸（ｘ軸）が原画（即ち、変換前）の階調値を示しており、縦軸（ｙ軸）が処理画（即ち、変換後）の階調値を示している。参照符号Ｓ１０３に示すように、当該Ｉ／Ｏカーブは、変換前における低階調側の階調値が高階調側に変換されるような非線形曲線ｙ＝ｆ（ｘ）で示される。なお、ｙ＝ｘとした場合には変換前後で階調値が変わらない、即ち、変換を行わない場合を示している。

参照符号Ｓ１０３の上側に示すＩ／Ｏカーブは、例えば、参照符号Ｓ１０１に示したヒストグラムに基づき生成される。具体的には、当該ヒストグラムに示された階調値の頻度を階調の「０」側から「２５５」側に向けて走査しならが積算することで、参照符号Ｓ１０３の下側に示すような、階調値（横軸）と、当該階調値の累積頻度（縦軸）との関係を示すグラフが生成される。そして、生成されたグラフにおける階調値の累積頻度（即ち、縦軸）を「０」から「２５５」の階調値に正規化することで、上側に示されたＩ／Ｏカーブが生成される。

参照符号Ｓ１０５は、参照符号Ｓ１０３に示すＩ／Ｏカーブに基づき、参照符号Ｓ１０１に示す原画像の階調値を変換した結果として、変換後の原画像と、当該原画像の階調値の分布を表現したヒストグラムを示している。変換前と変換後との間で原画像のヒストグラムを比較するとわかるように、変換前において「０」側（即ち、暗い側）に偏っていた階調値が、変換後には偏りなく分布するように変換されている。これに伴い、変換後の原画像において、階調値の偏りが緩和され、コントラストが高くなっていることがわかる。

以上のようにして、原画像の変換前後において階調値のヒストグラムを平坦化することで、当該原画像のコントラストを補正することが可能となる。

本開示の実施形態に係る画像処理装置１０では、上記に説明したヒストグラムの平坦化に係る処理を、原画像の視差分布を示すヒストグラムに適用することで、より視差が強調されるように、視差レイアウトの変換を行う。以下に、図１２を参照しながら、本開示の実施形態に係る画像処理装置１０における視差レイアウトの変換に係る処理の概要について説明する。

図１２に示すように、本開示の実施形態に係る画像処理装置１０では、原画像の視差分布を示すヒストグラムを入力として、主に４つのフェーズにより視差レイアウトを変換するための、入力視差（変換前）と出力視差（変換後）との関係を示すＩ／Ｏカーブを生成する。

まず、フェーズ１において、画像処理装置１０は、左目用画像と右目用画像との間の視差（以降では、「ＬＲ視差」と呼ぶ場合がある）の分布を示すヒストグラムに基づき、ＬＲ視差のダイナミックレンジを算出する。なお、ＬＲ視差のヒストグラムは、例えば、原画像に対応した視差マップに基づき生成すればよい。なお、視差マップとは、原画像中の各画素の視差値（即ち、奥行き方向のどの位置を示しているかを示す値）の分布を示している。また、図１２に示すヒストグラムは、横軸（ｘ軸）が、ディスプレイの表示面の位置を「０」とした奥行き方向の位置を示し、縦軸（ｙ軸）が頻度を示している。なお、以降の説明では、奥行き方向の視差値について、手前側を「＋側」、奥側を「−側」として説明する場合がある。

次いで、フェーズ２において、画像処理装置１０は、奥行き方向の位置に応じて重み付けを行い、当該重み付けに基づき視差分布を変換する。例えば、図１２に示す例では、画像処理装置１０は、視差範囲をｃｆ０〜ｃｆ７の領域に分割し、奥側（−側）に位置する領域ほど視差分布が小さくなるように変換している。図１２に示す例では、画像処理装置１０は、ヒストグラム中のハッチが付されていない部分を除去することで、奥側（−側）に位置する領域ほど視差分布が小さくなるように、当該ヒストグラムを変換している。これにより、図１２に示す例では、奥側（−側）の視差分布に対して、手前側（＋側）の視差分布が相対的に大きくなる。

視差分布を変換した後、フェーズ３において、画像処理装置１０は、視差レンジを変換する。例えば、図１２に示す例では、画像処理装置１０は、手前側（＋側）に偏っていた視差分布が、ボケや二重像が発生しづらい±５［ｐｉｘ］の範囲に収まるように、ヒストグラムの視差レンジをゲイン倍することで変換している。

以上のようにして、画像処理装置１０は、変換前後の視差分布のヒストグラムを生成する。画像処理装置１０は、フェーズ４に示すように、当該変換前後のヒストグラムに示された視差値の頻度を、奥行き方向の最も奥側から手前側に向けて走査しならが積算することで、視差値と、当該視差値の累積頻度との関係を示すグラフを生成する。そして、画像処理装置１０は、生成されたグラフにおける視差値の累積頻度を許容される視差レンジ内の視差値（例えば、±５［ｐｉｘ］の範囲内の視差値）に正規化することで、視差レイアウトを変換するためのＩ／Ｏカーブを生成する。

即ち、図１２に例では、画像処理装置１０は、視差のダイナミックレンジ内において、参照符号ｇ１２で示すように奥行き方向の手前側（即ち、前景側）の視差変化が強調されるように、Ｉ／Ｏカーブを生成する。また、図１２に示す例では、画像処理装置１０は、視差のダイナミックレンジ外においては、Ｉ／Ｏカーブをクリッピングすることで、変換後の視差値の分布を±５［ｐｉｘ］の範囲内に収めている。

図１３は、上述した視差レイアウトの変換に係る処理の処理結果の一例を示している。図１３に示す変換前の原画像は、左上に示した変換前におけるＬＲ画像の視差マップに示すように、視差が−４３［ｐｉｘ］から−２８［ｐｉｘ］の範囲に分布している。このような原画像及び視差マップに基づき生成される視差レイアウトを変換するためのＩ／Ｏカーブを図面の左下に示す。

図面左下のＩ／Ｏカーブにおいて、横軸は、ＬＲ画像の視差、即ち、変換前の視差マップにおける視差を示している。また、縦軸は、ディスプレイに表示する視差、即ち、変換後の視差マップにおける視差を示している。

図面左下のＩ／Ｏカーブが示す例では、変換前のＬＲ画像の視差マップにおける視差のダイナックレンジ内、即ち、−４３［ｐｉｘ］から−２８［ｐｉｘ］の範囲の視差が、±５［ｐｉｘ］の範囲に変換されるように生成されている。

このときの視差変化の関係を模式的に示したＩ／Ｏカーブを、図面の右上に示す。図面右上のＩ／Ｏカーブの参照符号ｇ１４に示すように、当該Ｉ／Ｏカーブを定義することで、奥行き方向の手前側（即ち、前景側）が強調され、結果として、前後関係が強調されるため立体感が向上する。このような視差変化の関係が、図面左下のＩ／Ｏカーブにおいても、ＬＲ画像の視差レンジの範囲内に示されている。

以上のようにして、左下に示すＩ／Ｏカーブに基づき変換された視差マップを、図１３の右下に示す。当該視差マップに示すように、変換後の視差マップでは、視差のダイナミックレンジが±５の範囲内に収められている。また、視差マップにおいて、各視差を示す領域間のコントラストが向上していることから、前後関係が強調されていることがわかる。

以上、本実施形態に係る画像処理装置１０における視差制御に係る処理の原理について説明した。

＜５．第１の実施形態＞
次に、第１の実施形態に係る画像処理装置１０について、図１４を参照しながら説明する。図１４は、本実施形態に係る画像処理装置１０の機能構成の一例を示したブロック図である。

図１４に示すように、本実施形態に係る画像処理装置１０は、画像解析部１０２と、最大視差量推定部１０４と、最大視差レンジ決定部１０６と、視差レイアウト変換部１２０と、最大位相差推定部１３０と、位相差決定部１３２とを含む。

画像解析部１０２は、表示装置２０に表示させる各視点画像の生成元である原画像を外部から取得する。なお、前述したとおり、画像解析部１０２は、放送として配信された原画像を、アンテナ３０を介して受信してもよいし、外部メディアに記録された原画像を当該外部メディアから読み出してもよい。例えば、図１５は、取得される原画像の一例を示している。

画像解析部１０２は、Ｎ個の帯域通過型フィルタによって原画像ｖ１０をフィルタリングし、Ｎ個の空間周波数ごとのコントラストＣｓｆ＝（Ｃ_０，Ｃ_１，．．．，Ｃ_Ｎ−１）を画素毎に得る。なお、このフィルタリングは、前述したクロストーク劣化量ΔＩの視差遷移グラフの学習時と同様に行われる。画像解析部１０２は、画素毎に得られたＮ種類の空間周波数ごとのコントラストＣｓｆ＝（Ｃ_０，Ｃ_１，．．．，Ｃ_Ｎ−１）、即ち、Ｎ種類の空間周波数ごとのコントラストの分布（空間周波数マップ）を示す情報を最大視差量推定部１０４に出力する。

最大視差量推定部１０４は、Ｎ種類の空間周波数ごとのコントラストの分布を示す情報を画像解析部１０２から取得する。最大視差量推定部１０４は、Ｎ種類の空間周波数ごとのコントラストＣｓｆ＝（Ｃ_０，Ｃ_１，．．．，Ｃ_Ｎ−１）からクラス分類をし、学習データ（図示しないデータベース）の中から該当するクラスのクロストーク劣化量ΔＩの視差遷移の関数、あるいはテーブルを画素毎に得る。

最大視差量推定部１０４は、取得したクロストーク劣化量ΔＩの視差遷移の関数若しくはテーブルに対し、クロストーク劣化量ΔＩの知覚の閾値Ｔｈを設定する。そして、最大視差量推定部１０４は、画素毎に、クロストーク劣化量ΔＩが知覚の閾値Ｔｈに達する視差は何ピクセルに相当するか、を算出する。具体的には、最大視差量推定部１０４は、関数またはテーブルのクロストーク劣化量ΔＩに対して閾値Ｔｈを入力し、関数の場合は逆関数、テーブルの場合は対応する視差を探索し、対応する視差量を求める。ここで、クロストーク劣化量ΔＩは輝度で表されるため、劣化知覚の閾値Ｔｈは、光学的に測定される輝度によって設定される。

さらに、より人の知覚の特性を反映するため、人の視覚特性（コントラスト感度（ＣＳＦ）、Just Noticeable Difference（ＪＮＤ））を考慮し、画素毎に劣化知覚の閾値Ｔｈを適応的に決定することもできる。これにより、空間周波数の違いを考慮して閾値Ｔｈを設定することが可能となる。

図１６は、視覚特性ＪＮＤと輝度との関係を示す特性図である。図１６に示すように、人間の知覚は、輝度変化を、物理量通りに知覚せず、対数関数型の知覚をすることが知られている。具体的には、輝度が比較的の暗い領域では、輝度の物理量（ｃｄ／ｍ^２）に増加に対して人の視覚特性は緩やかに上昇する。また、輝度が比較的明るい領域では、輝度の物理量（ｃｄ／ｍ^２）に増加に対して人の視覚特性は暗い領域よりも急峻に上昇する。この適応的な閾値をａｄａＴｈとおくと、ａｄａＴｈは次式で求められる。なお、画素毎に閾値Ｔｈを決定するのは、画素毎に空間周波数が異なるためである。

ここで、Ｙ_ａｖｅはある画素の周辺の照明輝度であり、画像をガウシアンフィルタなどの平滑化フィルタでフィルタリングすることによって求めることができる。数式３は、劣化知覚の適応的な閾値ａｄａＴｈが、コントラスト／空間周波数Ｃｓｆ、画素の周辺の照明輝度Ｙ_ａｖｅ、劣化知覚の固定閾値Ｔｈ（定数）によって計算できることを定性的に意味する。なお、固定閾値Ｔｈは、一例として３０ｃｄ／ｍ^２とすることができる。

さらに、数式３は、例えば、次の数式４のように計算することができる。

数式４は、劣化知覚の適応的な閾値ａｄａＴｈは、定数項Ｔｈと、画素の周辺の照明輝度Ｙ_ａｖｅによって変動する知覚ゲインＪＮＤと、画像の持つ空間周波数毎のコントラストＣＳＦによって変動する知覚ゲインとの積算によって求められることを定性的に意味する。

更に、モーションブラーなど、物体の動き情報によって、コントラスト感度が変化することも知られている。図１７は、空間周波数、画像中の物体の動き、及びコントラスト感度の関係を示す特性図である。図１７の輝度刺激に対するモデルに示すように、物体の動きが大きくなるほど、コントラスト感度は増加する。すなわち、物体の動きが速くなると、ボケ・二重像は認識されにくくなる。

また、図１７に示すように、空間周波数が高すぎると、コントラスト感度を知覚しにくくなる。このため、空間周波数が高い場合は、輝度変化を知覚する閾値をより大きくすることができる。また、動きが速いとコントラスト感度を知覚しにくくなる。このため、動きが速い場合は輝度変化を知覚する閾値をより大きくすることができる。この場合、数式４のコントラスト感度関数（ＣＳＦ）の引数に動き情報を加え、コントラスト／空間周波数の知覚ゲインを変化させることができる。

以上のように、劣化知覚の輝度閾値ＴｈまたはａｄａＴｈが求まると、関数の場合は逆関数、テーブルの場合は対応する視差を探索し、閾値に対応する視差量が求まる。なお、前述した処理によりクロストーク劣化量ΔＩの視差遷移の関数が得られている場合、閾値に対応する視差量として、劣化が知覚されない最大の視差量ｍａｘ＿ｄｓｐｘが画素毎に求まる。テーブルの場合も同様に、劣化が知覚されない最大の視差量ｍａｘ＿ｄｓｐｘを画素毎に求めることが可能である。

最大視差量推定部１０４は、画素毎に求めた最大の視差量ｍａｘ＿ｄｓｐｘ、即ち、最大視差量の分布を示す最大視差量マップを、最大視差レンジ決定部１０６と、最大位相差推定部１３０とに出力する。

最大視差レンジ決定部１０６は、原画像中の各画素に対して設定された、異なる視点画像間（例えば、左目用画像と右目用画像との間）の視差の分布を示す視差マップを取得する。このとき、視差マップは、原画像と同様に外部から取得されたものでもよいし、原画像に対して解析処理が施されることで生成されたものでもよい。なお、視差マップの生成は、画像処理装置１０自体が原画像に基づき行ってもよい。例えば、図１８は、図１５に示した原画像ｖ１０に基づく視差マップの一例を示している。また、原画像及び視差マップを取得する構成が、「取得部」の一例に相当する。

また、最大視差レンジ決定部１０６は、最大視差量マップを、最大視差量推定部１０４から取得する。

最大視差レンジ決定部１０６は、取得した視差マップを基に、原画像中の手前側（前景側）の領域を示す前方ＲＯＩと、奥側（後景側）の領域を示す後方ＲＯＩを特定する。具体的には、最大視差レンジ決定部１０６は、取得した視差マップに基づく視差の分布を示すヒストグラムを解析することで、前方ＲＯＩ及び後方ＲＯＩを特定する。例えば、図１９は、取得した視差マップに基づく視差の分布を示したヒストグラムの一例である。なお、視差の分布を示すヒストグラムは、例えば、視差値ごとの視差マップ中における、各視差値が関連付けられた画素の数に基づき算出することが可能である。

最大視差レンジ決定部１０６は、ヒストグラムに基づきＬＲ視差のダイナミックレンジ（即ち、ＬＲ視差レンジ）を特定する。このとき、最大視差レンジ決定部１０６は、例えば、当該ヒストグラムにおける最も手前側（＋側）の値と最も奥側（−側）の値とで示される範囲を、ＬＲ視差のダイナミックレンジとして特定してもよい。また、他の一例として、最大視差レンジ決定部１０６は、ＬＲ視差のダイナミックレンジの各端部を特定する場合に、マージンを設けてもよい。具体的には、最大視差レンジ決定部１０６は、ヒストグラムの最も手前側（＋側）から視差値の頻度を積算し、積算値があらかじめ決められた閾値を超える視差値を、ＬＲ視差のダイナミックレンジにおける手前側（＋側）の端部として特定してもよい。同様に、最大視差レンジ決定部１０６は、ヒストグラムの最も奥側（−側）から視差値の頻度を積算し、積算値が当該閾値を超える視差値を、ＬＲ視差のダイナミックレンジにおける奥側（−側）の端部として特定してもよい。

次いで、最大視差レンジ決定部１０６は、特定したダイナミックレンジの手前側（＋側）から視差値の頻度を積算し、当該積算値をあらかじめ決められた閾値と比較することで、積算値が当該閾値以下となる視差の範囲ｇ２２を前方ＲＯＩとして特定する。同様に、最大視差レンジ決定部１０６は、特定したダイナミックレンジの奥側（−側）から視差値の頻度を積算し、当該積算値をあらかじめ決められた閾値と比較することで、積算値が当該閾値以下となる視差の範囲ｇ２４を後方ＲＯＩとして特定する。

例えば、図２０は、図１５に示した原画像ｖ１０と、図１８に示した視差マップｖ２０とに基づき決定される、原画像ｖ１０中における前方ＲＯＩ及び後方ＲＯＩの一例を示している。例えば、領域ｖ３２は、前方ＲＯＩを示しており、領域ｖ３４ａ及びｖ３４ｂは、後方ＲＯＩを示している。

次に、最大視差レンジ決定部１０６は、特定した前方ＲＯＩ及び後方ＲＯＩと、取得した最大視差量マップとに基づき、前方ＲＯＩ及び後方ＲＯＩそれぞれにおける最大の視差量を算出する。このとき、最大視差レンジ決定部１０６は、各領域における最大視差量の頻度を、最大視差量の小さい側から積算し、積算値があらかじめ決められた閾値と比較し、当該閾値を超えたときの最大視差量を、当該領域における最大視差量として特定する。

例えば、図２１Ａは、後方ＲＯＩにおける、最大視差量と、当該最大視差量の頻度との関係を示したヒストグラムである。図２１Ａにおいて、横軸は最大視差量［ｐｉｘ］を示しており、縦軸は頻度を示している。なお、図２１Ａに示すようなヒストグラムは、例えば、最大視差量マップ中の後方ＲＯＩに相当する領域中における、各最大視差量が関連付けられた画素の数に基づき算出することが可能である。

最大視差レンジ決定部１０６は、図２１Ａに示すような最大視差量のヒストグラムに基づき、最大視差量が小さい側から大きい側に向けて頻度を積算し、積算値をあらかじめ決められた閾値と比較する。そして、最大視差レンジ決定部１０６は、積算値が閾値を超える直前の最大視差量を、後方ＲＯＩにおける最大視差量として特定する。

例えば、図２１Ａに示す例では、最大視差量がより高い程、頻度が高くなるような状態を示しており、ハッチが付された範囲は、頻度の積算値が閾値を超えない範囲を示している。この場合には、参照符号ｇ３２で示す値を超える場合に、頻度の積算値が閾値を超えるため、最大視差レンジ決定部１０６は、参照符号ｇ３２で示された最大視差量３．０［ｐｉｘ］を、後方ＲＯＩの最大視差量として特定する。

このような閾値処理により、最大視差レンジ決定部１０６は、後方ＲＯＩにおいて、劣化が知覚される頻度、換言すると、後方ＲＯＩ中において劣化が知覚される領域の割合を、所定値以下に抑えることが可能な最大視差量を特定する。即ち、後方ＲＯＩにおいては、特定された３．０［ｐｉｘ］まで視差を付けても、劣化が知覚される頻度を所定値以下に抑えることが可能となる。

前方ＲＯＩについても同様である。例えば、図２１Ｂは、前方ＲＯＩにおける、最大視差量と、当該最大視差量の頻度との関係を示したヒストグラムである。図２１Ｂにおける横軸及び縦軸は、図２１Ａと同様である。

最大視差レンジ決定部１０６は、図２１Ｂに示すような最大視差量のヒストグラムに基づき、最大視差量が小さい側から大きい側に向けて頻度を積算し、積算値をあらかじめ決められた閾値と比較することで、前方ＲＯＩにおける最大視差量を特定する。

例えば、図２１Ｂに示す例では、最大視差量がより低い側で頻度が高くなる状態を示しており、ハッチが付された範囲は、頻度の積算値が閾値を超えない範囲を示している。この場合には、参照符号ｇ３２で示す値を超える場合に、頻度の積算値が閾値を超えるため、最大視差レンジ決定部１０６は、参照符号ｇ３２で示された最大視差量１．０［ｐｉｘ］を、前方ＲＯＩの最大視差量として特定する。

このように、図２１Ｂに示す例では、最大視差量が低い側で頻度が高いため、図２１Ａに示した例よりも最大視差量が低い値、即ち、参照符号ｇ３２で示された最大視差量１．０［ｐｉｘ］の時点で、積算値が閾値を超えることとなる。即ち、後方ＲＯＩにおいては、３．０［ｐｉｘ］まで視差を付けることが可能であるのに対して、図２１Ｂに示す例は、前方ＲＯＩについては１．０［ｐｉｘ］を超えて視差を付けると、劣化が知覚される頻度を所定値以下に抑えることが困難であることを示している。

図２１Ｃは、最大視差量マップの一例を示している。図２１Ｃに示す例では、最大視差量マップｖ４０中に、前述した処理により特定した前方ＲＯＩｖ３２及び後方ＲＯＩｖ３４ａ及びｖ３４ｂが模式的に示されている。

例えば、図２１Ｃに示す例では、前方ＲＯＩｖ３２に対応する最大の視差量は１．０［ｐｉｘ］である。そのため、最大視差レンジ決定部１０６は、前方ＲＯＩに対する最大の視差量を、手前側（＋側）の最大視差ｄｉｓｐＭａｘ＝＋１．０［ｐｉｘ］を特定する。同様に、図２１Ｃに示す例では、後方ＲＯＩｖ３４ａ及び３４ｂに対応する最大の視差量は３．０［ｐｉｘ］である。そのため、最大視差レンジ決定部１０６は、後方ＲＯＩに対する最大の視差量を、奥側（−側）の最大視差ｄｉｓｐＭｉｎ＝−３．０［ｐｉｘ］として特定する。

以上のようにして、最大視差レンジ決定部１０６は、手前側（＋側）の最大視差ｄｉｓｐＭａｘと奥側（−側）の最大視差ｄｉｓｐＭｉｎとで定義される最大視差レンジを特定する。即ち、図２１Ｃの場合には、−３．０［ｐｉｘ］から＋１．０［ｐｉｘ］の範囲が最大視差レンジとして特定されることとなる。

最大視差レンジ決定部１０６は、特定した最大視差レンジ、即ち、手前側（＋側）の最大視差ｄｉｓｐＭａｘと奥側（−側）の最大視差ｄｉｓｐＭｉｎとを示す情報を視差レイアウト変換部１２０に出力する。

次に、視差レイアウト変換部１２０の詳細について、図２２を参照しながら説明する。図２２は、視差レイアウト変換部１２０の機能構成の一例を示したブロック図である。図２２に示すように、視差レイアウト変換部１２０は、視差分布解析部１２２と、変換データ生成部１２４と、変換処理部１２６とを含む。

視差レイアウト変換部１２０は、視差マップを取得する。なお、このとき取得される視差マップは、最大視差レンジ決定部１０６が取得する視差マップと同様である。取得された視差マップは、視差分布解析部１２２と、変換処理部１２６とに出力される。

視差分布解析部１２２は、取得した視差マップに基づき視差の分布を示すヒストグラムを生成する。なお、視差分布解析部１２２は、視差マップに替えて最大視差レンジ決定部１０６が生成した当該ヒストグラムを、当該最大視差レンジ決定部１０６から取得してもよい。これより、図１９に示すような、視差の分布を示すヒストグラムが生成される。視差分布解析部１２２は、生成したヒストグラムを変換データ生成部１２４に出力する。なお、最大視差レンジ決定部１０６が、「視差レンジ決定部」の一例に相当する。

変換データ生成部１２４は、視差分布解析部１２２から、視差の分布を示すヒストグラムを取得する。また、変換データ生成部１２４は、最大視差レンジ決定部１０６から、最大視差レンジ、即ち、手前側（＋側）の最大視差ｄｉｓｐＭａｘと奥側（−側）の最大視差ｄｉｓｐＭｉｎとを示す情報を取得する。

変換データ生成部１２４は、「４．３．ヒストグラムの平坦化と視差レイアウトの変換への応用」にて前述したように、取得したヒストグラムから視差レイアウトを変換するためのＩ／Ｏカーブを生成する。これにより、変換前の視差マップ中における視差の分布を平坦化するためのＩ／Ｏカーブが生成される。例えば、図２３は、生成されるＩ／Ｏカーブの一例を示している。

なお、このとき、変換データ生成部１２４は、出力視差のダイナミックレンジを、許容される視差レンジ、即ち、最大視差レンジ決定部１０６から取得した最大視差レンジに設定する。例えば、図２１Ｃに示す例に基づき最大視差レンジが決定されている場合には、変換データ生成部１２４は、出力視差（変換後）のダイナミックレンジを−３．０［ｐｉｘ］から＋１．０［ｐｉｘ］の範囲に設定する。

変換データ生成部１２４は、生成した視差レイアウトを変換するためのＩ／Ｏカーブを変換処理部１２６に出力する。

変換処理部１２６は、取得した視差マップ中の各視差を、変換データ生成部１２４から出力されたＩ／Ｏカーブに基づき変換する。これにより、変換処理部１２６は、取得した視差マップを、視差のダイナミックレンジが−３．０［ｐｉｘ］から＋１．０［ｐｉｘ］の範囲に収められ、かつ、視差の分布が平坦化された視差マップに変換する。

変換処理部１２６は、変換後の視差マップを、最大位相差推定部１３０と、視点画像を生成するための構成（例えば、他の画像処理部や、表示装置２０）とに出力する。

次に、最大位相差推定部１３０及び位相差決定部１３２の動作について説明する。まず、図２４〜図２６を参照しながら、最大位相差推定部１３０及び位相差決定部１３２の動作の概要について説明する。

視差レイアウト変換部１２０の動作として示したように、視差レイアウト変換部１２０により変換された視差マップは、前方ＲＯＩの最大の視差量と、後方ＲＯＩの最大の視差量とに基づき視差レンジが決定されるように視差レイアウトが変換されている。しかしながら、ボケや二重像が発生しやすいオブジェクトは必ずしも最手前（前方ＲＯＩ）または最奥（後方ＲＯＩ）に位置するとは限らない。例えば、視差レンジ内の中間レイヤにおける最大の視差量が、最手前や最奥における最大の視差量よりも大きい場合には、当該中間レイヤにおいてボケや二重像が発生する場合がある。

例えば、図２４は、中間レイヤにおける最大の視差量が、最手前や最奥の最大の視差量よりも大きくなる場合の原画像の一例を示している。また、図２５は、図２４に示した原画像ｖ５０に対応した視差マップの一例を示している。また、図２６は、図２４に示した原画像ｖ５０の最大視差量マップの一例を示している。

図２４に示した原画像ｖ５０において、領域ｖ５２で示された部分は、原画像ｖ５０中の他の領域に比べて空間周波数が高い領域を示している。そのため、図２６に示した最大視差量マップｖ７０では、領域ｖ５２において最大の視差量が他の領域に比べて高くなっていることがわかる。一方で、図２５に示した視差マップｖ６０を参照するとわかるように、領域ｖ５２で示された部分は、中間レイヤに相当する。このような原画像ｖ５０が処理対象の場合には、前方ＲＯＩ及び後方ＲＯＩそれぞれの最大の視差量を基に視差レンジを決定して視差レイアウトを変換したとしても、中間レイヤ（例えば、領域ｖ５２）においてボケや二重像が発生する可能性がある。

そこで、最大位相差推定部１３０及び位相差決定部１３２は、視差の制御に際し、視点画像の位相差の概念を導入する。例えば、ＬＲのステレオ画像において、Ｌ画像の位相を０．０、Ｒ画像の位相を１．０と定義する。このように位相の概念を導入すれば、表示する視点画像に対して、物体の前後関係を保ちつつ、劣化が知覚されない最大の視差量（位相差）を決定することができる。

以下に、図１４を参照しながら、最大位相差推定部１３０及び位相差決定部１３２の具体的な動作について説明する。

最大位相差推定部１３０は、最大視差量推定部１０４から、最大の視差量ｍａｘ＿ｄｓｐｘの分布を示す最大視差量マップを取得する。また、最大位相差推定部１３０は、視差レイアウト変換部１２０から、視差レイアウトが変換された視差マップを取得する。

最大位相差推定部１３０は、取得した視差マップと最大視差量マップとに基づき、最大視差量マップ中の各画素の最大の視差量ｍａｘ＿ｄｓｐｘを、劣化が知覚されない最大の位相差ｍａｘ＿ｐｈａｓｅに変換する。具体的には、最大位相差推定部１３０は、最大の視差量ｍａｘ＿ｄｓｐｘから最大の位相差ｍａｘ＿ｐｈａｓｅへの変換を、以下に示す数式５に基づき実行する。

ただし、数式５において、ｌｒ＿ｄｓｐｘはＬＲ画像の視差、ｃｌｉｐ＿ｐｈａｓｅは外部から設定された最大の位相差である。つまり、劣化が知覚されない最大の位相差ｍａｘ＿ｐｈａｓｅの値域は、０≦ｍａｘ＿ｐｈａｓｅ≦ｃｌｉｐ＿ｐｈａｓｅとなる。最大の位相差ｍａｘ＿ｐｈａｓｅは、第３のステップで求めたｍａｘ＿ｄｓｐｘを左右（ＬＲ）画像の視差で除算した値となる。これにより、視差ｍａｘ＿ｄｓｐｘが左右画像の位相差ｍａｘ＿ｐｈａｓｅに変換され、物体の前後関係が考慮される。ＬＲ画像の視差ｌｒ＿ｄｓｐｘは、入力画像の各画素における左右の視差の値であり、取得された視差マップに基づき規定される。

なお、この例では、ＬＲ画像から多視点画像を生成するシステムを想定しているが、画像＋デプスマップなどの他の方法においても、デプスマップから視点画像生成する際に投影するずれ量（視差）に変換することで、同様に計算できる。これにより、画素毎の限界隣接視点間視差マップを３Ｄ画像の隣接視点間位相差マップ（ｐｈａｓｅ ｍａｐ：どこまで位相差をつけられるかのマップ）に変換することができる。

以上のようにして、最大位相差推定部１３０は、劣化が知覚されない最大の位相差を画素毎に算出する。最大位相差推定部１３０は、画素毎の最大の位相差、即ち、最大位相差マップを位相差決定部１３２に出力する。

位相差決定部１３２は、最大位相差推定部１３０から、劣化が知覚されない最大の位相差のマップ、即ち、最大位相差マップを取得する。位相差決定部１３２は、取得した最大位相差マップに基づき、劣化が知覚される画素数が一定の数以下（例えば画像全体の画素数の１％など）に収まるような視差を決定する。

図２７は、位相差決定部１３２が、実際に表示する視点画像の位相差を決定する方法の一例を示している。図２７に示すように、位相差決定部１３２は、取得した最大位相差マップにおける各画素の値に対して、各ｍａｘ＿ｐｈａｓｅ値の出現頻度をヒストグラムとして集計する。次に、位相差決定部１３２は、ヒストグラムのｍａｘ＿ｐｈａｓｅ値が小さい頻度から順に累積和を計算していく。位相差決定部１３２は、累積和が閾値ＣｕｔＴｈを超えた位相差を、実際に表示する視点画像の位相差ｏｐｔ＿ｐｈａｓｅとして決定する。

例えば、図８の人の顔（領域Ａ１）と花の茎（領域Ａ２）の例において、ＣｕｔＴｈ＝(全画素数)×１％と数値を設定した場合で説明する。ヒストグラムの累積を計算していくと、累積和が閾値ＣｕｔＴｈを超える位相差が０．１００程度になる。このとき、花の茎は画質劣化が知覚される最大の位相差に相当する視差をつけたことになり、その他の９９％の領域においても画質の劣化が知覚されない。つまり、画像全体としては画質劣化が知覚されない最大の位相差を表示していることとなり、ディスプレイの視差表示性能を充分に発揮することができる。

以上のようにして、位相差決定部１３２は、取得した最大位相差マップに基づき、実際に表示する視点画像の位相差ｏｐｔ＿ｐｈａｓｅを決定する。位相差決定部１３２は、決定した位相差ｏｐｔ＿ｐｈａｓｅを、視点画像を生成するための構成（例えば、他の画像処理部や、表示装置２０）に出力する。なお、当該視点画像を生成するための構成は、位相差決定部１３２から取得した位相差ｏｐｔ＿ｐｈａｓｅに基づき、各仮想視点間の位置を決定すればよい。

以上、説明したように、本実施形態に係る画像処理装置１０は、原画像中の空間周波数ごとのコントラストに基づき画素毎の最大視差量を推定し、推定した画素毎の最大視差量に基づき最大視差レンジを決定する。そして、画像処理装置１０は、視差マップ中の各視差が、推定した最大視差レンジに収まるように視差レイアウトを変換する。このような構成により、表示装置２０の表示面に対して手前側（＋側）及び奥側（−側）のいずれかに視差が偏っている場合においても、ボケや二重像が発生しない範囲内において視差レンジを有効に活用することが可能となる。

また、本実施形態に係る画像処理装置１０は、推定した画素毎の最大視差量に基づき、劣化が知覚される画素数が一定の数以下に収まるような視点画像の位相差を決定する。このような構成により、画像処理装置１０は、例えば、ボケや二重像が発生しやすいオブジェクトが視差レンジ内の中間レイヤに存在する場合においても、当該中間レイヤにおけるボケや二重増の発生を抑制することが可能となる。

このように、本実施形態に係る画像処理装置１０に依れば、視差の範囲とクロストークによる画質劣化との関係を正確に見積もることが可能であるため、ボケや二重像の発生が抑制される範囲内において、視差レンジを最大限に有効活用することが可能となる。

＜６．第２の実施形態＞
次に、第２の実施形態に係る画像処理装置１０ａについて、図２８を参照しながら説明する。図２８は、本実施形態に係る画像処理装置１０ａの機能構成の一例を示したブロック図である。

図２８に示すように、本実施形態に係る画像処理装置１０ａは、最大位相差推定部１３０と、位相差決定部１３２とを含まない点で、前述した第１の実施形態に係る画像処理装置１０と異なる。なお、その他の構成については、第１の実施形態に係る画像処理装置１０と同様である。

このように、最大位相差推定部１３０と、位相差決定部１３２とを設けないことで、位相差の変換を行わずに、視差マップに対する視差レイアウトの変換のみを行う構成としてもよい。なお、この場合には、位相差をあらかじめ決められた値（例えば、１．０）として扱えばよい。

このような構成により、本実施形態に係る画像処理装置１０ａは、中間レイヤに発生するボケや二重像の抑制効果は、第１の実施形態に係る画像処理装置１０に比べて弱いものの、当該画像処理装置１０に比べて構成や処理を簡略化することが可能となる。

＜７．第３の実施形態＞
次に、第３の実施形態に係る画像処理装置１０ｂについて、図２９を参照しながら説明する。図２９は、本実施形態に係る画像処理装置１０ｂの機能構成の一例を示したブロック図である。

前述した各実施形態に係る画像処理装置では、最大視差レンジ決定部１０６は、最大視差量推定部１０４により推定された最大視差量の分布（即ち、最大視差量マップ）に基づき、最大視差レンジを決定していた。これに対して、本実施形態に係る画像処理装置１０ｂは、例えば、原画像中におけるエッジや空間周波数等のような画像特徴量に基づき、最大視差レンジを決定する。そこで、本説明では、前述した各実施形態と動作の異なる最大視差レンジ決定部１０６に着目して説明し、その他の構成については詳細な説明は省略する。

図２９に示すように、最大視差レンジ決定部１０６は、原画像中の画素毎の画像特徴量の分布を示す簡易特徴データを取得する。例えば、最大視差レンジ決定部１０６は、画像解析部１０２が原画像を基に生成したＮ種類の空間周波数ごとのコントラストの分布を、簡易特徴データとして取得してもよい。また、他の一例として、最大視差レンジ決定部１０６は、原画像に対して画像解析を施すことで得られる原画像中のエッジの分布を、簡易特徴データとして取得してもよい。なお、簡易特徴データの取得元は特に限定されない。例えば、最大視差レンジ決定部１０６が、原画像を画像解析することで簡易特徴データを生成してもよいし、画像処理装置１０ｂの他の構成（例えば、画像解析部１０２）が簡易特徴データを生成してもよい。

このようにして得られた簡易特徴データからは、原画像中の各領域における最大視差量の相対値（比率）を算出することが可能である。本実施形態に係る最大視差レンジ決定部１０６は、このような特徴を利用して、前方ＲＯＩ及び後方ＲＯＩとの間の最大視差量の比率を算出する。

ここで、原画像中のエッジの分布に基づき、前方ＲＯＩ及び後方ＲＯＩとの間の最大視差量の比率を算出する場合の例について、以下に説明する。

最大視差レンジ決定部１０６は、原画像に対する画像解析の結果として取得したエッジの分布に基づき各画素におけるエッジの強度を特定する。このとき、最大視差レンジ決定部１０６は、隣接画素に対して階調値の変化が急激な画素ほどエッジ強度を高く設定し、階調値の変化が緩やかな画素ほどエッジ強度を低く設定する。

そして、最大視差レンジ決定部１０６は、画素ごとに特定したエッジの強度に基づき、前方ＲＯＩ及び後方ＲＯＩのそれぞれについて、エッジ強度の頻度を示したヒストグラムを生成する。このとき、例えば、図２１Ａ及び図２１Ｂに示した、最大視差量のヒストグラムにおいて、横軸に示した最大視差量を、エッジ強度に置き換えたものが、当該エッジ強度の頻度を示したヒストグラムに相当する。

そして、最大視差レンジ決定部１０６は、エッジ強度の頻度を示したヒストグラムに基づき、エッジ強度が高いほど最大視差量が高いものとして、エッジ強度を最大視差量に置き換えることで、前方ＲＯＩ及び後方ＲＯＩそれぞれに対応する最大視差量を算出する。なお、エッジ強度と最大視差量との間の置き換えに係る関係式は、例えば、最大視差レンジ決定部１０６が読み出し可能な位置（例えば、データベースとして）、あらかじめ記憶させておけばよい。また、ヒストグラムに基づき、前方ＲＯＩ及び後方ＲＯＩそれぞれに対応する最大視差量を特定する方法は、図２１Ａ及び図２１Ｂに基づき前述した方法と同様である。

なお、このとき算出される最大視差量は、エッジ強度に基づく各画素間における最大視差量の相対値を示しており、前述したクロストークのモデル式に基づき算出される最大視差量とは厳密には異なる。そのため、ここで算出される前方ＲＯＩ及び後方ＲＯＩそれぞれに対応する最大視差量は、前方ＲＯＩと後方ＲＯＩとの間の最大視差量の比率を示していることとなる。

最大視差レンジ決定部１０６は、算出した前方ＲＯＩと後方ＲＯＩとの間の最大視差量の比率と、ボケや二重像が発生しづらい視差の範囲とに基づき、手前側（＋側）の最大視差ｄｉｓｐＭａｘと、奥側（−側）の最大視差ｄｉｓｐＭｉｎとを算出する。

なお、以降の処理は、前述した各実施形態に係る画像処理装置と同様である。即ち、最大視差レンジ決定部１０６は、手前側（＋側）の最大視差ｄｉｓｐＭａｘと奥側（−側）の最大視差ｄｉｓｐＭｉｎとを示す情報、即ち、最大視差レンジを、視差レイアウト変換部１２０に出力する。視差レイアウト変換部１２０は、最大視差レンジ決定部１０６から取得した最大視差レンジに基づき、外部から取得した視差マップ（変換前の視差マップ）の視差レイアウトを変換すればよい。

また、上記では、原画像中のエッジの分布に基づき、前方ＲＯＩ及び後方ＲＯＩとの間の最大視差量の比率を算出する例について説明したが、Ｎ種類の空間周波数ごとのコントラストの分布の場合についても同様である。即ち、原画像に基づく各分布中の各画素の画素値（例えば、エッジ強度や空間周波数）を、最大視差量の相対値に置き換え、当該最大視差量の相対値に基づき、前方ＲＯＩ及び後方ＲＯＩとの間の最大視差量の比率を算出すればよい。

以上説明したように、本実施形態に係る画像処理装置１０ｂは、原画像中の画素毎の画像特徴量の分布を示す簡易特徴データに基づき最大視差レンジを算出する。このような構成により、本実施形態に係る画像処理装置１０ｂは、最大視差レンジの算出のために必ずしも最大視差量マップを算出する必要がなくなるため、前述した各実施形態に係る画像処理装置に比べて、一部の構成を簡略化することが可能となる。なお、上記では、前述の第１の実施形態に係る画像処理装置１０をベースに、最大視差レンジ決定部１０６の処理を置き換えた場合を例に説明したが、第２の実施形態に係る画像処理装置１０aをベースとしてもよいことは言うまでもない。

＜８．変形例＞
［８．１．変形例１］
次に、変形例１として、前述した各実施形態に係る画像処理装置の変形例について説明する。前述した各実施形態に係る画像処理装置では、視差レイアウト変換部１２０は、視差の分布を示すヒストグラムが平坦化されるようにＩ／Ｏカーブを生成していた。これに対して、変形例１では、視差レイアウト変換部１２０は、最大視差量推定部１０４により推定された最大視差量の分布（最大視差量マップ）に基づき、ボケや二重増の発生がより抑制されるように当該Ｉ／Ｏカーブを生成する。

そこで、変形例１に係る画像処理装置の動作について、図３０を参照しながら、特に、前述した各実施形態に係る画像処理装置と異なる最大視差レンジ決定部１０６及び視差レイアウト変換部１２０の動作に着目して説明する。図３０は、変形例１に係る画像処理装置の動作について説明するための説明図である。

まず、ステップＳ３０１に示すように、最大視差レンジ決定部１０６は、最大視差量推定部１０４により推定された最大視差量マップと、外部から取得した視差マップとに基づき、前方ＲＯＩ及び後方ＲＯＩそれぞれにおける最大視差量を特定する。そして、最大視差レンジ決定部１０６は、特定した前方ＲＯＩ及び後方ＲＯＩそれぞれの最大視差量に基づく最大視差レンジを視差レイアウト変換部１２０に出力する。なお、本動作は、前述した第１の実施形態に係る画像処理装置１０と同様である。

また、最大視差レンジ決定部１０６は、取得した最大視差量マップを視差レイアウト変換部１２０に出力する。

次いで、ステップＳ３０３に示すように、視差レイアウト変換部１２０は外部から取得した視差マップに基づき、視差の分布を示すヒストグラムを生成する。そして、視差レイアウト変換部１２０は、生成した視差のヒストグラムを、ＬＲ視差レンジの範囲内で奥行き方向に沿って複数の領域に分割する。図２８に示す例では、視差レイアウト変換部１２０は、領域０〜Ｍに分割している。

次に、視差レイアウト変換部１２０は、取得した最大視差量マップに基づき、領域０〜Ｍそれぞれについて、最大視差量の代表値を特定する。なお、領域ごとの最大視差量の代表値は、当該領域中における各視差量の最大値であってもよいし、中央値や平均値であってもよい。

そして、視差レイアウト変換部１２０は、領域０〜Ｍそれぞれを、当該領域における最大視差量の代表値に基づき重み付けを行う。例えば、図３０に示す例では、視差レイアウト変換部１２０は、領域０〜Ｍそれぞれに対する重みとして、重みｗ０，ｗ１，…，ｗＭを算出している。なお、ｊ番目の領域の重みをｗｊとした場合に、０＜ｗｊ＜１となるように、視差レイアウト変換部１２０は、各重みｗ０，ｗ１，…，ｗＭを算出する。

次に、視差レイアウト変換部１２０は、各領域に対して算出した重みｗ０，ｗ１，…，ｗＭに基づき、ステップＳ３０５に示すように、各領域の視差を０に近づけるように、視差を変換するためのＩ／Ｏカーブを生成する。例えば、図３０の参照符号Ｓ３０５に示すＩ／Ｏカーブでは、参照符号ｇ４２で示すように、重みｗｊが大きい領域ほど、即ち、最大視差量が大きい領域ほど、視差値が小さくなるように（０に近づくように）変換する。

そして、視差レイアウト変換部１２０は、生成したＩ／Ｏカーブに基づき、外部から取得した視差マップ（即ち、変換前の視差マップ）における視差レイアウトを変換する。

このように、変形例１に係る画像処理装置１０は、奥行き方向に沿って分割された複数の領域に対して、最大視差量の分布に基づき重み付けを行い、当該重み付けに基づき、当該領域ごとに視差がより０に近づくように視差マップを変換する。このような構成により、変形例１に係る画像処理装置１０は、奥行き方向に沿った領域のうち、ボケや二重増の発生しやすいオブジェクトが存在する領域ほど視差が抑制されるように、視差マップを変換することが可能となる。

なお、上記に最大視差量の分布に基づく領域間の重み付けの例はあくまで一例であり、視差を軽減するための重み付けの判断基準は、画像処理装置１０や表示装置２０の用途や適用シーンに応じて適宜変更してもよい。具体的な一例として、変形例２として後述する視聴者の注目度に基づき、注目度の高い領域ほど視差が軽減されるように重み付けを行ってもよい。

［８．２．変形例２］
次に、変形例２に係る画像処理装置について説明する。変形例１では、原画像を複数の領域に分割し当該領域ごとに視差変換時の重み付けを行う例として、最大視差量に基づく重み付けの一例を示した。変形例２では、視差変換時における領域ごとの重み付けの一例として、視聴者の注目度が高い領域ほど、視差が強調されるように重み付けを行う場合の例について説明する。なお、以降では、前述した第１の実施形態に係る画像処理装置１０と異なる視差レイアウト変換部１２０の動作に着目して説明し、その他の構成については詳細な説明を省略する。

変形例２に係る視差レイアウト変換部１２０は、外部から原画像を取得し、取得した原画像のコントラスト、輝度レベル、色あい（ＲＧＢ）、エッジ強度やエッジの方向などの画像特徴量に基づいて、当該原画像の注目度マップを生成する。注目度マップは、入力画像の各画素に対して視聴者による注目度を示す情報を付加したものである。

例えば、視差レイアウト変換部１２０は、画像のコントラストが高い場合、輝度が高い場合、画像のエッジに定常性がある場合、画像の空間周波数が高い場合、等の場合は、注目度が高いと判定すればよい。なお、画像のエッジに定常性がある場合とは、コントラスト、輝度の変化に規則性があり、エッジが人の顔の輪郭などのオブジェクトを表している場合が該当する。また、コントラストは、空間周波数の振幅に相当する。例えば、中央に人物の顔が写っており、背景が特徴の無い画像の場合、中央の人物の顔の注目度が高くなる。

なお、視聴者の注目度の高さを定量的に数値化することで注目度マップを生成可能であれば、その生成方法は特に限定されない。例えば、視差レイアウト変換部１２０は、原画像からブロックマッチング等の手法を用いて画像の動きベクトルを求め、動きベクトルから注目度を算出しても良いし、動きベクトル情報も加味した注目度マップを算出してもよい。

視差レイアウト変換部１２０は、各画素の視差量毎に注目度マップを解析し、注目度の高い視差に対する重みパラメータを設定する。つまり、視差レイアウト変換部１２０は、どの帯域の視差の注目度が高いか（目立ちやすいか）を統計的に解析し、これに基づいて重み付け処理を行う。

例えば、図３１は、視差量毎に各画素の注目度のスコアを累積したヒストグラムを示す模式図である。図３１に示すように、視差レイアウト変換部１２０は、各画素の視差と注目度を示す情報とに基づいて、視差に対する注目度の度数を示すヒストグラムを作成する。例えば、中央に人物の顔が写っており、背景が特徴の無い画像の場合、中央の人物の顔の注目度が高くなるため、人物の顔に対応する画素の視差値ｄにおいて、注目度の度数（図３１の縦軸）が高くなる。

そして、視差レイアウト変換部１２０は、ヒストグラムのモード値から注目度が高い視差帯域を推定し、重みパラメータを設定する。具体的には、図３１において視差値ｄの注目度が最も高いため、視差値ｄの近辺の帯域ａに対して重み付けが高くなるように重みパラメータを設定する。

視差レイアウト変換部１２０は、解析結果として得られた視差に対応する重みパラメータを用いて重み付け視差ヒストグラムを形成する。図３２は、視差レイアウト変換部１２０が形成した重み付け視差ヒストグラムを示す模式図である。図３２に示すヒストグラムは、視差値ｄの近辺の帯域ａで図３１の度数が重みパラメータ（重み付け係数（１．３倍））によって増加されている。図３２の帯域ａにおいて、斜線のハッチングを付した部分が重みパラメータによる増加分に相当する。視差値ｄの近辺の帯域ａ以外では、重みパラメータが１．０とされ、図３１と同一のヒストグラムとされる。なお、帯域ａ以外の重みパラメータを１．０未満としても良い。

視差レイアウト変換部１２０は、図３２に示す重み付け視差ヒストグラムの累積ヒストグラムから視差レイアウトを変換するためのＩ／Ｏカーブを生成する。

例えば、図３３は、変形例２に係る視差レイアウトを変換するためのＩ／Ｏカーブの一例を示す模式図である。

図３３に示すＩ／Ｏカーブの実線の特性は、図３２に示す重み付け視差ヒストグラムの度数を視差値と対応付けて累積することによって生成される。例えば、視差値ｄの入力視差に対応する出力視差ｅの値は、図３３に示す視差値０からｄまでの度数を累積することによって求められる値である。具体的な一例として、図３３に示す例の場合には、出力視差ｅは、度数ｆ１〜ｆ６の累積和を正規化することによって求めることが可能である。

同様に、図３３に示す一点鎖線の特性は、図３１に示すヒストグラムの度数を視差値と対応付けて累積することによって生成される特性であり、実線の特性との比較のために示したものである。また、図３３に示す破線の特性は、入力視差に対して変換を行うことなく出力視差を出力する場合を示している（入力視差＝出力視差）。

図３３に示す実線の特性と一点鎖線の特性を比較すると、実線の特性は、重みパラメータによって帯域ａの度数が増加された重み付け視差ヒストグラムから作成されるため、帯域ａにおいて破線の特性よりも傾きが急峻になっている。

視差レイアウトを変換するためのＩ／Ｏカーブを生成したら、視差レイアウト変換部１２０は、当該Ｉ／Ｏカーブに基づいて、視差マップの視差を変換して出力する。なお、以降の処理は、前述した各実施形態に係る画像処理装置と同様である。

以上説明したように、変形例２に係る画像処理装置は、視聴者の注目度が高い領域ほど、視差が強調されるように重み付けを行い、当該重み付けに基づき視差レイアウトを変換するためのＩ／Ｏカーブを生成する。そのため、注目度の大きい画素ほど視差値が大きくなるように視差マップが変換される。このような構成により、変形例２に係る画像処理装置は、注目度の高い画素の視差値が増大させ、注目度が高い領域の立体感を強調することが可能となる。

なお、上記に示す例では、変形例２に係る画像処理装置は、原画像を解析することで視聴者が注目しやすい領域を特定していたが、視聴者の注目度が高い原画像中の領域を特定できれば、必ずしも上記に示した方法には限定されない。

例えば、画像処理装置は、表示装置２０の表示パネル２５に対する視聴者の視線方向から、当該視聴者が注目している原画像中の領域を特定してもよい。この場合には、例えば、画像処理装置は、カメラ等により撮像された視聴者の顔の画像（特に眼の画像）に基づき、表示パネル２５に対する視聴者の視線方向を特定すればよい。

また、変形例１の説明において前述したように、変形例１に係る画像処理装置と、変形例２に係る画像処理装置とを組み合わせてもよい。例えば、原画像中における注目度の高さに応じて、奥行き方向に沿って分割された複数の領域を重み付けし、当該重み付けに応じて領域ごとに視差が軽減されるように視差マップを変換してもよい。この場合には、当該画像処理装置は、前述したように、原画像中の画像特徴（例えば、コントラスト、輝度、エッジ、空間周波数等）や検出された視聴者の視線方向に基づき注目度の高さを数値化し、当該注目度に基づき分割された複数の領域を重み付けすればよい。

［８．３．変形例３］
次に、変形例３に係る画像処理装置について説明する。ディスプレイの視点数をVとし、ある視位置から見える視点kの光量をr_kとする。ディスプレイの表示パネルの前面または後方（表示パネルとバックライトの間）には、多視点画像を構成するためのパララックス素子（例えば、スリットが設けられたバリア）が設けられている。例えば、図２に示した表示装置２０の場合には、バリア２３がパララックス素子に相当する。

図３４及び図３５は、ＲＧＢのサブピクセルとそのクロストーク比を示す平面図であって、パララックス素子の傾きによるクロストーク比を示す模式図である。図３４では、パララックス素子の傾きが１：３とされ、一点鎖線Ｐの方向に沿ってパララックス素子（スリット）が設けられている。一方、図３５では、パララックス素子（スリット）の傾きが１：３ではなく、傾きが図３４よりも緩やかになっている。

パララックス素子の傾きが１：３の場合、クロストーク比ｒ＝（ｒ_１, ｒ_２, ｒ_３, ｒ_４,・・・， ｒ_Ｖ）は一意に定まる。一方，パララックス素子の傾きが１：３でない場合、クロストーク比ｒ＝（ｒ_１, ｒ_２, ｒ_３, ｒ_４,・・・，ｒ_Ｎ）は複数の種類だけ存在する。この種類をＭとする。

具体例について、図３４及び図３５に基づいて説明する。図３４及び図３５において、上段の図は各画素にマッピングされる視点の番号を示している。また、下段の図は、各画素のクロストーク比を示している。

図３４に示すように、パララックス素子（スリット）の位置（一点鎖線Ｐ上）でクロストーク比は最も小さい０．１となり、パララックス素子から離れるほどクロストーク比は大きくなる。そして、図３４に示すように、パララックス素子の傾きが１：３の場合、近接するＲＧＢサブピクセルの各成分のクロストーク比は等しくなる。つまり、図３４の下段において、カラム１（Ｃｏｌｕｍｎ１）に示したクロストーク比は、Ｒ，Ｇ，Ｂ成分のいずれも、ｒ＝（ｒ１， ｒ２， ｒ３， ｒ４，・・・，ｒ６）＝（０．１３, ０．３, １, ０．３, ０．１３, ０．１）となり、このクロストーク比が周期的に繰り返される。なお、視点数が６のため、１列目のカラム３（Ｃｏｌｕｍｎ３）以降は、ｒ＝（ｒ１， ｒ２， ｒ３， ｒ４，・・・，ｒ６）＝（０．１３, ０．３, １, ０．３, ０．１３, ０．１）が周期的に繰り返される。なお、輝度成分はＲＧＢ成分の線形和で表されるため、クロストーク比を近似的に輝度成分のみで説明してもよい。

一方、パララックス素子の傾きが１：３でない場合，近接するＲＧＢサブピクセルの各成分のクロストーク比は等しくない。例えば，図３５の下段において、カラム１（Ｃｏｌｕｍｎ１）に着目すると、Ｒ成分のクロストーク比はｒ_Ｒ＝（ｒ_Ｒ１, ｒ_Ｒ２, ｒ_Ｒ３, ｒ_Ｒ４,・・・， ｒ_Ｒ８）＝（０．１, ０．１１, ０．１６, ０．４５, ０．７３, ０．７１, ０．５５, ０．１９）、Ｇ成分のクロストーク比はｒ_Ｇ＝（ｒ_Ｇ１, ｒ_Ｇ２, ｒ_Ｇ３, ｒ_Ｇ４,・・・， ｒ_Ｇ８）＝（０．１, ０．１３, ０．２５, ０．６５, ０．７４, ０．６６, ０．３４, ０．１４）、Ｂ成分のクロストーク比はｒ_Ｂ＝（ｒ_Ｂ１, ｒ_Ｂ２, ｒ_Ｂ３, ｒ_Ｂ４,・・・， _Ｂ８）＝（０．１, ０．１１, ０．１６, ０．４５, ０．７３, ０．７１, ０．５５, ０．１９）となり、ＲＧＢ成分のクロストーク比が異なる（この例ではＧ成分のみ異なる）。従って、このクロストーク比のバラつきが色割れの原因となる。このバラつきはディスプレイ面内の位置によって異なり、パララックス素子の傾きに応じて周期性を持つ。このため、クロストークによって周期的な色割れ縞模様が発生する。

図３６は、色割れによる縞模様が発生した例を示す模式図である。図３６において、左側の図はパララックス素子の傾きが１：３の場合を示しており、パララックス素子の傾きが１：３の場合は色割れによる縞模様は発生していない。一方、図３６の右側の図はパララックス素子の傾きが１：３でない場合を示している。図３６の右側の図に示すように、パララックス素子の傾きが１：３でない場合は、色割れにより縞模様が発生していることが判る。このように、パラックス素子の傾きが元々の設計上から１：３でないディスプレイは、色割れによる画質の劣化が生じてしまう。

変形例３では、前述した各実施形態及び各変形例に対してＲＧＢ成分の色割れを考慮して処理を行うことで、色割れによる模様の発生を抑止する。例えば、「４．原理の説明」において説明した例では、主として以下の３ステップにより学習を行っている。
（第１のステップ）輝度画像成分に対してクロストークモデルを適用し、視差を変えながらクロストーク劣化量ΔＩ画像を生成
（第２のステップ）輝度画像のコントラスト／空間周波数でクラスを定義し，ステップ1で生成した画像群から各クラスに対してクロストーク劣化量ΔＩの視差遷移のデータのサンプルを収集
（第３のステップ）各クラスにおけるサンプルデータを回帰分析して関数化又はテーブル化を行う。

上述したように、パララックス素子の傾きが１：３の場合はＲＧＢサブピクセルのクロストーク比が一定のため、ＲＧＢの線形和である輝度成分に対して学習するだけで十分である。しかしながら、パララックス素子の傾きが１：３でない場合、ディスプレイ面の場所ごとにクロストーク比が異なり、クロストーク比はＭ種類存在する。したがって、変形例３では、輝度成分に縮退せず、ＲＧＢの各成分画像に対し、Ｍ種類のクロストークモデルを利用して画質劣化を表すことにする。変形例３による学習は以下の3ステップで行われる。

（第１のステップ）ＲＧＢ画像の各成分に対して、Ｍ種類のクロストーク比によるクロストークモデルを適用し、視差を変えながらクロストーク劣化量ΔR画像，ΔG画像，ΔB画像を生成する。なお、パララックス素子の傾きに応じてクロストーク比は変わるため、パララックス素子の傾きに応じたＭ種類のクロストーク比によるクロストークモデルから、Ｍ種類のそれぞれについてクロストーク劣化量ΔR画像，ΔG画像，ΔB画像を予め求めておく。なお、ディスプレイの輝度を直接計測して図３４及び図３５の下段に示すようなクロストーク比を測定することもできる。
（第２のステップ）ＲＧＢ画像の各成分に対してコントラスト／空間周波数でクラスを定義し，ステップ１で生成した画像群から各クラスに対してクロストーク劣化量ΔＩの視差遷移のデータのサンプルを収集
（第３のステップ）各クラスにおけるサンプルデータを回帰分析して関数化又はテーブル化する

以上の3ステップにより、次式で表される右辺の第１項（それぞれΔＩ_Ｒハット、ΔＩ_Ｇハット、ΔＩ_Ｂハットと称する）を学習によって求める。

但し、Ｃ_Ｒ＿ｓｆは空間周波数ごとにＮ個に分解されるＲ成分コントラストベクトル，Ｃ_Ｒ＿ｉはＲ成分画像の空間周波数ｉのコントラスト、数式６の右辺第１項のΔＩ_Ｒハットは、Ｒ成分画像におけるＣ_Ｒ＿ｓｆにおけるクロストーク劣化量ΔIの視差遷移の統計値（関数又はテーブル）である。

同様に、Ｃ_Ｇ＿ｓｆは空間周波数ごとにＮ個に分解されるＧ成分コントラストベクトル、Ｃ_Ｇ＿ｉはＧ成分画像の空間周波数iのコントラスト、数式７の右辺第１項のΔＩ_Ｇハットは、G成分画像におけるＣ_Ｇ＿ｓｆにおけるクロストーク劣化量ΔIの視差遷移の統計値（関数又はテーブル）である。また、Ｃ_Ｂ＿ｓｆは空間周波数ごとにＮ個に分解されるＢ成分コントラストベクトル、Ｃ_Ｂ＿ｉはＢ成分画像の空間周波数iのコントラスト、数式８の右辺第１項のΔＩ_Ｂハットは、B成分画像におけるＣ_Ｂ＿ｓｆにおけるクロストーク劣化量ΔIの視差遷移の統計値（関数又はテーブル）である。これらのΔＩ_Ｒハット、ΔＩ_Ｇハット、ΔＩ_Ｂハットをクロストーク比の種類（M種類）だけ生成する。より具体的には、インデックスjを０≦ｊ≦Ｍ−１の整数とし、ΔＩ_Ｒ ^ｊハット、ΔＩ_Ｇ ^ｊハット、ΔＩ_Ｂ ^ｊハットを各クロストーク比ごとに学習によって求める。

次に、変形例３に係る画像処理装置１０による視差制御に係る動作について説明する。変形例３に係る画像処理装置１０は、最大視差量マップの生成に係る構成、即ち、画像解析部１０２及び最大視差量推定部１０４の動作が、前述した各実施形態に係る画像処理装置１０と異なる。そこで、変形例３に係る画像解析部１０２及び最大視差量推定部１０４について以下に詳しく説明し、その他の構成については詳細な説明は省略する。

変形例３に係る最大視差量推定部１０４は、最大視差量の推定に係る処理を色差成分に拡張し、色差成分におけるクロストーク劣化量ΔIを計算する。

具体的には、画像解析部１０２は、原画像のＲＧＢの各成分に対して、Ｎ種類の帯域通過型フィルタ（Gaborフィルタ，LOGフィルタなど）により空間周波数解析を行い、コントラスト／空間周波数Ｃ_Ｒ＿ｓｆ，Ｃ_Ｇ＿ｓｆ，Ｃ_Ｂ＿ｓｆを画素毎に計算する。そして、画像解析部１０２は、ＲＧＢの各成分に対して画素毎に得られたＮ種類の空間周波数ごとのコントラストＣｓｆ＝（Ｃ_０，Ｃ_１，．．．，Ｃ_Ｎ−１）、即ち、空間周波数マップを示す情報を最大視差量推定部１０４に出力する。

最大視差量推定部１０４は、画素毎のクロストーク比の情報（予め整数ｊ（０≦ｊ≦Ｍ−１）のインデックスマップとして保持）から、クロストーク比のインデックスｊを求める。そして、最大視差量推定部１０４は、ＲＧＢの各成分におけるコントラスト／空間周波数Ｃ_Ｒ＿ｓｆ，Ｃ_Ｇ＿ｓｆ，Ｃ_Ｂ＿ｓｆの情報からそれぞれクラス分類し、クロストーク比のインデックスｊに該当する学習結果のデータベース内のクラスデータと照合する。

該当するクラスを確定後、最大視差量推定部１０４は、ΔＩ_Ｒ ^ｊハット、ΔＩ_Ｇ ^ｊハット、ΔＩ_Ｂ ^ｊハット（ＲＧＢの各成分におけるΔI-dispのモデル式）を画素毎に保持する。

次いで、最大視差量推定部１０４は、ΔＩ_Ｒ ^ｊハット、ΔＩ_Ｇ ^ｊハット、ΔＩ_Ｂ ^ｊハットのグラフを統合し、新たに色差成分におけるΔI-dispモデル式を生成する。そして、最大視差量推定部１０４は、劣化を知覚する閾値Thを色差成分のΔI-dispモデル式に対して入力し、画素毎に最大視差量を計算することで、最大視差量マップを生成する

ここで、最大視差量推定部１０４による、ΔＩ_Ｒ ^ｊハット、ΔＩ_Ｇ ^ｊハット、ΔＩ_Ｂ ^ｊハットに基づくΔI-dispモデル式の生成に係る処理と、当該ΔI-dispモデル式に基づく最大視差量マップの生成に係る処理とについて、さらに詳しく説明する。

最大視差量推定部１０４は、ＲＧＢの色差をＹＣｂＣｒ空間のＣｂ成分、Ｃｒ成分で評価する。この場合、ＲＧＢからＹＣｂＣｒへの変換式は以下の式（数式９）で表される。

Ｙ＝０．２１２６＊Ｒ＋０．７１５２＊Ｇ＋０．０７２２＊Ｂ
Ｃｂ＝−０．１１４６＊Ｒ−０．３８５４＊Ｇ＋０．５０００＊Ｂ
Ｃｒ＝０．５０００＊Ｒ−０．４５４２＊Ｇ−０．０４５８＊Ｂ
・・・・・（数式９）

上式は線形であることから、クロストークによる変化量であるΔＩ_Ｒ ^ｊハット、ΔＩ_Ｇ ^ｊハット、ΔＩ_Ｂ ^ｊハットを数式９のＲ,Ｇ,Ｂにそれぞれ当てはめ、色差成分のクロストーク劣化量の関数として以下を得ることができる。

なお、以下では、上記色差成分のクロストーク劣化量の関数のそれぞれをΔＩ_Ｃｂ ^ｊハット、ΔＩ_Ｃｒ ^ｊハットと称する。

図３７は、このようにして得られたΔＩ_Ｃｂ ^ｊハット、ΔＩ_Ｃｒ ^ｊハットから、色割れが発生しない最大の視差量を推定する方法を示す。図３７に示すように、各グラフに対し、disp（視差）軸に沿ってスキャンし、色割れを表す評価関数Ｆ（ΔＩ_Ｃｂ，ΔＩ_Ｃｒ）によってΔＩ_Ｃｂ ^ｊハット、ΔＩ_Ｃｒ ^ｊハットを1つのグラフに統合する。例えば、色割れを表す評価関数は、以下のように定義できる。

数式１０は、Ｃｂ−Ｃｒ色差空間（２次元）における元の色差からの変化を距離で表している。つまり、図３７の左に示すΔＩ_Ｃｂ ^ｊハット、ΔＩ_Ｃｒ ^ｊハットの各グラフに対し、disp（視差）軸に沿ってスキャンし、視差に応じた、Ｃｂ−Ｃｒ色差空間（２次元）におけるΔＩ_ＣｂとΔＩ_Ｃｒの距離を求める（図３７の中間の特性）。なお、色割れを表す評価関数は数式１０に限定されるものではない。例えば、Ｃｂ−Ｃｒ色差空間における原点（無彩色）からの角度ずれで定義することで，色相ずれを表す評価関数を定義してもよい。更に、本実施形態では色割れを表す色空間をＹＣｂＣｒ空間を用いて説明したが、より人の視覚における色知覚特性を考慮したＣＩＥ Ｌ＊ａ＊ｂ＊空間（非線形）で同様の処理を用いてもよい。

このようにして得られた色割れを評価するグラフ（図３７の最も右に示すグラフ）において、縦軸に対し色割れ知覚の閾値Thを入力することで、色割れを知覚しない最大視差量ｍａｘ＿ｄｉｓｐを計算することができる。

なお、最大視差量マップの生成以降の動作については、前述した各実施形態に係る画像処理装置１０と同様である。

以上説明したように変形例３に係る画像処理装置１０によれば、ディスプレイ特性（ＲＧＢ各成分におけるクロストーク）に加え、画像特徴（コントラスト／空間周波数）を考慮し、色割れが発生する限界の視差量を高精度に推定することで、ディスプレイの視差表示性能を最大限発揮することができる。これにより、トレードオフの関係にあった立体感・奥行き感と画質の両立が最適化され、高臨場感を有する映像表示を実現できる。また、技術の汎用性が高く、設計が異なるディスプレイに対しても経験値によらない調整が可能である。

更に、ディスプレイ特性と画像特徴からクロストーク劣化量ΔＩ（色差）を推定するため、設計が異なるディスプレイに対しても調整が容易となる。また、視覚研究で定量化されている心理物理量を利用することで、さらに高精度な視差制御を実現することも可能である。

＜９．ハードウェア構成＞
次に、図３８を参照して、本開示の実施形態に係る画像処理装置１０のハードウェア構成の一例について説明する。図３８は、本実施形態に係る画像処理装置１０のハードウェア構成の一例を示した図である。

図３８に示すように、本実施形態に係る画像処理装置１０は、プロセッサ９０１と、メモリ９０３と、ストレージ９０５と、操作デバイス９０７と、表示デバイス９０９と、通信デバイス９１１と、バス９１３とを含む。

プロセッサ９０１は、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）又はＳｏＣ（System on Chip）であってよく、画像処理装置１０の様々な処理を実行する。プロセッサ９０１は、例えば、各種演算処理を実行するための電子回路により構成することが可能である。なお、前述した画像解析部１０２、最大視差量推定部１０４、最大視差レンジ決定部１０６、視差レイアウト変換部１２０、最大位相差推定部１３０、及び位相差決定部１３２は、プロセッサ９０１により構成され得る。

メモリ９０３は、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）を含み、プロセッサ９０１により実行されるプログラム及びデータを記憶する。ストレージ９０５は、半導体メモリ又はハードディスクなどの記憶媒体を含み得る。

操作デバイス９０７は、ユーザが所望の操作を行うための入力信号を生成する機能を有する。操作デバイス９０７は、例えばボタン及びスイッチなどユーザが情報を入力するための入力部と、ユーザによる入力に基づいて入力信号を生成し、プロセッサ９０１に供給する入力制御回路などから構成されてよい。

表示デバイス９０９は、出力装置の一例であり、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）装置、有機ＥＬ（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ディスプレイ装置などの表示装置であってよい。表示デバイス９０９は、ユーザに対して画面を表示することにより情報を提供することができる。なお、前述した表示装置２０を、当該表示デバイス９０９として構成してもよいし、表示装置２０とは別に表示デバイス９０９を設けてもよい。

通信デバイス９１１は、画像処理装置１０が備える通信手段であり、ネットワークを介して外部装置と通信する。通信デバイス９１１は、無線通信用のインタフェースであり、通信アンテナ、ＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）回路、ベースバンドプロセッサなどを含んでもよい。

通信デバイス９１１は、外部装置から受信した信号に各種の信号処理を行う機能を有し、受信したアナログ信号から生成したデジタル信号をプロセッサ９０１に供給することが可能である。

バス９１３は、プロセッサ９０１、メモリ９０３、ストレージ９０５、操作デバイス９０７、表示デバイス９０９、及び通信デバイス９１１を相互に接続する。バス９１３は、複数の種類のバスを含んでもよい。

また、コンピュータに内蔵されるＣＰＵ、ＲＯＭ及びＲＡＭなどのハードウェアを、上記した画像処理装置１０が有する構成と同等の機能を発揮させるためのプログラムも作成可能である。また、当該プログラムを記録した、コンピュータに読み取り可能な記憶媒体も提供され得る。

＜１０．適用例＞
上記に示した実施形態に係る画像処理装置の適用例について、以下に具体的な例を挙げて説明する。

例えば、図３９は、テレビジョン装置の外観構成を表している。このテレビジョン装置は、例えば、フロントパネル４１１およびフィルターガラス４１２を含む映像表示画面部４１０（表示装置２０）を備えている。なお、テレビジョン装置の筐体内に設けられた、映像表示画面部４１０への画像の表示に係るデバイス（例えば、ＣＰＵやＧＰＵのようなプロセッサ）が、上述した実施形態に係る画像処理装置１０に相当する。テレビジョン装置として本開示による表示装置を用いることにより、どこまで立体感をつけると画質劣化が生じるかを正確に見積もることが可能となるため、観測される画像が破綻することのない範囲で十分に広い視差レンジを使用することができる。そのため、テレビジョン装置の３Ｄ表示性能を最大限に発揮することが可能となり、テレビジョン装置に貢献することができる。

なお、上記に示した適用例はあくまで一例であり、本実施形態に係る画像処理装置を適用可能な構成を限定するものではないことは、言うまでもない。

＜１１．まとめ＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、原画像中の各画素に関連付けられた視差値を調整する例について説明したが、各画素に関連付けられたパラメータであれば、調整対象は必ずしも視差値には限定されない。具体的な一例として、画像処理装置１０は、画素ごとの、明度、コントラスト、彩度、色度、または空間周波数等が調整されるように、各画素に関連付けられたパラメータ（例えば、画素値）を調整する構成としてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
原画像と、当該原画像中の各画素に関連付けられた視差値の分布を示す視差マップとを取得することと、
プロセッサに、取得された前記原画像と前記視差マップとに基づき、視差のダイナミックレンジを決定させることと、
前記視差マップ中の各視差が、決定された前記視差のダイナミックレンジ内に分布するように、当該視差マップを変換することと、
を含む、画像処理方法。
（２）
前記視差のダイナミックレンジは、前記原画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係に基づく最大視差量の分布と、前記視差マップとに基づき決定される、前記（１）に記載の画像処理方法。
（３）
前記視差のダイナミックレンジは、前記視差マップに基づき決定される、奥行き方向の手前側に位置する前方領域と、奥側に位置する後方領域とのそれぞれにおける前記最大視差量に基づき決定される、前記（２）に記載の画像処理方法。
（４）
前記視差のダイナミックレンジは、前記前方領域における前記手前側からの前記最大視差量の積算値に対する閾値処理と、前記後方領域における前記奥側からの前記最大視差量の積算値に対する閾値処理とに基づき決定される、前記（３）に記載の画像処理方法。
（５）
前記最大視差量の分布は、前記原画像の空間周波数に応じたコントラストの分布に基づき決定される、前記（２）〜（４）のいずれか一項に記載の画像処理方法。
（６）
前記原画像の前記空間周波数に応じたコントラストをＲＧＢの画素ごとに解析することと、
前記原画像の前記空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係をＲＧＢの画素ごとに取得することと、
ＲＧＢの画素ごとに取得した前記クロストーク劣化量と前記視差遷移との関係を統合することと、
を含み、
前記前記最大視差量の分布は、統合された前記クロストーク劣化量と前記視差遷移との関係に基づきが決定される、前記（５）に記載の画像処理方法。
（７）
前記視差のダイナミックレンジは、前記原画像中における各画素の画素値に基づく最大視差量の相対値の分布と、前記視差マップとに基づき決定される、前記（１）に記載の画像処理方法。
（８）
前記最大視差量の相対値の分布に基づき、表示面を基準とした奥行き方向における手前側と奥側との間の前記視差のレンジの比率が算出され、
算出された当該視差のレンジの比率に基づき、前記視差のダイナミックレンジが決定される、前記（７）に記載の画像処理方法。
（９）
前記各画素の画素値は、当該原画像中の画素ごとに算出されたエッジの強度である、前記（７）または（８）に記載の画像処理方法。
（１０）
前記各画素の画素値は、当該原画像の空間周波数に応じたコントラストである、前記（７）または（８）に記載の画像処理方法。
（１１）
前記視差マップは、奥行き方向に沿って複数の領域に分割され、分割された複数の領域は重み付けされ、
前記重み付けに応じて前記領域ごとに視差が軽減されるように、当該視差マップが変換される、前記（１）〜（１０）のいずれか一項に記載の画像処理方法。
（１２）
奥行き方向に沿って分割された前記複数の領域は、前記原画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係に基づく最大視差量の分布を基に、当該最大視差量が大きい領域ほど重みが大きくなるように重み付けされる、前記（１１）に記載の画像処理方法。
（１３）
奥行き方向に沿って分割された前記複数の領域は、前記原画像中における注目度の高い領域ほど重みが大きくなるように重み付けされる、前記（１１）に記載の画像処理方法。
（１４）
前記原画像に基づく最大視差量の分布と、変換された前記視差マップとに基づき、複数の視点位置のうち、隣接する前記視点位置における視点画像の最大位相差の分布を推定することと、
推定された前記最大位相差の分布に基づき、隣接する前記視点位置における視点画像の位相差を決定することと、
を含む、前記（１）〜（１３）のいずれか一項に記載の画像処理方法。
（１５）
前記原画像中における注目度の高い領域を特定し、特定された当該領域が強調されるように、前記視差マップが変換される、前記（１）〜（１４）のいずれか一項に記載の画像処理方法。
（１６）
視聴者の視線を検出し、検出された前記視線に基づき、当該視聴者が注目している前記原画像中の領域を、前記注目度の高い領域として特定する、前記（１５）に記載の画像処理方法。
（１７）
前記原画像中における領域ごとの顕著性に基づき、当該顕著性の高い領域を、前記注目度の高い領域として特定する、前記（１５）に記載の画像処理方法。
（１８）
原画像と、当該原画像中の各画素に関連付けられた視差値の分布を示す視差マップとを取得する取得部と、
取得された前記原画像と前記視差マップに基づき、視差のダイナミックレンジを決定する視差レンジ決定部と、
前記視差マップ中の各視差が、決定された前記視差のダイナミックレンジ内に分布するように、当該視差マップを変換する視差レイアウト変換部と、
を含む、画像処理装置。
（１９）
原画像と、当該原画像中の各画素に関連付けられた視差値の分布を示す視差マップとを取得する取得部と、
取得された前記原画像と前記視差マップに基づき、視差のダイナミックレンジを決定する視差レンジ決定部と、
前記視差マップ中の各視差が、決定された前記視差のダイナミックレンジ内に分布するように、当該視差マップを変換する視差レイアウト変換部と、
を含む、電子機器。

１０ 画像処理装置
１０２ 画像解析部
１０４ 最大視差量推定部
１０６ 最大視差レンジ決定部
１２０ 視差レイアウト変換部
１２２ 視差分布解析部
１２４ 変換データ生成部
１２６ 変換処理部
１３０ 最大位相差推定部
１３２ 位相差決定部
２０ 表示装置
２１ バックライト
２３ バリア
２５ 表示パネル
３０ アンテナ

Claims (19)

1. 原画像と、当該原画像中の各画素に関連付けられた視差値の分布を示す視差マップとを取得することと、
   プロセッサに、取得された前記原画像と前記視差マップとに基づき、視差のダイナミックレンジを決定させることと、
   前記視差マップ中の各視差が、決定された前記視差のダイナミックレンジ内に分布するように、当該視差マップを変換することと、
   を含む、画像処理方法。
2. 前記視差のダイナミックレンジは、前記原画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係に基づく最大視差量の分布と、前記視差マップとに基づき決定される、請求項１に記載の画像処理方法。
3. 前記視差のダイナミックレンジは、前記視差マップに基づき決定される、奥行き方向の手前側に位置する前方領域と、奥側に位置する後方領域とのそれぞれにおける前記最大視差量に基づき決定される、請求項２に記載の画像処理方法。
4. 前記視差のダイナミックレンジは、前記前方領域における前記手前側からの前記最大視差量の積算値に対する閾値処理と、前記後方領域における前記奥側からの前記最大視差量の積算値に対する閾値処理とに基づき決定される、請求項３に記載の画像処理方法。
5. 前記最大視差量の分布は、前記原画像の空間周波数に応じたコントラストの分布に基づき決定される、請求項２に記載の画像処理方法。
6. 前記原画像の前記空間周波数に応じたコントラストをＲＧＢの画素ごとに解析することと、
   前記原画像の前記空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係をＲＧＢの画素ごとに取得することと、
   ＲＧＢの画素ごとに取得した前記クロストーク劣化量と前記視差遷移との関係を統合することと、
   を含み、
   前記前記最大視差量の分布は、統合された前記クロストーク劣化量と前記視差遷移との関係に基づきが決定される、請求項５に記載の画像処理方法。
7. 前記視差のダイナミックレンジは、前記原画像中における各画素の画素値に基づく最大視差量の相対値の分布と、前記視差マップとに基づき決定される、請求項１に記載の画像処理方法。
8. 前記最大視差量の相対値の分布に基づき、表示面を基準とした奥行き方向における手前側と奥側との間の前記視差のレンジの比率が算出され、
   算出された当該視差のレンジの比率に基づき、前記視差のダイナミックレンジが決定される、請求項７に記載の画像処理方法。
9. 前記各画素の画素値は、当該原画像中の画素ごとに算出されたエッジの強度である、請求項７に記載の画像処理方法。
10. 前記各画素の画素値は、当該原画像の空間周波数に応じたコントラストである、請求項７に記載の画像処理方法。
11. 前記視差マップは、奥行き方向に沿って複数の領域に分割され、分割された複数の領域は重み付けされ、
    前記重み付けに応じて前記領域ごとに視差が軽減されるように、当該視差マップが変換される、請求項１に記載の画像処理方法。
12. 奥行き方向に沿って分割された前記複数の領域は、前記原画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係に基づく最大視差量の分布を基に、当該最大視差量が大きい領域ほど重みが大きくなるように重み付けされる、請求項１１に記載の画像処理方法。
13. 奥行き方向に沿って分割された前記複数の領域は、前記原画像中における注目度の高い領域ほど重みが大きくなるように重み付けされる、請求項１１に記載の画像処理方法。
14. 前記原画像に基づく最大視差量の分布と、変換された前記視差マップとに基づき、複数の視点位置のうち、隣接する前記視点位置における視点画像の最大位相差の分布を推定することと、
    推定された前記最大位相差の分布に基づき、隣接する前記視点位置における視点画像の位相差を決定することと、
    を含む、請求項１に記載の画像処理方法。
15. 前記原画像中における注目度の高い領域を特定し、特定された当該領域が強調されるように、前記視差マップが変換される、請求項１に記載の画像処理方法。
16. 視聴者の視線を検出し、検出された前記視線に基づき、当該視聴者が注目している前記原画像中の領域を、前記注目度の高い領域として特定する、請求項１５に記載の画像処理方法。
17. 前記原画像中における領域ごとの顕著性に基づき、当該顕著性の高い領域を、前記注目度の高い領域として特定する、請求項１５に記載の画像処理方法。
18. 原画像と、当該原画像中の各画素に関連付けられた視差値の分布を示す視差マップとを取得する取得部と、
    取得された前記原画像と前記視差マップに基づき、視差のダイナミックレンジを決定する視差レンジ決定部と、
    前記視差マップ中の各視差が、決定された前記視差のダイナミックレンジ内に分布するように、当該視差マップを変換する視差レイアウト変換部と、
    を含む、画像処理装置。
19. 原画像と、当該原画像中の各画素に関連付けられた視差値の分布を示す視差マップとを取得する取得部と、
    取得された前記原画像と前記視差マップに基づき、視差のダイナミックレンジを決定する視差レンジ決定部と、
    前記視差マップ中の各視差が、決定された前記視差のダイナミックレンジ内に分布するように、当該視差マップを変換する視差レイアウト変換部と、
    を含む、電子機器。