JP2015154091A - 画像処理方法、画像処理装置、及び電子機器 - Google Patents

Abstract

【課題】視聴位置に依らずに、複数の視点それぞれにおいて鮮明な視点画像を視聴することが可能な、新規かつ改良された画像処理方法、画像処理装置、及び電子機器を提案する。
【解決手段】原画像を取得することと、視聴者の位置情報を取得することと、クロストーク情報を取得することと、プロセッサに、あらかじめ設定された複数の視点それぞれに対応する、原画像に基づく互いに異なる第１の視点画像のうち、いずれかの第１の視点画像が、位置情報が示す位置においてクロストークが打ち消されて観測されるように、取得した位置情報とクロストーク情報とに基づき、表示部の各画素と、位置情報に基づく複数の視点それぞれとの対応関係を示す制御情報を含むインデックスマップを生成させることと、原画像とインデックスマップとに基づき、当該インデックスマップに含まれる制御情報それぞれに対応した第２の視点画像を出力することと、を含む、画像処理方法。
【選択図】図１

Description

本開示は、画像処理方法、画像処理装置、及び電子機器に関する。

ディスプレイのような表示装置の前方に複数の仮想視点を設定し、各仮想視点において異なる映像を視聴可能とする技術がある。各仮想視点において異なる映像を視聴可能とする技術を応用した一例として、左右の目に異なる視差のついた映像をみせることで、視聴者に対して映像を立体的に感じさせる、裸眼３Ｄ映像技術が知られている。

左右の目に異なる映像を見せる方法としては、専用の眼鏡を用いた方式が古くから提案されてきたが、例えば、裸眼３Ｄ映像技術においては、専用の眼鏡を用いずに３Ｄ映像を見せることが可能となることが知られている。このように、近年では、専用の眼鏡を用いずに、各仮想視点において異なる映像を視聴可能とする技術が実用化されている。

特開２００６−２６２１９１号公報

一方で、専用の眼鏡を用いずに各仮想視点において異なる映像を視聴可能とする場合には、各仮想視点に対応した画像（以降では、「視点画像」と呼ぶ場合がある）が収束する位置が限られている。そのため、各視点画像が収束する位置とは異なる位置では、観測される画像にボケや二重像が生じて、鮮明な画像を観測することが困難な場合があり、このような特性は、特に表示装置からの距離の違いにより強く表れる傾向にある。

そこで、本開示では、視聴位置に依らずに、複数の視点それぞれにおいて鮮明な視点画像を視聴することが可能な、新規かつ改良された画像処理方法、画像処理装置、及び電子機器を提案する。

本開示によれば、原画像を取得することと、表示部に対する視聴者の奥行き方向の位置を示す位置情報を取得することと、前記表示部のクロストーク特性を示すクロストーク情報を取得することと、プロセッサに、あらかじめ設定された複数の視点それぞれに対応する、前記原画像に基づく互いに異なる第１の視点画像のうち、いずれかの前記第１の視点画像が、前記位置情報が示す位置においてクロストークが打ち消されて観測されるように、取得した前記位置情報と前記クロストーク情報とに基づき、前記表示部の各画素と、前記位置情報に基づく前記複数の視点それぞれとの対応関係を示す制御情報を含むインデックスマップを生成させることと、前記原画像と前記インデックスマップとに基づき、当該インデックスマップに含まれる前記制御情報それぞれに対応した第２の視点画像を出力することと、を含む、画像処理方法が提供される。

また、本開示によれば、原画像を取得する画像取得部と、表示部に対する視聴者の奥行き方向の位置を示す位置情報を取得する位置情報取得部と、前記表示部のクロストーク特性を示すクロストーク情報を取得するクロストーク情報取得部と、あらかじめ設定された複数の視点それぞれに対応する、前記原画像に基づく互いに異なる第１の視点画像のうち、いずれかの前記第１の視点画像が、前記位置情報が示す位置においてクロストークが打ち消されて観測されるように、取得した前記位置情報と前記クロストーク情報とに基づき、前記表示部の各画素と、前記位置情報に基づく前記複数の視点それぞれとの対応関係を示す制御情報を含むインデックスマップを生成するインデックスマップ生成部と、前記原画像と前記インデックスマップとに基づき、当該インデックスマップに含まれる前記制御情報それぞれに対応した第２の視点画像を出力する画像生成部と、を備える、画像処理装置が提供される。

また、本開示によれば、原画像を取得する画像取得部と、表示部に対する視聴者の奥行き方向の位置を示す位置情報を取得する位置情報取得部と、前記表示部のクロストーク特性を示すクロストーク情報を取得するクロストーク情報取得部と、あらかじめ設定された複数の視点それぞれに対応する、前記原画像に基づく互いに異なる第１の視点画像のうち、いずれかの前記第１の視点画像が、前記位置情報が示す位置においてクロストークが打ち消されて観測されるように、取得した前記位置情報と前記クロストーク情報とに基づき、前記表示部の各画素と、前記位置情報に基づく前記複数の視点それぞれとの対応関係を示す制御情報を含むインデックスマップを生成するインデックスマップ生成部と、前記原画像と前記インデックスマップとに基づき、当該インデックスマップに含まれる前記制御情報それぞれに対応した第２の視点画像を出力する画像生成部と、を備える、電子機器が提供される。

以上説明したように本開示によれば、視聴位置に依らずに、複数の視点それぞれにおいて鮮明な視点画像を視聴することが可能な画像処理方法、画像処理装置、及び電子機器が提供される。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の実施形態に係る画像処理装置を含むシステムの概略的な構成の一例を示した説明図である。 同実施形態に係る表示装置の概略的な構成の一例を示した説明図である。 視点画像と視聴位置との関係について説明するための説明図である。 比較例１に係る画像処理装置のレンダリングルールを模式的に示した図である。 表示パネルの各画素から出射される光線のクロストーク比の一例を示している。 比較例１に係る画像処理装置の処理結果に基づき観測される光線の一例を模式的に示した図である。 比較例２に係る画像処理装置のレンダリングルールを模式的に示した図である。 比較例２に係る画像処理装置の処理結果に基づき観測される光線の一例を模式的に示した図である。 原画像の一例を示した図である。 比較例２に係る画像処理装置の処理結果に基づき観測される画像の一例を示した図である。 本開示の実施形態に係る画像処理装置のレンダリングルールを模式的に示した図である。 同実施形態に係る画像処理装置の処理結果に基づき観測される光線の一例を模式的に示した図である。 同実施形態に係る画像処理装置の処理結果に基づき観測される画像の一例を示した図である。 レンダリングルールに基づく各画素とインデックスとの対応関係の一例を模式的に示した図である。 同実施形態に係る画像処理装置の機能構成の一例を示したブロック図である。 同実施形態に係る画像処理装置の詳細な動作について説明するための図である。 同実施形態に係る画像処理装置の一連の処理の流れについて説明するためのフローチャートである。 多視点画像の生成に係る処理の一例を示したフローチャートである。 多視点画像の生成に係る処理の一例を示したフローチャートである。 変形例に係る画像処理装置の機能構成の一例を示したブロック図である。 インデックス変換のルールの一例について模式的に示した図である。 変形例に係る画像処理装置の一連の処理の流れについて説明するためのフローチャートである。 ハードウェア構成の一例を示した図である。 同実施形態に係る画像処理装置の適用例（テレビジョン装置）の外観を表す斜視図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．概要
２．表示装置の構成
３．課題の整理
３．１．比較例１
３．２．比較例２
４．画像処理装置の詳細
４．１．概要
４．２．構成
４．３．処理の流れ
４．４．まとめ
５．変形例
５．１．概要
５．２．構成
５．３．処理の流れ
５．４．まとめ
６．ハードウェア構成
７．適用例
８．まとめ

＜１．概要＞
まず、図１を参照しながら、本実施形態に係る画像処理装置の概要について説明する。図１は、本実施形態に係る画像処理装置を含むシステムの概略的な構成の一例を示した説明図である。

図１に示すように、本実施形態に係る画像処理装置１０は、表示装置２０と視聴位置検出装置４０とに接続される。なお、画像処理装置１０、表示装置２０、及び視聴位置検出装置４０のいずれか複数または全部は、同一筐体内に設けられていてもよい。以降では、画像処理装置１０、表示装置２０、及び視聴位置検出装置４０が、それぞれ別筐体として設けられているものとして説明する。

本実施形態に係る表示装置２０は、表示装置２０の表示面の前方において互いに異なる所定の位置に複数（少なくとも２以上）の仮想視点をあらかじめ設定し、当該仮想視点のそれぞれで異なる視点映像を視聴可能に構成されている。このような構成により、例えば、視聴者の左右の目がそれぞれ異なる仮想視点となるように、各仮想視点の位置をあらかじめ調整し、各仮想視点に異なる視差が設定された視差画像を表示させることで、視聴者は、立体感を持った画像を視聴することが可能となる。表示装置２０の具体的な一例として、裸眼３Ｄディスプレイが挙げられる。

また、表示装置２０の他の一例として、視聴者の視聴位置に応じて、互いに異なる映像が視聴されるように、各仮想視点と視点映像とを対応付けてもよい。このような構成により、例えば、表示装置２０に対する視聴者の相対位置に応じて、複数の視聴者それぞれに対して異なる映像を提供することが可能となる。このように複数の仮想視点に対して、それぞれ異なる視点映像が対応付けられていれば、表示装置２０の構成は、裸眼３Ｄディスプレイのような立体視のための表示装置に限定されいない。

なお、以降では、説明を簡単にするために、表示装置２０が、立体視を可能とする裸眼３Ｄディスプレイとして構成されるものとして説明する。

視聴位置検出装置４０は、表示装置２０の表示面に対する視聴者の位置を検出するための情報を取得する装置である。視聴位置検出装置４０は、特に、表示装置２０の表示面に対する視聴者の奥行き方向の位置（換言すると、当該表示面と視聴者との間の距離）を検出するための情報を取得する。

具体的な一例として、視聴位置検出装置４０は、カメラやセンサ等により構成され得る。例えば、視聴位置検出装置４０をカメラとして構成した場合には、視聴位置検出装置４０により表示装置２０の表示面の前方を撮影することで、撮影された画像中の視聴者の位置や大きさに基づき、当該表示面に対する視聴者の位置を検出することが可能である。また、視聴位置検出装置４０を測距センサとして構成することで、表示装置２０の表示面と視聴者との間の距離を測定してもよい。なお、表示装置２０の表示面に対する視聴者の奥行き方向の位置を検出可能な情報が取得できれば、視聴位置検出装置４０の構成は特に限定されないことは言うまでもない。

なお、以降では、説明を簡単にするために、表示面に対する視聴者の位置を検出するための情報を、単に「視聴者の位置情報」と呼ぶ場合がある。

視聴位置検出装置４０は、取得した視聴者の位置情報を、画像処理装置１０に出力する。これにより、画像処理装置１０は、取得した視聴者の位置情報に基づき、表示面に対する視聴者の位置を特定することが可能となる。

画像処理装置１０は、表示対象となる原画像を外部から取得し、取得した原画像に基づき各仮想視点に対応する視点画像を生成して表示装置２０に出力する。また、画像処理装置１０は、静止画像や動画像などの画像を含む放送を受信するためのアンテナ３０に接続されていてもよい。

なお、本説明において原画像とは、各仮想視点に対応する視点画像の生成元となる画像を示すものであり、当該視点画像を生成可能であれば、その態様は特に限定されない。例えば、原画像は、静止画像であってもよいし、動画像であってもよい。また、原画像は、立体視を実現するための、所謂、ステレオ画像であってもよいし、立体視を考慮していない画像（換言すると、１視点分の画像）であってもよい。なお、立体視を考慮していない画像を原画像として取得した場合には、画像処理装置１０が、当該原画像に対して画像解析を施すことで、当該解析結果に基づき各視点画像を生成すればよい。また、ステレオ画像を原画像とする場合においても、当該ステレオ画像よりも多くの視点を考慮した視点画像を必要とする場合には、画像処理装置１０が、当該原画像に対して画像解析を施すことで、必要とされる視点分の視点画像を生成すればよい。

また、画像処理装置１０が原画像を取得する取得元は特に限定されない。例えば、図１に示すように、画像処理装置１０は、放送として配信された原画像を、アンテナ３０を介して受信してもよい。また、他の一例として、画像処理装置１０は、外部メディアに記録された原画像を当該外部メディアから読み出してもよい。また、他の一例として、画像処理装置１０内に原画像を記憶するための記憶部を設け、画像処理装置１０は、当該記憶部に記憶された原画像を読み出す構成としてもよい。

一方で、裸眼３Ｄディスプレイのように、専用の眼鏡を用いずに各仮想視点において異なる映像を視聴可能とする場合には、各仮想視点に対応した視点画像が収束する位置が限られている。そのため、あらかじめ決められた観測位置、即ち、各視点画像が収束する位置とは異なる位置では、観測される画像にボケや二重像が生じて、鮮明な画像を観測することが困難な場合があり、このような特性は、特に表示装置からの距離の違いにより強く表れる傾向にある。

そこで、本実施形態に係る画像処理装置１０は、視聴位置検出装置４０から視聴者の位置情報を取得し、取得した位置情報に基づき表示面に対する視聴者の位置を特定する。そして、画像処理装置１０は、特定した視聴者の位置において鮮明な画像が観測されるように、当該視聴者の位置に応じた視点画像を生成する。各視点画像を生成したら、画像処理装置１０は、生成した各視点画像により多視点画像を生成し、当該多視点画像を表示装置２０に表示させる。このような構成のより、本実施形態に係る画像処理装置１０は、視聴者の位置に依らずに、複数の仮想視点それぞれにおいて、ボケや二重像の発生を抑止し、鮮明な視点画像を視聴することを可能とする。

＜２．表示装置の構成＞
図２を参照しながら、本実施形態に係る表示装置２０の構成の一例について説明する。図２は、本実施形態に係る表示装置の概略的な構成の一例を示した説明図である。なお、図２において、横方向で示されたｘ方向は、表示装置２０の表示面に対する水平方向を示しており、図面に対して垂直な方向で示されたｙ方向は、表示装置２０の表示面に対する垂直方向を示している。また、縦方向で示されたｚ方向は、表示装置２０の表示面に対する奥行き方向を示している。

図２に示すように、表示装置２０は、バックライト２１と、バリア２３と、表示パネル２５とを含む。図２に示す構成は、例えば、表示パネル２５として液晶パネルを使用した表示装置（ディスプレイ）を示しており、バックライト２１から照射され表示パネル２５を透過した光が像として視聴者に到達する。図２に示す構成では、バックライト２１の前方にバリア２３が設けられている。また、バリア２３の前方には、当該バリア２３と所定の距離だけ離間した位置に表示パネル２５が設けられている。

バリア２３は、例えば、レンチキュラ板やパララクスバリア等の光学部材からなる。バリア２３には、ｘ方向に沿って開口部が所定の周期で設けられており、バックライト２１から照射された光のうち、バリア２３の開口部を通過した光のみが表示パネル２５に到達する。

表示パネル２５は、複数の画素を含む。また、表示パネル２５の各画素は、あらかじめ設定された複数の仮想視点のいずれかを示すインデックスが関連付けられており、当該インデックスに対応した視差画像の画素を表示するように構成されている。なお、各画素と各インデックスとの間の関連付けは、バリア２３、表示パネル２５、及び各仮想視点の間の位置関係に応じて、あらかじめ設計されている。

具体的な一例として、図２に示す例では、表示パネル２５は、それぞれ異なる仮想視点に対応したインデックスが関連付けられた画素２５ａ〜２５ｄを含む。例えば、図２に示された仮想視点Ｍ_Ｌには、バリア２３の開口部を透過した光Ｌａが、画素２５ａを透過して収束し、仮想視点Ｍ_Ｒには、バリア２３の開口部を透過した光Ｌｂが、画素２５ｂを透過して収束するように設計されている。このとき、例えば、仮想視点Ｍ_Ｌに視聴者の左目が位置し、仮想視点Ｍ_Ｒに視聴者の左目が位置する場合に、画素２５ａに左目用の視差画像を表示させ、画素２５ｂに右目用の視差画像を表示させることで、視聴者は、立体感を持った画像を視聴することが可能となる。

＜３．課題の整理＞
次に、原画像に基づき視点画像を生成する画像処理装置の比較例について説明することで、本実施形態に係る画像処理装置１０の課題について整理する。

［３．１．比較例１］
以下に、図３〜図６を参照しながら比較例１に係る画像処理装置の動作について説明する。比較例１に係る画像処理装置は、あらかじめ設定された視聴位置、即ち、表示装置２０の表示パネル２５（即ち、表示面）に対する奥行き方向の位置において、各仮想視点に対して所定の視点画像が収束するように、各視点画像を生成する画像処理装置の例を示している。

まず、図３を参照する。図３は、視点画像と視聴位置との関係について説明するための説明図であり、図２において、視点Ｍ_Ｌの位置を奥行き方向（ｚ方向）に変化させた場合の一例を示している。図３における参照符号Ｍ_０は、あらかじめ設定された視聴位置（以降では、「最適視聴位置」と呼ぶ場合がある）、即ち、表示パネル２５に対してあらかじめ設定された奥行き方向の位置を示している。また、参照符号Ｍ_Ｌ０は、最適視聴位置Ｍ_０に基づき設定された仮想視点を示している。また、参照符号Ｍ_Ｌ１は、仮想視点Ｍ_Ｌ０を奥行き方向（ｚ方向）に沿って、最適視聴位置Ｍ_０とは異なる位置に移動させた場合の視点を示している。

図３に示すように、最適視聴位置Ｍ_０に基づく仮想視点Ｍ_Ｌ０では、画素２５ａを透過した光Ｌａが収束する。即ち、仮想視点Ｍ_Ｌ０では、画素２５ａに表示された視点画像のみ観測されることとなる。

これに対して、最適視聴位置Ｍ_０とは異なる位置に設置された視点Ｍ_Ｌ１では、仮想視点Ｍ_Ｌ０の場合とは光が収束する条件が異なるため、画素２５ａを透過した光Ｌａ、画素２５ｂを透過した光Ｌｂ、及び、画素２５ｄを透過した光Ｌｄが収束することとなる。即ち、視点Ｍ_Ｌ１では、画素２５ａ、２５ｂ、及び２５ｄそれぞれに表示された視点画像が観測される。そのため、画素２５ａ、２５ｂ、及び２５ｄそれぞれにおいて、異なる視点画像が表示されている場合には、視点Ｍ_Ｌ１では、ボケや二重像が観測されることとなる。

ここで、図４〜図６を参照しながら、比較例１に係る画像処理装置の動作について説明する。まず、図４を参照する。図４は、比較例１に係る画像処理装置のレンダリングルールを模式的に示した図である。表示装置２０の画面の各画素は、あらかじめいずれかの仮想視点に対応付けられており、図４に示すレンダリングルールは、所定の仮想視点に対応付けられた画素が、表示装置２０の画面のｘ座標に応じて、どの視点画像に関連付けられているかを示している。

図４の縦軸は、レンダリングされる視点を、即ち、どの視点画像に対応しているかを示している。換言すると、レンダリングされる視点は、インデックスに相当する。また、図４の横軸は、表示装置２０の画面（即ち、表示パネル２５）のｘ座標（即ち、水平方向の座標）を示している。また、参照符号ｖ０〜ｖ８は、各仮想視点にそれぞれ対応している。即ち、図４に示す例では、ｖ０〜ｖ８で示された９つの仮想視点が設定されている場合を示しており、ｖ０〜ｖ８のデータは、各画素と各インデックスとの対応関係を示している。

図４に示すように、比較例１に係る画像処理装置では、所定の仮想視点に関連付けられた画素には、当該画素のｘ座標に限らず、所定の視点画像が表示されることとなる。

このように、比較例１に係る画像処理装置は、図４に示すデータに基づき、各画素と各インデックスとを関連付けたインデックスマップを生成し、当該インデックスマップに基づき各画素と各視点画像とを関連付ける。

表示パネル２５を構成する各画素は、仮想視点ｖ０〜ｖ８のいずれかに関連付けられており、図４に示すレンダリングルールに基づき、対応するインデックス（即ち、レンダリングされる視点）が示す視点画像が表示される。なお、比較例１に係る画像処理装置の処理に基づき各視点画像を表示する場合には、図４に示すように、例えば、仮想視点ｖ０に関連付けられた画素はいずれも、ｘ方向の位置に限らず、インデックス０（即ち、レンダリングされる視点０）に対応する視点画像が常に表示されることとなる。このことは、仮想視点ｖ１〜ｖ８それぞれに関連付けられた画素についても同様である。即ち、仮想視点ｖ８に関連付けられた画素はいずれも、ｘ方向の位置に限らず、インデックス８に対応する視点画像が常に表示されることとなる。

そのため、比較例１に係る画像処理装置に依れば、例えば、図３に示す例では、最適視聴位置Ｍ_０に基づく仮想視点Ｍ_Ｌ０では所定のインデックスに関連付けられた画素からの光が観測されるが、視点Ｍ_Ｌ１では、異なるインデックスに関連付けられた画素からの光が観測される。即ち、最適視聴位置Ｍ_０に基づく仮想視点Ｍ_Ｌ０では鮮明な画像が観測されるが、最適視聴位置Ｍ_０とは異なる位置に設置された視点Ｍ_Ｌ１では、ボケや二重像が観測されることとなる。

ここで、図５及び図６を参照しながら、比較例１に係る画像処理装置を適用した場合の、最適視聴位置Ｍ_０とは異なる位置に設置された視点Ｍ_Ｌ１で観測される視点画像について更に詳しく説明する。図５は、表示パネル２５の各画素から出射される光線のクロストーク比の一例を示している。図５の縦軸は、クロストーク比、即ち、クロストークの相対的な量を示している。また、図５の横軸は、表示装置２０の画面（即ち、表示パネル２５）のｘ座標（即ち、水平方向の座標）を示している。即ち、図５に示す例は、表示パネル２５の各画素において、どれだけのクロストーク（即ち、他の視点画像の漏れ込み）が発生するかを示している。

次に、図６を参照する。図６は、図４に示したレンダリングルールに基づくインデックスマップにより各視点画像を各画素に関連付けた場合に、視点Ｍ_Ｌ１のｘ方向の位置に応じて、観測される視点画像を模式的に示した図である。図６の縦軸は、観測される光線、即ち、インデックス０〜８のうちいずれの視点に対応する視点画像に基づく光線が観測されるかを示している。また、横軸は、表示装置２０の画面（即ち、表示パネル２５）のｘ座標（即ち、水平方向の座標）を示している。

なお、図６に示す例では、視点Ｍ_Ｌ１は、仮想視点ｖ４に関連付けられている場合を示しており、換言すると、仮想視点ｖ４において、どのインデックスに対応した視点画像が観測されるかを示している。

例えば、仮想視点ｖ４の場合には、ｘ方向（即ち、水平方向）の位置に依らず、インデックス０〜８に対応する各視点画像のうち、いずれかのインデックス（例えば、インデックス４）に対応する視点画像のみが観測されることが望ましい。しかしながら、図６に示す例では、図５に示したクロストークの影響により、インデックス４以外の他のインデックスに対応した視点画像も観測されており、ｘ方向の位置に応じてインデックス（即ち、観測される視点画像）も大きく変化していることがわかる。

このように、比較例１に係る画像処理装置を適用した場合には、最適視聴位置Ｍ_０とは異なる位置に設置された視点Ｍ_Ｌ１では、複数の異なる視点画像が観測される。即ち、視聴者は、ボケや二重像を観測することとなる。

［３．２．比較例２］
次に、比較例２に係る画像処理装置について説明する。前述の通り、比較例１に係る画像処理装置を適用した場合には、最適視聴位置Ｍ_０とは異なる位置に設置された視点Ｍ_Ｌ１において、ボケや二重像が観測される場合がある。

このような視聴位置に関する制約を解消するために、比較例２に係る画像処理装置は、表示パネル２５に対する視聴者の奥行き方向の位置を検出し、検出された位置に応じて、各画素で表示される視点画像を切り替えている。即ち、比較例２に係る画像処理装置は、視聴者の位置に応じて、視聴者に観測される視点画像のずれを推定し、推定されたずれをキャンセルするように各画素で表示される視点画像を入れ替えることで、視聴者が鮮明な画像を観測できるようにする。

以下に、図７及び図８を参照しながら、比較例２に係る画像処理装置の動作について説明する。まず、図７を参照する。図７は、比較例２に係る画像処理装置のレンダリングルールを模式的に示した図である。図７に示すレンダリングルールは、比較例２に係る画像処理装置において、所定の仮想視点に対応付けられた画素が、表示装置２０の画面のｘ座標に応じて、どの視点画像に関連付けられているかを示している。

なお、図７の縦軸及び横軸と、参照符号ｖ０〜ｖ８が示す内容とは、図４（比較例１に係る画像処理装置の場合）と同様である。つまり、図７に示す例では、図４と同様に、ｖ０〜ｖ８で示された９つの仮想視点が設定されている場合を示しており、仮想視点ｖ０〜ｖ８のデータは、各画素と各インデックスとの対応関係を示している。

図７に示すように、比較例１に係る画像処理装置では、所定の仮想視点に関連付けられた画素には、当該画素のｘ座標に応じて異なる視点画像が表示される。具体的には、このとき、所定の仮想視点に関連付けられた当該画素には、仮想視点ｖ０〜ｖ８に対応してあらかじめ生成された９つの視点画像のうち、いずれかの視点画像が表示されることとなる。即ち、比較例１に係る画像処理装置では、画素のｘ座標に応じて、当該画素に表示させる視点画像を、あらかじめ生成された９つの視点画像の中のいずれかに切り替えて表示させる。

このように、比較例２に係る画像処理装置は、図７に示すデータに基づき、各画素と各インデックスとを関連付けたインデックスマップを生成し、当該インデックスマップに基づき各画素と各視点画像とを関連付ける。

また、図７に示す例は、視聴者の位置が、最適視聴位置Ｍ_０とは異なる場合（例えば、視点Ｍ_Ｌ１が示す位置の場合）におけるレンダリングルールを示している。

図７に示すように、比較例２に係る画像処理装置は、視聴者の位置に応じて、視聴者に観測される視点画像のずれを推定し、推定されたずれをキャンセルするように各画素で表示される視点画像を入れ替えている。このような構成により、各仮想視点（ｖ０〜ｖ９）に関連付けられた各画素は、ｘ方向の位置に応じて、インデックス０〜８のいずれかに対応した視点画像を表示することとなる。

図８は、図７に示したレンダリングルールに基づくインデックスマップにより各視点画像を各画素に関連付けた場合に、視点Ｍ_Ｌ１のｘ方向の位置に応じて、観測される視点画像を模式的に示した図である。なお、図８の縦軸及び横軸は、図６（比較例１に係る画像処理装置の場合）と同様である。

なお、図８に示す例では、図６に示す例と同様に、視点Ｍ_Ｌ１は、仮想視点ｖ４に関連付けられている場合を示しており、換言すると、仮想視点ｖ４において、どのインデックスに対応した視点画像が観測されるかを示している。

図８に示す例は、図６に示す例（即ち、比較例１に係る画像処理装置の場合）と比べるとわかるように、インデックスのずれ（即ち、観測される視点画像のずれ）が、図６に示す例に比べて収束していることがわかる。そのため、比較例２に係る画像処理装置を適用することで、最適視聴位置Ｍ_０とは異なる位置に設置された視点Ｍ_Ｌ１においても、比較例１に係る画像処理装置１０に比べて、ボケや二重像の発生が部分的に抑制されることがわかる。

一方で、図８におけるグラフの傾きに注目するとわかるように、比較例２に係る画像処理装置を適用した場合においても、依然として画面の位置に応じて異なる視点画像が観測されていることがわかる。また、図８に示す例では、クロストークの影響により、周期的なインデックスのずれ（即ち、観測される視点画像のずれ）が発生していることがわかる。

ここで、図９及び図１０を参照しながら、比較例２に係る画像処理装置を適用した場合に、視点Ｍ_Ｌ１において観測される画像の一例について説明する。図９に示す画像Ｖ１０は、原画像の一例を示している。また、図１０に示す画像Ｖ２０は、図９に示した画像Ｖ１０を入力とした比較例２に係る画像処理装置の処理結果に基づき、視点Ｍ_Ｌ１において観測される画像の一例を示している。

図１０に示す画像Ｖ２０を参照するとわかるように、残存する視点画像のずれや、クロスストークの影響による周期的な視点画像のずれにより、周期的な奥行き方向の波打ちが生じたり、画面の一部にボケや二重像のような視点の歪みが生じている。

そこで、本実施形態に係る画像処理装置１０は、残存する視点画像のずれや、クロスストークの影響による周期的な視点画像のずれを緩和することで、視聴者の位置（即ち、視点の位置）に依らずに、複数の視点それぞれに対して、視点の歪みをより低減した視点画像を提供する。これにより、視聴者は、比較例１及び２に係る画像処理装置に比べて、より鮮明な画像を視聴することが可能となる。そこで、以降では、本実施形態に係る画像処理装置１０の詳細について、特に、視聴者の位置に応じて、原画像を基に各視点画像を生成する処理に着目して説明する。

＜４．画像処理装置の詳細＞
［４．１．概要］
まず、本実施形態に係る画像処理装置１０の動作の概要について説明する。本実施形態に係る画像処理装置１０は、視聴位置検出装置４０から出力される情報に基づき、表示装置２０の表示パネル２５に対する視聴者の位置（特に、奥行き方向の位置）を検出する。そして、画像処理装置１０は、当該表示装置２０のクロストーク特性を示すデータ（以降では「クロストーク情報」と呼ぶ場合がある）に基づき、検出された視聴者の位置（奥行き方向の位置）におけるクロストークの影響を算出し、算出したクロストークの影響を打ち消すようにインデックスマップを補正する。

なお、表示装置２０のクロストーク情報とは、各画素から表示パネル２５の前方のどの方向に（換言すると、どのような放射角で）光が照射されるかを示すデータ（例えば、図５）である。換言すると、クロストーク情報は、表示パネル２５の各画素において、どれだけのクロストーク（近傍の画素からの漏れ込み）が発生するかを示している。そのため、当該クロストーク情報に基づき、表示パネル２５の前方の視聴位置に対して、どの画素からの光がどのくらいの量で到達するかを算出することが可能であり、即ち
、視聴者の位置におけるクロストークの影響を算出することが可能である。

なお、表示装置２０のクロストーク情報は、例えば、当該表示装置２０におけるバリア２３と、表示パネル２５との位置関係に応じて決定される。そのため、表示装置２０のクロストーク情報は、当該表示装置２０の構成に応じて、事前に生成することが可能である。また、例えば、表示パネル２５の各画素から光の漏れ込みを測定することで、表示装置２０のクロストーク情報を事前に取得することも可能である。そのため、表示装置２０のクロストーク情報は、あらかじめ生成または取得して、画像処理装置１０が読み出し可能な位置（例えば、画像処理装置１０自身や表示装置２０）に記憶させておくとよい。

なお、画像処理装置１０による、表示装置２０のクロストーク情報に基づく、視聴者の位置におけるクロストークの影響の算出に係る処理の詳細については、別途後述する。

図１１は、本実施形態に係る画像処理装置１０のレンダリングルールを模式的に示した図である。なお、図１１の縦軸及び横軸と、参照符号ｖ０〜ｖ８が示す内容とは、図４（比較例１に係る画像処理装置の場合）及び図７（比較例２に係る画像処理装置の場合）と同様である。つまり、図１１に示す例では、図４及び図７と同様に、ｖ０〜ｖ８で示された９つの仮想視点が設定されている場合を示しており、仮想視点ｖ０〜ｖ８のデータは、各画素と各インデックスとの対応関係を示している。

また、図１１に示す例は、図７と同様に、視聴者の位置が、最適視聴位置Ｍ_０とは異なる場合（例えば、視点Ｍ_Ｌ１が示す位置の場合）におけるレンダリングルールを示している。なお、表示パネル２５からの光のクロストークは、図５に示すようになっているものとする。

本実施形態に係る画像処理装置１０は、検出した視聴者の位置と、図５に示す表示装置２０のクロストーク特性を示すデータとに基づき、当該視聴者の位置において観測される視点画像のインデックスを算出する。そして、画像処理装置１０は、当該視聴者の位置において観測される視点画像のインデックスの算出結果に基づき、クロストークを打ち消すようにレンダリングルール（即ち、図１１）を設定し、当該レンダリングルールに基づきインデックスマップを生成する。インデックスマップを生成した後、画像処理装置１０は、生成されたインデックスマップに含まれる各インデックスに対応した視点画像を生成し、生成した各視点画像を、当該インデックスマップに基づき各画素に関連付ける。

図１２は、図１１に示したレンダリングルールに基づくインデックスマップにより各視点画像を各画素に関連付けた場合に、視点Ｍ_Ｌ１のｘ方向の位置に応じて、観測される視点画像を模式的に示した図である。なお、図１２の縦軸及び横軸は、図６（比較例１に係る画像処理装置の場合）及び図８（比較例２に係る画像処理装置の場合）と同様である。

なお、図１２に示す例では、図６及び図８に示す例と同様に、視点Ｍ_Ｌ１は、仮想視点ｖ４に関連付けられている場合を示しており、換言すると、仮想視点ｖ４において、どのインデックスに対応した視点画像が観測されるかを示している。

図１２に示すように、本実施形態に係る画像処理装置１０に依れば、インデックスのずれ（即ち、観測される視点画像のずれ）が収束し、ｘ方向（即ち、水平方向）の位置に依らず、インデックス４に対応する視点画像のみが観測されていることがわかる。また、図８（比較例２に係る画像処理装置の場合）と比較するとわかるように、図１２に示す例では、クロストークの影響による周期的なインデックスのずれ（即ち、観測される視点画像のずれ）が抑制されていることがわかる。

図１３に示す画像Ｖ３０は、図９に示した画像Ｖ１０を入力とした本実施形態に係る画像処理装置１０の処理結果に基づき、視点Ｍ_Ｌ１において観測される画像の一例を示している。

図１３に示す画像Ｖ３０を、図１０に示す画像Ｖ２０（比較例２に係る画像処理装置の場合）と比較するとわかるように、本実施形態に係る画像処理装置１０に依れば、周期的な奥行き方向の波打ちや、部分的なボケや二重像のような視点の歪みが緩和されていることがわかる。

図１４は、レンダリングルールに基づく各画素とインデックスとの対応関係の一例を模式的に示した図であり、比較例１、比較例２、及び本実施形態それぞれに係る画像処理装置の処理結果の一例を示している。図１４では、表示パネル２５の一部の画素に着目して、最適視聴位置Ｍ_０とは異なる位置に視聴者が位置する場合（例えば、視点Ｍ_Ｌ１）を例に、比較例１、比較例２、及び本実施形態それぞれの場合について、どのようなインデックスが関連付けられているかを示している。なお、図１４における「実施例」は、本実施形態に係る画像処理装置１０の処理結果の一例に対応している。

図１４に示すように、比較例１に係る画像処理装置の処理結果は、視聴者の位置に限らず、各画素には、最適視聴位置Ｍ_０に基づきあらかじめ設定されたインデックスが関連付けられている。これに対して、比較例２及び実施例に係る画像処理装置の処理結果は、最適視聴位置Ｍ_０とは異なる位置に視聴者が位置する場合には、その位置に応じて、各画素に関連付けられるインデックスが補正されている。このような構成により、比較例２及び実施例に係る画像処理装置は、最適視聴位置Ｍ_０とは異なる位置に視聴者が位置する場合においても、観測される視点画像のずれ（インデックスのずれ）に伴うボケや二重像の発生を抑制している。

次に、比較例２と実施例とを比較する。図７に示したレンダリングルールを参照するとわかるように、比較例２に係る画像処理装置は、最適視聴位置Ｍ_０に基づきあらかじめ設定されたインデックス０、１、２、…、８を入れ替えるようにインデックスマップを補正する。そのため、図８や図１０に示すように、部分的にボケや二重像の発生は抑止されるが、クロストークの影響による周期的なインデックスのずれが残存し、周期的な奥行き方向の波打ちや部分的な視点の歪みとして顕在化している。

これに対して、実施例に係る画像処理装置は、図１１に示したレンダリングルールを参照するとわかるように、クロストークの影響を打ち消すために、既存のインデックス０、１、２、…、８以外にも、クロストークの影響を反映したインデックスを生成する。例えば、図１４において、「４．９」、「５．８」、「６．７」、「５．５」、「２．１」として示されたインデックスは、クロストークの影響を打ち消すように設定されたインデックスを示している。

このように、実施例に係る画像処理装置は、既存のインデックス０、１、２、…、８以外に、視聴者の位置に応じたクロストークの影響を打ち消すようにインデックスを生成し、各画素に関連付ける。そして、当該画像処理装置は、生成した各インデックスに対応する視点画像を生成し、生成した視点画像を、当該視点画像に対応するインデックスが関連付けられた画素に表示させる。

このような構成により、実施例に係る画像処理装置に依れば、各仮想視点では、クロストークの漏れ込みが打ち消され、例えば、既存のインデックス０、１、２、…、８のうち、あらかじめ関連付けられたインデックスに対応する視点画像が観測される。即ち、実施例に係る画像処理装置に依れば、視聴者は、視聴位置に依らずに、図１３に示す視点画像Ｖ３０のように、周期的な奥行き方向の波打ちや、部分的なボケや二重像のような視点の歪みが緩和された視点画像を観測することが可能となる。

また、本実施形態に係る画像処理装置１０は、図１４に示すように、既存のインデックス０、１、２、…、８以外に、視聴者の位置に応じたクロストークの影響を打ち消すようにインデックスを生成する。そのため、比較例１及び２に係る画像処理装置に比べて、より多くの視点画像が生成されることになることは言うまでもない。即ち、本実施形態に係る画像処理装置１０では、各仮想視点において実際に観測される視点画像の数よりも、より多くの視点画像が生成されることとなる。

なお、各仮想視点において実際に観測される視点画像、換言すると、既存のインデックス０、１、２、…、８に対応する視点画像が「第１の視点画像」に相当する。また、画像処理装置１０により実際に生成される視点画像、換言すると、クロストークの影響を打ち消すように生成されたインデックスに対応する視点画像が「第２の視点画像」に相当する。

［４．２．構成］
次に、図１５を参照しながら、本実施形態に係る画像処理装置１０の構成について、特に、各視点画像及びインデックスマップの生成に係る処理に着目しても説明する。図１５は、本実施形態に係る画像処理装置１０の機能構成の一例を示したブロック図である。

図１５に示すように、本実施形態に係る画像処理装置１０は、画像取得部１１と、位置情報取得部１３と、クロストーク情報取得部１５と、画像処理部１７とを含む。また、画像処理部１７は、光線ずれ検出部１７１と、光線ずれ補正部１７３と、画像生成部１７５とを含む。

画像取得部１１は、表示装置２０に表示させる各視点画像の生成元である原画像を外部から取得する。なお、前述したとおり、画像取得部１１は、放送として配信された原画像を、アンテナ３０を介して受信してもよいし、外部メディアに記録された原画像を当該外部メディアから読み出してもよい。

また、画像取得部１１は、原画像中の各画素に対して設定された、異なる視点画像間（例えば、左目用画像と右目用画像との間）の視差の分布を示す視差マップを取得する。このとき、画像取得部１１は、原画像と同様に、視差マップを外部から取得してもよい。また、他の一例として、画像取得部１１は、取得した原画像を解析することで、当該解析結果に基づき視差マップを生成してもよい。

画像取得部１１は、取得した原画像及び視差マップを光線ずれ検出部１７１に出力する。

位置情報取得部１３は、視聴者の位置情報を、例えば、視聴位置検出装置４０（図１参照）から取得する。位置情報取得部１３は、取得した位置情報に基づき、表示装置２０の表示パネル２５に対する視聴者の位置（特に、奥行き方向の位置）を特定し、特定した視聴者の位置を光線ずれ検出部１７１に通知する。これにより、光線ずれ検出部１７１は、表示パネル２５に対する視聴者の位置を認識することが可能となる。

なお、表示装置２０の表示パネル２５に対する視聴者の位置情報が取得できれば、視聴位置検出装置４０が画像処理装置１０に内蔵されていてもよい。この場合には、位置情報取得部１３が、視聴位置検出装置４０として動作してもよい。

クロストーク情報取得部１５は、表示装置２０のクロストーク情報を取得する。なお、当該クロストーク情報は、前述したように、例えば、表示装置２０の構成に基づきあらかじめ生成し、クロストーク情報取得部１５が読み出し可能な位置（例えば、画像処理装置１０や表示装置２０内の記憶部）に記憶させておくとよい。

また、表示パネル２５の各画素から光の漏れ込みを測定することで、表示装置２０のクロストーク情報をあらかじめ取得することも可能である。また、当該測定は、例えば、当該表示装置２０の表示パネル２５のキャリブレーション等のタイミングで行われるように構成してもよい。この場合には、当該測定の結果に基づき、あらかじめ記憶されたクロストーク情報が更新されるように画像処理装置１０または表示装置２０を構成してもよい。

クロストーク情報取得部１５は、取得した表示装置２０のクロストーク情報を光線ずれ検出部１７１に出力する。

光線ずれ検出部１７１は、画像取得部１１から原画像及び視差マップを取得する。また、光線ずれ検出部１７１は、位置情報取得部１３から、表示装置２０の表示パネル２５に対する視聴者の位置（特に、奥行き方向の位置）の通知を受ける。これにより、光線ずれ検出部１７１は、表示パネル２５に対する視聴者の位置を認識することが可能となる。また、光線ずれ検出部１７１は、クロストーク情報取得部１５から、表示装置２０のクロストーク情報を取得する。

光線ずれ検出部１７１は、取得したクロストーク情報と、認識した表示パネル２５に対する視聴者の位置とに基づき、当該視聴者の位置（奥行き方向の位置）に対応した各仮想視点におけるクロストークの影響を算出する。以下に、光線ずれ検出部１７１による、クロストークの影響の算出に係る処理の詳細について、図１６を参照しながら説明する。図１６は、本実施形態に係る画像処理装置１０の詳細な動作、即ち、光線ずれ検出部１７１による、クロストークの影響の算出に係る処理の詳細について説明するための図である。

図１６において、横方向で示されたｘ方向は、表示装置２０の表示パネル２５に対する水平方向を示しており、図面に対して垂直な方向で示されたｙ方向は、表示装置２０の表示パネル２５に対する垂直方向を示している。また、縦方向で示されたｚ方向は、表示装置２０の表示パネル２５に対する奥行き方向を示している。なお、図１６では、表示パネル２５の位置をｚ＝０の位置とし、表示パネル２５の奥側（バリア２３側）はｚが負値となり、表示パネル２５の手前側はｚが正値となるものとして示している。

また、図１６において、参照符号Ｂは、表示パネル２５とバリア２３との間のｚ方向に沿った距離を示している。そのため、バリア２３のｚ座標は、ｚ＝−Ｂで示される。

参照符号Ｍ_０は、最適視聴位置、即ち、表示パネル２５に対してあらかじめ設定された奥行き方向の位置を示している。また、参照符号Ｍ_Ｌ１は、最適視聴位置Ｍ_０とは異なる位置に設定された視点を示している。なお、本説明では、視点Ｍ_Ｌ１の位置が、視聴者の位置を示しているものとして説明する。

また、参照符号Ｌは、最適視聴位置Ｍ_０と表示パネル２５との間の奥行き方向の距離を示している。即ち、最適視聴位置Ｍ_０のｚ座標は、ｚ＝Ｌで示される。また、参照符号Ｚは、視点Ｍ_Ｌと表示パネル２５との間の奥行き方向の距離を示している。即ち、視点Ｍ_Ｌ１のｚ座標は、ｚ＝Ｚで示される。

また、図１６に示す例では、Ｐ０（０，０）の位置（画素）の正面手前側における最適視聴位置Ｍ_０に対応する座標（即ち、座標Ｐ０からｚ方向に距離Ｌだけ離れた座標）を、Ｐ２（０，Ｌ）として示している。また、図１６に示す例では、最適視聴位置Ｍ_０とは異なる位置に設定された視点Ｍ_Ｌ１の座標を、Ｐ_Ｍ（Ｘ，Ｚ）として示している。

ここで、座標Ｐ_Ｂ（Ｘ_Ｂ，−Ｂ）に位置するスリットから、手前側（表示パネル２５側）に向けて出射された光に着目する。ここで、座標Ｐ_Ｂ（ｘ_Ｂ，−Ｂ）から、最適視聴位置Ｍ_０に対応する座標Ｐ２（０，Ｌ）に向けて出射された光が通過する表示パネル２５の画素の座標をＰ１（ｘ_ｐ，０）とする。同様に、座標Ｐ_Ｂ（ｘ_Ｂ，−Ｂ）から、視点Ｍ_Ｌ１に対応する座標Ｐ_Ｍ（Ｘ，Ｚ）に向けて出射された光が通過する表示パネル２５の画素の座標をＰ１’（ｘ_ｐ’，０）とする。

このとき、座標Ｐ_Ｂ（Ｘ_Ｂ，−Ｂ）から出射され座標Ｐ１’（ｘ_ｐ’，０）を通過した光の、ｘｚ平面上におけるｚ軸に対する角度をθとした場合に、角度θは、以下に示す（式１）及び（式２）に基づき算出することが可能である。

なお、距離Ｌは、位置情報取得部１３から通知された視聴者の位置に基づき算出することが可能である。

また、角度θは、座標Ｐ１’（ｘ_ｐ’，０）から座標Ｐ_Ｍ（Ｘ，Ｚ）（即ち、視点Ｍ_Ｌ１）に向けた方向に相当する。そのため、角度θと表示装置２０のクロストーク情報とから、座標Ｐ１’（ｘ_ｐ’，０）から座標Ｐ_Ｍ（Ｘ，Ｚ）に、どのくらいの強度の光が到達するか、即ち、座標Ｐ１’（ｘ_ｐ’，０）に位置する画素から出力される光線のインデックスを算出することが可能である。

ここで、視聴者の位置が最適視聴位置Ｍ_０の場合のインデックスマップにおける、ｋ視点目の座標（ｘ，ｙ）に対応した画素のインデックスをi_ｋ（ｘ，ｙ）とした場合に、インデックスi_ｋ（ｘ，ｙ）は、以下に示す（式３）で表される。

また、座標Ｐ１’（ｘ_ｐ’，０）に位置する画素から出力される光線のインデックスをｉ’_ｋ（ｘ，ｙ）とする。このとき、インデックスをｉ’_ｋ（ｘ，ｙ）は、当該画素の最適視聴距離Ｍ_０に基づくインデックスｉ_ｋ（ｘ，ｙ）と、視聴位置Ｐ_Ｍ（Ｘ，Ｚ）と視点ｋによって定まる角度θ_ｋ（Ｘ，Ｚ）と、仮想視点の数Ｎと、全ての視点ｍの漏れ込み光線強度Ｅ_ｍ（θ_ｋ（Ｘ，Ｚ））とから、以下に示す（式４）で表される。

以上のような特性を利用して、光線ずれ検出部１７１は、取得したクロストーク情報と、表示パネル２５に対する視聴者の位置とに基づき、クロストークの影響を加味して、各仮想視点で観測されるインデックス（換言すると、視点画像）を算出する。このとき、例えば、図６に示すような算出結果が得られる。なお、図６に示す例は、前述したように、一の仮想視点についてのみ示したデータであり、光線ずれ検出部１７１は、各仮想視点に対して図６に示すようなデータを生成する。なお、以降では、クロストークの影響を加味して算出された、各仮想視点で観測されるインデックスを示すデータを、「クロストークの解析結果」と呼ぶ場合がある。

光線ずれ検出部１７１は、算出したクロストークの解析結果と、原画像及び視差マップとを、光線ずれ補正部１７３に出力する。

光線ずれ補正部１７３は、光線ずれ補正部１７３は、最適視聴位置Ｍ_０に応じて事前に定義されたインデックスマップに基づき、視聴者の位置に応じたインデックスマップを生成する。なお、最適視聴位置Ｍ_０に基づくインデックスマップは、光線ずれ補正部１７３と後述する画像生成部１７５とが読み出し可能な位置にあらかじめ記憶させておくとよい。最適視聴位置Ｍ_０に基づくインデックスマップは、例えば、図４に示すようなレンダリングルールに基づき定義することが可能である。以下に、光線ずれ補正部１７３の動作の詳細について説明する。

光線ずれ補正部１７３は、クロストークの解析結果と、原画像及び視差マップとを、光線ずれ検出部１７１から取得する。

光線ずれ補正部１７３は、取得したクロストークの解析結果に基づき、クロストークの影響を打ち消し、各仮想視点において所定のインデックス視点画像のみが観測されるように（即ち、インデックスのずれをキャンセルするように）レンダリングルールを設定する。

具体的には、補正された（ずれがキャンセルされた）インデックスをｊ_ｋ（ｘ，ｙ）とした場合、当該インデックスｊ_ｋ（ｘ，ｙ）は、前述した（式３）及び（式４）に基づき、以下に示す（式５）で表される。

なお、（式５）において、ｉ_ｋ（ｘ，ｙ）が、図４に示したインデックスのうちのいずれかの視点（例えば、視点ｖ４）のインデックスに相当し、ｉ’_ｋ（ｘ，ｙ）が、図６に示した、当該視点において実際に観測されるインデックスに相当する。そのため、（式５）に基づき、インデックスｊ_ｋ（ｘ，ｙ）として、各視点について、図６に示すようなインデックスの分布が、上下左右それぞれについて反転したように、各インデックスが分布することとなる。

即ち、光線ずれ補正部１７３は、最適視聴位置Ｍ_０に基づくインデックスマップの各画素に対応するインデックスi_ｋ（ｘ，ｙ）が、ずれがキャンセルされたインデックスｊ_ｋ（ｘ，ｙ）に変換されるように、（式３）〜（式５）に基づきレンダリングルールを設定する。例えば、光線ずれ補正部１７３により、図１１に示すようなレンダリングルールが設定される。

そして、光線ずれ補正部１７３は、最適視聴位置Ｍ_０に基づくインデックスマップにより各画素に関連付けられたインデックスを、設定したレンダリングルールに基づき算出されるインデックスに変換する。これにより、あらかじめ記憶された最適視聴位置Ｍ_０に基づくインデックスマップの各インデックスが、検出された視聴者の位置に応じたインデックスに変換されて、当該視聴者の位置に応じたインデックスマップが生成される。

なお、検出された視聴者の位置が最適視聴位置Ｍ_０に対応している場合には、光線ずれ補正部１７３は、インデックスルールの設定や、インデックスマップの変換を、必ずしも行わなくてもよいことは言うまでもない。

光線ずれ補正部１７３は、生成した視聴者の位置に基づくインデックスマップと、原画像及び視差マップとを画像生成部１７５に出力する。

画像生成部１７５は、視聴者の位置に基づくインデックスマップと、原画像及び視差マップとを光線ずれ補正部１７３から取得する。

画像生成部１７５は、取得した視聴者の位置に基づくインデックスマップ、原画像、及び視差マップに基づき、当該インデックスマップに含まれる各インデックスに対応する視点画像を生成する。

このとき、例えば、画像生成部１７５は、事前に定義された最適視聴位置Ｍ_０に基づくインデックスマップと、取得した原画像及び視差マップとに基づき、各インデックスに対応した視点画像を仮生成する。これにより、例えば、９つの仮想視点が設定されている場合には、当該仮想視点それぞれに対応する視点画像、即ち、９つの視点画像が仮生成される。

最適視聴位置Ｍ_０に基づくインデックスマップに基づき視点画像を仮生成した後、画像生成部１７５は、仮生成した各仮想視点を合成することで、取得した視聴者の位置に基づくインデックスマップの各インデックスに対応する視点画像を生成する。

もちろん、画像生成部１７５は、視聴者の位置に基づくインデックスマップ、原画像、及び視差マップに基づき、当該インデックスマップの各インデックスに対応する視点画像を直接生成してもよい。この場合には、例えば、画像生成部１７５は、各インデックスの値に基づき画素値を取得（または算出）し、取得した画素値に基づき各視点画像を生成すればよい。

また、画像生成部１７５は、視聴者の位置に基づくインデックスマップの各インデックスのうち、一部のインデックスについて視点画像を生成し、他の一部については、当該一部のインデックスについて生成された視点画像を合成することで生成してもよい。

画像生成部１７５は、視聴者の位置に基づくインデックスマップに基づき生成した各視点画像を基に、各画素に設定されたインデックスに対応した画像が表示された多視点画像を生成する。

なお、上記では、説明をわかりやすくするために各視点画像を生成し、生成した視点画像に基づき多視点画像を生成する例について説明したが、画像生成部１７５は、インデックスマップ、原画像、及び視差マップに基づき多視点画像を直接生成してもよい。

この場合には、画像生成部１７５は、多視点画像の各画素の画素値を、当該画素に設定されたインデックスに基づき算出すればよい。また、画像生成部１７５は、インデックスマップ、原画像、及び視差マップに基づき一部の画素の画素値を算出し、他の画素の画素値については、当該他の画素のインデックスに基づき、算出された一部の画素の画素値を合成することで算出してもよい。

画像生成部１７５は、生成した多視点画像を表示装置２０に出力する。これにより、生成された多視点画像が表示装置２０の表示パネル２５に表示される。

［４．３．処理の流れ］
次に、図１７を参照しながら、本実施形態に係る画像処理装置１０の一連の処理の流れについて説明する。図１７は、本実施形態に係る画像処理装置の一連の処理の流れについて説明するためのフローチャートである。

（ステップＳ１０１）
まず、画像取得部１１は、表示装置２０に表示させる各視点画像の生成元である原画像を外部から取得する。なお、画像取得部１１は、放送として配信された原画像を、アンテナ３０を介して受信してもよいし、外部メディアに記録された原画像を当該外部メディアから読み出してもよい。

（ステップＳ１０３）
また、画像取得部１１は、原画像中の各画素に対して設定された、異なる視点画像間の視差の分布を示す視差マップを取得する。このとき、画像取得部１１は、原画像と同様に、視差マップを外部から取得してもよい。また、他の一例として、画像取得部１１は、取得した原画像を解析することで、当該解析結果に基づき視差マップを生成してもよい。

画像取得部１１は、取得した原画像及び視差マップを光線ずれ検出部１７１に出力する。

（ステップＳ１０５）
また、画像処理装置１０は、最適視聴位置Ｍ_０に基づき事前に定義されたインデックスマップを、光線ずれ補正部１７３と画像生成部１７５とが読み出し可能な位置にあらかじめ記憶している。

（ステップＳ１０７）
位置情報取得部１３は、視聴者の位置情報を、例えば、視聴位置検出装置４０（図１参照）から取得する。位置情報取得部１３は、取得した位置情報に基づき、表示装置２０の表示パネル２５に対する視聴者の位置（特に、奥行き方向の位置）を特定し、特定した視聴者の位置を光線ずれ検出部１７１に通知する。これにより、光線ずれ検出部１７１は、表示パネル２５に対する視聴者の位置を認識することが可能となる。

（ステップＳ１０９）
クロストーク情報取得部１５は、表示装置２０のクロストーク情報を取得する。なお、当該クロストーク情報は、前述したように、例えば、表示装置２０の構成に基づきあらかじめ生成し、クロストーク情報取得部１５が読み出し可能な位置（例えば、画像処理装置１０内の記憶部や表示装置２０）に記憶させておくとよい。

クロストーク情報取得部１５は、取得した表示装置２０のクロストーク情報を光線ずれ検出部１７１に出力する。

光線ずれ検出部１７１は、画像取得部１１から原画像及び視差マップを取得する。また、光線ずれ検出部１７１は、位置情報取得部１３から、表示装置２０の表示パネル２５に対する視聴者の位置（特に、奥行き方向の位置）の通知を受ける。これにより、光線ずれ検出部１７１は、表示パネル２５に対する視聴者の位置を認識することが可能となる。また、光線ずれ検出部１７１は、クロストーク情報取得部１５から、表示装置２０のクロストーク情報を取得する。

光線ずれ検出部１７１は、取得したクロストーク情報と、認識した表示パネル２５に対する視聴者の位置とに基づき、当該視聴者の位置（奥行き方向の位置）に対応した各仮想視点におけるクロストークの影響を算出する。そして、光線ずれ検出部１７１は、算出したクロストークの影響を加味して、各仮想視点で観測されるインデックス（換言すると、視点画像）を算出する。

光線ずれ検出部１７１は、クロストークの影響を加味して算出した各仮想視点で観測されるインデックスを示すデータ（即ち、クロストークの解析結果）と、原画像及び視差マップとを、光線ずれ補正部１７３に出力する。

（ステップＳ１１１）
光線ずれ補正部１７３は、クロストークの解析結果と、原画像及び視差マップとを、光線ずれ検出部１７１から取得する。

光線ずれ補正部１７３は、取得したクロストークの解析結果に基づき、クロストークの影響を打ち消し、各仮想視点において所定のインデックス視点画像のみが観測されるように（即ち、インデックスのずれをキャンセルするように）レンダリングルールを設定する。

そして、光線ずれ補正部１７３は、最適視聴位置Ｍ_０に基づくインデックスマップにより各画素に関連付けられたインデックスを、設定したレンダリングルールに基づき算出されるインデックスに変換する。これにより、あらかじめ記憶された最適視聴位置Ｍ_０に基づくインデックスマップが、検出された視聴者の位置に応じたインデックスマップに変換される。即ち、光線ずれ補正部１７３により、検出された視聴者の位置に応じたインデックスマップが生成される。

なお、検出された視聴者の位置が最適視聴位置Ｍ_０に対応している場合には、光線ずれ補正部１７３は、インデックスルールの設定や、インデックスマップの変換を、必ずしも行わなくてもよいことは言うまでもない。

光線ずれ補正部１７３は、生成した視聴者の位置に基づくインデックスマップと、原画像及び視差マップとを画像生成部１７５に出力する。

（ステップＳ１２０）
画像生成部１７５は、取得した視聴者の位置に基づくインデックスマップ、原画像、及び視差マップに基づき、当該インデックスマップに含まれる各インデックスに対応する視差画像を生成する。そして、画像生成部１７５は、視聴者の位置に基づくインデックスマップに基づき生成した各視点画像を基に、各画素に設定されたインデックスに対応した画像が表示された多視点画像を生成する。

ここで、画像生成部１７５の動作の一例について、図１８を参照しながら詳しく説明する。図１８は、画像生成部１７５による多視点画像の生成に係る処理の一例を示したフローチャートである。

（ステップＳ１２１）
例えば、画像生成部１７５は、事前に定義された最適視聴位置Ｍ_０に基づくインデックスマップと、取得した原画像及び視差マップとに基づき、各インデックスに対応した視点画像を仮生成する。これにより、例えば、９つの仮想視点が設定されている場合には、当該仮想視点それぞれに対応する視点画像、即ち、９つの視点画像が仮生成される。

（ステップＳ１２３）
最適視聴位置Ｍ_０に基づくインデックスマップに基づき視点画像を仮生成した後、画像生成部１７５は、仮生成した各仮想視点を合成することで、取得した視聴者の位置に基づくインデックスマップの各インデックスに対応する視点画像を生成する。

そして、画像生成部１７５は、視聴者の位置に基づくインデックスマップに基づき生成した各視点画像を基に、各画素に設定されたインデックスに対応した画像が表示された多視点画像を合成する。これにより、視聴者の位置に基づくインデックスマップに基づく多視点画像が生成される。

また、多視点画像の生成方法は図１８に基づき上記に説明した方法には限定されない。例えば、図１９は、画像生成部１７５による多視点画像の生成に係る処理の他の一例を示したフローチャートである。

（ステップＳ１２５）
図１９に示す例では、画像生成部１７５は、視聴者の位置に基づくインデックスマップ、原画像、及び視差マップに基づき、当該インデックスマップの各インデックスに対応する視点画像を直接生成する。この場合には、例えば、画像生成部１７５は、各インデックスの値に基づき画素値を取得（または算出）し、取得した画素値に基づき各視点画像を生成すればよい。

（ステップＳ１２７）
画像生成部１７５は、視聴者の位置に基づくインデックスマップに基づき生成した各視点画像を基に、各画素に設定されたインデックスに対応した画像が表示された多視点画像を生成する。

なお、上記では、説明をわかりやすくするために各視点画像を生成し、生成した視点画像に基づき多視点画像を生成する例について説明したが、画像生成部１７５は、インデックスマップ、原画像、及び視差マップに基づき多視点画像を直接生成してもよい。

この場合には、多視点画像の各画素の画素値を、当該画素に設定されたインデックスに基づき算出すればよい。また、この場合には、画像生成部１７５は、インデックスマップ、原画像、及び視差マップに基づき一部の画素の画素値を算出し、他の画素の画素値については、当該他の画素のインデックスに基づき、算出された一部の画素の画素値を合成することで算出してもよい。

（ステップＳ１１３）
ここで、再度図１７を参照する。画像生成部１７５は、生成した多視点画像を表示装置２０に出力する。これにより、生成された多視点画像が表示装置２０の表示パネル２５に表示される。

［４．４．まとめ］
以上説明したように、本実施形態に係る画像処理装置１０は、視聴者の位置を示す位置情報と表示装置２０のクロストーク情報とに基づき、視聴者の位置に応じたクロストークの影響を打ち消すようにインデックスを生成し、各画素に関連付ける。そして、画像処理装置１０は、生成した各インデックスに対応する視点画像を生成し、生成した視点画像を、当該視点画像に対応するインデックスが関連付けられた画素に表示させる。このような構成により、本実施形態に係る画像処理装置１０は、最適視聴位置Ｍ_０とは異なる位置に視聴者が位置する場合においても、観測される視点画像のずれ（インデックスのずれ）に伴うボケや二重像の発生を抑制することが可能となる。

＜５．変形例＞
［５．１．概要］
次に、変形例に係る画像処理装置１０ａについて説明する。所謂、裸眼３Ｄディスプレイのような表示装置２０は、それぞれ視差の異なる視点画像が観測される仮想視点を複数配置して１つの正規領域を形成している。例えば、ｖ０〜ｖ８で示された９つの仮想視点が設定されている場合には、仮想視点ｖ０〜ｖ８を、表示パネル２５に対して水平方向に並べることで１つの正規領域が形成される。そして、表示パネル２５に対して水平方向に正規領域を繰り返し複数配置することで、視点画像が周期的に出現するようにしている場合がある。

一方で、ユーザが表示パネル２５に対して水平方向に頭を動かした場合等、ユーザの左右の眼に対して、隣接する異なる正規領域に対応して視点画像がそれぞれ入力された場合に逆視現象が生じる場合がある。具体的な一例として、隣接する正規領域間では、一方の正規領域の仮想視点ｖ８と、他方の正規領域の仮想視点ｖ０とが隣接することとなる。このようにして観測される仮想視点ｖ０に対応する視点画像と、仮想視点ｖ８のそれぞれに対応する視点画像とは、視差値の差が大きい場合が少なくはなく、視点の歪みとして視聴者に観測される場合がある。

そこで、変形例に係る画像処理装置１０ａでは、例えば、隣接する各仮想視点に対応した視差画像間において視差値が所定の閾値以下となるように、光線ずれ補正部１７３により生成された視聴者の位置に応じたインデックスマップをさらに変換する。そして、画像処理装置１０ａは、変換されたインデックスマップに基づき多視点画像を生成することで、逆視現象等に伴う視点の歪みの発生を低減する。以下に、変形例に係る画像処理装置１０ａについて、より詳細に説明する。

［５．２．構成］
図２０を参照しながら、変形例に係る画像処理装置１０ａの構成について説明する。図２０に示すように、変形例に係る画像処理装置１０ａは、画像取得部１１と、位置情報取得部１３と、クロストーク情報取得部１５と、画像処理部１７ａとを含む。

なお、画像取得部１１、位置情報取得部１３、及びクロストーク情報取得部１５の動作は、前述した実施形態に係る画像処理装置１０（図１５参照）と同様のため詳細な説明は省略する。

また、画像処理部１７ａは、インデックス変換部１７７を含む点で、前述した実施形態に係る画像処理装置１０と異なる。そのため、以降では、画像処理部１７ａのうち、特に、前述した実施形態に係る画像処理装置１０の画像処理部１７と異なる部分に着目して説明し、その他については詳細な説明は省略する。

光線ずれ検出部１７１は、クロストーク情報と、表示パネル２５に対する視聴者の位置とに基づき、クロストークの影響を加味して、各仮想視点で観測されるインデックス（換言すると、視点画像）を算出する。

光線ずれ検出部１７１は、クロストークの影響を加味して算出した各仮想視点で観測されるインデックスを示すデータ（即ち、クロストークの解析結果）と、原画像及び視差マップとを、光線ずれ補正部１７３に出力する。

光線ずれ補正部１７３は、クロストークの解析結果と、原画像及び視差マップとを、光線ずれ検出部１７１から取得する。

光線ずれ補正部１７３は、取得したクロストークの解析結果に基づき、クロストークの影響を打ち消し、各仮想視点において所定のインデックス視点画像のみが観測されるように（即ち、インデックスのずれをキャンセルするように）レンダリングルールを設定する。

そして、光線ずれ補正部１７３は、最適視聴位置Ｍ_０に基づくインデックスマップにより各画素に関連付けられたインデックスを、設定したレンダリングルールに基づき算出されるインデックスに変換する。これにより、あらかじめ記憶された最適視聴位置Ｍ_０に基づくインデックスマップが、検出された視聴者の位置に応じたインデックスマップに変換される。即ち、光線ずれ補正部１７３により、検出された視聴者の位置に応じたインデックスマップが生成される。ここまでの処理は、前述した実施形態に係る画像処理装置１０の画像処理部１７と同様である。

光線ずれ補正部１７３は、生成した視聴者の位置に基づくインデックスマップと、原画像及び視差マップとをインデックス変換部１７７に出力する。

インデックス変換部１７７は、視聴者の位置に基づくインデックスマップと、原画像及び視差マップとを光線ずれ補正部１７３から取得する。

インデックス変換部１７７は、取得したインデックスマップで示された各画素に対応するインデックスを、隣接する仮想視点それぞれで観測される視点画像の差が閾値以下となるように変換する。具体的な一例として、インデックス変換部１７７は、取得したインデックスマップで示された各画素に対応するインデックスを、隣接する画素それぞれに対応付けられたインデックス間の差が閾値以下となるように変換する。

ここで、取得されたインデックスマップが示す視点ｋに対応した座標（ｘ，ｙ）における画素のインデックスをｊ_ｋ（ｘ，ｙ）、当該インデックスｊ_ｋ（ｘ，ｙ）がインデックス変換部１７７により変換されたインデックスをｊ’_ｋ（ｘ，ｙ）とする。このとき、インデックス変換部１７７は、取得したインデックマップに基づくインデックスｊ_ｋ（ｘ，ｙ）を、以下に示す（式６）及び（式７）に基づき変換する。

図２１は、インデックス変換のルールの一例について模式的に示した図であり、前述した（式６）及び（式７）に基づく変換ルールを示している。図２１の横軸は、変換前、即ち、取得されたインデックスマップに基づくインデックスｊ_ｋ（ｘ，ｙ）を示している。また、縦軸は、変換後のインデックスｊ’_ｋ（ｘ，ｙ）を示している。即ち、図２１は、前述した（式６）及び（式７）に基づきインデックスの変換を行った場合における、変換前のインデックスｊ_ｋ（ｘ，ｙ）と、変換後のインデックスｊ’_ｋ（ｘ，ｙ）との対応関係を示している。なお、図２１に示す例は、９つの仮想視点が設定され、インデックスの値として１〜９が設定されているものとして示している。

図２１に示すように、インデックスを変換することで、例えば、変換前のインデックスマップに基づく仮想視点ｖ８及びｖ０のそれぞれに対応する視差画像のように、視差値が大きい視差画像が観測される事態（例えば、逆視現象の発生）を防止することが可能となる。

なお、（式６）及び（式７）と、図２１とで示されたインデックス変換のルールはあくまで一例であり、隣接する仮想視点それぞれで観測される視点画像の差が閾値以下となるように変換可能であれば、その態様は特に限定されない。

インデックス変換部１７７は、前述したインデックス変換のルールに基づき、インデックスが変換されたインデックスマップと、原画像及び視差マップとを画像生成部１７５に出力する。なお、以降の処理は、前述した実施形態に係る画像処理装置１０の画像処理部１７と同様である。即ち、画像生成部１７５は、インデックス変換部１７７から取得したインデックスマップと、原画像及び視差マップとに基づき多視点画像を生成し、生成した多視点画像を表示装置２０に表示させる。

［５．３．処理の流れ］
次に、図２２を参照しながら、変形例に係る画像処理装置１０ａの動作について説明する。図２２は、変形例に係る画像処理装置１０ａの一連の処理の流れについて説明するためのフローチャートである。なお、変形例に係る画像処理装置１０ａは、ステップＳ１３０に係る処理が追加されている点で、前述した実施形態に係る画像処理装置１０と異なる。そのため、以降では、ステップＳ１３０に係る処理に着目して説明し、前述した実施形態に係る画像処理装置１０と同様の処理については、詳細な説明は省略する。

（ステップＳ１０１〜Ｓ１０９）
光線ずれ検出部１７１は、クロストーク情報と、表示パネル２５に対する視聴者の位置とに基づき、クロストークの影響を加味して、各仮想視点で観測されるインデックス（換言すると、視点画像）を算出する。

光線ずれ検出部１７１は、クロストークの影響を加味して算出した各仮想視点で観測されるインデックスを示すデータ（即ち、クロストークの解析結果）と、原画像及び視差マップとを、光線ずれ補正部１７３に出力する。

（ステップＳ１１１）
光線ずれ補正部１７３は、クロストークの解析結果と、原画像及び視差マップとを、光線ずれ検出部１７１から取得する。

光線ずれ補正部１７３は、取得したクロストークの解析結果に基づき、クロストークの影響を打ち消し、各仮想視点において所定のインデックス視点画像のみが観測されるように（即ち、インデックスのずれをキャンセルするように）レンダリングルールを設定する。

そして、光線ずれ補正部１７３は、最適視聴位置Ｍ_０に基づくインデックスマップにより各画素に関連付けられたインデックスを、設定したレンダリングルールに基づき算出されるインデックスに変換する。これにより、あらかじめ記憶された最適視聴位置Ｍ_０に基づくインデックスマップが、検出された視聴者の位置に応じたインデックスマップに変換される。即ち、光線ずれ補正部１７３により、検出された視聴者の位置に応じたインデックスマップが生成される。ここまでの処理は、前述した実施形態に係る画像処理装置１０の画像処理部１７と同様である。

光線ずれ補正部１７３は、生成した視聴者の位置に基づくインデックスマップと、原画像及び視差マップとをインデックス変換部１７７に出力する。

（ステップＳ１３０）
インデックス変換部１７７は、視聴者の位置に基づくインデックスマップと、原画像及び視差マップとを光線ずれ補正部１７３から取得する。

インデックス変換部１７７は、取得したインデックスマップで示された各画素に対応するインデックスを、あらかじめ決められたインデックス変換のルールに基づき、隣接する画素それぞれに対応付けられたインデックス間の差が所定の閾値未満となるように変換する。例えば、図２１は、インデックス変換のルールの一例を示している。

インデックス変換部１７７は、前述したインデックス変換のルールに基づき、インデックスが変換されたインデックスマップと、原画像及び視差マップとを画像生成部１７５に出力する。

なお、ステップＳ１２０以降の処理は、前述した実施形態に係る画像処理装置１０の画像処理部１７（図１７〜図１９）と同様である。即ち、画像生成部１７５は、インデックス変換部１７７から取得したインデックスマップと、原画像及び視差マップとに基づき多視点画像を生成し、生成した多視点画像を表示装置２０に表示させる。

［５．４．まとめ］
以上説明したように、変形例に係る画像処理装置１０ａは、視聴者の位置に基づくインデックスマップにおける各画素に対応付けられたインデックスを、隣接する仮想視点それぞれで観測される視点画像の差が閾値以下となるように変換する。このような構成により、変形例に係る画像処理装置１０ａは、例えば、変換前のインデックスマップに基づく仮想視点ｖ８及びｖ０のそれぞれに対応する視差画像のように、視差値が大きい視差画像が観測される事態を防止することが可能となる。即ち、画像処理装置１０ａは、例えば逆視現象等に伴う視点の歪みの発生を低減することが可能となる。

＜６．ハードウェア構成＞
次に、図２３を参照して、本実施形態に係る画像処理装置１０のハードウェア構成の一例について説明する。図２３は、本実施形態に係る画像処理装置１０のハードウェア構成の一例を示した図である。

図２３に示すように、本実施形態に係る画像処理装置１０は、プロセッサ９０１と、メモリ９０３と、ストレージ９０５と、操作デバイス９０７と、表示デバイス９０９と、通信デバイス９１１と、バス９１３とを含む。

プロセッサ９０１は、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）又はＳｏＣ（System on Chip）であってよく、画像処理装置１０の様々な処理を実行する。プロセッサ９０１は、例えば、各種演算処理を実行するための電子回路により構成することが可能である。なお、前述した画像取得部１１、位置情報取得部１３、クロストーク情報取得部１５、及び画像処理部１７は、プロセッサ９０１により構成され得る。

メモリ９０３は、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）を含み、プロセッサ９０１により実行されるプログラム及びデータを記憶する。ストレージ９０５は、半導体メモリ又はハードディスクなどの記憶媒体を含み得る。

操作デバイス９０７は、ユーザが所望の操作を行うための入力信号を生成する機能を有する。操作デバイス９０７は、例えばボタン及びスイッチなどユーザが情報を入力するための入力部と、ユーザによる入力に基づいて入力信号を生成し、プロセッサ９０１に供給する入力制御回路などから構成されてよい。

表示デバイス９０９は、出力装置の一例であり、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）装置、有機ＥＬ（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ディスプレイ装置などの表示装置であってよい。表示デバイス９０９は、ユーザに対して画面を表示することにより情報を提供することができる。なお、前述した表示装置２０を、当該表示デバイス９０９として構成してもよいし、表示装置２０とは別に表示デバイス９０９を設けてもよい。

通信デバイス９１１は、画像処理装置１０が備える通信手段であり、ネットワークを介して外部装置と通信する。通信デバイス９１１は、無線通信用のインタフェースであり、通信アンテナ、ＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）回路、ベースバンドプロセッサなどを含んでもよい。

通信デバイス９１１は、外部装置から受信した信号に各種の信号処理を行う機能を有し、受信したアナログ信号から生成したデジタル信号をプロセッサ９０１に供給することが可能である。

バス９１３は、プロセッサ９０１、メモリ９０３、ストレージ９０５、操作デバイス９０７、表示デバイス９０９、及び通信デバイス９１１を相互に接続する。バス９１３は、複数の種類のバスを含んでもよい。

また、コンピュータに内蔵されるＣＰＵ、ＲＯＭ及びＲＡＭなどのハードウェアを、上記した画像処理装置１０が有する構成と同等の機能を発揮させるためのプログラムも作成可能である。また、当該プログラムを記録した、コンピュータに読み取り可能な記憶媒体も提供され得る。

＜７．適用例＞
上記に示した実施形態に係る画像処理装置の適用例について、以下に具体的な例を挙げて説明する。

例えば、図２４は、テレビジョン装置の外観構成を表している。このテレビジョン装置は、例えば、フロントパネル４１１およびフィルターガラス４１２を含む映像表示画面部４１０（表示装置２０）を備えている。なお、テレビジョン装置の筐体内に設けられた、映像表示画面部４１０への画像の表示に係るデバイス（例えば、ＣＰＵやＧＰＵのようなプロセッサ）が、上述した実施形態に係る画像処理装置１０に相当する。テレビジョン装置として本開示による表示装置を用いることにより、最適視聴位置とは異なる位置に視聴者が位置する場合においても、観測される視点画像のずれに伴うボケや二重像の発生を抑制することが可能となり、テレビジョン装置に貢献することができる。

また、本実施形態に係る画像処理装置１０は、例えば、タブレット端末に適用することも可能である。この場合には、タブレット端末の筐体内に設けられた、当該タブレット端末の表示画面部への画像の表示に係るデバイス（例えば、ＣＰＵやＧＰＵのようなプロセッサ）が、上述した実施形態に係る画像処理装置１０に相当する。タブレット端末として本開示による表示装置を用いることにより、ボケや二重像の発生による観察者の疲労感を抑制することが可能となり、タブレット端末に貢献することができる。

なお、上記に示した各適用例はあくまで一例であり、本実施形態に係る画像処理装置を適用可能な構成を限定するものではないことは、言うまでもない。

＜８．まとめ＞
以上説明したように、本実施形態に係る画像処理装置は、視聴者の位置を示す位置情報と表示装置２０のクロストーク情報とに基づき、視聴者の位置に応じたクロストークの影響を打ち消すようにインデックスを生成し、各画素に関連付ける。そして、画像処理装置１０は、生成した各インデックスに対応する視点画像を生成し、生成した視点画像を、当該視点画像に対応するインデックスが関連付けられた画素に表示させる。このような構成により、本実施形態に係る画像処理装置１０は、最適視聴位置Ｍ_０とは異なる位置に視聴者が位置する場合においても、観測される視点画像のずれ（インデックスのずれ）に伴うボケや二重像の発生を抑制することが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
原画像を取得することと、
表示部に対する視聴者の奥行き方向の位置を示す位置情報を取得することと、
前記表示部のクロストーク特性を示すクロストーク情報を取得することと、
プロセッサに、あらかじめ設定された複数の視点それぞれに対応する、前記原画像に基づく互いに異なる第１の視点画像のうち、いずれかの前記第１の視点画像が、前記位置情報が示す位置においてクロストークが打ち消されて観測されるように、取得した前記位置情報と前記クロストーク情報とに基づき、前記表示部の各画素と、前記位置情報に基づく前記複数の視点それぞれとの対応関係を示す制御情報を含むインデックスマップを生成させることと、
前記原画像と前記インデックスマップとに基づき、当該インデックスマップに含まれる前記制御情報それぞれに対応した第２の視点画像を出力することと、
を含む、画像処理方法。
（２）
前記インデックスマップに基づき出力される前記第２の視点画像の数が、あらかじめ設定された複数の視点それぞれに対応する前記第１の視点画像の数よりも多い、前記（１）に記載の画像処理方法。
（３）
前記第１の視点画像は、前記奥行き方向における所定の視聴位置に基づく前記複数の視点それぞれにおいて、互いに異なる視点画像が観測されるようにあらかじめ設定され、
前記所定の視聴位置で観測される前記第１の視点画像と、前記クロストーク特性に応じて前記位置情報が示す位置で観測される前記第１の視点画像との間のずれ量に基づき、前記インデックスマップに含まれる前記制御情報が生成される、前記（１）または（２）に記載の画像処理方法。
（４）
前記ずれ量は、前記位置情報が示す位置における、前記クロストーク情報が示すクロストークの大きさに基づき推定される、前記（３）に記載の画像処理装置。
（５）
前記インデックスマップに含まれる各制御情報は、推定された前記ずれ量に基づき、前記クロストークが打ち消されるように生成される、前記（４）に記載の画像処理装置。
（６）
前記インデックスマップは、前記所定の視聴位置に基づく前記複数の視点それぞれにおいて、互いに異なる視点画像が観測されるようにあらかじめ設定されたインデックスマップに含まれる各インデックスが、前記ずれ量に基づき変換されることで生成される、前記（３）〜（５）のいずれか一項に記載の画像処理方法。
（７）
前記インデックスマップに含まれる各制御情報は、隣接する仮想視点それぞれで観測される視点画像の差が閾値以下となるように変換されて、
当該制御情報が変換されたインデックスマップに基づき前記第２の視点画像が出力される、前記（１）〜（６）のいずれか一項に記載の画像処理方法。
（８）
前記インデックスマップに含まれる前記制御情報それぞれに対応した前記第２の視点画像は、前記第１の視点画像を合成することで生成される、前記（１）〜（７）のいずれか一項に記載の画像処理方法。
（９）
前記インデックスマップに含まれる前記制御情報それぞれに対応した前記第２の視点画像は、前記原画像を基に生成される、前記（１）〜（７）のいずれか一項に記載の画像処理方法。
（１０）
前記クロストーク情報は、あらかじめ前記表示部に関連付けられて記憶されている、前記（１）〜（９）のいずれか一項に記載の画像処理方法。
（１１）
原画像を取得する画像取得部と、
表示部に対する視聴者の奥行き方向の位置を示す位置情報を取得する位置情報取得部と、
前記表示部のクロストーク特性を示すクロストーク情報を取得するクロストーク情報取得部と、
あらかじめ設定された複数の視点それぞれに対応する、前記原画像に基づく互いに異なる第１の視点画像のうち、いずれかの前記第１の視点画像が、前記位置情報が示す位置においてクロストークが打ち消されて観測されるように、取得した前記位置情報と前記クロストーク情報とに基づき、前記表示部の各画素と、前記位置情報に基づく前記複数の視点それぞれとの対応関係を示す制御情報を含むインデックスマップを生成するインデックスマップ生成部と、
前記原画像と前記インデックスマップとに基づき、当該インデックスマップに含まれる前記制御情報それぞれに対応した第２の視点画像を出力する画像生成部と、
を備える、画像処理装置。
（１２）
原画像を取得する画像取得部と、
表示部に対する視聴者の奥行き方向の位置を示す位置情報を取得する位置情報取得部と、
前記表示部のクロストーク特性を示すクロストーク情報を取得するクロストーク情報取得部と、
あらかじめ設定された複数の視点それぞれに対応する、前記原画像に基づく互いに異なる第１の視点画像のうち、いずれかの前記第１の視点画像が、前記位置情報が示す位置においてクロストークが打ち消されて観測されるように、取得した前記位置情報と前記クロストーク情報とに基づき、前記表示部の各画素と、前記位置情報に基づく前記複数の視点それぞれとの対応関係を示す制御情報を含むインデックスマップを生成するインデックスマップ生成部と、
前記原画像と前記インデックスマップとに基づき、当該インデックスマップに含まれる前記制御情報それぞれに対応した第２の視点画像を出力する画像生成部と、
を備える、電子機器。

１０、１０ａ 画像処理装置
１１ 画像取得部
１３ 位置情報取得部
１５ クロストーク情報取得部
１７、１７ａ 画像処理部
１７１ 検出部
１７３ 補正部
１７５ 画像生成部
１７７ インデックス変換部
２０ 表示装置
２１ バックライト
２３ バリア
２５ 表示パネル
３０ アンテナ
４０ 視聴位置検出装置

Claims (12)

1. 原画像を取得することと、
   表示部に対する視聴者の奥行き方向の位置を示す位置情報を取得することと、
   前記表示部のクロストーク特性を示すクロストーク情報を取得することと、
   プロセッサに、あらかじめ設定された複数の視点それぞれに対応する、前記原画像に基づく互いに異なる第１の視点画像のうち、いずれかの前記第１の視点画像が、前記位置情報が示す位置においてクロストークが打ち消されて観測されるように、取得した前記位置情報と前記クロストーク情報とに基づき、前記表示部の各画素と、前記位置情報に基づく前記複数の視点それぞれとの対応関係を示す制御情報を含むインデックスマップを生成させることと、
   前記原画像と前記インデックスマップとに基づき、当該インデックスマップに含まれる前記制御情報それぞれに対応した第２の視点画像を出力することと、
   を含む、画像処理方法。
2. 前記インデックスマップに基づき出力される前記第２の視点画像の数が、あらかじめ設定された複数の視点それぞれに対応する前記第１の視点画像の数よりも多い、請求項１に記載の画像処理方法。
3. 前記第１の視点画像は、前記奥行き方向における所定の視聴位置に基づく前記複数の視点それぞれにおいて、互いに異なる視点画像が観測されるようにあらかじめ設定され、
   前記所定の視聴位置で観測される前記第１の視点画像と、前記クロストーク特性に応じて前記位置情報が示す位置で観測される前記第１の視点画像との間のずれ量に基づき、前記インデックスマップに含まれる前記制御情報が生成される、請求項１に記載の画像処理方法。
4. 前記ずれ量は、前記位置情報が示す位置における、前記クロストーク情報が示すクロストークの大きさに基づき推定される、請求項３に記載の画像処理装置。
5. 前記インデックスマップに含まれる各制御情報は、推定された前記ずれ量に基づき、前記クロストークが打ち消されるように生成される、請求項４に記載の画像処理装置。
6. 前記インデックスマップは、前記所定の視聴位置に基づく前記複数の視点それぞれにおいて、互いに異なる視点画像が観測されるようにあらかじめ設定されたインデックスマップに含まれる各インデックスが、前記ずれ量に基づき変換されることで生成される、請求項３に記載の画像処理方法。
7. 前記インデックスマップに含まれる各制御情報は、隣接する仮想視点それぞれで観測される視点画像の差が閾値以下となるように変換されて、
   当該制御情報が変換されたインデックスマップに基づき前記第２の視点画像が出力される、請求項１に記載の画像処理方法。
8. 前記インデックスマップに含まれる前記制御情報それぞれに対応した前記第２の視点画像は、前記第１の視点画像を合成することで生成される、請求項１に記載の画像処理方法。
9. 前記インデックスマップに含まれる前記制御情報それぞれに対応した前記第２の視点画像は、前記原画像を基に生成される、請求項１に記載の画像処理方法。
10. 前記クロストーク情報は、あらかじめ前記表示部に関連付けられて記憶されている、請求項１に記載の画像処理方法。
11. 原画像を取得する画像取得部と、
    表示部に対する視聴者の奥行き方向の位置を示す位置情報を取得する位置情報取得部と、
    前記表示部のクロストーク特性を示すクロストーク情報を取得するクロストーク情報取得部と、
    あらかじめ設定された複数の視点それぞれに対応する、前記原画像に基づく互いに異なる第１の視点画像のうち、いずれかの前記第１の視点画像が、前記位置情報が示す位置においてクロストークが打ち消されて観測されるように、取得した前記位置情報と前記クロストーク情報とに基づき、前記表示部の各画素と、前記位置情報に基づく前記複数の視点それぞれとの対応関係を示す制御情報を含むインデックスマップを生成するインデックスマップ生成部と、
    前記原画像と前記インデックスマップとに基づき、当該インデックスマップに含まれる前記制御情報それぞれに対応した第２の視点画像を出力する画像生成部と、
    を備える、画像処理装置。
12. 原画像を取得する画像取得部と、
    表示部に対する視聴者の奥行き方向の位置を示す位置情報を取得する位置情報取得部と、
    前記表示部のクロストーク特性を示すクロストーク情報を取得するクロストーク情報取得部と、
    あらかじめ設定された複数の視点それぞれに対応する、前記原画像に基づく互いに異なる第１の視点画像のうち、いずれかの前記第１の視点画像が、前記位置情報が示す位置においてクロストークが打ち消されて観測されるように、取得した前記位置情報と前記クロストーク情報とに基づき、前記表示部の各画素と、前記位置情報に基づく前記複数の視点それぞれとの対応関係を示す制御情報を含むインデックスマップを生成するインデックスマップ生成部と、
    前記原画像と前記インデックスマップとに基づき、当該インデックスマップに含まれる前記制御情報それぞれに対応した第２の視点画像を出力する画像生成部と、
    を備える、電子機器。
    
    

Images