JP2014044396A - 立体画像表示装置、画像処理装置及び立体画像処理方法 - Google Patents

Abstract

【課題】 裸眼式の立体画像表示装置であっても、３Ｄモアレによる輝度変動の影響を軽減して、観察者の観察位置が移動しても観察者へ違和感を与えない。
【解決手段】 立体画像表示装置１１は、観察者の観察位置を計測する観察者位置計測部１０１と、観察者の観測位置と立体表示パネルとの相対位置を算出し、この相対位置に対して立体画像表示に適した輝度調整量を算出し、この輝度調整量に従って画像データに対して輝度調整処理を実施する画像処理部１５１と、輝度調整処理を実施された画像データを、立体表示パネルを介して観察者の右眼と左眼に投影する立体表示パネル部１０８と、を備える。
【選択図】 図１

Description

本発明は、立体画像表示技術、特に観察者が移動した際にも観察者へ違和感を与えない立体画像に変換する立体画像表示装置等に関する。

近年、立体画像を視聴可能なテレビジョンが一般市場で販売されている。これに伴って立体画像用コンテンツの量も増加しており、立体画像を視聴する環境は整備されつつある。立体画像用テレビジョンは、一般的に観察者が立体画像表示用の眼鏡をかけることにより、左右の眼に視差の異なる画像を投影して観察者へ立体画像を視聴させている。しかし、立体画像表示用の眼鏡をかけることに不快感を持つ観察者は多く、眼鏡が不要である立体画像表示装置が望まれている。また、眼鏡式の立体画像表示装置をモバイル用途として利用する際には、外出先に立体画像表示装置と立体画像表示用の眼鏡とを持ち運ぶ必要があって不便であり、モバイル用途ではなおさら眼鏡が不要な立体画像表示装置が望まれている。

立体画像表示用の眼鏡が不要な立体画像表示装置は、立体画像を投影する空間領域を分割し、分割した空間領域ごとに視差の異なる画像を投影することで、観察者の左右の眼に視差の異なる画像を投影する方式が一般的である。立体画像表示装置の立体表示パネルにレンチキュラレンズやパララックスバリアを備えることで、光学的に投影する画像を分離して、分割した空間領域ごとに視差の異なる画像を投影している。

レンチキュラレンズやパララックスバリアなどの光学的な光線分離手段を用いた立体画像表示装置は、立体画像表示用の眼鏡を装着する必要がなく、煩わしさがない点で優れており、特にモバイル用途での利用が期待されている。光学的な光線分離手段を用いて複数の視点に向けて夫々異なる画像を投影する立体画像表示装置では、観察者の観察位置が移動すると、立体表示パネルの位置によって輝度ムラ（輝度変動）が発生し、周辺の画像範囲よりも一段と暗く表示される画像範囲が現れる場合がある。この現象は、各視点用の画素と画素との間の非表示領域（液晶パネルで一般にブラックマトリックスと呼ばれる遮光部）が、視認されることに起因する。観察者の観察位置の移動に伴う上記の現象は、光学的な光線分離手段を持たない一般の画像表示装置では発生しない。このため、観察者は、光学的な光線分離手段を備えた立体画像表示装置で発生する上記の現象に、違和感、あるいは、表示品質の低下を感じることがある。

これは、一般的に３Ｄモアレと言われている現象である。３Ｄモアレ（3D moire）とは、異なる角度方向に異なる画像を投影することに起因する、周期的な輝度のムラ（色のムラを指すこともある）である。３Ｄモアレは、輝度の角度方向における変動（Luminance Angular Fluctuation）であり、観察位置によっては問題とならない場合もあるが、輝度の角度方向における変動が大きいと、立体画像表示に好ましくない影響があると考えられるため、輝度変動を所定値以下とすることが望ましい。

上記の光学的な光線分離手段とブラックマトリクスによる遮光部とに起因する問題を改善するために、様々な関連技術が提案されている。

関連技術としては、液晶パネルの画素の形状を略台形状で構成し、サブ画素の開口部は、Ｘ軸と略平行な上底及び下底と、Ｙ軸方向と異なる方向へ傾斜した二つの斜辺とを有する略台形状から構成され、その略台形状の鋭角部に略三角形からなる遮光部を設けた構造にすることによって、３Ｄモアレによる輝度変動を緩やかにして、３Ｄモアレの影響を軽減する立体画像表示装置が提案されている（特許文献１）。

その他の関連技術としては、正視領域と逆視領域の境界ライン上ではなく、それよりも手前で、左眼用画像と右眼用画像を切替することにより、画像の切替え位置と３Ｄモアレや３Ｄクロストークが出現する位置とをずらして、両方の画像変動効果が同時に出現することを避けることで、観察者が体感する３Ｄモアレや３Ｄクロストークの影響を軽減する立体画像表示装置が提案されている（特許文献２）。

また、多視点の画像を表示する立体画像表示装置では、液晶パネルの視野角特性と、レンズへの入射角及びレンズ収差とにより、中央の視差画像ほど輝度が高くなっており、中央と端との視差画像に輝度変動が生じる。この問題を解決するための関連技術として、視差画像を生成する要素画素の中央に位置する画素に表示される明るさのレンジを、要素画像の境界に位置する画素に表示される画像の明るさのレンジより小さく設定する輝度調整処理を実施することで、中央の視差画像と端の視差画像との輝度変動を軽減する立体画像表示装置が提案されている（特許文献３）。

また、光学的な光線分離手段を有する立体画像表示装置では、観察者の観察位置によっては３Ｄクロストークによる二重像が出現して立体画像表示に好ましくない影響を与える。この問題を解決するための関連技術として、観察者の観察位置を計測し、その観察位置に応じて、多視点の視差画像を生成するサブピクセル内の輝度調整処理を実施することで、３Ｄクロストークによる二重像を軽減する立体画像表示装置が提案されている（非特許文献１）。

その他の関連技術としては、３Ｄクロストークによる二重像が投影される観察位置では、二視点の画像データの内、どちらか一方の画像データを黒色画像に変換して、もう片方の画像データだけを投影することで、３Ｄクロストークによる二重像の影響を軽減する方法が提案されている（特許文献４）。

また、時分割方式の立体画像表示装置では、液晶シャッタの遅れによって輝度変動が発生する。この問題を解決するための関連技術として、立体画像コンテンツの左眼用画像（Ｌ画像）内と右眼用画像（Ｒ画像）内との輝度値が変化する画像範囲に対して、黒側補正データや白側補正データを追加することで輝度変動の影響を軽減する方法が提案されている。また、黒側補正データ及び白側補正データにローパスフィルタ等の画像ぼかし処理を施して、なだらかな補正データを追加することで、人間の眼に二重像が視認されにくいようにして、３Ｄクロストークによる二重像の影響を軽減する方法が提案されている（特許文献５）。

また、パララックバリア方式の立体画像表示装置において、電極のＯＮ・ＯＦＦによりバリア部材の透過率特性を変更する過程で輝度変動が発生する。この問題を解決するための関連技術として、所定の電圧を印加することにより、輝度変動による影響を軽減する立体画像表示装置が提案されている（特許文献６）。

また、同じ視差の立体画像コンテンツを表示しても、立体画像表示装置と観察者の観察位置との距離によって、観察者が観察する立体画像コンテンツの視差は変化する。立体画像表示装置と観察者の観察位置との距離が近すぎると、立体画像コンテンツの視差が大きくなり、立体画像を視認できなくなる問題を解決するために、立体画像表示装置と観察者の観察位置との距離に応じて、立体画像コンテンツの視差を調整して立体画像を表示する方法が提案されている（特許文献７）。

また、パララックスバリア方式の立体画像表示装置において、観察者の観察位置を広くするために、視点数を増大させる方向にバリア開口位置及び開口率を変更し、多視点化した際のバリア開口率低下に伴う輝度低下を調整する方法が提案されている（特許文献８）。

特開２０１２−０６３５５６号公報 特開２００３−１０７３９２号公報 特開２００９−０８０１４４号公報 特開２００８−０８９７８７号公報 特開２０１１−１６６７４４号公報 特開２０１１−０１８０４９号公報 特開２０１２−０４４３０８号公報 特開２００８−１８５６２９号公報

Juyong Park, et al, "Active Crosstalk Reduction on Multi-View Displays Using Eye Detection" SID2011, 61.4, pp920-923

立体画像表示用の眼鏡が不要な裸眼の立体画像表示装置は、観察者の観察位置によっては、３Ｄモアレの影響による輝度変動が大きく発生するため、観察者へ違和感を与えてしまうだけでなく、低画質の立体画像表示装置の場合には映像酔いや眼精疲労など生理的な不安定感を招く一つの要因となり、裸眼の立体画像表示装置の普及を妨げる原因となっていた。

これらの問題を解決する方法として、特許文献１等が提案されている。特許文献１には、液晶パネルの画素の形状によって、３Ｄモアレの影響による輝度変動を軽減する技術が開示されている。しかし、特許文献１の技術は、加工精度や製造バラつきによる画素形状変化起因のわずかな３Ｄモアレの発現や、３Ｄモアレ対策用の画素形状以外の液晶パネルを使用した際には、３Ｄモアレによる輝度変動の影響を軽減しにくい。

また、特許文献２には、画像の切替え位置と３Ｄモアレや３Ｄクロストークが出現する位置をずらすことで、観察者が体感する３Ｄモアレや３Ｄクロストークの影響を軽減する技術が提案されている。しかし、特許文献２の技術は、画像の切替え位置をずらしても、実質的に３Ｄモアレによる輝度変動の影響は軽減されていない。

また、特許文献３には、視差画像を生成する要素画素の輝度調整によって、液晶パネルの視野角特性とレンズへの入射角及びレンズ収差より生じる多視点の視野画像の輝度変動を軽減する技術が提案されている。しかし、特許文献３の技術は、液晶パネルのブラックマトリックスとレンチキュラレンズ等の光学的な光線分離手段とから発生する３Ｄモアレの輝度変動を軽減する方法が考慮されていないこと、観察者の観察位置に応じた輝度調整処理を実施していないことのために、３Ｄモアレによる輝度変動の影響を軽減できない。

また、非特許文献１には、観察者の観察位置を計測し、その観察位置に応じて、多視点の視差画像を生成するサブピクセル内の輝度調整処理を実施することで、３Ｄクロストークによる二重像を軽減する技術が提案されている。しかし、非特許文献１の技術は、３Ｄモアレによる輝度変動を軽減する方法が考慮されていないために、３Ｄモアレによる輝度変動の影響を軽減できない。

また、特許文献４には、片方の画像データを黒色画像に変換することで、３Ｄクロストークによる二重像の影響を軽減する技術が提案されている。しかし、特許文献４の技術は、次のような課題を有する。もう片方の画像データだけが観察者に投影されるため、観察者に投影される観察画像の輝度値が低下し、輝度変動が出現する。輝度変動の対策としてバックライトの出力を増加することが記載されているが、消費電力が多くなること及びバックライトの寿命が短くなる。また、３Ｄクロストークによる二重像の影響は考慮しているが、３Ｄモアレによる輝度変動の影響は考慮していないために、３Ｄモアレによる輝度変動の影響を軽減できない。

また、特許文献５には、時分割方式の立体画像表示装置に対して、黒側補正データ及び白側補正データを追加して輝度調整処理を実施し、３Ｄクロストークによる二重像の影響を軽減する技術が提案されている。しかし、特許文献５の技術は、観察者の観察位置を考慮して輝度調整処理を実施していないため、観察者の観察位置が移動した際に発生する３Ｄモアレによる輝度変動の影響を軽減できない。

また、特許文献６には、バリア部材に所定の電圧を印加することにより、バリア部材の透過率を変化させて、輝度変動を軽減する技術が提案されている。しかし、特許文献６の技術は、所定の電圧を印加するデバイスが必要となり立体画像表示装置のコストが増加すること、パララックスバリア形式の立体画像表示装置にしか適用できないこと、３Ｄモアレによる輝度変動の影響を軽減できないこと、等の課題を有する。

また、特許文献７には、立体画像表示装置と観察者の観察位置との距離に応じて、立体画像コンテンツを視差調整処理する技術が提案されている。しかし、特許文献７の技術は、レンチキュラレンズやパララックスバリアを使用して右眼用画像と左眼用画像とを空間的に分離して投影する裸眼式の立体画像表示装置において出現する３Ｄモアレによる輝度変動の影響を軽減する画像処理方法が考慮されていないため、３Ｄモアレによる輝度変動の影響を軽減できない。

また、特許文献８には、観察者の観察位置に合わせて、視点数を増大させる方向にバリア開口位置を変更し、多視点化した際のバリア開口率低下に伴う輝度低下を調整する方法が提案されている。しかし、特許文献８の技術は、液晶パネルのブラックマトリックスとレンチキュラレンズ等の光学的な光線分離手段から発生する３Ｄモアレの輝度変動を軽減する方法が考慮されていないこと、観察者の観察位置に応じたバリア開口率変化に伴う輝度調整処理では３Ｄモアレによる輝度変動の影響を軽減できないこと、等の課題を有する。

そこで、本発明は、上述した課題を解決し、裸眼式の立体画像表示装置であっても、３Ｄモアレによる輝度変動の影響を軽減して、観察者の観察位置が移動しても観察者へ違和感を与えない立体画像表示装置等を提供することを目的とする。

本発明に係る立体画像表示装置は、
少なくとも第１視点用の画像を表示するサブ画素及び第２視点用の画像を表示するサブ画素を含む画素がマトリクス状に複数配列された表示パネルと、
それぞれの前記サブ画素から出射した光を相互に異なる方向に振り分ける光学手段とを有し、
前記光線を振り分ける方向を第１の方向と定義した場合に、
観察者の視点位置が前記第１の方向に移動した際に、前記画素の開口部と前記光学手段との間で発生する３Ｄモアレによって輝度が低下する立体表示パネル部を備え、
少なくとも２つの視点に対応した画像データを保存又は受信する画像データ保管部と、
前記観察者の観察位置を計測する観察者位置計測部と、
前記観測位置と前記立体表示パネル部との相対位置を算出する相対位置算出部と、
前記相対位置に対して立体画像表示に適した輝度調整量を算出する輝度調整量算出部と、
前記輝度調整量に従って、前記各視点に対応した画像データに対して輝度調整処理を実施する輝度調整処理部と、
を更に備えたことを特徴とする。

本発明に係る画像処理装置は、
観察者の観測位置と立体表示パネルとの相対位置を算出する相対位置算出部と、
前記相対位置における３Ｄモアレによる輝度変動領域を、デバイス特性データに基づき算出する３Ｄモアレ画像範囲算出部と、
前記輝度変動領域に基づき立体画像表示に適した輝度調整量を算出する輝度調整量算出部と、
前記輝度調整量に従って、各視点に対応した画像データに対して輝度調整処理を実施する輝度調整処理部と、
を備えたものである。

本発明に係る立体画像処理方法は、
少なくとも第１視点用の画像を表示するサブ画素及び第２視点用の画像を表示するサブ画素を含む画素がマトリクス状に複数配列された表示パネルと、
それぞれの前記サブ画素から出射した光を相互に異なる方向に振り分ける光学手段とを有し、
前記光線を振り分ける方向を第１の方向と定義した場合に、
観察者の視点位置が第１の方向に移動した際に、前記画素の開口部と前記光学手段との間で発生する３Ｄモアレによって輝度が低下する立体表示パネルへ適用する立体画像処理方法において、
前記観察者の観察位置を計測し、
この観測位置と前記立体表示パネルとの相対位置を算出し、
この相対位置に対して立体画像表示に適した輝度調整量を算出し、
この輝度調整量に従って画像データに対して輝度調整処理を実施し、
この輝度調整処理を実施された前記画像データを、前記立体表示パネルに出力する、
ことを特徴とする立体画像処理方法。

本発明によれば、観察者の観察位置と立体表示パネル位置との相対位置が移動しても、３Ｄモアレによる輝度変動の影響を軽減して、観察者へ違和感を与えない高画質の立体画像表示装置等を提供することができるという効果がある。

実施形態１の立体画像表示装置の構成図 立体画像表示装置の外観図 観察者の観測位置と立体表示パネルとの相対位置の座標系を示す図 立体表示パネルの輝度特性データを示す図 立体表示パネルの左端、中央、右端の位置における輝度特性データを示す図 輝度特性データから輝度均一領域（非３Ｄモアレ領域）と３Ｄモアレ領域を示す光学モデル図 非３Ｄモアレ領域と３Ｄモアレ領域を分離した光学モデル図 各視点位置における観察画像を示す図 電気光学手段と光線分離手段との間に回転ズレが発生した場合における観察画像を示す図 位置Ｂにおける観察画像と輝度プロファイルの関係図 位置Ｃにおける観察画像と輝度プロファイルの関係図 位置Ｂにおける輝度調整量を示す図 位置Ｃにおける輝度調整量を示す図 電気光学手段と光線分離手段との間に回転ズレが発生した場合における観察画像と輝度プロファイルの関係図 画像データ保管部内に保管される画像データの図 ガンマ補正前の画像データの階調値とガンマ補正後の画像データの階調値との相関図 輝度調整処理後の観察画像の輝度プロファイルを示す図 立体画像処理方法（その１）のフローチャート図 立体画像表示装置の外観図 画像処理装置の構成図 立体画像処理方法（その２）のフローチャート図 観察者の右眼の位置に投影される観察画像の輝度プロファイルを示す図 観察者の左眼の位置に投影される観察画像の輝度プロファイルを示す図 右眼と左眼の位置に投影される観察画像の輝度プロファイルを平均化した輝度プロファイルを示す図 図２３の平均化した輝度プロファイルに対する輝度調整量を示す図 観察者の右眼の位置に投影される観察画像の輝度プロファイルを示す図 観察者の左眼の位置に投影される観察画像の輝度プロファイルを示す図 図２５の右眼に投影される観察画像に対する輝度調整量を示す図 図２６の左眼に投影される観察画像に対する輝度調整量を示す図 観察画像の輝度プロファイルを示す図（３Ｄモアレによる輝度変動は無し） 一般的な立体表示パネルから投影した観察画像の輝度プロファイルを示す図（３Ｄモアレによる輝度変動は無し） 一般的な立体表示パネルから投影した観察画像の輝度プロファイルを示す図（３Ｄモアレによる輝度変動は有り） 図３１の観察画像に対する輝度調整量を示す図 図３１の観察画像に対する輝度調整量を示す図 立体表示パネルの輝度特性データを示す図（θ_１〜θ_２の中央部で輝度値が低下） 位置Ｃにおける観察画像と輝度プロファイルの関係図 位置Ｃにおける輝度調整量を示す図

実施形態２の立体画像表示装置の構成図 輝度調整処理が正常に実施された画像データを示す図 輝度調整処理によって白飛びが発生した画像データを示す図 階調スケールを変更して、輝度調整処理した画像データを示す図 立体画像処理方法のフローチャート図

実施形態３の立体画像表示装置の構成図 低温時の輝度特性データを示す図 高温時の輝度特性データを示す図 低温時の光学モデル図 高温時の光学モデル図 立体画像処理方法のフローチャート図

実施形態４の立体画像表示装置の構成図 画像範囲の位置ずれの有無による輝度プロファイルを示す図 相対位置の移動速度と画像範囲の位置ずれ量の関係図 画像範囲の位置ずれに対応した輝度調整量を示す図 画像範囲の位置ずれに対応した輝度プロファイルを示す図 立体画像処理方法のフローチャート図

実施形態５の立体画像表示装置の構成図 ガウスフィルタ形状を示す図 画像フィルタ（ガウスフィルタ）を示す図 相対位置の移動速度と画像フィルタ値との関係図 画像フィルタ処理後の輝度プロファイルを示す図 立体画像処理方法のフローチャート図

実施形態６の立体画像表示装置の構成図 ３Ｄクロストーク特性データを示す図 相対位置における３Ｄクロストークによる二重像が出現する画像範囲を示す図 視差調整処理の実施判定表を示す図 位置Ｃにおける観察画像を示す図 実施形態６の変形例の立体画像表示装置の構成図 立体画像処理方法のフローチャート図

実施形態７の立体画像表示装置の構成図 実施形態７の変形例の立体画像表示装置の構成図 立体画像処理方法のフローチャート図

観察者の観測位置と立体表示パネルとの相対位置の座標系を示す図 液晶パネルとレンチキュラレンズとの光路長の変化を示す図 光路長に依存するデフォーカス効果の変化を示す図 光路長に依存するデフォーカス効果の変化を示す図 正面方向からの観察画像と輝度プロファイルの関係図 上下方向からの観察画像と輝度プロファイルの関係図 実施形態８の立体画像表示装置の構成図 液晶分子配列の模式図 液晶分子配列の模式図 立体画像処理方法のフローチャート図 観察位置に依存する見かけ上のレンチキュラレンズの曲率半径を示す図

立体表示パネルの輝度値と画像データの階調値との相関図 実施形態９の立体画像表示装置の構成図 図８３［Ａ］はディザリングの処理方向を示す図、図８３［Ｂ］［Ｃ］は誤差拡散パタンを示す図 図８４［Ａ］は３Ｄモアレによる輝度変動が生じた観察画像を示す図、図８４［Ｂ］はディザリングの処理方向を示す図 誤差拡散パタンを示す図 誤差拡散パタンを示す図 ディザリングの誤差拡散処理を示す図 立体画像処理方法のフローチャート図

以下、添付図面を参照しながら、本発明を実施するための形態（以下「実施形態」という。）について説明する。なお、本発明の「立体表示」には、観察者の左眼と右眼に同一画像を投影して平面画像を表示し、観察位置によって平面画像のコンテンツを切り替える、いわゆるＮ画像（Ｎは２以上の自然数）切替えモードの表示も含まれるものとする。

［実施形態１］
本実施形態１の立体画像表示装置の構成について下記に説明する。図１は立体画像表示装置１１の構成図である。立体画像表示装置１１は、観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、３Ｄモアレ画像範囲算出部１０４と、輝度調整量算出部１０５と、画像データ保管部１０６と、輝度調整処理部１０７と、立体表示パネル部１０８と、を備えるものである。また、相対位置算出部１０２、３Ｄモアレ画像範囲算出部１０４、輝度調整量算出部１０５、輝度調整処理部１０７を統合した処理部を、画像処理部１５１とする。

立体画像表示装置１１の外観図を、図２に示す。観察者１０の観測位置と立体表示パネル１０８ａとの相対位置の座標系を、図３に示す。立体表示パネル１０８ａは立体表示パネル部１０８の一部であり、カメラ１０１ａは観察者位置計測部１０１の一部である。立体画像表示装置１１は、立体表示パネル１０８ａの上部にカメラ１０１ａが設置されており、カメラ１０１ａによって観察者１０を撮影することで観察者１０の観察位置を計測する。立体表示パネル１０８ａは、少なくとも第１視点用の画像を表示するサブ画素及び第２視点用の画像を表示するサブ画素を含む画素がマトリクス状に複数配列された電気光学手段としての表示パネル２と、前記それぞれの画像を所定の異なる方向に分離可能な光線分離手段としてのレンチキュラレンズ３とから構成される（例えば図６Ａ参照）。一例として、電気光学手段として液晶方式、有機ＥＬ方式、プラズマ方式などを用いることができ、光線分離手段としてレンチキュラレンズ、パララックスバリア、液晶レンズなどを用いることができる。本実施形態１では、表示パネル２とレンチキュラレンズ３との組合せを用いて説明することとする。なお、図３において、Ｘ軸方向が特許請求の範囲に記載した「第１の方向」の一例に相当し、Ｙ軸方向が特許請求の範囲に記載した「第２の方向」の一例に相当する。また、前述の「光線分離手段（光学分離手段とも呼ばれる。）」が特許請求の範囲に記載した「光学手段」の一例に相当する。

また、カメラ１０１ａと立体表示パネル１０８ａとの設置位置は固定されているため、カメラ１０１ａで観察者１０を撮影することで、観察者１０の観察位置と立体表示パネル１０８ａとの相対的な位置を算出できる。また、立体表示パネル１０８ａの後方部には、画像処理部１５１、デバイス特性データ保管部１０３、画像データ保管部１０６の機能を実現する計算機器１５０が設置されている。

以下に、立体画像表示装置１１に含まれる各部の機能を説明する。

観察者位置計測部１０１は、立体表示パネル１０８ａに表示する立体画像コンテンツを、観察している観察者１０の位置を計測する機能を有する。観察者位置計測は立体表示パネル１０８ａの上部に設置されたカメラ１０１ａで観察者１０を撮影することで、観察者１０の右眼と左眼の位置を計測する。

観察者１０の観察位置の計測はカメラ１０１ａの撮像面に水平方向（Ｘ軸，Ｙ軸）の位置だけでなく、カメラ１０１ａに対して奥行き方向（Ｚ軸）の位置も計測する。カメラ１０１ａに対して奥行き方向の距離を計測する方式は多数提案されている。

その一つ目は、光パタン投影方式であり、カメラとは異なる視点から観察者へ赤外線等の光パタンを投影して、その変位量から三角測量の原理によって奥行き距離を計測するものである。光パタン投影方式を採用した計測機器は、近年、家庭用ゲーム機やＰＣ周辺機器として製品化されている。

その二つ目は、ＴＯＦ（Time of Flight）方式であり、カメラ１０１ａから観察者１０へ近赤外線の正弦波光を照射し、観察者１０から反射された正弦波光がカメラ１０１ａまでに到達する光飛行の時間差から、奥行き距離を計測するものである。近年、ＴＯＦセンサの性能向上は目覚しく、小型で安価なカメラにより奥行き距離が計測できるようになりつつある。

その三つ目は多眼カメラ方式であり、異なる視点にカメラを２台以上設置する。奥行き距離の計測は、任意視点の画像から観察者の特徴点を検出し、異なる視点の画像から特徴点に対応する点を探索して三角測量の原理から奥行き距離を算出する。

その四つ目は、レンズの焦点情報を利用した方式であり、被写界深度の異なる光学系レンズを利用して様々な焦点で撮影した多焦点画像群から観察者の奥行き距離を計測する。

以上、奥行き距離の計測方式を４つ挙げたが、本実施形態１はいずれの方式も採用できる。また、これ以外の計測方式でも良く、例えば、観察者の顔のサイズを予め保存しておき、カメラで撮影された観察者の顔画像サイズと比較することで奥行き距離を計測しても良い。

撮影画像から観察者の顔を検出する処理は、予め顔画像の特徴量（目や鼻、口、顎など）からテンプレートデータを生成しておき、撮影画像とテンプレートデータをマッチングすることで観察者の顔を検出する。テンプレートデータは、観察者の顔画像からサポートベクターマシン（ＳＶＭ）やベクトル量子化などの機械学習手法を利用して生成する。これらの顔検出機能は汎用のソフトウェアを利用することも可能である。また、顔検出機能ソフトウェアは、奥行き情報を使用することで、顔の向きを考慮した顔検出処理も実現できるため、検出精度は更に向上する。

以上の処理により、観察者の顔を検出して、右眼・左眼の位置を計測する。その他の例としては、カメラを利用せずに、加速度センサやジャイロセンサを利用しても良い。予め立体画像表示装置に各種のセンサを設置しておき、センサから得られる位置情報を参照することで、観察者の観察位置を計測する。

相対位置算出部１０２は、立体表示パネル１０８ａから観察者１０の観察位置までの相対位置を算出する機能を有する。図３に示すように、立体表示パネル１０８ａの中心を原点として、立体表示パネル１０８ａ面上の横方向をＸ軸、立体表示パネル１０８ａ面上の縦方向をＹ軸、立体表示パネル１０８ａ面上に垂直な方向をＺ軸とおき、立体表示パネル１０８ａから観察者１０の観察位置までの相対位置を算出する。この相対位置は、観察者位置計測部１０１で計測された観察者１０の右眼・左眼の位置から、カメラ１０１ａの設置位置から立体表示パネル１０８ａの設置位置までの距離を減算して算出する。これにより、立体表示パネル１０８ａから観察者１０の観察位置までの相対位置（ｘ_Ｐ，ｙ_Ｐ，ｚ_Ｐ）が算出できる。

デバイス特性データ保管部１０３は、立体表示パネル１０８ａの視野角に対する輝度特性データを保管する機能を有する。図４に、輝度特性データの一例を示す。輝度特性データの横軸は視野角θを、縦軸は立体表示パネル１０８ａ面上の輝度値Ｙを表す。視野角θは、図３に示すＸ軸と同じ方向を示している。図４には、Ｙ（ＬＷＲＷ）とＹ（ＬＷＲＢ）とＹ（ＬＢＲＷ）の３種類の輝度特性データをプロットしている。Ｙ（ＬＷＲＷ）は左眼用画像（以下、Ｌ画像と記載）と右眼用画像（以下、Ｒ画像と記載）とを白としたときの輝度特性データ、（ＬＷＲＢ）はＬ画像を白としＲ画像を黒としたときの輝度特性データ、Ｙ（ＬＢＲＷ）はＬ画像を黒としＲ画像を白としたときの輝度特性データである。ここで、Ｙ（ＬＷＲＢ）とＹ（ＬＢＲＷ）との和は、Ｙ（ＬＷＲＷ）の輝度特性データと等しい。

Ｙ（ＬＷＲＢ）とＹ（ＬＢＲＷ）との輝度分布は、正面の観察位置（図３に示すＺ軸と平行）すなわちθ＝０付近において点（Ｘ１，Ｙ１）で交わり、＋θ側において点（ＸＲ２，ＹＲ２）で交わり、−θ側において点（ＸＬ２，ＹＬ２）で交わる。点（Ｘ１，Ｙ１）と点（ＸＲ２，ＹＲ２）とのθ方向の間隔は、右眼用画像の投影幅の幅ｅＲであり、点（Ｘ１，Ｙ１）と点（ＸＬ２，ＹＬ２）とのθ方向の間隔は、左眼用画像の投影幅の幅ｅＬである。

ここで、点（Ｘ０，Ｙ０）付近で輝度の低下が見られるが、この輝度低下は３Ｄモアレと呼ばれる。左眼がθ_１〜θ_２、右眼がθ_４〜θ_５の範囲に存在している場合は、３Ｄモアレを視認することは困難であるが、左右眼の一方もしくは両方がそれ以外の範囲（θ_２〜θ_３〜θ_４など）に存在する場合に３Ｄモアレが視認される。３Ｄモアレが発生する原因はいくつかあるが、Ｘ軸方向へ隣接して配置する画素間の境界部における遮光部の形状などが一因として挙げられる。

輝度特性データは立体表示パネル１０８ａのデバイス特性によって異なる値をとり、立体表示パネル１０８ａの設計条件及び製造条件に基づき算出することが可能である。また、輝度特性用の評価装置で立体表示パネル１０８ａを計測して輝度特性データを得ることができる。いずれの場合においても、立体表示パネル１０８ａの中心であるＸ軸原点だけでなく（図３の座標系参照）、Ｘ軸原点から所定の値（後述の図６Ａにおける距離ＷＰ）となるパネル外側を含む３点の輝度特性を把握することが望ましい。

図５は、Ｘ軸に対して、左端、中央、右端の３点それぞれの輝度特性データの一例を示す。図５［Ｂ］中央では点（Ｘ１，Ｙ１）は図４と同様に概ね視野角θが０度に位置しているのに対し、図５［Ａ］左端では点（Ｘ１，Ｙ１）の視野角θは正の方向（＋δ）、図５［Ｃ］右端では点（Ｘ１，Ｙ１）の視野角θは負の方向（−δ）となっている。

３Ｄモアレ画像範囲算出部１０４は、デバイス特性データ保管部１０３に保管された輝度特性データに基づき、相対位置算出部１０２で算出した相対位置に対して３Ｄモアレによる輝度変動が生じる画像範囲を算出する。図５の輝度特性データを基に作図した、観察者１０の左右両眼に右眼用画像及び左眼用画像を投影する光学モデル図を、図６Ａに示す。図６Ａは、立体表示パネル１０８ａ面上に垂直な方向であるＺ軸と立体表示パネル１０８ａ面内の横方向であるＸ軸に対して非３Ｄモアレ領域７０Ｒ，７０Ｌ及び３Ｄモアレ領域（θ_２〜θ_４の範囲）を示している。

なお、図６Ａには、左眼５５Ｌ、右眼５５Ｒ、左眼用画素４Ｌ、右眼用画素４Ｒ、画素幅Ｐ、両眼間隔ｅ、最適観察距離ＯＤ、シリンドリカルレンズ幅Ｌ、立体表示パネル１０８ａの中心画素の位置から両端画素の位置までの距離ＷＰ、観察面３０などが、記載されている。また、図６Ａにおいて、左眼用画素４Ｌ及び右眼用画素４Ｒが特許請求の範囲に記載した「サブ画素」又は「画素」の一例に相当し、左眼用画素４Ｌ及び右眼用画素４Ｒのそれぞれの仕切りの内側すなわち光の出る部分が特許請求の範囲に記載した「開口部」の一例に相当する。

図６Ｂに、図６Ａの光学モデル図を非３Ｄモアレ領域と３Ｄモアレ領域とに分離した光学モデル図を示す。図６Ｂにおいて、グレースケール部分が３Ｄモアレ領域となり、空白部分が非３Ｄモアレ領域となる。また、図６Ｂは、観察者１０の左右両眼の位置が適正である相対位置Ａ、適正位置から視野角θが少し離れた相対位置Ｂ、適正位置から立体表示装置側パネル面上に少し近づいた相対位置Ｃの三つの位置を示す。

立体表示パネル１０８ａ面上に白画像を表示した際に、これらの三つの相対位置から観察者１０が観察する観察画像を、図７に示す。図７［Ａ］に示すように、相対位置Ａからの観察画像には３Ｄモアレによる輝度変動が見られない。これに対し、図７［Ｂ］に示すように相対位置Ｂからの観察画像には画面の１箇所に輝度変動が発現し、また、図７［Ｃ］に示すように相対位置Ｃからの観察画像には画面の２箇所に輝度変動が発現する。また輝度変動の幅は、３Ｄモアレ領域の視野角（θ_２〜θ_４）と観察距離との関係から、観察位置が立体表示パネル１０８ａ面上から離れるほど広くなることが分かる。

立体表示パネル１０８ａの表示面と観察者１０の観察位置との視野角θ_ｐ及び観察距離Ｄ_ｐは、相対位置算出部１０２で算出した相対位置を参照して算出する。相対位置を（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）とおくと、観察距離Ｄ_ｐは式（３）から算出し、視野角θ_ｐは式（４）から算出する。
Ｄ_ｐ＝√（ｘ_ｐ ^２＋ｙ_ｐ ^２＋ｚ_ｐ ^２） 式（３）
θ_ｐ＝ｔａｎ^−１（ｘ_ｐ／ｚ_ｐ） 式（４）

算出した観察距離Ｄ_ｐ及び視野角θ_ｐを参照して、輝度特性データを基に作図した光学モデル図（図６Ａ）から、観察者１０の観察位置へ投影される観察画像を検出する。このように図５に示すような少なくとも３点の輝度特性データがあれば、図６Ａに示す光学モデルを算出して、その結果、図７に示すような観察者１０の観察位置に応じた観察画像を取得でき、３Ｄモアレによる輝度変動が発現する画像範囲が算出可能となる。

図７では、３Ｄモアレによる輝度変動が概ね画面内の垂直方向（Ｙ軸）にのみ存在しているという、図３で説明した電気光学手段である表示パネルと光学分離手段であるレンチキュラレンズとの位置精度が高い場合の観察画像の例である。これに対し、この位置精度が低い場合の観察画像の例を図８に示す。特に表示パネルとレンチキュラレンズとの位置関係がＸＹ面で傾きを有する場合は、この傾きに応じて図８に示すような画面内に斜め成分の３Ｄモアレによる輝度変動が発現する。

このように図１に示すデバイス特性データ保管部１０３には、上記した少なくとも３点の輝度特性データ以外にも、表示パネル２とレンチキュラレンズ３との位置精度の情報を記憶させておくことが望ましい。レンチキュラレンズ３のピッチ精度が低い場合や局所的に不均一な領域が存在する場合は、Ｘ軸方向及びＹ軸方向に対して多数点の輝度特性データを記憶させることで、観察位置に対してより精度の高い観察画像を得ることができる。

輝度調整量算出部１０５は、３Ｄモアレ画像範囲算出部１０４で算出した画像範囲に対して、前記デバイス特性データに基づき、立体画像表示に適した輝度調整量を算出する機能を有する。輝度調整量の算出方法は、初めに３Ｄモアレ画像範囲算出部１０４で検出した観察画像を取得し、その観察画像の輝度プロファイルより輝度調整量を算出する。

一例として、図７［Ｂ］に示す観察画像が観察者１０へ投影される事例を示す。図９に、観察画像とその輝度プロファイルとの関係図を示す。ここで、Ｙｗは図４で説明したＹ（ＬＷＲＷ）であり、以降の説明ではＹ（ＬＷＲＷ）をＹｗと呼称することとする。また、Ｙｗはｘ軸及びｙ軸の関数となる。図９［Ａ］は図７［Ｂ］に示す観察画像と同様の図であり、図９［Ｂ］はＸ軸方向の位置に対する図９［Ａ］の観察画像の輝度値Ｙｗの変化を示す。ここで、Ｘ軸方向の位置に対する輝度値Ｙｗの変化を、立体表示パネル１０８ａの輝度プロファイルとする。

また、図１０に、図７［Ｃ］に示す観察画像とその輝度プロファイルの関係図を示す。図１０［Ａ］は位置Ｃにおける観察画像（３Ｄモアレによる輝度変動が有る。）であり、図１０［Ｂ］は位置Ｃにおける観察画像の輝度プロファイルである。これにより、観察画像から立体表示パネル１０８ａの輝度プロファイルを検出できる。

次に、輝度プロファイルを参照して輝度調整量を算出する。輝度調整量は、画像データの階調値へ輝度調整量を乗算した結果、輝度プロファイルがＸ軸方向に対して一定となるような輝度調整量を算出する。輝度調整量の算出方法の一例としては、任意のＹ軸における（例として図１０［Ａ］にＹ＝ｙ１を示す）輝度プロファイルの輝度値が最大となる最大輝度値Ｙｗｍａｘを１とおき、それ以外の輝度値ＹｗがＹｗｍａｘと同じ値となるように、輝度調整量を算出する。ｙ１に対する立体表示パネル１０８ａ面上の位置ｘ_ｌにおける輝度値がＹｗ（ｘ）である場合の輝度調整量α（ｘ）とすると、輝度調整量α（ｘ）は、式（５）より算出される。
α（ｘ）＝Ｙｗｍａｘ／Ｙｗ（ｘ） 式（５）

図１１に図９［Ｂ］より算出した位置Ｂにおける輝度調整量を、図１２に図１０［Ｂ］より算出した位置Ｃにおける輝度調整量を示す。図３で説明した電気光学手段である表示パネル２と光学分離手段であるレンチキュラレンズ３との位置関係が概ね理想的に整合されている場合には、３Ｄモアレによる輝度プロファイルがＹ軸方向に依存せず一定値となるため、輝度調整量もＹ軸方向に依存せず一定値となる。このため、立体表示パネル１０８ａ面上のすべての位置（ｘ，ｙ）に対する輝度調整量α（ｘ，ｙ）は、式（６）より算出できる。
α（ｘ，ｙ）＝Ｙｗｍａｘ／Ｙｗ（ｘ，ｙ） 式（６）

ここで、図９及び図１０から、式（５）におけるα（ｘ）、式（６）におけるα（ｘ，ｙ）の算出例を図１１に示しているが、これは立体表示パネル１０８ａの面内輝度分布が一様とした場合の例（図４におけるＹＬｍａｘ＝ＹＣｍａｘ＝ＹＲｍａｘ）である。実際の立体表示パネル１０８ａは面内輝度分布を有しており、この場合におけるα（ｘ）及びα（ｘ，ｙ）の算出については後述する。

以上より、電気光学手段である表示パネル２と光学分離手段であるレンチキュラレンズ３との位置関係が概ね理想的に整合されている場合には、Ｘ軸方向の位置に対する輝度調整量を算出することで、立体表示パネル１０８ａ面上のすべての位置に対する輝度調整量が算出できる。

実際の立体表示パネル１０８ａでは、電気光学手段である表示パネル２と光学分離手段であるレンチキュラレンズ３との位置関係は理想的では無い場合があり、所定精度内の位置ズレが発生する。このような位置精度が低い場合には、図８に示すような斜め成分の３Ｄモアレによる輝度変動が発現するために、３Ｄモアレによる輝度プロファイルはＹ軸方向にも依存して変化する。

図１３に、電気光学手段と光線分離手段との間に回転ズレが発生した場合における、観察画像とその輝度プロファイルとの関係図を示す。図１３［Ａ］は、図８と同様の観察画像を示す。図１３［Ｂ］は図１３［Ａ］のｙ_１線上の位置での、Ｘ軸方向の位置に対する輝度プロファイルを示し、図１３［Ｃ］は図１３［Ａ］のｙ_２線上の位置での、Ｘ軸方向の位置に対する輝度プロファイルを示す。図１３［Ｂ］と図１３［Ｃ］とにより、Ｙ軸方向の位置によっても、輝度プロファイルが変化することが確認できる。したがって、輝度調整量は、輝度プロファイルがＸ軸方向だけでなくＹ軸方向に対しても輝度値が一定となるように算出する。

輝度調整値の算出では、初めに立体表示パネル１０８ａの上端（図１３のｙ_１線上）、中央（図１３のｙ_３線上）、下端（図１３のｙ_２線上）の三つの線上で、それぞれＸ軸方向の位置に対する輝度プロファイルを算出する。次に、三つの線上の輝度プロファイルを参照して、３Ｄモアレによる輝度変動によって輝度値が最小値となるＸ軸方向の位置を検出する（図１３のｙ_１線上であればｘ_５とｘ_６の位置となり、図１３のｙ_２線上であればｘ_７とｘ_８の位置となる）。次に、検出したＸ軸方向の位置から斜め成分の３Ｄモアレによる輝度変動の傾きを算出することで、立体表示パネル１０８ａ面上のすべての位置に対する輝度プロファイルを算出する。次に、算出した輝度プロファイルから、立体表示パネル１０８ａ面上のＸ軸・Ｙ軸方向に対しても、輝度値を一定とする輝度調整量を算出する。以上の処理により、立体表示パネル１０８ａ面上のすべての位置に対する輝度調整量を算出する。

画像データ保管部１０６は、画像データを保存又は受信する機能を有する。図１４に、画像データ保管部１０６に保管する画像データの一例を示す。図１４では、立体画像コンテンツの画像データとしてＬ画像、Ｒ画像が保管されている。Ｌ画像は左眼領域に投影される左眼用画像であり、Ｒ画像は右眼領域に投影される右眼用画像である。ＬＲ画像（Ｌ画像とＲ画像）の各画素値には階調値（ＲＧＢ値）が保持されており、このＬＲ画像が立体表示パネル１０８ａ面上に表示される。

輝度調整処理部１０７は、輝度調整量算出部１０５で算出した輝度調整量に従って、画像データ保管部１０６に保管されている画像データへ輝度調整処理を実施する機能を有する。輝度調整処理では、初めに、画像データが表示される立体表示パネル１０８ａ面上の位置を特定する。

通常、画像データは立体表示パネル１０８ａの全画面上に表示されるが、画像データと立体表示パネル１０８ａとのアスペクト比の違いや、画面の表示設定により、立体表示パネル１０８ａの一部分に画像データが表示される場合がある。また、反対に、画像データの一部分が立体表示パネル１０８ａの全画面上に表示される場合もある。したがって、アスペクト比や立体画像表示装置１１の画面表示設定情報等を参照して、画像データが表示される立体表示パネル１０８ａ面上の位置を特定する。次に、画像データが表示される立体表示パネル１０８ａ面上の位置と画像データの解像度から、立体表示パネル１０８ａ面上の位置（ｘ，ｙ）に表示される画像データの画素位置（ｕ，ｖ）を検出する。

次に、画像データの画素位置（ｕ，ｖ）に保管されている階調値Ｉｄ（ｕ，ｖ）に、画像データの画素位置（ｕ，ｖ）が表示される立体表示パネル１０８ａ面上の位置（ｘ，ｙ）における輝度調整量α（ｘ，ｙ）を乗算することで、画像データの階調値Ｉｆ（ｕ，ｖ）を式（７）のように調整する。
Ｉｆ（ｕ，ｖ）＝α（ｘ，ｙ）・Ｉｄ（ｕ，ｖ） 式（７）

ここで、Ｉｄ（ｕ，ｖ）は画像データ保管部１０６にある画像データの画素位置（ｕ，ｖ）に保管されている階調値、α（ｘ，ｙ）は表示位置（ｘ，ｙ）における輝度調整量、Ｉｆ（ｕ，ｖ）は輝度調整処理後の画像データの画素位置（ｕ、ｖ）に保管される階調値である。

以上のように、輝度調整量に従って、画像データ保管部１０６に保管されている画像データへ輝度調整処理を実施する。輝度調整処理は、画像データ保管部１０６に保管されている画像データであるＬ画像とＲ画像の両画像に対して同様に実施し、輝度調整処理後のＬ画像の画像データをＬ_ｆ画像とし、Ｒ画像の画像データをＲ_ｆ画像とする。

一般的な画像表示装置では、画像データに保管された階調値Ｉと表示パネル面上に表示される輝度値Ｙとの関係は、表示パネルのデバイス特性によって直線的な関係ではなく、式（８）で示すカーブに近似した関係になる。
Ｙ＝Ｉ^γ 式（８）

このため、通常の画像データは、表示パネル面上へ自然に表示できるように、一般的な表示パネルのデバイス特性に合わせて、画像データに保管された階調値Ｉと表示パネル面上に表示される輝度値Ｙの関係が、式（９）で示す直線的な関係となるようにガンマ補正処理が実施されている（ガンマ値は２．２となる場合が多い）。図１５に、ガンマ補正前の画像データの階調値とガンマ補正後の階調値との関係図を示す。
Ｙ＝Ｉ 式（９）

画像データに保管された階調値Ｉと立体表示パネル１０８ａ面上に表示される輝度値Ｙとの関係が式（９）となるようにガンマ補正されていれば、画像データに保管された階調値Ｉを式（７）により輝度調整処理することで、立体表示パネル１０８ａ面上の輝度変動の影響を軽減できる。画像データに保管された階調値Ｉと立体表示パネル１０８ａ面上に表示される輝度値Ｙとの関係が式（９）となっていない場合には、輝度調整処理を実施する前に、式（９）の関係が成り立つように、画像データへガンマ補正処理を実施する。

これまで説明した階調値Ｉはグレースケールの場合の説明であるが、色情報を有する場合も同様であり、階調値Ｉの代わりにＲＧＢ各階調値Ｉｒ，Ｉｇ，Ｉｂを用いて同様の処理を行うことが可能である。

立体表示パネル部１０８は、輝度調整処理された画像データを前記相対位置に応じて右眼・左眼に投影する機能を有する。立体表示パネル部１０８では、輝度調整処理されたＬ_ｆ画像とＲ_ｆ画像を取得して、立体表示パネル１０８ａによりＬ_ｆ画像とＲ_ｆ画像を投影することで、立体画像コンテンツを表示する。

図１６に、輝度調整処理した画像データを立体表示パネル１０８ａより観察者の観察位置（図６の位置Ｂ）へ投影した場合の、観察画像の輝度プロファイルを示す。図１６におけるＤ、Ｅ、Ｆは次のとおりである。Ｄの点線（下側に輝度値が落ち込んだ点線）は、３Ｄモアレによる輝度プロファイル（輝度調整処理前の観察画像の輝度プロファイル）（Ｄ）を表す。Ｅの一点鎖線（上側に輝度値が膨らんだ一点鎖線）は、輝度調整処理後の画像データに起因する輝度プロファイル（Ｅ）を表す。Ｆの実線は、輝度調整処理後の画像データを立体表示パネル１０８ａから観察者１０の観察位置へ投影した観察画像の輝度プロファイル（Ｆ）を表す。観察画像の輝度プロファイル（Ｆ）は、Ｘ軸方向の位置ｘ_１で発現する３Ｄモアレによる輝度プロファイル（Ｄ）の輝度値の落ち込みと、輝度調整処理した画像データに起因する輝度プロファイル（Ｅ）の輝度値の膨らみとが加算されることで、輝度変動が無くなり輝度値が一定となる。

以上より、相対位置とデバイス特性データとに基づき算出された輝度調整量に従って、画像データの輝度調整処理を実施して、３Ｄモアレによる輝度変動の影響を軽減する。

本実施形態１の立体画像表示装置１１における立体画像処理方法（その１）のフローチャートについて、図１７を参照して説明する。

ステップＳ１０１は、観察者位置計測部１０１を使用して観察者１０の観察位置を計測する。

ステップＳ１０２は、相対位置算出部１０２を使用して観察者１０の観察位置と立体表示パネル１０８ａとの相対位置を算出する。ステップＳ１０２では、相対位置として、立体表示パネル１０８ａの中心位置を原点とした際の観察者１０の観察位置を算出する。

ステップＳ１０３は、デバイス特性データ保管部１０３から輝度特性データを取得する。輝度特性データの一例を図４に示す。

ステップＳ１０４は、３Ｄモアレ画像範囲算出部１０４を使用して、ステップＳ１０２で算出した相対位置とステップＳ１０３で取得した輝度特性データとにより、３Ｄモアレによる輝度変動が生じる画像範囲を算出する。画像範囲の算出処理では、輝度特性データより光学モデル図（図６）を導出し、立体表示パネル１０８ａ面上から観察者１０の観察位置へ投影される観察画像（図７及び図８）を検出し、３Ｄモアレによる輝度変動が生じる画像範囲を算出する。

ステップＳ１０５は、輝度調整量算出部１０５を使用して、ステップＳ１０４で検出した観察画像から輝度調整量を算出する。輝度調整量は、画像データの階調値へ輝度調整量を乗算した結果、輝度プロファイルがＸ軸方向に対して一定となるような輝度調整量を算出する。輝度調整量の算出方法の一例としては、輝度プロファイルの輝度値が最大となる最大輝度値Ｙｗｍａｘを１とおき、それ以外の輝度値ＹｗがＹｗｍａｘと同じ値となるように、輝度調整量を算出する。

ステップＳ１０６は、画像データ保管部１０６から立体画像コンテンツである画像データを取得する。

ステップＳ１０７は、輝度調整処理部１０７を使用して、ステップＳ１０４で算出した輝度調整量に従って、ステップＳ１０６で取得した画像データに輝度調整処理を実施する。ステップＳ１０７では、立体表示パネル１０８ａ面上の表示位置に対応する画像データの画素位置に保管された階調値に輝度調整量を乗算して、輝度調整処理を実施する。

ステップＳ１０８は、立体表示パネル部１０８を使用して、ステップＳ１０７で輝度調整処理した画像データを立体表示パネル１０８ａ上に立体画像表示する。

ステップＳ１０９は、立体画像表示処理を中止するか、連続的に実行するかを設定する。立体画像表示装置１１の電源がＯＦＦされたときや観察者１０によって立体画像表示の中断が指示されたときには、立体画像表示処理を中止する。立体画像表示処理を中止するイベントが無ければ、立体画像表示処理を連続的に実行する。ステップＳ１０９で立体画像表示処理が中止された場合は、立体画像表示処理を終了する。ステップＳ１０９で立体画像表示処理が連続的に実行される場合は、ステップＳ１０１の処理に戻り、ステップＳ１０１からステップＳ１０９までの処理を繰り返して実行する。

以上より、相対位置とデバイス特性データとに基づき算出された輝度調整量に従って、画像データの輝度調整処理を実施することにより、３Ｄモアレによる輝度変動の影響を軽減して、観察者１０の観察位置が移動しても観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供できる。

本実施形態１の外観図（図２）では、画像処理部１５１と観察者位置計測部１０１、画像データ保管部１０６及び立体表示パネル部１０８とが一つの立体画像表示装置１１内に存在する例を示したが、これらの部位をアプリケーションに応じて分離し、分離した個々の装置を統合することで立体画像表示装置１１の機能を実現しても良い。

図１８に、立体画像表示装置１１を三つの装置に分離した例を示す。一番目は立体表示パネル部１０８の装置であり、二番目は観察者位置計測部１０１と画像処理部１５１とデバイス特性データ保管部１０３とを統合した画像処理装置１６０であり、三番目は画像データ保管部１０６の装置である。三つの装置をＨＤＭＩ（登録商標）やＤＶＩなどの画像入出力ケーブル１６３、又はＵＳＢやＬＡＮなどのデータ通信ケーブル若しくはＷ−ＬＡＮなどの無線通信で接続し、各種のデータを送受信することで、立体画像表示装置１１の機能を実現できる。

図１９に画像処理装置１６０の構成図を示す。画像処理装置１６０は、観察者位置計測部１０１、相対位置算出部１０２、デバイス特性データ保管部１０３、輝度調整量算出部１０５、輝度調整処理部１０７、画像データ受信部１６１、画像データ送信部１６２を備えるものである。ここで、観察者位置計測部１０１、相対位置算出部１０２、デバイス特性データ保管部１０３、輝度調整量算出部１０５、輝度調整処理部１０７は、立体画像表示装置１１の各構成部と同様の機能を有する。

画像データ受信部１６１は、画像処理装置１６０の外部にある画像データ保管部１０６から送信される画像データを受信して、輝度調整処理部１０７に送信する機能を有する。また、画像データ送信部１６２は、輝度調整処理部１０７から送信される画像データを立体表示パネル部１０８へ送信する機能を有する。画像データ受信部１６１と画像データ送信部１６２の一例としては、ＨＤＭＩ（登録商標）やＤＶＩケーブル等により、画像処理装置１６０へ画像データを送受信するための接続端子とデータ転送機器となる。

上記は三つの装置に分離した例を示したが、分離形態はこれに限定されるものではない。本実施形態１は、３Ｄモアレによる輝度変動の影響を軽減する画像処理部１５１に特徴があるため、画像処理部１５１と観察者位置計測部１０１との組み合わせで上述したような単独の画像処理装置１６０として提供することができる。

また、上記の例では、立体表示パネル１０８ａ面上から観察者１０の右眼と左眼へ投影される観察画像の輝度プロファイルが等しい場合に実施される輝度調整処理方法について記載したが、観察者１０の観察位置によっては、観察者１０の右眼と左眼へ投影される観察画像の輝度プロファイルが異なる。右眼と左眼へ投影される観察画像の輝度プロファイルが異なる場合における輝度調整処理方法の一例を、図２０を参照して説明する。

ステップＳ１５１は、観察者位置計測部１０１を使用して観察者の右眼と左眼の位置を計測する。

ステップＳ１５２は、相対位置算出部１０２を使用して、立体表示パネル１０８ａの中心位置から観察者１０の右眼と左眼の観測位置までの相対位置を算出する。観察者の右眼の相対位置を（ｘ_Ｒ，ｙ_Ｒ，ｚ_Ｒ）とおき、観察者１０の左眼の相対位置を（ｘ_Ｌ，ｙ_Ｌ，ｚ_Ｌ）とおく。

ステップＳ１５３は、デバイス特性データ保管部１０３から輝度特性データを取得する。

ステップＳ１５４は、輝度調整量算出部１０５を使用して、ステップＳ１５３で取得した輝度特性データから、ステップＳ１５２で算出した観察者の右眼と左眼の相対位置に投影される観察画像の輝度プロファイルを検出して、輝度調整量を算出する。

まず、図１７のステップＳ１０４と同様の処理を実施して、立体表示パネル１０８ａ面上から観察者の右眼の位置に投影される輝度プロファイルＹｗ_Ｒと、同じく観察者の左眼の位置に投影される輝度プロファイルＹｗ_Ｌと、を算出する（図２１及び図２２）。次に、右眼の位置に投影される輝度プロファイルＹｗ_Ｒと、左眼の位置に投影される輝度プロファイルＹｗ_Ｌと、の平均値となる輝度プロファイルＹｗ_ＬＲを算出する（図２３）。次に、輝度プロファイルＹｗ_ＬＲを参照して、図１７のステップＳ１０４と同様の処理により輝度調整量を算出する。図２４に算出した輝度調整量を示す。輝度調整量はＸ軸方向の位置に依存して変化するが、Ｙ軸方向の位置には依存せず一定値となるため、以上の処理により立体表示パネル１０８ａ面上のすべての位置で輝度調整量が算出できる。

ステップＳ１５５は、画像データ保管部１０６から立体画像コンテンツの画像データとなるＬ画像とＲ画像を取得する。

ステップＳ１５６は、輝度調整処理部１０７を使用して、ステップＳ１５４で算出した輝度調整量に従って、ステップＳ１５５で取得した画像データに輝度調整処理を実施する。ステップＳ１５６では、立体表示パネル１０８ａ面上の表示位置に対応するＬ画像とＲ画像の画素位置に保管された階調値に等しい輝度調整量を乗算して、輝度調整処理を実施する。

ステップＳ１５７及びステップＳ１５８は、図１７のステップＳ１０７及びステップＳ１０８と同様の処理を実施する。

以上より、観察者の右眼と左眼に投影される観察画像の輝度プロファイルが異なる場合であっても、デバイス特性データに基づき算出された輝度調整量に従って、画像データの輝度調整処理を実施することにより、３Ｄモアレによる輝度変動の影響を軽減して、観察者の観察位置が移動しても観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供できる。

その他の輝度プロファイルの一例として、立体表示パネル１０８ａ面上から観察者１０の右眼の位置に投影される輝度プロファイルＹｗ_Ｒを図２５に、同じく観察者１０の左眼の位置に投影される輝度プロファイルＹｗ_Ｌを図２６に示す。図２５及び図２６では、３Ｄモアレによって輝度値が減少する観察画像面上の位置（Ｘ軸方向）が、観察者１０の右眼と左眼で大きく異なる。このような場合であっても、輝度プロファイルの平均値を算出し、その輝度プロファイルから輝度調整量を算出しても良い。

図２７に、右眼と左眼に投影される輝度プロファイルの平均値を算出した結果を示す。また、図２８に、輝度プロファイルの平均値から輝度調整量を算出した結果を示す。

以上により、観察者１０の右眼と左眼に対して大きく異なる輝度プロファイルが投影される場合であっても、輝度調整量を算出して輝度調整処理を実施し、３Ｄモアレによる輝度変動の影響を軽減できる。

これまでの説明においては、輝度調整量α（ｘ，ｙ）を観察画像の輝度プロファイルにおける輝度値Ｙｗ（ｘ，ｙ）から算出する際に、図２９に示すような立体表示パネル１０８ａの面内輝度分布は均一とし（図４におけるＹＬｍａｘ＝ＹＣｍａｘ＝ＹＲｍａｘ）、輝度プロファイルの輝度値が最大となる最大輝度値Ｙｗｍａｘを基準にして、式（６）より算出した。

実際の立体表示パネル１０８ａの面内輝度分布は均一ではなく、図３０のような、パネル中央部で輝度値が最大、パネル両端部に向かって輝度値が低下する輝度分布（図４におけるＹＣｍａｘ＞ＹＬｍａｘ＝ＹＲｍａｘ）を有する。この輝度分布をＹｂ（ｘ，ｙ）と定義し、Ｙｂ（ｘ，ｙ）の最大値Ｙｗｍａｘを１とする。面内輝度分布が均一とならない原因としては、液晶パネルの場合はバックライトの光源位置や光学フィルム特性などに起因し、有機ＥＬの場合は発光層の膜厚分布などに起因する。

図３１は、図３０の面内輝度分布を有する場合の立体表示パネル１０８ａのＹｗ（ｘ，ｙ）を示し、このような場合においての輝度調整量α（ｘ，ｙ）の算出方法は二つある。

その第１の算出方法は、式（６）を用いる方法である。この方法によって算出された輝度調整量α（ｘ，ｙ）を図３２に示す。この方法では、立体表示パネル１０８ａの輝度最大点Ｙｗｍａｘのみを用いて輝度調整量α（ｘ，ｙ）を算出しているため、その結果、輝度調整量は３Ｄモアレによる輝度変動だけでなくバックライトなどに起因した面内輝度分布を補正するパラメータとなる。

その第２の算出方法は、式（１０）を用いる方法である。
α（ｘ，ｙ）＝Ｙｂ（ｘ，ｙ）／Ｙｗ（ｘ，ｙ） 式（１０）
この方法によって算出された輝度調整量α（ｘ，ｙ）を図３３に示す。この方法では、立体表示パネル１０８ａの面内輝度分布ｙｂ（ｘ，ｙ）を用いて輝度調整量α（ｘ，ｙ）を算出しているため、輝度調整量は３Ｄモアレによる輝度変動のみを補正するパラメータとなる。

面内輝度分布として、小さい輝度差の場合は第１と第２の算出方法いずれも有用であるが、大きな輝度差が存在する場合、第１の算出方法では輝度調整量α（ｘ，ｙ）の値が大きくなるため、画像データの輝度調整処理によって白飛びが発生して階調表現されなくなる可能性が出てくる。第２の算出方法は、このような白飛びを防止できる方法として有用である。

本実施形態１では、輝度特性データ（図４）の輝度値が、Ｒ画像の表示領域とＬ画像の表示領域との境目で低下する例を示した。しかし、立体表示パネル１０８ａを構成する電気光学手段の表示モードや画素形状などのデバイス構成の違いにより、図３４に示す輝度特性データのように、Ｒ画像とＬ画像の表示領域の中央部でも輝度値が低下する場合がある。この課題を解決するための例を、本実施形態１の変形例として説明する。

図３４に示す輝度特性データのデバイス特性を有する立体表示パネル１０８ａを使用した場合において、図６の位置Ｃにおける観察画像は、図１０［Ａ］とは異なり、図３５［Ａ］に示すように、３Ｄモアレによる輝度変動の周期及び画像範囲が増加する。表示領域の中央部における輝度値の低下は、表示領域同士の境目における輝度値の低下よりも小さいため、図３５［Ａ］のｘ_５とｘ_６の位置における輝度値の低下は、ｘ_３とｘ_４の位置における輝度値の低下よりも小さくなる。また、図３５［Ｂ］に、観察画像（図３５［Ａ］）内のＸ軸方向の位置に対する輝度プロファイルを示す。

図３５［Ｂ］の輝度プロファイルから輝度調整量を算出した結果を図３６に示す。輝度調整量の算出方法は上記と同様に、輝度プロファイルの輝度値が最大となる最大輝度値Ｙｗｍａｘを１とおき、それ以外の輝度値ＹｗがＹｗｍａｘと同じ値となるように、輝度調整量を算出する。

本実施形態１の立体画像表示装置１１の輝度特性データでは、立体表示パネル１０８ａから二つの異なる視点の画像（Ｌ画像、Ｒ画像）を投影する例を示したが、視点数は二つに限定されるものではなく、多視点の画像を立体表示パネルから投影しても良い。多視点の画像を投影する場合には、輝度特性データが変化するが、二視点の場合と同様に輝度調整量を算出して、輝度調整処理を実施することで、３Ｄモアレによる輝度変動の影響を軽減して、観察者の観察位置が移動しても観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供できる。

換言すると、本実施形態１の立体画像表示装置は、観察者の観察位置を計測する観察者位置計測部と、観察者の観察位置と立体表示パネル位置の相対位置を算出する相対位置算出部と、立体表示パネルの相対位置に対するデバイス特性データを保管するデバイス特性データ保管部と、前記デバイス特性データに基づき相対位置に対して３Ｄモアレによる輝度変動が生じる画像範囲を算出する３Ｄモアレ画像範囲算出部と、前記３Ｄモアレ画像範囲算出部で算出した画像範囲に対して、前記デバイス特性データに基づき立体画像表示に適した輝度調整量を算出する輝度調整量算出部と、画像データを保存又は受信する画像データ保管部と、前記輝度調整量に従って前記画像データの輝度調整処理を実施する輝度調整処理部と、輝度調整処理された画像データを前記相対位置に応じて右眼・左眼に投影する立体表示パネル部とを備えるものである。

本実施形態１によれば、観察者の観察位置と立体表示パネル位置の相対位置とデバイス特性データに基づき算出された輝度調整量に従って、画像データの輝度調整処理を実施することにより、観察者の観察位置が移動しても３Ｄモアレによる輝度変動の影響を軽減し、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供することができる。

［実施形態２］
本実施形態２では、画像データの輝度調整処理を実施する前に、画像データの階調値を参照して、画像データの階調値に対する階調スケールを変更することで、輝度調整処理によって白飛びして階調表現されなくなる画像範囲を軽減する。これにより、画像データの画像品質を保った状態で、３Ｄモアレによる輝度変動の影響を軽減して、観察者の観察位置が移動しても観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供することを目的とする。

図３７に立体画像表示装置１２の構成図を示す。立体画像表示装置１２は、観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、３Ｄモアレ画像範囲算出部１０４と、輝度調整量算出部１０５と、画像データ保管部１０６と、輝度調整処理部１０７と、立体表示パネル部１０８とを備えるものである。また、相対位置算出部１０２、３Ｄモアレ画像範囲算出部１０４、輝度調整量算出部１０５、輝度調整処理部１０７を統合した処理部を、画像処理部１５１とする。

以下に、立体画像表示装置１２に含まれる各部の機能を説明する。観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、３Ｄモアレ画像範囲算出部１０４と、輝度調整量算出部１０５と、画像データ保管部１０６と、立体表示パネル部１０８とは、実施形態１のそれらと同様である。

本実施形態２の輝度調整処理部１０７は、輝度調整量算出部１０５で算出した輝度調整量と画像データ保管部１０６に保管された画像データの階調値に従って、画像データの輝度調整処理を実施する。実施形態１の輝度調整処理部１０７では、画像データ保管部１０６に保管されている画像データの階調値を上昇させて、３Ｄモアレによる輝度変動の影響を軽減する輝度調整処理を実施したが、立体画像コンテンツの画像データによっては、階調値を上昇させると、画像データが階調表現可能な最大値（画像データの階調データが８ビットであれば２５５値）を超過するために白飛びが発生し、輝度調整処理をしても変化がない画像範囲が現れる。

図３８に正常に輝度調整処理された画像データの結果を、図３９に輝度調整処理によって白飛びした画像データの結果を示す。図３９では、輝度調整処理を実施しても階調値が変化しない画像範囲が出現するため、輝度調整処理を実施しても立体表示パネルから観察者へ投影される観察画像には３Ｄモアレによる輝度変動の影響が現れる。このため、本実施形態２では、輝度調整処理を実施した際に、画像データの階調値が階調表現可能な最大値を超過する場合には、画像データの階調スケールを変更する。

具体的には、画像データの階調表現可能な最大値Ｉｍと、輝度調整処理後の画像データの階調最大値Ｉｍａｘと、を比較する。そして、最大値Ｉｍよりも階調最大値Ｉｍａｘが大きければ、輝度調整処理後の画像データの画素位置（ｕ，ｖ）に保存される階調値Ｉ_ｆ（ｕ，ｖ）を、式（２０）より算出する。一方、最大値Ｉｍよりも階調最大値Ｉｍａｘが小さければ、階調値Ｉ_ｆ（ｕ，ｖ）を実施形態１と同様に式（７）より算出する。
Ｉ_ｆ（ｕ，ｖ）＝α（ｘ，ｙ）・Ｉ_ｄ（ｕ，ｖ）・Ｉｍ／Ｉｍａｘ 式（２０）

図４０に、画像データの階調表現のスケールを変更した後で、輝度調整処理を実施した画像データの一例を示す。輝度調整処理前に画像データの階調スケールを変更することで、輝度調整処理しても画像データの階調値の白飛びによって輝度値が上昇しない画像範囲を削減し、立体表示パネルから観察者へ投影される観察画像に出現する３Ｄモアレによる輝度変動の影響を軽減できる。

上記の例では、画像データの階調表現のスケールを変更することで、輝度調整処理における画像データの階調値の最大値超過による白飛びを防止する例を記載したが、立体画像コンテンツの画像データに黒色側の階調値が使用されていなければ、画像データの階調表現のスケールを変更する代わりに画像データの階調値を全体的に低下させても良い。

具体的には、画像データの階調表現可能な最大値Ｉｍと、輝度調整処理後の画像データの階調最大値Ｉｍａｘと、を比較する。そして、最大値Ｉｍよりも階調最大値Ｉｍａｘが大きければ、輝度調整処理後の画像データの画素位置（ｕ，ｖ）に保存される階調値Ｉ_ｆ（ｕ，ｖ）を、式（２１）より算出する。
Ｉ_ｆ（ｕ，ｖ）＝α（ｘ，ｙ）・Ｉ_ｄ（ｕ，ｖ）−Ｉｍａｘ＋Ｉｍ 式（２１）

以上より、輝度調整処理での画像データの白飛びによって輝度値が上昇しない画像範囲を削減することができる。

また、上記の説明では、白飛びの発生を防止するために、立体画像コンテンツの画像データの階調値を参照して、画像データの階調表現のスケールを変更する例や、画像データの階調値を全体的に低下する例を挙げた。しかし、立体画像コンテンツが動画のような映像である場合には、時間的な連続性を考慮して、任意の時間に表示する画像データの階調値とその次の時間に表示する画像データの階調値とが、同程度になることが望ましい。このため、立体画像コンテンツが映像である場合には、例えば、予め画像データの階調スケールを小さく設定しておき、輝度調整処理を実施して階調値が上昇しても白飛びが発生しないようにすることで、階調スケールが時間的に変化しないようにしても良い。また、画像データの階調スケールを変更する条件として、画像データ内で発生する白飛びが画像範囲の５％以上であるときに階調スケールを変更する等の新たな条件を加えることで、階調スケールを一定に保つようにしても良い。

なお、本実施形態２においても、実施形態１と同様に多視点の立体表示装置に適用できる。また、本実施形態２の画像処理部１５２を単独の画像処理装置として提供し、立体表示パネル部１０８と組み合わせて立体画像表示装置１２の機能を実現できることは言うまでもない。

本実施形態２の立体画像表示装置１２における立体画像処理方法のフローチャートについて、図４１を参照して説明する。

ステップＳ２０１〜ステップＳ２０６は、実施形態１のステップＳ１０１〜ステップＳ１０６と同様である。

ステップＳ２０７は、輝度調整処理部１０７を使用して、画像データの階調変更処理として階調値のみ又は階調値かつ階調スケールの変更処理を実施する。ステップＳ２０６で取得した画像データの階調最大値とステップＳ２０５で算出した輝度調整量とを乗算した値が、画像データが階調表現可能な最大値を超過していれば、画像データの階調表現の変更処理を実施し、この最大値を超過していなければ、画像データの階調表現の変更処理は実施しない。画像データの階調表現の変更処理は、式（２０）により、画像データの階調値を変更する。

ステップＳ２０８は、輝度調整処理部１０７を使用して、ステップＳ２０５で算出した輝度調整量に従って、ステップＳ２０７で階調値変更処理された画像データに輝度調整処理を実施する。

ステップＳ２０９及びステップＳ２１０は、実施形態１のステップＳ２０８及びステップＳ２０９と同様の処理を実施する。

以上より、画像データの輝度調整処理を実施する前に、画像データの階調値を参照して、画像データの階調値に対する階調スケールを変更することで、輝度調整処理によって白飛びして階調表現されなくなる画像範囲を軽減する。これにより、画像データの画像品質を保った状態で、３Ｄモアレによる輝度変動の影響を軽減して、観察者の観察位置が移動しても観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供できる。

換言すると、本実施形態２の立体画像表示装置は、観察者の観察位置を計測する観察者位置計測部と、観察者の観察位置と立体表示パネル位置の相対位置を算出する相対位置算出部と、立体表示パネルの相対位置に対するデバイス特性データを保管するデバイス特性データ保管部と、前記デバイス特性データに基づき相対位置に対して３Ｄモアレによる輝度変動が生じる画像範囲を算出する３Ｄモアレ画像範囲算出部と、前記３Ｄモアレ画像範囲算出部で算出した画像範囲に対して、前記デバイス特性データに基づき立体画像表示に適した輝度調整量を算出する輝度調整量算出部と、画像データを保存又は受信する画像データ保管部と、前記輝度調整量と前記画像データの階調値に従って前記画像データの輝度調整処理を実施する輝度調整処理部と、輝度調整処理された画像データを前記相対位置に応じて右眼・左眼に投影する立体表示パネル部と、を備えるものである。

本実施形態２によれば、画像データの輝度調整処理を実施する際に、画像データの階調値を参照して、画像データの階調値に対する階調スケールを変更することで、輝度調整処理によって白飛びして階調表現されなくなる画像範囲を軽減する。これにより、画像データの階調表現を保った状態で、観察者の観察位置が移動しても３Ｄモアレによる輝度変動の影響を軽減し、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供することができる。

［実施形態３］
本実施形態３では、立体画像表示装置を使用する環境温度が変化しても、その温度に適切な輝度調整処理を行い、３Ｄモアレによる輝度変動の影響を軽減して、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供することを目的とする。

図４２に立体画像表示装置１３の構成図を示す。立体画像表示装置１３は、観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、３Ｄモアレ画像範囲算出部１０４と、輝度調整量算出部１０５と、画像データ保管部１０６と、輝度調整処理部１０７と、立体表示パネル部１０８と、温度計測部１０９と、を備えるものである。また、相対位置算出部１０２、３Ｄモアレ画像範囲算出部１０４、輝度調整量算出部１０５、輝度調整処理部１０７を統合した処理部を、画像処理部１５３とする。

以下に、立体画像表示装置１３に含まれる各部の機能を説明する。観察者位置計測部１０１と、相対位置算出部１０２と、輝度調整量算出部１０５と、画像データ保管部１０６と、輝度調整処理部１０７と、立体表示パネル部１０８とは、実施形態１のそれらと同様である。

温度計測部１０９は、立体画像表示装置１３の温度を計測する機能を有する。レンチキュラレンズ３（例えば図４５参照）はガラス等の無機材で作られることも可能であるが、製品コストの関係によりポリメチルメタクリレート（ＰＭＭＡ）、シクロポリオレフィン（ＣＯＰ）、ポリカーボネート（ＰＣ）に代表されるエンジニアリングプラスチック等の有機材で作られることが多い。このため、立体画像表示装置１３を使用する環境温度が変化すると、プラスチック材で作成されたレンチキュラレンズ３と、一般的にガラス基板を用いる表示パネル２（例えば図４５参照）との材料の違い、すなわちプラスチック材料とガラス材料との熱膨張係数差により、レンチキュラレンズ３と表示パネル２との位置関係が変動する。

図４３に温度が下降した場合の輝度特性データを、図４４に温度が上昇した場合の輝度特性データを示す。温度が下降すると、レンチキュラレンズ３が表示パネル２に対して収縮する方向となるため、図４３に示すように立体表示パネル１０８ａの左端及び右端における輝度特性データは、常温での点（Ｘ１，Ｙ１）に対して点（Ｘ１’，Ｙ１’）と変化し、視野角｜δ｜の値が増大する。反対に温度が上昇すると、レンチキュラレンズ３が表示パネル２に対して伸長する方向となるため、図４４に示すように立体表示パネル１０８ａの左端及び右端における輝度特性データは、常温での点（Ｘ１，Ｙ１）に対して点（Ｘ１'’，Ｙ１'’）と変化し、視野角｜δ｜の値が減少する。

図４３及び図４４の輝度特性データを基に、環境温度に対する右眼領域及び左眼領域の変化を、立体表示パネル１０８ａの光学モデル図を用いて図４５及び図４６に説明する。

図４５は、温度が下降した場合の立体表示パネル１０８ａの光学モデル図を示す。レンチキュラレンズ３の収縮に伴い表示パネル２外端の光線の屈折が大きくなり、上記の｜δ｜が増大するため、環境温度が常温である場合の右眼領域７０Ｒ及び左眼領域７０Ｌと、環境温度が下降した場合の右眼領域７０Ｒ_ｃ及び左眼領域７０Ｌ_ｃとの空間の位置を比較すると、環境温度が下降するに従って、右眼領域及び左眼領域は立体表示パネル１０８ａへ近づくことが確認できる。なお、図４５には、シリンドリカルレンズ３ａ，３ｂ、光線２０，２１、左眼領域７２Ｌなど、が記載されている。

図４６は、温度が上昇した場合の立体表示パネル１０８ａの光学モデル図を示す。レンチキュラレンズ３の伸長に伴い表示パネル２外端の光線の屈折が小さくなり、上記の｜δ｜が減少するため、環境温度が常温である場合の右眼領域７０Ｒ及び左眼領域７０Ｌと、環境温度が上昇した場合の右眼領域７０Ｒ_ｈ及び左眼領域７０Ｌ_ｈとの空間の位置を比較すると、環境温度が上昇するに従って、右眼領域及び左眼領域は立体表示パネル１０８ａから遠ざかることが確認できる。

本実施形態２では、環境温度の変化に伴って立体表示パネル１０８ａの光学モデルが変化する影響を考慮して、輝度調整処理を実施する。温度計測部１０９は立体表示パネル１０８ａ付近の温度を計測することで、温度変化による立体表示パネル１０８ａの光学モデルの状態を把握する。温度計測には汎用の抵抗温度計などを使用でき、この温度計を立体画像表示装置１３に設置することで、立体表示パネル１０８ａの環境温度を計測する。

図４２に示すデバイス特性データ保管部１０３は、立体画像表示装置１３を使用する環境温度に対応する輝度特性データを予め保存する。データの一例として、環境温度が−２０℃〜６０℃の範囲で５℃おきの輝度特性データを用いるといったように、立体画像表示装置１３の使用に応じて任意の内容が適用可能である。また、輝度特性データを算出するのに必要なパラメータを保管しておき、環境温度に応じて輝度特性データを求めるプログラムを備えることも可能である。ここで、パラメータの一例として、表示パネル２に具備されたレンチキュラレンズ３の実効的な線膨張係数、パネルサイズ、パネル解像度などを、用いることができる。

図４２に示す３Ｄモアレ画像範囲算出部１０４は、前記温度計測部１０９で計測した温度に対応する輝度特性データをデバイス特性データ保管部１０３から取得し、その輝度特性データに基づき、３Ｄモアレによる輝度変動が生じる画像範囲を算出する。画像範囲の算出は実施形態１と同様に実施して、相対位置に投影される観察画像を検出する。その後の処理も実施形態１と同様に、観察画像から輝度調整量を算出することで、立体画像表示装置１３を使用する環境温度に適切な輝度調整処理が実施できる。

なお、本実施形態３においても、実施形態１と同様に多視点の立体画像表示装置に適用できる。また、本実施形態３の画像処理部１５３を単独の画像処理装置として提供し、立体表示パネル部１０８と組み合わせて立体画像表示装置１３の機能を実現できることは言うまでもない。

本実施形態３の立体画像表示装置１３における立体画像処理方法のフローチャートについて、図４７を参照して説明する。

ステップＳ３０１及びステップＳ３０２は、実施形態１と同様の処理を実施する。

ステップＳ３０３は、温度計測部１０９で立体表示パネル１０８ａ付近の温度を計測する。

ステップＳ３０４は、デバイス特性データ保管部１０３から、ステップＳ３０３で計測した温度に対応するデバイス特性データを取得する。

ステップＳ３０５からステップＳ３１０までは、実施形態１のステップＳ１０４からステップＳ１０９までと同様の処理を実施する。

以上より、立体画像表示装置１３を使用する環境温度が変化しても、その温度に適切な輝度調整処理を行い、３Ｄモアレによる輝度変動の影響を軽減して、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供できる。

換言すると、本実施形態３の立体画像表示装置は、観察者の観察位置を計測する観察者位置計測部と、観察者の観察位置と立体表示パネル位置の相対位置を算出する相対位置算出部と、立体表示パネルの相対位置に対するデバイス特性データを保管するデバイス特性データ保管部と、前記デバイス特性データに基づき相対位置に対して３Ｄモアレによる輝度変動が生じる画像範囲を算出する３Ｄモアレ画像範囲算出部と、前記３Ｄモアレ画像範囲算出部で算出した画像範囲に対して、前記デバイス特性データに基づき立体画像表示に適した輝度調整量を算出する輝度調整量算出部と、画像データを保存又は受信する画像データ保管部と、前記輝度調整量に従って前記画像データの輝度調整処理を実施する輝度調整処理部と、輝度調整処理された画像データを前記相対位置に応じて右眼・左眼に投影する立体表示パネル部と、使用環境温度を計測する温度計測部を備えるものである。

本実施形態３によれば、観察者の観察位置とデバイス特性データに加えて、使用環境温度と立体表示パネルの温度特性データを考慮して輝度調整量を算出することにより、立体画像表示装置を使用する環境温度に対して、適切な輝度調整処理を実現する。これにより、立体画像表示装置を使用する環境温度が変化しても、その温度に適切な輝度調整処理を行い、観察者の観察位置が移動しても３Ｄモアレによる輝度変動の影響を軽減し、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供することができる。

［実施形態４］
本実施形態４では、相対位置の移動速度を参照して輝度調整処理を実施する画像範囲を移動することで、３Ｄモアレによる輝度変動が出現する画像範囲と輝度調整処理する画像範囲とに位置ずれが生じても、位置ずれを補正して３Ｄモアレによる輝度変動の影響を軽減し、観察者の観察位置が移動しても観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供することを目的とする。

図４８に立体画像表示装置１４の構成図を示す。立体画像表示装置１４は、観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、３Ｄモアレ画像範囲算出部１０４と、輝度調整量算出部１０５と、画像データ保管部１０６と、輝度調整処理部１０７と、輝度調整処理された画像データを前記相対位置に応じて右眼・左眼に投影する立体表示パネル部１０８と、を備えるものである。また、相対位置算出部１０２、３Ｄモアレ画像範囲算出部１０４、輝度調整量算出部１０５、輝度調整処理部１０７を統合した処理部を、画像処理部１５４とする。

以下に、立体画像表示装置１４に含まれる各部の機能を説明する。観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、３Ｄモアレ画像範囲算出部１０４と、画像データ保管部１０６と、輝度調整処理部１０７と、立体表示パネル部１０８とは、実施形態１のそれらと同様である。

輝度調整量算出部１０５は、相対位置算出部１０２で算出した相対位置の移動速度を参照して、３Ｄモアレ画像範囲算出部１０４で算出した３Ｄモアレ画像範囲（３Ｄモアレによる輝度変動が発現する画像範囲）から輝度調整量を算出する。

３Ｄモアレによる輝度変動の影響を軽減するには、３Ｄモアレ画像範囲の位置へ正確に合わせて輝度調整処理を実施する必要がある。この３Ｄモアレ画像範囲は相対位置によって変化する。相対位置の移動速度が速い場合には、観察者位置計測部１０１による計測処理や、画像データの輝度調整処理による、遅れが生じる。そのために、３Ｄモアレ画像範囲と、輝度調整処理により輝度変動を軽減する画像範囲とに、位置ずれが発生する場合がある。

図４９に、３Ｄモアレ画像範囲と輝度調整処理する画像範囲との位置ずれが発生した例を示す。図４９［Ａ］は、相対位置の移動速度が遅いため、画像範囲の位置ずれが発生しない場合における輝度調整処理後の観察画像の輝度プロファイルを示す一例である。図４９［Ｂ］は、相対位置の移動速度が速いため、画像範囲の位置ずれが発生した場合における輝度調整処理後の観察画像の輝度プロファイルを示す一例である。図４９［Ａ］及び図４９［Ｂ］におけるＤ、Ｅ、Ｆはそれぞれ次のとおりである。Ｄの点線（下側に輝度値が落ち込んだ点線）は、３Ｄモアレによる輝度プロファイル（Ｄ）を表す。Ｅの一点鎖線（上側に輝度値が膨らんだ一点鎖線）は、輝度調整処理した画像データに起因する輝度プロファイル（Ｅ）を表す。Ｆの実線は、輝度調整処理した画像データを立体表示パネル１０８ａから観察者の観察位置へ投影した観察画像の輝度プロファイル（Ｆ）を表す。

本来ならば、図４９［Ｂ］の輝度調整処理した画像データに起因する輝度プロファイル（Ｅ）が最大値となるＸ軸上の位置ｘ_１５は、３Ｄモアレによる輝度プロファイル（Ｄ）の最小値となるＸ軸上の位置ｘ_１２と同じ位置になるが、相対位置の移動速度が速いために、輝度調整処理が遅れ、位置ずれが発生している。このように、３Ｄモアレ画像範囲と輝度調整処理する画像範囲との位置ずれが発生すると、図４９［Ｂ］のように輝度調整処理を実施しても、３Ｄモアレによる輝度変動の影響が残存する。

本実施形態４の輝度調整量算出部１０５では、相対位置の移動速度を参照して、画像範囲の位置ずれを考慮して、３Ｄモアレによる輝度変動の影響を軽減する輝度調整量を算出する。画像範囲の位置ずれ量は、相対位置の移動速度によって変化する。図５０に相対位置の移動速度と画像範囲の位置ずれ量との関係図を示す。

画像範囲の位置ずれ量は、観察者位置計測部１０１の計測性能や画像処理部１５４の性能処理速度に依存するため、使用する立体画像表示装置１４ごとによって異なる値をとる。また、画像範囲の位置ずれは、相対位置の移動速度が立体画像表示装置１４ごとに異なる閾値速度Ｖ_０よりも相対位置の移動速度が速い場合に、画像範囲の位置ずれが発生する。観察者の観察位置が立体表示パネル１０８ａ面上のＸ軸方向に移動している場合には、３Ｄモアレ画像範囲はＸ軸と反対方向に移動するため、輝度調整処理する画像範囲よりも３Ｄモアレ画像範囲はＸ軸と反対方向に出現する。また、観察者の観察位置がＸ軸と反対方向に移動している場合には、３Ｄモアレ画像範囲はＸ軸方向に移動するため、輝度調整量処理する画像範囲よりも３Ｄモアレ画像範囲はＸ軸方向に出現する。

本実施形態４の輝度調整量算出部１０５による輝度調整量の算出方法を以下に示す。初めに実施形態１と同様にデバイス特性データ保管部１０３に保管された輝度特性データに基づき輝度調整量を算出する。次に相対位置の時間変化量から移動速度を算出し、相対位置の移動速度が閾値速度Ｖ_０よりも速い場合には、相対位置から観察者の移動方向を特定する。移動方向がＸ軸方向であれば、図５０に示す相対位置の移動速度と画像範囲の位置ずれ量との関係図から位置ずれ量を検出して、輝度調整量をＸ軸と反対方向に移動する。移動方向がＸ軸と反対方向であれば、輝度調整量をＸ軸方向に移動する。

図５１に、画像範囲の位置ずれ量がｘ_ｌｅｎである場合における輝度調整量の算出結果を示す。図５１［Ａ］は、実施形態１と同様の方法で算出した輝度調整量を示す。図５１［Ｂ］は、図５１［Ａ］の輝度調整量をＸ軸と反対方向に画像範囲の位置ずれ量ｘ_ｌｅｎだけ移動した輝度調整量の結果を示す。

図５２に、輝度調整量をＸ軸と反対方向に画像範囲の位置ずれ量ｘ_ｌｅｎだけ移動した際の輝度プロファイルを示す。図５２におけるＤ、Ｅ、Ｆはそれぞれ次のとおりである。Ｄの点線（下側に輝度値が落ち込んだ点線）は、３Ｄモアレによる輝度プロファイル（Ｄ）を表す。Ｅの一点鎖線（上側に輝度値が膨らんだ一点鎖線）は、輝度調整処理した画像データに起因する輝度プロファイル（Ｅ）を表す。Ｆの実線は、輝度調整処理した画像データを立体表示パネル１０８ａから観察者の観察位置へ投影した観察画像の輝度プロファイル（Ｆ）を表す。

ここで、図５２は輝度調整量の画像範囲が位置ずれ量ｘ_ｌｅｎだけＸ軸と反対方向に移動しているため、輝度調整処理した画像データに起因する輝度プロファイル（Ｅ）も位置ずれ量ｘ_ｌｅｎだけＸ軸と反対方向に移動している。これにより、輝度調整処理した画像データに起因する輝度プロファイル（Ｅ）と３Ｄモアレによる輝度プロファイル（Ｄ）との画像範囲の位置が等しくなり、輝度調整処理した画像データを立体表示パネル１０８ａから観察者の観察位置へ投影した観察画像の輝度プロファイル（Ｆ）は、輝度変動が無くなり、輝度値が一定となる。

以上より、相対位置の移動速度が速く、３Ｄモアレ画像範囲と輝度調整処理する画像範囲に位置ずれが発生した場合においても、位置ずれ量を考慮した輝度調整量を算出できる。

なお、本実施形態４においても、実施形態１と同様に多視点の立体表示装置に適用できる。また、本実施形態４の画像処理部１５４を単独の画像処理装置として提供し、立体表示パネル部１０８と組み合わせて立体画像表示装置１４の機能を実現できることは言うまでもない。

本実施形態４の立体画像表示装置１４における立体画像処理方法のフローチャートについて、図５３を参照して説明する。

ステップＳ４０１〜ステップＳ４０４は、実施形態１のステップＳ１０１〜ステップＳ１０４と同様である。

ステップＳ４０５は、相対位置算出部１０２で算出した相対位置の時間差分から移動速度と、移動方向を算出する。

ステップＳ４０６は、輝度調整量算出部１０５を使用して、輝度調整量を算出する。初めに、実施形態１と同様にして、ステップＳ４０４で検出した観察画像の輝度特性データから輝度調整量を算出する。次にステップＳ４０５で算出した相対位置の移動速度及び移動方向を参照して、移動速度が閾値速度Ｖ_０よりも速い場合には、移動速度と画像範囲の位置ずれ量との関係図（図５０）から位置ずれ量を取得し、位置ずれ量に従って、輝度調整量を観察者の移動方向と反対に移動する。

ステップＳ４０７〜ステップＳ４１０は、実施形態１のステップＳ１０６〜ステップＳ１０９と同様の処理を実施する。

以上より、観察者の観察位置と立体表示パネルとの相対位置の移動速度が速く、３Ｄモアレ画像範囲と輝度調整処理する画像範囲とに位置ずれが発生しても、画像範囲の位置ずれを考慮して輝度調整量を算出することで、３Ｄモアレによる輝度変動の影響を軽減し、観察者の観察位置が移動しても、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供できる。

換言すると、本実施形態４の立体画像表示装置は、観察者の観察位置を計測する観察者位置計測部と、観察者の観察位置と立体表示パネル位置の相対位置を算出する相対位置算出部と、立体表示パネルの相対位置に対するデバイス特性データを保管するデバイス特性データ保管部と、前記デバイス特性データに基づき相対位置に対して３Ｄモアレによる輝度変動が生じる画像範囲を算出する３Ｄモアレ画像範囲算出部と、前記３Ｄモアレ画像範囲算出部で算出した画像範囲に対して、前記相対位置の時間変化から算出した相対位置の移動速度を参照し、前記デバイス特性データに基づき立体画像表示に適した輝度調整量を算出する輝度調整量算出部と、画像データを保存又は受信する画像データ保管部と、前記輝度調整量に従って前記画像データの輝度調整処理を実施する輝度調整処理部と、輝度調整処理された画像データを前記相対位置に応じて右眼・左眼に投影する立体表示パネル部と、を備えるものである。

本実施形態４によれば、相対位置の移動速度を参照して輝度調整処理を実施する画像範囲を移動することで、３Ｄモアレによる輝度変動が出現する画像範囲と輝度調整処理する画像範囲に位置ずれが生じても、位置ずれを補正して、観察者の観察位置が移動しても３Ｄモアレによる輝度変動の影響を軽減し、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供することができる。

［実施形態５］
本実施形態５では、相対位置の移動速度を参照して、輝度調整処理後の画像データに対して画像フィルタ処理を実施することで、３Ｄモアレによる輝度変動が出現する画像範囲と輝度調整処理する画像範囲とに位置ずれが生じても、輝度調整処理する画像範囲を広範囲にして画像データの輝度調整に起因する輝度プロファイルをなだらかにする、いわゆる輝度値Ｙｗの位置Ｘに対する微分係数を小さくすることで、３Ｄモアレによる輝度変動の影響を軽減して、観察者の観察位置が移動しても観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供することを目的とする。

図５４に立体画像表示装置１５の構成図を示す。立体画像表示装置１５は、観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、３Ｄモアレ画像範囲算出部１０４と、輝度調整量算出部１０５と、画像データ保管部１０６と、輝度調整処理部１０７と、相対位置算出部１０２で算出した相対位置の移動速度を参照して、前記輝度調整量に基づき画像フィルタ値を算出する画像フィルタ値算出部１１０と、前記画像フィルタ値に従って、輝度調整処理された画像データに対して画像フィルタ処理を実施する画像フィルタ処理部１１１と、輝度調整処理及び画像フィルタ処理された画像データを前記相対位置に応じて右眼・左眼に投影する立体表示パネル部１０８と、を備えるものである。

また、相対位置算出部１０２、３Ｄモアレ画像範囲算出部１０４と、輝度調整量算出部１０５、輝度調整処理部１０７、画像フィルタ値算出部１１０、画像フィルタ処理部１１１を統合した処理部を、画像処理部１５５とする。

以下に、立体画像表示装置１５に含まれる各部の機能を説明する。観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、３Ｄモアレ画像範囲算出部１０４と、輝度調整量算出部１０５と、画像データ保管部１０６と、輝度調整処理部１０７と、立体表示パネル部１０８とは、実施形態１のそれらと同様である。

画像フィルタ値算出部１１０は、相対位置算出部１０２で算出した相対位置の移動速度に基づき、輝度調整処理する画像範囲を広範囲にし、画像データの階調値をなだらかにする画像フィルタ値を算出する機能を有する。

画像フィルタ値には、立体画像コンテンツの画像データのぼかし処理（平滑化処理、ローパスフィルタ処理などとも呼ばれる。）を実施するためのフィルタ形状を適用する。画像ぼかし処理を実施する代表的なフィルタ形状としては、平均化フィルタ、メディアンフィルタ、ガウシアンフィルタ等が挙げられる。以下の一例では、ガウシアンフィルタを使用する例を記載する。

図５５に立体画像コンテンツの画像データに適用するガウシアンフィルタ形状を示す。図５５は、２次元のガウシアンフィルタ形状を示し、Ｘ軸は画像データの横軸方向に、Ｙ軸は画像データの縦軸方向に対応する。ガウシアンフィルタは、ガウス分布関数の式（４１）から算出する。ここで分散値σ^２は任意の値であり、σの値が大きいとガウシアンフィルタの形状は、なだらかになり、画像ぼかし処理の効果も増大する。

画像フィルタ値はガウシアンフィルタを離散化した値となる。画像フィルタ値を形成する各画素の位置（ｘ，ｙ）に、式（５）より算出した値ｆ（ｘ，ｙ）を代入することで画像フィルタ値を算出する。図５６［Ａ］及び図５６［Ｂ］に、ガウシアンフィルタから生成された画像フィルタ値の例を示す。画像フィルタの窓幅についてＸ軸方向の値をＷｘとし、Ｙ軸の方向の窓幅についてＷｙとすると、図５６［Ａ］は画像フィルタの窓幅を３×３画素（Ｗｘ＝３、Ｗｙ＝３）にした例であり、図５６［Ｂ］は画像フィルタの窓幅を５×５画素（Ｗｘ＝５、Ｗｙ＝５）にした例である。

以下の説明では便宜上Ｗ（Ｗ＝Ｗｘ＝Ｗｙ）とする。画像フィルタの窓幅値Ｗが大きいと、画像ぼかし処理の効果も増大する。このように画像ぼかし処理にガウシアンフィルタを使用する場合には、ガウス分布関数の分散値σの値と、画像フィルタの窓幅値Ｗによって、画像フィルタ値が特定される。したがって、画像フィルタ値算出部１１０では、分散値σの値と、画像フィルタの窓幅値Ｗとを算出すれば良い。ここで、画像フィルタ値の算出では、分散値σの値は任意の定数とおき（例えばσ＝１とおく）、画像フィルタの窓幅値Ｗだけを算出するようにしても良い。

以下に、画像フィルタ値の算出例として、ガウス分布関数の分散値σの値を１とおき、画像フィルタの窓幅値Ｗだけを算出する例を記載する。図５７に相対位置の移動速度と画像フィルタの窓幅値Ｗとの関係図を示す。相対位置の移動速度が閾値速度ｖ_０よりも遅い場合には、画像フィルタの窓幅値Ｗは１となり、移動速度が閾値速度ｖ_０よりも速い場合には、移動速度が増大するに伴って、画像フィルタの窓幅値Ｗの値が増加する。

画像フィルタの窓幅値Ｗが１であれば、ガウシアンフィルタによる画像フィルタ処理をしても立体画像コンテンツの画像データは変化しない。当然ながら、画像フィルタ処理による計算量を削減するため、画像フィルタの窓幅値Ｗに１を代入せずに、画像フィルタ処理の実施を中止する命令値を代入しても良い。また、画像フィルタの窓幅値Ｗは整数であることが望ましいので、小数値を四捨五入することで整数値に近似しても良い。

画像フィルタの窓幅値Ｗが増加すると画像ぼかし処理の効果も増加するため、輝度調整処理する画像範囲は広範囲になって輝度値はなだらかとなるが、立体画像コンテンツの画像品質は低下する。また反対に、画像フィルタの窓幅値Ｗが減少すると画像ぼかし処理の効果も減少するため、立体画像コンテンツの画像品質は保たれるが、輝度調整処理する画像範囲は広範囲とならない。したがって、相対位置の移動速度と画像フィルタの窓幅値Ｗとの関係図は、評価者へ様々な種類の立体画像コンテンツ（視差値、コントラスト、明るさ、色味の空間周波数の異なる立体画像コンテンツ）を提示して、主観評価によって得られる結果を集計することが望ましい。

また、上記の例では、Ｗ＝Ｗｘ＝Ｗｙとして正方形型の画像フィルタを使用した例を示したが、Ｗｙは必ずしもＷｘと同じ値でなくても良い。３Ｄモアレによる輝度変動の影響はＸ軸方向に顕著に現れるため、Ｗｘ＞Ｗｙとした長方形型の画像フィルタを使用しても良い。なお、Ｗｙの値は立体画像コンテンツの画像データに応じて変更することも可能である。

また、上記の例では、ガウシアンフィルタの分散値σ＝１とし、画像フィルタの窓幅値Ｗを算出して画像フィルタ値を特定する方法を示したが、反対に画像フィルタの窓幅値Ｗを定数（例えば２０×２０画素）とおき、ガウシアンフィルタの分散値σを算出して画像フィルタ値を特定しても良い。σの算出方法は、画像フィルタの窓幅値Ｗと同様に、観察者の主観評価実験により、輝度調整量とガウシアンフィルタの分散値σとの関係図を特定する。

これにより、輝度調整量が大きくなるにつれてガウシアンフィルタの分散値σの値を大きくし、画像ぼかしの効果を増大させる。また、当然ながら、ガウスフィルタの分散値σと画像フィルタの窓幅値Ｗとの両方を変数とおき、両方の値を算出して画像フィルタ値を特定しても良い。この算出方法の一例としては、初めにガウシアンフィルタの分散値σの値を固定して、画像フィルタの窓幅値Ｗを算出し、次に算出した画像フィルタの窓幅値Ｗに適した分散値σを上記と同様の方法で算出する。

画像フィルタ処理部１１１は、画像フィルタ値算出部１１０で算出した画像フィルタ値に従って、輝度調整処理部１０７で輝度調整処理された画像データに画像フィルタ処理を実施する。図５８に、一例として、画像フィルタ処理を適用した際に立体表示パネル面上から投影される観察画像の輝度プロファイルを示す。

図５８［Ａ］は、相対位置の移動速度が速く、輝度調整処理する画像範囲と３Ｄモアレ画像範囲とに位置ずれが発生した場合の輝度プロファイルを示す。図５８［Ａ］におけるＤ、Ｅ、Ｆは次のとおりである。Ｄの点線（下側に輝度値が落ち込んだ点線）は、３Ｄモアレによる輝度プロファイル（すなわち輝度調整処理前の観察画像の輝度プロファイル）（Ｄ）を表す。Ｅの一点鎖線（上側に輝度値が膨らんだ一点鎖線）は、輝度調整処理後の画像データによる起因する輝度プロファイル（Ｅ）を表す。Ｆの実線は、輝度調整処理後の画像データを立体表示パネル面上から観察者の観察位置に投影した観察画像の輝度プロファイル（Ｆ）を表す。

図５８［Ｂ］は、輝度調整処理及び画像フィルタ処理後の画像データに起因した輝度プロファイル（Ｅ）を示す。図５８［Ｂ］より、画像フィルタ処理によって、輝度調整処理する画像範囲は広範囲になり、画像データの輝度調整に起因する輝度プロファイルはなだらかになる。

図５８［Ｃ］は、輝度調整処理及び画像フィルタ処理を実施して、３Ｄモアレによる輝度変動の影響を軽減した輝度プロファイルを示す。図５８［Ｃ］のＦの実線は、輝度調整処理及び画像フィルタ処理後の画像データを立体表示パネル面上から観察者の観察位置に投影した観察画像の輝度プロファイル（Ｆ）を表す。画像フィルタ処理前の図５８［Ａ］の輝度プロファイル（Ｆ）と画像フィルタ処理後の図５８［Ｃ］の輝度プロファイル（Ｆ）とを比較すると、画像フィルタ処理後の輝度プロファイル（Ｆ）の輝度変動は緩やかになっている。これにより、相対位置の移動速度が速く、３Ｄモアレ画像範囲と輝度調整する画像範囲に位置ずれが発生しても、画像フィルタ処理によって輝度調整処理する画像範囲を広範囲にし、画像データの輝度調整に起因する輝度プロファイルをなだらかにすることで、３Ｄモアレによる輝度変動の影響を軽減できる。

なお、本実施形態５においても、実施形態１と同様に多視点の立体表示装置に適用できる。また、本実施形態の画像処理部１５５を単独の画像処理装置として提供し、立体表示パネル部１０８と組み合わせて立体画像表示装置１５の機能を実現できることは言うまでもない。

本実施形態５の立体画像表示装置１５における立体画像処理方法のフローチャートについて、図５９を参照して説明する。

ステップＳ５０１〜ステップＳ５０７は、実施形態１のステップＳ１０１〜ステップＳ１０７と同様である。

ステップＳ５０８は、相対位置算出部１０２で算出した相対位置の時間差分から移動速度と、移動方向を算出する。

ステップＳ５０９は、画像フィルタ値算出部１１０を使用して、ステップＳ５０８で算出したい相対位置の移動速度を参照して、画像フィルタ値を算出する。画像フィルタ値の算出方法は、相対位置の移動速度と画像フィルタ値となる画像フィルタの窓幅値との関係図（図５２）を参照して、画像フィルタ値を算出する。

ステップＳ５１０は、画像フィルタ処理部１１１を使用して、ステップＳ５０９で算出した画像フィルタ値に従って、ステップＳ５０７で輝度調整処理した画像データに対し、画像フィルタ処理を実施する。

ステップＳ５１１及びステップＳ５１２は、実施形態１のステップＳ１０８及びステップ１０９と同様の処理を実施する。

以上より、相対位置の移動速度が速く、輝度調整処理する画像範囲と３Ｄモアレ画像範囲とに位置ずれが発生する場合であっても、輝度調整処理する画像範囲を広範囲にし、画像データの輝度調整に起因する輝度プロファイルをなだらかにすることで、３Ｄモアレによる輝度変動の影響を軽減して、観察者の観察位置が移動しても観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供できる。

換言すると、本実施形態５の立体画像表示装置は、観察者の観察位置を計測する観察者位置計測部と、観察者の観察位置と立体表示パネル位置の相対位置を算出する相対位置算出部と、立体表示パネルの相対位置に対するデバイス特性データを保管するデバイス特性データ保管部と、前記デバイス特性データに基づき相対位置に対して３Ｄモアレによる輝度変動が生じる画像範囲を算出する３Ｄモアレ画像範囲算出部と、前記３Ｄモアレ画像範囲算出部で算出した画像範囲に対して、立体画像表示に適した輝度調整量を算出する輝度調整量算出部と、画像データを保存又は受信する画像データ保管部と、前記輝度調整量に従って前記画像データの輝度調整処理を実施する輝度調整処理部と、前記相対位置の移動速度に基づき画像フィルタ値を算出する画像フィルタ値算出手段と、前記画像フィルタ値に従って、輝度調整処理された画像データに対して画像フィルタ処理を実施する画像フィルタ処理手段と、画像フィルタ処理された画像データを前記相対位置に応じて右眼・左眼に投影する立体表示パネル部を備えるものである。

本実施形態５によれば、相対位置の移動速度を参照して、輝度調整処理後の画像データに対して画像フィルタ処理を実施することで、３Ｄモアレによる輝度変動が出現する画像範囲と輝度調整処理する画像範囲に位置ずれが生じても、輝度調整処理する画像範囲を広範囲にして画像データによる輝度調整量をなだらかにすることで、観察者の観察位置が移動しても３Ｄモアレによる輝度変動の影響を軽減し、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供することができる。

［実施形態６］
本実施形態６では、輝度調整処理によって３Ｄモアレによる輝度変動の影響を軽減した画像データに対して、３Ｄクロストークによる二重像の影響を軽減するための視差調整処理を実施することで、３Ｄモアレによる輝度変動の影響だけでなく、３Ｄクロストークによる二重像の影響も軽減して、観察者の観察位置が移動しても観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供することを目的とする。

図６１は、立体表示パネルの視野角方向に対する３Ｄクロストークを示したものである。図４に示す３Ｄモアレ画像範囲と、図６１に示す３Ｄクロストーク画像範囲とは、概ね一致している。このため、３Ｄモアレ画像範囲算出部の情報に基づいて、３Ｄクロストークを緩和するための視差調整処理を行うものである。

図６０に立体画像表示装置１６の構成図を示す。立体画像表示装置１６は、観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、３Ｄモアレ画像範囲算出部１０４と、輝度調整量算出部１０５と、画像データ保管部１０６と、輝度調整処理部１０７と、相対位置算出部１０２で算出した相対位置とデバイス特性データ保管部１０３に保管したデバイス特性データとから３Ｄクロストークによる二重像の影響を軽減するための視差調整量を算出する視差調整量算出部１１２と、３Ｄモアレ画像範囲算出部１０４で算出した画像範囲にある画像データに対して、視差調整量算出部１１２で算出した視差調整量に従って視差調整処理を実施する視差調整処理部１１３と、輝度調整処理及び視差調整処理が実施された画像データを前記相対位置に応じて右眼・左眼に投影する立体表示パネル部１０８と、を備えるものである。また、相対位置算出部１０２、３Ｄモアレ画像範囲算出部１０４、輝度調整量算出部１０５、輝度調整処理部１０７、視差調整量算出部１１２、視差調整処理部１１３を統合した処理部を、画像処理部１５６とする。

観察者位置計測部１０１、相対位置算出部１０２、デバイス特性データ保管部１０３、３Ｄモアレ画像範囲算出部１０４、輝度調整量算出部１０５、画像データ保管部１０６、輝度調整処理部１０７、立体表示パネル部１０８、は実施形態１のそれらと同様である。

視差調整量算出部１１２は、デバイス特性データ保管部１０３に保管されている３Ｄクロストーク特性データから、３Ｄクロストークによる二重像を軽減するために適切な視差許容値を算出し、算出した視差許容値と画像データの視差最大値とから視差調整量を算出する。

図６１に３Ｄクロストーク特性データの一例を示す。３Ｄクロストーク特性データの横軸は視野角θを、縦軸は３Ｄクロストーク量を表す。３Ｄクロストーク量は、右眼用画像（Ｒ画像）に左眼用画像（Ｌ画像）が混合する割合を表す（逆の混合も表す：Ｌ画像にＲ画像が混合する割合）。３Ｄクロストーク特性データは立体表示パネルのデバイス特性によって異なる値をとり、立体表示パネルの設計時に決定される。また、３Ｄクロストーク用の評価装置で立体表示パネルを計測しても３Ｄクロストーク特性データを得ることができる。この３Ｄクロストーク特性データと、相対位置算出部１０２で算出した相対位置とから、視差調整量を算出する。

視差調整量の算出方法では、第１の処理として、３Ｄクロストーク量の閾値から、３Ｄクロストークによる二重像が出現せずに正常な立体画像が投影される正視領域の視野角範囲と、３Ｄクロストークによる二重像が出現する３Ｄクロストーク領域の視野角範囲と、３Ｄクロストークによる二重像は出現しないが右眼に左眼用画像、左眼に右眼用画像が投影される逆視領域の視野角範囲と、を検出する。この際、３Ｄクロストーク量の閾値を二つ以上設定することで、３Ｄクロストークによる二重像は出現するが、その影響が小さいために立体画像が視認できる３Ｄクロストーク領域の視野角範囲と、３Ｄクロストークによる二重像の影響が大きいために立体画像が視認できない３Ｄクロストーク領域の視野角範囲と、を分離しても良い。

第２の処理として、正視領域と３Ｄクロストーク領域と逆視領域との各境界位置となる視野角において、立体画像表示に適した視差許容値を設定する。視差許容値は、３Ｄクロストーク量の閾値に対する視差許容値を主観評価実験や文献を参照して設定する。

第３の処理として、境界位置となる視野角と視差許容値とから得られる複数の点を通るように線で補間することで、すべての視野角における視差許容値を算出する。

第４の処理として、相対位置から視野角を算出し、その視野角に対する視差許容値を検出して、立体画像コンテンツである画像データの視差最大値と比較する。画像データの視差最大値が視差許容値よりも大きい場合には、画像データの視差最大値を視差許容値と等しくするために、画像データの視差最大値に乗算する値である視差調整量を算出する。画像データの視差最大値が視差許容値よりも小さい場合には、視差調整量を１とする。以上の処理によって、視差調整量を算出できる。

視差調整処理部１１３は、輝度調整処理後の画像データに対して、３Ｄモアレ画像範囲算出部１０４で算出した画像範囲に、視差調整量算出部１１２で算出した視差調整量に従って視差調整処理を実施する。

ここで、図４に示す輝度特性データのデバイス特性を持つ立体表示パネル部１０８であれば、３Ｄクロストークによる二重像が生じる画像範囲は、３Ｄモアレ画像範囲算出部１０４で算出した３Ｄモアレによる輝度変動が生じる画像範囲とほぼ等しくなる。

図６２に、任意の相対位置における二重像が現れる画像範囲の一例を示す。図６２は、３Ｄクロストーク領域内で、Ｘ軸方向（図３を参照）とＺ軸方向に相対位置が移動した場合に、その相対位置へ投影される観察画像を示す。相対位置がＸ軸方向に移動すると、それに応じて二重像が現れる画像範囲もＸ軸方向に移動する。また、相対位置がＺ軸方向に移動すると、それに応じて二重像が現れる画像範囲が広がっていく。

相対位置算出部１０２から得られる観察者の右眼と左眼の位置情報と、３Ｄモアレ画像範囲算出部１０４で算出された画像範囲情報とから、観察者の右眼と左眼に投影される観察画像の任意の画像範囲に、Ｒ画像が投影されるか、Ｌ画像が投影されるか、３Ｄクロストークによる二重像（ＣＴ画像）が投影されるかを判定する。

判定した結果、左眼にＬ画像が投影され、右眼にＲ画像が投影されている画像範囲は、視差値をそのままにする。右眼と左眼のどちらかに一方にでもＣＴ画像が投影される画像範囲は、視差調整量算出部１１２で算出した視差調整量に従って、視差調整処理を実施する。左眼にＲ画像が投影され、右眼にＬ画像が投影される画像範囲は、視差値を反転する。右眼と左眼の両方にＲ画像又はＬ画像が投影される場合は、視差値をそのままにする。

図６３に、観察者の右眼と左眼に投影される観察画像の種類（Ｌ画像、Ｒ画像、ＣＴ画像）に対応した視差調整処理の実施判定表を示す。立体画像コンテンツの表示状態は、右眼にＲ画像が投影され、左眼にＬ画像が投影されている画像範囲と、右眼にＬ画像が投影され、左眼にＲ画像が投影されている画像範囲とでは、立体画像として表示される。また、観察者の右眼と左眼に同一の画像が投影されている画像範囲は、平面画像として表示される。その以外の画像範囲では、立体から平面までの中間的な表示状態となり、３Ｄクロストーク量が高い画像範囲になるほど、立体画像コンテンツの視差値は低減されて平面画像の表示状態に近くなる。

以上より、実施形態１で記載した輝度調整処理を実施して、３Ｄモアレによる輝度変動の影響を軽減した後で、３Ｄクロストークによる二重像が現れる画像範囲だけに視差調整処理を実施することで、その他の画像範囲に対して視差値を保持しながら、３Ｄモアレによる輝度変動の影響と３Ｄクロストークによる二重像の影響を両方とも軽減できる。

なお、本実施形態６においても、実施形態１と同様に多視点の立体表示装置に適用できる。また、本実施形態の画像処理部１５６を単独の画像処理装置として提供し、立体表示パネル部１０８と組み合わせて立体画像表示装置１６の機能を実現できることは言うまでもない。

ここで、本実施形態６の変形例として、立体表示パネルの輝度特性データが、図３４に示すように、立体正視範囲内に３Ｄモアレとなる輝度変動を有する場合を考える。この場合は、３Ｄモアレ画像範囲と３Ｄクロストーク画像範囲とが一致しない領域が発生する。

例えば、図３４に示す輝度特性データを有する立体画像表示装置において、相対位置が図６Ａの位置Ｃである場合、観察画像は図６４に示すような表示となる。この表示のうち、３Ｄモアレ画像範囲は図６４のＸ軸方向の位置ｘ_３、ｘ_４、ｘ_５、ｘ_６となるが、図６１に示す３Ｄクロストーク特性データより、３Ｄクロストーク画像範囲は図６４のＸ軸方向の位置ｘ_３、ｘ_４となり、お互いの画像範囲は一致しなくなることが分かる。したがって、立体正視範囲内に３Ｄモアレとなる輝度変動を有する輝度特性データを扱う場合は、３Ｄモアレ画像範囲算出部１０４で算出した画像範囲とは別に、３Ｄクロストーク画像範囲を算出する必要がある。

本実施形態６の変形例を図６５に示す。本例の立体画像表示装置１６ａの構成は、図６０で示した構成に３Ｄクロストーク画像範囲算出部１１４を追加したものである。３Ｄクロストーク画像範囲算出部１１４は、相対位置算出部１０２で算出した相対位置とデバイス特性データ保管部１０３に保管された３Ｄクロストーク特性データとより、３Ｄクロストーク画像範囲を算出する。３Ｄクロストーク画像範囲の算出方法は、３Ｄクロストーク特性データから３Ｄクロストーク領域を示す光学モデル図を導出し、相対位置に対する観察画像を検出することで、３Ｄクロストークによる二重像が出現する画像範囲を算出する。なお、３Ｄクロストーク画像範囲算出部１１４を含む処理部を、画像処理部１５６ａとする。

本実施形態６の立体画像表示装置１６，１６ａにおける立体画像処理方法のフローチャートについて、図６６を参照して説明する。

ステップＳ６０１〜ステップＳ６０７は、実施形態１のステップＳ１０１〜ステップＳ１０７と同様である。

ステップＳ６０８は、視差調整量算出部１１２を使用して、相対位置算出部１０２で算出した相対位置と、デバイス特性データ保管部１０３に保管された３Ｄクロストーク特性データとから、３Ｄクロストークによる二重像の影響を軽減するための視差調整量を算出する。

ステップＳ６０９は、視差調整処理部１１３を使用して、ステップＳ６０８で算出した視差調整量に従って、輝度調整処理後の画像データに対して、視差調整処理を実施する。

ステップＳ６１０及びステップＳ６１１は、実施形態１のステップＳ１０８及びステップＳ１０９と同様の処理を実施する。

以上より、３Ｄモアレによる輝度変動の影響と３Ｄクロストークによる二重像の影響とを両方とも軽減し、観察者の観察位置が移動しても、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供できる。

換言すると、本実施形態６の立体画像表示装置は、観察者の観察位置を計測する観察者位置計測部と、観察者の観察位置と立体表示パネル位置の相対位置を算出する相対位置算出部と、立体表示パネルの相対位置に対するデバイス特性データを保管するデバイス特性データ保管部と、前記デバイス特性データに基づき相対位置に対して立体画像表示に適した輝度調整量を算出する輝度調整量算出部と、前記デバイス特性データに基づき相対位置に対して立体画像表示に適した視差調整量を算出する視差調整量算出部と、画像データを保存又は受信する画像データ保管部と、前記輝度調整量に従って前記画像データの輝度調整処理を実施する輝度調整処理部と、前記視差調整量に従って、輝度調整処理後の画像データへ視差調整処理を実施する視差調整処理部と、輝度調整処理と視差調整処理を実施した画像データを前記相対位置に応じて右眼・左眼に投影する立体表示パネル部と、を備えるものである。

本実施形態６によれば、輝度調整処理によって３Ｄモアレによる輝度変動の影響を軽減した画像データに対して、３Ｄクロストークによる二重像の影響を軽減するための視差調整処理を実施することで、観察者の観察位置が移動しても３Ｄモアレによる輝度変動に加えて３Ｄクロストークによる二重像の影響も軽減し、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供することができる。

［実施形態７］
本実施形態７では、輝度調整処理によって３Ｄモアレによる輝度変動の影響を軽減した画像データに対して、３Ｄクロストークによる二重像の影響を軽減するための画像フィルタ処理を実施することで、３Ｄモアレによる輝度変動の影響だけでなく、３Ｄクロストークによる二重像の影響も軽減して、観察者の観察位置が移動しても観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供することを目的とする。

図６１は、立体表示パネルの視野角方向に対する３Ｄクロストークを示したものであるが、図４に示す３Ｄモアレ画像範囲と、図６１に示す３Ｄクロストーク画像範囲とは、概ね一致している。このため、３Ｄモアレ画像範囲算出部の情報に基づいて、３Ｄクロストークを緩和するための画像フィルタ処理を行うものである。

図６７に立体画像表示装置１７の構成図を示す。立体画像表示装置１７は、観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、３Ｄモアレ画像範囲算出部１０４と、輝度調整量算出部１０５と、前記デバイス特性データに基づき相対位置に対して立体画像表示に適した画像フィルタ値を算出する画像フィルタ値算出部１１０と、画像データ保管部１０６と、輝度調整処理部１０７と、前記画像フィルタ値に従って、輝度調整処理された画像データの画像フィルタ処理を実施する画像フィルタ処理部１１１と、輝度調整処理と視差調整処理が実施された画像データを前記相対位置に応じて右眼・左眼に投影する立体表示パネル部１０８と、を備えるものである。また、相対位置算出部１０２、３Ｄモアレ画像範囲算出部１０４、輝度調整量算出部１０５、輝度調整処理部１０７、画像フィルタ値算出部１１０、画像フィルタ処理部１１１を統合した処理部を、画像処理部１５７とする。

観察者位置計測部１０１、相対位置算出部１０２、デバイス特性データ保管部１０３、３Ｄモアレ画像範囲算出部１０４、輝度調整量算出部１０５、画像データ保管部１０６、輝度調整処理部１０７、立体表示パネル部１０８は、実施形態１のそれらと同様である。

本実施形態７の画像フィルタ値算出部１１０は、デバイス特性データ保管部１０３に保管されている３Ｄクロストーク特性データから、３Ｄクロストークによる二重像を軽減するために適切な画像フィルタ値を算出する。

画像フィルタ値の算出方法では、第１の処理として、３Ｄクロストーク量の閾値から、３Ｄクロストークによる二重像が出現せずに正常な立体画像が投影される正視領域の視野角範囲と、３Ｄクロストークによる二重像が出現する３Ｄクロストーク領域の視野角範囲と、３Ｄクロストークによる二重像は出現しないが右眼に左眼用画像が左眼に右眼用画像が投影される逆視領域の視野角範囲と、を検出する。この際、３Ｄクロストーク量の閾値を二つ以上設定することで、３Ｄクロストークによる二重像は出現するが、その影響が小さいために立体画像が視認できる３Ｄクロストーク領域の視野角範囲と、３Ｄクロストークによる二重像の影響が大きいために立体画像が視認できない３Ｄクロストーク領域の視野角範囲とを、分離しても良い。

第２の処理として、正視領域と３Ｄクロストーク領域と逆視領域との各境界位置となる視野角において、立体画像表示に適した画像フィルタ値を設定する。画像フィルタ値は、３Ｄクロストーク量の閾値に対する画像フィルタ値を主観評価実験により導出して設定する。

第３の処理として、境界位置となる視野角と画像フィルタ値とから得られる複数の点を通るように線で補間することで、すべての視野角における画像フィルタ値を算出する。

第４の処理として、相対位置から視野角を算出し、その視野角に対する画像フィルタ値を検出する。以上の処理によって、画像フィルタ値を算出できる。

本実施形態７の画像フィルタ処理部１１１は、輝度調整処理後の画像データに対して、３Ｄモアレ画像範囲算出部１０４で算出した画像範囲に、画像フィルタ値算出部１１０で算出した画像フィルタ値に従って画像フィルタ処理を実施する。ここで、図４に示す輝度特性データのデバイス特性を持つ立体表示パネル部１０８であれば、３Ｄクロストークによる二重像が生じる画像範囲は、３Ｄモアレ画像範囲算出部１０４で算出した３Ｄモアレによる輝度変動が生じる画像範囲とほぼ等しくなる。任意の相対位置において、３Ｄクロストークによる二重像が現れる画像範囲は、実施形態６に記載した図６２と同様である。

以上より、実施形態１で記載した輝度調整処理を実施して、３Ｄモアレによる輝度変動の影響を軽減した後で、３Ｄクロストークによる二重像が現れる画像範囲だけに画像フィルタ処理を実施することで、その他の画像範囲に対して画像フィルタ処理による画像品質の低下を抑制して、３Ｄモアレによる輝度変動の影響と３Ｄクロストークによる二重像の影響を両方とも軽減できる。

なお、本実施形態７においても、実施形態１と同様に多視点の立体表示装置に適用できる。また、本実施形態７の画像処理部１５７を単独の画像処理装置として提供し、立体表示パネル部１０８と組み合わせて立体画像表示装置１７の機能を実現できることは言うまでもない。

ここで、本実施形態７の変形例として、立体表示パネルの輝度特性データが、図３４に示すように立体正視範囲内に３Ｄモアレとなる輝度変動を有する場合を考える。実施形態６の変形例と同様に、３Ｄモアレ画像範囲と３Ｄクロストーク画像範囲とが一致しない領域が発生する。

例えば、図３４に示す輝度特性データを有する立体画像表示装置において、相対位置が図６Ａの位置Ｃである場合、観察画像は図６４に示すような表示となる。この表示のうち、３Ｄモアレ画像範囲は図６４のＸ軸方向の位置ｘ_３、ｘ_４、ｘ_５、ｘ_６となるが、図６１に示す３Ｄクロストーク特性データより、３Ｄクロストーク画像範囲は図６４のＸ軸方向の位置ｘ_３、ｘ_４となり、お互いの画像範囲は一致しなくなることが分かる。したがって、立体正視範囲内に３Ｄモアレとなる輝度変動を有する輝度特性データを扱う場合は、３Ｄモアレ画像範囲算出部１０４で算出した画像範囲とは別に、３Ｄクロストーク画像範囲を算出する必要がある。

本実施形態７の変形例を図６８に示す。本例の立体画像表示装置１７ａの構成は、図６７で示した構成に３Ｄクロストーク画像範囲算出部１１４を追加したものである。３Ｄクロストーク画像範囲算出部１１４は、相対位置算出部１０２で算出した相対位置と、デバイス特性データ保管部１０３に保管された３Ｄクロストーク特性データとにより、３Ｄクロストーク画像範囲を算出する。３Ｄクロストーク画像範囲の算出方法は、３Ｄクロストーク特性データから３Ｄクロストーク領域を示す光学モデル図を導出し、相対位置に対する観察画像を検出することで、３Ｄクロストークによる二重像が出現する画像範囲を算出する。なお、３Ｄクロストーク画像範囲算出部１１４を含む処理部を、画像処理部１５７ａとする。

本実施形態７の立体画像表示装置１７，１７ａにおける立体画像処理方法のフローチャートについて、図６９を参照して説明する。

ステップＳ７０１〜ステップＳ７０７は、実施形態１のステップＳ１０１〜ステップＳ１０７と同様である

ステップＳ７０８は、画像フィルタ値算出部１１０を使用して、相対位置算出部１０２で算出した相対位置とデバイス特性データ保管部１０３に保管された３Ｄクロストーク特性データとから、３Ｄクロストークによる二重像の影響を軽減するための画像フィルタ値を算出する。

ステップＳ７０９は、画像フィルタ処理部１１１を使用して、ステップＳ７０８で算出した画像フィルタ値に従って、輝度調整処理後の画像データに対して、３Ｄクロストークによる二重像が出現する画像範囲に画像フィルタ処理を実施する。

ステップＳ７１０及びステップＳ７１１１は、実施形態１のステップＳ１０８及びステップＳ１０９と同様の処理を実施する。

以上より、３Ｄモアレによる輝度変動の影響と３Ｄクロストークによる二重像の影響とを両方とも軽減し、観察者の観察位置が移動しても、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供できる。

換言すると、本実施形態７の立体画像表示装置は、観察者の観察位置を計測する観察者位置計測部と、観察者の観察位置と立体表示パネル位置の相対位置を算出する相対位置算出部と、立体表示パネルの相対位置に対するデバイス特性データを保管するデバイス特性データ保管部と、前記デバイス特性データに基づき相対位置に対して立体画像表示に適した輝度調整量を算出する輝度調整量算出部と、前記デバイス特性データに基づき相対位置に対して立体画像表示に適した画像フィルタ値を算出する画像フィルタ値算出部と、画像データを保存又は受信する画像データ保管部と、前記輝度調整量に従って前記画像データの輝度調整処理を実施する輝度調整処理部と、前記画像フィルタ値に従って、輝度調整処理後の画像データへ画像フィルタ処理を実施する画像フィルタ処理部と、輝度調整処理と視差調整処理を実施した画像データを前記相対位置に応じて右眼・左眼に投影する立体表示パネル部と、を備えるものである。

本実施形態７によれば、輝度調整処理によって３Ｄモアレによる輝度変動の影響を軽減した画像データに対して、３Ｄクロストークによる二重像の影響を軽減するための画像フィルタ処理を実施することで、観察者の観察位置が移動しても３Ｄモアレによる輝度変動に加えて３Ｄクロストークによる二重像の影響も軽減し、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供することができる。

［実施形態８］
本実施形態８では、観察者が立体画像表示装置を上下方向から観察した際にも３Ｄモアレによる輝度変動の影響を軽減することで、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供することを目的とする。

実施形態１では、観察者の観察位置と立体表示パネルとの相対位置の移動に伴う視野角θと観察距離Ｄの変化を考慮して立体表示パネル面上の輝度プロファイルを算出し、３Ｄモアレによる輝度変動の影響を軽減する一例を示した。ここで、視野角θは、立体表示パネルの左右方向に対応するＸ-Ｚ軸平面上の角度を表す。観察者が立体表示パネルを正面方向から観察したときにも、上下方向から観察したときにも、観察者が観察する立体表示パネル面上の輝度プロファイルが同一である場合には、実施形態１に記載した輝度プロファイルの算出方法を使用することで、任意の相対位置における立体表示パネル面上の輝度プロファイルを算出できる。

しかし、観察者が立体表示パネルを正面方向から観察したときと、上下方向から観察したときとで、観察者が観察する立体表示パネル面上の輝度プロファイルが異なる場合には、立体表示パネルの上下方向に対応するＹ-Ｚ軸平面上の視野角φも考慮して、立体表示パネル面上の輝度プロファイルを算出し、３Ｄモアレによる輝度変動の影響を軽減する必要がある。

観察者の観察位置と立体表示パネルとの相対位置の座標系を図７０に示す。図７０には、観察者１０、立体画像表示装置１８、立体表示パネル１０８ａ、カメラ１０１ａなどが描かれている。相対位置は、Ｘ-Ｚ軸平面上の視野角θ_ｐとＹ-Ｚ軸平面上の視野角φ_ｐ及び観察距離Ｄ_ｐで表記する。相対位置を（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）とおくと、視野角φ_ｐは式（８０）から算出し、視野角θ_ｐと観察距離Ｄ_ｐは実施形態１と同様に式（４）と式（３）から算出する。
φ_ｐ＝ｔａｎ^−１（ｙ_ｐ／ｚ_ｐ） 式（８０）

視野角φに依存して、立体表示パネル１０８ａの面上の輝度プロファイルが異なる原因の一つとしては、立体表示パネル１０８ａ内の電気光学手段である液晶パネルから光学分離手段であるレンチキュラレンズまでの光路長と、レンチキュラレンズの焦点距離との差から生じる、デフォーカス効果の影響が考えられる。

いくつかの立体画像表示装置では、３Ｄモアレによる輝度変動の影響を軽減するため、液晶パネルとレンチキュラレンズとの光路長をレンチキュラレンズの焦点距離よりも若干短く（又は長く）なるように光学設計し、液晶パネル面上に表示される画像データをレンチキュラレンズでデフォーカス（画像ぼけ）させる。立体表示パネルを正面方向から観察したときには、デフォーカス効果によって３Ｄモアレによる輝度変動の影響は軽減する。しかし、立体表示パネルを上下方向から観察したときに、液晶パネルとレンチキュラレンズとの光路長が変化してレンチキュラレンズの焦点距離に近接すると、デフォーカス効果が低下して、３Ｄモアレによる輝度変動の影響は軽減しなくなる。

視野角φに対する液晶パネルとレンチキュラレンズとの光路長の変化を図７１に示す。図７１には、観察者１０、立体画像表示装置１８、立体表示パネル１０８ａ，液晶パネル２ａ，レンチキュラレンズ３，視野角φ_Ｓ，光路長Ｈ_Ｓなどが描かれている。立体表示パネル１０８ａを正面方向から観察した相対位置と、立体表示パネル１０８ａを上方向から観察した相対位置との視野角差をφ_Ｓとおき、液晶パネル２ａとレンチキュラレンズ３との光路長をＨ_Ｓとすると、光路長Ｈ_Ｓは、式（８１）となる。
Ｈ_Ｓ＝（１／cosφ_Ｓ）Ｈ_Ｄ 式（８１）

ここで、Ｈ_Ｄは、液晶パネル２ａとレンチキュラレンズ３との距離（立体表示パネル１０８ａを正面方向から観察したときの、液晶パネル２ａとレンチキュラレンズ３との光路長に等しい。）を表す。式（８１）より、視野角差φ_Ｓが増加するに伴って、光路長Ｈ_Ｓも増加する。

光路長Ｈ_Ｓの変化によるデフォーカス効果の変化を図７２及び図７３に示す。図７２には、立体表示パネル１０８ａを正面方向から観察したときのレンチキュラレンズ３によるデフォーカス幅ＤＷを表す。正面方向から観察したときは視野角φが０となるので、光路長Ｈ_Ｓと液晶パネル２ａからレンチキュラレンズ３までの距離Ｈ_Ｄとは等しくなる。

図７２において、レンチキュラレンズ３により液晶パネル２ａに表示される画像データがデフォーカスされる幅をＤＷとすると、デフォーカス幅ＤＷは式（８２）となる。
ＤＷ＝Ｌ（Ｆ−Ｈ_Ｓ）／Ｆ 式（８２）

ここで、Ｆはレンチキュラレンズ３の焦点距離を、Ｌはレンチキュラレンズ３の幅（シリンドリカルレンズ幅）を表す。レンチキュラレンズ３の焦点距離Ｆは、立体表示パネル１０８ａを正面方向から観察したときの光路上にあるレンチキュラレンズ３の曲率半径から規定される焦点距離とする。式（８２）から明らかなように、デフォーカス幅ＤＷは、レンチキュラレンズ３の焦点距離Ｆと光路長Ｈ_Ｓとの差に比例する。

図７３には、立体表示パネル１０８ａを上下方向から観察したときのレンチキュラレンズ３によるデフォーカス幅ＤＷを表す。上下方向では、視野角φは値を持つので、光路長Ｈ_Ｓは式（８１）より算出する。光路長Ｈ_Ｓが増加して、レンチキュラレンズ３の焦点距離Ｆと等しくなると、デフォーカス幅ＤＷは０となり、レンチキュラレンズ３によるデフォーカス効果は消失する。

なお、図８０に示すように、立体表示パネル１０８ａを上下方向から観察したときには、レンチキュラレンズ３内を通る光路も変化するため、レンチキュラレンズ３の曲面位置によってレンチキュラレンズ３の曲率半径が変化する。図８０において、立体表示パネル１０８ａを正面方向から観察したときのレンチキュラレンズ３の見かけ上の曲率半径をｒ_１とし、立体表示パネル１０８ａを上下方向から観察したときのレンチキュラレンズ３の見かけ上の曲率半径をｒ_２とおく。

このとき、見かけ上の曲率半径ｒ_２は、見かけ上の曲率半径ｒ_１よりも短くなる。レンチキュラレンズ３の曲率半径が短縮すると、レンチキュラレンズ３の焦点距離Ｆも短縮する。そのため、実際にデフォーカス効果が消失する視野角φは、式（８１）及び式（８２）から算出した角度よりも若干小さな角度となる。

ただし、見かけ上の曲率半径ｒ_１は、レンチキュラレンズ３の曲率半径と一致しているため、視野角方向であるＸ軸方向に対して曲率半径が一定である。その一方、見かけ上の曲率半径ｒ_２は、視野角方向であるＸ軸方向に対して曲率半径が変化する。したがって、立体表示パネル１０８ａの上下方向からの観察において、視野角方向に対する画像の動きに対しては、この点を考慮する必要がある。

立体表示パネルを正面方向から観察者が観察する、立体表示パネルの面上の観察画像及び輝度プロファイルを、図７４に示す。立体表示パネルを上方向から観察者が観察する、立体表示パネルの面上の観察画像及び輝度プロファイルを、図７５に示す。

図７４では、レンチキュラレンズによるデフォーカス効果により、画像データがデフォーカスされるため、３Ｄモアレによる輝度変動が生じる画像範囲は広範囲になるが、輝度プロファイルは緩やかに変動して目立たなくなるため、３Ｄモアレによる輝度変動の影響は軽減する。一方、図７５では、レンチキュラレンズによるデフォーカス効果が消失するため、３Ｄモアレによる輝度変動が生じる画像範囲は狭範囲になるが、輝度プロファイルは急激に変動するため、３Ｄモアレによる輝度変動の影響が顕著となる。

また、観察者と立体表示パネルとの相対位置が同じであっても、立体表示パネル面上を観察する位置によって視野角φは変化し、液晶パネルからレンチキュラレンズまでの光路長Ｈ_Ｓ及びレンチキュラレンズの見かけ上の曲率半径も変化する。視野角φの変化は、立体表示パネル面上のＹ軸位置に依存するため、３Ｄモアレによる輝度変動が生じる画像範囲も立体表示パネル面上のＹ軸位置によって変化する。これより、立体表示パネルを上方向から観察したときの３Ｄモアレによる輝度変動が生じる画像範囲の一例としては、図７５のような台形状となる。

本実施形態８では、レンチキュラレンズによるデフォーカス効果の低下などの原因により、視野角φに依存して観察者が観察する立体表示パネル面上の輝度プロファイルが異なる場合にも、３Ｄモアレによる輝度変動を軽減する輝度調整処理を実施する。

本実施形態８の立体画像表示装置１８の構成図を図７６に示す。立体画像表示装置１８は、観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、３Ｄモアレ画像範囲算出部１０４と、輝度調整量算出部１０５と、画像データ保管部１０６と、輝度調整処理部１０７と、立体表示パネル部１０８とを備えるものである。また、相対位置算出部１０２、３Ｄモアレ画像範囲算出部１０４、輝度調整量算出部１０５、輝度調整処理部１０７を統合した処理部を、画像処理部１５８とする。

以下に、立体画像表示装置１８に含まれる各部の機能を説明する。観察者位置計測部１０１と、相対位置算出部１０２と、輝度調整量算出部１０５と、画像データ保管部１０６と、輝度調整処理部１０７と、立体表示パネル部１０８とは、実施形態１のそれらの機能と同様である。

本実施形態８のデバイス特性データ保管部１０３は、相対位置の視野角θ及び視野角φに対する立体表示パネルの輝度特性データを、デバイス特性データとして保管する機能を有する。視野角φに対する輝度特性データは、輝度特性用の評価装置で複数の視野角φにおける立体表示パネルの輝度特性データを計測しても良いが、立体表示パネルの設計条件及び製造条件に基づき算出しても良い。

一例としては、デバイス特性データ保管部１０３に、液晶パネルとレンチキュラレンズとの距離Ｈ_Ｄ、レンチキュラレンズの焦点距離Ｆ及びレンチキュラレンズの幅Ｌを保管しておき、相対位置の視野角φからレンチキュラレンズによるデフォーカス幅を算出し、任意の視野角φに対する輝度特性データを基準となる輝度特性データから算出することが挙げられる。

初めに、デバイス特性データ保管部１０３へ、光路長Ｈ_Ｓと焦点距離Ｆが等しくなりデフォーカス効果が消失する視野角φ_Ｅの相対位置から計測した、立体表示パネルの輝度特性データを保管する。そして、保管した輝度特性データの視野角φ_Ｅと、相対位置の視野角φとの差が増加するに伴って、光路長Ｈ_Ｓと焦点距離Ｆとの差も増加するので、式（８２）よりレンチキュラレンズによるデフォーカス幅も増加する。これより、任意の視野角φにおけるデフォーカス幅を算出し、デバイス特性データ保管部１０３に保管した輝度特性データをデフォーカス処理することで、任意の視野角φにおける輝度特性データを算出する。

以上より、液晶パネルとレンチキュラレンズとの距離Ｈ_Ｄ、レンチキュラレンズの焦点距離Ｆ、レンチキュラレンズの幅Ｌ及び視野角φ_Ｅにおける立体表示パネルの輝度特性データを保管しておくことで、任意の視野角φにおける立体表示パネルの輝度特性データを算出できる。

３Ｄモアレ画像範囲算出部１０４は、デバイス特性データ保管部１０３に保管された輝度特性データに基づき、相対位置算出部１０２で算出した相対位置に対して３Ｄモアレによる輝度変動が生じる画像範囲を算出する。本実施形態８では、デバイス特性データ保管部１０３から、相対位置の視野角φに対応する立体表示パネルの輝度特性データを取得する。そして、その視野角φに対応する立体表示パネルの輝度特性データを基にして、実施形態１と同様に光学モデルから、相対位置の視野角θと観察距離Ｄとにおける立体表示パネル面上の輝度プロファイルを算出し、３Ｄモアレによる輝度変動が生じる画像範囲を算出する。これにより、任意の視野角φ、視野角θ、観察距離Ｄにおける立体パネル面上の輝度プロファイルを算出できる。

輝度調整量算部１０５は、実施形態１と同様に、３Ｄモアレ画像範囲算出部１０４で算出した立体表示パネル面上の輝度プロファイルから輝度調整量を算出する。輝度調整処理部１０７も、実施形態１と同様に、輝度調整量に従って画像データの輝度調整処理を実施する。

また、輝度調整処理の他に、実施形態５と同様に立体画像表示装置１８に画像フィルタ値算出部及び画像フィルタ処理部を追加することで、画像フィルタ処理によって３Ｄモアレによる輝度変動が生じる画像範囲へデフォーカス効果を付加しても良い。画像フィルタ値算出部は、３Ｄモアレ画像範囲算出部１０４で算出した立体表示パネル面上の輝度プロファイルから、相対位置の視野角φによって、レンチキュラレンズによるデフォーカス効果が消失した分量を算出し、それを補うための画像フィルタ値を算出する。画像フィルタ処理部は、画像フィルタ値算出部で算出した画像フィルタ値を参照して、画像データ内の３Ｄモアレによる輝度変動が生じる画像範囲にデフォーカス効果を付加する画像フィルタ処理を実施する。

以上より、観察者が立体画像表示装置を上下方向から観察した際に、レンチキュラレンズによるデフォーカス効果が低下しても、３Ｄモアレによる輝度変動の影響を軽減して、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供できる。

上記の一例では、立体表示パネル面上の輝度プロファイルが視野角φに依存して異なる原因の一つとして、レンチキュラレンズによるデフォーカス効果の低下を挙げたが、その他にも、液晶の配向性による液晶パネルの視野角φに依存した輝度特性の変化も挙げられる。

特にＴＮ（Twisted Nematic）方式やＶＡ（Vertical Alignment）方式の駆動方法による液晶パネルでは、視野角に依存した輝度特性の変化が大きい。ＴＮ方式の液晶分子配列の模式図を図７７［Ａ］、図７７［Ｂ］、図７８に示す。図７７［Ａ］は、液晶パネル２ａの電極２２に最大電圧を印加して、バックライト光量を完全に遮断した状態の模式図を示す。図７７［Ｂ］は、液晶パネル２ａの電極２２の電圧をＯＦＦにして、バックライト光量を最大限に透過した状態の模式図を示す。図７８は、液晶パネル２ａの電極２２に中間電圧を印加して、バックライト光量を中間値に調整した状態の模式図を示す。

図７７［Ａ］、図７７［Ｂ］及び図７８に示すように、ＴＮ方式やＶＡ方式ではバックライト光量を液晶分子２３の角度で調整している。従って、図７８に示すように、相対位置の視野角φによって、液晶パネル２ａを透過する光量が異なるため、視野角φに依存した輝度特性の変化が大きくなる。本実施形態８では、レンチキュラレンズによるデフォーカス効果の低下に加えて、液晶の配向性による輝度特性の変化も考慮して、デバイス特性データ保管部１０３に保管した視野角φ_Ｅにおける立体パネル面上の輝度プロファイルから、任意の視野角φにおける立体パネル面上の輝度プロファイルを算出しても良い。

また上記の一例では、相対位置の視野角φに依存して、光路長Ｈ_Ｓが変化し、レンチキュラレンズのデフォーカス効果が低下する例や液晶の配向性により輝度特性が変化する例を記載したが、相対位置の視野角θによっても、視野角φと同様にデフォーカス効果の低下や輝度特性の変化は現れる。したがって、視野角θにおいてもデフォーカス効果の低下や輝度特性の変化を考慮した輝度調整処理を実施しても良い。ただし、視野角θに対する輝度特性データは、輝度特性用の評価装置で計測したデータを使用する場合が多く、計測データにデフォーカス効果の低下や輝度特性の変化の影響が含まれる場合が多い。

本実施形態８の立体画像表示装置１８おける立体画像処理方法のフローチャートについて、図７９を参照して説明する。

図７９に示すステップＳ８０１とステップＳ８０２の処理は、図１７に示す実施形態１のフローチャートのステップＳ１０１とステップＳ１０２の処理と同様である。

ステップＳ８０３は、ステップＳ８０２で算出した相対位置に対応した輝度特性データをデバイス特性データ保管部１０３から取得する。任意の相対位置の視野角φに対応する輝度特性データは、視野角φからレンチキュラレンズによるデフォーカス幅を算出し、基準となる輝度特性データにデフォーカス効果を付加して任意の視野角φに対応する輝度特性データを算出しても良い。

ステップＳ８０４は、ステップＳ８０３で取得した相対位置の視野角φに対応する輝度特性データから、観察者が相対位置（視野角θ、観察距離Ｄ）において観察する立体表示パネル面上の輝度プロファイルを算出し、３Ｄモアレによる輝度変動が生じる画像範囲を算出する。

ステップＳ８０５からステップＳ８０９までの処理は、図１７に示す実施形態１のフローチャートのステップＳ１０５からステップＳ１０９までの処理と同様である。

以上より、観察者が立体画像表示装置を上下方向から観察した際にも、３Ｄモアレによる輝度変動の影響を軽減して、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供できる。

［実施形態９］
本実施形態９では、画像データへディザリング処理を実施して、立体表示パネル面上の輝度値を微調整することで、３Ｄモアレによる輝度変動の影響を更に軽減し、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供することを目的とする。

立体画像表示装置における立体表示パネル面上の輝度値Ｙと画像データの階調値Ｉとの関係は、立体表示パネルのデバイス特性によって直線的な関係ではなく、実施形態１に記載した式（８）で示すようなカーブに近似した関係となる。この輝度値Ｙと階調値Ｉとの関係図を図８１に示す。

図８１から明らかなように、輝度値Ｙが大きい領域では、階調値Ｉの変更に対して、輝度値Ｙが大幅に変化する。一例として、画像データの階調値Ｉの幅を２５６階調とすると、画像データの階調値Ｉが２００以上になると、階調値Ｉを１階調変更しただけでも輝度値Ｙが大幅に変化するため、階調値Ｉの変更による輝度値Ｙの輝度調整処理が困難となる。

このため、本実施形態９では、輝度値Ｙが大きい領域において、画像データの階調値の変更に加えて、画像データへディザリング処理を実施して輝度値Ｙの輝度調整処理を実施することで、輝度値Ｙを微調節して、３Ｄモアレによる輝度変動の影響を更に軽減する。

本実施形態９の立体画像表示装置１９の構成図を図８２に示す。立体画像表示装置１９は、観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、３Ｄモアレ画像範囲算出部１０４と、輝度調整量算出部１０５と、画像データ保管部１０６と、輝度調整処理部１０７と、立体表示パネル部１０８とを備えるものである。また、相対位置算出部１０２、３Ｄモアレ画像範囲算出部１０４、輝度調整量算出部１０５、輝度調整処理部１０７を統合した処理部を画像処理部１５９とする。

以下に、立体画像表示装置１９に含まれる各部の機能を説明する。観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、３Ｄモアレ画像範囲算出部１０４と、輝度調整量算出部１０５と、画像データ保管部１０６と、立体表示パネル部１０８は、実施形態１のそれらの機能と同様である。

本実施形態９の輝度調整処理部１０７は、実施形態１と同様に、輝度調整量算出部１０５で算出した輝度調整量に従って、画像データ保管部１０６に保管されている画像データへ輝度調整処理を実施する機能を有する。ただし、本実施形態９の輝度調整処理部１０７では、画像データの階調値の変更に加えて、画像データへディザリング処理を実施して、輝度調整処理を行うことが実施形態１と異なる。

ディザリングによる輝度調整処理の一例を下記に示す。ディザリング処理は、３Ｄモアレによる輝度変動が生じる画像範囲であり、かつ輝度値Ｙが大きい画像範囲だけに適用する。始めにディザリング処理を適用する画像範囲においては、画像データの階調値の幅を２５６階調から６５５３６階調に拡張し、輝度値Ｙに対応する画像データの階調値を算出する。次に画像データの階調値の幅を６５５３６階調から２５６階調へ圧縮するために、ディザリング処理を実施する。代表的なディザリング処理手法としては、誤差拡散法が挙げられる。

誤差拡散法は、階調値の幅を圧縮した際に生じる誤差を周囲のピクセルに拡散しながら階調値の圧縮処理を行って、ディザリング処理を実施する。図８３［Ａ］に、誤差拡散法によるディザリング処理の処理順序方向を示す。一般的に誤差拡散法では、画像データの左端から右端へ圧縮処理の対称となるピクセル位置を移動していき、右端の対称ピクセルから一段下の左端の対象ピクセルへ移動することで、画像データ全体の圧縮処理を実施していく。誤差拡散処理時に使用する代表的な誤差の拡散パタンとしては、図８３［Ｂ］に示すようなFloyd-Steinbergや、図８３［Ｃ］に示すようなJajuNi等がある。

本実施形態９のディザリング処理では、一般的な誤差拡散法を適用しても良いが、３Ｄモアレによる輝度変動の影響を考慮した誤差拡散法を適用しても良い。３Ｄモアレによる輝度変動が生じた観察画像を、図８４［Ａ］に示す。通常、３Ｄモアレによる輝度変動が生じる画像範囲の境界線はＹ軸に平行な直線となる。また、３Ｄモアレによる輝度変動はＸ軸方向に対して起こるが、Ｙ軸方向に対してはほとんど起こらない。この性質に合わせてディザリング処理時の誤差拡散を実施する。

３Ｄモアレによる輝度変動が生じる画像範囲の境界線はＹ軸に平行な直線となるため、ディザリング処理を適用する画像範囲の境界線もＹ軸に平行な直線となる。したがって、３Ｄモアレによる輝度変動が生じる画像範囲へ、効率的にディザリング処理を実施するために、図８４［Ｂ］に示すように、ディザリング処理の処理順序方向を画像データの上端から下端へ、圧縮処理の対象となるピクセルを移動させるように変更しても良い。ディザリング処理の処理順序方向の変更に伴って、誤差の拡散パタンは図８５［Ａ］及び図８５［Ｂ］に示すような拡散パタンへ変更する。

また、一般的な誤差拡散法では、圧縮した際に生じる誤差を周囲のピクセルに拡散させるため、画像データのＸ軸方向とＹ軸方向へ誤差を拡散させるが、３Ｄモアレによる輝度変動はＸ軸方向の変化に伴って現れるため、誤差の拡散方向をＹ軸方向に限定しても良い。誤差の拡散方向をＹ軸方向に限定した拡散パタンを図８６に示す。拡散パタンをＹ軸方向に限定しても、３Ｄモアレによる輝度変動はＸ軸方向の変化に伴って現れるため、ディザリング処理によって階調値が繰り上がるピクセルのＹ軸位置が、Ｘ軸方向に応じて変化する。したがって、Ｙ軸方向に限定した拡散パタンを使用しても、階調値が繰り上がるピクセルの位置が分散されるため、良好なディザリング処理が実施できる。

図８７に、Ｙ軸方向に限定した拡散パタンを使用してディザリング処理を実施した一例を示す。図８７に示すように、Ｘ軸方向の位置によって、Ｙ軸方向に拡散する誤差の値が異なるので、階調値が繰り上がるピクセルの位置はＸ軸方向の位置によって変化する。ただし、３Ｄモアレによる輝度変動量によっては、ディザリング処理によって階調値が繰り上がるピクセルが分散されずに、Ｘ軸方向に隣接するピクセル同士の階調値が偶然に一致する場合がある。この状態を回避するために、Ｘ軸方向に隣接するピクセル同士の階調値の繰り上がりが連続する場合には、階調値の繰り上がるピクセルの位置をＹ軸方向にスライドする処理を加えても良い。

また、拡散パタンを使用してＹ軸方向へ逐次的に誤差拡散処理を繰り返し、階調値を繰り上げるピクセル位置を算出する代わりに、Ｙ軸方向の先頭位置にあるピクセルの階調値を圧縮した際に生じる誤差の値から、階調値を繰り上げるピクセルの位置を特定しても良い。

このように３Ｄモアレによる輝度変動の影響を考慮した誤差拡散法を適用することで、計算処理量を減少させ、ディザリング処理を高速に実施する。

本実施形態９の立体画像表示装置１９における立体画像処理方法のフローチャートについて、図８８を参照して説明する。

図８８に示すステップＳ９０１からステップＳ９０６までの処理は、図１７に示す実施形態１のフローチャートのステップＳ１０１からステップＳ１０６までの処理と同様である。

ステップＳ９０７は、ステップＳ９０４で算出した３Ｄモアレ画像範囲内の輝度値を参照して、３Ｄモアレ画像範囲内の輝度値が任意の閾値以上であるか否かを判定する。その輝度値が任意の閾値以上であればステップＳ９１１の処理を実行し、その輝度値が任意の閾値未満であればステップＳ９０８の処理を実行する。ここで任意の閾値は、立体表示パネルのデバイス特性に基づき、画像データの階調値の変更に対して輝度値が大幅に変化する輝度領域の閾値に設定する。例えば、輝度値を１００段階で表現した場合には、閾値を８０に設定する。

ステップＳ９０８からステップＳ９１０までの処理は、図１７に実施形態１のフローチャートのステップＳ９０７からステップＳ９０９までの処理と同様である。

ステップＳ９１１は、ステップＳ９０６で取得した画像データの階調値の幅を拡張した画像データを生成する。次に、ステップＳ９０５で算出した輝度調整量を参照して、輝度調整量に対応する階調値を算出して、階調値の幅を拡張した画像データの階調値を変更する。

ステップＳ９１２は、階調値の幅を拡張した画像データから通常の階調値の幅を持つ画像データへ圧縮するため、画像データへディザリング処理を実施する。

以上より、画像データへディザリング処理を実施して、立体表示パネル面上の輝度値を微調整することで、３Ｄモアレによる輝度変動の影響を更に軽減し、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供できる。

［他の実施形態］
以上の全ての実施形態における輝度調整量算出部１０５は、デバイス特性データ保管部１０３に保管された輝度特性データから３Ｄモアレ画像範囲を算出し、その画像範囲における輝度プロファイルから輝度調整量を算出する例である。しかし、輝度調整量算出部１０５は、輝度特性データが取得できない状況においても、輝度調整処理が実現できるように輝度特性データを使用せずに輝度調整量を算出しても良い。この場合、輝度特性データを使用した場合の輝度調整処理と比べて輝度調整量の精度は低下するものの、３Ｄモアレによる輝度変動が小さい立体表示特性を有する立体表示パネルを用いることで、観察者が移動した場合であっても３Ｄモアレによる輝度変動の影響を軽減する輝度調整処理が実用可能なレベルで実施できる。

輝度特性データを使用せずに輝度調整量を算出する一例として、観察者自身が主観的に輝度調整量を設定する例が挙げられる。観察者は、第一の設定として、立体画像表示装置の立体表示パネルから投影される立体画像を観察しながら、観察位置（観察距離Ｚと視野角θ）に応じて３Ｄモアレ領域と非３Ｄモアレ領域を設定する。ここで、本設定における観察位置は、輝度調整量の精度向上のために、複数の位置で実施されることが望ましい。また、設定に際しては、立体画像表示装置に具備されたキーボードやタッチパネル等の入力装置を用いることができる。

第二の設定として、３Ｄモアレ領域において、観察画像上に３Ｄモアレによる輝度変動が出現する画像範囲（３Ｄモアレ画像範囲）を設定するために、観察者が立体表示パネル面のＸ軸方向に移動しながら、立体表示パネルから投影される観察画像の両端に３Ｄモアレ画像範囲が出現した観察位置を設定する。次に両端の観察位置から中間の観察位置において、３Ｄモアレ画像範囲が出現する観察画像の位置を算出する。

第三の設定として、３Ｄモアレ画像範囲の位置に表示される画像データの階調値を上昇させて、観察者が３Ｄモアレによる輝度変動が視認されなくなる階調値を設定することで、輝度調整量を算出することも可能である。

なお、上記した第一及び第二の設定のみを用いて、３Ｄモアレ画像範囲の位置に表示される画像データの階調値を任意の値に上昇させて、輝度調整量を算出することも可能である。この際には、輝度調整処理後に画像フィルタ処理を実施して、輝度調整処理後に残存する急峻な輝度プロファイルをなだらかにする処理が効果的となる。さらに、第一、第二又は第三の設定値は、デバイス特性データ保管部１０３に保管しておくことも可能であるし、デバイス特性データ保管部１０３を無くして、輝度調整量算出部１０５に記憶させることも可能である。

その他の輝度調整量を算出する一例としては、立体画像コンテンツを表示する立体画像表示装置の立体表示パネル部１０８のデバイス特性データが未知な場合でも、予め立体表示パネルの画面サイズや最適視聴距離等の仕様データに関連させて、複数の立体表示パネルのデバイス特性データをデバイス特性データ保管部１０３に保管しておき、立体画像コンテンツを表示する際に、表示する立体表示パネルの仕様データに類似する仕様データに関連付けされたデバイス特性データをデバイス特性データ保管部１０３から取得して、輝度調整量を算出する。

以上より、立体画像表示装置の立体表示パネル部のデバイス特性データが未知な場合であっても、輝度調整量を算出し、輝度調整処理を実施して、３Ｄモアレによる輝度変動の影響を軽減し、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供できる。

これまで本発明の実施形態として、立体画像を表示する際に出現する３Ｄモアレによる輝度変動の影響を軽減する立体画像表示装置、画像処理装置及び立体画像処理方法について記載したが、本発明は立体画像を表示する際だけでなく平面画像を表示する際にも適用できる。立体表示パネル部の光線振分角度を大きくすることにより、観察者の左眼と右眼に同一画像を投影して平面画像を表示し、観察位置によって平面画像のコンテンツを切り替える、いわゆるＮ画像（Ｎは２以上の自然数）切替えモードとしても利用できる。また３Ｄモアレは、光学手段によって、各視点用の画素と画素との間の非表示領域が、視認されることに起因するため、立体表示パネルを使用して平面画像を表示した際にも３Ｄモアレによる輝度変動は出現する。平面画像を表示した際に出現する３Ｄモアレであっても、立体画像を表示する際に出現する３Ｄモアレと同様に輝度調整処理することで、３Ｄモアレによる輝度変動の影響を軽減できる。

以上、上記各実施形態を参照して本発明を説明したが、本発明は上記各実施形態に限定されるものではない。本発明の構成や詳細については、当業者が理解し得るさまざまな変更を加えることができる。また、本発明には、上記各実施形態の構成の一部又は全部を相互に適宜組み合わせたものも含まれる。

上記の実施形態の一部又は全部は以下の付記のようにも記載され得るが、本発明は以下の構成に限定されるものではない。

［付記１］少なくとも第１視点用の画像を表示するサブ画素及び第２視点用の画像を表示するサブ画素を含む画素がマトリクス状に複数配列された表示パネルと、
それぞれの前記サブ画素から出射した光を相互に異なる方向に振り分ける光学手段とを有し、
前記光線を振り分ける方向を第１の方向と定義した場合に、
観察者の視点位置が前記第１の方向に移動した際に、前記画素の開口部と前記光学手段との間で発生する３Ｄモアレによって輝度が低下する立体表示パネル部を備え、
少なくとも２つの視点に対応した画像データを保存又は受信する画像データ保管部と、
前記観察者の観察位置を計測する観察者位置計測部と、
前記観測位置と前記立体表示パネル部との相対位置を算出する相対位置算出部と、
前記相対位置に対して立体画像表示に適した輝度調整量を算出する輝度調整量算出部と、
前記輝度調整量に従って、前記各視点に対応した画像データに対して輝度調整処理を実施する輝度調整処理部と、
を更に備えたことを特徴とする。

［付記２］視野角に対する前記立体表示パネル部の表示特性を含むデバイス特性データを保存するデバイス特性データ保管部と、
前記相対位置における３Ｄモアレによる輝度変動領域を、前記デバイス特性データに基づき算出する３Ｄモアレ画像範囲算出部と、
を更に備え、
前記輝度調整量算出部は、前記デバイス特性データに基づき前記輝度調整量を算出する、
付記１記載の立体画像表示装置。

［付記３］前記相対位置は、前記立体表示パネル部の表示面と前記観察者の観察位置との距離及び視野角である、
付記２記載の立体画像表示装置。

［付記４］前記画像の振り分け方向を第１の方向とし、前記立体表示パネルの表示面において前記第１の方向に直交する方向を第２の方向としたとき、
前記デバイス特性データには、前記立体表示パネル部の輝度特性データが含まれ、
前記３Ｄモアレ画像範囲算出部は、前記相対位置及び前記輝度特性データに基づき、前記各視点における前記第１の方向の前記輝度変動領域を算出することを特徴とする、
付記２又は３記載の立体画像表示装置。

［付記５］前記デバイス特性データには、前記立体表示パネル部を構成する前記表示パネルと前記光学手段との間の位置精度データが更に含まれ、
前記立体表示パネル部の表示面において前記第１の方向に直交する方向を第２の方向としたとき、
前記３Ｄモアレ画像範囲算出部は、前記相対位置、前記輝度特性データ及び前記位置精度データに基づき、前記各視点における前記第１の方向及び前記第２の方向の前記輝度変動領域を算出することを特徴とする、
付記４記載の立体画像表示装置。

［付記６］前記輝度調整処理部は、ガンマ補正処理を実施した後に前記輝度調整処理を実施することを特徴とする、
付記１乃至５のいずれか一つに記載の立体画像表示装置。

［付記７］前記輝度調整量算出部は、前記各視点における第１の方向に対する輝度変動領域が当該視点ごとに異なる場合、当該輝度変動領域ごとに前記輝度調整量を算出することを特徴とする、
付記１乃至６のいずれか一つに記載の立体画像表示装置。

［付記８］前記輝度調整量算出部は、前記各視点における第１の方向に対する輝度変動領域が当該視点ごとに異なる場合、当該輝度変動領域を平均化して前記輝度調整量を算出することを特徴とする、
付記１乃至６のいずれか一つに記載の立体画像表示装置。

［付記９］前記輝度調整処理部は、前記輝度調整量に従うと前記画像データの階調値が階調表現可能な輝度最大値を超過する場合に、当該画像データの階調表現のスケールを変更して前記輝度調整処理を実施することを特徴とする、
付記１乃至８のいずれか一つに記載の立体画像表示装置。

［付記１０］環境温度を計測する温度計測部を更に備え、
前記輝度調整量算出部は、前記輝度変動領域と前記環境温度に対応する前記デバイス特性データとに基づき、前記輝度調整量を算出することを特徴とする、
付記２乃至９のいずれか一つに記載の立体画像表示装置。

［付記１１］前記輝度調整量算出部は、前記相対位置の移動速度に応じて前記輝度変動領域を前記画像の振り分け方向である第１の方向へ移動し、移動された前記輝度変動領域に基づき前記輝度調整量を算出することを特徴とする、
付記１乃至１０のいずれか一つに記載の立体画像表示装置。

［付記１２］前記相対位置の移動速度に応じて画像フィルタ値を算出する画像フィルタ値算出部と、
前記画像フィルタ値に従って、前記輝度調整処理を実施された前記画像データに対して画像フィルタ処理を実施する画像フィルタ処理部と、
を更に備え
前記輝度調整処理及び前記フィルタ処理を実施された前記画像データを、前記立体表示パネル部に出力することを特徴とする、
付記１乃至１１のいずれか一つに記載の立体画像表示装置。

［付記１３］前記相対位置に基づき立体画像表示に適した視差調整量を算出する視差調整量算出部と、
前記視差調整量に従って前記画像データに対して視差調整処理を実施する視差調整処理部と、
を更に備え、
前記輝度調整処理及び前記視差調整処理を実施された前記画像データを、前記立体表示パネル部に出力することを特徴とする、
付記１乃至１２のいずれか一つに記載の立体画像表示装置。

［付記１４］前記デバイス特性データ及び前記相対位置に基づき立体画像表示に適した視差調整量を算出する視差調整量算出部と、
前記視差調整量に従って前記画像データに対して視差調整処理を実施する視差調整処理部と、
を更に備え、
前記デバイス特性データには、３Ｄクロストークデータが更に含まれ、
前記視差調整量算出部は、前記３Ｄクロストークデータ及び前記相対位置に基づき前記視差調整量を算出し、
前記輝度調整処理及び前記視差調整処理を実施された前記画像データを、前記立体表示パネル部に出力することを特徴とする、
付記２乃至１２のいずれか一つに記載の立体画像表示装置。

［付記１５］前記相対位置に基づき立体画像表示に適した画像フィルタ値を算出する画像フィルタ値算出部と、
前記画像フィルタ値に従って、前記輝度調整処理を実施された前記画像データに対して画像フィルタ処理を実施する画像フィルタ処理部と、
を更に備え
前記輝度調整処理及び前記フィルタ処理を実施された前記画像データを、前記立体表示パネル部に出力することを特徴とする、
付記１乃至１３のいずれか一つに記載の立体画像表示装置。

［付記１６］前記デバイス特性データ及び前記相対位置に基づき立体画像表示に適した画像フィルタ値を算出する画像フィルタ値算出部と、
前記画像フィルタ値に従って、前記輝度調整処理を実施された前記画像データに対して画像フィルタ処理を実施する画像フィルタ処理部と、
を更に備え
前記デバイス特性データには、３Ｄクロストークデータが更に含まれ、
画像フィルタ値算出部は、前記３Ｄクロストークデータ及び前記相対位置に基づき前記画像フィルタ値を算出し、
前記立体表示パネル部は、前記輝度調整処理及び前記フィルタ処理を実施された前記画像データを、前記立体表示パネル部を介して前記観察者の右眼と左眼に投影することを特徴とする、
付記２乃至１２のいずれか一つ又は付記１４に記載の立体画像表示装置。

［付記１７］前記３Ｄモアレ画像範囲算出部は、前記相対位置に応じて、３Ｄモアレによる輝度変動が出現する観察画像が投影される前記輝度変動領域としての３Ｄモアレ画像範囲と、３Ｄモアレによる輝度変動が出現しない観察画像が投影される非３Ｄモアレ画像範囲と、に分類し、
前記輝度調整量算出部は、前記輝度調整量を算出する際に、前記３Ｄモアレ画像範囲となる前記画像データの階調値を、前記非３Ｄモアレ画像範囲となる前記画像データの階調値よりも上昇させることを特徴とする、
付記１乃至１６のいずれか一つに記載の立体画像表示装置。

［付記１８］前記３Ｄモアレ画像範囲算出部は、
前記立体表示パネル部を構成する前記光学手段の焦点距離と、観察位置に応じた前記表示パネルから前記光学手段までの光路間距離と、の間で決定されるデフォーカスの大きさに基づいて、前記第２の方向における３Ｄモアレによる輝度変動を算出し、
前記相対位置に対する３Ｄモアレによる輝度変動領域を算出することを特徴とする、
付記４又は５に記載の立体画像表示装置。

［付記１９］前記３Ｄモアレ画像範囲算出部は、前記光学手段の焦点距離を、観察位置に応じて変化する見かけ上のレンチキュラレンズの曲率半径に従って変更し、前記第２方向における３Ｄモアレによる輝度変動を算出することを特徴とする、
付記１８に記載の立体画像表示装置。

［付記２０］前記３Ｄモアレ画像範囲算出部は、台形状となる３Ｄモアレによる輝度変動領域を算出し、
前記輝度調整量算出部は、前記台形状となる３Ｄモアレによる輝度変動領域から輝度調整量を算出し、
前記輝度調整処理部は、前記輝度調整量に従って、前記台形状となる３Ｄモアレによる輝度変動領域に対して輝度調整処理を実施することを特徴とする、
付記１８又は１９に記載の立体画像表示装置。

［付記２１］前記立体画像表示装置は、画像フィルタ値算出部及び画像フィルタ処理部を有し、
前記画像フィルタ値算出部は、前記光学手段の焦点距離と、観察位置に応じた前記表示パネルから前記光学手段までの光路間距離と、の間で決定されるデフォーカスの大きさに基づいて画像フィルタ値を算出し、
前記画像フィルタ処理部は、前記画像フィルタ値に従って、前記３Ｄモアレによる輝度変動領域に対して、画像フィルタ処理を実施することを特徴とする
付記１８乃至２０のいずれか一つに記載の立体画像表示装置。

［付記２２］前記輝度調整処理部は、前記各視点に対応した画像データに対して、前記輝度調整量に従って、画像データの階調値変更とディザリングを行い、輝度調整処理を実施することを特徴とする
付記２乃至２１のいずれか一つに記載の立体画像表示装置。

［付記２３］前記ディザリングでは、
前記３Ｄモアレ画像範囲算出部で算出した３Ｄモアレによる輝度変動領域に合わせて、ディザリング用の誤差拡散処理を実施することを特徴とする、
付記２２に記載の立体画像表示装置。

［付記２４］前記誤差拡散処理では、前記第２の方向のみに実施することを特徴とする、
付記２３記載の立体画像表示装置。

［付記２５］前記ディザリングでは、前記誤差拡散処理によって階調値が繰り上がる画素位置が、Ｘ軸方向に隣接して連続的に出現する際に、階調値が繰り上がる画素のＹ軸位置を変更することを特徴とする、
付記２３又は２４に記載の立体画像表示装置。

［付記２６］観察者の観測位置と立体表示パネルとの相対位置を算出する相対位置算出部と、
前記相対位置における３Ｄモアレによる輝度変動領域を、デバイス特性データに基づき算出する３Ｄモアレ画像範囲算出部と、
前記輝度変動領域に基づき立体画像表示に適した輝度調整量を算出する輝度調整量算出部と、
前記輝度調整量に従って、各視点に対応した画像データに対して輝度調整処理を実施する輝度調整処理部と、
を備えた画像処理装置。

［付記２７］前記観察者の観察位置を計測する観察者位置計測部と、
前記輝度調整処理を実施される前の前記画像データを受信する画像データ受信部と、
前記輝度調整処理を実施された後の前記画像データを出力する画像データ送信部と、
を更に備えた付記２６記載の画像処理装置。

［付記２８］少なくとも第１視点用の画像を表示するサブ画素及び第２視点用の画像を表示するサブ画素を含む画素がマトリクス状に複数配列された表示パネルと、
それぞれの前記サブ画素から出射した光を相互に異なる方向に振り分ける光学手段とを有し、
前記光線を振り分ける方向を第１の方向と定義した場合に、
観察者の視点位置が第１の方向に移動した際に、前記画素の開口部と前記光学手段との間で発生する３Ｄモアレによって輝度が低下する立体表示パネルへ適用する立体画像処理方法において、
前記観察者の観察位置を計測し、
この観測位置と前記立体表示パネルとの相対位置を算出し、
この相対位置に対して立体画像表示に適した輝度調整量を算出し、
この輝度調整量に従って画像データに対して輝度調整処理を実施し、
この輝度調整処理を実施された前記画像データを、前記立体表示パネルに出力する、
ことを特徴とする立体画像処理方法。

［付記２９］少なくとも第１視点用の画像を表示するサブ画素及び第２視点用の画像を表示するサブ画素を含む画素がマトリクス状に複数配列された表示パネルと、
それぞれの前記サブ画素から出射した光を相互に異なる方向に振り分ける光学手段とを有し、
前記光線を振り分ける方向を第１の方向と定義した場合に、
観察者の視点位置が第１の方向に移動した際に、前記画素の開口部と前記光学手段との間で発生する３Ｄモアレによって輝度が低下する立体表示パネルへ適用する立体画像処理方法において、
視野角に対する前記立体表示パネルの表示特性を含むデバイス特性データを保存し、
少なくとも二つの視点に対応した画像データを保存又は受信し、
前記観察者の観察位置を計測し、
この観測位置と前記立体表示パネルとの相対位置を算出し、
前記相対位置における３Ｄモアレによる輝度変動領域を、前記デバイス特性データに基づき算出し、
前記輝度変動領域に基づき立体画像表示に適した輝度調整量を算出し、
前記輝度調整量に従って、前記各視点に対応した前記画像データに対して輝度調整処理を実施する、
ことを特徴とする立体画像処理方法。

本発明は、立体画像表示装置に立体画像コンテンツを表示する機能を有する立体画像処理システム及び立体画像表示システムに適用される。なお、本発明は、上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

１０ 観察者
１１〜１９，１６ａ，１７ａ 立体画像表示装置
１０１ 観察者位置計測部
１０１ａ カメラ
１０２ 相対位置算出部
１０３ デバイス特性データ保管部
１０４ ３Ｄモアレ画像範囲算出部
１０５ 輝度調整量算出部
１０６ 画像データ保管部
１０７ 輝度調整処理部
１０８ 立体表示パネル部
１０８ａ 立体表示パネル
１０９ 温度計測部
１１０ 画像フィルタ値算出部
１１１ 画像フィルタ処理部
１１２ 視差調整量算出部
１１３ 視差調整処理部
１１４ ３Ｄクロストーク画像範囲算出部
１５０ 計算機器
１５１〜１５９，１５６ａ，１５７ａ 画像処理部
１６０ 画像処理装置
１６１ 画像データ受信部
１６２ 画像データ送信部
１６３ 画像入出力ケーブル
７０Ｒ 右眼領域
７０Ｌ 左眼領域
７２Ｌ 左眼領域
７０Ｒｃ 低温時の右眼領域
７０Ｌｃ 低温時の左眼領域
７２Ｌｃ 低温時の左眼領域
７０Ｒｈ 高温時の右眼領域
７０Ｌｈ 高温時の左眼領域
７２Ｌｈ 高温時の左眼領域
５５Ｌ 左眼
５５Ｒ 右眼
２ 表示パネル
２ａ 液晶パネル
２２ 電極
２３ 液晶分子
３ レンチキュラレンズ
３ａ，３ｂ シリンドリカルレンズ
４Ｌ 左眼用画素
４Ｒ 右眼用画素
２０，２１ 光線
３０ 観察面
Ｐ 画素幅
ｅ 両眼間隔
ＯＤ 最適観察距離
Ｌ シリンドリカルレンズ幅
ＷＰ 立体表示パネルの中心画素の位置から両端画素の位置までの距離
Ｆ レンチキュラレンズの焦点距離
ＤＷ デフォーカスの幅
Ｈ_Ｓ 光路長

Claims (29)

1. 少なくとも第１視点用の画像を表示するサブ画素及び第２視点用の画像を表示するサブ画素を含む画素がマトリクス状に複数配列された表示パネルと、
   それぞれの前記サブ画素から出射した光を相互に異なる方向に振り分ける光学手段とを有し、
   前記光線を振り分ける方向を第１の方向と定義した場合に、
   観察者の視点位置が前記第１の方向に移動した際に、前記画素の開口部と前記光学手段との間で発生する３Ｄモアレによって輝度が低下する立体表示パネル部を備え、
   少なくとも２つの視点に対応した画像データを保存又は受信する画像データ保管部と、
   前記観察者の観察位置を計測する観察者位置計測部と、
   前記観測位置と前記立体表示パネル部との相対位置を算出する相対位置算出部と、
   前記相対位置に対して立体画像表示に適した輝度調整量を算出する輝度調整量算出部と、
   前記輝度調整量に従って、前記各視点に対応した画像データに対して輝度調整処理を実施する輝度調整処理部と、
   を更に備えたことを特徴とする立体画像表示装置。
2. 視野角に対する前記立体表示パネル部の表示特性を含むデバイス特性データを保存するデバイス特性データ保管部と、
   前記相対位置における３Ｄモアレによる輝度変動領域を、前記デバイス特性データに基づき算出する３Ｄモアレ画像範囲算出部と、
   を更に備え、
   前記輝度調整量算出部は、前記デバイス特性データに基づき前記輝度調整量を算出する、
   請求項１記載の立体画像表示装置。
3. 前記相対位置は、前記立体表示パネル部の表示面と前記観察者の観察位置との距離及び視野角である、
   請求項２記載の立体画像表示装置。
4. 前記画像の振り分け方向を第１の方向とし、前記立体表示パネルの表示面において前記第１の方向に直交する方向を第２の方向としたとき、
   前記デバイス特性データには、前記立体表示パネル部の輝度特性データが含まれ、
   前記３Ｄモアレ画像範囲算出部は、前記相対位置及び前記輝度特性データに基づき、前記各視点における前記第１の方向の前記輝度変動領域を算出することを特徴とする、
   請求項２又は３記載の立体画像表示装置。
5. 前記デバイス特性データには、前記立体表示パネル部を構成する前記表示パネルと前記光学手段との間の位置精度データが更に含まれ、
   前記立体表示パネル部の表示面において前記第１の方向に直交する方向を第２の方向としたとき、
   前記３Ｄモアレ画像範囲算出部は、前記相対位置、前記輝度特性データ及び前記位置精度データに基づき、前記各視点における前記第１の方向及び前記第２の方向の前記輝度変動領域を算出することを特徴とする、
   請求項４記載の立体画像表示装置。
6. 前記輝度調整処理部は、ガンマ補正処理を実施した後に前記輝度調整処理を実施することを特徴とする、
   請求項１乃至５のいずれか一つに記載の立体画像表示装置。
7. 前記輝度調整量算出部は、前記各視点における第１の方向に対する輝度変動領域が当該視点ごとに異なる場合、当該輝度変動領域ごとに前記輝度調整量を算出することを特徴とする、
   請求項１乃至６のいずれか一つに記載の立体画像表示装置。
8. 前記輝度調整量算出部は、前記各視点における第１の方向に対する輝度変動領域が当該視点ごとに異なる場合、当該輝度変動領域を平均化して前記輝度調整量を算出することを特徴とする、
   請求項１乃至６のいずれか一つに記載の立体画像表示装置。
9. 前記輝度調整処理部は、前記輝度調整量に従うと前記画像データの階調値が階調表現可能な輝度最大値を超過する場合に、当該画像データの階調表現のスケールを変更して前記輝度調整処理を実施することを特徴とする、
   請求項１乃至８のいずれか一つに記載の立体画像表示装置。
10. 環境温度を計測する温度計測部を更に備え、
    前記輝度調整量算出部は、前記輝度変動領域と前記環境温度に対応する前記デバイス特性データとに基づき、前記輝度調整量を算出することを特徴とする、
    請求項２乃至９のいずれか一つに記載の立体画像表示装置。
11. 前記輝度調整量算出部は、前記相対位置の移動速度に応じて前記輝度変動領域を前記画像の振り分け方向である第１の方向へ移動し、移動された前記輝度変動領域に基づき前記輝度調整量を算出することを特徴とする、
    請求項１乃至１０のいずれか一つに記載の立体画像表示装置。
12. 前記相対位置の移動速度に応じて画像フィルタ値を算出する画像フィルタ値算出部と、
    前記画像フィルタ値に従って、前記輝度調整処理を実施された前記画像データに対して画像フィルタ処理を実施する画像フィルタ処理部と、
    を更に備え
    前記輝度調整処理及び前記フィルタ処理を実施された前記画像データを、前記立体表示パネル部に出力することを特徴とする、
    請求項１乃至１１のいずれか一つに記載の立体画像表示装置。
13. 前記相対位置に基づき立体画像表示に適した視差調整量を算出する視差調整量算出部と、
    前記視差調整量に従って前記画像データに対して視差調整処理を実施する視差調整処理部と、
    を更に備え、
    前記輝度調整処理及び前記視差調整処理を実施された前記画像データを、前記立体表示パネル部に出力することを特徴とする、
    請求項１乃至１２のいずれか一つに記載の立体画像表示装置。
14. 前記デバイス特性データ及び前記相対位置に基づき立体画像表示に適した視差調整量を算出する視差調整量算出部と、
    前記視差調整量に従って前記画像データに対して視差調整処理を実施する視差調整処理部と、
    を更に備え、
    前記デバイス特性データには、３Ｄクロストークデータが更に含まれ、
    前記視差調整量算出部は、前記３Ｄクロストークデータ及び前記相対位置に基づき前記視差調整量を算出し、
    前記輝度調整処理及び前記視差調整処理を実施された前記画像データを、前記立体表示パネル部に出力することを特徴とする、
    請求項２乃至１２のいずれか一つに記載の立体画像表示装置。
15. 前記相対位置に基づき立体画像表示に適した画像フィルタ値を算出する画像フィルタ値算出部と、
    前記画像フィルタ値に従って、前記輝度調整処理を実施された前記画像データに対して画像フィルタ処理を実施する画像フィルタ処理部と、
    を更に備え
    前記輝度調整処理及び前記フィルタ処理を実施された前記画像データを、前記立体表示パネル部に出力することを特徴とする、
    請求項１乃至１３のいずれか一つに記載の立体画像表示装置。
16. 前記デバイス特性データ及び前記相対位置に基づき立体画像表示に適した画像フィルタ値を算出する画像フィルタ値算出部と、
    前記画像フィルタ値に従って、前記輝度調整処理を実施された前記画像データに対して画像フィルタ処理を実施する画像フィルタ処理部と、
    を更に備え
    前記デバイス特性データには、３Ｄクロストークデータが更に含まれ、
    画像フィルタ値算出部は、前記３Ｄクロストークデータ及び前記相対位置に基づき前記画像フィルタ値を算出し、
    前記立体表示パネル部は、前記輝度調整処理及び前記フィルタ処理を実施された前記画像データを、前記立体表示パネル部を介して前記観察者の右眼と左眼に投影することを特徴とする、
    請求項２乃至１２のいずれか一つ又は請求項１４に記載の立体画像表示装置。
17. 前記３Ｄモアレ画像範囲算出部は、前記相対位置に応じて、３Ｄモアレによる輝度変動が出現する観察画像が投影される前記輝度変動領域としての３Ｄモアレ画像範囲と、３Ｄモアレによる輝度変動が出現しない観察画像が投影される非３Ｄモアレ画像範囲と、に分類し、
    前記輝度調整量算出部は、前記輝度調整量を算出する際に、前記３Ｄモアレ画像範囲となる前記画像データの階調値を、前記非３Ｄモアレ画像範囲となる前記画像データの階調値よりも上昇させることを特徴とする、
    請求項１乃至１６のいずれか一つに記載の立体画像表示装置。
18. 前記３Ｄモアレ画像範囲算出部は、
    前記立体表示パネル部を構成する前記光学手段の焦点距離と、観察位置に応じた前記表示パネルから前記光学手段までの光路間距離と、の間で決定されるデフォーカスの大きさに基づいて、前記第２の方向における３Ｄモアレによる輝度変動を算出し、
    前記相対位置に対する３Ｄモアレによる輝度変動領域を算出することを特徴とする、
    請求項４又は５に記載の立体画像表示装置。
19. 前記３Ｄモアレ画像範囲算出部は、前記光学手段の焦点距離を、観察位置に応じて変化する見かけ上のレンチキュラレンズの曲率半径に従って変更し、前記第２方向における３Ｄモアレによる輝度変動を算出することを特徴とする、
    請求項１８に記載の立体画像表示装置。
20. 前記３Ｄモアレ画像範囲算出部は、台形状となる３Ｄモアレによる輝度変動領域を算出し、
    前記輝度調整量算出部は、前記台形状となる３Ｄモアレによる輝度変動領域から輝度調整量を算出し、
    前記輝度調整処理部は、前記輝度調整量に従って、前記台形状となる３Ｄモアレによる輝度変動領域に対して輝度調整処理を実施することを特徴とする、
    請求項１８又は１９に記載の立体画像表示装置。
21. 前記立体画像表示装置は、画像フィルタ値算出部及び画像フィルタ処理部を有し、
    前記画像フィルタ値算出部は、前記光学手段の焦点距離と、観察位置に応じた前記表示パネルから前記光学手段までの光路間距離と、の間で決定されるデフォーカスの大きさに基づいて画像フィルタ値を算出し、
    前記画像フィルタ処理部は、前記画像フィルタ値に従って、前記３Ｄモアレによる輝度変動領域に対して、画像フィルタ処理を実施することを特徴とする
    請求項１８乃至２０のいずれか一つに記載の立体画像表示装置。
22. 前記輝度調整処理部は、前記各視点に対応した画像データに対して、前記輝度調整量に従って、画像データの階調値変更とディザリングを行い、輝度調整処理を実施することを特徴とする
    請求項２乃至２１のいずれか一つに記載の立体画像表示装置。
23. 前記ディザリングでは、
    前記３Ｄモアレ画像範囲算出部で算出した３Ｄモアレによる輝度変動領域に合わせて、ディザリング用の誤差拡散処理を実施することを特徴とする、
    請求項２２に記載の立体画像表示装置。
24. 前記誤差拡散処理では、前記第２の方向のみに実施することを特徴とする、
    請求項２３記載の立体画像表示装置。
25. 前記ディザリングでは、前記誤差拡散処理によって階調値が繰り上がる画素位置が、Ｘ軸方向に隣接して連続的に出現する際に、階調値が繰り上がる画素のＹ軸位置を変更することを特徴とする、
    請求項２３又は２４に記載の立体画像表示装置。
26. 観察者の観測位置と立体表示パネルとの相対位置を算出する相対位置算出部と、
    前記相対位置における３Ｄモアレによる輝度変動領域を、デバイス特性データに基づき算出する３Ｄモアレ画像範囲算出部と、
    前記輝度変動領域に基づき立体画像表示に適した輝度調整量を算出する輝度調整量算出部と、
    前記輝度調整量に従って、各視点に対応した画像データに対して輝度調整処理を実施する輝度調整処理部と、
    を備えた画像処理装置。
27. 前記観察者の観察位置を計測する観察者位置計測部と、
    前記輝度調整処理を実施される前の前記画像データを受信する画像データ受信部と、
    前記輝度調整処理を実施された後の前記画像データを出力する画像データ送信部と、
    を更に備えた請求項２６記載の画像処理装置。
28. 少なくとも第１視点用の画像を表示するサブ画素及び第２視点用の画像を表示するサブ画素を含む画素がマトリクス状に複数配列された表示パネルと、
    それぞれの前記サブ画素から出射した光を相互に異なる方向に振り分ける光学手段とを有し、
    前記光線を振り分ける方向を第１の方向と定義した場合に、
    観察者の視点位置が第１の方向に移動した際に、前記画素の開口部と前記光学手段との間で発生する３Ｄモアレによって輝度が低下する立体表示パネルへ適用する立体画像処理方法において、
    前記観察者の観察位置を計測し、
    この観測位置と前記立体表示パネルとの相対位置を算出し、
    この相対位置に対して立体画像表示に適した輝度調整量を算出し、
    この輝度調整量に従って画像データに対して輝度調整処理を実施し、
    この輝度調整処理を実施された前記画像データを、前記立体表示パネルに出力する、
    ことを特徴とする立体画像処理方法。
29. 少なくとも第１視点用の画像を表示するサブ画素及び第２視点用の画像を表示するサブ画素を含む画素がマトリクス状に複数配列された表示パネルと、
    それぞれの前記サブ画素から出射した光を相互に異なる方向に振り分ける光学手段とを有し、
    前記光線を振り分ける方向を第１の方向と定義した場合に、
    観察者の視点位置が第１の方向に移動した際に、前記画素の開口部と前記光学手段との間で発生する３Ｄモアレによって輝度が低下する立体表示パネルへ適用する立体画像処理方法において、
    視野角に対する前記立体表示パネルの表示特性を含むデバイス特性データを保存し、
    少なくとも二つの視点に対応した画像データを保存又は受信し、
    前記観察者の観察位置を計測し、
    この観測位置と前記立体表示パネルとの相対位置を算出し、
    前記相対位置における３Ｄモアレによる輝度変動領域を、前記デバイス特性データに基づき算出し、
    前記輝度変動領域に基づき立体画像表示に適した輝度調整量を算出し、
    前記輝度調整量に従って、前記各視点に対応した前記画像データに対して輝度調整処理を実施する、
    ことを特徴とする立体画像処理方法。

Images