JP2012186653A - 画像表示装置、方法およびプログラム - Google Patents

Abstract

【課題】 立体ディスプレイによって２Ｄ表示を行う場合に、ちらつきや色ずれを低減するとともに画質を向上させること
【解決手段】 実施形態によれば、光線制御子と発光パネルとを備えたディスプレイと、画像取得部と、補間処理部と、サブピクセル再構成処理部とを有する画像表示装置が提供される。画像取得部は、第１の画像を取得する。補間処理部は、前記光線制御子の大きさ、傾き、または配置間隔と、前記発光パネルのサブピクセルのピッチ、またはカラーフィルタの配置との少なくとも１つを含むディスプレイ仕様から決まる第１の位相の色を、前記第１の画像に対する補間処理によって算出することにより、第２の画像を生成する。サブピクセル再構成処理部は、前記第２の画像に対し、サブピクセル単位で色の再構成を行うことにより第３の画像を生成する。前記発光パネルは前記第３の画像を発光する。
【選択図】図１

Description

本発明の実施形態は立体ディスプレイに表示する画像または映像の処理技術に関する。

近年、立体視画像表示装置すなわち立体ディスプレイの開発が急速に進んでおり、様々な方式が提案されている。特に、特殊な眼鏡等を必要としない方式が提案され、注目を集めている。比較的容易に実現できる立体ディスプレイの方式としては、発光パネルの前面に光線制御子を設置するものがある。発光パネルには直視型あるいは投影型の液晶パネルやプラズマパネルなどが用いられ、ピクセル位置は固定である。光線制御子は、発光パネルから観察者（ユーザ）に向かう光線の方向を制御する。具体的には、光線制御子上の同じ位置を観察する角度に応じて、異なる画像が見えるように光線が制御される。左右視差（水平視差）のみを与える場合には、レンチキュラレンズ（シリンドリカルレンズアレイ）あるいはパララックスバリアが用いられる。左右視差に加えて上下視差（垂直視差）を与える場合には、ピンホールアレイあるいはレンズアレイが用いられる。光線制御子を用いる方式は、光線制御の方式の違いに応じて２眼式、多眼式、インテグラルフォトグラフィーに分類される。

このような立体ディスプレイによって視差のない画像を表示する、つまり立体ディスプレイによって２Ｄ表示を行う技術が提案されている。

特公表２００８−５３８８７１号公報

立体ディスプレイによって２Ｄ表示を行う場合に、ちらつきや色ずれを低減するとともに画質を向上させることが求められている。

実施形態によれば、光線制御子と発光パネルとを備えたディスプレイと、画像取得部と、補間処理部と、サブピクセル再構成処理部とを有する画像表示装置が提供される。画像取得部は、第１の画像を取得する。補間処理部は、前記光線制御子の大きさ、傾き、または配置間隔と、前記発光パネルのサブピクセルのピッチ、またはカラーフィルタの配置との少なくとも１つを含むディスプレイ仕様から決まる第１の位相の色を、前記第１の画像に対する補間処理によって算出することにより、第２の画像を生成する。サブピクセル再構成処理部は、前記第２の画像に対し、サブピクセル単位で色の再構成を行うことにより第３の画像を生成する。前記発光パネルは前記第３の画像を発光する。

第１の実施形態に係る画像表示装置のブロック図 光線制御子を伴うディスプレイの仕様を説明するための図 ディスプレイ仕様に基づいて第１の位相の決定を説明するための図 第１の位相の決定方法の種類を示す図 ディスプレイの水平位置に応じた第１の位相の決定を説明するための図 サブピクセル再構成処理の方法を説明するための図 画像表示装置の処理を示すフローチャート 鮮鋭化処理部を追加した画像表示装置のブロック図 鮮鋭化処理の方法を説明するための図 鮮鋭化処理部を追加した画像表示装置の処理を示すフローチャート 視点位置取得部を追加した画像表示装置のブロック図 ユーザの視点位置に応じた第１の位相の決定を説明するための図 視点位置取得部を追加した画像表示装置の処理を示すフローチャート ディスプレイ仕様取得部を追加した画像表示装置のブロック図 ディスプレイ仕様取得部を追加した画像表示装置の処理を示すフローチャート 第２の実施形態に係る画像表示装置のブロック図 ２Ｄ／３Ｄ表示領域の分割方法を説明するための図 ２Ｄ／３Ｄ表示領域の合成方法を説明するための図 ２Ｄ／３Ｄ表示領域で別々の処理を行う画像表示装置の処理を示すフローチャート

以下、実施の形態について、図面を参照して説明する。本実施形態は、立体ディスプレイによって２Ｄ表示を行う際の高画質化に関する。本明細書において「２Ｄ表示」とは、立体視を提供可能な画像表示装置によって、視差のない画像を表示することを指す。以下で説明する実施形態では、レンチキュラレンズやパララックスバリアに代表される光線制御子を用いた立体ディスプレイによって２Ｄ表示を行う際に生じ得る「ちらつき」や「色ずれ」を抑えつつ、画質を向上させる。

第１の実施形態では、補間処理およびサブピクセル再構成処理を行う画像表示装置の一連の処理を具体的に示す。また、第１の実施形態の幾つかの変形例として、鮮鋭化処理手段が追加された変形例１、視点位置取得手段が追加された変形例２、ディスプレイ仕様取得手段が追加された変形例３を説明する。第２の実施形態では、２Ｄ表示領域と３Ｄ表示領域とが混合している際の画像表示装置の一連の処理を具体的に示す。２Ｄ表示領域と３Ｄ表示領域を分割し、それぞれの領域で別々の処理を施した後に２Ｄ表示領域と３Ｄ表示領域を合成する処理を説明する。

（第１の実施形態）
先ず第１の実施形態について説明する。本実施形態に係る画像表示装置は、光線制御子の大きさ、傾き、配置間隔、発光パネルのサブピクセルのピッチ、カラーフィルタの配置の少なくとも１つを含むディスプレイ仕様から決まる位相に従って補間処理およびサブピクセル再構成を行う。補間処理では、サブピクセル精度で必要な、位相の色を算出する。サブピクセル再構成処理では、サブピクセル単位で色の再構成を行う。

これらの処理を行うことによって、レンチキュラレンズやパララックスバリアに代表される光線制御子を用いた立体ディスプレイ上で２Ｄ表示を行う際に、ちらつきや色ずれを抑えつつ、画質を向上させることができる。

以下、本実施形態に係る２Ｄ表示を実現する画像表示装置について詳細に説明する。

≪全体の構成≫
図１は、本実施形態に係る画像表示装置の全体構成を示すブロック図である。本実施形態に係る画像表示装置は、光線制御子と発光パネルとを備え、画像を表示する表示部（ディスプレイ）４と、画像１を取得する画像取得部１と、ディスプレイ仕様から決まる第１の位相の色を画像１に対する補間処理によって算出することにより、画像２を生成する補間処理部２と、画像２に対し、サブピクセル単位で色の再構成を行うことにより画像３を生成するサブピクセル再構成処理部３とから構成される。ディスプレイ仕様は、光線制御子の大きさ、傾き、または配置間隔と、発光パネルのサブピクセルのピッチと、カラーフィルタの配置の少なくとも１つを含む。サブピクセル再構成処理部３によって生成された画像３に応じて、発光パネルが発光する。

以下、本実施形態に係る画像表示装置の上記構成要素の各々を詳細に説明する。

＜表示部＞
まず、表示部４について説明する。本実施形態において、表示部４として、光線制御子と発光パネルとを備え、３Ｄ表示が可能なディスプレイを想定する。

表示部４に適用されるディスプレイの例を図２に示す。このディスプレイは、直視型あるいは投影型の液晶パネル、プラズマパネルなどのようにピクセル位置が固定された発光パネル２３を有する。発光パネル２３には、各ピクセルの色を決定するために原色を発光するサブピクセルという単位が存在し、そのサブピクセル単位で発光する色を決定するカラーフィルタが用いられる。また、このような発光パネル２３の前面には、発光パネル２３からユーザに向かう光線の方向を制御することが可能な光線制御子２２が設置される。光線制御子２２としては、レンチキュラレンズあるいはパララックスバリアがよく用いられる。

このようなディスプレイの仕様を決定付ける主要なパラメータについて説明する。主に、図２に示すようなパラメータが用いられる。ディスプレイの水平方向の長さ（幅）をｗｄ、垂直方向の長さ（高さ）をｈｄとしている。発光パネル２３に関しては、サブピクセルの幅（ピッチ）をｗｐ、サブピクセルの高さをｈｐ、カラーフィルタの配置をＣｏｌｏｒＡｒｒｒａｙ（ｉ，ｊ）としている（図２の拡大Ｂ）。ここで、ｉ、ｊはそれぞれ発光パネル２３に配置されたサブピクセルの水平方向、垂直方向の座標を示す。一般に、３原色の赤色をＲ、緑色をＧ、青色をＢとしたとき、水平方向の変化に応じて、ＲＧＢＲＧＢ・・・といった周期的な配列をとる発光パネルが多い。本実施形態では、このような配列の例を用いて説明するが、必ずしも、この配列方法に限定されない。

光線制御子２２に関しては、周期的に配置された光線制御子２２の要素の、ディスプレイ垂直方向の軸に対する傾きをθ、水平方向の長さ（幅）をｗｅとする。また、図２の拡大Ａに示すように、光線制御子２２としてパララックスバリアが用いられている場合、バリア２１間に空いたスリット２０の水平方向の長さ（幅）をｗｓとする。本実施形態は、このように水平方向に視差を与えることのできる立体ディスプレイへの適用を例に挙げて説明するが、ピンホールアレイあるいはレンズアレイなどを用いて垂直方向に視差を与えることのできる立体ディスプレイを用いる場合には、垂直方向の長さ（高さ）をパラメータに含め、同様に扱うことができる。

以上のようなディスプレイの発光パネル２３からの発光は、光線制御子２２を通過し、画像を表示することができる。

＜画像取得部＞
次に、画像取得部１について説明する。画像取得部１は、ディスプレイに表示する画像を生成するための処理を行う前のソース画像として、画像１を取得する。

＜補間処理部＞
次に、補間処理部２について説明する。ここでは、光線制御子の大きさ、傾き、配置間隔、発光パネルのサブピクセルのピッチ、カラーフィルタの配置の少なくとも１つを含むディスプレイ仕様から決まる第１の位相の色を画像１に対する補間処理によって算出することにより、画像２を生成する。第１の位相とは、ディスプレイ仕様から決まる、画像表示のために必要な位相のことである。

ディスプレイ仕様に基づき第１の位相を決定する方法について図３を用いて説明する。

ディスプレイ仕様の一例を図３（ａ）に示す。３Ｄ表示の際に、同一の位相について複数の視差の色を描画する各領域を「ブロック」と呼ぶことにすると、図３（ａ）に示すような複数のブロックに分割することができる。これは、４視差の立体ディスプレイに相当し、１〜４までの視差番号の画像の色によって各ピクセルを描画すれば、立体視を実現することができる。

ブロック内には、１２個のサブピクセル（３色×４視差分）が存在していることになる。一方、取得した画像１について考えてみる。図３（ｂ）に示すように、通常の画像として、ＲＧＢの順に並べられた３つの色が１つのピクセルとして存在している。この１つ１つのピクセルの色は、図３（ｃ）に示すように、ピクセルの中心の位相（サブピクセルのＧの色の中心の位相）の部分にあり、各ピクセルの位相が、縦横等間隔に格子状に並んだものとなっている。ここで、ディスプレイ仕様から決まる上述のブロックの形状を見てみると、既に存在している位相の色が、きれいにブロック内に収まらないことが分かる。そこで、例えばブロック内の色数を最大にするための位相（第１の位相という）を決定したものを図３（ｄ）に示す。ここでは、あるブロック内に４点の第１の位相を決定している。このようにブロック内に複数の第１の位相を決定し、それらの位相の色をそれぞれブロック内に描画することによって、ちらつきや色ずれを抑えつつ、画質を向上させることができる。色数を最大（４視差のディスプレイであれば４色）にすることによってその効果を高めることができる。

第１の位相の別の決定方法について説明する。図４は、第１の位相の決定方法の種類を示している。図４（ａ）は、前述したブロック内の色数を重視した第１の位相の決定方法を示したものである。この方法では、４点の第１の位相の色をブロック内に全て描画することができるためブロック間でのちらつきや色ずれが少ない。しかし、正面から見た際に、異なる色を同時に観察してしまう場合に、ちらつきや色ずれが生じてしまうことがある。一方、図４（ｂ）は、ブロック内の中央部分を重視した第１の位相の決定方法を示したものである。このブロックを光線制御子を介して正面から観察すると、主にブロック内の中央部分の色が支配的になる。そのため、正面から見た際に、ちらつきや色ずれをより低減し、安定した色を観察することができる。しかし、ブロック間でのちらつきや色ずれが生じてしまうことがある。これらの方法は、用途に応じ、それぞれの第１の位相の決定方法を使い分けることができる。

また、このような第１の位相の決定方法を同一のディスプレイ上で切り替える方法も考えられる。ディスプレイの水平位置に応じた第１の位相の決定方法について、図５を用いて説明する。あるディスプレイに対して、そのディスプレイを観察しているユーザの視点Ｖｐを仮定することができる。図５（ｂ）に示すようにユーザが観察している場合、ディスプレイの水平方向の中心付近では、光線制御子の各要素において、ディスプレイ面に対する法線の向きに近い光線を観察することとなる。ディスプレイの水平方向の左右端の付近では、光線制御子の各要素において、ディスプレイ面に対する法線の向きから傾いた光線を観察することとなる。つまり、ディスプレイの水平方向の中心付近では、主にブロック内の中央部分の色が見え、ディスプレイに水平方向の左右端の付近では、主にブロック内の端の部分の色が見えることとなる。そこで、図５（ｂ）に示すように、ディスプレイの水平位置に応じて第１の位相の決定方法を切り替え、図４の（１）〜（３）を使い分けてそれぞれ決定してもよい。

次に、決定された第１の位相の色を算出するための補間処理の方法について説明する。補間の方法としては、一般的によく知られている内挿処理のアルゴリズムを用いることができ、線形補間、多項式補間、関数モデルによる補間などを用いてもよい。

＜サブピクセル再構成処理部＞
次に、サブピクセル再構成処理部３について説明する。ここでは、画像２に対し、サブピクセル単位で色の再構成を行うことにより画像３を生成する。サブピクセル再構成処理の方法を図６に示す。補間処理部２において生成された画像２は、第１の位相に従って色が格子状に並べられた画像となっており、それぞれ通常の画像のようにＲＧＢの順に並べられた３つの色が１つのピクセルとして存在している。しかしながら、第１の位相を中心としたピクセル（ここでは３つのサブピクセル）はＲＧＢの順に並べられたものであるとは限らない。図６に示した例では、上の行のピクセルは、ＧＢＲの順に並べられたものとなり、下の行のピクセルは、ＢＲＧの順に並べられたものとなる。そこで、画像２をサブピクセル単位で色の並べ替え（再構成）を行うことによって、画像３を生成する。

≪全体の動作≫
図７に、本実施異形態に係る画像表示装置の動作の一例を表すフローチャートを示す。

まず、ステップＳ１０１にて、画像を取得する。この処理は、画像取得部１において実行する。ここでは、画像１を取得する。次に、ステップＳ１０２にて、画像の補間処理を実行する。この処理は、補間処理部２において実行する。ここでは、光線制御子の大きさ、傾き、配置間隔、発光パネルのサブピクセルのピッチ、カラーフィルタの配置の少なくとも１つを含むディスプレイ仕様から決まる第１の位相の色を画像１に対する補間処理によって算出することにより、画像２を生成する。次に、ステップＳ１０３にて、サブピクセル再構成処理を実行する。この処理は、サブピクセル再構成処理部３において実行する。ここでは、画像２に対し、サブピクセル単位で色の再構成を行うことにより画像３を生成する。最後に、ステップＳ１０４にて、画像を表示する。この処理は、表示部４において実行する。ここでは、光線制御子と発光パネルとを備えたディスプレイにおいて、画像３を発光パネルにより発光する。

このような処理を行うことによって、レンチキュラレンズやパララックスバリアに代表される光線制御子を用いた立体ディスプレイ上で２Ｄ表示を行う際に、ちらつきや色ずれを抑えつつ、画質を向上させることができる。

（変形例１）
≪全体の構成≫
図８は、第１の実施形態に係る画像表示装置に鮮鋭化処理部を追加したブロック図である。変形例１に係る画像表示装置は、第１の実施形態に係る画像表示装置に対し、ディスプレイ仕様から決まる第２の位相に基づいて画像２に対する鮮鋭化処理を行うことにより画像４を生成する鮮鋭化処理部５を追加した構成とする。サブピクセル再構成処理部４は、画像２の代わりに画像４に対し、サブピクセル単位で色の再構成を行うことにより画像３を生成する。

以下、追加もしくは変更された各部に関して詳細に説明する。

＜鮮鋭化処理部＞
まず、鮮鋭化処理部５について説明する。ここでは、ディスプレイ仕様から決まる第２の位相に基づいて画像２に対する鮮鋭化処理を行うことにより画像４を生成する。

鮮鋭化処理の方法を図９を用いて説明する。第２の位相とは、ディスプレイ仕様から決められたブロックの中心の位相である。ここではまず、第２の位相の輝度もしくは色を求める。補間処理部２と同様の補間処理を行っても良いし、ブロック内に存在する位相の輝度もしくは色の平均値を求めても良い。図９（ａ）（ｂ）はブロック内の平均輝度（色）の算出について示しており、図９（ａ）は１２個のサブピクセルの中心位相の輝度（色）が全て分かっている場合を示しており、１２個の輝度（色）の平均を求めている。図９（ｂ）は第１の位相である４個のサブピクセルの中心位相の輝度（色）が分かっている場合を示しており、４個の輝度（色）の平均を求めている。ここでいう輝度（色）は、どのような色空間で算出してもよく、例えば、ＲＧＢの色空間について算出しても良いし、ＹＣｂＣｒの色空間についてＹ成分（輝度成分）だけを使って算出しても良い。以下、輝度も含めて色と呼ぶことにする。あるブロックで求めた平均色をＣａとする。

次に、各ブロック内で求めた第１の位相とそのブロックで求めた平均色との差を算出しておく。あるブロック内で求めたある第１の位相の色をＣ１とすると、そのブロックで求めた平均色をＣａとの差Ｃｓ１は、次のように求めることができる。

Ｃｓ１＝Ｃ１−Ｃａ
次に、このような第２の位相の色を求めた後、図９（ｃ）（ｄ）に示すようにブロック間の平均色を用いた鮮鋭化処理を行う。光線制御子の傾きθが０でない、すなわちディスプレイの垂直方向の軸に対して傾いている場合には、サブピクセルの垂直方向の座標（行数）に応じて第２の位相がずれてしまうことがある。このような場合、図９（ｃ）に示すように、第２の位相が格子状になるように、仮想のブロック（点線）を用いて、求める平均色を増やす方法がある。このようにすることによって、一般的に画像処理で用いられているような鮮鋭化処理（アンシャープマスク処理）を行うことができる。一方、図９（ｄ）は、第２の位相が格子状ではない場合を示しており、近傍ブロックの平均色を用いて鮮鋭化処理が行われる。ここでは、６角形の形状の近傍ブロックの平均色を用いて鮮鋭化処理を行っている。このような方法によれば、余分な平均色を求める必要がなく、計算量および使用メモリ量を削減することができる。あるブロックで求めた平均色をＣａとし、以上のような鮮鋭化処理を行った場合の鮮鋭化後の平均色がＣａ’であるとする。

最後に、各ブロック内で求めた第１の位相とそのブロックで求めた平均色との差と、鮮鋭化後の平均色との和を求めることによって、鮮鋭化後の第１の位相の色を求めることができる。あるブロック内で求めたある第１の位相の色の鮮鋭化後の色をＣ１’とすると、Ｃ１’は次のように求めることができる。

Ｃ１’＝Ｃｓ１＋Ｃａ’
以上のような方法で鮮鋭化処理を行うことによって、ブロック内での色変化を変えずに、ブロック間の色変化を鮮鋭化することができる。ブロック内での色変化を変えないことにより、ちらつきや色ずれの再発を抑えることができ、ブロック間の色変化を鮮鋭化することにより、画像全体の鮮鋭感を高めることができる。

＜サブピクセル再構成処理部＞
次に、サブピクセル再構成処理部４について説明する。ここでは、画像２の代わりに画像４に対し、サブピクセル単位で色の再構成を行うことにより画像３を生成する。鮮鋭化処理前の画像（画像２）の代わりに鮮鋭化処理後の画像（画像４）を用いて画像３を生成することにより、より鮮鋭感の高い画像を生成することができる。

≪全体の動作≫
図１０に、変形例１に係る画像表示装置の動作の一例を表すフローチャートを示す。以下、上述した画像表示装置の動作と異なる部分を中心に説明する。

まず、ステップＳ１０１からステップＳ１０２までは上述の画像表示装置と同様の動作を行う。次に、ステップＳ１０５にて鮮鋭化処理を実行する。この処理は、鮮鋭化処理部５において実行する。ここでは、ディスプレイ仕様から決まる第２の位相に基づいて画像２に対する鮮鋭化処理を行うことにより画像４を生成する。次に、ステップＳ１０３にてサブピクセル再構成処理を実行する。この処理は、サブピクセル再構成処理部４において実行する。ここでは、画像４に対し、サブピクセル単位で色の再構成を行うことにより画像３を生成する。ステップＳ１０４の動作は、上述した画像表示装置の動作と同様である。

このような処理を行うことによって、レンチキュラレンズやパララックスバリアに代表される光線制御子を用いた立体ディスプレイによって２Ｄ表示を行う際に、ちらつきや色ずれを抑えつつ、画質を向上させることができ、さらに画像の鮮鋭感を向上させることができる。

（変形例２）
≪全体の構成≫
図１１は、第１の実施形態に係る画像表示装置に視点位置取得部を追加したブロック図である。変形例２に係る画像表示装置は、第１の実施形態に係る画像表示装置に対し、ユーザの視点位置を取得する視点位置取得部６を加えたものである。補間処理部２は、ディスプレイ仕様およびユーザの視点位置から第１の位相を算出し、算出した第１の位相の色を画像１に対する補間処理によって算出することにより、画像２を生成する。

以下、追加もしくは変更された各部に関して詳細に説明する。

＜視点位置取得部＞
まず、視点位置取得部６について説明する。ここでは、ユーザの視点位置を取得する。

ユーザの視点位置は、カメラや赤外線センサを用いて自動的に検出したものを用いても良いし、ユーザが手動で入力したものを用いても良い。

＜補間処理部＞
次に、補間処理部２について説明する。ここでは、ディスプレイ仕様およびユーザの視点位置から第１の位相を算出し、算出した第１の位相の色を画像１に対する補間処理によって算出することにより、画像２を生成する。

本変形例のようにユーザの視点位置も考慮した第１の位相の決定方法について、図１２を用いて説明する。図５で示したディスプレイの水平位置に応じた第１の位相の決定方法と考え方は同様である。図５の場合には、ユーザの視点位置をある固定された位置に仮定していたが、ここでは、図１２（ａ）〜（ｃ）に示すように、ユーザの視点Ｖｐの位置に応じて第１の位相の決定方法を変化させる。ユーザの視点Ｖｐの位置とディスプレイ面とを結ぶ垂線に対し、図１２（ｂ）に示す通り、ディスプレイの水平方向の左側に対しては、垂線に近い方から遠い方に向かって、（２）→（１）→（３）→（２）→（１）→（３）→・・・のように第１の位相の決定方法を変化させている。一方、ディスプレイの水平方向の右側に対しては、図１２（ａ）に示す通り、垂線に近い方から遠い方に向かって、（３）→（１）→（２）→（３）→（１）→（２）→・・・のように第１の位相の決定方法を変化させている。

このように取得したユーザの視点位置に応じて第１の位相を変化させることにより、より画質の高い画像を表示することができる。

≪全体の動作≫
図１３に、変形例２に係る画像表示装置の動作の一例を表すフローチャートを示す。以下、上述した画像表示装置の動作と異なる部分を中心に説明する。まず、ステップＳ１０１までは画像表示装置と同様の動作を行う。次に、ステップＳ１０６にてユーザの視点位置を取得する。この処理は、視点位置取得部６において実行する。ここでは、ユーザの視点位置を取得する。次に、ステップＳ１０２にて画像の補間処理を実行する。この処理は、補間処理部２において実行する。ここでは、ディスプレイ仕様およびユーザの視点位置から第１の位相を算出し、算出した第１の位相の色を画像１に対する補間処理によって算出することにより、画像２を生成する。Ｓ１０３、Ｓ１０４の動作は、上述した画像表示装置の動作と同様である。

このような処理を行うことによって、レンチキュラレンズやパララックスバリアに代表される光線制御子を用いた立体ディスプレイによって２Ｄ表示を行う際に、ちらつきや色ずれを抑えつつ、画質を向上させることができ、さらにユーザの視点に応じて、より画質の高い画像を生成することができる。

（変形例３）
≪全体の構成≫
図１４は、第１の実施形態に係る画像表示装置にディスプレイ仕様取得部を追加したブロック図である。変形例３に係る画像表示装置では、第１の実施形態に係る画像表示装置に対し、ディスプレイ仕様を取得するディスプレイ仕様取得部７を追加し、補間処理部２は、取得したディスプレイ仕様あるいはユーザの視点位置から第１の位相を算出し、算出した第１の位相の色を画像１に対する補間処理によって算出することにより、画像２を生成する。

以下、追加もしくは変更された各部に関して詳細に説明する。

＜ディスプレイ仕様取得部＞
まず、ディスプレイ仕様取得部７について説明する。ここでは、ディスプレイ仕様を取得する。ディスプレイ仕様は、装置外部から入力される形態を想定する。

＜補間処理部＞
次に、補間処理部２について説明する。ここでは、取得したディスプレイ仕様あるいはユーザの視点位置から第１の位相を算出し、算出した第１の位相の色を画像１に対する補間処理によって算出することにより、画像２を生成する。ディスプレイ仕様が固定の場合には、第１の位相も固定されていた（ユーザの視点に応じた変化は除く）が、本変形例３の構成では、ディスプレイ仕様が取得される度に、第１の位相を算出する必要がある。あるディスプレイ仕様に応じた第１の位相を一度算出したら、その結果をバッファもしくはデータベースなどの記憶部に格納しておき、再利用する形態を採ることが好ましい。

≪全体の動作≫
図１５に、変形例３に係る画像表示装置の動作の一例を表すフローチャートを示す。以下、上述した画像表示装置の動作と異なる部分を中心に説明する。まず、ステップＳ１０１では上述の画像表示装置と同様の動作を行う。次に、ステップＳ１０７にてディスプレイ仕様を取得する。この処理は、ディスプレイ仕様取得部７において実行する。次に、ステップＳ１０２にて画像の補間処理を実行する。この処理は、補間処理部２において実行する。ここでは、取得したディスプレイ仕様あるいはユーザの視点位置から第１の位相を算出し、算出した第１の位相の色を画像１に対する補間処理によって算出することにより、画像２を生成する。Ｓ１０３、Ｓ１０４の動作は、上述した画像表示装置の動作と同様である。

このような処理を行うことによって、レンチキュラレンズやパララックスバリアに代表される光線制御子を用いた立体ディスプレイによって２Ｄ表示を行う際に、ちらつきや色ずれを抑えつつ、画質を向上させることができ、さらに外部から取得するディスプレイ仕様に応じて、より画質の高い画像を生成することができる。

以上説明した第１の実施形態は、光線制御子の大きさ、傾き、配置間隔、発光パネルのサブピクセルのピッチ、カラーフィルタの配置の少なくとも１つを含むディスプレイ仕様から決まる位相に従って補間処理、サブピクセル再構成を行う。補間処理では、サブピクセル精度で必要な位相の色を算出する。サブピクセル再構成処理では、サブピクセル単位で色の再構成を行う。これらの処理を行うことによって、レンチキュラレンズやパララックスバリアに代表される光線制御子を用いた立体ディスプレイによって２Ｄ表示を行う際に、ちらつきや色ずれを抑えつつ、画質を向上させることができる。

（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態に係る画像表示装置は、２Ｄ表示領域と３Ｄ表示領域とが混合している際の画像表示を行うものである。２Ｄ表示領域と３Ｄ表示領域に対して、それぞれ別々の処理を行うことによって、２Ｄ表示領域に関しては、第１の実施形態で示したようなちらつきや色ずれを抑えつつ、画質を向上させることができる。３Ｄ表示領域に関しては、一般的な立体視を行う。

≪全体の構成≫
図１６は、第２の実施形態に係る画像表示装置のブロック図である。第２の実施形態に係る画像表示装置は、第１の実施形態で示した画像表示装置に対し、画像１を２Ｄ表示領域および３Ｄ表示領域に分割し、２Ｄ表示領域の画像５および３Ｄ表示領域の画像６を生成する領域分割部８と、画像６に対し３Ｄ表示のための画像処理を行って画像７を生成する３Ｄ画像処理部９と、画像３および画像７を合成し、画像８を生成する画像合成部１０と、を有し、補間処理部２が、画像１の代わりに画像５に対して処理を行う。画像８を発光パネルによって発光する。

以下、第２の実施形態において第１の実施形態とは異なる各部に関して詳細に説明する。

＜領域分割部＞
まず、領域分割部８について説明する。第２の実施形態では、画像１を２Ｄ表示領域および３Ｄ表示領域に分割し、２Ｄ表示領域の画像５および３Ｄ表示領域の画像６を生成する。

２Ｄ表示領域および３Ｄ表示領域を判定する方法としては、予め画像１内の情報として組み込まれている２Ｄ／３Ｄ表示領域のフラグや座標情報を用いても良いし、予め画像１内の情報として組み込まれているデプス（奥行き）情報を用いても良いし、画像１として複数視点の画像（視差画像）を入力し、視差のない領域を検出する方法を用いても良い。

領域分割の際に、オーバーラップ領域を設ける方法について、図１７を用いて説明する。図１７（ａ）に示すように、ディスプレイ面上において、２Ｄ表示領域２５と３Ｄ表示領域２６との境界線（曲線の場合には境界線の接線）２７に対して垂直のベクトルに沿って、距離ｄ１、ｄ２となるようなオーバーラップ領域を設ける。ただし、ｄ１、ｄ２は０以上の有理数とし、その単位は、ｐｉｘｅｌ、ｉｎｃｈ、ｍｍといった距離を示すものとする。このオーバーラップ領域を考慮して、図１７に示すように、表示領域を２Ｄ表示領域２５と３Ｄ表示領域２６とに分割する。例えば、２Ｄ表示領域２５には画像５を表示し、３Ｄ表示領域２６には画像６を表示する。このように表示領域を分割し、それぞれの領域について、２Ｄ／３Ｄ表示の処理を行う。

別の方法として、画像自体を分割しない方法を採ることもできる。図１７（ｂ）に示すように、画像５として、画像１と２Ｄ表示領域を示すマスク画像を生成し、図１７（ｃ）に示すように、画像６として、画像１と３Ｄ表示領域を示すマスク画像を生成する方法である。この方法では、画像１（全領域）に対して、２Ｄ／３Ｄ表示領域のそれぞれの処理を行い、合成処理の段階でマスク画像を使った合成を行うこととなる。

＜３Ｄ画像処理部＞
次に、３Ｄ画像処理部９について説明する。ここでは、画像６に対し３Ｄ表示のための画像処理を行い、画像７を生成する。各視点で撮影もしくは作成された画像を各視差に割り当て、図３に示すような視差番号毎に色を配置するような処理を行う。

＜画像合成部１０＞
次に、画像合成部１０について説明する。ここでは、画像３および画像７を合成し、画像８を生成する。２Ｄ表示領域の画像と３Ｄ表示領域の画像とを合成する際には、スキャンライン順に選択的に描画するような合成方法でも良いし、マスク画像を用いて合成する方法でも良い。

また、領域合成の際に、オーバーラップ領域を考慮した合成方法について、図１８を用いて説明する。オーバーラップ領域においては、２Ｄ表示領域２５と３Ｄ表示領域２６の所与のブレンド率（α）を用いたアルファブレンド処理に基づく合成を行う。例えば図１８（ａ）に示すように、境界２７を有する、あるオーバーラップ領域における２Ｄ表示領域２５の色をＣ１とし、３Ｄ表示領域２６の色をＣ２とすると、合成後の色Ｃは以下のように求めることができる。

Ｃ＝α１×Ｃ１＋α２×Ｃ２
ここで、α１は２Ｄ表示領域のブレンド率、α２は３Ｄ表示領域のブレンド率である。α１およびα２は、オーバーラップ領域の位置に応じて、図１８（ｂ）のグラフのように決めることができる。このような合成を行うことによって、領域の境界部分の画質をより向上させることができる。

＜補間処理部＞
次に、補間処理部２について説明する。ここでは、画像１の代わりに画像５に対して処理を行う。これは、画像取得部１で取得した画像１全体ではなく、領域分割部８において分割された２Ｄ表示領域の部分である画像５に対して処理を行うものであり、処理の内容は、第１の実施形態で説明したものと同様である。

≪全体の動作≫
図１９に、第２の実施形態に係る画像表示装置の動作の一例を表すフローチャートを示す。以下、上述した第１の実施形態に係る画像表示装置の動作とは異なる部分を中心に説明する。

ステップＳ１０１までは第１の実施形態の画像表示装置と同様の動作を行う。次に、ステップＳ２０８にて画像を２Ｄ／３Ｄ表示領域に分割する。この処理は、領域分割部８において実行する。ここでは、画像１を２Ｄ表示領域および３Ｄ表示領域に分割し、２Ｄ表示領域の画像５および３Ｄ表示領域の画像６を生成する。次に、ステップＳ１０２にて画像の補間処理を実行する。この処理は、補間処理部２において実行する。ここでは、画像１の代わりに画像５に対して第１の実施形態と同様の処理を行う。次に、ステップＳ１０３では、第１の実施形態と同様の処理を行う。ステップＳ１０２およびステップＳ１０３と並行して、ステップＳ２０９にて３Ｄ領域に対する画像処理を実行する。この処理は、３Ｄ画像処理部９において実行する。ここでは、画像６に対し３Ｄ表示のための画像処理を行い、画像７を生成する。

次に、ステップＳ２１０にて２Ｄ／３Ｄ表示領域の画像を合成する。この処理は、画像合成部１０において実行する。ここでは、画像３および画像７を合成し、画像８を生成する。最後に、ステップＳ１０４にて、画像を表示する。この処理は、表示部４において実行する。ここでは、光線制御子と発光パネルとを備えたディスプレイにおいて、画像８を発光パネルにより発光する。

このような処理を行うことによって、レンチキュラレンズやパララックスバリアに代表される光線制御子を用いた立体ディスプレイにおいて、２Ｄ／３Ｄ表示領域それぞれに別々の処理を行うことができ、２Ｄ表示を行う領域では、ちらつきや色ずれを抑えつつ、画質を向上させることができる。

以上説明した実施形態によれば、２Ｄ表示領域と３Ｄ表示領域とが混合している際の画像表示を実現することができ、２Ｄ表示領域と３Ｄ表示領域に対して、それぞれ別々の処理を行うことによって、２Ｄ表示領域に関しては、第１の実施形態で示したようなちらつきや色ずれを抑えつつ、画質を向上させることができる。３Ｄ表示領域に関しては、一般的な立体視を実現することができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変更して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、第１の実施形態の変形例１で説明した鮮鋭化処理部５と変形例３で説明したディスプレイ仕様取得部７を同時に備えた画像表示装置を構成することもでき、取得したディスプレイ仕様から第２の位相を算出して鮮鋭化処理を行ってもよい。また、複数の処理部を統合し、単一の画像フィルタとして処理しても良い。また、ここでは最も一般的なカラーフィルタの配置で説明を行ったが、他の配置でも同様の処理を行うことができる。さらに、画像のフレーム単位で処理を行うのではなく、画像のライン単位もしくはブロック単位で処理を行っても良い。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…画像取得部；
２…補間処理部；
３…サブピクセル再構成処理部；
４…表示部；
５…鮮鋭化処理部；
６…視点位置取得部；
７…ディスプレイ仕様取得部；
８…領域分割部；
９…３Ｄ画像処理部；
１０…画像合成部

Claims (15)

1. 光線制御子と発光パネルとを備えたディスプレイと、
   第１の画像を取得する画像取得部と、
   前記光線制御子の大きさ、傾き、または配置間隔と、前記発光パネルのサブピクセルのピッチ、またはカラーフィルタの配置との少なくとも１つを含むディスプレイ仕様から決まる第１の位相の色を、前記第１の画像に対する補間処理によって算出することにより、第２の画像を生成する補間処理部と、
   前記第２の画像に対し、サブピクセル単位で色の再構成を行うことにより第３の画像を生成するサブピクセル再構成処理部と、
   を具備し、前記発光パネルが前記第３の画像を発光する画像表示装置。
2. 前記補間処理部は、
   前記ディスプレイによる３Ｄ表示の際に同一の位相の複数の色を描画するブロックに応じて前記第１の位相を決定する請求項１記載の装置。
3. 前記補間処理部は、
   前記ディスプレイによる３Ｄ表示の際に同一の位相の複数の色を描画するブロックに応じて前記第１の位相を複数決定する請求項１記載の装置。
4. 前記ディスプレイ仕様から決まる第２の位相に基づいて前記第２の画像に対する鮮鋭化処理を行うことにより第４の画像を生成する鮮鋭化処理部をさらに具備し、
   前記サブピクセル再構成処理部は、前記第２の画像の代わりに前記第４の画像に対し、サブピクセル単位で色の再構成を行うことにより第３の画像を生成する請求項１記載の装置。
5. ユーザの視点位置を取得する視点位置取得部をさらに具備し、
   前記補間処理部は、前記ディスプレイ仕様および前記ユーザの視点位置から第１の位相を算出し、該第１の位相の色を前記第１の画像に対する補間処理によって算出することにより、第２の画像を生成する請求項１記載の装置。
6. 前記ディスプレイ仕様を示す情報を外部から取得するディスプレイ仕様取得部をさらに具備し、
   前記補間処理部は、前記外部から取得したディスプレイ仕様または前記ユーザの視点位置から第１の位相を算出し、該第１の位相の色を前記第１の画像に対する補間処理によって算出することにより、第２の画像を生成する請求項１記載の装置。
7. 前記第１の画像を２Ｄ表示領域および３Ｄ表示領域に分割し、２Ｄ表示領域の第５の画像および３Ｄ表示領域の第６の画像を生成する領域分割部と、
   前記第６の画像に対し３Ｄ表示のための画像処理を行って第７の画像を生成する３Ｄ画像処理部と、
   前記第３の画像および前記第７の画像を合成して第８の画像を生成する画像合成部と、
   をさらに具備し、
   前記補間処理部は、前記第５の画像に基づいて前記第３の画像を生成し、
   前記発光パネルが前記第８の画像を発光する請求項１記載の装置。
8. 前記補間処理部は、
   近傍画素の既知の位相の色を用いた線形補間、多項式補間、および関数モデルによる補間のいずれかに従って前記補間処理を行う請求項１記載の装置。
9. 前記補間処理部は、
   前記ブロック内のサンプル数が最も多くなるように前記第１の位相を決定し、または、
   前記ブロック内の、水平あるいは垂直方向の中央部分から順に前記第１の位相を決定する請求項２記載の装置。
10. 前記補間処理部は、
    仮定されたユーザの視点位置で観察されるサブピクセルの位相を基準として前記第１の位相を順に決定する請求項２記載の装置。
11. 前記鮮鋭化処理部は、
    前記ブロックの平均色を算出し、
    前記ブロック内の前記第１の位相の色と前記平均色との差を算出して第１の色とし、
    近傍のブロックの平均色を用いることにより、前記ブロックの平均色に対する鮮鋭化処理を行い、
    鮮鋭化された前記ブロックの平均色と前記第１の色との和を算出することにより、前記第１の位相の色を決定する請求項１記載の装置。
12. 前記補間処理部は、
    前記第１の位相が、ある前記ブロック内において、取得した前記ユーザの視点位置においいて観察されるサブピクセルの位相を中心として順に決定される請求項５記載の装置。
13. 前記領域分割部は、前記２Ｄ表示領域と前記３Ｄ表示領域とが重複するオーバーラップ領域を形成し、
    前記画像合成部は、前記オーバーラップ領域をアルファブレンド処理によって合成する請求項７記載の装置。
14. 第１の画像を取得し、
    光線制御子の大きさ、傾き、または配置間隔と、発光パネルのサブピクセルのピッチ、またはカラーフィルタの配置との少なくとも１つを含むディスプレイ仕様から決まる第１の位相の色を、前記第１の画像に対する補間処理によって算出することにより、第２の画像を生成し、
    前記第２の画像に対し、サブピクセル単位で色の再構成を行うことにより第３の画像を生成し、
    前記第３の画像を発光する画像表示方法。
15. コンピュータを、
    第１の画像を取得する画像取得部、
    光線制御子の大きさ、傾き、または配置間隔と、発光パネルのサブピクセルのピッチ、またはカラーフィルタの配置との少なくとも１つを含むディスプレイ仕様から決まる第１の位相の色を、前記第１の画像に対する補間処理によって算出することにより、第２の画像を生成する補間処理部、
    前記第２の画像に対し、サブピクセル単位で色の再構成を行うことにより第３の画像を生成するサブピクセル再構成処理部、
    として機能させるためのプログラム。

Images