JP2006229818A - 立体画像表示装置 - Google Patents

Abstract

【課題】複数の視点の画像を表示する際、元の画像データの視点数と表示する視点数に応じて明るさの調整をすることにより、立体画像をより見やすく表示する。
【解決手段】複数視点の入力画像データに基づき立体画像を表示する手段を備え、入力データを画像と３次元制御情報とに分離する分離手段と、画像データ復号手段、３次元制御情報を解析し、垂直方向の視点数、水平方向の視点数、画像縦横比、代表画像情報とを含む情報を取得する３次元制御情報解析手段、画像データ復号手段の出力と３次元制御情報解析手段のうちの前記水平方向の視点数、画像縦横比、代表画像情報とが入力される表示画像作成手段、表示画像作成手段の出力と水平方向の視点数とが入力される明るさ調整手段、明るさ調整手段により調整される表示制御情報を入力する表示手段、表示画像作成手段、明るさ調整手段、表示手段とを制御する制御手段を有する。
【選択図】図１

Description

本発明は、立体画像表示装置に関し、特に多視点立体画像を表示するための表示画像表示装置に関する。

従来から、３次元画像を表示する様々な方法が提案されている。その中でも一般的に用いられているのは、両眼視差を利用する「２眼式」と呼ばれる方法である。これは、両眼視差を持った左眼用画像と右眼用画像とを用意し、それぞれ独立に左右の眼に投影することにより立体視を行う方法である。２眼式の代表的な方式として、フィールドシーケンシャル方式やパララクスバリア方式が提案されている。

図１３は、フィールドシーケンシャル方式の概念図である。図１３に示すように、フィールドシーケンシャル方式１３では、左眼画像１３−１、１３−３、…と、右眼画像１３−２、１３−４、…とが垂直方向に１画素おきに交互に配置されており、左眼画像の表示と右眼画像の表示とが交互に切り替えられて表示される。左眼画像１３−１、１３−３、…および右眼画像１３−２、１３−４、…は、通常の２次元表示の場合と比べて、垂直解像度が１／２になっている。観察者は、ディスプレイの切り替え周期に同期して開閉するシャッタ式のメガネを着用する。ここで使用されるシャッタは、左眼画像が表示されている時は左眼側が開いて右眼側が閉じ、右眼画像が表示されている時は左眼側が閉じて右眼側が開く。このようにすることにより、左眼画像は左眼のみで、右眼画像は右眼のみで観察されるため、立体視が可能となる。

図１４は、パララクスバリア方式の概念図である。図１４（Ａ）は、視差が生じる原理を示す図である。一方、図１４（Ｂ）は、パララクスバリア方式で表示される画面を示す図である。図１４（Ａ）に示すように、図１４（Ｂ）に示す左眼画像と右眼画像とが水平方向１画素おきに交互にならんで配置された画像２０４を画像表示パネル２００に表示し、同一視点の画素の間隔よりも狭い間隔でスリットを持つパララクスバリア２０１を画像表示パネル２００の前面に置くことにより、左眼画像は左眼２０２だけで、右眼画像は右眼２０３だけで観察することになり、立体視が可能になる。

以上の方式では、２次元画像の表示も可能である。例えば、フィールドシーケンシャル方式では、観察者がメガネをはずすことにより、パララクスバリア方式や下記特許文献１の方式では、スリットの開口率を最大にすることにより、２次元画像を表示することができる。

また、特許文献１では、遮光のためのスリット表示用ＬＣＤ、画像表示用ＬＣＤ、バックライト照明の順で配置し、スリットを通して異なる視点の画像をそれぞれ、観察者の左目もしくは右目のある位置に集光させることにより、立体画像を表示する方法が開示されている。

この方式では、LCD上に表示されるスリットのパターンを変更することにより、任意の複数の視点の３次元画像を表示する。この際、バックライト照明と観察者との間にスリットが設置されるが、このスリットの遮光部の面積は表示する視点の数に比例して大きくなる。このため、３次元部分画像と２次元部分画像とが混在する表示を行う際に、各部分画像の明るさが一定とならない、或いは、３次元画像表示と２次元画像表示とを切り換えた際に画面の明るさが変化してしまうという問題がある。この問題を解決するために、表示の際の視点数に応じてバックライト照明を減光したり、画像データの輝度の取りうる範囲を変更したり、スリット全体の透過率を調整したりして、明るさを一定に保つ方法が開示されている。

特開平９−７３０４９号公報

しかしながら、特許文献１に記載の技術では、複数の視点の画像を表示する際に、画像全体に対して明るさの調整を行なうため、画像内に含まれる各視点の画像の間の明るさの違いが存在する場合に、明るさの調整後にその違いが強調されてしまい、立体画像として見づらくなり、観察者の目が疲れてしまうという問題があった。

さらに、特許文献１では、視点の数を変えて立体表示を行なう際に、見る位置によって明るさが異なるため、観察位置によっては、各表示において明るさが異なってしまうという問題があった。例えば、２視点表示で２視点のデータを左右の眼で観察する場合と、３視点表示で最も明るい視点の画像を除いた残りの２視点を左右の眼で観察する場合とでは、明るさが違ってしまうという問題があった。

本発明は、立体画像として見やすくすることを目的とする。また、観察者の目が疲れないようにすることを目的とする。さらに、２視点表示と３視点とによる明るさの違いを少なくすることを目的とする。

本発明に係る立体画像表示装置は、立体画像データ内の視点数や表示する際の視点数のうち少なくとも一方に応じて明るさを調整すると共に、立体画像データ内の各視点の画像の明るさの違いが少なくなるよう、さらに明るさを調整することにより、複数の視点の画像の表示を行なうことを特徴とする。

すなわち、本発明の一観点によれば、複数の視点の画像データを含む入力画像データに基づいて立体画像を表示する表示手段を備えた立体画像表示装置であって、前記表示手段に表示する視点数である第１の視点数と、前記入力画像データ内に含まれる視点数である第２の視点数と、に応じて表示の明るさを調整するための第１の補正情報を作成する第１の補正情報算出手段と、前記入力画像データ内の視点の異なる画像データ毎に明るさを調整するための第２の補正情報を作成する第２の補正情報算出手段と、作成された前記第１の補正情報と前記第２の補正情報とに基づいて入力画像データを補正する補正手段と、を有する明るさ調整手段を備えることを特徴とする立体画像表示装置が提供される。

上記装置によれば、複数の視点の画像データから構成される入力画像データを入力し、表示する視点数に応じて明るさを調整し表示することができる。この立体表示装置によれば、視点数Ｎ(Ｎは１以上の整数)で適切な明るさになるように作成された入力画像データを、Ｎ以外の視点数の画像データに変換して表示する場合、元の画像データの視点数と表示する視点数に応じて明るさの調整をすることにより、立体画像をより見やすく表示することができる。

本発明の他の観点によれば、複数の視点の画像データを含む入力画像データに基づいて立体画像を表示する表示手段を備えた立体画像表示装置であって、前記入力画像データを画像データと３次元制御情報とに分離する分離手段と、前記画像データを復号する画像データ復号手段と、前記３次元制御情報を解析し、垂直方向の視点数と、水平方向の視点数と、画像縦横比と、代表画像情報と、を含む情報を取得する３次元制御情報解析手段と、該画像データ復号手段の出力と前記３次元制御情報解析手段のうちの前記水平方向の視点数と、画像縦横比と、代表画像情報とが入力される表示画像作成手段と、該表示画像作成手段の出力と前記水平方向の視点数とが入力される明るさ調整手段と、該明るさ調整手段により調整される表示制御情報を入力する表示手段と、前記表示画像作成手段と、前記明るさ調整手段と、前記表示手段と、を制御する制御手段とを有することを特徴とする立体画像表示装置が提供される。

本発明の別の観点によれば、複数の視点の画像データを含む入力画像データに基づいて立体画像を表示する立体画像表示方法であって、水平方向の視点数Ｎ１と、表示視点数Ｎ２と、が入力されたか否かを判定するステップと、両方が入力されたと判定された場合に、前記Ｎ１と前記Ｎ２とが等しいか否かを判定するステップと、前記Ｎ１と前記Ｎ２とが等しいと判定された場合に、補正は行なわずに入力画像データがそのまま出力画像データとして出力し、Ｎ１がＮ２より大きいと判定した場合は、前記Ｎ１と前記Ｎ２との違いに基づいて、前記入力画像データの各画素の輝度値に加算するための少なくとも一つ以上の補正値を求めるステップと、該補正値により明るさを調整し、調整後の明るさで立体画像を表示するステップとを有することを特徴とする立体画像表示方法が提供される。

本発明の立体表示装置によれば、視点数Ｎ(Ｎは１以上の整数)で適切な明るさになるように作成された入力画像データを、Ｎ以外の視点数の画像データに変換して表示する場合、元の画像データの視点数と表示する視点数に応じて明るさの調整をすることにより、立体画像をより見やすく表示することができる。

また、複数の範囲の輝度の値を持つ画素ごとに異なる明るさの調整を行なうため、局所領域ごとに、かつ、画素の輝度の値に応じた、細かい明るさの調整が可能である。

さらに、本発明の立体表示装置によれば、明るさの調整の際に、視点ごとの画像データの画素の輝度値の平均を求め、代表画像情報が示す視点の画像の画素の輝度値の平均で、他の視点の画像の画素の輝度値の平均を割ったものを重み付けとして、補正値に反映することにより、各視点の画像データの明るさが均等になるように調整されるため、より見やすい立体表示が可能となる。

加えて、この際、代表画像情報が示す視点の画像の画素の輝度値の平均で割ったものを重み付けとして、補正値に反映するため、同じ画像データを用いて表示する視点数が異なった場合であっても、一定の明るさで、表示することができるという利点がある。

以下、本発明の実施の形態による立体画像表示装置について図面を参照しつつ説明を行う。以下では、３Ｄを３次元または立体とし、２Ｄを２次元とし、立体画像を３Ｄ画像とし、通常の２次元画像を２Ｄ画像として説明を行なう。

図１は、本発明の第１の実施の形態による立体画像表示装置の一構成例を示す機能ブロック図である。図１に示すように、本実施の形態による立体画像表示装置１は、３Ｄ画像データを入力とし、３Ｄ画像を表示する装置である。立体画像表示装置１は、３Ｄ画像データから画像データと３Ｄ制御情報とを分離する分離手段２と、３Ｄ制御情報を解析する３Ｄ制御情報解析手段３と、画像データを復号する画像データ復号手段４と、表示画像を作成する表示画像作成手段５と、明るさを調整する明るさ調整手段６と、各部を制御する制御手段７と、画像を表示する表示手段８と、を有している。

ここで、３Ｄ画像データは、画像データと３Ｄ制御情報とを有して構成されたデータである。上記各手段に関する詳細な説明は後述する。まず、３Ｄ画像データと３Ｄ制御情報とに関して説明を行なう。

図２は、３Ｄ画像データの一構成例を示す図である。図２に示すように、３Ｄ画像データは、ヘッダ１１と画像データ１２とから構成されており、ヘッダ１１内に３Ｄ制御情報１１ａが含まれている。ヘッダ１１の例としては、EXIF（Exchangeable Image File Format）ヘッダや、ＡＶＩ（Audio Video Interleaved），ＡＳＦ（Advanced Streaming Format）、ＷＭＶ（Windows Media Video）、ＭＰ４などのファイルフォーマットのヘッダなどが挙げられる。また、画像データの例としては、未圧縮の画像データや、ＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ（Moving Picture Experts Group）などの圧縮方式で圧縮された圧縮画像データが挙げられる。３Ｄ制御情報１１ａは、３Ｄ画像データ内の画像データ１２の構成に関する情報、３Ｄ画像を表示する際に表示を制御するための情報を含む。

図３は、３Ｄ制御情報１１ａの一例を示す図である。図３に示すように、３Ｄ制御情報１１ａは、水平方向及び垂直方向の視点の数１２ａ、１２ｂと、画像縦横比１２ｃと、代表画像情報１２ｄと、を含んだ構成を有している。ここで、水平方向及び垂直方向の視点の数１２ａ、１２ｂとは、３Ｄ画像データ内に含まれる視点の異なる画像データの数の情報を示す。また、画像縦横比１２ｃとは、画像データ１２の垂直方向の拡大縮小率を水平方向の拡大縮小率で割った値を表記した情報を示す。また、代表画像情報１２ｄは、２Ｄ表示を行うときに、どの視点の画像データを選択するかに関する情報を含む。

図４及び図５は、３Ｄ画像データ内の画像データの一例について説明するための図である。例えば、図４(b)は、水平方向の視点の数が２、垂直方向の視点の数が１、画像縦横比が１の場合の画像データの例であり、図４（ａ）のような２つの視点の画像データ１５ａ、１５ｂを、図４（ｂ）のように左右に並べて（１５ａ、１５ｂ）、一枚の画像データとしたものが、３Ｄ画像データ内の画像データとなる。例えば、図４(ｄ)は、水平方向の視点の数が２、垂直方向の視点の数が１、画像縦横比が２のときの画像データの例であり、図４（ｃ）のような水平に２分の１に縮小された２つの視点の画像データを、図４（ｄ）のように左右に並べて一枚の画像データとしたものが、３Ｄ画像データ内の画像データとなる。

例えば、図５は、水平方向の視点の数が４、垂直方向の視点の数が２、画像縦横比が１の場合の画像データの例であり、８つの視点１８−１〜１８−８までの画像データを、番号１から８のように視点順に左上から右下に並べて一枚の画像データとしたものである。これが、３Ｄ画像データ内の画像データとなる。

次に、立体画像表示装置１と、立体画像表示装置１内の各手段の動作について、図面を参照しつつ説明を行なう。まず、立体画像表示装置１に３Ｄ画像データが入力される。分離手段２は、入力された３Ｄ画像データを、ヘッダ及びそのヘッダに含まれる３Ｄ制御情報、画像データに分離して出力する。入力された３Ｄ画像データは、分離手段２に入力され、３Ｄ制御情報及びヘッダ、画像データにそれぞれ分離されて出力される。この３Ｄ制御情報は、３Ｄ制御情報解析手段３に、ヘッダと画像データは、画像データ復号手段４にそれぞれ入力される。

３Ｄ制御情報解析手段３は、入力された３Ｄ制御情報の解析を行い、解析された情報を出力する。ここで、垂直方向の視点数は１とする。解析された情報のうち、水平方向の視点Ｎ１と、画像縦横比Ｆ、代表画像情報が出力される。水平方向の視点数Ｎ１及び、画像縦横比Ｆ、代表画像情報が、表示画像作成手段５に、水平方向の視点数Ｎ１が明るさ調整手段６に、それぞれ入力される。

画像データ復号手段４は、入力された圧縮画像データを画像データであれば復号し、画像データでなければそのまま出力する手段であり、公知の復号手段と同じであるため説明は省略する。ここでは、入力された画像データは圧縮画像データとし、画像データ復号手段４は、この圧縮画像データから一枚の画像データを復号し、出力する。

制御手段７は、表示手段８で表示する画像の表示視点数を制御し、かつ、その際の表示視点数を出力する手段である。制御手段７は、表示視点数Ｎ２を出力する。表示画像作成手段５は、入力された画像データと、水平方向の視点数Ｎ１と、画像縦横比Ｆと、表示視点数Ｎ２と、代表画像情報と、から表示用画像を作成し、出力する手段である。表示画像作成手段５に、画像データと、水平方向の視点数Ｎ１と、画像縦横比Ｆと、表示視点数Ｎ２と、代表画像情報と、が入力される。ここで、Ｎ１＝ｎ、Ｎ２＝ｍとする（ｎ，ｍは１以上の整数である。）。

また、以下の説明では、表示画像作成手段５において、複数の視点の画像データを含む画像データを水平方向に縮小拡大する場合、同じ視点の画像データのみを、視点ごとにそれぞれ同じ率だけ縮小拡大するものとする。

図６、図７は、水平方向の視点数ｎ＞表示視点数ｍの場合における表示画像作成手段５が作成する出力画像データについて示す図である。図６の最上段の図は、表示画像作成手段５に入力された入力画像データの構成例を示す図である。この画像６−１は、Ｉ１からＩｎまでのｎ個の視点の画像データから構成されており、各視点の画像データをIｐ(ｐは、１≦ｐ≦nの整数であり、画像データの左上端から右下端にかけてラスタスキャンした際の各視点の画像データの番号を示す)とする。まず、表示画像作成手段５は、入力画像データから、図６の中段の図に示すように、連続する視点の画像データをｍ視点分つまりＩ１〜Ｉｍまでを抜き出す。この際、抜き出す視点の画像データは、連続した視点の画像データであれば、どの位置から抜き出してもよいが、代表画像情報が示す視点の画像データが含まれるように抜き出す。

その後、抜き出した画像データから、図６下段に示すように、水平方向にｎ／ｍ倍に拡大した画像データを作成する。さらに、この画像データを水平方向にＦ／ｎ倍の大きさにサイズを変更し、新たに画像データを作成する。

図７は、上記手順により作成された画像データに並び替えを行って作成した出力画像データについて説明するための図である。図７(a)は、並び替え前の画像データ７−１を示す図である。それぞれ視点毎に、並び替え前の画像データを縦の短冊状に水平方向にｋ分割する（ｋは１以上の整数）。この各短冊に相当する画像データを短冊データIjk（ｊは、１≦ｊ≦ｍの整数であり、画像データの左端から並ぶ視点画像の視点番号を示す。また、ｋは各視点画像データの水平方向の分割数を示す）で表す。このように分割された縦の短冊を並び替え、出力画像データを作成する。図７（ｂ）は、並び替え後の画像データ７−２を示す図である。まず、各視点の画像データの最も左側に存在する短冊データから、Ｉ１１、Ｉ２１、…、Ｉｊ１の順で並び替える。同様にして、各視点の画像データの最も右にある短冊データＩjkまで順にすべて並び替えていき、並び替えた画像データを出力画像データとして出力する。

次にｎ＜ｍの場合について説明する。図８は、ｎ＜ｍの場合における表示画像作成手段５（図１）が作成する出力画像データを示す図である。図８の上段の図は、表示画像作成手段に入力された入力画像データ８−１を示す図である。この画像８−１は、ｎ個の視点の画像データから構成されており、各視点の画像データをIｐ(ｐは、１≦ｐ≦nの整数であり、画像データの左端から並ぶ視点画像の視点番号を示す。)とする。表示画像作成手段は、入力画像データ８−１から、連続する視点の画像データをｎ視点分、つまりＩ１からＩｎまでをそのまま抜き出した後、さらに、補間により作成した残りの（ｍ−ｎ）視点分のデータを追加して、図８の中段に示す画像データ８−２を作成する。ここで補間の方法は、例えば、既にある視点の画像から、画像内にある各オブジェクトの構造を解析し、異なる視点からみた画像を作成する方法でもよい。また、補間の方法は公知のいかなる方法であっても良い。また、補間ができない場合は、補完対象の領域に黒い画像を挿入し、非表示エリアとしてもよい。

このように視点を補間した図８中段の画像データに対して、図８下段に示すように、水平方向にｎ／ｍ倍に縮小した画像データを作成する。さらに、この画像データを、水平方向にＦ／ｎ倍の大きさにサイズを変更した画像データを作成し、並び替えを行なった画像を出力画像とする。このときの並び替えはｎ＞ｍの場合に説明した方法と同様とする。

最後にｎ＝ｍの場合は、図示しないが、表示画像作成手段は、入力画像データに対し、並べ替えのみを行なった画像を出力画像として出力する。このときの並び替えもｎ＞ｍの場合に説明した方法と同様である。また、出力画像として出力するととともに、出力した画像のうちいずれの視点の画像が代表画像情報で示された視点の画像かを示す画像位置情報を出力する。明るさ調整手段６（図１）は、入力された水平方向の視点数及び表示手段８（図１）で表示する画像の表示視点数、視点数毎の画像データの輝度の総和、各総和の比を用いて算出した輝度への補正値、同じく入力された画像データの各画素の輝度に対して加えることにより、輝度を補正した画像データを出力する。

図９は、図１に示す明るさ調整手段６の構成例を示す機能ブロック図である。図９に示すように、明るさ調整手段６は、水平方向の視点数Ｎ１と、表示視点数Ｎ２と、画像位置情報と、画像データと、を入力とし、基準補正情報算出手段９−１と、スイッチ９−２と、修正補正情報算出手段９−３と、補正手段９−４と、を有している。

次に、図面とフローチャートとを用いて、図９に示す明るさ調整手段６を構成する各手段が、入力された画像データの各画素の輝度に対して補正を行なう際の動作の流れについて説明する。

図１０は、明るさ調整手段６の動作の流れを示すフローチャート図である。図１０に示すように、処理が開始されると、まず、ステップＳ１において、明るさ調整手段６の電源投入時やリセット時に、明るさ調整手段６を制御する制御部が、スイッチ９−２を操作して、端子１０ａと１０ｂとが接続された状態とし、ステップＳ２に進む。判定ステップＳ２において、基準補正情報算出手段９−１は、水平方向の視点数Ｎ１と、表示視点数Ｎ２と、が入力されたか否かを判定し、両方が入力されたと判定した場合は（ＹＥＳ）、判定ステップＳ３に進み、そうでない場合は（ＮＯ）判定ステップＳ２に戻る。

判定ステップＳ３において、基準補正情報算出手段９−１は、Ｎ１とＮ２とが等しいか否かを判定し、等しいと判定した場合は（ＹＥＳ）ステップＳ４へ進み、そうでない場合は（ＮＯ）ステップＳ５へ進む。ステップＳ４において、基準補正情報算出手段９−１は、スイッチ９−２の端子１０ａと１０ｃとをつなぐようスイッチ１０を操作する。この際、補正は行なわれず、入力画像データがそのまま出力画像データとして出力される（状態ａ）。

次いで、ステップＳ５において、基準補正情報算出手段９−１は、スイッチ９−２の端子１０aと１０ｂとをつなぐようにスイッチ９−２を操作し、判定ステップS6に進む。判定ステップＳ６において、基準補正情報算出手段９−１は、Ｎ１がＮ２より大きいか否かを判定し、大きいと判定した場合は（ＹＥＳ）ステップＳ７へ進み、そうでない場合は（ＮＯ）ステップＳ８へ進む。ステップＳ７において、基準補正情報算出手段９−１は、視点数Ｎ１と表示視点数Ｎ２とから、基準の補正情報（以下、「基準補正情報」と称する。）を作成し、補正手段９−４に出力し、ステップＳ９に進む。

ここで補正情報とは、入力画像データの各画素の輝度値に加算するための少なくとも一つ以上の補正値と、その補正値を適用する輝度レベル（０から２５５までの値）との組み合わせで表される補正パターンの情報と、補正情報に含まれる補正パターンの総数とを示す。例えば、ステップＳ７で算出される補正情報の例を表１に示す。

表１において、このときの補正情報は、補正パターンの総数Ａが３とする。この場合、補正パターン１は、例えば、「０から５０（＝輝度レベルL１）までの画素の輝度値に対して、―５（＝補正値 Ｄ１）減算することを意味する情報」であり、補正パターン２は、「５１から２００（＝輝度レベルL２）までの画素の輝度値に対して、―１０（＝補正値 Ｄ２）減算することを意味する情報」であり、補正パターン３は、「２０１から２５５（＝輝度レベルＬ３）までの画素の輝度値に対して、―２０（＝補正値 Ｄ３）減算することを意味する情報」となる。

このときの各補正値Ｄｉ（iは整数、１≦i≦A）の算出方法について説明する。補正値Ｄiは下記の式１から算出することができる。

Di = ｄi ＋ ｛（Ｎ２ − Ｎ１） × αi ＋ Ｎ２ × βi｝ (１)

ここで、ｄiは補正パターンiの補正値の基本値であり、α、βは重み係数である。例えば、ｄ１＝７、Ｎ１＝４、Ｎ２＝２、α１＝０．５、β1＝０．５とした場合、Ｄ１は−５となる。同様に、d２＝１２、Ｎ１＝４、Ｎ２＝２、α２＝０．５、β２＝０．５とした場合は、Ｄ２は−１０となる。同様に、d３＝２２、Ｎ１＝４、Ｎ２＝２、α３＝０．５、β３＝０．５とした場合、Ｄ３は−２０となる。上記の補正値の計算式は一例であり、「元の画像の水平方向の視点数Ｎ１と、実際に表示する表示視点数Ｎ２との視点数の差」と、「表示視点数Ｎ２」とのそれぞれに対して、異なる重み付けを行うような式であれば、これ以外の式も適用可能である。

また、補正値Ｄ１の値は定数であっても良いし、「元の画像の水平方向の視点数Ｎ１と、実際に表示する表示視点数Ｎ２との視点数の差」と、「表示視点数Ｎ２」の2つの値を入力として、これらの値に対応する補正値Ｄ１を出力するようなテーブルをあらかじめ用意しておき、このテーブルから補正値Ｄ１を決定してもよい。

表２は、補正情報の別の構成例を示す表である。例えば、表２に示すように、補正パターンの総数Ａを２とし、補正値 Ｄ１＝０、Ｄ２＝−２０と設定してもよい（Ｄ２はd２＝２２、Ｎ１＝４、Ｎ２＝２、α２＝０．５、β２＝０．５として（１）式より求めることができる。）。この場合、入力画像データの画素の輝度値が２００以下の画素には、補正を行なわないことを意味する。

表３は、補正情報のさらに別の構成例を示す表である。表３に示すように、補正パターンの総数Ａを１とし、補正値 Ｄ１＝−５（このときのＤ１は表１のD1と同様にして求める）と設定してもよい。

表３の場合には、入力画像データの画素の輝度値が５０以下の画素に対してのみ、補正を行なうことを意味し、そうでない画素には補正を行なわないことを意味する。従って、上記のように補正パターンの総数Ａを１にする、或いは、補正値に“０”を設定することにより、特定の部分にのみ補正をかけることが可能となる。特定な部分とは、例えば、画像データ内において最初から明るい部分（輝度の高い部分）や、暗い部分（輝度の低い部分）などに対してのみ補正を行うことがを意味する。

本実施の形態による立体表示装置１が備える表示手段８は、従来例で説明したパララクスバリア方式と同様に、光を遮光するスリットを表示するスリット表示用ＬＣＤを、画像を表示するＬＣＤの前面（又は背面）に設置することにより、視点の異なる画像を表示する表示手段である。この場合、複数の視点の画像を表示するには、各スリットの開口部の間隔が大きくなるようなスリットパターンをスリット表示用ＬＣＤに表示させれば良いが、このようにすると、光を遮光する遮光部の面積が大きくなることを意味する。この際、遮光部の面積が大きくなるのに比例して表示する画像の明るさは弱くなる。このことを予め考慮し、例えばＮ１の視点数で表示する表示装置に適した明るさになるように３Ｄ画像データが作成されていた場合、Ｎ１より小さい値であるＮ２の視点数で表示すると、明るさが明るくなりすぎるという問題がある。しかしながら、上記のようにして表示する画像データの輝度に対して、視点数Ｎ１とＮ２との違いに応じて算出された補正値を加算し明るさを調整することより、適切な明るさで立体画像を表示することができる。

図１０のステップＳ９において、表示視点数情報Ｎ２と、画像位置情報、画像データが、修正補正情報算出手段９−３に入力されると、修正補正情報算出手段９−３は、入力された画像データから各視点の画像データの輝度の平均値Ｒａ（ａは整数。１≦ａ≦Ｎ２）を求め、ステップＳ１０に進む。

ステップＳ１０において、修正補正情報算出手段９−３は、各視点の画像データの輝度の平均値のうち、画像位置情報が示す視点の平均値で全ての平均値を割った値ｑａ（ａは整数。１≦ａ≦Ｎ２）を修正補正情報として作成する。このときの修正補正情報は、画像位置情報が示す視点の画像データの明るさを１とした場合の、他の各視点の画像データの明るさの比に相当する。また、この際、輝度の平均の代わりに輝度の値の総和、又は輝度の値の最大値を用いても良い。ステップＳ１０で作成した修正補正情報と、表示視点数情報Ｎ２を出力し、ステップＳ１１に進み、ステップＳ８で作成された基準修正補正情報とステップ１０で修正された修正補正情報とに基づいて、輝度を補正する。

ステップＳ４からは、ステップＳ１２に進み状態ａ）輝度補正をせずに入力画像データをそのまま出力する。ステップＳ１１からは、ステップＳ１３に進み、状態ｂ）入力画像データが暗くなるように補正して出力するか、ステップＳ１４に進み、状態ｃ）入力画像データを明るくなるように補正して出力する。

以下に、ステップＳ１１における補正手段９−４の処理についてフローチャート図を用いて説明する。図１１は、ステップＳ１１における補正手段９−４の動作の流れを示すフローチャート図である。図１１に示すように、まず、ステップＳ１２において、表示視点数情報Ｎ２と、画像データと、基準補正情報と、修正補正情報と、が補正手段９−４（図９）に入力され、ステップＳ１３に進む。ステップＳ１３において、画像から補正対象の画素の輝度値を、左上から右下にかけて順に１画素ずつ選択し、かつ、補正情報カウントＣを１に設定し、ステップＳ１４に進む。ここで、補正情報カウントＣとは、現在使用する補正値が、補正情報内の補正パターンにおいて、いくつめのものであるかを示す情報とする（Ｃは整数。１≦Ｃ≦Ａ）。ステップＳ１４において、補正情報内のＣ番目にある輝度レベルをバッファＢ１に、補正値をＢ２にそれぞれ代入し、判定ステップＳ１５に進む。判定ステップＳ１５において、補正対象画素の輝度値が輝度レベルＢ１以上であるか否かを判定し、Ｂ１以上であれば（ＹＥＳ）ステップＳ１６に進み、Ｂ１未満であれば（ＮＯ）ステップＳ１８に進む。ステップＳ１６において、補正情報カウントＣを１だけインクリメントし、判定ステップＳ１７に進む。判定ステップＳ１７において、補正情報カウントＣが補正パターンの総数Ａより小さいか否かが判定され、小さければ（ＹＥＳ）ステップＳ１４へ戻り、そうでなければ（ＮＯ）判定ステップＳ２０へ進む。

判定ステップＳ２０において、補正対象画素が画像内の最後の画素か否かを判定し、最後の画像であれば（ＹＥＳ）補正した画像を出力して補正手段９−４の処理を終了し、そうでなければ（ＮＯ）補正処理を行なっていない残りの画素に対して補正を行なうためステップＳ１３に戻る。

ステップＳ１８に進んだ場合には、補正対象画素の水平方向における左端からの画素位置と表示視点数情報Ｎ２とから、どの位置の視点の画像かを求め、補正対象画素がどの視点の画像かを求める。次いで、修正補正情報から、求めた視点に対応する重み付け係数を選択し、ステップＳ１９に進む。ステップＳ１９において、求めた重み付け係数を補正値Ｂ２に乗算し、新しい補正値を作成する。この新しい補正値を補正対象画素の輝度値に加算し、加算した値が０より小さければ０に、２５５より大きければ２５５にクリッピングして、補正した輝度に変更した後、判定ステップＳ２０へ進む。

以上のように、補正手段９−４は、入力画像データの明るさが暗くなるように明るさが調整された画像データを出力する（状態ｂ）。

次に、ステップＳ８において、基準基準補正情報算出手段９−１は、視点数Ｎ１と表示視点数Ｎ２から基準補正情報を作成し補正手段９−４に出力し、ステップＳ９に進む。

このとき、ステップＳ８で算出される補正情報の例を表４に示す。

このときの各補正値Ｄｉを算出するための計算式は、視点数Ｎ１＞表示視点数Ｎ２であったステップＳ７の場合とは異なり、下記の（２）式を用いて、補正値Ｄｉを算出する。

Di = ｄ’i ― ｛（Ｎ２ − Ｎ１） × γi − Ｎ２ × ηi｝ (２)

ここで、ｄ‘ｉは補正パターンIｉの補正値の基本値であり、γi、ηiは重み係数である。例えば、ｄ’１＝１８、Ｎ１＝２、Ｎ２＝３、α１＝０．５、β１＝０．５とした場合、Ｄ１は２０となる。同様に、d’２＝８、Ｎ１＝２、Ｎ２＝３、α２＝０．５、β２＝０．５とした場合、Ｄ２は１０となる。同様に、ｄ’３＝３、Ｎ１＝２、Ｎ２＝３、α３＝０．５、β３＝０．５とした場合、Ｄ３は５となる。

また、補正値Ｄiの値は、Ｄ１で述べたように、定数であっても良いし、「元の画像の水平方向の視点数Ｎ１と、実際に表示する表示視点数Ｎ２との視点数の差」と、「表示視点数Ｎ２」との２つの値を入力として、これらの値に対応する補正値Ｄiを出力するようなテーブルをあらかじめ用意しておき、このテーブルから補正値Ｄiを決定してもよい。或いは、補正値Ｄｉは定数であっても良い。

ステップＳ７で説明したように、視点数Ｎ１の視点数で表示する表示装置に適した明るさになるように３Ｄ画像データが作成されていた場合、Ｎ１より大きい値であるＮ２の視点数で表示すると、スリットの遮光部の面積が大きくなり、表示する画像の明るさが暗くなる。しかし、上記のように、表示する画像データの輝度に対して補正値を加算して、明るさを強くすることより、適切な明るさで表示することが可能である。

以下、ステップＳ９からＳ１１までの動作に関しては既に説明済みである重複は避ける。以上のようにして、補正手段９−４は、補正した画像データを作成し出力する。

以上のように、補正手段９−４は、入力画像データの明るさが明るくなるように明るさが調整された画像データを出力する（状態ｃ）。

１）上述の補正値は、３Ｄ画像データの視点数Ｎ１と表示視点数Ｎ２との差分をとり、その差に合わせて作成された補正値であるため、さまざまな数の視点数をもつ３Ｄ画像データが入力された場合であっても、入力にあわせて、より細かく明るさの制御をすることにより、表示を適切な明るさで行うことが可能である。

２）また、実際に表示する視点数Ｎ２が大きくなればなるほど、スリットの遮光部の面積が大きくなり、その結果、表示が暗くなるため、Ｎ２の大きさに合わせて補正値を変更することにより、表示手段８の特性に合わせた明るさの調整を行なうことが可能である。

３）また、明るさの調整の際に、視点毎の画像データの画素の輝度値の平均を求め、代表画像情報が示す視点の画像の画素の輝度値の平均で、他の視点の画像の画素の輝度値の平均を割ったものを重み付け値として補正値に反映することにより、各視点の画像データの明るさが均等になるように調整される。従って、より見やすい立体表示が可能となる。さらに、この際に、代表画像情報が示す視点の画像の画素の輝度値の平均で割ったものを重み付けとして補正値に反映すると、同じ画像データを用いて表示する視点数が異なった場合であっても、一定の明るさで表示することができる。

また、複数の範囲の輝度の値を持つ画素毎に異なる明るさの調整を行なうことにより、局所的な領域毎に、画素の輝度の値に応じて、明るさを細かく調整することが可能である。

以上のようにして、明るさが調整された画像データが、表示手段８に入力される。表示手段８は、入力された画像データを、２Ｄもしくは３Ｄ表示する手段であり、かつ、３Ｄ表示の際、制御手段７により表示する画像の表示視点数を制御することができる手段である。

図１２は、表示手段８の動作を説明するための概念図である。

図１２の（Ａ）は、表示視点数Ｎ２＝２のときの表示手段８を、装置の上部から見た上面図である。例えば、表示手段８は、バックライト１００と、画像表示用ＬＣＤ１０１と、スリット表示用のＬＣＤ１０２と、を有して構成されている。この場合に、制御手段７がスリット表示用のＬＣＤ１０２を制御して、スリットの開口率や開口部分Ｓ１の周期を２視点用に設定したスリットのパターンを、スリット表示用のＬＣＤ１０２上に形成することにより、２つの視点の画像を表示させることができる。

図１２（Ｂ）は、表示視点数Ｎ２＝３のときの表示手段８を、装置の上部から見た図である。２視点のときと同様に、制御手段７がスリット表示用のＬＣＤ１０２を制御して、スリットの開口率や、開口部分Ｓ２の周期を３視点用に設定したスリットのパターンを、スリット表示用のＬＣＤ１０２上に形成することにより、３つの視点の画像を表示することができる。このようにして、表示手段８は、スリットのパターンを変えることにより、表示手段８は、表示視点数Ｎ２に合わせて表示する視点数を変更して、入力された画像データを表示することができる。

また、上記の補正手段９−４では、最終的に補正手段９−４で作成した補正値を入力画像データの画素の輝度に加算することにより、入力画像データを補正したが、この補正値を、輝度に対する重み付けの値として、入力画像データの輝度に乗算することにより補正を行なっても良い。

例えば、ステップＳ７で算出される補正情報の別の構成例を表５に示す。

表５において、このときの補正情報は、補正パターンの総数Ａが３、補正パターン１は、「０から５０（＝輝度レベルＬ１）までの画素の輝度値を９５（＝補正値 Ｄ１）％の明るさにする、つまり、０．９５を乗算することを意味する情報」、補正パターン２は、５１から２５５（＝輝度レベルＬ２）までの画素の輝度値を９０（＝補正値 Ｄ２）％の明るさにする、つまり、０．９を乗算することを意味する情報」となる。

このときの各補正値Ｄｉ（iは整数、１≦Iｉ≦Ａ）の算出方法の例について以下に説明する。補正値Ｄｉは（３）式から算出される。

Di = １００ - ｄi ＋ ｛（Ｎ２ − Ｎ１） × αi ＋ Ｎ２ × βi｝ (３)

ここで、ｄ１は補正パターンIｉの補正値の基本値であり、α、βは重み係数とする。
例えば、ｄ１＝７、Ｎ１＝４、Ｎ２＝２、α１＝０．５、β１＝０．５とした場合、Ｄ１は９５となる。同様に、d２＝１２、Ｎ１＝４、Ｎ２＝２、α２＝０．５、β２＝０．５とした場合、Ｄ２は９０となる。

このようにして、求めた補正値を、ステップＳ１１において入力画像データ内の画素の輝度の値に修正補正情報と共に乗算することにより補正を行なってもよい。

また、上記の補正手段９−４において補正を行なう際に、視点毎の画像データからそれぞれエッジを抽出してもよい。この際、抽出の方法は、従来の方法のいずれであっても良く、例えば、２次微分処理、ハフ変換や、張法、収縮法、延長跡法を用いた方法などが挙げられる。このようにしてエッジを抽出した後、エッジと判定された場所の画素及びその周辺の画素に関しては、補正を行わないようにしてもよい。この場合、エッジと判定された画素の４近傍の画素又は８近傍の画素などを周辺の画素の例として挙げることができる。このようにすることにより、エッジ部分に対しては明るさの調整を行わずにして、エッジでの表示のぼやけの発生を防止しつつ明るさ調整を行うことができる。

また、上記補正手段９−４において輝度を補正する際に、隣り合う視点の画像データから特定領域毎に視差を求め、その視差の値によって、さらに輝度の値に補正を行なってもよい。例えば、視差抽出手段を補正手段９−４の前段に設置し、入力画像データから、隣り合う視点の画像データを抜き出し、画像マッチングなどにより、特定領域毎に視差を求め、領域毎に求めた視差を補正手段９−４に入力してもよい。この場合、特定領域の視差が立体表示した画像が表示面よりも飛び出してみえる領域であることを示す場合は、その領域の明るさがさらに強くなるように補正の値をより大きくして補正を行なってもよい。逆に引っ込んでみえる領域である場合は明るさがさらに弱くなるように補正の値をより小さくして補正を行なってもよい。

また、飛び出してみえる領域であり、かつ、補正の値が正の値の場合のみ、その領域の明るさがさらに強くなるように補正の値をより大きくして補正を行なってもよいし、引っ込んでみえる領域であり、かつ、補正の値が負の値の場合のみ、その領域の明るさがさらに弱くなるように補正の値をより小さくして補正を行なってもよい。

また、飛び出してみえる領域であり、かつ、補正の値が負の値の場合、もしくは、引っ込んでみえる領域であり、かつ、補正の値が正の値の場合には、補正を行なわないようにしてもよい。立体画像は、一般的に、手前に飛び出した画像が明るいほど飛び出し感が強く、逆に奥に引っ込んだ画像が暗いほど奥行き感が強まる。そこで、上記のように、明るさの調整を行なう際に視差を考慮に入れることにより、明るさの調整により、立体感を協調することができ、また逆に立体感が弱まることを防ぐことができるという利点がある。

以上に説明したように、本実施の形態による立体表示装置によれば、視点数Ｎ(Ｎは１以上の整数)で適切な明るさになるように作成された入力画像データを、Ｎ以外の視点数の画像データに変換して表示する場合に、元の画像データの視点数と表示する視点数とに応じて明るさの調整をすることにより、立体画像をより見やすく表示することができる。

また、複数の範囲の輝度の値を持つ画素毎に異なる明るさの調整を行なうため、局所領域ごとに、かつ、画素の輝度の値に応じた、細かい明るさの調整が可能である。

また、本実施の形態による立体表示装置によれば、明るさの調整の際に、視点毎の画像データの画素の輝度値の平均を求め、他の視点の画像の画素の輝度値の平均を代表画像情報が示す視点の画像の画素の輝度値の平均で除算したものを重み付けとして、補正値に反映することにより、各視点の画像データの明るさが均等になるように調整されるため、より見やすい立体表示が可能となる。

さらに、この際に、代表画像情報が示す視点の画像の画素の輝度値の平均で割ったものを重み付けとして補正値に反映するため、同じ画像データを用いて表示する視点数が異なった場合であっても、一定の明るさで、表示することができるという利点がある。

本発明は、立体画像表示装置に利用可能である。

本発明の一実施の形態による立体画像表示装置の構成例を示す機能ブロック図である。 ３Ｄ画像データの一構成例を示す図である。 ３Ｄ制御情報の一構成例を示す図である。 ３Ｄ画像データ内の画像データの一構成例を示す図である。 ３Ｄ画像データ内の画像データの一構成例を示す図である。 表示画像作成手段が作成する出力画像データについて説明するための図である。 表示画像作成手段が作成する出力画像データについて説明するための図である。 表示画像作成手段が作成する出力画像データについて説明するための図である。 明るさ調整手段の構成例を示す機能ブロック図である。 明るさ調整手段の動作の流れを示すフローチャート図である。 補正手段の動作の流れを示すフローチャート図である。 図１２（Ａ）、（Ｂ）は、表示手段の動作を説明するための概念図である。 フィールドシーケンシャル方式を説明するための概念図である。 パララクスバリア方式を説明するための概念図である。

符号の説明

１ 立体画像表示装置
２ 分離手段
３ ３Ｄ制御情報解析手段
４ 画像データ復号手段
５ 表示画像作成手段
６ 明るさ調整手段
７ 制御手段
８ 表示手段
９−１ 基準補正情報算出手段
９−２ スイッチ
９−３ 修正補正情報算出手段
９−４ 補正手段
１００ バックライト
１０１ 画像表示用ＬＣＤ
１０２ スリット表示用ＬＣＤ
２００ 画像表示パネル
２０１ パララクスバリア
２０２ 右眼
２０３ 左眼

Claims (11)

1. 複数の視点の画像データを含む入力画像データに基づいて立体画像を表示する表示手段を備えた立体画像表示装置であって、
   前記表示手段に表示する視点数である第１の視点数と、前記入力画像データ内に含まれる視点数である第２の視点数と、に応じて表示の明るさを調整するための第１の補正情報を作成する第１の補正情報算出手段と、前記入力画像データ内の視点の異なる画像データ毎に明るさを調整するための第２の補正情報を作成する第２の補正情報算出手段と、作成された前記第１の補正情報と前記第２の補正情報とに基づいて入力画像データを補正する補正手段と、を有する明るさ調整手段を備えることを特徴とする立体画像表示装置。
2. 前記明るさ調整手段は、前記入力画像データに含まれる画素の輝度値に対して補正を行なうことにより、表示の明るさを調整する手段であることを特徴とする請求項１記載の立体画像表示装置。
3. 前記明るさ調整手段は、前記第１の視点数と、前記第２の視点数とのうち少なくとも一方に応じて明るさを調整するとともに、さらに、前記立体画像データ内の各視点の画像の明るさの違いが少なくなる方向に明るさを調整することを特徴とする請求項１又は２に記載の立体画像表示装置。
4. 前記明るさ調整手段は、前記輝度値を複数の異なるレベルに分類し、該異なるレベルに分類された輝度値に対して、それぞれ異なる補正を行なう手段であることを特徴とする請求項２又は３に記載の立体画像表示装置。
5. 前記複数のレベルの数が２であり、かつ、少なくとも一方のレベルに対しては補正を行なうことを特徴とする請求項４に記載の立体画像表示装置。
6. 前記第２の補正情報算出手段は、異なる視点の画像データ毎に輝度の平均を求め、基準の視点の画像データの輝度の平均との比を求め、前記比が一定になるように輝度の値を補正するための第２の補正情報を作成する手段を含むことを特徴とする請求項１に記載の立体画像表示装置。
7. 第２の補正情報算出手段は、前記基準の視点の画像データを、前記入力画像データ内に含まれる、いずれの視点が基準の視点であるかを示す代表画像情報から求める手段を含むことを特徴とする請求項６に記載の立体画像表示装置。
8. それぞれの画素の輝度値を前記代表画像情報が示す視点の画像の画素の輝度値の平均により除算した値を画素に対する重み付け値として補正値に反映することを特徴とする請求項７に記載の立体画像表示装置。
9. 複数の視点の画像データを含む入力画像データに基づいて立体画像を表示する表示手段を備えた立体画像表示装置であって、
   前記入力画像データを画像データと３次元制御情報とに分離する分離手段と、
   前記画像データを復号する画像データ復号手段と、
   前記３次元制御情報を解析し、垂直方向の視点数と、水平方向の視点数と、画像縦横比と、代表画像情報と、を含む情報を取得する３次元制御情報解析手段と、
   該画像データ復号手段の出力と前記３次元制御情報解析手段のうちの前記水平方向の視点数と、画像縦横比と、代表画像情報とが入力される表示画像作成手段と、
   該表示画像作成手段の出力と前記水平方向の視点数とが入力される明るさ調整手段と、
   該明るさ調整手段により調整される表示制御情報を入力する表示手段と、
   前記表示画像作成手段と、前記明るさ調整手段と、前記表示手段と、を制御する制御手段と
   を有することを特徴とする立体画像表示装置。
10. 複数の視点の画像データを含む入力画像データに基づいて立体画像を表示する立体画像表示方法であって、
    水平方向の視点数Ｎ１と、表示視点数Ｎ２と、が入力されたか否かを判定するステップと、
    両方が入力されたと判定された場合に、前記Ｎ１と前記Ｎ２とが等しいか否かを判定するステップと、
    前記Ｎ１と前記Ｎ２とが等しいと判定された場合に、補正は行なわずに入力画像データがそのまま出力画像データとして出力し、Ｎ１がＮ２より大きいと判定した場合は、前記Ｎ１と前記Ｎ２との違いに基づいて、前記入力画像データの各画素の輝度値に加算するための少なくとも一つ以上の補正値を求めるステップと、
    該補正値により明るさを調整し、調整後の明るさで立体画像を表示するステップと
    を有することを特徴とする立体画像表示方法。
11. 請求項１０に記載のステップをコンピュータに実行させるためのプログラム。

Images