JP2007067846A - 立体表示画像データの構造、立体表示画像データの記録方法、表示再生方法、記録プログラム、および表示再生プログラム - Google Patents

Abstract

【課題】 平行光線１次元ＩＰ方式の立体画像データを、画質劣化の少ない、高圧縮率の形式で記録し、効率よく展開・再生することを可能にする。
【解決手段】 視域内の同一視差方向の平行光線を生成させる画素が集積されているｎ枚或いはｎ枚より多い、横画素数の異なる視差成分画像データから成り、視差方向がｎだけ異なる１以上の視差成分画像が組み合わされた実質的に同一縦横画素数のｎ枚の連結画像を視差合成画像への変換単位とする。
【選択図】 図８

Description

本発明は、立体表示画像データの構造、立体表示画像データの記録方法、表示再生方法、記録プログラム、および表示再生プログラムに関する。

動画の立体表示が可能な立体視画像表示装置、所謂３次元ディスプレイには、種々の方式が知られている。近年、立体視画像表示装置では、特に、フラットパネルタイプで、且つ、専用の眼鏡等を必要としない方式の要望が高くなっている。直視型或いは投影型の液晶表示装置及びプラズマ表示装置等のフラットパネルタイプ表示装置では、その表示面における画素位置は、固定され、この表示パネルの直前に表示パネルからの光線を制御して観察者に向ける視差バリアが設置される方式が立体視画像表示装置を比較的容易に実現できるとされている。

視差バリアは、一般的にはパララクスバリアとも称せられ、視差バリア上の同一位置を観察した場合でも、角度により異なる画像が見えるように光線が制御される。具体的には、左右の視差（水平視差）のみが与えられる場合には、スリット或いはレンチキュラーシート（シリンドリカルレンズアレイ）が用いられ、上下の視差（垂直視差）も含める場合には、ピンホールアレイ或いはレンズアレイが用いられる。視差バリアを用いる方式にも、さらに２眼式、多眼式、超多眼式（超多眼条件が与えられた多眼式）、インテグラルフォトグラフィー（以下、ＩＰとも云う）に分類される。これらの基本的な原理は、１００年程度前に発明され立体写真に用いられてきたものと実質上同一である。

通常、ＩＰ方式においても、また、多眼方式においても、視距離が有限であるため、その視距離に透視投影画像が実際に見えるように表示画像が作成される。水平視差のみで、垂直視差のないＩＰ方式（１次元ＩＰ方式、例えば、非特許文献１参照）では、視差バリアの水平方向ピッチが画素の水平方向ピッチの整数倍（ｎ倍）に設定された場合、平行光線の組が生じる（以下、平行光線１次元ＩＰとも云う）。従って、平行光線の１組を構成する画素列を集積した視差成分画像は、垂直方向がある一定視距離の透視投影であり、水平方向が平行投影である画像である。垂直方向が透視投影で、水平方向が平行投影である各視差成分画像を画素列ごとに分割し、インターリーブ状に合成配置すれば視差合成画像が作成され、これを表示面に表示して視差バリアを通して観察すると、正しい投影すなわち水平方向・垂直方向とも透視投影の立体像が得られる。具体的な方法は、非特許文献１に開示されている。多眼方式では、単純な透視投影による画像を画素列ごとに分割しインターリーブ状に合成配置することにより、正しい投影の立体像が得られる。

なお、方向（垂直および水平）に応じて投影方法或いは投影中心距離を異ならせるような撮像装置は、平行投影の場合に被写体と同サイズのカメラ、或いはレンズが必要とされるため、実現が困難である。従って、撮像により、平行投影データを得るためには、透視投影の撮像データから平行投影データに変換する方法が現実的であり、ＥＰＩ（エピポーラ面）を用いた補間による方法である光線空間法などが知られている。

平行光線１次元ＩＰ方式は、２眼方式に比べ見やすいというメリットがあるが、投影方法並びに分割配置方法において画像フォーマットが複雑である。２眼及び多眼は、最も単純な立体画像表示であるため画像フォーマットも単純で、各視点画像は、全て同一縦横画素数で作成され、２眼なら２枚、９眼なら９枚の視差成分画像が画素列毎に分割されて、表示面に表示される画像形式である視差合成画像に合成されれば良いこととなる。

しかし、平行光線１次元ＩＰ方式では、略同一解像度を与える多眼方式に比較し、視差成分画像の枚数が多くなり、各視差成分画像の横画素数（使用する水平範囲）も視差方向により異なり、画像フォーマットが複雑となっている。これらの点を考慮し、効率的で画質劣化が少なく、圧縮率の高い立体表示画像記録方法が本発明者達によって提案されている（特願２００４−２８５２４６号）。

レンチキュラーシートの各シリンドリカルレンズは、垂直方向に延びるタイプのものだけでなく、斜め方向に延びるタイプも知られている（例えば、特許文献１参照）。斜めレンズタイプにも平行光線１次元ＩＰ方式が適用可能であることが本発明者らによって見いだされている（特願２００４−３２９７３号）。
ＳＩＤ０４ Ｄｉｇｅｓｔ １４３８ （２００４） 特表２００１−５０１０７３号公報

多眼方式においても、また、平行光線１次元ＩＰ方式においても、各視差情報がサブ画素単位で割り当てられる場合には、視差合成画像の形式の画像がＪＰＥＧ或いはＭＰＥＧ等の符号化方法により非可逆的に圧縮されると、視差情報が混合され、展開時に画質が劣化する問題がある。可逆圧縮の場合は、劣化の問題はないが、圧縮率が非可逆圧縮に比べかなり悪いという問題がある。また、視差成分画像を個別に非可逆圧縮・展開する方法は、多眼では、容易であるが、平行光線１次元ＩＰ方式では、視差成分画像の数が多く、その横画素数も異なることから、合理的な方法ではない。特に、垂直方向に対し斜めに延びるレンズの場合、さらにデータ形式や処理が複雑であり、解像度と処理速度の両立が困難である。

上述のように、従来の平行光線１次元ＩＰ方式の立体表示画像記録方法にあっては、圧縮率及び展開時の画質劣化に問題がある。

本発明は、上記事情を考慮してなされたものであり、垂直方向に対し斜めに延びるレンズを用いる平行光線１次元ＩＰ方式において、効率的で画質劣化が少なく、圧縮率の高い立体表示画像データの構造、記録方法、表示再生方法、記録プログラム、および表示再生プログラムを提供することを目的とする。

本発明の第１の態様による立体画像用データの構造は、第１水平ピッチで画素が水平方向に配列され、立体表示のための視差合成画像が表示される表示面を有する表示部と、この表示面に対向して配置され、前記水平ピッチのｎ（整数）倍に等しい第２の水平ピッチで水平方向に配置され垂直方向から傾いた方向に直線状光学的開口部を有し、前記表示面上の前記水平方向に沿うｎ個間隔の画素からの光線を平行光線として視域に向ける視差バリアと、を備え、水平方向に視差に与え、垂直方向に視差を与えないで視域に立体画像を表示させる立体画像表示装置のための立体画像用データの構造であって、
前記視域内の同一視差方向の平行光線を生成させる画素が集積されているｎ枚或いはｎ枚より多い、横画素数の異なる視差成分画像データから成り、視差方向がｎだけ異なる１以上の前記視差成分画像が組み合わされた実質的に同一縦横画素数のｎ枚の連結画像を視差合成画像への変換単位とすることを特徴とする。

また、本発明の第２の態様による立体画像用データを記録する方法は、第１水平ピッチで画素が水平方向に配列され、立体表示のための視差合成画像が表示される表示面を有する表示部と、この表示面に対向して配置され、前記水平ピッチのｎ（整数）倍に等しい第２の水平ピッチで水平方向に配置され垂直方向から傾いた方向に直線状光学的開口部を有し、前記表示面上の前記水平方向に沿うｎ個間隔の画素からの光線を平行光線として視域に向ける視差バリアと、を備え、水平方向に視差に与え、垂直方向に視差を与えないで視域に立体画像を表示させる立体画像表示装置のための立体画像用データを記録する方法であって、
前記視域内の同一視差方向の平行光線を生成させる画素が集積されているｎ枚或いはｎ枚より多い、横画素数の異なる視差成分画像データを用意するステップと、
視差方向がｎだけ異なる１以上の前記視差成分画像が組み合わされた実質的に同一縦横画素数のｎ枚の連結画像を視差合成画像への変換単位として記録するステップと、
を備えたことを特徴とする。

また、本発明の第３の態様による立体画像の表示再生方法は、第１水平ピッチで画素が水平方向に配列され、立体表示の為の視差合成画像が表示される表示面を有する表示部と、この表示面に対向して配置され、前記水平ピッチの整数ｎ倍に等しい第２の水平ピッチで水平方向に配置され垂直方向から傾いた方向に直線状光学的開口部を有し、前記表示面上の前記水平方向に沿うｎ個間隔の画素からの光線を平行光線として視域に向ける視差バリアと、を備えている立体画像表示装置に水平方向に視差に与え、垂直方向に視差を与えないで視域に立体画像を表示させる表示再生方法において、
前記視域内の同一視差方向の平行光線を生成させる画素が集積されているｎ枚或いはｎ枚より多い、横画素数の異なる視差成分画像データを用意するステップと、
視差方向がｎだけ異なる１以上の前記視差成分画像が組み合わされた実質的に同一縦横画素数のｎ枚の連結画像として記録するステップと、
このｎ枚の連結画像を視差合成画像へ変換して前記表示部に視差合成画像を表示するステップと、
を備えたことを特徴とする。

また、本発明の第４の態様による立体画像の表示再生方法は、第１水平ピッチで画素が水平方向に配列され、立体表示の為の視差合成画像が表示される表示面を有する表示部と、この表示面に対向して配置され、前記水平ピッチの整数ｎ倍に等しい第２の水平ピッチで水平方向に配置され垂直方向から傾いた方向に直線状光学的開口部を有し、前記表示面上の前記水平方向に沿うｎ個間隔の画素からの光線を平行光線として視域に向ける視差バリアと、を備えている立体画像表示装置に水平方向に視差に与え、垂直方向に視差を与えないで視域に立体画像を表示させる表示再生方法において、
前記視域内の同一視差方向の平行光線を生成させる画素が集積されているｎ枚或いはｎ枚より多い、横画素数の異なる視差成分画像データを用意するステップと、
視差方向がｎだけ異なる１以上の前記視差成分画像が組み合わされた実質的に同一縦横画素数のｎ枚の連結画像とした画像群をさらに連結した１枚の全連結画像として記録するステップと、
この１枚の全連結画像を視差合成画像へ変換して前記表示部に視差合成画像を表示するステップと、
を備えたことを特徴とする。

また、本発明の第５の態様による立体画像用データを記録するプログラムは、水平方向に視差に与え、垂直方向に視差を与えないで視域に立体画像を表示させる立体画像表示装置のための立体画像用データを記録するプログラムであって、
前記視域内の同一視差方向の平行光線を生成させる画素が集積されているｎ枚或いはｎ枚より多い、横画素数の異なる視差成分画像データを用意する手順と、
視差方向がｎだけ異なる１以上の前記視差成分画像が組み合わされた実質的に同一縦横画素数のｎ枚の連結画像を含む形式として記録する手順と、
をコンピュータに実行させる。

また、本発明の第６の態様による立体画像を表示させる表示再生プログラムは、水平方向に視差に与え、垂直方向に視差を与えないで視域に立体画像を表示させる表示再生プログラムにおいて、
前記視域内の同一視差方向の平行光線を生成させる画素が集積されているｎ枚或いはｎ枚より多い、横画素数の異なる視差成分画像データを用意する手順と、
視差方向がｎだけ異なる１以上の前記視差成分画像が組み合わされた実質的に同一縦横画素数のｎ枚の連結画像として記録する手順と、
このｎ枚の連結画像を視差合成画像へ変換して表示部に視差合成画像を表示する手順と、
をコンピュータに実行させる。

また、本発明の第７の態様による立体画像を表示させる表示再生プログラムは、水平方向に視差に与え、垂直方向に視差を与えないで視域に立体画像を表示させる表示再生プログラムにおいて、
前記視域内の同一視差方向の平行光線を生成させる画素が集積されているｎ枚或いはｎ枚より多い、横画素数の異なる視差成分画像データを用意する手順と、
視差方向がｎだけ異なる１以上の前記視差成分画像が組み合わされた実質的に同一縦横画素数のｎ枚の連結画像とした画像群をさらに連結した１枚の全連結画像として記録する手順と、
この１枚の全連結画像を視差合成画像へ変換して前記表示部に視差合成画像を表示する手順と、
をコンピュータに実行させる。

本発明によれば、垂直方向に対し斜めに延びるレンズを用いる平行光線１次元ＩＰ方式において、効率的で画質劣化が少なく圧縮率の高い記録及び再生が可能となる。

以下、図面を参照して、本発明の実施形態を説明する。
始めに、図１〜図７を参照して、ＩＰ方式に係る表示装置及び表示方法について説明する。

図１は、立体画像表示装置の全体を概略的に示す斜視図である。図１に示す立体画像を表示する表示装置は、平面画像としての視差合成画像を表示する平面画像表示部３３１を備えている。この平面画像表示部３３１の前面には、この表示部３３１からの光線を制御する視差バリア３３２が設けられている。この視差バリア３３２としては図２（ａ）に示すレンチキュラーシート３３４或いは図２（ｂ）に示すスリット板３３３がある。ここで、レンチキュラーシート３３４或いはスリット板３３３は、総称して視差バリア３３２と称する。ここで、視差バリアは、光学的開口を備え、視差バリアがレンチキュラーシート３３４であれば、光学的開口は、各シリンドリカルレンズに相当し、視差バリアがスリット板３３３であれば、光学的開口は、スリット板３３３に設けられたスリットに相当する。この視差バリア３３２の光学的開口は、立体画像が表示される視域に向けられる表示部３３１からの光線を実質的に制限し、表示部３３１上に表示される２次元的な画像を構成する各要素画像に対応して設けられている。従って、表示部３３１上に表示される視差合成画像は、視差バリア３３２の光学的開口の数に対応した数の要素画像から構成されている。その結果、要素画像が夫々視差バリア３３２の光学的開口を介して視域内の空間に向けて投影されることによって立体画像が立体画像表示装置の前面或いは背面に表示される。

尚、視差バリア３２２が、平面画像表示部３３１の背面側に設置されていてもよい。

この立体画像表示装置は、１次元ＩＰ方式であって、この１次元ＩＰ方式においては、想定した視距離Ｌ上の視点３４３から見ると、水平視差３４１が与えられるが、垂直視差３４２が与えられていない立体画像が観察される。ここで、図３（ａ）は、立体画像表示装置の前面と、駆動部３１０、記憶部３１２、および画像処理部３１４からなる制御部とを示し、図３（ｂ）は、立体画像表示装置の水平面内における光学系の配置並びに要素画像平均幅Ｐｅ、第２水平ピッチ（視差バリアの開口部の水平ピッチ）Ｐｓ、視距離Ｌ、視域幅Ｗの関係を示す直線群３４６を示し、図３（ｃ）は、図３（ａ）に示す立体画像表示装置の表示部３３１を基準とする視域空間における垂直面内の画角を概略的に示している。

図１及び図３（ｂ）に示すように、立体画像表示装置は、上述したように液晶表示素子等の平面画像を表示する平面画像表示部３３１と、光学的開口を有する視差バリア３３２とを備えている。視差バリア３３２は、図２（ａ）及び（ｂ）に示すような垂直方向から傾いた方向に光学的開口が直線状に伸び水平方向から傾いた方向に周期的に配列される形状のレンチュキュラーシート３３４或いはスリット板３３３で構成される。投射型の表示装置にあっては、この視差バリア３３２は、曲面鏡アレイなどで構成される。この立体画像表示装置においては、水平方向の視角３４１及び垂直方向の視角３４２の範囲内において、眼の位置３４３から視差バリア３３２を介して表示装置３３１が観察されて平面画像表示部３３１の前面及び背面に立体像を観察することができる。ここでは、平面画像表示部３３１の画素数は、正方形となる最小単位の画素群で数えた場合の一例として横方向（水平方向）が１９２０であり、縦方向（垂直方向）が１２００である。ここで、各最小単位の画素群は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の画素を含んでいるものとする。尚、この明細書において「画素」とは、表示面の１フレーム内で独立に輝度を制御できる最小単位を意味し、通常の直視透過型液晶パネルにおける赤（Ｒ）、緑（Ｇ）、青（Ｂ）のサブ画素が「画素」に該当することに注意されたい。

図３（ｂ）において、視差バリア３３２から視距離面３４３までの間の距離（視距離）Ｌ、視差バリアピッチ（視差バリア３３２の光学的開口の水平ピッチ）Ｐｓ、視差バリアギャップｄが定められれば、各要素画像の幅が定められる。即ち、要素画像の平均ピッチＰｅは、視距離面３４３上の視点から隣接する２つのアパーチャ（視差バリア３３２の光学的開口）の中心に向かう直線に沿ってそれぞれのアパーチャ中心を平面画像表示部３３１の表示面上に投影した点の間隔により決定される。符号３４６は、視点位置と各アパーチャ中心とを結ぶ線を示し、視域幅Ｗは、平面画像表示部３３１の表示面上で要素画像が互いに重なり合わないとの条件から決定される。既に説明したように、要素画像とは、視差バリア３３２の、ある光学的開口を通過して視差バリア３３２と視距離面３４３との間の視域に向けられる光線束を発生する画素の集合によって表示される２次元的な合成画像（視差合成画像の一部）に相当する。複数の要素画像が表示部３３１に表示されてこれが投影されることによって立体画像が表示される。

この視差合成画像は、駆動回路３１０からの表示信号で平面画像表示部３３１が駆動されて平面画像表示部３３１に表示される。この駆動回路３１０は、後に説明する視差成分画像群から構成される連結画像を圧縮して立体画像データとして記憶する記憶部３１２をその周辺装置として具備している。また、駆動回路３１０は、この記憶部３１２からの圧縮立体画像データを展開して無圧縮連結画像に変換し、さらに無圧縮連結画像から視差合成画像に変換し、画素データを抽出する画像処理部３１４をその周辺装置として具備している。

アパーチャの水平ピッチＰｓが画素ピッチＰｐの整数倍に定められている平行光線１次元ＩＰ方式においては、各アパーチャに対応して定められる立体画像の表示に寄与する要素画像の平均ピッチＰｅは、画素ピッチＰｐの整数倍とはならず、端数を伴う。アパーチャの水平ピッチＰｓが画素ピッチＰｐの整数倍に定められていない（平行光線群を形成しない）広義の１次元ＩＰ方式にあっても、一般的に要素画像の平均ピッチＰｅは、同様に画素ピッチＰｐの整数倍からずれた端数を伴う。これに対して、多眼方式では、要素画像の平均ピッチＰｅは、画素ピッチＰｐの整数倍に定められる。１次元ＩＰ方式において、アパーチャの水平ピッチＰｓを画素ピッチＰｐで除した整商を「視差数」と呼ぶことにする。

各要素画像は、図４（ａ）乃至図５（ｃ）を参照して説明するように各平行光線群の方向に対応する視差成分画像４２６から抜き出された画素列の集合で構成される。また、明らかなように１枚の立体画像を表示する為の視差合成画像４２７は、要素画像の集合（要素画像アレイとも称する）でもあり、この要素画像を構成する多数の視差成分画像４２６の集合（インターリーブ状に合成された集合）でもある。

図４（ａ）、（ｂ）及び（ｃ）は、平行光線１次元ＩＰ方式における視差成分画像に基づく視差合成画像の作成方法を示している。図４（ａ）に示されるように、表示される物体（被写体）４２１は、実際に立体画像表示装置の視差バリア３３２が置かれる面に配置される投影面４２２に投影される。１次元ＩＰにおいては、垂直方向が透視投影となり、水平方向が平行投影となるように、投影面４２２に平行で、且つ、視距離Ｌの面の中央に定められる投影中心線４２３に向かう投影線４２５に沿って投影される。この投影では、投影線が水平方向では互いに交わらないが、垂直方向では投影中心線４２３で交わる。この投影法により、投影面４２２上に、垂直方向が透視投影され、水平方向が平行投影された図４（ｂ）に示されるような被写体の像４２４が作成される。図４（ｂ）に示される被写体の像４２４は、図４（ａ）においては、符号１で示される投影方向４２８に投影される像に相当し、１次元ＩＰにあっては、図４（ａ）に示されるように複数の方向に投影される被写体の像４２４が必要とされる。

投影面４２２上に垂直方向が透視投影され、水平方向が平行投影される一方向分の画像に相当する投影画像すなわち視差成分画像４２６は、図４（ｂ）に示すように、垂直方向に沿う各画素列に分割され、各光学的開口（アパーチャ）に対応させる各要素画像に分配され、視差合成画像４２７内に配置される。視差成分画像４２６は、表示装置の表示面４２７における長さでいえば、アパーチャピッチＰｓ（光学的開口の水平ピッチＰｓ）の間隔だけ間隔が空けられ、互いに分離して配置される。各光学的開口は斜め方向であるため、視差成分画像４２６上の同一列は、視差合成画像上でおおむね垂直方向に配置されるが、各部分において光学的開口に合うように斜めに配置される。

各視差成分画像の必要解像度は、視差合成画像の１／（視差数）である。３Ｄ表示時の垂直解像度と水平解像度を一致させるには、視差数が整数ｍの２乗であり、視差合成画像に対する各視差成分画像の水平・垂直解像度をそれぞれ１／ｍにすると都合がよい。図５（ａ）、（ｂ）、（ｃ）は、視差数１６の例であり、視差合成画像４２７の水平画素数１９２０に対し、視差成分画像４２６の水平画素数は水平画素数１９２０の１／４の４８０であることを示している。図５（ａ）及び（ｂ）に示すように撮影時に取得された視差成分画像４２６（カメラ画像）の各ＲＧＢサブ画素は横方向（行方向）に配列されているが、各ＲＧＢのサブ画素からのサブ画素データは、視差合成画像４２７において斜め方向（光学的開口の方向となるべく一致する方向）に並べ替えられて斜め方向に沿う画素列に配分される。この変換配分によって、水平視差のみを持つ１次元ＩＰ方式における立体画像の表示における水平方向の解像度を高めることができる。

視差成分画像４２６の水平隣接画素（ＲＧＢの１組と水平隣接するＲＧＢの１組）は、視差合成画像４２７上において３ｍ個のサブ画素数だけ分離されて配置される。このような操作が他の投影方向４２８についても夫々繰り返されて図５（ｃ）に示すように表示面４２７に表示される２次元画像としての視差合成画像全体が完成される。投影方向４２８は、図４（ａ）には、−４，−３，−２，−１，１，２，３，４の８方向のみが示されているが、視距離により数十個の方向が必要とされ、図５（ａ）乃至図７に示す視差数１６の例では、２６方向が必要とされる。但し、投影された画像、即ち、視差成分画像４２６は、視差合成画像の画素列数の１／ｍがとりうる最大の画素列数であるが、そのうち各投影方向ごとにそれぞれ必要な範囲の列のみの画像データを作成すれば良く、必要な範囲は、図１０を参照して説明する範囲となる。

図４（ａ）に示される各投影方向は、視差番号で特定される視差成分画像４２６を観察する視差方向に対応し、各方向は、等角度を成すようには定められず、図１７を参照して説明するように視距離面上で投影中心（カメラ位置）の間隔が等間隔になるように設定される。即ち、カメラを投影中心線４２３上で等間隔に平行移動（向きは一定）して撮影することによって、投影中心の間隔が等間隔に設定される。

図６は、立体画像表示装置の一部分の構成を概略的に示す斜視図である。液晶パネルなどの平面状の視差画像表示部の表示面の前面に、視差バリア３３２として光学開口が斜め方向（角度＝ａｒｃｔａｎ（１／４））に延びるシリンドリカルレンズからなるレンチキュラーシート３３４が配置されている場合を示している。図６に示されるように表示装置の表示面には、縦横比が３：１の画素３４が横方向及び縦方向に夫々直線状にマトリクス状に配置され、各画素３４は、同一行内で横方向に赤（Ｒ）、緑（Ｇ）、青（Ｂ）が交互に並ぶように配列されている。この色配列は、一般にストライプ配列と呼ばれる。

図７は、図６に示される表示面における画素配列の一例を拡大して示す平面図である。この図７において、画素３４内に付された−８から８までの数字は、図４を参照して説明した視差成分画像を特定する視差番号を表し、隣接する視差番号は、斜め方向に隣接して割当てられている。図７に示される配列においては、縦周期は１６行であり、４行分が３Ｄ縦解像度に相当する。

図６に示される表示画面では、１２列４行の画素３４で１実効画素４３（この１実効画素４３は、図６において黒枠で示されている）が構成される。このような表示部の構造では、実効画素４３が４８画素からなることから、ＲＧＢの３画素を視差情報の最小単位とすると水平方向に１６視差を与える立体画像表示が可能となる。

平行光線１次元ＩＰ方式においては、画素ピッチＰｐの整数倍、例えば、１２画素ピッチが視差バリアピッチＰｓに等しく定められ、視差バリア３３２の光学開口を介して射出される光線には、平行光線の組が生ずる。このような設計においては、１２画素幅よりわずかに大きい間隔（例えば１２．０１６）で要素画像の境界が生じるが、実効画素が画素単位で定められることから、図７に示されるように、実効画素の幅は表示面内の水平位置に依存して１２列分（４８画素）或いは１２．７５列分（５１画素）に定められる。即ち、要素画像ピッチの平均値が１２画素幅より大きく、且つ、視差バリア３３２の水平ピッチが１２画素幅に定められる。また、４８画素からなる実効画素の形状も、表示面内の水平位置により変化する。図７には、水平方向で画面中央における要素画像（４８画素からなる実効画素）形状と、水平方向に中央から外れていった場合の実効画素形状（４８画素あるいは５１画素からなる）の５つの例を示している。

次に、表示部３３１に表示される視差合成画像を、圧縮に適した形式に変換した画像データの構成について、図８乃至図１７を参照して説明する。

図８は、本発明の一実施形態に係る立体表示画像の記録方法が適用される、立体表示画像の記録に適した同一縦横画素数のｎ枚（この例では、ｎ＝１６）の連結画像２を示している。ここでｎは、視差数に相当していることから、以下の説明において、視差数ｎと称する。夫々の連結画像２は、１枚、或いは数枚の視差成分画像４２６（＋１３〜＋１,−１〜−１３）の組み合わせによって構成されている。これらｎ枚の連結画像２は、平面画像表示部３３１に表示される１枚の視差合成画像４２６に容易に変換できるようにフォーマットされたデータ構造である。図４（ａ）乃至図５（ｃ）を参照して説明した視差成分画像の分割配置と同様な分割配置方法によってこの連結画像２を表示部３３１上に配分することによって視差合成画像に変換することができる。

この変換方法が、図９に示されている。視域の右端のカメラ画像（＃−８）を含む連結画像（図９では左端）の１行分の画像データを、視差合成画像の左端１列目から、１２画素おきに、ＲＧＢ画素を斜めに並べ替えながら右端まで配置し、視域の右端から２番目のカメラ画像（＃−７）を含む連結画像の１行分の画像データを、視差合成画像のすでに配置された画素に隣接かつ連続させ、１２画素おきに、ＲＧＢ画素を斜めに並べ替えながら右端まで配置し、このような変換を順次行い、最後に視域の左端のカメラ画像（＃８）を含む連結画像の１行分の画像データを、視差合成画像のすでに配置された画素に隣接かつ連続させ、１２画素おきに、ＲＧＢ画素を斜めに並べ替えながら、右端まで配置する。なお、図９においては、一部は画面からはみ出る。すなわち、連結画像１行分は視差合成画像の４行分の範囲に配置される。連結画像の２行目はほぼ同じ変換であるが、視差合成画像の左端の配置開始位置が３画素分右にシフトする。これは図７のような配置をとっていることによる。連結画像の３行目は、視差合成画像の左端の配置開始位置が６画素分左にシフトする以外は同じ変換である。連結画像の４行目は、視差合成画像の左端の配置開始位置が３画素分左にシフトする以外は同じ変換である。連結画像の５行目は、視差合成画像の左端の配置開始位置が１行目と同じになる。このように、連結画像の４行単位（視差合成画像の１６行単位）について周期的に同じ変換処理を行うことにより、視差合成画像の全面への配置が完了する。ただし後述するように、連結画像の行毎に異なる補間処理を伴う変換処理になる場合もある。

上述のように変換することにより、１６枚の連結画像は、多眼方式の１６視点画像と全く同じ処理で扱え、全く同じインターリーブ処理により視差合成画像に変換できる。ここで、図８に示される連結画像２の配列の形態で記憶媒体に記録され、或いは、図８に示される連結画像２の配列がフレーム配列としてフレーム内圧縮され、或いは、同様に他の連結画像２の配列としての他のフレームとの間での相関が取られてフレーム間圧縮される。さらに、隣接する連結画像間の相関を取って圧縮してもよく、これにより圧縮率は向上するが、展開処理負荷が高くなる。

なお、図８中の番号（１３〜１、−１〜−１３）は、視差成分画像４２６の番号（カメラ番号と同じ番号）を示している。従って、以下の説明において、連結画像２を特定するに際しては、視差成分画像４２６の番号（１３〜１、−１〜−１３）の組み合わせで説明されることに注意されたい。例えば、図８において、図中左上端に位置している連結画像２は、連結画像（−８、＋９）として特定され、また、３段目左端の連結画像２は、連結画像（＋１）として特定されるものとする。

平行光線が水平方向に射出される１次元ＩＰ方式では、表示面内に配列された画素（この例ではサブ画素）の水平ピッチの整数倍、例えば、１２倍に等しい水平ピッチで光学的開口部（レンチキュラー板の各シリンドリカルレンズ）が配置されるように直線状に延びる視差バリア３３２（レンチキュラー板）が表示パネルの前面に配置されている。

そして、１次元ＩＰ方式においては、表示面の水平方向に沿ってその整数倍としての１２個の間隔を開けた画素からの光線が平行光線として視野領域に向けられて立体像が再生される。同一視差方向の平行光線を構成する画素の組の画像データを集積した各視差成分画像４２６は、例えば、１６枚（＝１２×４（行）／３（色成分））より多く２６枚に定められる。そして、図１０に示すように＃−１３〜＃−１及び＃＋１〜＃＋１３の視差成分画像４２６は、夫々その水平方向の画素数（使用画素範囲）が異なっている。

図１０は、合計２６枚の各視差成分画像４２６を含むカメラ画像の使用画素範囲のサイズを示している。ここで、実線は、視差成分画像４２６の使用画素範囲を示し、破線は、立体表示時の表示解像度に等しいカメラ画像サイズ（撮像時の投影面に対応する縦横画素数）を示している。この縦横画素数は、横４８０×縦３００画素（サブ画素ではない）に定められている。各視差成分画像４２６は、縦画素数は、全て同一であるが、横画素数は、夫々異なり、具体的な値（横４８０画素のうち使用画素範囲）が図１１に示されている。視距離において立体像の観察可能な観察者位置（視域）は、２６カメラのうち中央の１６カメラの位置する幅に相当するが、この視域に入る範囲が使用画素範囲である。

図１０に示される連結画像２を構成する視差成分画像４２６は、図１７に示されるような投影面４２２（被写体４２１に合わせる焦点の面に相当）から想定視距離Ｌだけ離間して配置されたカメラによって、共通の投影面４２２の範囲に撮影された画像から分離されて得られる。すべてのカメラは平行に向いており、かつ共通投影面であることから、あおりレンズ撮影あるいは広角撮影後の切り出しという撮影方法となる。

図１７においては、各カメラの撮影位置は、図１０に付されたカメラ番号（＃１〜＃１３、＃−１〜＃−１３）で示されている。カメラ番号（視差方向番号）は、図１０に示すように、ｎが偶数の場合は０番を除き、表示面４２２の正面中央に対して対称に正負の番号を付するものとする。カメラが被写体４２１から想定視距離Ｌだけ離間した水平方向の撮影基準線上を等間隔で移動されて同一投影面範囲で被写体４２１を撮影すると、被写体４２１を含む空間の領域が撮影される。カメラ番号＃１及びカメラ番号＃−１では、水平方向の撮影基準線上の略中央に位置することから、このカメラ番号＃１及びカメラ番号＃−１で撮影された撮影画像は、全範囲が（立体画像表示時の）視域内に入り、カメラ番号＃１及びカメラ番号＃−１の全画素範囲が＃−１及び＃＋１の視差成分画像４２６として利用される。カメラ番号が増加或いは減少するに従って、投影面４２２への撮影画像のうち視域に入らない範囲が増加し、視差成分画像４２６としての使用画素範囲が減少され、撮影画像中に占める視差成分画像４２６として利用されない不要画素範囲が増加される。例えば、カメラ番号＃８及びカメラ番号＃−８で撮影された撮影画像は、画角はほとんど変わらないが、視域に入る範囲が約１／２となり、視差成分画像４２６は、撮影画像の略１／２の横画素範囲となり、その他は、視域内に表示されるべき立体表示に関しては不要画素範囲となる。

図１０は、撮影画像と視差成分画像４２６との関係を示し、この図１０に示されるようにカメラ番号が増加或いは減少するに従って撮影画像から分離される視差成分画像４２６として使用される横画素範囲が減少し、不要画素範囲が増加する。カメラが水平方向の撮影基準線上を等間隔で移動される場合には、撮影画像から分離される視差成分画像４２６として使用される画素範囲及び視差成分画像４２６として利用されない不要画素範囲との間には、図１０に示されるように互いにその画素範囲に関して相補的な関係にある視差成分画像４２６の範囲及び不要範囲が生じている。例えば、カメラ番号＃−５で撮影された撮影画像には、視差成分画像４２６の範囲及び不要範囲が生ずるが、この不要範囲は、カメラ番号＃１２で撮影された撮影画像の視差成分画像４２６範囲に等しくなる。従って、カメラ番号＃−５及び＃１２で撮影された撮影画像の視差成分画像４２６の組み合わせは、カメラ番号＃１で撮影された撮影画像の視差成分画像４２６の縦横画素数に等しくなる。

図８に示される連結画像２は、図１０に示される撮影画像から分離される視差成分画像４２６が組み合わされて同一の縦横画素数に定められている。図１０に示される各視差成分画像４２６のサイズ（縦横画素数）の比較から明らかなように、隣接視差方向の数が１６だけ異なる１枚乃至数枚ずつ組み合わせると、すべて同一縦横画素数の１６枚の連結画像２に変換することができる。例えば、図８の左上に示される連結画像２は、視差方向の番号が１６だけ離れている−８番と９番の組み合わせに相当し、右上の連結画像２は、視差方向の番号が１６だけ離れている−５番と１２番の組み合わせに相当する。視域外に位置されるカメラ番号で撮影された撮影画像から分離された視差成分画像４２６が視域内の視差成分画像４２６に組み合わされるが、連結部分（縦の境界線）は立体表示時における視域端に相当し、特に視差が小さい画像であれば視差成分画像４２６の絵柄も比較的、連結部分における連続性が高くなる。したがって、連結画像を非可逆圧縮し展開しても、連結部分での画質劣化が少なくすむ。一部の連結画像２（１６枚中番号＃−３〜＃３の６枚）は、１枚の視差成分画像４２６からのみ構成されている。また、各連結画像２は、縦横画素数が全く同一であることから、多眼方式の表示装置における多眼データと全く同様に処理することが出来る利点もある。

図１１は、各視差成分画像４２６の具体的な横画素数（水平画素（サブ画素でない）範囲）を示す表であるが、この数字は同時に３Ｄ画素番号（レンズ番号）範囲でもある。これは、想定した視距離Ｌにより決定される要素画像平均幅（１２画素幅よりわずかに大きい）から計算によって作成される。この図１１に示される表から明らかなように視差方向を特定する視差番号−１３番（図１２におけるカメラ番号−１３番に相当）の画像は、図１０に示すカメラ撮影画像において、横４８０画素列のうち２列目から３０列目の画素の領域のみのサイズであり、２９画素幅分に相当している。この２９画素幅のデータが、視差合成画像の所定範囲に、１２画素おきに分割され、視差成分画像において横に並んでいたＲＧＢの３画素が斜めに並べ替えられて配置される。

同様に視差方向−１１番の視差画像は、図１０に示すカメラ撮影画像において、横４８０画素列のうち２列目から１２３列目の画素の領域のみのサイズであり、１２２画素幅分に相当している。この１２２画素幅のデータが表示部３３１上に表示される視差合成画像の所定範囲に、１２画素おきに分割され、ＲＧＢの３画素が斜めに並べ替えられて配置される。

図８に示される連結画像２は、一例として視差番号−１３及び視差番号４が組みあわされているが、視差番号−１３及び視差番号４の組み合わせに係る領域幅（横画素数）の合計は、２９＋４５１＝４８０である。また、図８に示される連結画像２は、別の一例として視差番号−１１及び視差番号６が組みあわされているが、視差番号−１１及び視差番号６の組み合わせに係る領域幅の合計は、１２２＋３５８＝４８０である。同様に他の組み合わせに係る領域幅は、すべてその合計幅が４８０となっている。

上述した説明において、各視差成分画像４２６は、垂直方向が想定視距離Ｌ、或いは、その近傍の視距離に対応した透視投影でありかつ水平方向が平行投影である画像であることが設計上正しいことになるが、垂直方向及び水平方向とも透視投影であっても、立体像の歪が目立たない場合には許容される。

図１２は、図８に示される１６枚の連結画像２を更に直線に沿って連結して１枚の全連結画像とした例を示している。この全連結画像は、隣接視差方向を含む連結画像２が水平方向に隣接するように連結して構成される。この例では、表示面の正面に近い１６視差方向の両端の視差方向（−８番と８番）を含む２枚の連結画像２が全連結画像の両端に配置されている。この形式は、多眼方式の表示装置における多眼データと略同様の処理により視差合成画像に変換できるうえ、想定視距離を変えた場合のカメラ数増減にも依存しないことから、高速変換および汎用性という観点で好適な構造に相当している。

図１３に示すように、図８に示される１６枚の同一縦横画素数を有する連結画像２が水平方向及び垂直方向に組み合わされてタイル状に配置されて互いに連結されても良い。このタイル状の全連結画像は、立体像表示時に表示面に表示される視差合成画像と同一縦横画素数になるように定められても良い。このように最終表示画像である視差合成画像と同一の縦横画素数であれば、ＭＰＥＧ２等の規格に沿う形式で圧縮記録が可能となる。即ち、図１３に示されるタイル状全連結画像がフレームとして用意され、複数のフレームで立体視可能な動画を再生するような場合において、フレーム間圧縮並びにフレーム内圧縮を適用することができる。

各視差成分画像４２６の左右端は、立体表示時に画面端或いは視域端のいずれかに相当し、各連結画像内での視差成分画像連結部分は視域端、連結画像同士の連結部分は画面端に相当している。非可逆圧縮では、一定のブロックサイズごとに符号化が行われるが、連結画像同士の連結部分は多くの場合ブロック境界に一致する。

また、各連結画像内での視差成分画像連結部分はブロック境界に一致しない場合が多いが、視域端（隣接ローブとの境界）ではもともと立体像自体が分裂して正常に見えないため、画質が劣化しても問題ない。

したがって、全連結画像を非可逆圧縮し展開しても、連結部分での画質劣化の立体像に対する影響が抑えられる。

この形式は、多眼方式の表示装置における多眼データと略同様の処理により視差合成画像に変換できるうえ、想定視距離を変えた場合のカメラ数増減にも依存しないことから、高速変換および汎用性という観点で好適な構造に相当している。

図１３の全連結画像から視差合成画像への変換も図９と同様である。この変換は、光学的開口部が斜めでない垂直タイプの場合は、同じ縦横画素数の画像間の１対１写像となるが、斜めの場合には、画素行ごとに光線方向が異なることを考慮し、連結画像内の水平方向に隣接する１つ乃至複数の画素を元にした補間処理により前記視差合成画像の各画素データを生成することが必要である。連結画像の変換元画素のｘ座標、ｙ座標をＸ_ｉｎ，Ｙ_ｉｎ、変換先の視差合成画像の画素のｘ座標、ｙ座標をＸ_ｏｕｔ，Ｙ_ｏｕｔとすると、例えば、

ｋ ＝ （２ｂ−３−Ｙ_ｉｎ） ％ ｂ ＋ １
Ｐ（Ｘ_ｏｕｔ） ＝ （ｋＰ（Ｘ_ｉｎ）＋（ｂ−ｋ）Ｐ（Ｘ_ｉｎ＋１）） ／ ｂ

のような線形補間処理によって求められる。ここで、各座標Ｘ_ｉｎ，Ｙ_ｉｎ，Ｘ_ｏｕｔ，Ｙ_ｏｕｔは整数値であり、演算記号「％」は、剰余（整数値）を求める演算を表し、上述の演算「（２ｂ−３−Ｙ_ｉｎ） ％ ｂ」は、（２ｂ−３−Ｙ_ｉｎ）をｂで除算したときの剰余（整数）を表している。また、Ｐ（Ｘ）は、座標Ｘの画素の画像データを表している。なお、係数ｂについては、ｂの２乗が視差数に相当し、１６視差の場合ｂ＝４、２５視差の場合ｂ＝５となる。上記線形補間処理は高速である。なお、上記視差合成画像の各画素データの生成は、ピクセルシェーダによる処理も可能である。

なお、上記変換の際に、図１３の４段構造の各段の中で同じ位置の各４行ずつを取り出して１６行にまとめた中間フォーマットを経由すると、この変換は１６行内で閉じた写像となるため、処理系によってはこの中間フォーマットを使用するほうがよい場合もある。図１３の形式および補間を利用した変換処理は、実写画像や既存多視点画像の処理に適する。この場合、各視差成分画像は通常の正方サンプリングされた画像である。

図１４に示すように、全連結画像内の連結画像が平行四辺形であり、かつ１つの光学的開口部に対応する画像データが連結画像内において縦１列をなして配列されていてもよい。すなわち、各連結画像は、絵柄が斜めにひずんだ状態になるが、斜めに延びる光学的開口部に対しては連続性が高い形式である。このような配置にすることにより、非可逆圧縮記録時における画質劣化が少ないまま、フレーム間圧縮並びにフレーム内圧縮を適用することができ、視差合成画像への変換処理は、図９と同様に連結画像の１行が視差合成画像の４行に対応する１対１写像となって、図１３の場合のような補間処理は不要となる。けれども、視差合成画像の各行での変換処理の周期性がなくなるため、処理は多少複雑になる。しかし、ＣＧ（コンピュータグラフィクス）では視差合成画像の行による光線方向の違いを考慮した縦分割レンダリングが可能であるため、図１４の形式や１対１写像の変換はＣＧの場合に適する。この場合、各視差成分画像は光学的開口部の傾きに合わせた斜めサンプリングされた画像である。実写画像や既存多視点画像のようにもともと正方サンプリングされた画像の場合は、図１４の全連結画像を形成する段階において補間処理を行うことにより対応できる。

図１５に示すように、各連結画像が、水平解像度の１／ｍの垂直解像度であるｍ枚の視差成分画像を縦にｍ段に積層した構造であっても良い。ｍ分割された各視差成分画像は、光学的開口部の縦周期（この例では１６行）おきの行を抜き出して集めたものに相当する。すなわち、ｍ分割された個々の画像は、縦方向に１／ｍにつぶれた絵柄になっている。このような配置にすることにより、特に視差合成画像のサイズが大きい場合に非可逆圧縮記録時における画質劣化が少ないまま、フレーム間圧縮並びにフレーム内圧縮を適用することができ、視差合成画像への変換処理は、図９と同様に連結画像の１行が視差合成画像の４行に対応する１対１写像となる。けれども、視差合成画像の各行での変換処理の周期性がなくなるため、処理は多少複雑になる。しかしＣＧでは視差合成画像の行による光線方向の違いを考慮した縦分割レンダリングが可能であるため、図１４の形式や１対１写像の変換はＣＧの場合に適する。この場合、各視差成分画像は光学的開口部の傾きに合わせた斜めサンプリングされた画像である。実写画像や既存多視点画像のようにもともと正方サンプリングされた画像の場合は、図１５の全連結画像を形成する段階において補間処理を行うことにより対応できる。

図８に示されるような連結画像は、平面的に配列された全連結画像に限らず、光線空間法により定義される直方体状の光線空間として連結された状態に構成されても良い。この直方体上の仮想空間上で、圧縮記録や補間などの処理が可能である。

図１６を参照して立体表示画像データの記録および表示再生方法について説明する。図１６は、この発明の上述した実施形態に係る立体表示画像記録方法で作られた連結画像２、或いは、全連結画像を非可逆圧縮して記録し、読み出し・展開し並べ替えて再生する記録・再生方法の概略を示している。

図１７を参照して説明したように始めに各カメラ位置（１３〜１，−１〜−１３）において、立体画像として表示されるべき被写体４２１が撮影されて図１０に破線で示されるようなカメラ画像が獲得される。

このカメラ画像から図１０に実線で示されるような必要十分な縦横画素数である視差成分画像４２１が、切り出しおよびリサイズ処理によって抽出される（ステップＳ１１）。この視差成分画像４２１から図１０に示すように視差数と同じ番号だけ離れた視差番号の視差成分画像４２１が組み合わされて連結画像が作られ、この連結画像が組み合せ配列されて図８、図１３に示すように全連結画像（無圧縮）が合成される（ステップＳ１２）。

ＣＧのモデルデータから画像を生成する場合は、行ごとに方向の異なる平行光線の組に対応して縦分割レンダリングを行い（ステップＳ１０）、合成して全連結画像（無圧縮）に変換する（ステップＳ１２）。これらの変換にはあらかじめ用意した視差配置マップを使用してもよい。視差配置マップは、縦方向の周期性を考慮し、最小単位の行数（例えば１６行）分を保持すれば十分である。この全連結画像は、ＪＰＥＧなどの高圧縮率の非可逆符号化方式により圧縮される。表示すべき立体画像が動画である場合には、ＭＰＥＧなどの高圧縮率の非可逆符号化方式により時間的に隣接する他の全連結画像と当該全連結画像との相関が取られて同様に圧縮されても良い。

圧縮された全連結画像のデータは、記憶媒体或いは図３（ａ）に示される記憶部３１２に記憶されて保存される（ステップＳ１３）。

再生に際しては、図３（ａ）に示される画像処理部３１４で圧縮された全連結画像が伸長されて連結画像の配列に相当する全連結画像に展開される（ステップＳ１４）。この全連結画像の連結画像から光学的開口（アパーチャ）に対応させる視差成分画像４２６の画素列データが取り出されて図９に示すように所定ピッチでその画素列データがフレームメモリ（図示せず）に並べ替えられる。

全連結画像から視差成分画像４２６の形式にフレームメモリ上において並べ替えられると、図４（ｃ）に示すような視差合成画像の全体が完成される（ステップＳ１５）。

この視差合成画像は、表示部３３１に表示されて視域に向けて立体画像が表示される。なお、遠隔サーバからの配信（ストリーミング）の場合は、記憶部と画像処理部は互いに遠隔地にある。

無圧縮の全連結画像から、圧縮処理を経ずに直接視差合成画像に変換し表示してもよい。これはリアルタイム変換処理に使用される。

なお、図１２乃至図１５の全連結画像は、例えば連結画像（−２）が連結画像（−１）の位置に、連結画像（−１）が連結画像（１）の位置に、というように、全ての連結画像を１つずつずらしたうえで視差合成画像に変換すると、視域が（この場合視域幅の１／１６）ずれた立体像表示となる。この処理を視域の微調整やヘッドトラッキングなどに利用することも可能である。

以上説明した方法においては、互いに同一縦横画素数の連結画像２に変換した上で圧縮することにより、想定視距離を変化させた場合の視差方向数増減や画素数範囲変動にも影響されず、画質劣化が最小限に防止される。特に、連結画像２が互いに相関を有するような配置及び組み合わせを採用することにより、より圧縮率を高めることができる。

次に、図１６を参照して説明した立体表示画像データの記録または表示再生方法を実行するプログラムは、図１８および図１９に示すコンピュータシステムによって実行される。

図１８において、コンピュータシステム１３０は、ＣＰＵおよびＧＰＵを含むコンピュータ本体１３１と、例えばＬＣＤ等の表示装置１３２と、キーボードやマウス等の入力装置１３３と、印刷を実行するプリンタ１３４と、を備えている。

コンピュータ本体１３１は、図１９に示すように、ＲＡＭより構成される内部メモリ１３５と、内蔵または外付け可能な記録ディスクドライブ１３６と、を備えており、記録ディスクドライブ１３６としてはフロッピディスク（ＦＤ）ドライブ１３７，光学ディスクドライブ１３８，ハードディスクドライブ（ＨＤ）ユニット１３９が搭載されている。図１８に示すように、これらの記録ディスクドライブ１３６に用いられる記録媒体１４０としては、ＦＤドライブ１３７のスロットに挿入されて使用されるフロッピディスク（ＦＤ）１４１と、光学ディスクドライブ１３８に用いられるＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ１４２等が用いられる。記録媒体としては、その他の光学的記録ディスク、カードメモリ、磁気テープ等の、コンピュータで読み取り可能な記録媒体であっても良いことは云うまでもない。

また、上述のプログラムを、インターネット等のネットワークに接続されたリモートコンピュータ上に格納し、ネットワーク経由で圧縮形式の画像をダウンロードさせ、ローカルコンピュータにより展開・並べ替えを行うように構成しても良い。

また、上述のプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

以上述べたように、本発明の一実施形態によれば、垂直方向に対し斜めに延びるレンズを用いる平行光線１次元ＩＰ方式において、効率的で画質劣化が少なく圧縮率の高い記録及び再生が可能となる。本発明の一実施形態による立体画像用データ構造並びに記録方法は、一般的なＭＰＥＧデータなどと同様、記録媒体への記録に限らず、有線・無線の通信手段を利用した配信、いわゆるストリーミング等にも適用可能である。

尚、この発明は、上記実施形態そのままに限定されるものでなく、実施段階では、その要旨を逸脱しない範囲で構成要素を変形して具体化できる。

また、上記実施形態に開示されている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除しても良い。更に、異なる実施形態に亘る構成要素を適宜組み合わせても良い。

この発明の一実施形態による立体表示画像の記録方法及び再生方法が適用される立体画像表示装置の全体の概略を示す斜視図。 図１に示される視差バリアとしてのレンチキュラーシート及びスリット板を概略的に示す斜視図である。 この発明の一実施形態による立体表示画像の記録方法及び再生方法が適用される立体表示画像を模示的に示す図。 この発明の一実施形態による平行光線１次元ＩＰ方式における視差成分画像に基づく視差合成画像の構成方法を示す説明図。 この発明の一実施形態に係る撮影時に取得された視差成分画像の視差合成画像への配分方法を概略的に示す説明図。 この発明の立体表示画像の記録方法及び再生方法が適用される立体画像表示装置の一部分の構成を概略的に示す斜視図。 図６に示される表示画面における要素画像および実効画素の画素配列の一例を拡大して概略的に示す平面図。 この発明の一実施形態による立体表示画像の記録方法に適用される立体表示画像を記録するのに適した同一縦横画素数の連結画像の配列を示す平面図。 この発明の一実施形態による連結画像群の視差合成画像への配分方法を概略的に示す説明図。 この発明の実施形態による立体表示画像記録方法における各視差成分画像を概略的に示す平面図。 この発明の実施形態による立体表示画像記録方法における各視差成分画像のデータ範囲と視差合成画像内の配置位置を示す図。 この発明の実施形態の変形例による立体表示画像記録方法における全連結画像の形式を概略的に示す平面図。 この発明の他の実施形態による立体表示画像記録方法における全連結画像の形式を概略的に示す平面図。 この発明のまた他の実施形態による立体表示画像記録方法における全連結画像の形式を概略的に示す平面図。 この発明の更に他の実施形態による立体表示画像記録方法における各視差成分画像を示す図。 この発明の上述した実施形態による立体表示画像記録方法で作られた連結画像或いは、全連結画像を非可逆圧縮して記録し、読み出し・展開し並べ替えて再生する記録・再生方法の概略を示す図。 図１０に示される各視差成分画像を獲得するための撮影方法を説明する為の模式図。 本発明の一実施形態による立体表示画像データの記録または表示再生プログラムが実行されるコンピュータシステムの一例を示す斜視図。 本発明の一実施形態による立体表示画像データの記録または表示再生プログラムが実行されるコンピュータシステムの一例を示すブロック図。

符号の説明

２ 連結画像
３４ 画素
４３ 立体画像表示時の実効画素
３３１ 平面画像表示部
３３２ 視差バリア
３３３ スリット
３３４ レンチキュラー板
３３５ 画素
３４１ 水平方向の視角
３４２ 垂直方向の視角
３４３ 視距離面
３４６ 視点とアパーチャ中心を結ぶ線
３６３ 視差画像の番号
３６４ アパーチャの番号
３６５ 表示装置の表示面上の画素列
４２１ 表示される物体（被写体）
４２２ 投影面
４２３ 投影中心線
４２４ 投影面上に投影された被写体
４２５ 投影線
４２６ 投影面上に投影された一方向分の視差成分画像
４２７ 一方向分の視差成分画像が分割配置された、表示面の視差合成画像
４２８ 投影方向
４２９ カメラ

Claims (19)

1. 第１水平ピッチで画素が水平方向に配列され、立体表示のための視差合成画像が表示される表示面を有する表示部と、この表示面に対向して配置され、前記水平ピッチのｎ（整数）倍に等しい第２の水平ピッチで水平方向に配置され垂直方向から傾いた方向に直線状光学的開口部を有し、前記表示面上の前記水平方向に沿うｎ個間隔の画素からの光線を平行光線として視域に向ける視差バリアと、を備え、水平方向に視差に与え、垂直方向に視差を与えないで視域に立体画像を表示させる立体画像表示装置のための立体画像用データの構造であって、
   前記視域内の同一視差方向の平行光線を生成させる画素が集積されているｎ枚或いはｎ枚より多い、横画素数の異なる視差成分画像データから成り、視差方向がｎだけ異なる１以上の前記視差成分画像が組み合わされた実質的に同一縦横画素数のｎ枚の連結画像を視差合成画像への変換単位とすることを特徴とする立体画像用データの構造。
2. 第１水平ピッチで画素が水平方向に配列され、立体表示のための視差合成画像が表示される表示面を有する表示部と、この表示面に対向して配置され、前記水平ピッチのｎ（整数）倍に等しい第２の水平ピッチで水平方向に配置され垂直方向から傾いた方向に直線状光学的開口部を有し、前記表示面上の前記水平方向に沿うｎ個間隔の画素からの光線を平行光線として視域に向ける視差バリアと、を備え、水平方向に視差に与え、垂直方向に視差を与えないで視域に立体画像を表示させる立体画像表示装置のための立体画像用データを記録する方法であって、
   前記視域内の同一視差方向の平行光線を生成させる画素が集積されているｎ枚或いはｎ枚より多い、横画素数の異なる視差成分画像データを用意するステップと、
   視差方向がｎだけ異なる１以上の前記視差成分画像が組み合わされた実質的に同一縦横画素数のｎ枚の連結画像を視差合成画像への変換単位として記録するステップと、
   を備えたことを特徴とする立体画像用データの記録方法。
3. 前記各連結画像が平行四辺形であり、かつ１つの前記直線状光学的開口部に対応する画像データが連結画像内において縦１列をなして配列されていることを特徴とする請求項２記載の立体画像用データの記録方法。
4. 前記各連結画像が、水平解像度の１／ｍの垂直解像度であるｍ枚の視差成分画像を縦にｍ段に積層した構造であることを特徴とする請求項２記載の立体画像用データの記録方法。
5. 前記各視差成分画像の垂直方向が略前記視距離に対応した透視投影であり、且つ、水平方向が平行投影であることを特徴とする請求項２乃至４のいずれかに記載の立体画像用データの記録方法。
6. 前記各視差成分画像の垂直方向及び水平方向とも透視投影であることを特徴とする請求項２乃至４のいずれかに記載の立体画像用データの記録方法。
7. 前記ｎ枚の連結画像をさらに連結した１枚の全連結画像として記録することを特徴とする請求項２乃至６のいずれかに記載の立体画像用データの記録方法。
8. 前記全連結画像は、隣接視差方向を含む連結画像が水平方向に隣接するように連結して構成されることを特徴とする請求項７記載の立体画像用データの記録方法。
9. 前記全連結画像は、隣接視差方向を含む連結画像が水平方向に隣接するように連結して構成され、前記表示面の正面に近いｎ視差方向の両端の視差方向を含む２枚の連結画像が全連結画像の両端に配置されることを特徴とする請求項８記載の立体画像用データの記録方法。
10. 前記全連結画像は、前記連結画像を水平方向及び垂直方向にタイル状に連結して構成されることを特徴とする請求項２乃至９のいずれかに記載の立体画像用データの記録方法。
11. 前記全連結画像は、立体像表示時に表示面に表示される視差合成画像と同一縦横画素数であることを特徴とする請求項２乃至１０のいずれかに記載の立体画像用データの記録方法。
12. 前記全連結画像は、光線空間法により定義される直方体状の光線空間として構成されることを特徴とする請求項７記載の立体画像用データの記録方法。
13. 前記連結画像、或いは、前記全連結画像が非可逆圧縮して記録されることを特徴とする請求項２乃至１２のいずれかに記載の立体画像用データの記録方法。
14. 第１水平ピッチで画素が水平方向に配列され、立体表示の為の視差合成画像が表示される表示面を有する表示部と、この表示面に対向して配置され、前記水平ピッチのｎ（整数）倍に等しい第２の水平ピッチで水平方向に配置され垂直方向から傾いた方向に直線状光学的開口部を有し、前記表示面上の前記水平方向に沿うｎ個間隔の画素からの光線を平行光線として視域に向ける視差バリアと、を備えている立体画像表示装置に水平方向に視差に与え、垂直方向に視差を与えないで視域に立体画像を表示させる表示再生方法において、
    前記視域内の同一視差方向の平行光線を前記画素に生成させる画素が集積されているｎ枚或いはｎ枚より多い、横画素数の異なる視差成分画像データを用意するステップと、
    視差方向がｎだけ異なる１以上の前記視差成分画像が組み合わされた実質的に同一縦横画素数のｎ枚の連結画像として記録するステップと、
    このｎ枚の連結画像を視差合成画像へ変換して前記表示部に視差合成画像を表示するステップと、
    を備えたことを特徴とする立体画像の表示再生方法。
15. 第１水平ピッチで画素が水平方向に配列され、立体表示の為の視差合成画像が表示される表示面を有する表示部と、この表示面に対向して配置され、前記水平ピッチのｎ（整数）倍に等しい第２の水平ピッチで水平方向に配置され垂直方向から傾いた方向に直線状光学的開口部を有し、前記表示面上の前記水平方向に沿うｎ個間隔の画素からの光線を平行光線として視域に向ける視差バリアと、を備えている立体画像表示装置に水平方向に視差に与え、垂直方向に視差を与えないで視域に立体画像を表示させる表示再生方法において、
    前記視域内の同一視差方向の平行光線を前記画素に生成させる画素が集積されているｎ枚或いはｎ枚より多い、横画素数の異なる視差成分画像データを用意するステップと、
    視差方向がｎだけ異なる１以上の前記視差成分画像が組み合わされた実質的に同一縦横画素数のｎ枚の連結画像とした画像群をさらに連結した１枚の全連結画像として記録するステップと、
    この１枚の全連結画像を視差合成画像へ変換して前記表示部に視差合成画像を表示するステップと、
    を備えたことを特徴とする立体画像の表示再生方法。
16. 前記各連結画像が前記視差合成画像と同一アスペクト比の矩形であり、かつ前記視差合成画像への変換処理が、前記各連結画像内の水平方向に隣接する１つ乃至複数の画素を元にした補間処理により前記視差合成画像の各画素データを生成する処理であることを特徴とする請求項１４または１５記載の立体画像の表示再生方法。
17. 水平方向に視差に与え、垂直方向に視差を与えないで視域に立体画像を表示させる立体画像表示装置のための立体画像用データを記録するプログラムであって、
    前記視域内の同一視差方向の平行光線を生成させる画素が集積されているｎ枚或いはｎ枚より多い、横画素数の異なる視差成分画像データを用意する手順と、
    視差方向がｎだけ異なる１以上の前記視差成分画像が組み合わされた実質的に同一縦横画素数のｎ枚の連結画像を含む形式として記録する手順と、
    をコンピュータに実行させる立体画像用データの記録プログラム。
18. 水平方向に視差に与え、垂直方向に視差を与えないで視域に立体画像を表示させる表示再生プログラムにおいて、
    前記視域内の同一視差方向の平行光線を生成させる画素が集積されているｎ枚或いはｎ枚より多い、横画素数の異なる視差成分画像データを用意する手順と、
    視差方向がｎだけ異なる１以上の前記視差成分画像が組み合わされた実質的に同一縦横画素数のｎ枚の連結画像として記録する手順と、
    このｎ枚の連結画像を視差合成画像へ変換して表示部に視差合成画像を表示する手順と、
    をコンピュータに実行させる立体画像の表示再生プログラム。
19. 水平方向に視差に与え、垂直方向に視差を与えないで視域に立体画像を表示させる表示再生プログラムにおいて、
    前記視域内の同一視差方向の平行光線を生成させる画素が集積されているｎ枚或いはｎ枚より多い、横画素数の異なる視差成分画像データを用意する手順と、
    視差方向がｎだけ異なる１以上の前記視差成分画像が組み合わされた実質的に同一縦横画素数のｎ枚の連結画像とした画像群をさらに連結した１枚の全連結画像として記録する手順と、
    この１枚の全連結画像を視差合成画像へ変換して前記表示部に視差合成画像を表示する手順と、
    をコンピュータに実行させる立体画像の表示再生プログラム。

Images