JP2005101797A - 立体表示システム - Google Patents

Abstract

【課題】 従来は要素画像を表示装置に入力するため、画像の表示サイズを変更する場合、表示サイズの数だけレンズ群又はピンホール群の種類が存在しなければならず、画像サイズ変更や多画面表示などにおいて正しい立体表示を行う自由度が著しく阻害される。
【解決手段】 要素画像生成部１５は、入力された２次元の画像データ（テクスチャ信号）ａと奥行き情報ｂをそれぞれフレームメモリに蓄積した後、表示対象（＝再生像）をＩＰ方式の表示部１７のレンズ群からの奥行きＺｓの大きなものから小さいものへと順に、要素サイズに合わせるためのサイズ変更を行いながら上書きする。続いて、各要素における上記のテクスチャの欠損を、同要素内の非欠損部分の画素値の平均によって補間して要素画像１６を生成する。この要素画像１６に基づいて、表示部１７は諸条件に適合した要素画像を自由に生成してＩＰ方式で立体再生画像を表示することができる。
【選択図】 図４

Description

本発明は立体表示システムに係り、特にレンズ群又はピンホール群を使用した立体表示装置で表示する立体表示システムに関する。

任意の視点から自由に自然な立体視が可能な立体表示装置の一種として、平面状に配列された凸レンズ群あるいはピンホール群を用いたインテグラルフォトグラフィ（ＩＰ：Integral Photography）が知られている。ＩＰは１９０８年にリップマン（Lippmann）により考案された立体写真技術であり、立体視のための視覚要因である輻輳・調節・両眼視差・運動視差のすべてを満足し得ることが確認されたものの、レンズ群の製造の困難さ、レンズ群と同サイズの写真乾板の必要性などといった問題から、動画像の記録・再生・伝送への使用は長らく実現しなかった。

１９９０年代に至り、写真乾板を電子技術で置き換えた３次元動画像の記録・再生・伝送技術が日本放送協会の研究グループにより開示され、立体テレビ（ＴＶ）の実現可能性が示された（例えば、特許文献１、非特許文献１参照）。例えば、特許文献１には、一平面上に配列された複数の凸レンズからなるレンズ群、又は一平面上に配列された複数のピンホールからなるピンホール群と、このレンズ群の各レンズ又はピンホール群の各ピンホールで撮影したそれぞれの画像の全てを同時に撮像するように配置されたテレビジョンカメラが開示されている。

更に、同研究グループからＩＰ方式の映像信号の符号化方式も提案されている（例えば、特許文献２、特許文献３参照）。例えば、特許文献２には、ＩＰ方式のテレビカメラから出力される被写体の複数の要素画像を、要素画像毎に符号化する符号化手段を備えた符号化装置が開示されている。

また、特許文献３には、ＩＰ方式のテレビカメラから出力されるＩＰ信号の符号化を行うに際し、現行の表示フレームの画像信号、及び現行の表示フレームよりも時間的な前の表示フレームの画像信号を用いて画像信号間の相関を利用した符号化を行うフレーム間符号化と、現行の表示フレームに閉じた範囲内の画像信号を用いて符号化を行うフレーム内符号化と、複数の要素画像に対応する複数の画像信号を用いて画像信号間の相関を利用した符号化を行う画素画像間符号化とを並行させ、それらの符号化の出力のうち符号化効率が最大の符号化出力を選択する構成の符号化装置が開示されている。

特開平０８−２８９３２９号公報 特開２００２−３００６００号公報 特開２００２−３００６０７号公報 B.Javidi,F.Okano Editors,"Three-Dimensional Television,Video,and Display Technologies"Springer-Verlag(2002),P101〜P123

ところで、上記の特許文献１記載の従来の立体表示装置では、撮像においても、表示と同様の一平面上に配列された複数の凸レンズからなるレンズ群又は複数のピンホール群を用いる。これらのレンズ群又はピンホール群が結像した実像をハイビジョンカメラで撮影したものが要素画像になる。このため、要素画像の１つのレンズ又はピンホールに相当する部分（以下、“要素”とする）の画素数及び配置は、レンズ数・レンズ配置・カメラの画素数によって決定される。また、奥行きはレンズ群又はピンホール群とカメラの位置関係により決定される。

このため、要素画像を伝送・記録・編集するという前提では、画像の表示サイズを変更する場合、当然ながら要素のサイズが比例して変化するので、それに応じて表示側のレンズ径・ピッチを変更しなければならないという問題が生じる。また、奥行きも表示サイズに応じて変化させねばならないので、ピンホール群とカメラの位置関係やレンズの焦点距離も変更しなければならない。これは表示サイズの数だけレンズ群又はピンホール群の種類が存在しなければならないということを意味し、パーソナルコンピュータのような画像サイズの変更が一般的なもののみならず、テレビジョン受像機などにおいてもピクチャ・イン・ピクチャ（Picture in Picture）や多画面表示などにおいて正しい立体表示を行う自由度が著しく阻害される。

また、要素画像はＩＰに特化されたものであるため、それから奥行き情報を除去して高解像度の非立体画像を生成し、奥行き情報を抽出して視差を計算してステレオ画像を生成させることは従来では困難もしくは不可能である。

更に、要素画像はレンズ群又はピンホール群を介して捉えた映像であるため、要素単位の独立性が高く、要素間の相関性は低い。このように要素画像は通常の画像の一般的性質とは異なるため、従来は前記の特許文献２及び特許文献３記載の符号化装置のように要素単位の信号処理を基本として符号化を行わなければならず、従来の符号化技術をそのまま適用できない。

本発明は以上の点に鑑みなされたもので、通常の２次元の画像（テクスチャ）とそれに対応する奥行き情報を用いることにより、表示側の諸条件に適合した要素画像を表示側で自由に生成することが可能な立体表示システムを提供することを目的とする。

また、本発明の他の目的は、奥行きデータを用いて両眼視差を計算してステレオペアを作ることや、奥行きデータを棄却して非立体映像を生成することが容易な立体表示システムを提供することにある。

更に、本発明の他の目的は、既存の符号化技術をそのまま適用して符号化可能な立体表示システムを提供することにある。

本発明は上記の目的を達成するため、所望のコンテンツを再生する際に、複眼形状の立体再生用レンズ、又は複数のピンホール群を再生用レンズとして、前記所望のコンテンツより前記再生用レンズに結像するために得た要素画像を用いて立体視を可能とする立体表示システムにおいて、所望のコンテンツの２次元の画像データとそれに対応する奥行き情報とからなる画像信号を入力する入力手段と、入力手段により入力された画像信号から２次元の画像データと奥行き情報とを分離して別々に記憶する分離・記憶手段と、分離・記憶手段から出力された２次元の画像データと奥行き情報とを用いて、要素画像を生成する要素画像生成手段と、要素画像生成手段により生成された要素画像に基づき、複眼形状の立体再生用レンズ又は複数のピンホール群を再生用レンズとして用いて立体再生画像を表示する表示部とを有する構成としたものである。

この発明では、入力手段により伝送路、記録装置又は編集装置を介して入力された２次元の画像データ(テクスチャ信号)と、それに対応する奥行き情報とを用いて要素画像を生成し、その要素画像に基づき、複眼形状の立体再生用レンズ又は複数のピンホール群を再生用レンズとして用いて立体再生画像を表示部で表示するようにしたため、表示部の諸条件に適合した要素画像を生成して立体視することができる。

本発明によれば、２次元の画像データ(テクスチャ信号)と、それに対応する奥行き情報とを用いて要素画像を生成するようにしたため、表示サイズを含め表示部の諸条件に適合した要素画像を自由に生成してＩＰ方式で立体再生画像を表示することができる。

また、本発明によれば、テクスチャ信号と奥行き情報とが別々に存在するため、奥行き情報を用いて両眼視差を計算してステレオペアを作ることや、奥行き情報を棄却して非立体映像を生成することが容易である。これは、本発明がＩＰ以外のディスプレイ、すなわちステレオディスプレイや非立体ディスプレイとも互換性が高いことを意味する。

更に、本発明によれば、テクスチャ信号は従来の通常の２次元画像と同一であるため、入力手段に入力されるテクスチャ信号に対しては、既存の符号化技術をそのまま適用した符号化が可能である。

次に、本発明を実施するための最良の形態について図面と共に説明する。図１は本発明になる立体表示システムの第１の実施の形態のブロック図を示す。この実施の形態では、撮像装置、記録装置、編集装置等の信号源１により、コンテンツの２次元の画像データ（テクスチャ信号）と距離データ（奥行き情報）とからなる画像信号が発生され、この画像信号が伝送路２を通して伝送されて立体表示装置３に供給され、立体表示される。

ここで、上記のテクスチャ信号は、従来の三原色（ＲＧＢ）、ＹＵＶのようなカラー画像データ、モノクロ画像データを問わない。また、上記の奥行き情報としては、最も単純なものはテクスチャに対応する部分のカメラからの距離（距離画像）があるが、ステレオ画像から求めた視差のデータ（視差画像）であっても、距離を算出し得る情報であるから、奥行き情報として使用可能である。

また、上記の信号源１としては、非特許文献２（http://broadcastengineering.com/ar/broadcasting-applied_technology_dv/）に記載の”Ｚｃａｍ”のようなテクスチャと奥行き情報を同時に撮影・出力するような公知の撮像装置や、あるいは公知のステレオカメラの出力を画像処理により奥行き推定を行い、テクスチャとともに出力するといった手段も考えられる。なお、上記のステレオカメラは、カメラを複数台用いて撮像し、各カメラからそれぞれ出力される全部で複数枚の画像（テクスチャ）上で同一の物体がどこに写っているかをもとに、三角測量の原理で距離を求め、画像処理では、一方の画像に写った点が他方の画像のどこに写っているかを広範囲に探し出し、その変位（視差）と基線長から距離を推定する。ステレオカメラからは複数枚のテクスチャとそれに対応する距離画像が出力される。

また、立体表示装置３は後述するが、一平面上に配列された複数の凸レンズからなるレンズ群（すなわち、複眼形状の立体再生用レンズ）又は一平面上に配列された複数のピンホール群を立体再生用レンズとして用いて立体再生画像を表示する表示装置である。ここで、通常の立体表示装置で立体表示する信号は、入力される以前にステレオ画像であったり、ＩＰの場合は要素画像であったりするが、本実施の形態では、コンテンツの２次元の画像データ（テクスチャ信号）と距離データ（奥行き情報）とからなる伝送信号が立体表示装置３に供給され、奥行き情報の利用は立体表示装置３にまかされる点に特徴がある。すなわち、立体表示装置３は、ステレオのディスプレイの場合ステレオ表示し、ＩＰのディスプレイの場合ＩＰ表示する。また、非立体ディスプレイは非立体表示する。

図２は本発明になる立体表示システムの第２の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付してある。図２において、撮像装置、記録装置、編集装置等の信号源１により、コンテンツの２次元の画像データ（テクスチャ信号）と距離データ（奥行き情報）とからなる画像信号が発生され、この画像信号が記録装置５に供給されて記録媒体に記録される。記録装置５により記録されたテクスチャと奥行き情報とからなる信号は、記録媒体から再生されて立体表示装置３に供給され、ここで立体表示される。

本実施の形態は、記録装置５は要素画像の状態で記録媒体に記録するのではなく、コンテンツの２次元の画像データ（テクスチャ信号）と距離データ（奥行き情報）とからなる画像信号を記録媒体に記録し、記録媒体に記録した画像信号を立体表示装置３に供給し、要素画像の生成は上記のテクスチャとそれに対応する奥行き情報を用いて立体表示装置３で行う点に特徴がある。

図３は本発明になる立体表示システムの第３の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付してある。図３において、撮像装置、記録装置、編集装置等の信号源１により、コンテンツの２次元の画像データ（テクスチャ信号）と距離データ（奥行き情報）とからなる編集用画像信号が発生され、この編集用画像信号が編集装置７に供給されて任意に編集される。編集装置７により編集されたテクスチャと奥行き情報とからなる編集後の画像信号は、編集装置７から出力されて立体表示装置３に供給され、ここで編集後の画像が立体表示される。

本実施の形態は、編集装置７は要素画像の状態で編集するのではなく、コンテンツの２次元の画像データ（テクスチャ信号）と距離データ（奥行き情報）とからなる画像信号の編集を行い、編集後の画像信号を立体表示装置３に供給し、要素画像の生成は上記のテクスチャとそれに対応する奥行き情報を用いて立体表示装置３で行う点に特徴がある。

次に、図１〜図３に示した立体表示装置３の構成及び動作について更に詳細に説明する。図４は本発明になる立体表示システムの要部をなす立体表示装置の一実施の形態のブロック図を示す。同図において、コンテンツの２次元の画像データ（テクスチャ信号）と距離データ（奥行き情報）とからなる画像信号１１は、テクスチャ・奥行き情報分離部１２に供給され、ここでテクスチャ信号と奥行き情報に分離され、分離されたテクスチャ信号はテクスチャメモリ１３に蓄積され、分離された奥行き情報は奥行き情報メモリ１４に蓄積される。

テクスチャメモリ１３に蓄積されたテクスチャ信号と、奥行き情報メモリ１４に蓄積された奥行き情報は、後述するように要素単位に要素画像生成部１５にて処理されて要素画像１６として生成され、表示部１７に供給されて表示される。

次に、上記の要素画像生成部１５における処理について、図５のフローチャートと共に詳細に説明する。要素画像生成部１５は、入力されたテクスチャ信号ａと奥行き情報ｂをそれぞれフレームメモリに蓄積し、各レンズ単位に図５のステップＳ１の処理とステップＳ２の補間処理を順次に施して要素画像を得る。なお、ここにおける奥行き情報ｂは、ステレオマッチングやレーザレンジセンサなどにより実測されたデータでも擬似立体画像生成などの技術で推定されたものでもマニュアルに指定したものでも構わない。

ここで、図４の表示部１７が図６に示すように、一平面上に配列された複数の凸レンズからなるレンズ群２１の前方から、レンズ群２１を通して画像表示面２２上の要素２３を見ると、立体再生像２４が画像表示面２２の奥にそれぞれ虚像を表示するタイプのＩＰ型表示装置（非特許文献１のｐ.１０８，Ｆｉｇ．４−８参照）であるときには、実際に表示したい奥行きの与えられたテクスチャが表示対象になるので、実際の処理としては、再生像２４の位置に表示対象が現れるというように考え、この表示対象をレンズ又はピンホール単位に距離に応じて縮小することで要素画像の各要素を生成することができる。

具体的には、図５のステップＳ１において、表示対象（＝再生像）を図６のレンズ群２１からの奥行きＺｓの大きなものから小さいものへと順に、要素サイズに合わせるためのサイズ変更を行いながら上書きする。このとき、レンズ群２１と表示面２２の距離はｇｒであるので、三角形の相似関係から、表示対象のテクスチャは表示面上ｇｒ／Ｚｓのサイズに縮小される。この処理は要素単位に行われる。

すなわち、奥行き情報がＺｓの部分については相当部分のテクスチャのサイズをｇｒ／Ｚｓ倍するが、Ｚｓが小さい（距離が近い）ほどｇｒ／Ｚｓは大きくなるので、サイズ変更されたテクスチャ同士がオーバーラップしてしまう恐れがある。このような場合、手前のものを優先するために、図５のステップＳ１ではＺｓが大きいものから処理をして、Ｚｓを低減して上書きする。

従って、このステップＳ１では、例えば、ｇｒ＝９ｍｍ、Ｚｓ１＝９０ｍｍ、Ｚｓ２＝８９ｍｍ、Ｚｓ３＝８８ｍｍの場合、まず、Ｚｓ１の奥行きに相当するテクスチャを9/90倍に縮小して要素画像上に書込み、続いて、Ｚｓ２の奥行きに相当するテクスチャを9/89倍に縮小して要素画像上に上書きし、続いて、Ｚｓ３の奥行きに相当するテクスチャを9/88倍に縮小して要素画像上に上書きするといった操作を繰り返す。

ところで、図６の例の場合、奥行きは単一の平面なので単純に表示対象のテクスチャをｇｒ／Ｚｓのサイズに縮小するのみであるため、要素２３においてもテクスチャの欠損が生じないが、現実には多くの場合奥行きに凹凸が存在し、テクスチャ欠損の問題が生じる。

このテクスチャ欠損について図７を用いて説明する。図７中、図６と同一構成部分には同一符号を付してある。図７は図６のレンズ群２１を構成する複数の凸レンズのうちの任意の１つの凸レンズ２１−ｎを拡大すると共に、表示対象を凹凸のあるテクスチャとしたものである。図７において、要素２３の範囲内に三種類のテクスチャ、ｔＡ，ｔＢ，ｔＣが存在し、それらの奥行きをＺｓａ，Ｚｓｂ，Ｚｓｃとする。このとき、図６と共に説明したと同様のテクスチャの縮小が各テクスチャｔＡ，ｔＢ，ｔＣに施されて、それぞれ表示面２２上にｇｒ／Ｚｓａ，ｇｒ／Ｚｓｂ，ｇｒ／Ｚｓｃに縮小されて表示されるが、このような凹凸のあるテクスチャの場合、段差部分（ｔＡ，ｔＢ，ｔＣ間の段差）にはテクスチャが元々無いので、図７に示すように奥行きが変化する部分について表示面２２上にテクスチャ欠損２６、２７が発生することが分かる。

そこで、本実施の形態の立体表示装置３内の要素画像生成部１５では、図５のステップＳ２において、各要素における上記のテクスチャの欠損を、同要素内の非欠損部分の画素値の平均によって補間する。

例えば、図７のテクスチャｔＡが縮小された部分の要素における画素値をＲａ（ｉ，ｊ），Ｇａ（ｉ，ｊ），Ｂａ（ｉ，ｊ）とし、この部分の画素数をｎａとし、同様に、テクスチャｔＢの画素値をＲｂ（ｉ，ｊ），Ｇｂ（ｉ，ｊ），Ｂｂ（ｉ，ｊ）、画素数をｎｂとし、テクスチャｔＣの画素値をＲｃ（ｉ，ｊ），Ｇｃ（ｉ，ｊ），Ｂｃ（ｉ，ｊ）、画素数をｎｃとした場合、被補間部分の画素値Ｒｉ（ｉ，ｊ），Ｇｉ（ｉ，ｊ），Ｂｉ（ｉ，ｊ）は次式で表される。なお、画素単位にデータの存在する画素をカウントすることにより、ｎａ＋ｎｂ＋ｎｃが求まる。

なお、上記の方法以外に、要素内の非欠損画素の画素値の正規分布統計量（平均・分散）を計算し、この統計量に基づくランダム雑音（同一要素内の非欠損部分の画素値と類似した特性を持つ雑音）によって欠損部分を補間する手法も考えることができる。

本実施の形態の立体表示装置３内の要素画像生成部１５では、図５のステップＳ２において上記のようにテクスチャ欠損部分の補間を行った後、補間後のテクスチャとそれに対応する奥行き情報からＩＰ方式で立体視可能な要素画像１６を生成する（図５のステップＳ３）。

このように、本実施の形態によれば、通常の２次元の画像データ（テクスチャ信号）とそれに対応する奥行き情報からなる画像信号を立体表示装置３に入力することにより、立体表示装置３では表示側の諸条件に適合した要素画像を１６を生成し、その要素画像１６を用いてＩＰ方式で立体視することができる。この場合、表示サイズを変更しても略正しい立体表示ができる。また、本実施の形態では、テクスチャ信号と奥行き情報とが別々に存在するため、奥行き情報を用いて両眼視差を計算してステレオペアを作ることや、奥行き情報を棄却して非立体映像を生成することが容易である。更に、本実施の形態によれば、テクスチャ信号は従来の通常の２次元画像と同一であるため、既存の符号化技術をそのまま適用して符号化可能である。

なお、図６及び図７のＩＰ型表示装置では、複数の凸レンズからなるレンズ群２１を用いているが、複数のピンホール群を用いた構成でも本発明を適用できることは勿論である。

また、以上の実施の形態は立体表示システムについて説明したが、本発明は伝送方法、記録方法、編集方法にも適用できる。すなわち、本発明の伝送方法は、所望のコンテンツを再生する際に、複眼形状の立体再生用レンズ、又は複数のピンホール群を再生用レンズとして、前記所望のコンテンツより前記再生用レンズに結像するために得た要素画像を用いて立体視を可能とする立体表示装置におけるコンテンツの伝送方法において、要素画像の状態で伝送するのではなく、コンテンツの２次元の画像データ（テクスチャ信号）と距離データ（奥行き情報）とからなる伝送信号を伝送する。

また、本発明の記録方法は、所望のコンテンツを再生する際に、複眼形状の立体再生用レンズ、又は複数のピンホール群を再生用レンズとして、前記所望のコンテンツより前記再生用レンズに結像するために得た要素画像を用いて立体視を可能とする立体表示装置におけるコンテンツの記録方法において、要素画像の状態で記録するのではなく、コンテンツの２次元の画像データ（テクスチャ信号）とそれに対応する距離データ（奥行き情報）の状態で記録する。

更に、本発明の編集方法は、所望のコンテンツを再生する際に、複眼形状の立体再生用レンズ、又は複数のピンホール群を再生用レンズとして、前記所望のコンテンツより前記再生用レンズに結像するために得た要素画像を用いて立体視を可能とする立体表示装置におけるコンテンツの編集方法において、要素画像の状態で記録するのではなく、コンテンツの２次元の画像データ（テクスチャ信号）とそれに対応する距離データ（奥行き情報）の状態で編集を行う。上記の伝送方法、記録方法及び編集方法の何れも要素画像の生成は、伝送、記録又は編集された２次元の画像データと距離データを用いて表示装置側で行う。

本発明システムの第１の実施の形態のブロック図である。 本発明システムの第２の実施の形態のブロック図である。 本発明システムの第３の実施の形態のブロック図である。 本発明システムの要部の立体表示装置の一実施の形態のブロック図である。 図４中の要素画像生成部の動作説明用フローチャートである。 表示面の奥に虚像を表示するタイプのＩＰ型表示装置の一例の構成図である。 ＩＰ型表示装置においてテクスチャの欠損が生じることを説明する図である。

符号の説明

１ 撮像装置、記録装置、編集装置等の信号源
２ 伝送路
３ 立体表示装置
５ 記録装置
７ 編集装置
１２ テクスチャ・奥行き情報分離部
１３ テクスチャメモリ
１４ 奥行き情報メモリ
１５ 要素画像生成部
１６ 表示部
２１ レンズ群
２２ 表示面
２３ 要素
２６、２７ テクスチャ欠損

Claims (1)

1. 所望のコンテンツを再生する際に、複眼形状の立体再生用レンズ、又は複数のピンホール群を再生用レンズとして、前記所望のコンテンツより前記再生用レンズに結像するために得た要素画像を用いて立体視を可能とする立体表示システムにおいて、
   前記所望のコンテンツの２次元の画像データとそれに対応する奥行き情報とからなる画像信号を入力する入力手段と、
   前記入力手段により入力された前記画像信号から前記２次元の画像データと前記奥行き情報とを分離して別々に記憶する分離・記憶手段と、
   前記分離・記憶手段から出力された前記２次元の画像データと前記奥行き情報とを用いて、前記要素画像を生成する要素画像生成手段と、
   前記要素画像生成手段により生成された前記要素画像に基づき、前記複眼形状の立体再生用レンズ又は前記複数のピンホール群を再生用レンズとして用いて立体再生画像を表示する表示部と
   を有することを特徴とする立体表示システム。
   
   

Images