JP2004200784A - 3次元映像端末装置、プログラムおよび記録媒体 - Google Patents
3次元映像端末装置、プログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP2004200784A JP2004200784A JP2002364060A JP2002364060A JP2004200784A JP 2004200784 A JP2004200784 A JP 2004200784A JP 2002364060 A JP2002364060 A JP 2002364060A JP 2002364060 A JP2002364060 A JP 2002364060A JP 2004200784 A JP2004200784 A JP 2004200784A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- image
- display
- information
- terminal device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】3次元立体像を表示するための情報処理量が小さく、低消費電力が要求される携帯端末へも応用可能であり、さらに、表示方式の異なる3次元表示手段においても互換性を保った立体表示が可能な3次元映像端末装置を提供する。
【解決手段】サーバ、または、他の3次元映像端末装置とネットワークを介して接続されるとともに、前記ネットワークを介して3次元映像情報を送受信可能な3次元映像端末装置であって、前記3次元映像情報は、2次元のテクスチャ画像と前記2次元のテクスチャ画像の各画素毎に付加された奥行き情報とから構成され、前記3次元映像端末は、3元立体像を表示する3次元表示手段と、前記3次元映像情報を構成する前記2次元のテクスチャ画像と前記奥行き情報とに基づき、前記3次元表示手段の表示方式に合致する3次元映像信号を生成する画像処理手段1とを有する。
【選択図】 図1
【解決手段】サーバ、または、他の3次元映像端末装置とネットワークを介して接続されるとともに、前記ネットワークを介して3次元映像情報を送受信可能な3次元映像端末装置であって、前記3次元映像情報は、2次元のテクスチャ画像と前記2次元のテクスチャ画像の各画素毎に付加された奥行き情報とから構成され、前記3次元映像端末は、3元立体像を表示する3次元表示手段と、前記3次元映像情報を構成する前記2次元のテクスチャ画像と前記奥行き情報とに基づき、前記3次元表示手段の表示方式に合致する3次元映像信号を生成する画像処理手段1とを有する。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、3次元映像端末装置、プログラムおよび記録媒体に係わり、特に、ネットワークを介して接続される3次元映像端末装置に関する。
【0002】
【従来の技術】
インターネットのWeb環境上で3Dによるグラフィックス環境を構築するために考案されたファイルフォーマットとして、VRML(Virtual Reality Modeling Language)がある(非特許文献1参照)。
また、最近のVRMLの後継規格として、X3D(Extensible 3D)が提案されている(非特許文献2参照)。
一方、3次元映像システムの端末に用いる表示装置の立体表示方式として、パララックス・ステレオグラム(1903年、米国、F.E.Iveが提案)が古くから提案されている(非特許文献3参照)。
また、新たな立体表示方式として、前後2面の輝度比変化のみで連続的な奥行きを表現できるDFD(Depth Fused 3D)方式が提案されている。(特許文献1、特許文献2参照)。
【0003】
なお、本願発明に関連する先行技術文献情報としては以下のものがある。
【特許文献1】
特許第3022558号公報
【特許文献2】
特願2000−124036号
【非特許文献1】
http://www.web3d.org/html
【非特許文献2】
http://www.web3d.org/x3d/html
【非特許文献3】
泉 武博監修、NHK放送技術研究所編、「3次元映像の基礎」、オーム杜、p.145
【0004】
【発明が解決しようとする課題】
前述の非特許文献1に記載のVRMLを用いて表現した3次元画像をネットワークサービスで提供する際には、サーバと端末との間で高速大容量なネットワークが必要となり、また、送信されたVRML情報を端末側で3次元画像(2次元画像への射影画像)に再構築する際に、高速な演算処理が必要であった。
このため、演算処理能力の比較的小さいPC(Personal Computer)や、消費電力が小さいことを要求する携帯端末への3次元映像の応用は非常に困難であった。
最近提案された非特許文献2に記載のX3Dでは、VRMLに比較すると3次元映像情報の表現にかかる情報量は少なくできるが、未だ規格の策定の段階で実応用された事例はない。
【0005】
また、従来のVRMLを用いた3次元映像システムでは、端末の表示装置はCRTや液晶表示装置が用いられ、実質2次元の表示(3次元画像の射影画像)しか実現できず、実際に3次元の立体映像を表現できるパララックス・ステレオグラムの表示装置、あるいは、DFD表示装置を用いて3次元映像システムを構築した事例は無かった。
さらに、端末側の立体表示方式の違いによる表現手段の互換性についても、その表示装置個別に3次元映像情報を変換し立体表示を行っていた。
加えて、前述したパララックス方式、あるいは、DFD方式などのいずれか立体表示装置における立体感については、各ユーザ毎に感じ方にばらつきがあるにも関わらず、その表示手段での個別の調節については、従来は考慮されておらず固定であったため、立体感を用いた表現の利便性を十分に活用することができなかった。
【0006】
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、3次元立体像を表示するための情報処理量が小さく、低消費電力が要求される携帯端末へも応用可能であり、さらに、表示方式の異なる3次元表示手段においても互換性を保った立体表示が可能な3次元映像端末装置を提供することにある。
また、本発明の他の目的は、3次元表示手段に表示される立体映像の立体感を観察者の好みに応じて効率的に調整可能な3次元映像端末装置を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
【0007】
【課題を解決するための手段】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
本発明の3次元映像端末装置は、2次元映像情報や3次元映像情報、音声、文字情報を蓄積するサーバ、あるいは、他の3次元映像端末装置と、ネットワークを介して接続される。
この場合に、ネットワークを介して送受信される3次元映像情報は、2次元のテクスチャ画像と、前記2次元のテクスチャ画像の各画素毎に付加された奥行き情報とから構成される。
そして、本発明の3次元映像端末装置では、画像処理手段1が、例えば、3次元表示手段から送信される、自3次元表示手段の表示方式を表す制御信号などに従い、前記3次元映像情報を構成する前記2次元のテクスチャ画像と前記奥行き情報とに基づき、3次元表示手段の表示方式に合致する3次元映像信号を生成する。
【0008】
3次元表示手段が、例えば、特許文献1,2に記載のDFD方式の3次元表示装置であれば、それぞれ表示面を構成する複数の表示装置に対する輝度分配処理を、前記奥行き情報をその重み係数としてそのまま利用することができ、従来のVRML等表現で必要であった複雑な座標計算が不要となり、演算速度の遅い低電力の端末装置でも高速に処理することが可能となる。
同様に、3次元表示手段が、例えば、非特許文献3に記載のパララックス・ステレオグラムであれば、右目用の2次元画像と左目用の2次元画像と生成する際に、従来のVRML等表現で必要であった複雑な座標計算が不要となり、演算速度の遅い低電力の端末装置でも高速に処理することが可能となる。
【0009】
また、端末側の立体表示方式が異なった場合でも、3次元映像の表現として2次元のテクスチャ画像と前記テクスチャ画像の画素毎に付加した奥行き情報を用い、立体表示手段に依存した処理を画像処理手段に組み込むことにより、互換性をとれるようにした。
さらに、3次元表示手段における立体感の各観察者毎に感じ方のばらつき調整については、観察者が操作できる入力手段を通じ、前記奥行き情報のみを、予め指定した変換テーブル情報に従って変更することで可能となる。
【0010】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
なお、実施の形態を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
図1は、本発明の実施の形態の3次元映像端末が適用されるシステム構成、並びに、本実施の形態の3次元映像端末装置の概略構成を示すブロック図である。
同図に示すように、本実施の形態の3次元映像端末装置10は、ネットワーク30を介してセンタ・サーバ20と接続される。
このセンタ・サーバ20には、従来のHTML(C−HTML)の表現手段を用いた2次元コンテンツに加え、3次元映像情報も格納される。
この3次元映像情報は、2次元のテクスチャ画像(R,G,Bの輝度情報)と、2次元のテクスチャ画像の画素毎に付加した奥行き情報(Z情報)とで構成される。
ここで、この奥行き情報(Z情報)は、奥行き情報(Z情報)が付加された画素と、ある基準面との間の距離を表す。
【0011】
本実施の形態の3次元映像端末10は、通信手段11と、入力手段12と、記憶手段13と、画像処理手段1(14)と、表示手段15と、カメラ16と、距離測定装置17と、画像処理手段2(18)とを備える。
通信手段11は、センタ・サーバ20、あるいは、別の端末間との通信を行う。
記憶手段13には、2次元のテクスチャ画像(R,G,Bの輝度情報)と、2次元のテクスチャ画像の画素毎に付加した奥行き情報(Z情報)とが格納される。
表示手段15は、図1(a)に示す2次元画像を表示する通常の2D表示装置、または、図1(b)に示す表示面が2面のDFD方式の3次元表示装置、あるいは、図1(c)に示すパララックス方式の3次元表示装置で構成される。
表示手段15が、図1(a)に示す2D表示装置の場合は、テクスチャ画像の画素毎に付加した奥行き情報(z)を無視し、2次元のテクスチャ画像(R,G,Bの輝度情報)を用いて、表示装置に画像を表示する。
【0012】
以下、図1(b)に示すDFD方式の三次元表示装置の表示原理について説明する。
図2は、DFD方式の三次元表示装置の概略構成を示す図である。
同図に示す三次元表示装置は、観察者100の前面に複数の表示面、例えば、表示面(101,102)(表示面101が表示面102より観察者100に近い)を設定し、これらの表示面(101,102)に複数の二次元像を表示するために、二次元表示装置と種々の光学素子を用いて光学系103を構築する。
以下、図2ないし図7を用いて、DFD方式の三次元表示装置の表示原理について説明する。
図3に示すように、観察者100に提示したい三次元物体104を、観察者100の両眼の視線方向から、前述の表示面(101,102)へ射影した像(以下、「2D化像」と呼ぶ)(105,106)を生成する。
【0013】
この2D化像の生成方法としては、例えば、視線方向から三次元物体104をカメラで撮影した二次元像を用いる方法、あるいは別の方向から撮影した複数枚の二次元像から合成する方法、あるいはコンピュータグラフィックによる合成技術やモデル化を用いる方法など種々の方法がある。
そして、図2に示すように、前記2D化像(105,106)を、各々表示面101と表示面102の双方に、観察者100の右眼と左眼とを結ぶ線上の一点から見て重なるように表示する。
これは、例えば、2D化像(105,106)の各々の中心位置や重心位置の配置と、各々の像の拡大・縮小を制御することで可能となる。
本発明の基本となる三次元表示装置の重要な要点は、前記構成を有する装置上で、2D化像(105,106)の各々の輝度を、観察者100から見た総体的な輝度を一定に保ちつつ、三次元物体104の奥行き位置に対応して変えることである。
【0014】
その変え方の一例を以下に述べる。なお、ここでは、白黒図面であるため、分かりやすいように、以下の図面では輝度の高い方を濃く示してある。
例えば、三次元物体104が表示面101上にある場合には、図4に示すように、この上の2D化像105の輝度を三次元物体104の輝度に等しくし、表示面102上の2D化像106の輝度はゼロとする。
次に、例えば、三次元物体104が観察者100より少し遠ざかって表示面101より表示面102側に少し寄った位置にある場合には、図5に示すように、2D化像105の輝度を少し下げ、2D化像106の輝度を少し上げる。
さらに、例えば、三次元物体104が観察者100よりさらに遠ざかって表示面101より表示面102側にさらに寄った位置にある場合には、図6に示すように、2D化像105の輝度をさらに下げ、2D化像106の輝度をさらに上げる。
【0015】
遂に、例えば、三次元物体104が表示面102上にある場合には、図7に示すように、この上の2D化像106の輝度を三次元物体104の輝度に等しくし、表示面101上の2D化像105の輝度はゼロとする。
このように表示することにより、観察者(人)100の生理的あるいは心理的要因あるいは錯覚により、表示しているのが2D化像(105,106)であっても、観察者100にはあたかも表示面(101,102)の中間に三次元物体104が位置しているように感じられる。
即ち、例えば、表示面(101,102)にほぼ等輝度の2D化像(105,106)を表示した場合には、表示面(101,102)の奥行き位置の中間付近に三次元物体104があるように感じられる。
前述した表示面に二次元像を表示するための表示装置としては、例えば、CRT、液晶ディスプレイ、LEDディスプレイ、ELディスプレイ、プラズマディスプレイ、FEDディスプレイ、プロジェクション型ディスプレイ、線描画型ディスプレイなどを用い、光学素子としては、例えば、レンズ、全反射鏡、部分反射鏡、曲鏡、プリズム、偏光素子、波長板などを用いる。
【0016】
前述したように、DFD方式の三次元表示装置の重要な要点は、2D化像(105,106)の各々の輝度を、観察者100から見た総体的な輝度を一定に保ちつつ、三次元物体104の奥行き位置に対応して変えることである。
表示手段15が、図1(b)に示すDFD方式の3次元表示装置の場合には、画像処理手段1(14)は、前述の2次元のテクスチャ画像情報(R、G,Bの輝度情報)と、テクスチャ画像情報の各画素毎に付加される奥行き情報(Z情報)とを用いて、表示面101に表示する2次元画像と、表示面102に表示する2次元画像とを生成する。
例えば、表示面(101,102)の奥行き位置の中間に三次元物体104がある場合、奥行き情報(Z情報)は、表示面(101,102)の奥行き位置の中間位置の情報となる。
そこで、画像処理手段1(14)は、当該奥行き情報(Z情報)に基づき、送信された輝度情報を一対一に分割し、表示面(101,102)にほぼ等輝度の2D化像(105,106)を表示することにより、表示面(101,102)の奥行き位置の中間付近に三次元物体104があるように、3次元立体像を表示することが可能となる。
【0017】
図1に示す画像処理手段2(18)は、カメラ(撮影手段)16で撮影された表示対象物体の2次元画像情報と、距離測定装置17で測定された表示対象物体までの距離情報に基づき、前述の2次元のテクスチャ画像情報(R、G,Bの輝度情報)と、テクスチャ画像情報の各画素毎に付加される奥行き情報(Z情報)とを生成する。
図8は、表示手段15が、図1(b)に示すDFD方式の3次元表示装置の場合における、本実施の形態の3次元映像端末10の機能構成を示すブロック図である。
図8において、通信機能51が通信手段11の機能を示し、同様に、DFD変換機能54が画像処理手段1(14)の機能を、3D表示機能55が表示手段15の機能を、3D映像情報作成機能58の「RGB画像入力」機能と「距離情報入力」機能が画像処理手段2(18)の機能に相当する。
DFD変換機能54は、輝度分配処理(54−1)と、Front/Rear画像保存処理(54−2)と、Front画像列とRear画像列とを蓄積する記憶手段(54−3)とから構成され、輝度分配処理(54−1)において、前述したように、奥行き情報(Z情報)に基づき、送信された輝度情報を、表示面(101,102)に分配する。
記憶手段(54−3)に記憶された時系列に連続した「Front画像列とRear画像列」を順次連続再生することにより、立体の動画を再生できる。
【0018】
また、3D映像情報作成機能58は、画像合成・編集処理(58−1)と、RGB画像列・Z画像列作成処理(58−2)と、RGB画像列とZ画像列とを蓄積する記憶手段13とから構成される。
カメラ16から入力されるRGB画像情報と、距離測定装置17から入力される距離情報とに基づき、画像処理手段2(18)において、前述した2次元のテクスチャ画像情報(R、G,Bの輝度情報)と、テクスチャ画像情報の各画素毎に付加される奥行き情報(Z情報)とが生成され、また、記憶手段13に記憶される。
さらに、記憶手段13に記憶されたRGB画像列(1つあるい複数のRGB画像)と、Z画像列(1つあるい複数のZ画像)は、画像合成・編集処理(58−1)と、RGB画像列・Z画像列作成処理(58−2)を経て、1つの動画形式に編集され、記憶手段13に再記憶される。この編集処理後のRGB画像列およびZ画像列が、DFD変換機能部54の入力情報となる。
【0019】
図9(a)は、図1(b)に示すDFD方式の3次元表示装置において、3次元立体像の奥行き知覚量の主観評価結果を示すグラフであり、前面の表示面に表示される2次元画像の輝度と、後面の表示面に表示される2次元画像の輝度の割合に対して、知覚される3次元立体像の奥行き位置を示すグラフである。
この図9(a)に示すグラフでは、代表的な主観評価結果を実線で示したが、実際の評価結果ではその特性に個人差がある。
図9(b)は、奥行き情報(Z情報)と、前面及び後面の表示面に表示される2次元画像の輝度の割合の関係を示すグラフである。
図9(b)の実線の太線で示すものが標準的な表示輝度分配特性である。
この前面および後面の表示面に表示される2次元画像の輝度分配特性を図9(b)中の細線で示したように変更することにより、各個人による立体感をばらつきを補償でき、自然な立体感を再現できる。
【0020】
このため、本実施の形態では、画像処理手段1(14)に、奥行き情報(Z情報)を変更するためのテーブルを予め用意しておき、画像処理手段1(14)が、入力手段12を介して入力される観察者の指示に基づき、このテーブルにしたがって奥行き情報(Z情報)を変更する。
これにより、前面および後面の表示面に表示される2次元画像の輝度分配特性を図9(b)中の細線で示したように変更して、各個人による立体感をばらつきを補償でき、自然な立体感を再現することが可能となる。
従来のCRTでは、各ユーザがコントラストや色調を変更できる機能があり、ユーザの好みや自然な色再現を実現していた。これと同様な機能を本実施の形態の3次元映像端末でも提供することができる。
【0021】
なお、前述の説明では、前面および後面の表示面に表示される2次元画像の輝度を分配する場合について説明したが、前述のDFD方式の3次元表示装置の表示面として、透過型表示装置を使用する場合には、透過度を変化させて、観察者から見た2次元像の輝度を変化させればよい。なお、透過型表示装置を使用する場合の3次元立体像の表示方法については、前述の特許文献2を参照されたい。
なお、前述の説明では、DFD方式の3次元表示装置が、前面の表示面と後面の表示面とを備える三次元表示装置の場合について説明したが、DFD方式の3次元表示装置は、複数の表示面を備えるものであってもよい。
さらに、DFD方式の3次元表示装置は、動画像を表示する場合にも使用できる。
即ち、2D化像が三次元的に移動する場合、利用者の左右上下方向への移動に関しては通常の表示装置の場合と同様に表示面での動画再生によって可能であり、奥行き方向への移動に関しては、前述の特許文献1,2に記載したように、前面の表示面と、後面の表示面に表示される2D化像の輝度(あるいは、透過度)の変化を時間的に行うことで、三次元像の動画を表現することができる。
【0022】
以下、図1(c)に示すパララックス方式の3次元表示装置の表示原理について説明する。
図10は、図1(c)に示すパララックス方式の3次元表示装置の一例を示す模式図である。
図10に示す3次元表示装置では、表示装置の表示面60に、右目用の2次元画像61と、左目用の2次元画像62とを、垂直方向交互に表示する。
観察者はパララックスバリア63を通して表示面60を見ることにより、右目には、右目用の2次元画像61が、また、左目には、左目用の2次元画像62がを観察され、結果として、観察者は3次元立体像を観察することができる。
ここで、表示装置としては、例えば、CRT、液晶ディスプレイ、LEDディスプレイ、ELディスプレイ、プラズマディスプレイ、FEDディスプレイ、プロジェクション型ディスプレイ、線描画型ディスプレイなどを用いる。
【0023】
表示手段15が、図1(c)に示すパララックス方式の3次元表示装置の場合には、画像処理手段1(14)は、前述の2次元のテクスチャ画像情報(R、G,Bの輝度情報)と、テクスチャ画像情報の各画素毎に付加される奥行き情報(Z情報)とを用いて、右目用の2次元画像61と、左目用の2次元画像62とを生成し、右目用の2次元画像61と、左目用の2次元画像62とを垂直方向のラインごとに交互入れ替えて、表示装置の表示面60に表示する。
以下、表示手段15が、図1(c)に示すパララックス方式の3次元表示装置の場合に、画像処理手段1(14)における、右目用の2次元画像61と、左目用の2次元画像62との生成方法を、図11を用いて説明する。
図11に示すように、位置x0の画素の奥行き位置がz0とするとき、その位置の画素を、左目用には、下記(1)式に示すdL分シフトし、右目用には、下記(1)式に示すdR分シフトして表示する。
【数1】
dL=z0×(E/2−x0)/(D+z0) ・・・・・・・・ (1)
dR=z0×(E/2+x0)/(D−z0) ・・・・・・・・ (2)
ここで、Dは視距離(観察者と表示装置の表示面との間の距離)、Eは観察者の両眼間隔である。
なお、図11では、1次元(x軸のみ)で表記しているが、2次元画像への展開は同様にして可能である。
【0024】
なお、本実施の形態において、画像処理手段1(14)が、DFD方式の3次元表示装置に対する処理と、パララックス方式の3次元表示装置に対する処理との2つの処理を実行できるものとし、図1に示すように、表示手段15からの制御信号を受信し、これにより、画像処理手段1(14)の処理内容を変更することが可能である。
ここで、この制御信号は、自表示手段の表示方式(通常の2D方式、DFD方式、あるいは、パララックス方式)を表す信号とする。
また、本実施の形態の画像処理手段1(14)、および画像処理手段2(18)は、コンピュータとプログラムによっても実現でき、さらに、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。
本実施の形態の画像処理手段1(14)を、コンピュータ上のプログラムで実行する場合の一例を図12に示す。
図12に示す例では、表示方式(DFD方式あるいはパララックス方式)毎のミドルウエアをアプリケーションであるブラウザに組み込んだものである。
これにより、互換性の高い画像処理手段1(14)を構成することができる。
以上、本発明者によってなされた発明を、前記実施の形態に基づき具体的に説明したが、本発明は、前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【0025】
【発明の効果】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
(1)本発明によれば、従来のVRML等の3次元画像表現で必要であった複雑な座標計算が3次元映像端末装置側で不要となり、演算速度の遅い低電力の端末装置でも高速に処理することが可能となる。
(2)3次元表示手段に表示される立体画像の立体感をユーザの好みに応じて調整することが可能となり、その利便性を向上させ、その応用範囲を拡大することが可能となる。
【図面の簡単な説明】
【図1】本発明の実施の形態の3次元映像端末が適用されるシステム構成、並びに、本実施の形態の3次元映像端末装置の概略構成を示すブロック図である。
【図2】DFD方式の三次元表示装置の概略構成を示す図である。
【図3】DFD方式の三次元表示装置において、各表示面に表示する2D化像の生成方法を説明するための図である。
【図4】DFD方式の三次元表示装置の表示原理を説明するための図である。
【図5】DFD方式の三次元表示装置の表示原理を説明するための図である。
【図6】DFD方式の三次元表示装置の表示原理を説明するための図である。
【図7】DFD方式の三次元表示装置の表示原理を説明するための図である。
【図8】表示手段が、図1(b)に示すDFD方式の3次元表示装置の場合における、本実施の形態の3次元映像端末の機能構成を示すブロック図である。
【図9】図1(b)に示すDFD方式の3次元表示装置において、3次元立体像の奥行き知覚量の主観評価結果、並びに、奥行き情報(Z情報)と、前面及び後面の表示面に表示される2次元画像の輝度の割合の関係を示すグラフである。
【図10】図1(c)に示すパララックス方式の3次元表示装置の一例を示す模式図である。
【図11】表示手段が、図1(c)に示すパララックス方式の3次元表示装置の場合に、画像処理手段1における、右目用の2次元画像と、左目用の2次元画像との生成方法を説明する図である。
【図12】本実施の形態の画像処理手段1を、コンピュータ上のプログラムで実行する場合の一例を示す図である。
【符号の説明】
10…3次元映像端末、11…通信手段、12…入力手段、13,54−3…記憶手段、14…画像処理手段1、15…表示手段、16…カメラ、17…距離測定装置、18…画像処理手段2、20…センタ・サーバ、30…ネットワーク、51…通信機能、54…DFD変換機能、54−1…輝度分配処理、54−2…Front/Rear画像保存処理、55…3D表示機能、58…3D映像情報作成機能、58−1…画像合成・編集処理、58−2…RGB画像列・Z画像列作成処理、60…表示装置の表示面、61…右目用の2次元画像、62…左目用の2次元画像、63…パララックスバリア、100…観察者、101,102…表示面、103…光学系、104…三次元物体、105,106…2D化像。
【発明の属する技術分野】
本発明は、3次元映像端末装置、プログラムおよび記録媒体に係わり、特に、ネットワークを介して接続される3次元映像端末装置に関する。
【0002】
【従来の技術】
インターネットのWeb環境上で3Dによるグラフィックス環境を構築するために考案されたファイルフォーマットとして、VRML(Virtual Reality Modeling Language)がある(非特許文献1参照)。
また、最近のVRMLの後継規格として、X3D(Extensible 3D)が提案されている(非特許文献2参照)。
一方、3次元映像システムの端末に用いる表示装置の立体表示方式として、パララックス・ステレオグラム(1903年、米国、F.E.Iveが提案)が古くから提案されている(非特許文献3参照)。
また、新たな立体表示方式として、前後2面の輝度比変化のみで連続的な奥行きを表現できるDFD(Depth Fused 3D)方式が提案されている。(特許文献1、特許文献2参照)。
【0003】
なお、本願発明に関連する先行技術文献情報としては以下のものがある。
【特許文献1】
特許第3022558号公報
【特許文献2】
特願2000−124036号
【非特許文献1】
http://www.web3d.org/html
【非特許文献2】
http://www.web3d.org/x3d/html
【非特許文献3】
泉 武博監修、NHK放送技術研究所編、「3次元映像の基礎」、オーム杜、p.145
【0004】
【発明が解決しようとする課題】
前述の非特許文献1に記載のVRMLを用いて表現した3次元画像をネットワークサービスで提供する際には、サーバと端末との間で高速大容量なネットワークが必要となり、また、送信されたVRML情報を端末側で3次元画像(2次元画像への射影画像)に再構築する際に、高速な演算処理が必要であった。
このため、演算処理能力の比較的小さいPC(Personal Computer)や、消費電力が小さいことを要求する携帯端末への3次元映像の応用は非常に困難であった。
最近提案された非特許文献2に記載のX3Dでは、VRMLに比較すると3次元映像情報の表現にかかる情報量は少なくできるが、未だ規格の策定の段階で実応用された事例はない。
【0005】
また、従来のVRMLを用いた3次元映像システムでは、端末の表示装置はCRTや液晶表示装置が用いられ、実質2次元の表示(3次元画像の射影画像)しか実現できず、実際に3次元の立体映像を表現できるパララックス・ステレオグラムの表示装置、あるいは、DFD表示装置を用いて3次元映像システムを構築した事例は無かった。
さらに、端末側の立体表示方式の違いによる表現手段の互換性についても、その表示装置個別に3次元映像情報を変換し立体表示を行っていた。
加えて、前述したパララックス方式、あるいは、DFD方式などのいずれか立体表示装置における立体感については、各ユーザ毎に感じ方にばらつきがあるにも関わらず、その表示手段での個別の調節については、従来は考慮されておらず固定であったため、立体感を用いた表現の利便性を十分に活用することができなかった。
【0006】
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、3次元立体像を表示するための情報処理量が小さく、低消費電力が要求される携帯端末へも応用可能であり、さらに、表示方式の異なる3次元表示手段においても互換性を保った立体表示が可能な3次元映像端末装置を提供することにある。
また、本発明の他の目的は、3次元表示手段に表示される立体映像の立体感を観察者の好みに応じて効率的に調整可能な3次元映像端末装置を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
【0007】
【課題を解決するための手段】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
本発明の3次元映像端末装置は、2次元映像情報や3次元映像情報、音声、文字情報を蓄積するサーバ、あるいは、他の3次元映像端末装置と、ネットワークを介して接続される。
この場合に、ネットワークを介して送受信される3次元映像情報は、2次元のテクスチャ画像と、前記2次元のテクスチャ画像の各画素毎に付加された奥行き情報とから構成される。
そして、本発明の3次元映像端末装置では、画像処理手段1が、例えば、3次元表示手段から送信される、自3次元表示手段の表示方式を表す制御信号などに従い、前記3次元映像情報を構成する前記2次元のテクスチャ画像と前記奥行き情報とに基づき、3次元表示手段の表示方式に合致する3次元映像信号を生成する。
【0008】
3次元表示手段が、例えば、特許文献1,2に記載のDFD方式の3次元表示装置であれば、それぞれ表示面を構成する複数の表示装置に対する輝度分配処理を、前記奥行き情報をその重み係数としてそのまま利用することができ、従来のVRML等表現で必要であった複雑な座標計算が不要となり、演算速度の遅い低電力の端末装置でも高速に処理することが可能となる。
同様に、3次元表示手段が、例えば、非特許文献3に記載のパララックス・ステレオグラムであれば、右目用の2次元画像と左目用の2次元画像と生成する際に、従来のVRML等表現で必要であった複雑な座標計算が不要となり、演算速度の遅い低電力の端末装置でも高速に処理することが可能となる。
【0009】
また、端末側の立体表示方式が異なった場合でも、3次元映像の表現として2次元のテクスチャ画像と前記テクスチャ画像の画素毎に付加した奥行き情報を用い、立体表示手段に依存した処理を画像処理手段に組み込むことにより、互換性をとれるようにした。
さらに、3次元表示手段における立体感の各観察者毎に感じ方のばらつき調整については、観察者が操作できる入力手段を通じ、前記奥行き情報のみを、予め指定した変換テーブル情報に従って変更することで可能となる。
【0010】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
なお、実施の形態を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
図1は、本発明の実施の形態の3次元映像端末が適用されるシステム構成、並びに、本実施の形態の3次元映像端末装置の概略構成を示すブロック図である。
同図に示すように、本実施の形態の3次元映像端末装置10は、ネットワーク30を介してセンタ・サーバ20と接続される。
このセンタ・サーバ20には、従来のHTML(C−HTML)の表現手段を用いた2次元コンテンツに加え、3次元映像情報も格納される。
この3次元映像情報は、2次元のテクスチャ画像(R,G,Bの輝度情報)と、2次元のテクスチャ画像の画素毎に付加した奥行き情報(Z情報)とで構成される。
ここで、この奥行き情報(Z情報)は、奥行き情報(Z情報)が付加された画素と、ある基準面との間の距離を表す。
【0011】
本実施の形態の3次元映像端末10は、通信手段11と、入力手段12と、記憶手段13と、画像処理手段1(14)と、表示手段15と、カメラ16と、距離測定装置17と、画像処理手段2(18)とを備える。
通信手段11は、センタ・サーバ20、あるいは、別の端末間との通信を行う。
記憶手段13には、2次元のテクスチャ画像(R,G,Bの輝度情報)と、2次元のテクスチャ画像の画素毎に付加した奥行き情報(Z情報)とが格納される。
表示手段15は、図1(a)に示す2次元画像を表示する通常の2D表示装置、または、図1(b)に示す表示面が2面のDFD方式の3次元表示装置、あるいは、図1(c)に示すパララックス方式の3次元表示装置で構成される。
表示手段15が、図1(a)に示す2D表示装置の場合は、テクスチャ画像の画素毎に付加した奥行き情報(z)を無視し、2次元のテクスチャ画像(R,G,Bの輝度情報)を用いて、表示装置に画像を表示する。
【0012】
以下、図1(b)に示すDFD方式の三次元表示装置の表示原理について説明する。
図2は、DFD方式の三次元表示装置の概略構成を示す図である。
同図に示す三次元表示装置は、観察者100の前面に複数の表示面、例えば、表示面(101,102)(表示面101が表示面102より観察者100に近い)を設定し、これらの表示面(101,102)に複数の二次元像を表示するために、二次元表示装置と種々の光学素子を用いて光学系103を構築する。
以下、図2ないし図7を用いて、DFD方式の三次元表示装置の表示原理について説明する。
図3に示すように、観察者100に提示したい三次元物体104を、観察者100の両眼の視線方向から、前述の表示面(101,102)へ射影した像(以下、「2D化像」と呼ぶ)(105,106)を生成する。
【0013】
この2D化像の生成方法としては、例えば、視線方向から三次元物体104をカメラで撮影した二次元像を用いる方法、あるいは別の方向から撮影した複数枚の二次元像から合成する方法、あるいはコンピュータグラフィックによる合成技術やモデル化を用いる方法など種々の方法がある。
そして、図2に示すように、前記2D化像(105,106)を、各々表示面101と表示面102の双方に、観察者100の右眼と左眼とを結ぶ線上の一点から見て重なるように表示する。
これは、例えば、2D化像(105,106)の各々の中心位置や重心位置の配置と、各々の像の拡大・縮小を制御することで可能となる。
本発明の基本となる三次元表示装置の重要な要点は、前記構成を有する装置上で、2D化像(105,106)の各々の輝度を、観察者100から見た総体的な輝度を一定に保ちつつ、三次元物体104の奥行き位置に対応して変えることである。
【0014】
その変え方の一例を以下に述べる。なお、ここでは、白黒図面であるため、分かりやすいように、以下の図面では輝度の高い方を濃く示してある。
例えば、三次元物体104が表示面101上にある場合には、図4に示すように、この上の2D化像105の輝度を三次元物体104の輝度に等しくし、表示面102上の2D化像106の輝度はゼロとする。
次に、例えば、三次元物体104が観察者100より少し遠ざかって表示面101より表示面102側に少し寄った位置にある場合には、図5に示すように、2D化像105の輝度を少し下げ、2D化像106の輝度を少し上げる。
さらに、例えば、三次元物体104が観察者100よりさらに遠ざかって表示面101より表示面102側にさらに寄った位置にある場合には、図6に示すように、2D化像105の輝度をさらに下げ、2D化像106の輝度をさらに上げる。
【0015】
遂に、例えば、三次元物体104が表示面102上にある場合には、図7に示すように、この上の2D化像106の輝度を三次元物体104の輝度に等しくし、表示面101上の2D化像105の輝度はゼロとする。
このように表示することにより、観察者(人)100の生理的あるいは心理的要因あるいは錯覚により、表示しているのが2D化像(105,106)であっても、観察者100にはあたかも表示面(101,102)の中間に三次元物体104が位置しているように感じられる。
即ち、例えば、表示面(101,102)にほぼ等輝度の2D化像(105,106)を表示した場合には、表示面(101,102)の奥行き位置の中間付近に三次元物体104があるように感じられる。
前述した表示面に二次元像を表示するための表示装置としては、例えば、CRT、液晶ディスプレイ、LEDディスプレイ、ELディスプレイ、プラズマディスプレイ、FEDディスプレイ、プロジェクション型ディスプレイ、線描画型ディスプレイなどを用い、光学素子としては、例えば、レンズ、全反射鏡、部分反射鏡、曲鏡、プリズム、偏光素子、波長板などを用いる。
【0016】
前述したように、DFD方式の三次元表示装置の重要な要点は、2D化像(105,106)の各々の輝度を、観察者100から見た総体的な輝度を一定に保ちつつ、三次元物体104の奥行き位置に対応して変えることである。
表示手段15が、図1(b)に示すDFD方式の3次元表示装置の場合には、画像処理手段1(14)は、前述の2次元のテクスチャ画像情報(R、G,Bの輝度情報)と、テクスチャ画像情報の各画素毎に付加される奥行き情報(Z情報)とを用いて、表示面101に表示する2次元画像と、表示面102に表示する2次元画像とを生成する。
例えば、表示面(101,102)の奥行き位置の中間に三次元物体104がある場合、奥行き情報(Z情報)は、表示面(101,102)の奥行き位置の中間位置の情報となる。
そこで、画像処理手段1(14)は、当該奥行き情報(Z情報)に基づき、送信された輝度情報を一対一に分割し、表示面(101,102)にほぼ等輝度の2D化像(105,106)を表示することにより、表示面(101,102)の奥行き位置の中間付近に三次元物体104があるように、3次元立体像を表示することが可能となる。
【0017】
図1に示す画像処理手段2(18)は、カメラ(撮影手段)16で撮影された表示対象物体の2次元画像情報と、距離測定装置17で測定された表示対象物体までの距離情報に基づき、前述の2次元のテクスチャ画像情報(R、G,Bの輝度情報)と、テクスチャ画像情報の各画素毎に付加される奥行き情報(Z情報)とを生成する。
図8は、表示手段15が、図1(b)に示すDFD方式の3次元表示装置の場合における、本実施の形態の3次元映像端末10の機能構成を示すブロック図である。
図8において、通信機能51が通信手段11の機能を示し、同様に、DFD変換機能54が画像処理手段1(14)の機能を、3D表示機能55が表示手段15の機能を、3D映像情報作成機能58の「RGB画像入力」機能と「距離情報入力」機能が画像処理手段2(18)の機能に相当する。
DFD変換機能54は、輝度分配処理(54−1)と、Front/Rear画像保存処理(54−2)と、Front画像列とRear画像列とを蓄積する記憶手段(54−3)とから構成され、輝度分配処理(54−1)において、前述したように、奥行き情報(Z情報)に基づき、送信された輝度情報を、表示面(101,102)に分配する。
記憶手段(54−3)に記憶された時系列に連続した「Front画像列とRear画像列」を順次連続再生することにより、立体の動画を再生できる。
【0018】
また、3D映像情報作成機能58は、画像合成・編集処理(58−1)と、RGB画像列・Z画像列作成処理(58−2)と、RGB画像列とZ画像列とを蓄積する記憶手段13とから構成される。
カメラ16から入力されるRGB画像情報と、距離測定装置17から入力される距離情報とに基づき、画像処理手段2(18)において、前述した2次元のテクスチャ画像情報(R、G,Bの輝度情報)と、テクスチャ画像情報の各画素毎に付加される奥行き情報(Z情報)とが生成され、また、記憶手段13に記憶される。
さらに、記憶手段13に記憶されたRGB画像列(1つあるい複数のRGB画像)と、Z画像列(1つあるい複数のZ画像)は、画像合成・編集処理(58−1)と、RGB画像列・Z画像列作成処理(58−2)を経て、1つの動画形式に編集され、記憶手段13に再記憶される。この編集処理後のRGB画像列およびZ画像列が、DFD変換機能部54の入力情報となる。
【0019】
図9(a)は、図1(b)に示すDFD方式の3次元表示装置において、3次元立体像の奥行き知覚量の主観評価結果を示すグラフであり、前面の表示面に表示される2次元画像の輝度と、後面の表示面に表示される2次元画像の輝度の割合に対して、知覚される3次元立体像の奥行き位置を示すグラフである。
この図9(a)に示すグラフでは、代表的な主観評価結果を実線で示したが、実際の評価結果ではその特性に個人差がある。
図9(b)は、奥行き情報(Z情報)と、前面及び後面の表示面に表示される2次元画像の輝度の割合の関係を示すグラフである。
図9(b)の実線の太線で示すものが標準的な表示輝度分配特性である。
この前面および後面の表示面に表示される2次元画像の輝度分配特性を図9(b)中の細線で示したように変更することにより、各個人による立体感をばらつきを補償でき、自然な立体感を再現できる。
【0020】
このため、本実施の形態では、画像処理手段1(14)に、奥行き情報(Z情報)を変更するためのテーブルを予め用意しておき、画像処理手段1(14)が、入力手段12を介して入力される観察者の指示に基づき、このテーブルにしたがって奥行き情報(Z情報)を変更する。
これにより、前面および後面の表示面に表示される2次元画像の輝度分配特性を図9(b)中の細線で示したように変更して、各個人による立体感をばらつきを補償でき、自然な立体感を再現することが可能となる。
従来のCRTでは、各ユーザがコントラストや色調を変更できる機能があり、ユーザの好みや自然な色再現を実現していた。これと同様な機能を本実施の形態の3次元映像端末でも提供することができる。
【0021】
なお、前述の説明では、前面および後面の表示面に表示される2次元画像の輝度を分配する場合について説明したが、前述のDFD方式の3次元表示装置の表示面として、透過型表示装置を使用する場合には、透過度を変化させて、観察者から見た2次元像の輝度を変化させればよい。なお、透過型表示装置を使用する場合の3次元立体像の表示方法については、前述の特許文献2を参照されたい。
なお、前述の説明では、DFD方式の3次元表示装置が、前面の表示面と後面の表示面とを備える三次元表示装置の場合について説明したが、DFD方式の3次元表示装置は、複数の表示面を備えるものであってもよい。
さらに、DFD方式の3次元表示装置は、動画像を表示する場合にも使用できる。
即ち、2D化像が三次元的に移動する場合、利用者の左右上下方向への移動に関しては通常の表示装置の場合と同様に表示面での動画再生によって可能であり、奥行き方向への移動に関しては、前述の特許文献1,2に記載したように、前面の表示面と、後面の表示面に表示される2D化像の輝度(あるいは、透過度)の変化を時間的に行うことで、三次元像の動画を表現することができる。
【0022】
以下、図1(c)に示すパララックス方式の3次元表示装置の表示原理について説明する。
図10は、図1(c)に示すパララックス方式の3次元表示装置の一例を示す模式図である。
図10に示す3次元表示装置では、表示装置の表示面60に、右目用の2次元画像61と、左目用の2次元画像62とを、垂直方向交互に表示する。
観察者はパララックスバリア63を通して表示面60を見ることにより、右目には、右目用の2次元画像61が、また、左目には、左目用の2次元画像62がを観察され、結果として、観察者は3次元立体像を観察することができる。
ここで、表示装置としては、例えば、CRT、液晶ディスプレイ、LEDディスプレイ、ELディスプレイ、プラズマディスプレイ、FEDディスプレイ、プロジェクション型ディスプレイ、線描画型ディスプレイなどを用いる。
【0023】
表示手段15が、図1(c)に示すパララックス方式の3次元表示装置の場合には、画像処理手段1(14)は、前述の2次元のテクスチャ画像情報(R、G,Bの輝度情報)と、テクスチャ画像情報の各画素毎に付加される奥行き情報(Z情報)とを用いて、右目用の2次元画像61と、左目用の2次元画像62とを生成し、右目用の2次元画像61と、左目用の2次元画像62とを垂直方向のラインごとに交互入れ替えて、表示装置の表示面60に表示する。
以下、表示手段15が、図1(c)に示すパララックス方式の3次元表示装置の場合に、画像処理手段1(14)における、右目用の2次元画像61と、左目用の2次元画像62との生成方法を、図11を用いて説明する。
図11に示すように、位置x0の画素の奥行き位置がz0とするとき、その位置の画素を、左目用には、下記(1)式に示すdL分シフトし、右目用には、下記(1)式に示すdR分シフトして表示する。
【数1】
dL=z0×(E/2−x0)/(D+z0) ・・・・・・・・ (1)
dR=z0×(E/2+x0)/(D−z0) ・・・・・・・・ (2)
ここで、Dは視距離(観察者と表示装置の表示面との間の距離)、Eは観察者の両眼間隔である。
なお、図11では、1次元(x軸のみ)で表記しているが、2次元画像への展開は同様にして可能である。
【0024】
なお、本実施の形態において、画像処理手段1(14)が、DFD方式の3次元表示装置に対する処理と、パララックス方式の3次元表示装置に対する処理との2つの処理を実行できるものとし、図1に示すように、表示手段15からの制御信号を受信し、これにより、画像処理手段1(14)の処理内容を変更することが可能である。
ここで、この制御信号は、自表示手段の表示方式(通常の2D方式、DFD方式、あるいは、パララックス方式)を表す信号とする。
また、本実施の形態の画像処理手段1(14)、および画像処理手段2(18)は、コンピュータとプログラムによっても実現でき、さらに、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。
本実施の形態の画像処理手段1(14)を、コンピュータ上のプログラムで実行する場合の一例を図12に示す。
図12に示す例では、表示方式(DFD方式あるいはパララックス方式)毎のミドルウエアをアプリケーションであるブラウザに組み込んだものである。
これにより、互換性の高い画像処理手段1(14)を構成することができる。
以上、本発明者によってなされた発明を、前記実施の形態に基づき具体的に説明したが、本発明は、前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【0025】
【発明の効果】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
(1)本発明によれば、従来のVRML等の3次元画像表現で必要であった複雑な座標計算が3次元映像端末装置側で不要となり、演算速度の遅い低電力の端末装置でも高速に処理することが可能となる。
(2)3次元表示手段に表示される立体画像の立体感をユーザの好みに応じて調整することが可能となり、その利便性を向上させ、その応用範囲を拡大することが可能となる。
【図面の簡単な説明】
【図1】本発明の実施の形態の3次元映像端末が適用されるシステム構成、並びに、本実施の形態の3次元映像端末装置の概略構成を示すブロック図である。
【図2】DFD方式の三次元表示装置の概略構成を示す図である。
【図3】DFD方式の三次元表示装置において、各表示面に表示する2D化像の生成方法を説明するための図である。
【図4】DFD方式の三次元表示装置の表示原理を説明するための図である。
【図5】DFD方式の三次元表示装置の表示原理を説明するための図である。
【図6】DFD方式の三次元表示装置の表示原理を説明するための図である。
【図7】DFD方式の三次元表示装置の表示原理を説明するための図である。
【図8】表示手段が、図1(b)に示すDFD方式の3次元表示装置の場合における、本実施の形態の3次元映像端末の機能構成を示すブロック図である。
【図9】図1(b)に示すDFD方式の3次元表示装置において、3次元立体像の奥行き知覚量の主観評価結果、並びに、奥行き情報(Z情報)と、前面及び後面の表示面に表示される2次元画像の輝度の割合の関係を示すグラフである。
【図10】図1(c)に示すパララックス方式の3次元表示装置の一例を示す模式図である。
【図11】表示手段が、図1(c)に示すパララックス方式の3次元表示装置の場合に、画像処理手段1における、右目用の2次元画像と、左目用の2次元画像との生成方法を説明する図である。
【図12】本実施の形態の画像処理手段1を、コンピュータ上のプログラムで実行する場合の一例を示す図である。
【符号の説明】
10…3次元映像端末、11…通信手段、12…入力手段、13,54−3…記憶手段、14…画像処理手段1、15…表示手段、16…カメラ、17…距離測定装置、18…画像処理手段2、20…センタ・サーバ、30…ネットワーク、51…通信機能、54…DFD変換機能、54−1…輝度分配処理、54−2…Front/Rear画像保存処理、55…3D表示機能、58…3D映像情報作成機能、58−1…画像合成・編集処理、58−2…RGB画像列・Z画像列作成処理、60…表示装置の表示面、61…右目用の2次元画像、62…左目用の2次元画像、63…パララックスバリア、100…観察者、101,102…表示面、103…光学系、104…三次元物体、105,106…2D化像。
Claims (9)
- サーバ、または、他の3次元映像端末装置とネットワークを介して接続されるとともに、前記ネットワークを介して3次元映像情報を送受信可能な3次元映像端末装置であって、
前記3次元映像情報は、2次元のテクスチャ画像と前記2次元のテクスチャ画像の各画素毎に付加された奥行き情報とから構成され、
前記3次元映像端末は、3元立体像を表示する3次元表示手段と、
前記3次元映像情報を構成する前記2次元のテクスチャ画像と前記奥行き情報とに基づき、前記3次元表示手段の表示方式に合致する3次元映像信号を生成する画像処理手段1とを有することを特徴とする3次元映像端末装置。 - 前記3次元表示手段は、自3次元表示手段の表示方式を表す制御信号を前記画像処理手段1に出力し、
前記画像処理手段1は、前記3次元表示手段からの制御信号に基づき、前記3次元表示手段の表示方式に合致する3次元映像信号を生成することを特徴とする請求項1に記載の3次元映像端末装置。 - 前記3次元表示手段は、観察者から見て異なった奥行き位置に配置される複数の表示面を構成する表示装置を複数有し、
前記各表示装置は、表示対象物体を前記観察者の視線方向から射影した2次元画像であって、前記表示対象物体の奥行き位置に応じて、各表示装置毎に輝度あるいは透過度がそれぞれ異なる二次元画像を表示し、
前記画像処理手段1は、前記2次元のテクスチャ画像と、前記奥行き情報とに基づき、前記各表示装置に表示する2次元画像の映像信号を生成することを特徴とする請求項1または請求項2に記載の3次元映像端末装置。 - 前記観察者が、前記3次元表示手段に表示される3次元立体像の立体感を指定する入力手段と、
前記テクスチャ画像の画素毎の奥行き情報を変更するテーブルとを有し、
前記画像処理手段1は、前記入力手段から入力される前記観察者の指示に基づき、前記テクスチャ画像の画素毎の奥行き情報を、予め指定したテーブル情報にしたがって変更することを特徴とする請求項3に記載の3次元映像端末装置。 - 前記3次元表示手段は、右目用の2次元画像と左目用の2次元画像を表示する表示装置を有し、
前記画像処理手段1は、前記2次元のテクスチャ画像と、前記奥行き情報とに基づき、前記表示装置に表示する前記右目用の2次元画像と左目用の2次元画像とを生成することを特徴とする請求項1または請求項2に記載の3次元映像端末装置。 - 前記表示対象物体を撮影する撮影手段と、
前記表示対象物体までの距離を測定する測定手段と、
前記撮影手段で撮影された2次元画像情報と、前記測定手段で測定された距離情報とに基づき、前記2次元のテクスチャ画像と、前記2次元のテクスチャ画像の各画素毎に付加された奥行き情報とを生成する画像処理手段2を有することを特徴とする請求項1ないし請求項5のいずれか1項に記載の3次元映像端末装置。 - 前記請求項1ないし請求項6のいずれか1項に記載の画像処理手段1の処理を、コンピュータに実行させるためのプログラム。
- 前記請求項6に記載の画像処理手段2の処理を、コンピュータに実行させるためのプログラム。
- 前記請求項7または請求項8に記載のプログラムが記録された記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002364060A JP2004200784A (ja) | 2002-12-16 | 2002-12-16 | 3次元映像端末装置、プログラムおよび記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002364060A JP2004200784A (ja) | 2002-12-16 | 2002-12-16 | 3次元映像端末装置、プログラムおよび記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004200784A true JP2004200784A (ja) | 2004-07-15 |
Family
ID=32762037
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002364060A Pending JP2004200784A (ja) | 2002-12-16 | 2002-12-16 | 3次元映像端末装置、プログラムおよび記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004200784A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006028151A1 (ja) * | 2004-09-08 | 2006-03-16 | Nippon Telegraph And Telephone Corporation | 三次元表示方法、装置およびプログラム |
JP2013157671A (ja) * | 2012-01-26 | 2013-08-15 | Sony Corp | 画像処理装置、画像処理方法、プログラム、端末装置及び画像処理システム |
JP2013535129A (ja) * | 2010-06-01 | 2013-09-09 | インテル コーポレイション | インターネットからのストリーミング利用のための立体3dコンテンツオートフォーマットアダプタミドルウェア |
US9143767B2 (en) | 2010-06-01 | 2015-09-22 | Intel Corporation | Method and apparatus for adaptive stable image timing in stereoscopic 3D systems |
-
2002
- 2002-12-16 JP JP2002364060A patent/JP2004200784A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006028151A1 (ja) * | 2004-09-08 | 2006-03-16 | Nippon Telegraph And Telephone Corporation | 三次元表示方法、装置およびプログラム |
US7843402B2 (en) | 2004-09-08 | 2010-11-30 | Nippon Telegraph And Telephone Corporation | 3D displaying method, device and program |
JP2013535129A (ja) * | 2010-06-01 | 2013-09-09 | インテル コーポレイション | インターネットからのストリーミング利用のための立体3dコンテンツオートフォーマットアダプタミドルウェア |
US9143767B2 (en) | 2010-06-01 | 2015-09-22 | Intel Corporation | Method and apparatus for adaptive stable image timing in stereoscopic 3D systems |
JP2013157671A (ja) * | 2012-01-26 | 2013-08-15 | Sony Corp | 画像処理装置、画像処理方法、プログラム、端末装置及び画像処理システム |
US9317957B2 (en) | 2012-01-26 | 2016-04-19 | Sony Corporation | Enhancement of stereoscopic effect of an image through use of modified depth information |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8228327B2 (en) | Non-linear depth rendering of stereoscopic animated images | |
US7907167B2 (en) | Three dimensional horizontal perspective workstation | |
US20110122130A1 (en) | Modifying Perspective of Stereoscopic Images Based on Changes in User Viewpoint | |
US20060126927A1 (en) | Horizontal perspective representation | |
CN102075694A (zh) | 用于视频制作、后期制作和显示适应的立体编辑 | |
EP1421576A1 (en) | Multi-planar volumetric display system and method of operation using three-dimensional anti-aliasing | |
US20080238930A1 (en) | Texture processing apparatus, method and program | |
CN116582661B (zh) | 混合模式三维显示系统和方法 | |
JP2004274642A (ja) | 3次元映像情報の伝送方法 | |
JP2003348621A (ja) | 二視点カメラの設定手段 | |
CN102063735B (zh) | 通过改变视点角度制作三维图像源的方法和装置 | |
JP2004200784A (ja) | 3次元映像端末装置、プログラムおよび記録媒体 | |
US20140198098A1 (en) | Experience Enhancement Environment | |
KR20010096556A (ko) | 입체영상 입출력 방법 및 장치 | |
Balogh et al. | HoloVizio-True 3D display system | |
CN116018619A (zh) | 信息处理装置、信息处理方法和程序 | |
JP4481275B2 (ja) | 3次元映像情報の伝送方法 | |
CN111344744A (zh) | 用于展示三维物体的方法以及相关计算机程序产品、数字存储介质和计算机系统 | |
TW201636683A (zh) | 擴充實境成像方法及其裝置 | |
JP2004214763A (ja) | 3次元映像システム | |
Peterka | Dynallax: Dynamic parallax barrier autostereoscopic display | |
Schild et al. | Integrating stereoscopic video in 3D games | |
KR100939080B1 (ko) | 합성 영상 생성 방법 및 장치, 합성 영상을 이용한 디스플레이 방법 및 장치 | |
EP4030752A1 (en) | Image generation system and method | |
JP2013150103A (ja) | 映像処理装置および映像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070206 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070605 |