JP2006320002A

JP2006320002A - ３次元映像情報の伝送方法

Info

Publication number: JP2006320002A
Application number: JP2006168221A
Authority: JP
Inventors: Hideaki Takada; 英明高田; Shiro Suyama; 史朗陶山
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2006-06-19
Filing date: 2006-06-19
Publication date: 2006-11-24
Anticipated expiration: 2023-03-12
Also published as: JP4481275B2

Abstract

【課題】３次元映像情報を、テレビジョン放送網などの従来の２次元映像の伝送路を利用して伝送すること。
【解決手段】２次元のテクスチャ画像と、前記テクスチャ画像の各画素毎に付加される奥行き情報とで構成される３次元映像情報の伝送方法であって、送信側において、前記２次元のテクスチャ画像のＲ、Ｇ、Ｂの画像データの３ライン毎に、前記テクスチャ画像の各画素毎に付加される奥行き情報を１ライン分のデータとして挿入し、前記Ｒ、Ｇ、Ｂの画像データと前記Ｒ、Ｇ、Ｂの画像データ中に挿入された奥行き情報とを、テレビジョン放送用などの従来の２次元映像の伝送路を使用して受信側に伝送し、受信側において、受信した前記Ｒ、Ｇ、Ｂの画像データ中から前記奥行き情報を抜き出し、前記２次元のテクスチャ画像のＲ、Ｇ、Ｂの画像データと、前記テクスチャ画像の各画素毎に付加される奥行き情報とを再構成する。
【選択図】図３

Description

本発明は、３次元映像情報の伝送方法に係わり、特に、３次元映像情報を既存のテレビジョン放送用などの従来の２次元映像の伝送路を利用して伝送する３次元映像情報の伝送方法に関する。

本発明者らは、立体視の生理的要因間での矛盾を抑制でき、かつ簡便に、眼鏡を用いないで３次元立体像が表示可能な、ＤＦＤ（Depth Fused 3D）方式の３次元表示装置を提案している（例えば、特許文献１、２参照）。
前述した提案済みの３次元表示装置は、複数の表示面に２Ｄ化像を表示し、この複数の表示面に表示される２Ｄ化像の、輝度あるいは透過度を各表示面毎に変化させて３次元立体像を表示するものである。なお、このＤＦＤ方式の３次元表示装置の表示原理については後述する。
一方、３次元映像システムの端末に用いる表示装置の立体表示方式として、パララックス・ステレオグラム（１９０３年、米国、Ｆ．Ｅ．Ｉｖｅが提案）が古くから提案されている（非特許文献１参照）

なお、本願発明に関連する先行技術文献としては以下のものがある。
特許第３０２２５５８号公報特願２０００−１２４０３６号泉武博監修、ＮＨＫ放送技術研究所編、「３次元映像の基礎」、オーム杜、p.145

前述したＤＦＤ方式の３次元表示装置（例えば、前面の表示面と後面の表示面を有する３次元表示装置）、あるいは、パララックス方式の３次元表示装置を、例えば、一般の家庭内に設置し、既存のテレビジョン放送網を利用して、前述した３次元表示装置に立体像を表示するための３次元映像情報を伝送することにより、家庭内において、一般のユーザが、静止画あるいは動画の３次元立体像を観察することが可能である。
しかしながら、前述した３次元映像情報を伝送する場合に、前面の表示面に表示する２次元映像データと、後面の表示面に表示する２次元映像データ、あるいは、右目用の２次元映像データと左目用の２次元映像データとを伝送する必要があり、既存のテレビジョン放送網を利用して、前述した３次元映像情報を伝送することができないという問題点があった。

本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、３次元映像情報を、テレビジョン放送網などの従来の２次元映像の伝送路を利用して伝送することが可能な３次元映像情報の伝送方法を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
本願発明は、２次元のテクスチャ画像と、前記テクスチャ画像の各画素毎に付加される奥行き情報とで構成される３次元映像情報の伝送方法であって、送信側において、前記２次元のテクスチャ画像のＲ、Ｇ、Ｂの画像データの３ライン毎に、前記テクスチャ画像の各画素毎に付加される奥行き情報を１ライン分のデータとして挿入し、前記Ｒ、Ｇ、Ｂの画像データと前記Ｒ、Ｇ、Ｂの画像データ中に挿入された奥行き情報とを、テレビジョン放送用などの従来の２次元映像の伝送路を使用して受信側に伝送し、受信側において、受信した前記Ｒ、Ｇ、Ｂの画像データ中から前記奥行き情報を抜き出し、前記２次元のテクスチャ画像のＲ、Ｇ、Ｂの画像データと、前記テクスチャ画像の各画素毎に付加される奥行き情報とを再構成することを特徴とする。

また、本願発明は、２次元のテクスチャ画像と、前記テクスチャ画像の各画素毎に付加される奥行き情報とで構成される３次元映像情報の伝送方法であって、送信側において、前記２次元のテクスチャ画像のＲ、Ｇ、Ｂの画像データの３画素毎に、前記テクスチャ画像の各画素毎に付加される奥行き情報を１画素分のデータとして挿入し、前記Ｒ、Ｇ、Ｂの画像データと前記Ｒ、Ｇ、Ｂの画像データ中に挿入された奥行き情報とを、テレビジョン放送用などの従来の２次元映像の伝送路を使用して受信側に伝送し、受信側において、受信した前記Ｒ、Ｇ、Ｂの画像データ中から前記奥行き情報を抜き出し、前記２次元のテクスチャ画像のＲ、Ｇ、Ｂの画像データと、前記テクスチャ画像の各画素毎に付加される奥行き情報とを再構成することを特徴とする。

本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
本発明の３次元映像情報の伝送方法によれば、３次元映像情報を、テレビジョン放送網などの従来の２次元映像の伝送路を利用して伝送することが可能となる。

以下、図面を参照して本発明の実施例を詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
［本発明の基本となる３次元表示装置の表示原理］
図４は、本発明の基本となる３次元表示装置の概略構成を示す図であり、前述の特許文献１に図１として図示されている３次元表示装置である。
同図に示す３次元表示装置は、観察者１００の前面に複数の表示面、例えば、表示面（１０１，１０２）（表示面１０１が表示面１０２より観察者１００に近い）を設定し、これらの表示面（１０１，１０２）に複数の２次元像を表示するために、２次元表示装置と種々の光学素子を用いて光学系１０３を構築する。
以下、図４ないし図９を用いて、本発明の基本となる３次元表示装置の表示原理について説明する。
図５に示すように、観察者１００に提示したい３次元物体１０４を、観察者１００の両眼の視線方向から、前述の表示面（１０１，１０２）へ射影した像（以下、「２Ｄ化像」と呼ぶ）（１０５，１０６）を生成する。

この２Ｄ化像の生成方法としては、例えば、視線方向から物体１０４をカメラで撮影した２次元像を用いる方法、あるいは別の方向から撮影した複数枚の２次元像から合成する方法、あるいはコンピュータグラフィックによる合成技術やモデル化を用いる方法など種々の方法がある。
そして、図４に示すように、前記２Ｄ化像（１０５，１０６）を、各々表示面１０１と表示面１０２の双方に、観察者１００の右眼と左眼とを結ぶ線上の一点から見て重なるように表示する。
これは、例えば、２Ｄ化像（１０５，１０６）の各々の中心位置や重心位置の配置と、各々の像の拡大・縮小を制御することで可能となる。
本発明の基本となる３次元表示装置の重要な要点は、前記構成を有する装置上で、２Ｄ化像（１０５，１０６）の各々の輝度を、観察者１００から見た総体的な輝度を一定に保ちつつ、３次元物体１０４の奥行き位置に対応して変えることである。

その変え方の一例を以下に述べる。なお、ここでは、白黒図面であるため、分かりやすいように、以下の図面では輝度の高い方を濃く示してある。
例えば、３次元物体１０４が表示面１０１上にある場合には、図６に示すように、この上の２Ｄ化像１０５の輝度を３次元物体１０４の輝度に等しくし、表示面１０２上の２Ｄ化像１０６の輝度はゼロとする。
次に、例えば、３次元物体１０４が観察者１００より少し遠ざかって表示面１０１より表示面１０２側に少し寄った位置にある場合には、図７に示すように、２Ｄ化像１０５の輝度を少し下げ、２Ｄ化像１０６の輝度を少し上げる。
さらに、例えば、３次元物体１０４が観察者１００よりさらに遠ざかって表示面１０１より表示面１０２側にさらに寄った位置にある場合には、図８に示すように、２Ｄ化像１０５の輝度をさらに下げ、２Ｄ化像１０６の輝度をさらに上げる。

遂に、例えば、３次元物体１０４が表示面１０２上にある場合には、図９に示すように、この上の２Ｄ化像１０６の輝度を３次元物体１０４の輝度に等しくし、表示面１０１上の２Ｄ化像１０５の輝度はゼロとする。
このように表示することにより、観察者（人）１００の生理的あるいは心理的要因あるいは錯覚により、表示しているのが２Ｄ化像（１０５，１０６）であっても、観察者１００にはあたかも表示面（１０１，１０２）の中間に３次元物体１０４が位置しているように感じられる。
即ち、例えば、表示面（１０１，１０２）にほぼ等輝度の２Ｄ化像（１０５，１０６）を表示した場合には、表示面（１０１，１０２）の奥行き位置の中間付近に３次元物体１０４があるように感じられる。
前述した表示面に２次元像を表示するための２次元表示装置としては、例えば、ＣＲＴ、液晶ディスプレイ、ＬＥＤディスプレイ、ＥＬディスプレイ、プラズマディスプレイ、ＦＥＤディスプレイ、プロジェクション型ディスプレイ、線描画型ディスプレイなどを用い、光学素子としては、例えば、レンズ、全反射鏡、部分反射鏡、曲鏡、プリズム、偏光素子、波長板などを用いる。

［実施例］
本実施例では、既存のテレビジョン放送網を利用して、３次元映像情報が伝送される。
図１は、本発明の実施例の３次元映像情報の伝送方法において、既存のテレビジョン放送網を利用して伝送される３次元映像情報を説明するための模式図である。
図１に示すように、本実施例の３次元映像情報の伝送方法において、既存のテレビジョン放送網を利用して伝送される３次元映像情報は、２次元のテクスチャ画像（Ｒ、Ｇ，Ｂの輝度情報）と、テクスチャ画像の各画素毎に付加される奥行き情報（Ｚ情報）とから構成される。
前述したように、本発明の基本となる３次元表示装置の重要な要点は、２Ｄ化像（１０５，１０６）の各々の輝度を、観察者１００から見た総体的な輝度を一定に保ちつつ、３次元物体１０４の奥行き位置に対応して変えることである。
したがって、既存のテレビジョン放送網を利用して伝送される奥行き情報（Ｚ情報）に応じて、既存のテレビジョン放送網を利用して伝送される２次元のテクスチャ画像（Ｒ、Ｇ，Ｂの輝度情報）の輝度（あるいは、透過度）を２つに分配して、２つの２次元画像を生成することにより、２Ｄ化像（１０５，１０６）を生成することができる。

図２は、本実施例の伝送方法により伝送された３次元映像情報に基づき、３次元立体像を表示する３次元表示装置を示すブロック図である。
この図２に示す３次元表示装置１０は、例えば、一般の家庭内に設置されるものであり、１１は映像信号復号手段、１２は３次元映像信号生成手段、１０１は前面の表示面、１０２は後面の表示面である。なお、表示面（１０１，１０２）の構成方法については、前述の各特許文献を参照されたい。
映像信号復号手段１１は、アンテナあるいはケーブルを介して受信した信号から映像信号を復号する手段であり、従来のカラーテレビジョンと同等な機能を有する。
また、３次元映像信号生成手段１２は、前面の表示面１０１と後面の表示面１０２に表示する２Ｄ化像（１０５，１０６）を生成する手段である。
例えば、表示面（１０１，１０２）の奥行き位置の中間に３次元物体１０４がある場合、送信側（例えば、放送局）では、Ｚ情報として、表示面（１０１，１０２）の奥行き位置の中間位置のデータを、３次元表示装置１０に対して送信する。
３次元表示装置１０の３次元映像信号生成手段１２は、当該Ｚ情報に基づき、受信した輝度情報を一対一に分割し、表示面（１０１，１０２）にほぼ等輝度の２Ｄ化像（１０５，１０６）を表示する。
これにより、観察者には、表示面（１０１，１０２）の奥行き位置の中間付近に３次元物体１０４があるように、３次元立体像が観察される。

このように、本実施例では、伝送する３次元映像情報として、２次元のテクスチャ画像と、奥行き情報とを伝送するようにしたので、前面の表示面に表示する２次元映像データ（Ｒ、Ｇ，Ｂ）と、後面の表示面に表示する２次元映像データ（Ｒ、Ｇ，Ｂ）とを伝送する場合に比して、伝送されるデータ量を２／３に減少することが可能となる。
なお、この奥行き情報（Ｚ情報）は、視線方向から３次元物体１０４をカメラで撮影する際に、カメラ位置から３次元物体１０４までの距離を、距離測定装置で測定し、その距離データに基づき生成することができる。
本実施例の３次元映像情報を構成する２次元のテクスチャ画像（Ｒ、Ｇ，Ｂの輝度情報）は、既存のテレビジョン放送網で伝送されるＲ、Ｇ，Ｂの輝度情報と同じであるので、この２次元のテクスチャ画像（Ｒ、Ｇ，Ｂの輝度情報）は、既存のテレビジョン放送網を利用して伝送することが可能である。
しかしながら、本実施例の３次元映像情報を構成する奥行き情報（Ｚ情報）は、そのまま、既存のテレビジョン放送網を利用して伝送することができない。そこで、本実施例では、この奥行き情報（Ｚ情報）を、２次元のテクスチャ画像中に挿入して伝送する。

以下、奥行き情報を、２次元のテクスチャ画像中に挿入する方法について説明する。
（１）２次元のテクスチャ画像のＲ、Ｇ、Ｂの画像データのサイズが、伝送可能な画像データのサイズに比して小さい場合、２次元のテクスチャ画像のＲ、Ｇ、Ｂの画像データの余白部分に、奥行き情報（Ｚ情報）を挿入する。
例えば、図３に示すように、伝送可能な画像データが、アスペクト比が４：３の画像データであり、２次元のテクスチャ画像のＲ、Ｇ、Ｂの画像データが、伝送可能な画像データ内に収まる、アスペクト比が１６：９の画像データである場合、２次元のテクスチャ画像のＲ、Ｇ、Ｂの画像データの上下に、余白部分が生じるので、その部分に奥行き情報（Ｚ情報）を挿入する。
この（１）の手法のように、２次元のテクスチャ画像のＲ、Ｇ、Ｂの画像データに余白部分がない場合は、以下の方法で、２次元のテクスチャ画像のＲ、Ｇ、Ｂの画像データに、奥行き情報（Ｚ情報）を挿入する。
（２）２次元のテクスチャ画像のＲ、Ｇ、Ｂの画像データの３ライン毎に、１ライン分の奥行き情報（Ｚ情報）を挿入する。
（３）２次元のテクスチャ画像のＲ、Ｇ、Ｂの画像データの３画素毎に、１画素分の奥行き情報（Ｚ情報）を挿入する。但し、この（２）、（３）の方法では、画質が低下する。

（４）２次元のテクスチャ画像のＲ、Ｇ、Ｂの画像データの帰線期間内に、奥行き情報（Ｚ情報）を挿入する。
本実施例において、２次元のテクスチャ画像（Ｒ、Ｇ，Ｂの輝度情報）は、ＮＴＳＣ方式、あるいは、ＨＤＴＶ方式の信号に変換された後、既存のテレビジョン放送網を介して伝送される。
そこで、ＮＴＳＣ方式、あるいは、ＨＤＴＶ方式の信号における、帰線期間内に、奥行き情報（Ｚ情報）を挿入して伝送することができる。
なお、前述の（１）〜（３）の方法の場合でも、２次元のテクスチャ画像と、この２次元のテクスチャ画像の中に挿入された奥行き情報（Ｚ情報）とは、ＮＴＳＣ方式、あるいは、ＨＤＴＶ方式の信号に変換された後、既存のテレビジョン放送網を介して伝送される。
以上説明したように、本実施例によれば、２次元のテクスチャ画像（Ｒ、Ｇ，Ｂの輝度情報）と、テクスチャ画像の各画素毎に付加される奥行き情報（Ｚ情報）とで構成される３次元映像情報を、既存のテレビジョン放送網を利用して伝送することが可能となる。

なお、前述の説明では、３次元表示装置１０が、２つの表示面を備える場合について説明したが、３次元表示装置１０は３以上の表示面を有するものでもよい。
また、前述の説明では、例えば、３次元物体全体の奥行き位置を、前面の表示面と後面の表示面とに表示される２Ｄ化像を用いて表現する場合について主に述べたが、図２に示す３次元表示装置１０は、前述の各特許文献に記載したように、３次元物体自体が有する奥行きを表現する装置としても使用できる。
同様に、図２に示す３次元表示装置１０は、前述の各特許文献に記載したように、３次元物体自体が移動する場合にも使用できる。
２Ｄ化像が３次元的に移動する場合、左右・上下方向への移動に関しては通常の２次元表示装置の場合と同様に表示面での動画再生によって可能であり、奥行き方向への移動に関しては、前述の各特許文献に記載したように、前面の表示面と、後面の表示面に表示される２Ｄ化像の輝度（あるいは、透過度）の変化を時間的に行うことで、３次元像の動画を表現することができる。
さらに、本実施例の３次元映像情報の伝送方法は、図２に示す３次元表示装置１０は、パララックス方式の３次元表示装置の場合にも適用可能である。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。

本発明の実施例の３次元映像情報の伝送方法において、既存のテレビジョン放送網を利用して伝送される３次元映像情報を説明するための模式図である。本実施例の伝送方法により伝送された３次元映像情報に基づき、３次元立体像を表示する３次元表示装置を示すブロック図である。本発明の実施例の３次元映像情報の伝送方法において、奥行き情報（Ｚ情報）を、２次元のテクスチャ画像（Ｒ、Ｇ，Ｂの輝度情報）中に挿入する方法の一例を説明するための図である。本発明の基本となる３次元表示装置の概略構成を示す図である。本発明の基本となる３次元表示装置において、各表示面に表示する２Ｄ化像の生成方法を説明するための図である。本発明の基本となる３次元表示装置の表示原理を説明するための図である。本発明の基本となる３次元表示装置の表示原理を説明するための図である。本発明の基本となる３次元表示装置の表示原理を説明するための図である。本発明の基本となる３次元表示装置の表示原理を説明するための図である。

符号の説明

１０３次元表示装置
１１映像信号復号手段
１２３次元映像信号生成手段
１００観察者
１０１，１０２表示面
１０３光学系
１０４３次元物体
１０５，１０６２Ｄ化像

Claims

２次元のテクスチャ画像と、前記テクスチャ画像の各画素毎に付加される奥行き情報とで構成される３次元映像情報の伝送方法であって、
送信側において、前記２次元のテクスチャ画像のＲ、Ｇ、Ｂの画像データの３ライン毎に、前記テクスチャ画像の各画素毎に付加される奥行き情報を１ライン分のデータとして挿入し、前記Ｒ、Ｇ、Ｂの画像データと前記Ｒ、Ｇ、Ｂの画像データ中に挿入された奥行き情報とを、テレビジョン放送用などの従来の２次元映像の伝送路を使用して受信側に伝送し、
受信側において、受信した前記Ｒ、Ｇ、Ｂの画像データ中から前記奥行き情報を抜き出し、前記２次元のテクスチャ画像のＲ、Ｇ、Ｂの画像データと、前記テクスチャ画像の各画素毎に付加される奥行き情報とを再構成することを特徴とする３次元映像情報の伝送方法。
２次元のテクスチャ画像と、前記テクスチャ画像の各画素毎に付加される奥行き情報とで構成される３次元映像情報の伝送方法であって、
送信側において、前記２次元のテクスチャ画像のＲ、Ｇ、Ｂの画像データの３画素毎に、前記テクスチャ画像の各画素毎に付加される奥行き情報を１画素分のデータとして挿入し、前記Ｒ、Ｇ、Ｂの画像データと前記Ｒ、Ｇ、Ｂの画像データ中に挿入された奥行き情報とを、テレビジョン放送用などの従来の２次元映像の伝送路を使用して受信側に伝送し、
受信側において、受信した前記Ｒ、Ｇ、Ｂの画像データ中から前記奥行き情報を抜き出し、前記２次元のテクスチャ画像のＲ、Ｇ、Ｂの画像データと、前記テクスチャ画像の各画素毎に付加される奥行き情報とを再構成することを特徴とする３次元映像情報の伝送方法。