JP2007166277A - Transmission method for three-dimensional image information, transmitting side device, and receiving side device - Google Patents

Transmission method for three-dimensional image information, transmitting side device, and receiving side device Download PDF

Info

Publication number
JP2007166277A
JP2007166277A JP2005360299A JP2005360299A JP2007166277A JP 2007166277 A JP2007166277 A JP 2007166277A JP 2005360299 A JP2005360299 A JP 2005360299A JP 2005360299 A JP2005360299 A JP 2005360299A JP 2007166277 A JP2007166277 A JP 2007166277A
Authority
JP
Japan
Prior art keywords
image information
dimensional
dimensional image
information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005360299A
Other languages
Japanese (ja)
Inventor
英明 ▲高▼田
Hideaki Takada
Hideki Takahashi
秀希 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
NTT IT Corp
Original Assignee
Nippon Telegraph and Telephone Corp
NTT IT Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT IT Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2005360299A priority Critical patent/JP2007166277A/en
Publication of JP2007166277A publication Critical patent/JP2007166277A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To transmit three-dimensional image information comprising a two-dimensional image and depth information necessary for three-dimensional display by converting the three-dimensional image information into the same interface as that of the conventional two-dimensional image while minimizing influence on image quality and using the conventional transmission path. <P>SOLUTION: In this method for transmitting the three-dimensional image information comprising two-dimensional image information and depth information attached to each pixel of the two-dimensional image information, a transmitting side generates image information obtained by attaching the depth information to the two-dimensional image information and transmits the image information to a receiving side by using the transmission path for transmitting the conventional two-dimensional image, and the receiving side divides the two-dimensional image information and the depth information from the image information and outputs the divided information to a three-dimensional display device. The image information is obtained by attaching a bit obtained by dividing the bits of the depth information into three parts after the least significant bits of respective channels of R, G and B of the conventional two-dimensional image. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、3次元画像情報の伝送方法、送信側装置および受信側装置に係り、特に、3次元表示に必要な2次元画像と奥行き情報を、従来の伝送路を用いて伝送する際に有効な技術に関する。   The present invention relates to a transmission method of three-dimensional image information, a transmission-side device, and a reception-side device, and is particularly effective when transmitting a two-dimensional image and depth information necessary for three-dimensional display using a conventional transmission path. Technology.

本発明者らは、立体視の生理的要因間での矛盾を抑制でき、かつ、簡便に、立体メガネを用いないで3次元表示が可能な、DFD(Depth-Fused3-D)方式の3次元表示装置を提案している。(例えば、下記特許文献1、2参照)。
前述した提案済みの3次元表示装置は、複数の表示面に2次元像を表示し、この複数の表示面に表示される2次元像の、輝度あるいは透過度を各表示面毎に変化させて3次元立体像を表示するものである。
また、前述した提案済みの3次元表示装置の画像情報の伝送方法についても提案している(例えば、下記特許文献3参照)。
この提案済みの伝送方法では、伝送する画像の余分な部分に奥行き情報を埋め込む、あるいは表示に不要な別の画像が表示されるが、画像の一部を奥行き情報に置き換えて伝送するものである。
The present inventors have been able to suppress the contradiction between physiological factors of stereoscopic vision, and can easily perform three-dimensional display without using stereoscopic glasses. A display device is proposed. (For example, refer to Patent Documents 1 and 2 below).
The proposed three-dimensional display device described above displays a two-dimensional image on a plurality of display surfaces, and changes the brightness or transparency of the two-dimensional image displayed on the plurality of display surfaces for each display surface. A three-dimensional stereoscopic image is displayed.
In addition, a method for transmitting image information of the previously proposed three-dimensional display device has also been proposed (see, for example, Patent Document 3 below).
In this proposed transmission method, depth information is embedded in an extra portion of an image to be transmitted, or another image unnecessary for display is displayed. However, a part of the image is replaced with depth information and transmitted. .

なお、本願発明に関連する先行技術文献としては以下のものがある。
特許第3022558号公報 特許第3460671号公報 特開2004−274642号公報
As prior art documents related to the invention of the present application, there are the following.
Japanese Patent No. 3022558 Japanese Patent No. 3460671 JP 2004-274642 A

前述した3次元表示方法では、従来の2次元画像情報に加えて奥行き情報を用いることで、複数面の輝度あるいは透過度を変化させている。
しかし、従来の伝送路を用いて、2次元画像情報と、当該2次元画像情報の各画素毎に付加される奥行き情報とで構成される3次元画像情報を伝送するには、奥行き情報の分だけデータ量が増えたことにより、画像の伝送ができず、専用の伝送路が必要であった。
従来の2次元画像を伝送する伝送路を用いる場合には、前述の特許文献3に記載されているように、画像の余分な部分に奥行き情報を埋め込む、あるいは表示に不要な別の画像が表示されるが、画像の一部を奥行き情報に置き換えて伝送する必要があった。
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、3次元表示に必要な2次元画像と奥行き情報からなる3次元画像情報を、画質への影響を最小限にしたまま従来の2次元画像と同様なインターフェースに変換し、従来の伝送路を用いて伝送することが可能となる技術を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
In the three-dimensional display method described above, the luminance or transmittance of a plurality of surfaces is changed by using depth information in addition to conventional two-dimensional image information.
However, in order to transmit 3D image information composed of 2D image information and depth information added to each pixel of the 2D image information using a conventional transmission path, it is necessary to analyze the depth information. As the amount of data increased, image transmission was impossible and a dedicated transmission line was required.
When a conventional transmission path for transmitting a two-dimensional image is used, as described in Patent Document 3 described above, depth information is embedded in an extra portion of the image, or another image unnecessary for display is displayed. However, it has been necessary to replace part of the image with depth information and transmit it.
The present invention has been made to solve the problems of the prior art, and an object of the present invention is to convert 3D image information including 2D images and depth information necessary for 3D display into image quality. An object of the present invention is to provide a technique capable of converting to an interface similar to that of a conventional two-dimensional image while minimizing the influence and transmitting the image using a conventional transmission path.
The above and other objects and novel features of the present invention will become apparent from the description of this specification and the accompanying drawings.

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
前述の目的を達成するための、本発明は、2次元画像情報と、前記2次元画像情報の各画素毎に付加される奥行き情報とで構成される3次元画像情報の伝送方法であって、送信側において、前記2次元画像情報に前記奥行き情報を付加した画像情報を生成し、当該画像情報を、従来の2次元画像を伝送する伝送路を用いて受信側に伝送し、受信側において、受信した前記画像情報から、前記2次元画像情報と、前記奥行き情報とを分離し、3次元表示装置に出力することを特徴とする。
また、本発明では、前記3次元表示装置は、観察者から見て異なった奥行き位置にある複数の表示面に前記2次元画像情報に基づく2次元像をそれぞれ表示し、前記奥行き情報に基づき、当該表示される2次元像の輝度あるいは透過度を前記各表示面毎にそれぞれ独立に変化させて、3次元立体像を表示する。
Of the inventions disclosed in this application, the outline of typical ones will be briefly described as follows.
In order to achieve the above object, the present invention provides a transmission method of 3D image information composed of 2D image information and depth information added to each pixel of the 2D image information, On the transmission side, image information obtained by adding the depth information to the two-dimensional image information is generated, and the image information is transmitted to the reception side using a transmission path for transmitting a conventional two-dimensional image. The two-dimensional image information and the depth information are separated from the received image information and output to a three-dimensional display device.
In the present invention, the three-dimensional display device displays two-dimensional images based on the two-dimensional image information on a plurality of display surfaces at different depth positions as viewed from the observer, and based on the depth information, A three-dimensional stereoscopic image is displayed by changing the luminance or transmittance of the displayed two-dimensional image independently for each display surface.

また、本発明では、前記画像情報は、従来の2次元画像のR、G、Bの各々のチャンネルの最下位のビットの下に、前記奥行き情報のビットを3分割したビットを追加したものである。
また、本発明では、前記画像情報は、従来の2次元画像のR、G、Bの各々のチャンネルの下位ビットの少なくとも1つを削除し、前記奥行き情報のビットを3分割したビットを、前記削除した下位ビット部分に追加し、前記従来の2次元画像と同じビット数にしたものである。
また、本発明では、前記奥行き情報は、下位ビットの少なくとも1つが削除されたものである。
In the present invention, the image information is obtained by adding a bit obtained by dividing the depth information bit into three below the least significant bit of each of the R, G, and B channels of the conventional two-dimensional image. is there.
In the present invention, the image information may be obtained by deleting at least one of the lower bits of each of the R, G, and B channels of the conventional two-dimensional image and dividing the bits of the depth information into three bits. It is added to the deleted lower bit part and has the same number of bits as the conventional two-dimensional image.
In the present invention, the depth information is obtained by deleting at least one of the lower bits.

また、本発明は、2次元画像情報と、前記2次元画像情報の各画素毎に付加される奥行き情報とで構成される3次元画像情報を受信側装置に伝送する送信側装置であって、入力される奥行き情報をn(n≧2)分割する分割手段と、入力されるnチャンネルの2次元画像情報に、前記分割手段でn分割された奥行き情報を挿入するデータ挿入手段と、前記データ挿入手段から出力される、前記2次元画像情報に前記奥行き情報を付加した画像情報を、従来の2次元画像を伝送する伝送路を用いて、受信側装置に伝送するデータ送信手段とを備えることを特徴とする。   In addition, the present invention is a transmission-side device that transmits three-dimensional image information including two-dimensional image information and depth information added to each pixel of the two-dimensional image information to a reception-side device, Dividing means for dividing the input depth information into n (n ≧ 2), data inserting means for inserting depth information divided by the dividing means into the input n-channel two-dimensional image information, and the data Data transmitting means for transmitting the image information output from the inserting means to which the depth information is added to the two-dimensional image information to a receiving-side apparatus using a conventional transmission path for transmitting the two-dimensional image. It is characterized by.

また、本発明は、2次元画像情報と、前記2次元画像情報の各画素毎に付加される奥行き情報とで構成される3次元画像情報を送信側装置から受信する受信側装置であって、従来の2次元画像を伝送する伝送路を用いて送信側装置から伝送された、2次元画像情報に前記奥行き情報を付加された画像情報を受信する受信手段と、前記受信手段で受信した画像情報から、n(n≧2)チャンネルの2次元画像情報と、n分割された奥行き情報とを分離する分離手段と、前記分離手段で分離されたn分割された奥行き情報から、元の奥行き情報を合成する合成手段と、前記分離手段で分離されたnチャンネルの2次元画像情報と、前記合成手段で合成された奥行き情報とを、3次元表示装置に出力する出力手段とを備えることを特徴とする。   Further, the present invention is a receiving side device that receives from the transmitting side device 3D image information composed of 2D image information and depth information added to each pixel of the 2D image information, Receiving means for receiving image information in which the depth information is added to the two-dimensional image information transmitted from the transmission-side apparatus using a transmission path for transmitting a conventional two-dimensional image; and image information received by the receiving means From the two-dimensional image information of n (n ≧ 2) channels and n-divided depth information, the original depth information is obtained from the n-divided depth information separated by the separating means. And a combining unit for combining, and an output unit for outputting the n-channel two-dimensional image information separated by the separating unit and the depth information combined by the combining unit to a three-dimensional display device. To do.

本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
本発明によれば、3次元表示に必要な2次元画像と奥行き情報からなる3次元画像情報を、画質への影響を最小限にしたまま、従来の2次元画像と同様なインターフェースに変換し、従来の伝送路を用いて伝送することが可能となる。
また、3次元表示装置だけでなく、通常の2次元表示装置をそのまま接続した場合でも、そのままで違和感の無い2次元画像を表示することも可能である。
The effects obtained by the representative ones of the inventions disclosed in the present application will be briefly described as follows.
According to the present invention, the three-dimensional image information composed of the two-dimensional image and the depth information necessary for the three-dimensional display is converted into the same interface as the conventional two-dimensional image while minimizing the influence on the image quality, It is possible to transmit using a conventional transmission path.
Moreover, even when not only a 3D display device but also a normal 2D display device is connected as it is, it is possible to display a 2D image without any sense of incongruity.

以下、図面を参照して本発明の実施例を詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
[DFD型の3次元表示装置の一例]
図4は、DFD型の3次元表示装置の一例を説明するための図である。
図4に示す3次元表示装置は、観察者100の前面に複数の面、例えば、表示面(11,12)(表示面11が表示面12より観察者100に近い)を設定し、これらの表示面(11,12)に複数の2次元像を表示するために、2次元表示装置と種々の光学素子を用いて光学系13を構築する。
前記2次元表示装置としては、例えば、CRT、液晶ディスプレイパネル、LEDディスプレイパネル、プラズマディスプレイパネル、ELディスプレイパネル、FEDディスプレイパネル、DMD、プロジェクション方式ディスプレイパネル、オシロスコープのような線描画型ディスプレイなどを用い、光学素子としては、例えば、レンズ、全反射鏡、部分反射鏡、曲鏡、プリズム、偏光素子、波長板などを用いる。
なお、図4は、前述の特許文献1に記載されているものと同じ構成のものであり、また、この表示面の設定方法については、前述の特許文献1を参照されたい。
図4に示す3次元表示装置では、図5に示すように、観察者100に提示したい3次元物体16を、観察者100の両眼の視線方向から、前述の表示面(11,12)へ射影した像(以下、「2D化像」と呼ぶ)(14,15)を生成する。
この2D化像の生成方法としては、例えば、視線方向から3次元物体16をカメラで撮影した2次元像を用いる方法、あるいは別の方向から撮影した複数枚の2次元像から合成する方法、あるいはコンピュータグラフィックによる合成技術やモデル化を用いる方法など種々の方法がある。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
In all the drawings for explaining the embodiments, parts having the same functions are given the same reference numerals, and repeated explanation thereof is omitted.
[Example of DFD type 3D display device]
FIG. 4 is a diagram for explaining an example of a DFD type three-dimensional display device.
The three-dimensional display device shown in FIG. 4 sets a plurality of surfaces, for example, display surfaces (11, 12) (the display surface 11 is closer to the observer 100 than the display surface 12) on the front surface of the observer 100. In order to display a plurality of two-dimensional images on the display surfaces (11, 12), an optical system 13 is constructed using a two-dimensional display device and various optical elements.
Examples of the two-dimensional display device include a CRT, a liquid crystal display panel, an LED display panel, a plasma display panel, an EL display panel, an FED display panel, a DMD, a projection display panel, and a line drawing display such as an oscilloscope. As the optical element, for example, a lens, a total reflection mirror, a partial reflection mirror, a curved mirror, a prism, a polarization element, a wave plate, or the like is used.
Note that FIG. 4 has the same configuration as that described in the above-mentioned Patent Document 1, and refer to the above-mentioned Patent Document 1 for the method of setting the display surface.
In the three-dimensional display device shown in FIG. 4, as shown in FIG. 5, the three-dimensional object 16 to be presented to the observer 100 is transferred from the line of sight of both eyes of the observer 100 to the display surface (11, 12). A projected image (hereinafter referred to as a “2D image”) (14, 15) is generated.
As a method for generating this 2D image, for example, a method using a two-dimensional image obtained by photographing a three-dimensional object 16 with a camera from the line-of-sight direction, a method of combining from a plurality of two-dimensional images taken from different directions, or There are various methods such as a computer graphic synthesis technique and a method using modeling.

図4に示すように、前記2D化像(14,15)を、各々表示面11と表示面12の双方に、観察者100の右眼と左眼とを結ぶ線上の一点から見て重なるように表示する。これは、例えば、2D化像(14,15)の各々の中心位置や重心位置の配置と、各々の像の拡大・縮小を制御することで可能となる。
かかる構成を有する装置上で、2D化像(14,15)の各々の輝度を、観察者100から見た総体的な輝度を一定に保ちつつ、3次元物体16の奥行き位置に対応して変えることで、3次元物体16の3次元立体像を表示する。
その2D化像(14,15)の各々の輝度の変え方の一例について説明する。なお、ここでは、白黒図面であるため、分かりやすいように、以下の図面では、輝度の高い方を濃く示してある。
例えば、3次元物体16が表示面11上にある場合には、図6に示すように、この上の2D化像14の輝度を3次元物体16の輝度に等しくし、表示面12上の2D化像15の輝度はゼロとする。
次に、例えば、3次元物体16が観察者100より少し遠ざかって表示面11より表示面12側に少し寄った位置にある場合には、図7に示すように、2D化像14の輝度を少し下げ、2D化像15の輝度を少し上げる。
As shown in FIG. 4, the 2D image (14, 15) overlaps both the display surface 11 and the display surface 12 when viewed from one point on the line connecting the right eye and the left eye of the viewer 100. To display. This can be achieved, for example, by controlling the arrangement of the center position and the gravity center position of each 2D image (14, 15) and the enlargement / reduction of each image.
On the apparatus having such a configuration, the luminance of each of the 2D images (14, 15) is changed in accordance with the depth position of the three-dimensional object 16 while keeping the overall luminance viewed from the observer 100 constant. Thus, a three-dimensional stereoscopic image of the three-dimensional object 16 is displayed.
An example of how to change the brightness of each 2D image (14, 15) will be described. Here, since it is a black and white drawing, for the sake of easy understanding, in the following drawings, the higher luminance is shown darker.
For example, when the three-dimensional object 16 is on the display surface 11, as shown in FIG. 6, the luminance of the 2D image 14 above is made equal to the luminance of the three-dimensional object 16 and 2D on the display surface 12 is displayed. The brightness of the converted image 15 is zero.
Next, for example, when the three-dimensional object 16 is slightly away from the viewer 100 and is slightly closer to the display surface 12 than the display surface 11, the brightness of the 2D image 14 is increased as shown in FIG. Slightly lower the brightness of the 2D image 15 slightly.

次に、例えば、3次元物体16が観察者100よりさらに遠ざかって表示面11より表示面12側にさらに寄った位置にある場合には、図8に示すように、2D化像14の輝度をさらに下げ、2D化像15の輝度をさらに上げる。
さらに、例えば、3次元物体16が表示面12上にある場合には、図9に示すように、この上の2D化像15の輝度を3次元物体16の輝度に等しくし、表示面11上の2D化像14の輝度はゼロとする。
このように表示することにより、観察者(人)100の生理的あるいは心理的要因あるいは錯覚により、表示しているのが2D化像(14,15)であっても、観察者100にはあたかも表示面(11,12)の中間に3次元物体16が位置しているように感じられる。
例えば、表示面(11,12)にほぼ等輝度の2D化像(14,15)を表示した場合には、表示面(11,12)の奥行き位置の中間付近に3次元物体16があるように感じられる。この場合に、この3次元物体16は、観察者100には立体感を伴って知覚される。
Next, for example, when the three-dimensional object 16 is further away from the observer 100 and is further away from the display surface 11 toward the display surface 12, the luminance of the 2D image 14 is increased as shown in FIG. Further down, the brightness of the 2D image 15 is further increased.
Further, for example, when the three-dimensional object 16 is on the display surface 12, as shown in FIG. 9, the luminance of the 2D image 15 above is made equal to the luminance of the three-dimensional object 16, and the The brightness of the 2D image 14 is zero.
By displaying in this way, even if the 2D image (14, 15) is displayed due to the physiological or psychological factors or illusions of the observer (person) 100, it is as if the observer 100 is present. It feels as if the three-dimensional object 16 is located in the middle of the display surfaces (11, 12).
For example, when a 2D image (14, 15) having substantially the same luminance is displayed on the display surface (11, 12), the three-dimensional object 16 appears near the middle of the depth position of the display surface (11, 12). I can feel it. In this case, the three-dimensional object 16 is perceived by the observer 100 with a stereoscopic effect.

なお、前記説明においては、例えば、3次元物体全体の奥行き位置を、例えば、表示面(11,12)に表示した2次元像を用いて表現する方法について主に述べたが、図4に示す3次元表示装置は、例えば、3次元物体自体が有する奥行きを表現する方法としても使用できることは明らかである。
3次元物体自体が有する奥行きを表現する場合における重要な要点は、図4に示す構成を有する装置上で、2D化像(14,15)の各々の部位の輝度を、観察者100から見た総体的な輝度を一定に保ちつつ、3次元物体16の各部位が有する奥行き位置に対応して変えることである。
なお、前述の説明では、2次元像を配置する面の中で主に2つの面に関してのみ記述し、かつ観察者に提示する物体が2つの面の間にある場合について述べたが、2次元像を配置する面の個数がこれよりも多く、あるいは提示する物体の位置が異なる場合であっても、同様な手法により3次元立体像を表示することが可能であることは明らかである。
例えば、面が3つで、観察者100に近い面と、中間の面との間に第1の3次元物体が、中間の面と、観察者100に遠い面との間に第2の3次元物体が存在する場合には、観察者100に近い面と、中間の面とに、第1の3次元物体の2D化像を表示し、中間の面と、観察者100に遠い面とに第2の3次元物体の2D化像を表示することで、第1および第2の3次元物体の3次元立体像を表示することができる。
In the above description, for example, the method of expressing the depth position of the entire three-dimensional object using, for example, a two-dimensional image displayed on the display surface (11, 12) has been mainly described. It is obvious that the 3D display device can be used as a method of expressing the depth of the 3D object itself, for example.
An important point in expressing the depth of the three-dimensional object itself is that the brightness of each part of the 2D image (14, 15) is viewed from the observer 100 on the apparatus having the configuration shown in FIG. It is to change corresponding to the depth position of each part of the three-dimensional object 16 while keeping the overall luminance constant.
In the above description, the description has been given of the case where only two surfaces are mainly described among the surfaces on which the two-dimensional image is arranged, and the object to be presented to the observer is between the two surfaces. It is obvious that a three-dimensional stereoscopic image can be displayed by a similar method even when the number of surfaces on which images are arranged is larger than this or when the position of an object to be presented is different.
For example, there are three surfaces, a first three-dimensional object between the surface close to the observer 100 and the intermediate surface, and a second 3 between the intermediate surface and the surface far from the observer 100. When a three-dimensional object exists, a 2D image of the first three-dimensional object is displayed on a surface close to the observer 100 and an intermediate surface, and on the intermediate surface and a surface far from the observer 100. By displaying the 2D image of the second 3D object, it is possible to display 3D images of the first and second 3D objects.

さらに、2D化像が3次元的に移動する場合に関しては、観察者の左右上下方向への移動に関しては通常の2次元表示装置の場合と同様に表示面内での動画再生によって可能であり、奥行き方向への移動に関しては、2D化像(14,15)の各々の輝度を、観察者100から見た総体的な輝度を一定に保ちつつ、3次元立体像の奥行き位置の時間的変化に対応して変化させることにより、3次元像の動画を表現できることは明らかである。
例えば、3次元立体像が表示面11より表示面12まで時間的に移動する場合について説明する。
3次元立体像が表示面11上にある場合には、図6に示すように、表示面11上の2D化像14の輝度を3次元立体像の輝度に等しくし、表示面12上の2D化像15の輝度はゼロとする。
次に、例えば、3次元立体像が、次第に観察者100より時間的に少し遠ざかり、表示面11より表示面12側に時間的に少し寄ってくる場合には、図7に示すように、3次元立体像の奥行き位置の移動に対応させて2D化像14の輝度を時間的に少し下げ、かつ2D化像15の輝度を時間的に少し上げる。
Furthermore, regarding the case where the 2D image is moved three-dimensionally, the movement of the observer in the horizontal and vertical directions can be achieved by moving image reproduction on the display surface as in the case of a normal two-dimensional display device. Regarding the movement in the depth direction, the luminance of each of the 2D images (14, 15) is changed with time in the depth position of the three-dimensional stereoscopic image while keeping the overall luminance seen from the observer 100 constant. It is clear that a moving image of a three-dimensional image can be expressed by changing it correspondingly.
For example, a case where a three-dimensional stereoscopic image moves from the display surface 11 to the display surface 12 in time will be described.
When the three-dimensional stereoscopic image is on the display surface 11, the luminance of the 2D image 14 on the display surface 11 is made equal to the luminance of the three-dimensional stereoscopic image, as shown in FIG. The brightness of the converted image 15 is zero.
Next, for example, when the three-dimensional stereoscopic image gradually moves away from the viewer 100 in time and slightly approaches the display surface 12 side from the display surface 11, as shown in FIG. Corresponding to the movement of the depth position of the three-dimensional stereoscopic image, the luminance of the 2D image 14 is slightly lowered in time, and the luminance of the 2D image 15 is slightly increased in time.

次に、例えば、3次元立体像が観察者100より時間的にさらに遠ざかり、表示面11より表示面12側にさらに寄った位置に時間的に移動する場合には、図8に示すように、3次元立体像の奥行き位置の移動に対応させて2D化像14の輝度を時間的にさらに下げ、かつ2D化像15の輝度を時間的にさらに上げる。
さらに、例えば、3次元立体像が表示面12上まで時間的に移動してきた場合には、図9に示すように、3次元立体像の奥行き位置の移動に対応させてこの上の2D化像15の輝度を3次元立体像の輝度に等しくなるまで時間的に変化させ、かつ表示面11上の2D化像14の輝度がゼロとなるまで変化させる。
このように表示することにより、人の生理的あるいは心理的要因あるいは錯覚により、表示しているのが2D化像(14,15)であっても、観察者100にはあたかも表示面(11,12)の間を、表示面11から表示面12に3次元立体像が奥行き方向に移動するように感じられる。
Next, for example, when the three-dimensional stereoscopic image is further distant from the observer 100 in time and moved to a position closer to the display surface 12 than the display surface 11, as shown in FIG. Corresponding to the movement of the depth position of the three-dimensional stereoscopic image, the luminance of the 2D image 14 is further lowered in time, and the luminance of the 2D image 15 is further raised in time.
Further, for example, when the three-dimensional stereoscopic image has moved to the display surface 12 over time, as shown in FIG. The luminance of 15 is changed over time until it becomes equal to the luminance of the three-dimensional stereoscopic image, and is changed until the luminance of the 2D image 14 on the display surface 11 becomes zero.
By displaying in this way, even if a 2D image (14, 15) is displayed due to a human physiological or psychological factor or illusion, the viewer 100 is as if the display surface (11, 12), it is felt that the three-dimensional stereoscopic image moves from the display surface 11 to the display surface 12 in the depth direction.

なお、前述の説明では、3次元立体像が表示面11から表示面12まで移動する場合について述べたが、これが表示面(11,12)の間の途中の奥行き位置から表示面12まで移動する場合や、表示面11から表示面(11,12)の間の途中の奥行き位置まで移動する場合や、表示面(11,12)の間の途中の奥行き位置から表示面(11,12)の間の途中の別な奥行き位置まで移動する場合であっても、同様なことが可能なことは明らかである。
なお、前述の説明では、2D化像を配置する面の中で主に2つの面に関してのみ記述し、かつ観察者100に提示する3次元立体像が2つの面の間を移動する場合について述べたが、2次元像を配置する面の個数がこれよりも多く、あるいは提示する3次元物体が複数の面をまたがって移動する場合であっても、同様な手法により、3次元立体像を表示可能であり、同様な効果が期待できることは明らかである。
また、前述の説明では、1個の3次元立体像が2次元像を配置する二つの面内で移動する場合について説明したが、複数個の3次元物体が移動する場合、即ち、表示される2次元像が、それぞれ移動方向の異なる複数の物体像を含む場合には、各表示面に表示される物体像の輝度を、物体像毎に、その物体の移動方向および移動速度に応じて変化させればよいことは明らかである。
In the above description, the case where the three-dimensional stereoscopic image moves from the display surface 11 to the display surface 12 has been described. However, this moves from the halfway position between the display surfaces (11, 12) to the display surface 12. Or when moving from the display surface 11 to a halfway depth position between the display surfaces (11, 12) or from a halfway depth position between the display surfaces (11, 12). It is clear that the same can be done even when moving to another depth position in the middle.
In the above description, a description is given of a case where only two surfaces are mainly described among surfaces on which a 2D image is arranged, and a three-dimensional stereoscopic image presented to the observer 100 moves between the two surfaces. However, even if the number of planes on which a two-dimensional image is arranged is larger than this, or even when a three-dimensional object to be presented moves across multiple planes, a three-dimensional stereoscopic image is displayed using the same method. Obviously, similar effects can be expected.
In the above description, the case where one three-dimensional stereoscopic image moves in two planes on which two-dimensional images are arranged has been described. However, when a plurality of three-dimensional objects move, that is, displayed. When the two-dimensional image includes a plurality of object images having different movement directions, the luminance of the object image displayed on each display surface changes for each object image according to the movement direction and movement speed of the object. Obviously, you can do that.

[DFD型の3次元表示装置の他の例]
図10は、本発明の前提となるDFD型の3次元表示装置の他の例を説明するための図である。
図10に示す3次元表示装置は、観察者100の前方に、複数の透過型表示装置、例えば、透過型表示装置(21,22)(透過型表示装置21が透過型表示装置22より観察者100に近い)と、種々の光学素子と、光源23を用いて光学系13を構築する。即ち、本実施例では、前述の図4における表示面(11,12)に代えて、透過型表示装置(21,22)を用いるものである。
前記透過型表示装置(21,22)としては、例えば、ツイストネマティック型液晶ディスプレイパネル、イン・プレイン型液晶ディスプレイパネル、ホモジニアス型液晶ディスプレイパネル、強誘電液晶ディスプレイパネル、ゲスト−ホスト型液晶ディスプレイパネル、高分子分散型液晶ディスプレイパネル、ホログラフィック高分子分散型液晶ディスプレイパネル、あるいはこれらの組み合わせなどを使用する。また、光学素子としては、例えば、レンズ、全反射鏡、部分反射鏡、曲面鏡、プリズム、偏光素子、波長板などを用いる。
なお、図10では、バックライト(光源)23が、観察者100から見て最も後方に配置された場合を示し、また、図10は、前述の特許文献2に記載されているものと同じ構成のものである。
[Other examples of DFD type 3D display devices]
FIG. 10 is a diagram for explaining another example of the DFD type three-dimensional display device as a premise of the present invention.
The three-dimensional display device shown in FIG. 10 has a plurality of transmissive display devices, for example, transmissive display devices (21, 22) (the transmissive display device 21 is more observable than the transmissive display device 22 in front of the observer 100. The optical system 13 is constructed using various optical elements and a light source 23. That is, in this embodiment, the transmissive display devices (21, 22) are used in place of the display surfaces (11, 12) in FIG.
Examples of the transmissive display devices (21, 22) include twisted nematic liquid crystal display panels, in-plane liquid crystal display panels, homogeneous liquid crystal display panels, ferroelectric liquid crystal display panels, guest-host liquid crystal display panels, A polymer dispersed liquid crystal display panel, a holographic polymer dispersed liquid crystal display panel, or a combination thereof is used. In addition, as the optical element, for example, a lens, a total reflection mirror, a partial reflection mirror, a curved mirror, a prism, a polarization element, a wave plate, or the like is used.
10 shows a case where the backlight (light source) 23 is arranged at the rearmost position when viewed from the observer 100, and FIG. 10 shows the same configuration as that described in Patent Document 2 described above. belongs to.

図10に示す3次元表示装置においても、前述の図5に示すように、観察者100に提示したい3次元物体16を、観察者100から見て、前記透過型表示装置(21,22)へ射影した2D化像(14,15)を生成する。
前記2D化像(14,15)を、図10に示すように、各々透過型表示装置21と透過型表示装置22との双方に、観察者100の右眼と左眼を結ぶ線上の一点から見て重なるように、2D化像(14,15)として表示する。
これは、例えば、2D化像(14,15)の各々の中心位置や重心位置の配置と、各々の像の拡大/縮小率を制御することで可能となる。
前記構成を有する装置上で、観察者100が見る像は、光源23から射出された光で、2D化像15を透過し、さらに2D化像14を透過した光によって生成される。
図10に示す3次元表示装置では、前記構成を有する装置上で、2D化像(14,15)の各々の透過度の配分を、観察者100から見た総体的な輝度を一定に保ちつつ、3次元物体16の奥行き位置に対応して変えて、透過型表示装置21と透過型表示装置22との間に存在する3次元物体の3次元立体像を表示する。
Also in the three-dimensional display device shown in FIG. 10, as shown in FIG. 5 described above, the three-dimensional object 16 desired to be presented to the viewer 100 is viewed from the viewer 100, and the transmissive display device (21, 22). A projected 2D image (14, 15) is generated.
As shown in FIG. 10, the 2D image (14, 15) is obtained from one point on a line connecting the right eye and the left eye of the observer 100 to both the transmissive display device 21 and the transmissive display device 22, respectively. Displayed as a 2D image (14, 15) so as to overlap.
This can be achieved, for example, by controlling the arrangement of the center position and the center of gravity position of each 2D image (14, 15) and the enlargement / reduction ratio of each image.
On the apparatus having the above-described configuration, an image viewed by the observer 100 is generated by light emitted from the light source 23, transmitted through the 2D image 15, and further transmitted through the 2D image 14.
In the three-dimensional display device shown in FIG. 10, the distribution of the transmittance of each of the 2D images (14, 15) is kept constant on the device having the above-described configuration while keeping the overall luminance as viewed from the observer 100 constant. The three-dimensional stereoscopic image of the three-dimensional object existing between the transmissive display device 21 and the transmissive display device 22 is displayed in accordance with the depth position of the three-dimensional object 16.

その2D化像(14,15)の各々の透過度の変え方の一例について説明する。
例えば、3次元物体16が透過型表示装置21上にある場合には、透過型表示装置21上の透過度を、2D化像14の輝度が3次元物体16の輝度に等しくなるように設定し、透過型表示装置22上の2D化像15の部分の透過度を、例えば、その透過型表示装置22の最大値とする。
次に、例えば、3次元物体16が観察者100より少し遠ざかって、透過型表示装置21より透過型表示装置22側に少し寄った位置にある場合には、透過型表示装置21上の2D化像14の部分の透過度を少し増加させ、透過型表示装置22上の2D化像15の部分の透過度を少し減少させる。
次に、例えば、3次元物体16が観察者100よりさらに遠ざかって、透過型表示装置21より透過型表示装置22側にさらに寄った位置にある場合には、透過型表示装置21上の2D化像14の部分の透過度をさらに増加させ、透過型表示装置22上の2D化像15の部分の透過度をさらに減少させる。
さらに、例えば、3次元物体16が透過型表示装置22上にある場合には、透過型表示装置22上の透過度を、2D化像15の輝度が3次元物体16の輝度に等しくなるように設定し、透過型表示装置21上の2D化像14の部分の透過度を、例えば、透過型表示装置21の最大値とする。
An example of how to change the transmittance of each of the 2D images (14, 15) will be described.
For example, when the three-dimensional object 16 is on the transmissive display device 21, the transmittance on the transmissive display device 21 is set so that the luminance of the 2D image 14 is equal to the luminance of the three-dimensional object 16. The transmittance of the portion of the 2D image 15 on the transmissive display device 22 is, for example, the maximum value of the transmissive display device 22.
Next, for example, when the three-dimensional object 16 is slightly away from the observer 100 and is slightly closer to the transmissive display device 22 side than the transmissive display device 21, the 2D conversion on the transmissive display device 21 is performed. The transmittance of the portion of the image 14 is slightly increased, and the transmittance of the portion of the 2D image 15 on the transmissive display device 22 is slightly decreased.
Next, for example, when the three-dimensional object 16 is further away from the viewer 100 and is located closer to the transmissive display device 22 than the transmissive display device 21, the 2D display on the transmissive display device 21 is performed. The transmittance of the portion of the image 14 is further increased, and the transmittance of the portion of the 2D image 15 on the transmissive display device 22 is further decreased.
Further, for example, when the three-dimensional object 16 is on the transmissive display device 22, the transmittance on the transmissive display device 22 is set so that the luminance of the 2D image 15 is equal to the luminance of the three-dimensional object 16. For example, the transparency of the portion of the 2D image 14 on the transmissive display device 21 is set to the maximum value of the transmissive display device 21.

このように表示することにより、観察者(人)100の生理的あるいは心理的要因あるいは錯覚により、表示しているのが2D化像(14,15)であっても、観察者100にはあたかも透過型表示装置(21,22)の中間に3次元物体16が位置しているように感じられる。
即ち、例えば、透過型表示装置(21,22)にほぼ等輝度の2D化像(14,15)を表示した場合には、透過型表示装置(21,22)の奥行き位置の中間付近に3次元物体16があるように感じられる。この場合に、この3次元物体16は、観察者100には立体感を伴って知覚される。
なお、前述の説明においては、例えば、3次元物体全体の奥行き位置を、例えば、透過型表示装置(21,22)に表示した2次元像を用いて表現する方法について主に述べたが、図10に示す3次元表示装置においても、図4に示す3次元表示装置で説明した方法と同様の手法により、例えば、3次元物体自体が有する奥行きを表現する方法としても使用できることは明らかである。
また、図10に示す3次元表示装置においても、図4に示す3次元表示装置で説明した方法と同様の手法により、2D化像が3次元的に移動する場合には、観察者100の左右上下方向への移動に関しては通常の2次元表示装置の場合と同様に透過型表示装置内での動画再生によって可能であり、また、奥行き方向への移動に関しては、複数の透過型表示装置における透過度の変化を時間的に行うことで、3次元立体像の動画を表現することができることは明らかである。
By displaying in this way, even if the 2D image (14, 15) is displayed due to the physiological or psychological factors or illusions of the observer (person) 100, it is as if the observer 100 is present. It feels as if the three-dimensional object 16 is located in the middle of the transmissive display device (21, 22).
That is, for example, when a 2D image (14, 15) having substantially the same luminance is displayed on the transmissive display device (21, 22), 3 is displayed near the middle of the depth position of the transmissive display device (21, 22). It feels like there is a dimensional object 16. In this case, the three-dimensional object 16 is perceived by the observer 100 with a stereoscopic effect.
In the above description, for example, the method of expressing the depth position of the entire three-dimensional object using, for example, a two-dimensional image displayed on the transmissive display device (21, 22) has been mainly described. It is obvious that the three-dimensional display device shown in FIG. 10 can also be used as a method of expressing the depth of the three-dimensional object itself, for example, by the same method as the method described in the three-dimensional display device shown in FIG.
Also, in the 3D display device shown in FIG. 10, when the 2D image is moved three-dimensionally by the same method as the method described in the 3D display device shown in FIG. The movement in the vertical direction is possible by moving image reproduction in the transmissive display device as in the case of a normal two-dimensional display device, and the movement in the depth direction is transmitted through a plurality of transmissive display devices. It is obvious that a moving image of a three-dimensional stereoscopic image can be expressed by temporally changing the degree.

[図10に示す3次元表示装置の変形例]
図11は、図10に示す3次元表示装置の変形例を説明するための図である。
図11に示す3次元表示装置では、偏光板30と、偏光板36との間に、透過型表示装置21と、散乱板33と、透過型表示装置22とが配置される。
透過型表示装置21は、偏光可変装置として機能する液晶表示パネル32と、カラーフィルタ31とで構成され、同様に、透過型表示装置22は、偏光可変装置として機能する液晶表示パネル35と、カラーフィルタ34とで構成される。
また、偏光板36の後方(偏光板36の透過型表示装置22と反対の側)に、光源(バックライト)23が配置される。
ここで、液晶表示パネル(32,35)は、ツイストネマティック型液晶ディスプレイパネル、イン・プレイン型液晶ディスプレイパネル、ホモジニアス型液晶ディスプレイパネル、強誘電液晶ディスプレイパネル、反強誘電液晶ディスプレイパネルなどから偏光板を取り除いた装置で構成される。
液晶表示パネル(32,35)は、各画素単位で、偏光の方向を変化できるので、出射光の偏光方向と、出射側の偏光板の偏光方向により、出射する光の強度を変化でき、全体として光の透過度を変化させることができる。
したがって、液晶表示パネル(32,35)の各画素単位に、通過する光の偏光方向を制御することにより、液晶表示パネル32および液晶表示パネル35毎に、独立に透過度を変化させることができる。
[Modification of 3D Display Device Shown in FIG. 10]
FIG. 11 is a diagram for explaining a modification of the three-dimensional display device shown in FIG.
In the three-dimensional display device shown in FIG. 11, the transmissive display device 21, the scattering plate 33, and the transmissive display device 22 are disposed between the polarizing plate 30 and the polarizing plate 36.
The transmissive display device 21 includes a liquid crystal display panel 32 that functions as a polarization variable device and a color filter 31. Similarly, the transmissive display device 22 includes a liquid crystal display panel 35 that functions as a polarization variable device, and a color filter. And a filter 34.
A light source (backlight) 23 is disposed behind the polarizing plate 36 (on the side opposite to the transmissive display device 22 of the polarizing plate 36).
Here, the liquid crystal display panels (32, 35) are polarizing plates from twisted nematic liquid crystal display panels, in-plane liquid crystal display panels, homogeneous liquid crystal display panels, ferroelectric liquid crystal display panels, antiferroelectric liquid crystal display panels, and the like. It consists of a device that has been removed.
Since the liquid crystal display panel (32, 35) can change the direction of polarization for each pixel, the intensity of the emitted light can be changed according to the polarization direction of the emitted light and the polarization direction of the polarizing plate on the exit side. As described above, the light transmittance can be changed.
Therefore, the transmittance can be changed independently for each of the liquid crystal display panel 32 and the liquid crystal display panel 35 by controlling the polarization direction of the light passing therethrough for each pixel unit of the liquid crystal display panel (32, 35). .

図11に示す3次元表示装置でも、前述した手法により、透過型表示装置(21,22)上、あるいは、透過型表示装置21と透過型表示装置22との間の任意の位置に、3次元立体像を表示することが可能である。
しかも、図11に示す3次元表示装置では、液晶表示パネル(32,35)を、2枚の偏光板(30,36)で挟むようにしたので、透過型表示装置として、両側に偏光板を設けた液晶表示パネルを使用する場合に比して、光源23からの照射光の光路中に挿入される偏光板の数を少なくすることができ、表示が暗くなるのを防止することができる。
また、図11に示す3次元表示装置では、各液晶表示パネル(32,35)の各画素単位に、赤(R)・緑(G)・青(B)の3色から成るカラーフィルタ(31,34)を配置するようにしたので、カラー画像の3次元立体像を表示することができる。
但し、図11に示す3次元表示装置では、偏光方向が、液晶表示パネル32と液晶表示パネル35とを通過する間に変化することを考慮して、各液晶表示パネル(32,35)の偏光方向の制御を行う必要がある。
図11に示す3次元表示装置では、各透過型表示装置(21,22)は、偏光可変装置として機能する液晶表示パネル(32,35)と、カラーフィルタ(31,34)とで構成される。そのため、カラーフィルタ31と、カラーフィルタ34とにおける、赤(R)・緑(G)・青(B)の各フィルタの配列方向、配列ピッチ等の違いにより、モアレが発生する恐れがある。
そのため、図11に示す3次元表示装置では、カラーフィルタ31とカラーフィルタ34との間に、散乱板33を配置し、前述したモアレが発生するのを防止するようにしている。
In the three-dimensional display device shown in FIG. 11 as well, the three-dimensional display device 21 or 22 is placed on the transmissive display device (21, 22) or an arbitrary position between the transmissive display device 21 and the transmissive display device 22 by the above-described method. A stereoscopic image can be displayed.
Moreover, in the three-dimensional display device shown in FIG. 11, the liquid crystal display panel (32, 35) is sandwiched between two polarizing plates (30, 36). Compared with the case where the provided liquid crystal display panel is used, the number of polarizing plates inserted in the optical path of the irradiation light from the light source 23 can be reduced, and the display can be prevented from becoming dark.
In the three-dimensional display device shown in FIG. 11, a color filter (31) composed of three colors of red (R), green (G), and blue (B) is provided for each pixel of each liquid crystal display panel (32, 35). , 34) are arranged, so that a three-dimensional stereoscopic image of a color image can be displayed.
However, in the three-dimensional display device shown in FIG. 11, the polarization direction of each liquid crystal display panel (32, 35) is taken into consideration that the polarization direction changes while passing through the liquid crystal display panel 32 and the liquid crystal display panel 35. It is necessary to control the direction.
In the three-dimensional display device shown in FIG. 11, each transmissive display device (21, 22) is composed of a liquid crystal display panel (32, 35) functioning as a polarization variable device and a color filter (31, 34). . Therefore, moire may occur due to differences in the arrangement direction, arrangement pitch, and the like of the red (R), green (G), and blue (B) filters in the color filter 31 and the color filter 34.
Therefore, in the three-dimensional display device shown in FIG. 11, the scattering plate 33 is disposed between the color filter 31 and the color filter 34 to prevent the above-described moire from occurring.

[実施例1]
図1は、本発明の実施例の3次元画像情報の伝送方法を実施する送信側装置と、受信側装置の概略構成を示すブロック図である。
3次元画像の元データは、従来の2次元画像と同様な2Dデータ(R・G・Bの画像データ)と、2次元画像情報の各画素毎に付加される奥行き情報であるZデータ(Z画像データ)から構成される。
従来の伝送路やインターフェースを用いてこの3次元画像を伝送するには、従来の伝送路やインターフェースに加えて奥行き情報を伝送する伝送路や、インターフェースを別に用意する必要があった。
本実施例では、送信側装置110において、入力された元データ101のZデータ(奥行き情報)を、Z分割装置102で、複数のチャンネルに分割し、データ挿入装置103にて、入力された元データ101の2Dデータに挿入し、2DデータにZデータを付加した画像情報を生成する。
[Example 1]
FIG. 1 is a block diagram illustrating a schematic configuration of a transmission-side apparatus and a reception-side apparatus that implement a transmission method for 3D image information according to an embodiment of the present invention.
The original data of the 3D image includes 2D data (R, G, B image data) similar to the conventional 2D image and Z data (Z Image data).
In order to transmit this three-dimensional image using a conventional transmission path or interface, it is necessary to separately prepare a transmission path or interface for transmitting depth information in addition to the conventional transmission path or interface.
In the present embodiment, the Z data (depth information) of the input original data 101 is divided into a plurality of channels by the Z dividing device 102 in the transmitting side device 110 and the original inputted by the data inserting device 103 is divided. The image information is generated by inserting the data 101 into the 2D data and adding the Z data to the 2D data.

そして、当該画像情報を、従来のデータ送信装置104、伝送路105を介して、受信側装置120のデータ受信装置106に伝送する。
受信側装置120では、データ分離装置107で、受信した画像情報から2Dデータと、複数のチャンネルから成るZデータを分離し、Z合成装置108で、複数のチャンネルから成るZデータを、1つのZデータに合成する。
そして、データ分離装置107で分離した2Dデータと、Z合成装置108で合成したZデータを、3次元表示装置(前述の図4〜図11を用いて説明したDFD方式の3次元表示装置)に出力する。
3次元表示装置は、観察者から見て異なった奥行き位置にある複数の表示面を有し、各表示面に、2Dデータに基づく2次元像をそれぞれ表示し、さらにZデータに基づき、当該表示される2次元像の輝度あるいは透過度を前記各表示面毎にそれぞれ独立に変化させて、3次元立体像を表示する。
Then, the image information is transmitted to the data receiving device 106 of the receiving side device 120 via the conventional data transmitting device 104 and the transmission path 105.
In the receiving side device 120, the data separation device 107 separates the 2D data and the Z data composed of a plurality of channels from the received image information, and the Z composition device 108 converts the Z data composed of the plurality of channels into one Z data. Composite to data.
Then, the 2D data separated by the data separation device 107 and the Z data synthesized by the Z composition device 108 are converted into a three-dimensional display device (DFD method three-dimensional display device described with reference to FIGS. 4 to 11 described above). Output.
The three-dimensional display device has a plurality of display surfaces at different depth positions as viewed from the observer, displays a two-dimensional image based on 2D data on each display surface, and further displays the display based on Z data. The three-dimensional stereoscopic image is displayed by changing the luminance or transmittance of the two-dimensional image independently for each display surface.

図2は、本発明の実施例1の3次元画像情報の伝送方法を説明するための図である。
図2に示すように、元データ201(ここでは、例として、R・G・B・Z各々6ビットからなるデータ)を、伝送路203のデータ幅(24ビット[R・G・B各々8ビット])に収めて送信する。
具体的には、送信側装置110のデータ挿入装置103で、元データ201のR・G・Bの各々6ビットのデータを、伝送路203のR・G・Bの各々8ビットの上位6ビットに収め、空いた下位2ビットに、Z分割装置102で3分割されたZデータを収める。
奥行きデータは、Z分割装置102において、2ビットずつに3分割し、R・G・Bのそれぞれの下位2ビットに収めて送信する。
受信側装置120で受信されたデータ204は、データ分離装置107で分離され、送信とは、逆に、R・G・Bの各々の上位6ビットは、2次元画像情報として3次元表示装置へ受け渡され、R・G・Bの各々の下位2ビットは、Z合成装置108で1つのZデータに合成された後、奥行き情報として3次元表示装置へ受け渡される。
受信側の3次元表示装置の入力インターフェースが8ビットの場合には、下位2ビットには、「0」あるいは任意のビットを入れることで、8ビットのインターフェースに入力することができる。
FIG. 2 is a diagram for explaining a transmission method of three-dimensional image information according to the first embodiment of the present invention.
As shown in FIG. 2, the original data 201 (in this example, data consisting of 6 bits each of R, G, B, and Z) is converted into the data width of the transmission path 203 (24 bits [R, G, B each 8 Bit]) and send.
Specifically, the data insertion device 103 of the transmission side device 110 converts the 6 bits of R, G, and B of the original data 201 into the upper 6 bits of 8 bits of R, G, and B of the transmission line 203. The Z data divided into three by the Z dividing device 102 is stored in the empty lower 2 bits.
The depth data is divided into two bits by three in the Z dividing device 102, and is stored in the lower 2 bits of each of R, G, and B and transmitted.
The data 204 received by the receiving side device 120 is separated by the data separation device 107, and conversely to the transmission, the upper 6 bits of each of R, G and B are sent to the 3D display device as 2D image information. The lower 2 bits of each of R, G, and B are combined into one Z data by the Z combining device 108, and then transferred to the three-dimensional display device as depth information.
When the input interface of the three-dimensional display device on the receiving side is 8 bits, “0” or an arbitrary bit can be put in the lower 2 bits to input to the 8-bit interface.

ここで、もし、受信側に3次元表示装置ではなく、通常の2次元表示装置(例えば、通常の液晶表示装置(LCD),CRTなど)をそのまま接続した場合でも、R・G・Bの各々の下位ビットのみを変更しており、従来のように、画像の一部として観察者に見える形で奥行き画像が埋め込まれているわけではないため、大きな画像の劣化などは無く(最大階調数が減少するのみである)、通常の2次元画像として見ることが可能である。
特に、切り替え動作などを必要とせずに、従来の2次元画像のインターフェースとの共用が可能である。
このため、受信側では、特に、下位ビットの分離、消去の操作等は必要とせず、そのまま受信するだけでよい。
また、小型な液晶表示装置(LCD)では、インターフェースとして、元々5ビットあるいは6ビットしか入力を持っていないものも多々あり、その場合には、本方法による画像劣化は全く起こらない。
伝送路やインターフェースの形式としては、例えば、DVI−I、LVDS、デジタルRGB、C−MOSパラレル、その他デジタル信号を受け渡している伝送路、インターフェースを用いることができる。
Here, even when a normal two-dimensional display device (for example, a normal liquid crystal display device (LCD), a CRT, etc.) is connected to the receiving side instead of a three-dimensional display device, each of R, G, and B Only the low-order bits are changed, and the depth image is not embedded in the form visible to the viewer as part of the image as in the past, so there is no major image degradation (maximum number of gradations). Can be viewed as a normal two-dimensional image.
In particular, it can be shared with a conventional two-dimensional image interface without requiring a switching operation or the like.
For this reason, the receiving side does not particularly require the operation of separating and erasing the lower bits, and it is only necessary to receive it as it is.
Further, there are many small liquid crystal display devices (LCDs) that originally have only 5 bits or 6 bits as an interface, and in this case, image degradation by this method does not occur at all.
As the format of the transmission path and interface, for example, DVI-I, LVDS, digital RGB, C-MOS parallel, and other transmission paths and interfaces passing digital signals can be used.

[実施例2]
図3は、本発明の実施例2の3次元画像情報の伝送方法を説明するための図である。
図3に示すように、本実施例では、元データ301(ここでは、例として、R・G・B・Z各々8ビットから成るデータ)を、伝送路303のデータ幅(24ビット[R・G・B各々8ビット])に収めて送信する。
具体的には、送信側装置110のデータ挿入装置103で、元データ301のR・G・Bの各8ビットのデータのうち、画質に大きく影響を及ぼさない下位2ビットを削除して6ビットとし、伝送路303のR・G・Bの各々8ビットの上位6ビットに収め、空いた下位2ビットにZデータを収める。
奥行きデータも同様に、Z分割装置102で、下位2ビットを削除して6ビットとし、それぞれ2ビットずつに3分割し、各々R・G・Bの下位2ビットに収めて送信する。
受信側装置120で受信されたデータ304は、データ分離装置107で分離され、送信とは、逆に、R・G・Bの各々の上位6ビットは、2次元画像情報として3次元表示装置へ受け渡され、R・G・Bの各々の下位2ビットは、Z合成装置108で1つのZデータに合成された後、奥行き情報として3次元表示装置へ受け渡される。
受信側の3次元表示装置の入力インターフェースが8ビットの場合には、下位2ビットには、「0」あるいは任意のビットを入れることで、8ビットのインターフェースに入力することができる。
なお、前述した実施例以外に、例えば、伝送路が、R・G・B各々10ビットのものや、元データが10ビットのものなど様々な組み合わせが考えられるが、伝送路の下位ビットに奥行き情報を入れることで、同様な効果が期待できる。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
[Example 2]
FIG. 3 is a diagram for explaining a 3D image information transmission method according to the second embodiment of the present invention.
As shown in FIG. 3, in this embodiment, the original data 301 (in this example, data consisting of 8 bits each of R, G, B, and Z) is converted to the data width (24 bits [R · G and B each 8 bits]).
Specifically, the data insertion device 103 of the transmission-side device 110 deletes the lower 2 bits that do not greatly affect the image quality from the R, G, and B 8-bit data of the original data 301 to obtain 6 bits. In the transmission path 303, each of R, G, and B is stored in the upper 6 bits of 8 bits, and the Z data is stored in the empty lower 2 bits.
Similarly, the Z-divider 102 deletes the lower 2 bits to 6 bits, and divides the depth data into 2 bits each, and divides the data into 3 lower bits of R, G, and B for transmission.
The data 304 received by the receiving side device 120 is separated by the data separation device 107, and conversely to the transmission, the upper 6 bits of each of R, G and B are sent to the 3D display device as 2D image information. The lower 2 bits of each of R, G, and B are combined into one Z data by the Z combining device 108, and then transferred to the three-dimensional display device as depth information.
When the input interface of the three-dimensional display device on the receiving side is 8 bits, “0” or an arbitrary bit can be put in the lower 2 bits to input to the 8-bit interface.
In addition to the above-described embodiments, for example, various combinations such as a transmission path with 10 bits for each of R, G, and B and an original data with 10 bits are conceivable. The same effect can be expected by entering information.
As mentioned above, the invention made by the present inventor has been specifically described based on the above embodiments. However, the present invention is not limited to the above embodiments, and various modifications can be made without departing from the scope of the invention. Of course.

本発明の実施例の3次元画像情報の伝送方法を実施する送信側装置と、受信側装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the transmission side apparatus which implements the transmission method of the three-dimensional image information of the Example of this invention, and a reception side apparatus. 本発明の実施例1の3次元画像情報の伝送方法を説明するための図である。It is a figure for demonstrating the transmission method of the three-dimensional image information of Example 1 of this invention. 本発明の実施例2の3次元画像情報の伝送方法を説明するための図である。It is a figure for demonstrating the transmission method of the three-dimensional image information of Example 2 of this invention. 本発明の基本となる3次元表示装置の概略構成を示す図である。It is a figure which shows schematic structure of the three-dimensional display apparatus used as the basis of this invention. 本発明の基本となる3次元表示装置において、各表示面に表示する2D化像の生成方法を説明するための図である。It is a figure for demonstrating the production | generation method of the 2D-ized image displayed on each display surface in the three-dimensional display apparatus used as the foundation of this invention. 本発明の基本となる3次元表示装置の表示原理を説明するための図である。It is a figure for demonstrating the display principle of the three-dimensional display apparatus used as the basis of this invention. 本発明の基本となる3次元表示装置の表示原理を説明するための図である。It is a figure for demonstrating the display principle of the three-dimensional display apparatus used as the basis of this invention. 本発明の基本となる3次元表示装置の表示原理を説明するための図である。It is a figure for demonstrating the display principle of the three-dimensional display apparatus used as the basis of this invention. 本発明の基本となる3次元表示装置の表示原理を説明するための図である。It is a figure for demonstrating the display principle of the three-dimensional display apparatus used as the basis of this invention. 本発明の前提となるDFD型の3次元表示装置の他の例を説明するための図である。It is a figure for demonstrating the other example of the DFD type three-dimensional display apparatus used as the premise of this invention. 図10に示す3次元表示装置の変形例を説明するための図である。It is a figure for demonstrating the modification of the three-dimensional display apparatus shown in FIG.

符号の説明Explanation of symbols

11,12 表示面
13 光学系
14,15 2D化像
16 3次元物体
21,22 透過型表示装置
23 バックライト
32,35 液晶表示パネル
31,34 カラーフィルタ
30,36 偏光板
33 散乱板
100 観察者
101,201,301 元データ
102 Z分割装置
103 データ挿入装置
104 データ送信装置
105,203,303 伝送路
106 データ受信装置
107 データ分離装置
108 Z合成装置
110 送信側装置
120 受信側装置
202,302 送信データ
204,304 受信データ

DESCRIPTION OF SYMBOLS 11,12 Display surface 13 Optical system 14,15 2D-ized image 16 Three-dimensional object 21,22 Transmission type display device 23 Backlight 32,35 Liquid crystal display panel 31,34 Color filter 30,36 Polarizing plate 33 Scattering plate 100 Observer 101, 201, 301 Original data 102 Z dividing device 103 Data inserting device 104 Data transmitting device 105, 203, 303 Transmission path 106 Data receiving device 107 Data separating device 108 Z synthesizing device 110 Transmitting side device 120 Receiving side device 202, 302 Transmission Data 204,304 Received data

Claims (7)

2次元画像情報と、前記2次元画像情報の各画素毎に付加される奥行き情報とで構成される3次元画像情報の伝送方法であって、
送信側において、前記2次元画像情報に前記奥行き情報を付加した画像情報を生成し、
当該画像情報を、従来の2次元画像を伝送する伝送路を用いて受信側に伝送し、
受信側において、受信した前記画像情報から、前記2次元画像情報と、前記奥行き情報とを分離し、3次元表示装置に出力することを特徴とする3次元画像情報の伝送方法。
A method of transmitting 3D image information comprising 2D image information and depth information added to each pixel of the 2D image information,
On the transmission side, image information obtained by adding the depth information to the two-dimensional image information is generated,
The image information is transmitted to the receiving side using a transmission path for transmitting a conventional two-dimensional image,
On the receiving side, the two-dimensional image information and the depth information are separated from the received image information and output to a three-dimensional display device.
前記3次元表示装置は、観察者から見て異なった奥行き位置にある複数の表示面に前記2次元画像情報に基づく2次元像をそれぞれ表示し、前記奥行き情報に基づき、当該表示される2次元像の輝度あるいは透過度を前記各表示面毎にそれぞれ独立に変化させて、3次元立体像を表示することを特徴とする請求項1に記載の3次元画像情報の伝送方法。   The three-dimensional display device displays two-dimensional images based on the two-dimensional image information on a plurality of display surfaces at different depth positions as viewed from an observer, and the displayed two-dimensional image is displayed based on the depth information. The method of transmitting three-dimensional image information according to claim 1, wherein a three-dimensional stereoscopic image is displayed by changing the luminance or transmittance of the image independently for each of the display surfaces. 前記画像情報は、従来の2次元画像のR、G、Bの各々のチャンネルの最下位のビットの下に、前記奥行き情報のビットを3分割したビットを追加したものであることを特徴とする請求項1または請求項2に記載の3次元画像情報の伝送方法。   The image information is obtained by adding a bit obtained by dividing the depth information bit into three below the least significant bit of each of the R, G, and B channels of the conventional two-dimensional image. The method for transmitting three-dimensional image information according to claim 1 or 2. 前記画像情報は、従来の2次元画像のR、G、Bの各々のチャンネルの下位ビットの少なくとも1つを削除し、前記奥行き情報のビットを3分割したビットを、前記削除した下位ビット部分に追加し、前記従来の2次元画像と同じビット数にしたものであることを特徴とする請求項1または請求項2に記載の3次元画像情報の伝送方法。   In the image information, at least one of the low-order bits of each of the R, G, and B channels of the conventional two-dimensional image is deleted, and the bits obtained by dividing the depth information bit into three are used as the deleted low-order bit portion. 3. The method of transmitting three-dimensional image information according to claim 1, wherein the number of bits is the same as that of the conventional two-dimensional image. 前記奥行き情報は、下位ビットの少なくとも1つが削除されたものであることを特徴とする請求項4に記載の3次元画像情報の伝送方法。   5. The method of transmitting 3D image information according to claim 4, wherein the depth information is obtained by deleting at least one of lower bits. 2次元画像情報と、前記2次元画像情報の各画素毎に付加される奥行き情報とで構成される3次元画像情報を受信側装置に伝送する送信側装置であって、
入力される奥行き情報をn(n≧2)分割する分割手段と、
入力されるnチャンネルの2次元画像情報に、前記分割手段でn分割された奥行き情報を挿入するデータ挿入手段と、
前記データ挿入手段から出力される、前記2次元画像情報に前記奥行き情報を付加した画像情報を、従来の2次元画像を伝送する伝送路を用いて、受信側装置に伝送するデータ送信手段とを備えることを特徴とする送信側装置。
A transmission-side device that transmits three-dimensional image information composed of two-dimensional image information and depth information added to each pixel of the two-dimensional image information to a reception-side device;
Dividing means for dividing input depth information into n (n ≧ 2);
Data insertion means for inserting depth information n-divided by the dividing means into the input n-channel two-dimensional image information;
Data transmitting means for transmitting image information obtained by adding the depth information to the two-dimensional image information output from the data insertion means to a receiving side device using a transmission path for transmitting a conventional two-dimensional image; A transmission-side device comprising:
2次元画像情報と、前記2次元画像情報の各画素毎に付加される奥行き情報とで構成される3次元画像情報を送信側装置から受信する受信側装置であって、
従来の2次元画像を伝送する伝送路を用いて送信側装置から伝送された、2次元画像情報に前記奥行き情報を付加された画像情報を受信する受信手段と、
前記受信手段で受信した画像情報から、n(n≧2)チャンネルの2次元画像情報と、n分割された奥行き情報とを分離する分離手段と、
前記分離手段で分離されたn分割された奥行き情報から、元の奥行き情報を合成する合成手段と、
前記分離手段で分離されたnチャンネルの2次元画像情報と、前記合成手段で合成された奥行き情報とを、3次元表示装置に出力する出力手段とを備えることを特徴とする受信側装置。
A receiving-side device that receives three-dimensional image information including two-dimensional image information and depth information added to each pixel of the two-dimensional image information from the transmitting-side device;
Receiving means for receiving image information in which the depth information is added to the two-dimensional image information transmitted from the transmission-side apparatus using a transmission path for transmitting a conventional two-dimensional image;
Separation means for separating n (n ≧ 2) channel two-dimensional image information and n-divided depth information from the image information received by the reception means;
Combining means for combining the original depth information from the n-divided depth information separated by the separating means;
A receiving-side apparatus comprising: output means for outputting n-channel two-dimensional image information separated by the separating means and depth information synthesized by the synthesizing means to a three-dimensional display device.
JP2005360299A 2005-12-14 2005-12-14 Transmission method for three-dimensional image information, transmitting side device, and receiving side device Pending JP2007166277A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005360299A JP2007166277A (en) 2005-12-14 2005-12-14 Transmission method for three-dimensional image information, transmitting side device, and receiving side device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005360299A JP2007166277A (en) 2005-12-14 2005-12-14 Transmission method for three-dimensional image information, transmitting side device, and receiving side device

Publications (1)

Publication Number Publication Date
JP2007166277A true JP2007166277A (en) 2007-06-28

Family

ID=38248663

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005360299A Pending JP2007166277A (en) 2005-12-14 2005-12-14 Transmission method for three-dimensional image information, transmitting side device, and receiving side device

Country Status (1)

Country Link
JP (1) JP2007166277A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010114861A (en) * 2008-11-10 2010-05-20 Sony Corp Transmitter, receiver, signal transmission system, and signal transmission method
CN102104786A (en) * 2009-12-14 2011-06-22 索尼公司 Image processing device, image processing method and program
CN102165784A (en) * 2009-06-29 2011-08-24 索尼公司 Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, three-dimensional image data reception method, image data transmission device, and image data reception
JP2011205529A (en) * 2010-03-26 2011-10-13 Sony Corp Image processing apparatus, method, and program
RU2522424C2 (en) * 2008-07-16 2014-07-10 Сони Корпорейшн Transmitting apparatus, stereo image data transmitting method, receiving apparatus and stereo image data receiving method
JP2017509278A (en) * 2014-02-10 2017-03-30 エルジー エレクトロニクス インコーポレイティド Broadcast signal transmission / reception method and apparatus for 3D broadcasting service
JP2020195154A (en) * 2016-08-22 2020-12-03 マジック リープ, インコーポレイテッドMagic Leap,Inc. Virtual, augmented and mixed reality systems and methods

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004214763A (en) * 2002-12-27 2004-07-29 Nippon Telegr & Teleph Corp <Ntt> Three-dimensional video system
JP2004227231A (en) * 2003-01-22 2004-08-12 Nippon Telegr & Teleph Corp <Ntt> Method, device, and program for burying three-dimensional information to image data
JP2004274642A (en) * 2003-03-12 2004-09-30 Nippon Telegr & Teleph Corp <Ntt> Transmission method for three dimensional video image information
JP2005267185A (en) * 2004-03-18 2005-09-29 Brother Ind Ltd Image display device and signal processing apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004214763A (en) * 2002-12-27 2004-07-29 Nippon Telegr & Teleph Corp <Ntt> Three-dimensional video system
JP2004227231A (en) * 2003-01-22 2004-08-12 Nippon Telegr & Teleph Corp <Ntt> Method, device, and program for burying three-dimensional information to image data
JP2004274642A (en) * 2003-03-12 2004-09-30 Nippon Telegr & Teleph Corp <Ntt> Transmission method for three dimensional video image information
JP2005267185A (en) * 2004-03-18 2005-09-29 Brother Ind Ltd Image display device and signal processing apparatus

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2522424C2 (en) * 2008-07-16 2014-07-10 Сони Корпорейшн Transmitting apparatus, stereo image data transmitting method, receiving apparatus and stereo image data receiving method
US8384765B2 (en) 2008-11-10 2013-02-26 Sony Corporation Transmitter, receiver, signal transmission system, and signal transmission method
JP4662187B2 (en) * 2008-11-10 2011-03-30 ソニー株式会社 Transmitting apparatus, receiving apparatus and signal transmission system
JP2010114861A (en) * 2008-11-10 2010-05-20 Sony Corp Transmitter, receiver, signal transmission system, and signal transmission method
CN102165784A (en) * 2009-06-29 2011-08-24 索尼公司 Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, three-dimensional image data reception method, image data transmission device, and image data reception
CN102104786A (en) * 2009-12-14 2011-06-22 索尼公司 Image processing device, image processing method and program
JP2011205529A (en) * 2010-03-26 2011-10-13 Sony Corp Image processing apparatus, method, and program
US8879840B2 (en) 2010-03-26 2014-11-04 Sony Corporation Image processor, image processing method, and program for shift-changing depth data of an image
JP2017509278A (en) * 2014-02-10 2017-03-30 エルジー エレクトロニクス インコーポレイティド Broadcast signal transmission / reception method and apparatus for 3D broadcasting service
US9930382B2 (en) 2014-02-10 2018-03-27 Lg Electronics Inc. Method and apparatus for transmitting/receiving broadcast signal for 3-dimensional (3D) broadcast service
JP2020195154A (en) * 2016-08-22 2020-12-03 マジック リープ, インコーポレイテッドMagic Leap,Inc. Virtual, augmented and mixed reality systems and methods
US11823360B2 (en) 2016-08-22 2023-11-21 Magic Leap, Inc. Virtual, augmented, and mixed reality systems and methods
JP7397777B2 (en) 2016-08-22 2023-12-13 マジック リープ, インコーポレイテッド Virtual reality, augmented reality, and mixed reality systems and methods

Similar Documents

Publication Publication Date Title
JP2006195018A (en) Three dimensional display method, image generation side apparatus and image display side apparatus
US7522184B2 (en) 2-D and 3-D display
WO2011125368A1 (en) Three-dimensional image display device, display system, drive method, drive device, display control method, display control device, program, and computer-readable recording medium
US20120194660A1 (en) Image display device and stereo image display system
WO2006028151A1 (en) 3d displaying method, device and program
JP2007166277A (en) Transmission method for three-dimensional image information, transmitting side device, and receiving side device
KR101922722B1 (en) Stereoscopic image display device
KR20130002076A (en) Stereoscopic image display device and driving method thereof
JP3460671B2 (en) Three-dimensional display method and device
EP2595395A1 (en) Display apparatus and driving method thereof
JP3628967B2 (en) Three-dimensional display method and apparatus
KR101337790B1 (en) Depth-fused three dimensional display method and apparatus using multi layer
KR101763942B1 (en) Stereoscopic Image Display Device
KR20120063752A (en) Image processing unit and stereoscopic image display device using the same, and image processing method
KR102126532B1 (en) Method of multi-view image formation and stereoscopic image display device using the same
JP4444152B2 (en) 3D display device
JP4283232B2 (en) 3D display method and 3D display device
JP4451804B2 (en) Three-dimensional display method, image generation apparatus, and image display apparatus
CN102256160B (en) Stereo image processing equipment and method
CN102256152B (en) Equipment and method for processing three-dimensional image
JP2006285112A (en) Three-dimensional display method and three-dimensional display device
KR101798236B1 (en) Stereoscopic image display and method of adjusting brightness thereof
JP4481275B2 (en) 3D video information transmission method
KR20160021650A (en) Lenticular lens type stereoscopic 3d display device
KR101782648B1 (en) Liquid crystal display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100608

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101019