JP2011124802A - Device and method for generating stereoscopic video - Google Patents
Device and method for generating stereoscopic video Download PDFInfo
- Publication number
- JP2011124802A JP2011124802A JP2009280904A JP2009280904A JP2011124802A JP 2011124802 A JP2011124802 A JP 2011124802A JP 2009280904 A JP2009280904 A JP 2009280904A JP 2009280904 A JP2009280904 A JP 2009280904A JP 2011124802 A JP2011124802 A JP 2011124802A
- Authority
- JP
- Japan
- Prior art keywords
- data
- stereoscopic
- video
- display
- video data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、両眼視差によって立体映像を知覚させることができる立体映像データを生成することが可能な立体映像生成装置および立体映像生成方法に関する。 The present invention relates to a stereoscopic video generation apparatus and a stereoscopic video generation method capable of generating stereoscopic video data that allows a stereoscopic video to be perceived by binocular parallax.
従来、１つのディスプレイの表示面を複数の領域（画面）に分割し、異なる映像を表示させる技術がある。例えば、カーナビゲーション装置では、ディスプレイの一方の画面に平面の地図を示す映像を、他方の画面に現在地付近の建物の斜視図を示す映像をそれぞれ表示させている。 Conventionally, there is a technique for dividing a display surface of one display into a plurality of regions (screens) and displaying different images. For example, in a car navigation device, an image showing a planar map is displayed on one screen of a display, and an image showing a perspective view of a building near the current location is displayed on the other screen.
このようなカーナビゲーション装置は、地図を示す映像を生成するための地図データと斜視図を示す映像を生成するための斜視図データを別個に備えていることが多いが、斜視図データは地図データと高さ方向のデータとから構成されているため、限りある記憶領域に地図データが重複して存在することとなり、記憶領域の有効利用が妨げられていた。 Such a car navigation device often includes separately map data for generating a video showing a map and perspective view data for generating a video showing a perspective view. And the data in the height direction, the map data overlaps in a limited storage area, thus preventing effective use of the storage area.
そこで、地図を示す映像を生成するための地図データを利用し、斜視図を示す映像を生成することでデータ量を削減する技術が開示されている（例えば、特許文献１）。 Thus, a technique for reducing the amount of data by using map data for generating a video showing a map and generating a video showing a perspective view is disclosed (for example, Patent Document 1).
近年、ディスプレイの表示面上に、両眼視差のある左右２つの映像を表示し、ユーザ（観察者）に対してあたかもオブジェクトが立体的に存在するように知覚させる立体映像技術が脚光を浴びている。このような立体的な映像表示を実現するための技術については、様々な提案がなされており、例えば、μｐｏｌやＸｐｏｌ（登録商標）といった偏光フィルタ方式（パッシブタイプ）や、電子シャッタ方式（アクティブタイプ）が提案されている。 In recent years, stereoscopic video technology has attracted attention because it displays two left and right images with binocular parallax on the display surface of the display, and makes the user (observer) perceive that the object exists three-dimensionally. Yes. Various proposals have been made for techniques for realizing such a three-dimensional video display. For example, a polarization filter method (passive type) such as μpol and Xpol (registered trademark), an electronic shutter method (active type), and the like. ) Has been proposed.
偏光フィルタ方式を採用する場合、ディスプレイの表示面に、偏光特性が異なる２種類の偏光フィルタが隔行で（１表示ライン毎に）交互に配置される。ここで、偏光特性が異なるとは、偏光フィルタに直線偏光を利用する場合、一方の偏光フィルタと他方の偏光フィルタとの偏光が例えば直交しており、円偏光を利用する場合、一方の偏光フィルタは右偏光であり他方の偏光フィルタが左偏光であることをいう。 When the polarization filter method is employed, two types of polarization filters having different polarization characteristics are alternately arranged on a display surface of the display in a row (for each display line). Here, when the polarization characteristics are different, when linearly polarized light is used for the polarization filter, the polarization of one polarization filter and the other polarization filter is orthogonal, for example. When circular polarization is used, one polarization filter Means right polarization and the other polarization filter is left polarization.
そして、一方の偏光フィルタが配置された表示ラインに右眼用の映像データを、他方の偏光フィルタが配置された表示ラインに左眼用の映像データを表示させると、観察者は、偏光眼鏡を通じて、隔行の表示ラインに示された右眼映像を右眼で、左眼映像を左眼で視認し、両眼視差による立体映像を知覚することが可能となる。 When the right-eye video data is displayed on the display line on which one polarization filter is arranged and the left-eye video data is displayed on the display line on which the other polarization filter is arranged, the observer passes through the polarizing glasses. The right eye image shown in the alternate display line can be visually recognized by the right eye and the left eye image can be visually recognized by the left eye, and a stereoscopic image by binocular parallax can be perceived.
また、電子シャッタ方式を採用する場合、ディスプレイに、例えば６０ｆｐｓ（Frame Per Second）といったフレーム切換速度で右眼用の映像データと左眼用の映像データとを交互に表示させる。そして、フレームに同期させて、右眼用の映像データを表示させているときには右のシャッタを開、左のシャッタを閉にし、左眼用の映像データを表示させているときには右のシャッタを閉、左のシャッタを開にする電子シャッタ眼鏡を通じて、観察者は、右眼映像を右眼で、左眼映像を左眼で、時分割で交互かつ排他的に視認し、両眼視差による立体映像を知覚することが可能となる。 When the electronic shutter method is adopted, the right eye video data and the left eye video data are alternately displayed on the display at a frame switching speed of 60 fps (Frame Per Second), for example. Then, in synchronization with the frame, the right shutter is opened when the right-eye video data is displayed, the left shutter is closed, and the right shutter is closed when the left-eye video data is displayed. Through the electronic shutter glasses that open the left shutter, the observer can view the right eye image with the right eye and the left eye image with the left eye alternately and exclusively in a time-sharing manner, and stereoscopic images based on binocular parallax. Can be perceived.
したがって、観察者が立体映像を観察するときには、立体映像を知覚させるための眼鏡（偏光眼鏡や、電子シャッタ眼鏡）を装着しなければならず、ディスプレイ自体も立体映像を知覚させる構成にしなければならなかった。 Therefore, when an observer observes a stereoscopic image, he or she must wear glasses (polarized glasses or electronic shutter glasses) for perceiving the stereoscopic image, and the display itself must be configured to perceive the stereoscopic image. There wasn't.
このように、２次元映像を表示するディスプレイと、立体映像を知覚させるためのディスプレイとでは、構成が全く異なることから、２次元映像を知覚させるための映像データ（２次元映像データ）と立体映像を知覚させるための映像データ（立体表示データ）とを、並列して１のディスプレイに表示させようとする試みがなかった。 As described above, the display for displaying the 2D video and the display for perceiving the 3D video are completely different from each other, so that the video data (2D video data) and the 3D video for perceiving the 2D video are different. There was no attempt to display video data (stereoscopic display data) for perceiving the image on one display in parallel.
しかし、立体映像がどのぐらいの立体感を再現できるのかを２次元映像と比較したいといった要望、例えば販売者側がデモンストレーション等で、２次元映像と立体表示データとを１のディスプレイに同時に表示させたい等の要望がある。 However, there is a demand to compare how much 3D image can be reproduced with 2D image, for example, the seller wants to display 2D image and 3D display data on 1 display at the same time by demonstration etc. There is a request.
そこで、本発明は、このような課題に鑑み、１のディスプレイを通じて、立体映像と２次元映像とを同時に観察者に知覚させることが可能な立体映像生成装置および立体映像生成方法を提供することを目的としている。 Therefore, in view of such problems, the present invention provides a stereoscopic video generation apparatus and a stereoscopic video generation method that allow a viewer to perceive stereoscopic video and two-dimensional video simultaneously through a single display. It is aimed.
上記課題を解決するために、本発明の立体映像生成装置は、立体映像を知覚させるための立体映像データまたは２次元映像データを取得するデータ取得部と、取得された立体映像データまたは２次元映像データを用いて、２次元表示データ、擬似立体表示データおよび立体表示データのうち２または３の表示データを生成する表示データ生成部と、左右眼の水平視差に基づいて立体映像を知覚させる立体ディスプレイに、生成された２または３の表示データを並べて表示させる表示制御部と、を備えることを特徴とする。 In order to solve the above-described problem, a stereoscopic video generation apparatus according to the present invention includes a data acquisition unit that acquires stereoscopic video data or two-dimensional video data for perceiving a stereoscopic video, and the acquired stereoscopic video data or two-dimensional video. A display data generation unit that generates two or three display data out of two-dimensional display data, pseudo-stereoscopic display data, and stereoscopic display data, and a stereoscopic display that perceives a stereoscopic image based on horizontal parallax between the left and right eyes And a display control unit that displays the generated 2 or 3 display data side by side.
上記立体映像生成装置は、表示データ生成部によって生成される２または３の表示データそれぞれにおける垂直方向および水平方向の相対的位置が等しくなるように、取得された立体映像データまたは２次元映像データの一部を切り出す映像切出部をさらに備えてもよい。 The stereoscopic video generation apparatus is configured to store the acquired stereoscopic video data or the two-dimensional video data so that the relative positions in the vertical direction and the horizontal direction in the two or three pieces of display data generated by the display data generation unit are equal to each other. You may further provide the image | video cutting part which cuts out a part.
上記表示データ生成部は、取得された立体映像データのうちの左眼立体映像データまたは右眼立体映像データのいずれか一方のみを用いて２次元表示データおよび擬似立体表示データを生成してもよい。 The display data generation unit may generate the two-dimensional display data and the pseudo stereoscopic display data using only one of the left-eye stereoscopic video data and the right-eye stereoscopic video data among the acquired stereoscopic video data. .
上記課題を解決するために、本発明の立体映像生成方法は、立体映像を知覚させるための立体映像データまたは２次元映像データを取得し、取得した立体映像データまたは２次元映像データを用いて、２次元表示データ、擬似立体表示データおよび立体表示データのうち２または３の表示データを生成し、左右眼の水平視差に基づいて立体映像を知覚させる立体ディスプレイに、生成した２または３の表示データを並べて表示させることを特徴とする。 In order to solve the above-described problem, the stereoscopic video generation method of the present invention acquires stereoscopic video data or 2D video data for perceiving stereoscopic video, and uses the acquired stereoscopic video data or 2D video data, The 2 or 3 display data generated on the 3D display that generates 2 or 3 display data of the 2D display data, the pseudo 3D display data, and the 3D display data and perceives a 3D image based on the horizontal parallax between the left and right eyes. Are displayed side by side.
本発明の立体映像生成装置は、１のディスプレイを通じて、立体映像と２次元映像とを同時に観察者に知覚させることが可能となる。 The stereoscopic video generation apparatus of the present invention can allow a viewer to perceive a stereoscopic video and a two-dimensional video through one display.
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The dimensions, materials, and other specific numerical values shown in the embodiment are merely examples for facilitating understanding of the invention, and do not limit the present invention unless otherwise specified. In the present specification and drawings, elements having substantially the same function and configuration are denoted by the same reference numerals, and redundant description is omitted, and elements not directly related to the present invention are not illustrated. To do.
（第１の実施形態：同期した立体映像データ、ラインシーケンシャル、２画面表示）
図１は、第１の実施形態にかかる立体映像生成装置が生成する立体表示データを表示させるための立体ディスプレイ１１０の表示構成を説明するための説明図である。立体ディスプレイ１１０の表示面１１２には、隔行で（１ライン毎に）偏光特性の異なる偏光フィルタが設けられているので、奇数番号のライン１１４（図１中、ｎは偶数）と偶数番号のライン１１６とで偏光特性が異なっている。立体ディスプレイ１１０を観察する観察者は、左右で偏光特性が異なる偏光眼鏡１１８を通じて、例えば奇数番号のライン１１４に表示された立体表示データ（右眼立体表示データ１２０）を右眼で、偶数番号のライン１１６に表示された立体表示データ（左眼立体表示データ１２２）を左眼で視認し、両眼視差によって、表示面１１２と異なる結像位置１２４で立体映像を知覚することが可能となる。
(First embodiment: synchronized stereoscopic video data, line sequential, two-screen display)
FIG. 1 is an explanatory diagram for explaining a display configuration of a
立体映像生成装置は、図１に示した立体表示データに含まれるオブジェクトを、交差視（交差法）および平行視（平行法）のいずれの立体表示形式で表示することも可能であり、右眼立体表示データ１２０に含まれるオブジェクトと左眼立体表示データ１２２に含まれるオブジェクトとの水平方向の位置を相対的に左右にシフトすることで表示面１１２より奥側または手前側のいずれの位置にもオブジェクトを結像させることができる。このとき水平方向のシフト量を０とすると、オブジェクトは立体ディスプレイ１１０の表示面１１２上に結像される。
The stereoscopic image generating apparatus can display the object included in the stereoscopic display data shown in FIG. 1 in any stereoscopic display format of cross-view (intersection method) or parallel view (parallel method). By shifting the horizontal position of the object included in the
このように、立体映像を知覚させるための立体ディスプレイ１１０は、２次元映像を表示させるためのディスプレイと異なり、表示面１１２に１ライン毎に偏光特性の異なる偏光フィルタを備えているため、当該立体ディスプレイ１１０に敢えて２次元映像データを表示しようとする動機に乏しく、２次元映像データを表示する目的には用いられていなかった。しかし、一方で、立体映像がどのぐらいの立体感を再現できるのかを２次元映像と比較したいといった要望がある。
Thus, unlike the display for displaying a two-dimensional image, the three-
そこで、本実施形態の立体映像生成装置は、１の立体ディスプレイ１１０を通じて、立体映像と２次元映像とを同時に観察者に知覚させることを目的としている。
Therefore, the stereoscopic video generation device of the present embodiment is intended to make an observer perceive a stereoscopic video and a two-dimensional video through one
（立体映像生成装置１００）
図２は、第１の実施形態にかかる立体映像生成装置１００の概略的な機能を示した機能ブロック図である。図２に示すように、立体映像生成装置１００は、立体ディスプレイ１１０に接続され、データ取得部１５０と、映像処理部１５２と、フレームメモリ１５４と、表示データ生成部１６０と、表示制御部１８０とを含んで構成される。ここでは立体ディスプレイ１１０と立体映像生成装置１００とを別体に構成する場合を説明するが、一体的に構成することもできる。
(3D image generating apparatus 100)
FIG. 2 is a functional block diagram showing a schematic function of the stereoscopic
データ取得部１５０は、立体映像を知覚させるための立体映像データ、または２次元映像を表示させるための２次元映像データを、外部の放送局１２６や通信網（インターネットやＬＡＮ）１２８から取得する。また、ＤＶＤ（Digital Versatile Disk）やＢＤ（Blu-ray Disc）といった記録媒体から内部的に立体映像データを取得することもできる。本実施形態においてデータ取得部１５０は、右眼に視認させるための右眼立体映像データ１３０と、左眼に視認させるための左眼立体映像データ１３２とが同期している立体映像データ１３４を取得する。
The
このような立体映像データ１３４では、右眼立体映像データ１３０と左眼立体映像データ１３２とが、１対のカメラによって個別に撮像され、または、両眼視差が生じるように調整されている。ただし、本実施形態の立体映像データ１３４の右眼立体映像データ１３０および左眼立体映像データ１３２は、それぞれ、最終的に表示される立体表示データと垂直解像度および水平解像度が等しいとする。したがって、立体ディスプレイ１１０における全画面の有効映像範囲の画素数が水平解像度１９２０×垂直解像度１０８０（以下、１９２０×１０８０といったように簡略化する）の場合、右眼立体映像データ１３０および左眼立体映像データ１３２が示す画素数はそれぞれ１９２０×１０８０となる。
In such
映像処理部１５２は、データ取得部１５０を通じて取得された立体映像データ１３４に対して、Ｒ（Red）Ｇ（Green）Ｂ（Blue）処理（γ補正や色補正）、エンハンス処理、ノイズ低減処理などの映像信号処理を行う。所定の映像信号処理が行なわれた立体映像データ１３４は、フレームメモリ１５４にて保持される。
The
フレームメモリ１５４は、ＲＡＭ、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等で構成され、立体映像データ１３４を一時的に保持する。なお、ＨＤＤは正確には装置であるが、説明の便宜上本説明では他の記憶媒体と同義として扱う。
The
表示データ生成部１６０は、データ取得部１５０が取得した立体映像データまたは２次元映像データ１３４を用いて、２次元表示データ、擬似立体表示データおよび立体表示データのうち２の表示データを生成する。
The display
ここでは、まずデータ取得部１５０が取得した立体映像データ１３４を用いて、立体表示データおよび２次元表示データを生成する構成について説明する。
Here, first, a configuration for generating stereoscopic display data and two-dimensional display data using the
（立体表示データおよび２次元表示データ）
図３は、第１の実施形態にかかる表示データ生成部１６０の具体的な機能を示した機能ブロック図であり、図４は、表示データ生成部１６０中のスケーラ部１６２によって加工された立体映像データ１３４を説明するための説明図である。図３に示すように、表示データ生成部１６０は、スケーラ部１６２と、映像変換部１７０とを含んで構成される。
(3D display data and 2D display data)
FIG. 3 is a functional block diagram showing specific functions of the display
スケーラ部１６２は、右スケーラ部１６２ａと、左スケーラ部１６２ｂとで構成され、右スケーラ部１６２ａは、フレームメモリ１５４から図４（ａ）に示す右眼立体映像データ１３０の有効映像部分を、左スケーラ部１６２ｂは、フレームメモリ１５４から左眼立体映像データ１３２の有効映像部分を、それぞれを読み出し、図４（ｂ）に示すように垂直解像度を１／２に縮小する。ここでスケーラ部１６２は、右眼立体映像データ１３０または左眼立体映像データ１３２を構成するライン単位のデータを隔行で間引くことで垂直解像度を１／２に縮小する。なお、有効映像部分とは映像全体から非表示領域（ブランク期間）を除いた映像部分のことである。
The
さらに、右スケーラ部１６２ａは、図４（ｃ）に示すように、垂直解像度を１／２に縮小した右眼立体映像データ１３０ａの水平解像度を１／２に縮小して、有効映像部分の右半分に配し、左半部にダミーデータ（図４（ｃ）中ハッチングで示す）を配した右眼立体映像データ１３０ｂを生成する。また、左スケーラ部１６２ｂは、垂直解像度を１／２に縮小した左眼立体映像データ１３２ａの水平解像度を１／２に縮小して、有効映像部分の左半分に配し、右半部にダミーデータ（図４（ｃ）中ハッチングで示す）を配した左眼立体映像データ１３２ｂを生成する。ここでスケーラ部１６２は、右眼立体映像データ１３０または左眼立体映像データ１３２を構成するライン単位のデータを１画素置きに間引くことで水平解像度を１／２に縮小する。
Further, as shown in FIG. 4 (c), the
そして、スケーラ部１６２は、垂直解像度および水平解像度をそれぞれ１／２に縮小した、すなわち、画素数が９６０×５４０となった右眼立体映像データ１３０を含む右眼立体映像データ１３０ａおよび画素数が９６０×５４０となった左眼立体映像データ１３２を含む左眼立体映像データ１３２ｂを映像変換部１７０に出力する。
Then, the
図５は、第１の実施形態にかかる映像変換部１７０の具体的な機能を示した機能ブロック図であり、図６は、映像変換部１７０の処理を説明するための説明図であり、図７は、映像変換部１７０によって加工された立体映像データを説明するための説明図である。図５に示すように映像変換部１７０は、３つの切換スイッチ１７２ａ、１７２ｂ、１７２ｃと、２つのラインメモリ１７４ａ、１７４ｂと、アドレス制御部１７６とを含んで構成される。ラインメモリ１７４ａ、１７４ｂは１ライン分のデータを保持およびシフトするシフトレジスタで構成され、アドレス制御部１７６は、水平同期信号の１／２の周期で形成される基準信号に基づいて３つの切換スイッチ１７２ａ、１７２ｂ、１７２ｃを制御する。
FIG. 5 is a functional block diagram showing specific functions of the
具体的に、アドレス制御部１７６は、基準信号の周期で切換スイッチ１７２ａを、基準信号の２倍の周期で切換スイッチ１７２ｂを切り換える。またアドレス制御部１７６は、切換スイッチ１７２ｂと切換スイッチ１７２ｃにそれぞれ接続されるラインメモリ１７４ａ、１７４ｂが排他的に選択されるように切換スイッチ１７２ｂと切換スイッチ１７２ｃとを切り換える。したがって、切換スイッチ１７２ｃも基準信号の２倍の周期で切り換わる。
Specifically, the
図６（ａ）に示すように、まず、アドレス制御部１７６は、切換スイッチ１７２ａを左スケーラ部１６２ｂに接続し、切換スイッチ１７２ｂをラインメモリ１７４ａに接続し、切換スイッチ１７２ｃをラインメモリ１７４ｂに接続する。そうすると、ラインメモリ１７４ａには、図７（ａ）に示す水平解像度を１／２に縮小された左眼立体映像データ（以下、単に０．５ライン分の左眼立体映像データと称する）１３２の１ライン目の映像データＬ１が保持されることになる。
As shown in FIG. 6A, first, the
次に基準信号が１周期進むと、図６（ｂ）に示すように、アドレス制御部１７６は、切換スイッチ１７２ａを右スケーラ部１６２ａに接続し、切換スイッチ１７２ｂと切換スイッチ１７２ｃは変更しない、すなわち、切換スイッチ１７２ｂをラインメモリ１７４ａに接続したままに、切換スイッチ１７２ｃをラインメモリ１７４ｂに接続したままにする。そうすると、ラインメモリ１７４ａには、図７（ａ）に示す水平解像度を１／２に縮小された右眼立体映像データ（以下、単に０．５ライン分の右眼立体映像データと称する）１３０の１ライン目の映像データＲ１が保持されることになる。このとき、ラインメモリ１７４ａには、映像データＬ１と映像データＲ１が直列に保持されることとなる。
Next, when the reference signal advances by one cycle, as shown in FIG. 6B, the
さらに基準信号が１周期進むと、図６（ｃ）に示すように、アドレス制御部１７６は、切換スイッチ１７２ａを左スケーラ部１６２ｂに接続し、切換スイッチ１７２ｂをラインメモリ１７４ｂに接続し、切換スイッチ１７２ｃをラインメモリ１７４ａに接続する。そうすると、ラインメモリ１７４ａから図７（ａ）に示す０．５ライン分の左眼立体映像データ１３２の１ライン目の映像データＬ１が出力され、ラインメモリ１７４ｂには、０．５ライン分の左眼立体映像データ１３２の２ライン目の映像データＬ２が保持されることになる。
When the reference signal further advances by one cycle, as shown in FIG. 6C, the
ここでは、ラインメモリ１７４ａから出力された映像データＬ１をそのまま表示データとすべきであるが、この場合に限って（基準信号の４倍の周期で）、アドレス制御部１７６は、ラインメモリ１７４ａの出力段からではなく、ラインメモリ１７４ａの中間に相当する位置から映像データを抽出する。すなわち、映像データＬ１の代わりに映像データＲ１を抽出し、その映像データＲ１によって表示データを生成する。
Here, the video data L1 output from the
また、ここでは、ラインメモリ１７４としてシフトレジスタを用いているが、ランダムアクセス可能なメモリを用いることもでき、その場合、アドレス制御部１７６は、ラインメモリ１７４へのライトアドレスとリードアドレスとを指定してラインメモリ１７４への書き込みおよび読み出しを制御する。そして、図６（ｃ）の場合、本来、映像データＬ１を読み出すタイミングで、リードアドレスを映像データＬ１が格納されているアドレスから映像データＲ１が格納されているアドレスに切り換え、映像データＲ１を読み出す。それ以外では、アドレス制御部１７６は、ライトアドレスに従ったリードアドレスによってラインメモリ１７４に入力された順に映像データを読み出す。
Here, a shift register is used as the line memory 174, but a random accessible memory can also be used. In this case, the
次に基準信号が１周期進むと、図６（ｄ）に示すように、アドレス制御部１７６は、切換スイッチ１７２ａを右スケーラ部１６２ａに接続し、切換スイッチ１７２ｂと切換スイッチ１７２ｃは変更しない、すなわち、切換スイッチ１７２ｂをラインメモリ１７４ｂに接続したままに、切換スイッチ１７２ｃをラインメモリ１７４ａに接続したままにする。そうすると、ラインメモリ１７４ｂには、図７（ａ）に示す０．５ライン分の右眼立体映像データ１３０の２ライン目の映像データＲ２が保持されることになる。
Next, when the reference signal advances by one cycle, as shown in FIG. 6D, the
ここで、切換スイッチ１７２ｃはラインメモリ１７４ａに接続されているので、ラインメモリ１７４ａの最終段（中間ではない）から出力された映像データＲ１で表示データが生成される。なおラインメモリ１７４ａに保持されていた映像データＬ１は、基準信号の１周期前にすでにラインメモリ１７４ａから出力され、ラインメモリ１７４ａには残っていない。したがって、ラインメモリ１７４ａから図７（ａ）に示す右眼立体映像データ１３０の０．５ライン分の同じ映像データＲ１が２回繰り返して出力されることとなる。
Here, since the
さらに基準信号が１周期進むと、図６（ｅ）に示すように、アドレス制御部１７６は、切換スイッチ１７２ａを左スケーラ部１６２ｂに接続し、切換スイッチ１７２ｂをラインメモリ１７４ａに接続し、切換スイッチ１７２ｃをラインメモリ１７４ｂに接続する。そうすると、ラインメモリ１７４ａには、図７（ａ）に示す０．５ライン分の左眼立体映像データ１３２の３ライン目の映像データＬ３が保持されることになる。切換スイッチ１７２ｃはラインメモリ１７４ｂに接続されているので、ラインメモリ１７４ｂから出力された映像データＬ２で表示データが生成される。
When the reference signal further advances by one cycle, as shown in FIG. 6E, the
次に基準信号が１周期進むと、図６（ｆ）に示すように、アドレス制御部１７６は、切換スイッチ１７２ａを右スケーラ部１６２ａに接続し、切換スイッチ１７２ｂと切換スイッチ１７２ｃは変更しない。そうすると、ラインメモリ１７４ａには、図７（ａ）に示す０．５ライン分の右眼立体映像データ１３０の３ライン目の映像データＲ３が保持されることになる。切換スイッチ１７２ｃはラインメモリ１７４ｂに接続されているので、ラインメモリ１７４ｂから出力された映像データＲ２で表示データが生成される。
Next, when the reference signal advances one cycle, as shown in FIG. 6F, the
上述した映像変換部１７０の処理を体系的に説明すると、図７（ａ）に示す映像データＲ１の出力が２回繰り返されて、図７（ｂ）に示す表示データ１３６のｍライン目（ｍは奇数）の映像データＤｍに、図７（ａ）に示す映像データＬ２と映像データＲ２が図７（ｂ）に示す表示データ１３６のｍ＋１ライン目の映像データＤｍ＋１に変換される。そうすると図７（ｂ）に示すように、有効映像部分の左半分に、右眼立体映像データ１３０と左眼立体映像データ１３２とが１ライン毎に交互に並置された立体表示データ１３６ａが配され、有効映像部分の右半分に、右眼立体映像データ１３０のみが並置された２次元表示データ１３６ｂが配された表示データ１３６が生成される。ここでは表示データ１３６のｍライン目を立体ディスプレイ１１０の奇数番号のライン１１４（右眼で視認するライン）に対応させることで、左眼立体映像データ１３２および右眼立体映像データ１３０と立体ディスプレイ１１０の偏光特性とを合わせている。
When the processing of the
なお、スケーラ部１６２は、右眼立体映像データ１３０および左眼立体映像データ１３２の垂直解像度および水平解像度をそれぞれ１／２に縮小しているため、立体表示データ１３６ａおよび２次元表示データ１３６ｂは、データ取得部１５０が取得した立体映像データ１３４と比較して１／４のサイズ（面積）となっている。したがって、映像変換部１７０は、有効映像部分の立体表示データ１３６ａおよび２次元表示データ１３６ｂが配されない部分（図７（ｂ）中ハッチングで示す）については予め定められたデータ（例えば、黒色を示すデータ）を配して表示データ１３６を生成する。
Note that the
ここでは右眼立体映像データ１３０から奇数番号のライン、左眼立体映像データ１３２から偶数番号のラインを抽出して立体表示データ１３６ａを生成したが、当然、右眼立体映像データ１３０から偶数番号のライン、左眼立体映像データ１３２から奇数番号のラインを抽出して生成してもよい。
Here, the odd-numbered lines are extracted from the right-eye
表示制御部１８０は、表示データ生成部１６０で生成された表示データを立体ディスプレイ１１０に表示させる。
The
図８は、立体ディスプレイ１１０に表示させた表示データ１３６を説明するための説明図である。図１を用いて説明したように立体ディスプレイ１１０の表示面１１２には、隔行で（１ライン毎に）偏光特性の異なる偏光フィルタが設けられている。
FIG. 8 is an explanatory diagram for explaining the
したがって、図７（ｂ）に示すような、有効映像部分の左半分に配された立体表示データ１３６ａと、有効映像部分の右半分に配された２次元表示データ１３６ｂとを併合した表示データ１３６を立体ディスプレイ１１０に表示させることにより、図８に示すように、観察者は、専用の偏光眼鏡１１８を通じて、立体ディスプレイ１１０の左半分の領域（左画面）では立体映像を知覚し、右半分の領域（右画面）では２次元映像を視認することができる。
Accordingly, as shown in FIG. 7B, the
以上説明したように、本実施形態にかかる立体映像生成装置１００によれば、１の立体ディスプレイ１１０を通じて、観察者に同じシーンの立体映像と２次元映像とを同時に知覚させることが可能となる。したがって、観察者は、立体映像がどのぐらいの立体感を再現できるのかを２次元映像と比較することができ、立体映像と２次元映像のいずれによって観察するかを決定することが可能となる。
As described above, according to the three-dimensional
また、立体映像データ１３４のうちの右眼立体映像データ１３０のみを用いて２次元表示データを生成する構成により、別途２次元映像データを取得せずとも、データ取得部１５０は最小限の映像データ（立体映像データ１３４）のみを取得するだけで、立体表示データおよび２次元表示データを生成することができる。
In addition, since the 2D display data is generated using only the right-eye
なお、ここで表示データ生成部１６０は、右眼立体映像データ１３０を用いて２次元表示データ１３６ｂを生成しているが、これに限定されず、左眼立体映像データ１３２を用いて２次元表示データ１３６ｂを生成してもよい。
Here, the display
また、表示データ生成部１６０は、有効映像部分の左半分に立体表示データ１３６ａを、右半分に２次元表示データ１３６ｂを配した表示データ１３６を生成しているがこれに限定されず、有効映像部分の左半分に２次元表示データ１３６ｂを、右半分に立体表示データ１３６ａを配した表示データを生成しても、有効映像部分の上半分に立体表示データ１３６ａまたは２次元表示データ１３６ｂのどちらか一方を、下半分に他方を配した表示データを生成してもよい。
The display
さらに、スケーラ部１６２は、右眼立体映像データ１３０および左眼立体映像データ１３２を、垂直解像度および水平解像度をそれぞれ１／２に縮小しているため、立体ディスプレイ１１０に表示される２次元映像および立体映像を知覚させるための映像は、データ取得部１５０が取得した立体映像データ１３４を全画面で表示させる場合と比較して１／４のサイズとなっている（図７参照）が、スケーラ部１６２の処理の倍率は、データ取得部１５０が取得した立体映像データ１３４と立体ディスプレイ１１０のサイズとに応じて、適宜変化させることができる。
Furthermore, the
（擬似立体表示データおよび２次元表示データ）
次に、データ取得部１５０が取得した立体映像データ１３４を用いて、２次元表示データおよび擬似立体表示データを生成する構成について説明する。
(Pseudo 3D display data and 2D display data)
Next, a configuration for generating two-dimensional display data and pseudo-stereoscopic display data using the
ここでは、表示データ生成部１６０におけるスケーラ部１６２およびアドレス制御部１７６の制御が異なるため、スケーラ部１６２およびアドレス制御部１７６の制御について詳述する。
Here, since the control of the
ここで右スケーラ部１６２ａは、図４（ｄ）に示す、垂直解像度を１／２に縮小した右眼立体映像データ１３０ａの水平解像度を１／２に縮小して、２回繰り返して並置した右眼立体映像データ１３０ｃを、左スケーラ部１６２ｂは、図４（ｄ）に示す、垂直解像度を１／２に縮小した左眼立体映像データ１３２ａの水平解像度を１／２に縮小して、２回繰り返して並置した左眼立体映像データ１３２ｃを生成して、映像変換部１７０に出力する。
Here, the
図９は、映像変換部１７０の他の処理を説明するための説明図である。図９に示す例では、アドレス制御部１７６は、基準信号に基づいて３つの切換スイッチ１７２ａ、１７２ｂ、１７２ｃを制御する。ここでも基準信号の周期は、水平同期信号の１／２の周期とする。
FIG. 9 is an explanatory diagram for explaining another process of the
図９に示すように、アドレス制御部１７６は、切換スイッチ１７２ａと左スケーラ部１６２ｂとの接続を維持し、右スケーラ部１６２ａへの切り換えを行わない。すなわち左眼立体映像データ１３２ｃのみが用いられる。またアドレス制御部１７６は、基準信号の２倍の周期で切換スイッチ１７２ｂを切り換え、切換スイッチ１７２ｂと切換スイッチ１７２ｃにそれぞれ接続されるラインメモリ１７４ａ、１７４ｂが排他的に選択されるように切換スイッチ１７２ｂと切換スイッチ１７２ｃとを切り換える。したがって、切換スイッチ１７２ｃも基準信号の２倍の周期で切り換わる。
As shown in FIG. 9, the
図９（ａ）に示すように、まず、アドレス制御部１７６は、切換スイッチ１７２ａを左スケーラ部１６２ｂに接続し、切換スイッチ１７２ｂをラインメモリ１７４ａに接続し、切換スイッチ１７２ｃをラインメモリ１７４ｂに接続する。そうすると、ラインメモリ１７４ａには、映像データＬ１が保持されることになる。
As shown in FIG. 9A, first, the
次に基準信号が１周期進んでも、図９（ｂ）に示すように、アドレス制御部１７６は、切換スイッチ１７２ａ、１７２ｂ、１７２ｃすべてのスイッチの接続を変更せず、ラインメモリ１７４ａには、映像データＬ１が再度保持される。
Next, even if the reference signal advances one cycle, as shown in FIG. 9B, the
さらに基準信号が１周期進むと、図９（ｃ）に示すように、アドレス制御部１７６は、切換スイッチ１７２ａは変更せず、切換スイッチ１７２ｂをラインメモリ１７４ｂに接続し、切換スイッチ１７２ｃをラインメモリ１７４ａに接続する。そうすると、ラインメモリ１７４ｂには、映像データＬ２が保持されることになる。
When the reference signal further advances by one cycle, as shown in FIG. 9C, the
ここでは、ラインメモリ１７４ａから出力された映像データＬ１をそのまま表示データとすべきであるが、この場合に限って（基準信号の４倍の周期で）、アドレス制御部１７６は、ラインメモリ１７４ａの出力段からではなく、ラインメモリ１７４ａの所定のアドレスに相当する位置から映像データを抽出する。すなわち、映像データＬ１の代わりに左眼立体映像データ１３２に含まれるオブジェクトの奥行情報に応じて水平視差を有するように、映像データＬ１を右方向または左方向に水平シフトさせた右眼擬似立体映像データｆＲ１を抽出し、その右眼擬似立体映像データｆＲ１によって表示データを生成する。上記所定のアドレスは、奥行情報に基づいて決定される。奥行情報については、後に詳述する。
Here, the video data L1 output from the
また、ここでも、ラインメモリ１７４としてシフトレジスタを用いているが、ランダムアクセス可能なメモリを用いることもでき、その場合、アドレス制御部１７６は、ラインメモリ１７４へのライトアドレスとリードアドレスとを指定してラインメモリ１７４への書き込みおよび読み出しを制御する。そして、図９（ｃ）の場合、本来、映像データＬ１を読み出すタイミングで、リードアドレスを、左眼立体映像データ１３２に含まれるオブジェクトの奥行情報に応じて水平視差を有するように、映像データＬ１から所定数進めたまたは遅らせたアドレスに切り換え、右眼擬似立体映像データｆＲ１を読み出す。それ以外では、アドレス制御部１７６は、ライトアドレスに従ったリードアドレスによってラインメモリ１７４に入力された順に映像データを読み出す。
Also here, a shift register is used as the line memory 174, but a randomly accessible memory can also be used. In this case, the
次に基準信号が１周期進むと、図９（ｄ）に示すように、アドレス制御部１７６は、切換スイッチ１７２ａ、１７２ｂ、１７２ｃすべてのスイッチの接続を変更せず、ラインメモリ１７４ｂには、映像データＬ２が再度保持される。ここで、切換スイッチ１７２ｃはラインメモリ１７４ａに接続されているので、ラインメモリ１７４ａから出力された映像データＬ１で表示データが生成される。
Next, when the reference signal advances by one cycle, as shown in FIG. 9D, the
さらに基準信号が１周期進むと、図９（ｅ）に示すように、アドレス制御部１７６は、切換スイッチ１７２ａは変更せず、切換スイッチ１７２ｂをラインメモリ１７４ａに接続し、切換スイッチ１７２ｃをラインメモリ１７４ｂに接続する。そうすると、ラインメモリ１７４ａには、映像データＬ３が保持されることになる。
When the reference signal further advances by one cycle, as shown in FIG. 9E, the
ここでは、ラインメモリ１７４ａから出力された映像データＬ２をそのまま表示データとすべきであるが、この場合に限って（基準信号の４倍の周期で）、アドレス制御部１７６は、ラインメモリ１７４ａの出力段からではなく、ラインメモリ１７４ａの所定のアドレスに相当する位置から映像データを抽出する。すなわち、映像データＬ２の代わりに左眼立体映像データ１３２に含まれるオブジェクトの奥行情報に応じて水平視差を有するように、映像データＬ２を左方向または右方向に水平シフトさせた左眼擬似立体映像データｆＬ２を抽出し、その左眼擬似立体映像データｆＬ２によって表示データを生成する。
Here, the video data L2 output from the
次に基準信号が１周期進むと、図９（ｆ）に示すように、アドレス制御部１７６は、切換スイッチ１７２ａ、１７２ｂ、１７２ｃすべてのスイッチの接続を変更せず、ラインメモリ１７４ｂには、映像データＬ３が再度保持される。ここで、切換スイッチ１７２ｃはラインメモリ１７４ｂに接続されているので、ラインメモリ１７４ｂから切換スイッチ１７２ｃを通じて映像データＬ２が出力されて表示データが生成される。
Next, when the reference signal advances by one cycle, as shown in FIG. 9F, the
図１０は、生成された表示データを説明するための説明図である。図７（ａ）に示す映像データＬ１が左眼立体映像データ１３２に含まれるオブジェクトの奥行情報に応じて水平視差を有するように右方向または左方向に水平シフトされた右眼擬似立体映像データｆＲ１が図１０に示す表示データ１９６のｍライン目の映像データＤｍの左半分に、左眼立体映像データ１３２の１ライン目の映像データＬ１がそのまま図１０に示す表示データ１９６のｍライン目の映像データＤｍの右半分に変換される。また、図７（ａ）に示す左眼立体映像データ１３２の２ライン目の映像データＬ２が左眼立体映像データ１３２に含まれるオブジェクトの奥行情報に応じて水平視差を有するように左方向または右方向に水平シフトされた左眼擬似立体映像データｆＬ２が図１０に示す表示データ１９６のｍ＋１ライン目のＤｍ＋１の左半分に、左眼立体映像データ１３２の２ライン目の映像データＬ２がそのまま図１０に示す表示データ１９６のｍ＋１ライン目の映像データＤｍ＋１の右半分に変換される。
FIG. 10 is an explanatory diagram for explaining the generated display data. The right-eye pseudo-stereoscopic video data fR1 that is horizontally shifted rightward or leftward so that the video data L1 shown in FIG. 7A has horizontal parallax according to the depth information of the object included in the left-eye
そうすると図１０に示すように、有効映像部分の左半分に、左眼立体映像データ１３２に基づいて生成された右眼擬似立体映像データと左眼擬似立体映像データとが１ライン毎に交互に並置された擬似立体表示データ１９６ａが配され、有効映像部分の右半分に、左眼立体映像データ１３２のみが並置された２次元表示データ１９６ｂが配された表示データ１９６が生成される。ここでも表示データ１９６のｍライン目を立体ディスプレイ１１０の奇数番号のライン１１４（右眼で視認するライン）に対応させることで、右眼擬似立体映像データｆＲ１および左眼立体映像データ１３２と立体ディスプレイ１１０の偏光特性とを合わせている。
Then, as shown in FIG. 10, right-eye pseudo-stereoscopic video data and left-eye pseudo-stereoscopic video data generated based on the left-eye
また、ここでは右眼擬似立体映像データと左眼擬似立体映像データの両方を生成しているが、どちらか一方の擬似立体映像データを生成し、元の映像データ（この例では左眼立体映像データ）を他方の擬似立体映像データとして、利用してもよい。 Here, both the right-eye pseudo-stereoscopic video data and the left-eye pseudo-stereoscopic video data are generated. However, either one of the pseudo-stereoscopic video data is generated and the original video data (in this example, the left-eye stereoscopic video data is generated). Data) may be used as the other pseudo-stereoscopic video data.
上述した右眼擬似立体映像データと左眼擬似立体映像データとを生成する際に用いるオブジェクトの奥行情報は、既存の技術を利用して求めることができる。例えば、特許第４２１４９７６号に記載されているように、予め基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを発生しておき、供給される２次元映像データ（ここでは、左眼立体映像データ１３２）の、画面内の所定の領域における画素値の統計量を算定してシーン構造を推定し、発生させておいた複数の基本奥行きモデルを、算定した画素値の統計量に応じた合成比率で合成し、合成された合成結果と２次元映像データとから奥行き推定データを作成することで、オブジェクトの奥行情報を推定することができる。 The depth information of the object used when generating the right-eye pseudo stereoscopic video data and the left-eye pseudo stereoscopic video data described above can be obtained by using an existing technique. For example, as described in Japanese Patent No. 4214976, a plurality of basic depth models indicating depth values are generated in advance for each of a plurality of basic scene structures, and supplied two-dimensional video data (here, , The left-eye stereoscopic image data 132) calculates the statistical value of the pixel value in a predetermined area in the screen, estimates the scene structure, and calculates the generated basic depth models for the calculated pixel value statistics. Depth information of an object can be estimated by combining at a combining ratio corresponding to the amount and creating depth estimation data from the combined result and 2D video data.
以上説明したように、本実施形態にかかる立体映像生成装置１００の表示データ生成部１６０によれば、立体映像データ１３４を構成する右眼立体映像データ１３０または左眼立体映像データ１３２のいずれか一方のみを用いて２次元表示データおよび擬似立体表示データを生成することで、処理負荷を軽減することができる。また、同一の映像データから２次元表示データおよび擬似立体表示データを生成するため、観察者は、立体映像に含まれるオブジェクトの立体感を元の２次元映像と比較することができ、擬似立体表示データがどの程度立体感を表現することができるか確認することが可能となる。さらに、両眼視差を有しない２次元映像データ（右眼立体映像データ１３０または左眼立体映像データ１３２のいずれか一方も含む）から両眼視差を有する擬似立体表示データを生成することで、２次元映像データしか取得できない状況であっても、観察者に立体映像を知覚させることができる。
As described above, according to the display
ここで、表示データ生成部１６０は、左眼立体映像データ１３２を用いて２次元表示データおよび擬似立体表示データを生成しているが、これに限定されず、２次元映像データまたは右眼立体映像データ１３０を用いて２次元表示データおよび擬似立体表示データを生成してもよいし、右眼立体映像データ１３０または左眼立体映像データ１３２のいずれか一方を用いて２次元表示データを生成し、他方を用いて擬似立体表示データを生成してもよい。
Here, the display
（立体表示データおよび擬似立体表示データ）
次に、データ取得部１５０が取得した立体映像データ１３４を用いて、立体表示データおよび擬似立体表示データを生成する構成について説明する。
(3D display data and pseudo 3D display data)
Next, a configuration for generating stereoscopic display data and pseudo stereoscopic display data using the
ここでは、上述した映像変換部１７０と構成が異なる映像変換部１７０ａについて説明する。スケーラ部１６２は、図４（ｄ）に示す右眼立体映像データ１３０ｃおよび左眼立体映像データ１３２ｃを出力する。図１１は、映像変換部１７０ａの具体的な機能を示した機能ブロック図である。図１１に示すように、映像変換部１７０ａは、切換スイッチ１７２ｄ、１７２ｅと、立体変換部１７０ｂと、擬似変換部１７０ｃと、アドレス制御部１７６とを含んで構成される。
Here, a
図１１に示す立体変換部１７０ｂは、切換スイッチ１７２ｆ、１７２ｇと、ラインメモリ１７４ａ、１７４ｂと、を含んで構成され、擬似変換部１７０ｃは、切換スイッチ１７２ｈ、１７２ｉと、ラインメモリ１７４ａ、１７４ｂと、を含んで構成される。アドレス制御部１７６は、切換スイッチ１７２ｄ〜１７２ｉを水平同期信号の１／２の周期で形成される基準信号に基づいて切り換える。
11 includes a
アドレス制御部１７６は、切換スイッチ１７２ｄおよび立体変換部１７０ｂに対して上述した図６に示す制御と同様の制御を遂行し、擬似変換部１７０ｃに対して上述した図９に示す制御と同様の制御を遂行する。ただし、ここでは、立体表示データが有効映像部分の左半分に配されるように立体変換部１７０ｂを制御し、擬似立体表示データが有効映像部分の右半分に配されるように擬似変換部１７０ｃを制御する。
The
そしてアドレス制御部１７６は、切換スイッチ１７２ｅを、まず立体変換部１７０ｂに接続し、基準信号の周期で擬似変換部１７０ｃに切り換える。
The
これにより、有効映像部分の左半分に立体表示データが配され、右半分に擬似立体表示データが配された表示データが生成される。 As a result, display data in which the stereoscopic display data is arranged on the left half of the effective video portion and the pseudo stereoscopic display data is arranged on the right half is generated.
以上説明したように、本実施形態にかかる立体映像生成装置１００の表示データ生成部１６０によれば、１の立体ディスプレイ１１０を通じて、立体映像データ１３４に基づく立体映像と、この立体映像データ１３４を構成する右眼立体映像データ１３０または左眼立体映像データ１３２のいずれか一方に基づいて生成した擬似的な立体映像とを同時に観察者に知覚させることが可能となる。したがって、観察者は、立体表示データに基づく立体映像に含まれるオブジェクトの立体感と、擬似立体表示データに基づく立体映像に含まれるオブジェクトの立体感とを比較することができ、擬似立体表示データがどの程度立体感を再現することができるか確認することが可能となる。
As described above, according to the display
また、上述した立体映像生成装置１００を用いた立体映像生成方法も提供される。
A stereoscopic video generation method using the above-described stereoscopic
（立体映像生成方法）
図１２は、本実施形態にかかる立体映像生成方法の具体的な処理を説明するためのフローチャートである。図１２に示すように、まず、データ取得部１５０は、立体映像データ１３４または２次元映像データを取得し（Ｓ１００）、映像処理部１５２は、データ取得ステップＳ１００において取得された立体映像データ１３４または２次元映像データに対して、映像信号処理を行う（Ｓ１０２）。
(3D image generation method)
FIG. 12 is a flowchart for explaining specific processing of the stereoscopic video generation method according to the present embodiment. As shown in FIG. 12, first, the
そして、表示データ生成部１６０は、信号処理ステップＳ１０２において映像信号処理が施された立体映像データ１３４または２次元映像データを用いて、２次元表示データ、擬似立体表示データａおよび立体表示データのうち２の表示データを生成する（Ｓ１０４）。
Then, the display
表示制御部１８０は、データ生成ステップＳ１０４において生成した２次元表示データ、擬似立体表示データおよび立体表示データのうち２の表示データを並べて、立体ディスプレイ１１０に表示させる（Ｓ１０６）。
The
以上説明したように、本実施形態にかかる立体映像生成方法においても、１の立体ディスプレイ１１０を通じて、立体映像と２次元映像とを同時に観察者に知覚させることが可能となる。
As described above, also in the stereoscopic image generation method according to the present embodiment, the stereoscopic image and the two-dimensional image can be simultaneously perceived by the observer through the single
（第２の実施形態：併合した立体映像データ、ラインシーケンシャル、２画面表示）
上述した第１の実施形態の立体映像生成装置１００において、データ取得部１５０が取得する立体映像データは、右眼に視認させるための右眼立体映像データ１３０と、左眼に視認させるための左眼立体映像データ１３２とが同期している立体映像データ１３４であった。本実施形態では、データ取得部がサイドバイサイド方式等の併合した立体映像データを取得した場合であっても、１の立体ディスプレイ１１０を通じて、立体映像と２次元映像とを同時に観察者に知覚させることができる立体映像生成装置２００について説明する。
(Second embodiment: merged stereoscopic video data, line sequential, two-screen display)
In the stereoscopic
（立体映像生成装置２００）
図１３は、第２の実施形態にかかる立体映像生成装置２００の概略的な機能を示した機能ブロック図である。図１３に示すように、立体映像生成装置２００は、立体ディスプレイ１１０に接続され、データ取得部２５０と、映像処理部１５２と、表示データ生成部２６０と、表示制御部１８０とを含んで構成される。
(Stereoscopic image generation apparatus 200)
FIG. 13 is a functional block diagram showing a schematic function of the stereoscopic
第１の実施形態における構成要素として既に述べた、映像処理部１５２と、表示制御部１８０は、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違するデータ取得部２５０、表示データ生成部２６０を主に説明する。
Since the
データ取得部２５０は、右眼に視認させるための右眼立体映像データと、左眼に視認させるための左眼立体映像データとが併合された立体映像データ２３４または２次元映像データを取得する。
The
図１４は、第２の実施形態にかかる立体映像データ２３４のフォーマットを説明するための説明図である。データ取得部２５０が取得可能な立体映像データ２３４には複数のフォーマットが存在し、個々のフォーマットにおいてさらに画素数等のパラメータが異なる場合もある。本実施形態では、その代表的な例として、図１４に示すように、有効映像部分の右半分（または左半分）に右眼に視認させるための右眼立体映像データ２３０、左半分（または右半分）に左眼に視認させるための左眼立体映像データ２３２を有するサイドバイサイド方式に従った立体映像データ２３４を用いる。
FIG. 14 is an explanatory diagram for explaining the format of the
このような立体映像データ２３４では、右眼立体映像データ２３０と左眼立体映像データ２３２とが、１対のカメラによって個別に撮像され、もしくは、両眼視差が生じるように調整されている。ただし、本実施形態のサイドバイサイド方式による立体映像データ２３４の右眼立体映像データ２３０および左眼立体映像データ２３２は、それぞれ、最終的に表示される後述する表示データ２３６と垂直解像度は等しいが、水平解像度は１／２に縮小されている。したがって全画面の有効映像範囲の画素数が１９２０×１０８０の場合、右眼立体映像データ２３０および左眼立体映像データ２３２の画素数は９６０×１０８０となる。
In such
表示データ生成部２６０は、データ取得部２５０が取得した２次元映像データ２３４を用いて、２次元表示データ、擬似立体表示データおよび立体表示データのうち２の表示データを生成する。
The display
図１５は、第２の実施形態にかかる表示データ生成部２６０の具体的な機能を示した機能ブロック図である。図１５に示すように表示データ生成部２６０は、映像変換部２７０と、遅延調整部２８０と、切換制御部２８２と、切換スイッチ２８４とを含んで構成される。
FIG. 15 is a functional block diagram illustrating specific functions of the display
（立体表示データおよび２次元表示データ）
図１６は、第２の実施形態にかかる映像変換部２７０の具体的な機能を示した機能ブロック図であり、図１７は、映像変換部２７０の処理を説明するための説明図であり、図１８は、映像変換部によって加工された立体映像データを説明するための説明図である。
(3D display data and 2D display data)
FIG. 16 is a functional block diagram showing specific functions of the
図１６に示すように、映像変換部２７０は、２つの切換スイッチ２７２ａ、２７２ｂ、と、２つのラインメモリ２７４ａ、２７４ｂと、アドレス制御部２７６とを含んで構成される。ラインメモリ２７４ａ、２７４ｂは１ライン分のデータを保持およびシフトするシフトレジスタで構成され、本実施形態においてアドレス制御部２７６は、水平同期信号に基づいて２つの切換スイッチ２７２ａ、２７２ｂを制御する。
As shown in FIG. 16, the
具体的に、アドレス制御部２７６は、水平同期信号の周期で切換スイッチ２７２ａを、および切換スイッチ２７２ｂを切り換える。またアドレス制御部２７６は、切換スイッチ２７２ａと切換スイッチ２７２ｂにそれぞれ接続されるラインメモリ２７４ａ、２７４ｂが排他的に選択されるように切換スイッチ２７２ａと切換スイッチ２７２ｂとを切り換える。
Specifically, the
図１７（ａ）に示すように、まず、アドレス制御部２７６は、切換スイッチ２７２ａをラインメモリ２７４ａに接続し、切換スイッチ２７２ｂをラインメモリ２７４ｂに接続する。本来、図１８（ａ）に示す０．５ライン分の左眼立体映像データ２３２の１ライン目の映像データＬ１がラインメモリ２７４ａに保持されることになるが、最終的に表示データ２３６として用いられないので、ダミーデータ（図１７中、ハッチングで示す）をラインメモリ２７４aに入力して、ダミーデータを保持させる。ここでは、ラインメモリ２７４としてシフトレジスタを用いているが、上述したように、ランダムアクセス可能なメモリを用いることもできる。
As shown in FIG. 17A, first, the
次に水平同期信号が１／２周期進むと、図１７（ｂ）に示すように、アドレス制御部２７６は、０．５ライン分の右眼立体映像データ２３０の１ライン目の映像データＲ１をラインメモリ２７４ａに保持させる。
Next, when the horizontal synchronization signal advances by ½ cycle, as shown in FIG. 17B, the
さらに水平同期信号が１／２周期進むと、図１７（ｃ）に示すように、アドレス制御部２７６は、切換スイッチ２７２ａをラインメモリ２７４ｂに接続し、切換スイッチ２７２ｂをラインメモリ２７４ａに接続する。この際、アドレス制御部２７６は、立体映像データ２３４における１ラインの中間（０．５ライン）に相当する位置から映像データを抽出する。そうすると、ラインメモリ２７４ａから図１８（ａ）に示す０．５ライン分の右眼立体映像データ２３０の１ライン目の映像データＲ１が出力され、ラインメモリ２７４ｂには、０．５ライン分の左眼立体映像データ２３２の２ライン目の映像データＬ２が保持されることになる。
When the horizontal synchronizing signal further advances by ½ cycle, as shown in FIG. 17C, the
次に水平同期信号が１／２周期進むと、図１７（ｄ）に示すように、アドレス制御部２７６は、本来、０．５ライン分の右眼立体映像データ２３０の２ライン目の映像データＲ２をラインメモリ２７４ｂに保持させることになるが、最終的に表示データ２３６として用いられないので、ダミーデータをラインメモリ２７４ｂに入力し、ダミーデータを保持させる。一方、本来は、ラインメモリ２７４ａから図１８（ａ）に示す０．５ライン分の右眼立体映像データ２３０の１ライン目の映像データＲ１が出力されることとなるが、最終的に表示データ２３６として用いられないので、ラインメモリ２７４ａから出力される映像データＲ１をダミーデータに置き換える。なお、ここでは、映像データＲ１をダミーデータに置き換えているが、上述したように映像データＲ１は表示データ２３６として用いられないのでそのまま出力してもよい。
Next, when the horizontal synchronization signal advances by ½ cycle, as shown in FIG. 17D, the
さらに水平同期信号が１／２周期進むと、図１７（ｅ）に示すように、アドレス制御部２７６は、切換スイッチ２７２ａをラインメモリ２７４ａに接続し、切換スイッチ２７２ｂをラインメモリ２７４ｂに接続する。本来、図１８（ａ）に示す０．５ライン分の左眼立体映像データ２３２の３ライン目の映像データＬ３がラインメモリ２７４ａに保持されることになるが、最終的に表示データ２３６として用いられないので、ダミーデータをラインメモリ２７４aに入力し、ダミーデータを保持させる。一方、ラインメモリ２７４ｂから図１８（ａ）に示す０．５ライン分の左眼立体映像データ２３２の２ライン目の映像データＬ２が出力されることになる。
When the horizontal synchronizing signal further advances by 1/2 cycle, as shown in FIG. 17E, the
次に水平同期信号が１／２周期進むと、図１７（ｆ）に示すように、アドレス制御部２７６は、０．５ライン分の右眼立体映像データ２３０の３ライン目の映像データＲ３をラインメモリ２７４ａに保持させ、ラインメモリ２７４ｂから０．５ライン分のダミーデータが出力される。
Next, when the horizontal synchronization signal advances by ½ cycle, as shown in FIG. 17F, the
上述した映像変換部２７０の処理を体系的に説明すると、図１８（ａ）に示す映像データＲ１が、図１８（ｂ）に示す表示データ２３６の１ライン目の映像データＤ１の有効映像部分の左半分に、図１８（ａ）に示す映像データＬ２が図１８（ｂ）に示す表示データ２３６の２ライン目の映像データＤ２の有効映像部分の左半分に変換され、図１７に示すダミーデータが表示データ２３６の有効映像部分の右半分に変換される。そうすると図１８（ｂ）に示すように、有効映像部分の左半分に、右眼立体映像データ２３０と左眼立体映像データ２３２とが１ライン毎に交互に並置された立体表示データ２３６ａが配され、有効映像部分の右半分に、ダミー表示データ２３６ｂが配された表示データ２３６が生成される。
When the processing of the
図１５に戻って、遅延調整部２８０は、シフトレジスタで構成され、映像変換部２７０で表示データ２３６を生成する際に生じる遅延時間の分、立体映像データ２３４を遅延させて出力する。
Returning to FIG. 15, the delay adjustment unit 280 is configured by a shift register, and delays and outputs the
切換制御部２８２は、水平同期信号の１／２の周期で切換スイッチ２８４を切り換える。ここでは、切換制御部２８２は、映像変換部２７０が図１８（ｂ）に示す立体表示データ２３６ａを出力するときに切換スイッチ２８４と映像変換部２７０とを接続し、映像変換部２７０が図１８（ｂ）に示すダミー表示データ２３６ｂを出力するときに切換スイッチ２８４と遅延調整部２８０とを接続する。
The switching
図１９は、第２の実施形態にかかる表示データ生成部２６０の体系的な処理を説明するための説明図である。切換制御部２８２は、まず切換スイッチ２８４を映像変換部２７０に接続するため、図１９（ａ）に示す表示データ２３６の１ライン目の映像データＲ１が出力され、図１９（ｃ）に示す表示データ２９０には映像データＲ１が形成される。そして水平同期信号が１／２周期進むと、切換制御部２８２は、切換スイッチ２８４を遅延調整部２８０への接続に切り換えるが、すでに立体映像データ２３４の１ライン目の映像データＬ１の出力は終了しているので、図１９（ｂ）に立体映像データ２３４の１ライン目の映像データＲ１が出力され、図１９（ｃ）に示す表示データ２９０には映像データＲ１が形成される。さらに水平同期信号が１／２周期進むと、切換制御部２８２は、切換スイッチ２８４を映像変換部２７０への接続に切り換えるが、図１９（ａ）に示す表示データ２３６の２ライン目の映像データＬ２が出力され、図１９（ｃ）に示す表示データ２９０には映像データＬ２が形成される。
FIG. 19 is an explanatory diagram for explaining a systematic process of the display
したがって、図１９（ｃ）のような、有効映像部分の左半分に配された立体表示データ２３６ａと、有効映像部分の右半分に配された右眼立体映像データ２３０（２次元表示データ）とを併合した表示データ２９０を立体ディスプレイ１１０に表示させることにより、観察者は、専用の偏光眼鏡１１８を通じて、立体ディスプレイ１１０の左半分の領域（左画面）では立体映像を知覚し、右半分の領域（右画面）では２次元映像を視認することができる。
Accordingly, as shown in FIG. 19C, the
以上説明したように、本実施形態にかかる立体映像生成装置２００によれば、１の立体ディスプレイ１１０を通じて、観察者に立体映像と２次元映像とを同時に知覚させることが可能となる。したがって、観察者は、立体映像がどのぐらいの立体感を再現できるのかを２次元映像と比較することができる。
As described above, according to the three-dimensional
なお、ここで表示データ生成部２６０は、右眼立体映像データ２３０を２次元表示データとしているが、これに限定されず、第１の実施形態同様、左眼立体映像データ２３２を２次元表示データとしてもよい。
Here, the display
さらに、本実施形態にかかる立体映像データ２３４の右眼立体映像データ２３０および左眼立体映像データ２３２は、それぞれ、最終的に表示される表示データ２９０と垂直解像度は等しいが、水平解像度は１／２に縮小されているので、表示データ生成部２６０の前段にスケーラ部を設け、スケーラ部において垂直方向に１／２に縮小してもよい。
Further, the right-eye
図２０は、立体映像データ２３４をスケーラ部で加工した場合に立体映像生成装置２００で出力される表示データを説明するための説明図である。本実施形態にかかる立体映像生成装置２００は、スケーラ部を介さずに、立体映像データ２３４から表示データ２９０を生成しているので、立体ディスプレイ１１０には図２０（ａ）に示す映像が表示される。
FIG. 20 is an explanatory diagram for explaining display data output from the stereoscopic
一方、上述したように立体映像データ２３４をスケーラ部において垂直方向に１／２に縮小してから表示データを生成すると、図２０（ｂ）に示す映像が表示される。立体映像データ１３４は、立体ディスプレイ１１０に表示される際に１９２０×１０８０で出力するように構成されている、すなわち水平方向への２倍の延長が予め考慮されているので、スケーラ部を介さないと図２０（ａ）に示すように縦長の映像が表示される。したがって、スケーラ部において立体映像データ２３４を垂直方向に１／２に縮小してから表示することで図２０（ｂ）に示すように、予め考慮された１９２０×１０８０とアスペクト比が等しい映像（９６０×５４０）を表示させることができる。
On the other hand, when the display data is generated after the
また、立体映像データの右眼立体映像データおよび左眼立体映像データが立体ディスプレイ１１０に表示される際に９６０×１０８０で出力するように構成されている場合には、スケーラ部を介さずとも図２０（ｃ）に示すように予め考慮された９６０×１０８０で映像を表示させることができる。
Further, when the right-eye stereoscopic video data and the left-eye stereoscopic video data of the stereoscopic video data are configured to be output at 960 × 1080 when displayed on the
（擬似立体表示データおよび２次元表示データ）
次に、データ取得部２５０が取得した立体映像データ２３４を用いて、２次元表示データおよび擬似立体表示データを生成する構成について説明する。
(Pseudo 3D display data and 2D display data)
Next, a configuration for generating two-dimensional display data and pseudo-stereoscopic display data using the
図２１は、映像変換部２７０の他の処理を説明するための説明図であり、図２２は、第２の実施形態にかかる表示データ生成部２６０の他の処理を説明するための説明図である。図２１に示す例でも、アドレス制御部２７６は、水平同期信号に基づいて２つの切換スイッチ２７２ａ、２７２ｂを制御する。
FIG. 21 is an explanatory diagram for explaining another process of the
図２１（ａ）に示すように、まず、アドレス制御部２７６は、切換スイッチ２７２ａをラインメモリ２７４ａに接続し、切換スイッチ２７２ｂをラインメモリ２７４ｂに接続する。そうすると、ラインメモリ２７４ａには、映像データＬ１が保持されることになる。ここでも、ラインメモリ２７４としてシフトレジスタを用いているが、ランダムアクセス可能なメモリを用いることもできる。
As shown in FIG. 21A, first, the
次に水平同期信号が１／２周期進むと、図２１（ｂ）に示すように、アドレス制御部２７６は、０．５ライン分の映像データに相当するデータ量のダミーデータ（図２１中、ハッチングで示す）をラインメモリ２７４ａに保持させる。
Next, when the horizontal synchronization signal advances by ½ cycle, as shown in FIG. 21B, the
さらに水平同期信号が１／２周期進むと、図２１（ｃ）に示すように、アドレス制御部２７６は、切換スイッチ２７２ａをラインメモリ２７４ｂに接続し、切換スイッチ２７２ｂをラインメモリ２７４ａに接続する。そうすると、ラインメモリ２７４ａから映像データＬ１が出力されるが、この際、アドレス制御部２７６は、左眼立体映像データ２３２に含まれるオブジェクトの奥行情報に応じて水平視差を有するように、映像データＬ１を右方向または左方向に水平シフトさせた右眼擬似立体映像データｆＲ１を生成する。また、ラインメモリ２７４ｂには、映像データＬ２が保持されることになる。
When the horizontal synchronizing signal further advances by ½ cycle, as shown in FIG. 21C, the
次に水平同期信号が１／２周期進むと、図２１（ｄ）に示すように、アドレス制御部２７６は、０．５ライン分の映像データに相当するデータ量のダミーデータをラインメモリ２７４ｂに保持させる。そうすると、ラインメモリ２７４ａからダミーデータが出力され、ラインメモリ２７４ｂには、映像データＬ２とダミーデータが保持されることとなる。
Next, when the horizontal synchronizing signal advances by ½ cycle, as shown in FIG. 21D, the
さらに水平同期信号が１／２周期進むと、図２１（ｅ）に示すように、アドレス制御部２７６は、切換スイッチ２７２ａをラインメモリ２７４ａに接続し、切換スイッチ２７２ｂをラインメモリ２７４ｂに接続する。そうすると、ラインメモリ２７４aには、映像データＬ３が保持されることになる。この際、ラインメモリ２７４ｂから、通常、映像データＬ２が出力されるが、アドレス制御部２７６は、左眼立体映像データ２３２に含まれるオブジェクトの奥行情報に応じて水平視差を有するように、映像データＬ２を左方向または右方向に水平シフトさせた、左眼擬似立体映像データｆＬ２を生成する。
When the horizontal synchronizing signal further advances by ½ period, as shown in FIG. 21E, the
次に水平同期信号が１／２周期進むと、図２１（ｆ）に示すように、アドレス制御部２７６は、ダミーデータをラインメモリ２７４ａに保持させ、ラインメモリ２７４ｂからダミーデータが出力される。
Next, when the horizontal synchronization signal advances by ½ period, as shown in FIG. 21F, the
上述した映像変換部２７０の処理を体系的に説明すると、図１８（ａ）に示す映像データＬ１が左眼立体映像データ２３２に含まれるオブジェクトの奥行情報に応じて水平視差を有するように右方向または左方向に水平シフトされた右眼擬似立体映像データｆＲ１が、図２２（ａ）に示す表示データ２９６の１ライン目の映像データＤ１の有効映像部分の左半分に、図１８（ａ）に示す映像データＬ２が左眼立体映像データ２３２に含まれるオブジェクトの奥行情報に応じて水平視差を有するように左方向または右方向に水平シフトされた左眼擬似立体映像データｆＬ２が、２ライン目の映像データＤ２の有効映像部分の左半分に変換される。そうすると図２２（ａ）に示すように、有効映像部分の左半分に、右眼擬似立体映像データｆＲ１と左眼立体映像データ２３２とが１ライン毎に交互に並置された擬似立体表示データ２９６ａが配され、有効映像部分の右半分に、ダミー表示データ２３６ｂが配された表示データ２９６が生成される。
When the processing of the
この場合、遅延調整部２８０は、シフトレジスタで構成され、図２２（ｂ）の如く、映像変換部２７０で表示データ２３６を生成する際に生じる遅延時間の分と水平同期信号の１／２周期分、立体映像データ２３４を遅延させて出力する。
In this case, the delay adjustment unit 280 is configured by a shift register, and as shown in FIG. 22B, the delay time generated when the
切換制御部２８２は、水平同期信号の１／２の周期で切換スイッチ２８４を切り換える。ここでは、切換制御部２８２は、映像変換部２７０が図２２（ａ）に示す表示データ２９６の有効映像部分の左半分を出力するときに切換スイッチ２８４と映像変換部２７０とを接続し、映像変換部２７０が図２２（ａ）に示す表示データ２９６の有効映像部分の右半分を出力するときに切換スイッチ２８４と遅延調整部２８０とを接続する。
The switching
切換制御部２８２は、まず切換スイッチ２８４を映像変換部２７０に接続するため、図２２（ａ）に示す表示データ２９６の１ライン目の右眼擬似立体映像データｆＲ１が出力され、図２２（ｃ）に示す表示データ２９８には右眼擬似立体映像データｆＲ１が形成される。そして水平同期信号が１／２周期進むと、切換制御部２８２は、切換スイッチ２８４を遅延調整部２８０への接続に切り換え、図２２（ｂ）に示す立体映像データ２３４の１ライン目の左眼立体映像データＬ１が出力され、図２２（ｃ）に示す表示データ２９８には左眼立体映像データＬ１が形成される。さらに水平同期信号が１／２周期進むと、切換制御部２８２は、切換スイッチ２８４を映像変換部２７０へ接続し、図２２（ａ）に示す表示データ２９６の２ライン目の左眼擬似立体映像データｆＬ２が出力され、図２２（ｃ）に示す表示データ２９８には左眼擬似立体映像データｆＬ２が形成される。
First, the switching
したがって、図２２（ｃ）のような、有効映像部分の左半分に配された擬似立体表示データ２９６ａと、有効映像部分の右半分に配された左眼立体映像データ２３２（２次元表示データ）とを併合した表示データ２９８を立体ディスプレイ１１０に表示させることにより、観察者は、専用の偏光眼鏡１１８を通じて、立体ディスプレイ１１０の左半分の領域（左画面）では、擬似的ではあるものの立体映像を知覚し、右半分の領域（右画面）では２次元映像を視認することができる。
Accordingly, as shown in FIG. 22C, pseudo
以上説明したように、本実施形態にかかる立体映像生成装置２００の表示データ生成部２６０によれば、立体映像データ２３４を構成する右眼立体映像データ２３０または左眼立体映像データ２３２のいずれか一方のみを用いて２次元表示データおよび擬似立体表示データを生成することで、処理負荷を軽減することができる。また、同一の映像データから２次元表示データおよび擬似立体表示データを生成するため、観察者は、立体映像に含まれるオブジェクトの立体感を元の２次元映像と比較することができ、擬似立体表示データがどの程度立体感を表現することができるか確認することが可能となる。さらに、両眼視差を有しない２次元映像データ（右眼立体映像データ２３０または左眼立体映像データ２３２のいずれか一方も含む）から両眼視差を有する擬似立体表示データを生成することで、２次元映像データしか取得できない状況であっても、観察者に立体映像を知覚させることができる。
As described above, according to the display
ここで、表示データ生成部２６０は、左眼立体映像データ２３２を用いて２次元表示データおよび擬似立体表示データを生成しているが、これに限定されず、２次元映像データまたは右眼立体映像データ２３０を用いて２次元表示データおよび擬似立体表示データを生成してもよいし、右眼立体映像データ２３０または左眼立体映像データ２３２のいずれか一方を用いて２次元表示データを生成し、他方を用いて擬似立体表示データを生成してもよい。
Here, the display
また本実施形態では、立体表示データおよび２次元表示データを並べて立体ディスプレイ１１０に表示させる場合と、擬似立体表示データおよび２次元表示データを並べて表示させる場合について説明したが、立体表示データと擬似立体表示データを並べて表示させることができることは言うまでもない。
In the present embodiment, the case where the stereoscopic display data and the two-dimensional display data are displayed side by side on the
（第３の実施形態：同期した立体映像データ、フレームシーケンシャル、２画面表示）
上述した第１および第２の実施形態の立体映像生成装置１００、２００において、表示データ生成部１６０、２６０は、表示面１１２に隔行で偏光特性の異なる偏光フィルタが設けられた立体ディスプレイ１１０を通じて立体映像を知覚させるため、ラインシーケンシャル方式の立体表示データまたは擬似立体表示データを生成していた。本実施形態では、偏光特性は全画面等しく、所定のフレーム切換速度（例えば１２０ｆｐｓ：以下、単にフレーム切換速度と称する）で右眼用の映像データと左眼用の映像データとを交互に表示させることができる立体ディスプレイに表示させるための２次元表示データ、立体表示データまたは擬似立体表示データを生成することができる立体映像生成装置３００について説明する。
(Third embodiment: synchronized stereoscopic video data, frame sequential, two-screen display)
In the stereoscopic
図２３は、第３の実施形態にかかる立体映像生成装置３００が生成する立体表示データを表示させるための立体ディスプレイ３１０の表示構成を説明するための説明図である。立体ディスプレイ３１０は、図２３（ａ）に示すように、右眼用表示データ３２０を表示させている場合、観察者が装着する電子シャッタメガネ３１８は、フレームに同期させて、右のシャッタ３１８ａを開、左のシャッタ３１８ｂを閉にする。そして図２３（ｂ）に示すように、左眼用表示データ３２２を表示させている場合、観察者が装着する電子シャッタメガネ３１８は、フレームに同期させて、右のシャッタ３１８ａを閉、左のシャッタ３１８ｂを開にする。観察者は、電子シャッタ眼鏡３１８を通じて、右眼用表示データ３２０を右眼で、左眼用表示データ３２２を左眼で、時分割で交互かつ排他的に視認し、両眼視差によって、表示面と異なる結像位置３２４で立体映像を知覚することが可能となる。なお、右眼用表示データ３２０と左眼用表示データ３２２とは、フレーム切換速度で切り換ることで、観察者は左右の映像をフレーム切換速度の半分の速度（フレーム切換速度が１２０ｆｐｓの場合６０ｆｐｓ）で視認することができ、シームレスな立体映像を知覚させることができる。
FIG. 23 is an explanatory diagram for explaining a display configuration of the
（立体映像生成装置３００：立体表示データおよび２次元表示データ）
図２４は、第３の実施形態にかかる立体映像生成装置３００の概略的な機能を示した機能ブロック図である。図２４に示すように、立体映像生成装置３００は、立体ディスプレイ３１０に接続され、データ取得部１５０と、映像処理部１５２と、フレームメモリ１５４と、表示データ生成部３６０と、表示制御部１８０とを含んで構成される。ここでは立体ディスプレイ３１０と立体映像生成装置３００とを別体に構成する場合を説明するが、一体的に構成することもできる。なお、第１の実施形態における構成要素として既に述べた、データ取得部１５０、映像処理部１５２と、フレームメモリ１５４、表示制御部１８０は、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する表示データ生成部３６０を主に説明する。
(3D image generating apparatus 300: 3D display data and 2D display data)
FIG. 24 is a functional block diagram illustrating schematic functions of the stereoscopic
表示データ生成部３６０は、データ取得部１５０が取得した立体映像データ３３４または２次元映像を用いて、２次元表示データ、擬似立体表示データおよび立体表示データのうち２の表示データを生成する。
The display
図２５は、第３の実施形態にかかる表示データ生成部３６０の具体的な機能を示した機能ブロック図であり、図２６は、表示データ生成部３６０中のスケーラ部３６２によって加工された立体映像データ３３４を説明するための説明図である。図２５に示すように、表示データ生成部３６０は、スケーラ部３６２と、映像変換部３７０とを含んで構成される。
FIG. 25 is a functional block diagram showing specific functions of the display
スケーラ部３６２は、右スケーラ部３６２ａと、左スケーラ部３６２ｂとで構成され、右スケーラ部３６２ａは、フレームメモリ１５４から図２６（ａ）に示す右眼立体映像データ３３０の有効映像部分を、左スケーラ部３６２ｂは、フレームメモリ１５４から左眼立体映像データ３３２の有効映像部分を、それぞれを読み出し、図２６（ｂ）に示すように垂直解像度を１／２に縮小する。ここでスケーラ部３６２は、右眼立体映像データ３３０または左眼立体映像データ３３２を構成するライン単位のデータを隔行で間引くことで垂直解像度を１／２に縮小する。
The
さらに、右スケーラ部３６２ａは、図２６（ｃ）に示すように、垂直解像度を１／２に縮小した右眼立体映像データ３３０の水平解像度を１／２に縮小し、左スケーラ部３６２ｂは、垂直解像度を１／２に縮小した左眼立体映像データ３３２の水平解像度を１／２に縮小する。ここでスケーラ部３６２は、右眼立体映像データ３３０または左眼立体映像データ３３２を構成するライン単位のデータを１画素置きに間引くことで水平解像度を１／２に縮小する。
Further, as shown in FIG. 26 (c), the
そして、右スケーラ部３６２ａは、図２６（ｄ）に示すように、垂直解像度および水平解像度をそれぞれ１／２に縮小した、すなわち、画素数が９６０×５４０となった右眼立体映像データ３３０を水平方向に繰り返し並置した右眼立体映像データ３３０ａを、フレーム切換速度の半分の速度で、後述する映像変換部１７０のフレームメモリ３７２に出力する。また、左スケーラ部３６２ｂも、図２６（ｄ）に示すように、垂直解像度および水平解像度をそれぞれ１／２に縮小した左眼用映像データ３３２を水平方向に繰り返し並置した左眼立体映像データ３３２ａを、フレーム切換速度の半分の速度で、映像変換部１７０のフレームメモリ３７２に出力する。このとき、スケーラ部３６２は、有効映像部分の右眼用映像データ３３０または左眼用映像データ３３２が配されない部分（図２６（ｄ）中ハッチングで示す）については予め定められたデータ（例えば、黒色を示すデータ）を配してもよい。
Then, as shown in FIG. 26 (d), the
図２７は、第３の実施形態にかかる映像変換部３７０の具体的な機能を示した機能ブロック図であり、図２８は、映像変換部３７０の処理を説明するための説明図である。図２７に示すように映像変換部３７０は、フレームメモリ３７２と、アドレス制御部３７４と、切換スイッチ３７６とを含んで構成される。アドレス制御部３７４は、スケーラ部３６２がフレームメモリ３７２に右眼立体映像データ３３０または左眼立体映像データ３３２を書き込む速度の２倍、フレーム切換速度でフレームメモリ３７２から右眼立体映像データ３３０または左眼立体映像データ３３２を出力し、水平同期信号の１／２の周期で形成される基準信号の周期で切換スイッチ３７６を制御する。
FIG. 27 is a functional block diagram showing specific functions of the
具体的に、アドレス制御部３７４は、フレームメモリ３７２の出力経路３７２ａからフレーム毎に右眼立体映像データ３３０ａと左眼立体映像データ３３２ａを交互に出力させ出力経路３７２ｂから常に右眼立体映像データ３３０ａを出力経路３７２ａと同期させて出力させる。
Specifically, the
そうすると、図２８（ａ）に示すスケーラ部３６２からフレームメモリ３７２に書き込まれる速度の２倍の速度で図２８（ｂ）に示す右眼立体映像データ３３０ａまたは左眼立体映像データ３３２ａが出力される。そして、アドレス制御部３７４が切換スイッチ３７６を基準信号の周期で出力経路３７２ａと出力経路３７２ｂとの接続を切り換えると、図２８（ｃ）に示すような有効映像部分の左半分に左目用表示データ３２２が右半分に右眼用表示データ３２０が配された表示データ３３６ａと、有効映像部分の左半分にも右半分にも右眼用表示データ３２０が配された表示データ３３６ｂが生成される。
Then, the right-eye
したがって、観察者は、図２８（ｃ）に示すｔ１、ｔ３、ｔ５、ｔ７…ｔ（ｎ−１）のとき右のシャッタ３１８ａを閉、左のシャッタ３１８ｂを開にし、ｔ２、ｔ４、ｔ６、ｔ８…ｔ（ｎ）のときに右のシャッタ３１８ａを開、左のシャッタ３１８ｂを閉にする電子シャッタ眼鏡３１８を通じて、立体ディスプレイ３１０の左半分の領域（左画面）では立体映像を知覚し、右半分の領域（右画面）では２次元映像を視認することができる。
Therefore, the observer closes the
以上説明したように、本実施形態にかかる立体映像生成装置３００によれば、１の立体ディスプレイ３１０を通じて、観察者に立体映像と２次元映像とを同時に知覚させることが可能となる。したがって、観察者は、立体映像がどのぐらいの立体感を再現できるのかを２次元映像と比較することができる。
As described above, according to the stereoscopic
なお、ここで立体映像生成装置３００は、右眼立体映像データ３３０ａを用いて２次元映像を視認させている（有効映像部分の右半分）が、これに限定されず、左眼立体映像データ３３２ａを用いて２次元映像を視認させてもよい。
Here, the stereoscopic
また、上述したような、映像変換部３７０のフレームメモリ３７２の後段に切換スイッチ３７６を配した構成により、立体表示データおよび２次元表示データを１の立体ディスプレイ３１０に表示させる場合（デモモード）と立体表示データのみを表示させる場合（通常モード）の切り換えを行う際に、フレームメモリ３７２のメモリアクセス制御の変更をおこなわずともよい。また、デモモードの場合には、フレームメモリ３７２へのアクセス数が減り、消費電力を抑えられる。
Further, with the configuration in which the
さらに、立体映像生成装置３００は、デモモードのみに利用する場合、映像変換部３７０のフレームメモリ３７２の前段に切換スイッチ３７６を配するとよい。この場合、フレームメモリ３７２に書き込む前の切換スイッチ３７６で、図２６（ｃ）に示す垂直解像度および水平解像度をそれぞれ１／２に縮小した左眼用映像データ３３２を有効映像部分の左半分に配し、垂直解像度および水平解像度をそれぞれ１／２に縮小した右眼立体映像データ３３０を有効映像部分の右半分に配してフレームメモリ３７２に書き込む。そして、フレームメモリ３７２から読み出す際には、１フレームおきに、水平方向に２度読み出す。
Further, when the stereoscopic
このような、映像変換部３７０のフレームメモリ３７２の前段に切換スイッチ３７６を配する構成により、フレームメモリ３７２へのアクセス量を減らすことができ、フレームメモリ３７２の容量を削減することが可能となる。
With such a configuration in which the
また本実施形態では、立体表示データおよび２次元表示データを並べて立体ディスプレイ３１０に表示させる場合について説明したが、擬似立体表示データおよび２次元表示データを並べて表示させたり、立体表示データと擬似立体表示データを並べて表示させたりすることができることは言うまでもない。この際、擬似立体表示データは、２次元映像データ（右眼立体映像データ３３０および左眼立体映像データ３３２を含む）、２次元映像データに含まれるオブジェクトの奥行情報に応じて水平視差を有するように水平シフトさせて生成される。
In the present embodiment, the case where the stereoscopic display data and the two-dimensional display data are displayed side by side on the
（第４の実施形態：ラインシーケンシャル、３画面表示）
上述した第１および第２の実施形態の立体映像生成装置１００、２００において、立体ディスプレイ１１０には２次元表示データ、立体表示データ、擬似立体表示データのうちいずれか２の表示データが表示されている例について説明した。本実施形態では、立体ディスプレイ１１０に２次元表示データ、立体表示データおよび擬似立体表示データの３つの表示データを表示させることができる立体映像生成装置４００について説明する。
(Fourth embodiment: line sequential, 3-screen display)
In the stereoscopic
（立体映像生成装置４００：同期した立体映像データ、ラインシーケンシャル、３画面表示）
図２９は、第４の実施形態にかかる立体映像生成装置４００の表示データ生成部４６０の概略的な機能を示した機能ブロック図であり、図３０は、第４の実施形態にかかるスケーラ部４６２の処理を説明するための説明図である。立体映像生成装置４００は、立体ディスプレイ１１０に接続され、データ取得部１５０と、映像処理部１５２と、表示データ生成部４６０と、表示制御部１８０とを含んで構成される。第１の実施形態における構成要素として既に述べた、データ取得部１５０、映像処理部１５２、および表示制御部１８０は、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する表示データ生成部４６０を主に説明する。
(Stereoscopic image generation apparatus 400: synchronized stereoscopic image data, line sequential, three-screen display)
FIG. 29 is a functional block diagram showing a schematic function of the display
図２９に示すように、表示データ生成部４６０は、スケーラ部４６２と、映像変換部４７０とを含んで構成される。スケーラ部４６２は、右スケーラ部４６２ａと、左スケーラ部４６２ｂとで構成され、右スケーラ部４６２ａは、フレームメモリ１５４から図３０（ａ）に示す右眼立体映像データ１３０の有効映像部分を、左スケーラ部４６２ｂは、フレームメモリ１５４から左眼立体映像データ１３２の有効映像部分を、それぞれを読み出し、図３０（ｂ）に示すように垂直解像度を１／２に縮小し、垂直解像度を１／２に縮小した右眼立体映像データ１３０および左眼立体映像データ１３２をそれぞれ垂直方向に２つ並置した映像データ４３０および映像データ４３２を生成する。
As shown in FIG. 29, the display
さらにスケーラ部４６２は、図３０（ｃ）に示す、映像データ４３０および映像データ４３２の水平解像度を１／２にし、有効映像部分の上半分の略中央に配し、有効映像部分の下半分には２回繰り返して並置した映像データ４３０ａ、４３２ａを生成する。
Further, the
図３１は、映像変換部４７０の具体的な機能を示した機能ブロック図であり、図３２は、立体映像生成装置１００の表示面上の領域を説明するための説明図であり、図３３は、映像変換部４７０の処理を説明するための説明図である。図３１に示すように、映像変換部４７０は、切換スイッチ１７２ｄ、１７２ｅと、立体変換部１７０ｂと、擬似変換部１７０ｃと、アドレス制御部４７６とを含んで構成される。
FIG. 31 is a functional block diagram showing specific functions of the
図３１に示す立体変換部１７０ｂは、切換スイッチ１７２ｆ、１７２ｇと、ラインメモリ１７４ａ、１７４ｂと、を含んで構成され、擬似変換部１７０ｃは、切換スイッチ１７２ｈ、１７２ｉと、ラインメモリ１７４ａ、１７４ｂと、を含んで構成される。アドレス制御部４７６は、切換スイッチ１７２ｄ〜１７２ｉを水平同期信号の１／２の周期で形成される基準信号および垂直同期信号の１／２の周期で形成される区分信号に基づいて切り換える。
31 includes a
まず、アドレス制御部４７６は、切換スイッチ１７２ｄおよび立体変換部１７０ｂに対して上述した図６に示す制御と同様の制御を遂行する。ただし、ここでアドレス制御部４７６は、図３０（ｃ）に示す映像データ４３０ａまたは映像データ４３２ａを用いて、２次元表示データが図３２に示す立体ディスプレイ１１０の表示面上の領域Ａに配されるように立体変換部１７０ｂを制御する。また、アドレス制御部４７６は、映像データ４３０ａまたは映像データ４３２ａを用いて、立体表示データが図３２に示す立体ディスプレイ１１０の表示面上の領域Ｂに配されるように立体変換部１７０ｂを制御する。
First, the
そうすると、図３３（ａ）に示すように、領域Ａに対応する有効映像部分に２次元表示データ４４０ａが配され、領域Ｂに対応する有効映像部分に立体表示データ４４０ｂが配された表示データが生成される。
Then, as shown in FIG. 33A, the display data in which the two-
さらに、アドレス制御部４７６は、擬似変換部１７０ｃに対して上述した図９に示す制御と同様の制御を遂行し、図３０（ｃ）に示す映像データ４３０ａまたは映像データ４３２ａを用いて、擬似立体表示データが図３２に示す立体ディスプレイ１１０の表示面上の領域Ｃに配されるように擬似変換部１７０ｃを制御する。そうすると、図３３（ｂ）に示すように、領域Ｃに対応する有効映像部分に映像データ４３０ａまたは映像データ４３２ａ（図３０では、立体映像データ４３０を例に挙げる）を用いて生成された擬似立体表示データ４４２ａが生成される。
Further, the
そしてアドレス制御部４７６は、切換スイッチ１７２ｅを、まず立体変換部１７０ｂに接続し、区分信号が１周期進み、さらに基準信号が１周期進むと擬似変換部１７０ｃに切り換える。
The
これにより、領域Ａに２次元表示データ４４０ａが配され、領域Ｂに立体表示データ４４０ｂが配され、領域Ｃに擬似立体表示データ４４２ａが配された表示データが生成される。ここでも立体表示データ４４０ｂおよび擬似立体表示データ４４２ａの１ライン目を立体ディスプレイ１１０の奇数番号のライン１１４（右眼で視認するライン）に対応させている。また、領域Ｄ、領域Ｅに対応する有効映像部分の２次元表示データ４４０ａ、立体表示データ４４０ｂおよび擬似立体表示データ４４２ａが配されない部分（図３３中ハッチングで示す）については予め定められたデータ（例えば、黒色を示すデータ）を配してもよい。
Thereby, the display data in which the two-
以上説明したように、本実施形態にかかる立体映像生成装置４００によれば、１の立体ディスプレイ１１０を通じて、観察者に、立体表示データに基づく立体映像と、擬似立体表示データに基づく立体映像と、２次元映像とを同時に知覚させることが可能となる。
As described above, according to the stereoscopic
なお、ここで、表示データ生成部４６０は、領域Ａに２次元表示データが、領域Ｂに立体表示データが、領域Ｃに擬似立体表示データが配された表示データを生成するが表示データを任意の領域に配した表示データを生成することができる。
Here, the display
また、ここでは、表示面１１２に隔行で偏光特性の異なる偏光フィルタが設けられた立体ディスプレイ１１０を通じて立体映像を知覚させるため、ラインシーケンシャル方式の表示データを生成しているが、立体映像生成装置３００の構成を利用することで、２次元表示データ、立体映像表示データおよび擬似立体表示データを１の立体ディスプレイ３１０に表示させることが可能な表示データを生成することもできる。
Here, in order to make a stereoscopic image perceived through the
（併合した立体映像データ、ラインシーケンシャル、３画面表示）
次に、上述した立体映像生成装置４００において、データ取得部１５０が取得する立体映像データがサイドバイサイド方式等の併合した立体映像データを取得した場合に、１の立体ディスプレイ１１０に２次元表示データ、立体表示データおよび擬似立体表示データの３つの表示データを表示させる処理を説明する。
(Consolidated stereoscopic video data, line sequential, 3-screen display)
Next, in the above-described stereoscopic
図３４は、スケーラ部４６２の処理を説明するための説明図であり、図３５は、映像変換部２７０の処理を説明するための説明図である。ここで、スケーラ部４６２は、フレームメモリ１５４から図３４（ａ）に示す立体映像データ２３４の有効映像部分を読み出し、図３０（ｂ）に示すように垂直解像度を１／２に縮小し、垂直解像度を１／２に縮小した立体映像データ２３４を垂直方向に２つ並置した映像データ４８０を生成する。
FIG. 34 is an explanatory diagram for explaining the processing of the
そして、映像変換部４７０のアドレス制御部４７６は、映像データ４８０を用いて、垂直解像度が１／２に縮小された右眼立体映像データ２３０または左眼立体映像データ２３２（図３５においては、左眼立体映像データ２３２を例に挙げる）が図３２に示す立体ディスプレイ１１０の表示面上の領域Ａに配されるように切換スイッチ２７２ａ、２７２ｂを制御し、図３５（ａ）に示す、有効映像部分の領域Ｂに、垂直解像度が１／２に縮小された右眼立体映像データ２３０と左眼立体映像データ２３２とが１ライン毎に配置されるように切換スイッチ２７２ａ、２７２ｂを制御する。そして図３５（ａ）に示す、有効映像部分ＡおよびＢ以外の部分にはダミーデータを配した表示データ４８２を生成する。ここでも垂直解像度が１／２に縮小された右眼立体映像データ２３０の１ライン目を立体ディスプレイ１１０の奇数番号のライン１１４（右眼で視認するライン）に対応させている。
Then, the
また、アドレス制御部４７６は、映像データ４８０を用いて、領域Ｃに、垂直解像度が１／２に縮小された右眼立体映像データ２３０または左眼立体映像データ２３２のいずれか一方を用いて右眼擬似立体映像データと左眼擬似立体映像データとが１ライン毎に配置されるように切換スイッチ２７２ａ、２７２ｂを制御し、図３５（ｂ）に示す、有効映像部分の領域Ｃ以外の部分にはダミーデータを配した表示データ４８４を生成する。ここでも垂直解像度が１／２に縮小された右眼擬似立体映像データの１ライン目を立体ディスプレイ１１０の奇数番号のライン１１４（右眼で視認するライン）に対応させている。
In addition, the
そして、アドレス制御部４７６は、切換スイッチ１７２ｅを区分信号に基づいて切り換え、表示データ４８２と表示データ４８４とを交互に出力する。
Then, the
以上説明したように、本実施形態にかかる立体映像生成装置４００によれば、１の立体ディスプレイ１１０を通じて、観察者に、立体表示データに基づく立体映像と、擬似立体表示データに基づく立体映像と、２次元映像とを同時に知覚させることが可能となる。
As described above, according to the stereoscopic
（第５の実施形態：同期した立体映像データ、ラインシーケンシャル、３画面表示、切り出し）
上述した第１、第３、第４の実施形態の立体映像生成装置１００、３００、４００において、立体ディスプレイ１１０には、スケーラ部によって垂直解像度および水平解像度を圧縮し想定された表示範囲全てが表示されている例について説明した。本実施形態では、立体映像データまたは２次元映像データの一部から表示データを生成して立体ディスプレイ１１０に表示させる立体映像生成装置５００について説明する。
(Fifth embodiment: synchronized stereoscopic video data, line sequential, three-screen display, clipping)
In the stereoscopic
（立体映像生成装置５００）
図３６は、第５の実施形態にかかる立体映像生成装置５００における表示データ生成部５６０の概略的な機能を示した機能ブロック図である。立体映像生成装置５００は、立体ディスプレイ１１０に接続され、データ取得部１５０と、映像処理部１５２と、表示データ生成部５６０と、表示制御部１８０とを含んで構成される。第１の実施形態における構成要素として既に述べた、データ取得部１５０、映像処理部１５２、および表示制御部１８０は、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する表示データ生成部５６０を主に説明する。
(Stereoscopic image generation apparatus 500)
FIG. 36 is a functional block diagram illustrating a schematic function of the display
図３６に示すように、表示データ生成部５６０は、映像切出部５６２と、映像変換部４７０とを含んで構成される。映像切出部５６２は、表示データ生成部５６０によって生成される２または３の表示データそれぞれにおける垂直方向および水平方向の相対的位置が等しくなるように、フレームメモリ１５４から出力された立体映像データ１３４または２次元映像データの一部を切り出す。
As illustrated in FIG. 36, the display
図３７は、第５の実施形態にかかる映像切出部５６２の処理を説明するための説明図である。本実施形態において映像切出部５６２は、右映像切出部５６２ａと、左映像切出部５６２ｂとで構成され、表示データ生成部５６０によって生成される３の表示データそれぞれにおける垂直方向および水平方向の相対的位置が等しくなるように、右映像切出部５６２ａは、フレームメモリ１５４から図３７（ａ）に示す右眼立体映像データ１３０の有効映像部分、左映像切出部５６２ｂは、フレームメモリ１５４から左眼立体映像データ１３２の有効映像部分のうち、立体映像データの一部を切り出して読み出す。ここで、映像切出部５６２は、ユーザによる十字キー等の操作部を介した操作入力に応じて立体映像データの一部を切り出す。また、映像切出部５６２は、右眼立体映像データ１３０および左眼立体映像データ１３２に含まれるオブジェクトの奥行情報を参照して、奥行情報が示す奥行きの絶対値が大きいオブジェクトを含む領域を自動的に切り出してもよい。
FIG. 37 is an explanatory diagram for explaining the processing of the
図３７（ｂ）に示すように映像切出部５６２は、右眼立体映像データ１３０および左眼立体映像データ１３２から右眼立体映像データ１３０および左眼立体映像データ１３２の垂直方向のサイズが原立体映像データの１／２のサイズの領域１３０ａ、１３２ａを切り出して、映像データ１３０ｂ、１３２ｂを生成する。そして映像切出部５６２は、映像データ１３０ｂを垂直方向に２つ並置した映像データ５３０、映像データ１３２ｂを垂直方向に２つ並置した映像データ５３２を生成する。
As shown in FIG. 37 (b), the
さらに映像切出部５６２は、図３７（ｃ）に示す、映像データ５３０および映像データ５３２から右眼立体映像データ１３０および左眼立体映像データ１３２の水平方向のサイズが原立体映像データの１／２のサイズの領域５３０ａ、５３２ａを切り出して、映像データ５４０、５４２を生成し、映像データ５４０、映像データ５４２から図３７（ｄ）に示す、有効映像部分の上半分は略中央に配し、有効映像部分の下半分は２回繰り返して並置した映像データ５４０ａおよび映像データ５４２ａを生成する。
Further, the
そして、映像変換部４７０のアドレス制御部４７６は、切換スイッチ１７２ｄおよび立体変換部１７０ｂに対して上述した図６に示す制御と同様の制御を遂行し、擬似変換部１７０ｃに対して上述した図９に示す制御と同様の制御を遂行する。
The
ただし、ここでアドレス制御部４７６、図３７（ｄ）に示す映像データ５４０ａまたは映像データ５４２ｂを用いて、２次元表示データが図３２に示す立体ディスプレイ１１０の表示面上の領域Ａに配されるように立体変換部１７０ｂを制御する。またアドレス制御部４７６は、図３７（ｄ）に示す映像データ５４０ａまたは映像データ５４２ａを用いて、立体表示データが図３２に示す立体ディスプレイ１１０の表示面上の領域Ｂに配されるように立体変換部１７０ｂを制御する。さらにアドレス制御部４７６は、図３７（ｄ）に示す映像データ５４０ａまたは映像データ５４２ａを用いて、擬似立体表示データが図３２に示す立体ディスプレイ１１０の表示面上の領域Ｃに配されるように擬似変換部１７０ｃを制御する。
However, the two-dimensional display data is arranged in the area A on the display surface of the
以上説明したように、映像切出部５６２が立体映像データ１３４単体を用いて生成する表示データのサイズを変更せず（縮小も拡大も行わず）に立体映像データ１３４の一部を切り出す構成により、立体映像データ１３４を全画面表示した場合におけるサイズで立体表示データにした場合における両眼視差と同一の両眼視差を有する立体表示データを生成することができる。したがって、立体映像生成装置５００を利用してデモンストレーションを行い、２次元映像、立体表示データ、擬似立体表示データを１の立体ディスプレイ１１０に同時に表示させることでも、立体表示データまたは擬似立体表示データのみを表示した場合に発揮される視覚効果（立体感）と同一の視覚効果によって３つの表示データを比較することが可能となる。
As described above, the
また、映像切出部５６２が、表示データ生成部５６０によって生成される３の表示データそれぞれにおける垂直方向および水平方向の相対的位置が等しくなるように、右眼立体映像データ１３０および左眼立体映像データ１３２の一部を切り出すことで、観察者に２次元映像を同じ部分を用いて生成された立体映像を知覚させることができるので、どの程度の立体感を再現できるかを確認させることが可能となる。
In addition, the right-eye
（第６の実施形態：同期した立体映像データ、ラインシーケンシャル、ＰｉｎＰ）
上述した第４および第５の実施形態の立体映像生成装置４００、５００において、立体ディスプレイ１１０の任意の領域に、２次元表示データ、立体表示データおよび擬似立体表示データを表示させている例について説明した。本実施形態では、２次元表示データにＰｉｎＰ（Picture in Picture）形式で立体表示データおよび擬似立体表示データを重畳させて立体ディスプレイ１１０に表示させる立体映像生成装置６００について説明する。
(Sixth embodiment: synchronized stereoscopic video data, line sequential, PinP)
In the stereoscopic
（立体映像生成装置６００）
図３８は、第６の実施形態にかかる立体映像生成装置６００における表示データ生成部６６０の概略的な機能を示した機能ブロック図であり、図３９は、表示データ生成部６６０が生成する表示データを説明するための説明図である。本実施形態にかかる立体映像生成装置６００は、立体ディスプレイ１１０に接続され、データ取得部１５０と、映像処理部１５２と、表示データ生成部６６０と、表示制御部１８０とを含んで構成される。第１の実施形態における構成要素として既に述べた、データ取得部１５０、映像処理部１５２、および表示制御部１８０は、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する表示データ生成部６６０を主に説明する。
(Stereoscopic image generation apparatus 600)
FIG. 38 is a functional block diagram illustrating a schematic function of the display
図３８に示すように、表示データ生成部６６０は、スケーラ部１６２と、遅延調整部６８０と、切換スイッチ１７２ｄと、立体変換部１７０ｂと、擬似変換部１７０ｃと、切換スイッチ６７２と、アドレス制御部６７６とを含んで構成される。上述した実施形態における構成要素として既に述べた、スケーラ部１６２と、切換スイッチ１７２ｄと、立体変換部１７０ｂと、擬似変換部１７０ｃとは、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する遅延調整部６８０、切換スイッチ６７２と、アドレス制御部６７６について説明する。
As shown in FIG. 38, the display
遅延調整部６８０は、フレームメモリから読み出した右眼立体映像データを入力とし、シフトレジスタで構成され、スケーラ部１６２と、立体変換部１７０ｂと、擬似変換部１７０ｃとで立体表示データおよび擬似立体表示データを生成する際に生じる遅延時間の分、立体映像データを遅延させて出力する。ここでは、入力を右眼立体映像データとしているが、左眼立体映像データとしてもよい。
The
アドレス制御部６７６は、立体変換部１７０ｂと、擬似変換部１７０ｃとに対して上述した図１１の説明において上述した制御と同様の制御を遂行する。またアドレス制御部６７６は、切換スイッチ６７２を制御することで、立体ディスプレイ１１０の表示面の全領域に亘って（背景として）遅延調整部６８０から出力される２次元表示データ６９０ａが配され、２次元表示データ６９０ａに立体表示データ６９０ｂおよび擬似立体表示データ６９０ｃが重畳されるように立体変換部１７０ｂ、擬似変換部１７０ｃ、切換スイッチ６７２を制御する。そうすると、図３９に示すように、立体ディスプレイ１１０には、背景に２次元表示データ６９０ａが、ＰｉｎＰとして立体表示データ６９０ｂおよび擬似立体表示データ６９０ｃが出力される。
The address control unit 676 performs the same control as the control described above in the description of FIG. 11 described above for the
かかる構成により、観察者は、背景に２次元映像を視認し、ＰｉｎＰで、立体表示データ６９０ｂに基づく立体映像と、擬似立体映像データ６９０ｃに基づく立体映像を知覚することが可能となる。
With this configuration, an observer can visually recognize a two-dimensional image in the background and perceive a stereoscopic video based on the
なお、上述した第５の実施形態にかかる映像切出部５６２を有する立体映像生成装置においてＰｉｎＰ形式で映像を表示させる場合、図３６に示すスケーラ部１６２に代えて映像切出部５６２を配すれば、２次元表示データにＰｉｎＰ形式で立体表示データおよび擬似立体表示データを重畳させて立体ディスプレイ１１０に表示させることができる。
In addition, when displaying a video in the PinP format in the stereoscopic video generation apparatus having the
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。 As mentioned above, although preferred embodiment of this invention was described referring an accompanying drawing, it cannot be overemphasized that this invention is not limited to this embodiment. It will be apparent to those skilled in the art that various changes and modifications can be made within the scope of the claims, and these are naturally within the technical scope of the present invention. Is done.
なお、本明細書の立体映像生成方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。 Note that each step of the stereoscopic video generation method of the present specification does not necessarily have to be processed in time series in the order described in the flowchart, and may include processing in parallel or by a subroutine.
本発明は、両眼視差によって立体映像を知覚させることができる立体映像データを生成することが可能な立体映像生成装置および立体映像生成方法に利用することができる。 INDUSTRIAL APPLICABILITY The present invention can be used for a stereoscopic video generation apparatus and a stereoscopic video generation method capable of generating stereoscopic video data that allows a stereoscopic video to be perceived by binocular parallax.
１００、２００、３００、４００、５００、６００ …立体映像生成装置
１５０、２５０、４５０ …データ取得部
１６０、２６０、３６０、４６０、５６０、６６０ …表示データ生成部
５６２ …映像切出部
100, 200, 300, 400, 500, 600 ... 3D
Claims (4)
取得された前記立体映像データまたは前記２次元映像データを用いて、２次元表示データ、擬似立体表示データおよび立体表示データのうち２または３の表示データを生成する表示データ生成部と、
左右眼の水平視差に基づいて立体映像を知覚させる立体ディスプレイに、生成された前記２または３の表示データを並べて表示させる表示制御部と、
を備えることを特徴とする立体映像生成装置。 A data acquisition unit for acquiring stereoscopic video data or two-dimensional video data for perceiving stereoscopic video;
A display data generation unit that generates 2 or 3 display data out of 2D display data, pseudo 3D display data, and 3D display data using the acquired 3D image data or 2D image data;
A display control unit that displays the generated display data 2 or 3 side by side on a stereoscopic display that perceives a stereoscopic image based on horizontal parallax of the left and right eyes;
A stereoscopic video generation apparatus comprising:
取得した前記立体映像データまたは前記２次元映像データを用いて、２次元表示データ、擬似立体表示データおよび立体表示データのうち２または３の表示データを生成し、
左右眼の水平視差に基づいて立体映像を知覚させる立体ディスプレイに、生成した前記２または３の表示データを並べて表示させることを特徴とする立体映像生成方法。 Obtain 3D video data or 2D video data to perceive 3D video,
Using the acquired stereoscopic video data or the two-dimensional video data, generating two or three display data among the two-dimensional display data, the pseudo stereoscopic display data, and the stereoscopic display data,
A 3D image generation method, wherein the generated 2 or 3 display data are displayed side by side on a 3D display that perceives a 3D image based on horizontal parallax of left and right eyes.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009280904A JP2011124802A (en) | 2009-12-10 | 2009-12-10 | Device and method for generating stereoscopic video |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009280904A JP2011124802A (en) | 2009-12-10 | 2009-12-10 | Device and method for generating stereoscopic video |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011124802A true JP2011124802A (en) | 2011-06-23 |
Family
ID=44288261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009280904A Pending JP2011124802A (en) | 2009-12-10 | 2009-12-10 | Device and method for generating stereoscopic video |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011124802A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012056847A1 (en) * | 2010-10-28 | 2012-05-03 | シャープ株式会社 | Stereoscopic video output device, stereoscopic video output method, stereoscopic video output program and computer-readable recording medium, and stereoscopic video display device |
| JP2012095233A (en) * | 2010-10-28 | 2012-05-17 | Sharp Corp | Stereoscopic video output device, stereoscopic video output method, stereoscopic video output program, computer readable recording medium, and stereoscopic video display device |
| JP2020118963A (en) * | 2019-01-22 | 2020-08-06 | 国立大学法人東京農工大学 | Head mount display |
-
2009
- 2009-12-10 JP JP2009280904A patent/JP2011124802A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012056847A1 (en) * | 2010-10-28 | 2012-05-03 | シャープ株式会社 | Stereoscopic video output device, stereoscopic video output method, stereoscopic video output program and computer-readable recording medium, and stereoscopic video display device |
| JP2012095233A (en) * | 2010-10-28 | 2012-05-17 | Sharp Corp | Stereoscopic video output device, stereoscopic video output method, stereoscopic video output program, computer readable recording medium, and stereoscopic video display device |
| JP2012095232A (en) * | 2010-10-28 | 2012-05-17 | Sharp Corp | Stereoscopic video output device, stereoscopic video output method, stereoscopic video output program, computer readable recording medium, and stereoscopic video display device |
| US9131230B2 (en) | 2010-10-28 | 2015-09-08 | Sharp Kabushiki Kaisha | Three-dimensional image output device, three-dimensional image output method, three-dimensional image display device, and computer readable recording medium |
| JP2020118963A (en) * | 2019-01-22 | 2020-08-06 | 国立大学法人東京農工大学 | Head mount display |
| JP7409641B2 (en) | 2019-01-22 | 2024-01-09 | 国立大学法人東京農工大学 | head mounted display |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4251952B2 (en) | Stereoscopic image display apparatus and stereoscopic image display method | |
| JP4942784B2 (en) | Multimedia information generating apparatus and multimedia information reproducing apparatus | |
| US8384766B2 (en) | Apparatus for processing a stereoscopic image stream | |
| JP5431726B2 (en) | Combined exchange of images and related data | |
| US8884952B2 (en) | 3D display apparatus and method for processing image using the same | |
| JP6150277B2 (en) | Stereoscopic video encoding apparatus, stereoscopic video decoding apparatus, stereoscopic video encoding method, stereoscopic video decoding method, stereoscopic video encoding program, and stereoscopic video decoding program | |
| WO2012176431A1 (en) | Multi-viewpoint image generation device and multi-viewpoint image generation method | |
| JP5172991B2 (en) | 3D image processing apparatus and viewing position check method | |
| JP2004208255A (en) | Stereoscopic image display device, recording method, and transmission method | |
| JP2011223482A (en) | Image processing apparatus, image processing method, and program | |
| JP4748251B2 (en) | Video conversion method and video conversion apparatus | |
| EP2710804A1 (en) | Automatic conversion of a stereoscopic image in order to allow a simultaneous stereoscopic and monoscopic display of said image | |
| CN102137268A (en) | Line-staggered and tessellated rendering method and device for three-dimensional video | |
| JP2015534745A (en) | Stereo image generation, transmission, and reception method and related apparatus | |
| JP5267334B2 (en) | 3D image display apparatus and 3D image display method | |
| JP2011124802A (en) | Device and method for generating stereoscopic video | |
| US20120163700A1 (en) | Image processing device and image processing method | |
| JP4966941B2 (en) | 3D video data generation method, 3D video data generation system, and 3D video data generation program | |
| JP2012134885A (en) | Image processing system and image processing method | |
| KR100823561B1 (en) | Display device for displaying two-three dimensional image | |
| EP2547109A1 (en) | Automatic conversion in a 2D/3D compatible mode | |
| JP5257243B2 (en) | 3D image display apparatus and 3D image display method | |
| JP2014132722A (en) | Stereoscopic video encoding device, stereoscopic video decoding device, stereoscopic video encoding method, stereoscopic video decoding method, stereoscopic video encoding program, and stereoscopic video decoding program | |
| CN102710947A (en) | Video signal processing apparatus and video signal processing method | |
| JP2012142800A (en) | Image processing device, image processing method, and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20111012 |