JP2004102526A - 立体画像表示装置、表示処理方法及び処理プログラム - Google Patents

Abstract

【課題】立体画像表示装置において画像処理の効率化を図る。
【解決手段】画像データに係る一つのデータ群又は画像ファイルに含まれる右眼用画像データと左眼用画像データを分離し又は抽出する第一の処理手段２ａと、第一の処理手段２ａによって得られる右眼用画像データと左眼用画像データを時間的又は空間的に画像合成して立体視表示用データを生成する第二の処理手段２ｂを設ける。そして、生成した立体視表示用データに基いて表示手段３で表示される映像を、映像分離手段４によって右眼用映像と左眼用映像に分離して、各眼で観察する。
【選択図】　　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、右眼用及び左眼用画像を表示させて各画像に係る映像分離により両眼視差を利用した立体視を可能とする立体画像表示装置において、右眼用画像及び左眼用画像から立体視表示用画像を生成するための画像処理技術に関する。
【０００２】
【従来の技術】
立体映像に係る表示方式には各種の形態が知られており、大別すると下記の２つが挙げられる。
【０００３】
・時分割方式
・空間的な分割方式。
【０００４】
時分割方式は、一定時間毎に右眼用映像と左眼用映像とを交互に表示させる方式である。例えば、眼鏡型の表示装置（シャッター付きメガネ）において、フィールド画像単位で各眼に対してそれぞれの映像が表示され、ユーザは該映像を交互に観察することになるが、一方の目で映像を見ている期間中、他方の目についてはシャッターにより映像が遮断されるため（遮光）、フリッカの発生が問題となる。
【０００５】
また、空間的な分割方式として、下記の形態が知られている。
【０００６】
・表示画面上の画像を、多数の縦長の分割画像に区分けするとともに、表示画面の水平方向において右眼用画像と左眼用画像を交互に配置して表示させる縦ライン表示方式（以下、「縦方式」という。）
・表示画面上の画像を、多数の横長の分割画像に区分けするとともに、表示画面の垂直方向において右眼用画像と左眼用画像を交互に配置して表示させる横ライン表示方式（以下、「横方式」という。）。
【０００７】
縦方式は、表示画面の水平方向に沿って画像分割を行うものであり、縦長ストライプ状の右眼用画像及び左眼用画像（縦ライン画像）を交互に配置するとともに、各画像がそれぞれに対応する眼で観察されるようにした方式である。例えば、専用眼鏡を用いることなく立体視が可能なレンチキュラ方式やパララックスバリア方式等を採用した一般的な立体映像表示装置において、この縦方式を用いている。
【０００８】
また、横方式は、表示画面の垂直方向に沿って画像分割を行うものであり、横長ストライプ状の右眼用画像及び左眼用画像を交互に配置するとともに、各画像がそれぞれに対応する眼で観察されるようにした方式である。例えば、水平方向に延びる表示ライン毎の右眼用映像と左眼用映像（横ライン画像）を表示させる方式である。
【０００９】
いずれの方式であっても、立体視のためには元画像に係る右眼用画像データ及び左眼用画像データがそれぞれ必要である。
【００１０】
【発明が解決しようとする課題】
ところで、従来の装置にあっては、撮像装置等によって得られる右眼用画像データと左眼用画像データをもとに、立体視表示用データを生成するに際して、各データをそれぞれ別個のデータ又はファイルとして処理したり、管理を行う必要があるために、処理の煩雑化や、構成の複雑化が問題となる。例えば、一つの画像ファイルに一枚の画像データが含まれる場合に、一対の画像ファイル（右眼用と左眼用の各画像ファイル）を管理して、これらの画像を対応させて関連付けた上で１つの立体視表示用データを生成しなればならない。特に、立体画像表示方式毎に固有のファイル形式を用いる場合には、異なる表示方式間でのデータ変換が容易でないか、あるいは処理に時間がかかってしまう。また、このような問題に起因して、立体画像表示装置の利便性や普及等が損われてしまう虞がある。
【００１１】
そこで、本発明は、立体画像表示装置において画像処理の効率化を課題とする。
【００１２】
【課題を解決するための手段】
本発明は、上記した課題を解決するために、下記に示す構成を備えたものである。
【００１３】
・画像データに係る一のデータ群又は画像ファイルが、右眼用データと左眼用データを有していること。
【００１４】
・画像データに係る一のデータ群又は画像ファイルから右眼用画像データと左眼用画像データを分離し又は抽出する第一の処理手段と、第一の処理手段によって得られる右眼用画像データと左眼用画像データを合成して立体視表示用データを生成して表示手段に送出する第二の処理手段を備えていること。
【００１５】
・立体視表示用データに基いて表示手段によって表示される映像を、右眼用映像と左眼用映像に分離するための映像分離手段を備えていること。
【００１６】
従って、本発明にあっては、画像データに係る一のデータ群又は画像ファイルに含まれる右眼用画像データ及び左眼用画像データを取り出して両データを合成することにより、立体視表示用データを効率良く生成することができる。
【００１７】
【発明の実施の形態】
本発明は、動画又は静止画に係る画像データを処理するとともに、両眼視差を利用した立体視表示用データを生成して表示する立体画像表示装置、表示処理方法及び処理プログラムに関するものであり、大画面立体表示装置や、立体画像表示手段を備えたコンピュータ機器、映像機器等、各種の装置に適用することができる。
【００１８】
図１は、本発明に係る立体画像表示装置（ステレオ映像表示装置）の基本構成の説明図である。
【００１９】
本例に示す立体画像表示装置１に入力される画像データには、例えば、デジタルカメラ等に専用アダプタ（立体撮影用アダプタ）を装着した撮影装置を使って撮影したデータ（撮影データ）や画像ファイルが挙げられ、動画又は静止画の如何は問わない。
【００２０】
本発明において、画像データに係る１単位のデータ群又は１つの画像ファイルは、右眼用と左眼用の各画像データを含んでいる。
【００２１】
撮影データや画像ファイルは画像処理部２に送られ、第一の処理手段２ａ、第二の処理手段２ｂにより処理される。
【００２２】
第一の処理手段２ａは、データ群又は画像ファイルから右眼用画像データと左眼用画像データを分離し又は抽出するものであり、分離された右眼用画像データと左眼用画像データを第二の処理手段２ｂに送出する。
【００２３】
第二の処理手段２ｂは、第一の処理手段２ａによって得られる右眼用画像データと左眼用画像データを合成して立体視表示用データを生成して表示手段３に送出する。尚、画像データの合成に関して、縦方式、横方式では空間的な画像合成が行われ、時分割方式では時間的な画像合成が行われる。
【００２４】
制御手段２ｃは、第一の処理手段２ａや第二の処理手段２ｂの制御（タイミング信号の生成等）を行うものであり、例えば、ＣＰＵ（中央処理装置）やメモリ等を用いて構成される。尚、右眼用と左眼用の画像データ分離や立体視表示用データの生成は、画像処理プログラムに従ってソフトウェア処理により行われ、該プログラムに記述された命令は制御手段２ｃによって解釈されて実行される。
【００２５】
表示手段３は、第二の処理手段２ｂからの立体視表示用データを表示する手段（立体画像表示手段）である。例えば、液晶式表示装置（ＬＣＤ）を用いる構成形態として、液晶表示パネル部及びこれに取り付けられる分割波長板（フィルター）を備えた、所謂直視型の表示装置が挙げられるが、本発明に関する限り、表示原理や表示形態（モノクロ、カラー等）、画素構成（ＥＬ素子や発光素子アレイ、プラズマ表示素子、陰極線管等）の如何は問わない。
【００２６】
視差を利用した立体視表示用データに基いて表示手段３によって表示される映像は、映像分離手段４において右眼用映像と左眼用映像に分離される。つまり、分離された右眼用映像と左眼用映像を観察者が各目で観察することにより立体視が実現される。尚、右眼用映像と左眼用映像の映像分離手段には、偏光フィルター、アナグリフ方式で用いる色フィルター（赤、青）等のフィルター手段や、液晶式シャッターやレンチキュラースクリーン等が挙げられる。
【００２７】
本発明の実施形態としては、専用眼鏡を使わずに立体視表示を行える構成形態と、専用眼鏡を用いて立体視表示を行う構成形態に大別され、例えば、後者の形態では、コンピュータ機器の液晶式表示装置に表示される映像を偏光フィルター等の眼鏡を通して観察できるようにした構成が挙げられる。
【００２８】
図２及び図３は、撮影装置等で取得した１つの画像データ群あるいは画像ファイルの構成について、データ（１画面分）を２次元に展開して例示したものであり、一枚の画像データ「Ｇ」中には、「Ｒ」で示す右眼用画像データと、「Ｌ」で示す左眼用画像データが含まれている。
【００２９】
尚、画像データ「Ｇ」の解像度については、水平方向（水平ライン方向）における画素数を「ＮＨ」とし、垂直方向（垂直ライン方向）における画素数を「ＮＶ」とするとき、「ＮＨ×ＮＶ」で表される。また、「Ｄ」で示す表示手段３に係る解像度（表示解像度）については、水平方向（水平ライン方向）における表示画素数を「ｎｈ」とし、垂直方向（垂直ライン方向）における表示画素数を「ｎｖ」とするとき、「ｎｈ×ｎｖ」で表される。
【００３０】
例えば、ｎｈ＝１０２４、ｎｖ＝７６８として（ＸＧＡの場合）、画像データ「Ｇ」については、その４倍の解像度、即ち、ＮＨ＝２０４８、ＮＶ＝１５３６を有する形態が挙げられる。
【００３１】
図２に示す例では、図の左右方向に延びる水平ライン上において、右眼用画像データ「Ｒ」と、左眼用画像データ「Ｌ」が配置されている。つまり、水平ライン方向において２分された領域のうち、その一方に右眼用画像データ「Ｒ」が位置され、他方に左眼用画像データ「Ｌ」が位置されている。
【００３２】
尚、右眼用画像データ「Ｒ」と左眼用画像データ「Ｌ」との配置については、同図と逆の位置関係でも構わない。
【００３３】
図３に示す例では、図の上下方向に延びる垂直ライン上において、右眼用画像データ「Ｒ」と、左眼用画像データ「Ｌ」が配置されている。つまり、垂直ライン方向において２分された領域のうち、その一方（本例では上側領域）に右眼用画像データ「Ｒ」が位置され、他方（本例では下側領域）に左眼用画像データ「Ｌ」が位置されている。
【００３４】
尚、右眼用画像データ「Ｒ」と左眼用画像データ「Ｌ」との配置については、同図と逆の位置関係でも構わない。
【００３５】
動画又は静止画に係る画像データ「Ｇ」については、事前にファイル化されている必要はない。例えば、撮像素子の検出データを該素子近辺のメモリ素子に取り込んで処理する構成形態では、メモリ素子の記憶データを直接に処理することができる（撮像素子による時系列の検出データを画像ファイル化するための処理は不要である。）。
【００３６】
画像データ「Ｇ」は、上記のように右眼用画像データ「Ｒ」と左眼用画像データ「Ｌ」を含んでいるが、画像表示の際には、画像解像度と表示解像度の高低について考慮を要する。例えば、画像データ「Ｇ」に係る画像解像度が表示解像度よりも高い場合には、画像データ「Ｇ」から切り出される範囲が表示解像度に適合するように処理する必要がある。
【００３７】
想定されるケースは以下の通りである。
【００３８】
（Ａ）「Ｇ」の画像解像度が「Ｄ」の表示解像度より高い場合
（Ｂ）「Ｇ」の画像解像度が「Ｄ」の表示解像度以下の場合。
【００３９】
先ず、（Ａ）では、画像データ「Ｇ」の全てを表示画面に表示させることができないので、任意の画像範囲を選択して表示画面のサイズに適合させる必要がある。
【００４０】
そのためには、データ群又は画像ファイルに係る画像解像度と、表示手段３に係る表示解像度とを比較する比較手段を設ける。尚、この比較手段は、上記した制御手段２ｃにおけるプログラム処理として実現することができ、例えば、画像解像度や表示解像度の違いを区別するための識別情報（フラグ等）を取得して比較する方法や、画素数やパターン等から解像度を検出して比較する方法等が挙げられる。
【００４１】
比較手段によって、画像データ「Ｇ」に係る画像解像度の方が表示画面「Ｄ」に係る表示解像度より高いと判断された場合には、画像データ「Ｇ」に対して表示解像度に適合した切り出し範囲、つまり、表示解像度と同じか又は該表示解像度未満の切り出し枠（画像抽出枠）を設定するとともに、図２や図３に示した右眼用画像データ及び左眼用画像データから該切り出し範囲内の画像データをそれぞれに抽出する。この処理は上記第一の処理手段２ａにおいて行われ、抽出された両画像データ（右眼用画像データ及び左眼用画像データ）を合成すれば、立体視表示用データを作成することができる。
【００４２】
また、上記（Ｂ）では、画像データ「Ｇ」から生成される立体視表示用データをそのまま表示画面に表示させることができるが、画像全体ではなく、任意の画像（部分画像）範囲を選択して、部分的に立体表示を行うことができる。
【００４３】
そのためには、上記と同様に、データ群又は画像ファイルに係る画像解像度と、表示手段に係る表示解像度とを比較する比較手段を設け、該比較手段によって、画像データ「Ｇ」の画像解像度が表示画面「Ｄ」の表示解像度以下であることが判断された場合に、画像データ「Ｇ」に対して表示手段３の表示サイズよりも小さな枠サイズの切り出し範囲を設定する。そして、右眼用画像データ「Ｒ」及び左眼用画像データ「Ｌ」から切り出し範囲内の画像データを第二の処理手段２ｂにおいてそれぞれに抽出する。この抽出された両画像データ（右眼用画像データ及び左眼用画像データ）を合成すれば、立体視表示用データを作成することができる。
【００４４】
図４及び図５は、画像データから立体視表示用データを生成する手順について説明するための概略図であり、図４が横方式の場合を示し、図５が縦方式の場合を示している。尚、これらの例において、説明の便宜上、画像データ「Ｇ」の形式は、図２のように、水平ライン方向において右眼用画像データ「Ｒ」及び左眼用画像データ「Ｌ」が配置されているものとする。また、画像解像度と表示解像度との関係については、上記（Ａ）の場合を想定する。
【００４５】
図４に示す例では、下記に手順で処理を行う。
【００４６】
（１）画像の切り出し範囲の決定（図４（ａ）参照）
（２）画像抽出　　　　　　　　（図４（ｂ）参照）
（３）垂直方向における画像分割（図４（ｃ）参照）
（４）画像合成　　　　　　　　（図４（ｄ）参照）
（５）立体表示。
【００４７】
先ず、（１）では画像データ「Ｇ」における右眼用画像データ「Ｒ」及び左眼用画像データ「Ｌ」に対して、切り出し枠ＷＲ、ＷＬをそれぞれに設定することにより切り出し範囲を決定してデータを抽出するための準備をする。
【００４８】
元の画像データに対して切り出し範囲を設定する場合には、下記の事項を決めておく必要がある。
【００４９】
・書き出し位置
・書き出しフィールド（奇数フィールド又は偶数フィールド）
・枠サイズ
・枠移動。
【００５０】
書き出し位置（あるいは切り出し開始位置）は、起点となる画像データの位置を示し、図に点Ｐ、Ｑに示すように右眼用画像データ「Ｒ」と、左眼用画像データ「Ｌ」とで両者の位置を合わせておく必要がある。
【００５１】
また、書き出しフィールドについては、奇数フィールドと偶数フィールドとの違いを区別する必要がある。
【００５２】
枠サイズとは、切り出し枠ＷＲ、ＷＬのサイズであり（両者は同じサイズである。）、矩形枠の場合にこのサイズが決まれば書き出し終了位置（あるいは切り出し終了位置）が決まる。
【００５３】
「枠移動」とは、切り出し枠ＷＲ、ＷＬを定位置とせずに、所望の方向に移動させる場合の画像処理に関するものである。例えば、上記（Ｂ）の場合に枠の移動方向や移動量について管理及び制御を行う際に必要とされる。マウス等のポインティング操作による手動での枠移動や、プレゼンテーション時等でのプログラム処理に従った自動的な枠移動が挙げられる。
【００５４】
尚、以上の事項については、各フラグの設定により管理することができる。
【００５５】
この他のフラグとしては、分離方式（偏光フィルター、色フィルター等）の違いを区別するための識別用フラグ等が挙げられるが、必要なフラグ値については、元画像の撮影時や画像取得時に画像データとともに記録しておくことが望ましい。
【００５６】
また、切り出し枠ＷＲ、ＷＬの位置選定については、ユーザ操作により手動で行う方法や、画像センター等を検出して自動的に枠設定を行う方法が挙げられる。
【００５７】
上記（２）では、切り出し枠ＷＲ、ＷＬを用いて画像データを抽出する。つまり、右眼用画像データ５Ｒと左眼用画像データ５Ｌが得られる。例えば、ＮＨ＝２０４８、ＮＶ＝１５３６の場合に、その４分の１の解像度をもった画像データ５Ｒ、５Ｌが得られる。
【００５８】
上記（３）において、各画像データ５Ｒ、５Ｌを垂直方向において多数の分割画像データ（横ストライプ画像あるいは水平画像ラインのデータ）に分割する。尚、画像データ６Ｒ、６Ｌは分割後のデータをそれぞれ示す。
【００５９】
上記（４）では、右眼用画像データ５Ｒに係る分割画像と、左眼用画像データ５Ｌに係る分割画像を、垂直方向において交互に配置させることで空間的に合成し、立体視表示用の画像データ７を作成する。それから該データに基いて上記（５）では立体表示を行う。尚、画像合成においては、右眼用画像データ５Ｒに係る分割画像と、左眼用画像データ５Ｌに係る分割画像とをそのまま交互に配置したのでは、表示画面の垂直解像度と整合しなくなるので、各画像から必要な画像部分だけを取り出した（あるいは、不要な画像部分を間引いた）上で右眼用、左眼用の分割画像の交互に配置させる（図には、上から順に右眼用、左眼用の分割画像が交互に配置されているが、これに限らず、上から順に左眼用、右眼用の各分割画像を配置しても良い。）。
【００６０】
これにより、垂直解像度が半分に落ちる（ｎｖ／２）が、映像表示にとって重要な水平解像度は落ちない（ｎｈ）。また、縦方式において、一般的な縦ストライプ状のカラー（ＲＧＢ）表示を行う場合に、色分離（隣接画像によるクロストークによる）の問題が起きるが、横方式ではそのような不都合が起きないという利点がある。
【００６１】
本例では、右眼用画像データ５Ｒと左眼用画像データ５Ｌを、表示画面における垂直方向に沿って多数の分割画像（単位画像）にそれぞれ区分した後、右眼用画像データに係る各分割画像と、左眼用画像データに係る各分割画像とを交互に配列させて合成することにより立体視表示用データ７を生成することができる。
【００６２】
図５に示す例では、下記に手順で処理を行う。
【００６３】
（１）画像の切り出し範囲の決定（図５（ａ）参照）
（２）画像抽出　　　　　　　　（図５（ｂ）参照）
（３^＊）水平方向における画像分割（図５（ｃ）参照）
（４^＊）画像合成　　　　　　　　（図５（ｄ）参照）
（５）立体表示。
【００６４】
先ず、（１）、（２）の処理については、図４に関する説明と同じである。つまり、元の画像データに対して切り出し範囲を設定する場合には、その書き出し位置、書き出しフィールド、枠サイズ、枠移動について決定する必要がある。
【００６５】
上記（３^＊）において、各画像データ５Ｒ、５Ｌを水平方向において多数の分割画像（縦ストライプ画像あるいは垂直方向の画像ライン）のデータに分割する。尚、画像データ８Ｒ、８Ｌは分割後のデータを示す。
【００６６】
上記（４^＊）では、右眼用画像データ５Ｒに係る分割画像と、左眼用画像データ５Ｌに係る分割画像を、水平方向において交互に配置させることで空間的に合成し、立体視表示用の画像データ９を作成する。そして、該データに基いて上記（５）で立体表示を行う。尚、画像合成においては、右眼用画像データ５Ｒに係る分割画像と、左眼用画像データ５Ｌに係る分割画像とをそのまま交互に配置したのでは、表示画面の水平解像度と整合しなくなるので、各画像から必要な画像部分だけを取り出した（あるいは、不要が画像部分を間引いた）上で右眼用、左眼用の各分割画像の交互に配置させる（図には、左から右にかけて右眼用、左眼用の各分割画像が交互に配置されているが、これに限らず、左端から順に左眼用、右眼用の各分割画像を配置しても良い。）。
【００６７】
これにより、水平解像度が半分に落ちる（ｎｈ／２）が、垂直解像度は落ちない（ｎｖ）。
【００６８】
本例では、右眼用画像データ５Ｒと左眼用画像データ５Ｌを、表示画面における水平方向において多数の分割画像にそれぞれ区分した後、右眼用画像データに係る各分割画像と、左眼用画像データに係る各分割画像とを交互に配列させて合成することにより立体視表示用データ９を生成することができる。
【００６９】
尚、立体画像表示方式（あるいは３次元映像表示方式）には、この他、時分割方式が挙げられるが、該方式を採用する場合において、立体視表示用データを生成するための処理は比較的簡単である。
【００７０】
つまり、図４や図５において、上記（１）、（２）の工程を経て、右眼用画像データ５Ｒと左眼用画像データ５Ｌが得られるので、時分割方式では両画像データを時間的に交互に配置すれば良い。つまり、右眼用画像データ５Ｒ、左眼用画像データ５Ｌのうち、その一方の画像データの次に他方の画像データが来るように時間的な分割を行う。尚、右眼用画像データ５Ｒ、左眼用画像データ５Ｌの順に表示出力を行う方式（Ｒ、Ｌ、Ｒ、Ｌ、…）と、左眼用画像データ５Ｌ、右眼用画像データ５Ｒの順に表示出力を行う方式（Ｌ、Ｒ、Ｌ、Ｒ、…）がある。
【００７１】
以上のように、立体画像の表示方式に関しては、空間的な分割方式（横方式、縦方式）や、時分割方式が存在するため、各方式をフラグ等の識別情報や、画像パターンの検出によって区別する必要がある。例えば、横方式（又は縦方式）の場合には、垂直方向（又は水平方向）の画像パターンに関して高い周波数成分が含まれることを検出したり、また、時分割方式では、１フィールド飛びの相関性を検出することで方式判別が可能である。
【００７２】
各方式の識別結果又は判別結果に応じて立体視表示用データを生成する場合には、例えば、横方式又は縦方式の場合に、右眼用画像データと左眼用画像データを、表示手段の表示画面における垂直方向又は水平方向に沿って多数の分割画像にそれぞれ区分した後、右眼用画像データに係る各分割画像と、左眼用画像データに係る各分割画像とを交互に配列させて合成すれば良い。また、時分割方式の場合には、右眼用画像データと左眼用画像データと時間軸に沿って交互に配置することにより、時系列データとして立体視表示用データを生成すれば良い。
【００７３】
立体視表示用データは表示手段３に送られてその表示画面に表示されることになるが、立体画像表示の際には、画像周辺域の処理（エッジ処理や境界処理）について配慮を要する。
【００７４】
図６及び図７は、窓枠（飾り窓、額縁等）を設けて、その枠内に立体画像を表示させる例を示したものである。
【００７５】
図６は、表示画面１０の周縁部分に額縁等の窓枠１１を画像合成により付加し、該窓枠１１内に立体映像１２が表示されるようにした形態を示している。
【００７６】
また、図７は、表示画面１０における任意の位置に、額縁等の窓枠１３を表示させ（画像合成による付加）、該窓枠１３内に立体映像１４（部分映像）が表示されるようにした形態を示している。
【００７７】
このような窓枠１１、１３を画面周縁域や画枠境界域に付設する理由については、画像エッジ部や境界部分では、一方の眼だけにしか見えない画像部分がデータとして含まれるので、当該部分は立体視表示上、整合性が保証されない虞があるからである。よって、このような整合性の得られない部分については、無理に表示させずに窓枠で隠蔽するのが良い。その際、窓枠も立体表示できるように、右眼用画像データ及び左眼用画像データを用いて窓枠用データを構成すれば、画像周辺域や画枠境界域を、見た目上の違和感なく表示させることができる。また、複数種の窓枠を予め用意しておき、立体映像に応じてユーザが好みの窓枠を選択できるようにすると、意匠的な効果が得られる。
【００７８】
尚、図６の形態は、立体映像を表示画面全体に表示させたい場合に用いられる。例えば、元画像データに係る解像度と表示解像度との関係において、上記（Ａ）のように、元画像データの解像度が表示解像度よりも高い場合には、切り出し枠のサイズを表示画像サイズに合わせて設定し、切り出し範囲から抽出された画像の周辺域のデータに代わって窓枠用データを用いて合成して表示させれば、窓枠内に立体映像を表示することができる。
【００７９】
また、図７の形態は、立体映像を部分的に画面表示させたい場合に用いられる。例えば、上記（Ｂ）のように、元画像データの解像度が表示画像の解像度以下とされる場合には、元画像データから、表示画像サイズ未満の切り出し枠を設定して、元画像の一部分だけを抽出し、当該部分とその周囲部分との境界部分には、額縁等の窓枠の画像を合成して立体表示させることができる（窓枠も立体表示するとさらに効果的である。）。
【００８０】
尚、ユーザの利便性や視覚的な効果等を考慮した場合に、立体映像に係るスクロール表示や、上記した枠移動の操作を行えるようにすることが好ましい。例えば、マウス等のポインティングデバイスを使って立体映像の窓枠を所望の方向に動かすことにより、あたかも観察者が移動しながら視線を変えているかの如き立体表示の効果を得ることができる（観察者の視線を移動させる必要がない。）。但し、枠移動時は、枠内における右眼用画像データ及び左眼用画像データの配置に注意する必要がある。例えば、横方式の場合には、枠位置が垂直方向に１単位画像分ずれたときに該枠内における右眼用及び左眼用の画像データの配置が逆転し、また、縦方式の場合には、枠位置が水平方向に１単位画像分ずれたときに該枠内における右眼用及び左眼用の画像データの配置が逆転してしまうので、このような不都合が生じないように、枠の書き出し位置が右眼用又は左眼用のうち常に一方の画像データから始まるようにフラグを立てて管理する必要がある。
【００８１】
図８及び図９は、上記処理プログラムに従って行われる画像処理例を示したフローチャート図である。
【００８２】
先ず、図８のステップＳ１では、画像データ（元画像データ「Ｇ」）が入力された後、次ステップＳ２では、解像度判定が行われる。即ち、入力された画像データに係る画像解像度と表示画面に係る表示解像度とを比較し、画像解像度が表示解像度よりも高い場合にはステップＳ３に進むが、画像解像度が表示解像度以下の場合にはステップＳ４に進む。
【００８３】
ステップＳ３では、切り出し枠を設定するとともに、切り出し範囲内の右眼用画像データと左眼用画像データをそれぞれ抽出する（図４、図５参照）。そして、ステップＳ５に進む。尚、切り出し枠の設定については任意に行うことができ、必要に応じて画像データを抽出することができる。
【００８４】
また、ステップＳ４では、表示画面の表示サイズよりも小さな枠サイズの切り出し枠を設定するとともに、切り出し範囲内の右眼用画像データ及び左眼用画像データをそれぞれ抽出する。そして、ステップＳ５に進む。
【００８５】
ステップＳ５では、図６、図７で説明したように、立体映像に窓枠（額縁等）を付加する処理を行ってから、図９のステップＳ６に進む。
【００８６】
ステップＳ６では、立体表示方式の判別を行い、判別結果に応じて３つに分岐する。即ち、横方式の場合にはステップＳ７に進み、縦方式の場合にはステップＳ８に進み、時分割方式の場合にはステップＳ９に進む。尚、方式判別の処理自体はステップＳ１の画像データの入力時に行っても良い。また、方式判別については、フラグ等の識別情報から判断する方法や、処理プログラムのインストール時において、立体画像表示方式を選択し又は設定する方法等が挙げられる。
【００８７】
ステップＳ７では、右眼用画像データ及び左眼用画像データのそれぞれについて、垂直方向における画像分割を行う。これにより各画像データが多数の分割画像（水平方向の画像ライン）のデータに区分される。そして、ステップＳ１０に進む。
【００８８】
また、ステップＳ８では、右眼用画像データ及び左眼用画像データのそれぞれについて、水平方向における画像分割を行う。これにより各画像データが多数の分割画像（垂直方向の画像ライン）のデータに区分される。そして、ステップＳ１０に進む。
【００８９】
ステップＳ９では、右眼用画像データと左眼用画像データとの時間的な配置（順序）を規定して（フラグ設定等による）、ステップＳ１０に進む。
【００９０】
ステップＳ１０における合成処理については、横方式や縦方式の場合、前記した各分割画像データの半分ずつを、垂直方向又は水平方向に沿って交互に配置させることで空間的な合成を行う。
【００９１】
また、時分割方式の場合には、前記ステップＳ９において、右眼用画像データと左眼用画像データのうち、どちらを先にするかが決定されているので、これに従って、右眼用画像データと左眼用画像データを時系列に沿って順番に出力する。
【００９２】
本ステップにて生成された立体表示用データが表示手段３に送出され、次ステップＳ１１での表示処理によって立体表示が行われる。つまり、表示結果に関して映像分離された右眼用映像と、左眼用映像が観察者の各眼に映し出されて立体視が実現される。
【００９３】
尚、解像度変換やアスペクト比の変換、画像拡大や縮小等の如何は問わないので、それらについてはステップＳ７乃至Ｓ９等において必要に応じて処理を行えば良い。
【００９４】
また、立体画像表示方式の相違（縦方式、横方式、時分割方式）に関して、柔軟に対応することが可能である（縦方式や横方式では空間的な画像合成を行い、また、時分割方式では時間的な画像合成を行う。）。
【００９５】
尚、図８や図９に示す処理例はあくまで一例に過ぎないので、例えば、先に表示方式に従って画像合成を行った後に、表示解像度の判定結果に基いて表示画像として必要なデータを抽出して窓枠を設定するといった、各種形態での実施が可能である。
【００９６】
【発明の効果】
以上に記載したところから明らかなように、請求項１や請求項５、請求項９に係る発明によれば、画像データに係る一つのデータ群又は画像ファイルから右眼用画像データ及び左眼用画像データを得て両データを合成することにより、立体視表示用データを効率良く生成することができ、迅速な画像処理が可能である。また、右眼用画像データ及び左眼用画像データから各種立体画像表示方式のデータを容易に生成することができるので、利便性を高めることができる。
【００９７】
請求項２や請求項６、請求項１０に係る発明によれば、元になる画像データから解像度を落とさずに右眼用画像データ及び左眼用画像データを抽出することができる。
【００９８】
請求項３や請求項７、請求項１１に係る発明によれば、表示画面サイズよりも小さな枠サイズの切り出し範囲を設定して右眼用画像データ及び左眼用画像データを抽出することにより、立体映像を部分的に表示させることができる。
【００９９】
請求項４や請求項８、請求項１２に係る発明によれば、右眼用画像データと左眼用画像データを抽出して、垂直又は水平方向における画像分割後に空間的な画像合成を行えるので、縦方式や横方式に係る画像処理への対応が容易である。
【図面の簡単な説明】
【図１】本発明に係る立体画像表示装置の基本構成例を示す説明図である。
【図２】画像データの構成例と表示画像について説明するための図である。
【図３】画像データの別例と表示画像について説明するための図である。
【図４】横方式に係る画像処理例を示す図である。
【図５】縦方式に係る画像処理例を示す図である。
【図６】図７とともに窓枠処理について説明するための図であり、本図は表示画面の周辺域に窓枠を設けた様子を示す概略図である。
【図７】表示画面上の任意の位置に窓枠を設けた様子を示す概略図である。
【図８】図９とともにプログラム処理による画像処理例の要部を示すフローチャート図であり、本図は処理の前半部分を示す図である。
【図９】処理の後半部分を示す図である。
【符号の説明】
１…立体画像表示装置、２ａ…第一の処理手段、２ｂ…第二の処理手段、３…表示手段、４…映像分離手段

Claims (12)

1. 動画又は静止画に係る画像データから立体視表示用データを生成して表示手段により表示する立体画像表示装置において、
   上記画像データに係る一のデータ群又は画像ファイルが、右眼用データと左眼用データを有しており、
   上記データ群又は画像ファイルから右眼用画像データと左眼用画像データを分離し又は抽出する第一の処理手段と、
   上記第一の処理手段によって得られる右眼用画像データと左眼用画像データを合成して上記立体視表示用データを生成して上記表示手段に送出する第二の処理手段と、
   上記立体視表示用データに基いて上記表示手段によって表示される映像を、右眼用映像と左眼用映像に分離するための映像分離手段を備えている
   ことを特徴とする立体画像表示装置。
2. 請求項１に記載した立体画像表示装置において、
   上記データ群又は画像ファイルに係る画像解像度と、上記表示手段に係る表示解像度とを比較する比較手段を有し、
   上記比較手段によって、上記画像解像度が上記表示解像度より高いと判断された場合には、上記データ群又は画像ファイルの画像データに対して上記表示解像度に応じた切り出し範囲を設定するとともに、上記右眼用画像データ及び左眼用画像データから該切り出し範囲内の画像データを上記第一の処理手段によってそれぞれに抽出してから両画像データを合成するようにした
   ことを特徴とする立体画像表示装置。
3. 請求項１に記載した立体画像表示装置において、
   上記データ群又は画像ファイルに係る画像解像度と、上記表示手段に係る表示解像度とを比較する比較手段を有し、
   上記比較手段によって、上記画像解像度が上記表示解像度以下であることが判断された場合に、上記データ群又は画像ファイルの画像データに対して上記表示手段の表示サイズよりも小さな枠サイズの切り出し範囲を設定するとともに、上記右眼用画像データ及び左眼用画像データから該切り出し範囲内の画像データを上記第一の処理手段によってそれぞれに抽出してから両画像データを合成するようにした
   ことを特徴とする立体画像表示装置。
4. 請求項１に記載した立体画像表示装置において、
   上記第二の処理手段が、立体画像表示方式の識別結果又は判別結果に応じて、上記右眼用画像データと左眼用画像データを、上記表示手段の表示画面における垂直方向又は水平方向のいずれかの方向に沿って分割された多数の分割画像データにそれぞれ区分した後、上記右眼用画像データに係る各分割画像データ及び上記左眼用画像データに係る各分割画像データを垂直方向又は水平方向に沿って交互に配列させて合成することにより上記立体視表示用データを生成する
   ことを特徴とする立体画像表示装置。
5. 動画又は静止画に係る画像データをもとに立体視表示用データを生成して表示する表示処理方法において、
   上記画像データに係る一のデータ群又は画像ファイルが、右眼用データ及び左眼用データを有しており、
   上記データ群又は画像ファイルから右眼用画像データと左眼用画像データを分離し又は抽出する工程と、
   上記右眼用画像データと上記左眼用画像データを合成して上記立体視表示用データを生成して表示させる工程を備えている
   ことを特徴とする表示処理方法。
6. 請求項５に記載した表示処理方法において、
   上記データ群又は画像ファイルに係る画像解像度と、画像表示に係る表示解像度とを比較し、
   上記画像解像度の方が上記表示解像度より高いと判断された場合には、上記データ群又は画像ファイルの画像データに対して上記表示解像度に応じた切り出し範囲を設定した後、上記右眼用画像データ及び左眼用画像データから該切り出し範囲内の画像データをそれぞれに抽出してから両画像データを合成するようにした
   ことを特徴とする表示処理方法。
7. 請求項５に記載した表示処理方法において、
   上記データ群又は画像ファイルに係る画像解像度と、画像表示に係る表示解像度とを比較し、
   上記画像解像度が上記表示解像度以下であることが判断された場合には、上記データ群又は画像ファイルの画像データに対して上記表示画面の表示サイズよりも小さな枠サイズの切り出し範囲を設定した後、上記右眼用画像データ及び左眼用画像データから該切り出し範囲内の画像データをそれぞれに抽出してから両画像データを合成するようにした
   ことを特徴とする表示処理方法。
8. 請求項５に記載した表示処理方法において、
   立体画像表示方式に応じて、上記右眼用画像データ及び左眼用画像データを、表示手段の表示画面の垂直方向又は水平方向に沿う多数の分割画像データとしてそれぞれ区分した後、上記右眼用画像データに係る各分割画像データ及び上記左眼用画像データに係る各分割画像データを垂直方向又は水平方向に沿って交互に配列させて合成することにより上記立体視表示用データを生成する
   ことを特徴とする表示処理方法。
9. 動画又は静止画に係る画像データから立体視表示用データを生成して表示する立体画像表示装置に用いる処理プログラムにおいて、
   処理対象とされる上記画像データを含む、一のデータ群又は画像ファイルが、右眼用データ及び左眼用データを有しており、
   上記データ群又は画像ファイルから右眼用画像データと左眼用画像データを分離し又は抽出する処理と、該処理により得られた両画像データを合成して上記立体視表示用データの生成及び表示処理を行う
   ことを特徴とする立体画像表示装置に用いる処理プログラム。
10. 請求項９に記載した立体画像表示装置に用いる処理プログラムにおいて、
    上記データ群又は画像ファイルに係る画像解像度と、画像表示に係る表示解像度とを比較するとともに、
    上記画像解像度の方が上記表示解像度より高いと判断された場合には、上記データ群又は画像ファイルの画像データに対して上記表示解像度に応じた切り出し範囲を設定して、上記右眼用画像データ及び左眼用画像データから該切り出し範囲内の画像データをそれぞれに抽出してから両画像データを合成する処理を行う
    ことを特徴とする立体画像表示装置に用いる処理プログラム。
11. 請求項９に記載した立体画像表示装置に用いる処理プログラムにおいて、
    上記データ群又は画像ファイルに係る画像解像度と、画像表示に係る表示解像度とを比較するとともに、
    上記画像解像度が上記表示解像度以下であることが判断された場合には、上記データ群又は画像ファイルの画像データに対して上記表示画面の表示サイズよりも小さな枠サイズの切り出し範囲を設定して、上記右眼用画像データ及び左眼用画像データから該切り出し範囲内の画像データをそれぞれに抽出してから両画像データを合成する処理を行う
    ことを特徴とする立体画像表示装置に用いる処理プログラム。
12. 請求項９に記載した立体画像表示装置に用いる処理プログラムにおいて、
    立体画像表示方式に応じて、上記右眼用画像データと左眼用画像データを、表示画面における垂直方向又は水平方向に沿う多数の分割画像データにそれぞれ区分した後、上記右眼用画像データに係る各分割画像データ及び上記左眼用画像データに係る各分割画像データを垂直方向又は水平方向に沿って交互に配列させて合成することにより上記立体視表示用データを生成する
    ことを特徴とする立体画像表示装置に用いる処理プログラム。

Images