JP2010278744A - 立体映像表示装置および立体映像表示方法 - Google Patents

Abstract

【課題】 立体視を考慮していない情報映像データが立体映像データに重畳されている場合であっても、立体表示データにおける情報映像データの連続性を高めることで、眼にかかる負担を軽減し、より自然な立体映像表示を実現する。
【解決手段】立体映像データ１３４、１４０を取得する映像取得部１５０と、立体映像データから立体表示データ１４２を生成するラインシーケンシャル部１５４と、立体表示データにおける隣接するライン同士を比較して、情報映像データが重畳されているか否かを判定し、情報映像データが重畳されている区間を特定する制御信号１８２を生成する制御信号生成部１５６と、制御信号に基づいて、情報映像データが重畳されている区間の立体表示データを加工するデータ加工部１５８と、加工された立体表示データを出力する映像出力部１６０と、を備える。
【選択図】 図１

Description

本発明は、両眼視差による立体映像をディスプレイに表示することが可能な立体映像表示装置および立体映像表示方法に関する。

近年、ディスプレイ上に視差のある２以上の映像を提示し、観察者に対してあたかもオブジェクトが立体的に存在するように知覚させる立体映像表示装置が脚光を浴びている。このような映像表示を実現するための立体映像データには様々なフォーマットが存在し、また、最終的な表示に至ってもディスプレイに応じて様々な表示形式が存在する。立体映像表示装置は、そのような立体映像データのフォーマットをディスプレイに合わせた表示形式（立体表示データ）に変換する役割を担う。

立体映像表示装置に入力される立体映像データの一例として、有効映像の左半分に左眼映像、右半分に右眼映像を有するサイドバイサイド方式が利用されている。かかるサイドバイサイド方式では、右眼映像と左眼映像とが、１対のカメラによって個別に撮像され、もしくは、両眼視差が生じるように調整され、それぞれ異なる映像として分割形成されている。また、ディスプレイの一例として、隔行で（１ライン毎に）偏光特性の異なる偏光フィルタが設けられているものもある。

立体映像表示装置は、このようなサイドバイサイド方式における左眼映像および右眼映像の各水平ラインを交互に並置（以下、単にラインシーケンシャル処理と呼ぶ。）して隔行で偏光特性が異なるディスプレイに表示するための立体表示データを生成する。観察者は、偏光眼鏡を通じて、隔行のラインに示された左眼映像を左眼で、右眼映像を右眼で視認し、両眼視差による立体映像を認識することが可能となる。

一方、立体映像表示装置は、入力された立体映像データに関する情報映像データ、例えば、それがテレビジョン放送であればその放送チャンネルを示すＯＳＤ（On Screen Display）等を表示することができる。例えば、特許文献１では、立体映像を表示可能なディスプレイの任意の位置にＯＳＤを重畳する技術が記載されている。

特開平９−２３４５０号公報

しかし、立体映像表示装置に立体映像データが入力された時点で、図１６（ａ）のように、立体表示が考慮されていないＯＳＤ等の情報映像データが立体映像データの右眼映像または左眼映像のいずれか一方にのみ予め重畳されている場合、その後のラインシーケンシャル処理によって、図１６（ｂ）に示すように、意図していない不連続な映像１２が表示されてしまう。かかる不連続な映像１２は、偏光眼鏡を通じても像を結ぶことなく、表示内容が理解できないばかりか、その映像が無用に発光して眼に負担を強いることとなる。

本発明は、このような課題に鑑み、立体視を考慮していない情報映像データが立体映像データに重畳されている場合であっても、立体表示データにおける情報映像データの連続性を高めることで、眼にかかる負担を軽減し、より自然な立体映像表示を実現することが可能な、立体映像表示装置および立体映像表示方法を提供することを目的としている。

上記課題を解決するために、本発明の立体映像表示装置は、両眼視差による立体視を実現するための左眼映像および右眼映像が分割形成された立体映像データを取得する映像取得部と、立体映像データにおける左眼映像および右眼映像の水平ラインを交互に並置して、ディスプレイに表示するための立体表示データを生成するラインシーケンシャル部と、立体表示データにおける隣接するライン同士を比較して、立体映像データまたはディスプレイに表示する立体表示データの操作表示に関する情報を示す情報映像データが重畳されているか否かを判定し、情報映像データが重畳されている区間を特定する制御信号を生成する制御信号生成部と、制御信号に基づいて、情報映像データが重畳されている区間の立体表示データを加工するデータ加工部と、加工された立体表示データを出力する映像出力部と、を備えることを特徴とする。

情報映像データが立体映像データの右眼映像または左眼映像のいずれか一方にのみ重畳されている場合、交互に並置された左眼映像と右眼映像の水平ライン間に差分が生じる。本発明では、隣接するライン間で差分が生じている場合、そこには情報映像データが重畳されているとみなして制御信号を生成し、制御信号が情報映像データの重畳を示している区間、立体表示データを加工して情報映像データの連続性を高める。かかる構成により、立体視を考慮していない情報映像データをディスプレイの表面で結像でき、眼にかかる負担を軽減し、立体映像データのより自然な立体映像表示を実現することが可能となる。

制御信号生成部は、立体表示データにおける隣接するライン同士の評価値の差分に水平方向の低域通過フィルタリングを施して平滑化された差分値を算出し、平滑化された差分値が所定の閾値を超えるか否かに基づいて情報映像データが重畳されているか否かを判定してもよい。

上述したように、情報映像データが重畳されている区間は、立体表示データの隣接するライン間の差分によって導出される。しかし、立体表示データは、水平視差も含むためオブジェクトの輪郭部分で差分が生じ得る。ここでは、導出された差分に対し水平方向の低域通過フィルタリングを施して水平視差による差分を除外することで、情報映像データによる差分のみを確実に抽出することが可能となる。

データ加工部は、情報映像データが重畳されている区間における第１のラインの映像と、第１のラインに隣接する１または複数の第２のラインの映像とを合成して新たに第１のラインの映像を生成してもよい。

情報映像データは単色や数色で表されることが多いので、情報映像データが重畳されている区間の立体表示データは、左右眼映像の差分から縞模様となる。ここでは、対象となっている第１のラインの映像と、第１のラインに隣接する第２のラインの映像を合成することで隣接するライン同士の差分を平滑化することができ、立体表示データにおける情報映像データの連続性を高めることが可能となる。

データ加工部は、情報映像データが重畳されている区間における第１のラインの映像を、第１のラインに隣接する第２のラインの映像で置換してもよい。

情報映像データが重畳されている区間の立体表示データは、上述したように左右眼映像の差分から縞模様となる。ここでは、第１のラインの映像を、第１のラインに隣接する第２のラインの映像で置換することで両ラインの映像を共通化することができ、立体表示データにおける情報映像データの連続性を高めることが可能となる。

データ加工部は、奇数番号のラインまたは偶数番号のラインのいずれかのみを第１のラインとする。上述したライン間の映像の合成と異なり、ライン間の映像の置換をすべてのラインで遂行すると、遂行後の映像が元の映像を単に１ラインシフトしただけになってしまう。ここでは、奇数番号のラインまたは偶数番号のラインのいずれか一方のみを第１のラインとして１ライン置きに置換処理を行うことで、奇数番号のラインまたは偶数番号のラインのいずれかの映像を他方のラインの映像と共通化することができる。

本発明の立体映像表示方法の代表的な構成は、両眼視差による立体視を実現するための左眼映像および右眼映像が分割形成された立体映像データを取得し、立体映像データにおける左眼映像および右眼映像の水平ラインを交互に並置して、ディスプレイに表示するための立体表示データを生成し、立体表示データにおける隣接するライン同士を比較して、立体映像データまたはディスプレイに表示する立体表示データの操作表示に関する情報を示す情報映像データが重畳されているか否かを判定し、情報映像データが重畳されている区間を特定する制御信号を生成し、制御信号に基づいて、情報映像データが重畳されている区間の立体表示データを加工し、加工された立体表示データを出力することを特徴とする。

上述した立体映像表示装置における技術的思想に対応する構成要素やその説明は、当該立体映像表示方法にも適用可能である。

本発明の立体映像表示装置は、立体視を考慮していない情報映像データが立体映像データに重畳されている場合であっても、立体表示データにおける情報映像データの連続性を高めることで、眼にかかる負担を軽減し、より自然な立体映像表示を実現することが可能となる。

立体映像表示装置の概略的な機能を示した機能ブロック図である。 ディスプレイの表示構成を説明するための説明図である。 立体映像データのフォーマットを説明するための説明図である。 ラインシーケンシャル部の動作を説明するための説明図である。 ラインシーケンシャル部の動作を説明するための説明図である。 予め情報映像データが重畳されている場合のラインシーケンシャル処理結果を説明した説明図である。 制御信号生成部の具体的な機能を示した機能ブロック図である。 制御信号生成部の動作を説明するための説明図である。 制御信号生成部の動作を説明するための説明図である。 データ加工部の具体的な機能を示した機能ブロック図である。 切換スイッチによって加工された立体表示データを示した説明図である。 データ加工部の他の接続例を示した機能ブロック図である。 データ加工部の他の例を示した機能ブロック図である。 切換スイッチによって加工された立体表示データを示した説明図である。 立体映像表示方法の全体的な流れを示したフローチャートである。 従来における情報映像データの重畳処理を説明するための説明図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

（立体映像表示装置１００）
図１は、立体映像表示装置１００の概略的な機能を示した機能ブロック図である。図１に示すように、立体映像表示装置１００は、ディスプレイ１１０に接続され、映像取得部１５０と、映像処理部１５２と、ラインシーケンシャル部１５４と、制御信号生成部１５６と、データ加工部１５８と、映像出力部１６０と、を含んで構成される。ここではディスプレイ１１０と立体映像表示装置１００とを別体に構成する場合を説明するが、一体的に構成することもできる。以下、立体映像表示装置１００に先だって、立体表示を可能とするディスプレイ１１０を説明する。

図２は、ディスプレイ１１０の表示構成を説明するための説明図である。ディスプレイ１１０の表示面１１２には、隔行で（１ライン毎に）偏光特性の異なる偏光フィルタが設けられているので、奇数番号のライン１１４と偶数番号のライン１１６とで偏光特性が異なっている。ディスプレイ１１０を観察する観察者は、左右で偏光特性が異なる偏光眼鏡１１８を通じて、例えば奇数番号のライン１１４に表示された立体表示データ（左眼立体表示データ１２０）を左眼で、偶数番号のライン１１６に表示された立体表示データ（右眼立体表示データ１２２）を右眼で視認し、両眼視差による立体映像によって、表示面１１２と異なる結像位置１２４でオブジェクトを知覚することが可能となる。

ディスプレイ１１０の表示面１１２に表示される立体表示データは、図２に示した通り、左眼映像に対応する左眼立体表示データ１２０と右眼映像に対応する右眼立体表示データ１２２がライン単位で交互に表示される。立体表示データに含まれるオブジェクトは、交差視（交差法）および平行視（平行法）のいずれの立体表示も可能であり、左眼立体表示データ１２０に含まれるオブジェクトと右眼立体表示データ１２２に含まれるオブジェクトとの水平方向の位置を相対的に左右にシフトすることで表示面１１２より奥側または手前側のいずれの位置にもオブジェクトを結像することができる。このとき水平方向のシフト量を０とすると、オブジェクトはディスプレイ１１０の表示面１１２上に結像される。

図２や以下の説明に用いられる図では、理解を容易にするため水平方向のライン数を１２として説明しているが、ライン数はディスプレイ１１０の構造や立体映像データの走査線数等に応じて任意に設定することができる。

立体映像表示装置１００の映像取得部１５０は、両眼視差による立体視を実現するための左眼映像および右眼映像が分割形成された立体映像データを、外部の放送局１２６や通信網（インターネットやＬＡＮ）１２８から取得する。また、ＤＶＤやＢｌｕ−ｒａｙディスクといった記録媒体から内部的に立体映像データを取得することもできる。

図３は、立体映像データのフォーマットを説明するための説明図である。映像取得部１５０が取得可能な立体映像データには複数のフォーマットが存在し、個々のフォーマットにおいてさらに画素数等のパラメータが異なる場合もある。ここでは、その代表的な例として、図３（ａ）に示すように、有効映像の左半分に左眼に視認させるための左眼映像（左眼立体映像データ）１３０、右半分に右眼に視認させるための右眼映像（右眼立体映像データ）１３２を有するサイドバイサイド方式に従った立体映像データ１３４や、図３（ｂ）に示すように、有効映像の上半分に左眼に視認させるための左眼映像１３６、下半分に右眼に視認させるための右眼映像１３８を有するトップアンドボトム方式（アバブアンドビロー方式）に従った立体映像データ１４０を用いることとする。なお、有効映像とは映像全体から非表示領域（ブランク期間）を除いた映像のことである。また、サイドバイサイド方式の場合、右眼に視認させるための右眼立体映像データ１３４を有効映像の左半分に、左眼に視認させるための左眼立体映像データ１３２を有効映像の右半分に配置する立体映像データ１３４を用いてもよい。さらに、トップアンドボトム方式の場合、右眼に視認させるための右眼立体映像データ１３８を有効映像の上半分に、左眼に視認させるための左眼立体映像データ１３６を有効映像の下半分に配置する立体映像データ１４０を用いてもよい。

このような立体映像データ１３４、１４０では、左眼映像１３０、１３６と右眼映像１３２、１３８とが、１対のカメラによって個別に撮像され、もしくは、両眼視差が生じるように調整されている。ただし、本実施形態のサイドバイサイド方式による立体映像データ１３４の左眼映像１３０および右眼映像１３２は、それぞれ、最終的に表示される立体表示データと垂直解像度は等しいが、水平解像度は１／２に縮小されている。従って全画面の有効映像の画素数が１９２０×１０８０の場合、左眼映像１３０および右眼映像１３２の画素数は９６０×１０８０となる。

映像処理部１５２は、映像取得部１５０を通じて取得されたサイドバイサイド方式やトップアンドボトム方式の立体映像データ１３４、１４０に対して、ＲＧＢ処理（γ補正や色補正）、エンハンス処理、ノイズ低減処理などの映像信号処理を行う。所定の映像信号処理が行なわれた立体映像データ１３４、１４０は、不図示のメモリにて保持される。

ラインシーケンシャル部１５４は、所定の映像信号処理が行なわれた立体映像データ１３４、１４０を保持するメモリのリードライトアドレスを制御することによって立体映像データ１３４、１４０における左眼映像および右眼映像の水平ラインを交互に並置して、ディスプレイ１１０に表示するための立体表示データを生成する。

図４および図５は、ラインシーケンシャル部１５４の動作を説明するための説明図であり、特に図４はサイドバイサイド方式の立体映像データ１３４から、図５はトップアンドボトム方式の立体映像データ１４０から立体表示データ１４２を生成している。図４（ａ）に示すように、映像取得部１５０がサイドバイサイド方式の立体映像データ１３４を取得した場合、ラインシーケンシャル部１５４は、左眼映像１３０の奇数番号のラインの映像Ｌ１、Ｌ３、Ｌ５、Ｌ７、Ｌ９、Ｌ１１と、右眼映像１３２の偶数番号のラインの映像Ｒ２、Ｒ４、Ｒ６、Ｒ８、Ｒ１０、Ｒ１２をそれぞれ抽出し、各眼映像のラインの左端を揃えて交互に並べ直す。

詳細には、図４（ａ）における左眼映像１３０の１ライン目の映像Ｌ１が図４（ｂ）における立体表示データ１４２の１ライン目の映像Ｌ１’に、図４（ａ）における右眼映像１３２の２ライン目の映像Ｒ２が図４（ｂ）における立体表示データ１４２の２ライン目の映像Ｒ２’に変換される。従って、左眼映像１３０の偶数番号のラインの映像Ｌ２、Ｌ４、Ｌ６、Ｌ８、Ｌ１０、Ｌ１２、および右眼映像１３２の奇数番号のラインの映像Ｒ１、Ｒ３、Ｒ５、Ｒ７、Ｒ９、Ｒ１１は利用されないこととなる。ここでは左眼映像１３０から奇数番号のライン、右眼映像１３２から偶数番号のラインを抽出したが、当然、左眼映像１３０から偶数番号のライン、右眼映像１３２から奇数番号のラインを抽出してもよい。

ただし、立体映像データ１３４の各眼映像の水平解像度は、立体表示データ１４２の１／２となっているため、立体映像データ１３４から立体表示データ１４２を生成する際、その水平解像度を２倍に拡大しなければならない。かかる水平解像度拡大に伴う新たな画素の生成は、線形補間やその他のフィルタリングを用いることが可能である。かかる水平解像度の倍率は、立体映像データ１３４のフォーマット、あるいは立体映像データ１３４の各眼映像と立体表示データ１４２との水平方向の画素数の比率に応じて適宜調整される。

また、図５（ａ）に示すように、映像取得部１５０がトップアンドボトム方式の立体映像データ１４０を取得した場合、ラインシーケンシャル部１５４は、左眼映像１３６の全ラインの映像Ｌ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５、Ｌ６と、右眼映像１３８の全ラインの映像Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６を、それぞれラインの左端を揃えて交互に並べ直す。従って、図５（ａ）における左眼映像１３６の１ライン目の映像Ｌ１が図５（ｂ）における立体表示データ１４２の１ライン目の映像Ｌ１に、図５（ａ）における右眼映像１３２の１ライン目の映像Ｒ１が図５（ｂ）における立体表示データ１４２の２ライン目の映像Ｒ１に、拡大処理や縮小処理を実行することなく移される。このようにトップアンドボトム方式では利用されないラインや水平解像度の拡大が無いので、情報の欠落を抑えることができる。

図４、図５を用いて説明したように、適切に左眼映像と右眼映像が形成された立体映像データ１３４、１４０にラインシーケンシャル処理を施すと、その映像中のオブジェクトを正しく結像させ立体映像を表示することが可能な立体表示データが生成される。しかし、立体映像データ１３４、１４０に立体表示が考慮されていない情報映像データが無作為に重畳されていると、ラインシーケンシャル処理によってその情報映像データが却って立体表示を阻害する原因となる。ここで、情報映像データは、立体映像データ１３４、１４０に関する情報またはディスプレイ１１０に表示する立体表示データ１４２の操作表示に関する情報を示す操作表示に関する情報を示す。例えば、立体映像データ１３４、１４０に関する情報映像データ１８０として、立体映像表示装置１００が放送局１２６から受信した、またはインターネット、ＬＡＮ、専用回線等の通信網１２８を介して受信した番組やコンテンツを特定するための、チャンネル、番組タイトル、表示モード等を示す情報を映像化したＯＳＤ等がある。また、情報映像データは、立体映像を記録したメディアをプレーヤーで再生する場合の「再生」・「停止」等の操作表示に関する情報であってもよい。

図６は、予め情報映像データ１８０が重畳されている場合のラインシーケンシャル処理結果を説明した説明図である。立体映像表示装置１００に立体映像データ１３４、１４０が入力された時点で、図６（ａ）のように、立体表示が考慮されていない情報映像データ１８０が立体映像データ１３４、１４０の例えば左眼映像にのみ予め重畳されている場合、その後のラインシーケンシャル処理によって、図６（ｂ）に示すように、意図していない不連続な映像が表示されてしまう。本実施形態では、このように情報映像データが予め立体映像データに重畳されている場合であっても、以下に示す制御信号生成部１５６やデータ加工部１５８によって、立体表示データにおける情報映像データの連続性を高め、眼にかかる負担を軽減し、より自然な立体映像表示を実現する。

制御信号生成部１５６は、立体表示データ１４２における隣接するライン同士を比較して、情報映像データ１８０が重畳されているか否かを判定し、立体表示データ１４２の水平同期信号と垂直同期信号を参照しつつ、制御信号を生成する。ここで制御信号は、水平同期信号の任意の位置から任意の区間を特定できる信号であり、立体表示データ１４２に対して情報映像データ１８０が重畳された位置を表している。

図７は、制御信号生成部１５６の具体的な機能を示した機能ブロック図である。図７に示すように、制御信号生成部１５６は、ラインメモリ２１０と、減算器２１２と、絶対値化部２１４と、水平ＬＰＦ（Low Pass Filter）２１６と、制御信号出力部２１８とを含んで構成される。

ラインメモリ２１０は、立体表示データ１４２をライン（水平ライン）単位で一時的に保持し、入力されたデータを１ライン分遅延させる。従って、隣接する１ライン前の立体表示データ１４２を参照することができる。

減算器２１２は、ラインメモリ２１０で保持された１ライン前の立体表示データ１４２と現ラインの立体表示データ１４２との評価値の差分を導出する。ここで評価値は、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）、輝度、色差、彩度から選択される１または複数の評価項目の値である。

図８および図９は、制御信号生成部１５６の動作を説明するための説明図である。例えば情報映像データ１８０が重畳された立体映像データ１３４にラインシーケンシャル処理を施して、図６（ｂ）のような立体表示データ１４２が生成された場合において、制御信号生成部１５６に２ライン目の映像Ｒ２’が入力されると、減算器２１２では、１ライン目の映像Ｌ１’から２ライン目の映像Ｒ２’が減算され図８（ａ）に示した減算結果を得る。減算結果が０とならない部分は、左眼映像と右眼映像とが相異する部分であり、本実施形態では、その部分に情報映像データ１８０が重畳されていると判断することができる。

絶対値化部２１４は、減算器２１２の差分を絶対値化する。本実施形態では、映像における評価値の差分のスカラ量が必要であり、その差分の符号は問題としていない。ここでは、絶対値化部２１４によって差分を絶対値化することで、そのスカラ量のみを適正に評価することができる。

水平ＬＰＦ２１６は、絶対値化部２１４によって絶対値化された立体表示データ１４２の評価値の差分に対して、水平方向の低域通過フィルタリングを施す。例えば、図８（ａ）に示した減算結果に水平方向の低域通過フィルタリングを施すと、図８（ｂ）のような結果を得る。

上述したように、情報映像データ１８０が重畳されている区間は、立体表示データ１４２の隣接するライン間の差分によって導出される。しかし、立体表示データ１４２は、水平視差も含むためオブジェクトの輪郭部分で差分が生じ得る。しかし、水平視差による差分は、情報映像データの重畳による差分よりその周波数が高い場合が多く、また、差分が生じる区間（幅）も短い。ここでは、導出された差分に対し水平方向の低域通過フィルタリングを施して平滑化した差分値を算出する。平滑化後の差分値に基づいて情報映像データの重畳による差分と水平視差による差分とを区別する。

制御信号出力部２１８は、情報映像データの重畳による差分と水平視差による差分とを分離すべく、水平ＬＰＦ２１６によって平滑化された差分量が所定の閾値を超えるか否かを判定し、所定の閾値を超えた区間は情報映像データが重畳されているとみなして制御信号１８２をオンし、その他の区間をオフする。例えば、図８（ｂ）に示した水平ＬＰＦ２１６の結果を閾値と比較することで、図８（ｃ）のような制御信号１８２を生成することができる。従って、図９（ａ）に示すような立体表示データ１４２全体の制御信号１８２は、立体表示データ１４２の水平同期信号に対して図９（ｂ）の斜線で示された表示ラインの位置を示すこととなる。かかる制御信号１８２は、立体表示データ１４２に重畳された不連続の情報映像データを加工するために利用される。ここでは閾値に満たない水平視差による差分を除外することで、情報映像データ１８０による差分のみを確実に抽出することが可能となる。

上述した制御信号生成部１５６では、減算器２１２や水平ＬＰＦ２１６等を用いて、立体表示データ１４２の情報映像データ１８０が重畳されている区間を特定し、制御信号１８２を生成しているが、情報映像データ１８０の重畳区間を特定さえできれば他の様々な構成を適用できる。また、立体映像データ１３４、１４０に情報映像データ１８０が重畳されている区間を特定する信号が予め付されている場合、その信号をそのまま制御信号として利用することもできる。

データ加工部１５８は、制御信号生成部１５６で生成された制御信号１８２に基づいて、情報映像データ１８０が重畳されている区間の立体表示データ１４２を加工する。

図１０は、データ加工部１５８の具体的な機能を示した機能ブロック図である。図１０に示すように、データ加工部１５８は、ラインメモリ２３０と、加算器２３２と、乗算器２３４と、切換スイッチ２３６とを含んで構成される。

ラインメモリ２３０は、立体表示データ１４２をライン（水平ライン）単位で一時的に保持し、入力されたデータを１ライン分遅延させる。従って、隣接する１ライン前の立体表示データ１４２を参照することができる。

加算器２３２は、ラインメモリ２３０で保持された１ライン前（第１のライン）の立体表示データ１４２と、その時点に入力される第２のラインの立体表示データ１４２との映像に関するパラメータ（例えば、Ｒ、Ｇ、Ｂ、輝度、色差、彩度）を加算する。

乗算器２３４は、加算器２３２で加算された２ライン分の立体表示データ１４２をその加算数「２」で除算すべく、逆数１／２を乗算する。こうして、第１のラインの映像と、第１のラインに隣接する１または複数の第２のラインの映像とを合成した映像を生成することができる。

切換スイッチ２３６は、制御信号生成部１５６によって生成された制御信号１８２に従って、立体表示データ１４２を加工する。図１０を参照すると、切換スイッチ２３６の２つの入力端子の一方Ａに乗算器２３４からの合成映像が、他方Ｂに立体表示データ１４２が直接入力され、切換入力Ｃに制御信号１８２が入力される。従って、切換スイッチ２３６は、制御信号１８２がオフの期間、立体表示データ１４２を出力し、制御信号１８２がオンの期間、２ライン分合成された立体表示データ１４２を出力する。

情報映像データ１８０は単色や数色で表されることが多いので、情報映像データ１８０が重畳されている区間の立体表示データ１４２は、左眼映像と右眼映像の差分から縞模様となる。ここでは、第１のラインの映像と、第１のラインに隣接する第２のラインの映像を合成することで隣接するライン同士の差分を平滑化することができ、立体表示データ１４２における情報映像データ１８０の連続性を高めることが可能となる。

図１１は、切換スイッチ２３６によって加工された立体表示データ１４２を示した説明図である。図９（ａ）に示した立体表示データ１４２に対して、図９（ｂ）の制御信号１８２がオンしている区間に２ライン分の合成映像を挿入すると、図１１（ａ）のような立体表示データ１４２を得ることができる。図１１（ａ）では、制御信号１８２に相当する部分が合成され、表示色が２ラインの中間色になっているのが理解できる。ここでは、理解を容易にするため粗いライン数（１２ライン）で立体表示データ１４２を表現しているが、本来用いられるライン数はディスプレイ１１０の構造や立体映像データの走査線数等に応じて多くなるため、換言すれば、ライン毎の垂直の画素サイズが小さいため、図１１（ｂ）に示した加工例のように、情報映像データ１８０の連続性を高めることによって、情報映像データ１８０が示している内容を容易に認識できるようになる。

ここで、切換スイッチ２３６は、立体表示データ１４２と２ライン分の合成映像とを排他的に切り換えるのみならず、制御信号１８２がオンの期間、任意の透過率で立体表示データ１４２に２ライン分の合成映像を重畳させてもよい。かかる構成により、情報映像データ１８０によってその背景となる立体表示データ１４２が完全に見えなくなるのを回避でき、両データを有効に立体表示することができる。

ここでは、データ加工部１５８として、２タップ（１，１）／２のフィルタ演算に相当する構成を説明したが、かかる場合に限らず、例えば、さらに他のラインの立体表示データ１４２も保持するラインメモリを設け、３タップ（１，２，１）／４のフィルタ演算を行う等、３以上のタップ数で実現してもよい。また、上述した２タップの構成でタップ係数のみを変更することもできる。

また、データ加工部１５８におけるラインメモリ２３０は、制御信号生成部１５６のラインメモリ２１０を共有することで省略することができる。

図１２は、データ加工部１５８の他の接続例を示した機能ブロック図である。制御信号生成部１５６とデータ加工部１５８はいずれもラインメモリを用いて立体表示データ１４２における任意のラインのデータと隣接する１ライン前のデータを同時に利用する（一方が第１のライン、他方が第２のラインとして用いられる）。従って、データ加工部１５８は制御信号生成部１５６のラインメモリ２１０からの出力をそのまま加算器２３２の入力に用いることが可能となる。ただし、ラインメモリ２１０からの信号をデータ加工部１５８に単純に接続してしまうと、データ加工部１５８において、立体表示データ１４２と制御信号１８２との水平同期信号が合わなくなるので、遅延回路２２０、２２２をデータ加工部１５８に加え、減算器２１２、絶対値化部２１４、水平ＬＰＦ２１６、制御信号出力部２１８による遅延分を補償する。

さらに、データ加工部１５８は、合成映像を生成することなく、情報映像データ１８０が重畳されている区間、即ち、制御信号１８２がオンの期間、第１のラインの映像を、第１のラインに隣接する第２のラインの映像で置換してもよい。

図１３は、かかるデータ加工部１５８の機能を示した機能ブロック図である。図１３に示すように、データ加工部１５８は、ラインメモリ２３０と、切換スイッチ２３６とを含んで構成される。かかるラインメモリ２３０と、切換スイッチ２３６とは図１０を用いて既に説明しているので、ここではその詳細な説明を省略し、相異する点のみを説明する。

切換スイッチ２３６は、制御信号生成部１５６によって生成された制御信号１８２に従って、立体表示データ１４２を加工する。図１３を参照すると、切換スイッチ２３６の２つの入力端子の一方Ａにラインメモリ２３０に保持された立体表示データ１４２の１ライン前の映像が、他方Ｂに立体表示データ１４２が直接入力され、切換入力Ｃに制御信号１８２が入力される。従って、切換スイッチ２３６は、制御信号１８２がオフの期間、立体表示データ１４２の現ラインの映像を出力し、制御信号１８２がオンの期間、１ライン前の映像を出力する。

情報映像データ１８０は単色や数色で表されることが多いので、情報映像データ１８０が重畳されている区間の立体表示データ１４２は、左眼映像と右眼映像の差分から縞模様となる。ここでは、対象となる第１のラインの映像を、第１のラインに隣接する第２のラインの映像で置換することで両ラインの映像を共通化することができ、立体表示データ１４２における情報映像データ１８０の連続性を高めることが可能となる。

データ加工部１５８が図１３のように構成されている場合、奇数番号のライン（奇数ライン）または偶数番号のライン（偶数ライン）のいずれかのみを第１のラインとする。上述したライン間の映像の合成と異なり、ライン間の映像の置換をすべてのラインで遂行すると、遂行後の映像が元の映像を単に１ラインシフトしただけになってしまう。ここでは、奇数番号のラインまたは偶数番号のラインのいずれか一方のみを第１のラインとして１ライン置きに置換処理を行うことで、奇数番号のラインまたは偶数番号のラインのいずれかの映像を他方のラインの映像と共通化することができる。

図１４は、切換スイッチ２３６によって加工された立体表示データ１４２を示した説明図である。図９（ａ）に示した立体表示データ１４２に対して、図９（ｂ）に示したように制御信号１８２がオンしている区間に１ライン前の映像を置換すると図１４（ａ）のような立体表示データ１４２を得ることができる。図１４（ａ）では、図１１（ａ）と異なり、制御信号１８２に相当する部分に１ライン前の映像を置換しているだけなので表示色が変わっていないのが理解できる。ここでも図１１同様、理解を容易にするため粗いライン数（１２ライン）で立体表示データ１４２を表現しているが、本来用いられるライン数はディスプレイ１１０の構造や立体映像データの走査線数等に応じて多くなるため、換言すれば、ライン毎の垂直の画素サイズが小さいため、図１４（ｂ）に示した加工例のように、情報映像データ１８０の連続性を高めることによって、情報映像データ１８０が示している内容を容易に認識できるようになる。

映像出力部１６０は、データ加工部１５８で加工された立体表示データ１４２をディスプレイ１１０または他の外部接続機器に出力する。図２を用いて説明したようにディスプレイ１１０の表示面１１２には、隔行で（１ライン毎に）偏光特性の異なる偏光フィルタが設けられている。従って、図９のような、左眼映像と右眼映像とが並置される立体表示データ１４２をそれぞれ適切な偏光特性で表示することができる。観察者は、専用の偏光眼鏡１１８を着用することによって、左眼で左眼映像、右眼で右眼映像を視認し、奥行き感を知覚することができる。

以上、説明したように、情報映像データが立体映像データの右眼映像または左眼映像のいずれか一方にのみ重畳されている場合、交互に並置された左眼映像と右眼映像の水平ライン間に差分が生じる。上述した立体映像表示装置１００では、隣接するライン間で差分が生じている場合、そこには情報映像データが重畳されているとみなして制御信号を生成し、制御信号が情報映像データの重畳を示している区間、立体表示データを加工して情報映像データの連続性を高める。かかる構成により、立体視を考慮していない情報映像データをディスプレイの表面で結像でき、眼にかかる負担を軽減し、立体映像データのより自然な立体映像表示を実現することが可能となる。

（立体映像表示方法）
次に、上述した立体映像表示装置１００を用いて、両眼視差による立体映像を表示する立体映像表示方法を具体的に説明する。

図１５は、立体映像表示方法の全体的な流れを示したフローチャートである。立体映像表示装置１００の映像取得部１５０が立体映像データ１３４、１４０を取得すると（Ｓ３００のＹＥＳ）、映像処理部１５２がＲＧＢ処理（γ補正や色補正）、エンハンス処理、ノイズ低減処理などの映像信号処理を行う（Ｓ３０２）。ラインシーケンシャル部１５４は、このように映像信号処理された立体映像データ１３４、１４０における左眼映像および右眼映像の水平ラインを交互に並置して、ディスプレイ１１０に表示するための立体表示データ１４２を生成する（Ｓ３０４）。

上述した処理に続いて、制御信号生成部１５６は、立体表示データ１４２における隣接するライン同士を比較して、情報映像データ１８０が重畳されているか否かを判定し、情報映像データ１８０が重畳されている区間を特定する制御信号１８２を生成し（Ｓ３０６）、データ加工部１５８は、制御信号１８２に基づいて、情報映像データ１８０が重畳されている区間の立体表示データ１４２を加工し（Ｓ３０８）、映像出力部１６０は情報映像データ１８０が重畳された立体表示データ１４２をディスプレイ１１０に出力する（Ｓ３１０）。こうした一連の処理は、立体映像データ１３４、１４０が無くなるまで繰り返され、観察者は、適切な結像位置に情報映像データ１８０が表示された立体映像を見ることが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

なお、本明細書の立体映像表示方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、両眼視差による立体映像をディスプレイに表示することが可能な立体映像表示装置および立体映像表示方法に利用することができる。

１００ …立体映像表示装置
１１０ …ディスプレイ
１３０、１３６ …左眼映像
１３２、１３８ …右眼映像
１３４、１４０ …立体映像データ
１４２ …立体表示データ
１５０ …映像取得部
１５２ …映像処理部
１５４ …ラインシーケンシャル部
１５６ …制御信号生成部
１５８ …データ加工部
１６０ …映像出力部
１８０ …情報映像データ
１８２ …制御信号

Claims (6)

1. 両眼視差による立体視を実現するための左眼映像および右眼映像が分割形成された立体映像データを取得する映像取得部と、
   前記立体映像データにおける左眼映像および右眼映像の水平ラインを交互に並置して、ディスプレイに表示するための立体表示データを生成するラインシーケンシャル部と、
   前記立体表示データにおける隣接するライン同士を比較して、前記立体映像データまたは前記ディスプレイに表示する前記立体表示データの操作表示に関する情報を示す情報映像データが重畳されているか否かを判定し、前記情報映像データが重畳されている区間を特定する制御信号を生成する制御信号生成部と、
   前記制御信号に基づいて、前記情報映像データが重畳されている区間の前記立体表示データを加工するデータ加工部と、
   前記加工された立体表示データを出力する映像出力部と、
   を備えることを特徴とする立体映像表示装置。
2. 前記制御信号生成部は、前記立体表示データにおける隣接するライン同士の評価値の差分に水平方向の低域通過フィルタリングを施して平滑化された差分値を算出し、前記平滑化された差分値が所定の閾値を超えるか否かに基づいて前記情報映像データが重畳されているか否かを判定することを特徴とする請求項１に記載の立体映像表示装置。
3. 前記データ加工部は、前記情報映像データが重畳されている区間における第１のラインの映像と、前記第１のラインに隣接する１または複数の第２のラインの映像とを合成して新たに前記第１のラインの映像を生成することを特徴とする請求項１または２に記載の立体映像表示装置。
4. 前記データ加工部は、前記情報映像データが重畳されている区間における第１のラインの映像を、前記第１のラインに隣接する第２のラインの映像で置換することを特徴とする請求項１または２に記載の立体映像表示装置。
5. 前記データ加工部は、奇数番号のラインまたは偶数番号のラインのいずれかのみを前記第１のラインとすることを特徴とする請求項４に記載の立体映像表示装置。
6. 両眼視差による立体視を実現するための左眼映像および右眼映像が分割形成された立体映像データを取得し、
   前記立体映像データにおける左眼映像および右眼映像の水平ラインを交互に並置して、ディスプレイに表示するための立体表示データを生成し、
   前記立体表示データにおける隣接するライン同士を比較して、前記立体映像データまたは前記ディスプレイに表示する前記立体表示データの操作表示に関する情報を示す情報映像データが重畳されているか否かを判定し、前記情報映像データが重畳されている区間を特定する制御信号を生成し、
   前記制御信号に基づいて、前記情報映像データが重畳されている区間の前記立体表示データを加工し、
   前記加工された立体表示データを出力することを特徴とする立体映像表示方法。

Images