JP2012151754A

JP2012151754A - 情報処理装置、情報処理方法、及びプログラム

Info

Publication number: JP2012151754A
Application number: JP2011009996A
Authority: JP
Inventors: Ryuichi Konno; 龍一今野
Original assignee: NEC Personal Computers Ltd
Current assignee: NEC Personal Computers Ltd
Priority date: 2011-01-20
Filing date: 2011-01-20
Publication date: 2012-08-09
Anticipated expiration: 2031-01-20
Also published as: JP5759728B2

Abstract

【課題】処理負荷を低減し、水平方向の解像度を維持する。
【解決手段】立体視が可能な映像信号を表示する情報処理装置であって、インターレース映像信号に対して、インターレース／プログレッシブ変換を行うことによりプログレッシブ映像信号を生成する生成手段と、生成手段により生成されたプログレッシブ映像信号の各画（フィールド）を構成する複数ラインに対して、１ラインおきに視差を生成する視差生成手段と、を設けた。
【選択図】図２

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。

立体視が可能な映像信号を放送する３Ｄ放送が開始されたが、３Ｄ放送で放送される３Ｄ動画のフレームデータは、所謂サイド・バイ・サイド（以下、「ＳＢＳ」という。）と呼ばれる方式により記録されている。これは、左目領域のフレームデータと、右目領域のフレームデータとを水平方向に１／２のサイズに圧縮し、この圧縮した２つのフレームデータを左右に配置して１つのフレームデータに記録する方式である。

一方、３Ｄ放送で放送される３Ｄ動画のフレームデータを再生するためには、放送された３Ｄ動画のフレームデータを再生方式に適したフレームデータに変換する必要がある。例えば、パーソナルコンピュータ（以下、「ＰＣ」という。）により３Ｄ動画を再生するためには、図４及び図５に示すように、従来、立体視が可能な放送信号（３Ｄ）が格納された記憶手段４１から抽出された放送信号（３Ｄ）は、デコーダーによりデコード（復号化）４２され、その結果、ＳＢＳ方式により記録された左目領域のフレームデータ４３ｌと、右目領域のフレームデータ４３ｒとからなる１フレームのフレームデータがインターレース映像信号５１（図５）として出力される。

ここで、インターレース映像信号５１は、図５に示すように、１フレームに、時刻ｔの映像信号と、時刻ｔ＋１６．７ｍｓの映像信号との２つの画（フィールド）が、走査ライン毎に交互に織り交ぜられた形で格納されたものであり、インターレース映像信号５１は、まず、時刻ｔの映像信号（インターレース）５２と、時刻ｔ＋１６．７ｍｓの映像信号（インターレース）５４とからなる２つのフィールドに分解される。

しかし、この２つのフィールドに分解されたままの状態では、垂直方向の解像度が、元の映像信号であるインターレース映像信号５１に対して半分の状態となってしまうことから、図５に示すように、垂直方向の解像度を補間するため、インターレース／プログレッシブ変換（以下、「Ｉ／Ｐ変換」という。）４４（図４）を行うことにより、時刻ｔの映像信号（インターレース）５２と、時刻ｔ＋１６．７ｍｓの映像信号（インターレース）５４のそれぞれを、時刻ｔの映像信号（プログレッシブ）５３と、時刻ｔ＋１６．７ｍｓの映像信号（プログレッシブ）５６に変換する。

このＩ／Ｐ変換４４により、時刻ｔの左目用の映像信号（プログレッシブ）４５ｌｅと、時刻ｔの右目用の映像信号（プログレッシブ）４５ｒｅ、及び、時刻ｔ＋１６．７ｍｓの左目用の映像信号（プログレッシブ）４５ｌｌと、時刻ｔ＋１６．７ｍｓの右目用の映像信号４５ｒｌが得られる。上述したように、フィールドへの分解、及びＩ／Ｐ変換処理工程があるため、インタレース映像信号の状態では、後述するライン・バイ・ライン処理を行うことができない。

そして、偏光板方式の立体視においては、所謂ライン・バイ・ライン（以下、「ＬＢＬ」という。）という方式を用いてモニタに画（フィールド）を表示する必要がある。ＬＢＬとは、図６に示すように、同じ時刻の左右の目の映像信号を、ライン交互に組み合わせた画（フィールド）のことをいう。すなわち、図６に示すように、時刻ｔの左目用の映像信号（プログレッシブ）６１と、時刻ｔの右目用の映像信号６２とをＬＢＬ処理４６（図４）することにより、ＬＢＬ映像信号（プログレッシブ）６３が得られる。

すなわち、図４に戻ると、時刻ｔの左目用の映像信号（プログレッシブ）４５ｌｅと、時刻ｔの右目用の映像信号（プログレッシブ）４５ｒｅ、及び、時刻ｔ＋１６．７ｍｓの左目用の映像信号（プログレッシブ）４５ｌｌと、時刻ｔ＋１６．７ｍｓの右目用の映像信号４５ｒｌ（プログレッシブ）に対してＬＢＬ処理４６を施すことにより、時刻ｔのＬＢＬ映像信号（プログレッシブ）４７ｅと、時刻ｔ＋１６．７ｍｓのＬＢＬ映像信号（プログレッシブ）４７ｌとが得られ、変更方式に対応したモニタ４８に出力される。

このＬＢＬ映像信号（プログレッシブ）６３（図６）を偏光方式に対応したモニタ４８（図４）に出力すると、モニタに張られたフィルタでライン毎に偏光され、メガネを通して見ることにより、左右の目に異なる映像が見え、立体視が可能になるのである。

一方、従来から用いられている再生方式として、放送される映像信号は立体視が不可能な映像信号（２Ｄ）であるが、再生時に立体視が可能な映像信号（３Ｄ）に変換し再生を行う所謂２Ｄ／３Ｄ変換方式といわれる再生方式がある。

この２Ｄ／３Ｄ変換方式は、図７に示すように、放送信号（２Ｄ）が格納された記憶手段７１から抽出された放送信号（２Ｄ）は、デコーダーによりデコード（復号化）７２され、その結果、映像信号（２Ｄ）７３が出力される。そして、この映像信号（２Ｄ）７３は、ＳＢＳ化７４が施され、同一の映像信号（２Ｄ）が２つの映像信号７５、７５'、すなわち、左目用の映像信号７５と右目用の映像信号７５'とにコピーされる。このとき、水平方向の解像度が、元の映像信号（２Ｄ）７３の半分の状態となる。

そして、これら２つの映像信号７５、７５'のうち、例えば、右目用の映像信号７５'にのみ視差を生成する処理７６、すなわち、左目用の映像信号７５と、右目用の映像信号７５'との間に、目と対称物（モニタ８２）との相対位置の移動又は差異による、網膜上の結像の位置の変化を設ける処理７６を施す。こうして、左目用の映像信号７７ｌと、視差が設けられた右目用の映像信号７７ｒに対してＩ／Ｐ変換７８を行うことにより、時刻ｔの左目用の映像信号（プログレッシブ）７９ｌｅと、時刻ｔの右目用の映像信号（プログレッシブ）７９ｒｅ、及び、時刻ｔ＋１６．７ｍｓの左目用の映像信号（プログレッシブ）７９ｌｌと、時刻ｔ＋１６．７ｍｓの右目用の映像信号７９ｒｌ（プログレッシブ）が得られる。

最後に、時刻ｔの左目用の映像信号（プログレッシブ）７９ｌｅと、時刻ｔの右目用の映像信号（プログレッシブ）７９ｒｅ、及び、時刻ｔ＋１６．７ｍｓの左目用の映像信号（プログレッシブ）７９ｌｌと、時刻ｔ＋１６．７ｍｓの右目用の映像信号７９ｒｌに対してＬＢＬ処理８０を施すことにより、時刻ｔのＬＢＬ映像信号（プログレッシブ）８１ｅと、時刻ｔ＋１６．７ｍｓのＬＢＬ映像信号（プログレッシブ）８１ｌとが得られ、偏光方式に対応したモニタ８２に出力される。これにより、映像信号（２Ｄ）をあたかも立体視が可能な映像信号（３Ｄ）であるかのように立体視することが可能となる。

特開平０７−２２６９５８号公報

特許文献１には、上記従来技術における３Ｄ放送で放送される３Ｄ対応の信号を、ＳＢＳ方式の映像信号に復号した後、Ｉ／Ｐ変換を行い、ＬＢＬ処理を施すことにより、ＬＢＬ映像信号（プログレッシブ）を得る技術が開示されている。

また、従来より、放送される映像信号は立体視が不可能な映像信号（２Ｄ）であるが、再生時に立体視が可能な映像信号（３Ｄ）に変換し再生を行う所謂擬似２Ｄ／３Ｄ変換方式といわれる再生方式が知られている。

また、他の従来技術では、立体視が不可能な映像信号（２Ｄ）を２Ｄ／３Ｄ変換方式で立体視が可能な映像信号（３Ｄ）として視聴した際に、上述したＳＢＳ化の処理過程に起因する左右の各目に見える画（フィールド）の水平方向の解像度が半分になってしまうという問題に加え、２次元画像を立体視が可能な画像に変換する工程が複雑で、処理負荷が大きいため、ＣＰＵ（Central Processing Unit）のクロック周波数が低いＰＣや、グラフィック処理能力が低いＰＣ等では、実現が難しいという問題があった。

そこで本発明は、上記問題点に鑑みてなされたもので、所謂２Ｄ／３Ｄ変換方式において、従来から存在する一部の処理工程を省略することにより、処理負荷を低減し、水平方向の解像度の欠損を防ぐことができる情報処理装置、情報処理方法、及びプログラムを提供することを目的とする。

上記課題を解決するため、本発明における情報処理装置は、立体視が可能な映像信号を表示する情報処理装置であって、インターレース映像信号に対して、インターレース／プログレッシブ変換を行うことによりプログレッシブ映像信号を生成する生成手段と、前記生成手段により生成されたプログレッシブ映像信号のフィールドを構成する複数ラインに対して、１ラインおきに視差を生成する視差生成手段と、を含むことを特徴とする。

また、本発明における情報処理方法は、立体視が可能な映像信号を表示する情報処理方法であって、インターレース映像信号に対して、インターレース／プログレッシブ変換を行うことによりプログレッシブ映像信号を生成する生成工程と、前記生成工程により生成されたプログレッシブ映像信号のフィールドを構成する複数ラインに対して、１ラインおきに視差を生成する視差生成工程と、を含むことを特徴とする。

さらに、本発明におけるプログラムは、立体視が可能な映像信号を表示する情報処理装置のコンピュータに実行させるプログラムであって、インターレース映像信号に対して、インターレース／プログレッシブ変換を行うことによりプログレッシブ映像信号を生成する生成処理と、前記生成処理により生成されたプログレッシブ映像信号のフィールドを構成する複数ラインに対して、１ラインおきに視差を生成する視差生成処理と、を含むことを特徴とする。

本発明によれば、所謂２Ｄ／３Ｄ変換方式において、従来から存在する一部の処理工程を省略することにより、処理負荷を低減し、水平方向の解像度を欠損させることなく高画質のまま維持することができる情報処理装置、情報処理方法、及びプログラムを得ることができる。

本発明の実施形態における情報処理装置の概略構成を示すブロック図である。本発明の実施形態における情報処理装置における信号処理の流れを説明する図である。本発明の実施形態における情報処理装置における情報処理方法を説明するフロー図である。従来の情報処理装置における信号処理の流れを説明する図である。インターレース／プログレッシブ（Ｉ／Ｐ）変換について説明する図である。ライン・バイ・ライン（ＬＢＬ）処理について説明する図である。従来の他の情報処理装置における信号処理の流れを説明する図である。

次に、本発明を実施するための形態について図面を参照して詳細に説明する。なお、各図中、同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化乃至省略する。本発明の内容を具体的に説明すると、偏光板立体視のＬＢＬ、すなわち、左右の目の映像が、偶数ラインと奇数ラインとにおいて１ライン毎に同時に表示される特性を利用して、偶数ライン又は奇数ラインのみといった、１ラインおきに視差を生成する処理を行うことにより、２Ｄ／３Ｄ変換方式において、必要とされる処理工程の大半を省略するというものである。

図１は、本発明の実施形態における情報処理装置の概略構成を示すブロック図である。２Ｄ再生方式と本発明との相違点は、ＰＣ等の情報処理装置１２の中に３Ｄ変換処理部１１４が組み込まれている点と、モニタが偏光板立体視対応モニタ１３である点である。図１において、放送波１１からの映像データがチューナー１１１で受信されると、チューナー１１１は、直接、映像処理系１１３に当該映像データを送信するか、又は、一旦映像データを記憶装置１１２に格納した後に、当該映像データを映像処理系１１３に送信する。

映像処理系１１３は、デコード（復号化）を行うデコーダー１１３１と、表示を行うレンダラー１１３２で構成されている。デコーダー１１３１において映像データがデコード（復号）され、画が生成された後にレンダラーに送信される。レンダラー１１３２において、表示に必要な各処理が画に対して行われる。

３Ｄ変換を行う場合には、当該画を３Ｄ変換処理部１１４に送信し、３Ｄ変換処理部１１４において３Ｄ映像データに変換された後、レンダラー１１３２に送信される。レンダラーでは、表示に必要な偏光方式立体視対応モニタ１３と同期を取りながら、画を表示する。そして、偏光メガネ１４をかけた視聴者１５が、偏光方式立体視対応モニタ１３に表示された画を見ることになる。

次に、図２及び図３を用いて、本発明の実施形態における情報処理装置の動作について説明する。図２は、本発明の実施形態における情報処理装置における信号処理の流れを説明する図であり、図３は、本発明の実施形態における情報処理装置における情報処理方法を説明するフロー図である。

図３において、２Ｄ再生方式と本発明との相違点は、３Ｄ変換処理として、奥行き解析処理（ステップ（以下、「Ｓ」という。）３９）と視差生成処理（Ｓ３０）の各工程が追加されることである。

放送波１がＰＣ等の情報処理装置１２に受信されるか（図１）、又は、放送信号（２Ｄ）が格納された記憶手段２１（図２）から抽出された放送信号（２Ｄ）（動画データ）は、情報処理系１１３の中のデコーダー１１３１（図１）においてデコード２２（図２）され、２Ｄの画像であるフレーム２３（図２）が生成される（Ｓ３１）。

次に、画（フレーム）２３に対してＩ／Ｐ変換処理２４、すなわち、放送波はインターレース映像信号（１フレームに時間が連続した２フィールドが格納されている方式）であるため、１フレームを２フィールドに分解し、補間（デインターレース）を行うことにより、２Ｄの画（フィールド）である２５ｅ（時刻ｔ）、２５ｌ（時刻ｔ＋１６．７ｍｓ）を作成する処理が行われる（Ｓ３２）。

次に、必要に応じて、ＹＵＶ（輝度、色差）フォーマットという色形式からＲＧＢフォーマットへと色フォーマットを変換する色変換処理（Ｓ３３）を行う。また、ＰＣ等のウィンドウ表示において、ユーザの使用画面に応じて、モニタ１３、２８に表示されるサイズに画（フィールド）サイズを拡大縮小するリサイズ処理２４（図２）を行う（Ｓ３４）。

次に、２Ｄの画（フィールド）である２フレーム２５ｅ（時刻ｔ）、２５ｌ（時刻ｔ＋１６．７ｍｓ）に対して３Ｄ変換処理を行うか否かについて判断され、３Ｄ変換処理を行うと判断された場合（Ｓ３５：ＹＥＳ）には、Ｓ３９へ移行する。Ｓ３９では、２Ｄの画（フィールド）を解析し、奥行きを推測する処理である奥行き解析処理が行われる。すなわち、２Ｄの映像には奥行き情報が存在しないため、構図や動き、色等の情報から奥行きを推測する。推測方法については様々な方法が存在するが、ここでの説明は省略する。

次に、Ｓ３０では、画（フィールド）の奇数ライン、又は偶数ラインのみに視差を生成する処理である視差生成処理２６（図２）を行う。具体的には、画（フィールド）を構成する複数のラインのうち、１、３、５、７、・・・、２ｎ＋１（ただし、ｎは０以上の整数）番目のラインといった奇数番号のライン、又は２、４、６、８、・・・、２ｎ（ただし、ｎは１以上の整数）番目のラインといった偶数番号のラインに対して視差を生成することで、モニタ１３、２８に表示された際、左右の目に異なる映像が表示され、立体視が可能となる。Ｓ３９の奥行き解析処理で得られた奥行きを参考に、画素を左右にずらす、又は加工することで、視差を生成する。

偏光方式立体視の特徴であるＬＢＬ方式（ライン交互に異なる映像が格納されている方式）で表示する必要性を利用し、実際には、左右の目の映像を作ることなく、オリジナル画の一部を加工することにより、ＬＢＬ処理相当の加工された画（フィールド）２７ｅ（時刻ｔ）、２７ｌ（時刻ｔ＋１６．７ｍｓ）（図２）が作成され、立体視が可能となるである。

図３に戻り、Ｓ３５において、３Ｄ変換処理を行わないと判断された場合（Ｓ３５：ＮＯ）、又はＳ３０において視差生成処理が終了すると、Ｓ３６においてスケジューリング処理が行われる。すなわち、モニタ１３、２８の周波数に表示のタイミングを合わせることを目的として、必要であればウェイトやコマ落としを行うことにより、モニタ１３、２８と同期を取る。

そして、Ｓ３７において、モニタ１３、２８に画（フィールド）２７ｅ（時刻ｔ）、２７ｌ（時刻ｔ＋１６．７ｍｓ）（図２）を送信し、実際に画（フィールド）をモニタ１３、２８に表示をさせる表示処理が行われ、Ｓ３８において、動画の再生を継続するか否かが判断され、継続すると判断された場合（Ｓ３８：ＹＥＳ）には、Ｓ３１に戻り、継続しないと判断された場合（Ｓ３８：ＮＯ）には、処理を終了する。

なお、上記実施形態において説明した図３に示したフローチャートを実行するために、ＰＣ等の情報処理装置に搭載されるＣＰＵ（図示せず）が、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等から構成されるメモリ（図示せず）に格納されたコンピュータにより読み取り可能なプログラムに基づいてＰＣ等の情報処理装置の動作の各処理を制御するよう構成されている。

本発明により、従来の２Ｄ／３Ｄ変換方式といわれる再生方式（図７）に比べ、図７における処理工程のうち、ＳＢＳ化７４、右目画像にのみ視差生成処理７６、及びＬＢＬ処理８０の各工程が不要となり、図７のＩ／Ｐ変換処理７８に対応する図２のＩ／Ｐ変換処理２４と、奇数ラインのみ視差生成処理２６の工程を経るだけで、偏光方式に対応した立体視が可能な３Ｄ映像を再生可能な情報処理装置を得ることができる。

この処理工程の低減による具体的な画素コピー回数の軽減量を比較すると、ｘを水平方向の解像度、ｙを垂直方向の解像度とした場合、図７の方式では、ＳＢＳ化７４により、（ｘ／２＊ｙ）＊２＝ｘｙ、右目画像にのみ視差生成処理７６により、（ｘ／２＊ｙ）＝ｘｙ／２、ＬＢＬ処理８０により、（（ｘ／２＊ｙ／２）＊２）＊２＝ｘｙであるから、合計ｘｙ＋ｘｙ／２＋ｘｙ＝（５／２）ｘｙの画素コピー回数であるのに対し、本発明による図２の方式では、奇数ラインのみに視差生成２６による（ｘ＊ｙ／２）＊２＝ｘｙであるから、（５／２）ｘｙ−ｘｙ＝（３／２）ｘｙだけ、本発明による画素コピー回数の低減による改善効果が得られたことになる。

さらに、従来技術の図４又は図７の方式では、水平方向の解像度がオリジナル画像の半分であるのに対し、本発明による図２の方法では、垂直方向の解像度の欠損がないため、高画質の３Ｄ映像を再生することができる。

以上説明してきたように、本発明によれば、擬似３Ｄ映像を再生するに当たり、フィールドを構成する複数のラインに対して、１ラインおきに視差を生成し、ＬＢＬライン相当の加工された画（フィールド）を得ることにより、３Ｄ映像を再生するための処理工程を軽減させることができ、その結果として、処理負荷を低減することができると共に、垂直方向の解像度を高画質に維持することができる情報処理装置、情報処理方法、及びプログラムを得ることができる。

以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範囲な趣旨及び範囲から逸脱することなく、これら具体例に様々な修正及び変更が可能である。

１１放送波
１１１チューナー
１１２記憶装置
１１３映像処理系
１１３１デコーダー
１１３２レンダラー
１１４３Ｄ変換処理部
１２情報処理装置
１３偏光方式立体視対応モニタ
１４偏光メガネ
１５視聴者

Claims

立体視が可能な映像信号を表示する情報処理装置であって、インターレース映像信号に対して、インターレース／プログレッシブ変換を行うことによりプログレッシブ映像信号を生成する生成手段と、前記生成手段により生成されたプログレッシブ映像信号のフィールドを構成する複数ラインに対して、１ラインおきに視差を生成する視差生成手段と、を含むことを特徴とする情報処理装置。
前記複数ラインには昇順に番号が付与されており、前記視差生成手段は、前記番号が付与された複数のラインのうち、奇数番号のライン又は偶数番号のラインに対して視差を生成することを特徴とする請求項１に記載の情報処理装置。
前記生成手段には、前記映像信号の表示サイズを拡大又は縮小するサイズ変更手段が含まれていることを特徴とする請求項１又は２に記載の情報処理装置。
立体視が可能な映像信号を表示する情報処理方法であって、インターレース映像信号に対して、インターレース／プログレッシブ変換を行うことによりプログレッシブ映像信号を生成する生成工程と、前記生成工程により生成されたプログレッシブ映像信号のフィールドを構成する複数ラインに対して、１ラインおきに視差を生成する視差生成工程と、を含むことを特徴とする情報処理方法。
立体視が可能な映像信号を表示する情報処理装置のコンピュータに実行させるプログラムであって、インターレース映像信号に対して、インターレース／プログレッシブ変換を行うことによりプログレッシブ映像信号を生成する生成処理と、前記生成処理により生成されたプログレッシブ映像信号のフィールドを構成する複数ラインに対して、１ラインおきに視差を生成する視差生成処理と、を含むことを特徴とするプログラム。