JP2011526103A - 三次元ビデオ映像処理の方法及びその装置 - Google Patents

Abstract

ビデオ映像の三次元フォーマットを決定するために、ビデオ・データから生成されるビデオ映像の三次元フォーマット情報を獲得し、三次元フォーマット情報、及びグラフィック・データから生成される、ビデオ映像と区別される第１グラフィック画面を利用し、ビデオ映像の該決定された三次元フォーマットに対応する第２グラフィック画面を生成し、第２グラフィック画面をビデオ映像にオーバーレイするビデオ映像処理方法である。

Description

本発明は、三次元ビデオ映像処理の方法及びその装置に係り、さらに具体的には、字幕やメニューなどを、三次元フォーマットのビデオ映像と共に出力するビデオ映像処理方法及び装置に関する。

デジタル技術の発達により、三次元（３Ｄ）映像技術が広く普及している。三次元映像技術は、二次元（２Ｄ）映像に深み（depth）についての情報を付与し、さらに写実的な映像を表現する技術であり、現場で実物を見るような写実感、現実感を提供し、通信、ゲーム、医療、放送のような多様な分野で応用されている。

人間の目は、横方向に所定距離ほど離れているので、左目と右目とが見る二次元映像が、互いに異なるが、これを両眼視差（binocular disparity）という。脳は、互いに異なる２つの二次元映像を融合し、遠近感と実在感とがある三次元映像を生成する。両眼視差を利用して三次元映像を具現する方法には、メガネを着用する方法と、メガネを着用せずに、レンチキュラ・レンズ（lenticular lens）、barallax barrier、barallax illuminationなどが備わった装置を利用する方法がある。

本発明は、字幕やメニューなどのグラフィック画面を、三次元フォーマットのビデオ映像と共に出力するための三次元ビデオ映像処理の方法及びその装置を提供するものである。

前記課題を解決するために、本発明の一側面によれば、ビデオ・データから生成されるビデオ映像の三次元フォーマット情報を獲得する段階と、グラフィック・データから生成される第１グラフィック画面と前記三次元フォーマット情報とを利用し、前記ビデオ映像の三次元フォーマットに対応する第２グラフィック画面を生成する段階と、前記第２グラフィック画面を前記ビデオ映像にオーバーレイする段階と、を含むことを特徴とするビデオ映像処理方法を提供できる。

望ましい実施形態で、前記ビデオ映像がサイド・バイ・サイド・フォーマットである場合、前記第２グラフィック画面を生成する段階は、前記第１グラフィック画面のフレームを横方向に縮小してサブフレームを生成する段階と、前記サブフレームが横方向に二つ含まれたフレームの第２グラフィック画面を生成する段階と、を含む。また、前記ビデオ映像がトップダウン・フォーマットである場合、前記第２グラフィック画面を生成する段階は、前記第１グラフィック画面のフレームを縦方向に縮小してサブフレームを生成する段階と、前記サブフレームが縦方向に二つ含まれたフレームの第２グラフィック画面を生成する段階と、を含む。また、前記三次元フォーマット情報を獲得する段階は、前記ビデオ・データから、前記ビデオ映像が三次元映像であるか否かを示す識別子を抽出する段階と、前記識別子を利用し、前記ビデオ映像が前記三次元映像である場合、前記ビデオ・データから、前記三次元フォーマット情報を獲得する段階と、を含む。また、前記発明は、前記第２グラフィック画面がオーバーレイされた前記ビデオ映像を、左目映像及び右目映像に分離して出力する段階をさらに含む。また、前記グラフィック・データは、字幕を提供するためのプレゼンテーション・グラフィック・データ及びメニューを提供するためのインタラクティブ・グラフィック・データのうち一つ以上を含み、前記グラフィック・データが、前記プレゼンテーション・グラフィック・データ及び前記インタラクティブ・グラフィック・データを含む場合、前記第２グラフィック画面を生成する段階は、前記インタラクティブ・グラフィック・データから生成される第１インタラクティブ・グラフィック画面及び前記三次元フォーマット情報を利用し、第２インタラクティブ・グラフィック画面を生成する段階と、前記プレゼンテーション・グラフィック・データから生成される第１プレゼンテーション・グラフィック画面及び前記三次元フォーマット情報を利用し、第２プレゼンテーション・グラフィック画面を生成する段階と、を含み、前記第２グラフィック画面を前記ビデオ映像にオーバーレイする段階は、前記第２プレゼンテーション・グラフィック画面がオーバーレイされた前記ビデオ映像に、前記第２インタラクティブ・グラフィック画面をオーバーレイする段階を含む。

本発明の他の側面によれば、ビデオ・データから生成されるビデオ映像の三次元フォーマット情報を獲得する段階と、前記三次元フォーマット情報を利用し、前記ビデオ映像をインターレースト・フォーマットに変換する段階と、前記インターレースト・フォーマットのビデオ映像に、グラフィック・データから生成されるグラフィック画面をオーバーレイする段階と、を含むことを特徴とするビデオ映像処理方法を提供できる。

望ましい実施形態で、前記ビデオ映像がトップダウン・フォーマットである場合、前記ビデオ映像を前記インターレースト・フォーマットに変換する段階は、前記ビデオ映像に含まれたトップダウン・フォーマットの２つの映像のうち、上側映像の奇数番目の水平ラインと、下側映像の偶数番目の水平ラインとを交互に配列したり、または上側映像の偶数番目の水平ラインと、下側映像の奇数番目の水平ラインとを交互に配列し、前記インターレースト・フォーマットの映像に変換する段階を含む。また、前記ビデオ映像がサイド・バイ・サイド・フォーマットである場合、前記ビデオ映像をインターレースト・フォーマットに変換する段階は、前記ビデオ映像に含まれたサイド・バイ・サイド・フォーマットの２つの映像のうち、左側映像の奇数番目の垂直ラインと、右側映像の偶数番目の垂直ラインとを交互に配列したり、または左側映像の偶数番目の垂直ラインと、右側映像の奇数番目の垂直ラインとを交互に配列し、前記インターレースト・フォーマットの映像に変換する段階を含む。また、前記発明は、前記グラフィック画面がオーバーレイされた前記ビデオ映像を、左目映像及び右目映像に分離して出力する段階をさらに含む。

本発明のさらに他の側面によれば、ビデオ映像処理装置において、ビデオ・データをデコーディングしてビデオ映像を生成するビデオ・データ・デコーディング部、グラフィック・データをデコーディングして第１グラフィック画面を生成するグラフィック・データ・デコーディング部、前記ビデオ・データから、前記ビデオ映像の三次元フォーマット情報を抽出し、前記三次元フォーマット情報及び前記第１グラフィック画面を利用し、前記ビデオ映像に対応する第２グラフィック画面を生成する第２グラフィック画面生成部、前記第２グラフィック画面を前記ビデオ映像にオーバーレイするブレンダを含むことを特徴とするビデオ映像処理装置を提供できる。

本発明のさらに他の側面によれば、ビデオ映像処理装置において、ビデオ・データをデコーディングしてビデオ映像を生成するビデオ・データ・デコーディング部、グラフィック・データをデコーディングしてグラフィック画面を生成するグラフィック・データ・デコーディング部、前記ビデオ・データから、前記ビデオ映像の三次元フォーマット情報を抽出し、前記三次元フォーマット情報を利用し、前記ビデオ映像をインターレースト・フォーマットに変換するフォーマット変換部、前記インターレースト・フォーマットのビデオ映像に前記グラフィック画面をオーバーレイするブレンダを含むことを特徴とするビデオ映像処理装置を提供できる。

本発明のさらに他の側面によれば、ビデオ・データから生成されるビデオ映像の三次元フォーマット情報を獲得する段階、グラフィック・データから生成される第１グラフィック画面と前記三次元フォーマット情報とを利用し、前記ビデオ映像の三次元フォーマットに対応する第２グラフィック画面を生成する段階と、前記第２グラフィック画面を前記ビデオ映像にオーバーレイする段階と、を含むことを特徴とするビデオ映像処理方法を実行するためのプログラムを保存したコンピュータで読み取り可能な記録媒体を提供できる。

本発明のさらに他の側面によれば、ビデオ・データから生成されるビデオ映像の三次元フォーマット情報を獲得する段階と、前記三次元フォーマット情報を利用し、前記ビデオ映像をインターレースト・フォーマットに変換する段階と、前記インターレースト・フォーマットのビデオ映像に、グラフィック・データから生成されるグラフィック画面をオーバーレイする段階と、を含むことを特徴とするビデオ映像処理方法を実行するためのプログラムを保存したコンピュータで読み取り可能な記録媒体を提供できる。

本発明によれば、字幕やメニューなどのグラフィック画面を三次元フォーマットのビデオ映像と共に出力するための三次元ビデオ映像処理の方法及びその装置を提供できる。

本発明の一実施形態によるビデオ映像処理装置の内部ブロック図である。 図１のビデオ映像処理装置によって生成されるビデオ映像またはグラフィック画面を図示した図である。 図１のビデオ映像処理装置によって生成されるビデオ映像またはグラフィック画面を図示した図である。 図１のビデオ映像処理装置によって生成されるビデオ映像またはグラフィック画面を図示した図である。 図１のビデオ映像処理装置によって生成されるビデオ映像及びグラフィック画面を図示した図である。 図１のビデオ映像処理装置によって生成されるビデオ映像及びグラフィック画面を図示した図である。 本発明の他の実施形態によるビデオ映像処理装置の内部ブロック図である。 図３のビデオ映像処理装置によって生成されるビデオ映像またはグラフィック画面を図示した図である。 図３のビデオ映像処理装置によって生成されるビデオ映像またはグラフィック画面を図示した図である。 図３のビデオ映像処理装置によって生成されるビデオ映像またはグラフィック画面を図示した図である。 図３のビデオ映像処理装置によって生成されるビデオ映像及びグラフィック画面を図示した図である。 図３のビデオ映像処理装置によって生成されるビデオ映像及びグラフィック画面を図示した図である。 本発明の一実施形態によるビデオ映像処理方法を示したフローチャートである。 本発明の他の実施形態によるビデオ映像処理方法を示したフローチャートである。

以下、添付された図面を参照して、本発明の望ましい実施形態について説明する。

図１は、本発明の一実施形態によるビデオ映像処理装置１００の内部ブロック図であり、図２Ａないし図２Ｅは、図１のビデオ映像処理装置１００によって生成されるビデオ映像及び／またはグラフィック画面を図示した図である。以下、図１及び図２Ａないし図２Ｅについて共に説明する。

図１を参照するに、ビデオ映像処理装置１００は、ビデオ・データ・デコーディング部１１０、グラフィック・データ・デコーディング部１２０、第２グラフィック画面生成部１３０、ビデオ映像バッファ１４０、グラフィック画面バッファ１５０及びブレンダ１６０を含む。図１では、ビデオ映像処理装置１００が出力装置２００を含まないが、他の実施形態で、ビデオ映像処理装置１００内に、出力装置２００が含まれることもある。

ビデオ映像処理装置１００は、テレビ、コンピュータ、モバイル・デバイス、セット・トップ・ボックス、ゲーム・システムなどになりうる。出力装置２００は、陰極線管（ＣＲＴ）・ディスプレイ装置、ＬＣＤ（liquid crystal display）装置、プラズマ・ディスプレイ装置、ＯＬＥＤ（organic light emitting diode）ディスプレイ素子、ゴーグルなどになりうる。さらに、それぞれのユニット１１０，１２０，１３０，１４０，１５０，１６０は、一つ以上のプロセッサであるか、または一つ以上のチップ上のプロセシング・ユニットであるか、または集積回路（ＩＣ）でありうる。

逆多重化部（図示せず）は、ビット・ストリーム状の入力信号を逆多重化し、ビデオ・データＩＮ１は、ビデオ・データ・デコーディング部１１０に送り、グラフィック・データＩＮ２は、グラフィック・データ・デコーディング部１２０に送る。ビデオ・データ・デコーディング部１１０は、逆多重化部から受けたビデオ・データをデコーディングし、ビデオ映像を生成する。ビデオ映像は、二次元（２Ｄ）フォーマット映像であるか、または三次元（３Ｄ）フォーマット映像でありうる。図２Ａは、ビデオ映像が三次元フォーマット映像である場合、ビデオ・データ・デコーディング部１１０によってデコーディングされた三次元フォーマット・ビデオ映像を図示している。図２Ａでのように、三次元映像は、同時にディスプレイされる左／右映像が、１つのフレームに割り当てられた三次元フォーマットの形態である。あらゆる発明の実施形態において要求されるものではないが、ビデオ映像処理装置１００は、ビデオ・データとグラフィック・データとを含むディスクを読み取るドライブを含むか、または別個のドライブと連結されている。三次元映像をディスプレイする装置は、三次元映像を再生するために、左目用イメージと右目用イメージとを順次に表示する。片方の目を基準にして、ディスプレイ装置が最小６０Ｈｚのframe rateで画面を再生してこそ、視聴者は、イメージが切れずに順次に再生されると認知する。三次元映像は、左／右の両眼を介して入力されたイメージが合わさって生成されるので、視聴者が三次元映像が切れずに再生されると認知するためには、ディスプレイ装置が、最小限１２０Ｈｚのframe rateで画面を出力しなければならない。これは、少なくとも１／１２０秒単位で左／右イメージが順次に表示される場合、ユーザが画面を見て、三次元映像であると認知することを意味する。

ディスプレイ装置は１２０Ｈｚを支援する場合があるが、ビデオ・データをデコーディングして三次元映像を復元するプレーヤの場合、１２０Ｈｚの帯域幅を支援する出力端子がないことがある。例えば、プレーヤは、６０Ｈｚ、すなわち１／６０秒単位でフレーム映像を出力してディスプレイ装置に伝送できる。プレーヤから１／６０秒単位で伝送されるフレーム映像を利用し、ディスプレイ装置が１／１２０秒単位で左／右イメージを生成するためには、ビデオ映像のフレームに、左／右イメージがいずれも含まれていなければならない。本発明の実施形態で、ビデオ映像処理装置１００はプレーヤに該当し、出力装置２００はディスプレイ装置に該当するので、ビデオ映像処理装置２００が、６０Ｈｚのframe rateでフレーム映像を出力装置２００に伝送する場合、出力装置２００が、１２０Ｈｚのframe rateで画面を出力するためには、ビデオ映像が左／右イメージをいずれも含む三次元フォーマットにせねばならない。ビデオ映像の三次元フォーマットとしては、トップダウン（top and down）・フォーマット、サイド−バイ−サイド（side by side）・フォーマット、そしてインターレースト（interlaced）・フォーマットなどがある。

図２Ａで、上の図面がトップダウン・フォーマットのビデオ映像を図示している。トップダウン・フォーマットは、縦方向にサブ・サンプリングされた左目映像及び右目映像が、それぞれ上部及び下部に割り当てられた１つのフレームをいう。図２Ａで、下の図面がサイド−バイ−サイド・フォーマットのビデオ映像を図示している。サイド−バイ−サイド・フォーマットは、横方向にサブ・サンプリングされた左目映像及び右目映像が、それぞれ左側及び右側に割り当てられたフレームをいう。

ビデオ・データ・デコーディング部１１０は、ビデオ映像をビデオ映像バッファ１４０に伝送する。

グラフィック・データ・デコーディング部１２０は、逆多重化部から入力されたグラフィック・データをデコーディングし、第１グラフィック画面を生成する。グラフィック・データは、字幕を提供するためのプレゼンテーション・グラフィック・データ、及び／またはメニューを提供するためのインタラクティブ・グラフィック・データを含むことができる。グラフィック・データが字幕を提供するプレゼンテーション・グラフィック・データと、メニューを提供するインタラクティブ・グラフィック・データとをいずれも含む場合、グラフィック・データ・デコーディング部１２０は、プレゼンテーション・グラフィック・データを利用し、第１プレゼンテーション・グラフィック画面を生成し、インタラクティブ・グラフィック・データを利用し、第１インタラクティブ・グラフィック画面を生成する。

図２Ｂは、グラフィック・データ・デコーディング部１２０によってデコーディングされた第１グラフィック画面を図示している。ビデオ映像が二次元フォーマット映像である場合、第１グラフィック画面は、二次元のビデオ映像にオーバーレイされ、ビデオ映像に係わる字幕やメニューなどを提供する。しかし、ビデオ映像が図２Ａのように、三次元フォーマットである場合、第１グラフィック画面は、図２Ｂでのように、三次元フォーマットのビデオ映像に適したフォーマットではないので、第１グラフィック画面がビデオ映像にオーバーレイされる場合、フォーマットが合わずに、字幕やメニューなどが適切に出力されない。従って、ビデオ映像が三次元フォーマットである場合、三次元フォーマットのビデオ映像に合うフォーマットのグラフィック画面が要求される。

第２グラフィック画面生成部１３０は、ビデオ・データのヘッダから、ビデオ映像が二次元フォーマット映像であるか、または三次元フォーマット映像であるかを示す識別子を抽出する。第２グラフィック画面生成部１３０は、識別子を利用し、ビデオ映像が二次元フォーマットであると判断されれば、第１グラフィック画面をグラフィック画面バッファ１５０に送る。一方、第２グラフィック画面生成部１３０は、ビデオ映像が三次元フォーマット映像であると判断される場合、ビデオ・データのヘッダから、三次元ビデオ映像がいかなるフォーマットであるかを示す三次元フォーマット情報を獲得する。第２グラフィック画面生成部１３０は、三次元フォーマット情報を解読し、ビデオ映像の三次元フォーマット形態を判別し、これを利用して、第２グラフィック画面を生成する。上記で、第２グラフィック画面生成部１３０が、ビデオ映像が二次元フォーマット映像であるか、または三次元フォーマット映像であるかを決定し、三次元フォーマット・タイプを決定するが、本発明の実施形態は、これに限定されるものではない。例えば、他の実施形態で、図１には図示されていないが、ビデオ映像処理装置１００に含まれた制御部が、ビデオ映像が二次元フォーマットであるかまたは三次元フォーマットであるかを判断し、三次元フォーマット映像である場合、三次元フォーマット情報を獲得し、これを第２グラフィック画面生成部１３０に通知することもできる。

第２グラフィック画面生成部１３０は、第１グラフィック画面及び三次元フォーマットの情報を利用し、ビデオ映像の三次元フォーマット・タイプに合う第２グラフィック画面を生成する。第２グラフィック画面生成部１３０は、ビデオ映像がトップダウン・フォーマットである場合（図２Ａの上）、第１グラフィック画面のフレームを縦方向にサンプリングし、第１グラフィック画面のフレームが縦方向に縮小されたサイズのサブ・フレームを生成する。第２グラフィック画面生成部１３０は、縮小されたサイズのサブ・フレームを二つ生成し、これをビデオ映像のトップダウン・フォーマットに合うように縦方向に配列し、２つのサブ・フレームが含まれたフレームを生成する。図２Ｃの上側図面は、ビデオ映像が図２Ａの上側図面と同じトップダウン・フォーマットである場合、図２Ｂの上側の第１グラフィック画面を利用して生成した第２グラフィック画面を図示している。

ビデオ映像がサイド−バイ−サイド・フォーマットである場合（図２Ａの下）、第２グラフィック画面生成部１３０は、第１グラフィック画面のフレームを横方向にサンプリングし、第２グラフィック画面のフレームを横方向に縮小させたサイズのサブ・フレームを生成する。第２グラフィック画面生成部１３０は、サブ・フレームを二つ生成し、これをビデオ映像のサイド−バイ−サイド・フォーマットに合うように横方向に配列し、２つのサブ・フレームが含まれた１つのフレームを生成する。図２Ｃの下側図面は、ビデオ映像が図２Ａの下側図面と同じサイド−バイ−サイド・フォーマットである場合、図２Ｂの下側第１グラフィック画面を利用して生成した第２グラフィック画面を図示する。

グラフィック・データが字幕を提供するプレゼンテーション・グラフィック・データと、メニューを提供するインタラクティブ・グラフィック・データとをいずれも含む場合、第２グラフィック画面生成部１３０は、第１プレゼンテーション・グラフィック画面を利用して、第２プレゼンテーション・グラフィック画面を生成し、第１インタラクティブ・グラフィック画面を利用して、第２インタラクティブ・グラフィック画面を生成する。

第２グラフィック画面生成部１３０は、生成された第２グラフィック画面（第２プレゼンテーション・グラフィック画面及び／または第２インタラクティブ・グラフィック画面を含む）をグラフィック画面バッファ１５０に送る。

図１には図示されていないが、ビデオ映像処理装置１００は、ＳＴＣ（system time clock）カウンタを含む。ビデオ映像処理装置１００は、システム・タイムクロックであるＳＴＣカウンタによってデコーディングされて出力される。ビデオ映像バッファ１４０と、グラフィック画面バッファ１５０は、それぞれビデオ映像及び第２グラフィック画面を一時的に保存していて、ＳＴＣがＰＴＳ（presentation time stamp）と一致するとき、ビデオ映像と第２グラフィック画面とを、ブレンダ１６０に送る。

ブレンダ１６０は、ビデオ映像と第２グラフィック画面とをオーバーレイし、これを出力部２００に伝送する。図２Ｄは、ブレンダ１６０によって、ビデオ映像と第２グラフィック画面とがオーバーレイされた画面を図示している。図２Ｄの上側図面は、ビデオ映像がトップダウン・フォーマットである場合、トップダウン・フォーマットに合うように変換された第２グラフィック画面が、ビデオ映像と共にオーバーレイされている画面を図示している。図２Ｄの下側図面は、ビデオ映像がサイド−バイ−サイド・フォーマットである場合、サイド−バイ−サイド・フォーマットに合うように変換されたグラフィック画面が、ビデオ映像にオーバーレイされている画面を図示している。

グラフィック・データが、字幕を提供するプレゼンテーション・グラフィック・データと、メニューを提供するインタラクティブ・グラフィック・データとをいずれも含む場合、ブレンダ１６０は、ビデオ映像と第２プレゼンテーション・グラフィック画面とをまずオーバーレイした後、順序として、第２プレゼンテーション・グラフィック画面がオーバーレイされたビデオ映像に、第２インタラクティブ・グラフィック画面をオーバーレイする。すなわち、ブレンダ１６０は、ビデオ映像に字幕をまずブレンドし、その後、字幕がブレンドされたビデオ映像に、メニューをブレンドする。しかし、他の実施形態で、ブレンダ１６０は、ビデオ映像とメニューとをまずブレンドし、その後、メニューがブレンドされたビデオ映像を、字幕とブレンドする。

出力装置２００は、ブレンダ１６０から受けた画面を三次元映像ＯＵＴ１として出力する。出力装置２００は、ビデオ・フレーム一つに含まれた左／右イメージを分離し、左目映像と右目映像とをそれぞれ生成する。出力装置２００は、左目映像と右目映像とを交互に少なくとも１／１２０秒単位でディスプレイする。出力映像ＯＵＴ１は、有線及び／または無線のプロトコルを介して、ゴーグルなどのように、ユーザが視聴する出力画面を介して、受信部で受信されうる。図２Ｅは、出力部２００によって出力される左目映像と右目映像とを図示している。または、あらゆる実施形態で要求されるものではないが、ビデオ映像処理装置１００は、ブレンダ１６０から外部デバイスに、受信された映像を伝送したり、または映像を記録媒体に記録することもできる。例えば、ビデオ映像処理装置１００は、映像をディスク（例えば、ＤＶＤ（digital versatile disc）、ブルーレイなど）に直接記録するドライブを含んだり、または分離されたドライブに連結されうる。

このように、本発明の一側面によれば、ビデオ映像が三次元である場合、三次元ビデオ映像フォーマットに合うグラフィック画面を生成できる。また、本発明の一側面によれば、三次元ビデオ映像とグラフィック画面とをオーバーレイして共に出力できる。

図３は、本発明の他の実施形態によるビデオ映像処理装置３００の内部ブロック図であり、図４Ａないし図４Ｅは、図３のビデオ映像処理装置３００によって生成されるビデオ映像及び／またはグラフィック画面を図示した図である。以下、図３及び図４Ａないし図４Ｅについて共に説明する。

図３を参照するに、ビデオ映像処理装置３００は、ビデオ・データ・デコーディング部３１０、グラフィック・データ・デコーディング部３２０、フォーマット変換部３３０、ビデオ映像バッファ３４０、グラフィック画面バッファ３５０及びブレンダ１６０を含む。図１でのように、ビデオ映像処理装置３００は、出力装置４００と独立していることもあるが、本発明はそれに限定されるものではなく、ビデオ映像処理装置３００は、出力部４００を含むこともできる。ビデオ映像処理装置３００は、テレビ、コンピュータ、モバイル・デバイス、セット・トップ・ボックス、ゲーム・システムなどになりうる。出力装置４００は、陰極線管（ＣＲＴ）・ディスプレイ装置、ＬＣＤ（liquid crystal display）装置、プラズマ・ディスプレイ装置、ＯＬＥＤ（organic light emitting diode）ディスプレイ装置などになりうる。さらに、必ずしもその限りではないが、ユニット３１０，３２０，３３０，３４０，３５０，１６０それぞれは、一つ以上のプロセッサであったり、または一つ以上のチップ上のプロセシング・エレメントであったり、または集積回路（ＩＣ）でありうる。

ビデオ・データ・デコーディング部３１０は、ビデオ・データＩＮ３をデコーディングして、ビデオ映像を生成する。ビデオ・データ・デコーディング部３１０は、ビデオ映像をフォーマット変換部３３０に送る。フォーマット変換部３３０は、ビデオ映像が二次元フォーマットであるか、または三次元フォーマットであるかを判断し、ビデオ映像が三次元フォーマットである場合、ビデオ映像の三次元フォーマット情報を獲得する。フォーマット変換部３３０は、ビデオ映像の三次元フォーマット情報を利用し、三次元ビデオ映像のフォーマットがインターレースト・フォーマットであるか否かを判断する。インターレースト・フォーマットというのは、左目映像と右目映像とを垂直方向または水平方向に一定の間隔で１／２ほどサンプリングし、左目映像と右目映像とが水平ラインごと、または垂直ラインごとに交互に位置するようにして生成された三次元映像である。

図４Ａは、ビデオ映像が三次元フォーマット映像である場合、ビデオ・データ・デコーディング部３１０によってデコーディングされた三次元ビデオ映像を図示している。図２Ａと同様に、三次元フォーマット映像は、同時にディスプレイされる左／右映像が１つのフレームに割り当てられた三次元フォーマットの形態を有する。図４Ａで、上側図面は、トップダウン・フォーマットのビデオ映像を図示し、図４Ａで、下側図面は、サイド−バイ−サイド・フォーマットのビデオ映像を図示している。

グラフィック・データ・デコーディング部３２０は、グラフィック・データＩＮ４をデコーディングし、字幕及び／またはメニューを提供するグラフィック画面を生成する。グラフィック・データは、字幕を提供するためのプレゼンテーション・グラフィック・データ及び／またはメニューを提供するためのインタラクティブ・グラフィック・データを含むことができる。グラフィック・データが字幕を提供するプレゼンテーション・グラフィック・データとメニューを提供するインタラクティブ・グラフィック・データとをいずれも含む場合、グラフィック・データ・デコーディング部３２０は、プレゼンテーション・グラフィック・データをデコーディングして、字幕を提供するプレゼンテーション・グラフィック画面を生成し、インタラクティブ・グラフィック・データをデコーディングして、メニューを提供するインタラクティブ・グラフィック画面を生成する。図４Ｂは、グラフィック・データ・デコーディング部３２０によって生成されたグラフィック画面を図示している。グラフィック・データ・デコーディング部３２０は、グラフィック画面をグラフィック画面バッファ３５０に送る。

図４Ｂでのように、グラフィック画面は、二次元のビデオ映像に適したフォーマットであるから、ビデオ映像が図４Ａでのように、トップダウン・フォーマットであるか、あるいはサイド−バイ−サイド・フォーマットである場合、グラフィック画面がビデオ映像にオーバーレイされる場合、フォーマットが合わずに、字幕やメニューなどが適切に出力されない。

フォーマット変換部３３０は、ビデオ・データのヘッダから、ビデオ映像が二次元フォーマット映像であるか、または三次元フォーマット映像であるかを示す識別子を抽出する。フォーマット変換部３３０は、識別子を利用して、ビデオ映像が二次元フォーマットであると判断されれば、ビデオ映像をビデオ映像バッファ３４０に送る。フォーマット変換部３３０は、ビデオ映像が三次元フォーマット映像であると判断される場合、ビデオ・データのヘッダから、三次元ビデオ映像がいかなるフォーマットであるかを示す三次元フォーマット情報を獲得する。フォーマット変換部３３０は、ビデオ映像がインターレースト・フォーマットの三次元映像である場合には、ビデオ映像をビデオ映像バッファ３４０に送る。上記で、フォーマット変換部３３０は、ビデオ映像が二次元フォーマット映像であるか、または三次元フォーマット映像であるかを決定し、三次元フォーマット・タイプを決定するが、本発明は、これに限定されるものではない。例えば、他の実施形態で、図３には図示されていないが、ビデオ映像処理装置３００は、制御部を含むことができ、制御部は、ビデオ・データの映像が二次元フォーマットであるかまたは三次元フォーマットであるかを判断し、三次元フォーマットである場合、ビデオ映像のフォーマット情報を獲得し、かつ／またはビデオ映像のフォーマット情報をフォーマット変換部３３０に知らせることも可能である。

フォーマット変換部３３０は、ビデオ映像が二次元映像でもなく、インターレースト・フォーマットの三次元映像でもない場合、三次元ビデオ映像のフォーマットをインターレースト・フォーマットに変換する。ビデオ映像がトップダウン・フォーマットである場合、フォーマット変換部３３０は、ビデオ映像のうち、上側映像の奇数番目の水平ラインと、下側映像の偶数番目の水平ラインとを交互に配列したり、上側映像の偶数番目の水平ラインと、下側映像の奇数番目の水平ラインとを交互に配列し、トップダウン・フォーマットのビデオ映像をインターレースト・フォーマットに変換できる。図４Ｃで、上側図面は、デコーディングされたビデオ映像がトップダウン・フォーマットである場合、フォーマット変換部３３０によって変換されたインターレースト・フォーマットのビデオ映像を図示している。

ビデオ映像がサイド−バイ−サイド・フォーマットである場合、フォーマット変換部３３０は、ビデオ映像のうち左側映像の偶数番目の垂直ラインと、右側映像の奇数番目の垂直ラインとを交互に配列したり、左側映像の奇数番目の垂直ラインと、右側映像の偶数番目の垂直ラインとを交互に配列し、サイド−バイ−サイド・フォーマットのビデオ映像をインターレースト・フォーマットに変換できる。図４Ｃで、下側図面は、デコーディングされたビデオ映像が、サイド−バイ−サイド・フォーマットである場合、フォーマット変換部３３０によって変換されたインターレースト・フォーマットのビデオ映像を図示している。

フォーマット変換部３３０はインターレースト・フォーマットに変換されたビデオ映像をビデオ映像バッファ３４０に送る。

図１のビデオ映像処理装置１００を参照して説明した通り、ビデオ映像バッファ３４０とグラフィック画面バッファ３５０は、それぞれビデオ映像及びグラフィック画面を一時的に保存していて、ＳＴＣがＰＴＳと一致するとき、ビデオ映像とグラフィック画面とをブレンダ１６０に送る。ブレンダ１６０は、ビデオ映像とグラフィック画面とをオーバーレイし、これを出力部４００に送る。グラフィック・データが、字幕を提供するプレゼンテーション・グラフィック・データと、メニューを提供するインタラクティブ・グラフィック・データとをいずれも含む場合、ブレンダ１６０は、ビデオ映像とプレゼンテーション・グラフィック画面とをまずオーバーレイした後、プレゼンテーション・グラフィック画面がオーバーレイされたビデオ映像に、インタラクティブ・グラフィック画面を順次にオーバーレイする。しかし、他の実施形態で、ブレンダ１６０は、ビデオ映像とインタラクティブ・グラフィック映像とをまずブレンドし、その後、インタラクティブ・グラフィック映像がオーバーレイされたビデオ映像を、プレゼンテーション・グラフィック映像にオーバーレイする。図４Ｄは、ブレンダによって、ビデオ映像とグラフィック画面とがオーバーレイされた画面を図示する。

出力部４００は、ブレンダ１６０から受信したビデオ映像を、三次元立体映像ＯＵＴ２として出力する。出力映像ＯＵＴ２は、受信部で受信され、ユーザは、有線及び／または無線のプロトコルを介して、ゴーグルのような受信部を介して出力画面を視聴する。

出力部４００は、グラフィック画面がオーバーレイされたビデオ映像を、左目映像及び右目映像に分離して出力する。出力装置４００は、ビデオ・フレーム一つに含まれた左／右イメージを分離し、左目映像と右目映像とをそれぞれ生成し、これを交互に少なくとも１／１２０秒単位でディスプレイする。図４Ｅは、出力部４００によって出力される左目映像と右目映像とを図示している。または、あらゆる実施形態で要求されるものではないが、ビデオ映像処理装置３００は、ブレンダ１６０から受信した映像を外部デバイスに伝送したり、または記録媒体に映像を記録することもできる。例えば、ビデオ映像処理装置３００は、ディスク（例えば、ＤＶＤ、ブルーレイなど）上に映像を記録するドライブを含んだり、または別個のドライブと連結されうる。

このように、本発明の他の実施形態によれば、三次元ビデオ映像がインターレースト・フォーマットではない場合、ビデオ映像のフォーマットをインターレースト・フォーマットに変換し、変換されたビデオ映像に、字幕及び／またはメニューをオーバーレイして出力できる。

図５は、本発明の一実施形態によるビデオ映像処理方法を示したフローチャートである。図５を参照するに、ビデオ映像処理装置は、ビデオ映像の三次元フォーマット情報を獲得する（段階５１０）。例えば、ビデオ映像処理装置は、ビデオ・データのヘッダから、ビデオ映像が三次元フォーマットであるか否かを示す識別子を抽出し、これを利用し、ビデオ映像が三次元フォーマットであると判断される場合、ビデオ・データから三次元フォーマット情報を獲得する。ビデオ映像処理装置は、グラフィック・データをデコーディングし、第１グラフィック画面を生成する。ビデオ映像装置は、ビデオ映像が三次元フォーマットである場合、第１グラフィック画面と三次元フォーマット情報とを利用し、ビデオ映像フォーマットに合う第２グラフィック画面を生成する（段階５２０）。ビデオ映像処理装置は、ビデオ映像がサイド−バイ−サイド・フォーマットである場合、第１グラフィック画面のフレームを横方向に縮小してサブ・フレームを生成し、サブ・フレームを横方向に配列し、サブ・フレーム二つが横方向に含まれたフレームの第２グラフィック画面を生成する。ビデオ映像処理装置は、ビデオ映像がトップダウン・フォーマットである場合、第１グラフィック画面のフレームを縦方向に縮小してサブ・フレームを生成し、サブ・フレームを縦方向に配列し、サブ・フレーム二つが含まれたフレームの第２グラフィック画面を生成する。

ビデオ映像処理装置は、第２グラフィック画面をビデオ映像にオーバーレイする（段階５３０）。グラフィック・データが字幕を提供するプレゼンテーション・グラフィック・データと、メニューを提供するインタラクティブ・グラフィック・データとをいずれも含む場合、ビデオ映像処理装置は、ビデオ映像と第２プレゼンテーション・グラフィック画面とをまずオーバーレイした後、第２プレゼンテーション・グラフィック画面がオーバーレイされたビデオ映像に、第２インタラクティブ・グラフィック画面をオーバーレイする。場合によっては、ビデオ映像処理装置は、第２グラフィック画面がオーバーレイされたビデオ映像を、左目映像及び右目映像に分離して画面に出力する。

図６は、本発明の他の実施形態によるビデオ映像処理装置のビデオ映像処理方法を示したフローチャートである。ビデオ映像処理装置は、ビデオ・データをデコーディングしてビデオ映像を抽出し、グラフィック・データをデコーディングしてグラフィック画面を抽出する。さらに、ビデオ映像処理装置は、ビデオ・データからビデオ映像が二次元フォーマットであるか、または三次元フォーマットであるかを示す識別子を抽出する。図６を参照するに、ビデオ映像が三次元フォーマット映像である場合、ビデオ映像処理装置は、ビデオ・フォーマット情報を獲得する（段階６１０）。ビデオ映像処理装置は、ビデオ映像がインターレースト・フォーマットであるか否かを判断し（段階６２０）、ビデオ映像がインターレースト・フォーマットである場合、ビデオ映像にグラフィック画面をオーバーレイする（段階６４０）。ビデオ映像処理装置は、ビデオ映像がインターレースト・フォーマットではない場合、ビデオ映像をインターレースト・フォーマットに変換する（段階６３０）。このために、ビデオ映像処理装置は、ビデオ映像がトップダウン・フォーマットである場合、ビデオ映像に含まれた２つの映像のうち、上側映像の奇数番目の水平ラインと、偶数番目の水平ラインとを交互に配列したり、または上側映像の偶数番目の水平ラインと、下側映像の奇数番目の水平ラインとを交互に配列し、インターレースト・フォーマットの映像に変換する。ビデオ映像処理装置は、ビデオ映像がサイド−バイ−サイド・フォーマットである場合、ビデオ映像に含まれた２つの映像のうち、左側映像の奇数番目の垂直ラインと、右側映像の偶数番目の垂直ラインとを交互に配列したり、左側映像の偶数番目の垂直ラインと、右側映像の奇数番目の垂直ラインとを交互に配列し、インターレースト・フォーマットの映像に変換する。ビデオ映像処理装置は、インターレースト・フォーマットに変換されたビデオ映像に、グラフィック画面をオーバーレイする（段階６４０）。場合によっては、ビデオ映像処理装置は、グラフィック画面がオーバーレイされたビデオ映像を、左目映像及び右目映像に分離し、１／１２０秒単位で交互に出力できる。

以上、本発明について、その望ましい実施形態を中心に説明を行った。本発明が属する技術分野で当業者は、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現されうることを理解することができるであろう。よって、開示された実施形態は、限定的な観点ではなくして、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなくして、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれたものであると解釈されねばならない。

Claims (15)

1. ビデオ映像の三次元フォーマットを決定するために、前記ビデオ映像処理装置は、ビデオ・データから生成されるビデオ映像の三次元フォーマット情報を獲得する段階と、
   前記ビデオ映像処理装置は、前記三次元フォーマット情報、及びグラフィック・データから生成される、前記ビデオ映像と区別される第１グラフィック画面を利用し、前記ビデオ映像の前記決定された三次元フォーマットに対応する第２グラフィック画面を生成する段階と、
   前記ビデオ映像処理装置は、前記第２グラフィック画面を前記ビデオ映像にオーバーレイする段階と、を含むことを特徴とするビデオ映像処理装置で遂行するビデオ映像処理方法。
2. 前記決定された三次元フォーマットがサイド・バイ・サイド・フォーマットである場合、
   前記第２グラフィック画面を生成する段階は、前記第１グラフィック画面のフレームを横方向に縮小して２つのサブ・フレームを生成する段階と、
   前記生成された２つのサブ・フレームを横方向に含むフレームの第２グラフィック画面を生成する段階と、を含むことを特徴とする請求項１に記載のビデオ映像処理方法。
3. 前記決定された三次元フォーマットがトップダウン・フォーマットである場合、
   前記第２グラフィック画面を生成する段階は、前記第１グラフィック画面のフレームを縦方向に縮小して２つのサブ・フレームを生成する段階と、
   前記生成された２つのサブ・フレームを縦方向に含むフレームの第２グラフィック画面を生成する段階と、を含むことを特徴とする請求項１に記載のビデオ映像処理方法。
4. 前記三次元フォーマット情報を獲得する段階は、前記ビデオ・データから、前記ビデオ映像が三次元フォーマット映像であるか否かを示す識別子を抽出する段階と、
   前記識別子を利用し、前記ビデオ映像が前記三次元フォーマット映像である場合、前記ビデオ・データから、前記三次元フォーマット情報を獲得する段階と、を含むことを特徴とする請求項１に記載のビデオ映像処理方法。
5. 前記第２グラフィック画面がオーバーレイされた前記ビデオ映像を、左目映像及び右目映像に分離して出力する段階をさらに含むことを特徴とする請求項１に記載のビデオ映像処理方法。
6. 前記グラフィック・データは、字幕を提供するためのプレゼンテーション・グラフィック・データ及び／またはメニューを提供するためのインタラクティブ・グラフィック・データを含み、前記グラフィック・データが、前記プレゼンテーション・グラフィック・データ及び前記インタラクティブ・グラフィック・データを含む場合、前記第２グラフィック画面を生成する段階は、前記インタラクティブ・グラフィック・データから生成される第１インタラクティブ・グラフィック画面及び前記三次元フォーマット情報を利用し、第２インタラクティブ・グラフィック画面を生成する段階と、
   前記プレゼンテーション・グラフィック・データから生成される第１プレゼンテーション・グラフィック画面及び前記三次元フォーマット情報を利用し、第２プレゼンテーション・グラフィック画面を生成する段階と、を含み、
   前記第２グラフィック画面を前記ビデオ映像にオーバーレイする段階は、
   前記第２プレゼンテーション・グラフィック画面を、前記ビデオ映像にオーバーレイする段階と、
   前記第２プレゼンテーション・グラフィック画面がオーバーレイされた前記ビデオ映像に、前記第２インタラクティブ・グラフィック画面をオーバーレイする段階と、を含むことを特徴とする請求項１に記載のビデオ映像処理方法。
7. ビデオ映像処理装置は、ビデオ・データから生成されるビデオ映像の三次元フォーマット情報を獲得する段階と、
   前記ビデオ映像処理装置は、前記獲得した三次元フォーマット情報を利用し、前記ビデオ映像を三次元インターレースト・フォーマットビデオ映像に変換する段階と、
   前記ビデオ映像処理装置は、グラフィック・データから生成される、前記ビデオ映像とは区別されるグラフィック画面を、前記三次元インターレースト・フォーマットのビデオ映像にオーバーレイする段階と、を含むことを特徴とするビデオ映像処理装置で遂行するビデオ映像処理方法。
8. 前記ビデオ映像を前記三次元インターレースト・フォーマットビデオ映像に変換する段階は、
   前記ビデオ映像が上側映像と下側映像とを含むトップダウン・フォーマットである場合、前記上側映像の奇数番目の水平ラインと、前記下側映像の偶数番目の水平ラインとを交互に配列したり、または上側映像の偶数番目の水平ラインと、下側映像の奇数番目の水平ラインとを交互に配列し、前記ビデオ映像を前記三次元インターレースト・フォーマットの映像に変換する段階を含むことを特徴とする請求項７に記載のビデオ映像処理方法。
9. 前記ビデオ映像を三次元インターレースト・フォーマットビデオ映像に変換する段階は、
   前記ビデオ映像が左側映像と右側映像とを含むサイド・バイ・サイド・フォーマットである場合、前記左側映像の奇数番目の垂直ラインと、右側映像の偶数番目の垂直ラインとを交互に配列したり、または左側映像の偶数番目の垂直ラインと、右側映像の奇数番目の垂直ラインとを交互に配列し、前記ビデオ映像を前記三次元インターレースト・フォーマットの映像に変換する段階を含むことを特徴とする請求項７に記載のビデオ映像処理方法。
10. 前記グラフィック画面がオーバーレイされた前記ビデオ映像を、左目映像及び右目映像に分離する段階と、
    前記左目映像及び右目映像を出力する段階と、をさらに含むことを特徴とする請求項７に記載のビデオ映像処理方法。
11. ビデオ映像処理装置において、
    ビデオ・データをデコーディングして、ビデオ映像を生成するビデオ・データ・デコーディング部と、
    グラフィック・データをデコーディングして、第１グラフィック画面を生成するグラフィック・データ・デコーディング部と、
    前記ビデオ映像の三次元フォーマットを決定するために、前記ビデオ・データから、前記ビデオ映像の三次元フォーマット情報を抽出し、前記三次元フォーマット情報を利用し、前記第１グラフィック画面から前記ビデオ映像の前記決定された三次元フォーマットに対応する第２グラフィック画面を生成する第２グラフィック画面生成と、
    前記第２グラフィック画面を前記ビデオ映像にオーバーレイするブレンダと、を含むことを特徴とするビデオ映像処理装置。
12. 前記決定された三次元フォーマットがサイド・バイ・サイド・フォーマットである場合、前記第２グラフィック画面生成部は、前記第１グラフィック画面のフレームを横方向に縮小して２つのサブ・フレームを生成し、前記２つのサブ・フレームが横方向に配列されたフレームの前記第２グラフィック画面を生成することを特徴とする請求項１１に記載のビデオ映像処理装置。
13. ビデオ映像処理装置において、
    ビデオ・データをデコーディングして、ビデオ映像を生成するビデオ・データ・デコーディングと、
    グラフィック・データをデコーディングして、グラフィック画面を生成するグラフィック・データ・デコーディングと、
    前記ビデオ・データから、前記ビデオ映像の三次元フォーマット情報を抽出し、前記三次元フォーマット情報を利用し、前記ビデオ映像を三次元インターレースト・フォーマットビデオ映像に変換するフォーマット変換部と、
    前記三次元インターレースト・フォーマットのビデオ映像に、前記グラフィック画面をオーバーレイするブレンダと、を含むことを特徴とするビデオ映像処理装置。
14. ビデオ映像の三次元フォーマットを決定するために、ビデオ映像処理装置は、ビデオ・データから生成されるビデオ映像の三次元フォーマット情報を獲得する段階と、
    前記ビデオ映像処理装置は、前記三次元フォーマット情報、及びグラフィック・データから生成される、前記ビデオ映像と区別される第１グラフィック画面を利用し、前記ビデオ映像の前記決定された三次元フォーマットに対応する第２グラフィック画面を生成する段階と、
    前記ビデオ映像処理装置は、前記第２グラフィック画面を前記ビデオ映像にオーバーレイする段階と、を含むことを特徴とするビデオ映像処理装置で遂行するビデオ映像処理方法を実行するためのプログラムを保存したコンピュータで読み取り可能な記録媒体。
15. ビデオ映像処理装置は、ビデオ・データから生成されるビデオ映像の三次元フォーマット情報を獲得する段階と、
    前記ビデオ映像処理装置は、前記獲得した三次元フォーマット情報を利用し、前記ビデオ映像を三次元インターレースト・フォーマットビデオ映像に変換する段階と、
    前記ビデオ映像処理装置は、グラフィック・データから生成される、前記ビデオ映像とは区別されるグラフィック画面を、前記三次元インターレースト・フォーマットのビデオ映像にオーバーレイする段階と、を含むことを特徴とするビデオ映像処理装置で遂行するビデオ映像処理方法を実行するためのプログラムを保存したコンピュータで読み取り可能な記録媒体。

Images