JP2013081029A - 映像再生装置、映像再生方法及び映像再生プログラム - Google Patents

Abstract

【課題】データ放送を正常かつ立体的に表示すること。
【解決手段】データ処理部１０４により、データ放送用データを解析して得られた文字図形要素を指定位置に描画した第１のフレームと、ユーザによって指定された所望の立体深度値から算出されるピクセル移動距離に基づいて上記指定位置からずらした位置に同文字図形要素を描画した第２のフレームとで構成された文字図形プレーンを生成し、オーバレイ処理部１０５およびモニタ出力部１０６により、映像処理部１０３から出力された動画プレーンに含まれる左眼用・右眼用の各映像データを上記文字図形プレーンの第１・第２の各フレームにそれぞれ重畳して交互にモニタ出力する。
【選択図】図１

Description

本発明は、デジタル放送において、映像放送の３次元表示時に、データ放送に奥行きを持たせて表示する技術に関する。

デジタルテレビジョン放送では、付属するリモコン端末の「ｄ」ボタンが放送番組視聴中に押し下げられた場合、映像再生装置に内蔵されたＢＭＬブラウザを利用することにより、ＢＭＬ（Broadcast Markup Language）で記述された２Ｄコンテンツのデータ放送（例えば、放送番組の関連情報やニュース・天気予報など）を放送映像と同時に見ることができる。

このＢＭＬブラウザは、映像を動画プレーン上に描画した後にスケーリング（サイズや位置の変更）を行い、文字図形プレーンにおいて指示された領域にオーバレイすることによって、コンテンツを表示する（非特許文献１参照）。多くの場合、図６のように表示されることから、Ｌ字型コンテンツと呼ばれている。

一方、近年では、映像を立体的に表示することが所望されており、映画館のみならず、家庭向けのデジタルテレビジョン放送でも３Ｄ（three dimentions）のデジタル放送が開始されている。

このような３Ｄ放送では、通常、ＳｂＳ（Ｓｉｄｅ ｂｙ Ｓｉｄｅ）又はＴａＢ（Ｔｏｐ ａｎｄ Ｂｏｔｔｏｍ）と呼ばれる方式で映像データを配信している。これは、配信装置において、左眼用の映像と右眼用の映像とを横方向又は縦方向（ＳｂＳ方式の場合は横方向、ＴａＢ方式の場合は縦方向）に半分に縮め、縮められた２つの映像を当該縮小方向に並べて一画面分に収めた３Ｄ用の映像データを伝送する配信方式である。

これに対し、映像再生装置では、配信装置から配信された一画面分の映像データからなる映像領域を上記縮小方向で２等分し、分割された各映像を当該縮小方向に２倍に伸張して左眼用の映像と右眼用の映像とをそれぞれ生成し、その生成により復元された各映像を時間的に交互に表示する３Ｄ化処理を実行する。

ユーザは、左右交互にシャッターで閉じる方式を採用した３Ｄメガネを通して、映像再生装置に表示された映像を左右の眼でそれぞれ見ることにより、映像を３次元で見ることができる。

なお、現時点では、映像再生装置が２Ｄ放送か３Ｄ放送かを自動的に区別する方法が実現されていないため、人が眼で見て３Ｄ放送であることを判断し、リモコン端末の「３Ｄ」ボタンを押下操作して３Ｄ放送の表示に切り替えている。例えば、受信した映像が横方向又は縦方向に２分割されていれば３Ｄ放送と判断される。

「デジタル放送におけるデータ放送符号化方式と伝送方式」（社団法人 電波産業会、ARIB STD-B24 5.4版、第二編、付属１、「６．５ 映像のスケーリング」、2009年）

しかしながら、ＢＭＬブラウザはＳｂＳ方式やＴａＢ方式に対応していないため、映像放送の３次元表示時にデータ放送を正常に表示できないという問題があった。

ここで、３Ｄ用の映像データとデータ放送用データとを共に映像再生装置で３次元表示する場合について考える。映像データがＳｂＳ方式で放送されている場合、左右に並べられた左眼用・右眼用の各映像を動画プレーン上に描画した後に文字図形プレーンにオーバレイすると、図７に示すようにそれら左右映像が表示されてしまう。

そして、その描画後の映像に対して上記３Ｄ化処理を施すと、図８に示すように、データ放送用データの１フレームについても画面の真中で２分割され、それぞれが横方向に引き伸ばされることから、一方のフレームには、ＢＭＬブラウザのＬに対応する表示領域に「あいう」と「かきく」までの文字が横に引き伸ばされた状態で表示され、他方のフレームには、Ｌ字型ではなくＬ文字の横棒に対応する表示領域のみに「けこ」の文字が横に引き伸ばされた状態で表示され、それら引き伸ばされた２つのフレームが時間的に交互に表示されるので、データ放送を正しく表示することができない。また、データ放送を３次元表示する方法はこれまで存在せず、奥行き方向での位置を確定することができなかった。

本発明は、上記を鑑みてなされたものであり、データ放送を正常かつ立体的に表示することを課題とする。

請求項１に記載の映像再生装置は、記憶手段からデータ放送用データを読み出して、解析して得られたオブジェクトを所定位置に描いた第１のフレームと、指定された立体深度値から算出されるピクセル移動距離に基づいて前記所定位置からずらした位置に前記オブジェクトを描いた第２のフレームとを有する文字図形プレーンを生成する手段と、動画プレーンに含まれる左眼用・右眼用の各映像データを前記文字図形プレーンの第１・第２の各フレームにそれぞれ重畳して交互にモニタ出力する手段と、を有することを特徴とする。

本発明によれば、データ放送用データを解析して得られたオブジェクトを所定位置に描いた第１のフレームと、指定された立体深度値から算出されるピクセル移動距離に基づいて上記所定位置からずらした位置に上記オブジェクトを描いた第２のフレームとを有する文字図形プレーンを生成し、動画プレーンに含まれる左眼用・右眼用の各映像データを上記文字図形プレーンの第１・第２の各フレームにそれぞれ重畳して交互にモニタ出力するため、左右交互の合成フレームが順次出力されることから、データ放送を正常かつ立体的に表示することができる。

請求項２に記載の映像再生装置は、請求項１記載の映像再生装置において、前記ピクセル移動距離は、前記指定された立体深度値から算出されるのに代えて、前記左眼用・右眼用の各映像データの視差に基づいて算出されることを特徴とする。

本発明によれば、上記ピクセル移動距離は、指定された立体深度値から算出されるのに代えて、左眼用・右眼用の各映像データの視差に基づいて算出されるため、データ放送上でのオブジェクトの奥行きを映像の奥行きに合わせて設定することができる。

請求項３に記載の映像再生方法は、映像再生装置で行う映像再生方法において、前記映像再生装置により、記憶手段からデータ放送用データを読み出して、解析して得られたオブジェクトを所定位置に描いた第１のフレームと、指定された立体深度値から算出されるピクセル移動距離に基づいて前記所定位置からずらした位置に前記オブジェクトを描いた第２のフレームとを有する文字図形プレーンを生成するステップと、動画プレーンに含まれる左眼用・右眼用の各映像データを前記文字図形プレーンの第１・第２の各フレームにそれぞれ重畳して交互にモニタ出力するステップと、を有することを特徴とする。

本発明によれば、データ放送用データを解析して得られたオブジェクトを所定位置に描いた第１のフレームと、指定された立体深度値から算出されるピクセル移動距離に基づいて上記所定位置からずらした位置に上記オブジェクトを描いた第２のフレームとを有する文字図形プレーンを生成し、動画プレーンに含まれる左眼用・右眼用の各映像データを上記文字図形プレーンの第１・第２の各フレームにそれぞれ重畳して交互にモニタ出力するため、左右交互の合成フレームが順次出力されることから、データ放送を正常かつ立体的に表示することができる。

請求項４に記載の映像再生方法は、請求項３記載の映像再生方法において、前記ピクセル移動距離は、前記指定された立体深度値から算出されるのに代えて、前記左眼用・右眼用の各映像データの視差に基づいて算出されることを特徴とする。

本発明によれば、上記ピクセル移動距離は、指定された立体深度値から算出されるのに代えて、左眼用・右眼用の各映像データの視差に基づいて算出されるため、データ放送上でのオブジェクトの奥行きを映像の奥行きに合わせて設定することができる。

請求項５に記載の映像再生プログラムは、請求項３又は４記載の各ステップをコンピュータに実行させることを特徴とする。

本発明によれば、データ放送を正常かつ立体的に表示することができる。

第１の実施の形態に係る映像再生装置の機能ブロック構成を示す図である。 映像再生装置の全体動作フローを示す図である。 映像及びデータ放送の３Ｄ化処理動作フローを示す図である。 フレームの入力タイミング及び出力タイミングを示す図である。 第２の実施の形態に係る映像再生装置の機能ブロック構成を示す図である。 ＢＭＬブラウザの構成を示す図である。 左右の映像を動画プレーン上に描画した際のＢＭＬブラウザを示す図である。 ３Ｄ放送表示時におけるデータ放送の表示状態を示す図である。

以下、本発明を実施する一実施の形態について図面を用いて説明する。但し、本発明は多くの異なる様態で実施することが可能であり、本実施の形態の記載内容に限定して解釈すべきではない。

〔第１の実施の形態〕
図１は、第１の実施の形態に係る映像再生装置の機能ブロック構成を示す図である。本映像再生装置１は、受信処理部１０１と、ＤＥＭＵＸ部１０２と、映像処理部１０３と、データ処理部１０４と、オーバレイ処理部１０５と、モニタ出力部１０６と、３Ｄ化指示部１０７とで構成されている。以下、これら各機能部の機能について説明する。

受信処理部１０１は、無線又は有線の通信ネットワークを介して配信装置（不図示）から送信されたデータを受信する機能を有している。

ＤＥＭＵＸ部１０２は、受信処理部１０１で受信したデータを映像データとデータ放送用データとに分離して、映像データを映像処理部１０３に出力すると共に、データ放送用データをデータ処理部１０４に出力する機能を有している。

映像処理部１０３は、ＤＥＭＵＸ部１０２で分離された映像データを動画プレーンに出力して、その動画プレーンをオーバレイ処理部１０５に出力する機能を有している。

データ処理部１０４は、ＤＥＭＵＸ部１０２で分離されたデータ放送用データに含まれるＢＭＬを解析し、それによって得られた文字図形要素（オブジェクト）を文字図形プレーンに出力して、その文字図形プレーンをオーバレイ処理部１０５に出力する機能を有している。

オーバレイ処理部１０５は、映像処理部１０３から出力された動画プレーンをスケーリングして、データ処理部１０４から出力された文字図形プレーンの所定位置に重畳（オーバレイ）する機能を有している。

モニタ出力部１０６は、オーバレイ処理部１０５によって重畳された動画プレーンと文字図形プレーンとをモニタに出力する機能を有している。

３Ｄ化指示部１０７は、リモコン端末の「３Ｄ」ボタンの押下操作に基づく３Ｄ化処理要求を、映像処理部１０３とデータ処理部１０４とにそれぞれ送信する機能を有している。なお、映像再生装置１は、データの立体深度（３次元の奥行き量）を調整する深度調整部（不図示）を更に有し、その３Ｄ化処理要求には、ユーザによって指定された映像及び／又はデータ放送の立体深度値が含まれている。

次に、本実施の形態に係る映像再生装置１の全体動作について説明する。図２は、第１の実施の形態に係る映像再生装置の全体動作フローを示す図である。

まず、受信処理部１０１により、配信装置から配信されたデータが受信され、ＤＥＭＵＸ部１０２により、その受信データが映像データとデータ放送用データとに分離され、記憶手段に一時的に記憶される（Ｓ１０１）。

次に、リモコン端末の「ｄ」ボタンの押下操作により映像とデータ放送との同時視聴が所望される場合、映像処理部１０３により、記憶手段から映像データが読み出され、動画プレーン上に出力されると共に、データ処理部１０４により、記憶手段からデータ放送用データが読み出され、そのデータ放送用データに含まれるＢＭＬが解析されて、その解析処理によって得られた文字や図形が文字図形プレーン上に出力される（Ｓ１０２）。このとき、ＢＭＬブラウザに配置される映像の描画位置やスケーリングのサイズについても併せてオーバレイ処理部１０５に通知される。

ここで、図３を参照しながら、配信された映像がＳｂＳ方式の３Ｄ用映像データの場合における映像及びデータ放送の３Ｄ化処理動作について詳述する。

まず、配信された映像が３Ｄ用の映像データであることから、ユーザによってリモコン端末の「３Ｄ」ボタンが押下操作されると、３Ｄ化指示部１０７から３Ｄ化要求が映像処理部１０３とデータ処理部１０４とにそれぞれ送信される（Ｓ１０２−１）。

次に、映像処理部１０３は、その配信された映像が３Ｄ用の映像データであるか否かを判定する（Ｓ１０２−２）。

次に、映像処理部１０３は、配信された映像がＳｂＳ方式の３Ｄ用映像データであることから、その映像データを左右に２等分し、分割された各映像を横方向に２倍に伸張することにより、左眼用の映像と右眼用の映像とをそれぞれ復元して、それら各映像データを時間的に交互に入力レートの倍速で動画プレーン上に出力する（Ｓ１０２−３）。

一方、そのＳ１０２−３において、データ処理部１０４は、解析された文字や図形を指定通りに第１のフレームに描画すると共に、その文字・図形に対して左右の視差に見合った拡大や縮小、位置移動などの処理を施して第２のフレームに描画して、それら２つのフレームを含む文字図形プレーンをオーバレイ処理部１０５に出力する。なお、その左右の視差は、ユーザによって指定された所望の立体深度値に基づいて求められる。

すなわち、左右の視差に見合う位置移動処理について言えば、データ処理部１０４は、データ放送用データ内で指定されている指定位置に文字図形要素を描画した第１のフレームと、３Ｄ化要求に含まれるユーザ指定の立体深度値から算出されるピクセル移動距離に基づいて上記指定位置からずらした位置に同文字図形要素を描画した第２のフレームとで構成される文字図形プレーンを生成する処理を実行している。単純には、算出されたピクセル移動距離分だけオブジェクトの位置を移動させる。

なお、文字図形プレーンの出力タイミングは、動画プレーンの場合と同様に入力レートの倍速である。例えば、図４に示すように、配信装置から送信されたデータフレームがｔ１の時間間隔で映像再生装置１に入力される場合、ｔ２＝（ｔ１）／２の時間間隔で出力される。これにより、１フレームの入力タイミングの倍速で左右用の動画プレーン及び文字図形プレーンが出力されることになる。

次に、図２に戻り、オーバレイ処理部１０５により、Ｓ１０２で通知された映像の描画位置やスケーリングのサイズに基づいて、動画プレーンが拡大・縮小・位置移動され、その動画プレーンに含まれる左眼用の映像データと右眼用の映像データとが文字図形プレーンの第１のフレームと第２のフレームとにそれぞれ重畳された後に、モニタ出力部１０６に出力される（Ｓ１０３）。

最後に、モニタ出力部１０６により、左眼用の映像データが重畳された第１のフレームと右眼用の映像データが重畳された第２のフレームとが時間的に交互に入力レートの倍速でＢＭＬブラウザ上に出力され、左右用の各合成フレームが交互に画面表示される（Ｓ１０４）。

以上より、本実施の形態によれば、データ放送用データを解析して得られた文字図形要素を指定位置に描画した第１のフレームと、ユーザによって指定された所望の立体深度値から算出されるピクセル移動距離に基づいて上記指定位置からずらした位置に同文字図形要素を描画した第２のフレームとで構成された文字図形プレーンを生成し、動画プレーンに含まれる左眼用・右眼用の各映像データを上記文字図形プレーンの第１・第２の各フレームにそれぞれ重畳して交互にモニタ出力するので、左右交互の合成フレームが順次出力されることから、映像とデータ放送とを同時に正常かつ３次元で視聴することができる。

〔第２の実施の形態〕
図５は、第２の実施の形態に係る映像再生装置の機能ブロック構成を示す図である。本映像再生装置１は、図１に示した映像再生装置１に映像解析部１０８を更に追加している。

映像解析部１０８は、映像処理部１０３から出力された左眼用・右眼用の各映像データの視差に基づいてピクセル移動距離を算出する機能を有している。

データ処理部１０４は、ユーザによって指定された立体深度値から算出するのに代えて、映像解析部１０８によって算出された映像データの視差によるピクセル移動距離に基づいて、第２のフレームに描画される文字図形要素の位置をずらして描画する機能を更に有している。

なお、その他の各機能部の機能については、第１の実施の形態で説明したものと同様である。

次に、図３を参照しながら、本実施の形態に係る映像再生装置１の３Ｄ化処理動作について詳述する。なお、全体動作については、図２に示した動作フローと同様である。

まず、配信された映像がＳｂＳ方式の３Ｄ用の映像データであることから、ユーザによってリモコン端末の「３Ｄ」ボタンが押下操作されると、３Ｄ化指示部１０７から３Ｄ化要求が映像処理部１０３及びデータ処理部１０４にそれぞれ送信される（Ｓ２０２−１）。

次に、映像処理部１０３は、その配信された映像が３Ｄ用の映像データであるか否かを判定する（Ｓ２０２−２）。

次に、映像処理部１０３は、配信された映像がＳｂＳ方式の３Ｄ用映像データであることから、その映像データを左右に２等分し、分割された各映像を横方向に２倍に伸張することにより、左眼用の映像と右眼用の映像とをそれぞれ復元して、それら各映像データを時間的に交互に入力レートの倍速で動画プレーン上に出力する（Ｓ２０２−３）。

一方、そのＳ２０２−３において、映像処理部１０３から３Ｄ化処理された左右交互の映像が映像解析部１０８に送信されるので、映像解析部１０８は、１組の左右の映像データを取り出して、例えばオプティカルフロー法や差分画像法を用いて、左右映像の視差にあたるピクセル移動距離を算出して、その算出結果をデータ処理部１０４に出力する（Ｓ２０２−３）。

このピクセル移動距離は左右の視差に基づくものであるから、主に左右方向の移動距離として算出される。このとき、その移動距離の最大値、最小値、平均値、中央値といった代表値を算出してもよいし、それぞれの画像上での値分布などを求めてもよい。

また、そのＳ２０２−３において、データ処理部１０４は、解析された文字や図形を指定通りに第１のフレームに描画すると共に、映像解析部１０８から受け取ったピクセル移動距離分だけ移動した位置に、その文字・図形を第２のフレームに描画して、それら２つのフレームを含む文字図形プレーンをオーバレイ処理部１０５に出力する（Ｓ２０２−３）。

なお、左右方向の視差としてピクセル移動距離が算出された場合、移動方向も左右方向に限定される。また、文字図形プレーンの出力タイミングは、動画プレーンの場合と同様に入力レートの倍速である。

以上より、本実施の形態によれば、左眼用・右眼用の各映像データの視差に基づいてピクセル移動距離を算出するので、データ放送上でのオブジェクトの奥行きを映像の奥行きに合わせて設定することができる。

例えば、ピクセル移動距離が平均値で求められた場合には、文字・図形は映像の奥行き方向で真ん中あたりに表示され、最大値で求められた場合には、最前面に表示されることになる。

以上、本発明を実施する２つの実施形態について説明した。以下、それら各実施の形態に適用される共通事項について説明する。

映像が３Ｄ用の映像データでない場合には、データ処理部１０４から出力される文字図形プレーンの出力レートは映像処理部１０３から出力される動画プレーンの出力レートの倍となるが、そのような場合、文字図形プレーン２枚に対して、動画プレーン１枚を重複させることにより、３Ｄのデータ放送に２Ｄの映像を表現した映像を出力するようにしてもよい。

また、配信装置から配信されるデータとしては、ＭＰＥＧ−２ＴＳのフォーマットで生成されたものが一般的であるが、他のフォーマットにより生成されたものであってもよい。

また、ＳｂＳ方式に代えて、ＴａＢ方式の３Ｄ用映像データであっても同様の処理により同効果を得ることができる。

最後に、本映像再生装置１を構成する上記各機能部は、ＣＰＵなどの制御手段やメモリなどの記憶手段により実現可能である。各機能部の各処理は、プログラムにより実行される。

１…映像再生装置
１０１…受信処理部
１０２…ＤＥＭＵＸ部
１０３…映像処理部
１０４…データ処理部
１０５…オーバレイ処理部
１０６…モニタ出力部
１０７…３Ｄ化指示部
１０８…映像解析部
Ｓ１０１〜Ｓ１０４、Ｓ１０２−１〜Ｓ１０２−３、Ｓ２０２−１〜Ｓ２０２−３…処理ステップ

Claims (5)

1. 記憶手段からデータ放送用データを読み出して、解析して得られたオブジェクトを所定位置に描いた第１のフレームと、指定された立体深度値から算出されるピクセル移動距離に基づいて前記所定位置からずらした位置に前記オブジェクトを描いた第２のフレームとを有する文字図形プレーンを生成する手段と、
   動画プレーンに含まれる左眼用・右眼用の各映像データを前記文字図形プレーンの第１・第２の各フレームにそれぞれ重畳して交互にモニタ出力する手段と、
   を有することを特徴とする映像再生装置。
2. 前記ピクセル移動距離は、
   前記指定された立体深度値から算出されるのに代えて、前記左眼用・右眼用の各映像データの視差に基づいて算出されることを特徴とする請求項１記載の映像再生装置。
3. 映像再生装置で行う映像再生方法において、
   前記映像再生装置により、
   記憶手段からデータ放送用データを読み出して、解析して得られたオブジェクトを所定位置に描いた第１のフレームと、指定された立体深度値から算出されるピクセル移動距離に基づいて前記所定位置からずらした位置に前記オブジェクトを描いた第２のフレームとを有する文字図形プレーンを生成するステップと、
   動画プレーンに含まれる左眼用・右眼用の各映像データを前記文字図形プレーンの第１・第２の各フレームにそれぞれ重畳して交互にモニタ出力するステップと、
   を有することを特徴とする映像再生方法。
4. 前記ピクセル移動距離は、
   前記指定された立体深度値から算出されるのに代えて、前記左眼用・右眼用の各映像データの視差に基づいて算出されることを特徴とする請求項３記載の映像再生方法。
5. 請求項３又は４記載の各ステップをコンピュータに実行させることを特徴とする映像再生プログラム。

Images