JP6343451B2 - 動画再生装置、動画再生方法、及び動画再生プログラム - Google Patents

Description

本発明は、Ｗｅｂページ等のコンテンツの表示を行うための技術に関するものであり、特に、動画像を含むコンテンツの表示を行う技術に関連するものである。

近年、Ｗｅｂブラウザを備える装置が一般に普及している。また、ＨＴＭＬ５の制定等で、近年のＷｅｂブラウザでは、動画データを扱うことが非常に多くなってきている。

一般にＷｅｂブラウザは、ネットワークからコンテンツ（ＨＴＭＬデータ、画像データ、動画像データ等）を取得し、当該コンテンツを解析し、その解析結果に基づき描画処理を行って、ディスプレイへの表示を行う。

動画像を含むコンテンツの場合、Ｗｅｂブラウザは、符号化動画データを復号することにより得られた動画データを１つの構成要素（オブジェクト）として扱い、描画処理において当該動画データをその他の構成要素と合成し、出力する。

特開２０１３−２１４８００号公報

しかし、上記のような従来のＷｅｂブラウザにおける描画処理においては、動画像の時間軸の情報を廃棄しているため、各フレームを動画像のソース側で意図したタイミングで正確に表示することができないという問題がある。特に、高精細な動画像の場合には、例えば動画像にカクつき等の乱れが生じ、表示が不安定になるという問題がある。

本発明は上記の点に鑑みてなされたものであり、Ｗｅｂブラウザで取得するコンテンツにおける動画像の表示を安定化させる技術を提供することを目的とする。

本発明の実施の形態によれば、動画像を含むコンテンツの画面表示を行うための動画再生装置であって、
前記コンテンツにおける動画像部分をダミーデータに置き換えて当該コンテンツの描画処理を行う描画手段と、
前記動画像に対応する符号化動画データを復号することにより得られた動画データと、前記描画手段により得られた画面データとを合成することにより、前記コンテンツの画面データを生成する合成手段と、
前記符号化動画データを復号して前記動画データを生成するとともに、前記ダミーデータとして、透明度設定値を透明を示す値とした前記動画データを生成し、当該ダミーデータを前記描画手段に送信する動画復号手段と
を備えることを特徴とする動画再生装置が提供される。

また、本発明の実施の形態によれば、動画像を含むコンテンツの画面表示を行うための動画再生装置が実行する動画再生方法であって、
前記動画像に対応する符号化動画データを復号して動画データを生成するとともに、ダミーデータとして、透明度設定値を透明を示す値とした動画データを生成する動画復号ステップと、
前記コンテンツにおける動画像部分を前記ダミーデータに置き換えて当該コンテンツの描画処理を行う描画ステップと、
前記動画像に対応する符号化動画データを復号することにより得られた動画データと、前記描画ステップにより得られた画面データとを合成することにより、前記コンテンツの画面データを生成する合成ステップと
を備えることを特徴とする動画再生方法が提供される。

本発明の実施の形態によれば、Ｗｅｂブラウザで取得するコンテンツにおける動画像の表示を安定化させる技術が提供される。

本発明の実施の形態に係る動画再生装置１０の機能構成図である。 動画再生装置１０における動画データに関する処理の概要を説明する図である。 画像再合成部１４の機能を説明するための図である。 動画再生装置１０の変形例１を示す図である。 動画再生装置１０の変形例２を示す図である。

以下、図面を参照して本発明の実施の形態を説明する。なお、以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。

なお、本明細書において、「動画データ」は「符号化動画データ」が復号されることにより得られるデータである。また、「動画データ」には音声が含まれていてもよいが、本実施の形態では、動画像に着目した処理について説明している。

（装置構成、動作）
図１に、本発明の実施の形態に係る動画再生装置１０の機能構成図を示す。図１に示すように、本実施の形態に係る動画再生装置１０は、コンテンツ解析部１１、描画部１２、動画復号部１３、画像再合成部１４を有する。なお、図１は、動画再生装置１０の中で本実施の形態に係る機能のみを示すものである。また、動画復号部１３は、動画ＤｅＭｕｘｅｒ等の動画復号の前段で必要な機能も含むものである。

本実施の形態において、動画再生装置１０は、インターネット等のネットワークから動画像（ストリーミング等）を含むコンテンツを取得するＷｅｂブラウザを搭載したＰＣやモバイル端末、セットトップボックス等を想定しているが、これらに限定されるわけではない。コンテンツを取得して再生を行うような端末であればどのような端末も動画再生装置１０に該当する。各機能部の機能概要は以下のとおりである。

動画再生装置１０のコンテンツ解析部１１は、一般的なＷｅｂブラウザのパーサーに相当する機能部であり、ＨＴＭＬデータ等のコンテンツを解析して、解析結果として描画用データを出力する。また、解析により符号化動画データを検出した場合はそれを取得して動画復号部１３に出力する。

上記の描画用データは、描画のための各構成要素（形状、位置、レイアウト等）をオブジェクトとして含むものであり、一例としてツリー状のデータ構造を有している。

動画再生装置１０の描画部１２は、コンテンツ解析部１１から出力された描画用データに基づき描画処理（レンダリング）を行うことで、画面データ（表示データ）を作成する。また、描画部１２は、動画復号部１３から出力される動画データ（これもオブジェクトの１つである）を取得し、当該動画データと他のデータとを含めて描画を行い、画面データを生成する。従来技術においては当該画面データがディスプレイに出力されることでディスプレイ上にＷｅｂ画面が表示されることになるが、本実施の形態では、当該画面データは後述する画像再合成部１４に出力される。また、本実施の形態では、動画復号部１３から出力される動画データはアルファー値（透明度設定値）が０の動画データ（透明な画像）である。

動画復号部１３は、コンテンツ解析部１１から受け取った符号化動画データを復号し、アルファー値を０に設定した動画データを描画部１２に出力する。アルファー値は画像の透明度を示す値でありそれが０である場合、画像は透明になる。従って、アルファー値が０の画像が描画されたとしても画面上には何も現われない。

また、動画復号部１３は、通常の動画データと同期クロックを画像再合成部１４に送る。ここでの同期クロックは、例えば符号化動画データに含まれているタイムスタンプから生成されるものであり、動画データのソース（生成側）で期待するフレーム（画面）毎の表示タイミングを示すクロックである。つまり、この同期クロックに従って各フレームを表示すれば動画データのソースのフレームレートに合致した正確できれいな表示を行うことができる。このフレームレートは、例えばＴＶ放送の動画データであれば２９．９７ＦＰＳ（Ｈｚと表記してもよい）であったり、映画やアニメの動画データであれば２４ＦＰＳであったりする。

画像再合成部１４は、描画部１２から受信する画面データ（アルファー値０の動画データとその他のデータが合成され、描画されたもの）におけるアルファー値０の動画データの位置に、動画復号部１３から受信する動画データを合成することで、動画像が表示される画面データを生成し、当該画面データをディスプレイ等の画面表示機器に出力する。また、画像再合成部１４は、後述するように表示タイミング調整機能を備える。

次に、図１に加えて図２も参照して動画再生装置１０の動作の流れを説明する。コンテンツ解析部１１がコンテンツを取得し、当該コンテンツを解析し、描画用データを描画部１２に出力するとともに、符号化動画データを動画復号部１３に出力する。

動画復号部１３は符号化動画データを復号処理して動画データを取得し、アルファー値を０とした動画データを描画部１２に出力するとともに、同期クロックと通常の動画データを画像再合成部１４に出力する。

描画用データとアルファー値０の動画データを受信した描画部１２は、これらの描画処理を行う。図２のＡにこの時点で描画される画面（表示されたとした場合のＷｅｂ表示画面）のイメージを示している。図２のＡの中のＢは、アルファー値０の動画データが仮に表示されたとした場合の位置を点線枠で示しているが、アルファー値０であるので、動画像は何も表示されない。描画部１２は解析結果（描画用データ）から動画データが存在することを把握しており、動画データを動画復号部１３から受け取らない場合には、正常に描画処理を実行することができないため、上記のようにアルファー値０の動画データを用いることとしている。

そして、描画部１２は、図２のＡに示す画面データを画像再合成部１４に出力する。また、図２のＣで示す動画データが動画復号部１３から画像再合成部１４に入力されて、画像再合成部１４において、図２のＤに示すように、動画データが合成された画面データが生成され、出力が行われる。

次に、図３を参照して、画像再合成部１４についてより詳細に説明する。図３に示すように、画像再合成部１４は、合成処理部１４１と表示タイミング調整部１４２を有する。

合成処理部１４１は、図２に示したように、描画用データ＋（アルファー値０の動画データ）に基づき描画された画面データを描画部１２から受信するとともに、動画復号部１３から動画データを受信し、これらを合成して画面データを作成する処理を行う。

表示タイミング調整部１４２は、動画復号部１３から受信する同期クロックに基づいて、画面データを表示するタイミングを調整し、当該タイミングで画面データ（映像信号と呼んでもよい）を出力する。

通常、画面データの表示を行う画像表示機器においては画面の表示タイミング（フレームレート）は所定値に設定され、当該所定値と、動画復号部１３から受信する同期クロックに基づくフレームレートとが異なる場合がある。一例として、動画復号部１３から受信する同期クロックに基づくフレームレートが３０ＦＰＳであり、画像表示機器のフレームレートが２９．９７ＦＰＳであるような場合では、同期クロックに基づくフレームレートのほうが単位時間当たりのフレーム枚数が多いことから、例えば、所定時間毎にフレームをドロップさせることで２９．９７ＦＰＳに合わせることが考えられる。しかし、このような調整法はフレームの欠落が生じて、高精細な画像においてはカクつきなどが生じる可能性があり好ましくない。また、例えば、同期クロックに基づくフレームレートが２４ＦＰＳで、画像表示機器のフレームレートが３０ＦＰＳであるような場合では、補間フレームを挿入することで調整することが考えられるが、この場合も画質の点から好ましくない。

そこで、本実施の形態では、表示タイミング調整部１４２は、例えば画像再合成部１４が持つ画像表示機器のフレームレート設定値、もしくは画像表示機器との通信で取得したフレームレート設定値と、同期クロックに基づくフレームレートとの差分を検出し、その差分に応じて画面データの出力タイミングを調整することとしている。

調整方法の例としては、例えば３０ＦＰＳから２９．９７ＦＰＳにような小さな調整であれば、表示タイミング調整部１４２が有するＰＬＬへの入力値を変更することで出力周波数を変更することにより調整を行う。また、２４ＦＰＳから３０ＦＰＳへの調整のようなある程度大きな調整であれば、例えば、水平方向非表示エリア及び垂直方法非表示エリアでの時間幅を調整することで、タイミングの調整を行う。

表示タイミング調整部１４２は上記のような調整を、入力される同期クロックに応じて、動的に行うことが可能である。このように、表示タイミング調整部１４２により、動画ソースに合わせた滑らかな映像を表示することができる。

（動画再生装置１０の変形例１）
動画再生装置１０は、図４に示す構成とすることも可能である。図４に示す構成では、複数の動画復号部１３−１〜１３−Ｎを備える。本変形例１では、コンテンツ解析部１１（他の機能部であってもよい）が、符号化動画データを分割し、動画復号部１３−１〜１３−Ｎに出力する。動画復号部１３−１〜１３−Ｎはそれぞれ、分割された符号化動画データの復号処理を並列に行い、例えば特定の動画復号部あるいは、図示しない合成機能部が、得られた複数の動画データを１つの動画データとする。同期クロックについては、例えば動画復号部１３−１が、マスター同期クロックを出力する。

また、例えば、動画復号部１３がハードウェア回路で構成される場合において、動画復号部１３を時分割で使用することにより図４に示す構成を実現してもよい。本変形例１により、効率的に処理を行うことができ、例えば、複数の動画データを同時に再生することが可能となる。

（動画再生装置１０の変形例２）
動画再生装置１０は、図５に示す構成とすることも可能である。図５に示す構成は、図１に示す構成に対して、機能付加部１５及び仮想描画部１６が追加されたものである。

機能付加部１５は、例えばＷｅｂブラウザに対して追加されるＷｅｂプラグインに相当する。当該機能付加部１５は、動画復号機能を含むものである。機能付加部１５の例であるＷｅｂプラグインは、Ｗｅｂブラウザ拡張のために用意された機能であるが、その出力は、各Ｗｅｂプラグインに委ねられ、一般的なＷｅｂプラグイン出力は描画部１２に戻ることなく、描画部１２とは独立に描画が行われる。

本実施の形態においては画像再合成部１４を含むが、Ｗｅｂプラグインをそのまま追加した場合、当該Ｗｅｂプラグインからの出力に基づく動画データは、画像再合成部１４が生成する画面データに含まれなくなる。

そこで、本実施の形態では、機能付加部１５（Ｗｅｂプラグイン）からの出力に基づく動画データを仮想的に描画する（つまり、外部に出力するのでなく、メモリ等に描画する）仮想描画部１６を備えている。

機能付加部１５から出力された描画用データ（例：動画データとその他のデータを含む）に基づいて、仮想描画部１６により描画を実施する。仮想描画部１６は、描画して得た画像データを画像再合成部１４に出力する。画像再合成部１４は当該画像データを画面データに含める。このような構成を備えることにより、Ｗｅｂプラグイン出力を表示することが可能となる。

これまでに説明した本実施の形態に係る動画再生装置１０は、１つ又は複数のコンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。すなわち、動画再生装置１０が有する機能は、当該コンピュータに内蔵されるＣＰＵやメモリ、ハードディスクなどのハードウェア資源を用いて、動画再生装置１０で実施される処理に対応するプログラムを実行することによって実現することが可能である。また、上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。

また、動画再生装置１０における一部の機能をハードウェア回路で実現してもよい。一実施形態において、動画復号部１３と画像再合成部１４がハードウェア回路により実現される。

（実施の形態のまとめ、効果等）
以上、説明したように、本実施の形態において、動画像を含むコンテンツの画面表示を行うための動画再生装置であって、前記コンテンツにおける動画像部分をダミーデータに置き換えて当該コンテンツの描画処理を行う描画手段と、前記動画像に対応する符号化動画データを復号することにより得られた動画データと、前記描画手段により得られた画面データとを合成することにより、前記コンテンツの画面データを生成する合成手段とを備える動画再生装置が提供される。

前記動画再生装置は、前記符号化動画データを復号して前記動画データを生成するとともに、前記ダミーデータとして、透明度設定値を透明を示す値とした前記動画データを生成し、当該ダミーデータを前記描画手段に送信する動画復号手段を備えてもよい。

前記合成手段は、前記動画復号手段から前記動画像のフレームレートに対応する同期クロックを受信し、当該同期クロックに基づいて、前記合成により得られた画面データを画面表示手段に出力するように構成してもよい。

また、前記合成手段は、前記画面表示手段の設定表示タイミングと、前記同期クロックに対応する表示タイミングとの差分に基づいて、前記合成により得られた画面データを前記画面表示手段に出力するタイミングを調整するように構成してもよい。

また、前記動画再生装置は、当該動画再生装置における機能付加手段から出力される動画データの描画処理を行い、当該描画処理により得られた画像データを前記合成手段に送信する機能付加手段用描画手段を備えてもよい。

また、前記動画再生装置を、前記動画像に対応する符号化動画データを分割し、分割した符号化動画データをそれぞれ復号した後に１つの動画データとし、当該動画データを前記描画手段により得られた画面データと合成するように構成してもよい。

本実施の形態によれば、動画データの処理と従来のＷｅｂブラウザの描画（レンダリング）までの機能とを分離し、最終的な同期と出力を司る画像再合成部１４を備えることした。

このように、動画処理を独立させることで専用動画再生装置と同等レベルのなめらかで高品質な動画再生を実現することができる。また、動画オブジェクト以外のＷｅｂオブジェクトと動画オブジェクトを切り離して処理し再合成することで、レンダリング部分の負荷を低減し、動画像をなめらかに再生しつつ一般的なＷｅｂブラウザと同品質同性能のＷｅｂコンテンツ出力を実現することが可能となる。

また、変形例２で説明したように、Ｗｅｂプライグインの処理結果を画像再合成部１４へ渡すための仮想描画部１６を備えることで、例えば、動画像上に動画像を表示する機能をプラグインとして提供し、且つ同期をとることが可能となる。

（第１項）
動画像を含むコンテンツの画面表示を行うための動画再生装置であって、
前記コンテンツにおける動画像部分をダミーデータに置き換えて当該コンテンツの描画処理を行う描画手段と、
前記動画像に対応する符号化動画データを復号することにより得られた動画データと、前記描画手段により得られた画面データとを合成することにより、前記コンテンツの画面データを生成する合成手段と
を備えることを特徴とする動画再生装置。
（第２項）
前記符号化動画データを復号して前記動画データを生成するとともに、前記ダミーデータとして、透明度設定値を透明を示す値とした前記動画データを生成し、当該ダミーデータを前記描画手段に送信する動画復号手段
を備えることを特徴とする第１項に記載の動画再生装置。
（第３項）
前記合成手段は、前記動画復号手段から前記動画像のフレームレートに対応する同期クロックを受信し、当該同期クロックに基づいて、前記合成により得られた画面データを画面表示手段に出力する
ことを特徴とする第２項に記載の動画再生装置。
（第４項）
前記合成手段は、前記画面表示手段の設定表示タイミングと、前記同期クロックに対応する表示タイミングとの差分に基づいて、前記合成により得られた画面データを前記画面表示手段に出力するタイミングを調整する
ことを特徴とする第３項に記載の動画再生装置。
（第５項）
前記動画再生装置における機能付加手段から出力される動画データの描画処理を行い、当該描画処理により得られた画像データを前記合成手段に送信する機能付加手段用描画手段
を備えることを特徴とする第１項ないし第４項のうちいずれか１項に記載の動画再生装置。
（第６項）
前記動画像に対応する符号化動画データを分割し、分割した符号化動画データをそれぞれ復号した後に１つの動画データとし、当該動画データを前記描画手段により得られた画面データと合成する
ことを特徴とする第１項ないし第５項のうちいずれか１項に記載の動画再生装置。
（第７項）
動画像を含むコンテンツの画面表示を行うための動画再生装置が実行する動画再生方法であって、
前記コンテンツにおける動画像部分をダミーデータに置き換えて当該コンテンツの描画処理を行う描画ステップと、
前記動画像に対応する符号化動画データを復号することにより得られた動画データと、前記描画ステップにより得られた画面データとを合成することにより、前記コンテンツの画面データを生成する合成ステップと
を備えることを特徴とする動画再生方法。
（第８項）
コンピュータを、第１項ないし第６項のうちいずれか１項に記載の動画再生装置の各手段として機能させるための動画再生プログラム。
本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

１０ 動画再生装置
１１ コンテンツ解析部
１２ 描画部
１３ 動画復号部
１４ 画像再合成部
１４１ 合成処理部
１４２ 表示タイミング調整部
１５ 機能付加部
１６ 仮想描画部

Claims (8)

1. 動画像を含むコンテンツの画面表示を行うための動画再生装置であって、
   前記コンテンツにおける動画像部分をダミーデータに置き換えて当該コンテンツの描画処理を行う描画手段と、
   前記動画像に対応する符号化動画データを復号することにより得られた動画データと、前記描画手段により得られた画面データとを合成することにより、前記コンテンツの画面データを生成する合成手段と、
   前記符号化動画データを復号して前記動画データを生成するとともに、前記ダミーデータとして、透明度設定値を透明を示す値とした前記動画データを生成し、当該ダミーデータを前記描画手段に送信する動画復号手段と
   を備えることを特徴とする動画再生装置。
2. 前記合成手段は、前記動画復号手段から前記動画像のフレームレートに対応する同期クロックを受信し、当該同期クロックに基づいて、前記合成により得られた画面データを画面表示手段に出力する
   ことを特徴とする請求項１に記載の動画再生装置。
3. 前記合成手段は、前記画面表示手段の設定表示タイミングと、前記同期クロックに対応する表示タイミングとの差分に基づいて、前記合成により得られた画面データを前記画面表示手段に出力するタイミングを調整する
   ことを特徴とする請求項２に記載の動画再生装置。
4. 前記動画再生装置における機能付加手段から出力される動画データの描画処理を行い、当該描画処理により得られた画像データを前記合成手段に送信する機能付加手段用描画手段
   を備えることを特徴とする請求項１ないし３のうちいずれか１項に記載の動画再生装置。
5. 動画像を含むコンテンツの画面表示を行うための動画再生装置であって、
   前記コンテンツにおける動画像部分をダミーデータに置き換えて当該コンテンツの描画処理を行う描画手段と、
   前記動画像に対応する符号化動画データを分割し、分割した符号化動画データをそれぞれ復号した後に１つの動画データとすることにより得られた当該動画データと、前記描画手段により得られた画面データとを合成することにより、前記コンテンツの画面データを生成する合成手段と
   を備えることを特徴とする動画再生装置。
6. 動画像を含むコンテンツの画面表示を行うための動画再生装置が実行する動画再生方法であって、
   前記動画像に対応する符号化動画データを復号して動画データを生成するとともに、ダミーデータとして、透明度設定値を透明を示す値とした動画データを生成する動画復号ステップと、
   前記コンテンツにおける動画像部分を前記ダミーデータに置き換えて当該コンテンツの描画処理を行う描画ステップと、
   前記動画像に対応する符号化動画データを復号することにより得られた動画データと、前記描画ステップにより得られた画面データとを合成することにより、前記コンテンツの画面データを生成する合成ステップと
   を備えることを特徴とする動画再生方法。
7. 動画像を含むコンテンツの画面表示を行うための動画再生装置が実行する動画再生方法であって、
   前記コンテンツにおける動画像部分をダミーデータに置き換えて当該コンテンツの描画処理を行う描画ステップと、
   前記動画像に対応する符号化動画データを分割し、分割した符号化動画データをそれぞれ復号した後に１つの動画データとすることにより得られた当該動画データと、前記描画ステップにより得られた画面データとを合成することにより、前記コンテンツの画面データを生成する合成ステップと
   を備えることを特徴とする動画再生方法。
8. コンピュータを、請求項１ないし５のうちいずれか１項に記載の動画再生装置の各手段として機能させるための動画再生プログラム。

Images