JP2017098705A - 動画データ再生装置およびプログラム - Google Patents

Abstract

【課題】閲覧者が体感する動画の品質を向上できることが望ましい。
【解決手段】動画データを一時的に格納するバッファと、動画データの第１のフレームにレイヤＩＤ＝１、２のレイヤデータが格納されており、第１フレームの次の第２フレームにレイヤＩＤ＝１のレイヤデータのみが格納されている場合、第２フレーム以降の階層維持フレーム数のフレームについて、レイヤＩＤ＝１、２のレイヤデータが格納されている場合であっても、レイヤＩＤ＝１のレイヤデータのみを用いて当該第１の数のフレームを復号化する再生部を備える動画データ再生装置を提供する。
【選択図】図４

Description

本発明は、動画データ再生装置およびプログラムに関する。

基本レイヤのレイヤデータおよび拡張レイヤのレイヤデータを受信したフレームについてはこれら両方を用いて高画質なフレームを生成し、基本レイヤのレイヤデータのみを受信したフレームについては基本レイヤのレイヤデータのみを用いて低画質なフレームを生成して、動画データを再生する動画データ再生装置が知られていた（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１５−０５０５９９号公報

閲覧者が体感する動画の品質を向上できることが望ましい。

本発明の第１の態様によれば、複数の階層を含むように符号化された動画データを復号化する動画データ再生装置であって、動画データを一時的に格納するバッファと、動画データを復号化する再生部とを備え、再生部が、バッファに含まれる動画データの複数のフレームのそれぞれに含まれるレイヤデータを確認し、第１フレームにレイヤＩＤ＝１のレイヤデータおよびレイヤＩＤ＝２のレイヤデータの両方が格納されており、かつ、第１フレームの次の第２フレームにレイヤＩＤ＝１のレイヤデータのみが格納されている場合、第２フレーム以降の予め定められた第１の階層維持フレーム数のフレームについて、レイヤＩＤ＝１のレイヤデータおよびレイヤＩＤ＝２のレイヤデータの両方が格納されている場合であっても、レイヤＩＤ＝１のレイヤデータのみを用いて第２フレーム以降の第１の階層維持フレーム数のフレームを復号化し、第１フレームにレイヤＩＤ＝１のレイヤデータおよびレイヤＩＤ=２のレイヤデータの両方が格納されており、かつ、第２フレームにレイヤＩＤ＝１のレイヤデータおよびレイヤＩＤ＝２のレイヤデータが格納されている場合、レイヤデータの両方を用いて第２フレームを復号化し、第１フレームにレイヤＩＤ＝１のレイヤデータのみが格納されている場合、前記第２フレームについて、格納されているレイヤデータを用いて再生可能な最も高いレイヤの動画を再生するように復号化する、動画データ再生装置が提供される。

上記動画データ再生装置は、上記動画データを復号化して得られる動画を表示する動画データ表示部をさらに備えてよい。上記動画データ再生装置は、上記第１の階層維持フレーム数を上記動画データに応じて変更してよい。上記再生部は、１つ前のフレームよりも格納されているレイヤデータが多い第３フレームについて、上記レイヤＩＤ＝１のレイヤデータおよび上記レイヤＩＤ＝２のレイヤデータが格納されており、かつ、上記第３フレーム以降の予め定められた第１の階層保証フレーム数のフレームのすべてについて、上記レイヤＩＤ＝１のレイヤデータおよび上記レイヤＩＤ＝２のレイヤデータの両方が格納されている場合、上記第３フレームの上記レイヤＩＤ＝１のレイヤデータおよび上記レイヤＩＤ＝２のレイヤデータの両方を用いて上記第３フレームを復号化し、上記第３フレーム以降の上記第１の階層保証フレーム数のフレームの少なくとも１つについて、上記レイヤＩＤ＝１のレイヤデータのみが格納されている場合、上記第３フレームの上記レイヤＩＤ＝１のレイヤデータのみを用いて上記第３フレームを復号化してよい。上記動画データ再生装置は、上記第１の階層保証フレーム数を動画データに応じて変更してよい。

上記再生部は、上記動画データが３階層以上の複数の階層を含むように符号化されている場合において、上記動画データの複数のフレームのそれぞれについて、格納されているすべてのレイヤデータの少なくとも１つのレイヤデータを用いて上記フレームを復号化してよい。上記再生部は、上記動画データが３階層以上の複数の階層を含むように符号化されている場合において、１つ前のフレームよりも格納されているレイヤデータが少ない第４フレームについて、上記第４フレーム以降の予め定められた第２の階層維持フレーム数のフレームについて、上記第４フレームよりも多くのレイヤデータが格納されている場合であっても、上記第４フレームについて格納されているレイヤデータの数と同じ数のレイヤデータを用いて上記第４フレーム以降の上記第２の階層維持フレーム数のフレームを復号化してよい。上記再生部は、上記動画データが３階層以上の複数の階層を含むように符号化されている場合において、１つ前のフレームよりも格納されているレイヤデータが多い第５フレームについて、上記第５フレーム以降の予め定められた第２の階層保証フレーム数のフレームのすべてについて、上記第５フレームの１つ前のフレームに格納されているレイヤデータより多くのレイヤデータが格納されている場合、上記第５フレームと上記第５フレーム以降の予め定められた第２の階層保証フレーム数のフレームのそれぞれのレイヤデータ数の中で最も少ないレイヤデータ数と同じ数のレイヤデータを用いて上記第５フレームを復号化し、上記第５フレーム以降の上記第２の階層保証フレーム数のフレームの少なくとも１つについて、上記第５フレームの１つ前のフレームよりも少ないレイヤデータが格納されている場合、上記第５フレームについて、上記第５フレームの１つ前のフレームについて格納されているレイヤデータの数と同じ数のレイヤデータを用いて上記第５フレームを復号化してよい。

上記再生部は、上記動画データが３階層以上の複数の階層を含むように符号化されている場合において、１つ後のフレームよりも格納されているレイヤデータの数が予め定められた低下制限階層数以上多い第６フレームについて、格納されている複数のレイヤデータの一部のみを用いて、上記第６フレームを復号化してよい。上記再生部は、上記動画データが３階層以上の複数の階層を含むように符号化されている場合において、１つ前のフレームよりも格納されているレイヤデータの数が予め定められた上昇制限階層数以上多い第７フレームについて、格納されている複数のレイヤデータの一部のみを用いて、第７フレームを復号化してよい。

本発明の第２の態様によれば、複数の階層を含むように符号化され、それぞれが複数のフレームを含む複数のフレームグループを有する動画データを復号化する動画データ再生装置であって、動画データを一時的に格納するバッファと、動画データを復号化する再生部とを備え、再生部が、バッファに含まれる動画データの複数のフレームグループのそれぞれに含まれるレイヤデータを確認し、第１のフレームグループのすべてのフレームについてレイヤＩＤ＝１のレイヤデータおよびレイヤＩＤ＝２のレイヤデータの両方が格納されており、かつ、第１のフレームグループの次の第２のフレームグループについて、すべてのフレームのうち少なくとも１つのフレームについてレイヤＩＤ＝１のレイヤデータのみが格納されている場合、第２のフレームグループ以降の予め定められた第１の階層維持フレームグループ数のフレームグループについて、すべてのフレームについてレイヤＩＤ＝１のレイヤデータおよびレイヤＩＤ＝２のレイヤデータの両方が格納されている場合であっても、第２のフレームグループのすべてのレイヤＩＤ＝１のレイヤデータのみを用いて第２のフレームグループを復号化し、第１のフレームグループのすべてのフレームについてレイヤＩＤ＝１のレイヤデータおよびレイヤＩＤ＝２のレイヤデータの両方が格納されており、かつ、第２のフレームグループのすべてのフレームについてレイヤＩＤ＝１のレイヤデータおよびレイヤＩＤ＝２のレイヤデータの両方が格納されている場合、第２のフレームグループのすべてのレイヤＩＤ＝１のレイヤデータおよびレイヤＩＤ＝２のレイヤデータを用いて第２のフレームグループを復号化し、第１のフレームグループについて、すべてのフレームのうち少なくとも１つのフレームについてレイヤＩＤ＝１のレイヤデータのみが格納されている場合、前記第２のフレームグループについて、格納されているレイヤデータを用いて再生可能な最も高いレイヤの動画を再生するように復号化する、動画データ再生装置が提供される。

上記動画データ再生装置は、上記動画データを復号化して得られる動画を表示する動画データ表示部をさらに備えてよい。上記再生部は、フレームグループに含まれるフレームのうちの少なくとも１つのフレームについてレイヤＩＤ＝１のレイヤデータのみが格納されているフレームグループの次の第３のフレームグループについて、すべてのフレームについて上記レイヤＩＤ＝１のレイヤデータおよび上記レイヤＩＤ＝２のレイヤデータが格納されており、かつ、上記第３のフレームグループ以降の予め定められた第１の階層保証フレームグループ数のフレームグループのすべてについて、すべてのフレームについて上記レイヤＩＤ＝１のレイヤデータおよび上記レイヤＩＤ＝２のレイヤデータが格納されている場合、上記第３のフレームグループのすべての上記レイヤＩＤ＝１のレイヤデータおよび上記レイヤＩＤ＝１のレイヤデータを用いて上記第３のフレームグループを復号化し、上記第３のフレームグループ以降の上記第１の階層保証フレームグループ数のフレームグループの少なくとも１つについて、すべてのフレームのうち少なくとも１つについて上記レイヤＩＤ＝１のレイヤデータのみが格納されている場合、上記第３のフレームグループのすべての上記レイヤＩＤ＝１のレイヤデータのみを用いて上記第３のフレームグループを復号化してよい。

上記再生部は、上記動画データが３階層以上の複数の階層を含むように符号化されている場合において、上記動画データの上記複数のフレームグループのそれぞれについて、すべてのフレームについて、上記すべてのフレームのうち格納されているレイヤデータの数が最も少ないフレームのレイヤデータの数であるグループ最少レイヤデータ数以下のレイヤデータを用いて上記フレームグループを復号化してよい。上記再生部は、上記動画データが３階層以上の複数の階層を含むように符号化されている場合において、１つ前のフレームグループよりも、グループ最少レイヤデータ数が少ない第４のフレームグループについて、上記第４のフレームグループ以降の予め定められた第２の階層維持フレームグループ数のフレームグループについて、グループ最少レイヤデータ数が上記第４のフレームグループのグループ最少レイヤデータ数よりも多い場合であっても、上記第４のフレームグループのグループ最少レイヤデータ数と同じ数のレイヤデータを用いて、上記第４のフレームグループ以降の上記第２の階層維持フレームグループ数のフレームグループを復号化してよい。上記再生部は、上記動画データが３階層以上の複数の階層を含むように符号化されている場合において、１つ前のフレームグループよりもグループ最少レイヤデータ数が多い第５のフレームグループについて、上記第５のフレームグループ以降の予め定められた第２の階層保証フレームグループ数のフレームグループのすべてについて、グループ最少レイヤデータ数が上記第５のフレームグループの１つ前のフレームグループのグループ最少レイヤデータ数より多い場合、上記第５のフレームグループと上記第５のフレームグループ以降の予め定められた第２の階層保証フレームグループ数のフレームグループのすべての中で最も少ないグループ最少レイヤデータ数と同じ数のレイヤデータを用いて、上記第５のフレームグループを復号化し、上記第５のフレームグループ以降の上記第２の階層保証フレームグループ数のフレームグループの少なくとも１つについて、上記第５のフレームグループの１つ前のフレームグループのグループ最少レイヤデータ数より少ない場合、上記第５のフレームグループについて、上記第５のフレームグループの１つ前のフレームグループのグループ最少レイヤデータ数と同じ数のレイヤデータを用いて、前記第５のフレームグループを復号化してよい。

上記再生部は、上記動画データが３階層以上の複数の階層を含むように符号化されている場合において、１つ後のフレームグループよりも、グループ最少レイヤデータ数が予め定められた低下制限階層数以上多い第６のフレームグループについて、すべてのフレームについて、上記第６のフレームグループのグループ最少レイヤデータ数よりも少ない数のレイヤデータのみを用いて、上記第６のフレームグループを復号化してよい。上記再生部は、上記動画データが３階層以上の複数の階層を含むように符号化されている場合において、１つ前のフレームグループよりも、グループ最少レイヤデータ数が予め定められた上昇制限階層数以上多い第７のフレームグループについて、すべてのフレームについて、上記第７のフレームグループのグループ最少レイヤデータ数よりも少ない数のレイヤデータのみを用いて、第７のフレームグループを復号化してよい。

本発明の第３の態様によれば、複数の階層を含むように符号化された動画データを復号化する動画データ再生装置であって、動画データを一時的に格納するバッファと、動画データを復号化する再生部とを備え、再生部が、バッファに含まれる動画データの複数のフレームのそれぞれに含まれるレイヤデータを確認し、第１フレームに第１階層の第１のレイヤデータおよび第２階層の第２のレイヤデータの両方が格納されており、かつ、第１フレームの次の第２フレームについて、第１のレイヤデータのみが格納されている場合、第２フレーム以降の予め定められた第１の数のフレームについて、第１のレイヤデータおよび第２のレイヤデータの両方が格納されている場合であっても、第１のレイヤデータのみを用いて第２フレーム以降の第１の数のフレームを復号化し、第１フレームに第１のレイヤデータおよび第２のレイヤデータの両方が格納されており、かつ、第２フレームに第１のレイヤデータおよび第２のレイヤデータの両方が格納されている場合、第２フレームの第１のレイヤデータおよび第２のレイヤデータの両方を用いて第２フレームを復号化し、第１フレームに第１のレイヤデータのみが格納されている場合、第２フレームについて、格納されているレイヤデータを用いて再生可能な最も高いレイヤの動画を再生するように復号化する、動画データ再生装置が提供される。

本発明の第４の態様によれば、複数の階層を含むように符号化され、それぞれが複数のフレームを含む複数のフレームグループを有する動画データを復号化する動画データ再生装置であって、動画データを一時的に格納するバッファと、動画データを復号化する再生部とを備え、再生部が、バッファに含まれる動画データの複数のフレームグループのそれぞれに含まれるレイヤデータを確認し、第１のフレームグループのすべてのフレームについて第１階層の第１のレイヤデータおよび第２階層の第２のレイヤデータの両方が格納されており、かつ、第１のフレームグループの次の第２のフレームグループについて、すべてのフレームのうち少なくとも１つのフレームについて第１のレイヤデータのみが格納されている場合、第２のフレームグループ以降の予め定められた第１の数のフレームグループについて、すべてのフレームについて第１のレイヤデータおよび第２のレイヤデータの両方が格納されている場合であっても、第２のフレームグループのすべての第１のレイヤデータのみを用いて第２のフレームグループを復号化し、第１のフレームグループのすべてのフレームについて第１のレイヤデータおよび第２のレイヤデータの両方が格納されており、かつ、第２のフレームグループのすべてのフレームについて第１のレイヤデータおよび第２のレイヤデータの両方が格納されている場合、第２のフレームグループのすべての第１のレイヤデータおよび第２のレイヤデータを用いて第２のフレームグループを復号化し、第１のフレームグループについて、すべてのフレームのうち少なくとも１つのフレームについて第１のレイヤデータのみが格納されている場合、第２のフレームグループについて、格納されているレイヤデータを用いて再生可能な最も高いレイヤの動画を再生するように復号化する、動画データ再生装置が提供される。

本発明の第５の態様によれば、コンピュータを、上記動画データ再生装置として機能させるためのプログラムが提供される。

なお、上記の発明の概要は、本発明の必要な特徴のすべてを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

動画データ１５０の一例を示す。 階層符号化された動画データ１６０の一例である。 階層符号化された動画データにおいて、拡張レイヤの一部のレイヤデータが欠落した動画データ１７０の一例である。 動画データ再生装置１００の一例を概略的に示す。 バッファ１０２が格納している動画データ１５０の一例を概略的に示す。 再生部１０８による復号化制御の一例を概略的に示す。 動画データ再生装置１００による処理の流れの一例を概略的に示す。 動画データ再生装置１００による処理の流れの具体例を概略的に示す。 再生部１０８による復号化制御の一例を概略的に示す。 動画データ再生装置１００による処理の流れの一例を概略的に示す。 動画データ再生装置１００による処理の流れの一例を概略的に示す。 バッファ１０２が格納している動画データ１５０の一例を概略的に示す。 再生部１０８による復号化制御の一例を概略的に示す。 動画データ再生装置１００による処理の流れの一例を概略的に示す。 動画データ再生装置１００による処理の流れの具体例を概略的に示す。 動画データ再生装置１００による処理の流れの一例を概略的に示す。 動画データ再生装置１００による処理の流れの具体例を概略的に示す。 再生部１０８による復号化制御の一例を概略的に示す。 動画データ再生装置１００による処理の流れの一例を概略的に示す。 動画データ再生装置１００による処理の流れの具体例を概略的に示す。 動画データ再生装置１００による処理の流れの一例を概略的に示す。 動画データ再生装置１００による処理の流れの具体例を概略的に示す。 複数のフレームでフレームグループを構成するように階層符号化された動画データ１８０の一例である。 階層符号化方式で符号化されたフレームグループ１８２を用いて高画質な動画を再生する例である。 階層符号化方式で符号化されたフレームグループ１８２を用いて低画質な動画を再生する例である。 階層符号化方式で符号化されたフレームグループ２００を用いて復号化を行う例である。 バッファ１０２が格納している動画データ１５０の一例を概略的に示す。 バッファ１０２が格納している動画データ１５０の一例を概略的に示す。 外部から動画データを受信可能な動画データ再生装置１００の一例を概略的に示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせのすべてが発明の解決手段に必須であるとは限らない。

図１は、動画データ１５０の一例である。動画データ１５０は複数のフレーム１５１により構成される。各フレーム１５１は再生順序を示すシーケンスＩＤ（以下、シーケンスＩＤをＳＩＤと省略する場合がある。）により識別される。動画データ１５０は、各フレームをＳＩＤに従って順次表示することで、動画を再生することができる。

図２は、階層符号化された動画データ１６０の一例である。動画データ１６０は複数のフレーム１６１により構成され、さらに各フレーム１６１は２つのレイヤデータ１６２、１６３から構成される。レイヤデータ１６２は基本レイヤと呼ばれ、レイヤデータ１６３は拡張レイヤと呼ばれる。各レイヤデータは再生順序を示すシーケンスＩＤとレイヤを表すレイヤＩＤ（以下、レイヤＩＤをＬＩＤと省略する場合がある。）により識別することができる。基本レイヤとは、例えば、低画質であるが再生に最低限必要なレイヤデータである。一方、拡張レイヤとは、基本レイヤに加えることによって画質を向上できるレイヤデータである。従って、階層符号化された動画データにおいては、基本レイヤのレイヤデータのみをＳＩＤに従って順次表示することで低画質の動画を再生することができる。また、基本レイヤと拡張レイヤのレイヤデータの両方を合わせ、ＳＩＤに従って順次表示することで高画質の動画データを再生することもできる。本実施形態では、基本レイヤのレイヤＩＤを１とし、拡張レイヤのレイヤＩＤを２以上として説明する。

階層符号化された動画データを構成するレイヤデータは、様々な要因で欠落する場合がある。例えば、動画データを、ネットワークを介してストリーミング再生する場合、伝送路においてレイヤデータが欠落することがある。また、光学ディスクや磁気ディスクなどから動画データを読み取る際に、レイヤデータが欠落することがある。

図３は、階層符号化された動画データにおいて、拡張レイヤの一部のレイヤデータが欠落した動画データ１７０の一例である。動画データ１７０は複数のフレーム１７１により構成され、さらに各フレームは２つのレイヤデータ１７２、１７３から構成される。動画データ１７０では、ＳＩＤ＝１、２、６、７のフレームは基本レイヤと拡張レイヤの両方のレイヤデータを含んでいるが、ＳＩＤ＝３、４、５のフレームは拡張レイヤのレイヤデータが欠落しており、基本レイヤのレイヤデータのみを含んでいる。

動画データ１７０を再生する場合、ＳＩＤ＝１、２の各フレームでは基本レイヤと拡張レイヤの両方のレイヤデータを用いて高画質の動画を再生できる。しかし、ＳＩＤ＝３、４、５の各フレームでは基本レイヤのレイヤデータしかないため、低画質に切り替えて動画を再生する。そして、ＳＩＤ=６、７の各フレームでは基本レイヤと拡張レイヤの両方のレイヤデータを用いて、再び高画質に切り替えて再生する。以上に述べた通り、階層符号化された動画データは、拡張レイヤのレイヤデータが欠落しても、画質を切り替えて再生することが可能である。

しかし、視聴時に、高画質の映像と低画質の映像が急激かつ頻繁に切替わると、切替時の画質の変化が人間の目に障るため、視聴者の体感品質を劣化させる場合がある。そこで、階層符号化された動画データを再生する際に、高画質の映像と低画質の映像の切替を円滑に行う再生装置が必要となる。

図４は、階層符号化された動画データを再生することができる動画データ再生装置１００の一例を概略的に示す。動画データ再生装置１００は、例えば、スケーラブル符号化された動画データを再生する。動画データ再生装置１００は、他の符号化方式によって階層符号化された動画データを再生してもよい。

動画データ再生装置１００は、バッファ１０２と再生部１０８を備える。バッファ１０２は、再生する動画データを一時的に格納することができる。例えば、通信ネットワークにより伝送された動画データや、光学ディスクや磁気ディスクから読み取った動画データを格納する。従って、バッファ１０２に格納された動画データにおいては、拡張レイヤの一部が欠落している場合がある。

再生部１０８は、バッファ１０２に格納されている動画データを復号化し、動画を再生する。例えば、再生部１０８は、２つの階層を含むように符号化された動画データの複数のフレームのそれぞれについて、基本レイヤのレイヤデータおよび拡張レイヤのレイヤデータの両方が格納されている場合、基本レイヤのレイヤデータおよび拡張レイヤのレイヤデータの両方、または基本レイヤのレイヤデータのみを用いてフレームを復号化し、基本レイヤのレイヤデータのみが格納されている場合、基本レイヤのレイヤデータのみを用いてフレームを復号化し、動画データ再生装置１００は復号化された各フレームをＳＩＤの順に再生する。

また、例えば、再生部１０８は、３つ以上の階層を含むように符号化された動画データの複数のフレームのそれぞれについて、バッファ１０２に格納されているすべてのレイヤデータの少なくとも１つのレイヤデータを用いてフレームを復号化する。具体例として、動画データが４つの階層を含むように符号化されている場合、再生部１０８は、基本レイヤのレイヤデータのみを用いるか、基本レイヤのレイヤデータおよび第１階層の拡張レイヤのレイヤデータを用いるか、基本レイヤのレイヤデータ、第１階層の拡張レイヤのレイヤデータおよび第２階層の拡張レイヤのレイヤデータを用いるか、すべてのレイヤデータを用いて、動画データを復号化し、動画データ再生装置１００は復号化された各フレームをＳＩＤの順に再生する。

また、再生部１０８は、複数の階層を含むように符号化され、それぞれが複数のフレームを含む複数のフレームグループを有する動画データを復号化してよい。例えば、再生部１０８は、２つの階層を含むように符号化され、それぞれが複数のフレームを含む複数のフレームグループを有する動画データの複数のフレームグループのそれぞれについて、フレームグループに含まれるすべてのフレームについて基本レイヤのレイヤデータおよび拡張レイヤのレイヤデータの両方が格納されている場合、当該フレームグループのすべての基本レイヤのレイヤデータおよび拡張レイヤのレイヤデータを用いて当該フレームグループを復号化し、フレームグループに含まれるすべてのフレームのうち少なくとも１つのフレームについて基本レイヤのレイヤデータのみが格納されている場合、当該フレームグループのすべての基本レイヤのレイヤデータのみを用いて当該フレームグループを復号化し、動画データ再生装置１００は復号化された各フレームをＳＩＤの順に再生する。

また、例えば、再生部１０８は、３つ以上の階層を含むように符号化され、それぞれが複数のフレームを含む複数のフレームグループを有する動画データの複数のフレームグループのそれぞれについて、すべてのフレームについて、すべてのフレームのうち格納されているレイヤデータの数が最も少ないフレームのレイヤデータの数であるグループ最少レイヤデータ数以下のレイヤデータを用いて当該フレームグループを復号化し、動画データ再生装置１００は復号化された各フレームをＳＩＤの順に再生する。

動画データ表示部１１０は、複数の階層を含むように符号化された動画データについて、再生部１０８によって復号化し再生される動画を表示する。また、動画データ表示部１１０は、複数の階層を含むように符号化され、それぞれが複数のフレームを含む複数のフレームグループを有する動画データについて、再生部１０８によって復号化された動画を表示する。

動画データ表示部１１０は、動画データ再生装置１００が備えるディスプレイであってよい。また、動画データ表示部１１０は、他の装置が備えるディスプレイであってもよい。動画データ表示部１１０は、例えば、任意のネットワークを介して接続されてもよい。

動画データ再生装置１００は、複数の階層を含むように符号化された動画データを外部から受信してもよい。再生部１０８は、外部から受信した動画データを復号化してよく、動画データ表示部１１０は、再生部１０８によって復号化、及び再生される外部から受信した動画データを表示してよい。

図５は、バッファ１０２が格納している動画データ１５０の一例を概略的に示す。ここでは、基本レイヤおよび拡張レイヤの２つの階層を含むように符号化された動画データ１５０を示す。基本レイヤおよび拡張レイヤのそれぞれには、複数のレイヤデータ１５２が含まれる。欠落したレイヤデータ１５４は、レイヤデータ１５２が格納されていないことを示す。例えば、図５に示す動画データ１５０では、１、２、４、６、８、１０〜１２、および１４〜１６番目のフレームについて、基本レイヤのレイヤデータおよび拡張レイヤのレイヤデータが格納されており、３、５、７、９、および１３番目のフレームについて、基本レイヤのレイヤデータのみが格納されている。

ここで、基本レイヤのレイヤデータのみが格納されている場合に基本レイヤのレイヤデータのみを用いてフレームを復号化し、基本レイヤのレイヤデータおよび拡張レイヤのレイヤデータの両方が格納されている場合にその両方を用いて復号化した場合、図５に示す動画データ１５０では、２番目のフレームから９番目のフレームまで、１つのフレーム毎に高画質と低画質とが切り替わることになり、動画を閲覧する閲覧者が体感する動画の品質が低いものとなってしまう場合がある。

これに対して、本実施形態に係る動画データ再生装置１００は、閲覧者が体感する動画の品質を向上させる処理を実行する。動画データ再生装置１００が備える再生部１０８は、例えば、基本レイヤのレイヤデータおよび拡張レイヤのレイヤデータの両方が格納されている一のフレームの次のフレームについて、基本レイヤのレイヤデータのみが格納されている場合、当該次のフレーム以降の予め定められた第１の階層維持フレーム数のフレームについて、基本レイヤのレイヤデータおよび拡張レイヤのレイヤデータの両方が格納されている場合であっても、基本レイヤのレイヤデータのみを用いて当該次のフレーム以降の第１の階層維持フレーム数のフレームを復号化する。第１の階層維持フレーム数は、第１の数の一例であってよい。

図６は、再生部１０８による復号化の一例を概略的に示す。ここでは、第１の階層維持フレーム数が３である場合を例示する。再生部１０８は、基本レイヤのレイヤデータおよび拡張レイヤのレイヤデータの両方が格納されている２番目のフレームの次の３番目のフレームについて、基本レイヤのレイヤデータのみが格納されていることから、３〜５番目のフレームについて、基本レイヤのレイヤデータおよび拡張レイヤのレイヤデータの両方が格納されている場合であっても、基本レイヤのレイヤデータのみを用いて３〜５番目のフレームを復号化する。

廃棄レイヤデータ１５６は、再生部１０８によって廃棄されるレイヤデータを示す。図６に示す例では、４、８、１４、および１５番目の拡張レイヤのレイヤデータが廃棄レイヤデータ１５６となっている。このように、本実施形態に係る動画データ再生装置１００によれば、高画質と低画質との頻繁な切り替えを抑制することができ、閲覧者が体感する動画の品質を向上させることができる。

図７は、動画データ再生装置１００による処理の流れの一例を概略的に示す。図７に示す処理は、動画データ再生装置１００が、２つの階層を含むように符号化された動画データの再生指示を受領した状態を開始状態として説明する。図７に示す各処理は、動画データ再生装置１００の再生部１０８の内部で全て実行されてよい。なお、ここでは、１番目のフレームについては、再生可能な最も高いレイヤで再生することを前提として説明する。フレームを再生可能な最も高いレイヤで再生するとは、当該フレームについて格納されているすべてのレイヤデータを用いて当該フレームを復号化して再生することを示す。

ステップ（ステップをＳと省略して記載する場合がある。）５０２では、バッファ１０２に格納されている１番目のフレームおよび次の２番目のフレームを確認する。

Ｓ５０４では、１番目のフレームに対して、２番目のフレームのレイヤが下がるか否かを判定する。１番目のフレームに対して２番目のフレームのレイヤが下がるとは、１番目のフレームについて格納されているレイヤデータの数よりも、２番目のフレームについて格納されているレイヤデータの数の方が少ないことを示す。レイヤが下がらないと判定した場合、Ｓ５０６に進み、レイヤが下がると判定した場合、Ｓ５０８に進む。

Ｓ５０６では、２番目のフレームを再生可能な最も高いレイヤで再生することを決定する。Ｓ５０８では、次のＮフレームを基本レイヤで再生することを決定する。基本レイヤで再生するとは、対象となるフレームについて、複数のレイヤデータが格納されていても、基本レイヤのレイヤデータのみを用いて当該フレームを復号化して再生することを示す。Ｎは第１の階層維持フレーム数の一例であってよい。Ｎは予め定められた数であってよく、また、変更可能であってもよい。

Ｓ５１０では、動画データの最終フレームまで処理が完了したか否かを判定する。最終フレームまで処理が完了していないと判定された場合、Ｓ５０２に戻り、さらに次のフレームを確認する。最終フレームまで処理が完了したと判定された場合、処理が終了する。

Ｓ５０６およびＳ５０８において復号方針を決定した場合に、逐次復号化を実行して、動画データ表示部１１０に復号化が完了したフレームを用いて動画を表示させてよい。また、Ｓ５０２〜Ｓ５１２の処理を繰り返して、動画データに含まれる複数のフレームまたは全フレームについて復号方針を決定した後に復号化を実行して、動画データ表示部１１０に復号化が完了したフレームを用いて動画を表示させてもよい。

図８は、動画データ再生装置１００による処理の流れの具体例を概略的に示す。図８に示す処理は、動画データ再生装置１００が、２つの階層を含むように符号化された動画データの再生指示を受領した状態を開始状態として説明する。図８に示す各処理は、動画データ再生装置１００が備える再生部１０８の内部で全て実行されてよい。なお、ここでは、１番目のフレームについては、再生可能な最も高いレイヤで再生することを前提として説明する。

図中、Ｘはフレーム番号を示す。ＹはＸの最大値を示す。Ｘの初期値は０であり、Ｙは動画データに含まれるフレームの数である。Ｂ［Ｘ］は、Ｘ番目のフレームについて、バッファ１０２に格納されているレイヤデータの数を示す。ここでは動画データが２つの階層を含むように符号化された場合を例示するので、Ｂ［Ｘ］の最小値は１、Ｂ［Ｘ］の最大値は２である。

Ｓ６０２では、バッファ１０２に格納されている１番目のフレームおよび次の２番目のフレームを確認する。Ｓ６０４では、Ｂ［Ｘ＋１］がＢ［Ｘ］よりも小さいか否かを判定する。Ｂ［Ｘ＋１］がＢ［Ｘ］よりも小さくないと判定した場合、Ｓ６０６に進み、小さいと判定した場合、Ｓ６１０に進む。

Ｓ６０６では、Ｘ＋１番目のフレームをＢ［Ｘ＋１］に従って再生することを決定する。Ｂ［Ｘ＋１］に従って再生するとは、Ｂ［Ｘ＋１］が示す数のレイヤデータを用いてフレームを復号化して再生することを示してよい。Ｓ６０８では、Ｘに１を加算する。

Ｓ６１０では、ｎに１を代入する。Ｓ６１２では、Ｘ＋ｎ番目のフレームを基本レイヤで再生することを決定する。Ｓ６１４では、ｎに１を加算する。Ｓ６１６では、ｎ＝Ｎであるか否かを判定する。ｎ＝Ｎであると判定した場合、Ｓ６１２に戻り、ｎ＝Ｎであると判定した場合、Ｓ６１８に進む。Ｓ６１８では、ＸにＮを加算する。

Ｓ６２０では、Ｘ＝Ｙであるか否かを判定する。Ｘ＝Ｙでないと判定した場合、Ｓ６０２に戻り、Ｘ＝Ｙであると判定した場合、処理を終了する。

以上、図５に示す例のように、２つのレイヤを含むように階層符号化された動画データを再生する際に、レイヤデータの欠落による頻繁な画質の切替が発生し、体感品質が劣化することがある。そこで、これを防ぐ方法として、図６に示すように、一度レイヤが下がった後、階層維持フレーム数分のフレームをレイヤを上げずに再生することで、閲覧者が体感する動画の品質を向上させることができる。具体的な実現方法としては、図４に示す動画データ再生装置１００において、再生部１０８で図７及び図８に示す各処理を実行することで実現することができる。

図９は、再生部１０８による復号化制御の一例を概略的に示す。ここでは、低画質から高画質に切り替わった後にＭフレーム連続して高画質が維持できない場合に、拡張レイヤのレイヤデータを廃棄して高画質への切り替えを行わない処理を再生部１０８が実行する場合について説明する。Ｍは第１の階層保証フレーム数の一例であってよい。Ｍは予め定められた数であってよく、また、変更可能であってもよい。ここでは、Ｍが２である場合を例に挙げて説明する。

図９に示す例では、図６において説明した処理によって４、８、１４、および１５番目の拡張レイヤのレイヤデータが廃棄されて、３〜５、７〜９、および１３〜１５番目のフレームについて基本レイヤのレイヤデータのみを用いてフレームが復号化される。ここで、６番目のフレームについては、基本レイヤのレイヤデータおよび拡張レイヤのレイヤデータの両方が格納されている。しかし、７番目のフレームについては基本レイヤのレイヤデータのみが格納されていることから、２フレーム連続して高画質を維持できないので、再生部１０８は、６番目のフレームおよび７番目のフレームについて、基本レイヤのレイヤデータのみを用いて復号化することを決定する。廃棄レイヤデータ１５８は、再生部１０８によって廃棄されるレイヤデータを示す。このように、再生部１０８は、６番目のフレームのように１つ前のフレームよりも格納されているレイヤデータが多いフレームについて、基本レイヤのレイヤデータおよび拡張レイヤのレイヤデータの両方が格納されており、当該フレーム以降の第１の階層保証フレーム数のフレームのすべてについて基本レイヤのレイヤデータおよび拡張レイヤのレイヤデータの両方が格納されている場合には、当該フレームについて、基本レイヤのレイヤデータおよび拡張レイヤのレイヤデータを用いて復号化し、当該フレーム以降の第１の階層保証フレーム数のフレームの少なくとも１つについて基本レイヤのレイヤデータのみが格納されている場合、当該フレームについて、基本レイヤのレイヤデータのみを用いて復号化してよい。上述したように、本実施形態に係る動画データ再生装置１００によれば、高画質と低画質の頻繁な切り替えをさらに抑制することができ、閲覧者が体感する動画の品質を向上させることができる。

図１０は、動画データ再生装置１００による処理の流れの一例を概略的に示す。図１０に示す処理は、動画データ再生装置１００が、２つの階層を含むように符号化された動画データの再生指示を受領した状態を開始状態として説明する。図１０に示す各処理は、動画データ再生装置１００の再生部１０８の内部で全て実行されてよい。なお、ここでは、１番目のフレームについては、再生可能な最も高いレイヤで再生することを前提として説明する。

Ｓ８０２では、バッファ１０２に格納されている１番目のフレームおよび次の２番目のフレームを確認する。Ｓ８０４では、１番目のフレームに対して、２番目のフレームのレイヤが上がるか否かを判定する。１番目のフレームに対して２番目のフレームのレイヤが上がるとは、２番目のフレームについて格納されているレイヤデータの数の方が、１番目のフレームについて格納されているレイヤデータの数よりも多いことを示す。

レイヤが上がらないと判定した場合、Ｓ８０６に進み、レイヤが上がると判定した場合、Ｓ８０８に進む。Ｓ８０６では、２番目のフレームを再生可能な最も高いレイヤで再生することを決定する。

Ｓ８０８では、次のＭフレーム連続して拡張レイヤで再生可能か否かを判定する。再生部１０８は、次のＭフレームのすべてについて基本レイヤのレイヤデータおよび拡張レイヤのレイヤデータが格納されている場合、Ｍフレーム連続して拡張レイヤで再生可能と判定し、それ以外の場合に再生不可能と判定してよい。再生可能と判定した場合、Ｓ８１０に進み、再生不可能と判定した場合、Ｓ８１２に進む。

Ｓ８１０では、次のＭフレームについて拡張レイヤで再生することを決定する。Ｓ８１２では、次のフレームについて基本レイヤで再生することを決定する。

Ｓ８１４では、動画データの最終フレームまで処理が完了したか否かを判定する。最終フレームまで処理が完了していないと判定された場合、Ｓ８０２に戻り、再生部１０８がさらに次のフレームを確認する。最終フレームまで処理が完了したと判定された場合、処理が終了する。

図１１は、動画データ再生装置１００による処理の流れの具体例を概略的に示す。図１１に示す処理は、動画データ再生装置１００が２つの階層を含むように符号化された動画データの再生指示を受領した状態を開始状態として説明する。図１１に示す各処理は、動画データ再生装置１００の再生部１０８の内部で全て実行されてよい。なお、ここでは、１番目のフレームについては、再生可能な最も高いレイヤで再生することを前提として説明する。

図中、Ｘはフレーム番号を示す。ＹはＸの最大値を示す。Ｘの初期値は０であり、Ｙは動画データに含まれるフレームの数を示す。Ｂ［Ｘ］は、Ｘ番目のフレームについて、バッファ１０２に格納されているレイヤデータの数を示す。ここでは動画データが２つの階層を含むように符号化された場合を例示するので、Ｂ［Ｘ］の最小値は１、Ｂ［Ｘ］の最大値は２である。

Ｓ９０２では、バッファ１０２に格納されている１番目のフレームおよび次の２番目のフレームを確認する。Ｓ９０４では、Ｂ［Ｘ＋１］がＢ［Ｘ］よりも大きいか否かを判定する。Ｂ［Ｘ＋１］がＢ［Ｘ］よりも大きくないと判定した場合、Ｓ９０６に進み、大きいと判定した場合、Ｓ９１０に進む。

Ｓ９０６では、Ｘ＋１番目のフレームをＢ［Ｘ＋１］に従って再生することを決定する。Ｓ９０８では、Ｘに１を加算する。

Ｓ９１０では、Ｘ＋１番目のフレームからＸ＋Ｍ番目のフレームまでのフレームが拡張レイヤで再生可能か否かを判定する。再生可能と判定した場合、Ｓ９１２に進み、再生不可能と判定した場合、Ｓ９２４に進む。

Ｓ９１２では、ｎに１を代入する。Ｓ９１４では、Ｘ＋ｎ番目のフレームを拡張レイヤで再生することを決定する。Ｓ９１６では、ｎに１を加算する。Ｓ９１８では、ｎ＝Ｍであるか否かを判定する。ｎ＝Ｍであると判定しなかった場合、Ｓ９１４に戻り、ｎ＝Ｍであると判定した場合、Ｓ９２０に進む。Ｓ９２０では、Ｂ［Ｘ＋ｎ］に２を代入する。Ｓ９２２では、ＸにＮを加算する。

Ｓ９２４では、Ｘ＋１番目のフレームを基本レイヤで再生することを決定する。Ｓ９２６では、Ｂ［Ｘ＋１］に１を代入する。Ｓ９２８では、Ｘに１を加算する。

Ｓ９３４では、Ｘ＝Ｙであるか否かを判定する。Ｘ＝Ｙでないと判定した場合、Ｓ９０２に戻り、さらに次のフレームを確認する。Ｘ＝Ｙであると判定した場合、処理を終了する。

図１２は、バッファ１０２が格納している動画データ１５０の一例を概略的に示す。ここでは、基本レイヤおよび拡張レイヤ１〜拡張レイヤ３の４つの階層を含むように符号化された動画データ１５０を示す。図１２に示す例では、３番目のフレームにおける拡張レイヤ２〜３の拡張レイヤのレイヤデータと、６番目のフレームにおける拡張レイヤ３の拡張レイヤのレイヤデータと、８番目のフレームにおける拡張レイヤ３の拡張レイヤのレイヤデータと、１１番目のフレームにおける拡張レイヤ１〜３の拡張レイヤのレイヤデータと、１３番目のフレームにおける拡張レイヤ２〜３の拡張レイヤのレイヤデータとが、欠落したレイヤデータ１５４である場合を例示する。

ここで、各フレームについて、格納されているすべてのレイヤデータを用いてフレームを復号化した場合、図１２に示す動画データ１５０では、頻繁に画質が切り替わることになり、閲覧者が体感する動画の品質が低いものとなってしまう場合がある。

これに対して、本実施形態に係る動画データ再生装置１００は、閲覧者が体感する動画の品質を向上させる処理を実行する。動画データ再生装置１００が備える再生部１０８は、例えば、１つ前のフレームよりも格納されているレイヤデータが少ない一のフレームについて、当該一のフレーム以降の予め定められた第２の階層維持フレーム数のフレームについて、当該一のフレームよりも多くのレイヤデータが格納されている場合であっても、当該一のフレームについて格納されているレイヤデータの数と同じ数のレイヤデータを用いて当該一のフレーム以降の第２の階層維持フレーム数のフレームを復号化する。

図１３は、再生部１０８による復号化制御の一例を概略的に示す。ここでは、第２の階層維持フレーム数が３である場合を例示する。再生部１０８は、３番目のフレームについて、１つ前の２番目のフレームよりも格納されているレイヤデータが少ないことから、３〜５番目のフレームについて、２番目のフレームよりも多くのレイヤデータが格納されている場合であっても、２番目のフレームについて格納されているレイヤデータの数である２と同じ数のレイヤデータを用いて、３〜５番目のフレームを復号化する。同様に、再生部１０８は、７番目のフレームについて、６番目のフレームについて格納されているレイヤデータの数である３と同じ数のレイヤデータを用いて、復号化する。また、同様に、再生部１０８は、１２および１３番目のフレームについて、１１番目のフレームについて格納されているレイヤデータの数である１と同じ数のレイヤデータを用いて、復号化する。

このように、図１３に示す例では、４番目のフレームにおける拡張レイヤ２〜３の拡張レイヤのレイヤデータと、５番目のフレームにおける拡張レイヤ２〜３の拡張レイヤのレイヤデータと、７番目のフレームにおける拡張レイヤ３の拡張レイヤのレイヤデータと、１２番目のフレームにおける拡張レイヤ１〜３の拡張レイヤのレイヤデータと、１３番目のフレームにおける拡張レイヤ１の拡張レイヤのレイヤデータとが廃棄レイヤデータ１５６となる。このように、本実施形態に係る動画データ再生装置１００によれば、画質の頻繁な切り替えを抑制することができ、閲覧者が体感する動画の品質を向上させることができる。

図１４は、動画データ再生装置１００による処理の流れの一例を概略的に示す。図１４に示す処理は、動画データ再生装置１００が動画データの再生指示を受領した状態を開始状態として説明する。図１４に示す各処理は、動画データ再生装置１００の再生部１０８の内部で全て実行されてよい。なお、ここでは、１番目のフレームについては、再生可能な最も高いレイヤで再生することを前提として説明する。

Ｓ１２０２では、バッファ１０２に格納されている１番目のフレームおよび次の２番目のフレームを確認する。Ｓ１２０４では、１番目のフレームに対して、２番目のフレームのレイヤが下がるか否かを判定する。レイヤが下がらないと判定した場合、Ｓ１２０６に進み、レイヤが下がると判定した場合、Ｓ１２０８に進む。

Ｓ１２０６では、２番目のフレームを再生可能な最も高いレイヤで再生することを決定する。Ｓ１２０８では、次のＮフレームで連続して再生可能な最も高いレイヤＬを特定する。Ｓ１２１０では、次のＮフレームをレイヤＬで再生することを決定する。ここで、Ｎは第２の階層維持フレーム数の一例であってよい。Ｎは予め定められた数であってよく、また、変更可能であってもよい。

Ｓ１２１２では、動画データの最終フレームまで処理が完了したか否かを判定する。最終フレームまで処理が完了していないと判定された場合、Ｓ１２０２に戻り、さらに次のフレームを確認する。最終フレームまで処理が完了したと判定された場合、処理が終了する。

図１５は、動画データ再生装置１００による処理の流れの具体例を概略的に示す。図１５に示す処理は、動画データ再生装置１００が動画データの再生指示を受領した状態を開始状態として説明する。図１５に示す各処理は、動画データ再生装置１００の再生部１０８の内部で全て実行されてよい。なお、ここでは、１番目のフレームについては、再生可能な最も高いレイヤで再生することを前提として説明する。

図中、Ｘはフレーム番号を示す。ＹはＸの最大値を示す。Ｘの初期値は０であり、Ｙは動画データに含まれるフレームの数を示す。Ｂ［Ｘ］は、Ｘ番目のフレームについて、バッファ１０２に格納されているレイヤデータの数を示す。Ｊは、最大レイヤ数、すなわち、動画データの符号化階層数を示す。

Ｓ１３０２では、バッファ１０２に格納されている１番目のフレームおよび次の２番目のフレームを確認する。Ｓ１３０４では、Ｂ［Ｘ＋１］がＢ［Ｘ］よりも小さいか否かを判定する。Ｂ［Ｘ＋１］がＢ［Ｘ］よりも小さくないと判定した場合、Ｓ１３０６に進み、小さいと判定した場合、Ｓ１３１０に進む。

Ｓ１３０６では、Ｘ＋１番目のフレームをＢ［Ｘ＋１］に従って再生することを決定する。Ｓ６０８では、Ｘに１を加算する。

Ｓ１３１０では、ＬにＪを代入する。Ｓ１３１２では、Ｘ＋１番目のフレームからＸ＋Ｎ番目のフレームがレイヤＬで再生可能か否かを判定する。再生不可能と判定された場合、Ｓ１３１４に進み、再生可能と判定された場合、Ｓ１３１６に進む。Ｓ１３１４では、Ｌから１を減算して、Ｓ１３１２に戻る。

Ｓ１３１６では、ｎに１を代入する。Ｓ１３１８では、Ｘ＋ｎ番目のフレームをレイヤＬで再生することを決定する。Ｓ１３２０では、ｎに１を加算する。Ｓ１３２２では、ｎ＝Ｎであるか否かを判定する。ｎ＝Ｎでないと判定した場合、Ｓ１３１８に戻り、ｎ＝Ｎであると判定した場合、Ｓ１３２４に進む。Ｓ１３２４では、ＸにＮを加算する。

Ｓ１３２６では、Ｘ＝Ｙであるか否かを判定する。Ｘ＝Ｙでないと判定した場合、Ｓ１３０２に戻り、さらに次のフレームを確認する。Ｘ＝Ｙであると判定した場合、処理を終了する。

図１６は、動画データ再生装置１００による処理の流れの一例を概略的に示す。図１６に示す処理は、動画データ再生装置１００が動画データの再生指示を受領した状態を開始状態として説明する。図１６に示す各処理は、動画データ再生装置１００の再生部１０８の内部で全て実行されてよい。なお、ここでは、１番目のフレームについては、再生可能な最も高いレイヤで再生することを前提として説明する。

Ｓ１４０２では、バッファ１０２に格納されている１番目のフレームおよび次の２番目のフレームを確認する。Ｓ１４０４では、１番目のフレームに対して、２番目のフレームのレイヤが上がるか否かを判定する。レイヤが上がらないと判定した場合、Ｓ１４０６に進み、レイヤが上がると判定した場合、Ｓ１４０８に進む。

Ｓ１４０６では、２番目のフレームを再生可能な最も高いレイヤで再生することを決定する。Ｓ１４０８では、次のＭフレームで連続して再生可能な最も高いレイヤＬを特定する。Ｓ１４１０では、Ｓ１４０８で決定されたレイヤＬが１つ前のフレームのレイヤより高いか否かが判定される。レイヤＬが１つ前のフレームのレイヤより高いと判定されなかった場合、Ｓ１４１２に進み、判定された場合、Ｓ１４１４に進む。Ｓ１４１２では、次のフレームを１つ前のフレームと同じレイヤで再生することを決定する。ここで、Ｍは第２の階層保証フレーム数の一例であってよい。Ｍは予め定められた数であってよく、また、変更可能であってもよい。Ｓ１４１４では、次のフレームをレイヤＬで再生することを決定する。

Ｓ１４１６では、動画データの最終フレームまで処理が完了したか否かを判定する。最終フレームまで処理が完了していないと判定された場合、Ｓ１４０２に戻り、さらに次のフレームを確認する。最終フレームまで処理が完了したと判定された場合、処理が終了する。

図１７は、動画データ再生装置１００による処理の流れの具体例を概略的に示す。図１７に示す処理は、動画データ再生装置１００が動画データの再生指示を受領した状態を開始状態として説明する。図１７に示す各処理は、動画データ再生装置１００の再生部１０８の内部で全て実行されてよい。なお、ここでは、１番目のフレームについては、再生可能な最も高いレイヤで再生することを前提として説明する。

図中、Ｘはフレーム番号を示す。ＹはＸの最大値を示す。Ｘの初期値は０であり、Ｙは動画データに含まれるフレームの数を示す。Ｂ［Ｘ］は、Ｘ番目のフレームについて、バッファ１０２に格納されているレイヤデータの数を示す。Ｊは、最大レイヤ数、すなわち、動画データの符号化階層数を示す。

Ｓ１５０２では、バッファ１０２に格納されている１番目のフレームおよび次の２番目のフレームを確認する。Ｓ１５０４では、Ｂ［Ｘ＋１］がＢ［Ｘ］よりも大きいか否かを判定する。Ｂ［Ｘ＋１］がＢ［Ｘ］よりも大きくないと判定した場合、Ｓ１５０６に進み、大きいと判定した場合、Ｓ１５１０に進む。

Ｓ１５０６では、Ｘ＋１番目のフレームをＢ［Ｘ＋１］に従って再生することを決定する。Ｓ１５０８では、Ｘに１を加算する。

Ｓ１５１０では、Ｘ＋１番目のフレームからＸ＋Ｍ番目のフレームがＢ［Ｘ］より高いレイヤで再生可能か否かを判定する。再生不可能と判定された場合、Ｓ１５１２に進み、再生可能と判定された場合、Ｓ１５１４に進む。Ｓ１５１２では、Ｘ＋１番目のフレームをＢ［Ｘ］に従って再生することを決定する。

Ｓ１５１４では、Ｌに０を代入する。Ｓ１５１６では、Ｘ＋１番目のフレームからＸ＋Ｍ番目のフレームがレイヤＬで再生可能か否かを判定する。再生可能と判定された場合、Ｓ１５１８に進み、再生不可能と判定された場合、Ｓ１５２６に進む。Ｓ１５１８では、Ｌに１を加算する。Ｓ１５２０では、Ｌ＝Ｊであるか否かを判定する。Ｌ＝Ｊでないと判定した場合、Ｓ１５１６に戻り、Ｌ＝Ｊであると判定した場合、Ｓ１５２２に進む。

Ｓ１５２２では、Ｘ＋１番目のフレームをレイヤＬで再生することを決定する。Ｓ１５２４では、Ｂ［Ｘ＋１］にＬを代入する。Ｓ１５２６では、Ｘ＋１番目のフレームをレイヤＬ−１で再生することを決定する。Ｓ１５２８では、Ｂ［Ｘ＋１］にＬ−１を代入する。Ｓ１５３０では、Ｘに１を加算する。

Ｓ１５３２では、Ｘ＝Ｙであるか否かを判定する。Ｘ＝Ｙでないと判定した場合、Ｓ１５０２に戻り、さらに次のフレームを確認する。Ｘ＝Ｙであると判定した場合、処理を終了する。

図１８は、再生部１０８による復号化制御の一例を概略的に示す。ここでは、動画データ再生装置１００による、複数レイヤを跨ったレイヤの切り替えを抑制する処理について説明する。例えば、４つの階層を含むように符号化された動画データについて、基本レイヤのレイヤデータのみを用いて復号化したフレームの次に、基本レイヤのレイヤデータと拡張レイヤ１〜３のレイヤデータとを用いて復号化したフレームが再生された場合、画質の差が大きく、閲覧者の体感する動画の品質が低いものとなってしまう場合がある。図１８は、廃棄レイヤデータ１５６が廃棄された状態を示しており、例えば、１０番目のフレームおよび１１番目のフレームのそれぞれについて格納されているレイヤデータの数の差は３である。また、１３番目のフレームおよび１４番目のフレームのそれぞれについて格納されているレイヤデータの数の差は３である。

これに対して、本実施形態に係る動画データ再生装置１００が備える再生部１０８は、隣接するフレームのそれぞれについて格納されているレイヤデータの数の差が２以上ある場合に、画質が段階的に切り替わるように制御してよい。図１８に示す例では、１０番目のフレームおよび１１番目のフレームのそれぞれについて格納されているレイヤデータの数の差が３であることから、再生部１０８は、画質が段階的に切り替わるようにすべく、９番目のフレームにおける拡張レイヤ３のレイヤデータと、１０番目のフレームにおける拡張レイヤ２、３のレイヤデータとを廃棄レイヤデータ１５９とする。また、１３番目のフレームおよび１４番目のフレームのそれぞれについて格納されているレイヤデータの数の差が３であることから、再生部１０８は、画質が段階的に切り替わるようにすべく、１４番目のフレームにおける拡張レイヤ２、３のレイヤデータと、１５番目のフレームにおける拡張レイヤ３のレイヤデータとを廃棄レイヤデータ１５９とする。

また、再生部１０８は、１０番目のフレームおよび１１番目のフレームのそれぞれについて格納されているレイヤデータの数の差が３であることから、レイヤデータの数の差が３よりも小さくなるように、１０番目のフレームのうちの少なくとも１つのレイヤデータを廃棄してもよい。例えば、再生部１０８は、１０番目のフレームについて格納されている、拡張レイヤ３のレイヤデータ、拡張レイヤ２および拡張レイヤ３のレイヤデータ、または拡張レイヤ１から３のレイヤデータを廃棄する。

このように、再生部１０８は、動画データが３階層以上の複数の階層を含むように符号化されている場合において、１つ後のフレームよりも格納されているレイヤデータの数が予め定められた低下制限階層数以上多い一のフレームについて、格納されている複数のレイヤデータの一部のみを用いて当該一のフレームを復号化してよい。

また、再生部１０８は、動画データが３階層以上の複数の階層を含むように符号化されている場合において、１つ前のフレームよりも格納されているレイヤデータの数が予め定められた上昇制限階層数以上多い一のフレームについて、格納されている複数のレイヤデータの一部のみを用いて当該一のフレームを復号化してよい。

図１９は、動画データ再生装置１００による処理の流れの一例を概略的に示す。図１９に示す処理は、動画データ再生装置１００が動画データの再生指示を受領した状態を開始状態として説明する。図１９に示す各処理は、動画データ再生装置１００の再生部１０８の内部で全て実行されてよい。なお、ここでは、１番目のフレームについては、再生可能な最も高いレイヤで再生することを前提として説明する。

Ｓ１７０２では、バッファ１０２に格納されている１番目のフレームおよび次の２番目のフレームを確認する。Ｓ１７０４では、１番目のフレームに対して、２番目のフレームのレイヤがＫレイヤ以上下がるか否かを判定する。１番目のフレームに対して２番目のフレームのレイヤがＫレイヤ以上下がるとは、１番目のフレームについて格納されているレイヤデータの数が、２番目のフレームについて格納されているレイヤデータの数にＫを加算した値以上であることを示してよい。Ｋは低下制限階層数の一例であってよい。Ｋは予め定められた数であってよく、また、変更可能であってもよい。Ｋレイヤ以上下がると判定しなかった場合、Ｓ１７０６に進み、Ｋレイヤ以上下がると判定した場合、Ｓ１７０８に進む。

Ｓ１７０６では、１番目のフレームを、再生可能な最も高いレイヤで再生することを決定する。Ｓ１７０８では、１番目のフレームを、再生可能な最も高いレイヤより１つ低いレイヤで再生することを決定する。

Ｓ１７１０では、動画データの最終フレームまで処理が完了したか否かを判定する。最終フレームまで処理が完了していないと判定された場合、Ｓ１７０２に戻り、さらに次のフレームを確認する。最終フレームまで処理が完了したと判定された場合、処理が終了する。

図２０は、動画データ再生装置１００による処理の流れの具体例を概略的に示す。図２０に示す処理は、動画データ再生装置１００が動画データの再生指示を受領した状態を開始状態として説明する。図２０に示す各処理は、動画データ再生装置１００の再生部１０８の内部で全て実行されてよい。なお、ここでは、１番目のフレームについては、再生可能な最も高いレイヤで再生することを前提として説明する。

図中、Ｘはフレーム番号を示す。ＹはＸの最大値を示す。Ｘの初期値は０であり、Ｙは動画データに含まれるフレームの数を示す。Ｂ［Ｘ］は、Ｘ番目のフレームについて、バッファ１０２に格納されているレイヤデータの数を示す。Ｋは、跨って低下してはいけないレイヤ数を示す。

Ｓ１８０２では、バッファ１０２に格納されている１番目のフレームおよび次の２番目のフレームを確認する。Ｓ１８０４では、Ｂ［Ｘ］が（Ｂ［Ｘ＋１］＋Ｋ）以上であるか否かを判定する。Ｂ［Ｘ］が（Ｂ［Ｘ＋１］＋Ｋ）以上であると判定しなかった場合、Ｓ１８０６に進み、判定した場合、Ｓ１８０８に進む。

Ｓ１８０６では、Ｘ番目のフレームをＢ［Ｘ］に従って再生することを決定する。Ｓ１８０８では、Ｘ番目のフレームをＢ［Ｘ］−１のレイヤで再生することを決定する。

Ｓ１８１０では、Ｘ＝Ｙであるか否かを判定する。Ｘ＝Ｙでないと判定した場合、Ｓ１８１２に進み、Ｘ＝Ｙであると判定した場合、処理を終了する。Ｓ１８１２では、Ｘに１を加算して、Ｓ１８０２に戻る。Ｓ１８０２では、さらに次のフレームを確認する。

図２１は、動画データ再生装置１００による処理の流れの一例を概略的に示す。図２１に示す処理は、動画データ再生装置１００が動画データの再生指示を受領した状態を開始状態として説明する。図２１に示す各処理は、動画データ再生装置１００の再生部１０８の内部で全て実行されてよい。なお、ここでは、１番目のフレームについては、再生可能な最も高いレイヤで再生することを前提として説明する。

Ｓ１９０２では、バッファ１０２に格納されている１番目のフレームおよび次の２番目のフレームを確認する。Ｓ１９０４では、１番目のフレームに対して、２番目のフレームのレイヤがＫレイヤ以上上がるか否かを判定する。１番目のフレームに対して２番目のフレームのレイヤがＫレイヤ以上上がるとは、２番目のフレームについて格納されているレイヤデータの数が、１番目のフレームについて格納されているレイヤデータの数にＫを加算した値以上であることを示してよい。Ｋは上昇制限階層数の一例であってよ。Ｋレイヤ以上上がると判定しなかった場合、Ｓ１９０６に進み、Ｋレイヤ以上上がると判定した場合、Ｓ１９０８に進む。

Ｓ１９０６では、２番目のフレームを、再生可能な最も高いレイヤで再生することを決定する。Ｓ１９０８では、２番目のフレームを、再生可能な最も高いレイヤより１つ低いレイヤで再生することを決定する。

Ｓ１９１０では、動画データの最終フレームまで処理が完了したか否かを判定する。最終フレームまで処理が完了していないと判定された場合、Ｓ１９０２に戻り、さらに次のフレームを確認する。最終フレームまで処理が完了したと判定された場合、処理が終了する。

図２２は、動画データ再生装置１００による処理の流れの具体例を概略的に示す。図２２に示す処理は、動画データ再生装置１００が動画データの再生指示を受領した状態を開始状態として説明する。図２２に示す各処理は、動画データ再生装置１００の再生部１０８の内部で全て実行されてよい。なお、ここでは、１番目のフレームについては、再生可能な最も高いレイヤで再生することを前提として説明する。

図中、Ｘはフレーム番号を示す。ＹはＸの最大値を示す。Ｘの初期値は０であり、Ｙは動画データに含まれるフレームの数を示す。Ｂ［Ｘ］は、Ｘ番目のフレームについて、バッファ１０２に格納されているレイヤデータの数を示す。Ｋは、跨って上昇してはいけないレイヤ数を示す。

Ｓ２００２では、バッファ１０２に格納されている１番目のフレームおよび次の２番目のフレームを確認する。Ｓ２００４では、Ｂ［Ｘ＋１］が（Ｂ［Ｘ］＋Ｋ）以上であるか否かを判定する。Ｂ［Ｘ＋１］が（Ｂ［Ｘ］＋Ｋ）以上であると判定しなかった場合、Ｓ２００６に進み、判定した場合、Ｓ２００８に進む。

Ｓ２００６では、Ｘ＋１番目のフレームをＢ［Ｘ＋１］に従って再生することを決定する。Ｓ２００８では、Ｘ＋１番目のフレームをＢ［Ｘ＋１］−１のレイヤで再生することを決定する。

Ｓ２０１０では、Ｘ＝Ｙであるか否かを判定する。Ｘ＝Ｙでないと判定した場合、Ｓ２０１２に進み、Ｘ＝Ｙであると判定した場合、処理を終了する。Ｓ２０１２では、Ｘに１を加算して、Ｓ２００２に戻る。Ｓ２００２では、さらに次のフレームを確認する。

階層符号化方式では、連続した複数のフレームでグループを構成し、同一グループ内のフレーム間の参照関係を利用して符号化する場合がある。参照関係を有する複数のフレームの集合をフレームグループと呼ぶ（なお、ここで述べているフレームグループはＧＯＰ（group of picture）と称される場合がある。）。フレームグループを構成する符号化では、フレームグループを構成しない符号化と比較してより高い圧縮効率を実現することができる。

図２３は、複数のフレームでフレームグループを構成するように階層符号化された動画データ１８０の一例である。動画データ１８０は、複数のフレームグループ１８２、１８４で構成される。フレームグループはそれぞれ複数のフレーム１８６、１８８から構成され、各フレームはＬＩＤとＳＩＤによって識別可能な複数のレイヤデータを含んでいる。

フレームグループを構成するように階層符号化された動画データを復号化するときは、基本レイヤと拡張レイヤの両方のレイヤデータを用いて復号することで高画質な動画を復号することが可能であり、また、基本レイヤのレイヤデータのみを用いて復号することで低画質な動画を復号することも可能である。図２４は、階層符号化方式で符号化されたフレームグループ１８２を用いて高画質な動画を再生する例である。フレームグループ１９０において、フレームグループ内の基本レイヤのレイヤデータ１９２と拡張レイヤのレイヤデータ１９３の両方を用いて復号化を行う。一方、図２５は、階層符号化方式で符号化されたフレームグループ１８２を用いて低画質な動画を再生する例である。フレームグループ１９４において、基本レイヤのレイヤデータ１９６のみを用いて復号化を行う。

図２６は、階層符号化方式で符号化されたフレームグループ２００を用いて復号化を行う例である。フレームグループ２００では、ＳＩＤ２のフレームに含まれる拡張レイヤのレイヤデータ２０２が欠落しており、その他のレイヤデータはすべて揃っている。この場合、フレームグループ２０６において、基本レイヤのレイヤデータ２０４のみを用いて復号化を行う。これは、フレームグループ内の拡張レイヤのレイヤデータ間に参照関係があり、フレームグループ２０６ではレイヤデータ２０２の欠落により拡張レイヤの復号化ができないためである。

図２３に示したフレームグループを構成するように階層符号化された動画データについても、段落００２０で述べた通り、レイヤデータが様々な要因で欠落する場合がある。そこで、フレームグループを構成するように階層符号化された動画データを復号するときも、段落００２４〜０１１７に述べた実施例と同様の処理を適用することで、閲覧者の体感品質を改善することが可能である。以下、その実施例について説明する。

図２７は、バッファ１０２が格納している動画データ１５０の一例を概略的に示す。ここでは、２つの階層を含むように符号化され、それぞれが４つのフレームを含む複数のフレームグループを有する動画データ１５０を示す。図２７に示す例では、２つ目のフレームグループに属する６および８番目のフレームと、４つ目のフレームグループに属する１４番目のフレームとにおける拡張レイヤのレイヤデータが、欠落したレイヤデータ１５４である場合を例示する。

ここで、動画データ１５０の複数のフレームグループのそれぞれについて、フレームグループに含まれるすべてのフレームについて基本レイヤのレイヤデータおよび拡張レイヤのレイヤデータが格納されている場合、フレームグループのすべての基本レイヤのレイヤデータおよび拡張レイヤのレイヤデータを用いてフレームグループを復号化し、フレームグループに含まれるすべてのフレームのうち少なくとも１つのフレームについて基本レイヤのレイヤデータのみが格納されている場合、フレームグループのすべての基本レイヤのレイヤデータのみを用いてフレームグループを復号化すると、フレームグループ毎に高画質と低画質とが切り替わることになり、動画を閲覧する閲覧者が体感する動画の品質が低いものとなってしまう場合がある。

これに対して、本実施形態に係る動画データ再生装置１００は、閲覧者が体感する動画の品質を向上させる処理を実行する。動画データ再生装置１００が備える再生部１０８は、例えば、すべてのフレームについて基本レイヤのレイヤデータおよび拡張レイヤのレイヤデータの両方が格納されている第１のフレームグループの次の第２のフレームグループについて、すべてのフレームのうち少なくとも１つのフレームについて基本レイヤのレイヤデータのみが格納されている場合、第２のフレームグループ以降の予め定められた第１の階層維持フレームグループ数のフレームグループについて、すべてのフレームについて基本レイヤのレイヤデータおよび拡張レイヤのレイヤデータの両方が格納されている場合であっても、第２のフレームグループのすべての基本レイヤのレイヤデータのみを用いて第２のフレームグループを復号化する。これにより、高画質と低画質との頻繁な切り替えを抑制することができ、閲覧者が体感する動画の品質を向上させることができる。第１の階層維持フレームグループ数は、第１の数の一例であってよい。

また、再生部１０８は、例えば、第２のフレームグループ以降の第１の階層維持フレームグループ数のフレームグループの次の第３のフレームグループについて、すべてのフレームについて基本レイヤのレイヤデータおよび拡張レイヤのレイヤデータが格納されており、かつ、第３のフレームグループ以降の予め定められた第１の階層保証フレームグループ数のフレームグループのすべてについて、すべてのフレームについて基本レイヤのレイヤデータおよび拡張レイヤのレイヤデータが格納されている場合、第３フレームグループのすべての基本レイヤのレイヤデータおよび拡張レイヤのレイヤデータを用いて第３フレームグループを復号化し、第３のフレームグループ以降の第１の階層保証フレームグループ数のフレームグループの少なくとも１つについて、すべてのフレームのうち少なくとも１つについて基本レイヤのレイヤデータのみが格納されている場合、第３のフレームグループのすべての基本レイヤのレイヤデータのみを用いて第３のフレームグループを復号化する。このように、再生部１０８は、フレームグループに含まれるフレームのうち少なくとも１つのフレームについて基本レイヤのレイヤデータのみが格納されているフレームグループの次の一のフレームグループについて、すべてのフレームについて基本レイヤのレイヤデータおよび拡張レイヤのレイヤデータが格納されており、かつ、当該一のフレームグループ以降の第１の階層保証フレームグループ数のフレームグループのすべてについて、すべてのフレームについて基本レイヤのレイヤデータおよび拡張レイヤのレイヤデータが格納されている場合、当該一のフレームグループのすべての基本レイヤのレイヤデータおよび拡張レイヤのレイヤデータを用いて当該一のフレームグループを復号化し、当該一ののフレームグループ以降の第１の階層保証フレームグループ数のフレームグループの少なくとも１つについて、すべてのフレームのうち少なくとも１つについて基本レイヤのレイヤデータのみが格納されている場合、当該一のフレームグループのすべての基本レイヤのレイヤデータのみを用いて当該一のフレームグループを復号化してよい。これにより、高画質と低画質との頻繁な切り替えをさらに抑制することができ、閲覧者が体感する動画の品質を向上させることができる。

図２８は、バッファ１０２が格納している動画データ１５０の一例を概略的に示す。ここでは、４つの階層を含むように符号化され、それぞれが４つのフレームを含む複数のフレームグループを有する動画データ１５０を示す。図２８に示す例では、２つ目のフレームグループに属する６および８番目のフレームと、４つ目のフレームグループに属する１５番目のフレームとにおける拡張レイヤのレイヤデータが、欠落したレイヤデータ１５４である場合を例示する。

ここで、動画データ１５０の複数のフレームグループのそれぞれについて、すべてのフレームについて、すべてのフレームのうち格納されているレイヤデータの数が最も少ないフレームのレイヤデータの数であるグループ最少レイヤデータ数のレイヤデータを用いてフレームグループを復号化すると、１および３番目のフレームグループについては最高画質、２および４番目のフレームグループについては、基本レイヤのレイヤデータおよび拡張レイヤ１のレイヤデータのみを用いた画質となり、１フレームグループ毎に高画質と低画質とが切り替わることになり、動画を閲覧する閲覧者が体感する動画の品質が低いものとなってしまう場合がある。

これに対して、本実施形態に係る動画データ再生装置１００は、閲覧者が体感する動画の品質を向上させる処理を実行する。動画データ再生装置１００が備える再生部１０８は、例えば、１つ前のフレームグループよりも、グループ最少レイヤデータ数が少ない一のフレームグループについて、当該一のフレームグループ以降の予め定められた第２の階層維持フレームグループ数のフレームグループについて、グループ最少レイヤデータ数が当該一のフレームグループのグループ最少レイヤデータ数よりも多い場合であっても、すべてのフレームの当該一のフレームグループのグループ最少レイヤデータ数と同じ数のレイヤデータを用いて、当該一のフレームグループ以降の第２の階層維持フレームグループ数のフレームグループを復号化する、これにより、高画質と低画質との頻繁な切り替えを抑制することができ、閲覧者が体感する動画の品質を向上させることができる。

また、再生部１０８は、当該一のフレームグループ以降の第２の階層維持フレームグループ数のフレームグループの次のフレームグループについて、当該一のフレームグループよりもグループ最少レイヤデータ数が多く、かつ、当該次のフレームグループ以降の予め定められた第２の階層保証フレームグループ数のフレームグループのすべてについて、グループ最少レイヤデータ数が当該次のフレームグループのグループ最少レイヤデータ数と同じ数以上である場合、すべてのフレームの当該次のフレームグループのグループ最少レイヤデータ数と同じ数のレイヤデータを用いて、当該次のフレームグループを復号化し、当該次のフレームグループ以降の第２の階層保証フレームグループ数のフレームグループの少なくとも１つについて、グループ最少レイヤデータ数が当該次のフレームグループのグループ最少レイヤデータ数より少ない場合、当該次のフレームグループについて、すべてのフレームの当該一のフレームグループのグループ最少レイヤデータ数と同じ数のレイヤデータを用いて、当該次のフレームグループを復号化する。これにより、高画質と低画質との頻繁な切り替えをさらに抑制することができ、閲覧者が体感する動画の品質を向上させることができる。

また、再生部１０８は、動画データが３階層以上の複数の階層を含むように符号化されている場合において、１つ前のフレームグループよりもグループ最少レイヤデータ数が多い一のフレームグループについて、当該一のフレームグループ以降の第２の階層保証フレームグループ数のフレームグループのすべてについて、グループ最少レイヤデータ数が当該一のフレームグループの１つ前のフレームグループのグループ最少レイヤデータ数より多い場合、当該一のフレームグループと当該一のフレームグループ以降の第２の階層保証フレームグループ数のフレームグループのすべての中で最も少ないグループ最少レイヤデータ数と同じ数のレイヤデータを用いて、当該一のフレームグループを復号化し、当該一のフレームグループ以降の第２の階層保証フレームグループ数のフレームグループの少なくとも１つについて、グループ最少レイヤデータ数が当該一のフレームグループの１つ前のフレームグループのグループ最少レイヤデータ数より少ない場合、当該一のフレームグループについて、当該一のフレームグループの１つ前のフレームグループのグループ最少レイヤデータ数と同じ数のレイヤデータを用いて、当該一のフレームグループを復号化する。

また、再生部１０８は、動画データが３階層以上の複数の階層を含むように符号化されている場合において、１つ後のフレームグループよりも、グループ最少レイヤデータ数が予め定められた低下制限階層数以上多い一のフレームグループについて、すべてのフレームについて、当該一のフレームグループのグループ最少レイヤデータ数よりも少ない数のレイヤデータのみを用いて、当該一のフレームグループを復号化してよい。低下制限階層数は予め定められた数であってよく、また、変更可能であってもよい。

また、再生部１０８は、動画データが３階層以上の複数の階層を含むように符号化されている場合において、１つ前のフレームグループよりも、グループ最少レイヤデータ数が予め定められた上昇制限階層数以上多い一のフレームグループについて、すべてのフレームについて、当該一のフレームグループのグループ最少レイヤデータ数よりも少ない数のレイヤデータのみを用いて、当該一のフレームグループを復号化してよい。上昇制限階層数は予め定められた数であってよく、また、変更可能であってもよい。

図２９は、外部から動画データを受信可能な動画データ再生装置１００の一例を概略的に示す。動画データ再生装置１００は、動画サーバ３１０が配信する複数の階層を含むように符号化された動画データを受信して、受信した動画データを復号化して再生してよい。動画データ再生装置１００は、ネットワーク３００を介して動画サーバ３１０から動画データを受信してよい。ネットワーク３００は、インターネット、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ、有線電話網、および無線電話網の少なくともいずれかを含んでよい。

動画サーバ３１０は、動画データをストリーミング配信してよい。動画データ再生装置１００は、動画サーバ３１０から動画データのストリーミングを受け付けて、バッファ１０２に格納しつつ復号化を行って、動画データを再生してよい。また、動画データ再生装置１００は、動画サーバ３１０から動画データのストリーミングを受け付けてバッファ１０２に格納していき、動画データ全体がバッファ１０２に格納された後に、動画データを復号化して再生してもよい。

また、動画サーバ３１０は、ストリーミング配信ではなく、例えば動画ファイル単位で動画データを配信してもよい。動画データ再生装置１００は、動画ファイル単位で受信した動画データをバッファ１０２に格納した後に、動画データを復号化して再生してよい。

動画データ再生装置１００は、パケット受信部１１２を備えてよい。パケット受信部１１２は、動画サーバ３１０によってレイヤデータ毎にパケット化されて送信されたパケットを受信してよい。パケットには、ＳＩＤが含まれていてよい。パケット受信部１１２は、パケットに含まれるレイヤデータをバッファ１０２に格納してよい。

また、動画データ再生装置１００は、カメラ１３０によって撮像された動画データをカメラ１３０から受信してもよい。カメラ１３０は、動画を撮像可能なスチルカメラ、ビデオカメラ、および監視カメラなどであってよい。カメラ１３０は、複数の階層を含むように符号化した動画データを動画データ再生装置１００に対して送信してよい。

動画データ再生装置１００は、映像信号受信部１１４を備えてよい。映像信号受信部１１４は、カメラ１３０から動画データを受信する。映像信号受信部１１４は、カメラ１３０が撮像しながら順次送信する動画データを受信してよい。また、映像信号受信部１１４は、カメラ１３０が撮像終了後に送信した動画データを受信してよい。動画データ再生装置１００は、ネットワーク３００を介してカメラ１３０から動画データを受信してもよい。なお、動画データ再生装置１００は、パケット受信部１１２および映像信号受信部１１４の両方を備えてよく、また、いずれか一方のみを備えてもよい。

上記実施形態において、第１の階層維持フレーム数は変更可能であってよいことを説明したが、動画データ再生装置１００は、再生する動画データに応じて第１の階層維持フレーム数を変更してよい。例えば、動画データ再生装置１００は、動画データの内容の動きの激しさおよび動画データの長さの少なくともいずれかに基づいて、第１の階層維持フレーム数を決定する。具体例として、動画データ再生装置１００は、動きが激しいほど第１の階層維持フレーム数を大きくする。これにより、動きが激しい動画データほど、画質が切り替わる頻度を低減させることができる。また、具体例として、動画データ再生装置１００は、動画データが長いほど第１の階層維持フレーム数を大きくする。

また、動画データ再生装置１００は、動画サーバ３１０から動画データを受信して再生する場合に、通信環境に応じて第１の階層維持フレーム数を変更してもよい。例えば、動画データ再生装置１００は、通信品質が高いほど第１の階層維持フレーム数を大きくする。通信品質が高いほど動画データにおけるフレームの欠落は少なくなるので、通信品質が高いほど第１の階層維持フレーム数を大きくすることによって、本来高画質のフレームとして再生してもよいフレームを、低画質のフレームとして再生してしまう回数を低減することができる。動画データ再生装置１００は、第１の階層保証フレーム数、第２の階層維持フレーム数、第２の階層保証フレーム数、第１の階層維持フレームグループ数、第１の階層保証フレームグループ数、第２の階層維持フレームグループ数、第２の階層保証フレームグループ数、低下制限階層数、および上昇制限階層数の少なくともいずれかについても、第１の階層維持フレーム数と同様に動画データおよび動画データを通信する通信環境の少なくともいずれかに応じて変更してよい。なお、第１の階層維持フレーム数、第２の階層維持フレーム数、第１の階層維持フレームグループ数、及び第２の階層維持フレームグループ数は、異なる値であってよく、また、同じ値であってもよい。また、第１の階層保証フレーム数、第２の階層保証フレーム数、第１の階層保証フレームグループ数、及び第２の階層保証フレームグループ数は、異なる値であってよく、また、同じ値であってもよい。

以上の説明において、動画データ再生装置１００の各部は、ハードウエアにより実現されてもよく、ソフトウエアにより実現されてもよい。また、ハードウエアとソフトウエアとの組み合わせにより実現されてもよい。また、プログラムが実行されることにより、コンピュータが、動画データ再生装置１００として機能してもよい。プログラムは、コンピュータ読み取り可能な媒体またはネットワークに接続された記憶装置から、動画データ再生装置１００の少なくとも一部を構成するコンピュータにインストールされてよい。

コンピュータにインストールされ、コンピュータを本実施形態に係る動画データ再生装置１００として機能させるプログラムは、ＣＰＵなどに働きかけて、コンピュータを、動画データ再生装置１００の各部としてそれぞれ機能させる。これらのプログラムに記述された情報処理は、コンピュータに読込まれることにより、ソフトウエアと動画データ再生装置１００のハードウエア資源とが協働した具体的手段として機能する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１００ 動画データ再生装置、１０２ バッファ、１０８ 再生部、１１０ 動画データ表示部、１１２ パケット受信部、１１４ 映像信号受信部、１３０ カメラ、１５０ 動画データ、１５１ フレーム、１５２ レイヤデータ、１５４ 欠落したレイヤデータ、１５６ 廃棄レイヤデータ、１５８ 廃棄レイヤデータ、１５９ 廃棄レイヤデータ、１６０ 動画データ、１６１ フレーム、１６２ レイヤデータ、１６３ レイヤデータ、１７０ 動画データ、１７１ フレーム、１７２ レイヤデータ、１７３ レイヤデータ、１８０ 動画データ、１８２ フレームグループ、１８４ フレームグループ、１８６ フレーム、１８８ フレーム、１９０ フレームグループ、１９２ レイヤデータ、１９３ レイヤデータ、１９４ フレームグループ、１９６ レイヤデータ、２００ フレームグループ、２０２ レイヤデータ、２０４ レイヤデータ、２０６ フレームグループ、３００ ネットワーク、３１０ 動画サーバ

Claims (21)

1. 複数の階層を含むように符号化された動画データを復号化する動画データ再生装置であって、
   前記動画データを一時的に格納するバッファと、
   前記動画データを復号化する再生部と
   を備え、
   前記再生部は、
   前記バッファに含まれる前記動画データの複数のフレームのそれぞれに含まれるレイヤデータを確認し、
   第１フレームにレイヤＩＤ＝１のレイヤデータおよびレイヤＩＤ＝２のレイヤデータの両方が格納されており、かつ、前記第１フレームの次の第２フレームに前記レイヤＩＤ＝１のレイヤデータのみが格納されている場合、前記第２フレーム以降の予め定められた第１の階層維持フレーム数のフレームについて、前記レイヤＩＤ＝１のレイヤデータおよび前記レイヤＩＤ＝２のレイヤデータの両方が格納されている場合であっても、前記レイヤＩＤ＝１のレイヤデータのみを用いて前記第２フレーム以降の前記第１の階層維持フレーム数のフレームを復号化し、
   前記第１フレームに前記レイヤＩＤ＝１のレイヤデータおよび前記レイヤＩＤ=２のレイヤデータの両方が格納されており、かつ、前記第２フレームに前記レイヤＩＤ＝１のレイヤデータおよび前記レイヤＩＤ＝２のレイヤデータが格納されている場合、前記第２フレームの前記レイヤＩＤ＝１のレイヤデータおよび前記レイヤＩＤ＝２のレイヤデータの両方を用いて前記第２フレームを復号化し、
   前記第１フレームに前記レイヤＩＤ＝１のレイヤデータのみが格納されている場合、前記第２フレームについて、格納されているレイヤデータを用いて再生可能な最も高いレイヤの動画を再生するように復号化する、動画データ再生装置。
2. 前記動画データを復号化して得られる動画を表示する動画データ表示部をさらに備える、請求項１に記載の動画データ再生装置。
3. 前記第１の階層維持フレーム数を前記動画データに応じて変更する、請求項１または２に記載の動画データ再生装置。
4. 前記再生部は、１つ前のフレームよりも格納されているレイヤデータが多い第３フレームについて、前記レイヤＩＤ＝１のレイヤデータおよび前記レイヤＩＤ＝２のレイヤデータが格納されており、かつ、前記第３フレーム以降の予め定められた第１の階層保証フレーム数のフレームのすべてについて、前記レイヤＩＤ＝１のレイヤデータおよび前記レイヤＩＤ＝２のレイヤデータの両方が格納されている場合、前記第３フレームの前記レイヤＩＤ＝１のレイヤデータおよび前記レイヤＩＤ＝２のレイヤデータの両方を用いて前記第３フレームを復号化し、前記第３フレーム以降の前記第１の階層保証フレーム数のフレームの少なくとも１つについて、前記レイヤＩＤ＝１のレイヤデータのみが格納されている場合、前記第３フレームの前記レイヤＩＤ＝１のレイヤデータのみを用いて前記第３フレームを復号化する、請求項１から３のいずれか一項に記載の動画データ再生装置。
5. 前記第１の階層保証フレーム数を前記動画データに応じて変更する、請求項４に記載の動画データ再生装置。
6. 前記再生部は、前記動画データが３階層以上の複数の階層を含むように符号化されている場合において、前記動画データの複数のフレームのそれぞれについて、格納されているすべてのレイヤデータの少なくとも１つのレイヤデータを用いて前記フレームを復号化する、請求項１から５のいずれか一項に記載の動画データ再生装置。
7. 前記再生部は、前記動画データが３階層以上の複数の階層を含むように符号化されている場合において、１つ前のフレームよりも格納されているレイヤデータが少ない第４フレームについて、前記第４フレーム以降の予め定められた第２の階層維持フレーム数のフレームについて、前記第４フレームよりも多くのレイヤデータが格納されている場合であっても、前記第４フレームについて格納されているレイヤデータの数と同じ数以下のレイヤデータを用いて前記第４フレーム以降の前記第２の階層維持フレーム数のフレームを復号化する、請求項６に記載の動画データ再生装置。
8. 前記再生部は、前記動画データが３階層以上の複数の階層を含むように符号化されている場合において、１つ前のフレームよりも格納されているレイヤデータが多い第５フレームについて、前記第５フレーム以降の予め定められた第２の階層保証フレーム数のフレームのすべてについて、前記第５フレームの１つ前のフレームに格納されているレイヤデータより多くのレイヤデータが格納されている場合、前記第５フレームと前記第５フレーム以降の予め定められた第２の階層保証フレーム数のフレームのそれぞれのレイヤデータ数の中で最も少ないレイヤデータ数と同じ数のレイヤデータを用いて前記第５フレームを復号化し、
   前記第５フレーム以降の前記第２の階層保証フレーム数のフレームの少なくとも１つについて、前記第５フレームの１つ前のフレームよりも少ないレイヤデータが格納されている場合、前記第５フレームについて、前記第５フレームの１つ前のフレームについて格納されているレイヤデータの数と同じ数のレイヤデータを用いて前記第５フレームを復号化する、請求項６または７に記載の動画データ再生装置。
9. 前記再生部は、前記動画データが３階層以上の複数の階層を含むように符号化されている場合において、１つ後のフレームよりも格納されているレイヤデータの数が予め定められた低下制限階層数以上多い第６フレームについて、格納されている複数のレイヤデータの一部のみを用いて、前記第６フレームを復号化する、請求項６から８のいずれか一項に記載の動画データ再生装置。
10. 前記再生部は、前記動画データが３階層以上の複数の階層を含むように符号化されている場合において、１つ前のフレームよりも格納されているレイヤデータの数が予め定められた上昇制限階層数以上多い第７フレームについて、格納されている複数のレイヤデータの一部のみを用いて、前記第７フレームを復号化する、請求項６から９のいずれか一項に記載の動画データ再生装置。
11. 複数の階層を含むように符号化され、それぞれが複数のフレームを含む複数のフレームグループを有する動画データを復号化する動画データ再生装置であって、
    前記動画データを一時的に格納するバッファと、
    前記動画データを復号化する再生部と
    を備え、
    前記再生部は、
    前記バッファに含まれる前記動画データの前記複数のフレームグループのそれぞれに含まれるレイヤデータを確認し、
    第１のフレームグループのすべてのフレームについて前記レイヤＩＤ＝１のレイヤデータおよび前記レイヤＩＤ＝２のレイヤデータの両方が格納されており、かつ、前記第１のフレームグループの次の第２のフレームグループについて、すべてのフレームのうち少なくとも１つのフレームについて前記レイヤＩＤ＝１のレイヤデータのみが格納されている場合、前記第２のフレームグループ以降の予め定められた第１の階層維持フレームグループ数のフレームグループについて、すべてのフレームについて前記レイヤＩＤ＝１のレイヤデータおよび前記レイヤＩＤ＝２のレイヤデータの両方が格納されている場合であっても、前記第２のフレームグループのすべての前記レイヤＩＤ＝１のレイヤデータのみを用いて前記第２のフレームグループを復号化し、
    前記第１のフレームグループのすべてのフレームについて前記レイヤＩＤ＝１のレイヤデータおよび前記レイヤＩＤ＝２のレイヤデータの両方が格納されており、かつ、前記第２のフレームグループのすべてのフレームについて前記レイヤＩＤ＝１のレイヤデータおよび前記レイヤＩＤ＝２のレイヤデータの両方が格納されている場合、前記第２のフレームグループのすべての前記レイヤＩＤ＝１のレイヤデータおよび前記レイヤＩＤ＝２のレイヤデータを用いて前記第２のフレームグループを復号化し、
    前記第１のフレームグループについて、すべてのフレームのうち少なくとも１つのフレームについて前記レイヤＩＤ＝１のレイヤデータのみが格納されている場合、前記第２のフレームグループについて、格納されているレイヤデータを用いて再生可能な最も高いレイヤの動画を再生するように復号化する、
    動画データ再生装置。
12. 前記動画データを復号化して得られる動画を表示する動画データ表示部をさらに備える、請求項１１に記載の動画データ再生装置。
13. 前記再生部は、フレームグループに含まれるフレームのうち少なくとも１つのフレームについてレイヤＩＤ＝１のレイヤデータのみが格納されているフレームグループの次の第３のフレームグループについて、すべてのフレームについて前記レイヤＩＤ＝１のレイヤデータおよび前記レイヤＩＤ＝２のレイヤデータが格納されており、かつ、前記第３のフレームグループ以降の予め定められた第１の階層保証フレームグループ数のフレームグループのすべてについて、すべてのフレームについて前記レイヤＩＤ＝１のレイヤデータおよび前記レイヤＩＤ＝２のレイヤデータが格納されている場合、前記第３のフレームグループのすべての前記レイヤＩＤ＝１のレイヤデータおよび前記レイヤＩＤ＝２のレイヤデータを用いて前記第３のフレームグループを復号化し、前記第３のフレームグループ以降の前記第１の階層保証フレームグループ数のフレームグループの少なくとも１つについて、すべてのフレームのうち少なくとも１つについて前記レイヤＩＤ＝１のレイヤデータのみが格納されている場合、前記第３のフレームグループのすべての前記レイヤＩＤ＝１のレイヤデータのみを用いて前記第３のフレームグループを復号化する、請求項１２に記載の動画データ再生装置。
14. 前記再生部は、前記動画データが３階層以上の複数の階層を含むように符号化されている場合において、前記動画データの前記複数のフレームグループのそれぞれについて、すべてのフレームについて、前記すべてのフレームのうち格納されているレイヤデータの数が最も少ないフレームのレイヤデータの数であるグループ最少レイヤデータ数以下のレイヤデータを用いて前記フレームグループを復号化する、請求項１２または１３に記載の動画データ再生装置。
15. 前記再生部は、前記動画データが３階層以上の複数の階層を含むように符号化されている場合において、１つ前のフレームグループよりも、グループ最少レイヤデータ数が少ない第４のフレームグループについて、前記第４のフレームグループ以降の予め定められた第２の階層維持フレームグループ数のフレームグループについて、グループ最少レイヤデータ数が前記第４のフレームグループのグループ最少レイヤデータ数よりも多い場合であっても、前記第４のフレームグループのグループ最少レイヤデータ数と同じ数のレイヤデータを用いて、前記第４のフレームグループ以降の前記第２の階層維持フレームグループ数のフレームグループを復号化する、請求項１４に記載の動画データ再生装置。
16. 前記再生部は、前記動画データが３階層以上の複数の階層を含むように符号化されている場合において、１つ前のフレームグループよりもグループ最少レイヤデータ数が多い第５のフレームグループについて、前記第５のフレームグループ以降の予め定められた第２の階層保証フレームグループ数のフレームグループのすべてについて、グループ最少レイヤデータ数が前記第５のフレームグループの１つ前のフレームグループのグループ最少レイヤデータ数より多い場合、前記第５のフレームグループと前記第５のフレームグループ以降の予め定められた第２の階層保証フレームグループ数のフレームグループのすべての中で最も少ないグループ最少レイヤデータ数と同じ数のレイヤデータを用いて、前記第５のフレームグループを復号化し、
    前記第５のフレームグループ以降の前記第２の階層保証フレームグループ数のフレームグループの少なくとも１つについて、グループ最少レイヤデータ数が前記第５のフレームグループの１つ前のフレームグループのグループ最少レイヤデータ数より少ない場合、前記第５のフレームグループについて、前記第５のフレームグループの１つ前のフレームグループのグループ最少レイヤデータ数と同じ数のレイヤデータを用いて、前記第５のフレームグループを復号化する、請求項１４または１５に記載の動画データ再生装置。
17. 前記再生部は、前記動画データが３階層以上の複数の階層を含むように符号化されている場合において、１つ後のフレームグループよりも、グループ最少レイヤデータ数が予め定められた低下制限階層数以上多い第６のフレームグループについて、すべてのフレームについて、前記第６のフレームグループのグループ最少レイヤデータ数よりも少ない数のレイヤデータのみを用いて、前記第６のフレームグループを復号化する、請求項１４から１６のいずれか一項に記載の動画データ再生装置。
18. 前記再生部は、前記動画データが３階層以上の複数の階層を含むように符号化されている場合において、１つ前のフレームグループよりも、グループ最少レイヤデータ数が予め定められた上昇制限階層数以上多い第７のフレームグループについて、すべてのフレームについて、前記第７のフレームグループのグループ最少レイヤデータ数よりも少ない数のレイヤデータのみを用いて、前記第７のフレームグループを復号化する、請求項１４から１７のいずれか一項に記載の動画データ再生装置。
19. 複数の階層を含むように符号化された動画データを復号化する動画データ再生装置であって、
    前記動画データを一時的に格納するバッファと、
    前記動画データを復号化する再生部と
    を備え、
    前記再生部は、
    前記バッファに含まれる前記動画データの複数のフレームのそれぞれに含まれるレイヤデータを確認し、
    第１フレームに第１階層の第１のレイヤデータおよび第２階層の第２のレイヤデータの両方が格納されており、かつ、前記第１フレームの次の第２フレームについて、前記第１のレイヤデータのみが格納されている場合、前記第２フレーム以降の予め定められた第１の数のフレームについて、前記第１のレイヤデータおよび前記第２のレイヤデータの両方が格納されている場合であっても、前記第１のレイヤデータのみを用いて前記第２フレーム以降の前記第１の数のフレームを復号化し、
    前記第１フレームに前記第１のレイヤデータおよび前記第２のレイヤデータの両方が格納されており、かつ、前記第２フレームに前記第１のレイヤデータおよび前記第２のレイヤデータの両方が格納されている場合、前記第２フレームの前記第１のレイヤデータおよび前記第２のレイヤデータの両方を用いて前記第２フレームを復号化し、
    前記第１フレームに前記第１のレイヤデータのみが格納されている場合、前記第２フレームについて、格納されているレイヤデータを用いて再生可能な最も高いレイヤの動画を再生するように復号化する、
    動画データ再生装置。
20. 複数の階層を含むように符号化され、それぞれが複数のフレームを含む複数のフレームグループを有する動画データを復号化する動画データ再生装置であって、
    前記動画データを一時的に格納するバッファと、
    前記動画データを復号化する再生部と
    を備え、
    前記再生部は、
    前記バッファに含まれる前記動画データの前記複数のフレームグループのそれぞれに含まれるレイヤデータを確認し、
    第１のフレームグループのすべてのフレームについて第１階層の第１のレイヤデータおよび第２階層の第２のレイヤデータの両方が格納されており、かつ、前記第１のフレームグループの次の第２のフレームグループについて、すべてのフレームのうち少なくとも１つのフレームについて前記第１のレイヤデータのみが格納されている場合、前記第２のフレームグループ以降の予め定められた第１の数のフレームグループについて、すべてのフレームについて前記第１のレイヤデータおよび前記第２のレイヤデータの両方が格納されている場合であっても、前記第２のフレームグループのすべての前記第１のレイヤデータのみを用いて前記第２のフレームグループを復号化し、
    前記第１のフレームグループのすべてのフレームについて前記第１のレイヤデータおよび前記第２のレイヤデータの両方が格納されており、かつ、前記第２のフレームグループのすべてのフレームについて前記第１のレイヤデータおよび前記第２のレイヤデータの両方が格納されている場合、前記第２のフレームグループのすべての前記第１のレイヤデータおよび前記第２のレイヤデータを用いて前記第２のフレームグループを復号化し、
    前記第１のフレームグループについて、すべてのフレームのうち少なくとも１つのフレームについて前記第１のレイヤデータのみが格納されている場合、前記第２のフレームグループについて、格納されているレイヤデータを用いて再生可能な最も高いレイヤの動画を再生するように復号化する、
    動画データ再生装置。
21. コンピュータを、請求項１から２０のいずれか一項に記載の動画データ再生装置として機能させるためのプログラム。