JP2014241493A5 - - Google Patents

Description

そこで、本発明は、メディアデータを取得する取得手段と、前記取得手段により取得されたメディアデータを分割して送信するための複数の通信経路に基づいて分割単位の大きさを決定する決定手段と、前記取得手段により取得されたメディアデータを、前記決定手段により決定された大きさの分割単位で前記複数の通信経路に割り当てる割り当て手段と、前記取得手段により取得されたメディアデータを、前記割り当て手段による割り当てに応じた通信経路を使用して送信する送信手段とを有する。

グループ構成部２０４は、グループの階層構造を定義する。具体的には、グループ構成部２０４は、メディアデータを構成する複数のパケットを、異なる複数のグループ単位（粒度）それぞれによりグループ化する（グループ化処理）。これにより、グループ構成部２０４は、階層化された複数のグループ群を得る。
ここで、複数のグループ単位それぞれは、階層化された値であり、例えばＲＡＭ１０３等に予め設定されているものとする。そして、グループ構成部２０４は、予め設定されたグループ単位に基づいて、メディアデータのグループ化を行う。
また、各グループ群は、複数のグループを含んでいる。すなわち、階層構造における各階層には、グループ群を構成する複数のグループが属している。なお、グループ構成部２０４による処理については後に詳述する。

階層選択部２０５は、各ネットワークＩ／Ｆ１０４ａ〜１０４ｃの通信状態に基づいて、グループ構成部２０４により定義された階層構造を参照し、各パスに割り当てる際の単位とする階層を選択する。ここで、通信状態とは、各パスの利用帯域を示す情報である。通信状態は、後述する通信状態特定部２１３から取得する。
階層選択部２０５は、通信状態特定部２１３により特定された各コネクションの通信状態に基づいて、最も通信状態の良いコネクションのネットワークＩ／Ｆ１０４ａ〜１０４ｃから順に処理対象として選択する。そして、階層選択部２０５は、選択したネットワークＩ／Ｆ１０４ａ〜１０４ｃに対して、階層を選択する。

図３は、メディアデータの階層構造の一例を示す図である。図３に示す階層構造は、メディアデータとしての、ＨＥＶＣで符号化された映像データに対する階層構造を示している。この階層構造は、グループ構成部２０４により定義される。図３に示す階層構造は、４つの階層３０１〜３０４を有している。第１層３０１を最も下位の層とし、第２層３０２、第３層３０３、第４層３０４の順に、より上位の層となっており、第４層３０４を最も上位の層とする。
各階層３０１〜３０４には、１つのグループ群が属している。また、各階層３０１〜３０４のグループ群は、それぞれのグループ群を構成するグループのグループ単位が異なる。より詳しくは、例えば、第２層３０２に属するグループ群のグループ単位は、第１層３０１に属するグループ群のグループ単位の２以上の整数倍となっている。同様に、各層のグループ単位は、下位の層のグループ単位の２以上の整数倍となるというように、階層構造を示す複数の階層は、包含関係を有している。

第１層３０１に属するグループは、階層構造において最も小さいデータサイズをグループ単位とする。具体的には、第１層３０１に属するグループは、ＨＥＶＣにおける符号化の単位であるタイルと呼ばれる矩形の１ブロックを１グループとする。なお、タイルの矩形サイズは、任意の値とする。グループ構成部２０４は、メディアデータを構成する複数のパケットを、先頭から順にタイル単位でグループ化することにより、第１層３０１のグループ群を定義する。
第２層３０２は、部分領域をグループ単位とするグループの層である。部分領域は、第１層３０１において定義されたタイルを複数有する領域である。図３に示す例においては、部分領域は、６つのタイルを有している。グループ構成部２０４は、メディアデータを構成する複数のパケットを先頭から順に、部分領域単位でグループ化することにより、第２層３０２のグループ群を定義する。

第３層３０３は、映像データのフレームをグループ単位とするグループの層である。グループ構成部２０４は、メディアデータとしての映像データを構成する複数のパケットを先頭から順に、フレームを単位としてグループ化していくことにより、第３層３０３のグループ群を定義する。
なお、ＨＥＶＣのように、イントラ符号化されたフレームとインター符号化されたフレームとにおいて、データサイズが大きく異なる符号化方式がある。このような符号化方式により符号化されたメディアデータを対象とする場合には、グループ構成部２０４は、第３層３０３において、イントラ符号化フレームとインター符号化フレーとを異なる単位でグループ化してもよい。グループ構成部２０４は、例えば、第３層３０３において、１枚のイントラ符号化フレームを１つのグループとし、また、複数枚のインター符号化フレームを１つのグループとして定義してもよい。

第４層３０４は、ＧＯＰ（Group Of Pictures）をグループ単位とするグループの層である。ここで、ＧＯＰは、少なくとも１枚のＩピクチャを含む複数のフレームを有する。グループ構成部２０４は、映像データを構成する複数のパケットを先頭から順に、ＧＯＰを単位としてグループ化することにより、第４層３０４のグループ群を定義する。
なお、階層構造における各階層に属するグループの粒度（データサイズの単位）は、予めＲＡＭ１０３等の記憶部に格納されているものとする。図３に示す階層構造に対しては、記憶部には、タイル、部分領域、フレーム及びＧＯＰが各階層の粒度として定義されている。
なお、階層構造における粒度は、実施形態に限定されるものではない。他の例としては、粒度は、メディアデータが映像データと音声データとを含む場合のメディア単位であってもよい。また、他の例としては、粒度は、ＳＶＣにおける階層フレーム単位でもよい。他の例としては、粒度は、メディアデータを複数の装置に送信する場合には、送信先の装置単位でもよい。また、他の例としては、誤り訂正符号による保護パケットやエラー損失に対する再送パケットを送信する場合には、粒度は、メディアデータと誤り訂正符号データのセットであってもよい。また、グループ構成部２０４は、再送パケットを別のグループとしてもよい。さらに、グループ構成部２０４は、予め定義されている階層化された複数の粒度を組み合わせたデータを新たな粒度として定義してもよい。

図５は、グループ割当処理（Ｓ４０７）における詳細な処理を示すフローチャートである。なお、前提として、グループ割当処理（Ｓ４０７）の開始前に、グループ構成部２０４により、異なるグループ単位を階層とする階層構造が定義されているものとする（グループ化処理）。
Ｓ５０１において、ＣＰＵ１０１は、割り当て可能なデータの有無を確認する。割り当て可能なデータが存在する場合には（Ｓ５０１でＹｅｓ）、ＣＰＵ１０１は、処理をＳ５０２へ進める。割り当て可能なデータが存在しない場合には（Ｓ５０１でＮｏ）、ＣＰＵ１０１は、グループ割当処理を終了する。なお、ＣＰＵ１０１は、パケット化され、割り当てのための準備が完了しているデータが存在しない場合に、割り当て可能なデータが存在しないと判断する。また、ＣＰＵ１０１は、すべてのＮＩＣのバッファリング可能なデータサイズの最大値が、メディアデータのグループ単位の最小値よりも小さい場合に、割り当て可能なデータが存在しないと判断する。

Claims (11)

1. メディアデータを取得する取得手段と、
   前記取得手段により取得されたメディアデータを分割して送信するための複数の通信経路に基づいて、分割単位の大きさを決定する決定手段と、
   前記取得手段により取得されたメディアデータを、前記決定手段により決定された大きさの分割単位で前記複数の通信経路に割り当てる割り当て手段と、
   前記取得手段により取得されたメディアデータを、前記割り当て手段による割り当てに応じた通信経路を使用して送信する送信手段と
   を有することを特徴とする送信装置。
2. 前記決定手段は、前記複数の通信経路それぞれにおける通信に係る遅延時間及び通信速度の少なくとも何れかに基づいて、前記複数の通信経路それぞれに対応する分割単位の大きさを決定することを特徴とする請求項１に記載の送信装置。
3. 前記決定手段は、前記取得手段により取得されたメディアデータの通信に係る遅延が所定時間以内となるように、前記分割単位の大きさを決定することを特徴とする請求項１又は２に記載の送信装置。
4. 前記取得手段により取得されるメディアデータは、映像及び音声の少なくとも何れかを含むことを特徴とする請求項１乃至３何れか１項に記載の送信装置。
5. 前記決定手段は、前記割り当て手段により割り当てられる前記分割単位のメディアデータが所定の連続性を有するデータとなるように前記分割単位を決定することを特徴とする請求項１乃至４何れか１項に記載の送信装置。
6. 前記取得手段により取得されるメディアデータは映像を含み、
   前記決定手段は、前記分割単位を、映像の複数フレーム単位とするか、映像の１フレーム単位とするか、又は映像の１フレーム内における部分領域単位とするかを決定することを特徴とする請求項１乃至５何れか１項に記載の送信装置。
7. 前記割り当て手段は、前記取得手段により取得されたメディアデータを、前記決定手段により決定された大きさの分割単位で、当該分割単位のメディアデータそれぞれの優先度に応じて前記複数の通信経路に割り当てることを特徴とする請求項１乃至６何れか１項に記載の送信装置。
8. メディアデータを取得する取得工程と、
   前記取得工程において取得されたメディアデータを分割して送信するための複数の通信経路に基づいて、分割単位の大きさを決定する決定工程と、
   前記取得工程において取得されたメディアデータを、前記決定工程において決定された大きさの分割単位で前記複数の通信経路に割り当てる割り当て工程と、
   前記取得工程において取得されたメディアデータを、前記割り当て工程における割り当てに応じた通信経路を使用して送信する送信工程と
   を含むことを特徴とする送信方法。
9. 前記決定工程は、前記複数の通信経路それぞれにおける通信に係る遅延時間及び通信速度の少なくとも何れかに基づいて前記分割単位の大きさを決定することを特徴とする請求項８に記載の送信方法。
10. 前記決定工程は、前記取得工程において取得されたメディアデータの通信に係る遅延が所定時間以内となるように、前記分割単位の大きさを決定することを特徴とする請求項８又は９に記載の送信方法。
11. コンピュータを請求項１乃至７何れか１項に記載の送信装置として動作させるためのプログラム。