JP2013021535A - 映像伝送方法、映像伝送装置、及びプログラム - Google Patents

Abstract

【課題】画質劣化を改善する映像フォーマットにより映像を符号化して映像を伝送する。
【解決手段】まず、前提条件として、デコード面積上限：１．５ＨＤ（ＨＤ＝ＨＤｈ×ＨＤｖ、ＨＤｈ：ＨＤ横幅、ＨＤｖ：ＨＤ縦幅）、注視領域サイズ：ＨＤを設定する（ステップＳ１）。次に、タイルサイズを、ａ＝ＨＤｈ／ｘ、ｂ＝ＨＤｖ／ｘ（ここで、ｘは実数）とし、デコード面積上限を満たすようなｘを求め（ステップＳ２）、例えば、ｘ＝５と決定する（ステップＳ３）。タイルサイズ横：ＨＤｈ／５、タイルサイズ縦：（１＋（１／５））ＨＤｖとし、縦方向にＨＤｖ／５ずつタイルをずらしながら、タイル分割、符号化する（ステップＳ４）。そして、注視領域サイズがＨＤサイズのとき、注視領域が縦ＨＤｖ／５、横ＨＤｈ／５移動毎に新規のタイル部分の映像を伝送する（ステップＳ５）。
【選択図】図１

Description

本発明は、ユーザがインタラクティブに指定する注視領域に応じて、高解像度映像を切り出し、端末上でデコード、ディスプレイ上に表示するシステムにおいて、高解像度映像をタイル分割し、符号化し、注視領域の映像を伝送する映像伝送方法、映像伝送装置、及びプログラムに関する。

複数のカメラ映像をまとめて圧縮する符号化方式として、国際標準符号化方式Ｈ．２６４ Ａｎｎｅｘ Ｈとして多視点映像符号化（ＭＶＣ）が標準化されている（例えば、非特許文献１参照）。ＭＶＣでは、複数の映像符号化データが多重化された形で圧縮符号化される。同じタイムスタンプのフレームの符号化データが連続して多重化される。すなわち、符号化データは、複数の映像データが多重化されたストリームになる。同じタイムスタンプのフレームが連続して多重化されているため、復号器は、ＭＶＣの符号化データを復号することで、同じタイムスタンプの複数のカメラ映像を連続して復号して出力することができる。

図１３は、従来技術による映像伝送システムの構成を示すブロック図である。図１４は、入力映像データのタイル分割、及びタイルＩＤの付与例を示す概念図である。また、図１５は、映像符号化後の映像データに付与されるデータＩＤを示す概念図である。多重化装置１０において、映像分割部１００は、映像データを複数の解像度に変換した後に、各解像度の映像データをタイル分割し（例えば、図１４）、小領域の映像データからなるタイル映像を作成する。符号化部１０１は、これらタイル映像を複数の符号化レートで符号化し、図１５に示すように、符号化後のデータにデータＩＤを付与する。その後、ＭＶＣにて多重化して映像データを作成する。

データ蓄積部１０２には、タイル分割情報（例えば、図１４）、符号化前のタイル映像データ、タイル映像毎の符号化及び多重化した映像データ、及び符号化処理の過程で作成されるタイル映像ローカルデコード映像データを蓄積する。評価値計算部１０３は、データ蓄積部１０２に蓄積されている映像データを用いて、１フレーム単位（または所定のフレーム単位）ごとの評価値を計算し、これら評価値、各タイル映像と映像符号化データの対応表を対応テーブル＆評価値蓄積部１０４に蓄積する。なお、評価値の計算終了後、不要になった符号化前のタイル映像データが消去される。

映像伝送サーバ２０において、データ管理部１０５は、コマンド受信部１０６で受信した、映像再生クライアント３０からのコマンド（データＩＤを用いたストリーム要求）に従って、データ蓄積部１０２へＮ（≦Ｍ）本のストリーム要求を行うことで、データ蓄積部１０２に蓄積されたＭ本のストリームからＮ本のストリームを取り出し、データ送信部１０７へ転送する。データ送信部１０７は、Ｎ本のストリームを映像再生クライアント３０へ送出する。コマンド受信部１０６は、映像再生クライアント３０からのコマンドを受信する。なお、映像再生クライアント３０へデータ送信前に、データ送信部１０７は、タイル分割情報（例えば、図１４）をデータ受信部１１２へ送出する。また、対応テーブル＆評価値送信部１０８は、評価値蓄積部１０４から対応テーブル、及び評価値情報を取り出し、映像再生クライアントの評価値受信部１１５へ送出する。

映像再生クライアント３０において、データ受信部１１２は、タイル分割情報、及びＮ本のストリームを受信する。復号化部１１３は、Ｎ本のストリームを復号する。映像表示部１１４は、復号化された部分映像をタイル分割情報に基づき再構成し表示する。対応テーブル＆評価値受信部１１５は、映像伝送サーバ２０から送信される対応テーブル及び評価値情報を受信し、対応テーブル＆評価値蓄積部１１６に蓄積する。

タイルＩＤリスト作成部１１８は、ユーザの注視領域の指定に変更があった場合に、注視領域からタイルＩＤリストを決定し、該当のタイルＩＤに対応するデータＩＤを対応テーブルから決定し、該当のデータＩＤに関連する評価値を対応テーブル＆評価値蓄積部１１６から取出し、補正評価値計算部１１０にて評価値の補正（例えば、各フレーム単位の評価値を一定区間ごとに平均化するなどの補正処理）を行う。

注視領域指定部１１７は、ユーザから注視領域の変更を受付ける。コマンド変換部１１１は、注視領域指定の変更、及び補正評価値の変更があった場合に、補正評価値とタイルＩＤとに基づきサーバに要求するデータＩＤを決定する。コマンド送信部１０９は、コマンド変換部１１１で決定されたデータＩＤ基づくコマンドを送信する。

なお、多重化装置１０におけるデータ蓄積部１０２と対応テーブル＆評価値蓄積部１０４とを機能統合し、映像伝送サーバ２０におけるデータ送信部１０７と対応テーブル＆評価値送信部１０８とを機能統合し、映像再生クライアント３０におけるデータ受信部１１２と対応テーブル＆評価値受信部１１５とを機能統合するような構成も可能である。

また、ここでは、Ｍ本のストリーム（全体ストリーム）から構成される映像を「全体映像」、Ｎ（≦Ｍ）本のストリーム（部分ストリーム）から構成される映像を「部分映像」、１本のストリームから構成される映像を「単位映像」と定義する。つまり、全体映像は、Ｍ個の単位映像、部分映像は、Ｎ個の単位映像から構成される（Ｍ≧Ｎ）。

図１６（ａ）、（ｂ）は、タイルＩＤリスト作成部１１８にて作成されるタイルＩＤリストの例を示す概念図である。タイルＩＤリストは、ユーザによりインタラクティブに操作され、平行移動、及び拡大縮小する注視領域を包含する最小のタイルＩＤのリストとして作成される。図１６（ａ）、（ｂ）に示す例において、注視領域位置では、タイルＩＤリストは（１，２，３，４，９，１０，１１，１２，１７，１８，１９，２０，２５，２６，２７，２８）と作成される。

なお、ここでは、注視領域の位置が「タイルＩＤリストに含まれるタイル数が最大になる位置」を「ワーストケースの位置」、「タイルＩＤリストに含まれるタイル数が最大になる位置になったとき」を「ワーストケース時」と呼ぶこととする。

井上雅之，木全英明，深澤勝彦，松浦宣彦，"インタラクティブ・パノラマ映像配信システムにおける配信方式の検討," 情報処理学会，オーディオビジュアル複合情報処理研究会，Vol.2010-AVM-69 No.9, 2010.

上述した非特許文献１のように、タイル同士で重なりがないように分割し、符号化するような映像フォーマットでは、伝送帯域や、映像再生クライアントの制約が大きいときに、タイルサイズが小さくなってしまい、画質が大きく劣化するという問題があった。

本発明は、このような事情を考慮してなされたものであり、その目的は、画質劣化を改善する映像フォーマットにより映像を符号化して映像を伝送することができる映像伝送方法、映像伝送装置、及びプログラムを提供することにある。

上述した課題を解決するために、本発明は、全体映像を複数のタイル映像に分割し、映像再生端末から指定される注視領域に応じて、全体映像のうち注視領域が含まれるタイル映像を符号化して映像再生端末に送信する映像伝送装置と、映像伝送装置から送信される複数のタイル映像を復号化して表示する映像再生端末とを備えた映像伝送システムの映像伝送方法であって、映像伝送装置に、映像再生端末におけるデコード面積上限と注視領域サイズとの前提条件が入力されるステップと、映像伝送装置が、前提条件に基づいて、タイル映像のタイルサイズを算出するステップと、全体映像を、タイルサイズ幅分ずらしながらタイル分割し、分割された映像を符号化するステップと、注視領域がタイルサイズ幅分移動する毎に、符号化された新規のタイル部分の映像を伝送するステップとを含むことを特徴とする。

本発明は、上記の発明において、前記前提条件として、伝送帯域上限と注視領域サイズとを設定し、前記前提条件に基づいて、前記伝送帯域上限を満たすタイルサイズを算出することを特徴とする。

本発明は、上記の発明において、前記前提条件として、前記デコード面積上限と前記注視領域サイズとに加えて、伝送帯域上限を設定し、前記前提条件に基づいて、前記デコード面積上限、または前記伝送帯域上限を満たすタイルサイズを算出することを特徴とする。

また、上述した課題を解決するために、本発明は、全体映像を複数のタイル映像に分割し、映像再生端末から指定される注視領域に応じて、全体映像のうち注視領域が含まれるタイル映像を符号化して映像再生端末に送信する映像伝送装置と、映像伝送装置から送信される複数のタイル映像を復号化して表示する映像再生端末とを備えた映像伝送システムにおける映像伝送装置であって、映像再生端末におけるデコード面積上限と注視領域サイズとの前提条件が入力される設定手段と、映像伝送装置が、前提条件に基づいて、タイル映像のタイルサイズを算出する算出手段と、全体映像を、算出手段で算出されたタイルサイズ幅分ずらしながらタイル分割し、分割された映像を符号化する分割符号化手段と、注視領域がタイルサイズ幅分移動する毎に、符号化された新規のタイル部分の映像を伝送する伝送手段とを備えることを特徴とする。

本発明は、上記の発明において、前記設定手段は、前記前提条件として、伝送帯域上限と注視領域サイズとを設定し、前記算出手段は、前記前提条件に基づいて、前記伝送帯域上限を満たすタイルサイズを算出することを特徴とする。

本発明は、上記の発明において、前記設定手段は、前記前提条件として、前記デコード面積上限と前記注視領域サイズとに加えて、伝送帯域上限を設定し、前記算出手段は、前記前提条件に基づいて、前記デコード面積上限、または前記伝送帯域上限を満たすタイルサイズを算出することを特徴とする。

また、上述した課題を解決するために、本発明は、全体映像を複数のタイル映像に分割し、映像再生端末から指定される注視領域に応じて、全体映像のうち注視領域が含まれるタイル映像を符号化して映像再生端末に送信する映像伝送装置と、映像伝送装置から送信される複数のタイル映像を復号化して表示する映像再生端末とを備えた映像伝送システムにおける映像伝送装置のコンピュータに、映像再生端末におけるデコード面積上限と注視領域サイズとの前提条件が入力されるステップと、前提条件に基づいて、タイル映像のタイルサイズを算出するステップと、全体映像を、タイルサイズ幅分ずらしながらタイル分割し、分割された映像を符号化するステップと、注視領域がタイルサイズ幅分移動する毎に、符号化された新規のタイル部分の映像を伝送するステップと、を実行させるプログラムである。

この発明によれば、画質劣化を改善する映像フォーマットにより映像を符号化して映像を伝送することができる。

本第１実施形態による映像伝送方法を説明するためのフローチャートである。 本第１実施形態において、注視領域と配信するタイル映像との関係を示す概念図である。 本第１実施形態において、重なりのないタイル分割による映像フォーマットを説明するための概念図である。 本第１実施形態での映像フォーマットを説明するための概念図である。 本第２実施形態による映像伝送方法を説明するためのフローチャートである。 本第２実施形態での映像フォーマットを説明するための概念図である。 本第３実施形態による映像伝送方法を説明するためのフローチャートである。 本第３実施形態での映像フォーマットを説明するための概念図である。 本第４実施形態による映像伝送方法を説明するためのフローチャートである。 本第４実施形態において、注視領域と配信するタイル映像との関係を示す概念図である。 本第４実施形態において、重なりのないタイル分割による映像フォーマットを説明するための概念図である。 本第４実施形態での映像フォーマットを説明するための概念図である。 従来技術による映像伝送システムの構成を示すブロック図である。 入力映像データのタイル分割、及びタイルＩＤの付与例を示す概念図である。 映像符号化後の映像データに付与されるデータＩＤを示す概念図である。 タイルＩＤリスト作成部１１８にて作成されるタイルＩＤリストの例を示す概念図である。

本発明は、パノラマ映像伝送システムにおけるパノラマ映像のタイル分割方法に関するものである。本発明では、ユーザ操作により、注視領域がタイルＩＤリスト最大になる位置になったときのタイル数、映像再生クライアントがデコードできるデコード上限値、映像の伝送帯域上限を利用し、タイルサイズを決定し、該決定したタイルサイズにて映像を符号化することにより、従来のタイル分割方法を用いた場合に比して、画質の劣化を防ぐことできるものである。

なお、ここでは、注視領域の位置が「タイルＩＤリスト最大になる位置」を「ワーストケースの位置」、「タイルＩＤリスト最大になる位置になったとき」を「ワーストケース時」と呼ぶこととする。

以下、本発明の一実施形態を、図面を参照して説明する。なお、本発明の映像伝送システムの構成は、図１１に示す従来技術による構成と基本的に同様である。すなわち、本実施形態の映像伝送システムは、全体映像を定められたタイルサイズに応じた複数のタイル映像に分割し、映像再生クライアント３０から指定される注視領域に応じて、全体映像のうち指定された注視領域が含まれるタイル映像を符号化する多重化装置１０と、多重化装置１０によって符号化された映像を映像再生クライアント３０に送信する映像伝送サーバ２０と、映像伝送サーバ２０から送信される複数のタイル映像を復号化して表示する映像再生端末３０とを備えている。

Ａ．第１実施形態
図１は、本第１実施形態による映像伝送方法を説明するためのフローチャートである。図２は、本第１実施形態において、注視領域と配信するタイル映像との関係を示す概念図である。また、図３は、重なりのないタイル分割による映像フォーマットを説明するための概念図である。

一般的に、タイルサイズ：ａ×ｂ［画素］、注視領域サイズ：Ｍ×Ｎ［画素］のとき、ワーストケースの位置にあるときの配信タイル数：Ｎａ×Ｎｂと表す。ここで、Ｎａ＝ｃｅｉｌ（Ｍ／ａ）＋１、Ｎｂ＝ｃｅｉｌ（Ｎ／ｂ）＋１である。なお、ｃｅｉｌ（）は、小数点切り上げ関数である。デコード面積は、（Ｎａ×Ｎｂ）×（ａ×ｂ）で表現することができる。

まず、前提条件として、デコード面積上限：１．５ＨＤ（ＨＤ＝ＨＤｈ×ＨＤｖ、ＨＤｈ：ＨＤ横幅、ＨＤｖ：ＨＤ縦幅）、注視領域サイズ：ＨＤ（ＨＤ解像度のディスプレイ表示を想定）を設定する（ステップＳ１）。ここで、前提条件は、例えば環境に応じた値が多重化装置１０または映像伝送サーバ２０に予め記憶されているようにしても良いし、映像再生クライアント３０から前提条件がユーザ端末１０に送信されるようにしても良い。このような情報が多重化装置１０に入力され、映像分割部１００の記憶領域に記憶されることにより、前提条件が設定される。次に、多重化装置１０の映像分割部１００は、この条件のとき、タイルサイズを、ａ＝ＨＤｈ／ｘ、ｂ＝ＨＤｖ／ｘ（ここで、ｘは実数）とし、デコード面積上限を満たすようなｘを求める（ステップＳ２）。

ここで、注視領域サイズ条件は、ＨＤであり、Ｍ＝ＨＤｈ、Ｎ＝ＨＤｖと表現する。
このとき、
Ｎａ＝ｃｅｉｌ（ＨＤｈ／（ＨＤｈ／ｘ））＋１＝ｘ＋１，
Ｎｂ＝ｃｅｉｌ（ＨＤｖ／（ＨＤｖ／ｘ））＋１＝ｘ＋１
となるので、次式（１）〜（６）から、ｘ＞＝４．５であれば、注視領域をデコード可能と分かる。

ここでは、以後の説明を簡単にするため、ｘ＝５と決定する（ステップＳ３）。この結果、注視領域と配信するタイル映像との関係は、図２に示すようになる。これは、注視領域サイズをＨＤサイズとしたときに、デコード可能とするためには、タイルサイズを横幅ＨＤｈ／５、縦幅ＨＤｖ／５とし、タイル映像を符号化すればよいことを示している（ＨＤｈ＝１９２０、ＨＤｖ＝１０８０）。同時に、注視領域に対して、横幅ＨＤｈ／５、縦幅ＨＤｖ／５のデコードはみ出し幅であれば、デコード可能であることも意味している。

但し、図３に示すように、重なりのないタイル分割による映像フォーマットでは、各タイル重なりがないようにタイル分割し、符号化されるため、タイルサイズ横幅：ＨＤｈ／５、タイルサイズ縦幅：ＨＤｖ／５でタイル分割する必要がある。このタイルサイズは、ＨＤ面積の１／２５であり、小さいタイルサイズであり、符号化効率は悪くなり、画質劣化の原因となってしまう。

そこで、本発明では、重なりのある３パターンの分割による映像フォーマットにより映像を蓄積して伝送することにより、分割のタイルサイズを大きくすることができ、分割による符号化効率の低下を抑制することができる。

すなわち、タイルサイズ横：ＨＤｈ／５、タイルサイズ縦：（１＋（１／５））ＨＤｖとし、縦方向にＨＤｖ／５ずつタイルをずらしながら、タイル分割、符号化する（ステップＳ４）。そして、注視領域サイズがＨＤサイズ（ＨＤｈ＝１９２０、ＨＤｖ＝１０８０）のとき、注視領域が縦ＨＤｖ／５、横ＨＤｈ／５移動毎に新規のタイル部分の映像を伝送する（ステップＳ５）。

図４は、本第１実施形態での映像フォーマットを説明するための概念図である。本第１実施形態は、上述したように、タイルサイズ横：ＨＤｈ／５、タイルサイズ縦：（１＋（１／５））ＨＤｖとし、縦方向にＨＤｖ／５ずつタイルをずらしながら、タイル分割、符号化する映像フォーマット（ｘ＝５とした場合の例）の例である（ＨＤｈ＝１９２０，ＨＤｖ＝１０８０）。そして、注視領域サイズがＨＤサイズのとき、注視領域が縦ＨＤｖ／５、横ＨＤｈ／５移動毎に新規のタイル部分の映像を伝送する。

このような映像フォーマットにすることで、ユーザ操作により注視領域が動いても、映像再生クライアント端末でのはみ出し幅は、横幅ＨＤｈ／５、縦幅ＨＤｖ／５とずらさない場合と同じであるにもかかわらず、タイルサイズを、大きくすることができる。これにより、タイルを符号化するときの符号化効率が向上し、結果として映像品質が向上するという効果が得られる。

この映像フォーマットにより蓄積された映像データは、従来の映像伝送システムと同様にして、注視領域と重なるタイル部分の横、縦ともに、横幅ＨＤｈ／５、縦幅ＨＤｖ／５ずれるごとに、新規のタイル部分の映像が伝送されることになる。

Ｂ.第２実施形態
次に、本発明の第２実施形態について説明する。
図５は、本第２実施形態による映像伝送方法を説明するためのフローチャートである。前提条件として、デコード面積上限：１．５ＨＤ（ＨＤ＝ＨＤｈ×ＨＤｖ、ＨＤｈ：ＨＤ横幅、ＨＤｖ：ＨＤ縦幅）、注視領域サイズ：ＨＤ（ＨＤ解像度のディスプレイ表示を想定）を設定する（ステップＳ１０）。次に、この条件のとき、タイルサイズを、ａ＝ＨＤｈ／ｘ、ｂ＝ＨＤｖ／ｘ（ここで、ｘは実数）とし、デコード面積上限を満たすようなｘを求める（ステップＳ１１）。ここでは、前述同様、ｘ＝５と決定する（ステップＳ１２）。

次に、タイルサイズ横：（１＋（１／５））ＨＤｈ、タイルサイズ縦：ＨＤｖ／５とし、横方向にＨＤｈ／５ずつタイルをずらしながら、タイル分割、符号化する（ステップＳ１３）。そして、注視領域サイズがＨＤサイズ（ＨＤｈ＝１９２０、ＨＤｖ＝１０８０）のとき、注視領域が縦ＨＤｖ／５、横ＨＤｈ／５移動毎に新規のタイル部分の映像を伝送する（ステップＳ１４）。

図６は、本第２実施形態での映像フォーマットを説明するための概念図である。本第２実施形態では、上述したように、タイルサイズ横：（１＋（１／５））ＨＤｈ、タイルサイズ縦：ＨＤｖ／５とし、横方向にＨＤｈ／５ずつタイルをずらしながら、タイル分割、符号化するようになっている。そして，注視領域サイズがＨＤサイズ（ＨＤｈ＝１９２０、ＨＤｖ＝１０８０）のとき、注視領域が縦ＨＤｖ／５、横ＨＤｈ／５移動毎に新規のタイル部分の映像を伝送する。

Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
図７は、本第３実施形態による映像伝送方法を説明するためのフローチャートである。前提条件として、デコード面積上限：１．５ＨＤ（ＨＤ＝ＨＤｈ×ＨＤｖ、ＨＤｈ：ＨＤ横幅、ＨＤｖ：ＨＤ縦幅）、注視領域サイズ：ＨＤ（ＨＤ解像度のディスプレイ表示を想定）を設定する（ステップＳ２０）。次に、この条件のとき、タイルサイズを、ａ＝ＨＤｈ／ｘ、ｂ＝ＨＤｖ／ｘ（ここで、ｘは実数）とし、デコード面積上限を満たすようなｘを求める（ステップＳ２１）。ここでは、前述同様、ｘ＝５と決定する（ステップＳ２２）。

次に、タイルサイズ横：（１＋（１／５））ＨＤｈ、タイルサイズ縦：（１＋（１／５））ＨＤｖとし、縦方向にＨＤｖ／５ずつ、横方向にＨＤｈ／５ずつタイルをずらしながら、タイル分割、符号化する（ステップＳ２３）。そして、注視領域サイズがＨＤサイズ（ＨＤｈ＝１９２０、ＨＤｖ＝１０８０）のとき、注視領域が縦ＨＤｖ／５、横ＨＤｈ／５移動毎に新規のタイル部分の映像を伝送する（ステップＳ２４）。

図８は、本第３実施形態での映像フォーマットを説明するための概念図である。本第３実施形態では、上述したように、タイルサイズ横：（１＋（１／５））ＨＤｈ、タイルサイズ縦：（１＋（１／５））ＨＤｖとし、縦方向にＨＤｖ／５ずつ、横方向にＨＤｈ／５ずつタイルをずらしながらタイル分割、符号化するようになっている。そして、注視領域サイズがＨＤサイズのとき、注視領域が縦ＨＤｖ／５、横ＨＤｈ／５移動毎に新規のタイル部分の映像を伝送する。

Ｄ．第４実施形態
次に、本発明の第４実施形態について説明する。
図９は、本第４実施形態による映像伝送方法を説明するためのフローチャートである。図１０は、本第４実施形態において、注視領域と配信するタイル映像との関係を示す概念図である。まず、前提条件として、注視領域サイズ、伝送帯域上限、及び十分な品質が得られるＨＤ映像の符号化ビットレートを設定する（ステップＳ３０）。例えば、注視領域サイズ：ＨＤ（ＨＤ解像度のディスプレイ表示を想定：Ｍ×Ｎ）、伝送帯域上限を１１［Ｍｂｐｓ］、十分な品質が得られるＨＤ映像の符号化ビットレートを６［Ｍｂｐｓ］とする。次に、タイルサイズを、ａ＝ＨＤｈ／ｘ、ｂ＝ＨＤｖ／ｘ（ここでｘは実数）とし、伝送帯域上限を満たすようなｘを求める（ステップＳ３１）。

ここで、注視領域サイズ条件は、ＨＤであり、Ｍ＝ＨＤｈ、Ｎ＝ＨＤｖと表現する。
このとき、
Ｎａ＝ｃｅｉｌ（ＨＤｈ／（ＨＤｈ／ｘ））＋１＝ｘ＋１，
Ｎｂ＝ｃｅｉｌ（ＨＤｖ／（ＨＤｖ／ｘ））＋１＝ｘ＋１
１タイル当たりのビットレート＝（Ｒ／（ｃｅｉｌ（Ｍ／ａ）×ｃｅｉｌ（Ｎ／ｂ））＝（６／（ｘ×ｘ）
となるので、次式（７）〜（１２）から、Ｘ＞＝２．８であれば、注視領域をデコード可能と分かる。なお、Ｒは、十分な品質が得られるＨＤ映像の符号化ビットレートである。

ここでは、以後の説明を簡単にするため、ｘ＝３と決定する（ステップＳ３２）。この結果、注視領域と配信するタイル映像との関係は、図１０に示すようになる。

なお、十分な品質が得られるＨＤ映像の符号化ビットレートは、タイル分割することで符号化効率が落ちることを考慮し、タイル分割しない場合のＨＤ映像の符号化ビットレートより多少大きく設定するほうがよい。例えば、タイル分割しない場合のＨＤ映像の符号化ビットレートが６［Ｍｂｐｓ］であれば、７［Ｍｂｐｓ］に設定して、ｘを算出するなどの考慮が必要である。

図１１は、本第４実施形態において、重なりのないタイル分割による映像フォーマットを説明するための概念図である。但し、図１１に示すように、重なりのないタイル分割による映像フォーマットでは、各タイル重なりがないようにタイル分割し、符号化されるため、タイルサイズ横幅：ＨＤｈ／３、タイルサイズ縦幅：ＨＤｖ／３でタイル分割する必要がある。このタイルサイズは、ＨＤ面積の１／９であり、小さいタイルサイズであり、符号化効率は悪くなり、画質劣化の原因となってしまう。

そこで、本発明では、タイルサイズ横：ＨＤｈ／３、タイルサイズ縦：（１＋（１／３））ＨＤｖとし、縦方向にＨＤｖ／３ずつタイルをずらしながら、タイル分割、符号化する（ステップＳ３３）。そして、注視領域サイズがＨＤサイズ（ＨＤｈ＝１９２０、ＨＤｖ＝１０８０）のとき、注視領域が縦ＨＤｖ／３、横ＨＤｈ／３移動毎に新規のタイル部分の映像を伝送する（ステップＳ３４）。

図１２は、本第４実施形態での映像フォーマットを説明するための概念図である。本第４実施形態は、上述したように、タイルサイズ横：ＨＤｈ／３、タイルサイズ縦：（１＋（１／３））ＨＤｖとし、縦方向にＨＤｖ／３ずつタイルをずらしながら、タイル分割、符号化する映像フォーマット（ｘ＝３とした場合の例）の例である。そして、注視領域サイズがＨＤサイズ（ＨＤｈ＝１９２０，ＨＤｖ＝１０８０）のとき、注視領域が縦ＨＤｖ／３、横ＨＤｈ／３移動毎に新規のタイル部分の映像を伝送する。

なお、ここでは省略するが、タイルサイズ横：（１＋（１／３））ＨＤｈ、タイルサイズ縦：ＨＤｖ／３や、タイルサイズ横：（１＋（１／３））ＨＤｈ、タイルサイズ縦：（１＋（１／３））ＨＤｖの場合の映像フォーマットも、図６、図８と同様に考えることができる。

また、デコード面積上限と伝送帯域上限の２つの上限が存在するときは，これら２つの上限による制約を満たすｘを求めればよい．たとえば，図５と図１０を満たすｘは，より制約の厳しいデコード面積を満たすｘ＞＝４．５となる．

また、上述した第１から第４実施形態において、デコード面積上限と伝送帯域上限との２つの上限が存在するとき、これら２つの上限による制約を満たすｘを求めればよい。例えば、第１実施形態（図１）と第４実施形態（図９）を満たすｘは、より制約の厳しいデコード面積を満たすｘ＞＝４．５となる。

上述した第１から第４実施形態によれば、ユーザがインタラクティブに指定する注視領域に応じて、高解像度映像を切り出し、端末上でデコード、ディスプレイ上に表示するシステムにおいて、高解像度映像をタイル分割し、符号化することで、高品質な映像を伝送することができる。

１０ 多重化装置
２０ 映像伝送サーバ
３０ 映像再生クライアント
１００ 解像度変換＆映像分割部
１０１ 符号化部
１０２ データ蓄積部
１０３ 評価値計算部
１０４ 対応テーブル＆評価値蓄積部
１０５ データ管理部
１０６ コマンド受信部
１０７ データ送信部
１０８ 対応テーブル＆評価値送信部
１０９ コマンド送信部
１１０ 補正評価値計算部
１１１ コマンド変換部
１１２ データ受信部
１１３ 復号化部
１１４ 映像表示部
１１５ 対応テーブル＆評価値受信部
１１６ 対応テーブル＆評価値蓄積部
１１７ 注視領域指定部
１１８ タイルＩＤリスト作成部

Claims (7)

1. 全体映像を複数のタイル映像に分割し、映像再生端末から指定される注視領域に応じて、前記全体映像のうち当該注視領域が含まれる前記タイル映像を符号化して前記映像再生端末に送信する映像伝送装置と、当該映像伝送装置から送信される複数の前記タイル映像を復号化して表示する前記映像再生端末とを備えた映像伝送システムの映像伝送方法であって、
   前記映像伝送装置に、前記映像再生端末におけるデコード面積上限と注視領域サイズとの前提条件が入力されるステップと、
   前記映像伝送装置が、前記前提条件に基づいて、前記タイル映像のタイルサイズを算出するステップと、
   前記全体映像を、前記タイルサイズ幅分ずらしながらタイル分割し、分割された映像を符号化するステップと、
   前記注視領域が前記タイルサイズ幅分移動する毎に、符号化された新規のタイル部分の映像を伝送するステップと
   を含むことを特徴とする映像伝送方法。
2. 前記前提条件として、伝送帯域上限と注視領域サイズとを設定し、
   前記前提条件に基づいて、前記伝送帯域上限を満たすタイルサイズを算出することを特徴とする請求項１に記載の映像伝送方法。
3. 前記前提条件として、前記デコード面積上限と前記注視領域サイズとに加えて、伝送帯域上限を設定し、
   前記前提条件に基づいて、前記デコード面積上限、または前記伝送帯域上限を満たすタイルサイズを算出することを特徴とする請求項１に記載の映像伝送方法。
4. 全体映像を複数のタイル映像に分割し、映像再生端末から指定される注視領域に応じて、前記全体映像のうち当該注視領域が含まれる前記タイル映像を符号化して前記映像再生端末に送信する映像伝送装置と、当該映像伝送装置から送信される複数の前記タイル映像を復号化して表示する前記映像再生端末とを備えた映像伝送システムにおける前記映像伝送装置であって、
   前記映像再生端末におけるデコード面積上限と注視領域サイズとの前提条件が入力される設定手段と、
   前記映像伝送装置が、前記前提条件に基づいて、前記タイル映像のタイルサイズを算出する算出手段と、
   前記全体映像を、前記算出手段で算出されたタイルサイズ幅分ずらしながらタイル分割し、分割された映像を符号化する分割符号化手段と、
   前記注視領域が前記タイルサイズ幅分移動する毎に、符号化された新規のタイル部分の映像を伝送する伝送手段と
   を備えることを特徴とする映像伝送装置。
5. 前記設定手段は、前記前提条件として、伝送帯域上限と注視領域サイズとを設定し、
   前記算出手段は、前記前提条件に基づいて、前記伝送帯域上限を満たすタイルサイズを算出することを特徴とする請求項４に記載の映像伝送装置。
6. 前記設定手段は、前記前提条件として、前記デコード面積上限と前記注視領域サイズとに加えて、伝送帯域上限を設定し、
   前記算出手段は、前記前提条件に基づいて、前記デコード面積上限、または前記伝送帯域上限を満たすタイルサイズを算出することを特徴とする請求項４に記載の映像伝送装置。
7. 全体映像を複数のタイル映像に分割し、映像再生端末から指定される注視領域に応じて、前記全体映像のうち当該注視領域が含まれる前記タイル映像を符号化して前記映像再生端末に送信する映像伝送装置と、当該映像伝送装置から送信される複数の前記タイル映像を復号化して表示する前記映像再生端末とを備えた映像伝送システムにおける前記映像伝送装置のコンピュータに、
   前記映像再生端末におけるデコード面積上限と注視領域サイズとの前提条件が入力されるステップと、
   前記前提条件に基づいて、前記タイル映像のタイルサイズを算出するステップと、
   前記全体映像を、前記タイルサイズ幅分ずらしながらタイル分割し、分割された映像を符号化するステップと、
   前記注視領域が前記タイルサイズ幅分移動する毎に、符号化された新規のタイル部分の映像を伝送するステップと、
   を実行させるプログラム。

Images