JP2017228895A - 階層符号化信号間引き装置、制御方法およびプログラム - Google Patents

Abstract

【課題】間引き後ストリームのビットレートが、端末装置の変動するＣＰＵ処理負荷の状態に適していない。【解決手段】受信された階層符号化信号を所定の間引き率で間引きして間引き後階層符号化信号として復号化装置に送信する間引き手段と、送信された間引き後階層符号化信号が復号化装置で復号化されている際の復号化装置の負荷量の情報にもとづいて、負荷量が所定範囲を超える場合には、間引き率を所定段階引き上げ、負荷量が所定範囲に及ばない場合には、間引き率を所定段階引き下げ、負荷量が所定範囲内にある場合には、間引き率を維持する更新を行う更新手段とを備える。【選択図】図１

Description

本発明は、階層符号化信号間引き装置、制御方法およびプログラムに関する。

映像の階層符号化データを間引く技術が非特許文献１に記載されている。すなわち、エンコーダが解像度、フレームレート、品質（以降、画質）の異なる動画像を符号化し、各階層の符号化データを多重化してストリームを生成する。エクストラクタがストリームからあらかじめエンコーダの用途や性能、処理能力にもとづいて定められた内容の間引きを行う。エンコーダが間引き後のストリームを逆多重し、階層符号化データを復号化して動画像を出力する。

木本 崇博、「Ｈ．２６４／スケーラブルビデオ符号（ＳＶＣ）」、映像情報メディア学会誌、Ｖｏｌ６１、Ｎｏ４、ｐｐ．４２２−４２５、２００７

非特許文献１の技術に係る階層映像符号化方式では、一般的に、間引き後のストリームの伝送ビットレートが高い程、映像の品質が高くなり、エンコーダを含む端末装置でのＣＰＵ（Central Processing Unit）処理負荷が大きくなる。

非特許文献１の技術において、エクストラクタによる間引きの内容や間引き後ストリームの伝送ビットレートはあらかじめエンコーダを含む端末装置の用途や性能、処理能力にもとづいて定められる。そのため、エンコーダを含む端末装置が、用途や処理負荷がある程度一定であるような専用装置であれば、端末装置は正常に動作する。

ところが、エンコーダを含む端末装置が、例えばスマートフォンやＰＣ（Personal Computer）のような、様々なアプリケーションプログラムが並行して動作する端末装置である場合がある。その場合、端末装置において、復号化処理や、間引き内容決定の際に考慮されたアプリケーション処理などの他に、間引き内容決定の際に考慮さえていないアプリケーション処理も行われて、ＣＰＵ処理が過負荷になることがある。ＣＰＵ処理が過負荷になると、復号化が行われず、画面の映像が固まったり、ブラックアウトしたりする。

ＣＰＵ処理が過負荷にならないようにするために、あらかじめ間引き内容や間引き後ストリームの伝送ビットレートを最低限の映像品質が担保される程度に定めれば、端末装置において、間引き内容決定の際に考慮されたアプリケーション処理が行われないときに、ＣＰＵ処理に相当の余裕が出ることがある。しかしながら、そのとき、ＣＰＵには、より高い伝送ビットレートのストリームを復号化する処理を行う余裕があっても、端末装置に送られる間引き後ストリームの伝送ビットレートは最低限の映像品質が担保される程度である。

つまり、間引き後ストリームの伝送ビットレートが、端末装置の変動するＣＰＵ処理負荷の状態に適していない。

本発明の目的は、上記課題を解決する階層符号化信号間引き装置、制御方法およびプログラムを提供することである。

本発明の階層符号化信号間引き装置は、受信された階層符号化信号を所定の間引き率で間引きして間引き後階層符号化信号として復号化装置に送信する間引き手段と、送信された前記間引き後階層符号化信号が前記復号化装置で復号化されている際の前記復号化装置の負荷量の情報にもとづいて、前記負荷量が所定範囲を超える場合には、前記間引き率を所定段階引き上げ、前記負荷量が前記所定範囲に及ばない場合には、前記間引き率を所定段階引き下げ、前記負荷量が前記所定範囲内にある場合には、前記間引き率を維持する更新を行う更新手段とを備えることを特徴とする。

本発明の階層符号化信号間引き装置の制御方法は、受信された階層符号化信号を所定の間引き率で間引きして間引き後階層符号化信号として復号化装置に送信し、送信された前記間引き後階層符号化信号が前記復号化装置で復号化されている際の前記復号化装置の負荷量の情報にもとづいて、前記負荷量が所定範囲を超える場合には、前記間引き率を所定段階引き上げ、前記負荷量が前記所定範囲に及ばない場合には、前記間引き率を所定段階引き下げ、前記負荷量が前記所定範囲内にある場合には、前記間引き率を維持する更新を行うことを特徴とする。

本発明の階層符号化信号間引き装置のプログラムは、受信された階層符号化信号を所定の間引き率で間引きして間引き後階層符号化信号として復号化装置に送信する間引きステップと、送信された前記間引き後階層符号化信号が前記復号化装置で復号化されている際の前記復号化装置の負荷量の情報にもとづいて、前記負荷量が所定範囲を超える場合には、前記間引き率を所定段階引き上げ、前記負荷量が前記所定範囲に及ばない場合には、前記間引き率を所定段階引き下げ、前記負荷量が前記所定範囲内にある場合には、前記間引き率を維持する更新を行う更新ステップとを備えることを特徴とする。

本発明によれば、エクストラクタなどの階層符号化信号間引き装置において、端末装置のＣＰＵ処理負荷の状態に適した伝送ビットレートの間引き後ストリームを生成することが可能となる。

第１の実施形態における階層符号化信号間引き装置の構成例を示すブロック図である。 第２の実施形態における映像通信システムの構成例を示す図である。 第２の実施形態における間引き制御データベースの構成例を示す表である。 第２の実施形態におけるＣＰＵ負荷レベル情報と間引きレベルの関係の例を示す図である。 第２の実施形態における映像復号化装置と階層符号化データ間引き装置の動作例を示すシーケンス図である。

以下、本発明の実施形態における階層符号化信号間引き装置、制御方法およびプログラムについて説明する。

まず、本発明の第１の実施形態について、図面を参照して説明する。

本実施形態では、端末装置のＣＰＵ処理負荷の状態に適したビットレートの間引き後ストリームを生成する、最小限の要素で構成された階層符号化信号間引き装置について説明する。

本実施形態における階層符号化信号間引き装置の構成例を図１に示す。階層符号化信号間引き装置１００は、間引き部１０１、更新部１０２を含む。

間引き部１０１は、受信された階層符号化信号を所定の間引き率で間引きして間引き後階層符号化信号として復号化装置に送信する。

更新部１０２は、送信された間引き後階層符号化信号が復号化装置で復号化されている際の復号化装置の負荷量の情報にもとづいて、間引き率の更新を行う。

上記の構成例を踏まえ、本実施形態における階層符号化信号間引き装置１００の動作例について説明する。

ユーザ等の所定操作により起動された階層符号化信号間引き装置１００において、間引き部１０１が受信された階層符号化信号を所定の間引き率で間引きして間引き後階層符号化信号として復号化装置に送信する。更新部１０２が、送信された間引き後階層符号化信号が復号化装置で復号化されている際の復号化装置の負荷量の情報にもとづいて、間引き率の更新を行う。すなわち、更新部１０２は、負荷量が所定範囲を超える場合には、間引き率を所定段階引き上げ、負荷量が所定範囲に及ばない場合には、間引き率を所定段階引き下げ、負荷量が所定範囲内にある場合には、間引き率を維持する。

このように、階層符号化信号間引き装置において、端末装置のＣＰＵ処理負荷の状態に適したビットレートの間引き後ストリームを生成することが可能となる。

次に、本発明の第２の実施形態について、図面を参照して説明する。

本実施形態では、端末装置のＣＰＵ処理負荷の状態に適した伝送ビットレートの間引き後ストリームを生成する階層符号化データ間引き装置を含む映像通信システムについて説明する。

本実施形態における映像通信システムの構成例を図２に示す。映像通信システムは、映像符号化装置１０、階層符号化データ間引き装置２０、映像復号化装置３０を含む。

映像符号化装置１０は、映像データを階層符号化して、階層符号化データを階層符号化データ間引き装置２０に送信する。

階層符号化データ間引き装置２０は、階層符号化データを間引きして間引き後階層符号化データを映像復号化装置３０に送信する。階層符号化データ間引き装置２０は、間引き率更新部２１、間引き部２２、間引き制御データベース２３を含む。

映像復号化装置３０は、間引き後階層符号化データを復号化して映像データを出力し、また、ＣＰＵ負荷レベル情報を階層符号化データ間引き装置２０に送信する。映像復号化装置３０は、負荷測定部３１、負荷情報生成部３２を含む。なお、映像復号化装置３０は、例えばスマートフォンやＰＣのような、様々なアプリケーションプログラムが並行して動作する端末装置であることがある。

間引き制御データベース２３のデータベースの構成例を図３に示す。

図３において、階層符号化データ（下層を包含する最上層）のビットレート等の所定の伝送ビットレートについて、間引きレベル値が１からｎ（自然数 ここでは６以上）まであり、間引きレベル値に対応して階層符号化データ間引き装置２０における間引き率が０％から８０％まで設定されている。なお、間引き率＝１−（間引き後伝送レート／間引き前伝送レート）と定義する。間引きレベル１では間引き率が０％と設定されており、その場合、間引き後階層符号化データの伝送ビットレートが階層符号化データの伝送ビットレートのままとなる。間引きレベル５では間引き率が４０％と設定されており、その場合、間引き後階層符号化データの伝送ビットレートが階層符号化データの伝送ビットレートの６０％となる。間引きレベルｎでは間引き率は８０％と設定されており、その場合、間引き後階層符号化データの伝送ビットレートは階層符号化データの伝送ビットレートの２０％となる。

つまり、間引きレベル値が大きくなるほど、間引き率が高くなり、結果として、間引き後階層符号化データの伝送ビットレートが階層符号化データの伝送ビットレートに対して低くなる。一般的に、間引き後階層符号化データの伝送ビットレートが高くなるほど、間引き後階層符号化データを復号化する映像復号化装置３０のＣＰＵ処理の負荷が大きくなる。

なお、階層符号化データの伝送ビットレートや間引き率は、階層符号化データについての解像度、フレームレート、および画質の組合せで決まる。それら解像度、フレームレート、画質を切り替えることによって間引きが行われる。解像度として、４ＣＩＦ（Common Intermediate Format）、ＣＩＦ、ＱＣＩＦ（Quarter Common Intermediate Format）など、また、フレームレートとして、３０ｆｐｓ（frame per second）、１５ｆｐｓ、７．５ｆｐｓなどがある。画質は、高品質、低品質などの段階で表される。

また、間引き率の範囲の決定要件としては、次のようなことが挙げられる。すなわち、間引き率が最大値であるとき最低限以上の映像品質が担保されること、間引き率が範囲の中央値付近であるとき正常なＣＰＵ処理が行われること、間引き率が最小値であるときＣＰＵ処理が過負荷とならないことなどである。

図３における間引き率などの値は例である。

映像復号化装置３０において生成されるＣＰＵ負荷レベル情報と間引き制御データベース２３における間引きレベルの関係の例を図４に示す。

図４において、ＣＰＵ負荷レベル情報は、映像復号化装置３０のＣＰＵ処理負荷の大きさ（レベル）を示す情報である。ＣＰＵ処理負荷は、一般的に、復号化処理やアプリケーション処理などによる映像復号化装置３０の処理負荷を表す。ＣＰＵ負荷レベルがＢ％以上となると、正常なＣＰＵ処理が行われず、復号化された映像データについて視聴可能なレベルの品質が担保されないリスクがある。ＣＰＵ負荷レベルがＡ％未満となると、ＣＰＵ処理に所定レベル以上の余裕がある。ＣＰＵ負荷レベルがＡ％以上Ｂ％未満の所定範囲となると、正常なＣＰＵ処理が行われる。階層符号化データ間引き装置２０は、ＣＰＵ負荷レベルが所定範囲以上であることを示す情報を受信すると間引きレベル値を１段階引き上げ、ＣＰＵ負荷レベルが所定範囲未満であることを示す情報を受信すると間引きレベル値を１段階引き下げ、ＣＰＵ負荷レベルが所定範囲内であることを示す情報を受信すると間引きレベル値を維持する。

なお、上記のＡ％やＢ％の値は、使用されるＣＰＵの種類により異なる。

上記の構成例などを踏まえ、本実施形態における映像通信システムの動作例について、図５を参照して説明する。図５に、映像復号化装置と階層符号化データ間引き装置の動作例を示すシーケンス図を示す。

ユーザ等の所定操作により起動された映像通信システムにおいて、階層符号化データ間引き装置２０が映像符号化装置１０より送信された階層符号化データを受信する。間引き部２２が受信された階層符号化データ（フレーム単位数等の所定長）を間引き制御データベース２３にて所定（デフォルト）の間引きレベル値に対応する間引き率で間引いて間引き後階層符号化データを生成し、映像復号化装置３０に送信する（Ｓ４０１）。

間引き後階層符号化データを受信した映像復号化装置３０は間引き後階層符号化データを復号化し、復号化された映像データを出力する。その際、負荷測定部３１がＣＰＵ処理負荷量（レベル）を測定する（Ｓ４０２）。ＣＰＵ負荷レベルがＢ％以上の場合には（Ｓ４０２でＢ％以上）、負荷情報生成部３２がＣＰＵ負荷レベルが所定範囲以上であることを示す情報の信号を生成する（Ｓ４０３）。また、ＣＰＵ負荷レベルがＡ％未満の場合には（Ｓ４０２でＡ％未満）、負荷情報生成部３２はＣＰＵ負荷レベルが所定範囲未満であることを示す情報の信号を生成する（Ｓ４０４）。ＣＰＵ負荷レベルがＡ％以上Ｂ％未満の場合には（Ｓ４０２でＡ％以上Ｂ％未満）、負荷情報生成部３２はＣＰＵ負荷レベルが所定範囲内であることを示す情報の信号を生成する（Ｓ４０５）。次に、映像復号化装置３０は生成されたＣＰＵ負荷レベル情報の信号を符号化データ間引き装置２０に送信する（Ｓ４０６）。

ＣＰＵ負荷レベル情報の信号を受信した符号化データ間引き装置２０において間引き率更新部２１がＣＰＵ負荷レベル情報を確認する（Ｓ４０７）。ＣＰＵ負荷レベル情報が所定範囲以上であることを示している場合には（Ｓ４０７で高負荷状態）、間引き率更新部２１は、間引きレベル値の更新として、その時点の間引きレベル値を１段階引き上げる（Ｓ４０８）。ＣＰＵ負荷レベル情報が所定範囲未満であることを示している場合には（Ｓ４０７で低負荷状態）、間引き率更新部２１は同様に、その時点の間引きレベル値を１段階引き下げる（Ｓ４０９）。ＣＰＵ負荷レベル情報が所定範囲内であることを示している場合には（Ｓ４０７で通常負荷状態）、間引き率更新部２１は同様に、その時点の間引きレベル値を維持する（Ｓ４１０）。次に、間引き部２２は映像符号化装置１０より受信した階層符号化データを間引き制御データベース２１にて更新された間引きレベル値に対応する間引き率で間引いて間引き後階層符号化データを生成し、映像復号化装置３０に送信する（Ｓ４１１）。間引き後階層符号化データを受信した映像復号化装置３０は、Ｓ４０２の処理を行う。

なお、ＣＰＵ処理負荷レベルに応じてそれぞれ間引きレベルの引上げや引下げの段階を２以上としてもよい。また、用途や性能、処理能力などの異なる複数の映像復号化装置３０を階層符号化間引き装置２０にカスケードに接続し、各映像復号化装置３０に対して最適な間引き範囲を設定するようにしてもよい。

以上のように、階層符号化データ間引き装置において、映像復号化装置のＣＰＵ負荷レベルがＢ％以上の場合には、間引き率を増加して、間引き後映像符号化データの伝送ビットレートを低下させることによって、ＣＰＵ負荷レベルがＡ％以上Ｂ％未満となるようにする。また、ＣＰＵ負荷レベルがＡ％未満の場合には、間引き率を減少して、間引き後映像符号化データの伝送ビットレートを上昇させることによって、ＣＰＵ負荷レベルがＡ％以上Ｂ％未満となるようにする。

このように、階層符号化信号間引き装置において、端末装置のＣＰＵ処理負荷の状態に適した伝送ビットレートの間引き後ストリームを生成することが可能となる。

なお、以上の実施形態において、係る動作処理を実行させるためのプログラムを、ＣＤ−ＲＯＭ、ＭＯなどのコンピュータ読取可能な記録媒体に格納して配布してもよい。該プログラムを階層符号化信号間引き装置にインストールすることにより、階層符号化信号間引き装置に該動作処理を実行させてもよい。ＣＤ−ＲＯＭはCompact Disk Read-Only Memoryの略称で、ＭＯはMagneto-Optical diskの略称である。

本発明は、階層符号化信号間引き装置、制御方法およびプログラムに利用可能である。

１０ 映像符号化装置
２０ 階層符号化データ間引き装置
２１ 間引き率更新部
２２ 間引き部
２３ 間引き制御データベース
３０ 映像復号化装置
３１ 負荷測定部
３２ 負荷情報生成部
１００ 階層符号化信号間引き装置
１０１ 間引き部
１０２ 更新部

Claims (8)

1. 受信された階層符号化信号を所定の間引き率で間引きして間引き後階層符号化信号として復号化装置に送信する間引き手段と、
   送信された前記間引き後階層符号化信号が前記復号化装置で復号化されている際の前記復号化装置の負荷量の情報にもとづいて、前記負荷量が所定範囲を超える場合には、前記間引き率を所定段階引き上げ、前記負荷量が前記所定範囲に及ばない場合には、前記間引き率を所定段階引き下げ、前記負荷量が前記所定範囲内にある場合には、前記間引き率を維持する更新を行う更新手段と
   を備えることを特徴とする階層符号化信号間引き装置。
2. 階層符号化信号を復号化している際の自装置の負荷量を測定する測定手段と、
   前記負荷量の情報を生成し、階層符号化信号間引き装置に送信する生成手段と
   を備えることを特徴とする復号化装置。
3. 前記間引き率は、階層符号化信号についての解像度、フレームレート、および画質の組合せで決定される
   ことを特徴とする請求項１に記載の階層符号化信号間引き装置。
4. 受信された階層符号化信号を所定の間引き率で間引きして間引き後階層符号化信号として復号化装置に送信し、
   送信された前記間引き後階層符号化信号が前記復号化装置で復号化されている際の前記復号化装置の負荷量の情報にもとづいて、前記負荷量が所定範囲を超える場合には、前記間引き率を所定段階引き上げ、前記負荷量が前記所定範囲に及ばない場合には、前記間引き率を所定段階引き下げ、前記負荷量が前記所定範囲内にある場合には、前記間引き率を維持する更新を行う
   ことを特徴とする階層符号化信号間引き装置の制御方法。
5. 階層符号化信号を復号化している際の復号化装置の負荷量を測定し、
   前記負荷量の情報を生成し、階層符号化信号間引き装置に送信する
   ことを特徴とする復号化装置の制御方法。
6. 前記間引き率は、階層符号化信号についての解像度、フレームレート、および画質の組合せで決定される
   ことを特徴とする請求項４に記載の階層符号化信号間引き装置の制御方法。
7. 受信された階層符号化信号を所定の間引き率で間引きして間引き後階層符号化信号として復号化装置に送信する間引きステップと、
   送信された前記間引き後階層符号化信号が前記復号化装置で復号化されている際の前記復号化装置の負荷量の情報にもとづいて、前記負荷量が所定範囲を超える場合には、前記間引き率を所定段階引き上げ、前記負荷量が前記所定範囲に及ばない場合には、前記間引き率を所定段階引き下げ、前記負荷量が前記所定範囲内にある場合には、前記間引き率を維持する更新を行う更新ステップと
   を備えることを特徴とする階層符号化信号間引き装置のプログラム。
8. 階層符号化信号を復号化している際の復号化装置の負荷量を測定する測定ステップと、
   前記負荷量の情報を生成し、階層符号化信号間引き装置に送信する生成ステップと
   を備えることを特徴とする復号化装置のプログラム。

Images