JP2014022781A - 映像品質制御装置及び方法及びプログラム - Google Patents

Abstract

【課題】 映像通信サービスにおいて、ネットワーク環境や受信端末環境の状態に適応したレイヤ選択を行う。
【解決手段】 本発明は、受信したパケットからビットレート、フレームサイズ及びパケット損失率のうち、少なくともパケット損失率とビットレートを含むパラメータを抽出し、予め登録されている、または、取得した端末情報を参照し、パラメータのビットレートに適用可能な該端末情報の処理能力を有するレイヤを選択し、または、パラメータにフレームサイズが含まれ、該端末情報に画面サイズが含まれる場合には、フレームサイズに適用可能な該端末情報の画面サイズを有するレイヤを選択し、選択されたレイヤからパケット損失率に応じて最適なレイヤを映像品質情報として出力する。
【選択図】 図１

Description

本発明は、映像品質制御装置及び方法及びプログラムに係り、特に、IPネットワーク経由で行うIPTVサービス、映像配信サービス、映像コミュニケーションサービスなどの映像通信の品質をネットワーク及び受信端末環境等の外部要因を加味して制御する映像品質制御装置及び方法及びプログラムに関する。

近年、インターネットアクセス回線の高速化・広域化に伴い、音声を含む映像メディアを端末間あるいはサーバ端末間で転送する映像通信サービスが利用されている。また、光回線、3G回線、無線LANなど、多くのネットワーク環境があり、映像通信サービスの利用方法も様々である。さらに、スマートフォンやタブレットをはじめとして多様な端末が普及しており、ユーザは状況に応じて端末を使い分けて、映像通信サービスを利用できる。

このように、様々なネットワーク環境や端末でサービスを利用可能になったことから、ユーザの利用環境が多様化している。ユーザが求める映像品質は利用環境により異なることから、ユーザの満足度を高めるためには、ユーザの利用環境に適した映像品質でサービスを提供することが重要である。

スケーラブル映像符号化では、異なる映像品質のビットストリームを階層的に一つのストリーム内に符号化するため、一つのストリームで様々な映像品質でサービスを提供できる。このため、スケーラブル映像符号化の普及が期待されている。代表的なスケーラブル映像符号化方式に、2007年にＩＴＵ−Ｔ（International Telecommunication Union Telecommunication Standardization Sector）とＩＳＯ／ＩＥＣ（International Organization for Standardization / International Electrotechnical Commission）によって、Ｈ．２６４／ＡＶＣを拡張して標準化されたＳＶＣ（Scalable Video Coding）がある（スケーラブル符号化では、階層的に符号化された複数のレイヤが存在する）。

ＩＴＵ−Ｔ勧告Ｈ．２６４

前述の通り、ネットワーク経由の映像通信サービスにおいて、スケーラブル映像符号化技術によれば、異なるレイヤを一つのストリームで構成できるため、ユーザの利用環境の状況によってレイヤを選択することができる。しかし、勧告H.264ではレイヤの選択方法は定めていないため、レイヤを選択する技術が必要である。さらに、特に無線通信の場合、ユーザのネットワーク環境はサービス提供中に変化するため、自動的に最適なレイヤを選択する技術が求められる。また、利用端末によって処理性能や表示可能な解像度が異なるため、各端末に適したレイヤを選択する技術が求められる。

本発明は、上記の点に鑑みなされたもので、映像通信サービスにおいて、ネットワーク環境や受信端末環境の状態に適応した品質制御を行うことが可能な映像品質制御装置及び方法及びプログラムを提供することを目的とする。

上記の課題を解決するため、本発明は、ネットワークを経由して行われる映像通信サービスの映像品質を制御する映像品質制御装置であって、
受信したパケットのパケット情報に基づきパケット損失情報を含む映像品質制御に関連するパラメータを出力するパケット分析手段と、
予め登録されている、または、取得した端末情報を参照して、前記パケット損失情報に応じて前記ネットワーク及び端末環境に適した映像品質情報を出力する品質制御手段と、を備える。

本発明によれば、ネットワーク環境や受信端末環境の状態を考慮して、映像品質を制御することが可能となるため、常にユーザの利用状況に適した映像品質でサービスを提供できる。

本発明の第1の実施の形態における映像品質制御装置の構成の一例である。 本発明の第1の実施の形態における映像品質制御装置の映像品質の推定のフローチャートである。 本発明の第２の実施の形態における映像品質制御装置の構成の一例である。 本発明の第２の実施の形態における映像品質制御装置の映像品質の推定のフローチャートである。 本発明の第３の実施の形態における映像品質制御装置の構成の一例である。 本発明の第３の実施の形態における映像品質制御装置の映像品質の推定のフローチャートである。

以下、図面と共に本発明の実施の形態を説明する。

［第１の実施の形態］
図１は本発明の第１の実施形態における映像品質制御装置の構成の一例を示す図である。図１に示すように映像品質制御装置１０は、パケット分析部１１、品質制御部１２から構成されている。また、品質制御部１２には外部装置としてデコーダ１が接続されている。

パケット分析部１１は、受信したパケットから、ビットレート、フレームサイズ及び過去t秒間におけるパケット損失率のいずれかまたは全てのパラメータを抽出し、品質制御部１２に、そのパラメータを出力する。ただし、tの値はサービス提供者が決めてよい。具体的なビットレート及びフレームサイズの抽出方法としては、サーバが映像品質制御装置１０にビットレート及びフレームサイズを送信してもよく、パケット分析部１１で受信した映像のビットストリームから取得してもよい。パケット損失率の抽出は、受信したパケットを監視し、受信したパケット数及び受信できなかったパケット数を基に算出を行う。なお、フレームサイズは、出力されなくともよい。

品質制御部１２は、パケット分析部１１が出力したパラメータと、端末情報とに基づいて、ネットワーク及び端末環境に適したレイヤを推定し、出力する。ここで、端末情報とは、予め映像品質制御装置10内のメモリに登録されている、または、端末から受信するものとする。端末情報は、図1に示すように、画面サイズ及び処理能力情報を含み、処理能力情報としてＣＰＵ性能やメモリ容量を含む。但し、品質制御部１２は、これらの端末情報のすべて、または一部を取得しない場合もある。

上記の、品質制御部１２による最適レイヤの推定手順の例を示す。

（１）予め、端末の処理性能をn段階に分類し、性能の低いクラスから順に1からnの番号を割り当て、処理性能クラスとしてメモリ（図示せず）に格納しておく。同様に、ビットレートもn段階に分類し、ビットレートの低いクラスから順に1からnの番号を割り当て、ビットレートクラスとしてメモリ（図示せず）に格納しておく。nの値と分類基準はサービス提供者が決めてよい。 なお、端末処理性能の各クラスは、端末が処理可能なビットレートのクラスの上限と1対1に対応付けられているものとする。

（２）品質制御部１２は、取得した端末の処理能力に対応する端末の処理性能クラスの値をメモリ（図示せず）の処理性能クラスを参照して判断する。品質制御部１２が、取得した端末の処理能力のクラスの値をmと判断したとき、mより大きい番号のクラスに対応するビットレートを持つレイヤを処理不可能と判定してレイヤ候補から取り除く。ただし、m以下の番号に対応するビットレートを持つレイヤがないときは、ビットレートが最小のレイヤのみを残す。この手順で残ったレイヤは処理可能と判定する。なお、処理可能なレイヤ候補はメモリ（図示せず）に格納するものとする。

上記手順において、品質制御部１２は端末情報として処理能力を取得しなくともよく、この場合、全てのレイヤに対して処理可能と判定する。

（３）メモリに格納されている処理可能なレイヤ候補のうちフレームサイズが、取得した端末情報の画面サイズより大きいレイヤは取り除く。ただし、処理可能なレイヤ候補のうち、端末画面サイズ以下となるフレームサイズを持つレイヤがないときは、処理可能なレイヤ候補のうちフレームサイズが最小のレイヤのみを残す。

また、上記手順（３）において、パケット分析部１１はフレームサイズをパラメータとして出力しなくともよく、品質制御部１２は端末情報として画面サイズを取得しなくともよい。パケット分析部１１によりフレームサイズがパラメータとして出力されない場合、または、品質制御部１２が端末情報として画面サイズを取得しない場合、品質制御部１２は、処理可能なレイヤ候補のうち全てのレイヤを除かずに残しておく。

（４）パケット分析部１１から取得した過去t秒間のパケット損失率が0%であったとき、上記手順で残ったレイヤ候補のうち、ビットレートが最大のレイヤを最適と判定し選択する。

詳しくは、パケット分析部１１から取得した過去t秒間のパケット損失率が0%より大きいときは、残っているレイヤ候補の中からパケット損失率に応じてレイヤを選択する。このときの選び方はサービス提供者が決めてよい。例えば、パケット損失率がx%であり、残っているレイヤのビットレートがk種類であるとき、残っているレイヤ候補のビットレートを高い順にr₁, r₂,…, r_kと順序付けする。このとき、r_i/r₁≦a(1−(x/100))となる最大のビットレートr_iに対応するレイヤを選んでもよい。ただし、r_i/r₁≦a(1−(x/100))を満たすr_iが存在しないとき、残っているレイヤ候補のうち最もビットレートが低いレイヤを選ぶ。なお、係数aの値はサービス提供者が決めてよい。

次に、図２を参照して本発明の本実施の形態における映像品質制御装置の動作の例について説明する。図２は本発明の第1の実施の形態における映像品質制御装置の映像品質の推定のフローチャートである。

映像品質制御装置１０は、パケット分析部１１にパケットの入力に応じて、図２の映像品質制御処理を開始する。

まず、パケット分析部１１は、受信したパケットを分析し、ビットレートとフレームサイズとパケット損失情報とからなるパラメータを抽出し、品質制御部１２に入力する（ステップ１００）。具体的なビットレート及びフレームサイズの抽出方法は、サーバが映像品質制御装置にビットレート及びフレームサイズを送信してもよく、受信した映像のビットストリームから取得してもよい。パケット損失率の抽出は、受信したパケットを監視し、受信したパケット及び受信できなかったパケットを数えて算出を行う。

品質制御部１２は、端末情報として端末の画面サイズと処理能力とを取得する（ステップ１０１）。なお、取得する端末情報は、
・端末の画面サイズ及び処理能力の双方；
・端末の画面サイズ又は処理能力のいずれか一方；
・端末の画面サイズも処理能力も取得しない；
場合が存在する。

次に、品質制御部１２では、前述の最適レイヤ推定手順によって、まず取得した前記端末処理能力とパケット分析部１１から入力されたパラメータであるビットレートを、メモリ（図示せず）の処理性能クラスとビットレートクラスを参照し、得られたクラスの値に基づき、処理可能なビットレートに対応するレイヤを選び、該処理可能なレイヤ候補の中から、パケット分析部１１から入力されたパラメータのフレームサイズと端末情報の画面サイズとに基づいて、不適切なフレームサイズに対応するレイヤを除く。ただし、品質制御部１２が端末情報として処理能力を取得しない場合には全てのレイヤを候補処理可能と判断する。また、パケット分析部１１からのパラメータにフレームサイズが含まれず、端末情報として画面サイズを取得しない場合には、処理可能なレイヤ候補のうち全てのレイヤを除かずに残しておく。

残ったレイヤ候補の中から、パケット分析部１１から入力されたパラメータのパケット損失率に基づき最適なレイヤを推定し、推定された該最適レイヤ(推定最適レイヤ)をデコーダ１に出力する（ステップ１０２）。

品質制御部１２と接続されるデコーダ１は、品質制御部１２によって、最適だと判定され、出力された推定最適レイヤに基づきデコードする（ステップ１０３）。

これにより、一連の映像品質制御処理を終了する。

このように本実施の形態では、パケット分析部１１で取得した、ビットレート、フレームサイズ、及びパケット損失率からなるパラメータと、品質制御部１２で取得した、画面サイズ及び処理性能からなる端末情報とに基づいて品質制御部１２が最適だと判定したレイヤでデコードを行うことができる。したがって、ネットワーク及び受信端末環境を考慮して映像品質を制御することができ、様々な利用状況下においても、その状況に適した映像品質でサービスをユーザに提供できる。

また、本実施の形態では、端末の処理性能とレイヤ毎のビットレートを参照することにより、端末の処理性能では処理しきれないような高いビットレートのレイヤを除くことができる。これにより、処理性能不足による映像のコマとびや停止を防ぐことができ、端末処理性能に合ったレイヤを選択することができる。また、レイヤ毎のフレームサイズ及び端末の画面サイズを用いることにより、端末で表現可能な最大の解像度のレイヤを自動的に選択し、再生することができる。

例えば、ユーザが状況に応じて、異なる複数の受信端末を使い分けて、映像配信サービスを利用する場合においても、本実施の形態の映像品質制御装置１０を用いれば、ユーザは映像品質を端末ごとに設定する必要なく、自動的に最適だと推定される映像品質で単一の端末で視聴できる。また、ユーザが無線通信を介して映像配信サービスを利用中に、干渉などの影響により、パケット損失率が上昇した場合、本実施の形態の映像品質制御装置１０を用いれば、映像品質を下げることで、再生を止めることなく視聴し続けることができる。パケット損失率が低下した場合には、映像品質を再び上げることができる。

［第２の実施の形態］
図３は、本発明の第２の実施の形態における映像品質制御装置の構成の一例を示す。図３に示すように映像品質制御装置２０は、パケット分析部２１、品質制御部２２、利用レイヤ記憶部２３から構成されている。同図の構成は、図1の構成に、品質制御部２１で選択されたレイヤの履歴情報を格納するレイヤ記憶部２３が付加されている。また、品質制御部２２には、外部装置としてデコーダ１が接続されている。

パケット分析部２１は、前述の第1の実施の形態と同様の処理を行うため、その説明を省略する。

品質制御部２２は、パケット分析部２１が出力したパラメータのうち指定されたパラメータと、端末情報のうち指定された情報と、利用レイヤ記憶部２３が出力する利用レイヤ履歴とに基づいて、ネットワーク及び端末環境に適したレイヤを推定し、利用レイヤ記憶部２３に出力する。

利用レイヤ記憶部２３は、品質制御部２２が出力したレイヤ情報を記憶する。具体的には、時刻情報とレイヤを識別する識別子を格納する。各レイヤの識別子はサーバで割り当てられている。

上記の、品質制御部２２による最適レイヤの推定手順の具体例を示す。

当該最適レイヤ推定手順において、（1）から（３）までは、第1の実施の形態の最適レイヤ推定手順と同様であるため、その説明を省略する。

（４）パケット分析部１１から取得した過去t秒間のパケット損失率が0%であったとき、上記手順（３）で残ったレイヤ候補のうち、ビットレートが最大のレイヤを最適と判定し選択する。選択方法については、前述の第1の実施の形態と同様である。

本実施の形態では、上記の処理に加えて、最適と判定されたレイヤの情報として、当該ビットレートと時刻情報を利用レイヤ履歴記憶部２３に格納する。

（５）品質制御部２２は、利用レイヤ記憶部２３を参照し、手順４）で選択されたレイヤのビットレートを比較する。

（５−１）利用レイヤ記憶部２３に、利用レイヤが記憶されていない場合（初期の状態で、過去に利用したレイヤが記憶されていない状態）、または、パケット損失率を用いて選択されたレイヤが、利用レイヤ記憶部２３に記憶された現在利用しているレイヤのビットレート以下である場合は、４）の手順で選択されたレイヤを利用レイヤ記憶部２３に格納すると共にデコーダ１に出力する。

（５−２）前述の最適レイヤ推定手順の（４）で選択されたレイヤのビットレートが、利用レイヤ記憶部２３に記憶された現在利用しているレイヤのビットレートより高い場合は、該現在利用しているレイヤより一段階高いビットレートのレイヤを、前述のフレームサイズを用いた最適レイヤ推定手順（４）で残されたレイヤ候補の中から選ぶ。ただし、前述のフレームサイズを用いた最適レイヤ推定手順の（３）で一段階高いビットレートが残っていなかった場合、現在利用しているレイヤを継続して利用する。一段階高いビットレートのレイヤが存在し、それを選んだ場合には、取得した利用レイヤ履歴から過去u秒間に利用レイヤが変更されたか判定し、変更されている場合、映像品質が頻繁に変わることを避けるために、現在利用しているレイヤを出力する。過去u秒間に利用レイヤが変更されていない場合、上記最適レイヤ推定手順で選択された現在の利用レイヤより一段階高いビットレートのレイヤを出力する。ここで、uの値はサービス提供者が決めてよい。

次に、図４を参照して映像品質制御装置の動作の例について説明する。図４は本発明の第２の実施の形態における映像品質制御装置の映像品質の推定のフローチャートである。

映像品質制御装置２０は、パケット分析部が出力した情報の入力に応じて、図４の映像品質制御処理を開始する。

まず、パケット分析部２１は、受信したパケットを分析し、ビットレートとフレームサイズとパケット損失情報とからなるパラメータを抽出し、品質制御部２２に出力する（ステップ２００）。具体的なビットレート及びフレームサイズの抽出方法は、第1の実施の形態と同様である。

品質制御部２２は、端末情報として端末の画面サイズと処理能力とを取得する（ステップ２０１）。

次に、品質制御部２２では、まず取得した前記端末処理能力とパケット分析部２１から入力されたパラメータであるビットレートをそれぞれ端末の処理性能とビットレートのクラスに対応付け，対応付けられた端末の処理性能のクラスとビットレートのクラスの値に基づき，処理可能なビットレートに対応するレイヤを選び、該処理可能なレイヤ候補の中から、パケット分析部２１から入力されたパラメータのフレームサイズと取得した前記端末の画面サイズとに基づいて、不適切なフレームサイズに対応するレイヤを除く。さらに、残ったレイヤ候補の中から、パケット分析部２１から入力されたパラメータのパケット損失率に基づき最適なレイヤを推定し、推定された該最適レイヤ(推定最適レイヤ)を利用レイヤ記憶部２３及びデコーダ１に出力する（ステップ２０２）。

品質制御部２２は、ステップ２０２で推定された最適レイヤの情報を利用レイヤ記憶部２３に格納する（ステップ２０３）。ただし、ステップ２０２において、過去に利用した利用レイヤ（過去u秒間の利用レイヤ）が利用レイヤ記憶部２３に記憶されている場合には、利用レイヤ履歴を取得し（ステップ２０４）、前記パラメータと、前記端末情報と、前記利用レイヤ履歴とに基づいて最適なレイヤの推定を行い、当該最適なレイヤの情報（ビットレート）を利用レイヤ記憶部２３に格納するとともに、デコーダ１に出力する。デコーダ１は、品質制御部２２によって、最適だと判定され、出力された推定最適レイヤに基づきデコードする（ステップ２０５）。

これにより、一連の映像品質制御処理を終了する。

本実施の形態では、利用レイヤ記憶部２３を備えている点で、第1の実施の形態の映像品質制御装置１０と異なる。利用レイヤ記憶部２３を備えることで、利用したレイヤの履歴を参照することができ、頻繁に映像品質が変化することを防止できる。具体的には、不安定なネットワーク環境で、パケット損失率が急激に変化する場合においても、利用レイヤ履歴に基づき、過去の品質変化を参照することにより、映像品質の急激な変化を抑える品質制御が行える。これにより、映像品質の急激な変化によりユーザが感じるストレスを軽減できる。

［第３の実施の形態］
図５は、本発明の第３の実施の形態における映像品質制御装置の構成例を示す。

図５に示すように映像品質制御装置３０は、パケット分析部３１、品質制御部３２、利用レイヤ記憶部３３、ネットワーク監視部３４から構成されている。品質制御部３２には、外部装置としてデコーダ１が接続されている。

第２の実施の形態の図４に示す映像品質制御装置と異なる点は、ネットワーク監視部３４が付加されている点である。それに伴って、ネットワーク監視部３４は、パケット情報のみならず、利用レイヤ記憶部３３から取得した利用レイヤ履歴に基づいてネットワークが安定している正常な状態かどうかを示すネットワーク状態情報を品質制御部３２に出力する。品質制御部３２は、パケット分析部３１から取得するパラメータや端末から取得する端末情報に加えて、ネットワーク監視部３４からネットワーク状態情報を取得する。

パケット分析部３１は、前述の第１、第２の実施の形態と同様であるので、その説明を省略する。

品質制御部３２は、パケット分析部３１から入力された3種類のパラメータと、予め登録された、または、端末から取得した端末情報と、利用レイヤ記憶部３３から読み出した利用レイヤ履歴と、ネットワーク監視部３４から取得したネットワーク状態情報に基づいて、ネットワーク及び受信する端末の環境に適したレイヤを推定し、出力する。

利用レイヤ記憶部３３は、第２の実施の形態と同様に、品質制御部３２が出力した推定最適レイヤを記憶しており、その利用レイヤ履歴を品質制御部３２及びネットワーク監視部３４に入力する。

ネットワーク監視部３４は、受信したパケットと、利用レイヤ記憶部３３から入力される利用レイヤ履歴とに基づいて、ネットワークの状態を推定し、ネットワーク状態情報を品質制御部３２に入力する。

上記のネットワーク監視部３４におけるネットワーク状態の推定方法の具体例を示す。

まず、まだデコードが実行されておらず、利用レイヤ履歴がない場合には、正常を示すネットワーク状態情報を品質制御部３２に出力する。現在サーバから受信しているレイヤのパケット損失率を算出する。

ネットワーク監視部３４が算出したパケット損失率が0%より大きい場合、正常でないことを示すネットワーク状態情報を出力する。ネットワーク監視部３４が算出したパケット損失率が0%である場合、利用レイヤ履歴により、過去v秒間に利用レイヤがビットレートが低下するように2回以上変更されていなければ、正常と判断し、それを示すネットワーク状態情報を出力する。過去v秒間に利用レイヤがビットレートが低下するように2回以上変更されている場合には、正常でないと判断し、それを示す情報を出力する。ただし、vの値はサービス提供者が決めてよい。

上記の品質制御部３２による具体的な最適レイヤの推定について説明する。

利用レイヤ記憶部３３に利用レイヤが記憶されていない場合、または、パケット損失率を用いて選択されたレイヤが、現在利用しているレイヤのビットレート以下である場合には、第２の実施の形態における品質制御部２２と同様に最適レイヤ推定のアルゴリズムにより、端末の処理能力及びビットレートそれぞれに対応する端末の処理性能及びビットレートのクラスに基づき、処理可能なレイヤ候補を抽出し、予め取得しておいた端末情報（画面サイズ及びフレームサイズ）に基づき、適したレイヤ候補を選択し、さらにその中から、パケット損失率に基づき、端末の処理性能及びビットレートに適したレイヤを選択する。

本実施の形態では、前述の手順により選択されたレイヤ候補のビットレートが、現在利用しているビットレートのレイヤより高い場合を想定している。この場合、品質制御部３２は、ネットワーク監視部３４から入力されるネットワーク状態情報を用いて推定を行う。

その推定方法は、ネットワーク状態情報が正常な場合、前述の最適レイヤ推定手順により選択されたレイヤを最適と推定し、出力する。

ネットワーク状態情報が正常でない場合、第２の実施の形態のアルゴリズムと同様に、利用レイヤ履歴により、現在利用しているレイヤ、または一段階高いビットレートのレイヤを推定最適レイヤとして出力する。

以下に、本実施の形態における映像品質推定処理について説明する。

図６は、本発明の第３の実施の形態における映像品質制御装置の映像品質推定のフローチャートである。

まず、パケット分析部３１は、受信したパケットを分析し、ビットレートとフレームサイズとパケット損失情報とからなるパラメータを抽出し、パケット分析部２１の出力として、品質制御部３２に入力する（ステップ３００）。具体的なビットレート及びフレームサイズの抽出方法は、第1、第２の実施の形態と同様である。

品質制御部３２は、端末情報として受信する端末の画面サイズと処理能力とを取得する（ステップ３０１）。

ネットワーク監視部３４では、ネットワークから受信したパケットのパケット損失率を計算し、その値が０％でない場合は品質制御部３２に異常があることを通知し、０％である場合は、利用レイヤ記憶部３３から読み出した利用レイヤ履歴に基づいて、ネットワークの状態を推定し、ネットワーク状態情報を品質制御部３２に出力する（ステップ３０２）。

品質制御部３２では、前述の最適レイヤ推定手順によって、まず取得した端末情報の端末処理能力とパケット分析部３１から入力されたパラメータであるビットレートをそれぞれ端末の処理性能とビットレートのクラスに対応付ける。なお、本実施の形態においても、予め、端末の処理性能をn段階に分類し、性能の低いクラスから順に1からnの番号を割り当て、同様に、ビットレートもn段階に分類し、ビットレートの低いクラスから順に1からnの番号を割り当て、処理性能クラス及びビットレートクラスとしてメモリ（図示せず）に格納しておき、品質制御部３２では、メモリ（図示せず）の処理性能クラス及びビットレートクラスを参照して対応するクラスの値を取得する。対応付けられた端末の処理性能のクラスとビットレートのクラスの値に基づき、処理可能なビットレートに対応するレイヤを選び、該処理可能なレイヤの中から、パケット分析部３１から入力されたパラメータのフレームサイズと取得した端末情報の画面サイズとに基づいて、レイヤ候補から不適切なフレームサイズに対応するレイヤを除く。さらに、残ったレイヤ候補の中から、パケット分析部３１から入力されたパラメータのパケット損失率及び、ネットワーク監視部３４から取得したネットワークの状態が正常かどうかを示すネットワーク状態情報によって最適なレイヤを推定する。ネットワーク監視部３４からネットワーク状態情報として、異常が通知された場合は、利用レイヤ記憶部３３から利用レイヤ履歴を読み込み、第２の実施の形態の最適レイヤ推定手順の５）と同様の方法で推定最適レイヤを推定し、デコーダ１に出力する（ステップ３０３）。

品質制御部３２は、推定最適レイヤを利用レイヤ記憶部３３に格納する（ステップ３０４）。ただし、ステップ３０２において、過去に利用した利用レイヤが記憶されている場合には、利用レイヤ履歴を取得し（ステップ３０５）、前記パラメータと、前記端末情報と、前記利用レイヤ履歴と、前記ネットワーク状態情報に基づいて最適なレイヤの推定を行う。

デコーダ１は、品質制御部３２によって、最適だと判定され、出力された推定最適レイヤに基づきデコードする（ステップ３０６）。

これにより、一連の映像品質制御処理を終了する。

本実施の形態では、ネットワーク監視部３４を備えている点で、第２の実施の形態の映像品質制御装置と異なる。ネットワーク監視部３４により、定常的にパケット損失が起きない場合であるかを推定することができる。

第２の実施の形態では、品質の変化を抑えることができる一方、端末要因などにより、瞬間的に、継続的でないパケット損失が発生した場合には、映像品質の回復に時間を要するが、本実施の形態においては、ネットワーク監視部３４でネットワークの状態を調べることで、速やかに適した映像品質が提供できる。

なお、上記の第１〜第３の実施の形態における図１，３，５に示す映像品質制御装置の各構成要素の動作をプログラムとして構築し、映像品質制御装置として利用される端末、コンピュータ等にインストールして実行させる、または、ネットワークを介して流通させることが可能である。

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

１ デコーダ
１０，２０，３０ 映像品質制御装置
１１，２１，３１ パケット分析部
１２，２２，３２ 品質制御装置
２３，３３ 利用レイヤ記憶部
３４ ネットワーク監視部

Claims (7)

1. ネットワークを経由して行われる映像通信サービスの映像品質を制御する映像品質制御装置であって、
   受信したパケットのパケット情報に基づきパケット損失情報を含む映像品質制御に関連するパラメータを出力するパケット分析手段と、
   予め登録されている、または、取得した端末情報を参照して、前記パケット損失情報に応じて前記ネットワーク及び端末環境に適した映像品質情報を出力する品質制御手段と、
   を備えることを特徴とする映像品質制御装置。
2. 前記端末情報は、
   利用端末の処理性能と利用端末の画面サイズの少なくともいずれか一方を含み、
   前記パラメータは、
   前記パケット損失情報に加え、階層符号化された映像ビットストリームのレイヤ毎のビットレートとレイヤ毎のフレームサイズの少なくとも一つを含み、
   前記品質制御手段は、
   前記端末情報の処理性能と前記レイヤ毎のビットレートを比較する手段、
   前記端末情報の前記画面サイズ前記レイヤ毎のフレームサイズを比較する手段、
   のいずれかまたは両方を含む
   請求項１記載の映像品質制御装置。
3. 前記品質制御手段から出力された現在利用されている階層符号化されたビットストリームのレイヤを格納する利用レイヤ記憶手段を有し、
   前記品質制御手段は、
   前記パケット損失率が所定の期間内で所定の値より大きく変化する場合には、前記パラメータ及び前記端末情報に加えて、前記利用レイヤ記憶手段から過去に利用したレイヤの履歴である利用レイヤ履歴を参照して、現在利用しているレイヤ、または、一段階高いビットレートのレイヤを決定し、前記映像品質情報として出力する手段を含む
   請求項１または２記載の映像品質制御装置。
4. ネットワークの状態を監視し、ネットワーク状態情報を出力する、ネットワーク監視手段を更に有し、
   前記品質制御手段は、
   前記ネットワーク監視手段から取得した前記ネットワーク状態情報が正常を示す場合は、前記映像品質情報を最適として出力し、異常を示す場合は、前記利用レイヤ記憶手段を参照して、現在利用しているレイヤ、または、一段階高いビットレートのレイヤを決定する手段を含む
   請求項３記載の映像品質制御装置。
5. ネットワークを経由して行われる映像通信サービスの映像品質を制御する映像品質制御方法であって、
   パケット分析手段及び品質制御手段を有する装置において、
   前記パケット分析手段が、受信したパケットのパケット情報に基づきパケット損失情報を含む映像品質制御に関連するパラメータを出力するパケット分析ステップと、
   前記品質制御手段が、予め登録されている、または、取得した端末情報を参照して、前記パケット損失情報に応じて前記ネットワーク及び端末環境に適した映像品質情報を出力する品質制御ステップと、
   を行うことを特徴とする映像品質制御方法。
6. 前記端末情報は、
   利用端末の処理性能と利用端末の画面サイズの少なくともいずれか一方を含み、
   前記パラメータは、
   前記パケット損失情報に加え、階層符号化された映像ビットストリームのレイヤ毎のビットレートとレイヤ毎のフレームサイズの少なくとも一つを含み、
   前記品質制御ステップにおいて、
   前記端末情報の処理性能と前記レイヤ毎のビットレートを比較するステップ、
   前記端末情報の前記画面サイズ前記レイヤ毎のフレームサイズを比較するステップ、
   のいずれかまたは両方を行う
   請求項５記載の映像品質制御方法。
7. コンピュータを、
   請求項１乃至４のいずれか１項に記載の映像品質制御装置の各手段として機能させるための映像品質制御プログラム。

Images