JP2010063004A - 映像データ送信装置、映像配信システム、映像品質評価方法及びプログラム - Google Patents

Abstract

【課題】受信側から得られる限られた情報で映像品質測定の実現。
【解決手段】パケット化した映像データを送信するにあたり、各パケットに映像データのどの部分を入れて送信したかを示す送信状態情報を生成しておき、前記送信状態情報と、映像データの受信側から送信されたパケットの受信状況を含むネットワーク状態情報と、に基づいて、送信した映像データのうち受信側で劣化していると推定される劣化部分を推定し、前記劣化部分に基づいて、画質劣化度を算出する。
【選択図】図１

Description

本発明は、映像データ送信装置、映像配信システム及び受信側での映像品質の評価を行う映像品質評価方法及びプログラムに関する。

インターネットなど通信網の広帯域化によって、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワーク上での映像配信サービスの利用が一般化しつつある。しかし、ＩＰネットワークにおいてはパケットロスの発生は不可避であるため、パケットロスにより伝送した映像データが欠損し、ユーザ端末上で表示される映像が乱れたり、表示そのものが止まってしまうなどサービス品質を大きく損なうことがありうる。

そこで、ユーザ端末上での品質を管理する方法として、端末上でネットワーク状態を測定し、ネットワーク状態から映像品質を推定する手法が各種提案されている。

上記のようにネットワークで映像を配信する場合、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−２やＨ．２６４などの高能率圧縮符号化された映像データが用いられる。この場合、フレーム間予測を用いずフレーム内で符号化処理を行うＩ（Ｉｎｔｒａ Ｐｉｃｔｕｒｅ）フレーム、動き補償予測を使い過去から現在を予測し符号化処理を行うＰ（Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）フレーム、双方向予測を使い順方向および逆方向予測し符号化処理を行うＢ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）フレームという３種類のフレームにより映像信号が符号化される。

このとき、例えば、ネットワークでパケット損失が生じると、ユーザ端末での復号に際し前後のフレーム情報を使うことから、１パケットの損失による映像品質の劣化が１映像フレームにとどまらず、複数の映像フレームに及ぶことがある。このような場合、次の映像フレームではパケット損失が生じていないにも拘わらず、復号された映像では品質劣化が生じており、ネットワーク上のパケット損失の発生状況（ネットワーク品質）と映像の品質劣化の発生状況とは必ずしも一致しない。どの部分のデータを含むパケットが欠落したかによって、品質に大きな差があるため、品質測定の精度が十分ではないという問題がある。

そこで、特許文献１では、端末上でネットワーク品質情報に加え、映像データの復号処理の際にメディア特徴量を抽出し、映像劣化の種別や程度を考慮することでより高精度に映像品質を推定する方法が提案されている。

また、特許文献２には、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報と、を取得する品質情報取得部と、送信側品質情報及び受信品質情報に基づいてメディア用パケットで送受信した各フレームのうちメディア用パケットの損失による影響を受けた無効フレームの割合（無効フレーム率）を算出する品質解析部と、この無効フレーム率に対応する体感品質値を導出するユーザ体感品質推定部とを備えたユーザ体感品質推定装置が開示されている。なお、上記送信側品質情報に含まれる品質情報としては、各送信メディア用パケットに関する送信順序を示すシーケンス番号、映像フレーム種別、映像フレーム番号、送信パケット数及び送信フレーム数があるとされている。

また、特許文献３には、番組コンテンツを分割記録し、それぞれの部分に特定可能な見出しを付け、編集等に用いる番組編集システムが開示されている。

特開２００７−１９８０２号公報 特開２００７−１３５０４０号公報 特開２００５−２５２５１６号公報

特許文献１の方法では、高精度な品質測定を行うためにメディア特徴量を抽出し映像品質を推定する機能を端末側に搭載する必要がある。実サービスにおいて映像配信サービスを受ける端末すべてにこのような品質測定機能を搭載することは難しい。また、メディア特徴量を抽出し、映像品質を推定するという比較的複雑な処理を端末上で行う必要があり、モバイル端末など計算資源の少ない端末では品質測定にかかる負荷を軽視することはできない。

また、特許文献２のユーザ体感品質推定装置は、受信アプリケーション端末から受信品質情報を取得し、この受信品質情報をもって無効パケットであるか否かを判定していることから明らかなように、受信側に配置されることを前提とした構成である。更に、特許文献２のユーザ体感品質推定装置は、送信側アプリケーション端末から送信側品質情報が送信されていることが条件となっている。

本発明は、上記した背景技術の分析の結果に基づいてなされたものであって、送信側で、受信側から得られる限られた情報で受信側の映像品質測定を行うことのできる映像データ送信装置、映像配信システム、映像品質評価方法及びプログラムを提供することを目的とする。

本発明の第１の視点によれば、パケット化した映像データを送信するとともに、各パケットに映像データのどの部分を入れて送信したかを示す送信状態情報を生成する映像データ送信部と、前記送信状態情報と、映像データの受信側から送信されたパケットの受信状況を含むネットワーク状態情報と、に基づいて、送信した映像データのうち受信側で劣化していると推定される劣化部分を推定する劣化部分推定部と、前記劣化部分に基づいて、画質劣化度を算出する映像品質推定部と、を備えた映像データ送信装置が提供される。

本発明の第２の視点によれば、上記した映像データ送信装置と、前記映像データ送信装置からパケットを受信した際に、前記受信品質情報を送信する映像データ受信装置と、を含む映像配信システムが提供される。

本発明の第３の視点によれば、パケット化した映像データを送信するにあたり、各パケットに映像データのどの部分を入れて送信したかを示す送信状態情報を生成しておき、前記送信状態情報と、映像データの受信側から送信されたパケットの受信状況を含むネットワーク状態情報と、に基づいて、送信した映像データのうち受信側で劣化していると推定される劣化部分を推定し、前記劣化部分に基づいて、画質劣化度を算出する映像品質評価方法が提供される。

本発明の第４の視点によれば、コンピュータを上記した映像データ送信装置として機能させるためのプログラムが提供される。このプログラムは、パケット化した映像データを送信するにあたり、各パケットに映像データのどの部分を入れて送信したかを示す送信状態情報を生成する処理と、前記送信状態情報と、映像データの受信側から受信したパケットの受信状況を含むネットワーク状態情報と、に基づいて、送信した映像データのうち受信側で劣化していると推定される劣化部分を推定する処理と、前記劣化部分に基づいて、画質劣化度を算出する処理と、をコンピュータに実行させる。

本発明によれば、映像受信側でなく、映像データの送信側で、受信側における映像データの劣化状況を精度良く見積もることが可能になる。その理由は、送信側で、各パケットに映像データのどの部分を入れて送信したかを示す送信状態情報を記録しておき、受信側から送られたネットワーク状態情報と、照らし合わせることで劣化部分を推定できるよう構成したことにある。

［発明の概要］
はじめに本発明の概要を説明する。図１は、本発明に係る映像データ装置の構成を模式的に表した図である。図１を参照すると、映像データ送信部１２と、劣化部分推定部１５と、映像品質推定部１６とを備えた映像データ送信装置１０と、映像データ送信装置１０から映像データパケットを受信し、映像データ送信装置１０に対してネットワーク状態情報を送信する映像データ受信装置２０が示されている。

映像データ送信部１２は、映像データ受信装置２０から要求されたコンテンツの映像データをパケット化し、映像データ受信装置２０に対して送信するとともに、映像データをパケット化する際に各パケットに映像データのどの部分を入れて送信したかの対応関係を示す送信状態情報を生成し、劣化部分推定部１５に出力する。

劣化部分推定部１５は、映像データ受信装置２０から受信したネットワーク状態情報及び映像データ送信部１２から出力された送信状態情報から映像受信端末でパケットが受信できず映像データが欠損したもしくは欠損した可能性の高い部分を特定し、欠損した映像データの位置を劣化部分情報として生成し、映像品質推定部へ渡す。前記ネットワーク状態情報としては、受信側で受信できなかったパケットの情報やパケットロス率等を含めることができる。

なお、後記するように、受信側からネットワーク状態情報を受信するネットワーク状態情報受信部を設けることもできる。

映像品質推定部１６は、劣化部分推定部１５から出力された劣化部分情報をもとに映像データ受信装置２０における画質劣化度を算出する。また、必要に応じて、前記劣化部分情報と、映像データ送信装置１０で保持している映像データとを分析し、詳細に画質劣化度を求めるようにしてもよい。

［第１の実施形態］
次に、本発明の第１の実施形態について図面を参照して詳細に説明する。図２は、本発明の第１の実施形態の構成を表した図である。映像受信端末は、映像データ受信装置に相当する。

図１を参照すると、本発明の実施の形態は映像配信サーバ１１０、ＩＰネットワーク１２０、映像受信端末１３０から構成され、映像配信サーバ１１０、映像受信端末１３０はＩＰネットワーク１２０により相互に接続される。

映像配信サーバ１１０、映像受信端末１３０の各装置はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や主メモリ、出力装置、入力装置、外部記憶装置等を有し、光ディスク駆動装置等を介して、ＣＤ−ＲＯＭ等の記録媒体に記録されたプログラムやデータを外部記憶装置内にインストールした後、この外部記憶装置から主メモリに読み込みＣＰＵで処理することにより、各機能部の処理を実行することを可能とするコンピュータ構成を想定する。ただし、いずれかの機能をハードウェア的に実現したものなど、同等の機能を有するものであれば、この構成に限らない。

映像配信サーバ１１０は映像受信端末１３０から要求された映像データを、映像受信端末１３０へ送信する装置であり、上述した映像データ送信装置に相当する。

映像配信サーバ１１０は、映像データ蓄積部１１１、映像データ送信部１１２、送信状態情報蓄積部１１３、ネットワーク状態情報受信部１１４、劣化部分推定部１１５、映像品質推定部１１６及び映像品質情報出力部１１７を備えて構成される。

映像データ蓄積部１１１には、圧縮符号化された映像データが予め蓄積されている。

映像データ送信部１１２は、ＲＴＳＰ（Ｒｅａｌ Ｔｉｍｅ Ｓｔｒｅａｍｉｎｇ Ｐｒｏｔｏｃｏｌ）等のプロトコルを用いてコンテンツ配信の制御を行うとともに、映像受信端末１３０から要求された映像データを映像データ蓄積部１１１から取得し、ＲＴＰ（Ｒｅａｌｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）等のプロトコルに基づきＩＰパケット化した上で、映像受信端末１３０へ送信する（図３参照）。

また、各映像データをパケット化する際に、映像データ送信部１１２は、各ＩＰパケットに映像データのどの部分を入れて送信したかを特定可能な情報として送信状態情報を生成し、送信状態情報蓄積部１１３へ保存する。

送信状態情報蓄積部１１３は映像データ送信部１１２により生成された送信状態情報を蓄積する。

送信状態情報は、例えば、図４に示されるようなＲＴＰシーケンス番号と、各ＲＴＰパケットに入れて送信された映像データの位置情報（映像データ位置）の組を記録して構成される。

図４の映像データ位置の数値は、図３に示したように映像データが予めＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）パケット化されている場合で、各ＴＳパケットに映像データ先頭から振られた番号を表している。その他に、映像データ先頭からのバイト数などによって位置情報を表しても良い。また、図４の送信状態情報には、映像データの送信先を特定可能なユーザＩＤや送信した映像データを特定可能なＩＤ（コンテンツＩＤ）及び各ＲＴＰパケットの送信時刻などの付随情報が含まれている。

ネットワーク状態情報受信部１１４は、映像受信端末１３０からＲＴＣＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）等のプロトコルによって送信されるネットワーク状態情報を受信し、劣化部分推定部１１５へ渡す。

ネットワーク状態情報には、例えば、映像受信端末１３０で受信できなかったＲＴＰパケットのシーケンス番号や、パケットロス率等のネットワーク統計情報が含まれる。

劣化部分推定部１１５は、ネットワーク状態情報受信部１１４から引き渡されたネットワーク状態情報と送信状態情報蓄積部１１３に保存されている送信状態情報をもとに、パケットロスなどにより映像データが欠落した、もしくは、欠落した可能性の高い部分を特定し映像データ内での位置を示す劣化部分情報を生成し、映像品質推定部１１６へ通知する。

映像品質推定部１１６は、劣化部分推定部１１５から通知された劣化部分情報を元に、映像データ蓄積部１１１から劣化部分および必要に応じて劣化部分の前後の映像データを取得し、劣化部分情報で示される映像データが欠落した場合、どのような映像劣化が発生するかを分析することで、映像品質を推定し、映像の劣化の度合いを示す映像劣化度を算出し、映像品質情報出力部１１７へ渡す。

映像品質情報出力部１１７は、映像品質推定部１１６により算出された映像劣化度をディスプレイ等の表示装置に表示する。もしくはデータベース等へこの映像劣化度を含む映像品質情報を蓄積する。

映像受信端末１３０は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）もしくは専用のＳＴＢ（Ｓｅｔ Ｔｏｐ Ｂｏｘ）として提供される通信端末であり、上述した映像データ受信装置に相当する。映像受信端末１３０は、ユーザの操作により、ユーザの所望するコンテンツの映像データをＩＰネットワーク１２０を介して映像配信サーバ１１０から取得し、復号処理を行って映像を生成し、生成された映像をディスプレイ等の出力装置に表示する。

映像受信端末１３０は、映像データ受信部１３１、復号処理部１３２、ネットワーク状態情報生成部１３３及びネットワーク状態情報送信部１３４を備えて構成される。

映像データ受信部１３１は、映像配信サーバ１１０からＲＴＰパケット化された映像データを受信し、受信したＲＴＰパケットから映像データを取り出して、復号処理部１３２へ渡す。

復号処理部１３２は、映像データ受信部１３１から映像データを受け取り、復号処理を行って画像を生成し、出力装置に渡す。

ネットワーク状態情報生成部１３３は、映像データ受信部１３１でパケットを受信した際にＲＴＰシーケンス番号をチェックし、番号が連続していない場合、欠落パケットとして検出したり、受信状態からパケットロス率やジッタなど各種ネットワーク統計情報を計算しネットワーク状態情報を生成しネットワーク状態情報送信部１３４へ渡す。

ネットワーク状態情報送信部１３４は、ネットワーク状態情報生成部１３３によって生成されたネットワーク状態情報をＲＴＣＰなどのプロトコルに基づき、パケット化し、映像配信サーバ１１０へ送信する。

続いて、本実施形態の動作について図面を参照して詳細に説明する。図５は、本発明の第１の実施形態の動作を表した図である。

図５を参照すると、まず、映像受信端末１３０はＲＴＳＰを用いて映像配信サーバ１１０に映像データを要求するとともに、映像データの受信を開始する（ステップＳ１）。

映像受信端末から映像データの要求を受けると、映像配信サーバ１１０の映像データ送信部１１２が映像データの送信を開始し（ステップＳ２）、ネットワーク状態情報受信部１１４がネットワーク状態情報の受信を開始する（ステップＳ３）。

映像データ送信部１１２は要求されたコンテンツの映像データを映像データ蓄積部１１１から取得しＲＴＰパケット化し、映像受信端末１３０へ送信をすると同時に、各ＲＴＰパケットに映像データのどの部分を入れて送信したかの対応関係を送信状態情報として、送信状態情報蓄積部１１３へ保存する（ステップＳ４）。

図３は、映像データがＴＳパケット化されて映像データ蓄積部１１１に蓄積されている場合のＲＴＰパケットの構成を表している。図３を参照すると、映像データ送信部１１２がＴＳパケットの１番目から５番目（符号５１１）をＲＴＰシーケンス番号１のＲＴＰパケット５０１に、ＴＳパケットの６番目から１０番目（符号５１２）がＲＴＰシーケンス番号２のＲＴＰパケット５０２に、ＴＳパケットの１１番目から１５番目（符号５１３）がＲＴＰシーケンス番号３のＲＴＰパケット５０３に、ＴＳパケットの１６番目から２０番目（符号５１４）がＲＴＰシーケンス番号４のＲＴＰパケット５０４にそれぞれ格納されている。

映像データ送信部１１２は、図３のようにＲＴＰパケットを送信した場合、図４に示されるように、各ＲＴＰパケットのシーケンス番号とＴＳパケットの映像データ先頭からの番号の範囲の組を各ＲＴＰパケットの送信時刻とともに送信状態情報として送信状態情報蓄積部１１３へ保存する。

映像データ送信部１１２は映像データの終端（コンテンツの終了）を検出するまで、ステップＳ４の映像データの送信と送信状態情報の生成、保存を継続する（ステップＳ５のＮｏ）。なお、映像データの終端まで映像データの送信を行うと、映像データ送信部１１２は、処理を終了する（ステップＳ５のＹｅｓ）。

前記映像データの送信と送信状態情報の生成、保存を継続されている間、映像受信端末１３０の映像データ受信部１３１は、受信したパケットから映像データを取り出し、復号処理部１３２へ渡す。

前記映像データ受信部１３１の動作と並行して、ネットワーク状態情報生成部１３３は受信したＲＴＰパケットのシーケンス番号を順次走査し、パケットロスがあったか否かを検査する（ステップＳ６）。前記検査の結果、ＲＴＰシーケンス番号に不連続があった場合（ステップＳ７のＹｅｓ）、ネットワーク状態情報生成部１３３は、そのパケットが欠落したものとみなして、ネットワーク状態情報を生成し、ネットワーク状態情報送信部１３４へ通知する（ステップＳ９）。

例えば、図３に示されるＲＴＰパケットが映像データ送信部１１２から送信され、図６に示されるＲＴＰパケットが映像受信端末１３０で受信されたものとする。このとき、映像データ受信部１３１はＲＴＰパケットからヘッダ部分を取り除き映像データを取り出して、これを復号処理部１３２へ引き渡すと同時に、ネットワーク状態情報生成部１３３はＲＴＰシーケンス番号を走査しパケットロスのチェックを行う。図６に示される例では、受信したＲＴＰパケットのシーケンス番号がＳｅｑ＝１、Ｓｅｑ＝２、Ｓｅｑ＝４でありＳｅｑ＝３のＲＴＰシーケンス番号のパケットが受信されていない。このとき、ネットワーク状態情報生成部１３３は、Ｓｅｑ＝３のＲＴＰパケットが欠落したとことをネットワーク状態情報として、ネットワーク状態情報送信部１３４へ通知する。

ネットワーク状態情報送信部１３４は、ネットワーク状態情報生成部１３３からネットワーク状態情報を受け取るとＲＴＣＰ等のプロトコルを用いてパケット化し、映像配信サーバ１１０へネットワーク状態情報を送信する（ステップＳ１０）。

一方、ＲＴＰシーケンス番号に不連続が無かった場合で（ステップＳ７のＮｏ）、かつ、新たに受信したパケットがある場合（ステップＳ８のＮｏ）、ネットワーク状態情報生成部１３３はパケットの検査を続ける。ただし、ＲＴＰシーケンス番号に不連続が無かった場合も、ネットワーク状態情報生成部１３３はネットワーク統計情報等をネットワーク状態情報として生成し、送信するものとしてもよい。

映像データを終端まで受信し終わった場合（ステップＳ８のＹｅｓ）は、映像受信端末１３０はすべての映像データの受信を完了したことを映像配信サーバ１１０へ通知し処理を終了する（ステップＳ１１）。

ネットワーク状態情報受信部１１４はネットワーク状態情報を受信すると、劣化部分推定部１１５に通知する（ステップＳ１２）。

劣化部分推定部１１５は、ネットワーク状態情報に含まれる映像受信端末１３０で受信できなかったＲＴＰパケットのシーケンス番号をもとに、送信状態情報蓄積部１１３から対応する映像データの位置情報を取得し、これを劣化部分情報として、映像品質推定部１１６へ引き渡す（ステップＳ１３）。

上記の例の場合、ネットワーク状態情報受信部１１４はシーケンス番号が３のＲＴＰパケットが欠落したというネットワーク状態情報を映像受信端末１３０から受信し、これを劣化部分推定部１１５へ通知する。

前記通知を受け取った劣化部分推定部１１５は、送信状態情報蓄積部１１３から図４に例示した送信状態情報を検索し、ＲＴＰシーケンス番号３のＲＴＰパケットにはＴＳパケットの１１番目から１５番目（＃１１〜＃１５）を入れて映像受信端末１３０へ送信したという情報を取得し、ＴＳパケットの１１番目から１５番目の映像データが欠損したという情報を劣化部分情報として映像品質推定部１１６へ引き渡す。

映像品質推定部１１６は、劣化部分推定部１１５から劣化部分情報を受け取ると、欠落した映像データ及び必要に応じて欠落した映像データの前後の映像データを映像データ蓄積部１１１から取得して解析し、映像データが欠落した場合に発生する映像劣化の度合いを映像劣化度として算出する（ステップＳ１４）。

例えば、映像劣化度を映像が連続して劣化したフレーム数と定義した場合を説明する。図３に例示したＲＴＰパケットを送信した場合において、図６に示すように、映像品質推定部１１６は劣化部分推定部１１５からＴＳパケットの１１番目から１５番目（符号５１３）のデータが欠落したという情報を受け取ると、映像データ蓄積部１１１からＴＳパケットの１１番目から１５番目（符号５１３）の映像データを取得し解析する。例えば、ＴＳパケットの１１番目から１５番目（符号５１３）の映像データにはフレーム＃２、フレーム＃３に相当する映像データが含まれており（符号５２３）、それぞれのピクチャタイプがＢであったことがわかる。Ｂピクチャのフレームは他のフレームから参照されることはないため、他フレームに映像の劣化が伝播することはなく、映像データが欠落したフレーム＃２、フレーム＃３の２つのフレームの映像が劣化する。よって、ここでは映像劣化度は２と算出される。

同様にして、例えばＲＴＰシーケンス番号１のＲＴＰパケット５０１が欠落した場合は、フレーム＃１、ピクチャタイプＩのフレームの映像データ（符号５２１）が欠落する。Ｉフレームが欠落した場合、このフレームを参照して復号する後続フレームすべてに映像の劣化が伝播する。図６の例ではフレーム＃２、フレーム＃３、フレーム＃４のフレームがフレーム＃１を参照して復号されるため映像劣化度は４と算出される。

映像品質推定部１１６は、以上のようにして求めた映像劣化度を映像品質情報出力部１１７へ引き渡す（ステップＳ１５）。

映像品質情報出力部１１７は映像劣化度をディスプレイ等の表示装置に表示する。

映像受信端末１３０からすべての映像データの受信が完了したことが通知されている場合（ステップＳ１６のＹｅｓ）、映像配信サーバ１１０は処理を終了する。映像データの受信が完了していない場合（ステップＳ１６のＮｏ）、映像配信サーバ１１０は、新たにネットワーク状態情報が受信されるのを待つ。

本実施形態ではＲＴＰ等のプロトコルを用いた具体的なシーケンスを示したが、異なるプロトコルを用いても同等の機能を実現するものであれば置き換えることが可能である。
また、劣化部分推定部１１５は、映像データのうち映像受信端末１３０で受信できなかった可能性の高い部分を特定するものとしてもよい。

また例えば、映像受信端末１３０は受信できなったＲＴＰシーケンス番号をネットワーク状態情報として映像配信サーバ１１０へ送信し、受信できなかったパケットの再送を映像配信サーバ１１０へ要求することもできる。この場合、再送したパケットが映像受信端末１３０で復号処理を行うまでに到達した場合は、映像の劣化が発生しない。

このとき、ステップＳ４において、ＲＴＰシーケンス番号と映像データ先頭からのＴＳパケット番号の範囲および送信時刻の組を送信状態情報として保存しておき、ステップＳ１３において劣化部分推定部１１５はＲＴＰシーケンス番号に対応する映像データの先頭からのＴＳパケット番号の範囲及び送信時刻の情報を送信状態情報蓄積部１１３から取得し、送信時刻、再送要求パケットの到着時刻、ネットワーク統計情報などを元に、再送が間に合ったか間に合わなかったかを推測し、間に合わなかった可能性が高い場合は、ＴＳパケットの番号の範囲を映像データが欠落した可能性が高い部分として特定する。

この際に欠落した可能性をパーセンテージなどによって算出しあわせて映像品質推定部１１６へ通知するものとしても良い。さらに、映像品質推定部は映像劣化度とともに、このパーセンテージを合わせて映像品質情報出力部１１７へ出力してもよい。

また、ステップＳ１４において映像品質推定部１１６は任意の映像品質推定方法を用いても良い。一例として、映像品質推定部１１６は劣化部分推定部１１５から通知された劣化部分情報によって示される映像データを映像データ蓄積部１１１から取得し、映像データに欠落が無かった場合、映像データが欠落した場合のそれぞれの映像データを復号処理し、ＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）を算出することにより映像劣化度を推定してもよい。

また、ステップＳ１４において映像品質推定部１１６は映像劣化度を、各映像フレーム毎に算出してもよいし、１つのパケットロスが複数のフレームにわたって映像の劣化を引き起こす場合、その一連の映像劣化に対して算出するものとしてもよい。

また、一定の時間間隔ごとに算出するものとしても良い。また、映像品質推定値は５段階評価など任意のスケールに変換し出力するものとしても良い。

以上、本発明の第１の実施形態を説明したが、図２の構成等はあくまで一例を示したものに過ぎず、各種の変更を加えることができる。例えば、図２の映像配信サーバの各部を、異なる装置上に分散して配置した構成でも、同等の機能を実現することができる。

図７は、上記第１の実施形態に変更を加えた例である。図７の映像配信サーバ１１０の構成は上記した第１の実施形態と同様である。図7の例では、映像配信サーバ１１０、ＩＰネットワーク１２０、ゲートウェイ装置２３０及び映像受信端末２４０から構成され、映像配信サーバ１１０、映像受信端末２４０はＩＰネットワーク１２０により相互に接続されるが、映像配信サーバ１１０と映像受信端末２４０の間にゲートウェイ装置２３０が配置される点、および、ネットワーク状態情報生成部２３２および、ネットワーク状態情報送信部２３３が映像受信端末２４０ではなくゲートウェイ装置２３０上に配置される点で図１に示される構成とは異なる。

ゲートウェイ装置２３０は映像配信サーバ１１０と映像受信端末２４０の間に置かれ、映像配信サーバ１１０と映像受信端末２４０間の通信を監視し、ネットワーク状態情報を生成し、映像配信サーバ１１０へ送信する。

ゲートウェイ装置２３０はパケット監視部２３１、ネットワーク状態情報生成部２３２及びネットワーク状態情報送信部２３３を有する。

パケット監視部２３１は、映像配信サーバ１１０と映像受信端末２４０間の通信を監視し、ＲＴＳＰパケットなどを検知することで映像配信が開始されたことを検知すると映像配信サーバ１１０から映像受信端末２４０へ送信されるＲＴＰパケットの監視を開始する。

ネットワーク状態情報生成部２３２は映像配信が開始されると、映像配信サーバ１１０と映像受信端末２４０の間を流れるＲＴＰパケットを検査し、ＲＴＰシーケンス番号に不連続が合った場合、パケットロスが発生したとみなし、欠落したＲＴＰパケット番号をネットワーク状態情報としてネットワーク状態情報送信部２３３へ通知する。

ネットワーク状態情報送信部２３３はネットワーク状態情報生成部２３２からネットワーク状態情報を受け取るとこれをＲＴＣＰなどのプロトコルにより映像配信サーバ１１０へ通知する。

図７に示される構成では、ゲートウェイ装置２３０上でパケットを監視し、ネットワーク状態情報を生成して映像配信サーバ１１０へ送信するものである。映像受信端末２４０がネットワーク状態情報を生成又は送信する機能を有しない場合であっても、映像品質を測定することが可能である。

［第２の実施形態］
次に、本発明の第２の実施形態について図面を参照して詳細に説明する。図８は、本発明の第２の実施形態の構成を表した図である。

図８を参照すると、本実施形態は、映像配信サーバ３１０、ＩＰネットワーク１２０及び映像受信端末１３０から構成され、映像配信サーバ３１０、映像受信端末１３０はＩＰネットワーク１２０により相互に接続される。

本実施の形態は第１の実施形態と、映像配信サーバ３１０がパケット重要度情報蓄積部３１８を有する点で異なる。

パケット重要度情報蓄積部３１８には、各パケットに含まれる映像データが欠落した場合、映像品質に与える影響の大きさがパケット重要度として予め計算され保存されている。このパケット重要度は、映像品質推定部３１６あるいは別途パケット重要度算出部（図示省略）を設けて、算出させることができる。

本実施形態は第一の実施形態とステップＳ４の映像データ送信部の動作およびステップＳ１３の劣化部分推定部３１５の動作、ステップＳ１４の映像品質推定部３１６の動作のみが異なるため、以下、図５を参照しステップＳ４、ステップＳ１３、ステップＳ１４のみ説明する。

一例として、図３に示されるような映像データに対して、映像データを１パケット分ごとに相当するＴＳパケットの１番目から５番目（符号５１１）、ＴＳパケットの６番目から１０番目（符号５１２）、ＴＳパケットの１１番目から１５番目（符号５１３）、ＴＳパケットの１６番目から２０番目（符号５１４）に切り分け、それぞれＡ、Ｂ、Ｃ、ＤとパケットＩＤを振る。このときパケット重要度情報蓄積部３１８には図９に示すような情報が予め保存されているものとする。

図９に示す例では、映像データの各パケットが欠落した場合、映像劣化が発生するフレーム数をパケット重要度として算出したものである。

ステップＳ４において、映像データ送信部３１２は、図９に示すようにパケットＩＤとＲＴＰシーケンス番号の組み合わせを送信状態情報として送信状態情報蓄積部３１３に保存する。

図９の送信状態情報は、ＲＴＰシーケンス番号１、２、３、４のＲＴＰパケットに、それぞれパケットＩＤ＝Ａ、Ｂ、Ｃ、ＤとのパケットＩＤを付与し、２００８年８月３日に、映像受信端末１３０に送信したことを示している。

ステップＳ１３において劣化部分推定部３１５が、映像受信端末１３０からネットワーク状態情報としてＲＴＰシーケンス番号３のＲＴＰパケットが欠落したというネットワーク状態情報をネットワーク状態情報受信部３１４から通知されている場合、劣化部分推定部３１５は、送信状態情報蓄積部３１３に保存されている送信状態情報を検索し、シーケンス番号３のＲＴＰパケットにはパケットＩＤがＣの映像データを入れて送信したという情報を取得し、これを劣化部分情報として映像品質推定部３１６へ通知する。

ステップＳ１４において、映像品質推定部３１６は劣化部分推定部３１５から劣化部分情報を通知されると、パケット重要度情報蓄積部３１８より、劣化部分情報（パケットＩＤ）に対応する当該パケットの重要度を取得し、これをもとに映像劣化度を算出する。

パケット重要度情報蓄積部３１８には、図１０に示されるようにパケット重要度情報が蓄積されており、図９のパケットＩＤからパケット重要度を求めることが可能になっている。単一のパケット欠落の場合、パケット重要度を用いて映像劣化度を算出する場合の動作を、一例として示す。

例えば、映像品質推定部３１６は、パケットＩＤ＝３を持つパケットの重要度が２であるという情報を取得し、これをもとに映像劣化度を２と算出することができる。

本実施の形態では、第１の実施形態と比較して、各パケットの重要度を予め算出しておくことにより、簡易な処理で映像品質を推定することが可能になり、映像品質推定にかかるサーバ負荷を下げることが可能である。もちろん、このようにして得られた映像劣化度に適宜補正を加えることも可能である。

以上、本発明の好適な実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、上記した第２の実施形態の送信状態情報には、パケットＩＤが記録され、パケット重要度情報蓄積部３１８からパケット重要度を求めるものとして説明したが、パケットＩＤに代えてフレーム種別等を用いることも可能である。

また例えば、上記した第２の実施形態では、第１の実施形態との違いを明確にするために、パケット重要度情報蓄積部３１８を設けるものとして説明したが、送信状態情報蓄積部３１３にパケット重要度を格納するようにしてもよい。

本発明は映像配信サービスにおける映像の品質測定、管理に活用可能である。

本発明に係る映像データ装置の構成を模式的に表した図である。 本発明の第１の実施形態の構成を表した図である。 本発明の第１の実施形態の映像配信サーバから送信されるＲＴＰパケットの概略構成を表した図である。 本発明の第１の実施形態の映像配信サーバが作成する送信状態情報を説明するための図である。 本発明の第１の実施形態の動作を表した図である。 本発明の第１の実施形態の映像受信端末にて受信されたＲＴＰパケットの例である。 本発明の第１の実施形態の変形構成を表した図である。 本発明の第２の実施形態の構成を表した図である。 本発明の第２の実施形態の映像配信サーバが作成する送信状態情報を説明するための図である。 図９の送信状態情報のパケットＩＤに対応するパケット重要度を求めるためのテーブルである。

符号の説明

１０ 映像データ送信装置
１２ 映像データ送信部
１５ 劣化部分推定部
１６ 映像品質推定部
２０ 映像データ受信装置
１１０ 映像配信サーバ
１１１ 映像データ蓄積部
１１２ 映像データ送信部
１１３ 送信状態情報蓄積部
１１４ ネットワーク状態情報受信部
１１５ 劣化部分推定部
１１６ 映像品質推定部
１１７ 映像品質情報出力部
１２０ ＩＰネットワーク
１３０ 映像受信端末
１３１ 映像データ受信部
１３２ 復号処理部
１３３ ネットワーク状態情報生成部
１３４ ネットワーク状態情報送信部
２３０ ゲートウェイ装置
２３１ パケット監視部
２３２ ネットワーク状態情報生成部
２３３ ネットワーク状態情報送信部
２４０ 映像受信端末
２４１ 映像データ受信部
２４２ 復号処理部
３１０ 映像配信サーバ
３１１ 映像データ蓄積部
３１２ 映像データ送信部
３１３ 送信状態情報蓄積部
３１４ ネットワーク状態情報受信部
３１５ 劣化部分推定部
３１６ 映像品質推定部
３１７ 映像品質情報出力部
３１８ パケット重要度情報蓄積部

Claims (13)

1. パケット化した映像データを送信するとともに、各パケットに映像データのどの部分を入れて送信したかを示す送信状態情報を生成する映像データ送信部と、
   前記送信状態情報と、映像データの受信側から送信されたパケットの受信状況を含むネットワーク状態情報と、に基づいて、送信した映像データのうち受信側で劣化していると推定される劣化部分を推定する劣化部分推定部と、
   前記劣化部分に基づいて、画質劣化度を算出する映像品質推定部と、
   を備えた映像データ送信装置。
2. 更に、映像データを蓄積する映像データ蓄積部を備え、
   前記映像品質推定部は、前記映像データ蓄積部から、前記劣化部分に対応する部分を取り出して、画質劣化度を算出する請求項１に記載の映像データ送信装置。
3. 更に、前記各パケットに、該パケットが格納する映像データの重要度に応じたパケット重要度が予め付与されており、
   前記映像品質推定部は、前記パケット重要度に基づいて画質劣化度を算出する請求項１又は２に記載の映像データ送信装置。
4. 前記パケット重要度は、当該パケットが欠落した場合に、映像劣化が発生するフレーム数に基づいて決定されている請求項１乃至３いずれか一に記載の映像データ送信装置。
5. 請求項１乃至４いずれか一に記載の映像データ送信装置と、
   前記映像データ送信装置からパケットを受信した際に、前記受信品質情報を送信する映像データ受信装置と、を含む映像配信システム。
6. 請求項１乃至４いずれか一に記載の映像データ送信装置と、
   前記映像データ送信装置と映像データ受信装置との間に配置され、前記映像データ送信装置からパケットを受信した際に、前記受信品質情報を送信するゲートウェイと、を含む映像配信システム。
7. パケット化した映像データを送信するにあたり、各パケットに映像データのどの部分を入れて送信したかを示す送信状態情報を生成しておき、
   前記送信状態情報と、映像データの受信側から送信されたパケットの受信状況を含むネットワーク状態情報と、に基づいて、送信した映像データのうち受信側で劣化していると推定される劣化部分を推定し、
   前記劣化部分に基づいて、画質劣化度を算出する映像品質評価方法。
8. 更に、映像データを蓄積する映像データ蓄積部から、前記劣化部分に対応する部分を取り出して、画質劣化度を算出する請求項７に記載の映像品質評価方法。
9. 更に、前記パケット毎に、該パケットが格納する映像データの重要度に応じたパケット重要度を決定しておき、
   前記パケット重要度に基づいて画質劣化度を算出する請求項７又は８に記載の映像品質評価方法。
10. 前記パケット重要度は、当該パケットが欠落した場合に、映像劣化が発生するフレーム数に基づいて決定される請求項７乃至９いずれか一に記載の映像品質評価方法。
11. パケット化した映像データを送信するにあたり、各パケットに映像データのどの部分を入れて送信したかを示す送信状態情報を生成する処理と、
    前記送信状態情報と、映像データの受信側から受信したパケットの受信状況を含むネットワーク状態情報と、に基づいて、送信した映像データのうち受信側で劣化していると推定される劣化部分を推定する処理と、
    前記劣化部分に基づいて、画質劣化度を算出する処理と、
    をコンピュータに実行させるプログラム。
12. 映像データを蓄積する映像データ蓄積部から、前記劣化部分に対応する部分を取り出し、前記コンピュータに、画質劣化度を算出させる請求項１１に記載のプログラム。
13. 更に、前記パケット毎に、該パケットが格納する映像データの重要度に応じたパケット重要度が決定されており、
    前記画質劣化度を算出する処理において、前記パケット重要度に基づいて画質劣化度を算出させる請求項１１又は１２に記載のプログラム。

Images