JP2009159462A - 客観品質評価方法、客観品質評価装置およびプログラム - Google Patents

Abstract

【課題】受信パケットのデコードを行わずに計算負荷を低減させると共に精度良く主観品質の推定を行う。
【解決手段】客観品質評価装置は、受信したＩＰパケットから、符号化映像のビット列であるビットストリーム情報を抽出するビットストリームレイヤ情報抽出部７と、符号化映像をＩＰネットワークで伝送する映像伝送サービスのプロトコルスタックの各レイヤ情報のうち、ビットストリーム情報と異なるプロトコルスタックレイヤ情報をパケットから抽出するプロトコルスタックレイヤ情報抽出手段（ＩＰレイヤ情報抽出部２、ＵＤＰレイヤ情報抽出部３、ＲＴＰレイヤ情報抽出部４、映像・オーディオ多重化レイヤ情報抽出部５、ＰＥＳレイヤ情報抽出部６）と、ビットストリーム情報とプロトコルスタックレイヤ情報に基づいて符号化映像の主観品質を推定する主観品質推定部８とを備える。
【選択図】 図２

Description

本発明は、通信伝送路を経た映像を人間が見て体感した品質（主観品質）を評価する場合に、主観品質評価実験を行うことなく、通信の物理的な特徴量から客観的に主観品質を導出する客観品質評価方法に関する技術である。

映像配信や映像コミュニケーション等の映像を利用したサービスにおいては、高品質な映像の授受を実現するために、提供された映像の品質を適切かつ迅速に評価する手法の確立が望まれている。映像品質評価は、ユーザがその映像を実際に観たときに感じる品質を測定する、いわゆる主観品質評価が基本である。しかしながら、主観品質評価は専用の設備と膨大な時間および労力を要する。そこで、映像品質評価をより効率的に行うために、物理的に測定される量から映像の主観品質を推定する技術（これを客観品質評価技術という）の開発が望まれている。

従来は、精度良く効率的な客観品質評価を行うため、メディアレイヤ情報に加えて、ビットストリーム情報を利用する客観品質評価技術（非特許文献１参照）やビットストリーム情報のみを利用する客観品質評価技術（非特許文献２参照）が検討されてきた。

D.Hands，「Quality Assurance for IPTV」，ITU-T Workshop on ""，June，2006 間伸一他，「ネットワーク配信映像の視聴品質推定技術」，ＮＴＴ技術ジャーナル，p.59-63，2005.7

しかし、ＩＰ（Internet Protocol ）ネットワークで映像を伝送する場合、しばしば伝送損失が発生するが、メディアレイヤ情報による伝送損失の検出では、受信パケットを一旦デコードして抽出した画素情報を品質推定に用いるため、デコードを含め莫大な演算量が必要となるという問題点があった。
また、伝送損失が発生しても偶然ビットストリームの整合性が取れる場合が存在するので、ビットストリームレイヤ情報による伝送損失の検出では、適切にデータ損失を検出できない可能性があった。

本発明は、上記課題を解決するためになされたもので、受信パケットのデコードを行わずに計算負荷を低減させると共に精度良く主観品質の推定を行うことができる客観品質評価方法、客観品質評価装置およびプログラムを提供することを目的とする。

本発明は、ＩＰネットワークで伝送された映像を人が見たときに体感する主観品質を推定する客観品質評価方法は、ＩＰネットワークで伝送されたパケットから、符号化映像のビット列であるビットストリーム情報を抽出するビットストリームレイヤ情報抽出手順と、前記符号化映像をＩＰネットワークで伝送する映像伝送サービスのプロトコルスタックの各レイヤ情報のうち、前記ビットストリーム情報と異なるプロトコルスタックレイヤ情報を前記パケットから抽出するプロトコルスタックレイヤ情報抽出手順と、前記ビットストリーム情報とプロトコルスタックレイヤ情報に基づいて前記符号化映像の主観品質を推定する主観品質推定手順とを備えるものである。
また、本発明の客観品質評価方法の１構成例において、前記符号化映像の符号化方式は、Ｈ．２６４方式である。
また、本発明の客観品質評価方法の１構成例において、前記プロトコルスタックは、上から順にメディアレイヤ、ビットストリームレイヤ、ＰＥＳ（Packetized Elementary Stream）レイヤ、ＴＳ（Transport Stream）レイヤ、ＲＴＣＰ（RTP Control Protocol）パケットのペイロード情報とヘッダ情報とを含むＲＴＰ（Real-time Transport Protocol）レイヤ、ＵＤＰ（User Datagram Protocol）レイヤ、ＩＰ（Internet Protocol）レイヤ、データリンク層、物理層に分かれ、前記プロトコルスタックレイヤ情報抽出手順は、前記プロトコルスタックレイヤ情報として、ＩＰレイヤ情報、ＵＤＰレイヤ情報、ＲＴＰレイヤ情報、ＴＳレイヤ情報、ＰＥＳレイヤ情報のうち少なくとも１つを抽出するものである。
また、本発明の客観品質評価方法の１構成例において、前記主観品質推定手順は、前記ビットストリーム情報中に記述されているピクチャ、スライス、マクロブロックまたはサブマクロブロックの情報のうち、ビットレート、マクロブロックタイプ、Ｉ（Intra）・Ｐ（Predictive）・Ｂ（Bidirectionally）属性の少なくとも１つを利用して、符号化映像の主観品質を推定するものである。

また、本発明の客観品質評価装置は、ＩＰネットワークで伝送されたパケットから、符号化映像のビット列であるビットストリーム情報を抽出するビットストリームレイヤ情報抽出手段と、前記符号化映像をＩＰネットワークで伝送する映像伝送サービスのプロトコルスタックの各レイヤ情報のうち、前記ビットストリーム情報と異なるプロトコルスタックレイヤ情報を前記パケットから抽出するプロトコルスタックレイヤ情報抽出手段と、前記ビットストリーム情報とプロトコルスタックレイヤ情報に基づいて前記符号化映像の主観品質を推定する主観品質推定手段とを備えるものである。
また、本発明の客観品質評価プログラムは、ＩＰネットワークで伝送されたパケットから、符号化映像のビット列であるビットストリーム情報を抽出するビットストリームレイヤ情報抽出手順と、前記符号化映像をＩＰネットワークで伝送する映像伝送サービスのプロトコルスタックの各レイヤ情報のうち、前記ビットストリーム情報と異なるプロトコルスタックレイヤ情報を前記パケットから抽出するプロトコルスタックレイヤ情報抽出手順と、前記ビットストリーム情報とプロトコルスタックレイヤ情報に基づいて前記符号化映像の主観品質を推定する主観品質推定手順とを、コンピュータに実行させるようにしたものである。

本発明によれば、受信パケットをデコードすることなく、符号化されたままの状態のパケットに含まれるビットストリーム情報とビットストリーム情報以外のプロトコルスタックレイヤ情報とを用いて映像の主観品質を推定するので、従来の技術に比べて、客観品質評価の計算負荷を低減することができる。また、本発明では、ビットストリーム情報に加えて、ビットストリーム情報以外のプロトコルスタックレイヤ情報を相補的に利用することで、ＩＰネットワークにおけるデータ損失が主観品質に与える影響を推定することができ、映像品質の推定精度を飛躍的に高めることが可能となる。その結果、本発明では、主観品質の推定を大規模かつリアルタイムに精度良く行うことが可能となる。

以下、本発明の実施の形態について図面を参照して説明する。本実施の形態が対象とする映像伝送サービスのプロトコルスタックを図１に示し、本実施の形態の客観品質評価装置の構成を図２に示す。本実施の形態では符号化方式としてＨ．２６４方式を用いる場合を述べる。

図１のプロトコルスタックは、上から映像の画素信号やオーディオの波形信号に該当するメディアレイヤ（Media layer）１００と、メディアレイヤ情報を符号化して出力されたビットストリーム（Elementary Stream）から構成されるビットストリームレイヤ（Bitstream layer）１０１と、ビットストリームレイヤ情報がＰＥＳ（Packetized Elementary Stream）パケットでパケット化されたＰＥＳレイヤ（PES layer）１０２と、ＰＥＳレイヤ情報がＭＰＥＧ−２ ＴＳ（Transport Stream）パケットやＭＰ４コンテナでパケット化されたＴＳ（ＭＰ４）レイヤ（TS(MP4)layer）１０３と、ＴＳレイヤ情報がＲＴＰ（Real-time Transport Protocol）パケットでパケット化されたＲＴＰレイヤ（RTP layer）１０４と、ＲＴＰレイヤ情報がＵＤＰ（User Datagram Protocol）パケットでパケット化されたＵＤＰレイヤ（UDP layer）１０５と、ＵＤＰレイヤ情報がＩＰ（Internet Protocol）パケットでパケット化されたＩＰレイヤ（IP layer）１０６とに分かれている。なお、図１では記載していないＩＰレイヤ以下のデータリンク層および物理層は、任意のプロトコルを適用可能である。また、ＲＴＰレイヤ１０４は、ＲＴＰレイヤと、ＲＴＣＰ（RTP Control Protocol）パケットのペイロード情報とヘッダ情報とを含む。

本実施の形態の客観品質評価装置は、ＩＰパケット受信部１と、ＩＰレイヤ情報抽出部２と、ＵＤＰレイヤ情報抽出部３と、ＲＴＰレイヤ情報抽出部４と、映像・オーディオ多重化レイヤ情報抽出部５と、ＰＥＳレイヤ情報抽出部６と、ビットストリームレイヤ情報抽出部７と、主観品質推定部８とを備えている。ＩＰレイヤ情報抽出部２とＵＤＰレイヤ情報抽出部３とＲＴＰレイヤ情報抽出部４と映像・オーディオ多重化レイヤ情報抽出部５とＰＥＳレイヤ情報抽出部６とは、プロトコルスタックレイヤ情報抽出手段を構成している。

以下、客観品質評価装置の動作の概要について図２を用いて説明する。
ＩＰパケット受信部１は、図示しない映像送信機器から送信されたＩＰパケット（IP-PKT）をネットワークを介して受信して、ＩＰレイヤ情報抽出部２に送る機能を持つ。
ＩＰレイヤ情報抽出部２は、ＩＰパケットのヘッダ情報（IP-Info）を抽出して主観品質推定部８に送る機能と、ＩＰパケットのペイロード（IP-Payload）を抽出してＵＤＰレイヤ情報抽出部３に送る機能を持つ。

ＵＤＰレイヤ情報抽出部３は、ＩＰパケットのペイロードからＵＤＰパケットのヘッダ情報（UDP-Info）を抽出して主観品質推定部８に送る機能と、ＵＤＰパケットのペイロード（UDP-Payload）を抽出してＲＴＰレイヤ情報抽出部４に送る機能を持つ。
ＲＴＰレイヤ情報抽出部４は、ＵＤＰパケットのペイロードからＲＴＰパケットのヘッダ情報（RTP-Info）とＲＴＣＰパケット情報（RTCP-Info）とを抽出して主観品質推定部８に送る機能と、ＲＴＰパケットのペイロード（RTP-Payload）を抽出して映像・オーディオ多重化レイヤ情報抽出部５に送る機能を持つ。

映像・オーディオ多重化レイヤ情報抽出部５は、ＲＴＰパケットのペイロードからＭＰＥＧ−２ ＴＳパケットやＭＰ４コンテナのヘッダ情報（Muxed-Info）を抽出して主観品質推定部８に送る機能と、ＭＰＥＧ−２ ＴＳパケットやＭＰ４コンテナのペイロード（Muxed-Payload）を抽出してＰＥＳレイヤ情報抽出部６に送る機能を持つ。
ＰＥＳレイヤ情報抽出部６は、ＭＰＥＧ−２ ＴＳパケットやＭＰ４コンテナのペイロードからＰＥＳパケットのヘッダ情報（PES-Info）を抽出して主観品質推定部８に送る機能と、ＰＥＳパケットのペイロード（Bitstream）を抽出してビットストリームレイヤ情報抽出部７に送る機能を持つ。

ビットストリームレイヤ情報抽出部７は、ＰＥＳパケットのペイロードからビットストリームのシンタックスやセマンティクス情報またはその他の付加情報から構成されるビットストリーム情報（Bitstream-Info）を抽出して主観品質推定部８に送る機能を持つ。
主観品質推定部８は、ＩＰレイヤ情報抽出部２、ＵＤＰレイヤ情報抽出部３、ＲＴＰレイヤ情報抽出部４、映像・オーディオ多重化レイヤ情報抽出部５、ＰＥＳレイヤ情報抽出部６、ビットストリームレイヤ情報抽出部７より送信されたＩＰレイヤ情報（IP-Info）、ＵＤＰレイヤ情報（UDP-Info）、ＲＴＰレイヤ情報（RTP-Info，RTCP-Info）、ＴＳレイヤ情報（Muxed-Info）、ＰＥＳレイヤ情報（PES-Info）、ビットストリーム情報（Bitstream-Info）を使用して、映像送信機器から送信された映像の主観品質の推定を行う機能を持つ。

以下に客観品質評価装置の各部の詳細を説明する。図３は図２の客観品質評価装置の動作を示すフローチャートである。
ＩＰパケット受信部１は、上記のとおり、ＩＰパケットを受信する（図３ステップＳ１）。

図４はＩＰレイヤ情報抽出部２の構成を示すブロック図である。ＩＰレイヤ情報抽出部２は、ＩＰバージョン４ヘッダ抽出部２−１と、ＩＰバージョン４ペイロード抽出部２−２と、ＩＰバージョン６ヘッダ抽出部２−３と、ＩＰバージョン６ペイロード抽出部２−４とを有する。

ＩＰレイヤ情報抽出部２は、ＩＰパケット受信部１から入力されたＩＰパケット（IP-PKT）のヘッダのバージョン（Version）フィールドを参照し、ＩＰパケットがＩＰバージョン４の場合、ＩＰバージョン４ヘッダ抽出部２−１がＩＰパケットからヘッダ情報（IP-Info）を抽出し、ＩＰバージョン４ペイロード抽出部２−２がペイロード（IP-Payload）を抽出する（ステップＳ２）。また、ＩＰパケットがＩＰバージョン６の場合、ＩＰバージョン６ヘッダ抽出部２−３がヘッダ情報（IP-Info）を抽出し、ＩＰバージョン６ペイロード抽出部２−４がペイロード（IP-Payload）を抽出する（ステップＳ２）。

ＩＰバージョン４ヘッダ抽出部２−１で抽出されるＩＰバージョン４のヘッダ情報の概要を図５に示す。このヘッダ情報は、バージョン（Version）、ヘッダ長（IHL）、サービスタイプ（Type of Service）、パケット長（Total Length）、識別子（Identification）、フラグ（Flags）、フラグメントオフセット（Fragment Offset）、生存時間（Time to Live）、プロトコル（Protocol）、ヘッダチェックサム（Header Checksum）、送信元アドレス（Source Address）、宛先アドレス（Destination Address）、オプション（Options）、パディング（Padding）を含む。ＩＰバージョン４のヘッダ情報の詳細は、参考文献「IETF RFC791，“INTERNETPROTOCOL”，Sep.1981」に記載されている。

ＩＰバージョン６ヘッダ抽出部２−３で抽出されるＩＰバージョン６のヘッダ情報の概要を図６に示す。このヘッダ情報は、バージョン（Version）、プライオリティ（Priority）、フローラベル（Flow Label）、ペイロード長（Payload Length）、次ヘッダ（Next Header）、ホップリミット（Hop Limit）、送信元アドレス（Source Address）、宛先アドレス（Destination Address）を含む。ただし、ＩＰバージョン６の場合は、適宜ＩＰバージョン６の拡張ヘッダ情報を使用できる。ＩＰバージョン６のヘッダ情報の詳細は、参考文献「IETF RFC1883，“Internet Protocol，Version6(IPv6) Specification”，Dec.1995」に記載されている。

ＩＰバージョン４ヘッダ抽出部２−１またはＩＰバージョン６ヘッダ抽出部２−３によって抽出されたヘッダ情報（IP-Info）は主観品質推定部８に送られ、ＩＰバージョン４ペイロード抽出部２−２またはＩＰバージョン６ペイロード抽出部２−４によって抽出されたペイロード（IP-Payload）はＵＤＰレイヤ情報抽出部３に送られる。

ＩＰレイヤ情報抽出部２からＵＤＰレイヤ情報抽出部３に送られたペイロード（IP-Payload）は、ＵＤＰパケットの集合である。ＵＤＰレイヤ情報抽出部３は、このペイロード（IP-Payload）からＵＤＰパケットのヘッダ情報（UDP-Info）とペイロード（UDP-Payload）とを抽出する（ステップＳ３）。ＵＤＰパケットのヘッダ情報（UDP-Info）の概要を図７に示す。このヘッダ情報は、送信元ポート（Source Port）、宛先ポート（Destination Port）、パケット長（Length）、チェックサム（Checksum）を含む。ＵＤＰパケットのヘッダ情報の詳細は、参考文献「IETF RFC768，“User Datagram Protocol”，Aug.1980」に記載されている。ＵＤＰパケットのヘッダ情報（UDP-Info）は主観品質推定部８に送られ、ペイロード（UDP-Payload）はＲＴＰレイヤ情報抽出部４に送られる。

ＵＤＰレイヤ情報抽出部３からＲＴＰレイヤ情報抽出部４に送られたペイロード（UDP-Payload）は、ＲＴＰパケットの集合である。ＲＴＰレイヤ情報抽出部４は、このペイロード（UDP-Payload）からＲＴＰパケットのヘッダ情報（RTP-Info）とＲＴＣＰパケット情報（RTCP-Info）とＲＴＰパケットのペイロード（RTP-Payload）とを抽出する（ステップＳ４）。ＲＴＰパケットのヘッダ情報（RTP-Info）の概要を図８に示す。このヘッダ情報は、バージョン（version(v)）、パディング（padding(p)）、拡張（extension(x)）、ＣＳＲＣ数（csrc count(cc)）、マーカー（marker(m)）、ペイロードタイプ（payload type）、シーケンス番号（sequence number）、タイムスタンプ（timestamp）、同期送信元識別子（synchrozination source(SSRC) identifier）、寄与送信元識別子（contributing source(CSRC) identifiers）を含む。

ＲＴＰパケットのヘッダ情報（RTP-Info）とＲＴＣＰパケット情報（RTCP-Info）の詳細は、参考文献「IETF RFC1889，“A Transport Protocol for Real-Time Applications”，Sep.1981」に記載されている。
ＲＴＰパケットのヘッダ情報（RTP-Info）とＲＴＣＰパケット情報（RTCP-Info）は主観品質推定部８に送られ、ペイロード（RTP-Payload）は映像・オーディオ多重化レイヤ情報抽出部５に送られる。

ＲＴＰレイヤ情報抽出部４から映像・オーディオ多重化レイヤ情報抽出部５に送られたペイロード（RTP-Payload）は、映像データやオーディオデータが多重化されたＭＰＥＧ−２ ＴＳパケットまたはＭＰ４コンテナの集合である。
図９は映像・オーディオ多重化レイヤ情報抽出部５の構成を示すブロック図である。映像・オーディオ多重化レイヤ情報抽出部５は、ＭＰＥＧ２−ＴＳヘッダ抽出部５−１と、ＭＰＥＧ２−ＴＳペイロード抽出部５−２と、ＭＰ４コンテナヘッダ抽出部５−３と、ＭＰ４ペイロード抽出部５−４とを有する。

映像・オーディオ多重化レイヤ情報抽出部５では、ＲＴＰレイヤ情報抽出部４から送られたペイロード（RTP-Payload）に含まれるデータがＭＰＥＧ−２ ＴＳパケットの場合、ＭＰＥＧ２−ＴＳヘッダ抽出部５−１がペイロード（RTP-Payload）からＭＰＥＧ−２ ＴＳパケットのヘッダ情報（Muxed-Info）を抽出し、ＭＰＥＧ２−ＴＳペイロード抽出部５−２がＭＰＥＧ−２ ＴＳパケットのペイロード（Muxed-Payload）を抽出する（ステップＳ５）。また、ペイロード（RTP-Payload）に含まれるデータがＭＰ４コンテナの場合、ＭＰ４コンテナヘッダ抽出部５−３がペイロード（RTP-Payload）からＭＰ４コンテナのヘッダ情報（Muxed-Info）を抽出し、ＭＰ４ペイロード抽出部５−４がＭＰ４コンテナのペイロード（Muxed-Payload）を抽出する（ステップＳ５）。

ＭＰＥＧ−２ ＴＳパケットのヘッダ情報の詳細は参考文献「ITU-T H.222，“Audiovisual and Multimedia Systems Infrastructure of Audiovisual Services-Transmission Multiplexing and Synchronization”，Feb.2000」に記載され、ＭＰ４コンテナのヘッダ情報の詳細は参考文献「ISO/IEC 14496-14，2003」に記載されている。ＭＰＥＧ−２ ＴＳパケットのヘッダ情報（Muxed-Info）またはＭＰ４コンテナのヘッダ情報（Muxed-Info）は主観品質推定部８に送られ、ＭＰＥＧ−２ ＴＳパケットのペイロード（Muxed-Payload）またはＭＰ４コンテナのペイロード（Muxed-Payload）はＰＥＳレイヤ情報抽出部６に送られる。

映像・オーディオ多重化レイヤ情報抽出部５からＰＥＳレイヤ情報抽出部６に送られたペイロード（Muxed-Payload）は、ビットストリームを分割してパケット化したＰＥＳパケットの集合である。ＰＥＳレイヤ情報抽出部６は、このペイロード（Muxed-Payload）からＰＥＳパケットのヘッダ情報（PES-Info）とペイロード（Bitstream）とを抽出する（ステップＳ６）。ＰＥＳパケットのヘッダ情報（PES-Info）の詳細は、参考文献「ISO/IEC 14496-14，2003」に記載されている。ＰＥＳパケットのヘッダ情報（PES-Info）は主観品質推定部８に送られ、ペイロード（Bitstream）はＨ．２６４のビットストリームとしてビットストリームレイヤ情報抽出部７に送られる。

ビットストリームレイヤ情報抽出部７は、ＰＥＳレイヤ情報抽出部６から送られたＨ．２６４ビットストリーム（Bitstream）からシンタックスやセマンティクス情報を抽出すると共に、ＳＥＩ（Supplemental Enhancement Information）やＶＵＩ（Video Usability Information）を抽出して、これらの抽出したビットストリーム情報（Bitstream-Info）を主観品質推定部８に送信する（ステップＳ７）。Ｈ．２６４ビットストリームの詳細については参考文献「ITU-T H.264，“Advanced video coding for generic audiovisual services”，Feb.2000」に記載されている。ビットストリーム情報（Bitstream-Info）を利用することにより、シーンの種類の違いが映像の主観品質に及ぼす影響を考慮して精度良く主観品質を推定することが可能となる。

主観品質推定部８は、ＩＰレイヤ情報抽出部２、ＵＤＰレイヤ情報抽出部３、ＲＴＰレイヤ情報抽出部４、映像・オーディオ多重化レイヤ情報抽出部５、ＰＥＳレイヤ情報抽出部６、ビットストリームレイヤ情報抽出部７より送信されたＩＰレイヤ情報（IP-Info）、ＵＤＰレイヤ情報（UDP-Info）、ＲＴＰレイヤ情報（RTP-Info，RTCP-Info）、ＴＳレイヤ情報（Muxed-Info）、ＰＥＳレイヤ情報（PES-Info）、ビットストリームレイヤ（Bitstream-Info）を使用して、映像送信機器から送信された映像の主観品質の推定を行う（ステップＳ８）。特に、本実施の形態では、ＲＴＰレイヤ情報（RTP-Info）の一部であるＲＴＰパケットヘッダのシーケンス番号（sequence number）と、ビットストリーム情報（Bitstream-Info）に含まれる量子化パラメータ・動きベクトルを使って主観品質の推定を行う。

まず、ＩＰパケット受信部１に接続されたＩＰネットワークでの損失が存在せず、符号化によって主観品質が低下する場合、ＩＰネットワークを介して受信した映像の主観品質ＥＶ_codeは以下の式で導出される。
ＥＶ_code＝ａ×ｌｏｇ₁₀（α）＋ｂ ・・・（１）

係数ａ，ｂは予め主観評価実験を行って、回帰分析により最適化される係数である。その具体的な求め方としては、評価映像から本実施の形態の客観品質評価装置が求めた主観品質ＥＶと人間が評価映像を見て決めた総合的な主観評価値との誤差の二乗を、符号化による様々な劣化条件の評価映像について求め、誤差の二乗の総和が最小になるように、回帰分析に基づいて係数ａ，ｂを最適化すればよい。

また、式（１）のαは、評価対象の映像を構成する全てのフレームに存在する各マクロブロックのビット量の最大値である。ただし、αは、最大値のみではなく、平均値、最小値もしくはビット量から導出される統計量であっても良い。マクロブロックのビット量は、ビットストリーム情報（Bitstream-Info）中に記述されている。

ＩＰネットワークや映像を受信する端末でパケット損失が発生した場合の映像の主観品質ＥＶ_lossは以下の式で導出される。
ＥＶ_loss＝ｅ×ＥＶ_code／（ｆ×ＬＩ＋ｇ×ＬＰ＋ｈ×ＬＢ＋ｉ） ・・・（２）

係数ｅ，ｆ，ｇ，ｈ，ｉは予め主観評価実験を行って、回帰分析により最適化される係数である。その具体的な求め方としては、評価映像から本実施の形態の客観品質評価装置が求めた主観品質ＥＶと人間が評価映像を見て決めた総合的な主観評価値との誤差の二乗を、様々なパケット損失条件の評価映像について求め、誤差の二乗の総和が最小になるように、回帰分析に基づいて係数ｅ，ｆ，ｇ，ｈ，ｉを最適化すればよい。

また、式（２）のＥＶ_codeは符号化による影響を考慮した主観品質、ＬＩはＩＰネットワーク損失により失われたＩ（Intra）タイプのスライスの数、ＬＰはＩＰネットワーク損失により失われたＰ（Predictive）タイプのスライスの数、ＬＢはＩＰネットワーク損失により失われたＢ（Bidirectionally）タイプのスライスの数である。

パケット損失の発生の検出については、パケット損失がない正常な場合はＲＴＰパケットヘッダ内に記述されているシーケンス番号（sequence number）が連続に増加することを利用する。すなわち、シーケンス番号（sequence number）の連続性が崩れた場合にパケット損失が発生したと判断する。
ＭＰＥＧ−２ＴＳパケットやＭＰ４コンテナでＨ．２６４のビットストリームを伝送する場合は、ビットストリームを構成するＮＡＬ（Network Abstraction Layer）ユニット中に、アクセスユニットデリミタと呼ばれるフレーム間を区切る識別子が挿入されている。したがって、損失したＩＰパケットの前後に存在するＮＡＬユニットをチェックすることにより、データ損失が発生したフレームを特定可能である。

また、Ｈ．２６４のピクチャパラメータセット（PPS）で、１フレーム中に存在するスライスの形や数を規定している。このため、おり、ＩＰパケット損失により失われたスライスの数は、損失したＩＰパケットの前後に存在するＩＰパケットのペイロード（ＮＡＬユニット）をチェックし、損失したスライスと同一フレームに存在する損失無しのスライスの数をカウントして、１フレーム中に理論上存在するスライスの数から損失無しのスライスの数を減算することで導出可能である。

損失したスライスのＩ（Intra），Ｐ（Predictive），Ｂ（Bidirectionally）タイプは、アクセスユニットデリミタの「primary_pic_type」でフレーム毎に指定されたタイプで導出できる。スイッチングＩスライスやスイッチングＰスライスは、それぞれＩスライス、Ｐスライスとカウントする。
以上により、式（２）中のＬＩ，ＬＰ，ＬＢのカウントが可能となり、式（１）を式（２）に代入することにより、主観品質ＥＶ_lossが導出される。

ＩＰネットワークや端末におけるパケット損失によるデータの損失は、ビットストリームのシンタックスチェックを実施することでも検出できる場合があるが、ビットストリーム内部のデータ構造によっては、偶然シンタックスチェックを通過する場合が存在する。これに対して、本実施の形態では、ＩＰレイヤ等の映像伝送サービスを構成するプロトコルの情報を相補的に利用することで、映像品質の推定精度を飛躍的に高めることが可能となる。

以上説明したように、本実施の形態では、ＩＰネットワークで損失が発生した場合に、ビットストリーム情報に加えてＩＰ伝送情報を利用することにより、主観品質の推定を効率的かつ精度良く行うことが可能となり、人が行う主観品質評価法や非特許文献１，２に記載された従来の客観品質評価法を本実施の形態に置き換えることにより、多大な労力と時間を必要としなくなる。したがって、ＩＰネットワークを利用した映像伝送サービスで、ユーザが感じている主観品質を大規模かつリアルタイムに管理することが可能となる。

なお、本実施の形態の客観品質評価装置は、ＣＰＵ、記憶装置および外部とのインタフェースを備えたコンピュータとこれらのハードウェア資源を制御するプログラムによって実現することができる。このようなコンピュータにおいて、本発明の客観品質評価方法を実現させるための客観品質評価プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、メモリカードなどの記録媒体に記録された状態で提供される。ＣＰＵは、記録媒体から読み込んだプログラムを記憶装置に書き込み、プログラムに従って本実施の形態で説明したような処理を実行する。

本発明は、人間が映像を見てその品質を評価する主観品質評価実験を行うことなく、通信の物理的な特徴量から人間の主観品質を推定する技術に適用することができる。

本発明の実施の形態が対象とする映像伝送サービスのプロトコルスタックを示す図である。 本発明の実施の形態に係る客観品質評価装置の構成を示すブロック図である。 図２の客観品質評価装置の動作を示すフローチャートである。 本発明の実施の形態に係る客観品質評価装置のＩＰレイヤ情報抽出部の構成を示すブロック図である。 本発明の実施の形態に係る客観品質評価装置のＩＰレイヤ情報抽出部が抽出するＩＰバージョン４のヘッダ情報の概要を示す図である。 本発明の実施の形態に係る客観品質評価装置のＩＰレイヤ情報抽出部が抽出するＩＰバージョン６のヘッダ情報の概要を示す図である。 本発明の実施の形態に係る客観品質評価装置のＵＤＰレイヤ情報抽出部が抽出するＵＤＰパケットのヘッダ情報の概要を示す図である。 本発明の実施の形態に係る客観品質評価装置のＲＴＰレイヤ情報抽出部が抽出するＲＴＰパケットのヘッダ情報の概要を示す図である。 本発明の実施の形態に係る客観品質評価装置の映像・オーディオ多重化レイヤ情報抽出部の構成を示すブロック図である。

符号の説明

１…ＩＰパケット受信部、２…ＩＰレイヤ情報抽出部、３…ＵＤＰレイヤ情報抽出部、４…ＲＴＰレイヤ情報抽出部、５…映像・オーディオ多重化レイヤ情報抽出部、６…ＰＥＳレイヤ情報抽出部、７…ビットストリームレイヤ情報抽出部、８…主観品質推定部、２−１…ＩＰバージョン４ヘッダ抽出部、２−２…ＩＰバージョン４ペイロード抽出部、２−３…ＩＰバージョン６ヘッダ抽出部、２−４…ＩＰバージョン６ペイロード抽出部、５−１…ＭＰＥＧ２−ＴＳヘッダ抽出部、５−２…ＭＰＥＧ２−ＴＳペイロード抽出部、５−３…ＭＰ４コンテナヘッダ抽出部、５−４…ＭＰ４ペイロード抽出部。

Claims (9)

1. ＩＰネットワークで伝送された映像を人が見たときに体感する主観品質を推定する客観品質評価方法において、
   ＩＰネットワークで伝送されたパケットから、符号化映像のビット列であるビットストリーム情報を抽出するビットストリームレイヤ情報抽出手順と、
   前記符号化映像をＩＰネットワークで伝送する映像伝送サービスのプロトコルスタックの各レイヤ情報のうち、前記ビットストリーム情報と異なるプロトコルスタックレイヤ情報を前記パケットから抽出するプロトコルスタックレイヤ情報抽出手順と、
   前記ビットストリーム情報とプロトコルスタックレイヤ情報に基づいて前記符号化映像の主観品質を推定する主観品質推定手順とを備えることを特徴とする客観品質評価方法。
2. 請求項１記載の客観品質評価方法において、
   前記符号化映像の符号化方式は、Ｈ．２６４方式であることを特徴とする客観品質評価方法。
3. 請求項１記載の客観品質評価方法において、
   前記プロトコルスタックは、上から順にメディアレイヤ、ビットストリームレイヤ、ＰＥＳ（Packetized Elementary Stream）レイヤ、ＴＳ（Transport Stream）レイヤ、ＲＴＣＰ（RTP Control Protocol）パケットのペイロード情報とヘッダ情報とを含むＲＴＰ（Real-time Transport Protocol）レイヤ、ＵＤＰ（User Datagram Protocol）レイヤ、ＩＰ（Internet Protocol）レイヤ、データリンク層、物理層に分かれ、
   前記プロトコルスタックレイヤ情報抽出手順は、前記プロトコルスタックレイヤ情報として、ＩＰレイヤ情報、ＵＤＰレイヤ情報、ＲＴＰレイヤ情報、ＴＳレイヤ情報、ＰＥＳレイヤ情報のうち少なくとも１つを抽出することを特徴とする客観品質評価方法。
4. 請求項１記載の客観品質評価方法において、
   前記主観品質推定手順は、前記ビットストリーム情報中に記述されているピクチャ、スライス、マクロブロックまたはサブマクロブロックの情報のうち、ビットレート、マクロブロックタイプ、Ｉ（Intra）・Ｐ（Predictive）・Ｂ（Bidirectionally）属性の少なくとも１つを利用して、符号化映像の主観品質を推定することを特徴とする客観品質評価方法。
5. ＩＰネットワークで伝送された映像を人が見たときに体感する主観品質を推定する客観品質評価装置において、
   ＩＰネットワークで伝送されたパケットから、符号化映像のビット列であるビットストリーム情報を抽出するビットストリームレイヤ情報抽出手段と、
   前記符号化映像をＩＰネットワークで伝送する映像伝送サービスのプロトコルスタックの各レイヤ情報のうち、前記ビットストリーム情報と異なるプロトコルスタックレイヤ情報を前記パケットから抽出するプロトコルスタックレイヤ情報抽出手段と、
   前記ビットストリーム情報とプロトコルスタックレイヤ情報に基づいて前記符号化映像の主観品質を推定する主観品質推定手段とを備えることを特徴とする客観品質評価装置。
6. 請求項５記載の客観品質評価装置において、
   前記符号化映像の符号化方式は、Ｈ．２６４方式であることを特徴とする客観品質評価装置。
7. 請求項５記載の客観品質評価装置において、
   前記プロトコルスタックは、上から順にメディアレイヤ、ビットストリームレイヤ、ＰＥＳ（Packetized Elementary Stream）レイヤ、ＴＳ（Transport Stream）レイヤ、ＲＴＣＰ（RTP Control Protocol）パケットのペイロード情報とヘッダ情報とを含むＲＴＰ（Real-time Transport Protocol）レイヤ、ＵＤＰ（User Datagram Protocol）レイヤ、ＩＰ（Internet Protocol）レイヤ、データリンク層、物理層に分かれ、
   前記プロトコルスタックレイヤ情報抽出手段は、前記プロトコルスタックレイヤ情報として、ＩＰレイヤ情報、ＵＤＰレイヤ情報、ＲＴＰレイヤ情報、ＴＳレイヤ情報、ＰＥＳレイヤ情報のうち少なくとも１つを抽出することを特徴とする客観品質評価装置。
8. 請求項５記載の客観品質評価装置において、
   前記主観品質推定手段は、前記ビットストリーム情報中に記述されているピクチャ、スライス、マクロブロックまたはサブマクロブロックの情報のうち、ビットレート、マクロブロックタイプ、Ｉ（Intra）・Ｐ（Predictive）・Ｂ（Bidirectionally）属性の少なくとも１つを利用して、符号化映像の主観品質を推定することを特徴とする客観品質評価装置。
9. ＩＰネットワークで伝送された映像を人が見たときに体感する主観品質を推定する客観品質評価装置としてコンピュータを動作させる客観品質評価プログラムにおいて、
   ＩＰネットワークで伝送されたパケットから、符号化映像のビット列であるビットストリーム情報を抽出するビットストリームレイヤ情報抽出手順と、
   前記符号化映像をＩＰネットワークで伝送する映像伝送サービスのプロトコルスタックの各レイヤ情報のうち、前記ビットストリーム情報と異なるプロトコルスタックレイヤ情報を前記パケットから抽出するプロトコルスタックレイヤ情報抽出手順と、
   前記ビットストリーム情報とプロトコルスタックレイヤ情報に基づいて前記符号化映像の主観品質を推定する主観品質推定手順とを、コンピュータに実行させることを特徴とする客観品質評価プログラム。

Images