JP2003298554A - データ配信における受信データの品質評価方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】エラーが含まれる可能性のある通信路上でのデ
ータ配信において、配信するデータの内容に基づいた受
信データの品質評価方法及び装置を提供する。 【解決手段】配信サーバと受信クライアントから構成さ
れるデータ配信システムにおいて、配信サーバ上に蓄積
される配信用のデータに対し、データの特性を示す特徴
量データを算出しておく。配信サーバから受信クライア
ントへのデータ配信時には、データの配信と共にそのデ
ータの特徴量データも合わせて送付する。受信クライア
ントでは、受信したデータに対しサーバと同一の方法で
特徴量データを計算し、そのデータとサーバから送付さ
れた特徴量データを比較する。特徴量データの比較によ
り、配信元データに対する受信データのデータ内容に基
づく類似性の度合いを評価できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、エラーが発生する
可能性のある通信路上でのデータ配信における受信デー
タの品質を評価する方法および装置に関し、特に映像や
音楽データのようにデータが劣化してもある程度のデー
タ再現性があれば利用可能であるようなデータの品質評
価方法および装置に関する。

【０００２】

【従来の技術】ネットワークを介したデータの配信で
は、配信データにエラーが生じてしまう事や、データの
一部が失われてしまうといった事が起こる。通常、エラ
ーが生じたデータは再送を行い、クライアントへは完全
なデータを配信できるようにする。このデータの再送に
よって配信のオーバヘッドが生じるため、リアルタイム
配信が必要な局面では利用しないことがある。例えば、
映像データや音楽データのストリーミング配信において
は、配信のリアルタイム性が要求されるためエラーデー
タの再送処理などを行わないことが多い。また、映像デ
ータや音楽データはデータの一部が損失していても、多
少の損失であれば利用時に問題にならない場合も多いた
め、このようなエラー修正を行わないデータ配信が使わ
れている。

【０００３】エラーを許容するデータ配信では、ネット
ワークが安定している際には安定したデータ配信を行う
ことができるが、輻輳状態や通信路のノイズなどネット
ワークが不安定状態になるとエラーやパケットロスなど
が起こり配信されるデータの品質が悪くなってしまう。
この状況は、データ配信を使った有料サービスなどのビ
ジネスにおいて問題となってしまう。

【０００４】ストリーミング配信を使ったデジタルコン
テンツの有料配信のサービスにおいて、このサービス品
質の不安定さに対処する方法が提案されている。例え
ば、特開2000-270309にあるように、有料ストリーミン
グコンテンツの配信において、ユーザが実際に視聴した
コンテンツの品質に対する適切な料金の徴収方法とし
て、受信クライアントに実際に配送されたデータ量、コ
ンテンツ再生時のコマ数、配信の際の実行速度、実行帯
域のネットワークパラメータを用いて受信品質の判定を
行い、品質により返金を行うものがある。

【０００５】また、この問題に対し視聴ライセンスを販
売するという形式のサービスも実施されている。このサ
ービスでは、ライセンス有効の期間内であれば何度でも
視聴を試すことができるようになっており、ネットワー
クの一時的な品質低下により映像が受信できなくても、
再度受信させることで品質の不安定さに対応している。

【０００６】

【発明が解決しようとする課題】ライセンス販売方式で
は、コンサートやスポーツの生中継・ライブ映像のよう
な即時性が重要なコンテンツの配信や、権利問題により
一度のみの配信以外の利用が難しいコンテンツの配信、
さらに一回の視聴ごとに課金を行いたいサービスには適
用できない。

【０００７】このような場合、前記のようなデータ受信
品質を評価する方法が有用であるが、次の問題点があ
る。

【０００８】受信データの品質評価方法として、配送さ
れたデータ量などのネットワークパラメータを用いた判
定方法では、配信されたデータ自身の品質評価を行うこ
とはできる。しかし、実際にはデータそのものよりデー
タの内容が重要である場合が多い。配信元のデータの内
容に対し、受信データの内容がどの程度の類似性、また
は再現性を持っているかを評価することが重要である。
例えば、映像や静止画のデータの場合、映っている内容
がどの程度確認できるのか、また、音楽のデータの場
合、音の欠落がどの程度なのかを評価することが重要で
ある。

【０００９】また、データ配信においてデータは圧縮・
符号化して送付することもあり、この場合も受信したデ
ータに対する配送量などのネットワークパラメータでは
受信データの品質を十分に評価することができない。こ
の場合も、受信データを展開・復号化した後に、そのデ
ータが配信元データに対しどの程度の類似性、または再
現性を持っているかを評価する必要がある。

【００１０】例えば、映像データの場合、データ配信を
行う際にMPEG形式などの圧縮データを用いることが多
く、受信クライアントでは受信データをデコードし元の
フレーム画像データを再構成しながら映像再生を行う。
映像データ配信時に、エラーやパケットロスにより受信
データの一部が失われると、受信した映像データをデコ
ードした際には次のことが起こる。MPEGデータの場合、
受信データの一部が失われるとデータをデコードしてフ
レーム画像を再構成する時にフレーム画像の一部が乱れ
てしまう。いわゆるブロックノイズやモスキートノイズ
といったものが混入してしまう。

【００１１】また、MPEGデータではフレーム画像間の差
分データを使って圧縮を行っているため、差分データに
誤差が発生するとその周辺のフレーム画像まで誤差が伝
播してしまう。エラーがある程度大きく発生した場合、
いくつかのフレーム画像に対し全てノイズが入ってしま
いその部分が再生できなくなってしまうことがある。こ
の場合、受信側では映像再生が一時的に止まったように
見え、滑らかに再生が行えなくなってしまう。

【００１２】映像データの場合、配信時のデータエラー
による受信データの劣化具合は、データの損失率だけで
はなく映像に映っている内容に大きく依存する。フレー
ム画像へのノイズの入り方は、MPEGの場合、テクスチャ
の細かい映像や、動きの激しい映像ほど大きくなる。グ
ラデーションのような滑らかなフレーム画像や、ほとん
ど静止しているような映像では、データ損失が起こって
もそれほどフレーム画像が劣化しない。

【００１３】また、映像再生が一時的に止まってしまう
場合を考えると、配信元の映像がもともと静止に近いよ
うな映像である場合には、その部分の映像が止まってし
まっても再生品質はそれほど落ちていないと言える。一
方、配信元の映像が激しく動く映像であった場合には、
その部分が止まった場合には再生品質はかなり低下して
いると見なせる。例えば、ニュース記事を読むアナウン
サーの映像ようなほぼ静止している状態の映像であれ
ば、受信側で一時的に再生が止まったとしてもそれほど
視聴に影響はない。しかし、アクション映画のような激
しく場面が展開するような映像の場合、一時的にも再生
が止まってしまえばその映像の価値が大きく下がってし
まう。

【００１４】このように、映像データの配信における受
信データの品質については、実際に配信されたデータ量
や、再生時のコマ数などの情報だけでは十分な評価が行
えず、映像データとして映っている内容に従って、配信
元データに対し受信データがどの程度再現できているか
を評価する必要がある。

【００１５】また、MPEG-4形式のようにエラーコレクト
符号を実装しているデータ配信では、データ損失に対し
て符号化によってエラーを修正するため、多少のデータ
損失に対しても正しく受信できる。この場合も、配信さ
れたデータ量などのネットワークパラメータだけでは受
信データの品質評価を正しく行なえない。

【００１６】このように従来の方法では、受信クライア
ントへ配信されたデータの品質、特にそのデータの内容
の品質について、配信元データに対しどの程度劣化して
いるのかを正しく評価できないという問題があった。

【００１７】本発明の目的は、データ配信における受信
データの品質として、配信元データに対する受信データ
の類似性、または再現性を評価する方法及び装置を提供
することにある。

【００１８】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、配信サーバの蓄積データに対しそのデー
タの特性を示す特徴量を算出し、データ配信時にそれを
配信データと共に受信クライアントへ渡し、受信クライ
アントでは受信データの特徴量を配信元データと同じ方
法で抽出し、それと配信サーバから渡された特徴量デー
タとを比較し、データの特性を元にした受信データの類
似性の評価を行う。

【００１９】例えば、配信するデータとしてMPEG形式の
映像データを扱う際には、その映像のフレーム画像に対
し、そこに映る内容についての特性を示す映像特徴量を
サーバで算出し、MPEGデータのストリーミング配信時に
この算出した特徴量データを受信クライアントへ送付す
る。受信クライアントでは、受信したMPEGデータをデコ
ードしながらそのフレーム画像に対する映像特徴量をサ
ーバ側と同一の方法で算出する。そして、サーバから受
信クライアントへ送付されたフレーム画像に対する特徴
量データと、受信クライアント側の受信データをデコー
ドして得られたフレーム画像の特徴量データとを比較す
る。データ配信中のエラーにより、受信フレーム画像に
ノイズが入ってしまった場合や、画像が一時的に止まっ
てしまった場合には、元の映像との相違が大きいほど特
徴量の差異が大きくなり、元の映像との相違が小さけれ
ば特徴量の差異は小さい。この特徴量データ比較の差異
により、配信元データに対する受信データの類似性・再
現性の度合いを測定することができる。

【００２０】配信サーバから受信クライアントへの特徴
量データの送付には、ＦＴＰのようなエラーフリーの転
送環境を使用する。特徴量データは、配信するデータに
比べ非常に小さいサイズのデータであり、特徴量データ
の転送時間もわずかで済む。

【００２１】データの特徴量とは、データの内容の特性
を示すデータである。例えば、映像データの場合には映
像内容の色彩や彩度、映っているものの形状やカメラモ
ーションなどのデータが特徴量となり、これらを組み合
わせて使用する。特徴量の一つとして、「MPEG-7 Visua
l part of eXperimentation Model Version 12」ISO/IE
C JTC1/SC29/WG11/N4548に技術が開示されている。

【００２２】

【発明の実施の形態】以下、本発明の実施の形態を詳細
に説明する。

【００２３】図１に、本発明に係るデータ品質評価方法
の概念を示す。ストリーミングサーバ１０００は、受信
クライアント２０００からの再生要求に応じて、要求さ
れた映像データ１１００をストリーミングデータ１３０
０として受信クライアントへストリーミング配信する。
本実施の形態では、ストリーミングサーバ１０００はス
トリーミングデータ１３００を配信するにあたり、配信
する映像データ１１００に対応する映像特徴量データ
（以下、単に「映像特徴量」と記述する場合もある）１
２００を受信クライアント２０００へ、ストリーミング
配信を開始する前に送付する。この送付には、ＦＴＰな
どのエラーフリーの伝送プロトコルを使用し、受信クラ
イアント２０００へ受信特徴量１２００を確実に受け渡
す。二次記憶装置１４００は、ストリーミングサーバ１
０００に付随して配信サービスを行う映像データ１１０
０を蓄積する。また、映像データ１１００に対する映像
特徴量データ１２００も合わせて蓄積する。

【００２４】映像特徴量１２００は、映像データ１１０
０の映像内容の特性を示すデータである。映像特徴量と
して種々の特徴量が提案されており、映像を構成する各
フレーム画像の色相や彩度のヒストグラムや、映ってい
る物体の形状情報・移動情報、カメラモーション情報な
どがあり、これら情報を組み合わせて映像特徴量を定義
する。具体的には、「MPEG-7 Visual part of eXperime
ntation Model Version 12」ISO/IEC JTC1/SC29/WG11/N
4548に技術が公開されている。映像特徴量１２００はあ
らかじめ算出しておき、二次記憶装置１４００に記録し
ておく。映像特徴量１２００の中には、どの映像データ
に対する特徴量であるかを示すため、映像データ１１０
０の名前を入れておく。

【００２５】受信クライアント２０００は、ストリーミ
ングサーバ１０００へ映像配信要求を出し、ストリーミ
ングサーバ１０００から配信されるストリーミングデー
タ１３００を受信して映像再生を行う。実際にこの処理
は、ストリーミング再生プログラム２４００で行う。ス
トリーミング再生プログラム２４００は、ストリーミン
グデータ１３００を受信しながらデータをデコードして
フレーム画像を再構成する。この再構成したフレーム画
像を画面に表示し、映像再生を行う。

【００２６】ストリーミング再生プログラム２４００が
再構成したフレーム画像はストリーミングサーバ１００
０が配信した映像データ１１００と同等のデータとはな
らないことがある。これは、ネットワークを介してスト
リーミングデータ１３００を受信する際に転送エラーな
どによりいくつかのデータが損失している可能性がある
ためである。ストリーミング再生プログラム２４００
は、再構成したフレーム画像データを特徴量算出手段２
２００へ渡す。特徴量算出手段２２００は、受け取った
フレーム画像を元に映像特徴量を算出し、受信映像特徴
量データ（以下、単に受信映像特徴量と呼ぶ場合があ
る）２３００を作成する。なお、配信元データ及び受信
データのそれぞれに対する特徴量の算出方法は同一であ
る。類似度算出手段２１００は、特徴量算出手段２２０
０が生成した受信映像特徴量２３００と、ストリーミン
グデータ１３００を受信する前にあらかじめストリーミ
ングサーバ１０００から送られてきた映像特徴量１２０
０とを比較し、配信元データと受信データの類似度を算
出する。類似度がある閾値以上に差異が有る場合には、
受信した映像データの品質が劣化していると判定する。
このように映像データに対する映像特徴量を用いること
で、受信クライアント２０００で受信した映像データの
内容に関して品質を評価することができる。

【００２７】受信映像の品質評価データは、これを表示
し受信ユーザに映像再生の状態を示すために使うことが
できる。また、有料のストリーミング視聴サービスにお
いて受信状態が悪い場合には、受信ユーザに再度視聴さ
せる権利を付与したり、課金システムと連動して料金の
割引を行うサービスを提供することができる。

【００２８】図２を用いて、本発明による受信データの
品質評価方法を用いたストリーミング配信システムの構
成を説明する。本実施の形態のストリーミング配信シス
テムは、映像視聴要求に対し映像データのストリーミン
グ配信を行うストリーミングサーバ１０００と、ストリ
ーミングサーバ１０００へ映像の視聴要求を出し、配信
されたストリーミングデータを受信して映像再生を行う
受信クライアント２０００がネットワーク２６００で接
続されている。ネットワーク２６００は、インターネッ
ト網や構内ＬＡＮ、携帯電話ネットワークなど種々のネ
ットワークが適用できる。

【００２９】ストリーミングサーバ１０００は、映像デ
ータを格納する二次記憶装置１４００と、映像データの
ストリーミング配信や、映像配信サービスに対する課金
などのためのプログラムを格納する二次記憶装置１０７
０と、メモリ１０１０、ＣＰＵ１０２０、ネットワーク
インタフェース１０３０を備え、バス１０４０で接続さ
れている。

【００３０】二次記憶装置１４００には、映像のストリ
ーミング配信サービスを行うための映像データ１１００
と、その映像データに対する映像特徴量データ１２００
が格納される。映像特徴量データ１２００は、二次記憶
装置１０７０に格納される特徴量算出手段２２００プロ
グラムにより、あらかじめ映像データ１０００に対して
算出され格納される。映像データ１１００は、MPEGやQu
ickTime、AVIなどのデジタル映像のデータである。

【００３１】二次記憶装置１０７０には、オペレーティ
ングシステム（以下、「ＯＳ」と記述する）１０５０
と、映像データ１１００のストリーミング配信を行うス
トリーミング配信プログラム１０６０と、映像データ１
１００から映像の特徴量データを計算して映像特徴量デ
ータ１２００を作成するプログラムである特徴量算出手
段２２００と、受信クライアントへ映像のストリーミン
グ配信サービスに対する課金を実現する課金手段１５０
０と、課金情報を格納する課金テーブル１５１０が格納
される。

【００３２】ストリーミング配信プログラム１０６０
は、受信クライアント２０００のストリーミング再生プ
ログラム２４００からの映像配信要求に対し、配信要求
された映像に対する映像データ１１００を幾つかのパケ
ットデータに分割し、このパケットをネットワーク２６
００を使用して映像再生に必要な量だけ逐次的にストリ
ーミング再生プログラム２４００へ送信する機能を有す
る。また、ストリーミング配信プログラム１０６０は、
映像データ１１００を配信する前にその映像データに対
応する映像特徴量データ１２００を受信クライアントへ
送信する。データの送信は、ＦＴＰを用いてエラーがな
い通信環境を用いる。

【００３３】特徴量算出手段２２００は、上記の通り映
像データ１１００に対する映像特徴量データ１２００を
作成する機能を有する。特徴量データの作成は、映像デ
ータ１１００をデコードして映像を構成するフレーム画
像を生成し、各フレーム画像から映像の特徴となるデー
タを抽出する。映像特徴量データ１２００として、フレ
ームごとの特徴量データとそれが映像内のどのフレーム
対応するかを示すアドレス情報と、どの映像データから
特徴量を抽出したかを示す映像データ名を記録する。

【００３４】課金手段１５００は、受信クライアント２
０００に対しユーザ認証を行い、どのユーザへ映像の配
信を行ったかを管理し、映像配信に対する課金情報を記
録する機能を有する。課金情報の記録は課金テーブル１
５１０を使う。

【００３５】受信クライアント２０００は、ストリーミ
ング配信データの再生や、受信した映像の品質評価など
を行うためのプログラムを格納した二次記憶装置２０１
０と、ネットワークインタフェース２０３０、ＣＰＵ２
０４０、メモリ２０５０、画面表示のためのＩ／Ｆ２０
６０を備え、バス２０８０で接続されている。Ｉ／Ｆ２
０６０にはディスプレイ２０７０が接続されている。

【００３６】二次記憶装置２０１０には、ＯＳ２０２
０、ストリーミング配信データから映像再生を行うスト
リーミング再生プログラム２４００、特徴量算出手段２
２００、ストリーミング配信された映像から特徴量算出
手段２２００を用いて算出された受信特徴量データ２３
００、ストリーミングサーバ１０００から送信された映
像特徴量データ１２００、映像特徴量を比較して映像品
質の評価を行う類似度算出手段２１００、品質評価デー
タを利用する評価データ利用手段２５００が格納され
る。

【００３７】ストリーミング再生プログラム２４００
は、ストリーミングサーバ１０００のストリーミング配
信プログラム１０６０へ映像データの配信を要求し、そ
の結果ストリーミング配信プログラム１０６０より配信
されるストリーミングデータを受信する。そして、スト
リーミングデータをデコードしてフレーム画像を構成
し、ディスプレイ２０７０へ表示して映像再生を行う。
さらに、デコードしたフレーム画像を特徴量算出手段２
２００へ渡す機能を有する。

【００３８】特徴量算出手段２２００は上記の機能を有
し、ストリーミング再生プログラム２４００から渡され
るフレーム画像データから受信映像特徴量データ２３０
０を生成する。

【００３９】類似度算出手段２１００は、ストリーミン
グ配信プログラム１０６０から送付された映像特徴量デ
ータ１２００と、特徴量算出手段２２００にて生成され
た受信特徴量データ２３００からそれら特徴量データに
含まれるフレーム画像のアドレス情報を参照して各フレ
ーム画像の特徴量を比較して、その差分を計算する。差
分の合計値を算出し受信品質の値として、これを評価デ
ータ利用手段２５００へ渡す機能を有する。

【００４０】評価データ利用手段２５００は、類似度算
出手段２１００より渡される受信品質の評価データがあ
る閾値以上である場合には、課金手段１５００へ課金の
割引を依頼する機能を有する。

【００４１】図３は、ストリーミング配信における受信
フレーム画像のデータ評価方法の概念を示す図である。
図３を用いて、ストリーミング配信したフレーム画像に
おける本発明のデータ評価方法を説明する。配信元の画
像として、動きの激しい映像のフレーム画像Ａ（３００
０）と、静止に近い映像のフレーム画像Ｂ（３０２０）
の２つを考える。それぞれの画像について映像特徴量を
算出する。画像Ａ（３０００）の映像特徴量ｆ_Ａ（３０
１０）、画像B（３０２０）の映像特徴量ｆ_Ｂ（３０３
０）とする。これらの画像をMPEG形式で圧縮し、このデ
ータをパケット３０４０に分けて配信する。図３は、デ
ータをパケットＰ_１からＰ_５までの５個のパケットに分
割して送ったことを示している。

【００４２】図３では、受信側の受信パケット３０５０
は通信路の影響でパケットＰ_２、Ｐ _４が失われてしまっ
た状況を示している。この場合、受信パケット３０５０
からこのデータをデコードしてフレーム画像を再構成す
ると、データが失われているためフレーム画像にノイズ
が入ってしまう。MPEG形式の特性として画像のノイズは
次のようになる。１）画像に映っている物体のエッジの
部分がぼやける。２）画像全体にブロック状の模様が現
れる。これらノイズの現れ方は、元の映像の内容に大き
く依存し、データの損失量が同じであっても映像に映っ
ているものによってノイズの入り方が異なってくる。MP
EG形式の場合、動きの激しい画像や画面のテクスチャが
細かい画像の場合、ノイズが多量に混入してしまう。

【００４３】図３に示した画像の場合、動きの激しい映
像のフレーム画像である画像Ａ（３０００）に対する受
信フレーム画像Ａ'（３０６０）はノイズが大きく入り
品質が劣化していることに対し、動きが少ない映像のフ
レーム画像である画像Ｂ（３０２０）に対する受信フレ
ーム画像Ｂ'（３０８０）はあまりノイズが入らず元の
画像B（３０２０）に近い画像となっている。

【００４４】受信画像に対し、それぞれ映像特徴量を算
出する。画像Ａ'の映像特徴量ｆ_Ａ'（３０７０）、画像
Ｂ'の映像特徴量ｆ_Ｂ'（３０９０）とする。映像特徴量
ｆ_Ａ'（３０７０）は、ノイズが大きく混入した影響で
元の画像Ａ（３０００）に対する映像特徴量ｆ_Ａ（３０
１０）とは大きく異なる値となる。すなわち、|ｆ_Ａ−
ｆ_Ａ'|（３１００）の値が大きくなる。一方、画像Ｂに
対する特徴量の差分|ｆ_Ｂ−ｆ_Ｂ'|（３１１０）の値は
小さくなっている。

【００４５】このように映像特徴量の差分を評価するこ
とで、パケットの損失率のようなネットワークパラメー
タだけでは評価できなかった映像の内容に対する劣化具
合の評価を行うことができる。

【００４６】図４から図６は、フレーム画像が時系列に
並んでいるデータである映像における本発明のデータ評
価方法の概念を示している図である。図４は送信元の映
像について、その映像の特性と映像特徴量データを示し
た図である。図５は受信した映像について、その映像の
特性と映像特徴量データを示した図である。図６は受信
した映像について、別の受信状態時の形態を示してい
る。

【００４７】図４を用いて、送信する映像データについ
て説明する。映像データ３２４０はフレーム画像Ａ_１~
Ａ_１０、Ｂ_１~Ｂ_５、Ｃ_１~Ｃ_８が時系列に並んだデータ
として表される。この映像３２４０は３つのカット、カ
ットＡ３２００、カットＢ３２１０、カットＣ３２３０
から構成されている。カットとは映像の構成単位として
一つながりの断片を示す。同じカットの中のフレーム画
像は似ている場合が多く、それぞれの映像特徴量も同じ
ような値となる。映像データ３２４０の映像特徴量とし
て、各フレーム画像の特徴量を並べたデータ３２５０を
算出する。

【００４８】この映像データをMPEG形式で圧縮して、受
信クライアントに対しストリーミング配信を行うことを
考える。MPEG形式ではフレーム画像間の差分データを用
いて圧縮を行っているため、ストリーミング配信の際に
パケットが損失した場合には、概当フレーム画像にノイ
ズが入るだけでなく、隣接したフレーム画像へも伝播し
てしまい、その周辺のフレーム画像に対して影響が出て
しまう。また、パケットの損失が何箇所かで起こった場
合、フレーム画像を構成する度にノイズが入る形となり
ノイズが蓄積してしまい、最終的にはフレーム画像がま
ともに再構成できないような状態となってしまう。この
ような場合、一般的なストリーミング再生プログラム２
４００ではフレーム画像を再構成できなかった部分の画
面表示を一時的に止めて対応する。画面表示を止めてい
る区間は、最後に表示したフレーム画像を表示し続けて
対応する。図５、図６の画像が止まってしまった区間３
３００、３４００はこの状況を表している。

【００４９】図５は、受信側で再生したフレーム画像の
並び３３４０を示している。前記の通りストリーミング
配信中にデータ損失が起こり、映像再生を一時的に止め
た区間３３００が存在する。データ損失により映像デー
タのデコードができなかった部分は、フレーム画像Ａ
_１０、Ｂ_１~Ｂ_５、Ｃ_１、Ｃ_２の部分である。この区間
では、直前の正常なフレーム画像Ａ_９を代替表示してい
る。一方、図６も同様に受信側の再生映像３４４０を示
しているが、データ損失により止まった区間３４００が
異なっている。どちらもデータ損失量は同じである。

【００５０】図５のケースでは、カットＢ（３２１０）
の部分が全て失われているため映像の流れとしてデータ
の損失が大きいが、図６のケースではカットＡ（３２０
０）の部分がカットＡ内のフレーム画像Ａ_３によって表
示されているため映像の流れとしてデータの損失はそれ
ほど大きくない。この状況は配信元データの映像特徴量
と受信データの映像特徴量を比較することで判定するこ
とができる。

【００５１】映像特徴量の比較では、送信元の映像と受
信映像の各フレーム画像の特徴量を比較していく。図５
の場合、画像が止まっていない部分の映像特徴量は同じ
であるが、画像が止まってしまった区間３３００の映像
特徴量３３２０は、このフレーム画像に対応する送信元
の映像特徴量３３３０と比較して相違が大きくなってし
まう。一方、図６の場合、画像が止まってしまった区間
３４００の映像特徴量３４２０は、この部分に対応する
送信元の映像特徴量３４３０と比較して相違はそれほど
大きくない結果となる。

【００５２】このように、映像特徴量の比較を評価する
ことで、パケットの損失率などでは評価できない映像の
流れとしてのデータの損失度合いを評価することができ
る。

【００５３】次に図７から図９のフローチャートを用い
て、本実施の形態のシステムにおける受信データの品質
評価処理の流れを説明する。

【００５４】図７は、ストリーミング再生プログラム２
４００の処理手順を示すフローチャートである。

【００５５】まず、利用者からの指示に従って再生する
映像データを決定し、ストリーミングサーバ１０００の
ストリーミング配信プログラム１０６０へ映像再生要求
を通知する（ステップ４０００）。ストリーミング配信
プログラム１０６０は映像再生要求を受け付けると、ま
ず要求された映像データに対応する映像特徴量データ１
２００をクライアントへ送付する。そして、映像データ
のストリーミング配信を行う。ストリーミング再生プロ
グラム２４００は、サーバから送付される映像特徴量１
２００を受信し、二次記憶装置２０１０へ保存する（ス
テップ４０１０）。そして、ストリーミングデータの受
信を開始する（ステップ４０２０）。

【００５６】受信を開始した後、パケットに分けられて
配信されるストリーミングデータをバッファに読み込む
(ステップ４０３０)。ある程度のフレーム画像分の映像
データをバッファへ読み込んだ後、映像データをデコー
ドしてフレーム画像データを作成する（ステップ４０４
０）。バッファに読み込んだデータが、フレーム画像を
復元するために十分なデータ量であったかを判断する。
パケットロスやパケット遅延により十分なデータが揃わ
なかった場合には、ステップ４０８０へ進み画面表示を
スキップする。デコードが正しく行えた場合は、ステッ
プ４０６０へ進む（ステップ４０５０）。

【００５７】ステップ４０４０でデコードして作成した
フレーム画像データを画面表示用スレッドのフレーム画
像データバッファへ書き込む。このデータはステップ４
１００で読み込み利用される（ステップ４０６０）。つ
づいて、フレーム画像データを特徴量算出手段２２００
へ渡す（ステップ４０７０）。

【００５８】ストリーミング配信プログラム１０６０か
らのストリーミングデータが映像データの最後まで送ら
れたかをチェックする。まだ、送られるデータがある場
合にはステップ４０９０へ進む。全てのデータを送り終
わっている場合にはプログラムを終了する（ステップ４
０８０）。

【００５９】ステップ４０８０でまだ受信するデータが
残っている場合には、バッファをクリアしてステップ４
０３０からの処理を繰り返し行う（ステップ４０９
０）。

【００６０】次に、画面表示スレッドの処理手順を説明
する。まず、ステップ４０６０にて書き込まれるフレー
ム画像データバッファから、１フレーム画像分のデータ
を読み込む（ステップ４１００）。読み込んだ画像を画
面に表示する(ステップ４１１０)。次にフレーム画像を
画面に出力するタイミングまで待つ。１秒間に３０枚の
フレーム画像を持つ映像の場合、次のフレーム画像の表
示まで３３ミリ秒待つ必要がある。表示タイミングにな
ったときには、次のフレーム画像の画面表示を行うため
ステップ４１００へ進む（ステップ４１２０）。

【００６１】図８を用いて、特徴量算出手段２２００の
処理手順を説明する。図８は、特徴量算出手段２２００
の処理手順を示すフローチャートである。

【００６２】まず、特徴量を算出する対象となった映像
データ名を受信映像特徴量データ２３００へ記録する
（ステップ４２００）。次に、ストリーミング再生プロ
グラム２４００のステップ４０７０から渡されるフレー
ム画像データを受け取る（ステップ４２１０）。受け取
ったフレーム画像データから特徴量を計算する（ステッ
プ４２２０）。計算した特徴量は、計算の対象となった
フレーム画像の映像データ内の位置情報（アドレス情
報）と共に受信映像特徴量データ２３００へ記録する
（ステップ４２３０）。特徴量を算出する映像データの
フレーム画像がまだ残っているかをチェックする。まだ
残っている場合はステップ４２１０へ進む。全て算出し
終えた場合は終了する（ステップ４２４０）。

【００６３】図９を用いて、類似度比較手段２１００の
処理手順を説明する。図９は、類似度比較手段２１００
の処理手順を示すフローチャートである。

【００６４】まず、二次記憶装置２０１０に保存された
映像特徴量１２００と受信映像特徴量２３００を読み込
む（ステップ４３００）。つづいて、受信映像特徴量２
３００に記述されたフレーム画像の特徴量のシーケンス
の中で一番先頭のフレーム画像のアドレス位置を読込
む。このアドレス位置に対応する映像特徴量１２００の
中にフレーム画像特徴量の位置を探す。この位置が映像
特徴量の比較開始位置となる（ステップ４３００）。

【００６５】受信映像特徴量２３００と、映像特徴量１
２００から１フレーム画像データ分の特徴量を読み込
み、特徴量の距離を算出する。特徴量の距離の算出は、
図３の式３１００を使う（ステップ４３２０）。算出し
た距離の合計を算出する（ステップ４３３０）。

【００６６】受信映像特徴量２３００の中の全てのフレ
ーム画像について特徴量の距離計算を行ったかを調べ
る。まだ、計算していない部分が残っている場合にはス
テップ４３２０へ進む。全ての距離計算を終えた場合は
ステップ４３５０へ進む（ステップ４３４０）。

【００６７】全ての距離計算が終えた際の特徴量距離の
合計値を映像の類似度として類似度データ利用手段２５
００へ渡す（ステップ４３５０）。

【００６８】次に、類似度データ利用手段２５００の処
理手順を説明する。類似度データ利用手段２５００は次
の処理を行う。

【００６９】・類似度比較手段２１００から、類似度を
受け取る。

【００７０】・類似度が、ある閾値αより大きい場合に
は、受信映像が送信映像と大きく異なっていたと判断す
る。すなわち、受信映像の品質が悪いと判断する。

【００７１】・受信映像の品質が悪い場合には、ストリ
ーミングサーバ１０００の課金手段１５００へ通知し、
今回の映像配信に対する課金の割引を通知する。以上の
処理を行う。

【００７２】上述の実施の形態においては、受信クライ
アント２０００にて特徴量の比較を行っているが、受信
クライアント２０００で算出した受信映像特徴量２３０
０をストリームサーバ１０００へ送付し、ストリームサ
ーバ１０００にて映像特徴量の比較を行っても良い。

【００７３】図１０、図１１を用い、本発明の第２の実
施の形態を説明する。

【００７４】図１０は、第２の実施の形態のストリーミ
ング配信システムの構成を示す図である。図２のシステ
ム構成図と同じ部分には同じ符号を付してあり、構成、
動作が同じであるので説明を省略する。図２との違い
は、ビデオ入力装置６０１０、カメラ６０２０を備えて
いることであり、さらに映像データ１１００を保持して
いない点である。ストリーミング配信プログラム６００
０は、ストリーミング配信するデータとして映像データ
１１００の変わりにビデオ入力装置６０１０を通して取
得するカメラ６０２０の映像をMPEG形式で圧縮してスト
リーミング配信する。第２の実施の形態は、ライブ配信
サービスを行うシステムである。このときの、受信クラ
イアント２０００での受信データの品質評価処理の流れ
を図１１を用いて説明する。

【００７５】図１１は、第２の実施の形態における受信
データ品質評価方法とそれに用いる映像特徴量データの
流れを示す概念図である。ストリーミングサーバ１００
０は、カメラ６０２０の映像をMPEG形式に圧縮しながら
ストリーミングデータ１３００として受信クライアント
２０００へ配信する。配信処理と並行して、ストリーミ
ングサーバ１０００の特徴量算出手段２２００は、カメ
ラ６０２０の映像から映像特徴量１２００を抽出して二
次記憶装置１０７０へ記録する。

【００７６】受信クライアント２０００のストリーミン
グ再生プログラム２４００は、ストリーミング配信され
る映像データ１３００を受信し、それをデコードして画
面に表示する。第１の実施例と同様に、デコードしたフ
レーム画像は特徴量算出手段２２００へ渡され受信映像
特徴量２３００が算出される。ストリーミングサーバ１
０００において、カメラ６０２０のライブ映像の配信が
終了した時点で、そこまで算出した映像特徴量１２００
を受信クライアント２０００の類似度算出手段２１００
へ送付する。類似度算出手段２１００は、渡された映像
特徴量１２００と受信しながら算出した受信映像特徴量
２３００を比較し、受信映像データの品質評価データを
作成する。

【００７７】映像特徴量１２００は、前記のようにライ
ブ配信の開始から終了まで全ての時間分の映像特徴量を
記録する方式ではなく、ライブ配信中の時間を任意の時
間区間に区切って、その時間区間分だけの映像特徴量を
記録し、受信クライアント２０００へ随時送付する方式
でも良い。

【００７８】この実施の形態によれば、あらかじめ蓄積
された映像データの配信だけでなく、ライブ配信におい
ても受信データの品質評価を行うことができる。

【００７９】

【発明の効果】以上述べたように、本発明によれば、配
信元データと受信データに対してデータの特性を示す特
徴量データを算出し比較することで、配信元データに対
する受信データの類似性に基づく受信データの品質評価
を行うことができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態の受信データ品質評
価方法の概念図である。

【図２】第１の実施形態の受信データ品質評価方法を用
いたストリーミング映像配信システムのシステムブロッ
ク図である。

【図３】本発明を映像データに適用した場合における受
信品質評価処理の概念図である。

【図４】送信元映像データのフレーム画像構成と、その
フレーム画像と特徴量との関係を示す図である。

【図５】受信映像データのフレーム画像構成と、そのフ
レーム画像と特徴量との関係を示す図である。

【図６】図５とは別の受信による受信映像データのフレ
ーム画像構成と、そのフレーム画像と特徴量との関係を
示す図である。

【図７】ストリーミング配信映像を受信して再生する処
理のフローチャート図である。

【図８】映像データから映像特徴量データを抽出する処
理のフローチャート図である。

【図９】映像特徴量データと受信映像特徴量データの２
つを比較し、特徴量の抽出元となった２つの映像データ
の類似度を算出する処理のフローチャート図である。

【図１０】本発明の第２の実施の形態の受信データ品質
評価方法を用いたライブ映像配信システムのシステムブ
ロック図である。

【図１１】第２の実施形態の受信データ品質評価方法の
概念図である。

【符号の説明】

１０００：ストリーミングサーバ、１１００：映像デー
タ、１２００：映像特徴量、 １３００：ストリーミングデータ、２０００：受信クラ
イアント、 ２１００：類似度算出手段、２２００：特徴量算出手段、 ２３００：受信映像特徴量

───────────────────────────────────────────────────── フロントページの続き (72)発明者 柴田 巧一 神奈川県川崎市幸区鹿島田890番地 株式 会社日立製作所ビジネスソリューション事 業部内 Ｆターム(参考） 5C061 BB07 CC03 5C064 BA01 BB01 BB05 BC01 BC18 BC23 BC25 BD02 BD03 BD04 BD08 BD09 BD14 5K014 AA01 BA01 GA01

Claims (7)

【特許請求の範囲】
1. 【請求項１】通信路上でのデータ配信における受信デー
   タの品質評価方法であって、配信サーバで配信するデー
   タの特性を示す特徴量データを算出し、前記配信サーバ
   からのデータ配信に合わせ配信するデータに対する特徴
   量データを受信クライアントへ渡し、前記受信クライア
   ントは受信した配信データに対する特徴量データを算出
   し、前記受信クライアントは前記渡された配信元データ
   の特徴量データと前記受信データの特徴量データとを比
   較し、配信元データに対する受信データの類似性を測定
   することを特徴とする受信データの品質評価方法。
2. 【請求項２】前記配信サーバから前記受信クライアント
   へ特徴量データを渡すタイミングは、データ配信を開始
   する前に行い、前記受信クライアントではデータを受信
   しながら逐次的に特徴量データを比較することを特徴と
   する請求項１記載の受信データの品質評価方法。
3. 【請求項３】前記配信サーバから配信するデータは、リ
   アルタイムに発生するデータであり、前記配信サーバは
   データ配信を行いながらその特徴量データを算出し、デ
   ータ配信が終了した時点で算出した特徴量データを前記
   受信クライアントへ渡すことを特徴とする請求項１記載
   の受信データの品質評価方法。
4. 【請求項４】前記配信サーバから前記受信クライアント
   へ特徴量データを渡す際に、エラー訂正を行うプロトコ
   ルを用いて前記受信クライアントへ特徴量データを伝送
   することを特徴とする請求項１記載の受信データの品質
   評価方法。
5. 【請求項５】前記受信クライアントが算出した受信デー
   タに対する特徴量データは、前記受信クライアントから
   前記配信サーバへ渡し、前記配信サーバにおいて渡され
   た受信データの特徴量データとそれに対応する配信デー
   タの特徴量データを比較し、前記配信サーバで配信元デ
   ータに対する受信データの類似性を測定することを特徴
   とする請求項１記載の受信データの品質評価方法。
6. 【請求項６】前記配信サーバは、データの配信に合わせ
   データ受信者に課金を行い、課金の料金を決定するため
   に受信データの配信元データに対する類似性を測定する
   ことを特徴とする請求項１記載の受信データの品質評価
   方法。
7. 【請求項７】通信路を用いてデータ配信を行うシステム
   における受信データの品質評価装置であって、配信サー
   バにおいてデータの特性を示す特徴量データを算出する
   手段と、前記配信サーバからのデータ配信に合わせ配信
   するデータに対する特徴量データを受信クライアントへ
   渡す手段と、前記受信クライアントにおいて受信した配
   信データの特徴量を算出する手段と、前記受信クライア
   ントで前記配信元データの特徴量データと前記受信デー
   タの特徴量データを比較することで前記配信元データと
   前記受信データの類似性を測定する手段を有することを
   特徴とする受信データの品質評価装置。