JP2002191048A - 動画符号通信評価方法及び動画符号通信評価装置 - Google Patents

Abstract

(57)【要約】 【課題】 動画情報量や符号量の異なる動画符号の、伝
送後の動画品質の劣化を適切に評価することのできる、
動画符号通信品質評価装置を提供することでる。 【解決手段】 動画符号送信手段から送信された動画符
号を、通信網を介して受信し複号する動画符号受信手段
で、伝送中の伝送品質劣化に起因する動画の欠損量を評
価する動画符号通信評価方法において、特定の時間内に
受信した動画符号量を計数して出力するステップと、特
定の時間内の欠損量を計数するステップと、前記計数さ
れた動画符号量を、前記計数された欠損量で補正して、
実効的動画符号量を算出するステップと、を備え、前記
実効的動画符号量を動画符号通信評価値として出力する
ことを特徴とする動画符号通信評価方法。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画符号通信評価
装置に関し、特にディジタル動画符号送受信における伝
送後の動画品質の劣化を評価する装置に関する。

【０００２】

【従来技術】従来、この種の装置としては、例えば、同
発明者による特願平11-153078「動画通信品質判定装
置」に記載例がある。以下、上記従来例について、本発
明に関連する部分だけを簡潔に説明する。ディジタル動
画は、動画フレーム（以下、フレームという）と呼ぶ瞬
間の映像が、時間的に連なったものである。ディジタル
動画は一般にデータ量が膨大なので、統計的な冗長性
と、それを見る人間の視覚の特性を利用して、情報圧縮
すなわち符号化（エンコード）を行って送信し、受信側
で伸長すなわち復号（デコード）を行って動画を再生す
るという動画符号送受信が広く行われている。

【０００３】例えば動画符号の国際標準には、例えば国
際標準化機構であるISO (International Organization
for Standardization)及びIEC (International Electro
technical Commission)によるMPEG (Moving Picture Ex
perts Group)-2 (ISO/IEC-13818)、MPEG-4 (ISO/IEC-14
496)、ITU (International Telecommunication Union)
勧告によるH.261、H.263などがある。本発明は、前述の
国際標準だけでなく、同等の動画符号にも適用される。

【０００４】前記の国際標準では動画フレームは格子状
に並んだ画素からなり、縦8画素×横8画素の正方形に領
域分割し、それぞれをブロックと呼ぶ。また縦16画素×
横16画素の正方形に領域分割し、それぞれをマクロブロ
ックと呼ぶ。ブロックの周波数成分を量子化してディジ
タル符号化する。往々にしてこの量子化を粗くすると符
号量が減る。ある動画フレームを基準として、時間的に
近い動画フレームは、基準との差分を符号化し、伝送
後、復号された基準を参照して、差分を加え、すなわち
加算合成することにより、時間的に近い動画フレームを
再生する。これをフレーム間予測符号化方式と呼ぶ。他
のフレームを参照するフレームと、参照しないフレーム
とがある。

【０００５】この他に、あるパラメータを基準としてほ
かは差分を符号化することが多用される。往々にして予
測符号化を多用すると符号量が減る。このことを符号化
効率が向上するともいう。一方で後述するように伝送誤
りなどで参照値が復号できないとこの値を参照した上で
復号される他の値も復号できないので、予測符号化を多
用するほど伝送誤りなどの符号欠損の影響が大きくな
る。

【０００６】前記MPEG-4ではビデオオブジェクト別符号
化方式が使われる。例えばある風景を背景にして人物が
物体を指さして説明している映像を、背景、人物、物体
をそれぞれ別々に符号化して伝送し、受信後にそれぞれ
復号して、元の動画を合成する。このように別々に符号
化される被写体をビデオオブジェクトという。例えば背
景は極めて粗い動画でよく、物体を最も精細な動画にし
たいという場合に有効な方式である。それぞれのビデオ
オブジェクトは時間的な動画フレームのつらなりから成
り、それぞれのフレームを特にビデオオブジェクトプレ
ーン（略号でVOP）という。

【０００７】また、時間スケーラビリティ符号化方式が
使われる。前述のVOPを時間的に間引きして、時間間隔
が大きなVOPから成る動画を構成し、これを符号化した
ものを基本レイヤの符号と呼ぶ。大きな時間間隔の間を
埋めるように、間引き前の時間間隔のVOPは、直前の基
本レイヤのVOPの差分が符号化され、これを拡張レイヤ
の符号と呼ぶ。受信側では基本レイヤを復号することに
より、時間分解能の粗い動画を再生して、次に拡張レイ
ヤを復号して加算合成し、時間分解能の高い動画を再生
する。拡張レイヤが劣化しても基本レイヤが再生できれ
ば、およその映像の内容を伝えることができるので有効
である。

【０００８】また、空間スケーラビリティ符号化方式が
使われる。それぞれの動画フレームにおいて、縦方向ま
たは横方向に並ぶ画素の階調値の変化を複数の周波数成
分の合成とみなし、時間変化に対して空間方向の変化と
呼ぶ。それぞれの動画フレームにおける異なる被写体を
解像する性能を空間分解能と呼ぶ。粗い空間分解能の成
分からなる動画を符号化したものを空間スケーラビリテ
ィにおける基本レイヤの符号と呼ぶ。

【０００９】粗い空間分解能を埋めるように元の詳細な
空間分解能の動画と基本レイヤとの差分を符号化したも
のを拡張レイヤと呼ぶ。受信側では、基本レイヤを復号
して粗い空間分解能の動画を復号し、次に拡張レイヤを
復号して加算合成し、空間分解能の高い動画を再生す
る。拡張レイヤが劣化しても基本レイヤが再生できれば
およその映像の内容を伝えることができるので有効であ
る。

【００１０】同発明者による特願平8-259291（特開平10
-108175号公報）「画像符号伝送システム」では、簡略
動画に分けて伝送し、受信後は復号されるそれぞれの簡
略動画から元の動画を合成するものが記載されている。
簡略動画とは、例えばそれぞれの動画フレームを縦2画
素×横2画素の領域に分割し、それぞれの領域の左上の
画素だけを残して間引いた画像で、元の動画の空間分解
能を粗くした画像が得られる。簡略動画には、上記の外
に、同様に左下だけ、右上だけ、右下だけ、からそれぞ
れ構成される動画が得られ、これらの部分動画も簡略動
画と呼ぶ。すべての簡略動画が劣化しない限り、いずれ
かの簡略動画が再生できればおよその映像の内容を伝え
ることができるので有効である。

【００１１】このような部分動画を復号する構成を図３
に示す。動画符号送信器11は部分動画符号全てを送信す
る。動画符号受信器21は前記部分動画符号の全て、また
は一部の部分動画符号を受信し、前記部分動画符号をそ
れぞれの部分動画符号に分離して、それぞれの部分動画
符号受信器251、252、253に配る。ここでは3つの部分動
画符号を受信した例を示すが、動画符号受信器21がただ
一つの部分動画符号だけを受信する場合もある。

【００１２】例えば受信・復号・再生・表示のための処
理規模の上限が低かったり、サービス契約による制限な
どがある場合である。時間スケーラビリティや空間スケ
ーラビリティの場合の、基本レイヤだけを受信する場合
もこれに相当する。次に部分動画符号受信器251、252、
253でそれぞれ受信・復号された部分動画は、動画合成
器26で合成される。

【００１３】ビデオオブジェクト別符号化方式の場合
は、３個のビデオオブジェクトをそれぞれ部分動画符号
受信器251、252、253で復号する。ビデオオブジェクト
は、動画合成器26で別途定められた画面にそれぞれ配置
され、重なり合う部分は、最前面のビデオオブジェクト
だけが表示されたり、あるいは、指定の重みで階調値を
重み付き加算で合成される。

【００１４】時間スケーラビリティの場合は、部分動画
符号受信器251で基本レイヤの動画を復号し、部分動画
符号受信器252で次の拡張レイヤの動画を復号し、部分
動画符号受信器253でさらに上の拡張レイヤの動画を復
号する。動画合成器26において、部分動画符号受信器25
2で復号された差分を、部分動画符号受信器251で復号さ
れた基本レイヤに加算して得られる別のフレームを生成
する。さらに、このフレームに対して、部分動画符号受
信器253で復号された上の拡張レイヤの復号された差分
を、加算してさらに別のフレームを生成する。

【００１５】例えば基本レイヤが毎秒5枚のフレームか
ら成り、次の拡張レイヤが毎秒10枚のフレームから成る
場合は、２枚の基本レイヤのフレームの間に１枚の拡張
レイヤのフレームを生成する。さらに上の拡張レイヤ
が、毎秒30枚のフレームから成る場合は、すぐ下の拡張
レイヤの２枚のフレームの間に、上の拡張レイヤのフレ
ームを２枚生成する。

【００１６】空間スケーラビリティの場合は、部分動画
符号受信器251で基本レイヤの動画を復号し、部分動画
符号受信器252で次の拡張レイヤの動画を復号し、部分
動画符号受信器253でさらに上の拡張レイヤの動画を復
号する。動画合成器26において、部分動画符号受信器25
2で復号された差分を、部分動画符号受信器251で復号さ
れた基本レイヤの画面から対応する画素の階調値を割り
出して加算する。さらに、このフレームに対して、部分
動画符号受信器253で復号された上の拡張レイヤの復号
された差分を、部分動画符号受信器252で復号された拡
張レイヤの画面から対応する画素の階調値を割り出して
加算する。

【００１７】例えば基本レイヤが、横100×縦50画素か
ら成り、次の拡張レイヤが横200×縦100画素から成る場
合は、拡張レイヤを2×2画素の領域に分割して横100×
縦50の領域それぞれに基本レイヤの画素を反復して当て
はめて生成した画面に差分を加算する。さらに、上の拡
張レイヤが横400×縦200画素の場合も同様である。簡略
動画の場合は、それぞれの簡略動画を部分動画符号受信
器251、252、253・でそれぞれ復号する。動画合成器26
において、それぞれの画素の間に別の簡略動画の対応す
る画素を新たに挿入して、元の動画を合成する。

【００１８】次に動画符号の伝送による動画の品質劣化
について説明する。動画符号の送受信においては、次の
ような原因により受信側で再生する動画が元の動画に一
致しないケースが発生し、動画の品質が劣化する。伝送
誤りにより動画符号が正しく受信されない場合がある。
また、パケット分割されて送信した結果、一部のパケッ
トが途中で損失して受信されない場合もある。さらに、
送受信に時間がかかり過ぎてしまい、すでに開始された
動画再生のタイミングに対して、ある動画フレームのデ
コード後の表示が間に合わなくなって、その動画フレー
ムの表示をスキップして次の動画フレームの処理に移行
する場合がある。

【００１９】このように、元の動画に対して復号・表示
・再生できなかった箇所を動画の欠損と呼ぶ。伝送によ
る動画の劣化すなわち欠損を定量的に評価することが動
画符号通信評価装置の目的である。伝送誤りがわずかな
bitの場合でも、動画符号のどの箇所に発生したかによ
って再生される動画の影響が異なる。

【００２０】例えば特定のマクロブロックの符号に伝送
誤りが発生し、次のマクロブロックからは正しく復号で
きた場合、他を参照しないフレームなら、そのマクロブ
ロックだけが欠損する。ある動画フレーム全体にかかわ
るパラメータを表す符号に伝送誤りがあると、フレーム
全体が復号できず欠損する。また、このフレームを参照
している他のフレームにも異常が波及する。このよう
に、伝送誤りや遅延などで復号・再生に用いられない動
画符号のbit量と、復号後の動画における動画欠損の量
は、一定の関係は無く、符号の箇所によって動画欠損へ
の影響が大きく異なる。

【００２１】動画欠損を定量化する動画符号通信評価装
置の従来例を図４に示す。動画符号送信器11は、例えば
エンコードを実行し送信を行う。次に動画符号受信器21
は、動画符号送信器11が送信した動画符号を受信し、前
記動画符号をデコードして動画を再生する。動画欠損評
価器23は、前記デコードにおける異常を検出して動画欠
損の大きさを計数する。例えば表示されなかったフレー
ム欠損、ブロック欠損などを計数し、欠損した箇所を参
照して復号される領域も正しく復号できないので、欠損
として計数する。

【００２２】次に欠損率を算出する。欠損率は、特定の
時間の範囲で発生した動画欠損量の、その時間の動画の
全体に対する割合である。例えば、フレーム1,000枚の
うち10枚欠損した場合は欠損率は１％である。あるい
は、時間内の総画素数が10,000,000個であり、そのうち
10,000個の画素が欠損した場合は、欠損率0.1%である。
動画符号が欠損率が低くなるように、動画符号の伝送品
質に還元することができ、欠損率の低減に有効である。

【００２３】

【発明が解決しようとする課題】従来、動画符号を伝送
する通信網は、元の動画の情報量に比べて伝送容量が小
さい。例えば、一般的なテレビジョン放送で用いられる
動画は、横500×縦400画素、１画素当たりカラー16bit
相当、毎秒30フレームとすると、毎秒およそ100Mbitで
ある。これを典型的な平均圧縮率20分の一で符号化する
と4Mbit/sとなる。一般コンシューマの電話回線は100kb
it/s程度であり、十分な動画品質を有する動画符号を伝
送するには極めて伝送容量が小さい。

【００２４】また、横200×縦150画素、１画素当たりカ
ラー16bit相当、毎秒10フレームとすると、5Mbit/sであ
り、前記よりも量子化を粗くして、平均圧縮率50分の一
で符号化すると約100kbit/sである。このように、テレ
ビジョン放送に比べて、画面の解像度も低く、動きの滑
らかさを再生するのに必要なフレーム数を下回って、さ
らに量子化を粗くして、やっと、一般コンシューマが電
話回線で利用できる程度になることを意味している。量
子化粗さは、再生される動画品質にかかわるので、許容
される伝送容量に近い符号レートになるような量子化粗
さで符号化を行う。

【００２５】このように、典型的な動画符号量に比べて
通信網の伝送容量が小さいので、毎秒当たりの動画符号
量すなわち符号レートが極めて重要なパラメータであ
る。動画の符号レートを決定する際の主要因は、まず画
面内の画素数（画面サイズ、解像度ともいう）、フレー
ムレート、階調数（色数）、量子化粗さ、符号化方式の
持つ符号化効率である。ここで、伝送容量を大きくする
には、設備コスト、運用コストが伝送容量に応じて必要
となることに留意する必要がある。

【００２６】さて、一般コンシューマ向けに通信網によ
り、有料で動画配信サービスを提供するサービスプロバ
イダの状況を考察する。伝送容量がコストに大きく影響
するので、使用量と動画品質に応じた料金でサービスを
行えば、料金収入を伝送容量や動画品質に比例的に還元
することができる。従来型のデータ通信における従量課
金はこの目的にかなうものである。

【００２７】このようなサービスを行う目的に対して、
従来の動画符号通信評価装置では、動画の欠損率を出力
するので、符号レートによる動画品質の違いを表せな
い。例えば、前述の符号レート4Mbit/sの動画符号の欠
損率が5%であり、符号レート100kbit/sの動画符号の欠
損率が5%である場合、動画品質評価値が両者で同じにな
るが、前述のように前者が、解像度、動きの滑らかさか
ら、非常に動画品質が高い。

【００２８】このように、従来の動画通信評価装置にお
けるように欠損率だけでは、使用量と動画品質に応じた
課金によるサービスを行う目的では、大きく異なる符号
レートを持つ動画符号の動画品質を比べることができな
い、という問題点がある。また、前述のように、ビデオ
オブジェクト毎の欠損率と全ビデオオブジェクトを合わ
せた欠損率、時間スケーラビリティにおける各レイヤの
欠損率と全レイヤを合わせた欠損率、空間スケーラビリ
ティにおける各レイヤの欠損率と全レイヤの欠損率、簡
略動画それぞれの欠損率とすべての簡略動画を合わせた
欠損率についても、前述と同様に、符号レートが高いほ
どほとんどの場合に品質が高く、符号レートが異なる状
況の比較ができないので、使用量と動画品質に応じた評
価値を表すことができないという問題点がある。

【００２９】本発明の目的は、動画情報量や符号量の異
なる動画符号の、伝送後の動画品質の劣化を適切に評価
することのできる、動画符号通信品質評価装置を提供す
ることである。

【００３０】

【課題を解決するための手段】上記課題を解決するため
に、動画符号送信手段から送信された動画符号を、通信
網を介して受信し複号する動画符号受信手段で、伝送中
の伝送品質劣化に起因する動画の欠損量を評価する動画
符号通信評価方法において、特定の時間内に受信した動
画符号量を計数して出力するステップと、特定の時間内
の欠損量を計数するステップと、前記計数された動画符
号量を、前記計数された欠損量で補正して、実効的動画
符号量を算出するステップと、を備え、前記実効的動画
符号量を動画符号通信評価値として出力することによ
り、動画情報量や符号量の異なる動画符号の、伝送後の
動画品質の劣化を適切に評価することができる。（請求
項１）

【００３１】また、動画符号送信手段から送信された動
画符号を、通信網を介して受信し複号する動画符号受信
手段で、伝送中の伝送品質劣化に起因する動画の欠損量
を評価する動画符号通信評価方法において、前記動画符
号は、原画を複数の部分動画に分解して、それぞれ前記
動画を符号化した部分動画符号から成り、特定の時間内
に受信した各部分動画符号量をそれぞれ計数して出力す
るステップと、特定の時間内の各部分動画の欠損量を計
数するステップと、前記計数された各部分動画符号量
を、前記各部分欠損量で補正して、実効的部分動画符号
量を算出するステップと、前記各部分動画符号量を入力
して全体の動画符号量を算出するステップと、前記各部
分動画欠損量を入力して全体の欠損量を算出するステッ
プと、前記算出された全体の動画符号量を、前記算出さ
れた全体の欠損量で補正して、全体の実効的動画符号量
を算出するステップと、を備え、前記各実効的部分動画
符号量及び全体の実効的動画符号量を動画符号通信評価
値として出力することにより、それぞれの部分動画との
使用量と動画品質、さらに動画全体の使用量と動画品質
が得られる。（請求項２）

【００３２】また、前記部分動画は、それぞれビデオオ
ブジェクト別符号化方式の各オブジェクトであることに
より、それぞれのビデオオブジェクトの使用量と動画品
質、さらに、動画全体の使用量と動画品質が得られる。
（請求項３）

【００３３】また、前記部分動画は、それぞれ時間スケ
ーラビリティ符号化方式の各レイヤであることにより、
各レイヤの使用量と、動画品質、さらに、動画全体の使
用量と動画品質が得られる。（請求項４） また、前記部分動画は、それぞれ空間スケーラビリティ
符号化方式の各レイヤであることにより、各レイヤの使
用量と、動画品質、さらに、動画全体の使用量と動画品
質が得られる。（請求項５） また、前記部分動画は、それぞれ簡略動画の分解された
動画であることを特徴とすることにより、各簡略動画の
使用量と動画品質、さらに、動画全体の使用量と動画品
質が得られる。（請求項６）

【００３４】また、前記特定の時間内に受信した動画符
号量を計数して出力するステップの代わりに、復号後の
動画情報量を算出するステップを有することにより、通
信網の負担の軽減のため、符号化効率の高い符号化方式
の適用を促進できる。（請求項７） また、前記特定の時間内に受信した動画符号量を計数し
て出力するステップの代わりに、画面サイズ、フレーム
数、階調量子化レベル数の積から前記欠損量を差し引い
た量子化動画情報量を算出するステップを有することに
より、量子化の粗い動画と量子化の精細な動画との品質
に応じた動画品質が得られる。（請求項８）

【００３５】また、前記特定の時間内に受信した動画符
号量を計数して出力するステップの代わりに、画面サイ
ズ、フレーム数、階調量子化レベル数を重み付けして３
者の積を算出し、前記積から前記欠損量を差し引いた修
正量子化動画情報量を算出するステップを有することに
より、量子化の粗い動画と量子化の精細な動画との品質
により強く相関する動画品質が得られる。（請求項９）

【００３６】また、動画符号を受信する手段と、特定の
時間内に受信した動画符号量を計数して出力する手段
と、特定の時間内の欠損量を計数する手段と、前記計数
された動画符号量を、前記計数された欠損量で補正し
て、実効的動画符号量を算出する手段と、を備え、前記
実効的動画符号量を動画符号通信評価値として出力する
ことにより、動画情報量や符号量の異なる動画符号の、
伝送後の動画品質の劣化を適切に評価できる動画符号通
信評価装置が得られる。（請求項１０）

【００３７】また、原画を複数の部分動画に分解して、
それぞれ前記動画を符号化した部分動画符号を受信する
手段と、特定の時間内に受信した各部分動画符号量をそ
れぞれ計数して出力する手段と、特定の時間内の各部分
動画の欠損量を計数する手段と、前記計数された各部分
動画符号量を、前記各部分欠損量で補正して、実効的部
分動画符号量を算出する手段と、前記各部分動画符号量
を入力して全体の動画符号量を算出する手段と、前記各
部分動画欠損量を入力して全体の欠損量を算出する手段
と、前記算出された全体の動画符号量を、前記算出され
た全体の欠損量で補正して、全体の実効的動画符号量を
算出する手段と、を備え、前記各実効的部分動画符号量
及び全体の実効的動画符号量を動画符号通信評価値とし
て出力することにより、それぞれの部分動画との使用量
と動画品質、さらに動画全体の使用量と動画品質が出力
される動画符号通信評価装置が得られる。（請求項１
１）

【００３８】また、前記部分動画は、それぞれビデオオ
ブジェクト別符号化方式の各オブジェクトであることに
より、それぞれのビデオオブジェクトの使用量と動画品
質、さらに、動画全体の使用量と動画品質が得られる。
（請求項１２）

【００３９】前記部分動画は、それぞれ時間スケーラビ
リティ符号化方式の各レイヤであること各レイヤの使用
量と、動画品質、さらに、動画全体の使用量と動画品質
が得られる。（請求項１３） また、前記部分動画は、それぞれ空間スケーラビリティ
符号化方式の各レイヤであることにより、各レイヤの使
用量と、動画品質、さらに、動画全体の使用量と動画品
質が得られる。（請求項１４） また、前記部分動画は、それぞれ簡略動画の分解された
動画であることを特徴とすることにより、各簡略動画の
使用量と動画品質、さらに、動画全体の使用量と動画品
質が得られる。（請求項１５）

【００４０】また、前記特定の時間内に受信した動画符
号量を計数して出力する手段の代わりに、復号後の動画
情報量を算出する手段を有することにより、通信網の負
担の軽減のため、符号化効率の高い符号化方式の適用を
促進できる。（請求項１６）また、前記特定の時間内に
受信した動画符号量を計数して出力する手段の代わり
に、画面サイズ、フレーム数、階調量子化レベル数の積
から前記欠損量を差し引いた量子化動画情報量を算出す
る手段を有することにより、量子化の粗い動画と量子化
の精細な動画との品質に応じた動画品質が得られる。
（請求項１７）

【００４１】また、前記特定の時間内に受信した動画符
号量を計数して出力する手段の代わりに、画面サイズ、
フレーム数、階調量子化レベル数を重み付けして３者の
積を算出し、前記積から前記欠損量を差し引いた修正量
子化動画情報量を算出する手段を有することにより、量
子化の粗い動画と量子化の精細な動画との品質により強
く相関する動画品質が得られる。（請求項１８）

【００４２】

【発明の実施の形態】次に、本発明の実施例について、
図面を参照して説明する。図１は、本発明の実施例を示
す装置の構成を示すブロック図である。動画符号送信器
11は、図示されていないが、通信網を介して動画符号を
動画信号受信器２１に送信する。動画符号受信器21は前
記動画符号を受信して復号する。復号時に動画符号に異
常があれば、動画符号受信器21が異常検出信号を出力し
て動画欠損評価器23に入力するか、または、動画欠損評
価器23が異常を検出する。

【００４３】ここで、動画欠損評価器23は、同発明者に
よる特願平11-153078「動画通信品質判定装置」に原理
・構成・作用が記載されているが、以下、簡潔に説明す
る。動画欠損評価器23は、異常領域、すなわち欠損領域
を計数する。正しく復号できた領域を記録し、そのよう
に記録されなかった領域を異常または欠損と見なす方法
である。計数は、画素単位、ブロック単位、マクロブロ
ック単位、フレーム単位で行われる。特に直接の欠損領
域でなくても、他の領域が欠損領域を参照している場合
には、影響が波及するので、欠損領域を参照して復号さ
れるはずの領域を欠損として計数する。さらに、定めら
れた時間の範囲で、全体に対する欠損領域の割合を欠損
率として出力する。

【００４４】動画符号受信器21で受信された動画符号
は、動画符号計数器22に入力され、前記と同じ時間の範
囲の動画符号量を計数し出力する。動画品質評価値換算
部24は、前記の欠損率と前記の動画符号量を入力して、
前記動画符号量を前記欠損率で比例補正し、実効的動画
符号量を出力する。例えば、特定の１秒間に、4Mbitの
動画符号量があり、欠損率が5%である場合は、実効的動
画符号量は、4Mbit×(1-0.05)＝3.8Mbitという、実効的
動画符号量が得られる。別の例で、特定の１秒間に、10
0kbitの動画符号量があり、欠損率が5%である場合は、
実効的動画符号量は、100kbit×(1-0.05)＝95kbitとい
う、実効的動画符号量が得られる。

【００４５】このように同じ欠損率であっても、前者の
動画品質が高いことを反映している。 極端な例では、
4Mbit/sの動画符号の欠損率が50%である場合と、2Mbit/
sの動画符号で欠損率が0%である場合で、ほぼ同じ料金
を課すことは、通信量としての使用量という観点でおよ
そ妥当である。したがって、実効的動画符号量は、課金
のための品質評価値として有効である。もし、符号化効
率に著しい違いのある動画符号の通信品質を比較する場
合は、符号レートは適当な尺度ではない。

【００４６】伝送容量に余裕があって、受信器の処理速
度が重視される場合は、動画の情報量が重要である。こ
こでは、復号後の動画の情報量を用いる。量子化粗さ・
符号レートに関係なく、復号後の動画情報量を欠損率で
補正する。例えば復号後の画像が横500×縦400画素、１
画素当たりカラー16bit相当、毎秒30フレームとする
と、特定の１秒間の動画情報量はおよそ100Mbitであ
る。この場合に、欠損率が5%である場合、実効的動画情
報量は100Mbit×(1-0.05)＝95Mbitである。別の例で、
横200×縦150画素、１画素当たりカラー16bit相当、毎
秒10フレームとすると特定の１秒間の動画情報量はおよ
そ5Mbit/sであり、この場合に欠損率が5%である場合、
実効的動画情報量は5Mbit×(1-0.05)＝4.75Mbitであ
る。この場合も同じ欠損率であっても、前者の動画品質
が高いことを反映している。

【００４７】極端な例で、復号後に100Mbit/sの動画が
得られるところを、欠損率が50%である場合と、復号後
に50Mbit/sの動画が得られるところを、欠損率が0%であ
る場合で、画面サイズやフレームレート、符号レートに
違いがあっても、得られた情報量が、ほぼ同じと見なし
て、ほぼ同じ料金を課すという立場もある。この場合は
符号化効率の高い方式を用いた方が通信容量の負担が軽
くなるから、符号化方式の改善を促進する作用がある。

【００４８】復号後の動画情報量を用いる場合の装置の
構成は、前記動画符号計数器22が前記で動画符号を計数
する代わりに、画面サイズ、フレームレート、階調レベ
ル数（色数）などから、復号後の動画情報量を算出す
る。動画品質評価値換算部24は、欠損率で比例補正する
作用は、前記と同じである。特に、前記動画符号計数器
22が、前記で動画符号を計数する代わりに、画面サイ
ズ、フレームレート、量子化階調レベル数の３者の積
を、ここで量子化動画情報量と呼ぶ値を算出する。

【００４９】受信器で表示可能な階調レベル数が大きく
ても、すでに符号化時に量子化された階調レベル数が少
なければ動画情報量としては少ないまた、量子化が粗い
ほど、品質が下がる一般的な性質を反映した値が得られ
ることになる。動画品質評価値換算部24では、前記量子
化動画情報量から欠損量を差し引いたものを、動画符号
評価値とする。ここで、欠損量の算出も同様でもよい。
さらに、前記動画符号計数器22が、動画符号を計数する
代わりに、画面サイズ、フレームレート、量子化階調レ
ベル数の３者の重み付けをして得られる３つの数値の積
を、ここで修正量子化動画情報量と呼ぶ値を算出する。
動画品質評価値換算部24では、前記修正量子化動画情報
量から欠損量を差し引いたものを、動画符号評価値とす
る。ここで、欠損量の算出も同様でもよい。

【００５０】ところで、注目する動画が、複数の部分動
画から成る場合は、例えば３つの部分動画から成ると
き、図２の構成で実施する。図2の動画符号送信器11、
動画符号受信器21、部分動画符号受信器251、252、253
は、図3の構成・作用と同様である。図2の部分動画符号
計数器221、222、223は、図1の動画符号計数器22と同一
の作用であり、特定の部分動画の範囲で計数し、計数結
果をさらに図2の動画符号計数器22にも出力する。

【００５１】図2の部分動画欠損評価器231、232、233
は、図1の動画欠損評価部と同一の作用であり、特定の
部分動画の範囲で欠損を評価し、評価結果をさらに図2
の動画欠損評価器23にも出力する。時間スケーラビリテ
ィ、空間スケーラビリティの場合はより下位のレイヤの
欠損がすぐ上のレイヤに波及するので、参照した下位の
レイヤが欠損している場合は、欠損とされる。

【００５２】図2の動画品質評価換算器241、242、243
は、図1の動画品質評価値換算器24と同一の作用であ
る。図2の動画符号計数器22は、部分動画符号計数器22
1、222、223の出力を加算して動画品質評価値換算器24
に出力する。図2の動画欠損評価器23は、部分動画欠損
評価器231、232、233の出力を加算して動画品質評価値
換算器24に出力する。図2の動画品質評価値換算器24
は、図1の動画品質評価値換算器24の作用と同一であ
る。

【００５３】受信器によっては、前述の基本レイヤや簡
略動画のひとつだけ受信するなど、一部の部分動画のみ
を処理するので、図2の構成によって、それぞれの部分
動画の評価値が得られる。また、それぞれの部分動画の
品質に対して、欠損が低くなるように部分動画符号の伝
送品質に還元することができ、欠損率の低減に有効であ
る。しかも動画全体の評価も得られるので、全体の欠損
の低減にも有効である。

【００５４】

【発明の効果】請求項１に記載の発明では、動画符号送
信手段から送信された動画符号を、通信網を介して受信
し複号する動画符号受信手段で、伝送中の伝送品質劣化
に起因する動画の欠損量を評価する動画符号通信評価方
法において、特定の時間内に受信した動画符号量を計数
して出力するステップと、特定の時間内の欠損量を計数
するステップと、前記計数された動画符号量を、前記計
数された欠損量で補正して、実効的動画符号量を算出す
るステップと、を備え、前記実効的動画符号量を動画符
号通信評価値として出力することにより、動画情報量や
符号量の異なる動画符号の、伝送後の動画品質の劣化を
適切に評価することができるので、符号レートの異なる
動画符号どうしの品質の比較ができ、使用量と動画品質
に応じた料金を定めるために有効である。

【００５５】また、請求項２に記載の発明では、動画符
号送信手段から送信された動画符号を、通信網を介して
受信し複号する動画符号受信手段で、伝送中の伝送品質
劣化に起因する動画の欠損量を評価する動画符号通信評
価方法において、前記動画符号は、原画を複数の部分動
画に分解して、それぞれ前記動画を符号化した部分動画
符号から成り、特定の時間内に受信した各部分動画符号
量をそれぞれ計数して出力するステップと、特定の時間
内の各部分動画の欠損量を計数するステップと、前記計
数された各部分動画符号量を、前記各部分欠損量で補正
して、実効的部分動画符号量を算出するステップと、前
記各部分動画符号量を入力して全体の動画符号量を算出
するステップと、前記各部分動画欠損量を入力して全体
の欠損量を算出するステップと、前記算出された全体の
動画符号量を、前記算出された全体の欠損量で補正し
て、全体の実効的動画符号量を算出するステップと、を
備え、前記各実効的部分動画符号量及び全体の実効的動
画符号量を動画符号通信評価値として出力することによ
り、それぞれの部分動画との使用量と動画品質、さらに
動画全体の使用量と動画品質が得られるので、部分動画
のみを利用する場合にも動画全体を利用する場合にも使
用量と動画品質に応じた料金を定めるために有効であ
る。

【００５６】また、請求項３に記載の発明では、前記部
分動画は、それぞれビデオオブジェクト別符号化方式の
各オブジェクトであることにより、それぞれのビデオオ
ブジェクトの使用量と動画品質、さらに、動画全体の使
用量と動画品質が得られるので、特定のビデオオブジェ
クトを利用する場合にも動画全体を利用する場合にも使
用量と動画品質に応じた料金を定めるために有効であ
る。

【００５７】また、請求項４に記載の発明では、前記部
分動画は、それぞれ時間スケーラビリティ符号化方式の
各レイヤであることにより、各レイヤの使用量と、動画
品質、さらに、動画全体の使用量と動画品質が得られる
ので、基本レイヤのみを利用する場合にも動画全体を利
用する場合にも使用量と動画品質に応じた料金を定める
ために有効である。また、請求項５に記載の発明では、
前記部分動画は、それぞれ空間スケーラビリティ符号化
方式の各レイヤであることにより、各レイヤの使用量
と、動画品質、さらに、動画全体の使用量と動画品質が
得られるので、基本レイヤのみを利用する場合にも動画
全体を利用する場合にも使用量と動画品質に応じた料金
を定めるために有効である。また、請求項６に記載の発
明では、前記部分動画は、それぞれ簡略動画の分解され
た動画であることを特徴とすることにより、各簡略動画
の使用量と動画品質、さらに、動画全体の使用量と動画
品質が得られるので、簡略動画のみを利用する場合にも
動画全体を利用する場合にも使用量と動画品質に応じた
料金を定めるために有効である。

【００５８】また、請求項７に記載の発明では、前記特
定の時間内に受信した動画符号量を計数して出力するス
テップの代わりに、復号後の動画情報量を算出するステ
ップを有することにより、通信網の負担の軽減のため、
符号化効率の高い符号化方式の適用を促進できるので、
通信路の負担が軽減のため符号化効率の高い符号化方式
の適用を促進するという効果がある。また、請求項８に
記載の発明では、前記特定の時間内に受信した動画符号
量を計数して出力するステップの代わりに、画面サイ
ズ、フレーム数、階調量子化レベル数の積から前記欠損
量を差し引いた量子化動画情報量を算出するステップを
有することにより、量子化の粗い動画と量子化の精細な
動画との品質に応じた動画品質が得られるので、量子化
の粗い動画と量子化の精細な動画との品質に応じた動画
品質が得られるという効果がある。

【００５９】また、請求項９に記載の発明では、前記特
定の時間内に受信した動画符号量を計数して出力するス
テップの代わりに、画面サイズ、フレーム数、階調量子
化レベル数を重み付けして３者の積を算出し、前記積か
ら前記欠損量を差し引いた修正量子化動画情報量を算出
するステップを有することにより、量子化の粗い動画と
量子化の精細な動画との品質により強く相関する動画品
質が得られるという効果が得られる。

【００６０】また、請求項１０に記載の発明では、動画
符号を受信する手段と、特定の時間内に受信した動画符
号量を計数して出力する手段と、特定の時間内の欠損量
を計数する手段と、前記計数された動画符号量を、前記
計数された欠損量で補正して、実効的動画符号量を算出
する手段と、を備え、前記実効的動画符号量を動画符号
通信評価値として出力することにより、動画情報量や符
号量の異なる動画符号の、伝送後の動画品質の劣化を適
切に評価できる動画符号通信評価装置が得られ、符号レ
ートの異なる動画符号どうしの品質の比較ができ、使用
量と動画品質に応じた料金を定めるために有効である。

【００６１】また、請求項１１に記載の発明では、原画
を複数の部分動画に分解して、それぞれ前記動画を符号
化した部分動画符号を受信する手段と、特定の時間内に
受信した各部分動画符号量をそれぞれ計数して出力する
手段と、特定の時間内の各部分動画の欠損量を計数する
手段と、前記計数された各部分動画符号量を、前記各部
分欠損量で補正して、実効的部分動画符号量を算出する
手段と、前記各部分動画符号量を入力して全体の動画符
号量を算出する手段と、前記各部分動画欠損量を入力し
て全体の欠損量を算出する手段と、前記算出された全体
の動画符号量を、前記算出された全体の欠損量で補正し
て、全体の実効的動画符号量を算出する手段と、を備
え、前記各実効的部分動画符号量及び全体の実効的動画
符号量を動画符号通信評価値として出力することによ
り、それぞれの部分動画との使用量と動画品質、さらに
動画全体の使用量と動画品質が出力される動画符号通信
評価装置が得られ、部分動画のみを利用する場合にも動
画全体を利用する場合にも使用量と動画品質に応じた料
金を定めるために有効である。

【００６２】また、請求項１２に記載の発明では、前記
部分動画は、それぞれビデオオブジェクト別符号化方式
の各オブジェクトであることにより、それぞれのビデオ
オブジェクトの使用量と動画品質、さらに、動画全体の
使用量と動画品質が得られ、特定のビデオオブジェクト
を利用する場合にも動画全体を利用する場合にも使用量
と動画品質に応じた料金を定めるために有効である。

【００６３】また、請求項１３に記載の発明では、前記
部分動画は、それぞれ時間スケーラビリティ符号化方式
の各レイヤであること各レイヤの使用量と、動画品質、
さらに、動画全体の使用量と動画品質が得られるので、
基本レイヤのみを利用する場合にも動画全体を利用する
場合にも使用量と動画品質に応じた料金を定めるために
有効である。また、請求項１４に記載の発明では、前記
部分動画は、それぞれ空間スケーラビリティ符号化方式
の各レイヤであることにより、各レイヤの使用量と、動
画品質、さらに、動画全体の使用量と動画品質が得られ
るので、基本レイヤのみを利用する場合にも動画全体を
利用する場合にも使用量と動画品質に応じた料金を定め
るために有効である。また、請求項１５に記載の発明で
は、前記部分動画は、それぞれ簡略動画の分解された動
画であることを特徴とすることにより、各簡略動画の使
用量と動画品質、さらに、動画全体の使用量と動画品質
が得られるので、簡略動画のみを利用する場合にも動画
全体を利用する場合にも使用量と動画品質に応じた料金
を定めるために有効である。

【００６４】また、請求項１６に記載の発明では、前記
特定の時間内に受信した動画符号量を計数して出力する
手段の代わりに、復号後の動画情報量を算出する手段を
有することにより、通信網の負担の軽減のため、符号化
効率の高い符号化方式の適用を促進できるので、通信路
の負担が軽減のため符号化効率の高い符号化方式の適用
を促進するという効果がある。また、請求項１７に記載
の発明では、前記特定の時間内に受信した動画符号量を
計数して出力する手段の代わりに、画面サイズ、フレー
ム数、階調量子化レベル数の積から前記欠損量を差し引
いた量子化動画情報量を算出する手段を有することによ
り、量子化の粗い動画と量子化の精細な動画との品質に
応じた動画品質が得られるので、量子化の粗い動画と量
子化の精細な動画との品質に応じた動画品質が得られる
という効果がある。

【００６５】また、請求項１８に記載の発明では、前記
特定の時間内に受信した動画符号量を計数して出力する
手段の代わりに、画面サイズ、フレーム数、階調量子化
レベル数を重み付けして３者の積を算出し、前記積から
前記欠損量を差し引いた修正量子化動画情報量を算出す
る手段を有することにより、量子化の粗い動画と量子化
の精細な動画との品質により強く相関する動画品質が得
られる。

【図面の簡単な説明】

【図１】本発明の第一の実施例による装置の構成を示す
ブロック図である。

【図２】本発明の第二の実施例による装置の構成を示す
ブロック図である。

【図３】部分動画符号を受信する受信器の構成を示すブ
ロック図である。

【図４】従来例を示す説明図である。

【符号の説明】

11 動画符号送信器 21 動画符号受信器 22、221、222、223 動画符号計数器 23、231、232、233 動画欠損評価器 24、241、242、243 動画品質評価値換算器 251、252、253 部分動画受信器 26 動画合成器

Claims (18)

【特許請求の範囲】
1. 【請求項１】 動画符号送信手段から送信された動画符
   号を、通信網を介して受信し複号する動画符号受信手段
   で、伝送中の伝送品質劣化に起因する動画の欠損量を評
   価する動画符号通信評価方法において、 特定の時間内に受信した動画符号量を計数して出力する
   ステップと、 特定の時間内の欠損量を計数するステップと、 前記計数された動画符号量を、前記計数された欠損量で
   補正して、実効的動画符号量を算出するステップと、 を備え、前記実効的動画符号量を動画符号通信評価値と
   して出力することを特徴とする動画符号通信評価方法。
2. 【請求項２】 動画符号送信手段から送信された動画符
   号を、通信網を介して受信し複号する動画符号受信手段
   で、伝送中の伝送品質劣化に起因する動画の欠損量を評
   価する動画符号通信評価方法において、 前記動画符号は、原画を複数の部分動画に分解して、そ
   れぞれ前記動画を符号化した部分動画符号から成り、 特定の時間内に受信した各部分動画符号量をそれぞれ計
   数して出力するステップと、 特定の時間内の各部分動画の欠損量を計数するステップ
   と、 前記計数された各部分動画符号量を、前記各部分欠損量
   で補正して、実効的部分動画符号量を算出するステップ
   と、 前記各部分動画符号量を入力して全体の動画符号量を算
   出するステップと、 前記各部分動画欠損量を入力して全体の欠損量を算出す
   るステップと、 前記算出された全体の動画符号量を、前記算出された全
   体の欠損量で補正して、全体の実効的動画符号量を算出
   するステップと、 を備え、前記各実効的部分動画符号量及び全体の実効的
   動画符号量を動画符号通信評価値として出力することを
   特徴とする動画符号通信評価方法。
3. 【請求項３】 前記部分動画は、それぞれビデオオブジ
   ェクト別符号化方式の各オブジェクトであることを特徴
   とする請求項２記載の動画符号通信評価方法。
4. 【請求項４】 前記部分動画は、それぞれ時間スケーラ
   ビリティ符号化方式の各レイヤであることを特徴とする
   請求項２記載の動画符号通信評価方法。
5. 【請求項５】 前記部分動画は、それぞれ空間スケーラ
   ビリティ符号化方式の各レイヤであることを特徴とする
   請求項２記載の動画符号通信評価方法。
6. 【請求項６】 前記部分動画は、それぞれ簡略動画の分
   解された動画であることを特徴とする請求項２記載の動
   画符号通信評価方法。
7. 【請求項７】 前記特定の時間内に受信した動画符号量
   を計数して出力するステップの代わりに、復号後の動画
   情報量を算出するステップを有することを特徴とする請
   求項１〜６のいずれか１項に記載の動画符号通信評価方
   法。
8. 【請求項８】 前記特定の時間内に受信した動画符号量
   を計数して出力するステップの代わりに、画面サイズ、
   フレーム数、階調量子化レベル数の積から前記欠損量を
   差し引いた量子化動画情報量を算出するステップを有す
   ることを特徴とする請求項１〜６のいずれか１項に記載
   の記載の動画符号通信評価方法。。
9. 【請求項９】 前記特定の時間内に受信した動画符号量
   を計数して出力するステップの代わりに、画面サイズ、
   フレーム数、階調量子化レベル数を重み付けして３者の
   積を算出し、前記積から前記欠損量を差し引いた修正量
   子化動画情報量を算出するステップを、有することを特
   徴とする請求項１〜６のいずれか１項に記載の動画符号
   通信評価方法。
10. 【請求項１０】 動画符号を受信する手段と、 特定の時間内に受信した動画符号量を計数して出力する
    手段と、 特定の時間内の欠損量を計数する手段と、 前記計数された動画符号量を、前記計数された欠損量で
    補正して、実効的動画符号量を算出する手段と、 を備え、前記実効的動画符号量を動画符号通信評価値と
    して出力することを特徴とする動画符号通信評価装置。
11. 【請求項１１】 原画を複数の部分動画に分解して、そ
    れぞれ前記動画を符号化した部分動画符号を受信する手
    段と、 特定の時間内に受信した各部分動画符号量をそれぞれ計
    数して出力する手段と、 特定の時間内の各部分動画の欠損量を計数する手段と、 前記計数された各部分動画符号量を、前記各部分欠損量
    で補正して、実効的部分動画符号量を算出する手段と、 前記各部分動画符号量を入力して全体の動画符号量を算
    出する手段と、 前記各部分動画欠損量を入力して全体の欠損量を算出す
    る手段と、 前記算出された全体の動画符号量を、前記算出された全
    体の欠損量で補正して、全体の実効的動画符号量を算出
    する手段と、 を備え、前記各実効的部分動画符号量及び全体の実効的
    動画符号量を動画符号通信評価値として出力することを
    特徴とする動画符号通信評価装置。
12. 【請求項１２】 前記部分動画は、それぞれビデオオブ
    ジェクト別符号化方式の各オブジェクトであることを特
    徴とする請求項１１記載の動画符号通信評価装置。
13. 【請求項１３】 前記部分動画は、それぞれ時間スケー
    ラビリティ符号化方式の各レイヤであることを特徴とす
    る請求項１１記載の動画符号通信評価装置。
14. 【請求項１４】 前記部分動画は、それぞれ空間スケー
    ラビリティ符号化方式の各レイヤであることを特徴とす
    る請求項１１記載の動画符号通信評価方法。
15. 【請求項１５】 前記部分動画は、それぞれ簡略動画の
    分解された動画であることを特徴とする請求項１１記載
    の動画符号通信評価装置。
16. 【請求項１６】 前記特定の時間内に受信した動画符号
    量を計数して出力する手段の代わりに、復号後の動画情
    報量を算出する手段を有することを特徴とする請求項１
    ０〜１５のいずれか１項に記載の動画符号通信評価装
    置。
17. 【請求項１７】 前記特定の時間内に受信した動画符号
    量を計数して出力する手段の代わりに、画面サイズ、フ
    レーム数、階調量子化レベル数の積から前記欠損量を差
    し引いた量子化動画情報量を算出する手段を有すること
    を特徴とする請求項１０〜１５のいずれか１項に記載の
    記載の動画符号通信評価装置。
18. 【請求項１８】 前記特定の時間内に受信した動画符号
    量を計数して出力する手段の代わりに、画面サイズ、フ
    レーム数、階調量子化レベル数を重み付けして３者の積
    を算出し、前記積から前記欠損量を差し引いた修正量子
    化動画情報量を算出する手段を、有することを特徴とす
    る請求項１０〜１５のいずれか１項に記載の動画符号通
    信評価装置。