JP2002320229A - 動画符号通信画質評価方法及び評価システム - Google Patents

Abstract

(57)【要約】 【課題】システムの規模を大きくすることなく、受信し
た画像符号の劣化を容易に評価できる動画符号評価方法
及び動画符号評価装置を提供する。 【解決手段】 被伝送画像に特定のパターンを合成する
画像合成手段１１と、前記特定のパターンが合成された
画像を、動画符号に符号化して伝送路に送信する動画符
号化送信手段１２と、伝送路を介して受信した動画符号
を復号する受信動画復号手段２１と、前記復号された動
画符号から、前記特定のパターンを分離する画像分離手
段２２と、前記分離された特定のパターンと、予め保持
されたパターンとの対比を行って伝送に伴う動画符号の
劣化を評価を行う劣化成分評価手段２３とを含む動画符
号通信画質評価システム。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画符号通信評価
装置に関し、特にディジタル動画符号送受信における伝
送後の動画品質の劣化を評価するシステムに関する。

【０００２】

【従来技術】ディジタル動画は、動画フレーム（以下、
フレームという）と呼ぶ瞬間の映像が、時間的に連なっ
たものである。ディジタル動画は一般にデータ量が膨大
なので、統計的な冗長性と、それを見る人間の視覚の特
性を利用して、情報圧縮すなわち符号化（エンコード）
を行って送信し、受信側で伸長すなわち復号（デコー
ド）を行って動画を再生するという動画符号送受信が広
く行われている。

【０００３】例えば動画符号の国際標準には、例えば国
際標準化機構であるISO (International Organization
for Standardization)及びIEC (International Electro
technical Commission)によるMPEG (Moving Picture Ex
perts Group)-2 (ISO/IEC-13818)、MPEG-4 (ISO/IEC-14
496)、ITU (International Telecommunication Union)
勧告によるH.261、H.263などがある。本発明は、前述の
国際標準だけでなく、同等の動画符号にも適用される。

【０００４】前記の国際標準では動画フレームは格子状
に並んだ画素からなり、縦8画素×横8画素の正方形に領
域分割し、それぞれをブロックと呼ぶ。また縦16画素×
横16画素の正方形に領域分割し、それぞれをマクロブロ
ックと呼ぶ。ブロックの周波数成分を量子化してディジ
タル符号化する。往々にしてこの量子化を粗くすると符
号量が減る。ある動画フレームを基準として、時間的に
近い動画フレームは、基準との差分を符号化し、伝送
後、復号された基準を参照して、差分を加え、すなわち
加算合成することにより、時間的に近い動画フレームを
再生する。これをフレーム間予測符号化方式と呼ぶ。他
のフレームを参照するフレームと、参照しないフレーム
とがある。

【０００５】この他に、あるパラメータを基準としてほ
かは差分を符号化することが多用される。往々にして予
測符号化を多用すると符号量が減る。このことを符号化
効率が向上するともいう。一方で後述するように伝送誤
りなどで参照値が復号できないとこの値を参照した上で
復号される他の値も復号できないので、予測符号化を多
用するほど伝送誤りなどの符号欠損の影響が大きくな
る。

【０００６】前記MPEG-4ではビデオオブジェクト別符号
化方式が使われる。例えばある風景を背景にして人物が
物体を指さして説明している映像を、背景、人物、物体
をそれぞれ別々に符号化して伝送し、受信後にそれぞれ
復号して、元の動画を合成する。このように別々に符号
化される被写体をビデオオブジェクトという。例えば背
景は極めて粗い動画でよく、物体を最も精細な動画にし
たいという場合に有効な方式である。それぞれのビデオ
オブジェクトは時間的な動画フレームのつらなりから成
り、それぞれのフレームを特にビデオオブジェクトプレ
ーン（略号でVOP）という。

【０００７】また、時間スケーラビリティ符号化方式が
使われる。前述のVOPを時間的に間引きして、時間間隔
が大きなVOPから成る動画を構成し、これを符号化した
ものを基本レイヤの符号と呼ぶ。大きな時間間隔の間を
埋めるように、間引き前の時間間隔のVOPは、直前の基
本レイヤのVOPの差分が符号化され、これを拡張レイヤ
の符号と呼ぶ。受信側では基本レイヤを復号することに
より、時間分解能の粗い動画を再生して、次に拡張レイ
ヤを復号して加算合成し、時間分解能の高い動画を再生
する。拡張レイヤが劣化しても基本レイヤが再生できれ
ば、およその映像の内容を伝えることができるので有効
である。

【０００８】また、空間スケーラビリティ符号化方式が
使われる。それぞれの動画フレームにおいて、縦方向ま
たは横方向に並ぶ画素の階調値の変化を複数の周波数成
分の合成とみなし、時間変化に対して空間方向の変化と
呼ぶ。それぞれの動画フレームにおける異なる被写体を
解像する性能を空間分解能と呼ぶ。粗い空間分解能の成
分からなる動画を符号化したものを空間スケーラビリテ
ィにおける基本レイヤの符号と呼ぶ。

【０００９】粗い空間分解能を埋めるように元の詳細な
空間分解能の動画と基本レイヤとの差分を符号化したも
のを拡張レイヤと呼ぶ。受信側では、基本レイヤを復号
して粗い空間分解能の動画を復号し、次に拡張レイヤを
復号して加算合成し、空間分解能の高い動画を再生す
る。拡張レイヤが劣化しても基本レイヤが再生できれば
およその映像の内容を伝えることができるので有効であ
る。

【００１０】上記の如き、種々の動画符号の伝送に際し
て、動画符号を遠隔地に存在する受信部に対して送信す
る場合に、遠隔地に存在する受信部で受信した動画符号
が、送信した動画符号に比べて劣化してしまう。そし
て、受信側では、この通信に伴う動画符号の劣化を測定
する必要があり、従来は、この動画符号の劣化の測定を
以下の方法で行っていた。

【００１１】(a)原画と受信した符号化画像との差を評
価する方法。送信部から送信される原画を、予め受信部
において保持しておいて、受信した符号化原画とを比較
することによって、通信に伴う動画符号の劣化の程度を
評価する。 (b)受信部で受信した動画符号を検査する方法。送信部
から送信された動画符号の受信部において、符号の誤り
検査を行って、通信に伴う動画符号の劣化の程度を評価
する。 (c)受信部で復号した復号画像に画像処理を行って、劣
化成分を抽出する方法。

【００１２】なお、復号画像に画像処理を行って、劣化
成分を抽出する方法としては以下のものがある。上述の
如く、横８画素×縦８画素のブロックに分割されて周波
数成分を量子化する符号化方式において、例えば、ブロ
ックの左上隅の画素と、その左隣の画素（この画素は隣
のブロックに属する）の階調の差を同一フレーム内で平
均した値をa0とする。一方、同じブロックに属して左右
隣接する２つの画素の階調の差を同一フレーム内でブロ
ック内の同じ位置から選んで平均した値をanとする。

【００１３】ビデオカメラで風景や人物などを撮影した
普通の多くの映像について、ブロック毎に符号化する前
の映像では、a0とanはほぼ等しいのに対して、ブロック
毎に符号化した後の復号画像では、a0が大きくなり、し
かも量子化が粗い程大きくばらつく。この性質を利用し
て、復号化画像でa0、anを求める画像処理を行って、a0
とanの違いから符号化に伴う画像の劣化を評価する。

【００１４】この場合、符号化前の映像がコンピュータ
合成その他の生成手段に起因して、階調値に８画素の周
期性があったり、８画素サイズの模様をもっている場合
には、a0とanとから符号化に伴う画像の劣化を評価する
のが困難になる。また、一度８画素サイズのブロック毎
の符号化−復号を経た画像が原画として有り、さらに８
画素サイズのブロック毎の符号化をすると、原画が既に
劣化していたのか、新たな符号化で劣化したのか区別が
付かず、a0とanの違いだけから算出しても、実際の劣化
とは一致せず、誤差が生じる。

【００１５】動画通信において、これを避けるには、評
価原画も入手して比較したり、原画のa0、anを同時に算
出・送信して、復号画像と共に処理する手段が必要であ
り、処理規模が大きくなる。したがって、従来の動画通
信システムの送信側も変更する必要が生じる。

【００１６】

【発明が解決しようとする課題】そして、上記の方法
では、送信部から送信されてくる画像符号の原画を予め
受信部に用意しておく必要が有り、システムの規模が大
きくなってしまうという問題がある。また、の方法で
は、符号化方式に応じて、それぞれ、符号検査手段を用
意する必要があり、やはり、システムの規模が大きくな
ってしまうという問題がある。

【００１７】本発明の課題（目的）は、システムの規模
を大きくすることなく、受信した画像符号の劣化を容易
に評価できる動画符号評価方法及び動画符号評価システ
ムを提供することにある。

【００１８】

【課題を解決するための手段】前記課題を解決するため
に、被伝送画像に特定のパターンを合成するステップ
と、前記特定のパターンが合成された画像を、動画符号
に符号化して伝送路に送信するステップと、伝送路を介
して受信した動画符号を復号するステップと、前記復号
された動画符号から、前記特定のパターンを分離するス
テップと、前記分離された特定のパターンと、予め保持
されたパターンとの対比を行って伝送に伴う動画符号の
劣化を評価を行うステップとで、動画符号通信画質評価
方法を構成することにより、システムの規模を大きくす
ることなく、受信した画像符号の劣化を容易に評価でき
る。（請求項１）

【００１９】また、前記特定のパターンは、被伝送画像
の所定の位置に合成されるので、受信側おける特定パタ
ーの分離及び対比を容易に行うことが可能になる。（請
求項２）また、前記特定のパターンとして、被伝送画像
に合成される時刻表示を用いることによって、伝送画像
に時刻データが、スーパーインポーズの如く自動的に合
成されて伝送される場合には、その時刻データを特定パ
ターにすることができる。（請求項３）

【００２０】また、被伝送画像に特定のパターンを合成
する画像合成手段（画像合成器）１１と、前記特定のパ
ターンが合成された画像を、動画符号に符号化して伝送
路に送信する動画符号化送信手段（動画符号化送信器）
１２と、伝送路を介して受信した動画符号を復号する受
信動画復号手段８受信部復号器）２１と、前記復号され
た動画符号から、前記特定のパターンを分離する画像分
離手段（画像分解器）２２と、前記分離された特定のパ
ターンと、予め保持されたパターンとの対比を行って伝
送に伴う動画符号の劣化を評価を行う劣化成分評価手段
（劣化成分評価器）２３とで、動画符号通信画質評価シ
ステムを構成することにより、システムの規模を大きく
することなく、受信した画像符号の劣化を容易に評価で
きる。（請求項４）

【００２１】また、前記特定のパターンが、送信側及び
受信側に、それぞれ複数個有する辞書として、予め保持
しておくことにより、伝送する動画に応じた特定パター
ンを選択することが可能になる。（請求項５）また、前
記画像合成手段で合成される前記特定のパターンとし
て、被伝送画像に合成される時刻表示を用いることによ
って、伝送画像に時刻データが、スーパーインポーズの
如く自動的に合成されて伝送される場合には、その時刻
データを特定パターにすることができる。（請求項６）
また、前記画像合成手段で合成される前記特定のパター
ンとして、周囲に溶け込むパターンを用いることによっ
て、受信側において、動画を見る人に対して、パターン
を合成した影響を少なくすることができる。（請求項
７）

【００２２】

【発明の実施の形態】以下、図面を用いて本発明の動画
符号評価システムの構成を説明する。図１は、本発明に
おける動画符号評価システムの動作（作用）を説明する
ためのブロック図である。図１において、１１は送信側
に設けられた被伝送画像を撮影するカメラである。１２
は、該カメラ１１によって撮影された画像データＡ（図
１の右側に矩形に囲まれた動画の画面）に対して、該動
画の画面Ａの右下部分に示された既知のパターンＰを画
像合成する画像合成器である。なお、図１では、既知の
パターンＰは、画像の画面の右下に示されているが、既
知のパターンが合成される位置は、画像の画面Ａの任意
の位置で良い。

【００２３】１３は、前記画像合成器１２によって、既
知のパターンＰが合成された画像データを符号化して、
伝送路を介して受信部に対して送信する動画符号化送信
器（エンコーダ）である。なお、カメラ１１、画像合成
器１２及び動画符号化送信器１３は、動画符号の送信側
に設けられている。

【００２４】２１は、伝送路を介して受信した画像符号
を受信して復号する受信部復号器（デコーダ）である。
また、２２は、復号された画像データを送信部で合成さ
れた、既知のパターンＰを取り出すための画像分解器で
ある。該、画像分解器２２で分解された、送信部で合成
されて伝送されてきた、既知のパターンＰと、予め受信
部に保持されていた既知のパターンとの比較を行って差
成分の大きさを算出することにより、伝送による動画符
号の劣化を評価する劣化成分評価器である。なお、受信
部復号器２１、画像分解器２２及び劣化成分評価器２３
は、が同符号の受信側に設けられている。

【００２５】劣化成分評価器２３における動画符号の評
価は、従来の上記の評価の仕方と同様であるが、従来
の評価では、動画画面の全体における動画符号の劣化を
評価していたが、本発明の評価は、動画画面の一部分で
ある既知のパターンＰについてのみ評価を行っているの
で、受信側で予め用意する評価用の既知のパターンＰの
規模が大幅に少なくて済むという利点がある。また、評
価するパターンのデータ容量も小さいくなるので、評価
に要する時間を短縮することができる。

【００２６】なお、動画符号の劣化を評価するための、
既知のパターンＰとしては、送信側と受信側に、予め複
数のパターンの辞書を用意しておいて、任意の既知のパ
ターンを用いることが可能である。また、既知のパター
ンとして、周囲に溶け込むパターンを用いることができ
る。

【００２７】なお、周囲に溶け込むパターンを用いるの
は、評価のために付加された画像が、元々の動画通信の
目的の阻害が最小限になるように、特定のパターンを目
立たないように合成して符号化する。１例としては、送
信側で、右下隅のブロック８×８画素を決まったパター
ン（受信側では既知）の画像に置き換えてから、符号化
して送信する方法がある。この場合は、動画通信の受信
者がこの画面を見ると、右下隅のブロックだけが動かな
いパターンが見受けられることになる。

【００２８】また、受信側で、一見しただけでは気が付
きにくくする方法として以下の方法がある。先ず、８×
８画素のブロックの既知パターンとして、色や模様を変
えたパターンを多数用意して、辞書として登録してお
き、隣接している領域の画素の値から予め定めた特徴量
に最も近い、辞書に登録されたパターンを選択して、送
信側で合成して符号化して送信する。

【００２９】受信側にも、同じ辞書が備えられているの
で、送信側と同様に、隣接している領域の画素の値から
予め定めた特徴量に最も近い、辞書に登録されたパター
ンを特定できる。特徴量としては、階調値の平均、階調
値の平均偏差、低次の周波数成分等が用いられる。ま
た、既知のパターンとして、時刻表示やロゴを利用する
ことも可能である。

【００３０】

【発明の効果】請求項１に記載の発明では、前記課題を
解決するために、被伝送画像に特定のパターンを合成す
るステップと、前記特定のパターンが合成された画像
を、動画符号に符号化して伝送路に送信するステップ
と、伝送路を介して受信した動画符号を復号するステッ
プと、前記復号された動画符号から、前記特定のパター
ンを分離するステップと、前記分離された特定のパター
ンと、予め保持されたパターンとの対比を行って伝送に
伴う動画符号の劣化を評価を行うステップとで、動画符
号通信画質評価方法を構成することにより、システムの
規模を大きくすることなく、受信した画像符号の劣化を
容易に評価できる。

【００３１】また、請求項２に記載の発明では、前記特
定のパターンは、被伝送画像の所定の位置に合成される
ので、受信側おける特定パターの分離及び対比を容易に
行うことが可能になる。また、請求項３に記載の発明で
は、前記特定のパターンとして、被伝送画像に合成され
る時刻表示を用いることによって、伝送画像に時刻デー
タが、スーパーインポーズの如く自動的に合成されて伝
送される場合には、その時刻データを特定パターにする
ことができる。

【００３２】また、請求項４に記載の発明では、被伝送
画像に特定のパターンを合成する画像合成手段（画像合
成器）１１と、前記特定のパターンが合成された画像
を、動画符号に符号化して伝送路に送信する動画符号化
送信手段（動画符号化送信器）１２と、伝送路を介して
受信した動画符号を復号する受信動画復号手段８受信部
復号器）２１と、前記復号された動画符号から、前記特
定のパターンを分離する画像分離手段（画像分解器）２
２と、前記分離された特定のパターンと、予め保持され
たパターンとの対比を行って伝送に伴う動画符号の劣化
を評価を行う劣化成分評価手段（劣化成分評価器）２３
とで、動画符号通信画質評価システムを構成することに
より、システムの規模を大きくすることなく、受信した
画像符号の劣化を容易に評価できる。

【００３３】また、請求項５に記載の発明では、前記特
定のパターンが、送信側及び受信側に、それぞれ複数個
有する辞書として、予め保持しておくことにより、伝送
する動画に応じた特定パターンを選択することが可能に
なる。また、請求項６に記載の発明では、前記画像合成
手段で合成される前記特定のパターンとして、被伝送画
像に合成される時刻表示を用いることによって、伝送画
像に時刻データが、スーパーインポーズの如く自動的に
合成されて伝送される場合には、その時刻データを特定
パターにすることができる。また、請求項７に記載の発
明では、前記画像合成手段で合成される前記特定のパタ
ーンとして、周囲に溶け込むパターンを用いることによ
って、受信側において、動画を見る人に対して、パター
ンを合成した影響を少なくすることができる。

【図面の簡単な説明】

【図１】本発明の動画符号通信画質評価システムの構成
を示す図である。

【符号の説明】

１１ カメラ １２ 画像合成器 １３ 動画符号化送信器 ２１ 受信部複合器 ２２ 画像分解器 ２３ 劣化成分評価器 Ａ 動画の画面 Ｐ 既知のパターン

Claims (7)

【特許請求の範囲】
1. 【請求項１】 被伝送画像に特定のパターンを合成する
   ステップと、 前記特定のパターンが合成された画像を、動画符号に符
   号化して伝送路に送信するステップと、 伝送路を介して受信した動画符号を復号するステップ
   と、 前記復号された動画符号から、前記特定のパターンを分
   離するステップと、 前記分離された特定のパターンと、予め保持されたパタ
   ーンとの対比を行って伝送に伴う動画符号の劣化を評価
   を行うステップと、 を含むことを特徴とする動画符号通信画質評価方法。
2. 【請求項２】 前記特定のパターンは、被伝送画像の所
   定の位置に合成されることを特徴とする請求項１に記載
   の動画符号通信画質評価方法。
3. 【請求項３】 前記特定のパターンとして、被伝送画像
   に合成される時刻表示を用いることを特徴とする請求項
   １に記載の動画符号通信画質評価方法。
4. 【請求項４】 被伝送画像に特定のパターンを合成する
   画像合成手段と、 前記特定のパターンが合成された画像を、動画符号に符
   号化して伝送路に送信する動画符号化送信手段と、 伝送路を介して受信した動画符号を復号する受信動画復
   号手段と、 前記復号された動画符号から、前記特定のパターンを分
   離する画像分離手段と、 前記分離された特定のパターンと、予め保持されたパタ
   ーンとの対比を行って伝送に伴う動画符号の劣化を評価
   を行う劣化成分評価手段と、 を含むことを特徴とする動画符号通信画質評価システ
   ム。
5. 【請求項５】 前記特定のパターンが、送信側及び受信
   側に、それぞれ複数個予め保持されていることを特徴と
   する請求項４に記載の動画符号通信画質評価システム。
6. 【請求項６】 前記画像合成手段で合成される前記特定
   のパターンとして、被伝送画像に合成される時刻表示を
   用いることを特徴とする請求項４に記載の動画符号通信
   画質評価システム。
7. 【請求項７】 前記画像合成手段で合成される前記特定
   のパターンとして、周囲に溶け込むパターンを用いるこ
   とを特徴とする請求項４〜６のいずれか１項に記載の動
   画符号通信画質評価システム。