JP2000341688A - 動画通信品質判定装置 - Google Patents

動画通信品質判定装置

Info

Publication number
JP2000341688A
JP2000341688A JP15307899A JP15307899A JP2000341688A JP 2000341688 A JP2000341688 A JP 2000341688A JP 15307899 A JP15307899 A JP 15307899A JP 15307899 A JP15307899 A JP 15307899A JP 2000341688 A JP2000341688 A JP 2000341688A
Authority
JP
Japan
Prior art keywords
moving image
code
image
digital
abnormality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP15307899A
Other languages
English (en)
Inventor
Yoshizo Honda
芳三 本多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ando Electric Co Ltd
Original Assignee
Ando Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ando Electric Co Ltd filed Critical Ando Electric Co Ltd
Priority to JP15307899A priority Critical patent/JP2000341688A/ja
Priority to US09/577,096 priority patent/US6591396B1/en
Priority to DE2000126726 priority patent/DE10026726A1/de
Publication of JP2000341688A publication Critical patent/JP2000341688A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

(57)【要約】 【課題】原画と動画符号の転送を、必要とすることな
く、伝送後の動画品質をフィールドで画質評価するとい
う動画通信品質判定装置を提供する。 【解決手段】 送信装置12と受信器35とは、ネットワー
ク20に接続され、動画符号のデータをパケットにより相
互に通信する。送信装置12は、動画データから動画符号
のパケットを生成してネットワーク20に出力する。受信
器35において、動画受信部31は、ネットワーク20を介し
て入力されるパケット61を受信し、受信されたパケット
61から同期符号に挟まれた動画符号のデータのbitを抽
出し、この抽出された動画符号のbitを動画デコーダ30
に出力する。動画デコーダ30は、入力される動画符号を
ディジタル動画へ復号し、復号されたディジタル動画を
表示器33に出力する。表示器33は、入力されるディジタ
ル動画を表示面に表示する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、動画通信品質判定
装置に関し、特にディジタル動画通信におけるデジタル
画像の画像品質を評価する動画通信品質判定装置に係わ
る。
【0002】
【従来の技術】ディジタル動画符号(以下、動画符号と
する)の国際標準には、例えば、国際標準化機構である
ISO(International Organization for Standardizatio
n)、及びIEC(International Electrotechnical Commiss
ion)によるMPEG(Motion Picture Expert Group)-2(ISO/
IEC-13818),MPEG-4(ISO/IEC-14496)、また、ITU(Inter
national Telecommunication Union)勧告によるH.261、
H.263などがある。 以下の説明においては、特にこと
わらない場合は、動画符号とした場合、前述の国際標準
に準拠した動画符号を示すこととする。あるいは前述の
国際標準において用いられている予測符号化方式による
動画符号にも適用される。
【0003】従来、この種の動画符号を用いた通信にお
ける品質を評価する動画通信品質判定装置には、例え
ば、同発明者による特願平10−052531号(従来
例)の「動画通信装置」の主な部分が相当している。こ
の相当する部分について、本発明の説明に対して関連す
る部分を、本発明の構成との比較がし易いように、以下
に簡単に説明する。
【0004】図4は、従来例による動画通信分析装置を
含む画像処理システムの構成例を示すブロック図であ
る。送信器112と受信器135とがネットワーク20に接続し
て、ディジタル動画符号(以下、動画符号とする)をリ
アルタイムに通信する。送信器112において、動画エン
コーダ110は、動画符号を生成し、動画送信部111を介し
てネットワーク20に生成した動画符号を出力する。受信
器135において、動画受信部131は、入力される動画符号
を受信し、受信した動画符号を動画デコーダ130に出力
する。動画デコーダ130は、入力される画像符号を復号
し、復号されたディジタル動画を表示器133に出力す
る。表示器33は、入力されるディジタル動画を表示面に
表示する。
【0005】ここで、上述した送信器112から通信され
て、表示器133に表示されたディジタル動画の画像品質
は、以下のような原因で復号したディジタル画像の画像
品質が劣化する。まず、画像品質の劣化の原因として
は、ネットワーク20を介する動画符号の伝送処理におい
て、動画符号のデータの伝送誤り,伝送パケット群にお
けるパケット廃棄,動画符号のデータの伝送遅延とその
遅延のゆらぎ等がある。
【0006】次に、上述した画像品質の劣化が波及する
か、または動画デコーダ130内部の障害が発生して、動
画符号のデコード処理において処理不良が生じる。さら
に、このデコード処理における処理不良が、波及するか
または表示器133内部の障害が発生し、表示器133の表示
面に表示されるディジタル動画の表示処理が不良となる
ことがある。
【0007】前述のようなディジタル動画の画像品質
(以下、画質とする場合もある)の劣化を評価すること
は、伝送される動画符号の品質の維持向上のために重要
である。そこで、受信器135は、受信した動画符号を収
集する符号データ部32を備えている。また、動画通信分
析装置40は、ネットワーク20に接続され、ネットワーク
20において通信される動画符号の劣化を検出する。符号
データ部132は、ネットワーク20を経由して、前記収集
された動画符号を動画通信分析装置40へノーエラー転送
する。ここで言うノーエラー転送とは、伝送誤りを検出
して再送などを実行し、結果的に伝送誤りが無くデータ
を伝送する方法とする。
【0008】また、動画通信分析装置40は、入力される
動画符号を収集符号部402に出力する。収集符号部402
は、入力される動画符号を内部に蓄積する。復号部404
は、収集符号部402に蓄積されている動画符号を、受信
時のディジタル動画として復元し、復元されたディジタ
ル動画を劣化成分部405に出力する。
【0009】一方、送信器112は、前記リアルタイム送
信した動画符号と同一な、動画エンコーダ110が保持す
る動画符号を、ネットワーク20を介して動画通信分析装
置40へノーエラー転送する。ノーエラー転送とは、上述
した説明の通りの処理である。そして、動画通信分析装
置40に入力された前記リアルタイム送信した動画符号と
同一な動画符号は、原画符号部401に出力される。原画
符号部401は、入力される動画符号を内部に蓄積する。
そして、復号部403は、原画符号部401に蓄積された送信
前のディジタル動画として復元し、復元された結果の動
画復元値(復元された動画)を劣化成分部405へ出力す
る。
【0010】劣化成分部405は、前記受信時のディジタ
ル動画から、前記送信前のディジタル動画を、対応する
画素毎の階調値をそれぞれ差し引いた値を、ディジタル
動画の新たな階調値とする差画像を算出する。さらに、
劣化成分を示す一例では、差画像の全画素それぞれの2
乗の和を算出し、送信前のディジタル動画の全画素それ
ぞれの2乗の和を算出し、両者の2乗和の比を求めた
値、すなわち、SNR(Signal to Noise Ratio)として、
画像品質を表す一種のパラメータとして出力する。
【0011】次に、本発明との比較を行う従来技術にお
ける、動画符号の異常、表示器の異常への対応について
説明する。前述したように、動画デコーダに入力される
動画符号に異常があると、復号される動画に異常が生じ
る。動画符号の異常を検出する手段を備え、動画符号の
伝送および処理に利用する技術については、多数の技術
が周知である。
【0012】例えば、菊池 義浩(株式会社東芝)らに
よる特開平8−251596の「動画像符号化/復号化
装置」に、動画の復号値とこの復号値の取りうる範囲と
から異常を検出する処理例がある。また、篠田 真由美
(松下電器産業株式会社)らによる特開平7−3222
48の「動画像データの伝送方法および伝送装置」に、
動画符号の異常を検出して、再び送信要求することによ
り再送し、伝送される動画符号の異常を低減する例があ
る。
【0013】次に、ネットワークを介して伝送される動
画符号に起こる異常について詳細に説明する。まず、動
画符号の異常の一つとしては、前述のような各規格に準
拠することを取り決めたとき、動画符号の伝送誤り、動
画エンコーダの不良などの原因で規格にない符号が動画
符号内に含まれている場合がある。この規格にない符号
部分が動画デコーダに入力された場合、動画デコーダ
は、この規格にない符号の復号を停止して、次の正常な
符号を検出する準備動作を経て、動画符号内の正常な符
号に対する復号を再開する。
【0014】上述した動画デコーダのデコード動作を図
5を用いて詳細に説明する。図5は、動画符号の構成を
示す概念図である。図に示すように、動画符号61はbit
順に、順次直列に連結されてひとつづきになっている。
動画符号61におけるbitの順番に沿って、動画符号を1bi
tずつ読みとりながら、動画符号の復号を行う。このと
きの読みとっているbitを符号ポインタ62で指す。符号
ポインタ62は復号が進むに連れて、動画符号61上を進ん
でいく。図5(a)にあるように、動画符号61のある箇所
に異常符号99があり、符号ポインタ62で読みとられると
異常が検出される。
【0015】異常の次からのbitの復号値が信頼できな
いので、この異常符号99の次のbitから、符号ポインタ6
2は予め取り決められた同期符号だけを順に探す。図5
(b)に示すように、動画符号61の別の箇所には同期符号6
3があり、符号ポインタ63により同期符号63が検出され
る。このとき、異常符号99から同期符号63までのbitは
すべて廃棄され、ディジタル動画として復号されない。
64は、廃棄されるbit部分を示す。
【0016】ただし、動画デコーダを構成する回路にお
ける処理タイミングの詳細な違いによって、異常符号が
検出された後、再度復号が再開するまでの準備動作に必
要な時間の長さは一定しない。したがって、復号が再開
するまでに次々入力される動画符号は復号されず、この
復号されない動画符号に対応する動画の部分が欠損す
る。さらに、この復号されない動画符号による欠損の大
きさも、動画符号における同期符号の位置によるために
一定しない。規格にない異常符号を検出した箇所の次の
bitから復号を再開できる場合、すなわち規格にない符
号以外は復号できる場合も起こる。
【0017】次に、ネットワーク上における動画符号の
伝送誤りにより、誤り訂正符号又は誤りチェック符号に
より誤り検出された符号の部分、例えばパケットなどが
廃棄されることで動画符号の一部が欠損・脱落したりす
る場合がある。この欠損した符号部分に対応する動画の
部分は復号できない。前述と同様に欠損から復帰して後
続の符号が動画デコーダに引き続き入力された時、一部
の符号は復号されず、対応する動画の部分が欠損する。
【0018】また復号と同時に動画表示を行う場合、符
号化されたタイムスタンプを復号し、その時点での時刻
情報と照らして、復号と表示が間に合わない場合は、表
示出力を省略するか、該当する符号部分を廃棄して復号
をしない。誤りが検出されたパケットの再送またはネッ
トワークの混雑、ほかの原因で、所定の時間内に受信さ
れないで遅延したパケットが動画デコーダに入力する
と、表示すべき時間に間に合わず、復号されない符号の
部分が生じる。
【0019】一方、復号における異常のほかに、表示に
おける異常がある。ここで表示器は、復号出力における
動画であるフレーム別の画素それぞれのデータを入力す
るものとする。入力される復号出力が、表示器に表示す
べき時刻に間に合わない場合は、復号出力時刻が表示に
間に合うタイミングのフレームまでが廃棄され、すなわ
ち表示が行われない。
【0020】前述のような動画符号の異常を検出する技
術は周知であり、動画に特定の処理をしたり、符号の再
送に利用されている。
【0021】
【発明が解決しようとする課題】上述したように、従来
の動画通信品質判定器では、原画と、評価対象である劣
化画像との差画像を求め、この差画像を劣化成分と見な
し、一例では劣化成分の2乗和の割合をSNRとして画質
の評価値としていた。
【0022】ここで、原画が必要な理由としては、動画
が、例えば、ざらざらした模様であったり、虫食いの痕
のような図形が描かれてあったり、人の顔が歪んだ映像
であっても、元々そのような映像である場合もあるの
で、劣化画像だけで、劣化成分を算出することは、一般
には不可能である。しかしながら、デコード結果ディジ
タル画像との原画(送信前のディジタル画像)との差を
とる方法なら、簡単で確実に原画からの劣化成分が得ら
れる。
【0023】ただし、前述の送信前及び受信時のディジ
タル画像の差を取る方法では、データ通信コストという
点において、以下に示す2つの問題がある。第一の問題
は、原画データの取得における必要な装置とそのコスト
とである。画質の評価値を算出する、従来例における動
画通信分析装置に用いられるコンピュータは、動画サー
バに代表されるような原画データを保持するしくみを持
つコンピュータなどから、原画を取得することが必要に
なる。
【0024】また、動画データは、一般的に情報量が膨
大であり、コンピュータ間でデータを送受信するには、
コンピュータをつなぐ伝送路と、この伝送路を用いて送
受信する装置が必要とされる。さらに、例えば、この伝
送路の利用料金が有料で、利用時間又は通信データ量に
より課金される場合は、いずれの場合でも運用中のコス
トが大きくなるという問題がある。
【0025】従来例の特願平10−052531の「動
画通信装置」においては、原画データを符号化した動画
符号を、動画サーバから画質評価値を算出するコンピュ
ータへ確実に転送する。これにより、原画データより動
画符号の方が情報量が数分の一から数十分の一の程度、
少ないため、通信コストをある程度まで低くできる。た
だし、コンピュータ間でデータを送受信する伝送路と、
コンピュータ間でデータを送受信する送受信装置とが不
要となるわけではない。
【0026】第二の問題は、評価対象である劣化画像の
動画符号の取得による通信コストである。前述した特願
平10-052531「動画通信装置」においては、動画受信端
末で動画符号を収集し、画質評価値を算出するコンピュ
ータへ、この画像符号を確実にデータ転送する。動画受
信端末における演算量の負担や処理量の負担を増やさな
いので、物理的な大きさ、重量、電力消費量などの制限
が多い比較的小さな携帯端末における評価が容易である
点はよい。しかしながら、収集した動画符号をデータ転
送するので、元の動画符号と同程度の情報量の動画符号
のデータを転送する通信コストが必要となる。以上が、
特願平10−052531の「動画通信装置」におけ
る、従来技術としての解決を必要とする課題である。
【0027】一方、馬杉正男(日本電信電話株式会社)ら
による特開平8−223610の「画像転送評価装置」
によれば、動画送信先のネットワークの特定の箇所を経
由して、動画符号が送信装置に戻って受信されるという
方法をとっている。このため、原画データの転送、及び
一旦受信した評価対象の画像データの転送が不要にな
る。しかしながら、往復を経て伝送された動画品質と、
実際のユーザが利用する受信端末までの一方向の経路で
伝送された動画品質とでは、伝送誤り、伝送遅延、パケ
ット廃棄、などの状態が異なり、動画品質の劣化に違い
が生じ、ユーザが表示器から享受する動画品質が実際に
評価できないという問題がある。
【0028】また、動画データを送信するパケット遅延
とその遅延のゆらぎ、パケット廃棄率、パケット再送
率、パケット誤り率、ビット誤り率、などを測定する機
器(以下、伝送特性測定器という)は、これまで多数の
例が周知である。これらの画質の劣化の程度を測定する
測定機器を用いて、リアルタイム動画通信を評価する場
合にも、当然のことながら、原画または比較画像を必要
としない。ただし、画像としての劣化の程度を知ること
ができないという問題がある。
【0029】画像としての画質の劣化について言えば、
動画符号の送受信動作において、前述の予測符号化方式
を多用することにより、参照値と被参照値とが増えれば
増えるほど、参照値の異常が波及することとなる。この
ため、動画符号における誤りの影響を抑えるには、動画
符号の送受信動作において、予測符号化方式の多用をし
ない方法がある。また、画像サイズやフォーマットなど
の重要な情報の符号部分に異常が生じると、他の符号が
正しくても、画像として復元することができない。
【0030】このため、画像サイズやフォーマットなど
の重要情報を、符号の列上に適度に分散するようにばら
まくように配置し、特定の箇所の符号が異常でも、他の
正しい箇所の符号を用いて誤り訂正をしたり、値を代替
したりする方法をとることがある。また、このような動
画符号の伝送における誤りや画像符号の欠損に対する画
質の劣化の程度を評価する必要がある。しかしながら、
伝送特性測定器では、伝送における誤りや画像符号の欠
損に対する画質の劣化の程度を評価できないという問題
がある。
【0031】ところで、前述の特開平8−251596
の「動画像符号化/復号化装置」において、動画符号の
異常を検出して、復号処理を切り替えることにより、画
質の劣化を低減している。また、特開平7−32224
8の「動画像データの伝送方法および伝送装置」では、
動画符号の異常を検出して、異常を検出した画像符号を
再び送信要求することにより再送し、動画符号の劣化の
波及を低減している。
【0032】また、動画符号に対する復号処理切り替
え、劣化が検出された動画符号の再送などによって、リ
アルタイム通信・復号・表示の表示動作を行いながら、
動画符号の劣化検出を表示動作に間に合うように処理す
る必要がある。このため、単位時間当たり転送できるデ
ータ量、計算機の処理速度などの時間的条件に余裕が必
要である。例えば、誤りが多ければ多いほど、追加処理
が増えるか、又は、劣化が検出された画像符号の再送が
増える。従って、誤りのない場合に通信できる動画より
も、実際の動画符号の処理量を小さくするか、又は、単
位時間当たりに伝送する画像符号の伝送量を下げること
になる。
【0033】また、予め動画を符号化して蓄積し、送信
時に動画符号を読み出し、同時に読み出された動画符号
の送信を行う場合、誤りの程度で、動画符号化の際の符
号化レート・符号化パラメータ・符号化モード等のパラ
メータを適宜選択して、符号化しておく必要がある。し
かしながら、前述の特開平8−251596及び特開平
7−322248に示される方法では、動画符号化の時
の各種パラメータが、動画符号における誤りの程度で異
なるために、各種パラメータの値の指針が得られない。
【0034】ここで、符号化レートとは、リアルタイム
送信における単位時間に送信する動画符号量を示してい
る。また、前述の動画符号の国際標準でいえば、符号化
パラメータ・符号化モードとは、動画データの符号化条
件を指定するものである。すなわち、例えば、符号化パ
ラメータ・符号化モードとは、画面の縦と横の画素数
(画像サイズともいう),輝度画素数と色差画素数(色
差フォーマットともいう),単位時間当たりのフレーム
枚数(フレームレートともいう),量子化の粗さ,フレ
ーム間予測符号化方式の種類(MPEGにけるI、P、Bとい
った予測タイプをとるフレームの順序),及びその他の
予測符号化方式の種類(MPEGにおける動きベクトル予
測、DC/AC係数予測・・)などである。
【0035】ここで、予測タイプI,予測タイプP,予測
タイプBとは、フレーム間予測符号化方式の種類であ
り、時間予測モードが複数選択できる。すなわち、フレ
ーム間予測符号化方式においては、動画のフレームで、
フレーム間の相関性の基づく、予測を行わない予測モー
ド(Iモード)、双方向予測モード(Bモード)、単方向
予測モード(Pモード)とよばれる動画符号化方式を選
んで用いる。Iモードの「I」は「Intra Predictio
n」、Bモードの「B」は「Bidirectional Predictio
n」、Pモードの「P」は単に「Prediction」である。し
たがって、前述の標準のうちのひとつに準拠するエンコ
ーダ(符号器)、デコーダ(復号器)においても、Iモ
ードか、Pモードか、Bモードかのいずれを用いるかの選
択など、複数の方式の選択肢から選んで通信に用いるこ
とになる。
【0036】一般に、たとえ動画の一部でもBモードを
用いるには大きな処理規模が必要なため、Pモードの機
能しかもたない機器があったり、またBモードを選択し
ていても同じ動画の一部ではPモード、別の一部ではBモ
ードが用いられたりする。逆にPモードを選択すると、B
モードは一切用いない場合が多い。本明細書において、
「Pモードを選択」するとは、Bモードを用いない場合を
いい、「Bモードを選択」するとは、PモードとBモード
を併用することをいう。
【0037】また本明細書では簡単のために、この動画
符号化方式は、異なるパラメータの中からある値を選ん
で用いることも含む意味でも用いる。例えば前記の標準
・勧告において、量子化係数は、ある範囲の整数値から
選択する。その値を量子化係数として用いて符号化する
ので、複数の動画符号化方式の選択肢のひとつを指す意
味に含める。
【0038】次に、動画符号モードの使い分けについて
述べる。動画通信において、どの動画符号化方式が最も
適しているかは、利用目的、利用状況に応じてさまざま
である。
【0039】前述のBモードは符号化効率が高く少ない
符号量で済むという特徴を有し、一方、Pモードは復号
処理遅延時間が短くて済むという特質がある。ここで、
映像素材によって、BモードとPモードの符号量の違いは
さまざであるが、一般的な傾向を述べる。例えばテレビ
会議のような用途には、復号遅延量の小さいPモードが
多くの場合有効であり、復号遅延量が許容できる用途で
は、符号量が少ないBモードが有効な場合もある。
【0040】また、ここで、予測符号化方式とは、動画
データの各部分の間に統計的な関係を想定して、ある画
像データを符号化する場合、すでに符号化した画像デー
タを用いて取り決めておいた算出方法で算出される予測
値と、符号化したい画像データの実際に値との差を符号
化する方法である。この算出される予測値と、符号化し
たい画像データの実際に値との差は、予測残差とも言わ
れる。また、前記予測値を算出するのに用いられるデー
タは、参照値とも言われる。このとき、画像データの統
計的性質が想定したものに近ければ、前記予測残差は、
「0(ゼロ)」に近い値が多くなる。
【0041】したがって、短い符号が多くなり、符号量
の圧縮が可能となる。ただし、参照値を多く用いると、
この参照値に誤りがある場合、画像符号を復号したディ
ジタル画像の値も誤りとなるため、誤りが波及しやすい
という欠点がある。したがって、符号化条件について最
適な選択を行うためには、実際の諸特性にできるだけ近
い状態で、受信・復号・表示される動画の品質がよいと
きの符号化条件を見いだして運用する方法が必要とな
る。
【0042】上述したように、復号処理を切り替える方
法と、動画符号を一部再送する方法では、符号化条件と
その条件下での動画品質との対応関係が適当又は不適当
のいずれかであるかが不明である。すなわち、符号化条
件と動画品質との対応関係に関する知見を得る必要があ
るという課題がある。以上が、特開平8−251596
の「動画像符号化/復号化装置」と、特開平7−322
248の「動画像データの伝送方法および伝送装置」に
おける従来技術の課題である。
【0043】本発明はこのような背景の下になされたも
ので、原画の画像データ及び動画符号の転送を行うこと
なく、送信装置からネットワークを介して受信器に入力
される動画品質をフィールドで画質評価することが可能
な動画通信品質判定装置を提供する事にある。
【0044】
【課題を解決するための手段】請求項1記載の発明は、
動画通信品質判定装置において、ネットワークと前記ネ
ットワークに接続される動画サーバとからなり、前記動
画サーバがディジタル動画符号を前記ネットワークを介
して送信する動画通信システムであって、前記ネットワ
ークに接続され、前記ディジタル動画符号を受信する手
段と、前記ネットワークに接続され、前記ディジタル動
画符号の異常を検出する手段と、前記ネットワークに接
続され、検出された前記異常によるディジタル動画にお
ける品質劣化の程度を算出する画質評価値算出手段とを
具備することを特徴とする。
【0045】請求項2記載の発明は、請求項1記載の動
画通信品質判定装置において、前記受信する手段が前記
ディジタル動画符号の検出さされた前記異常を含まない
部分をディジタル動画に復号する手段を具備することを
特徴とする。
【0046】請求項3記載の発明は、請求項1または請
求項2記載の動画通信品質判定装置において、前記異常
を検出する手段が、前記ディジタル動画符号の異常とし
て、このディジタル動画符号の前記ネットワークにおけ
る伝送の伝送誤り、及びこのディジタル動画符号の廃棄
を検出することを特徴とする。
【0047】請求項4記載の発明は、請求項1または2
記載の動画通信品質判定装置において、前記異常を検出
する手段が、異常として、前記ディジタル動画符号の前
記ネットワークにおける伝送の時間的な遅延を検出する
ことを特徴とする。
【0048】請求項5記載の発明は、請求項1または請
求項2に記載の動画通信品質判定装置において、前記異
常を検出する手段が、異常として、前記ディジタル動画
に復号する手段において復号処理するディジタル動画符
号が予め取り決められた前記ディジタル動画符号でない
ことを検出することを特徴とする。
【0049】請求項6記載の発明は、請求項1ないし請
求項5のいずれかに記載の動画通信品質判定装置におい
て、前記ディジタル動画符号の特定の一部の復号におい
て、他の部分の復号値を参照する場合、前記異常を検出
する手段が異常として、この特定の一部のディジタル動
画符号の復号値へ、他の部分の復号値の任意の異常が波
及することを検出することを特徴とする。
【0050】請求項7記載の発明は、請求項1ないし請
求項6のいずれかに記載の動画通信品質判定装置におい
て、前記ディジタル動画において前記検出された異常に
対応する画像領域を特定する手段を具備し、前記ディジ
タル動画における品質劣化の程度を算出する手段が、計
算結果として前記異常な画像領域の面積、または全体に
対する前記領域の面積比を出力することを特徴とする。
【0051】請求項8記載の発明は、請求項1ないし請
求項7のいずれかに記載の動画通信品質判定装置におい
て、前記ディジタル動画における品質劣化の程度を算出
する手段が、前記異常な画像領域の面積,または全体に
対する前記領域の面積比を、前記ディジタル動画におけ
る画素単位で算出することを特徴とする。
【0052】請求項9記載の発明は、請求項1ないし請
求項7のいずれかに記載の動画通信品質判定装置におい
て、前記ディジタル動画における品質劣化の程度を算出
する手段が、前記異常な画像領域の面積,または全体に
対する前記領域の面積比を、特定の範囲で画面分割した
小領域の単位で算出することを特徴とする。
【0053】請求項10記載の発明は、請求項1ないし
請求項7のいずれかに記載の動画通信品質判定装置にお
いて、前記ディジタル動画における品質劣化の程度を算
出する手段が、前記異常な画像領域の面積,または全体
に対する前記領域の面積比を、表示されるフレーム単位
で算出することを特徴とする。
【0054】請求項11記載の発明は、請求項1ないし
請求項6のいずれかに記載の動画通信品質判定装置にお
いて、前記ディジタル動画における品質劣化の程度を算
出する手段は、前記ディジタル動画において前記検出さ
れた異常に対応する画像領域を特定する手段が、検出し
た前記異常な画像領域の階調値をゼロとし、この異常な
画像領域の階調値の第1の2乗和,及び前記全体の階調
値の第2の2乗和を算出し、第1の2乗和と第2の2乗
和との比を算出し、この算出結果を画像評価値として出
力することを特徴とする。
【0055】請求項12記載の発明は、請求項1ないし
請求項6のいずれかに記載の動画通信品質判定装置にお
いて、前記ディジタル動画における品質劣化の程度を算
出する手段は、前記ディジタル動画において前記検出さ
れた異常に対応する画像領域を特定する手段が、検出し
た前記異常な画像領域の階調値を、コンシールメントに
より補正し、前記補正された異常な画像領域の階調値の
第1の2乗和,及び前記全体の階調値の第2の2乗和を
算出し、この第1の2乗和とこの第2の2乗和との比を
算出し、算出結果として画質評価値の出力することを特
徴とする。
【0056】請求項13記載の発明は、請求項1ないし
請求項12のいずれかに記載の動画通信品質判定装置に
おいて、前記ディジタル動画符号の特定の一部の復号に
おいて、他の部分の復号値を参照する場合、前記異常を
検出する手段が、前記検出された異常に対応する符号に
基づき、前記他の部分の復号値の異常が前記特定の一部
の復号値に波及する異常を検出し、前記ディジタル動画
において前記検出された異常に対応する画像領域を特定
する手段が、前記波及する異常に対応する、前記ディジ
タル動画符号の特定の一部を含む画像領域を特定するこ
とを特徴とする。
【0057】請求項14記載の発明は、請求項1ないし
請求項13のいずれかに記載の動画通信品質判定装置に
おいて、前記ディジタル動画において前記検出された異
常に対応する画像領域を特定する手段が、画素当たり1
bit以上の固定長で割り当てた記憶部を備え、この記憶
部に前記異常領域を記録することを特徴とする。
【0058】請求項15記載の発明は、請求項1ないし
請求項13のいずれかに記載の動画通信品質判定装置に
おいて、前記ディジタル動画において前記検出された異
常に対応する画像領域を特定する手段が、予め表示画面
を画面分割した小領域当たり1bit以上の固定長で割り
当てた記憶部を備え、この記憶部へ前記異常領域を記録
することを特徴とする。
【0059】請求項16記載の発明は、請求項1ないし
請求項13のいずれかに記載の動画通信品質判定装置に
おいて、前記ディジタル動画において前記検出された異
常に対応する画像領域を特定する手段が、表示画面にお
ける矩形領域を指定し、前記矩形領域の表示画面におけ
るカラム番号の最大最小、ロウ番号の最大最小を記録す
ることを特徴とする。
【0060】請求項17記載の発明は、請求項1ないし
請求項16のいずれかに記載の動画通信品質判定装置に
おいて、前記ディジタル動画符号の異常を検出する手段
が復号器であり、この復号器は、入力されるディジタル
動画符号の復号不可能を検出し、復号不可能とき、エラ
ーを出力し、次のディジタル動画符号の符号同期を示す
目印を検出し、次のディジタル動画符号の復号を再開す
ることを特徴とする。
【0061】請求項18に記載の発明は、請求項1ない
し請求項16のいずれかに記載の動画通信品質判定装置
において、前記ディジタル動画符号の異常を検出する手
段が復号器であり、前記復号器は、前記ネットワークに
おける前記ディジタル動画符号の転送時間の処理遅延の
有無を検出し、処理遅延が検出されたとき、エラーを出
力し、次のディジタル動画符号の符号同期を示す目印を
検出し、次のディジタル動画符号の復号を再開すること
を特徴とする。
【0062】請求項19記載の発明は、請求項1ないし
請求項18のいずれかに記載の動画通信品質判定装置に
おいて、前記ディジタル動画符号の異常を検出する手段
が表示器であり、この表示器は、フレームごとに表示手
段への表示不可能となる異常を検出することを特徴とす
る。
【0063】請求項20記載の発明は、請求項1ないし
請求項19のいずれかに記載の動画通信品質判定装置に
おいて、前記ディジタル動画における品質劣化の程度を
算出した品質評価値を複数のディジタル動画毎にそれぞ
れ記憶する手段と、この品質評価値を前記ネットワーク
により、前記ディジタル動画とは非同期の時間で送信す
る手段とを具備することを特徴とする。
【0064】請求項21記載の発明は、請求項1ないし
請求項20のいずれかに記載の動画通信品質判定装置に
おいて、前記ディジタル動画を受信する、前記ネットワ
ークに接続された受信器の内部に組み込まれていること
を特徴とする。
【0065】請求項22記載の発明は、請求項1ないし
請求項20のいずれかに記載の動画通信品質判定装置に
おいて、前記ディジタル動画の通信を中継する、前記ネ
ットワークに接続された中継器の内部に組み込まれてい
ることを特徴とする。ここで、画像領域は、画像を意味
し、画素を配列した2次元の画面で、閉じた輪郭線の内
側の領域。例えば、図2及び図3の正方格子のうち、内
部が塗られた部分は、一つの画像領域である。輪郭線ま
たは四角形の頂点の位置で特定でき、また、この領域に
含まれる画素を位置または番号で全て示すことでも特定
できる。
【0066】
【発明の実施の形態】以下、図面を参照して本発明の実
施形態について説明する。図1は本発明の一実施形態に
よる動画通信品質判定装置の構成を示すブロック図であ
る。この図において、送信装置12と受信器35とは、ネッ
トワーク20に接続され、ディジタル動画符号(以下、動
画符号とする)のデータをトランスポートパケット(以
下、パケットとする)により相互に通信する。送信装置
12は、動画データから動画符号を生成し、この動画符号
によりパケットを形成し、このパケットをネットワーク
20に出力する。受信器35は、ネットワークを介して入力
される動画符号が含まれるパケットを動画受信部31で受
信し、この動画符号の画質評価値を算出する。
【0067】すなわち、送信装置12において、動画エン
コーダ10は、動画データから動画符号を生成し、動画送
信部11を介してネットワーク20に生成した動画符号をパ
ケット構成により出力する。受信器35において、動画受
信部31は、ネットワーク20を介して入力されるパケット
61を受信し、受信されたパケット(動画符号)61から同
期符号に挟まれた動画符号のデータのbitを抽出し、こ
の抽出された動画符号のbitを動画デコーダ30に出力す
る。ここで、同期符号を図示していないが、図5と同様
にパケット61の動画符号を構成するbitは、同期符号に
より挟まれている。動画デコーダ30は、入力される動画
符号をディジタル動画へ復号し、復号されたディジタル
動画を表示器33に出力する。表示器33は、入力されるデ
ィジタル動画を表示面に表示する。
【0068】ここで、送信装置12は動画符号を送信する
機能を持つ。この一実施形態においては、従来例と同様
の送信装置12を用いている。しかしながら、本発明では
原画のデータが不要であるので、送信装置の内部構成は
問わない。すなわち、送信装置12のように、受信器35
に出力した動画符号のデータを蓄積する構成,さらにこ
の構成から符号画像のデータを読み出し、ネットワーク
20を介して外部へ出力させる構成の必要もない。受信器
35には、送信装置12から原画のデータを取得する回路構
成、及び送受信インターフェースは不要である。
【0069】上述したように、送信装置12は、ネットワ
ーク20を介し、受信器35へ動画符号を送信する。また、
図1の本発明の構成において、受信器35が算出する画
質評価値を他のコンピュータへ出力する必要がある場
合、このネットワーク20を介して画質評価値を含むデー
タの送受信を、動画符号(ディジタル動画符号)と非同
期に送信I/F34により行うことが可能である。ここ
で、ネットワーク20の構成は問わない。すなわち、例え
ば、LAN(Local Area Network)、公衆電話網、インター
ネット、また前述したネットワークを相互に、すなわち
有機的に接続されたネットワークであってよい。
【0070】また、受信器35は例えば、パーソナルコン
ピュータでもよい。動画受信部31は、ネットワーク20を
介して、送信装置12から入力される動画符号、例えば
入力されるパケット61から動画符号を分離し、この分離
された動画符号を動画デコーダ30へ出力する。さらに、
動画デコーダ30は、入力されるパケット61毎に、ネット
ワーク20を介した受信における伝送誤りを検出したり、
このパケット61の受信時刻が所定の規定値より遅いこと
を検出して、パケット61の受信状態における異常の有無
の信号を検出する。
【0071】パーソナルコンピュータにおける動画受信
部31は、例えばLANインターフェース、あるいは公衆
電話網を用いるモデムインターフェースを使用すればよ
い。ここで、いずれのインターフェースにおいても、伝
送誤りの検出機能を備えることが一般的である。このた
め、本発明の装置の制作のために、新たに伝送誤り検出
機能を設計・開発・実装する必要はない。伝送誤り検出
機能を利用して、動画デコーダ30に、伝送誤り信号を入
力することができる。
【0072】さらに、動画デコーダ30は、検出された伝
送誤りや異常の有無の信号の検出結果を異常検出部1へ
出力する。加えて、動画デコーダ30は、入力される画像
符号の復号を行い画像データの復元を行い、表示器33へ
出力する。表示器33は、動画デコーダ30から入力される
動画データを、表示面に表示する。また、表示器33は、
少なくとも表示面に表示するフレーム単位の画像データ
を蓄積する必要があるため、大容量の画像メモリが設け
られている。符号異常検出部1は、パケット61における
画像符号に対して、上述した伝送誤りの有無の信号や遅
延信号に基づき、異常のあった箇所から次の同期符号ま
でを異常符号として検出する。
【0073】また、符号異常検出部1は、符号異常検出
部1は、画像符号において、正常な符号を解析し、フレ
ーム識別符号、スライス識別符号、マクロブロック識別
符号、ブロック識別符号、GOP(Group of Picture,
または"Iフレームから次のIフレームの直前まで")識
別符号などを抽出して、画像上の正常な箇所を記録す
る。さらに、動画デコーダ30は、動画符号が正常な場
合、表示器33へ動画データ(画素の集合体)を出力する
と共に、動画符号を領域記憶部4へ書き込む。また、さ
らに、動画デコーダ30がコンシールメント機能を有する
場合、動画デコーダ30は、動画データがコンシールメン
トされると、コンシールメント部3を起動させる。
【0074】コンシールメント部3は、起動されると、
表示器33の画像メモリからコンシール後の画像の階調値
を画質評価値算出部5へ出力する。フレームスキップ検
出部2は、表示部33から入力されるフレームをスキップ
したことを示す信号により、記憶領域4に記憶されてい
る該当フレームを全て異常と内部に記憶すると共に、画
質評価値算出部5へ出力する。画質評価値算出部5は、
領域記憶部4に異常として記憶されている領域に相当す
る部分をノイズとみなし、異常領域の劣化画像の階調値
を最小値(又は「0」)として、異常領域についての2
乗和を求める。この処理動作については、動作の説明に
おいて詳細に行う。
【0075】さらに、また、図1に示す本発明の構成に
おいて、動画デコーダ30及び表示器33が設けられなくて
もよい。この場合、符号異常検出部1のみが、動画受信
部31から出力される動画符号を入力する。これに加え
て、符号異常検出部1が、動画受信部31の検出したパケ
ット61の伝送誤りの有無の信号を入力してもよい。また
は、符号異常検出部1が、動画受信部31からパケット61
の受信時刻の遅延信号を入力してもよい。
【0076】符号異常検出部1は、パケット61におい
て、上述した伝送誤りの有無の信号や遅延信号に基づ
き、異常のあった箇所から次の同期符号までを異常符号
として検出する。また、符号異常検出部1は、画像符号
において、正常な符号を解析し、フレーム識別符号、ス
ライス識別符号、マクロブロック識別符号、ブロック識
別符号、GOP(Group of Picture,または"Iフレー
ムから次のIフレームの直前まで")識別符号などを抽
出して、画像上の正常な箇所を記録する。この画像上の
正常な箇所を記録するのは、動画デコーダ30が無く動画
符号の復号処理が行えないので、画素ごとに記録するこ
とができないためである。また、正常な箇所の記録は、
領域記憶部4に記録する。
【0077】これら全ての種類の識別符号か又はいずれ
かの種類の識別符号を抽出しても良い。この抽出する識
別符号のうち、最も単位の細かい識別符号に関する領域
を単位とすればよい。画質評価算出部5は、領域記録部4
の記憶情報を参照し、ここで記録された正常領域から、
それ以外の領域を異常領域と見なすか、または動画受信
部31で検出される伝送誤りなどの異常信号を、符号異常
検出部1に入力させる。
【0078】そして、符号異常検出部1は、抽出した前
述の識別符号のうち、異常信号を検出した直前の識別符
号から直後の識別符号に対応する画像領域を異常領域と
して、領域記録部4に記録する。伝送誤りや遅延がバケ
ット単位で検出される場合、ひとつのパケットに含まれ
る符号をすべて無効にする。すなわち、一つのパケット
に含まれる符号を廃棄するため、領域記録部4には、バ
ケット廃棄ごとに、対応する画像領域を記録する。
【0079】例えば、あるパケット廃棄において、2フ
レームが異常領域と記録されたり、別のパケット廃棄で
は7ブロックが異常領域と見なされたとする。画質評価
算出部5は、領域記憶部4を参照して、全GOP数に対す
る異常なGOP数をGOP欠損率、全フレーム数に対す
る異常なフレーム数をフレーム欠損率、全スライス数に
対する異常なスライス数をスライス欠損率、全マクロブ
ロック数に対する異常なマクロブロック数をマクロブロ
ック欠損率、全ブロック数に対する異常なブロック数を
ブロック欠損率、の中から記録された単位とより大きな
単位とで、それぞれ計数、そして計数結果に基づき演算
することにより、画質評価値を求める。この場合は、元
の画素の階調値を復元する動画デコーダ30を備えなくと
も、動画受信部3l、符号異常検出部1、領域記憶部4、画
質評価値算出部5から、このような画質評価値を算出す
る。
【0080】次に、図1,図2及び図3を用いて、本願
発明の一実施形態の動作例の説明を行う。図2及び図3
は、記憶部4における異常領域の記憶方法を示す概念図
である。また、図2及び図3とも、左の部分にポインタ
の動きの概念図を示し、右にこのポインタの指す小領域
の部分の概念図を示す。ここで、領域記録部4は、内部
において、予め、フレーム識別符号,スライス識別符
号,マクロブロック識別符号,ブロック識別符号,GO
P(Group of Picture,または"Iフレームから次のI
フレームの直前まで")識別符号により識別される上述
の小領域として、フレームかスライスかマクロブロック
かブロックごとにそれぞれ正常か異常かを記憶するよう
に割り当てられている。
【0081】図2及び図3の格子図形は、例えばメモリ
マップであって、一つのマスに対してメモリの1bitに
割り当てても良い。正常の場合は”0”、異常の場合
は”1”を記憶する。あるいは、一つのマスに対してメ
モリの2bitに割り当てて、正常の場合は”01”、異
常の場合は”11”、まだ符号ポインタが読みとってい
ない場合は予め”00”としておく。
【0082】または、フレームかスライスかマクロブロ
ックかブロックかGOPごとではなく、異常領域を示す
方法として、表示器33における表示画面における切り出
される矩形領域のカラム番号の最大最小値とロウ番号の
最大最小値を記憶してもよい。ここで、図2及び図3に
おける領域A,領域Bにおける最も小さい矩形が、上述
した小領域に相当する。
【0083】例えば、これら図2及び図3の格子状に区
切られた領域A及び領域Bにおいて、塗りつぶされた格
子状の領域が異常と記憶されており、白い格子状の領域
が正常と記憶されているとする。ここで、図3に示す様
に領域Aの符号の一部が領域Bの所定の部分を参照して
いることを解析することも可能である(予測符号化方式
などの場合)。この参照していることを解析する場合
は、予測符号化方式における異常領域の他の領域への波
及を評価することができる。
【0084】時刻Tにおいて、動画受信部31は、図2
で動画符号61を符号ポインタ62が指す箇所までの領域A
について異常を検出した。このときまでの異常領域を右
の領域Aに示す。このとき、正常領域でない小領域は、
動画符号が欠落していると見なし、異常領域として領域
記憶部へ記録される。
【0085】次に、時刻T+Δtにおいて、図3に示す
ように、動画受信部31は、符号ポインタ62が指す、すな
わち図2に対して、領域Bの箇所まで異常検出が進み、
かつ領域Bの塗りつぶされた小領域が、領域Aの特定の
箇所を参照していることを検出する。このとき、動画受
信部31は、符号ポインタ62の指す符号が正常であったと
しても、領域Aにおける被参照領域が異常であるため、
領域Bの小領域も異常と記憶する。
【0086】以上の処理は、予測符号化における参照−
被参照関係が切れる、フレーム識別符号、スライス識別
符号、マクロブロック識別符号、ブロック識別符号等の
符号、GOP(Group of Picture,または"Iフレーム
から次のIフレームの直前まで")識別符号のまとまり
毎で行われる。例えば、前述の国際標準MPEGでは、Grou
p of Pictures(以下、GOPとする)、の終わりまで、異常
の検出が行われる。そこで、画質評価値算出部5は、画
質評価値の算出・記憶の処理を完了したら、次の同様な
符号のまとまりに処理を進めるために、領域記憶部4を
解放して使うことも可能である。
【0087】このとき、受信機35の構成に動画デコーダ
30がある場合、動画デコーダ30は、画像符号の復号によ
って動画データを復元し、表示器33に出力する。これに
より、表示器33は、複数のフレームの画像データを記憶
する必要があるため、画像メモリを十分な容量が設けら
れるものとする。例えば、この画像メモリは、前述した
ひとつのGOPを記憶できる容量でもよい。そして、動画
デコーダ30は、動画符号が正常な場合は、前記の動作に
加え、この動画符号を領域記憶部4に正常な領域として
記録する。このとき、領域記憶部4は、小領域が画素単
位となっていてもよい。また、構成の説明で示したよう
に、この小領域は、フレームかスライスかマクロブロッ
クかブロックかGOPの単位でもよい。
【0088】一方、動画デコーダ30は、復号処理におい
て予め取り決められた符号でないことを検出すると、検
出された動画符号の符号異常の部分を廃棄する。このと
き、動画デコーダ30は、領域記憶部4へ異常な領域を記
憶させる。ここで、予め取り決められた符号でない原因
としては、動画エンコーダ30または送信装置12が不良で
ある場合,伝送誤りが発生して誤り訂正符号を用いられ
ていないか、または訂正能力を越えた誤りが発生した場
合,誤り訂正処理後に誤りが混入した場合,伝送誤り検
出によりパケット61が廃棄され、正常なら接続されない
bit(ビット)どうしが連続することになった場合など
が存在する。まとまった領域の復号が終わった時点にお
いて、符号異常検出部1は、領域記憶部4に正常として記
憶されていない小領域を、領域記憶部4へ異常として記
憶させる。
【0089】前述のように、動画デコーダ30は、予め取
り決められた符号でないものを入力した場合に備えて、
動画デコーダ30の設計時に決められた特定の処理を行う
のが通常である。例えば、外部の回路やプログラムに信
号を送出する。このような特定の処理に入ったことを示
す信号を符号異常検出部1が入力してもよい。この場
合、動画デコーダ30が復号した画像の領域を領域記憶部
4に出力することで、異常の検出と復号とが正常な画像
領域を知ることができ、比較的容易に本発明を実施する
ことができる。
【0090】画像デコーダ30において、フレームの復号
完了が表示時刻に間に合わない場合や、動画デコーダ30
が特定フレームの復号を中止して次のフレームの復号を
始める場合など、特定のフレームの復号が行われずに表
示されないことがあり、この様な状態をフレームスキッ
プという。表示部33が上述したフレームスキップを検出
し、表示部33は、フレームスキップが生起したことが検
出されると、フレームスキップ検出部2にフレームスキ
ップ検出の信号を出力する。
【0091】また、フレームスキップ部2が表示部33の
フレーム表示の更新タイミングを監視して、時間間隔の
異常からフレームスキップを検出するようにしてもよ
い。そして、符号異常検出部1は、検出フレームスキッ
プが検出されると、領域記憶部4の当該フレームを、領
域記憶部4においてすべて異常と記憶させる。
【0092】次に、動画デコーダ30がコンシールメント
機能(異常のある画像データの隠蔽機能)を持つ場合
は、動画デコーダ30は、コンシールメントの生起が符号
異常を検出したことを示している。動画デコーダ30は、
前述と同様に、領域記憶部4においてコンシールメント
の領域を異常領域として記憶させる。
【0093】領域記憶部4の小領域の単位は、前述のよ
うに、画素、ブロック、マクロブロック、スライス、フ
レーム、GOPなどから予め適宜選択すればよい。単位
を大きいものにするほど、メモリ容量が小さくなり、一
箇所の異常を検出すれば次の小領域に進むことで、異常
検出の処理量が小さくなる。さらに、例えばMPEGでは、
次のフレームの先頭符号は、同期符号とされているの
で、フレームの区切りを見いだすのが容易であるという
特徴もある。
【0094】ところで、画質評価値算出部5は、フレー
ムスキップ部2,コンシールメント部3及び領域記憶部4
の各種データに基づき、対応する小領域毎の画質評価値
を算出する。ここでは、2種類の画質評価値及びその求
める方法の説明を行う。第1の画質評価値は、画像デー
タを表示する表示面における異常な領域の面積で表され
ている。
【0095】すなわち、画質評価値算出部5は、符号の
まとまりのある箇所、例えば、GOPの終わりまでの検出
を終えたときに、領域記憶部4に記憶されている異常な
小領域の数の計数を行う。そして、画質評価値算出部5
は、計数された異常な小領域の計数値と、対応する単位
の小領域の総数との比をもって第1の画質評価値とす
る。この第1の画質評価値は、画像としての異常な部分
の面積を表す。小領域の単位にしたがって、面積比を算
出する単位も同様に、画素、ブロック、マクロブロッ
ク、スライス、フレーム、GOPとなる。
【0096】第2の画質評価値は、いわゆるSNR(Signal
to Noise Ratio)で表される。この第2の画質評価値で
あるSNRは、従来から頻繁に使われているので、評価値
としてなじみやすいという長所がある。そして、画質評
価値算出部5がSNRを算出する場合、小領域の単位は画素
であることが従来のSNRになじみやすい尺度となる。こ
のSNRの算出には、大別して従来から2通りがある。
【0097】まず、PSNR(Peak SNR)と呼ばれる方法であ
り、ノイズの2乗平均値と全振幅との振幅比を求める方
法がある。ここで、全振幅とは、例えば、階調値が8bit
で表される場合は、全振幅を255とする。また、他方の
方法として、SNRと呼ばれる方法であり、ノイズの2乗
和と基準信号の2乗和との比を求める方法がある。
【0098】いずれにしても、領域記憶部4に異常とし
て記憶されている領域に相当する部分をノイズと見な
し、異常領域の劣化画像の階調値をクロ(最小値または
ゼロ)として、異常領域についてだけ2乗和を求める。
さらに、この場合、基準画像の階調値を想定する方法が
2通りある。
【0099】第1の基準画像は階調の全振幅の中央値と
みなものである。また、第2の基準画像は、コンシール
メントによって隣接ブロック又は隣接フレームの同じ位
置などから複写して画像の階調値を補正し、基準画像と
して想定する(用いる)方法である。ここで、第2の基
準画像は、表示器33の画像メモリからコンシールメント
部3によってコンシール後の画像データの階調値で補正
し、画質評価値算出部5に入力される。
【0100】以上のようにして画質評価値算出部5にお
いて算出された画質評価値は、典型的な場合、前述のよ
うに符号のまとまり、例えばMPEGではGOP、について数
値が1個である。また、例えば、フレームレート30枚/
秒でGOPが15枚のフレームからなる場合、15秒の動画に
ついて画質評価値は、数値として30個に過ぎない。この
ため、画質評価値は、対応する画像の範囲における元の
ディジタルの動画データの量、動画符号の量などと比較
して、桁違いに情報量が小さい。
【0101】従って、きわめて多数又は長時間の動画デ
ータについて画質評価値を算出し、すべて記憶すること
は、数GBをこえる記憶容量を持つパーソナルコンピュー
タによれば、問題なく実現可能である。
【0102】すなわち、画質評価値のデータ量は、動画
符号に比べて桁違いに少ないので、画質評価値算出のた
びに送出する必要が無く、又は、特定の回数の画質評価
値算出ごとに送出しなくてよい。したがって、画質評価
値の記憶に必要な送信装置12から受信器35への動画符号
のリアルタイム通信が行われ、次に画質評価値が算出さ
れた後、ただちに、例えば受信器35が他のコンピュータ
にアクセスして数ミリ秒以内に送出して記憶領域を解放
する、という必要はない。受信器35は、他のコンピュー
タから要求を受けたとき、画質評価値を送出すればよ
い。画質評価値の算出と送出とを同期させて行う必要が
なく、すなわち予め組み合わせたスケジュールにしなく
てもよいので、画質評価値の算出後なら非同期で送出す
ればよい。
【0103】これにより、受信器35から遠隔に位置する
図示しない管理用コンピュータが画質評価算出部5から
画質評価値を吸い上げるとしても、ネットワーク20を介
しての電子メール等を含めたありふれた送信方法により
容易に実現できる。また、受信器35及び管理用コンピュ
ータのネットワーク20を介しての通信は、接続時間やデ
ータ量で課金される場合でも、料金の割安な夜間などの
時間帯を利用して、通信コストを低減することも可能で
ある。
【0104】これまでの実施例の説明では、一実施形態
による動画通信品質判定装置における画質評価値算出部
5は、動画デコーダ30、表示器33を備える受信器35に組
み込まれている構成であったが、このほかに動画符号の
通信を中継する中継器にも同様に組み込むことができ
る。中継器が受信する動画符号を評価する場合は、受信
器である場合と同様である。この他に、本発明の動画通
信品質判定装置によれば、中継器が出力する動画符号を
評価する場合は、中継器の性能、障害などを監視した
り、障害時の動画品質を分析したりすることができる。
【0105】以上、本発明の一実施形態を図面を参照し
て詳述してきたが、具体的な構成はこの実施形態に限ら
れるものではなく、本発明の要旨を逸脱しない範囲の設
計変更等があっても本発明に含まれる。
【0106】
【発明の効果】請求項1記載の発明によれば、ネットワ
ークと前記ネットワークに接続される動画サーバとから
なり、前記動画サーバがディジタル動画符号を前記ネッ
トワークを介して送信する動画通信システムであって、
前記ネットワークに接続され、前記ディジタル動画符号
を受信する手段と、前記ネットワークに接続され、前記
ディジタル動画符号の異常を検出する手段と、前記ネッ
トワークに接続され、検出された前記異常によるディジ
タル動画における品質劣化の程度を算出する画質評価値
算出手段とを具備するため、従来必要であった原画また
は比較のための動画が不要となり、原画の転送のための
構成、すなわち送受信部,伝送路が必要なくなり、また
通信コスト(有料のネットワークにおける通信の費用)
がかからず、さらに評価対象である劣化動画符号を転送
する必要が無くなる効果があり、加えて、画質評価値が
転送されるが、原画の転送量と比較して画質評価値の転
送量がが桁違いに小さいため、より簡単に低コストで動
画符号送信後の画質の評価が行える。
【0107】請求項2記載の発明によれば、前記受信す
る手段が前記ディジタル動画符号の検出さされた前記異
常を含まない部分をディジタル動画に復号する手段を具
備するため、異常を含む部分及び異常を含まない部分が
明確に検出されるので、画像(ディジタル動画)として
の位置とその階調値とが得られ、画像としての画質評価
値(例えば、異常な領域と画像全体との面積比,SNRな
ど)が得られる効果がある。
【0108】請求項3記載の発明によれば、前記異常を
検出する手段が、前記ディジタル動画符号の異常とし
て、このディジタル動画符号の前記ネットワークにおけ
る伝送の伝送誤り、及びこのディジタル動画符号の廃棄
を検出するため、伝送誤りを検出するbit長の単位又は
廃棄が生じるbit長の単位で、ディジタル動画符号が復
号されない場合の画像の劣化を原画を必要とすることな
く評価できる効果がある。
【0109】請求項4記載の発明によれば、前記異常を
検出する手段が、異常として、前記ディジタル動画符号
の前記ネットワークにおける伝送の時間的な遅延を検出
するため、ネットワークにおける伝送時において、時間
的に遅延した動画符号が復号されない場合の画像の劣化
を、原画を必要とすることなく評価できる効果がある。
【0110】請求項5記載の発明によれば、前記異常を
検出する手段が、異常として、前記ディジタル動画に復
号する手段において復号処理するディジタル動画符号が
予め取り決められた前記ディジタル動画符号でないこと
を検出するため、取り決めにない動画符号又は誤り訂正
のされていない動画符号による画像の劣化を、原画を必
要とすることなく評価できる効果がある。
【0111】請求項6記載の発明によれば、前記ディジ
タル動画符号の特定の一部の復号において、他の部分の
復号値を参照する場合、前記異常を検出する手段が異常
として、この特定の一部のディジタル動画符号の復号値
へ、他の部分の復号値の任意の異常が波及することを検
出するため、予測符号化方式における画像の劣化を、原
画を必要とすることなく評価できる効果がある。
【0112】請求項7記載の発明によれば、前記ディジ
タル動画において前記検出された異常に対応する画像領
域を特定する手段を具備し、前記ディジタル動画におけ
る品質劣化の程度を算出する手段が、計算結果として前
記異常な画像領域の面積、または全体に対する前記領域
の面積比を出力するため、画質評価値として画像の劣化
の程度がきわめて簡単に評価でき、符号化条件及び伝送
条件の選択が前記面積比を最小にする条件とすればよい
ため、複雑な画質評価値に比較して条件の選択や設計が
きわめて簡単となる効果がある。
【0113】請求項8記載の発明によれば、前記ディジ
タル動画における品質劣化の程度を算出する手段が、前
記異常な画像領域の面積,または全体に対する前記領域
の面積比を、前記ディジタル動画における画素単位で算
出するため、比較的簡単で、異常な領域が細かく入り組
んでいる場合にも正確に異常領域の大きさ(程度)が評
価できる。
【0114】請求項9記載の発明によれば、前記ディジ
タル動画における品質劣化の程度を算出する手段が、前
記異常な画像領域の面積,または全体に対する前記領域
の面積比を、特定の範囲で画面分割した小領域の単位で
算出するため、例えば、従来例において示した国際標準
で用いられるスライス単位,マクロブロック単位又はブ
ロック単位とすると、これら小領域の中において異常が
検出されれば、ただちに異常領域と判定して、次の小領
域の検出に移動できるため処理がきわめて簡単になり、
また、復号する上で異常が検出されて次に符号が正常化
するまで、動画符号が復号から廃棄されるので、小領域
毎に廃棄か否かを簡単に判定でき、評価値の精度は粗い
が、画質評価の目的によって画質評価値として微妙な違
いが不要な場合、画質評価値として十分な精度であり、
画質評価の処理を大幅に簡単化する効果がある。
【0115】請求項10記載の発明によれば、前記ディ
ジタル動画における品質劣化の程度を算出する手段が、
前記異常な画像領域の面積,または全体に対する前記領
域の面積比を、表示されるフレーム単位で算出するた
め、フレームの中で異常が検出されれば、ただちにこの
フレームを異常フレームと判定し、次のフレームの検出
に移動できるため、処理がきわめて簡単になり、またこ
の動画符号を復号する上で異常が検出され、次に復号が
正常化するまで符号が復号から廃棄されるので、フレー
ム毎に廃棄か否かを簡単に判定でき、さらに表示器が特
定のフレームを廃棄するか否かを簡単に判定でき、評価
値の精度は粗いが画質評価の目的によって画質評価値と
して微妙な違いが不要な場合は、画質評価値として十分
な精度であり、画質評価の処理を大幅に簡単化する効果
がある。
【0116】請求項11記載の発明によれば、前記ディ
ジタル動画における品質劣化の程度を算出する手段は、
前記ディジタル動画において前記検出された異常に対応
する画像領域を特定する手段が、検出した前記異常な画
像領域の階調値をゼロとし、この異常な画像領域の階調
値の第1の2乗和,及び前記全体の階調値の第2の2乗
和を算出し、第1の2乗和と第2の2乗和との比を算出
し、この算出結果を画像評価値として出力するため、劣
化成分をノイズと見なした場合のいわゆるSNR値を得る
ことができ、従来評価値との対応が容易であり、また、
言うまでもないが、当該ディジタル動画符号フォーマッ
トとして階調値が固定小数点または固定bit長の整数値
で表されている場合、第2の2乗和を階調値が取りうる
の最大振幅の2乗の全体にわたる総和とした場合は、PS
NR(Peak SNR)とよばれる評価値が得られ、従来評価値
との対応が容易となる効果がある。
【0117】請求項12記載の発明によれば、前記ディ
ジタル動画における品質劣化の程度を算出する手段は、
前記ディジタル動画において前記検出された異常に対応
する画像領域を特定する手段が、検出した前記異常な画
像領域の階調値を、コンシールメントにより補正し、前
記補正された異常な画像領域の階調値の第1の2乗和,
及び前記全体の階調値の第2の2乗和を算出し、この第
1の2乗和とこの第2の2乗和との比を算出し、算出結
果として画質評価値の出力するため、劣化成分をノイズ
と見なした場合、画質評価値として、いわゆるSNR値を
得ることができ、しかもコンシールメントを用いた受信
端末における画像(表示される画像)に近い品質評価値
が得られる効果がある。
【0118】請求項13記載の発明によれば、前記ディ
ジタル動画符号の特定の一部の復号において、他の部分
の復号値を参照する場合、前記異常を検出する手段が、
前記検出された異常に対応する符号に基づき、前記他の
部分の復号値の異常が前記特定の一部の復号値に波及す
る異常を検出し、前記ディジタル動画において前記検出
された異常に対応する画像領域を特定する手段が、前記
波及する異常に対応する、前記ディジタル動画符号の特
定の一部を含む画像領域を特定するため、予測符号化方
式の動画符号を評価する場合、参照値の異常を記憶でき
るので、復号と同じ順序で、復号値の異常を検出するこ
とができ、符号をさかのぼって処理する複雑さがなくな
る効果がある。
【0119】請求項14記載の発明によれば、前記ディ
ジタル動画において前記検出された異常に対応する画像
領域を特定する手段が、画素当たり1bit以上の固定長
で割り当てた記憶部を備え、この記憶部に前記異常領域
を記録するため、処理後、異常な領域が簡単に判定で
き、予測符号化方式の動画符号を評価する場合に、参照
値の異常による各画素への波及を記憶できるので、復号
と同じ順序で、復号値の異常を検出して画素単位で異常
領域を特定することができ、符号をさかのぼって処理す
る複雑さがなくなる効果がある。
【0120】請求項15記載の発明によれば、前記ディ
ジタル動画において前記検出された異常に対応する画像
領域を特定する手段が、予め表示画面を画面分割した小
領域当たり1bit以上の固定長で割り当てた記憶部を備
え、この記憶部へ前記異常領域を記録するため、処理
後、異常な領域が簡単に判定でき、予測符号化方式の動
画符号を評価する場合に、参照値の異常による各小領域
への波及を記憶できるので、復号と同じ順序で、復号値
の異常を検出して小領域単位で異常領域を特定すること
ができ、符号をさかのぼって処理する複雑さがなくな
り、画素単位で判定する場合に比べ、処理に用いるメモ
リ量を小さくできる効果がある。
【0121】請求項16記載の発明によれば、前記ディ
ジタル動画において前記検出された異常に対応する画像
領域を特定する手段が、表示画面における矩形領域を指
定し、前記矩形領域の表示画面におけるカラム番号の最
大最小、ロウ番号の最大最小を記録するため、処理後、
異常な領域が簡単に判定でき、予測符号化方式の動画符
号を評価する場合に、参照値の異常による各矩形領域へ
の波及を記憶できるので、復号と同じ順序で、復号値の
異常を検出して矩形領域単位で異常領域を特定すること
ができ、符号をさかのぼって処理する複雑さがなくな
り、画素単位で判定する場合に比べ、処理に用いるメモ
リ量を小さくできる効果がある。
【0122】請求項17記載の発明によれば、前記ディ
ジタル動画符号の異常を検出する手段が復号器であり、
この復号器は、入力されるディジタル動画符号の復号不
可能を検出し、復号不可能とき、エラーを出力し、次の
ディジタル動画符号の符号同期を示す目印を検出し、次
のディジタル動画符号の復号を再開するため、復号され
た画像領域以外の部分が異常と判定できる効果がある。
【0123】請求項18に記載の発明によれば、前記デ
ィジタル動画符号の異常を検出する手段が復号器であ
り、前記復号器は、前記ネットワークにおける前記ディ
ジタル動画符号の転送時間の処理遅延の有無を検出し、
処理遅延が検出されたとき、エラーを出力し、次のディ
ジタル動画符号の符号同期を示す目印を検出し、次のデ
ィジタル動画符号の復号を再開するため、復号された画
像領域以外の部分が異常と判定できる効果がある。
【0124】請求項19記載の発明によれば、前記ディ
ジタル動画符号の異常を検出する手段が表示器であり、
この表示器は、フレームごとに表示手段への表示不可能
となる異常を検出するため、フレームをスキップして表
示した事象が記録できるので、受信端末における画像
(表示される画像)に近い品質評価値が得られる効果が
ある。
【0125】請求項20記載の発明によれば、前記ディ
ジタル動画における品質劣化の程度を算出した品質評価
値を複数のディジタル動画毎にそれぞれ記憶する手段
と、この品質評価値を前記ネットワークにより、前記デ
ィジタル動画とは非同期の時間で送信する手段とを具備
するため、前記品質評価値を算出するコンピュータが、
メール送信機能など、通常の送信機能を利用して、画質
評価値を出力することができる。
【0126】請求項21記載の発明によれば、前記ディ
ジタル動画を受信する、前記ネットワークに接続された
受信器の内部に組み込まれているため、専用の動画通信
品質判定器を設置する場合に比べて、ユーザの受信端末
に組み込んだ場合は、その端末で利用される動画品質を
精度良く評価することができる効果がある。
【0127】請求項22記載の発明によれば、前記ディ
ジタル動画の通信を中継する、前記ネットワークに接続
された中継器の内部に組み込まれているため、専用の動
画通信品質判定器を設置する場合に比べて、その中継器
の画質に関する性能、故障などを評価することができる
効果がある。
【図面の簡単な説明】
【図1】 本発明の一実施形態による動画通信品質判定
装置の構成を示すブロック図である。
【図2】 図1の動画通信品質判定装置における領域記
憶部4に記憶されたデータの構成を説明する概念図であ
る。
【図3】 図1の動画通信品質判定装置における領域記
憶部4に記憶されたデータの構成を説明する概念図であ
る。
【図4】 従来例による動画通信分析装置を含む画像処
理システムの構成を示すブロック図である。
【図5】 動画符号の構成を示す概念図である。
【符号の説明】
1 符号異常検出部 2 フレームスキップ検出部 3 コンシールメント部 4 領域記憶部 5 画質評価値算出部 30 動画デコーダ 31 動画受信部 35 受信器 61 動画符号 62 符号ポインタ 63 同期符号

Claims (22)

    【特許請求の範囲】
  1. 【請求項1】 ネットワークと前記ネットワークに接続
    される動画サーバとからなり、 前記動画サーバがディジタル動画符号を前記ネットワー
    クを介して送信する動画通信システムであって、 前記ネットワークに接続され、前記ディジタル動画符号
    を受信する手段と、 前記ネットワークに接続され、前記ディジタル動画符号
    の異常を検出する手段と、 前記ネットワークに接続され、検出された前記異常によ
    るディジタル動画における品質劣化の程度を算出する画
    質評価値算出手段とを具備することを特徴とする動画通
    信品質判定装置。
  2. 【請求項2】 前記受信する手段が前記ディジタル動画
    符号の検出さされた前記異常を含まない部分をディジタ
    ル動画に復号する手段を具備することを特徴とする請求
    項1記載の動画通信品質判定装置。
  3. 【請求項3】 前記異常を検出する手段が、前記ディジ
    タル動画符号の異常として、このディジタル動画符号の
    前記ネットワークにおける伝送の伝送誤り、及びこのデ
    ィジタル動画符号の廃棄を検出することを特徴とする請
    求項1または請求項2記載の動画通信品質判定装置。
  4. 【請求項4】 前記異常を検出する手段が、異常とし
    て、前記ディジタル動画符号の前記ネットワークにおけ
    る伝送の時間的な遅延を検出することを特徴とする請求
    項1または2記載の動画通信品質判定装置。
  5. 【請求項5】 前記異常を検出する手段が、異常とし
    て、前記ディジタル動画に復号する手段において復号処
    理するディジタル動画符号が予め取り決められた前記デ
    ィジタル動画符号でないことを検出することを特徴とす
    る請求項1または請求項2に記載の動画通信品質判定装
    置。
  6. 【請求項6】 前記ディジタル動画符号の特定の一部の
    復号において、他の部分の復号値を参照する場合、前記
    異常を検出する手段が異常として、この特定の一部のデ
    ィジタル動画符号の復号値へ、他の部分の復号値の任意
    の異常が波及することを検出することを特徴とする請求
    項1ないし請求項5のいずれかに記載の動画通信品質判
    定装置。
  7. 【請求項7】 前記ディジタル動画において前記検出さ
    れた異常に対応する画像領域を特定する手段を具備し、 前記ディジタル動画における品質劣化の程度を算出する
    手段が、計算結果として前記異常な画像領域の面積、ま
    たは全体に対する前記領域の面積比を出力することを特
    徴とする請求項1ないし請求項6のいずれかに記載の動
    画通信品質判定装置。
  8. 【請求項8】 前記ディジタル動画における品質劣化の
    程度を算出する手段が、前記異常な画像領域の面積,ま
    たは全体に対する前記領域の面積比を、前記ディジタル
    動画における画素単位で算出することを特徴とする請求
    項1ないし請求項7のいずれかに記載の動画通信品質判
    定装置。
  9. 【請求項9】 前記ディジタル動画における品質劣化の
    程度を算出する手段が、前記異常な画像領域の面積,ま
    たは全体に対する前記領域の面積比を、特定の範囲で画
    面分割した小領域の単位で算出することを特徴とする請
    求項1ないし請求項7のいずれかに記載の動画通信品質
    判定装置。
  10. 【請求項10】 前記ディジタル動画における品質劣化
    の程度を算出する手段が、前記異常な画像領域の面積,
    または全体に対する前記領域の面積比を、表示されるフ
    レーム単位で算出することを特徴とする請求項1ないし
    請求項7のいずれかに記載の動画通信品質判定装置。
  11. 【請求項11】 前記ディジタル動画における品質劣化
    の程度を算出する手段は、前記ディジタル動画において
    前記検出された異常に対応する画像領域を特定する手段
    が、検出した前記異常な画像領域の階調値をゼロとし、
    この異常な画像領域の階調値の第1の2乗和,及び前記
    全体の階調値の第2の2乗和を算出し、第1の2乗和と
    第2の2乗和との比を算出し、この算出結果を画像評価
    値として出力することを特徴とする請求項1ないし請求
    項6のいずれかに記載の動画通信品質判定装置。
  12. 【請求項12】 前記ディジタル動画における品質劣化
    の程度を算出する手段は、前記ディジタル動画において
    前記検出された異常に対応する画像領域を特定する手段
    が、検出した前記異常な画像領域の階調値を、コンシー
    ルメントにより補正し、前記補正された異常な画像領域
    の階調値の第1の2乗和,及び前記全体の階調値の第2
    の2乗和を算出し、この第1の2乗和とこの第2の2乗
    和との比を算出し、算出結果として画質評価値の出力す
    ることを特徴とする請求項1ないし請求項6のいずれか
    に記載の動画通信品質判定装置。
  13. 【請求項13】 前記ディジタル動画符号の特定の一部
    の復号において、他の部分の復号値を参照する場合、前
    記異常を検出する手段が、前記検出された異常に対応す
    る符号に基づき、前記他の部分の復号値の異常が前記特
    定の一部の復号値に波及する異常を検出し、 前記ディジタル動画において前記検出された異常に対応
    する画像領域を特定する手段が、前記波及する異常に対
    応する、前記ディジタル動画符号の特定の一部を含む画
    像領域を特定することを特徴とする請求項1ないし請求
    項12のいずれかに記載の動画通信品質判定装置。
  14. 【請求項14】 前記ディジタル動画において前記検出
    された異常に対応する画像領域を特定する手段が、画素
    当たり1bit以上の固定長で割り当てた記憶部を備え、
    この記憶部に前記異常領域を記録することを特徴とする
    請求項1ないし請求項13のいずれかに記載の動画通信
    品質判定装置。
  15. 【請求項15】 前記ディジタル動画において前記検出
    された異常に対応する画像領域を特定する手段が、予め
    表示画面を画面分割した小領域当たり1bit以上の固定
    長で割り当てた記憶部を備え、この記憶部へ前記異常領
    域を記録することを特徴とする請求項1ないし請求項1
    3のいずれかに記載の動画通信品質判定装置。
  16. 【請求項16】 前記ディジタル動画において前記検出
    された異常に対応する画像領域を特定する手段が、表示
    画面における矩形領域を指定し、前記矩形領域の表示画
    面におけるカラム番号の最大最小、ロウ番号の最大最小
    を記録することを特徴とする請求項1ないし請求項13
    のいずれかに記載の動画通信品質判定装置。
  17. 【請求項17】 前記ディジタル動画符号の異常を検出
    する手段が復号器であり、この復号器は、入力されるデ
    ィジタル動画符号の復号不可能を検出し、復号不可能と
    き、エラーを出力し、次のディジタル動画符号の符号同
    期を示す目印を検出し、次のディジタル動画符号の復号
    を再開することを特徴とする請求項1ないし請求項16
    のいずれかに記載の動画通信品質判定装置。
  18. 【請求項18】 前記ディジタル動画符号の異常を検出
    する手段が復号器であり、前記復号器は、前記ネットワ
    ークにおける前記ディジタル動画符号の転送時間の処理
    遅延の有無を検出し、処理遅延が検出されたとき、エラ
    ーを出力し、次のディジタル動画符号の符号同期を示す
    目印を検出し、次のディジタル動画符号の復号を再開す
    ることを特徴とする請求項1ないし請求項16のいずれ
    かに記載の動画通信品質判定装置。
  19. 【請求項19】 前記ディジタル動画符号の異常を検出
    する手段が表示器であり、この表示器は、フレームごと
    に表示手段への表示不可能となる異常を検出することを
    特徴とする請求項1ないし請求項18のいずれかに記載
    の動画通信品質判定装置。
  20. 【請求項20】 前記ディジタル動画における品質劣化
    の程度を算出した品質評価値を複数のディジタル動画毎
    にそれぞれ記憶する手段と、 この品質評価値を前記ネットワークにより、前記ディジ
    タル動画とは非同期の時間で送信する手段とを具備する
    ことを特徴とする請求項1ないし請求項19のいずれか
    に記載の動画通信品質判定装置。
  21. 【請求項21】 前記ディジタル動画を受信する、前記
    ネットワークに接続された受信器の内部に組み込まれて
    いることを特徴とする請求項1ないし請求項20のいず
    れかに記載の動画通信品質判定装置。
  22. 【請求項22】 前記ディジタル動画の通信を中継す
    る、前記ネットワークに接続された中継器の内部に組み
    込まれていることを特徴とする請求項1ないし請求項2
    0のいずれかに記載の動画通信品質判定装置。
JP15307899A 1999-05-31 1999-05-31 動画通信品質判定装置 Withdrawn JP2000341688A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP15307899A JP2000341688A (ja) 1999-05-31 1999-05-31 動画通信品質判定装置
US09/577,096 US6591396B1 (en) 1999-05-31 2000-05-24 Moving image communication quality determination apparatus
DE2000126726 DE10026726A1 (de) 1999-05-31 2000-05-30 Vorrichtung zur Bestimmung der Übertragungsgüte von Bewegtbildern

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP15307899A JP2000341688A (ja) 1999-05-31 1999-05-31 動画通信品質判定装置

Publications (1)

Publication Number Publication Date
JP2000341688A true JP2000341688A (ja) 2000-12-08

Family

ID=15554506

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15307899A Withdrawn JP2000341688A (ja) 1999-05-31 1999-05-31 動画通信品質判定装置

Country Status (3)

Country Link
US (1) US6591396B1 (ja)
JP (1) JP2000341688A (ja)
DE (1) DE10026726A1 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003134268A (ja) * 2001-10-26 2003-05-09 Matsushita Electric Works Ltd 構内通信システム
JP2007166479A (ja) * 2005-12-16 2007-06-28 Matsushita Electric Ind Co Ltd 動画像表示装置および動画像表示方法
JP2007312191A (ja) * 2006-05-19 2007-11-29 Oki Electric Ind Co Ltd ビデオ品質評価装置、ビデオ品質監視装置、およびビデオ品質監視システム
JP2008527936A (ja) * 2005-01-18 2008-07-24 トムソン ライセンシング チャネルによって引き起こされる歪みを推定する方法及び装置
JP2008206042A (ja) * 2007-02-22 2008-09-04 Kddi Corp 映像品質評価方法および装置
JP2008543214A (ja) * 2005-05-30 2008-11-27 エスケーテレコム株式会社 コーデック補助情報を用いた動画像画質評価システム及び方法
JP2008301026A (ja) * 2007-05-30 2008-12-11 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定方法、装置、およびプログラム
WO2009001800A1 (ja) * 2007-06-22 2008-12-31 Nec Corporation 画質評価装置、画質評価方法およびプログラム
WO2009116667A1 (ja) * 2008-03-21 2009-09-24 日本電信電話株式会社 映像品質客観評価方法、映像品質客観評価装置、及びプログラム
WO2010032334A1 (ja) * 2008-09-22 2010-03-25 富士通株式会社 品質指標値算出方法、情報処理装置、動画配信システムおよび品質指標値算出プログラム
JP2011510562A (ja) * 2008-01-18 2011-03-31 トムソン ライセンシング 知覚上の品質を評価する方法
JP2012156650A (ja) * 2011-01-24 2012-08-16 Panasonic Corp 動画伝送システム
JP2015144473A (ja) * 2010-01-11 2015-08-06 テレフオンアクチーボラゲット エル エム エリクソン(パブル) 映像品質推定技術
US11533420B2 (en) 2017-08-17 2022-12-20 Sony Group Corporation Server, method, non-transitory computer-readable medium, and system

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002118853A (ja) * 2000-08-04 2002-04-19 Matsushita Electric Ind Co Ltd 画像復号装置及び画像復号方法
US7010730B1 (en) * 2000-11-01 2006-03-07 Sunrise Telecom Incorporated System and method for testing the upstream channel of a cable network
JP2003283808A (ja) * 2002-03-26 2003-10-03 Sharp Corp 画像処理装置
US6952452B2 (en) * 2002-06-28 2005-10-04 Lsi Logic Corporation Method of detecting internal frame skips by MPEG video decoders
JP2008311831A (ja) * 2007-06-13 2008-12-25 Panasonic Corp 動画像通信装置、動画像通信システムおよび動画像通信用の半導体集積回路
EP2213000B1 (en) * 2007-07-16 2014-04-02 Telchemy, Incorporated Method and system for content estimation of packet video streams
KR100938211B1 (ko) * 2008-08-29 2010-01-22 성균관대학교산학협력단 동영상 화질 평가 시스템 및 방법
KR101345098B1 (ko) * 2009-12-18 2013-12-26 한국전자통신연구원 실시간 영상품질 측정 장치 및 방법
US9268664B2 (en) 2010-04-06 2016-02-23 Paypal, Inc. Method and system for synchronous and asynchronous monitoring
JP2012182785A (ja) * 2011-02-07 2012-09-20 Panasonic Corp 映像再生装置および映像再生方法
US10313212B2 (en) * 2015-09-22 2019-06-04 Veniam, Inc. Systems and methods for detecting and classifying anomalies in a network of moving things
CN111311545A (zh) * 2020-01-19 2020-06-19 上海箱云物流科技有限公司 集装箱检测方法、装置及计算机可读存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4888812A (en) * 1987-12-18 1989-12-19 International Business Machines Corporation Document image processing system
JPH0437964A (ja) * 1990-06-01 1992-02-07 Eastman Kodak Japan Kk 文書読取装置
EP0667594A3 (en) * 1994-02-14 1995-08-23 International Business Machines Corporation Image quality analysis method and apparatus
US6115509A (en) * 1994-03-10 2000-09-05 International Business Machines Corp High volume document image archive system and method
JPH07322248A (ja) 1994-05-30 1995-12-08 Matsushita Electric Ind Co Ltd 動画像データの伝送方法および伝送装置
JPH08223610A (ja) 1995-02-17 1996-08-30 Nippon Telegr & Teleph Corp <Ntt> 画像転送評価装置
JP3415319B2 (ja) 1995-03-10 2003-06-09 株式会社東芝 動画像符号化装置及び動画像符号化方法
US5793647A (en) * 1995-08-15 1998-08-11 Diffracto, Ltd. System and method for graphical image data acquistion, storage, and retrieval
JPH11252570A (ja) 1998-03-04 1999-09-17 Ando Electric Co Ltd 動画通信装置

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003134268A (ja) * 2001-10-26 2003-05-09 Matsushita Electric Works Ltd 構内通信システム
JP2008527936A (ja) * 2005-01-18 2008-07-24 トムソン ライセンシング チャネルによって引き起こされる歪みを推定する方法及び装置
US9154795B2 (en) 2005-01-18 2015-10-06 Thomson Licensing Method and apparatus for estimating channel induced distortion
US8331443B2 (en) 2005-05-30 2012-12-11 Sk Planet Co., Ltd. Systems and methods for video quality measurement using auxiliary information of codec
JP2008543214A (ja) * 2005-05-30 2008-11-27 エスケーテレコム株式会社 コーデック補助情報を用いた動画像画質評価システム及び方法
JP2007166479A (ja) * 2005-12-16 2007-06-28 Matsushita Electric Ind Co Ltd 動画像表示装置および動画像表示方法
JP2007312191A (ja) * 2006-05-19 2007-11-29 Oki Electric Ind Co Ltd ビデオ品質評価装置、ビデオ品質監視装置、およびビデオ品質監視システム
JP2008206042A (ja) * 2007-02-22 2008-09-04 Kddi Corp 映像品質評価方法および装置
JP2008301026A (ja) * 2007-05-30 2008-12-11 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定方法、装置、およびプログラム
WO2009001800A1 (ja) * 2007-06-22 2008-12-31 Nec Corporation 画質評価装置、画質評価方法およびプログラム
JP2011510562A (ja) * 2008-01-18 2011-03-31 トムソン ライセンシング 知覚上の品質を評価する方法
WO2009116667A1 (ja) * 2008-03-21 2009-09-24 日本電信電話株式会社 映像品質客観評価方法、映像品質客観評価装置、及びプログラム
JPWO2010032334A1 (ja) * 2008-09-22 2012-02-02 富士通株式会社 品質指標値算出方法、情報処理装置、動画配信システムおよび記録媒体
WO2010032334A1 (ja) * 2008-09-22 2010-03-25 富士通株式会社 品質指標値算出方法、情報処理装置、動画配信システムおよび品質指標値算出プログラム
JP2015144473A (ja) * 2010-01-11 2015-08-06 テレフオンアクチーボラゲット エル エム エリクソン(パブル) 映像品質推定技術
US10728538B2 (en) 2010-01-11 2020-07-28 Telefonaktiebolaget L M Ericsson(Publ) Technique for video quality estimation
JP2012156650A (ja) * 2011-01-24 2012-08-16 Panasonic Corp 動画伝送システム
US11533420B2 (en) 2017-08-17 2022-12-20 Sony Group Corporation Server, method, non-transitory computer-readable medium, and system

Also Published As

Publication number Publication date
DE10026726A1 (de) 2001-03-29
US6591396B1 (en) 2003-07-08

Similar Documents

Publication Publication Date Title
JP2000341688A (ja) 動画通信品質判定装置
EP2737703B1 (en) Video refresh using error-free reference frames
US6744924B1 (en) Error concealment in a video signal
US9232217B2 (en) Method and apparatus for objective video quality assessment based on continuous estimates of packet loss visibility
US6990151B2 (en) Systems and methods for enhanced error concealment in a video decoder
US6836514B2 (en) Method for the detection and recovery of errors in the frame overhead of digital video decoding systems
US20030012286A1 (en) Method and device for suspecting errors and recovering macroblock data in video coding
US7486734B2 (en) Decoding and coding method of moving image signal, and decoding and coding apparatus of moving image signal using the same
US6493392B1 (en) Method for coding digital interlaced moving video
US20130251042A1 (en) Block Error Compensating Apparatus of Image Frame and Method Thereof
US6351493B1 (en) Coding an intra-frame upon detecting a scene change in a video sequence
US20090153668A1 (en) System and method for real-time video quality assessment based on transmission properties
US20030121053A1 (en) Video distribution test system for evaluating image quality by determining spread of frame loss within refreshment interval
US6750942B2 (en) Motion picture code evaluation apparatus and system
US20030160945A1 (en) Motion picture code evaluator and billing system
JP2002325254A (ja) 動画符号評価装置及びシステム
US6778254B2 (en) Motion picture code evaluator and related systems
US9723266B1 (en) Lightweight content aware bit stream video quality monitoring service
EP1081963B1 (en) Video signal error detection systems
Reibman et al. Quality monitoring for compressed video subjected to packet loss
EP1555788A1 (en) Method for improving the quality of an encoded video bit stream transmitted over a wireless link, and corresponding receiver
KR100363550B1 (ko) 동영상 인코딩 장치 및 무선 단말기의 동영상 디코딩 장치
JP2002191048A (ja) 動画符号通信評価方法及び動画符号通信評価装置

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20060801