JP2005064679A - 画像特徴量抽出方式および画質評価方式 - Google Patents
画像特徴量抽出方式および画質評価方式 Download PDFInfo
- Publication number
- JP2005064679A JP2005064679A JP2003290014A JP2003290014A JP2005064679A JP 2005064679 A JP2005064679 A JP 2005064679A JP 2003290014 A JP2003290014 A JP 2003290014A JP 2003290014 A JP2003290014 A JP 2003290014A JP 2005064679 A JP2005064679 A JP 2005064679A
- Authority
- JP
- Japan
- Prior art keywords
- image feature
- image
- image quality
- spread spectrum
- orthogonal transform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】装置規模を複雑化することなく、各ブロックについての画像特徴量の情報量を1〜2ビットとすることを可能にすることにより画像特徴量伝送に必要とする監視回線速度を低減可能にすること。
【解決手段】ブロックの画像信号をxi(n0,n1)にPN系列SPNi(n0,n1)を乗じてスペクトル拡散する(S1)。次に、DFT,DCT,WHTなどの直交変換を行う(S2)。S1〜S2を1回または任意の回数n反復することで得られた係数Xi(s0,s1)のうち、任意成分(sE0,sE1)の振幅成分Ai=|Xi(sE0,sE1)|を抽出し(S3)、これを所与のステップサイズMで量子化する(S4)。 画像特徴量F[i]は、量子化(S4)による量子代表値の法(モジュロ)Nmのもとの剰余として与えられる(S5)
【選択図】図2
【解決手段】ブロックの画像信号をxi(n0,n1)にPN系列SPNi(n0,n1)を乗じてスペクトル拡散する(S1)。次に、DFT,DCT,WHTなどの直交変換を行う(S2)。S1〜S2を1回または任意の回数n反復することで得られた係数Xi(s0,s1)のうち、任意成分(sE0,sE1)の振幅成分Ai=|Xi(sE0,sE1)|を抽出し(S3)、これを所与のステップサイズMで量子化する(S4)。 画像特徴量F[i]は、量子化(S4)による量子代表値の法(モジュロ)Nmのもとの剰余として与えられる(S5)
【選択図】図2
Description
本発明は、画像特徴量抽出方式および画質評価方式に関し、特に、映像伝送に伴う画質劣化を評価するための画像特徴量の情報量を低減させることができる画像特徴量抽出方式および画質評価方式に関する。
映像伝送サービスにおける伝送系の運用状況監視などをするために、映像伝送の過程で適用される圧縮符号化や伝送エラーなどに起因する画質劣化を、画像特徴量を比較して求める方法がある。本発明者は、画質劣化をMSE(平均二乗誤差)あるいはPSNR(ピーク信号対ノイズ比)という尺度で表すことにより高精度の評価が可能な画質監視あるいは画質評価装置を下記文献で提案した。
送信側での信号をx(t)、受信側での(劣化した)信号をy(t)、総画素数をNとしたとき、MSEは、次の式(1)で定義される。
MSE=(1/N)・Σ[x(t)−y(t)]2 (1)
ここで、tは水平、垂直座標からなる2次元座標である。
MSE=(1/N)・Σ[x(t)−y(t)]2 (1)
ここで、tは水平、垂直座標からなる2次元座標である。
MSEは、送信側および受信側において画像をブロックに分割し、直交変換して得られる直交変換係数のうち任意成分の係数を抽出し、これらを画像特徴量として中央監視室に送出して比較することにより推定される。また、PSNRは、画像に埋め込まれた不可視マーカの検出時に誤検出率を求め、該誤検出率を基に導出される。
特開2003−87823号公報
特願2003−9186号公報
特開2002−247606号公報
しかしながら、上記文献1および2の技術は、画像特徴量の比較に基づくものであるため、高精度を得るには送信側および受信側で相応の情報量の画像特徴量を抽出し、これを監視回線により中央監視室に送出する必要がある。このため、例えば、回線速度3〜6Mbpsが標準であると考えられるSDTV(標準テレビ方式)の画像伝送の場合、画像特徴量を伝送する監視回線として数百kbpsの回線が必要となる。
1フレームを1つのブロックとして考え、これにスペクトル拡散および直交変換を施すことにより画像特徴量の情報量を数十kbps程度まで低減するは理論上可能であるが、画像特徴量の抽出のために必要なメモリ容量や直交変換の計算量が増加し、装置規模が複雑化するため実現は困難である。
また、画像信号を小さいブロック分割し、各ブロックに対してスペクトル拡散・直交変換を施すことにより計算量を低減し、さらに直交変換係数を任意のビット長に丸める(量子化する)ことにより、画像特徴量の情報量を低減することも考えられるが、1〜2ビット程度にまで丸めると、画質評価の精度が実用的でない程度まで落ちてしまうという課題がある。
上記文献3の技術は、こうした画像特徴量伝送用の監視回線を不要とする方式であり、不可視マーカ信号の埋め込み・検出により画質評価を行うものである。不可視マーカは画質評価のための情報であり、これを画像信号に埋め込むため、別途画像特徴量を伝送するための監視回線を必要としないという利点がある。さらに、不可視マーカの埋め込みはブロック単位での処理となるため、装置規模も妥当な範囲に収まるという利点がある。
しかし、不可視マーカは、人間の視覚に影響を及ぼさない最低限の信号レベルで埋め込まれ、その埋め込みによる画質劣化は僅かではあるものの、非常に高い品質が要求される放送局間の番組素材の伝送などでは僅かな画質劣化さえ問題とされる。この点では、伝送される映像に劣化を与えない文献1および2の技術は優れているが、一方で、画質評価の精度を落とさずに、画像特徴量の伝送帯域を数十kbps程度という現実的な範囲にまで低減し、また、装置規模が複雑になるのを抑える必要があるという課題を有している。
文献1および2の技術における上記課題は、十分な精度を得るためにブロックから画像特徴量として複数ビット(通常、8〜10ビット程度)を抽出することによる情報量の増加が主な原因である。
本発明は、上記課題を解決し、装置規模を複雑化することなく、1ブロックあたりの画像特徴量の情報量(以下、表現ビット数と称す。)を1〜2ビットとすることを可能にすることにより画像特徴量伝送に必要とする監視回線速度を低減可能にすることを目的とする。
本発明の画像特徴量抽出方式は、スペクトル拡散した画像信号の直交変換係数の量子化代表値の剰余を画像特徴量として用いることにより、表現ビット数を削減した場合でも実用的な精度を保持できるようにしたものであり、任意サイズにブロック分割された画像信号に対してスペクトル拡散と直交変換とを1回または任意の回数繰り返し行うスペクトル拡散・直交変換手段と、前記スペクトル拡散・直交変換手段から出力される直交変換係数のうちの任意成分の振幅成分に対して所与のステップサイズにより量子化を行う量子化手段と、前記量子化手段から出力される量子化代表値の剰余を求めることにより有限ビット長の画像特徴量を抽出する抽出手段とを備えることを特徴とする。
また、本発明の画質評価方式は、送信側および受信側がそれぞれ、任意サイズにブロック分割された画像信号に対してスペクトル拡散と直交変換とを1回または任意の回数繰り返し行うスペクトル拡散・直交変換手段と、前記スペクトル拡散・直交変換手段から出力される直交変換係数のうちの任意成分の振幅成分に対して所与のステップサイズにより量子化を行う量子化手段と、前記量子化手段から出力される量子化代表値の剰余を求めることにより有限ビット長の画像特徴量を抽出する抽出手段とを備え、評価部が、前記送信側および受信側で抽出された画像特徴量について、同一フレーム、同一ブロックの特徴量の差分に対応する値を各ブロックについて求める手段と、前記差分に対応する値のフレーム内分布の割合を基に定義されたフレーム内画質劣化度と画質評価尺度との、あらかじめ求められた関係に基づいて受信画像の画質を評価する評価手段とを備えることを特徴とする。
ここで、スペクトル拡散・直交変換手段は、スペクトル拡散とウォルシュ−アダマール変換を行うものとすることができ、量子化手段におけるステップサイズおよび量子化代表値は可変設定可能とすることができる。
従来の技術で十分な精度で画質を評価するためには、1ブロックあたり8〜10ビット程度の情報量を持つ画像特徴量を抽出し、伝送する必要があったが、本発明は、これを1〜2ビットに低減することができる。これにより監視回線の帯域を1/4〜1/10にまで削減できるようになる。一般に、データ回線は伝送帯域により使用量が決まるため、これにより運用コストを低減できるようになる。また、量子化手段におけるステップサイズおよび量子化代表値を可変設定可能とすることにより、予想される画質劣化および監視回線の帯域を考慮して最適な評価結果を出力させることができる。
以下、図面を参照して本発明の画像特徴量抽出方式および画質評価方式について説明する。図1は、本発明が適用されたデジタル映像伝送システムの実施形態を示すブロック図である。本実施形態は、送信局1から受信局2に映像伝送用回線3を介してデジタル映像を伝送する例である。
送信局1から受信局2へのデジタル映像の伝送に際しては、送信局1側のエンコーダ4で圧縮符号化が行われ、受信局2側のデコーダ5で復号が行われる。エンコーダ4での圧縮符号化や映像伝送用回線3での伝送エラーなどに起因して、通常、受信局2側の点Bでの画質は送信局1側の点Aでの画質より劣化している。
画像特徴量抽出手段6,7は、本発明に従い点Aおよび点Bの画像信号から画像の画像特徴量FA[i],FB[i]をそれぞれ抽出する。画像特徴量抽出手段6と画像特徴量抽出手段7で実行される処理は同じである。以下では、画像特徴量抽出手段6,7での処理についてのものにはそれぞれ、下付き符号A,Bを付して表し、共通するものにはそれらの符号を付さないで表す。
画像特徴量抽出手段6,7により抽出された画像特徴量FA[i],FB[i]はそれぞれ、監視回線8,9を介して中央監視室10に送出される。評価部としての中央監視室10は、画像特徴量FA[i],FB[i]を比較することにより送信局1、受信局2間での伝送に伴う画質劣化を評価する。
図2は、画像特徴量抽出手段6,7における画像特徴量F[i]抽出手順の一例を示す図である。入力される画像信号がブロックに分割され、分割されたブロックの画像信号をxi(n0,n1)とする。ここで、n0,n1はそれぞれ、画像信号の垂直方向、水平方向のインデックスであり、iは、画面内のブロックの位置を識別するインデックスである。
ブロックのサイズは、任意のサイズを選択することができるが、映像伝送の過程で適用される圧縮符号化の処理単位に一致させるのが好適である。例えば、テレビ伝送で一般的に採用されるMPEG-2符号化では、8×8画素ブロックを処理単位としているため、ブロックのサイズは8×8画素、16×8画素、あるいは16×16画素などの、縦横の画素数が8の整数倍となるような数値を用いるのが好適である。
ブロックのサイズは、フレームについての画像特徴量および装置の処理能力にも影響するので、これらも考慮して選択するのが好ましい。すなわち、ブロックのサイズを大きくすると、フレームについての画像特徴量を低減させることができるが、直交変換の処理負担が増大し、逆に、ブロックのサイズを小さくすると、その処理負担を低減させることができるが、フレームについての画像特徴量が増大する。
図2において、まず、入力されたブロックの画像信号xi(n0,n1)にPN系列SPNi(n0,n1)を乗じてスペクトル拡散する(S1)。PN系列SPNi(n0,n1)は、(+1,+1,−1,+1,−1,−1,+1,−1,+1,・・・)などがランダムに発生する任意の行列でよい。
次に、スペクトル拡散された画像信号に対してDFT(離散フーリエ変換),DCT(離散コサイン変換),WHT(ウォルシュ−アダマール変換)などの直交変換を施す(S2)。以下の処理は、直交変換としてDFTを採用した場合のものである。なお、WHTは、直交変換のうちでは最も計算の簡単なものの一つであるので望ましいものである。すなわち、全ての演算が和演算または差演算であるため、この演算をハードウエアで実現するにしてもソフトウエアで実現するにしても非常に簡単にできるという利点がある。
S1〜S2を1回または任意の回数n反復することで得られた変換係数Xi(s0,s1)のうち、任意成分(sE0,sE1)の振幅成分Ai=|Xi(sE0,sE1)|を抽出する(S3)。振幅成分を抽出するのは、本発明の目的であるMSEの推定に影響するのは振幅成分であり、位相は影響しないと考えるからである。なお、S1〜S2を複数回反復することにより画像特徴量の抽出精度の向上が期待される。また、振幅成分の抽出(S3)は、直交変換の種類によって必要な処理であり、例えば、振幅成分(実部)と位相成分(虚部)を出力するDFTの場合に必要な処理であるが、DCTやWHTの場合には振幅成分のみが出力されるので不要であり、正負符号を含む直交変換係数をそのまま次段に送る。また、伝送に伴う画質劣化を評価するためには、送信側と受信側とで、同じブロックについては同じ成分の振幅成分に着目して抽出する必要がある。
次に、振幅成分Ai=|Xi(sE0,sE1)|を所与の量子化パラメータ(ステップサイズ)Mで量子化する(S4)。 画像特徴量F[i]は、量子化(S4)による量子化代表値の法(モジュロ)Nmのもとの剰余を求めることにより得られる(S5)。
すなわち、量子化におけるステップサイズをMとし、特徴抽出対象の成分を(sE0,sE1)と表すとき、その振幅成分Ai=|Xi(sE0,sE1)|に対し、画像特徴量F[i]は、式(1)で表される。
F[i]=[round(Ai/M)]mod Nm (1)
F[i]=[round(Ai/M)]mod Nm (1)
ここで、roundは、切り上げ、切り捨て、四捨五入などして近似値を求めることを表し、round(Ai/M)は、量子化による代表値となる。また、Nmは任意の整数を与えることができ、これにより画像特徴量表現ビット数 Nexpを制御できるが、画像特徴量表現ビット数 Nexpに対して表現できるレベル数は、2Nexp(1ビットなら{0,1}、2ビットなら{0,1,2,3}、3ビットなら{0,1,2,3,4,5,6,7}、・・・)となるため、Nm=2Nexpとすることが望ましい。
図3は、画質劣化と画像特徴量との関係の具体例を示す。同図では、原画像の直交変換係数Xi(s0,s1)のうち、任意成分(sE0,sE1)の振幅成分Ai=|Xi(sE0,sE1)|=800、ステップサイズM=200、画像特徴量表現ビット数 Nexp=1(よって、Nm=2)の場合を示している。1ビットの画像特徴量は、式(1)に基づきM=200の周期で出現し、F[i]=0またはF[i]=1で与えられる。
図3の場合、原画像では|Xi(sE0,sE1)|=800となるため、その画像特徴量は、FA[i]=0と認識される。一方、復号画像における直交変換係数は、符号化に伴う劣化などの伝送による画質劣化が加えられているため、一般に原画像とは異なる値を示す。復号画像における直交変換係数の成分(sE0,sE1)の係数をXi’(sE0,sE1)とすると、図3の(a)で示すように、伝送による画質劣化が小さい場合には、係数Xi’(sE0,sE1)の振幅成分|Xi’(sE0,sE1)|の変動が小さく(図示の場合には、800から710への変動)、原画像と同じ領域(700〜900)の中に収まるため、FB[i]=0を示す。
一方、図3の(b)で示すように、画質劣化が大きい場合には、係数Xi’(sE0,sE1)の振幅成分|Xi’(sE0,sE1)|の変動が大きく(図示の場合には、800から1000への変動)、原画像とは異なる画像特徴量FB[i]=1を示す。
画質劣化の指標は、画像特徴量FA[i]とFB[i]とが一致するか否かを検査することにより得られる。すなわち、画質劣化の指標D[i]は、式(2)で与えられる。
D[i]=|FA[i]−FB[i]| (2)
D[i]=|FA[i]−FB[i]| (2)
なお、画像特徴量F[i]の周期(領域の幅)を定めるパラメータ(ステップサイズ)Mの値を小さくすれば画質劣化の検出感度が高くなるが、領域の幅が狭くなり、逆にMの値を大きくすれば検出感度が下がるが、領域の幅が広くなる。このため、パラメータMは、映像伝送で予測される画質劣化の程度を考慮して適切に選ぶ必要がある。
図3の例は、画像特徴量表現ビット数 Nexp=1の場合であり、画像特徴量FA[i],FB[i]は、0,1のみで、2レベルのいずれかをとるため、画像特徴量表現ビットの一致を検査するのみで画質劣化の指標を得ることができるが、画像特徴量表現ビット数 Nexp>1である場合には、画像特徴量は2より大きいレベルをとり得るため、画像特徴量の一致を検査するのみでは不十分である。この場合には、さらに画像特徴量の差分に着目して画質劣化の指標を得るようにすればよい。
図4は、画像特徴量表現ビット数 Nexp=2(よって、Nm=3)の場合の画質劣化と画像特徴量との関係を示す。この場合、画像特徴量はAi=|Xi(sE0,sE1)|に応じて4つのレベルをとり得る。これは、Aiの数直線上に、画像特徴量F[i]=0,1,2,3の領域が周期的に出現することを意味する。
ここで、Aiの値は送受信間の画質劣化の程度により変化するため、Aiの属する領域が変化することが考えられる。これに対処するため、送受信間の画像特徴量の領域の距離を画質劣化の指標D[i]として定義する。しかし、画像特徴量は、単に直交変換係数の振幅成分を量子化した場合の剰余により定義されているため、送受信間の画像特徴量の差分(|FA[i]−FB[i]|)では、送受信間の画像特徴量の領域の距離を求めることはできない。例えば、F[i]=0の領域とその左右の領域(F[i]=Nm−1=3の領域、F[i]=1の領域)の距離は、ともに同じであるにも拘わらず、画像特徴量の差分はそれぞれ、「3」,「1」となり、画質劣化の程度に対応しない。
そこで、画像特徴量FA[i],FB[i]の組と距離の対応を表したマトリックスを作成し、これを利用して式(3)により画質劣化の指標D[i]を求める。
D[i]=dNexp(FA[i],FB[i]) (3)
ここで、dNexp(X,Y)は、画像特徴量FA[i],FB[i]の組と距離の対応を表したマトリックスにより定義される関数である。
D[i]=dNexp(FA[i],FB[i]) (3)
ここで、dNexp(X,Y)は、画像特徴量FA[i],FB[i]の組と距離の対応を表したマトリックスにより定義される関数である。
このマトリックスは、画像特徴量表現ビット数 Nexp=2の場合、例えば、図5に示すように画像特徴量FA[i],FB[i]の組と距離の対応を表すように作成される。なお、図5では、F[i]=0とF[i]=3とは隣接する領域であるとして距離を「1」としているが、この場合、距離が実際には「3」である場合(図4のF[i]=0の領域とその右側のF[i]=3の領域の場合)も想定される。
しかし、これによる誤差の影響は、フレーム単位での画質劣化の指標を後述するように求めることにより小さくすることができ、また、量子化におけるステップサイズ、すなわち領域の幅を適切に設定することによりある程度防ぐことができる。また、画像特徴量の情報量は増加するが、表現ビット数を増加させることによっても対処できる。
マトリックスの大きさおよびその数値は、画像特徴量表現ビット数に応じて異なるものとなるため、画像特徴量表現ビット数に対応して個々に作成する必要があるが、Aiの数直線上での距離を考慮した値を記述すればよく、その手法は容易であるので説明は省略する。
式(2)または式(3)によりブロック単位の画質劣化の指標D[i]を得た後、この指標D[i]をフレーム単位にまとめることにより当該フレームの受信画像の画質を尺度PSNRで評価することができる。フレームでの画質劣化の指標DFRAMEは、式(4)により求めることができる。
ここで、Skは、当該フレーム中でD[i]=kとなったブロックの総数を表す。また、αkは、Skに対する任意の重み係数であり、例えば、kが大きいほど重みを大きくする。
画質劣化の指標DFRAMEと受信画像のPSNRとには一定の相関が存在しており、それ故、画像特徴量を元に画質劣化の指標DFRAMEを求めることができれば、伝送による画質劣化を推定できる。なお、画質劣化の指標DFRAMEと受信画像のPSNRとの相関関数は、あらかじめ複数のテスト画像により実際にDFRAMEとPSNRを求めることにより得られる。
図6は、一例として、画像特徴量表現ビット数 Nexp=1とし、6種類のテスト画像、4種類のビットレートに対して実際にテストを行ったときに得られたDFRAME−PSNR特性の回帰曲線である。図6から明らかなように、この回帰曲線は、絵柄、ビットレートなどの条件によらず一意に定まるため、あらかじめ数種類の画像を使用してこの関係を求めておけば、以降は画像特徴量を元に画質劣化の指標DFRAMEを求めるだけで受信画像のPSNRが推定できる。
なお、上記実施形態では、送信局1および受信局2で求めた画像特徴量を、送信局1および受信局2とは別個の中央監視室10に送出するものとしたが、中央監視室10は送信局1あるいは受信局2に設けることができ、その場合には送信局1、受信局2のいずれか一方で求めた画像特徴量を監視回線を介して送出するのみでよい。
本発明は、映像伝送サービスにおいて、保守・監視拠点における映像ネットワークの総合監視制御システムの一部として応用可能であり、無人自動監視が可能になるため、新規サービス導入時のトラブルシューティングの効率化に活用できる。また、放送局内においては、機器故障、配線ノイズなどによる映像障害を自動検出が可能になるため、スタジオ内の映像障害監視システムに応用できる。
1・・・送信局、2・・・受信局、3・・・映像伝送用回線、4・・・エンコーダ、5・・・デコーダ、6,7・・・特徴抽出部、8,9・・・監視回線、10・・・中央監視室
Claims (5)
- 任意サイズにブロック分割された画像信号に対してスペクトル拡散と直交変換とを1回または任意の回数繰り返し行うスペクトル拡散・直交変換手段と、
前記スペクトル拡散・直交変換手段から出力される直交変換係数のうちの任意成分の振幅成分に対して所与のステップサイズで量子化を行う量子化手段と、
前記量子化手段から出力される量子化代表値の剰余を求めることにより有限ビット長の画像特徴量を抽出する抽出手段とを備えることを特徴とする画像特徴量抽出方式。 - 前記スペクトル拡散・直交変換手段は、スペクトル拡散とウォルシュ−アダマール変換を行うものであることを特徴とする請求項1に記載の画像特徴量抽出方式。
- 送信側および受信側で画像特徴量を抽出し、抽出された画像特徴量を評価部で比較することにより映像伝送に伴う画質劣化を評価する画質評価方式において、
送信側および受信側はそれぞれ、任意サイズにブロック分割された画像信号に対してスペクトル拡散と直交変換とを1回または任意の回数繰り返し行うスペクトル拡散・直交変換手段と、前記スペクトル拡散・直交変換手段から出力される直交変換係数のうちの任意成分の振幅成分に対して所与のステップサイズにより量子化を行う量子化手段と、前記量子化手段から出力される量子化代表値の剰余を求めることにより有限ビット長の画像特徴量を抽出する抽出手段とを備え、
前記評価部は、前記送信側および受信側で抽出された画像特徴量について、同一フレーム、同一ブロックの画像特徴量の差分に対応する値を各ブロックについて求める手段と、前記差分に対応する値のフレーム内分布の割合を基に定義されたフレーム内画質劣化度と画質評価尺度との、あらかじめ求められた関係に基づいて受信画像の画質を評価する評価手段とを備えることを特徴とする画質評価方式。 - 前記スペクトル拡散・直交変換手段は、スペクトル拡散とウォルシュ−アダマール変換を行うものであることを特徴とする請求項3に記載の画質評価方式。
- 前記量子化手段におけるステップサイズおよび量子化代表値は可変設定可能であることを特徴とする請求項3または4に記載の画質評価方式。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003290014A JP2005064679A (ja) | 2003-08-08 | 2003-08-08 | 画像特徴量抽出方式および画質評価方式 |
US10/901,186 US7385627B2 (en) | 2003-08-08 | 2004-07-29 | Picture feature extraction system and picture quality evaluation system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003290014A JP2005064679A (ja) | 2003-08-08 | 2003-08-08 | 画像特徴量抽出方式および画質評価方式 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005064679A true JP2005064679A (ja) | 2005-03-10 |
Family
ID=34114112
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003290014A Pending JP2005064679A (ja) | 2003-08-08 | 2003-08-08 | 画像特徴量抽出方式および画質評価方式 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7385627B2 (ja) |
JP (1) | JP2005064679A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007007750A1 (ja) * | 2005-07-11 | 2007-01-18 | Nippon Telegraph And Telephone Corporation | 映像整合装置、方法、およびプログラム |
JP2007053604A (ja) * | 2005-08-18 | 2007-03-01 | Kddi Corp | 映像信号のフレーム同期方式 |
JP2008533937A (ja) * | 2005-03-25 | 2008-08-21 | アルゴリス インコーポレイテッド | Dctコード化されたビデオの品質を、オリジナルビデオシーケンスを用いて、もしくは用いずに客観評価する装置及び方法 |
WO2009075245A1 (ja) * | 2007-12-12 | 2009-06-18 | Nec Corporation | 画質評価システム、それに用いる装置、方法およびプログラム |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1269754A4 (en) | 2000-03-14 | 2009-03-11 | Joseph Robert Marchese | DIGITAL VIDEO SYSTEM USING NETWORKED CAMERAS |
EP1973351B1 (en) * | 2006-01-13 | 2015-12-30 | Gaintech Co. Ltd. | Monitor |
US9166883B2 (en) * | 2006-04-05 | 2015-10-20 | Joseph Robert Marchese | Network device detection, identification, and management |
US8424049B2 (en) * | 2006-08-25 | 2013-04-16 | Verizon Laboratories Inc. | Measurement of video quality at customer premises |
US8676935B2 (en) * | 2008-03-07 | 2014-03-18 | Nec Corporation | Content distributing system, feature amount distributing server, client, and content distributing method |
US8581987B1 (en) * | 2011-03-21 | 2013-11-12 | Marvell International Ltd. | Systems and methods for evaluating video quality |
US11064204B2 (en) | 2014-05-15 | 2021-07-13 | Arris Enterprises Llc | Automatic video comparison of the output of a video decoder |
US20170249521A1 (en) * | 2014-05-15 | 2017-08-31 | Arris Enterprises, Inc. | Automatic video comparison of the output of a video decoder |
US10810458B2 (en) * | 2015-12-03 | 2020-10-20 | Hewlett Packard Enterprise Development Lp | Incremental automatic update of ranked neighbor lists based on k-th nearest neighbors |
US10803053B2 (en) * | 2015-12-03 | 2020-10-13 | Hewlett Packard Enterprise Development Lp | Automatic selection of neighbor lists to be incrementally updated |
CN109448037B (zh) * | 2018-11-14 | 2020-11-03 | 北京奇艺世纪科技有限公司 | 一种图像质量评价方法及装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002027224A (ja) * | 2000-07-05 | 2002-01-25 | Nec Corp | 電子透かし挿入・検出装置、方法及び記録媒体 |
JP4492992B2 (ja) | 2001-02-21 | 2010-06-30 | Kddi株式会社 | 画質評価のためのマーカ信号劣化検出方法および画質評価装置 |
JP4662224B2 (ja) | 2001-09-07 | 2011-03-30 | Kddi株式会社 | 伝送画質監視装置 |
US6943827B2 (en) | 2001-04-16 | 2005-09-13 | Kddi Corporation | Apparatus for monitoring quality of picture in transmission |
JP3835683B2 (ja) | 2001-04-16 | 2006-10-18 | Kddi株式会社 | 伝送画質監視装置 |
JP4005780B2 (ja) * | 2001-07-12 | 2007-11-14 | 興和株式会社 | 電子透かしの埋め込みおよび検出 |
JP3932110B2 (ja) * | 2002-04-23 | 2007-06-20 | シャープ株式会社 | 画像処理装置、画像処理システム、電子情報機器、画像処理方法、制御プログラムおよび可読記録媒体 |
-
2003
- 2003-08-08 JP JP2003290014A patent/JP2005064679A/ja active Pending
-
2004
- 2004-07-29 US US10/901,186 patent/US7385627B2/en not_active Expired - Fee Related
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008533937A (ja) * | 2005-03-25 | 2008-08-21 | アルゴリス インコーポレイテッド | Dctコード化されたビデオの品質を、オリジナルビデオシーケンスを用いて、もしくは用いずに客観評価する装置及び方法 |
WO2007007750A1 (ja) * | 2005-07-11 | 2007-01-18 | Nippon Telegraph And Telephone Corporation | 映像整合装置、方法、およびプログラム |
JPWO2007007750A1 (ja) * | 2005-07-11 | 2009-01-29 | 日本電信電話株式会社 | 映像整合装置、方法、およびプログラム |
KR100963614B1 (ko) | 2005-07-11 | 2010-06-15 | 니폰덴신뎅와 가부시키가이샤 | 영상정합장치, 방법, 및 프로그램 |
JP4482031B2 (ja) * | 2005-07-11 | 2010-06-16 | 日本電信電話株式会社 | 映像整合装置、方法、およびプログラム |
US8094196B2 (en) | 2005-07-11 | 2012-01-10 | Nippon Telegraph And Telephone Corporation | Video matching device, method, and program |
JP2007053604A (ja) * | 2005-08-18 | 2007-03-01 | Kddi Corp | 映像信号のフレーム同期方式 |
JP4573301B2 (ja) * | 2005-08-18 | 2010-11-04 | Kddi株式会社 | 映像信号のフレーム同期方式 |
WO2009075245A1 (ja) * | 2007-12-12 | 2009-06-18 | Nec Corporation | 画質評価システム、それに用いる装置、方法およびプログラム |
JP5218784B2 (ja) * | 2007-12-12 | 2013-06-26 | 日本電気株式会社 | 画質評価システム、それに用いる装置、方法およびプログラム |
US8786711B2 (en) | 2007-12-12 | 2014-07-22 | Nec Corporation | Image quality evaluation system, and apparatus, method and program used for the evaluation system |
Also Published As
Publication number | Publication date |
---|---|
US20050031226A1 (en) | 2005-02-10 |
US7385627B2 (en) | 2008-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100934539B1 (ko) | 멀티미디어 비디오 통신 품질 측정 방법 | |
Ma et al. | Reduced-reference video quality assessment of compressed video sequences | |
JP2005064679A (ja) | 画像特徴量抽出方式および画質評価方式 | |
Wang et al. | An image quality evaluation method based on digital watermarking | |
Liu et al. | A perceptually relevant no-reference blockiness metric based on local image characteristics | |
CN101605272B (zh) | 一种部分参考型图像客观质量评价方法 | |
JPWO2008047865A1 (ja) | 画質評価方法、画質評価システム及び画質評価用プログラム | |
CN104145480B (zh) | 用于检测视频比特流中质量缺陷的方法和设备 | |
Sheikh et al. | Blind quality assessment for JPEG2000 compressed images | |
CN103283239A (zh) | 基于数据包丢失可见度的连续估计的目标视频质量评估方法和设备 | |
Zhou et al. | Reduced-reference stereoscopic image quality assessment based on view and disparity zero-watermarks | |
Wang et al. | Analysis and prediction of JND-based video quality model | |
WO2010103112A1 (en) | Method and apparatus for video quality measurement without reference | |
Vora et al. | Analysis of compressed image quality assessments, m | |
Sugimoto et al. | Objective measurement scheme for perceived picture quality degradation caused by MPEG encoding without any reference pictures | |
WO2007068675A1 (en) | Method for watermarking a digital data set and device implementing said method | |
Wu | Introduction: State of the play and challenges of visual quality assessment | |
Cheon et al. | Ambiguity-based evaluation of objective quality metrics for image compression | |
JP3838516B2 (ja) | 伝送画質監視装置 | |
CN112767310B (zh) | 一种视频质量评价方法、装置及设备 | |
EP1923832B1 (en) | Digital data set watermarking method and device implementing said method | |
Wu et al. | Subjective and objective picture assessment at supra-threshold levels | |
Bondžulić et al. | Comments on objective quality assessment of JPEG images with visible differences | |
EP2798846B1 (en) | Assessing packet loss visibility in video | |
Ma et al. | Reduced-reference image quality assessment via intra-and inter-subband statistical characteristics in reorganized dct domain |