JP2003204561A

JP2003204561A - 画質劣化検出装置

Info

Publication number: JP2003204561A
Application number: JP2002224908A
Authority: JP
Inventors: Osamu Sugimoto; 修杉本; Ryoichi Kawada; 亮一川田; Masahiro Wada; 正裕和田; Shuichi Matsumoto; 修一松本
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2001-10-31
Filing date: 2002-08-01
Publication date: 2003-07-18
Anticipated expiration: 2022-08-01
Also published as: JP4026754B2

Abstract

(57)【要約】【課題】映像伝送系の障害等に起因する画質劣化の検
出を、参照画像を用いることなく、精度良く実現できる
画質劣化検出装置を提供することにある。【解決手段】受信画像のフレームまたはフィールドを
小領域に分割し、各小領域毎に、誤検出ブロックの特徴
量、すなわち連続誤検出ブロックの平均長ＮF／Ｎsおよ
び連続誤検出ブロックの最大値Ｎmaxを測定する。そし
て、該特徴量が、画像毎に決められるある閾値以上の時
に、映像伝送系の障害等に起因する画質劣化ありと判断
する。不可視マーカの情報を、１フレーム毎に、全ブロ
ック０、全ブロック１にすると、フレームフリーズの検
出を容易に行えるようになる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画質劣化検出装置に
関し、特に映像伝送系の障害等に起因する画質劣化の検
出を、参照画像を用いることなく実現できる画質劣化検
出装置に関する。

【０００２】

【従来の技術】画像劣化あるいは画質劣化を起こす要因
は、大別して二つある。その一つは、ＭＰＥＧ−２等の
圧縮符号化アルゴリズムによるものであり、代表例とし
て、ブロック歪み、モスキートノイズ等が挙げられる。
他の一つは、映像伝送系の障害、映像同期ずれ等による
ものであり、代表例として、ＭＰＥＧ−２シンタクスの
エラーによる復号画像の破綻（ブロックの欠落、画像の
ずれ）、同期はずれによる画像のフリーズ、コマ落ち等
が挙げられる。

【０００３】前者の画質劣化については、以前に本発明
者などにより発明され、特許出願された特許願２００１
−４５４５８号「画質評価のためのマーカ信号劣化検出
方法および画質評価装置」により、精度良く自動検出す
ることが可能である。

【０００４】一方、後者の画質劣化については、次のよ
うな自動検出方法が考えられる。 (1)送信側と受信側の２つの画像を用意し、その画素値
の差分を比較する。 (2)伝送路が２重化されている場合、２系統の受信画像
の画素値を比較する。

【０００５】

【発明が解決しようとする課題】しかしながら、映像伝
送系では、前記(1)の２つの画像は異なる地点にあるこ
とが通常であるため、該２つの画像をリアルタイムで比
較し画質劣化を判断することは不可能である。また、前
記(2)の方法は、伝送路を２系統必要とするため、コス
トが高くなる。

【０００６】したがって、従来は、前記した後者の画質
劣化の自動検出（いわゆる、キズ検出）についての要望
が高いにもかかわらず、有効な自動検出方法はなかっ
た。

【０００７】本発明は、前記した従来技術に鑑みてなさ
れたものであり、その目的は、映像伝送系の障害等に起
因する画質劣化の検出を、参照画像を用いることなく、
精度良く実現できる画質劣化検出装置を提供することに
ある。

【０００８】

【課題を解決するための手段】前記した目的を達成する
ために、本発明は、映像伝送系を経て伝送されてきた画
像の画質劣化検出装置において、画像信号をスペクトル
拡散した後、その直交変換係数成分を操作することによ
り不可視マーカを埋め込まれた画像を受信し、該受信し
た画像をスペクトル拡散する手段と、送信側で操作した
のと同一の直交変換成分の値から、不可視マーカの正検
出または誤検出を判定する手段と、前記不可視マーカの
正検出または誤検出の分布から、画質劣化を判定する手
段とを具備した点に第１の特徴がある。

【０００９】この特徴によれば、前記不可視マーカの正
検出または誤検出の分布を調べることにより、映像伝送
系の障害等に起因する画質劣化を検出できるようにな
る。

【００１０】また、本発明は、前記不可視マーカの情報
が、１フレーム毎に、全ブロック０、全ブロック１にさ
れている点に第２の特徴がある。この特徴によれば、フ
レームフリーズの検出を容易に行えるようになる。

【００１１】

【発明の実施の形態】以下に、図面を参照して、本発明
を詳細に説明する。まず、本発明が適用される映像伝送
系の一例および本発明の概要について説明する。

【００１２】本発明では、該映像伝送系の一例として、
図８に示されているような映像伝送チェーンを想定す
る。映像伝送チェーンとは、複数のコーデックや方式変
換器などを含む映像伝送ネットワークのことである。エ
ンコーダ１２の前段には、後で詳述する本発明による画
像処理装置としての不可視信号埋め込み装置１１が設け
られており、入力画像に不可視信号あるいは不可視マー
カが埋め込まれる。該不可視マーカが埋め込まれた画像
信号はエンコーダ１２で符号化され、映像伝送チェーン
に送出される。映像伝送チェーンは、図示の例では、デ
コーダ２１とエンコーダ２２の組がｎ組連結された映像
伝送ネットワークから構成されており、該ｎ組のデコー
ダ２１とエンコーダ２２の方式は、同じであっても異な
っていてもよい。

【００１３】本発明では、映像伝送チェーン中の任意の
位置で埋め込まれた不可視信号を検出し、その検出結果
をもとに画質評価値を計算することができる。すなわ
ち、デコーダ２１とエンコーダ２２の第１組目でも、第
ｎ組目でも、最終の組においてでも、各組のデコーダ２
１の出力にマーカ検出装置２３を接続することにより不
可視信号を検出し、その検出結果をもとに画質評価値の
計算、または画質劣化の検出をすることができる。

【００１４】なお、不可視信号埋め込み装置１１および
マーカ検出装置２３は映像伝送チェーン中の他の装置と
は独立して存在しているので、該他の装置は汎用の製品
を使用することができるようになる。

【００１５】次に、前記不可視信号埋め込み装置の一実
施形態を具体的に説明する。図１は、該不可視信号埋め
込み装置１１の構成を示すブロック図である。

【００１６】不可視信号埋め込み装置１１は、スペクト
ル拡散部１と、不可視マーカ埋め込み部２と、スペクト
ル逆拡散部３とから構成されている。不可視信号（不可
視マーカ）の埋め込みは、任意のサイズの画素ブロック
（Ｎｘ×Ｎｙ）単位で行われる。ここに、Ｎｘ、Ｎｙは
正の整数であり、ＭＰＥＧ２で符号化する場合には、マ
クロブロック（１６×１６画素）または８×８画素ブロ
ックが好適であるが、本発明はこれに限定されるもので
はない。

【００１７】不可視信号埋め込み装置１１には、入力画
像がブロック単位に区切られて入力される。この入力信
号をＸB(n)とする。

【００１８】入力信号ＸB(n)は乗算器３１に入力し、乗
算器３１でＰＮ系列ＳPN(n) と乗算され、スペクトル拡
散される。乗算器３１のスペクトル拡散された出力は、
ＸB(n)×ＳPN(n)となる。ここに、ＰＮ系列ＳPN(n)
は、１と−１のランダムな並びを要素としてもつ系列で
ある。なお、スペクトル拡散は周知であるので、詳細な
説明は省略する。

【００１９】該乗算器３１の出力ＸB(n)×ＳPN(n) は、
直交変換を施され、直交変換係数を求められる。該直交
変換として、離散フーリエ変換（ＤＦＴ）、離散コサイ
ン変換（ＤＣＴ）、ウォルシュ−アダマール変換（ＷＨ
Ｔ）等の一般的なものが使用可能であるが、本実施形態
では、計算量が少なく、ハードウェア実装に適するＷＨ
Ｔを採用して、以下の説明を行うことにする。

【００２０】前記出力ＸB(n)×ＳPN(n) はＷＨＴ部３２
でＷＨＴ変換され、振幅成分Ａが、Ａ＝Ｘss［ｓ_０］と
して求められる。ここに、Ｘssは係数、ｓ_０は、位置成
分を示す。なお、明らかなように、ＷＨＴ、ＤＣＴなど
の実係数のみで構成される直交変換（位相成分が０）で
は、ＤＦＴなどのような複素数を含む直交変換のよう
に、直交変換係数からその振幅成分を求める処理を行う
必要はない。

【００２１】不可視マーカ埋め込み部２は、得られた振
幅成分Ａのうち、予め定められた成分ｓ_０について、
その値を操作することにより、２値情報（０，１）を埋
め込む。操作の対象となる振幅成分をＡ、埋め込まれる
２値情報をbitとすると、この振幅値Ａとbitの関係は、
以下のように定める。なお、このbitは、全て０，全て
１、あるいは、図示されていない乱数発生器から与えら
れる２値情報であっても良い。要は、送受信間で、どう
いう情報が埋め込まれているかが、予め分かっていれば
良い。 round（Ａ／Ｍ）＝偶数であれば、bit＝０、 round（Ａ／Ｍ）＝奇数であれば、bit＝１

【００２２】ここに、round（）は、小数第１位を四
捨五入し、整数に丸める関数である。このround（）
は、ＷＨＴ、ＤＣＴ等の振幅値が正負の両方の値を取り
うる場合に適用するのが好適である。なお、ＤＦＴ等の
振幅成分のように正の値のみを取る場合には、前記振幅
値Ａとbitの関係は、以下のように定める。 int（Ａ／Ｍ）＝偶数であれば、bit＝０、 int（Ａ／Ｍ）＝奇数であれば、bit＝１ここに、int（）は、小数部分を切り捨てて、整数に
丸める関数である。次に、該不可視マーカ埋め込み部２
の振幅Ａの変更または操作方法を、図２のフローチャー
トを参照して説明する。

【００２３】不可視マーカ埋め込み部２に、操作する対
象となる振幅値Ａが与えられると、該不可視マーカ埋め
込み部２は、ステップＳ１にて、Ａ／Ｍの演算を行い、
その四捨五入された商を、小数点以下四捨五入で求め
る。ここに、Ｍは量子化ステップサイズである。

【００２４】ステップＳ２では、前記商Ｑを２で割った
余り（Ｑmod２）により、該商Ｑが偶数であるか奇数で
あるかを判断し、前記与えられた２値情報｛bit｝と一
致しているか不一致であるかを判断する。この判断が肯
定であると、ステップＳ３に進み、前記振幅ＡがＡ' ，
すなわちＡ' ＝ＱＭとなるように、Ａを操作する。

【００２５】一方、ステップＳ２の判断が否定の時には
ステップＳ４に進み、（Ｑ−１／２）Ｍ≦Ａ＜ＱＭが成
立するか否かの判断がなされ、この判断が肯定の場合に
は、ステップＳ５に進み、前記振幅ＡがＡ' ＝（Ｑ−
１）Ｍとなるように操作される。ステップＳ４の判断が
否定の時には、ステップＳ６に進んで、Ａ’＝（Ｑ＋
１）Ｍとなるように操作される。

【００２６】前記ステップＳ３、Ｓ５およびＳ６の操作
は、マーカ埋め込み後の振幅Ａ' が、必ず量子化レベル
ＱとＱ±１の中間に配置されるようにするための操作で
ある。次に、前記ステップＳ３、Ｓ５およびＳ６の操
作を図３の具体例により説明する。図３は、Ｍ＝２０
０、Ａ＝７５０、埋め込み情報ビット０の場合のマーカ
埋め込み例を示す。なお、与えられた埋め込みビットは
０であるとする。

【００２７】図３の上段に示されているように、操作の
対象となる振幅成分Ａが７５０であると、Ａ／Ｍ＝７５
０／２００＝３．７５となり、小数第１位は四捨五入さ
れてその整数部分Ｑは「４」となる（ステップＳ１）。
次に、この４を２で割り算した余りは０であるので、Ａ
＝７５０は与えられた情報ビットbit ＝０と一致してい
ることが分かる（ステップＳ２が肯定）。そこで、該振
幅ＡはＡ' ＝ＱＭ＝８００、すなわち量子化レベルＱと
Ｑ＋１の中間に来るように操作されて埋め込まれる。

【００２８】なお、このように、振幅Ａ' が必ず量子化
レベルＱとＱ±１の中間に配置されるようにする操作を
するのは、Ａ＝７５０はビット１と０の境界（Ａ＝７０
０）に近いため、伝送途中のわずかな振幅変動でビット
１の領域に侵入して、画質が大きく劣化したと誤判断さ
れるのを防止するためである。

【００２９】上記のようにしてマーカを埋め込まれた周
波数成分を含む拡散スペクトルＸss'[k]は不可視マーカ
埋め込み部２から出力され、図１に示されているよう
に、ウォルシュ−アダマール逆変換部３３で逆変換さ
れ、空間域信号に戻される。次に、該空間域信号は、乗
算器３４でＰＮ系列ＳPN(n) と乗算され、スペクトル逆
拡散され、不可視信号埋め込み装置１１の出力Ｘ'B(n)
が得られる。

【００３０】上記のマーカ付加により、入力画像ＸB(n)
にはノイズが重畳されることになるが、このノイズは乗
算器３４によるスペクトル拡散により広帯域に拡散され
るため、結果的には、ノイズは極めて小さいものとな
り、該マーカによる画質劣化は、極めて小さいものにな
る。すなわち、例えば図８の出力画像の画質劣化は、極
めて小さいものになる。

【００３１】前記の例は、bit＝０を埋め込む場合であ
ったが、bit＝１を埋め込む場合には、図３の点線で示
されているように、振幅ＡはＡ' ＝（Ｑ−１）Ｍ＝６０
０となり、量子化レベル５００と７００の中間に来るよ
うに操作されて埋め込まれることは明らかである。

【００３２】次に、図８のマーカ検出装置２３の具体的
構成を、図４のブロック図を参照して説明する。マーカ
検出装置２３はスペクトル拡散部５から構成されてお
り、該スペクトル拡散部５は埋め込み側と同様の手順に
より、スペクトル拡散および直交変換を行う。

【００３３】いま、前記のようにしてマーカが埋め込ま
れた画像がエンコーダ１２で符号化されて伝送路に出力
された後受信側で受信され、そのデコーダ２１で復号さ
れた入力信号ｘ"B(n)がマーカ検出装置２３に入力して
くると、該入力信号ｘ"B(n)はスペクトル拡散部５の乗
算器４１に入力する。該乗算器４１は、該画素信号ｘ"B
(n)にＰＮ系列ＳPN(n) を乗算し、スペクトル拡散す
る。しかし、前記マーカに関しては、該マーカは乗算器
４１でスペクトル逆拡散される。

【００３４】続いて、該スペクトル拡散された信号は、
ＷＨＴ部４２でＷＨＴ変換され、埋め込み側で操作した
のと同一の係数成分ｓ_０の振幅値Ａ"を求める。この振
幅値Ａ"は、送信側の圧縮符号化、映像伝送中の各種画
像処理、あるいは伝送路の障害等により、マーカ埋め込
み直後の画像と比較して画素値が変化していることが考
えられる。そのため、Ａ"の値は、送信側で操作した
Ａ’とは異なる値を示すことが考えられる。

【００３５】そこで、不可視マーカ検出部４３は、振幅
値Ａ"に対して埋め込み側と同様の判定式を適用するこ
とにより、埋め込みビットを検出し、送信側で埋め込ん
だビットと同一であるかを判定する。

【００３６】すなわち、マーカ検出部４３は、マーカが
埋め込まれた係数成分ｓ_０の振幅値Ａ"を求め、該Ａ"
を量子化ステップサイズＭで割り算したＡ" ／Ｍの商が
偶数であるか奇数であるかの判断がなされる。マーカ検
出部４３は、該偶奇の判断結果に基づいて、検出情報ビ
ットbit'を出力する。そして、既知である埋め込みビッ
トbitと検出ビットbit’とが一致する場合を正検出、不
一致の場合を誤検出とする。図３の例では、下段に、該
正検出と誤検出が示されている。

【００３７】次に、１フレームまたは１フィールド中の
全ブロックに対して、正検出および誤検出を求める。そ
して、本実施形態では、１フレームまたは１フィールド
中の誤検出ブロックの局所的な分布について調べ、それ
をもとに映像伝送系の障害等に起因する画質劣化を推定
する。

【００３８】正常な伝送が行われている場合には、誤検
出ブロックはスペクトル拡散のランダム性により、画面
全体に分散する傾向にある。局所的に符号化が難しい部
位では、誤検出ブロックの出現数は増加するものの、隣
接する多数のブロックが連続して誤検出となることはま
れである。

【００３９】一方、伝送路に何らかの障害が発生した場
合には、逆に多数のブロックが連続して誤検出となる傾
向がある。これは、画素の欠落、ずれ、フレームのフリ
ーズ等に起因して、正常に画素信号が伝送されず、その
結果としてマーカの誤検出が多く発生することによる。
そこで、誤検出ブロックの連続性を小領域単位に測定
し、誤検出ブロックの連続性が確認される場合には、そ
の部位に画像の欠陥、すなわちキズがあると判定する。

【００４０】以下に、画質劣化の判定方法について説明
する。まず、検出ブロックの連続性を表す特徴量（指
標）を、下記のように定義する。 (a)小領域の連続誤検出ブロックの総数：Ｎs (b)小領域内の誤検出ブロックの総数：ＮF (c)連続誤検出ブロックの平均値：Ｎave＝ＮF／Ｎs (d)小領域内の連続誤検出ブロックの最大値：Ｎmax 次に、画質劣化の判定方法の第１の具体例、すなわち、
前記小領域、換言すれば、不可視マーカ信号検出ブロッ
クを、「フレームまたはフィールド内の画素ブロックの
一列」とした場合のＮs、ＮFの定義を、図５を参照して
説明する。

【００４１】図５において、斜線で塗られたブロックが
誤検出ブロックであるとする。この時、小領域の連続誤
検出ブロックの総数Ｎsの導出に際しては、１つだけ孤
立しているブロックについても、長さ１の連続ブロック
であるとみなして、１つに数えることにする。

【００４２】図示のように、太線で囲まれた１列の画素
ブロック中に、長さ２、６、１、および３の誤検出連続
ブロック、、、およびがあったとすると、小領
域の連続誤検出ブロックの総数Ｎs＝４、小領域内の誤
検出ブロックの総数ＮF＝２＋６＋１＋３＝１２、連続
誤検出ブロックの平均値Ｎave＝１２／４＝３．０、小
領域内の連続誤検出ブロックの最大値Ｎmax＝６とな
る。

【００４３】次に、前記連続誤検出ブロックの平均値Ｎ
aveと連続誤検出ブロックの最大値Ｎmaxとから、画質劣
化検出を行う。この画質劣化検出は、両者の値が小さい
場合は正常な画像が受信できていると判定し、一方両者
の数値がある閾値を超えた場合は劣化が発生したものと
判定する。すなわち、下記のように判定する。 (1)Ｎmax≧ＴＨＮmかつ（または）Ｎave≧ＴＨＮaであ
れば、画質劣化あり。 (2)Ｎmax＜ＴＨＮmかつ（または）Ｎave＜ＴＨＮaであ
れば、画質劣化なし。ここに、ＴＨＮmおよびＴＨＮa
は、予め定められた閾値である。該閾値の設定は、映像
伝送チェーンの構成等によって異なる値を設定するのが
好適である。

【００４４】前記した画質劣化検出をフレームまたはフ
ィールド内の画素ブロックの各一列につき行い、１列あ
るいは複数列に画質劣化ありと判定された時には、映像
伝送系の障害等に起因する画質劣化が発生したと判定す
る。

【００４５】次に、画質劣化の判定方法の第２の具体
例、すなわち、前記小領域を、「横１１ブロック×縦３
ブロックの領域」とした場合のＮs、ＮFの定義を、図６
を参照して説明する。

【００４６】この場合には、縦方向の連続性も求められ
るため、Ｎsは垂直／水平方向の隣接ブロックに対する
連続性をもとに定義する。ＮFは前記第１の具体例の場
合と同様に数える。図６の場合は、小領域の連続誤検出
ブロックの総数Ｎs＝４、小領域内の誤検出ブロックの
総数ＮF＝１＋１＋２＋１８＝２２、連続誤検出ブロッ
クの平均値Ｎave＝２２／４＝５．５、小領域内の連続
誤検出ブロックの最大値Ｎmax＝１８となる。

【００４７】前記ＮaveおよびＮmaxが求まった後に前記
(1)、(2)により、画質劣化あり、なしの判定をするの
は、前記第１の具体例の場合と同様であるので、説明を
省略する。上記のようにして一つの小領域の判定が終わ
ると、次の小領域の判定を行い、フレーム又はフィール
ドの全画素が網羅されるまで判定が続けられる。なお、
場合によっては、該フレーム又はフィールドの一部で画
質劣化が見つかれば、映像伝送系に何らかの障害が発生
していると判断できるので、該画質劣化が発見された時
点で、画質劣化の判定を打ち切っても良い。

【００４８】前記した具体例では、画質劣化の判定に用
いる小領域を「フレームまたはフィールド内の画素ブロ
ックの一列」および「横１１ブロック×縦３ブロックの
領域」としたが、これらは一例であり、本発明はこれら
に限定されるものではない。

【００４９】本発明の好適な実施形態として、図７に示
されているように、連続するフレームＦ１，Ｆ２，Ｆ
３，Ｆ４，・・・のそれぞれに、交互に全ブロック０，全
ブロック１の埋め込みbitを挿入すると、フレームフリ
ーズの画質劣化を容易に行えるようになる。すなわち、
もしフレームＦ２がフリーズしたとすると、次のフレー
ムＦ３は欠落することになるから、該Ｆ３の全ブロック
の検出bitはフレームＦ２と同じ値の１となる。この結
果、該フレームＦ３は全て誤検出ブロックとなり、フレ
ームＦ３は欠落したことが分かる。

【００５０】次に、前記した画質劣化の判定方式では、
不可視マーカ信号検出ブロックの水平・垂直方向の連続
数を特徴量として定義し、この特徴量の分布を求めた。
しかし、これはフレーム内に閉じた特徴量であるため、
動画像が有するフレーム間の相関性については考慮され
ていない。

【００５１】しかし、画像キズが発生する場合には、こ
のフレーム間相関が失われるため、該フレーム間相関を
反映した特徴量を定義することにより、キズ検出の精度
を向上することができる。

【００５２】そこで、まず、隣接する２フレームの同位
置のブロックまたは画素において、不可視マーカ信号の
正検出・誤検出がどのように変化したかを下記のよう
に、０〜３のコードで定義する。コード０：前フレームにおいて正検出→現フレームにお
いて正検出コード１：前フレームにおいて正検出→現フレームにお
いて誤検出コード２：前フレームにおいて誤検出→現フレームにお
いて正検出コード３：前フレームにおいて誤検出→現フレームにお
いて誤検出

【００５３】以下に、上記の技術思想に基づく画質劣化
の判定方法の第３の具体例を、図９を参照して説明す
る。図９では、フレーム０は前フレーム、フレーム１は
後フレームを示し、画質劣化を検出するものとする。こ
の具体例では、フレーム０とフレーム１の同位置にある
小領域、すなわちブロックまたは画素（以下、ブロック
と総称する）を比較する。つまり、フレーム０とフレー
ム１とは時間的に前後しているが、フレーム内の位置に
ついては、同じであるとする。

【００５４】図９の例では、フレーム０のブロック５１
は正検出、フレーム１のブロック５２は誤検出であると
すると、当該ブロックは正検出から誤検出に変化してお
り、このブロックには、コード“１”が付与される。も
し、フレーム１において、マーカ検出結果が正検出のま
まであれば、コード“０”が付与されることになる。

【００５５】このようにして、フレーム０，１内の全て
のブロックについて特徴量を求めることにより、フレー
ム内の特徴量の分布を得ることができる。該特徴量の分
布とは、コード０〜３がフレーム内でそれぞれどれだけ
の割合で分布しているかを表すものとする。

【００５６】例えば、フレームｆの特徴量をｐ_ｆ(i)
（ここに、ｉはコード）と表す時、フレームｆにおいて
コード０を付与されたブロックが５０％、コード１を付
与されたブロックが２０％、コード２を付与されたブロ
ックが１５％、コード３を付与されたブロックが１５％
の割合であったとすると、ｐ_ｆ(0)＝０．５０，ｐ_ｆ(1)
＝０．２０，ｐ_ｆ(2)＝０．１５，ｐ_ｆ(3)＝０．１５と
なる。

【００５７】以上のようにして各フレームの特徴量ｐ_ｆ
(i)を取得した後、統計量Χ_ｆ ^２を求め、次いで閾値判
定をする。そして、閾値を上回った場合に、キズが発生
したと判定する。なお、該閾値は、実験を繰り返すこと
により、適正値を容易に求めることができる。

【００５８】前記統計量Χ_ｆ ^２の一例としては、下記の
式を挙げることができる。ここで、ｐ_Ｈ０(i)は、フレームｆから時間的に最も近
い過去Ｎ_ｆフレームの特徴量の平均値を示し、またＮ_ｃ
は、コードの個数を示す。

【００５９】特徴量を前記の（１）式のように定義した
時は、統計量Χ_ｆ ^２は、過去数フレームの特徴量の平均
との適合度を示す。該統計量Χ_ｆ ^２は、その値が大きい
ほど過去のフレームとの適合度が小さいことを意味す
る。一般に、現フレームの特徴量分布と過去数フレーム
の特徴量分布は、画像のフレーム間の相関性から非常に
近い値を示すことが知られているため、適合度が著しく
低い場合には画像の相関性が失われている、すなわち画
像キズが発生していると判断できる。

【００６０】次に、画質劣化の判定方法の第４の具体例
を、図１０を参照して説明する。伝送路でＭＰＥＧ符号
化が適用されている場合、Ｉ，Ｂ，Ｐピクチャ間でピク
チャタイプの遷移が考えられる。例えば、図１０のよう
な双方向予測を含むＭＰＥＧ符号化におけるピクチャタ
イプの遷移には、次の５つのタイプ＃１〜＃５が存在す
る。＃１：Ｉピクチャ→Ｐピクチャ＃２：Ｂピクチャ→Ｂピクチャ＃３：Ｂピクチャ→Ｐピクチャ＃４：Ｐピクチャ→Ｂピクチャ＃５：Ｂピクチャ→Ｉピクチャ

【００６１】一般に、ＭＰＥＧ符号化では、Ｉピクチャ
およびＰピクチャでは画質が高く、Ｂピクチャでは画質
を抑えるように符号化制御されるため、不可視マーカの
正検出・誤検出の分布もピクチャタイプによって異な
る。また、前記第３の具体例による適合度の判定は、タ
イプ＃１〜＃５の同種の特徴量毎に統計量を求めて判定
を行うと、精度が向上する。

【００６２】そこで、この具体例では、＃１〜＃５をそ
れぞれ別のカテゴリとみなして、各カテゴリ毎に前記統
計量Χ_ｆ ^２を求める。すなわち、＃１〜＃５毎に、前記
（１）式の、時間的に最も近い過去Ｎ_ｆフレームの特徴
量の平均値ｐ_Ｈ０(i)を求め、各カテゴリ毎に対応する
平均値ｐ_Ｈ０(i)を適用して前記（１）式を演算して、
各カテゴリ毎の統計量Χ_ｆ ^２を求め、過去のフレームと
の適合度を求める。そして、該統計量Χ_ｆ ^２を各カテゴ
リ毎の閾値と比較して、該閾値を上回った場合に、キズ
が発生したと判定する。

【００６３】この具体例によれば、画像にキズが発生し
ているか否かの判定の精度を向上させることができる。

【００６４】なお、前記した第３、第４の具体例では、
ブロック５１，５２の統計量Χ_ｆ ^２を使用して画質劣化
の判定をした（図９参照）が、本発明はこれに限定され
ずに、フレーム内またはフィールド内における分布に基
づいて統計量Χ_ｆ ^２を導出し、該統計量Χ_ｆ ^２を使用し
て画質劣化の判定をするようにしてもよい。

【００６５】また、前記した本発明を、前記特許願２０
０１−４５４５８号の画質評価装置と併用すると、ＭＰ
ＥＧ−２等の圧縮符号化アルゴリズムによる画質劣化
と、映像伝送系の障害等に起因する画質劣化とを、併行
して検出できるようになる。

【００６６】

【発明の効果】以上の説明から明らかなように、請求項
１〜５の発明によれば、不可視マーカの正検出または誤
検出の分布から、映像伝送系の障害等に起因する画質劣
化を検出できるようになる。この結果、映像伝送系に障
害が発生したか否かを、迅速にかつ精度良く検出できる
ようになる。

【００６７】また、請求項６の発明によれば、フレーム
フリーズの検出を容易に行えるようになる。

【００６８】また、請求項７、８の発明によれば、動画
像が有するフレーム間の相関性を考慮に入れて、画像キ
ズが発生しているか否かを判定するようにしたので、画
像キズ検出の精度を向上させることができるようにな
る。

【００６９】さらに、請求項９の発明によれば、ＭＰＥ
Ｇ符号化におけるピクチャタイプの遷移形態を画面キズ
発生判定に反映させたので、画像キズ検出の精度をさら
に向上させることができるようになる。

【図面の簡単な説明】

【図１】本発明の一実施形態の不可視信号埋め込み装
置の構成を示すブロック図である。

【図２】図１の不可視マーカ埋め込み部の処理を示す
フローチャートである。

【図３】マーカ埋め込み・検出の一具体例の説明図で
ある。

【図４】本発明の一実施形態のマーカ検出装置の構成
を示すブロック図である。

【図５】画質劣化の判定に用いる小領域を「フレーム
またはフィールド内の画素ブロックの一列」とした場合
の、誤検出ブロックに関する特徴量測定の説明図であ
る。

【図６】画質劣化の判定に用いる小領域を「横１１ブ
ロック×縦３ブロックの領域」とした場合の、誤検出ブ
ロックに関する特徴量測定の説明図である。

【図７】不可視マーカ埋め込み例の説明図である。

【図８】本発明が適用される映像伝送系の一例のブロ
ック図である。

【図９】画面キズのフレーム間相関性を説明する図で
ある。

【図１０】ピクチャタイプの遷移の形態の説明図であ
る。

【符号の説明】

１・・・スペクトル拡散部、２・・・不可視マーカ埋め込み
部、３・・・スペクトル逆拡散部、５・・・スペクトル拡散
部、１１・・・不可視信号埋め込み装置、２３・・・マーカ検
出装置、５１，５２・・・ブロック。

フロントページの続き (72)発明者和田正裕埼玉県上福岡市大原二丁目１番15号株式会社ケイディーディーアイ研究所内 (72)発明者松本修一埼玉県上福岡市大原二丁目１番15号株式会社ケイディーディーアイ研究所内Ｆターム(参考） 5C059 KK47 MA00 MA04 MA05 MA14 MA22 MA23 PP05 PP06 PP07 RC35 SS06 5C061 BB03 CC03 5C063 AB03 AB07 AC01 CA11 CA23 DA07 DA13 DB09

Claims

【特許請求の範囲】

【請求項１】映像伝送系を経て伝送されてきた画像の
画質劣化検出装置において、画像信号をスペクトル拡散した後、その直交変換係数成
分を操作することにより不可視マーカを埋め込んだ画像
を受信し、該受信した画像をスペクトル拡散する手段
と、送信側で操作したのと同一の直交変換成分の値から、不
可視マーカの正検出または誤検出を判定する手段と、前記不可視マーカの正検出または誤検出の分布から、画
質劣化を判定する手段とを具備したことを特徴とする画
質劣化検出装置。
【請求項２】前記画質劣化を判定する手段は、画像の
フレームまたはフィールド内を小領域毎に分割し、該小
領域毎に、前記誤検出ブロックに関する特徴量を測定
し、該特徴量に基づいて画質劣化を検出するようにした
ことを特徴とする請求項１に記載の画質劣化検出装置。
【請求項３】前記特徴量として、前記小領域内の連続
誤検出ブロック数と誤検出ブロック総数の比を用いるこ
とを特徴とする請求項２に記載の画質劣化検出装置。
【請求項４】前記特徴量として、前記小領域内の最大
値を用いることを特徴とする請求項２に記載の画質劣化
検出装置。
【請求項５】画像に応じた閾値を設定し、閾値処理を
行うようにしたことを特徴とする請求項３または４に記
載の画質劣化検出装置。
【請求項６】前記不可視マーカの情報が、１フレーム
毎に、全ブロック０、全ブロック１にされていることを
特徴とする請求項１ないし５のいずれかに記載の画質劣
化検出装置。
【請求項７】前記画質劣化を判定する手段は、フレー
ム間における不可視マーカの正検出または誤検出の検出
結果をコード化し、フレーム内、フィールド内またはそ
れらの中の小領域における該コードの分布に基づいてあ
る統計量を求め、該統計量を用いて画質劣化を判定する
ようにしたことを特徴とする請求項１に記載の画質劣化
検出装置。
【請求項８】前記統計量は、過去数フレームにおける
特徴量の分布の平均と、画質劣化検出対象フレームにお
ける特徴量の分布との適合度を示す値であることを特徴
とする請求項７に記載の画質劣化検出装置。
【請求項９】ＭＰＥＧ符号化におけるピクチャタイプ
の遷移形態によりカテゴリ化を行い、該カテゴリ毎に前
記統計量を導出し、画質劣化を判定するようにしたこと
を特徴とする請求項７または８に記載の画質劣化検出装
置。