JP4026754B2

JP4026754B2 - Image quality degradation detection device

Info

Publication number: JP4026754B2
Application number: JP2002224908A
Authority: JP
Inventors: 修杉本; 亮一川田; 正裕和田; 修一松本
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2001-10-31
Filing date: 2002-08-01
Publication date: 2007-12-26
Anticipated expiration: 2022-08-01
Also published as: JP2003204561A

Description

【０００１】
【発明の属する技術分野】
本発明は画質劣化検出装置に関し、特に映像伝送系の障害等に起因する画質劣化の検出を、参照画像を用いることなく実現できる画質劣化検出装置に関する。
【０００２】
【従来の技術】
画像劣化あるいは画質劣化を起こす要因は、大別して二つある。その一つは、ＭＰＥＧ−２等の圧縮符号化アルゴリズムによるものであり、代表例として、ブロック歪み、モスキートノイズ等が挙げられる。他の一つは、映像伝送系の障害、映像同期ずれ等によるものであり、代表例として、ＭＰＥＧ−２シンタクスのエラーによる復号画像の破綻（ブロックの欠落、画像のずれ）、同期はずれによる画像のフリーズ、コマ落ち等が挙げられる。
【０００３】
前者の画質劣化については、以前に本発明者などにより発明され、特許出願された特許願２００１−４５４５８号「画質評価のためのマーカ信号劣化検出方法および画質評価装置」により、精度良く自動検出することが可能である。
【０００４】
一方、後者の画質劣化については、次のような自動検出方法が考えられる。
(1)送信側と受信側の２つの画像を用意し、その画素値の差分を比較する。
(2)伝送路が２重化されている場合、２系統の受信画像の画素値を比較する。
【０００５】
【発明が解決しようとする課題】
しかしながら、映像伝送系では、前記(1)の２つの画像は異なる地点にあることが通常であるため、該２つの画像をリアルタイムで比較し画質劣化を判断することは不可能である。また、前記(2)の方法は、伝送路を２系統必要とするため、コストが高くなる。
【０００６】
したがって、従来は、前記した後者の画質劣化の自動検出（いわゆる、キズ検出）についての要望が高いにもかかわらず、有効な自動検出方法はなかった。
【０００７】
本発明は、前記した従来技術に鑑みてなされたものであり、その目的は、映像伝送系の障害等に起因する画質劣化の検出を、参照画像を用いることなく、精度良く実現できる画質劣化検出装置を提供することにある。
【０００８】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、映像伝送系を経て伝送されてきた画像の画質劣化検出装置において、画像信号をスペクトル拡散した後、その直交変換係数成分を操作することにより不可視マーカを埋め込まれた画像を受信し、該受信した画像をスペクトル拡散する手段と、送信側で操作したのと同一の直交変換成分の値から、不可視マーカの正検出または誤検出を判定する手段と、前記不可視マーカの正検出または誤検出の分布から、画質劣化を判定する手段とを具備した点に第１の特徴がある。
【０００９】
この特徴によれば、前記不可視マーカの正検出または誤検出の分布を調べることにより、映像伝送系の障害等に起因する画質劣化を検出できるようになる。
【００１０】
また、本発明は、前記不可視マーカの情報が、１フレーム毎に、全ブロック０、全ブロック１にされている点に第２の特徴がある。この特徴によれば、フレームフリーズの検出を容易に行えるようになる。
【００１１】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。まず、本発明が適用される映像伝送系の一例および本発明の概要について説明する。
【００１２】
本発明では、該映像伝送系の一例として、図８に示されているような映像伝送チェーンを想定する。映像伝送チェーンとは、複数のコーデックや方式変換器などを含む映像伝送ネットワークのことである。エンコーダ１２の前段には、後で詳述する本発明による画像処理装置としての不可視信号埋め込み装置１１が設けられており、入力画像に不可視信号あるいは不可視マーカが埋め込まれる。該不可視マーカが埋め込まれた画像信号はエンコーダ１２で符号化され、映像伝送チェーンに送出される。映像伝送チェーンは、図示の例では、デコーダ２１とエンコーダ２２の組がｎ組連結された映像伝送ネットワークから構成されており、該ｎ組のデコーダ２１とエンコーダ２２の方式は、同じであっても異なっていてもよい。
【００１３】
本発明では、映像伝送チェーン中の任意の位置で埋め込まれた不可視信号を検出し、その検出結果をもとに画質評価値を計算することができる。すなわち、デコーダ２１とエンコーダ２２の第１組目でも、第ｎ組目でも、最終の組においてでも、各組のデコーダ２１の出力にマーカ検出装置２３を接続することにより不可視信号を検出し、その検出結果をもとに画質評価値の計算、または画質劣化の検出をすることができる。
【００１４】
なお、不可視信号埋め込み装置１１およびマーカ検出装置２３は映像伝送チェーン中の他の装置とは独立して存在しているので、該他の装置は汎用の製品を使用することができるようになる。
【００１５】
次に、前記不可視信号埋め込み装置の一実施形態を具体的に説明する。図１は、該不可視信号埋め込み装置１１の構成を示すブロック図である。
【００１６】
不可視信号埋め込み装置１１は、スペクトル拡散部１と、不可視マーカ埋め込み部２と、スペクトル逆拡散部３とから構成されている。不可視信号（不可視マーカ）の埋め込みは、任意のサイズの画素ブロック（Ｎｘ×Ｎｙ）単位で行われる。ここに、Ｎｘ、Ｎｙは正の整数であり、ＭＰＥＧ２で符号化する場合には、マクロブロック（１６×１６画素）または８×８画素ブロックが好適であるが、本発明はこれに限定されるものではない。
【００１７】
不可視信号埋め込み装置１１には、入力画像がブロック単位に区切られて入力される。この入力信号をＸB(n)とする。
【００１８】
入力信号ＸB(n)は乗算器３１に入力し、乗算器３１でＰＮ系列ＳPN(n) と乗算され、スペクトル拡散される。乗算器３１のスペクトル拡散された出力は、ＸB(n)×ＳPN(n)となる。ここに、ＰＮ系列ＳPN(n) は、１と−１のランダムな並びを要素としてもつ系列である。なお、スペクトル拡散は周知であるので、詳細な説明は省略する。
【００１９】
該乗算器３１の出力ＸB(n)×ＳPN(n) は、直交変換を施され、直交変換係数を求められる。該直交変換として、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、ウォルシュ−アダマール変換（ＷＨＴ）等の一般的なものが使用可能であるが、本実施形態では、計算量が少なく、ハードウェア実装に適するＷＨＴを採用して、以下の説明を行うことにする。
【００２０】
前記出力ＸB(n)×ＳPN(n) はＷＨＴ部３２でＷＨＴ変換され、振幅成分Ａが、Ａ＝Ｘss［ｓ_０］として求められる。ここに、Ｘssは係数、ｓ_０は、位置成分を示す。なお、明らかなように、ＷＨＴ、ＤＣＴなどの実係数のみで構成される直交変換（位相成分が０）では、ＤＦＴなどのような複素数を含む直交変換のように、直交変換係数からその振幅成分を求める処理を行う必要はない。
【００２１】
不可視マーカ埋め込み部２は、得られた振幅成分Ａのうち、予め定められた成分ｓ_０について、その値を操作することにより、２値情報（０，１）を埋め込む。操作の対象となる振幅成分をＡ、埋め込まれる２値情報をbitとすると、この振幅値Ａとbitの関係は、以下のように定める。なお、このbitは、全て０，全て１、あるいは、図示されていない乱数発生器から与えられる２値情報であっても良い。要は、送受信間で、どういう情報が埋め込まれているかが、予め分かっていれば良い。
round（Ａ／Ｍ）＝偶数であれば、bit＝０、
round（Ａ／Ｍ）＝奇数であれば、bit＝１
【００２２】
ここに、round（）は、小数第１位を四捨五入し、整数に丸める関数である。このround（）は、ＷＨＴ、ＤＣＴ等の振幅値が正負の両方の値を取りうる場合に適用するのが好適である。なお、ＤＦＴ等の振幅成分のように正の値のみを取る場合には、前記振幅値Ａとbitの関係は、以下のように定める。
int（Ａ／Ｍ）＝偶数であれば、bit＝０、
int（Ａ／Ｍ）＝奇数であれば、bit＝１
ここに、int（）は、小数部分を切り捨てて、整数に丸める関数である。
次に、該不可視マーカ埋め込み部２の振幅Ａの変更または操作方法を、図２のフローチャートを参照して説明する。
【００２３】
不可視マーカ埋め込み部２に、操作する対象となる振幅値Ａが与えられると、該不可視マーカ埋め込み部２は、ステップＳ１にて、Ａ／Ｍの演算を行い、その四捨五入された商を、小数点以下四捨五入で求める。ここに、Ｍは量子化ステップサイズである。
【００２４】
ステップＳ２では、前記商Ｑを２で割った余り（Ｑmod２）により、該商Ｑが偶数であるか奇数であるかを判断し、前記与えられた２値情報｛bit｝と一致しているか不一致であるかを判断する。この判断が肯定であると、ステップＳ３に進み、前記振幅ＡがＡ' ，すなわちＡ' ＝ＱＭとなるように、Ａを操作する。
【００２５】
一方、ステップＳ２の判断が否定の時にはステップＳ４に進み、（Ｑ−１／２）Ｍ≦Ａ＜ＱＭが成立するか否かの判断がなされ、この判断が肯定の場合には、ステップＳ５に進み、前記振幅ＡがＡ' ＝（Ｑ−１）Ｍとなるように操作される。ステップＳ４の判断が否定の時には、ステップＳ６に進んで、Ａ’＝（Ｑ＋１）Ｍとなるように操作される。
【００２６】
前記ステップＳ３、Ｓ５およびＳ６の操作は、マーカ埋め込み後の振幅Ａ' が、必ず量子化レベルＱとＱ±１の中間に配置されるようにするための操作である。次に、前記ステップＳ３、Ｓ５およびＳ６の操作を図３の具体例により説明する。図３は、Ｍ＝２００、Ａ＝７５０、埋め込み情報ビット０の場合のマーカ埋め込み例を示す。なお、与えられた埋め込みビットは０であるとする。
【００２７】
図３の上段に示されているように、操作の対象となる振幅成分Ａが７５０であると、Ａ／Ｍ＝７５０／２００＝３．７５となり、小数第１位は四捨五入されてその整数部分Ｑは「４」となる（ステップＳ１）。次に、この４を２で割り算した余りは０であるので、Ａ＝７５０は与えられた情報ビットbit ＝０と一致していることが分かる（ステップＳ２が肯定）。そこで、該振幅ＡはＡ' ＝ＱＭ＝８００、すなわち量子化レベルＱとＱ＋１の中間に来るように操作されて埋め込まれる。
【００２８】
なお、このように、振幅Ａ' が必ず量子化レベルＱとＱ±１の中間に配置されるようにする操作をするのは、Ａ＝７５０はビット１と０の境界（Ａ＝７００）に近いため、伝送途中のわずかな振幅変動でビット１の領域に侵入して、画質が大きく劣化したと誤判断されるのを防止するためである。
【００２９】
上記のようにしてマーカを埋め込まれた周波数成分を含む拡散スペクトルＸss'[k]は不可視マーカ埋め込み部２から出力され、図１に示されているように、ウォルシュ−アダマール逆変換部３３で逆変換され、空間域信号に戻される。次に、該空間域信号は、乗算器３４でＰＮ系列ＳPN(n) と乗算され、スペクトル逆拡散され、不可視信号埋め込み装置１１の出力Ｘ'B(n) が得られる。
【００３０】
上記のマーカ付加により、入力画像ＸB(n)にはノイズが重畳されることになるが、このノイズは乗算器３４によるスペクトル拡散により広帯域に拡散されるため、結果的には、ノイズは極めて小さいものとなり、該マーカによる画質劣化は、極めて小さいものになる。すなわち、例えば図８の出力画像の画質劣化は、極めて小さいものになる。
【００３１】
前記の例は、bit＝０を埋め込む場合であったが、bit＝１を埋め込む場合には、図３の点線で示されているように、振幅ＡはＡ' ＝（Ｑ−１）Ｍ＝６００となり、量子化レベル５００と７００の中間に来るように操作されて埋め込まれることは明らかである。
【００３２】
次に、図８のマーカ検出装置２３の具体的構成を、図４のブロック図を参照して説明する。マーカ検出装置２３はスペクトル拡散部５から構成されており、該スペクトル拡散部５は埋め込み側と同様の手順により、スペクトル拡散および直交変換を行う。
【００３３】
いま、前記のようにしてマーカが埋め込まれた画像がエンコーダ１２で符号化されて伝送路に出力された後受信側で受信され、そのデコーダ２１で復号された入力信号ｘ"B(n)がマーカ検出装置２３に入力してくると、該入力信号ｘ"B(n)はスペクトル拡散部５の乗算器４１に入力する。該乗算器４１は、該画素信号ｘ"B(n)にＰＮ系列ＳPN(n) を乗算し、スペクトル拡散する。しかし、前記マーカに関しては、該マーカは乗算器４１でスペクトル逆拡散される。
【００３４】
続いて、該スペクトル拡散された信号は、ＷＨＴ部４２でＷＨＴ変換され、埋め込み側で操作したのと同一の係数成分ｓ_０の振幅値Ａ"を求める。この振幅値Ａ"は、送信側の圧縮符号化、映像伝送中の各種画像処理、あるいは伝送路の障害等により、マーカ埋め込み直後の画像と比較して画素値が変化していることが考えられる。そのため、Ａ"の値は、送信側で操作したＡ’とは異なる値を示すことが考えられる。
【００３５】
そこで、不可視マーカ検出部４３は、振幅値Ａ"に対して埋め込み側と同様の判定式を適用することにより、埋め込みビットを検出し、送信側で埋め込んだビットと同一であるかを判定する。
【００３６】
すなわち、マーカ検出部４３は、マーカが埋め込まれた係数成分ｓ_０の振幅値Ａ"を求め、該Ａ" を量子化ステップサイズＭで割り算したＡ" ／Ｍの商が偶数であるか奇数であるかの判断がなされる。マーカ検出部４３は、該偶奇の判断結果に基づいて、検出情報ビットbit'を出力する。そして、既知である埋め込みビットbitと検出ビットbit’とが一致する場合を正検出、不一致の場合を誤検出とする。図３の例では、下段に、該正検出と誤検出が示されている。
【００３７】
次に、１フレームまたは１フィールド中の全ブロックに対して、正検出および誤検出を求める。そして、本実施形態では、１フレームまたは１フィールド中の誤検出ブロックの局所的な分布について調べ、それをもとに映像伝送系の障害等に起因する画質劣化を推定する。
【００３８】
正常な伝送が行われている場合には、誤検出ブロックはスペクトル拡散のランダム性により、画面全体に分散する傾向にある。局所的に符号化が難しい部位では、誤検出ブロックの出現数は増加するものの、隣接する多数のブロックが連続して誤検出となることはまれである。
【００３９】
一方、伝送路に何らかの障害が発生した場合には、逆に多数のブロックが連続して誤検出となる傾向がある。これは、画素の欠落、ずれ、フレームのフリーズ等に起因して、正常に画素信号が伝送されず、その結果としてマーカの誤検出が多く発生することによる。そこで、誤検出ブロックの連続性を小領域単位に測定し、誤検出ブロックの連続性が確認される場合には、その部位に画像の欠陥、すなわちキズがあると判定する。
【００４０】
以下に、画質劣化の判定方法について説明する。まず、検出ブロックの連続性を表す特徴量（指標）を、下記のように定義する。
(a)小領域の連続誤検出ブロックの総数：Ｎs
(b)小領域内の誤検出ブロックの総数：ＮF
(c)連続誤検出ブロックの平均値：Ｎave＝ＮF／Ｎs
(d)小領域内の連続誤検出ブロックの最大値：Ｎmax
次に、画質劣化の判定方法の第１の具体例、すなわち、前記小領域、換言すれば、不可視マーカ信号検出ブロックを、「フレームまたはフィールド内の画素ブロックの一列」とした場合のＮs、ＮFの定義を、図５を参照して説明する。
【００４１】
図５において、斜線で塗られたブロックが誤検出ブロックであるとする。この時、小領域の連続誤検出ブロックの総数Ｎsの導出に際しては、１つだけ孤立しているブロックについても、長さ１の連続ブロックであるとみなして、１つに数えることにする。
【００４２】
図示のように、太線で囲まれた１列の画素ブロック中に、長さ２、６、１、および３の誤検出連続ブロック▲１▼、▲２▼、▲３▼、および▲４▼があったとすると、小領域の連続誤検出ブロックの総数Ｎs＝４、小領域内の誤検出ブロックの総数ＮF＝２＋６＋１＋３＝１２、連続誤検出ブロックの平均値Ｎave＝１２／４＝３．０、小領域内の連続誤検出ブロックの最大値Ｎmax＝６となる。
【００４３】
次に、前記連続誤検出ブロックの平均値Ｎaveと連続誤検出ブロックの最大値Ｎmaxとから、画質劣化検出を行う。この画質劣化検出は、両者の値が小さい場合は正常な画像が受信できていると判定し、一方両者の数値がある閾値を超えた場合は劣化が発生したものと判定する。すなわち、下記のように判定する。
(1)Ｎmax≧ＴＨＮmかつ（または）Ｎave≧ＴＨＮaであれば、画質劣化あり。
(2)Ｎmax＜ＴＨＮmかつ（または）Ｎave＜ＴＨＮaであれば、画質劣化なし。
ここに、ＴＨＮmおよびＴＨＮaは、予め定められた閾値である。該閾値の設定は、映像伝送チェーンの構成等によって異なる値を設定するのが好適である。
【００４４】
前記した画質劣化検出をフレームまたはフィールド内の画素ブロックの各一列につき行い、１列あるいは複数列に画質劣化ありと判定された時には、映像伝送系の障害等に起因する画質劣化が発生したと判定する。
【００４５】
次に、画質劣化の判定方法の第２の具体例、すなわち、前記小領域を、「横１１ブロック×縦３ブロックの領域」とした場合のＮs、ＮFの定義を、図６を参照して説明する。
【００４６】
この場合には、縦方向の連続性も求められるため、Ｎsは垂直／水平方向の隣接ブロックに対する連続性をもとに定義する。ＮFは前記第１の具体例の場合と同様に数える。図６の場合は、小領域の連続誤検出ブロックの総数Ｎs＝４、小領域内の誤検出ブロックの総数ＮF＝１＋１＋２＋１８＝２２、連続誤検出ブロックの平均値Ｎave＝２２／４＝５．５、小領域内の連続誤検出ブロックの最大値Ｎmax＝１８となる。
【００４７】
前記ＮaveおよびＮmaxが求まった後に前記(1)、(2)により、画質劣化あり、なしの判定をするのは、前記第１の具体例の場合と同様であるので、説明を省略する。上記のようにして一つの小領域の判定が終わると、次の小領域の判定を行い、フレーム又はフィールドの全画素が網羅されるまで判定が続けられる。なお、場合によっては、該フレーム又はフィールドの一部で画質劣化が見つかれば、映像伝送系に何らかの障害が発生していると判断できるので、該画質劣化が発見された時点で、画質劣化の判定を打ち切っても良い。
【００４８】
前記した具体例では、画質劣化の判定に用いる小領域を「フレームまたはフィールド内の画素ブロックの一列」および「横１１ブロック×縦３ブロックの領域」としたが、これらは一例であり、本発明はこれらに限定されるものではない。
【００４９】
本発明の好適な実施形態として、図７に示されているように、連続するフレームＦ１，Ｆ２，Ｆ３，Ｆ４，・・・のそれぞれに、交互に全ブロック０，全ブロック１の埋め込みbitを挿入すると、フレームフリーズの画質劣化を容易に行えるようになる。すなわち、もしフレームＦ２がフリーズしたとすると、次のフレームＦ３は欠落することになるから、該Ｆ３の全ブロックの検出bitはフレームＦ２と同じ値の１となる。この結果、該フレームＦ３は全て誤検出ブロックとなり、フレームＦ３は欠落したことが分かる。
【００５０】
次に、前記した画質劣化の判定方式では、不可視マーカ信号検出ブロックの水平・垂直方向の連続数を特徴量として定義し、この特徴量の分布を求めた。しかし、これはフレーム内に閉じた特徴量であるため、動画像が有するフレーム間の相関性については考慮されていない。
【００５１】
しかし、画像キズが発生する場合には、このフレーム間相関が失われるため、該フレーム間相関を反映した特徴量を定義することにより、キズ検出の精度を向上することができる。
【００５２】
そこで、まず、隣接する２フレームの同位置のブロックまたは画素において、不可視マーカ信号の正検出・誤検出がどのように変化したかを下記のように、０〜３のコードで定義する。
コード０：前フレームにおいて正検出→現フレームにおいて正検出
コード１：前フレームにおいて正検出→現フレームにおいて誤検出
コード２：前フレームにおいて誤検出→現フレームにおいて正検出
コード３：前フレームにおいて誤検出→現フレームにおいて誤検出
【００５３】
以下に、上記の技術思想に基づく画質劣化の判定方法の第３の具体例を、図９を参照して説明する。図９では、フレーム０は前フレーム、フレーム１は後フレームを示し、画質劣化を検出するものとする。この具体例では、フレーム０とフレーム１の同位置にある小領域、すなわちブロックまたは画素（以下、ブロックと総称する）を比較する。つまり、フレーム０とフレーム１とは時間的に前後しているが、フレーム内の位置については、同じであるとする。
【００５４】
図９の例では、フレーム０のブロック５１は正検出、フレーム１のブロック５２は誤検出であるとすると、当該ブロックは正検出から誤検出に変化しており、このブロックには、コード“１”が付与される。もし、フレーム１において、マーカ検出結果が正検出のままであれば、コード“０”が付与されることになる。
【００５５】
このようにして、フレーム０，１内の全てのブロックについて特徴量を求めることにより、フレーム内の特徴量の分布を得ることができる。該特徴量の分布とは、コード０〜３がフレーム内でそれぞれどれだけの割合で分布しているかを表すものとする。
【００５６】
例えば、フレームｆの特徴量をｐ_ｆ(i)（ここに、ｉはコード）と表す時、フレームｆにおいてコード０を付与されたブロックが５０％、コード１を付与されたブロックが２０％、コード２を付与されたブロックが１５％、コード３を付与されたブロックが１５％の割合であったとすると、ｐ_ｆ(0)＝０．５０，ｐ_ｆ(1)＝０．２０，ｐ_ｆ(2)＝０．１５，ｐ_ｆ(3)＝０．１５となる。
【００５７】
以上のようにして各フレームの特徴量ｐ_ｆ(i)を取得した後、統計量Χ_ｆ ^２を求め、次いで閾値判定をする。そして、閾値を上回った場合に、キズが発生したと判定する。なお、該閾値は、実験を繰り返すことにより、適正値を容易に求めることができる。
【００５８】
前記統計量Χ_ｆ ^２の一例としては、下記の式を挙げることができる。

ここで、ｐ_Ｈ０(i)は、フレームｆから時間的に最も近い過去Ｎ_ｆフレームの特徴量の平均値を示し、またＮ_ｃは、コードの個数を示す。
【００５９】
特徴量を前記の（１）式のように定義した時は、統計量Χ_ｆ ^２は、過去数フレームの特徴量の平均との適合度を示す。該統計量Χ_ｆ ^２は、その値が大きいほど過去のフレームとの適合度が小さいことを意味する。一般に、現フレームの特徴量分布と過去数フレームの特徴量分布は、画像のフレーム間の相関性から非常に近い値を示すことが知られているため、適合度が著しく低い場合には画像の相関性が失われている、すなわち画像キズが発生していると判断できる。
【００６０】
次に、画質劣化の判定方法の第４の具体例を、図１０を参照して説明する。伝送路でＭＰＥＧ符号化が適用されている場合、Ｉ，Ｂ，Ｐピクチャ間でピクチャタイプの遷移が考えられる。例えば、図１０のような双方向予測を含むＭＰＥＧ符号化におけるピクチャタイプの遷移には、次の５つのタイプ＃１〜＃５が存在する。
＃１：Ｉピクチャ→Ｐピクチャ
＃２：Ｂピクチャ→Ｂピクチャ
＃３：Ｂピクチャ→Ｐピクチャ
＃４：Ｐピクチャ→Ｂピクチャ
＃５：Ｂピクチャ→Ｉピクチャ
【００６１】
一般に、ＭＰＥＧ符号化では、ＩピクチャおよびＰピクチャでは画質が高く、Ｂピクチャでは画質を抑えるように符号化制御されるため、不可視マーカの正検出・誤検出の分布もピクチャタイプによって異なる。また、前記第３の具体例による適合度の判定は、タイプ＃１〜＃５の同種の特徴量毎に統計量を求めて判定を行うと、精度が向上する。
【００６２】
そこで、この具体例では、＃１〜＃５をそれぞれ別のカテゴリとみなして、各カテゴリ毎に前記統計量Χ_ｆ ^２を求める。すなわち、＃１〜＃５毎に、前記（１）式の、時間的に最も近い過去Ｎ_ｆフレームの特徴量の平均値ｐ_Ｈ０(i)を求め、各カテゴリ毎に対応する平均値ｐ_Ｈ０(i)を適用して前記（１）式を演算して、各カテゴリ毎の統計量Χ_ｆ ^２を求め、過去のフレームとの適合度を求める。そして、該統計量Χ_ｆ ^２を各カテゴリ毎の閾値と比較して、該閾値を上回った場合に、キズが発生したと判定する。
【００６３】
この具体例によれば、画像にキズが発生しているか否かの判定の精度を向上させることができる。
【００６４】
なお、前記した第３、第４の具体例では、ブロック５１，５２の統計量Χ_ｆ ^２を使用して画質劣化の判定をした（図９参照）が、本発明はこれに限定されずに、フレーム内またはフィールド内における分布に基づいて統計量Χ_ｆ ^２を導出し、該統計量Χ_ｆ ^２を使用して画質劣化の判定をするようにしてもよい。
【００６５】
また、前記した本発明を、前記特許願２００１−４５４５８号の画質評価装置と併用すると、ＭＰＥＧ−２等の圧縮符号化アルゴリズムによる画質劣化と、映像伝送系の障害等に起因する画質劣化とを、併行して検出できるようになる。
【００６６】
【発明の効果】
以上の説明から明らかなように、請求項１〜５の発明によれば、不可視マーカの正検出または誤検出の分布から、映像伝送系の障害等に起因する画質劣化を検出できるようになる。この結果、映像伝送系に障害が発生したか否かを、迅速にかつ精度良く検出できるようになる。
【００６７】
また、請求項６の発明によれば、フレームフリーズの検出を容易に行えるようになる。
【００６８】
また、請求項７、８の発明によれば、動画像が有するフレーム間の相関性を考慮に入れて、画像キズが発生しているか否かを判定するようにしたので、画像キズ検出の精度を向上させることができるようになる。
【００６９】
さらに、請求項９の発明によれば、ＭＰＥＧ符号化におけるピクチャタイプの遷移形態を画面キズ発生判定に反映させたので、画像キズ検出の精度をさらに向上させることができるようになる。
【図面の簡単な説明】
【図１】本発明の一実施形態の不可視信号埋め込み装置の構成を示すブロック図である。
【図２】図１の不可視マーカ埋め込み部の処理を示すフローチャートである。
【図３】マーカ埋め込み・検出の一具体例の説明図である。
【図４】本発明の一実施形態のマーカ検出装置の構成を示すブロック図である。
【図５】画質劣化の判定に用いる小領域を「フレームまたはフィールド内の画素ブロックの一列」とした場合の、誤検出ブロックに関する特徴量測定の説明図である。
【図６】画質劣化の判定に用いる小領域を「横１１ブロック×縦３ブロックの領域」とした場合の、誤検出ブロックに関する特徴量測定の説明図である。
【図７】不可視マーカ埋め込み例の説明図である。
【図８】本発明が適用される映像伝送系の一例のブロック図である。
【図９】画面キズのフレーム間相関性を説明する図である。
【図１０】ピクチャタイプの遷移の形態の説明図である。
【符号の説明】
１・・・スペクトル拡散部、２・・・不可視マーカ埋め込み部、３・・・スペクトル逆拡散部、５・・・スペクトル拡散部、１１・・・不可視信号埋め込み装置、２３・・・マーカ検出装置、５１，５２・・・ブロック。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image quality deterioration detection apparatus, and more particularly to an image quality deterioration detection apparatus that can realize image quality deterioration detection due to a failure in a video transmission system without using a reference image.
[0002]
[Prior art]
There are roughly two factors that cause image degradation or image quality degradation. One of them is based on a compression encoding algorithm such as MPEG-2, and typical examples include block distortion and mosquito noise. The other is due to a failure in the video transmission system, a video synchronization shift, and the like. As a typical example, a decoded image is broken due to an MPEG-2 syntax error (block missing, image shift), and an image due to a synchronization loss. Freezing, dropping frames, etc.
[0003]
The former image quality deterioration is automatically detected with high accuracy by a patent application 2001-45458 “a marker signal deterioration detection method and image quality evaluation apparatus for image quality evaluation” previously invented and filed by the present inventors. It is possible.
[0004]
On the other hand, the following automatic detection method can be considered for the latter image quality degradation.
(1) Two images on the transmission side and the reception side are prepared, and the difference between the pixel values is compared.
(2) When the transmission lines are duplexed, the pixel values of the two received images are compared.
[0005]
[Problems to be solved by the invention]
However, in the video transmission system, since the two images of (1) are usually located at different points, it is impossible to compare the two images in real time to determine image quality degradation. In addition, the method (2) requires two systems of transmission lines, which increases the cost.
[0006]
Therefore, conventionally, there has been no effective automatic detection method despite the high demand for the latter automatic detection of image quality degradation (so-called flaw detection).
[0007]
The present invention has been made in view of the above-described prior art, and an object of the present invention is to detect image quality deterioration that can accurately detect image quality deterioration due to a failure in a video transmission system without using a reference image. To provide an apparatus.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, the present invention provides an image quality degradation detection apparatus for an image transmitted through a video transmission system, in which an image signal is spectrally spread, and then an invisible marker is operated by manipulating the orthogonal transform coefficient component. Means for receiving the embedded image, spectrum spreading the received image, and means for determining whether the invisible marker is detected correctly or erroneously from the same orthogonal transform component value as operated on the transmission side; A first feature is that it comprises means for determining image quality deterioration from the distribution of the positive detection or the false detection of the invisible marker.
[0009]
According to this feature, by examining the distribution of the positive detection or the false detection of the invisible marker, it is possible to detect image quality degradation caused by a failure in the video transmission system.
[0010]
In addition, the present invention has a second feature in that the information of the invisible marker is set to all blocks 0 and all blocks 1 for each frame. According to this feature, frame freeze can be easily detected.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in detail with reference to the drawings. First, an example of a video transmission system to which the present invention is applied and an outline of the present invention will be described.
[0012]
In the present invention, a video transmission chain as shown in FIG. 8 is assumed as an example of the video transmission system. The video transmission chain is a video transmission network including a plurality of codecs, system converters, and the like. In front of the encoder 12, an invisible signal embedding device 11 as an image processing device according to the present invention, which will be described in detail later, is provided, and an invisible signal or an invisible marker is embedded in the input image. The image signal in which the invisible marker is embedded is encoded by the encoder 12 and sent to the video transmission chain. In the example shown in the figure, the video transmission chain is composed of a video transmission network in which n sets of decoders 21 and encoders 22 are connected, and the systems of the n sets of decoders 21 and encoders 22 are the same. May be different.
[0013]
In the present invention, an invisible signal embedded at an arbitrary position in the video transmission chain is detected, and an image quality evaluation value can be calculated based on the detection result. That is, in the first set, the nth set, and the final set of the decoder 21 and the encoder 22, an invisible signal is detected by connecting the marker detection device 23 to the output of the decoder 21 of each set, Based on the detection result, it is possible to calculate an image quality evaluation value or detect image quality deterioration.
[0014]
Since the invisible signal embedding device 11 and the marker detection device 23 exist independently from other devices in the video transmission chain, the other devices can use general-purpose products.
[0015]
Next, an embodiment of the invisible signal embedding device will be described in detail. FIG. 1 is a block diagram showing a configuration of the invisible signal embedding device 11.
[0016]
The invisible signal embedding device 11 includes a spectrum spreading unit 1, an invisible marker embedding unit 2, and a spectrum despreading unit 3. The invisible signal (invisible marker) is embedded in units of pixel blocks (Nx × Ny) having an arbitrary size. Here, Nx and Ny are positive integers, and in the case of encoding with MPEG2, a macro block (16 × 16 pixels) or an 8 × 8 pixel block is preferable, but the present invention is limited to this. It is not a thing.
[0017]
The invisible signal embedding device 11 is inputted with the input image divided into blocks. This input signal is assumed to be XB (n).
[0018]
The input signal XB (n) is input to the multiplier 31 and is multiplied by the PN sequence SPN (n) by the multiplier 31 to be spread spectrum. The spectrum-spread output of the multiplier 31 is XB (n) × SPN (n). Here, the PN sequence SPN (n) is a sequence having a random arrangement of 1 and −1 as elements. Since spread spectrum is well known, detailed description is omitted.
[0019]
The output XB (n) × SPN (n) of the multiplier 31 is subjected to orthogonal transformation to obtain an orthogonal transformation coefficient. As the orthogonal transform, general ones such as discrete Fourier transform (DFT), discrete cosine transform (DCT), Walsh-Hadamard transform (WHT) can be used. The following explanation will be given by adopting WHT suitable for hardware implementation.
[0020]
The output XB (n) × SPN (n) is WHT converted by the WHT unit 32, and the amplitude component A is expressed as A = Xss [s.₀]. Where Xss is a coefficient and s₀Indicates a position component. As is apparent, in the orthogonal transform (phase component is 0) composed only of real coefficients such as WHT and DCT, the amplitude component is converted from the orthogonal transform coefficient as in the orthogonal transform including complex numbers such as DFT. There is no need to perform a process for obtaining.
[0021]
The invisible marker embedding unit 2 includes a predetermined component s of the obtained amplitude component A.₀ Binary information (0, 1) is embedded by manipulating its value. If the amplitude component to be operated is A and the binary information to be embedded is bit, the relationship between the amplitude value A and bit is determined as follows. The bits may be all 0s, all 1s, or binary information given from a random number generator (not shown). In short, it is only necessary to know in advance what information is embedded between transmission and reception.
If round (A / M) = even, bit = 0,
If round (A / M) = odd, bit = 1
[0022]
Here, round () is a function that rounds off the first decimal place to an integer. This round () is preferably applied when the amplitude value of WHT, DCT, etc. can take both positive and negative values. When only a positive value is taken, such as an amplitude component such as DFT, the relationship between the amplitude value A and the bit is determined as follows.
If int (A / M) = even, bit = 0,
If int (A / M) = odd, bit = 1
Here, int () is a function that rounds down to an integer by truncating the decimal part.
Next, a method of changing or operating the amplitude A of the invisible marker embedding unit 2 will be described with reference to the flowchart of FIG.
[0023]
When the amplitude value A to be operated is given to the invisible marker embedding unit 2, the invisible marker embedding unit 2 performs an A / M operation in step S1, and calculates the rounded quotient after the decimal point. Calculate by rounding off. Here, M is a quantization step size.
[0024]
In step S2, it is determined whether the quotient Q is an even number or an odd number by a remainder (Qmod2) obtained by dividing the quotient Q by 2 and whether the quotient Q matches the given binary information {bit}. It is judged whether it is. If this determination is affirmative, the process proceeds to step S3, and A is operated so that the amplitude A becomes A ′, that is, A ′ = QM.
[0025]
On the other hand, if the determination in step S2 is negative, the process proceeds to step S4, where it is determined whether (Q−1 / 2) M ≦ A <QM is established. If this determination is affirmative, the process proceeds to step S5. Then, the amplitude A is operated so that A ′ = (Q−1) M. When the determination in step S4 is negative, the process proceeds to step S6 and is operated so that A '= (Q + 1) M.
[0026]
The operations in steps S3, S5, and S6 are operations for ensuring that the amplitude A ′ after the marker embedding is arranged between the quantization levels Q and Q ± 1. Next, the operations of steps S3, S5 and S6 will be described with reference to the specific example of FIG. FIG. 3 shows an example of marker embedding when M = 200, A = 750, and embedded information bit 0. It is assumed that the given embedded bit is 0.
[0027]
As shown in the upper part of FIG. 3, if the amplitude component A to be operated is 750, A / M = 750/200 = 3.75, and the first decimal place is rounded off to the integer part. Q becomes “4” (step S1). Next, since the remainder obtained by dividing 4 by 2 is 0, it can be seen that A = 750 matches the given information bit bit = 0 (Yes in step S2). Therefore, the amplitude A is manipulated and embedded so as to be between A ′ = QM = 800, that is, between the quantization levels Q and Q + 1.
[0028]
In this way, the operation for ensuring that the amplitude A ′ is arranged between the quantization levels Q and Q ± 1 is that A = 750 is at the boundary between bits 1 and 0 (A = 700). This is to prevent the image quality from being erroneously determined to have entered the bit 1 area with a slight amplitude fluctuation during transmission.
[0029]
The spread spectrum Xss ′ [k] including the frequency component in which the marker is embedded as described above is output from the invisible marker embedding unit 2 and is inversed by the Walsh-Hadamard inverse transform unit 33 as shown in FIG. Converted back to a spatial domain signal. Next, the spatial signal is multiplied by the PN sequence SPN (n) by the multiplier 34 and despread in the spectrum, and the output X′B (n) of the invisible signal embedding device 11 is obtained.
[0030]
Due to the addition of the marker, noise is superimposed on the input image XB (n). This noise is spread over a wide band by the spectrum spread by the multiplier 34. As a result, the noise is extremely small. Therefore, image quality degradation due to the marker is extremely small. That is, for example, the image quality degradation of the output image in FIG. 8 is extremely small.
[0031]
In the above example, bit = 0 is embedded. However, when bit = 1 is embedded, the amplitude A is A ′ = (Q−1) M =, as indicated by the dotted line in FIG. It is obvious that the value is 600 and is manipulated and embedded so as to be between the

quantization levels

500 and 700.
[0032]
Next, a specific configuration of the marker detection device 23 of FIG. 8 will be described with reference to the block diagram of FIG. The marker detection device 23 includes a spread spectrum unit 5 that performs spread spectrum and orthogonal transformation by the same procedure as that on the embedding side.
[0033]
Now, the image in which the marker is embedded as described above is encoded by the encoder 12 and output to the transmission path, then received by the receiving side, and the input signal x ″ B (n) decoded by the decoder 21 is obtained. When input to the marker detection device 23, the input signal x ″ B (n) is input to the multiplier 41 of the spread spectrum unit 5. The multiplier 41 multiplies the pixel signal x ″ B (n) by the PN sequence SPN (n) and spreads the spectrum. However, with respect to the marker, the multiplier 41 despreads the spectrum.
[0034]
Subsequently, the spectrum spread signal is subjected to WHT conversion by the WHT unit 42 and the same coefficient component s as operated on the embedding side.₀ The amplitude value A "of the pixel is compared with the image immediately after the marker embedding due to compression encoding on the transmission side, various image processing during video transmission, or a transmission path failure. It may be changing. Therefore, the value of A ″ may be different from A ′ operated on the transmission side.
[0035]
Therefore, the invisible marker detection unit 43 detects the embedded bit by applying a determination formula similar to that on the embedding side to the amplitude value A ″, and determines whether it is the same as the bit embedded on the transmitting side.
[0036]
That is, the marker detection unit 43 uses the coefficient component s in which the marker is embedded.₀ Is obtained by dividing the A ″ by the quantization step size M to determine whether the quotient of A ″ / M is an even number or an odd number. Based on the determination result, the detection information bit bit ′ is output, and the case where the known embedded bit bit matches the detection bit bit ′ is detected as a positive detection, and the case where they do not match is determined as a false detection. In the lower part, the positive detection and the false detection are shown.
[0037]
Next, correct detection and false detection are obtained for all blocks in one frame or one field. In this embodiment, the local distribution of erroneously detected blocks in one frame or one field is examined, and image quality degradation caused by a failure in the video transmission system is estimated based on the local distribution.
[0038]
When normal transmission is performed, the erroneous detection blocks tend to be distributed over the entire screen due to the randomness of the spread spectrum. In a region where encoding is difficult locally, the number of erroneously detected blocks increases, but it is rare that many adjacent blocks are erroneously detected continuously.
[0039]
On the other hand, when some kind of failure occurs in the transmission path, many blocks tend to be erroneously detected in succession. This is because pixel signals are not normally transmitted due to missing or shifted pixels, frame freezes, and the like, and as a result, many erroneous marker detections occur. Therefore, the continuity of the erroneously detected block is measured in units of small areas, and when the continuity of the erroneously detected block is confirmed, it is determined that there is an image defect, that is, a flaw at that part.
[0040]
A method for determining image quality deterioration will be described below. First, feature quantities (indexes) representing the continuity of detected blocks are defined as follows.
(a) Total number of consecutive erroneous detection blocks in a small area: Ns
(b) Total number of erroneously detected blocks in the small area: NF
(c) Average value of consecutive false detection blocks: Nave = NF / Ns
(d) Maximum value of consecutive erroneous detection blocks in a small area: Nmax
Next, a first specific example of the image quality degradation determination method, that is, Ns, NF in the case where the small area, in other words, the invisible marker signal detection block is “one column of pixel blocks in a frame or field”, is used. Will be described with reference to FIG.
[0041]
In FIG. 5, it is assumed that the blocks painted with diagonal lines are false detection blocks. At this time, when deriving the total number Ns of consecutive erroneous detection blocks in the small area, only one isolated block is regarded as a continuous block of length 1 and counted as one.
[0042]
As shown in the drawing, erroneous detection consecutive blocks (1), (2), (3), and (4) of

lengths

2, 6, 1, and 3 are included in one column of pixel blocks surrounded by a thick line. Suppose that the total number of consecutive erroneous detection blocks in the small area Ns = 4, the total number of erroneous detection blocks in the small area NF = 2 + 6 + 1 + 3 = 12, the average value Nave = 12/4 = 3.0 of the continuous erroneous detection blocks, The maximum value Nmax = 6 of consecutive erroneous detection blocks in the area.
[0043]
Next, image quality deterioration detection is performed from the average value Nave of the consecutive erroneous detection blocks and the maximum value Nmax of the consecutive erroneous detection blocks. In this image quality deterioration detection, when both values are small, it is determined that a normal image has been received, and when both values exceed a certain threshold, it is determined that deterioration has occurred. That is, the determination is as follows.
(1) If Nmax ≧ THNm and / or Nave ≧ THNa, image quality is deteriorated.
(2) If Nmax <THNm and / or Nave <THNa, there is no image quality degradation.
Here, THNm and THNa are predetermined threshold values. The threshold is preferably set to a different value depending on the configuration of the video transmission chain.
[0044]
The above-described image quality deterioration detection is performed for each column of pixel blocks in the frame or field, and when it is determined that there is image quality deterioration in one or more columns, it is determined that the image quality deterioration due to the failure of the video transmission system has occurred. To do.
[0045]
Next, the second specific example of the image quality degradation determination method, that is, the definition of Ns and NF when the small area is “area of 11 blocks horizontal × 3 blocks vertical” is described with reference to FIG. explain.
[0046]
In this case, since continuity in the vertical direction is also required, Ns is defined based on continuity with respect to adjacent blocks in the vertical / horizontal direction. NF is counted in the same manner as in the first specific example. In the case of FIG. 6, the total number Ns = 4 of consecutive erroneous detection blocks in the small area, the total number NF = 1 + 1 + 2 + 18 = 22 of the erroneous detection blocks in the small area, and the average value Nave = 22/4 = 5.5 of the consecutive erroneous detection blocks. The maximum value Nmax of consecutive erroneous detection blocks in the small area is 18.
[0047]
After determining Nave and Nmax, it is the same as in the case of the first specific example that the determination of whether image quality has deteriorated or not is made according to (1) and (2), and the description thereof will be omitted. When the determination of one small region is completed as described above, the next small region is determined, and the determination is continued until all the pixels of the frame or field are covered. In some cases, if image quality deterioration is found in a part of the frame or field, it can be determined that some trouble has occurred in the video transmission system. Therefore, when the image quality deterioration is detected, the image quality deterioration determination is performed. May be terminated.
[0048]
In the specific example described above, the small areas used for the determination of the image quality degradation are “one column of pixel blocks in a frame or field” and “an area of 11 horizontal blocks × 3 vertical blocks”, but these are only examples. Is not limited to these.
[0049]
As a preferred embodiment of the present invention, as shown in FIG. 7, embedded bits of all blocks 0 and all blocks 1 are alternately inserted in each of successive frames F1, F2, F3, F4,. When it is inserted, image quality deterioration of frame freeze can be easily performed. That is, if the frame F2 is frozen, the next frame F3 is lost, and the detection bits of all the blocks of the F3 are 1 which is the same value as the frame F2. As a result, all the frames F3 become false detection blocks, and it can be seen that the frame F3 is missing.
[0050]
Next, in the above-described image quality degradation determination method, the number of consecutive invisible marker signal detection blocks in the horizontal and vertical directions is defined as a feature amount, and the distribution of the feature amount is obtained. However, since this is a feature amount closed in a frame, the correlation between frames of a moving image is not considered.
[0051]
However, when an image flaw occurs, this inter-frame correlation is lost. Therefore, the accuracy of flaw detection can be improved by defining a feature quantity that reflects the inter-frame correlation.
[0052]
Therefore, first, how the correct detection / incorrect detection of the invisible marker signal is changed in blocks or pixels at the same position in two adjacent frames is defined by codes 0 to 3 as follows.
Code 0: Positive detection in the previous frame → Positive detection in the current frame
Code 1: Positive detection in the previous frame → False detection in the current frame
Code 2: False detection in previous frame → Correct detection in current frame
Code 3: False detection in the previous frame → False detection in the current frame
[0053]
A third specific example of the image quality deterioration determination method based on the above technical idea will be described below with reference to FIG. In FIG. 9, it is assumed that frame 0 indicates the previous frame and frame 1 indicates the subsequent frame, and image quality deterioration is detected. In this specific example, small regions at the same position of frame 0 and frame 1, that is, blocks or pixels (hereinafter collectively referred to as blocks) are compared. That is, the frame 0 and the frame 1 are temporally different, but the positions in the frame are the same.
[0054]
In the example of FIG. 9, assuming that the block 51 of the frame 0 is a positive detection and the block 52 of the frame 1 is a false detection, the block is changed from a positive detection to a false detection. "Is given. If the marker detection result remains positive detection in frame 1, the code “0” is assigned.
[0055]
In this way, by obtaining the feature values for all the blocks in the

frames

0 and 1, the distribution of the feature values in the frame can be obtained. The distribution of the feature amount represents how much the codes 0 to 3 are distributed in the frame.
[0056]
For example, the feature amount of the frame f is p_fWhen (i) (where i is a code) is represented, 50% of the blocks given code 0 in the frame f, 20% of blocks given code 1 and 15% of blocks given code 2 If the block given code 3 is 15%, p_f(0) = 0.50, p_f(1) = 0.20, p_f(2) = 0.15, p_f(3) = 0.15.
[0057]
As described above, the feature value p of each frame_fAfter obtaining (i), statistic Χ_f ²Then, threshold determination is performed. And when it exceeds a threshold value, it determines with the crack having generate | occur | produced. The threshold value can be easily obtained by repeating the experiment.
[0058]
Statistics Χ_f ²As an example, the following formula can be given.

Where p_H0(i) is the past N closest in time from frame f_fIndicates the average value of the frame feature, and N_cIndicates the number of codes.
[0059]
When the feature is defined as in the above equation (1),_f ²Indicates the degree of matching with the average of the feature values of the past several frames. Statistics Χ_f ²Means that the larger the value, the smaller the degree of matching with the past frame. In general, the feature value distribution of the current frame and the feature value distribution of the past several frames are known to show very close values due to the correlation between the image frames. It can be determined that the correlation is lost, that is, image flaws have occurred.
[0060]
Next, a fourth specific example of the image quality degradation determination method will be described with reference to FIG. When MPEG encoding is applied on the transmission path, transition of picture types between I, B, and P pictures can be considered. For example, there are the following five types # 1 to # 5 in picture type transition in MPEG encoding including bi-directional prediction as shown in FIG.
# 1: I picture → P picture
# 2: B picture → B picture
# 3: B picture → P picture
# 4: P picture → B picture
# 5: B picture → I picture
[0061]
In general, in MPEG encoding, encoding control is performed so that image quality is high for I and P pictures, and image quality is suppressed for B pictures, so that the distribution of correct detection / false detection of invisible markers also differs depending on the picture type. In addition, in the determination of the degree of conformity according to the third specific example, accuracy is improved when a determination is made by obtaining a statistic for each of the same type of feature quantities of types # 1 to # 5.
[0062]
Therefore, in this specific example, # 1 to # 5 are regarded as different categories, and the statistics amount_f ²Ask for. That is, for every # 1 to # 5, the past N_fAverage value p of frame feature_H0(i) is determined, and the average value p corresponding to each category_H0Applying (i) to calculate equation (1) above,_f ²And the degree of fit with the past frame is obtained. And the statistic Χ_f ²Is compared with the threshold value for each category, and when the threshold value is exceeded, it is determined that a scratch has occurred.
[0063]
According to this specific example, it is possible to improve the accuracy of determination as to whether or not the image has scratches.
[0064]
In the third and fourth specific examples described above, the statistics Χ of the blocks 51 and 52 are_f ²However, the present invention is not limited to this, and the present invention is not limited to this._f ²And the statistic Χ_f ²May be used to determine image quality degradation.
[0065]
In addition, when the above-described present invention is used in combination with the image quality evaluation apparatus disclosed in Japanese Patent Application No. 2001-45458, image quality degradation caused by a compression coding algorithm such as MPEG-2 and image quality degradation caused by a failure in a video transmission system, etc. , It can be detected in parallel.
[0066]
【The invention's effect】
As is apparent from the above description, according to the first to fifth aspects of the present invention, it is possible to detect image quality degradation caused by a failure in the video transmission system or the like from the distribution of the positive detection or erroneous detection of the invisible marker. As a result, it is possible to quickly and accurately detect whether or not a failure has occurred in the video transmission system.
[0067]
Further, according to the invention of claim 6, it becomes possible to easily detect the frame freeze.
[0068]
According to the seventh and eighth aspects of the present invention, it is determined whether or not an image flaw has occurred in consideration of the correlation between frames of a moving image. Can be improved.
[0069]
Furthermore, according to the invention of claim 9, since the picture type transition form in MPEG encoding is reflected in the screen defect occurrence determination, the accuracy of image defect detection can be further improved.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an invisible signal embedding device according to an embodiment of the present invention.
FIG. 2 is a flowchart showing processing of an invisible marker embedding unit in FIG. 1;
FIG. 3 is an explanatory diagram of a specific example of marker embedding / detection;
FIG. 4 is a block diagram illustrating a configuration of a marker detection device according to an embodiment of the present invention.
FIG. 5 is an explanatory diagram of feature quantity measurement regarding an erroneously detected block when a small region used for determination of image quality deterioration is “a row of pixel blocks in a frame or a field”;
FIG. 6 is an explanatory diagram of feature quantity measurement regarding an erroneously detected block in a case where a small area used for determination of image quality deterioration is “area of 11 horizontal blocks × 3 vertical blocks”.
FIG. 7 is an explanatory diagram of an example of embedding an invisible marker.
FIG. 8 is a block diagram of an example of a video transmission system to which the present invention is applied.
FIG. 9 is a diagram for explaining inter-frame correlation of screen flaws.
FIG. 10 is an explanatory diagram of a picture type transition form;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Spread spectrum part, 2 ... Invisible marker embedding part, 3 ... Spectral despread part, 5 ... Spectral spread part, 11 ... Invisible signal embedding apparatus, 23 ... Marker detection apparatus , 51, 52... Block.

Claims

In the image quality degradation detection device of the image transmitted through the video transmission system,
Means for spectrally spreading the invisible marker by operating the orthogonal transform coefficient component after spectrally spreading the image signal, and for spectrally spreading the received image;
Means for determining whether the invisible marker is detected correctly or erroneously from the value of the same orthogonal transform component that is operated on the transmission side;
An image quality deterioration detection apparatus comprising: means for determining image quality deterioration from a distribution of positive detection or false detection of the invisible marker.

The means for determining the image quality degradation divides the frame or field of the image into small regions, measures the feature amount related to the erroneous detection block for each small region, and detects the image quality degradation based on the feature amount. The image quality deterioration detection apparatus according to claim 1, wherein the image quality deterioration detection apparatus is configured as described above.

The image quality deterioration detection apparatus according to claim 2, wherein a ratio between the number of consecutive erroneous detection blocks and the total number of erroneous detection blocks in the small region is used as the feature amount.

The image quality deterioration detection apparatus according to claim 2, wherein a maximum value in the small area is used as the feature amount.

5. The image quality deterioration detection apparatus according to claim 3, wherein a threshold value is set according to an image and threshold processing is performed.

6. The image quality deterioration detection apparatus according to claim 1, wherein the information of the invisible marker is set to all blocks 0 and all blocks 1 for each frame.

The means for determining the image quality deterioration encodes a detection result of a positive detection or a false detection of an invisible marker between frames, and a certain statistic based on a distribution of the code in a frame, a field, or a small area in them The image quality deterioration detection apparatus according to claim 1, wherein image quality deterioration is determined using the statistic.

8. The image quality deterioration detection according to claim 7, wherein the statistic is a value indicating a degree of fit between an average of the distribution of the feature values in the past several frames and the distribution of the feature values in the image quality degradation detection target frame. apparatus.

9. The image quality deterioration detection according to claim 7 or 8, characterized in that categorization is performed according to a picture type transition form in MPEG encoding, the statistics are derived for each category, and image quality deterioration is determined. apparatus.