JP4492992B2

JP4492992B2 - Marker signal deterioration detection method and image quality evaluation apparatus for image quality evaluation

Info

Publication number: JP4492992B2
Application number: JP2001045458A
Authority: JP
Inventors: 修杉本; 亮一川田; 正裕和田; 修一松本
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2001-02-21
Filing date: 2001-02-21
Publication date: 2010-06-30
Anticipated expiration: 2021-02-21
Also published as: JP2002247606A

Description

【０００１】
【発明の属する技術分野】
この発明は画質評価のためのマーカ信号劣化検出方法および画質評価方法に関し、特に、映像伝送系において、原画（リファレンス画像）を用いることなく画質を精度良く評価できるようにするためのマーカ信号劣化検出方法および画質評価方法に関する。
【０００２】
【従来の技術】
近年、映像伝送のディジタル化が急速に進行しており、これに伴い、映像伝送系の運用および監視支援の開発が重要な課題となっている。この課題の一つに画質評価があり、画質評価方法には、大別して、主観方法と客観方法がある。主観方法は、人間による主観評価が主であり、運用者への負担が大きいため、原画を参照する自動画質評価方法が提案されている。しかし、この自動画質評価方法は、原画を参照するため、実伝送の画質評価には使用することができない。そこで、原画を必要としない客観画質評価方法が提案されている。
【０００３】
その一つに、本発明者等により提案された、「不可視信号埋め込みによる絶対画質客観評価方式」（２０００年３月発行、映像情報メディア学会技術報告ＢＳＣ２０００−１４）がある。この方式は、符号化ビットストリーム（ＤＣＴ係数）にマーカ信号を埋め込み、画質評価をするものである。しかしながら、前記方式では、送信端から受信端の間（End to End) にコーデックが多段接続されている場合に受信端の画質を評価するには、各段でマーカ信号の挿入・検出を行う必要が生じ、手順あるいは操作が煩雑であるという問題があった。
【０００４】
【発明が解決しようとする課題】
そこで、本発明者は、コーデックの段数・方式に依存せずに画質評価をすることのできる画像処理装置および画質評価装置を発明し、特許出願した（特願２０００−１９４７１０）。この発明による画質評価方法は、画像に埋め込まれたマーカの検出時に誤検出率を求め、該誤検出率を基に、ＲＳＮＲ，ＰＳＮＲといった画質評価尺度を導出するものである。この方法による画質推定精度は、実用上十分な水準を有しているが、より高度な映像運用のために、さらに精度の高い画質評価方法の提案が望まれている。
【０００５】
本発明は、前記した従来技術に鑑みてなされたものであり、その目的は、より精度の高い画質評価を行えるようにするためのマーカ信号劣化検出方法および画質評価装置を提供することにある。
【０００６】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、画像の任意の周波数の値を操作することでマーカが埋め込まれ、該マーカが埋め込まれた画像をスペクトル拡散した後符号化された画像の画質を評価するためのマーカ信号劣化検出方法において、前記符号化された画像の復号画の拡散スペクトルのうち、マーカ埋め込み対象周波数成分の振幅Ａdetを検出し、該振幅Ａdetを予め定められた量子化ステップサイズＭで割り算し、その結果の整数部分の偶数または奇数により前記振幅Ａdetが正検出されたかまたは誤検出されたかを判定し、該正または誤検出の判定結果により、マーカ埋め込み画像の符号化前の振幅Ａestを推定し、該振幅ＡestとＡdetによりマーカ信号の振幅の劣化ＥＲＲblkを検出するようにした点に第１の特徴がある。
【０００７】
この特徴によれば、該マーカ信号の振幅の劣化ＥＲＲblkを直接的に推定評価できるため、マーカ信号の劣化を、従来方式より、より正確に求めることが可能になる。
【０００８】
また、本発明は、画質評価装置において、前記マーカ信号劣化検出方法で求めた振幅の劣化ＥＲＲblkの二乗平均σe^２を求める手段と、該二乗平均σe^２を基に、画質評価尺度を求める手段とを具備した点に第２の特徴がある。
【０００９】
この特徴によれば、より正確に求められたマーカ信号の劣化を基に画質評価尺度が求められるので、より精度の高い画質評価を行えるようになる。
【００１０】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。まず、本発明が適用される映像伝送系の一例および本発明の概要について説明する。
【００１１】
本発明では、該映像伝送系の一例として、図９に示されているような映像伝送チェーンを想定する。映像伝送チェーンとは、複数のコーデックや方式変換器などを含む映像伝送ネットワークのことである。送信装置１０には、後で詳述する本発明による画像処理装置としての不可視マーカ埋め込み装置１１が設けられており、入力画像に不可視信号あるいは不可視マーカが埋め込まれる。該不可視マーカが埋め込まれた画像信号はエンコーダ１２で符号化され、映像伝送チェーンに送出される。映像伝送チェーンは、図示の例では、デコーダ２１とエンコーダ２２の組がｎ組連結された映像伝送ネットワークから構成されており、該ｎ組のデコーダ２１とエンコーダ２２の方式は、同じであっても異なっていてもよい。
【００１２】
本発明では、映像伝送チェーン中の任意の位置で埋め込まれた不可視信号を検出し、その検出結果をもとに画質評価値を計算することができる。すなわち、デコーダ２１とエンコーダ２２の第１組目でも、第ｎ組目でも、最終の組においてでも、各組のデコーダ２１の出力にマーカ検出装置２３を接続することにより不可視信号を検出し、その検出結果をもとに画質評価値を計算することができる。
【００１３】
なお、不可視信号埋め込み装置１１およびマーカ検出装置２３は映像伝送チェーン中の他の装置とは独立して存在しているので、該他の装置は汎用の製品を使用することができるようになる。
【００１４】
次に、前記不可視マーカ埋め込み装置の一実施形態を具体的に説明する。図１は、該不可視マーカ埋め込み装置１１の構成を示すブロック図である。
【００１５】
不可視信号（不可視マーカ）の埋め込みは、任意のサイズの画素ブロック（Ｎ×Ｎ）単位で行われる。ここに、Ｎは正の整数であり、ＭＰＥＧ２で符号化する場合には、マクロブロック（１６×１６画素）が好適であるが、本発明はこれに限定されるものではない。このため、不可視信号埋め込み装置１１には、入力画像がブロック単位に区切られて入力される。この入力信号をＸB(n)とする。
【００１６】
入力信号ＸB(n)は乗算器３１に入力する。該入力信号ＸB(n)は乗算器３１でＰＮ系列ＳPN(n) と乗算され、スペクトル拡散される。乗算器３１の出力は、ＸB(n)×ＳPN(n)となる。ここに、ＰＮ系列ＳPN(n) は、１と−１のランダムな系列である。なお、スペクトル拡散は周知であるので、詳細な説明は省略する。
【００１７】
該乗算器３１の出力ＸB(n)×ＳPN(n) は、フーリエ変換部（ＦＦＴ）３２に入力する。該フーリエ変換部３２の出力である拡散スペクトルＸss[k] は、下記の(2) 式のようになる。
Ｘss[k] ＝Ｆ｛ＸB(n)×ＳPN(n) ｝ …(2)
ここで、Ｆはフーリエ変換を表す。
【００１８】
不可視マーカ埋め込み部３３は、拡散スペクトルＸss[k] のうち、任意の周波数の値を操作することで、不可視マーカを埋め込む。不可視マーカを埋め込む注目する周波数をｋ0 、操作する周波数成分の振幅をＡで表すと、該振幅Ａは下記の(3) 式となる。
Ａ＝｜Ｘss[k0]｜ …(3)
【００１９】
不可視マーカ埋め込み部３３は、次いで、振幅Ａを図２のフローチャートで示される機能を用いて振幅Ａを変更または操作し、マーカ埋め込みを行う。該マーカ埋め込みは、乱数生成器（ＲＮＧ）３４で生成された予め定められた情報ビット列ｂi （ｂi ＝１または０）を埋め込むことにより行われる。すなわち、本実施形態では、振幅Ａをある量子化ステップサイズＭで量子化することにより得られるレベル（量子化代表値）Ｑの偶奇によって、情報ビットを判定する。具体的には、振幅Ａが偶数の時には情報ビット０、Ａが奇数の時には情報ビット１と判定する。なお、乱数生成器（ＲＮＧ）３４は、これに乱数種が与えられると、周知のように、予定の埋め込み情報ビット｛ｂi ｝を出力する。
【００２０】
次に、該不可視マーカ埋め込み部３３の振幅Ａの変更または操作方法を、図２のフローチャートを参照して説明する。
【００２１】
不可視マーカ埋め込み部３３に、前記操作する周波数成分の振幅Ａが与えられると、該不可視マーカ埋め込み部３３は、ステップＳ１にて、Ａ／Ｍの演算を行い、その商（整数部分）Ｑを求める。ステップＳ２では、前記商Ｑを２で割った余り（Ｑｍｏｄ２）により、該商Ｑが偶数であるか奇数であるかを判断し、前記乱数生成器（ＲＮＧ）３４から与えられた情報ビット列ｂi と一致しているか不一致かを判断する。この判断が肯定であると、ステップＳ３に進み、前記振幅ＡがＡ' ，すなわちＡ' ＝（Ｑ＋１／２）Ｍとなるように、Ａを操作する。
【００２２】
ステップＳ２の判断が否定の時には、ステップＳ４に進み、ＱＭ≦Ａ≦（Ｑ＋１／２）Ｍが成立するか否かの判断がなされ、この判断が肯定の場合には、ステップＳ５に進み、前記振幅ＡがＡ' ＝（Ｑ−１／２）Ｍとなるように操作される。ステップＳ４の判断が否定の時には、ステップＳ６に進んで、（Ｑ＋１／２）Ｍ≦Ａ≦（Ｑ＋１）Ｍが成立するか否かの判断がなされる。この判断が肯定の時には、ステップＳ７に進んで、前記振幅ＡがＡ' ＝（Ｑ＋３／２）Ｍとなるように操作される。この判断が否定の時には、処理を終了する。
【００２３】
前記ステップＳ３、Ｓ５およびＳ７の操作は、マーカ埋め込み後の振幅Ａ' が、必ず量子化レベルＱとＱ±１の中間に配置されるようにするための操作である。次に、前記ステップＳ３、Ｓ５およびＳ７の操作を図３の具体例により説明する。図３は、Ｍ＝２００、Ａ＝８５０、埋め込み情報ビット０の場合のマーカ埋め込み例を示す。
【００２４】
図３の上段に示されているように、原画の操作される周波数成分の振幅Ａが８５０であると、Ａ／Ｍ＝８５０／２００＝４．２５となって、その整数部分Ｑは「４」となる（ステップＳ１）。次に、この４を２で割り算した余りは０であるので、Ａ＝８５０は乱数生成器３７から与えられた情報ビットｂi ＝０と一致していることが分かる（ステップＳ２が肯定）。そこで、該振幅ＡはＡ' ＝（Ｑ＋１／２）Ｍ＝９００、すなわち量子化レベルＱとＱ＋１の中間に来るように操作されて埋め込まれる。
【００２５】
なお、このように、振幅Ａ' が必ず量子化レベルＱとＱ±１の中間に配置されるようにする操作をするのは、Ａ＝８５０はビット１と０の境界（Ａ＝８００）に近いため、伝送途中のわずかな振幅変動でビット１の領域に侵入して、画質が大きく劣化したと誤判断されるのを防止するためである。
【００２６】
上記のようにしてマーカを埋め込まれた周波数成分を含む拡散スペクトルＸss'[k]は不可視マーカ埋め込み部３３から出力され、図１に示されているように、フーリエ逆変換部（ＩＦＦＴ）３５でフーリエ逆変換され、空間域信号に戻される。次に、該空間域信号は、乗算器３６でＰＮ系列ＳPN(n) と乗算され、スペクトル逆拡散され、不可視信号埋め込み装置１１の出力Ｘ'B(n) が得られる。
【００２７】
上記のマーカ付加により、入力画像ＸB(n)にはノイズが重畳されることになるが、このノイズは乗算器３６によるスペクトル拡散により広帯域に拡散されるため、結果的には、ノイズは極めて小さいものとなり、該マーカによる画質劣化は、極めて小さいものになる。すなわち、例えば図９の出力画像の画質劣化は、極めて小さいものになる。
【００２８】
次に、図９のマーカ検出装置２３の具体的構成を、図４のブロック図を参照して説明する。いま、デコーダ２１で復号され、画素ブロック（Ｎ×Ｎ）に分割された入力信号ＹB(n)がマーカ検出装置２３に入力してくると、該入力信号ＹB(n)は乗算器４１に入力する。該乗算器４４は、該画素信号ＹB(n)にＰＮ系列ＳPN(n) を乗算し、スペクトル拡散する。しかし、前記マーカに関しては、該マーカは乗算器４１でスペクトル逆拡散される。続いて、該スペクトル拡散された信号は、フーリエ変換部４２でフーリエ変換され、マーカ検出部４３で、マーカが埋め込まれた周波数成分の振幅Ａdet を量子化ステップサイズＭで割り算したＡdet ／Ｍの商が偶数であるか奇数であるかの判断がなされる。マーカ検出部４３は、該偶奇の判断結果に基づいて、検出情報ビット列｛ｂi'｝を出力する。比較部４４は、前記乱数生成器３４と同じ乱数種を付与された乱数生成器４５から出力される情報ビット列｛ｂi ｝と前記検出情報ビット列｛ｂi'｝とを比較し、比較結果（正検出／誤検出信号）をマーカ劣化推定部４６に出力する。
【００２９】
前記比較部４４では、例えば図３の最下段に示されているように、マーカ検出部４６は、送信側でマーカを埋め込んだのと同じ周波数の振幅Ａdet がＡdet ＝８２０であれば、８２０／２００の商Ｑは偶数であるので、ｂi'＝０を出力する。そして、比較部４４は正検出信号をマーカ劣化推定部４６に出力する。一方、Ａdet ＝１１２０であれば、１１２０／２００の商Ｑは奇数であるので、ｂi'＝１を出力する。この結果、比較部４４は誤検出信号をマーカ劣化推定部４６に出力する。
【００３０】
該マーカ劣化推定部４６では、実際に検出された振幅Ａdetの劣化度を推定する。該マーカ劣化推定部４６の動作の一例を、図５のフローチャートを参照して説明する。
【００３１】
ステップＳ１１では、前記比較部４４の比較結果出力から、マーカ検出が正検出であったか否かの判断をする。該マーカ検出が正検出と判断された時には、ステップＳ１２に進み、ａ（振幅Ａdetの量子化レベル）を下記の式により計算する。
ａ＝int（Ａdet／Ｍ）
【００３２】
次に、ステップＳ１３に進み、マーカ付加後の振幅の推定値Ａestを下記の式により求める。
Ａest＝（ａ＋１／２）Ｍ
【００３３】
一方、前記ステップＳ１１で、誤検出と判断された時にはステップＳ１４に進み、ａ（振幅Ａdetの量子化レベル）と、ｂ（ＡdetをＭで割ったときの小数第１位）を計算する。該ｂは、下記の式により計算する。
ｂ＝int（１０×Ａdet／Ｍ）−１０×int（Ａdet／Ｍ）
【００３４】
ステップＳ１５に進むと、ｂ≧５が成立するか否かの判断がなされ、この判断が肯定の場合には、ステップＳ１６に進んで、マーカ付加後の振幅の推定値Ａestを下記の式により求められる。
Ａest＝（ａ＋３／２）Ｍ
【００３５】
一方、否定の場合には、ステップＳ１７に進みマーカ付加後の振幅の推定値Ａestを下記の式により求められる。
Ａest＝（ａ−１／２）Ｍ
【００３６】
ステップＳ１８では、前記ステップＳ１３，Ｓ１６，またはＳ１７に基づいて、マーカ劣化の推定値ＥＲＲblkが下記の式から求められる。
ＥＲＲblk＝Ａest−Ａdet
【００３７】
ここで、前記図５の動作を、図６、図７を参照して、実例により説明する。図６は、マーカが正検出された場合の動作を示す。
【００３８】
図３と同様に、Ｍ＝２００、Ａ＝８５０、埋め込み情報ビット０のマーカ埋め込みを行うとすると、前記したように、該周波数成分の振幅Ａは、マーカ埋め込み後の当該周波数成分の振幅Ａ' が、Ａ' ＝（Ｑ＋１／２）Ｍとなるように操作されるから、Ａ' ＝９００となる。次に、受信側の復号画から検出された当該周波数成分の振幅Ａdetが例えばＡdet＝９８０であったとすると、当該周波数成分の振幅Ａdetの元々の振幅、すなわち符号化前のマーカ振幅Ａestは、「正検出」であることから、Ａest＝Ａ' ＝９００であると推定できる（前記ステップＳ１３）。したがって、前記誤差の推定値ＥＲＲblkは、ＥＲＲblk＝Ａest−Ａdet＝−８０となる。
【００３９】
次に、図７を参照して、マーカが誤検出された場合の動作を説明する。今、復号画から検出された当該周波数成分の振幅Ａdetが例えば１０７０であったとすると、ｂi'＝１となるので、誤検出であることが分かる。そうすると、周波数成分の振幅Ａdetの元々の振幅、すなわち符号化前のマーカ振幅Ａestは、Ａest＝９００、またはＡest＝１３００である可能性があるが、この場合には前記ステップＳ１５の判断が否定になるので、ステップＳ１７に進み，Ａest＝９００とする。この場合、前記誤差の推定値ＥＲＲblkは、ＥＲＲblk＝Ａest−Ａdet＝−１７０となる。
【００４０】
一方、復号画から検出された当該周波数成分の振幅Ａdetが例えば１１５０であったとすると、前記ステップＳ１５の判断は肯定になるので、ステップＳ１６に進み、Ａest＝１３００とする。この場合、前記誤差の推定値ＥＲＲblkは、ＥＲＲblk＝Ａest−Ａdet＝１５０となる。
【００４１】
次に、前記図５の処理により、前記誤差の推定値ＥＲＲblkを、画像（フレーム）の全画素ブロックに対して求める。次いで、該誤差の推定値ＥＲＲblkの二乗和σe^２を下記の（４）式から求める。

【００４２】
ここに、Ｎblkは、フレーム中の画素ブロックの数を表す。該（４）式のσe^２は、前記誤差の推定値ＥＲＲblkの分布は平均０の分布であるため、分散を表す。以上が、マーカ劣化推定部４６の処理である。
【００４３】
次に、画質評価値推定部４７（図４参照）は、該分散σe^２を基に、画質評価尺度を求める。以下に、その機能を説明する。本発明者が、一例として、ＭＰＥＧ−２コーデック１段のシステムで、かつ周知のテスト画像「チアリーダーズ（Ｃｈｅｅｒ）」、「フラミンゴ（Ｆｌａ）」、「グリーンリーブス（Ｇｒｅｅｎ）」等を用いて、前記分散σe^２の３０フレーム平均と画質評価尺度ＰＳＮＲとの関係を調べたところ、図８の相関が得られた。図８の横軸はσe^２をＭで正規化した数値（σe^２／Ｍ）であり、縦軸は、原画像（マーカ埋め込み前）と復号画像の画質評価尺度ＰＳＮＲである。図８の相関から、回帰曲線ａを一意に定めることができる。
【００４４】
本実施形態では、図８の特性（グラフ）を前記画質評価値推定部４７に記憶させておき、画質依存性を排除するために、前記マーカ劣化推定部４６から入力される分散σe^２をＭで正規化してσe^２／Ｍ（または、σe^２／√Ｍ）を計算し、該σe^２／Ｍを前記回帰曲線ａに当てはめることで、原画像なしで、画質評価尺度ＰＳＮＲを求めることが可能になる。なお、図８では、σe^２を３０フレーム平均としたが、σe^２を１フレーム単位の値として、同様の推定を行うことも可能であることは明らかである。
【００４５】
なお、前記実施形態は、本発明の良好な実施形態を示したが、本発明の趣旨を逸脱しない範囲で変形が可能であり、該変形も本発明の範囲に入ることは明らかである。
【００４６】
【発明の効果】
以上の説明から明らかなように、本発明によれば、マーカ信号の振幅の劣化ＥＲＲblkを直接的に推定評価できるため、マーカ信号の劣化を、従来方式より、より正確に求めることが可能になる。
【００４７】
また、より正確に求められた誤差の推定値ＥＲＲblkを基に画質評価尺度ＰＳＮＲを求めるようにしたので、画質評価の性能を、従来のものに比べて、向上することができるようになる。
【図面の簡単な説明】
【図１】不可視マーカを埋め込むための画像処理装置の一実施形態の概略の構成を示すブロック図である。
【図２】図１の不可視マーカ埋め込み部の動作を示すフローチャートである。
【図３】図２の動作の具体的説明図である。
【図４】本発明の画質評価装置の一実施形態の概略の構成を示すブロック図である。
【図５】図４のマーカ劣化推定部の動作を示すフローチャートである。
【図６】図５の動作（正検出の場合）の具体的説明図である。
【図７】図５の動作（誤検出の場合）の具体的説明図である。
【図８】マーカ劣化の推定値の二乗平均値と画質評価尺度ＰＳＮＲとの関係を示すグラフである。
【図９】本発明が適用される映像伝送系の一例のブロック図である。
【符号の説明】
１０…送信装置、２３…マーカ検出装置、３１、４１…乗算器、３２、４２…フーリエ変換器、３３…不可視マーカ埋め込み部、３４、４５…乱数生成器、３５…フーリエ逆変換器、４３…マーカ検出部、４４…比較部、４６…マーカ劣化推定部、４７…画質評価値推定部。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a marker signal deterioration detection method and image quality evaluation method for image quality evaluation, and particularly to marker signal deterioration detection for enabling image quality to be evaluated accurately without using an original image (reference image) in a video transmission system. The present invention relates to a method and an image quality evaluation method.
[0002]
[Prior art]
In recent years, digitalization of video transmission has progressed rapidly, and accordingly, operation of video transmission systems and development of monitoring support have become important issues. One of the problems is image quality evaluation. Image quality evaluation methods are roughly classified into a subjective method and an objective method. The subjective method is mainly subjectivity evaluation by humans and has a heavy burden on the operator. Therefore, an automatic image quality evaluation method that refers to the original image has been proposed. However, since this automatic image quality evaluation method refers to an original image, it cannot be used for image quality evaluation of actual transmission. Therefore, an objective image quality evaluation method that does not require an original image has been proposed.
[0003]
One of them is an “absolute image quality objective evaluation method by invisible signal embedding” proposed by the present inventors (MSC 2000 Technical Report BSC 2000-14). This method embeds a marker signal in an encoded bit stream (DCT coefficient) and evaluates the image quality. However, in the above method, when a multistage codec is connected between the transmitting end and the receiving end (End to End), it is necessary to insert and detect marker signals at each stage in order to evaluate the image quality at the receiving end. There is a problem that the procedure or operation is complicated.
[0004]
[Problems to be solved by the invention]
Therefore, the inventor invented an image processing apparatus and an image quality evaluation apparatus that can perform image quality evaluation without depending on the number of codec stages and methods, and applied for a patent (Japanese Patent Application No. 2000-194710). The image quality evaluation method according to the present invention obtains an erroneous detection rate when detecting a marker embedded in an image, and derives an image quality evaluation scale such as RSNR and PSNR based on the erroneous detection rate. Although the image quality estimation accuracy by this method has a practically sufficient level, a more accurate image quality evaluation method is desired for more advanced video operation.
[0005]
The present invention has been made in view of the above-described prior art, and an object of the present invention is to provide a marker signal deterioration detection method and an image quality evaluation apparatus for enabling more accurate image quality evaluation.
[0006]
[Means for Solving the Problems]
In order to achieve the above-described object, according to the present invention, a marker is embedded by manipulating an arbitrary frequency value of an image, and the image quality of an encoded image is improved after spectrum spreading of the image in which the marker is embedded. In the marker signal deterioration detection method for evaluation, an amplitude Adet of a marker embedding target frequency component is detected from a spread spectrum of a decoded image of the encoded image, and the amplitude Adet is set to a predetermined quantization step size. Dividing by M, it is determined whether the amplitude Adet is positively detected or erroneously detected by the even number or odd number of the integer part of the result, and based on the determination result of the positive or erroneous detection, before the marker embedded image is encoded The first feature is that the amplitude Aest is estimated, and the deterioration ERRblk of the amplitude of the marker signal is detected by the amplitudes Aest and Adet.
[0007]
According to this feature, since the deterioration ERRblk of the amplitude of the marker signal can be estimated and evaluated directly, the deterioration of the marker signal can be obtained more accurately than in the conventional method.
[0008]
In the image quality evaluation apparatus, the image quality evaluation apparatus further includes a means for obtaining a mean square σe ² of the amplitude degradation ERRblk obtained by the marker signal degradation detection method, and a means for obtaining an image quality evaluation scale based on the mean square σe ^2. There is a second feature in that
[0009]
According to this feature, since the image quality evaluation scale is obtained based on the deterioration of the marker signal obtained more accurately, the image quality evaluation with higher accuracy can be performed.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in detail with reference to the drawings. First, an example of a video transmission system to which the present invention is applied and an outline of the present invention will be described.
[0011]
In the present invention, a video transmission chain as shown in FIG. 9 is assumed as an example of the video transmission system. The video transmission chain is a video transmission network including a plurality of codecs, system converters, and the like. The transmission device 10 is provided with an invisible marker embedding device 11 as an image processing device according to the present invention, which will be described in detail later, and an invisible signal or an invisible marker is embedded in the input image. The image signal in which the invisible marker is embedded is encoded by the encoder 12 and sent to the video transmission chain. In the example shown in the figure, the video transmission chain is composed of a video transmission network in which n sets of decoders 21 and encoders 22 are connected, and the systems of the n sets of decoders 21 and encoders 22 are the same. May be different.
[0012]
In the present invention, an invisible signal embedded at an arbitrary position in the video transmission chain is detected, and an image quality evaluation value can be calculated based on the detection result. That is, in the first set, the nth set, and the final set of the decoder 21 and the encoder 22, an invisible signal is detected by connecting the marker detection device 23 to the output of the decoder 21 of each set, An image quality evaluation value can be calculated based on the detection result.
[0013]
Since the invisible signal embedding device 11 and the marker detection device 23 exist independently from other devices in the video transmission chain, the other devices can use general-purpose products.
[0014]
Next, an embodiment of the invisible marker embedding device will be specifically described. FIG. 1 is a block diagram showing a configuration of the invisible marker embedding device 11.
[0015]
The invisible signal (invisible marker) is embedded in units of pixel blocks (N × N) having an arbitrary size. Here, N is a positive integer, and a macroblock (16 × 16 pixels) is suitable for encoding in MPEG2, but the present invention is not limited to this. Therefore, the input image is input to the invisible signal embedding device 11 while being divided into blocks. This input signal is assumed to be XB (n).
[0016]
The input signal XB (n) is input to the multiplier 31. The input signal XB (n) is multiplied by the PN sequence SPN (n) by the multiplier 31 and spread spectrum. The output of the multiplier 31 is XB (n) × SPN (n). Here, the PN sequence SPN (n) is a random sequence of 1 and -1. Since spread spectrum is well known, detailed description is omitted.
[0017]
The output XB (n) × SPN (n) of the multiplier 31 is input to a Fourier transform unit (FFT) 32. The spread spectrum Xss [k] that is the output of the Fourier transform unit 32 is expressed by the following equation (2).
Xss [k] = F {XB (n) × SPN (n)} (2)
Here, F represents a Fourier transform.
[0018]
The invisible marker embedding unit 33 embeds an invisible marker by operating an arbitrary frequency value in the spread spectrum Xss [k]. When the frequency of interest for embedding the invisible marker is represented by k0 and the amplitude of the frequency component to be operated is represented by A, the amplitude A is expressed by the following equation (3).
A = | Xss [k0] | (3)
[0019]
Next, the invisible marker embedding unit 33 performs the marker embedding by changing or manipulating the amplitude A using the function shown in the flowchart of FIG. The marker embedding is performed by embedding a predetermined information bit string bi (bi = 1 or 0) generated by a random number generator (RNG) 34. That is, in the present embodiment, the information bit is determined based on the even / odd level (quantization representative value) Q obtained by quantizing the amplitude A with a certain quantization step size M. Specifically, information bit 0 is determined when the amplitude A is an even number, and information bit 1 is determined when A is an odd number. The random number generator (RNG) 34 outputs a predetermined embedded information bit {bi}, as is well known, when a random number seed is given thereto.
[0020]
Next, a method for changing or operating the amplitude A of the invisible marker embedding unit 33 will be described with reference to the flowchart of FIG.
[0021]
When the amplitude A of the frequency component to be operated is given to the invisible marker embedding unit 33, the invisible marker embedding unit 33 calculates A / M and obtains the quotient (integer part) Q in step S1. . In step S2, it is determined whether the quotient Q is an even number or an odd number based on a remainder (Qmod2) obtained by dividing the quotient Q by 2. The information bit string bi given from the random number generator (RNG) 34 and Determine whether they match or not. If this determination is affirmative, the process proceeds to step S3, and A is operated so that the amplitude A becomes A ', that is, A' = (Q + 1/2) M.
[0022]
When the determination in step S2 is negative, the process proceeds to step S4, where it is determined whether or not QM ≦ A ≦ (Q + 1/2) M is established. If this determination is affirmative, the process proceeds to step S5, The amplitude A is operated so that A ′ = (Q−1 / 2) M. When the determination in step S4 is negative, the process proceeds to step S6, where it is determined whether (Q + 1/2) M ≦ A ≦ (Q + 1) M is satisfied. When this determination is affirmative, the process proceeds to step S7, and the amplitude A is operated so that A ′ = (Q + 3/2) M. When this determination is negative, the process is terminated.
[0023]
The operations in steps S3, S5, and S7 are operations for ensuring that the amplitude A ′ after the marker embedding is arranged between the quantization levels Q and Q ± 1. Next, operations of steps S3, S5 and S7 will be described with reference to a specific example of FIG. FIG. 3 shows an example of marker embedding when M = 200, A = 850, and embedded information bit 0.
[0024]
As shown in the upper part of FIG. 3, when the amplitude A of the frequency component to be manipulated of the original picture is 850, A / M = 850/200 = 4.25, and the integer part Q is “4”. (Step S1). Next, since the remainder obtained by dividing 4 by 2 is 0, it can be seen that A = 850 matches the information bit bi = 0 given from the random number generator 37 (Yes in step S2). Therefore, the amplitude A is embedded such that A ′ = (Q + 1/2) M = 900, that is, the amplitude A is intermediate between the quantization levels Q and Q + 1.
[0025]
It should be noted that the operation for ensuring that the amplitude A ′ is arranged between the quantization levels Q and Q ± 1 is that A = 850 is at the boundary between bits 1 and 0 (A = 800). This is to prevent the image quality from being erroneously determined to have entered the bit 1 area with a slight amplitude fluctuation during transmission.
[0026]
The spread spectrum Xss ′ [k] including the frequency component in which the marker is embedded as described above is output from the invisible marker embedding unit 33, and as shown in FIG. 1, the inverse Fourier transform unit (IFFT) 35 performs the processing. Fourier transform is performed and returned to the spatial domain signal. Next, the spatial domain signal is multiplied by the PN sequence SPN (n) by the multiplier 36 and subjected to spectrum despreading, and the output X′B (n) of the invisible signal embedding device 11 is obtained.
[0027]
By adding the above marker, noise is superimposed on the input image XB (n), but this noise is spread over a wide band by the spectrum spread by the multiplier 36. As a result, the noise is extremely small. Therefore, image quality degradation due to the marker is extremely small. That is, for example, the image quality degradation of the output image in FIG. 9 is extremely small.
[0028]
Next, a specific configuration of the marker detection device 23 of FIG. 9 will be described with reference to the block diagram of FIG. Now, when the input signal YB (n) decoded by the decoder 21 and divided into pixel blocks (N × N) is input to the marker detection device 23, the input signal YB (n) is input to the multiplier 41. To do. The multiplier 44 multiplies the pixel signal YB (n) by the PN sequence SPN (n) and spreads the spectrum. However, with respect to the marker, the marker is spectrally despread by the multiplier 41. Subsequently, the spectrum-spread signal is Fourier-transformed by the Fourier transform unit 42, and the marker detection unit 43 divides the amplitude Adet of the frequency component in which the marker is embedded by the quantization step size M to obtain the quotient of Adet / M. A determination is made whether is an even or odd number. The marker detection unit 43 outputs a detection information bit string {bi ′} based on the even / odd determination result. The comparison unit 44 compares the information bit string {bi} output from the random number generator 45 given the same random number seed as the random number generator 34 and the detected information bit string {bi '}, and compares the result (positive detection). / False detection signal) is output to the marker deterioration estimation unit 46.
[0029]
In the comparison unit 44, for example, as shown in the bottom of FIG. 3, the marker detection unit 46 is 820 / if the amplitude Adet of the same frequency as the marker embedded on the transmission side is Adet = 820. Since the quotient Q of 200 is an even number, bi ′ = 0 is output. Then, the comparison unit 44 outputs a positive detection signal to the marker deterioration estimation unit 46. On the other hand, if Adet = 1120, the quotient Q of 1120/200 is an odd number, so bi ′ = 1 is output. As a result, the comparison unit 44 outputs an erroneous detection signal to the marker deterioration estimation unit 46.
[0030]
The marker deterioration estimation unit 46 estimates the degree of deterioration of the actually detected amplitude Adet. An example of the operation of the marker deterioration estimation unit 46 will be described with reference to the flowchart of FIG.
[0031]
In step S11, it is determined from the comparison result output of the comparison unit 44 whether or not the marker detection is a positive detection. When it is determined that the marker detection is a positive detection, the process proceeds to step S12, and a (quantization level of amplitude Adet) is calculated by the following equation.
a = int (Adet / M)
[0032]
Next, the process proceeds to step S13, and the estimated amplitude Aest after adding the marker is obtained by the following equation.
Aest = (a + 1/2) M
[0033]
On the other hand, if it is determined in step S11 that there is an erroneous detection, the process proceeds to step S14, where a (quantization level of amplitude Adet) and b (first decimal place when Adet is divided by M) are calculated. The b is calculated by the following formula.
b = int (10 × Adet / M) −10 × int (Adet / M)
[0034]
In step S15, it is determined whether or not b ≧ 5 is satisfied. If this determination is affirmative, the process proceeds to step S16, and the estimated amplitude Aest after adding the marker is obtained by the following equation. It is done.
Aest = (a + 3/2) M
[0035]
On the other hand, in the case of negative, the process proceeds to step S17, and the estimated value Aest of the amplitude after adding the marker is obtained by the following equation.
Aest = (a−1 / 2) M
[0036]
In step S18, an estimated value ERRblk of marker deterioration is obtained from the following equation based on step S13, S16, or S17.
ERRblk = Aest-Adet
[0037]
Here, the operation of FIG. 5 will be described with reference to FIGS. 6 and 7. FIG. FIG. 6 shows the operation when the marker is positively detected.
[0038]
Similarly to FIG. 3, if marker embedding of M = 200, A = 850, and embedded information bit 0 is performed, as described above, the amplitude A of the frequency component is the amplitude A ′ of the frequency component after embedding the marker. Are operated so that A ′ = (Q + 1/2) M, A ′ = 900. Next, if the amplitude Adet of the frequency component detected from the decoded image on the receiving side is, for example, Adet = 980, the original amplitude of the amplitude Adet of the frequency component, that is, the marker amplitude Aest before encoding is “ Since “correct detection”, it can be estimated that Aest = A ′ = 900 (step S13). Therefore, the estimated value ERRblk of the error is ERRblk = Aest−Adet = −80.
[0039]
Next, with reference to FIG. 7, an operation when a marker is erroneously detected will be described. Now, assuming that the amplitude Adet of the frequency component detected from the decoded image is 1070, for example, bi ′ = 1, which indicates that it is a false detection. Then, the original amplitude of the amplitude Adet of the frequency component, that is, the marker amplitude Aest before encoding may be Aest = 900 or Aest = 1300. In this case, the determination in step S15 is negative. Therefore, the process proceeds to step S17 and Aest = 900 is set. In this case, the estimated error value ERRblk is ERRblk = Aest−Adet = −170.
[0040]
On the other hand, if the amplitude Adet of the frequency component detected from the decoded image is 1150, for example, the determination in step S15 is affirmative, so the process proceeds to step S16 and Aest = 1300 is set. In this case, the estimated error value ERRblk is ERRblk = Aest−Adet = 150.
[0041]
Next, the error estimated value ERRblk is obtained for all pixel blocks of the image (frame) by the processing of FIG. Next, the square sum σe ² of the estimated value ERRblk of the error is obtained from the following equation (4).

[0042]
Here, Nblk represents the number of pixel blocks in the frame. In the equation (4), σe ² represents the variance because the distribution of the estimated error value ERRblk is a mean 0 distribution. The above is the processing of the marker deterioration estimation unit 46.
[0043]
Next, (see Fig. 4) the image quality evaluation value estimation unit 47, based on the dispersion Sigma] e ^2, obtaining the image quality evaluation measure. The function will be described below. As an example, the present inventor uses an MPEG-2 codec one-stage system and the well-known test images “Cheerleaders (Cheer)”, “Flamingo (Fla)”, “Green Leaves (Green)”, etc. When the relationship between the 30-frame average of the variance σe ² and the image quality evaluation scale PSNR was examined, the correlation shown in FIG. 8 was obtained. The horizontal axis of FIG. 8 is a numerical value (σe ² / M) obtained by normalizing σe ² by M, and the vertical axis is the image quality evaluation scale PSNR of the original image (before marker embedding) and the decoded image. The regression curve a can be uniquely determined from the correlation shown in FIG.
[0044]
In the present embodiment, the characteristic (graph) of FIG. 8 is stored in the image quality evaluation value estimation unit 47, and the variance σe ² input from the marker deterioration estimation unit 46 is defined as M in order to eliminate the image quality dependency. By calculating σe ² / M (or σe ² / √M) by normalizing and applying the σe ² / M to the regression curve a, the image quality evaluation scale PSNR can be obtained without the original image become. In FIG. 8, σe ² is an average of 30 frames, but it is obvious that the same estimation can be performed with σe ² as a value of one frame unit.
[0045]
In addition, although the said embodiment showed the favorable embodiment of this invention, it can change in the range which does not deviate from the meaning of this invention, and it is clear that this deformation | transformation also enters the scope of this invention.
[0046]
【The invention's effect】
As is clear from the above description, according to the present invention, the deterioration ERRblk of the amplitude of the marker signal can be directly estimated and evaluated, so that the deterioration of the marker signal can be obtained more accurately than in the conventional method. .
[0047]
Further, since the image quality evaluation scale PSNR is obtained based on the error estimated value ERRblk obtained more accurately, the performance of image quality evaluation can be improved compared to the conventional one.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of an embodiment of an image processing apparatus for embedding an invisible marker.
FIG. 2 is a flowchart showing an operation of an invisible marker embedding unit in FIG. 1;
FIG. 3 is a specific explanatory diagram of the operation of FIG. 2;
FIG. 4 is a block diagram showing a schematic configuration of an embodiment of the image quality evaluation apparatus of the present invention.
FIG. 5 is a flowchart showing an operation of a marker deterioration estimation unit in FIG. 4;
6 is a specific explanatory diagram of the operation of FIG. 5 (in the case of positive detection).
7 is a specific explanatory diagram of the operation of FIG. 5 (in the case of erroneous detection).
FIG. 8 is a graph showing a relationship between a mean square value of an estimated value of marker deterioration and an image quality evaluation scale PSNR.
FIG. 9 is a block diagram of an example of a video transmission system to which the present invention is applied.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 ... Transmission apparatus, 23 ... Marker detection apparatus, 31, 41 ... Multiplier, 32, 42 ... Fourier transformer, 33 ... Invisible marker embedding part, 34, 45 ... Random number generator, 35 ... Inverse Fourier transform, 43 ... Marker detection unit 44... Comparison unit 46. Marker deterioration estimation unit 47 47 Image quality evaluation value estimation unit

Claims

Marker signal deterioration detection method for evaluating the quality of an encoded image after a marker is embedded by manipulating an arbitrary frequency value of the spread spectrum image and the image in which the marker is embedded is spread spectrum In
The amplitude Adet of the marker embedding target frequency component is detected from the spread spectrum of the decoded image of the encoded image, the amplitude Adet is divided by a predetermined quantization step size M, and an integer part of the result is obtained. It is determined whether the amplitude Adet is positively detected or erroneously detected by an even number or an odd number, and the amplitude Aest before encoding of the marker-embedded image is estimated based on the determination result of the positive or erroneous detection, and the amplitude Aest and Adet The marker signal deterioration detection method for image quality evaluation, characterized in that the deterioration ERRblk of the amplitude of the marker signal is detected by the above method.

The marker signal deterioration detection method for image quality evaluation according to claim 1,
The marker signal deterioration detection method for image quality evaluation, wherein the deterioration ERRblk of the amplitude of the marker signal is obtained for each block of an arbitrary size of an image of one frame.

Means for obtaining a root mean square σe ² of the amplitude degradation ERRblk obtained by the marker signal degradation detection method according to claim 1 or 2;
An image quality evaluation apparatus comprising means for obtaining an image quality evaluation scale based on the root mean square σe ² .

The image quality evaluation apparatus according to claim 3,
Based on the correlation between the value obtained by normalizing the previously obtained mean square σe ² based on the quantization step size M and the image quality evaluation scale PSNR, the image quality evaluation scale PSNR is obtained from the value obtained by normalizing the square average σe ^2. An image quality evaluation apparatus characterized by estimating the image quality.