JP2019165383A - 帯域制限装置、帯域制限量制御装置、及びプログラム - Google Patents

Abstract

【課題】帯域制限画像の主観画質を従来より向上させることが可能な帯域制限装置、帯域制限量制御装置、及びプログラムを提供する。【解決手段】入力画像に対して周波数分解処理を行って周波数分解係数を生成し、前記周波数分解係数の分類分けを行い、縮退関数の設定を行い、前記縮退関数に基づいて縮退係数を生成し、周波数再構成処理を行って帯域制限画像を生成する帯域制限装置において、少なくとも一つの前記縮退関数を、視覚特性を考慮して設定する。特に、縮退関数を、空間周波数に対する輝度毎のコントラスト感度特性に基づいて設定することを特徴とする。【選択図】図１

Description

本発明は、帯域制限装置、帯域制限量制御装置、及びプログラムに関し、特に、画像処理において帯域制限を行う装置、画像の帯域制限を行う際に帯域制限量の制御を行う装置、及びそのためのプログラムに関する。

従来、画像縮小における折り返し歪の抑制、ぼやけ画像やエッジの抽出、画像データの圧縮などを行うために画像の帯域制限が行われている。一般的な帯域制限方法としては、低域通過型（ＬＰＦ：Low-Pass Filter）、帯域通過型（ＢＰＦ：Band-Pass Filter）、高域通過型（ＨＰＦ：High-Pass Filter）の線形フィルタ処理があげられる。

一方、ウェーブレット変換（ウェーブレット分解）を用いたウェーブレット縮退により、帯域制限やノイズ除去等の画像処理を行うことも従来試みられている（例えば、特許文献１、非特許文献１）。

特許文献１は、ウェーブレット変換を用いたノイズ除去に関する特許であり、画像をウェーブレット変換して高周波ノイズ画像と低周波ノイズ画像を抽出し、これらを逐次的に統合することでノイズレベルの低減を行っている。

また、非特許文献１では、ウェーブレット縮退を用いたノイズ処理が提案されており、ウェーブレット変換した周波数分解係数のうち、雑音レベル以下の成分をコアリングするなどしてノイズ除去を行っている。

ウェーブレット縮退を用いた帯域制限方法としては、ＪＰＥＧ２０００やＭＰＥＧ−４などで利用されるウェーブレット多重解像度分解を利用した画像圧縮手法がある。ここで帯域制限は、画像圧縮の一種である。一例として、入力画像をウェーブレット分解して、その空間高周波帯域におけるウェーブレット変換係数のパワーの上位σ％（σは主に圧縮率によって決定）以外の係数を０として再構成する方法が知られている。空間高周波帯域におけるウェーブレット変換係数のパワーの低い成分は目立ちにくいため、この成分係数を０とすることで、画質劣化を抑制しつつ画像圧縮を行うことができる。

特許第５３５２９４２号公報

David L. Donoho, Iain M. Johnstone, Gerard Kerkyacharian and Dominique Picard : "Wavelet Shrinkage: Asymptopia?", Journal of the Royal Statistical Society. Series B (Methodological), (1995年), vol. 57, no. 2, pp. 301-369

しかしながら、上記のＬＰＦなどの線形フィルタ処理は容易に装置化することができるが、周波数帯域ごとの制御を詳細に行うことが困難である。

また、特許文献１及び非特許文献１に開示された手法は、主としてノイズ除去を行うものであって、帯域制限を目的とするものではなく、帯域制限としての効果は限定的であった。

従来知られているウェーブレット縮退を用いた帯域制限方法は、上位σ％以外の係数に出力ｙ＝０の縮退関数を適用することと同義であり、ウェーブレット変換係数を中間的に制御することが考慮されておらず、帯域制限画像の画質も十分なものではなかった。

そこで、本発明の発明者らは、本出願に先立って、ウェーブレット縮退を利用した「帯域制限装置及びプログラム」の提案をした（特願２０１７−７２０９０号）。この提案技術の概要は、次のとおりである。

ウェーブレット縮退を利用した帯域制限手法において、縮退関数として一次関数ｙ＝ｍｘを設定する。ここで、ｍは縮退関数の傾き、ｘは入力である。ウェーブレット変換係数に対して、帯域制限しない周波数帯域ではｍ＝１の縮退関数を適用する。これは減衰量０［ｄＢ］の縮退処理に相当する。そして、帯域制限する周波数帯域では、ｍ＝０．０１の縮退関数を適用する。これは減衰量４０［ｄＢ］の縮退処理に相当する。また帯域制限する周波数帯域だがウェーブレット変換係数のパワーの上位σ％の係数には、ｍ＝０．１の縮退関数を適用する。これは減衰量２０［ｄＢ］の縮退処理に相当する。以上の処理により、周波数帯域毎かつウェーブレット変換係数のパワー毎に帯域制限量の制御を行うことが可能であり、帯域制限を高画質に行うことができる。

上記提案は、従来技術に比べて高品質な帯域制限画像を得ることができた。しかし、本発明者らは更なる検討を行い、縮退関数の設定に視覚特性を考慮することにより、より品質の高い帯域制限画像が得られることを発見した。

したがって、かかる事情に鑑みてなされた本発明の目的は、帯域制限量の制御を視覚特性に対応したものとすることができ、高精度かつ高画質な帯域制限処理を行うことが可能な帯域制限装置、帯域制限量制御装置、及びプログラムを提供することにある。

上記課題を解決するために、本発明では帯域制限に利用する縮退関数として、空間周波数に対する輝度毎のコントラスト感度特性を考慮した縮退関数を設定する。

すなわち、上記課題を解決するために本発明に係る帯域制限装置は、入力画像の帯域を制限する帯域制限装置であって、前記入力画像に対して周波数分解処理を行って周波数分解係数を生成する周波数分解部と、前記周波数分解係数の分類を行う係数分類部と、縮退関数の設定を行う縮退関数設定部と、分類分けされた前記周波数分解係数と前記縮退関数に基づいて、前記周波数分解係数を縮退させた縮退係数を生成する縮退処理部と、前記縮退係数に対して周波数再構成処理を行って帯域制限画像を生成する周波数再構成部と、を備え、前記縮退関数設定部は、少なくとも一つの前記縮退関数を、視覚特性を考慮して設定することを特徴とする。

前記帯域制限装置は、前記縮退関数設定部が、少なくとも一つの前記縮退関数を、空間周波数に対する輝度毎のコントラスト感度特性に基づいて設定することが望ましい。

また、前記帯域制限装置は、前記縮退関数設定部が、少なくとも一つの前記縮退関数を、さらに視覚の空間異方特性に基づいて設定することが望ましい。

また、前記帯域制限装置は、前記周波数分解部が、前記入力画像をウェーブレット分解又はウェーブレットパケット分解することが望ましい。

上記課題を解決するために本発明に係る帯域制限量制御装置は、入力画像の帯域制限量を制御する、縮退関数を出力する帯域制限量制御装置であって、前記入力画像に対して周波数分解処理を行って周波数分解係数を生成する周波数分解部と、前記縮退関数の設定を行う縮退関数設定部と、を備え、前記縮退関数設定部は、少なくとも一つの前記縮退関数を、視覚特性を考慮して設定することを特徴とする。

前記帯域制限量制御装置は、前記縮退関数設定部が、少なくとも一つの前記縮退関数を、空間周波数に対する輝度毎のコントラスト感度特性に基づいて設定することが望ましい。

また、前記帯域制限量制御装置は、前記縮退関数設定部は、実質的な縮退を行わない第１の縮退関数と、人間の視覚特性に基づく第２の縮退関数と、前記第２の縮退関数よりも周波数分解係数を強く縮退させる第３の縮退関数とを設定することが望ましい。

また、前記帯域制限量制御装置は、前記周波数分解部が、前記入力画像をウェーブレット分解又はウェーブレットパケット分解することが望ましい。

そして、上記課題を解決するために本発明に係るプログラムは、コンピュータを、上記帯域制限装置として機能させるためのプログラムであることを特徴とする。

また、上記課題を解決するために本発明に係るプログラムは、コンピュータを、上記帯域制限量制御装置として機能させるためのプログラムであることを特徴とする。

本発明によれば、帯域制限量の制御が視覚特性に対応したものとなり、高精度かつ高画質な帯域制限処理を行うことができ、帯域制限画像の主観画質を従来より向上させることができる。

本発明の第１の実施形態に係る帯域制限装置の構成例を示すブロック図である。 入力画像を２階ウェーブレットパケット分解した周波数分解の様子を示す図である。 制限周波数帯域と非制限周波数帯域の例を示す図である。 空間周波数に対する輝度毎のコントラスト感度特性を示す図である。 視覚の空間異方特性を示す図である。 本発明で用いられる縮退関数の例を示す図である。 本発明の第２の実施形態に係る帯域制限量制御装置及び帯域制限装置の構成例を示すブロック図である。 本発明の第３の実施形態に係る帯域制限量制御装置及び帯域制限装置の構成例を示すブロック図である。 本発明と従来技術の画像処理結果の比較を示す図である。

以下、本発明の実施の形態について説明する。

（第１の実施形態）
本発明の第１の実施形態に係る帯域制限装置について、以下に説明する。図１は、本発明の第１の実施形態に係る帯域制限装置の構成例を示すブロック図である。帯域制限装置１は、入力画像の帯域を制限した帯域制限画像を生成し、外部に出力する装置である。図１に示す帯域制限装置１は、周波数分解部１１、係数分類部１２、縮退関数設定部１３、縮退処理部１４、及び周波数再構成部１５を備える。

周波数分解部１１は、入力画像に対して周波数分解処理を行って周波数分解係数（周波数分解成分）を生成し、係数分類部１２及び縮退関数設定部１３に出力する。なお、周波数分解における各階の周波数分解係数間には、パーセバルの等式が成り立つものとする。

周波数分解部１１は、周波数分解処理として、入力画像を低周波帯域側にオクターブ分解するウェーブレット分解処理、又は入力画像を低周波帯域側及び高周波帯域側にオクターブ分解するウェーブレットパケット分解処理を行うのが好適である。また、これらの処理に用いるウェーブレットフィルタは、適宜選択することができ、例えば、Haarウェーブレットを用いることができる。また、タップ長が３以上で、かつ線形位相性を有するウェーブレットフィルタとして、ＣＤＦ（Cohen-Daubechies-Feauveau）５／３や、ＣＤＦ９／７を用いることもできる。

なお、周波数帯域ごと及び位相位置ごとの制御を行うことが可能な帯域制限方法として、窓関数を用いたフーリエ変換を用いた縮退処理も可能であるが、該処理では、窓関数の特性にもよるが、不連続関数を正弦波関数及び余弦波関数で級数近似することにより、ギブス現象が発生することがある。さらには、画素数をＮとするとＮ log Ｎオーダーで計算量が増えるという問題がある。その点、ウェーブレットフィルタを用いた周波数分解処理によれば、これらの問題が発生しなくなる。

したがって、周波数分解部１１の処理は、入力画像Ｉをウェーブレットフィルタφを用いてｎ階ウェーブレット分解又はｎ階ウェーブレットパケット分解して、その結果を後述するように、各帯域Ｄ、各帯域の中心周波数μ，γ、周波数分解係数ｄとして、係数分類部１２及び縮退関数設定部１３に出力することが望ましい。

係数分類部１２は、周波数分解部１１から入力された帯域Ｄ及び周波数分解係数ｄと、与えられた帯域制限情報（例えば、帯域制限周波数ρ及びレベル判定閾値τ）に基づいて、周波数分解係数ｄを、（１）非制限周波数帯域（帯域制限周波数以下の周波数帯域）の周波数分解係数ａ、（２）制限周波数帯域（帯域制限周波数を超える周波数帯域）でスペクトルパワーが高い（レベル判定閾値以上の）周波数分解係数ｂ、（３）制限周波数帯域でスペクトルパワーが低い（レベル判定閾値未満の）周波数分解係数ｃに分類し、その結果を縮退処理部１４に出力する。なお、帯域制限情報は、外部から入力される可変情報とすることが望ましいが、装置内に保持していてもよい。

縮退関数設定部１３は、周波数分解部１１から入力された周波数分解係数ｄ、各帯域Ｄ及び各帯域の中心周波数μ，γと、与えられた関数設定情報（例えば、縮退量α）に基づいて、周波数分解係数ｄに対して適用する縮退関数を設定し、縮退処理部１４に出力する。具体的には、非制限周波数帯域の係数に適用する基本縮退関数（第１の縮退関数）ｆ_A、制限周波数帯域でスペクトルパワーが高い係数に適用する中縮退関数（第２の縮退関数）ｆ_B、制限周波数帯域でスペクトルパワーが低い係数に適用する大縮退関数（第３の縮退関数）ｆ_Cの３種類の縮退関数を設定する。なお、中縮退関数ｆ_Bについては、後述のように、人間の視覚特性に基づいて設定する。また、大縮退関数ｆ_Cは、中縮退関数ｆ_Bよりも周波数分解係数を強く縮退させる関数とする。関数設定情報は、外部から入力される可変情報とすることが望ましいが、装置内に保持していてもよい。

縮退処理部１４は、係数分類部１２で分類された周波数分解係数ａ，ｂ，ｃと、縮退関数設定部１３で設定された縮退関数ｆ_A，ｆ_B，ｆ_Cとに基づいて、周波数分解係数を縮退させた縮退係数を生成し、周波数再構成部１５に出力する。具体的には、非制限周波数帯域の周波数分解係数ａに対して、基本縮退関数（第１の縮退関数）ｆ_Aを適用する（ただし、後述のとおり、基本縮退関数は実質的な縮退を行わない。）。また、制限周波数帯域でスペクトルパワーが高い周波数分解係数ｂに対して、中縮退関数（第２の縮退関数）ｆ_Bを適用し、それ以外の周波数分解係数、すなわち、制限周波数帯域でスペクトルパワーが低い周波数分解係数ｃに対して、大縮退関数（第３の縮退関数）ｆ_Cを適用する。こうして、周波数分解部１１により生成された各周波数分解係数を縮退係数（縮退処理済みの周波数分解係数）に変換する。

周波数再構成部１５は、縮退処理部１４により生成された縮退係数に対して周波数再構成処理を行って帯域制限画像を生成し、外部に出力する。周波数分解部１１においてｎ階ウェーブレットパケット分解処理が行われていた場合には、周波数再構成部１５は、ｎ階ウェーブレットパケット再構成処理を行う。

なお、上述した帯域制限装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、帯域制限装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。

周波数分解部１１によるウェーブレットパケット分解について詳述する。図２は、入力画像をウェーブレットパケット分解した周波数分解の様子を示す図である。ここでは、入力画像Ｉの解像度を８Ｋ×４Ｋ（水平7,680画素、垂直4,320ライン）とし、ウェーブレットフィルタφをHaarウェーブレット、ウェーブレットパケット分解階数ｎ＝２とした例を示す。入力画像の周波数帯域は１６分割され、周波数分解部１１は、各周波数帯域Ｄと帯域内の周波数分解係数ｄを出力する。図２において、横軸は水平周波数、縦軸は垂直周波数であり、同図中のＤ^i,jは、画像Ｉを２階ウェーブレットパケット分解した各帯域を示す。ここでｉ，ｊ（上付き文字）は、Ｄ^i,jの水平，垂直方向の帯域番号である。そして帯域Ｄ^i,j内には周波数分解係数ｄ^i,j _k,lが存在する。ここでｋ，ｌ（下付き文字）は、帯域Ｄ^i,j内での水平，垂直方向の位相位置であり、それぞれの帯域に分解係数が１９２０×１０８０存在する。また各帯域Ｄ^i,jの水平方向の中心周波数をμⁱ、垂直方向の中心周波数をγ^jとする。

なお、周波数分解には２階のウェーブレット分解を利用してもよく、その場合は帯域が高周波側では１／４に分割した帯域となり、低周波側では１／１６に分割した帯域となるが、以下の処理は同様にできる。

次に、図２に示す中心周波数μⁱとγ^jについて説明する。いま入力画像Ｉを標準観視距離０．７５Ｈ（Ｈは画面高）で視聴した場合、水平方向の視野角は約１００度となる。ここで水平方向の画素数は7,680画素のため、視野角１度あたりで表現可能な最高周波数μ^maxは、μ^max ＝ (7680/2)[cycles/degree]／100[degree] ＝ 38.4[cycles]となる。そして、同様の考え方により各帯域の中心周波数μⁱが計算できる。

表１に、視野角１度あたりで表現可能なウェーブレットパケット分解時の各帯域の中心周波数（水平方向）｛μⁱ｜ｉ∈１，２，３，４｝を示す。

また、垂直方向の視野角は約６０度である。ここで垂直方向の画素数は4,320画素のため、視野角１度あたりで表現可能な最高周波数γ^maxは、γ^max ＝ (4320/2)[cycles/degree]／60[degree] ＝ 36.0[cycles]となる。そして、同様の考え方によりγ^jが計算できる。

表２に、視野角１度あたりで表現可能なウェーブレットパケット分解時の各帯域の中心周波数（垂直方向）｛γ^j｜ｊ∈１，２，３，４｝を示す。

係数分類部１２による周波数分解係数ｄ^i,j _k,lの分類について詳述する。ここでは、周波数分解係数を、帯域と係数の絶対値とにより分類する例について説明する。係数分類部１２は、まず、与えられた帯域制限周波数ρに基づいて、各帯域Ｄ^i,jを、帯域制限を行う制限周波数帯域と、帯域制限を行わない非制限周波数帯域とに分ける。

図３に、制限周波数帯域（水平・垂直の少なくとも一方が帯域制限周波数を超える周波数帯域）と非制限周波数帯域（帯域制限周波数以下の周波数帯域）の例を示す。ここでは例として、水平方向の帯域制限周波数ρ^μをρ^μ＝６Ｋ、垂直方向の帯域制限周波数ρ^γをρ^γ＝３Ｋとした。この結果、斜線のある帯域が非制限周波数帯域となり、帯域Ｄ^i,jのうち制限周波数帯域Ｂ_Lは、Ｂ_L＝｛Ｄ^1,4，Ｄ^2,4，Ｄ^3,4，Ｄ^4,4，Ｄ^4,1，Ｄ^4,2，Ｄ^4,3｝となる。以下、この制限周波数帯域Ｂ_Lの各帯域をＢ^1,4等とＢの記号で記載する。

本発明では、周波数分解係数ｄ^i,j _k,lに対する縮退関数の適用方針を、表３のように設定する。表３に示すように、非制限周波数帯域（帯域制限しない周波数帯域）内の周波数分解係数ｄ^i,j _k,lには基本縮退関数ｆ_Aを適用し、制限周波数帯域（帯域制限する周波数帯域）内の周波数分解係数ｄ^i,j _k,lには基本的に大縮退関数ｆ_Cを適用する。ただし、制限周波数帯域内の周波数分解係数ｄ^i,j _k,lのうち、スペクトルパワーの高い、すなわち、レベルの大きいもの（係数の絶対値がレベル判定閾値τ以上のもの）については、中間的な中縮退関数ｆ_Bを適用する。レベルの大きい周波数分解係数に中縮退関数を適用するのは、エッジのぼやけなどによる主観画質低下を抑制するためである。

そして、上記の適用方針に基づいて、周波数分解係数ｄ^i,j _k,lを表４のように、基本縮退関数ｆ_Aを適用する周波数分解係数ａ^i,j _k,l、中縮退関数ｆ_Bを適用する周波数分解係数ｂ^i,j _k,l、大縮退関数ｆ_Cを適用する周波数分解係数ｃ^i,j _k,lに分類する。ここで、レベル判定閾値（縮退関数判定閾値）τ^i,jを、各制限周波数帯域Ｂ^i,jにおいて各帯域の要素が取り得る最大値（帯域内での最大値、画像・帯域毎で異なる）の絶対値の例えば７０％とする。なお、このτの設定は７０％に限らず、画質向上に適切な値を閾値とすることができる。

次に、縮退関数設定部１３による、縮退関数の設定について詳述する。本発明の縮退関数は、人間の視覚特性に基づいて設定を行うものであり、特に、空間周波数に対する輝度毎のコントラスト感度特性に基づいて縮退関数を設定する。

図４に、空間周波数に対する輝度毎のコントラスト感度特性を示す。図４には、輝度（照度）の異なる各グラフが示されており、輝度の最も低いグラフは０．０００９Ｔｄ（トロランド）のときであり、輝度の最も高いグラフは９００Ｔｄのときの感度を示している。同図より、コントラスト感度は、基本的に輝度が高くなるにつれて高くなる。ただしその特性は、低輝度側では低域通過型であるが、高輝度側では帯域通過型である。

ここで、縮退関数の基本形ｆ_Sを、次式（１）と設定する。基本形ｆ_Sは（１）式に限定されるものではないが、コントラスト感度は指数関数的特性を示すため、（１）式のように設定した。ここでαは縮退関数のβ次項の係数、βは縮退関数の次数で、各々ｆ_Sの傾きを調整する。δは縮退関数の０次項の係数で、ｆ_Sのゲインを調整する。ｘは縮退関数の入力値、ｙは縮退関数の出力値である。ただし、ｘは周波数分解係数の絶対値を入力し、ｘが負の場合は、（１）式の計算後にｙを負にして出力する。なお、「max」は括弧内の最大値をとる関数であって、ｙは負にならない関数である。

次に、（１）式を基本に、基本縮退関数ｆ_A、中縮退関数ｆ_B、大縮退関数ｆ_Cを設定する。

（基本縮退関数）
基本縮退関数ｆ_Aは、基本的に縮退関数の入力値ｘをそのまま出力する。すなわち、実質的な縮退を行わない。例として、（１）式におけるα，β，δを、α＝α_A＝１、β＝β_A＝１、δ＝δ_A＝０とすると、ｆ_Aは（２）式で表される。

（中縮退関数）
中縮退関数ｆ_Bの設定では、帯域制限する周波数帯域Ｂ_L毎に、空間周波数に対する輝度毎のコントラスト感度特性を考慮した縮退関数を設定する。前述したように、図３において、Ｂ_L＝｛Ｂ^1,4，Ｂ^2,4，Ｂ^3,4，Ｂ^4,4，Ｂ^4,1，Ｂ^4,2，Ｂ^4,3｝内のレベル判定閾値τ以上の周波数分解係数ｂ^i,j _k,lには、中縮退関数ｆ_Bを適用する。いまＢ^4,4内の係数ｂ^4,4 _k,lに適用する中縮退関数ｆ_B ^4,4を考える。図４に示される、空間周波数μ⁴及びγ⁴における輝度毎のコントラスト感度より、（１）式に基づいて中縮退関数ｆ_B ^4,4を求める。これは、所定の空間周波数（例えばμ⁴）における輝度毎のコントラスト感度値をプロットし、縮退関数の基本形ｆ_Sが最もフィットする係数β，δを求める等の方法を採用することができる。

図４に基づいて、中縮退関数ｆ_B ^4,4におけるβ_B ^4,4及びδ_B ^4,4は、次のように求められる。

なお、ここでは相乗平均を利用したが、水平方向と垂直方向の係数の適切な平均・分配により各帯域の係数β，δを求めてもよい。

そして、係数αは帯域制限量に基づいて定める。ｆ_Bにおける帯域制限量を３［ｄＢ］に設定した場合は、α_B ^4,4＝０．７となる（20log0.7≒−3[dB]）。このように設定されたα，β，δから、中縮退関数ｆ_B ^4,4を求めることができる。

上述の例では、輝度毎のコントラスト感度特性に基づいて中縮退関数ｆ_B ^4,4を求めたが、さらに、視覚の空間異方特性に基づいて縮退関数を設定することにより、主観画質をより向上させることができる。

視覚の空間異方特性を考慮したとき、β，δは上記と同じで良いが、係数αについては、α_B ^4,4＝０．７ε^4,4となる。ここでεは、視覚の空間異方特性から算出される感度を示す値である。例えば、水平や垂直方向の縞模様に対して、対角方向の縞模様に対する感度は約０．５倍となる。

図５に視覚の空間異方特性を示す。帯域Ｂ^4,4は、水平方向と垂直方向の高周波成分を有しており、その比率から周波数成分の回転角が求められる。周波数成分のパターン回転角から感度（相対レスポンス）を求めると、図５より、ε^4,4＝０．６となる。よって、空間異方特性を考慮した場合は、α_B ^4,4＝０．４２となる。

以上をまとめると、中縮退関数ｆ_B ^4,4は（３）式のようになる。

他のＢ_L＝｛Ｂ^1,4，Ｂ^2,4，Ｂ^3,4，Ｂ^4,1，Ｂ^4,2，Ｂ^4,3｝内の中縮退関数ｆ_B ^i,jについても、同様に設定することができる。すなわち、周波数帯域Ｂ^i,j内の係数ｂ^i,j _k,lに適用する中縮退関数ｆ_B ^i,jは、その帯域の中央の空間周波数μⁱ及びγ^jにおける輝度毎のコントラスト感度より、（１）式に基づいて、縮退関数の基本形ｆ_Sが最もフィットする係数β_B ^i,j及びδ_B ^i,jを求める。

また、αについては、帯域制限量に応じて係数を設定する。さらに視覚の空間異方特性を考慮する場合には、周波数帯域Ｂ^i,jの有する周波数成分の回転角に対応する感度に基づいてα_B ^i,jを修正し、中縮退関数ｆ_B ^4,4を求める。

なお、中縮退関数の設定処理で利用する視覚特性（空間周波数に対する輝度毎のコントラスト感度特性、及び視覚の空間異方特性）は、例えばテーブルとして縮退関数設定部１３内に保存されていてもよく、また、外部から入力されてもよい。

（大縮退関数）
大縮退関数ｆ_Cは、中縮退関数ｆ_Bよりも周波数分解係数を強く縮退させる関数とする。例えば、（１）式におけるα，β，δを、α＝α_C＝０．０１、β＝β_C＝１、δ＝δ_C＝０とすることにより、ｆ_Cは（４）式で表される。これは、ｆ_Cにおける帯域制限量を４０［ｄＢ］に設定することになる。

（２）〜（４）式より、縮退関数ｆ_A，ｆ_B，ｆ_Cが設定され、縮退処理部１４において、周波数分解係数ａ^i,j _k,l、ｂ^i,j _k,l、ｃ^i,j _k,lにそれぞれ適用されることとなる。

図６に、縮退関数ｆ_A，ｆ_B（ｆ_B ^4,4），ｆ_Cの入出力特性を示す。なお、図６に示す縮退関数は一例であり、それぞれの画像処理に適した関数を設定することができる。

（第２の実施形態）
次に、本発明の第２の実施形態として、画像の帯域制限を行う際の帯域制限量を制御する、縮退関数を出力する帯域制限量制御装置について説明する。図７は、第２の実施形態に係る帯域制限量制御装置２と帯域制限装置３との関係を示した図である。以下、各装置の構成について説明する。ただし、第１の実施形態と共通する内容は、説明を簡略化する。

帯域制限量制御装置２は、周波数分解部２１と縮退関数設定部２２とを備え、入力画像と与えられた関数設定情報に基づいて、帯域制限量を制御する縮退関数を帯域制限装置３に出力する。

帯域制限量制御装置２の周波数分解部２１は、入力画像に対して周波数分解処理を行って周波数分解係数（周波数分解成分）を生成し、縮退関数設定部２２に出力する。周波数分解処理として、入力画像を低周波帯域側にオクターブ分解するウェーブレット分解処理、又は入力画像を低周波帯域側及び高周波帯域側にオクターブ分解するウェーブレットパケット分解処理を行うのが好適である。

周波数分解部２１の処理は、第１の実施形態の周波数分解部１１の処理と基本的に同様であり、入力画像Ｉをウェーブレットフィルタφを用いてｎ階ウェーブレット分解又はｎ階ウェーブレットパケット分解して、図２のように周波数帯域を複数の帯域Ｄ^i,jに分割し、帯域Ｄ^i,j内の周波数分解係数ｄ^i,j _k,lと、各帯域Ｄ^i,jの水平方向の中心周波数μⁱと、垂直方向の中心周波数γ^jを、縮退関数設定部２２に出力する。

縮退関数設定部２２は、周波数分解部２１から入力された周波数分解係数ｄ^i,j _k,lと、各帯域Ｄ^i,j及び各帯域の中心周波数μⁱ，γ^jと、与えられた関数設定情報（例えば、縮退量α）に基づいて、周波数分解係数ｄに対して適用する縮退関数を設定し、帯域制限装置３（縮退処理部３３）に出力する。具体的には、非制限周波数帯域の係数に適用する基本縮退関数（第１の縮退関数）ｆ_A、制限周波数帯域でスペクトルパワーが高い係数に適用する中縮退関数（第２の縮退関数）ｆ_B、制限周波数帯域でスペクトルパワーが低い係数に適用する大縮退関数（第３の縮退関数）ｆ_Cの３種類の縮退関数を設定する。縮退関数の設定方法については、第１の実施形態で説明した方法と同様であり、中縮退関数ｆ_Bについては、人間の視覚特性に基づいて設定する。また、大縮退関数ｆ_Cは、中縮退関数ｆ_Bよりも周波数分解係数を強く縮退させる関数とする。なお、関数設定情報及び視覚特性（空間周波数に対する輝度毎のコントラスト感度特性、及び視覚の空間異方特性）は、外部から入力される可変情報としても、装置内に保持されている情報としても良い。

帯域制限装置３は、周波数分解部３１、係数分類部３２、縮退処理部３３、及び周波数再構成部３４を備え、入力画像と帯域制限情報、及び、帯域制限量制御装置２から入力される縮退関数に基づいて、入力画像の帯域を制限した帯域制限画像を生成し、外部に出力する。

帯域制限装置３の周波数分解部３１は、入力画像に対して周波数分解処理を行って周波数分解係数（周波数分解成分）を生成し、係数分類部３２に出力する。周波数分解処理として、入力画像を低周波帯域側にオクターブ分解するウェーブレット分解処理、又は入力画像を低周波帯域側及び高周波帯域側にオクターブ分解するウェーブレットパケット分解処理を行うのが好適である。なお、帯域制限量制御装置２の周波数分解処理と整合をとるため、周波数分解部３１の処理は、帯域制限量制御装置２の周波数分解部２１の処理と同一にすることが望ましい。

係数分類部３２は、周波数分解部３１から入力された周波数分解係数ｄ^i,j _k,lと、与えられた帯域制限情報（例えば、帯域制限周波数ρ及びレベル判定閾値τ）に基づいて、周波数分解係数ｄを、（１）非制限周波数帯域（帯域制限周波数以下の周波数帯域）の周波数分解係数ａ、（２）制限周波数帯域（帯域制限周波数を超える周波数帯域）でスペクトルパワーが高い（レベル判定閾値以上の）周波数分解係数ｂ、（３）制限周波数帯域でスペクトルパワーが低い（レベル判定閾値未満の）周波数分解係数ｃに分類し、その結果を縮退処理部３３に出力する。周波数分解係数の分類方法については、第１の実施形態で説明した方法と同様である。なお、帯域制限情報は、外部から入力される可変情報としても、装置内に保持されている情報としても良い。

縮退処理部３３は、係数分類部３２で分類された周波数分解係数ａ，ｂ，ｃと、帯域制限量制御装置２から出力された縮退関数ｆ_A，ｆ_B，ｆ_Cとに基づいて、周波数分解係数を縮退させた縮退係数を生成し、周波数再構成部３４に出力する。具体的には、非制限周波数帯域の周波数分解係数ａに対して、基本縮退関数ｆ_Aを適用する。また、制限周波数帯域でスペクトルパワーが高い周波数分解係数ｂに対して、中縮退関数ｆ_Bを適用し、それ以外の周波数分解係数、すなわち、制限周波数帯域でスペクトルパワーが低い周波数分解係数ｃに対して、大縮退関数ｆ_Cを適用する。こうして、周波数分解部３１により生成された各周波数分解係数を縮退係数（縮退処理済みの周波数分解係数）に変換する。

周波数再構成部３４は、縮退処理部３３により生成された縮退係数に対して周波数再構成処理を行って帯域制限画像を生成し、外部に出力する。周波数再構成部３４の処理は、第１の実施形態で説明した周波数再構成部１５の処理と同様である。

この実施形態では、帯域制限装置３とは独立して、帯域制限量制御装置２において縮退関数ｆ_A，ｆ_B，ｆ_Cを設定することができ、帯域制限量を制御できる。

なお、上述した帯域制限量制御装置２として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、帯域制限量制御装置２の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。

（第３の実施形態）
次に、本発明の第３の実施形態として、画像の帯域制限を行う際の帯域制限量を制御する、別の帯域制限量制御装置について説明する。図８は、第３の実施形態に係る帯域制限量制御装置２と帯域制限装置３との関係を示した図である。以下、各装置の構成について説明する。ただし、第１、第２の実施形態と共通する内容は、説明を簡略化する。

帯域制限量制御装置２は、周波数分解部２１と、係数分類部２３と、縮退関数設定部２２とを備え、入力画像と与えられた帯域制限情報及び関数設定情報に基づいて、帯域制限量を制御する周波数分解係数の係数分類情報と縮退関数を帯域制限装置３に出力する。

帯域制限量制御装置２の周波数分解部２１は、入力画像に対して周波数分解処理を行って周波数分解係数（周波数分解成分）を生成し、縮退関数設定部２２に出力する。周波数分解処理として、入力画像を低周波帯域側にオクターブ分解するウェーブレット分解処理、又は入力画像を低周波帯域側及び高周波帯域側にオクターブ分解するウェーブレットパケット分解処理を行うのが好適である。周波数分解部２１の処理は、第１の実施形態の周波数分解部１１の処理と基本的に同様であり、帯域Ｄ^i,j及び帯域Ｄ^i,j内の周波数分解係数ｄ^i,j _k,lと、各帯域Ｄ^i,jの水平方向の中心周波数μⁱと、垂直方向の中心周波数γ^jを出力する。

係数分類部２３は、周波数分解部２１から入力された周波数分解係数ｄ^i,j _k,lと、与えられた帯域制限情報（例えば、帯域制限周波数ρ及びレベル判定閾値τ）に基づいて、周波数分解係数ｄを、（１）非制限周波数帯域（帯域制限周波数以下の周波数帯域）の周波数分解係数ａ、（２）制限周波数帯域（帯域制限周波数を超える周波数帯域）でスペクトルパワーが高い（レベル判定閾値以上の）周波数分解係数ｂ、（３）制限周波数帯域でスペクトルパワーが低い（レベル判定閾値未満の）周波数分解係数ｃに分類し、その結果を係数分類情報として、帯域制限量制御装置２から帯域制限装置３に出力する。分類方法については、第１の実施形態で説明した方法と同様である。なお、出力に際しては、各周波数分解係数ａ，ｂ，ｃ自体を出力する方法や、各周波数分解係数の図２における座標（ｉ，ｊ，ｋ，ｌ）とその分類を出力する方法等、様々な手段を選択することができる。さらには、縮退処理を行う周波数分解係数ｂ，ｃに関する情報のみを帯域制限装置３に出力してもよい。

縮退関数設定部２２は、周波数分解部２１から入力された周波数分解係数ｄ^i,j _k,lと、各帯域Ｄ^i,j及び各帯域の中心周波数μⁱ，γ^jと、与えられた関数設定情報（例えば、縮退量α）に基づいて、周波数分解係数ｄに対して適用する縮退関数を設定し、帯域制限装置３（縮退処理部３３）に出力する。具体的には、非制限周波数帯域の係数に適用する基本縮退関数（第１の縮退関数）ｆ_A、制限周波数帯域でスペクトルパワーが高い係数に適用する中縮退関数（第２の縮退関数）ｆ_B、制限周波数帯域でスペクトルパワーが低い係数に適用する大縮退関数（第３の縮退関数）ｆ_Cの３種類の縮退関数を設定する。縮退関数の設定方法については、第１の実施形態で説明した方法と同様であり、中縮退関数ｆ_Bについては、人間の視覚特性に基づいて設定する。また、大縮退関数ｆ_Cは、中縮退関数ｆ_Bよりも周波数分解係数を強く縮退させる関数とする。なお、関数設定情報及び視覚特性（空間周波数に対する輝度毎のコントラスト感度特性、及び視覚の空間異方特性）は、外部から入力される可変情報としても、装置内に保持されている情報としても良い。

帯域制限装置３は、周波数分解部３１、縮退処理部３３、及び周波数再構成部３４を備え、入力画像、及び、帯域制限量制御装置２から入力される係数分類情報、及び縮退関数に基づいて、入力画像の帯域を制限した帯域制限画像を生成し、外部に出力する。

帯域制限装置３の周波数分解部３１は、入力画像に対して周波数分解処理を行って周波数分解係数（周波数分解成分）を生成し、縮退処理部３３に出力する。周波数分解処理として、入力画像を低周波帯域側にオクターブ分解するウェーブレット分解処理、又は入力画像を低周波帯域側及び高周波帯域側にオクターブ分解するウェーブレットパケット分解処理を行うのが好適である。なお、帯域制限量制御装置２の周波数分解処理と整合をとるため、周波数分解部３１の処理は、帯域制限量制御装置２の周波数分解部２１の処理と同一にすることが望ましい。

縮退処理部３３は、周波数分解部３１からの周波数分解係数ｄ^i,j _k,lと、帯域制限量制御装置２から入力される、周波数分解係数ａ，ｂ，ｃの情報及び縮退関数ｆ_A，ｆ_B，ｆ_Cとに基づいて、周波数分解係数を縮退させた縮退係数を生成し、周波数再構成部３４に出力する。具体的には、非制限周波数帯域の周波数分解係数ａに対して、基本縮退関数ｆ_Aを適用する。また、制限周波数帯域でスペクトルパワーが高い周波数分解係数ｂに対して、中縮退関数ｆ_Bを適用し、それ以外の周波数分解係数、すなわち、制限周波数帯域でスペクトルパワーが低い周波数分解係数ｃに対して、大縮退関数ｆ_Cを適用する。こうして、周波数分解部３１により生成された各周波数分解係数を縮退係数（縮退処理済みの周波数分解係数）に変換する。なお、処理にあたっては、縮退を行う周波数分解係数ｂ，ｃの情報のみを帯域制限量制御装置２から受けても、各周波数分類係数の図２における座標（ｉ，ｊ，ｋ，ｌ）とその分類を受けて、周波数分解部３１の出力係数を分類してもよい。

周波数再構成部３４は、縮退処理部３３により生成された縮退係数に対して周波数再構成処理を行って帯域制限画像を生成し、外部に出力する。なお、周波数再構成部３４の処理は、第１及び第２の実施形態と同様である。

この第３の実施形態では、帯域制限装置３とは独立して、帯域制限量制御装置２において各周波数分解係数ａ，ｂ，ｃ及び縮退関数ｆ_A，ｆ_B，ｆ_Cを設定することができ、帯域制限量を自由に制御できる。

なお、上述した帯域制限量制御装置２として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、帯域制限量制御装置２の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。

（効果の検証）
本発明の効果を検証するために、図９に、本発明の効果として、実際に縮退関数を適用したウェーブレット縮退処理画像を示す。

図９（Ａ）は、周波数分解係数ｂ^i,j _k,lに適用する縮退関数を、（ｆ_Bの代わりに）ｆ_Cを用いた場合の画像を示す。この場合は、帯域制限しない周波数帯域の縮退関数ｆ_A、帯域制限する周波数帯域ではｆ_Cを適用する。一方、図９（Ｂ）は、本発明の縮退関数ｆ_A，ｆ_B，ｆ_Cを適用する場合の画像を示す。両画像の比較により、本発明の縮退関数ｆ_A，ｆ_B，ｆ_Cを適用する（Ｂ）の方が、帯域制限する周波数帯域におけるエッジが残っているため、高画質な帯域制限画像が得られていることが分かる。

上記の実施形態では、帯域制限装置及び帯域制限量制御装置の構成と動作について説明したが、本発明はこれに限らず、帯域制限又は帯域制限量の制御を行う方法として構成されてもよい。すなわち、図１のデータの流れに従って、入力画像の周波数分解を行う周波数分解ステップと、周波数分解係数の分類を行う分類ステップと、視覚特性を考慮して縮退関数の設定を行う縮退関数設定ステップとを備えた、帯域制限量の制御方法として構成されても良い。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１ 帯域制限装置
２ 帯域制限量制御装置
３ 帯域制限装置
１１ 周波数分解部
１２ 係数分類部
１３ 縮退関数設定部
１４ 縮退処理部
１５ 周波数再構成部
２１ 周波数分解部
２２ 縮退関数設定部
２３ 係数分類部
３１ 周波数分解部
３２ 係数分類部
３３ 縮退処理部
３４ 周波数再構成部

Claims (10)

1. 入力画像の帯域を制限する帯域制限装置であって、
   前記入力画像に対して周波数分解処理を行って周波数分解係数を生成する周波数分解部と、
   前記周波数分解係数の分類を行う係数分類部と、
   縮退関数の設定を行う縮退関数設定部と、
   分類分けされた前記周波数分解係数と前記縮退関数に基づいて、前記周波数分解係数を縮退させた縮退係数を生成する縮退処理部と、
   前記縮退係数に対して周波数再構成処理を行って帯域制限画像を生成する周波数再構成部と、を備え、
   前記縮退関数設定部は、少なくとも一つの前記縮退関数を、視覚特性を考慮して設定することを特徴とする、帯域制限装置。
2. 請求項１に記載の帯域制限装置において、
   前記縮退関数設定部は、少なくとも一つの前記縮退関数を、空間周波数に対する輝度毎のコントラスト感度特性に基づいて設定することを特徴とする、帯域制限装置。
3. 請求項２に記載の帯域制限装置において、
   前記縮退関数設定部は、少なくとも一つの前記縮退関数を、さらに視覚の空間異方特性に基づいて設定することを特徴とする、帯域制限装置。
4. 請求項１乃至３のいずれか一項に記載の帯域制限装置において、
   前記周波数分解部は、前記入力画像をウェーブレット分解又はウェーブレットパケット分解することを特徴とする、帯域制限装置。
5. 入力画像の帯域制限量を制御する、縮退関数を出力する帯域制限量制御装置であって、
   前記入力画像に対して周波数分解処理を行って周波数分解係数を生成する周波数分解部と、
   前記縮退関数の設定を行う縮退関数設定部と、を備え、
   前記縮退関数設定部は、少なくとも一つの前記縮退関数を、視覚特性を考慮して設定することを特徴とする、帯域制限量制御装置。
6. 請求項５に記載の帯域制限量制御装置において、
   前記縮退関数設定部は、少なくとも一つの前記縮退関数を、空間周波数に対する輝度毎のコントラスト感度特性に基づいて設定することを特徴とする、帯域制限量制御装置。
7. 請求項５又は６に記載の帯域制限量制御装置において、
   前記縮退関数設定部は、実質的な縮退を行わない第１の縮退関数と、人間の視覚特性に基づく第２の縮退関数と、前記第２の縮退関数よりも周波数分解係数を強く縮退させる第３の縮退関数とを設定することを特徴とする、帯域制限量制御装置。
8. 請求項５乃至７のいずれか一項に記載の帯域制限量制御装置において、
   前記周波数分解部は、前記入力画像をウェーブレット分解又はウェーブレットパケット分解することを特徴とする、帯域制限量制御装置。
9. コンピュータを、請求項１乃至４のいずれか一項に記載の帯域制限装置として機能させるためのプログラム。
10. コンピュータを、請求項５乃至８のいずれか一項に記載の帯域制限量制御装置として機能させるためのプログラム。