JP2020178189A

JP2020178189A - 画像処理装置及びプログラム

Info

Publication number: JP2020178189A
Application number: JP2019078008A
Authority: JP
Inventors: 康孝松尾; Yasutaka Matsuo; 菊文神田; Kikufumi Kanda
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2019-04-16
Filing date: 2019-04-16
Publication date: 2020-10-29
Anticipated expiration: 2039-04-16
Also published as: JP7290985B2

Abstract

【課題】圧縮符号化処理の前処理として、入力動画像に対しウェーブレットパケット分解及び縮退処理を用いて静止領域（更には動領域）のエッジのぼやけを抑圧しながら雑音除去及び帯域制限を行う画像処理装置及びプログラムを提供する。【解決手段】本発明の画像処理装置１は、入力動画像に対し時空間周波数分解する時空間ウェーブレットパケット分解部１１と、所定の時間低周波帯域を制限帯域内の静止領域として静止領域エッジパワーを検出する静止領域エッジパワー検出部１２と、雑音パワーを検出する雑音パワー検出部１４と、これらを基に当該時間低周波帯域用の縮退関数を設定する第１制限帯域用縮退関数設定部１５及び通過帯域用の縮退関数を設定する通過帯域用縮退関数設定部１７と、周波数分解係数に対し各縮退関数を適用し縮退処理を実行する時空間ウェーブレット縮退部１８と、時空間ウェーブレット再構成処理を施す再構成部１９と、を備える。【選択図】図１

Description

本発明は、動画像を入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて画像処理を行う画像処理装置及びプログラムに関する。

従来、動画像を入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて雑音除去を行う技法として、入力画像をウェーブレット変換した周波数分解係数のうち、所定の雑音レベル以下の成分をコアリングすることによりノイズ除去を行うことが知られている（例えば、非特許文献１参照）。

また、ウェーブレット縮退を用いた画像処理装置として、高周波ノイズ画像と低周波ノイズ画像を抽出し、これらの画像が輝度成分の画像であるか色差成分の画像であるかに応じて分けて統合することで雑音レベルの低減を行う技法が知られている（例えば、特許文献１参照）。

特許第５３５２９４２号明細書

David L. Donoho, Iain M. Johnstone, Gerard Kerkyacharian and Dominique Picard: "Wavelet Shrinkage: Asymptopia?", Journal of the Royal Statistical Society. Series B (Methodological), Vol. 57, No. 2, pp. 301-369, 1995.

上述したように、従来から、非特許文献１や特許文献１などのように、画像に対しウェーブレット縮退を用いて雑音除去する技法が知られている。また、ウェーブレット縮退を用いて帯域制限処理を行う技法もある。

一方で、近年、例えば次世代地上波放送として、ハイビジョンを超える超高精細動画像として４Ｋや８ＫのＳＨＶ（Super Hi-Vision）などの大容量コンテンツサービスを伝送することが検討されている。このような超高精細動画像の伝送にあたって高圧縮符号化を行う際に、空間高周波数帯域成分のパワーが大きいなどの理由で高圧縮符号化が困難な動画像が入力されうることが想定される。この場合、伝送容量としてその入力動画像が持つ膨大な情報量に対する符号化ビットレートが十分ではない事態が生じうるため、圧縮又は伝送に係る符号化に起因する画像破綻が発生する場合がある。

そこで、超高精細動画像に対する高圧縮符号化処理の前段で、非特許文献１や特許文献１などの従来の雑音除去処理や帯域制限処理を行うことで、入力動画像が持つ情報量を削減することができる。

しかし、従来技術を用いて雑音除去処理と帯域制限処理を行う場合に、様々な線形フィルタ処理や非線形フバルタ処理が存在するが、従来技術では、雑音成分が十分に除去できない、静止領域（更には動領域）のエッジがぼやけやすいという問題がある。

このため、超高精細動画像等の動画像に対し圧縮符号化処理の前段でウェーブレット縮退を用いて情報量を削減するにあたり、静止領域（更には動領域）のエッジのぼやけを抑圧しながら雑音除去を行うフィルタ処理（ウェーブレット縮退に用いる縮退関数）が必要であり、これにより圧縮符号化が困難な動画像で発生する画像破綻を抑制し、動画像の符号化品質を向上させる技法が望まれる。

従って、本発明の目的は、圧縮符号化処理の前処理として動画を入力し、この入力動画像に対しウェーブレットパケット分解に基づくウェーブレット縮退を用いて静止領域（更には動領域）のエッジのぼやけを抑圧しながら雑音除去及び帯域制限を行う画像処理を施し、動画像の圧縮符号化処理に係る画質を向上させる画像処理装置及びプログラムを提供することにある。

本発明による一態様の画像処理装置は、動画像の圧縮符号化処理の前段で、入力動画像の静止領域（更には動領域）の信号パワーと雑音パワーに基づいて、静止領域（更には動領域）のエッジ成分のぼやけを抑制しつつ雑音除去及び帯域制限を行う縮退関数を個別に、且つ適応的に設定して、時空間ウェーブレットパケット分解に基づく時空間ウェーブレット縮退処理を行うように構成する。

即ち、本発明の画像処理装置は、動画像を入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて画像処理を行う画像処理装置であって、入力動画像に対しｎ（ｎ≧１）階の時空間ウェーブレットパケット分解処理を施し、時空間の各周波数帯域群の周波数分解係数を抽出する時空間ウェーブレットパケット分解部と、前記時空間の各周波数帯域群の周波数分解係数における所定の空間高周波数帯域に属する時間方向の周波数帯域群のうち、予め定めた時間低周波帯域は制限帯域内の静止領域とし、当該予め定めた時間低周波帯域において水平高周波数帯域、垂直高周波数帯域、及び対角高周波数帯域毎の周波数分解係数を抽出し、該周波数帯域毎の周波数分解係数のうちの所定の閾値以上の周波数分解係数を静止領域のエッジ成分とみなし、該所定の閾値以上の周波数分解係数の平均値又は標準偏差、或いは中央値を前記制限帯域における静止領域エッジパワーとして、当該抽出した時空間の周波数帯域群毎に検出する静止領域エッジパワー検出部と、前記時空間の各周波数帯域群のうち、時空間対角最高周波数帯域の周波数分解係数を抽出し、当該時空間対角最高周波数帯域内の全周波数分解係数のパワーにおける予め定めた割合以上となるパワーを雑音成分とみなし、当該雑音成分を雑音パワーとして検出する雑音パワー検出部と、前記制限帯域内の静止領域とした当該予め定めた時間低周波帯域に該当する各周波数帯域群の静止領域エッジパワーと、前記雑音パワーと、当該時間低周波帯域用に帯域制限量を指定する制限量パラメータとに基づいて、前記制限帯域内の時間低周波帯域用の縮退関数を設定する第１制限帯域用縮退関数設定部と、前記制限帯域以外となる周波数帯域群を通過帯域とし、前記雑音パワーを基に、前記通過帯域用の縮退関数を設定する通過帯域用縮退関数設定部と、前記時空間の各周波数帯域群の周波数分解係数に対し、前記制限帯域内の時間低周波帯域用の縮退関数、及び前記通過帯域用の縮退関数を適用して時空間ウェーブレット縮退処理を実行することにより、当該時空間ウェーブレットパケット分解処理に基づく時空間ウェーブレット縮退処理を行う時空間ウェーブレット縮退部と、前記時空間ウェーブレット縮退処理によって帯域制限及び雑音除去された各周波数帯域群の周波数分解係数を用いて時空間ウェーブレット再構成処理を施すことにより帯域制限及び雑音除去された出力動画像を生成する再構成部と、を備えることを特徴とする。

また、本発明の画像処理装置において、前記時空間の各周波数帯域群の周波数分解係数における所定の空間高周波数帯域に属する時間方向の周波数帯域群のうち、予め定めた時間高周波帯域は制限帯域内の動領域とし、前記制限帯域内の動領域とし、当該予め定めた時間高周波帯域において水平高周波数帯域、垂直高周波数帯域、及び対角高周波数帯域毎の周波数分解係数を抽出し、該抽出した周波数帯域毎の周波数分解係数のうちの所定の閾値以上の周波数分解係数を動領域のエッジ成分とみなし、該所定の閾値以上の周波数分解係数の平均値又は標準偏差、或いは中央値を制限帯域における動領域エッジパワーとして、当該抽出した時空間の周波数帯域群毎に検出する動領域エッジパワー検出部と、前記制限帯域内の動領域とした当該時間高周波帯域に該当する各周波数帯域群の動領域エッジパワーと、前記雑音パワーと、当該時間高周波帯域用に帯域制限量を指定する制限量パラメータとに基づいて、前記制限帯域内の時間高周波帯域用の縮退関数を設定する第２制限帯域用縮退関数設定部と、を更に備え、前記時空間ウェーブレット縮退部は、前記時空間の各周波数帯域群の周波数分解係数に対し、前記制限帯域内の時間低周波帯域用の縮退関数、前記制限帯域内の時間高周波帯域用の縮退関数、及び前記通過帯域用の縮退関数を適用して時空間ウェーブレット縮退処理を実行することにより、当該時空間ウェーブレットパケット分解処理に基づく時空間ウェーブレット縮退処理を行うことを特徴とする。

また、本発明の画像処理装置において、前記時間低周波帯域用に帯域制限量を指定する制限量パラメータ、及び前記時間高周波帯域用に帯域制限量を指定する制限量パラメータの各々は、全体的に帯域制限するための第１の帯域制限量と、ぼやけを抑制しつつ帯域を制限するための第２の帯域制限量とを含み、前記時間高周波帯域用に帯域制限量を指定する制限量パラメータにおける第１の帯域制限量及び第２の帯域制限量は、前記時間低周波帯域用に帯域制限量を指定する制限量パラメータにおける第１の帯域制限量及び第２の帯域制限量よりも帯域制限する抑圧量を大きくするよう構成されていることを特徴とする。

更に、本発明のプログラムは、コンピューターを、本発明の画像処理装置として機能させるためのプログラムとして構成する。

本発明によれば、動画像の圧縮符号化処理の前処理として本発明に係る画像処理装置を利用することで、入力動画像の静止領域（更には動領域）のエッジ成分のぼやけを抑制しつつ雑音成分を抑制し帯域制限することができ、動画像符号化品質を向上することが可能となる。

本発明による一実施形態の画像処理装置の概略構成を示すブロック図である。（ａ）は２階空間ウェーブレットパケット分解によって得られる周波数帯域を示す図であり、（ｂ）は本発明による一実施形態の画像処理装置における一実施例の画像処理に係る２階時空間ウェーブレットパケット分解によって得られる周波数帯域を示す図である。本発明による一実施形態の画像処理装置における一実施例の画像処理に係る通過帯域（非制限帯域）用、及び制限帯域用の周波数帯域の説明図である。本発明による一実施形態の画像処理装置における一実施例の画像処理を示すフローチャートである。本発明による一実施形態の画像処理装置における雑音パワー検出対象領域を示す図である。本発明による一実施形態の画像処理装置における静止領域エッジパワー検出対象領域を示す図である。本発明による一実施形態の画像処理装置における動領域エッジパワー検出対象領域を示す図である。（ａ），（ｂ），（ｃ）は、それぞれ本発明による一実施形態の画像処理装置における一実施例の画像処理に係る通過帯域（非制限帯域）用、制限帯域内の時間低周波帯域用、及び制限帯域内の時間高周波帯域用の縮退関数の説明図である。（ａ），（ｂ）は、それぞれ本発明による一実施形態の画像処理装置における変形例の画像処理に係る通過帯域（非制限帯域）用、及び制限帯域用の縮退関数の説明図である。本発明による一実施形態の画像処理装置における一実施例の画像処理に係る３階時空間ウェーブレットパケット分解によって得られる周波数帯域を示す図である。

以下、本発明による一実施形態の画像処理装置１について、図面を参照して詳細に説明する。

〔装置構成〕
図１は本発明による一実施形態の画像処理装置１の概略構成を示すブロック図である。本実施形態の画像処理装置１は、圧縮符号化処理の前処理として、動画像を入力し時空間ウェーブレットパケット分解に基づく時空間ウェーブレット縮退を用いて画像処理を行う装置として構成され、時空間ウェーブレットパケット分解部１１、静止領域エッジパワー検出部１２、動領域エッジパワー検出部１３、雑音パワー検出部１４、第１制限帯域用縮退関数設定部１５、第２制限帯域用縮退関数設定部１６、通過帯域用縮退関数設定部１７、時空間ウェーブレット縮退部１８、及び再構成部１９を備える。尚、図１に示す例において、画像処理装置１に対しウェーブレットパケット分解階数（ｎ階）を外部指定可能とし、画像処理装置１内の必要とされる各構成要素に対し個別に外部指定するように図示しているが、パラメータとして伝送しながら処理する構成とすることも可能である。

時空間ウェーブレットパケット分解部１１は、動画像を入力し、設定されたウェーブレットパケット分解階数（ｎ階）に従って（ｎ≧１）、入力動画像に対しｎ階時空間ウェーブレットパケット分解処理を施し、これにより抽出される時空間（空間方向及び時間方向）の各周波数帯域群の周波数分解係数を時空間ウェーブレット縮退部１８に出力する。尚、当該ｎ階時空間ウェーブレットパケット分解によって得られる時空間の各周波数帯域群の周波数分解係数における所定の空間高周波数帯域（空間制限帯域）に属する時間方向の周波数帯域群のうち予め定めた時間低周波帯域は制限帯域内の静止領域として静止領域エッジパワー検出部１２にて抽出される。また、当該ｎ階時空間ウェーブレットパケット分解によって得られる時空間の各周波数帯域群の周波数分解係数における所定の空間高周波数帯域（空間制限帯域）に属する時間方向の周波数帯域群のうち予め定めた時間高周波帯域は制限帯域内の動領域として動領域エッジパワー検出部１３にて抽出される。更に、当該ｎ階時空間ウェーブレットパケット分解によって得られる時空間の各周波数帯域のうち時空間対角最高周波数帯域内の周波数分解係数は雑音パワー検出部１４にて抽出される。

図２を参照して、より具体的に時空間ウェーブレットパケット分解について説明する。図２（ａ）は２階空間ウェーブレットパケット分解によって得られる周波数帯域を示す図であり、図２（ｂ）は本発明による一実施形態の画像処理装置１における一実施例の画像処理に係る２階時空間ウェーブレットパケット分解によって得られる周波数帯域を示す図である。図２は放送カメラで撮像された所謂８Ｋ／６０Ｐの映像の画像サイズ（水平解像度８Ｋ（７６８０画素）×垂直解像度４Ｋ（４３２０画素））の動画像を処理対象とした例である。まず、図２（ａ）に示すように、ｎ＝２とした空間方向のみを処理対象とする２階空間ウェーブレットパケット分解では、入力動画像における１枚のフレーム画像に対しそれぞれ水平・垂直方向に２階空間ウェーブレットパケット分解を行う。この場合、水平周波数×垂直周波数で表される図２（ａ）に図示するような、２階の空間低周波数帯域ＬＬ^ｍ、水平高周波数帯域ＬＨ^ｍ、垂直高周波数帯域ＨＬ^ｍ、及び対角（水平・垂直）高周波数帯域ＨＨ^ｍ（ｍは各周波数帯域群の群番号）に分解される。

一方、図２（ｂ）に示すように、ｎ＝２とした空間方向及び時間方向を処理対象とする２階時空間ウェーブレットパケット分解では、入力動画像における１枚のフレーム画像に対しそれぞれ水平・垂直方向に２階空間ウェーブレットパケット分解を行った上で、その２階空間ウェーブレットパケット分解後の周波数帯域群を基準に、時間ウェーブレットフィルタを用いて当該１枚のフレーム画像に連続する直近の複数枚（例えば４枚）のフレーム画像を参照して時間方向に２階ウェーブレットパケット分解を行う。これにより、水平周波数×垂直周波数で表される２階の空間低周波数帯域ＬＬ^ｍ、水平高周波数帯域ＬＨ^ｍ、垂直高周波数帯域ＨＬ^ｍ、及び対角（水平・垂直）高周波数帯域ＨＨ^ｍ（ｍは各周波数帯域群の群番号）について、時間方向にも分解した周波数帯域が得られる。尚、図２（ｂ）では、説明の便宜上、時間方向周波数１５Ｐ毎に区切って図示している。

図３は、本発明による一実施形態の画像処理装置１における一実施例の画像処理に係る通過帯域（非制限帯域）用、及び制限帯域用の周波数帯域の説明図である。図３に示すように、本実施形態では、時間方向周波数０Ｐから６０Ｐまでの時間方向で所定の空間低周波数帯域の領域Ｃ^１に属する周波数帯域群は雑音成分のみの除去を対象とする通過帯域（時空間非制限帯域）とし、時間方向周波数０Ｐから６０Ｐまでの時間方向で空間高周波数帯域の領域Ｃ^２に属する周波数帯域群は制限帯域（時空間制限帯域）ＴＣ^２として予め定めている。

即ち、図３に示す例において、例えば８Ｋ／６０Ｐの入力動画像を４Ｋ／３０Ｐの出力動画像に縮退することを想定し、制限帯域（時空間制限帯域）ＴＣ^２と、ＴＣ^２以外の帯域である通過帯域（時空間非制限帯域）と、を予め定めている。つまり、図３は、８Ｋ／６０Ｐの入力動画像を水平方向に４Ｋ、垂直方向に２Ｋ、時間方向に３０Ｐに帯域制限をする例としている。ｎ階時空間ウェーブレットパケット分解して得られる周波数帯域群について、空間方向でどの周波数帯域群を通過帯域又は制限帯域とするか、更には、時間方向でどの周波数帯域群を時間低周波帯域又は時間高周波帯域とするかは、ｎ階時空間ウェーブレットパケット分解におけるｎの値で一意に定まるように予め定めておくものとする。尚、ｎ階時空間ウェーブレットハケット分解における各階間には、パーセバルの法則が成り立つものとなっている。

図１に示すように、静止領域エッジパワー検出部１２は、ウェーブレットパケット分解階数（ｎ階）に従って、時空間ウェーブレットパケット分解部１１からの出力値である時空間の各周波数帯域群のうち静止領域とした予め定めた時間低周波帯域（例えば、制限帯域内の時間周波数０Ｐ〜３０Ｐ間）で、水平高周波数帯域ＬＨ^ｍ、垂直高周波数帯域ＨＬ^ｍ、及び対角高周波数帯域ＨＨ^ｍ毎の周波数分解係数を抽出し、この抽出した周波数帯域毎の周波数分解係数のうち所定の閾値Ｔ_Ｓ以上の周波数分解係数を静止領域のエッジ成分とみなす。そして、静止領域エッジパワー検出部１２は、当該所定の閾値Ｔ_Ｓ以上の周波数分解係数の平均値又は標準偏差、或いは中央値を制限帯域における静止領域エッジパワーＰ_Ｓとして、当該抽出した時空間の周波数帯域群毎に検出し第１制限帯域用縮退関数設定部１５に出力する。

動領域エッジパワー検出部１３は、ウェーブレットパケット分解階数（ｎ階）に従って、時空間ウェーブレットパケット分解部１１からの出力値である時空間の各周波数帯域群のうち動領域とした予め定めた時間高周波帯域（例えば、制限帯域内の時間周波数３０Ｐ〜６０Ｐ間）で、水平高周波数帯域ＬＨ^ｍ、垂直高周波数帯域ＨＬ^ｍ、及び対角高周波数帯域ＨＨ^ｍ毎の周波数分解係数を抽出し、この抽出した周波数帯域毎の周波数分解係数のうち所定の閾値Ｔ_Ｍ以上の周波数分解係数を動領域のエッジ成分とみなす。そして、動領域エッジパワー検出部１３は、当該所定の閾値Ｔ_Ｍ以上の周波数分解係数の平均値又は標準偏差、或いは中央値を制限帯域における動領域エッジパワーＰ_Ｍとして、当該抽出した時空間の周波数帯域群毎に検出し第２制限帯域用縮退関数設定部１６に出力する。

雑音パワー検出部１４は、ウェーブレットパケット分解階数（ｎ階）に従って、時空間ウェーブレットパケット分解部１１からの出力値である時空間の各周波数帯域群のうち時空間対角最高周波数帯域（本例ではｎ＝２としており、空間ＨＨ^４に属する時間周波数４５Ｐ〜６０Ｐ間）の成分（周波数分解係数）を抽出する。そして、雑音パワー検出部１４は、ｎ階時空間ウェーブレットパケット分解して得られる当該時空間対角最高周波数帯域内の全成分（全周波数分解係数）のパワーにおける予め定めた割合以上となるパワー（上位α％番目のパワー）を雑音成分とみなし、雑音パワーＰ_Ｎとして検出し第１制限帯域用縮退関数設定部１５、第２制限帯域用縮退関数設定部１６、及び通過帯域用縮退関数設定部１７に出力する。

第１制限帯域用縮退関数設定部１５は、静止領域エッジパワー検出部１２から得られる制限帯域における当該時間低周波帯域に該当する各周波数帯域群の静止領域エッジパワーＰ_Ｓと、雑音パワー検出部１４から得られる雑音パワーＰ_Ｎと、帯域制限量を指定する制限量パラメータとを基に、時空間ウェーブレット縮退部１８で用いる制限帯域内の時間低周波帯域用の縮退関数Ｓ^Ｓを設定する。第１制限帯域用縮退関数設定部１５で用いる制限量パラメータには、制限帯域における当該時間低周波帯域（静止領域）内で全体的に帯域制限するための第１の帯域制限量（例えば６［ｄＢ］）と、静止領域に対するぼやけを抑制しつつ帯域を制限するため静止領域エッジパワーＰ_Ｓを基準とした第２の帯域制限量（例えば２０［ｄＢ］）とが含まれる。

第２制限帯域用縮退関数設定部１６は、動領域エッジパワー検出部１３から得られる制限帯域における当該時間高周波帯域に該当する各周波数帯域群の動領域エッジパワーＰ_Ｍと、雑音パワー検出部１４から得られる雑音パワーＰ_Ｎと、帯域制限量を指定する制限量パラメータとを基に、時空間ウェーブレット縮退部１８で用いる制限帯域内の時間高周波帯域用の縮退関数Ｓ_Ｍを設定する。第２制限帯域用縮退関数設定部１６で用いる制限量パラメータには、制限帯域における当該時間高周波帯域（動領域）内で全体的に帯域制限するための第１の帯域制限量（例えば１２［ｄＢ］）と、動領域に対するぼやけを抑制しつつ帯域を制限するため動領域エッジパワーＰ_Ｍを基準とした第２の帯域制限量（例えば４０［ｄＢ］）とが含まれる。

ここで、第２制限帯域用縮退関数設定部１６で用いる第１の帯域制限量及び第２の帯域制限量は、それぞれ第１制限帯域用縮退関数設定部１５で用いる第１の帯域制限量及び第２の帯域制限量と同じ値とすることもできる。ただし、第２制限帯域用縮退関数設定部１６で用いる第１の帯域制限量及び第２の帯域制限量は、それぞれ第１制限帯域用縮退関数設定部１５で用いる第１の帯域制限量及び第２の帯域制限量よりも帯域制限する抑圧量を大きくすることが好適であり、これにより後処理として予定される動画像の圧縮符号化処理に係る画質を向上させつつ、画像破綻が発生しないように帯域制限することができる。

一方、通過帯域用縮退関数設定部１７は、雑音パワー検出部１４から得られる雑音パワーＰ_Ｎを基に、時空間ウェーブレット縮退部１８で用いる通過帯域用の縮退関数Ｓ^Ｔを設定する。

時空間ウェーブレット縮退部１８は、時空間ウェーブレットパケット分解部１１から入力された各周波数帯域群の周波数分解係数に対し、第１制限帯域用縮退関数設定部１５、第２制限帯域用縮退関数設定部１６、及び通過帯域用縮退関数設定部１７により設定された縮退関数を適用して時空間ウェーブレット縮退処理を実行する。これにより、時空間ウェーブレット縮退部１８は、静止領域及び動領域のエッジ成分のぼやけを抑制しつつ雑音除去及び帯域制限を行う縮退関数を個別に、且つ適応的に設定して、時空間ウェーブレットパケット分解に基づく時空間ウェーブレット縮退処理を行い、帯域制限及び雑音除去後の各周波数帯域内の周波数分解係数を再構成部１９に出力する。

再構成部１９は、ウェーブレットパケット分解階数（ｎ階）に従って、時空間ウェーブレット縮退処理によって帯域制限及び雑音除去された各周波数帯域群の周波数分解係数を用いて時空間ウェーブレット再構成処理を施すことにより帯域制限及び雑音除去された出力動画像を生成し外部に出力する。

〔装置動作〕
以下、より具体的に、図１乃至図３に示す本実施形態の画像処理装置１の動作として、図５乃至図７を参照しながら、図４を基に一実施例の画像処理について説明する。

図４は、本発明による一実施形態の画像処理装置１における一実施例の画像処理を示すフローチャートである。また、図５は本実施形態の画像処理装置１における雑音パワー検出対象領域ＴＣ^２Ｎを示す図であり、図６は本実施形態の画像処理装置１における静止領域エッジパワー検出対象領域ＴＣ^２Ｓを示す図であり、図７は本実施形態の画像処理装置１における動領域エッジパワー検出対象領域ＴＣ^２Ｍを示す図である。

まず、画像処理装置１は、時空間ウェーブレットパケット分解部１１により、動画像を入力し、設定されたウェーブレットパケット分解階数（ｎ階）に従って（ｎ≧１）、入力動画像に対しｎ階時空間ウェーブレットパケット分解処理を施し、これにより空間方向及び時間方向の各周波数帯域群の周波数分解係数を得る（ステップＳ１）。

続いて、画像処理装置１は、雑音パワー検出部１４により、ウェーブレットパケット分解階数（ｎ階）に従って、時空間ウェーブレットパケット分解部１１からの出力値である時空間の各周波数帯域群のうち時空間対角最高周波数帯域（本例ではｎ＝２としており、図５に示すように空間ＨＨ^４に属する時間周波数４５Ｐ〜６０Ｐ間である雑音パワー検出対象領域ＴＣ^２Ｎ）の成分（周波数分解係数）を抽出し、当該時空間対角最高周波数帯域内の全成分（全周波数分解係数）のパワーにおける予め定めた上位α％番目のパワーを雑音成分とみなし、雑音パワーＰ_Ｎとして検出する（ステップＳ２）。

一般に、信号成分のパワーは低周波数帯域に偏在する。一方、熱雑音などの雑音成分のパワーは全周波数帯域群でほぼ一定である。このため、ｎ階時空間ウェーブレットパケット分解による時空間対角最高周波数帯域内の成分はほぼ雑音成分となる。そこで、雑音パワー検出部１４は、時空間対角最高周波数帯域（図５に示す雑音パワー検出対象領域ＴＣ^２Ｎ）の全成分（全周波数分解係数）のパワーをソートして、例えばα＝９８とすると、その上位９８％番目の値を雑音パワーＰ_Ｎとする。

続いて、画像処理装置１は、静止領域エッジパワー検出部１２により、ウェーブレットパケット分解階数（ｎ階）に従って、時空間ウェーブレットパケット分解部１１からの出力値である時空間の各周波数帯域群のうち予め定めた時間低周波帯域（例えば、図６に示すように制限帯域内の時間周波数０Ｐ〜３０Ｐ間である静止領域エッジパワー検出対象領域ＴＣ^２Ｓ）で、その静止領域エッジパワー検出対象領域ＴＣ^２Ｓ内の水平高周波数帯域ＬＨ^ｍ、垂直高周波数帯域ＨＬ^ｍ、及び対角高周波数帯域ＨＨ^ｍの周波数分解係数を抽出し、この抽出した周波数帯域毎の周波数分解係数のうち所定の閾値Ｔ_Ｓ以上の周波数分解係数を静止領域のエッジ成分とみなす。そして、静止領域エッジパワー検出部１２は、当該所定の閾値Ｔ_Ｓ以上の周波数分解係数の平均値又は標準偏差、或いは中央値を制限帯域における静止領域エッジパワーＰ_Ｓとして、当該抽出した時空間の周波数帯域群毎に検出する（ステップＳ３）。

ここで、静止領域エッジパワーＰ_Ｓは、予め定めた時間低周波帯域内の空間方向の各周波数帯域ＬＨ^ｍ，ＨＬ^ｍ，ＨＨ^ｍの周波数分解係数（信号成分）のうち閾値Ｔ_Ｓ以上の成分が、画像として著しい動きはないが水平、垂直、対角方向に連続なエッジ成分である可能性が高いことを利用して求めるものとする。例えば、図６に示す例を参照して説明するに、静止領域エッジパワー検出部１２は、静止領域エッジパワー検出対象領域ＴＣ^２Ｓである２階の時間低周波帯域内の空間方向の各周波数帯域ＬＨ^ｍ，ＨＬ^ｍ，ＨＨ^ｍ（ｍ＝２〜４）毎に、閾値Ｔ_Ｓ以上の周波数分解係数の平均値（或いは標準偏差又は中央値でもよい。）を静止領域エッジパワーＰ_Ｓとしてそれぞれ求める（ただし、閾値Ｔ_Ｓは、各周波数帯域ＬＨ^ｍ，ＨＬ^ｍ，ＨＨ^ｍ（ｍ＝２〜４）で異なる値としてもよい。）。

続いて、画像処理装置１は、動領域エッジパワー検出部１３により、ウェーブレットパケット分解階数（ｎ階）に従って、時空間ウェーブレットパケット分解部１１からの出力値である時空間の各周波数帯域群のうち予め定めた時間高周波帯域（例えば、図７に示すように制限帯域内の時間周波数３０Ｐ〜６０Ｐ間である動領域エッジパワー検出対象領域ＴＣ^２Ｍ）で、その動領域エッジパワー検出対象領域ＴＣ^２Ｍ内の水平高周波数帯域ＬＨ^ｍ、垂直高周波数帯域ＨＬ^ｍ、及び対角高周波数帯域ＨＨ^ｍの周波数分解係数を抽出し、この抽出した周波数帯域毎の周波数分解係数のうち所定の閾値Ｔ_Ｍ以上の周波数分解係数を動領域のエッジ成分とみなす。そして、動領域エッジパワー検出部１３は、当該所定の閾値Ｔ_Ｍ以上の周波数分解係数の平均値又は標準偏差、或いは中央値を制限帯域における動領域エッジパワーＰ_Ｍとして、当該抽出した時空間の周波数帯域群毎に検出する（ステップＳ４）。

ここで、動領域エッジパワーＰ_Ｍは、予め定めた時間高周波帯域内の空間方向の各周波数帯域ＬＨ^ｍ，ＨＬ^ｍ，ＨＨ^ｍの周波数分解係数（信号成分）のうち閾値Ｔ_Ｍ以上の成分が、画像として著しい動きがあり水平、垂直、対角方向に連続なエッジ成分である可能性が高いことを利用して求めるものとする。例えば、図７に示す例を参照して説明するに、静止領域エッジパワー検出部１２は、動領域エッジパワー検出対象領域ＴＣ^２Ｍである２階の時間高周波帯域内の空間方向の各周波数帯域ＬＨ^ｍ，ＨＬ^ｍ，ＨＨ^ｍ（ｍ＝２〜４）毎に、閾値Ｔ_Ｍ以上の周波数分解係数の平均値（或いは標準偏差又は中央値でもよい。）を動領域エッジパワーＰ_Ｍとしてそれぞれ求める（ただし、閾値Ｔ_Ｍは、各周波数帯域ＬＨ^ｍ，ＨＬ^ｍ，ＨＨ^ｍ（ｍ＝２〜４）で異なる値としてもよい。）。

続いて、画像処理装置１は、第１制限帯域用縮退関数設定部１５、第２制限帯域用縮退関数設定部１６、及び通過帯域用縮退関数設定部１７により、静止領域エッジパワーＰ_Ｓ、動領域エッジパワーＰ_Ｍ及び雑音パワーＰ_Ｎを基に、制限帯域及び通過帯域毎に縮退関数を設定する（ステップＳ５）。

より具体的には、第１制限帯域用縮退関数設定部１５は、静止領域エッジパワー検出部１２から得られる制限帯域における当該時間低周波帯域に該当する各周波数帯域群の静止領域エッジパワーＰ_Ｓと、雑音パワー検出部１４から得られる雑音パワーＰ_Ｎと、帯域制限量を指定する制限量パラメータとを基に、時空間ウェーブレット縮退部１８で用いる制限帯域内の時間低周波帯域用の縮退関数Ｓ^Ｓを設定する。

また、第２制限帯域用縮退関数設定部１６は、動領域エッジパワー検出部１３から得られる制限帯域における当該時間高周波帯域に該当する各周波数帯域群の動領域エッジパワーＰ_Ｍと、雑音パワー検出部１４から得られる雑音パワーＰ_Ｎと、帯域制限量を指定する制限量パラメータとを基に、時空間ウェーブレット縮退部１８で用いる制限帯域内の時間高周波帯域用の縮退関数Ｓ^Ｍを設定する。

更に、通過帯域用縮退関数設定部１７は、雑音パワー検出部１４から得られる雑音パワーＰ_Ｎを基に、時空間ウェーブレット縮退部１８で用いる通過帯域用の縮退関数Ｓ^Ｔを設定する。

例えば、図８に、縮退関数Ｓ^Ｔ，Ｓ^Ｓ，Ｓ^Ｍの一例を示している。図８（ａ），（ｂ），（ｃ）は、それぞれ本実施形態の画像処理装置１における一実施例の画像処理に係る通過帯域（非制限帯域）用、制限帯域内の時間低周波帯域用、及び制限帯域内の時間高周波帯域用の縮退関数Ｓ^Ｔ，Ｓ^Ｓ，Ｓ^Ｍの説明図である。尚、図８において、説明の便宜上、縮退関数Ｓ^Ｔ，Ｓ^Ｓ，Ｓ^Ｍの傾きは分かりやすいように図示しており、正確に図示するものではない点に留意する。

図８（ａ）に示すように、通過帯域用縮退関数設定部１７は、入力ｘに対する出力ｙで示される通過帯域（非制限帯域）用の縮退関数Ｓ^Ｔについて、帯域制限は行わないｙ＝ｘ上で、雑音成分を抑圧する雑音パワーＰ_Ｎを基に定めることができ、時空間ウェーブレット縮退部１８に対して当該縮退関数Ｓ^Ｔを設定する。

また、図８（ｂ）に示すように、第１制限帯域用縮退関数設定部１５は、制限帯域における当該時間低周波帯域（静止領域）に対する制限量パラメータとして、制限帯域における当該時間低周波帯域（静止領域）内で全体的に帯域制限するための第１の帯域制限量は６［ｄＢ］とし、静止領域に対するぼやけを抑制しつつ帯域を制限するため静止領域エッジパワーＰ_Ｓを基準とした第２の帯域制限量は２０［ｄＢ］とする。この場合、第１制限帯域用縮退関数設定部１５は、入力ｘに対する出力ｙで示される縮退関数Ｓ^Ｓについて、第１の帯域制限量６［ｄＢ］に対応するｙ＝０．５ｘと、第２の帯域制限量２０［ｄＢ］に対応するｙ＝０．１ｘと、静止領域エッジパワーＰ_Ｓと、雑音パワーＰ_Ｎとを基に定めることができ、時空間ウェーブレット縮退部１８に対して当該縮退関数Ｓ^Ｓを設定する。尚、図８（ｂ）に示す傾き係数ｍ_０は、２０ｄＢとする第２の帯域制限量で自ずと定まる。そしてｍ_０をゼロとしないことから静止領域におけるぼやけを抑制することができる。

また、図８（ｃ）に示すように、第２制限帯域用縮退関数設定部１６は、制限帯域における当該時間高周波帯域（動領域）に対する制限量パラメータとして、制限帯域における当該時間高周波帯域（動領域）内で全体的に帯域制限するための第１の帯域制限量は１２［ｄＢ］とし、静止領域に対するぼやけを抑制しつつ帯域を制限するため動領域エッジパワーＰ_Ｍを基準とした第２の帯域制限量は４０［ｄＢ］とする。この場合、第２制限帯域用縮退関数設定部１６は、入力ｘに対する出力ｙで示される縮退関数Ｓ^Ｍについて、第１の帯域制限量１２［ｄＢ］に対応するｙ＝０．２５ｘと、第２の帯域制限量４０［ｄＢ］に対応するｙ＝０．０１ｘと、動領域エッジパワーＰ_Ｍと、雑音パワーＰ_Ｎとを基に定めることができ、時空間ウェーブレット縮退部１８に対して当該縮退関数Ｓ^Ｍを設定する。尚、図８（ｃ）に示す傾き係数ｍ_１は、４０ｄＢとする第２の帯域制限量で自ずと定まる。そしてｍ_１をゼロとしないことから動領域におけるぼやけを抑制することができる。

続いて、画像処理装置１は、時空間ウェーブレット縮退部１８により、時空間ウェーブレットパケット分解部１１から入力された各周波数帯域群の周波数分解係数に対し、第１制限帯域用縮退関数設定部１５、第２制限帯域用縮退関数設定部１６、及び通過帯域用縮退関数設定部１７により設定された縮退関数を適用して時空間ウェーブレット縮退処理を実行することにより静止領域及び動領域のエッジのぼやけを抑圧しながら雑音除去及び帯域制限を行う（ステップＳ６）。

最終的に、画像処理装置１は、再構成部１９により、時空間ウェーブレット縮退処理によって帯域制限及び雑音除去された各周波数帯域群の周波数分解係数を用いて時空間ウェーブレット再構成処理を施すことにより帯域制限及び雑音除去された出力動画像を生成し外部に出力する（ステップＳ７）。

以上のように、本実施形態の画像処理装置１は、動画像の圧縮符号化処理の前処理として利用することで、入力動画像の静止領域及び動領域のエッジ成分のぼやけを抑制しつつ雑音成分を抑制することができ、動画像符号化品質を向上することが可能となる。

（変形例）
尚、上述した実施形態の例では、入力動画像の静止領域及び動領域の双方のエッジ成分のぼやけを抑制する例を説明したが、画像処理装置１において、動領域エッジパワー検出部１３及び第２制限帯域用縮退関数設定部１６を省略し、入力動画像の静止領域のみエッジ成分のぼやけを抑制する構成としてもよい。この変形例の縮退関数を図９に例示している。図９（ａ），（ｂ）は、それぞれ本発明による一実施形態の画像処理装置１における変形例の画像処理に係る通過帯域（非制限帯域）用、及び制限帯域用の縮退関数Ｓ^Ｔ，Ｓ^Ｓの説明図である。図９（ａ），（ｂ）に示す縮退関数Ｓ^Ｔ，Ｓ^Ｓは、図８（ａ），（ｂ），（ｃ）にそれぞれ示す縮退関数Ｓ^Ｔ，Ｓ^Ｓと同様である。

図９に例示するように、画像処理装置１において、動領域エッジパワー検出部１３及び第２制限帯域用縮退関数設定部１６を省略した構成においては、図９に示す縮退関数Ｓ^Ｓを上述と同様に当該時間低周波帯域（静止領域）に対してのみ適用する。この場合でも、比較的多くの動画像においてエッジ成分のぼやけを抑制することができ、処理負担をより軽減させることができる。

（応用例）
上述した一実施例及び変形例では、ｎ＝２とした２階時空間ウェーブレットパケット分解で動作するときの例を主として説明したが、ｎ≧３以上とすることもできる。例えば、図１０に示すように、ｎ＝３とした３階時空間ウェーブレットパケット分解で動作させることもできる。図１０では放送カメラで撮像された所謂８Ｋ／６０Ｐの映像の画像サイズ（水平解像度８Ｋ（７６８０画素）×垂直解像度４Ｋ（４３２０画素））の動画像を処理対象とした例である。ｎ＝３とした空間方向及び時間方向を処理対象とする３階時空間ウェーブレットパケット分解では、入力動画像における１枚のフレーム画像に対しそれぞれ水平・垂直方向に３階空間ウェーブレットパケット分解を行った上で、その３階空間ウェーブレットパケット分解後の周波数帯域群を基準に、時間ウェーブレットフィルタを用いて当該１枚のフレーム画像に連続する直近の複数枚（例えば８枚）のフレーム画像を参照して時間方向に２階ウェーブレットパケット分解を行う。これにより、水平周波数×垂直周波数で表される３階の空間低周波数帯域ＬＬ^ｍ、水平高周波数帯域ＬＨ^ｍ、垂直高周波数帯域ＨＬ^ｍ、及び対角（水平・垂直）高周波数帯域ＨＨ^ｍ（ｍは各周波数帯域群の群番号）について、より細かく時間方向にも分解した周波数帯域が得られる。

図１０に示すように３階時空間ウェーブレットパケット分解を行う場合も、図３、図６及び図７に示した例と同様に、制限帯域（時空間制限帯域）ＴＣ^２とそれ以外の通過帯域を任意に定め、且つ時間低周波帯域と時間高周波帯域とを任意に定めることができる。上述したように、ｎ階時空間ウェーブレットパケット分解して得られる周波数帯域群について、空間方向でどの周波数帯域群を通過帯域又は制限帯域とするか、更には、時間方向でどの周波数帯域群を時間低周波帯域又は時間高周波帯域とするかは、ｎ階時空間ウェーブレットパケット分解におけるｎの値で一意に定まるように予め定めておくものとする。尚、図１０に示す例では、雑音パワー検出対象領域ＴＣ^２Ｎは時空間の各周波数帯域群のうち時空間対角最高周波数帯域とし、静止領域エッジパワー検出対象領域ＴＣ^２Ｓは時空間の各周波数帯域群のうち予め定めた時間低周波帯域（制限帯域内の時間周波数０Ｐ〜４５Ｐ間）とし、動領域エッジパワー検出対象領域ＴＣ^２Ｍは時空間の各周波数帯域群のうち予め定めた時間高周波帯域（制限帯域内の時間周波数４５Ｐ〜６０Ｐ間）としている。

以上の実施形態における画像処理装置１は、コンピューターにより構成することができ、画像処理装置１の各処理部を機能させるためのプログラムを好適に用いることができる。具体的には、画像処理装置１の各処理部を制御するための制御部をコンピューター内の中央演算処理装置（ＣＰＵ）で構成でき、且つ、各処理部を動作させるのに必要となるプログラムを適宜記憶する記憶部を少なくとも１つのメモリで構成させることができる。即ち、そのようなコンピューターに、ＣＰＵによって該プログラムを実行させることにより、画像処理装置１の各処理部の有する機能を実現させることができる。更に、画像処理装置１の各処理部の有する機能を実現させるためのプログラムを、前述の記憶部（メモリ）の所定の領域に格納させることができる。そのような記憶部は、装置内部のＲＡＭ又はＲＯＭなどで構成させることができ、或いは又、外部記憶装置（例えば、ハードディスク）で構成させることもできる。また、そのようなプログラムは、コンピューターで利用されるＯＳ上のソフトウェア（ＲＯＭ又は外部記憶装置に格納される）の一部で構成させることができる。更に、そのようなコンピューターに、画像処理装置１の各処理部として機能させるためのプログラムは、コンピューター読取り可能な記録媒体に記録することができる。また、画像処理装置１の各処理部をハードウェア又はソフトウェアの一部として構成させ、各々を組み合わせて実現させることもできる。

以上、特定の実施形態の例を挙げて本発明を説明したが、本発明は前述の実施形態の例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、上述した実施形態の例では、主として、２階又は３階時空間ウェーブレットパケット分解に基づく時空間ウェーブレット縮退を用いて雑音除去及び帯域制限を行う例を説明したが、４階以上の時空間ウェーブレットパケット分解に基づいた時空間ウェーブレット縮退を用いて雑音除去及び帯域制限を行う処理とすることもできるし、１階時空間ウェーブレットパケット分解に基づく時空間ウェーブレット縮退を用いて雑音除去及び帯域制限を行う処理としてもよい。例えば、ｎ＝１とした１階時空間ウェーブレットパケット分解により、空間方向における１階の空間低周波数帯域ＬＬ^１、水平高周波数帯域ＬＨ^１、垂直高周波数帯域ＨＬ^１、及び対角高周波数帯域ＨＨ^１について、時間方向にも１階で分解した周波数帯域が得られる。このとき、時間方向周波数０Ｐから６０Ｐまでの時間方向で所定の空間低周波数帯域の領域Ｃ^１（即ち、ＬＬ^１）に属する周波数帯域群は雑音成分のみの除去を対象とする通過帯域（時空間非制限帯域）とし、時間方向周波数０Ｐから６０Ｐまでの時間方向で空間高周波数帯域の領域Ｃ^２（即ち、ＬＨ^１，ＨＬ^１，ＨＨ^１）に属する周波数帯域群は制限帯域（時空間制限帯域）ＴＣ^２として定めることができる。従って、本発明に係る画像処理装置１は、上述した実施形態の例に限定されるものではなく、特許請求の範囲の記載によってのみ制限される。

本発明によれば、動画像の圧縮符号化処理の前処理として本発明に係る画像処理装置を利用することで、入力動画像の静止領域（更には動領域）のエッジ成分のぼやけを抑制しつつ雑音成分を抑制することができるので、特に、動画像符号化を要する用途に有用である。

１画像処理装置
１１時空間ウェーブレットパケット分解部
１２静止領域エッジパワー検出部
１３動領域エッジパワー検出部
１４雑音パワー検出部
１５第１制限帯域用縮退関数設定部
１６第２制限帯域用縮退関数設定部
１７通過帯域用縮退関数設定部
１８時空間ウェーブレット縮退部
１９再構成部

Claims

動画像を入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて画像処理を行う画像処理装置であって、
入力動画像に対しｎ（ｎ≧１）階の時空間ウェーブレットパケット分解処理を施し、時空間の各周波数帯域群の周波数分解係数を抽出する時空間ウェーブレットパケット分解部と、
前記時空間の各周波数帯域群の周波数分解係数における所定の空間高周波数帯域に属する時間方向の周波数帯域群のうち、予め定めた時間低周波帯域は制限帯域内の静止領域とし、当該予め定めた時間低周波帯域において水平高周波数帯域、垂直高周波数帯域、及び対角高周波数帯域毎の周波数分解係数を抽出し、該周波数帯域毎の周波数分解係数のうちの所定の閾値以上の周波数分解係数を静止領域のエッジ成分とみなし、該所定の閾値以上の周波数分解係数の平均値又は標準偏差、或いは中央値を前記制限帯域における静止領域エッジパワーとして、当該抽出した時空間の周波数帯域群毎に検出する静止領域エッジパワー検出部と、
前記時空間の各周波数帯域群のうち、時空間対角最高周波数帯域の周波数分解係数を抽出し、当該時空間対角最高周波数帯域内の全周波数分解係数のパワーにおける予め定めた割合以上となるパワーを雑音成分とみなし、当該雑音成分を雑音パワーとして検出する雑音パワー検出部と、
前記制限帯域内の静止領域とした当該予め定めた時間低周波帯域に該当する各周波数帯域群の静止領域エッジパワーと、前記雑音パワーと、当該時間低周波帯域用に帯域制限量を指定する制限量パラメータとに基づいて、前記制限帯域内の時間低周波帯域用の縮退関数を設定する第１制限帯域用縮退関数設定部と、
前記制限帯域以外となる周波数帯域群を通過帯域とし、前記雑音パワーを基に、前記通過帯域用の縮退関数を設定する通過帯域用縮退関数設定部と、
前記時空間の各周波数帯域群の周波数分解係数に対し、前記制限帯域内の時間低周波帯域用の縮退関数、及び前記通過帯域用の縮退関数を適用して時空間ウェーブレット縮退処理を実行することにより、当該時空間ウェーブレットパケット分解処理に基づく時空間ウェーブレット縮退処理を行う時空間ウェーブレット縮退部と、
前記時空間ウェーブレット縮退処理によって帯域制限及び雑音除去された各周波数帯域群の周波数分解係数を用いて時空間ウェーブレット再構成処理を施すことにより帯域制限及び雑音除去された出力動画像を生成する再構成部と、
を備えることを特徴とする画像処理装置。
前記時空間の各周波数帯域群の周波数分解係数における所定の空間高周波数帯域に属する時間方向の周波数帯域群のうち、予め定めた時間高周波帯域は制限帯域内の動領域とし、前記制限帯域内の動領域とし、当該予め定めた時間高周波帯域において水平高周波数帯域、垂直高周波数帯域、及び対角高周波数帯域毎の周波数分解係数を抽出し、該抽出した周波数帯域毎の周波数分解係数のうちの所定の閾値以上の周波数分解係数を動領域のエッジ成分とみなし、該所定の閾値以上の周波数分解係数の平均値又は標準偏差、或いは中央値を制限帯域における動領域エッジパワーとして、当該抽出した時空間の周波数帯域群毎に検出する動領域エッジパワー検出部と、
前記制限帯域内の動領域とした当該時間高周波帯域に該当する各周波数帯域群の動領域エッジパワーと、前記雑音パワーと、当該時間高周波帯域用に帯域制限量を指定する制限量パラメータとに基づいて、前記制限帯域内の時間高周波帯域用の縮退関数を設定する第２制限帯域用縮退関数設定部と、を更に備え、
前記時空間ウェーブレット縮退部は、前記時空間の各周波数帯域群の周波数分解係数に対し、前記制限帯域内の時間低周波帯域用の縮退関数、前記制限帯域内の時間高周波帯域用の縮退関数、及び前記通過帯域用の縮退関数を適用して時空間ウェーブレット縮退処理を実行することにより、当該時空間ウェーブレットパケット分解処理に基づく時空間ウェーブレット縮退処理を行うことを特徴とする、請求項１に記載の画像処理装置。
前記時間低周波帯域用に帯域制限量を指定する制限量パラメータ、及び前記時間高周波帯域用に帯域制限量を指定する制限量パラメータの各々は、全体的に帯域制限するための第１の帯域制限量と、ぼやけを抑制しつつ帯域を制限するための第２の帯域制限量とを含み、
前記時間高周波帯域用に帯域制限量を指定する制限量パラメータにおける第１の帯域制限量及び第２の帯域制限量は、前記時間低周波帯域用に帯域制限量を指定する制限量パラメータにおける第１の帯域制限量及び第２の帯域制限量よりも帯域制限する抑圧量を大きくするよう構成されていることを特徴とする、請求項２に記載の画像処理装置。
コンピューターを、請求項１から３のいずれか一項に記載の画像処理装置として機能させるためのプログラム。