JP2008022401A - 画像処理装置および方法、プログラム格納媒体、並びにプログラム - Google Patents

Abstract

【課題】量子化ノイズを低減して多階調化する。
【解決手段】帯域分離部７３は、入力信号Ｙ１と、その平滑化信号Ｓ１との差分である差分信号Ｔ１を高域差分信号Ｔ１１、中域差分信号Ｔ１２、および低域差分信号Ｔ１３に分離する。高域信号制御部７４および低域信号制御部７５は、それぞれ高域用処理判定部７１および低域用処理判定部７２の平滑化信号Ｓ１の傾きＣ１，Ｃ２による判定結果に基づいて、高域差分信号Ｔ１１および低域差分信号Ｔ１３をそれぞれ０近傍の値を０に処理し、高域処理信号Ｔ２１および低域処理信号Ｔ２２として出力する。加算部７６は、高域処理信号Ｔ２１、低域処理信号Ｔ２２、中域差分信号Ｔ１２、および平滑化信号Ｓ１を加算して出力信号Ｙ２を生成する。本発明は、テレビジョン受像機に適用することができる。
【選択図】図１６

Description

本発明は、画像処理装置および方法、プログラム格納媒体、並びにプログラムに関し、特に、画像信号を多階調化できるようにした画像処理装置および方法、プログラム格納媒体、並びにプログラムに関する。

画像を多階調化することにより画質を向上させて表示する技術が一般に普及しつつある。

例えば、８ビットの画像信号を入力させ、LPFで、低周波成分を抽出し、入力された画像信号から、低周波成分のみの画像信号を減算する。この結果、画像信号の高周波成分のみの画像信号が抽出される。この高周波成分の画像信号を、まるめて、低周波成分の画像に加算し、画像信号の範囲が、後段の処理で扱える範囲内の画像信号に納めることにより画質を向上させるものが提案されている（特許文献１参照）。

特開２００５−８６３８８号公報

しかしながら、上述した手法では、１LSB（Less Significant Bit）だけ変化するステップ波形の画像信号に対して、１LSBだけ変化するような量子化ノイズを含む信号と微小な変化の信号成分が混在している場合、量子化ノイズ成分のみを除去することができず、同時に微小な変化の信号成分が欠落し、鮮鋭度を欠いた画像となってしまうことがあった。

結果として、この画像信号を入力信号よりビット精度の高い多階調表示ができる表示デバイスで表示しても、その階調表示の性能を十分に生かしきれないことがあった。

また、入出力デバイスのビット精度が同じであっても、高画質化のための画像処理で、増幅等の処理が入った場合、元々入力に存在する量子化ノイズが増幅されてしまうということがあった。

本発明はこのような状況に鑑みてなされたものであり、特に、限られたビット精度の画像信号から、より階調の細かな画像信号を作り出せるようにするものである。

本発明の一側面の画像処理装置は、入力信号を線形または非線形に平滑化して平滑化信号を生成する平滑化手段と、前記入力信号より前記平滑化信号を減算して差分信号を生成する減算手段と、前記差分信号を少なくとも高域差分信号、中域差分信号、および低域差分信号の３帯域の信号に分離する帯域分離手段と、前記平滑化信号の変化率に基づいて、前記高域差分信号への処理の要否を判定する高域信号処理判定手段と、前記平滑化信号の変化率に基づいて、前記低域差分信号への処理の要否を判定する低域信号処理判定手段と、前記高域信号処理判定手段の判定結果に基づいて、前記高域差分信号の０近傍の値を０に処理し、高域処理信号として出力する高域信号処理手段と、前記低域信号処理判定手段の判定結果に基づいて、前記低域差分信号の０近傍の値を０に処理し、低域処理信号として出力する低域信号処理手段と、前記高域処理信号、前記低域処理信号、前記中域差分信号、および平滑化信号を加算して出力信号を生成する出力信号生成手段とを含む。

前記帯域分離手段には、少なくともHPF、BPF、およびLPFを含み、前記HPF、BPF、およびLPFにより、前記差分信号を少なくとも高域差分信号、中域差分信号、および低域差分信号の３帯域の信号に分離させるようにすることができる。

前記高域信号処理判定手段には、前記平滑化信号の傾きを前記変化率として計算する傾き計算手段と、前記平滑化信号の傾きと所定の閾値との比較により、前記平滑化信号の傾きが所定の閾値より大きい場合、前記高域差分信号への処理が必要であると判定する高域判定手段とを含ませるようにすることができる。

前記高域信号処理手段には、コアリング、またはレベル制御により、前記高域差分信号の０近傍の値を０に処理して出力する高域処理手段と、前記高域判定手段の判定結果に基づいて、前記高域処理手段により処理された高域差分信号、または、前記高域処理手段により処理されていない高域差分信号のいずれかを、高域処理信号として選択する高域選択手段とを含ませるようにすることができる。

前記高域選択手段には、前記高域信号処理判定手段により処理が必要であると判定された場合、前記高域処理手段により処理された高域差分信号を前記高域処理信号として選択させ、前記高域信号処理判定手段により処理が必要であると判定されなかった場合、前記高域処理手段により処理されていない高域差分信号を前記高域処理信号として選択させるようにすることができる。

前記低域信号処理判定手段には、前記平滑化信号の傾きを前記変化率として計算する傾き計算手段と、前記平滑化信号の傾きと所定の閾値との比較により、前記平滑化信号の傾きが所定の閾値より小さい場合、前記低域差分信号への処理が必要であると判定する低域判定手段とを含ませるようにすることができる。

前記低域信号処理手段には、コアリング、またはレベル制御により、前記低域差分信号の０近傍の値を０に処理して出力する低域処理手段と、前記低域判定手段の判定結果に基づいて、前記低域処理手段により処理された低域差分信号、または、前記低域処理手段により処理されていない高域差分信号のいずれかを、高域処理信号として選択する低域選択手段とを含ませるようにすることができる。

前記低域選択手段には、前記低域信号処理判定手段により処理が必要であると判定された場合、前記低域処理手段により処理された低域差分信号を前記低域処理信号として選択させ、前記低域信号処理判定手段により処理が必要であると判定されなかった場合、前記低域処理手段により処理されていない低域差分信号を前記低域処理信号として選択させるようにすることができる。

前記高域処理信号、前記低域処理信号、前記中域差分信号、および平滑化信号をそれぞれ増幅する増幅手段をさらに含ませるようにすることができる。

前記高域処理信号、前記低域処理信号、前記中域差分信号、および平滑化信号をそれぞれ増幅する増幅手段をさらに含ませるようにすることができ、前記出力信号生成手段には、前記増幅手段によりそれぞれ増幅された前記高域処理信号、前記低域処理信号、前記中域差分信号、および平滑化信号に加えて、前記差分信号を加算して出力信号を生成させるようにすることができる。

本発明の一側面の画像処理方法は、入力信号を線形または非線形に平滑化して平滑化信号を生成する平滑化ステップと、前記入力信号より前記平滑化信号を減算して差分信号を生成する減算ステップと、前記差分信号を少なくとも高域差分信号、中域差分信号、および低域差分信号の３帯域の信号に分離する帯域分離ステップと、前記平滑化信号の変化率に基づいて、前記高域差分信号への処理の要否を判定する高域信号処理判定ステップと、前記平滑化信号の変化率に基づいて、前記低域差分信号への処理の要否を判定する低域信号処理判定ステップと、前記高域信号処理判定ステップの処理での判定結果に基づいて、前記高域差分信号の０近傍の値を０に処理し、高域処理信号として出力する高域信号処理ステップと、前記低域信号処理判定ステップの処理での判定結果に基づいて、前記低域差分信号の０近傍の値を０に処理し、低域処理信号として出力する低域信号処理ステップと、前記高域処理信号、前記低域処理信号、前記中域差分信号、および平滑化信号を加算して出力信号を生成する出力信号生成ステップとを含む。

本発明の一側面のプログラムは、入力信号を線形または非線形に平滑化して平滑化信号を生成する平滑化ステップと、前記入力信号より前記平滑化信号を減算して差分信号を生成する減算ステップと、前記差分信号を少なくとも高域差分信号、中域差分信号、および低域差分信号の３帯域の信号に分離する帯域分離ステップと、前記平滑化信号の変化率に基づいて、前記高域差分信号への処理の要否を判定する高域信号処理判定ステップと、前記平滑化信号の変化率に基づいて、前記低域差分信号への処理の要否を判定する低域信号処理判定ステップと、前記高域信号処理判定ステップの処理での判定結果に基づいて、前記高域差分信号の０近傍の値を０に処理し、高域処理信号として出力する高域信号処理ステップと、前記低域信号処理判定ステップの処理での判定結果に基づいて、前記低域差分信号の０近傍の値を０に処理し、低域処理信号として出力する低域信号処理ステップと、前記高域処理信号、前記低域処理信号、前記中域差分信号、および平滑化信号を加算して出力信号を生成する出力信号生成ステップとを含む処理をコンピュータに実行させる。

本発明の一側面のプログラム格納媒体は、請求項１２に記載のプログラムが格納されている。

本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。

本発明の一側面によれば、限られたビット精度の画像信号から、より階調の細かな画像信号を作り出すことが可能となる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。

即ち、本発明の一側面の画像処理装置は、入力信号を線形または非線形に平滑化して平滑化信号を生成する平滑化手段（例えば、図１６の非線形平滑化処理部１１）と、前記入力信号より前記平滑化信号を減算して差分信号を生成する減算手段（例えば、図１６の減算部１２）と、前記差分信号を少なくとも高域差分信号、中域差分信号、および低域差分信号の３帯域の信号に分離する帯域分離手段（例えば、図１６の帯域分離部７３）と、前記平滑化信号の変化率に基づいて、前記高域差分信号への処理の要否を判定する高域信号処理判定手段（例えば、図１６の高域用処理判定部７１）と、前記平滑化信号の変化率に基づいて、前記低域差分信号への処理の要否を判定する低域信号処理判定手段（例えば、図１６の低域用処理判定部７２）と、前記高域信号処理判定手段の判定結果に基づいて、前記高域差分信号の０近傍の値を０に処理し、高域処理信号として出力する高域信号処理手段（例えば、図１６の高域信号制御部７４）と、前記低域信号処理判定手段の判定結果に基づいて、前記低域差分信号の０近傍の値を０に処理し、低域処理信号として出力する低域信号処理手段（例えば、図１６の低域信号制御部７５）と、前記高域処理信号、前記低域処理信号、前記中域差分信号、および平滑化信号を加算して出力信号を生成する出力信号生成手段（例えば、図１６の加算部７６）とを含む。

前記帯域分離手段には、少なくともHPF、BPF、およびLPF（例えば、図１６のHPF１１１、BPF１１２、およびLPF１１３）を含み、前記HPF、BPF、およびLPFにより、前記差分信号を少なくとも高域差分信号、中域差分信号、および低域差分信号の３帯域の信号に分離させるようにすることができる。

前記高域信号処理判定手段（例えば、図１６の高域用処理判定部７１）には、前記平滑化信号の傾きを前記変化率として計算する傾き計算手段（例えば、図１６の傾き計算部９２）と、前記平滑化信号の傾きと所定の閾値との比較により、前記平滑化信号の傾きが所定の閾値より大きい場合、前記高域差分信号への処理が必要であると判定する高域判定手段（例えば、図１６の処理判定部９３）とを含ませるようにすることができる。

前記高域信号処理手段（例えば、図１６の高域信号制御部７４）には、コアリング、またはレベル制御により、前記高域差分信号の０近傍の値を０に処理して出力する高域処理手段（例えば、図１６の信号制御部１３−１）と、前記高域判定手段の判定結果に基づいて、前記高域処理手段により処理された高域差分信号、または、前記高域処理手段により処理されていない高域差分信号のいずれかを、高域処理信号として選択する高域選択手段（例えば、図１６の選択部１２１）とを含ませるようにすることができる。

前記高域選択手段（例えば、図１６の選択部１２１）には、前記高域信号処理判定手段により処理が必要であると判定された場合、前記高域処理手段により処理された高域差分信号を前記高域処理信号として選択させ、前記高域信号処理判定手段により処理が必要であると判定されなかった場合、前記高域処理手段により処理されていない高域差分信号を前記高域処理信号として選択させるようにすることができる。

前記低域信号処理判定手段（例えば、図１６の低域用処理判定部７２）には、前記平滑化信号の傾きを前記変化率として計算する傾き計算手段（例えば、図１６の傾き計算部１０２）と、前記平滑化信号の傾きと所定の閾値との比較により、前記平滑化信号の傾きが所定の閾値より小さい場合、前記低域差分信号への処理が必要であると判定する低域判定手段（例えば、図１６の処理判定部１０３）とを含ませるようにすることができる。

前記低域信号処理手段（例えば、図１６の低域信号制御部７５）には、コアリング、またはレベル制御により、前記低域差分信号の０近傍の値を０に処理して出力する低域処理手段（例えば、図１６の信号処理部１３−２）と、前記低域判定手段の判定結果に基づいて、前記低域処理手段により処理された低域差分信号、または、前記低域処理手段により処理されていない高域差分信号のいずれかを、高域処理信号として選択する低域選択手段（例えば、図１６の選択部１３１）とを含ませるようにすることができる。

前記低域選択手段（例えば、図１６の選択部１３１）には、前記低域信号処理判定手段により処理が必要であると判定された場合、前記低域処理手段により処理された低域差分信号を前記低域処理信号として選択させ、前記低域信号処理判定手段により処理が必要であると判定されなかった場合、前記低域処理手段により処理されていない低域差分信号を前記低域処理信号として選択させるようにすることができる。

前記高域処理信号、前記低域処理信号、前記中域差分信号、および平滑化信号をそれぞれ増幅する増幅手段（例えば、図２２の増幅部１５１乃至１５４）をさらに含ませるようにすることができる。

前記高域処理信号、前記低域処理信号、前記中域差分信号、および平滑化信号をそれぞれ増幅する増幅手段（例えば、図２４の増幅部１７１乃至１７４）をさらに含ませるようにすることができ、前記出力信号生成手段には、前記増幅手段によりそれぞれ増幅された前記高域処理信号、前記低域処理信号、前記中域差分信号、および平滑化信号に加えて、前記差分信号を加算して出力信号を生成させるようにすることができる。

本発明の一側面の画像処理方法は、入力信号を線形または非線形に平滑化して平滑化信号を生成する平滑化ステップ（例えば、図１８のステップＳ１０１）と、前記入力信号より前記平滑化信号を減算して差分信号を生成する減算ステップ（例えば、図１８のステップＳ１０２）と、前記差分信号を少なくとも高域差分信号、中域差分信号、および低域差分信号の３帯域の信号に分離する帯域分離ステップ（例えば、図１８のステップＳ１０３乃至１０５）と、前記平滑化信号の高域変化率に基づいて、前記高域差分信号への処理の要否を判定する高域信号処理判定ステップ（例えば、図１８のステップＳ１１０）と、前記平滑化信号の低域変化率に基づいて、前記低域差分信号への処理の要否を判定する低域信号処理判定ステップ（例えば、図１８のステップＳ１１５）と、前記高域信号処理判定ステップの処理での判定結果に基づいて、前記高域差分信号の０近傍の値を０に処理し、高域処理信号として出力する高域信号処理ステップ（例えば、図１８のステップＳ１０６）と、前記低域信号処理判定ステップの処理での判定結果に基づいて、前記低域差分信号の０近傍の値を０に処理し、低域処理信号として出力する低域信号処理ステップ（例えば、図１８のステップＳ１０７）と、前記高域処理信号、前記低域処理信号、前記中域差分信号、および平滑化信号を加算して出力信号を生成する出力信号生成ステップ（例えば、図１８のステップＳ１１８）とを含む。

本発明を適用した多階調化処理装置の説明にあたり、まず、従来の多階調化処理装置の構成、および、多階調化処理について説明する。

図１は、従来の多階調化処理装置１の構成例を示すブロック図である。

非線形平滑化処理部１１は、入力される画像信号である入力信号Ｙ１を非線形に平滑化し、平滑化信号Ｓ１として減算部１４および加算部１４に供給する。尚、非線形平滑化処理部１１の構成については、図４を参照して詳細を後述する。

減算部１２は、入力信号Ｙ１より平滑化信号Ｓ１を減算し、差分信号Ｔ１として信号処理部１３に供給する。

信号処理部１３は、差分信号Ｔ１をコアリング、または、レベル制御するなどして処理し、処理信号Ｔ１’として加算部１４に供給する。より詳細には、信号処理部１３は、コアリングにより、例えば、図２で示されるように、差分信号Ｔ１が０近傍付近の所定の閾値Ｔｈ２乃至Ｔｈ１の範囲であるとき、処理信号Ｔ１’に変換して出力し、それ以外の範囲のとき、差分信号Ｔ１をそのまま処理信号Ｔ１’として出力する。また、信号処理部１３は、レベル制御により、例えば、図３で示されるように、差分信号Ｔ１が０近傍付近の所定の閾値Ｔｈ４乃至Ｔｈ３の範囲であるとき、曲線で示されるように、処理信号Ｔ１’に変換して出力し、それ以外の範囲のとき、差分信号Ｔ１をそのまま処理信号Ｔ１’として出力する。

加算部１４は、処理信号Ｔ１’と平滑化信号Ｓ１とを加算して、入力画像信号である信号Ｙ１を多階調化した出力信号Ｙ２を生成して出力する。

次に、図４を参照して、非線形平滑化処理部１１の詳細な構成について説明する。

水平処理方向成分画素抽出部３１は、入力信号Ｙ１の各画素より注目画素を順次設定すると共に、注目画素に対応する、非線形平滑化処理に必要な画素を抽出し、非線形フィルタ３５および混合部３７に出力する。より具体的には、水平処理方向成分画素抽出部３１は、注目画素に対して、水平方向に左右に隣接するそれぞれ２画素を水平処理方向成分画素として抽出し、抽出した４画素と注目画素のそれぞれの画素値を非線形フィルタ３５および混合部３７に供給する。

尚、ここでは、注目画素に対して水平方向の１次元方向に対して処理を実行する例について説明するものとするが、垂直方向であってもよいし、水平方向および垂直方向を両方向に対して実施するようにしても良いことは言うまでもない。また、抽出する水平処理方向成分画素の画素数は、注目画素に対して左右に隣接する２画素ずつに限るものではなく、水平方向に隣接している画素であればよく、例えば、注目画素の左右に隣接する３画素ずつであってもよいし、さらには、注目画素に対して左方向に隣接する１画素と、右方向に隣接する３画素とするようにしても良い。

垂直参照方向成分画素抽出部３２は、入力信号Ｙ１の各画素より注目画素を順次設定すると共に、注目画素に対応する、非線形平滑化処理に必要な画素が配置されている方向と異なる垂直方向に隣接する画素を抽出し、差分絶対値算出部３３に出力する。より具体的には、垂直参照方向成分画素抽出部３２は、注目画素に対して、垂直方向の上下に隣接する２画素を垂直参照方向成分画素として抽出し、抽出した４画素と注目画素のそれぞれの画素値を閾値設定部３３に供給する。

尚、抽出する垂直参照方向成分画素の画素数は、注目画素に対して上下に隣接する２画素ずつに限るものではなく、垂直方向に隣接している画素であればよく、例えば、注目画素の上下に隣接する３画素ずつであってもよいし、さらには、注目画素に対して上方向に隣接する１画素と、下方向に隣接する３画素とするようにしても良い。

差分絶対値算出部３３は、注目画素と、非線形平滑化処理に必要な画素が配置されている方向と異なる垂直方向に隣接する各画素との差分絶対値を求めて、閾値決定部３４に供給する。閾値決定部３４は、差分絶対値算出部３４より供給されてくる差分絶対値のうち、最大となるものに所定のマージンを加算した値を閾値ε₁として決定し、非線形フィルタ３５および混合比検出部３６に供給する。

非線形フィルタ３５は、入力信号Ｙ１を構成する画素の変動のうち、そのサイズが閾値決定部３４より供給されてくる閾値ε₁よりも大きい急峻なエッジを保持すると共に、エッジ以外の部分を平滑化し、平滑化した画像信号S_LPF-Hを混合部３７に出力する。

混合比検出部３６は、閾値決定部３４より供給されてくる閾値ε₁よりも十分に小さい閾値ε₂を求め、この閾値ε₂に基づいて、入力信号Ｙ１を構成する画素の変動の中の微小な変化を検出し、検出結果を用いて、混合比を計算し、混合部３７に供給する。

混合部３７は、平滑化処理された画像信号S_LPF-Hと平滑化されていない入力された画像信号Ｙ１を、混合比検出部３６より供給される混合比に基づいて、混合し、非線形平滑化された平滑化信号Ｓ１として出力する。

非線形フィルタ３５のLPF（Low Pass Filter）５１は、制御信号発生部５２より供給される制御信号および閾値決定部３４より供給されてくる閾値ε₁に基づいて、注目画素と、その水平方向の左右に隣接する２画素である水平処理方向成分画素との画素値を用いて、注目画素を平滑化して、平滑化された画像信号S_LPF-Hを混合部３７に出力する。制御信号発生部５２は、注目画素と、水平処理方向成分画素との画素値の差分絶対値を算出し、その算出結果に基づいてLPF５１を制御する制御信号を発生し、LPF５１に供給する。尚、非線形フィルタ３５としては、例えば、εフィルタを用いるようにしてもよい。

次に、図５のフローチャートを参照して、図１の多階調化処理装置１による多階調化処理について説明する。

ステップＳ１において、非線形平滑化処理部１１の水平処理方向成分画素抽出部３１は、ラスタスキャン順に注目画素を設定する。尚、注目画素の設定順序は、ラスタスキャン順以外の順序であってもよい。

ステップＳ２において、非線形平滑化処理部１１は、非線形平滑化処理を実行し、入力信号Ｙ１を平滑化信号Ｓ１として減算部１２および加算部１４に供給する。

ここで、図６のフローチャートを参照して、非線形平滑化処理部１１による非線形平滑化処理について説明する。

ステップＳ１１において、水平処理方向成分画素抽出部３１は、注目画素と共に、注目画素に対して水平方向（左右方向）に２画素ずつ隣接する近傍画素である水平処理方向成分画素からなる合計５画素の画素値をバッファ２１より抽出して非線形平滑化処理部３２に出力する。例えば、図７で示されるような場合、画素Ｌ２，Ｌ１，Ｃ，Ｒ１，Ｒ２が、注目画素および水平処理方向成分画素として抽出される。尚、図７においては、画素Ｃは、注目画素であり、画素Ｌ２，Ｌ１が、注目画素Ｃの左側に隣接する２画素の水平処理方向成分画素であり、画素Ｒ１，Ｒ２が注目画素Ｃの右側に隣接する２画素の水平処理方向成分画素である。

ステップＳ１２において、垂直参照方向成分画素抽出部３２は、注目画素と共に、注目画素に対して垂直方向（上下方向）に２画素ずつ隣接する近傍画素である垂直参照方向成分画素からなる合計５画素の画素値をバッファ２１より抽出して差分絶対値算出部３３に出力する。例えば、図７で示されるような場合、画素U２，U１，Ｃ，D１，D２が、注目画素および垂直参照方向成分画素として抽出される。尚、図７においては、画素Ｃは、注目画素であり、画素U２，U１が、注目画素Ｃの上側に隣接する２画素の垂直参照方向成分画素であり、画素D１，D２が注目画素Ｃの下側に隣接する２画素の垂直参照方向成分画素である。

ステップＳ１３において、差分絶対値算出部３３は、注目画素と、垂直参照方向画素との画素値の差分絶対値を求めて、閾値決定部３４に供給する。例えば、図７の場合、注目画素は、画素Ｃであり、垂直参照方向画素は、画素U２，U１，Ｄ１，Ｄ２であるので、差分絶対値算出部３３は、｜Ｃ−Ｕ２｜，｜Ｃ−Ｕ１｜，｜Ｃ−Ｄ２｜，｜Ｃ−Ｕ１｜を算出し、閾値決定部３４に供給する。

ステップＳ１４において、閾値決定部３４は、差分絶対値算出部３３より供給されてくる差分絶対値のうち、最大値となる差分絶対値を閾値ε₁に決定し、非線形フィルタ３５および混合比検出部３６に供給する。したがって、図７の場合、閾値決定部３４は、｜Ｃ−Ｕ２｜，｜Ｃ−Ｕ１｜，｜Ｃ−Ｄ２｜，｜Ｃ−Ｕ１｜の最大値を検索し、その最大値に所定のマージンを加算して閾値ε₁として設定する。ここで、マージンを加算するとは、例えば、１０％のマージンを加算する場合、差分絶対値の最大値×1.1を閾値ε₁として設定することである。

ステップＳ１５において、水平処理方向成分画素抽出部３１より供給された注目画素と水平処理方向成分画素に基づいて、注目画素に非線形フィルタ処理が施される。

ここで、図８のフローチャートを参照して、非線形フィルタ処理について説明する。

ステップＳ３１において、非線形フィルタ３５の制御信号発生部５２は、注目画素と、水平処理方向成分画素との画素値の差分絶対値を計算する。すなわち、図７の場合、制御信号発生部５２は、注目画素Ｃと、水平方向に隣接する各近傍画素である水平処理方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２との画素値の差分絶対値｜Ｃ−Ｌ２｜，｜Ｃ−Ｌ１｜，｜Ｃ−Ｒ１｜，｜Ｃ−Ｒ２｜を計算する。

ステップＳ３２において、ローパスフィルタ５１は、制御信号発生部５２により計算された各差分絶対値と閾値決定部３４により設定された閾値ε₁と比較して、この比較結果に対応して、入力信号Ｙ１に非線形フィルタリング処理を施す。より具体的には、ローパスフィルタ５１は、例えば、以下の式（１）のように、注目画素Ｃおよび水平処理方向成分画素の画素値を、タップ係数を用いて加重平均して、注目画素Ｃに対応する変換結果Ｃ’を平滑化された画像信号S_LPF-Hとして混合部３７に出力する。

Ｃ’＝（１×Ｌ２＋２×Ｌ１＋３×Ｃ＋２×Ｒ１＋１×Ｒ２）／９
・・・（１）

ただし、近傍画素と注目画素Ｃとの画素値の差分絶対値が、所定の閾値εよりも大きい水平処理方向成分画素については、画素値を注目画素Ｃのものと置換して計算するようにする。すなわち、例えば、水平処理方向成分画素Ｒ２がＲ２＞εの場合、Ｒ２をＣに置換して計算する。

ステップＳ３３において、混合比検出部３６は、微小エッジ判定処理を実行し、微小なエッジが存在するか否かを判定する。

ここで、図９のフローチャートを参照して、微小エッジ判定処理について説明する。

ステップＳ４１において、混合比検出部３６は、それぞれ閾値決定部３４より供給されてきた閾値ε₁に基づいて、微小なエッジの有無を検出するために必要とされる閾値ε₂を求める。より具体的には、閾値ε₂は、閾値ε₁に対して十分に小さな値であることが条件（ε₂≪ε₁）であるので、例えば、閾値ε₁に対して、十分に小さい係数を乗じることにより得られた値を閾値ε₂として設定する。

ステップＳ４２において、混合比検出部３６は、注目画素と、各水平処理方向成分画素との画素値の差分絶対値を算出し、各差分絶対値が全て、閾値ε₂（≪ε₁）よりも小さいか否かを判定し、その判定結果に基づいて、微小なエッジが存在するか否かを判定する。

すなわち、例えば、図７で示したように、混合比検出部３６は、注目画素Ｃと、水平方向に隣接する各水平処理方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２との画素値の差分絶対値を算出し、各差分絶対値が全て、閾値ε₂よりも小さいか否かを判定し、各差分絶対値が全て閾値ε₂よりも小さいと判定した場合、近傍画素と注目画素との画素値に変化がないものとみなし、ステップＳ４４に進み、注目画素の近傍には、微小なエッジが存在しないものと判定する。

一方、ステップＳ４２において、算出された差分絶対値のうち、１つでも閾値ε₂以上のものがあると判定された場合、ステップＳ４３に進み、混合比検出部３６は、注目画素の左右の一方側の水平処理方向成分画素と注目画素との差分絶対値が全て閾値ε₂よりも小さく、かつ、注目画素の左右の他方側の水平処理方向成分画素と注目画素との差分絶対値が全て閾値ε₂以上であって、かつ、注目画素の左右の他方側の水平処理方向成分画素と注目画素との各差分の正負が一致しているか否かを判定する。

すなわち、注目画素Ｃの左右の一方側の水平処理方向成分画素が、例えば、図７の画素Ｌ２，Ｌ１であり、注目画素Ｃの左右の他方側の水平処理方向成分画素が、図７の画素Ｒ２，Ｒ１である場合、混合比検出部３６は、注目画素Ｃの左右の一方側の水平処理方向成分画素と注目画素Ｃとの差分絶対値が全て閾値ε₂よりも小さく、かつ、注目画素Ｃの左右の他方側の水平処理方向成分画素Ｒ１，Ｒ２と注目画素Ｃとの差分絶対値が全て閾値ε₂以上であって、かつ、注目画素Ｃの左右の他方側の水平処理方向成分画素Ｒ１，Ｒ２と注目画素Ｃとの各差の正負が一致しているか否かを判定する。

例えば、上記の条件が満たされていると判定された場合、ステップＳ４４において、混合比検出部３６は、注目画素の近傍に、微小なエッジが存在すると判定する。

一方、ステップＳ４３において、上記条件を満たしていないと判定された場合、ステップＳ４５において、混合比検出部３６は、注目画素の近傍には、微小なエッジが存在しないと判定する。

例えば、注目画素Ｃと水平処理方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２の関係が図１０に示すような場合、注目画素Ｃと左側の水平処理方向成分画素Ｌ２，Ｌ１の差分絶対値｜Ｌ２−Ｃ｜，｜Ｌ１−Ｃ｜が閾値ε₂よりも小さく、かつ、注目画素Ｃと右側の水平処理方向成分画素Ｒ１，Ｒ２の差分絶対値｜Ｒ１−Ｃ｜，｜Ｒ２−Ｃ｜が閾値ε₂以上であり、かつ、注目画素Ｃと右側の水平処理方向成分画素Ｒ１，Ｒ２の差（Ｒ１−Ｃ），（Ｒ２−Ｃ）の符号が一致する（いまの場合、ともに正）ので、注目画素Ｃの近傍に微小なエッジが存在すると判定される。

また、例えば、注目画素Ｃと水平処理方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２の関係が図１１に示すような場合、注目画素Ｃと左側の水平処理方向成分画素Ｌ２，Ｌ１の差分絶対値｜Ｌ２−Ｃ｜，｜Ｌ１−Ｃ｜が閾値ε₂よりも小さく、かつ、注目画素Ｃと右側の水平処理方向成分画素Ｒ１，Ｒ２の差分絶対値｜Ｒ１−Ｃ｜，｜Ｒ２−Ｃ｜が閾値ε₂以上ではあるが、かつ、注目画素Ｃと右側の水平処理方向成分画素Ｒ１，Ｒ２の差（Ｒ１−Ｃ），（Ｒ２−Ｃ）の符号が一致しない（いまの場合、それぞれ正、負）ので、注目画素Ｃの近傍に微小なエッジが存在しないと判定される。

さらに、例えば、注目画素Ｃと水平処理方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２の関係が図１２に示すような場合、注目画素Ｃの左右いずれの側も、注目画素Ｃと水平処理方向成分画素の差分絶対値が全て閾値ε3よりも小さいわけではないので、注目画素Ｃの近傍に微小なエッジが存在しないと判定される。

このようにして、注目画素の近傍に微小なエッジが存在するか否かが判定された後、処理は図８のステップＳ３４に戻る。

ステップＳ３３の処理が終了すると、ステップＳ３４において、混合比検出部３６は、ステップＳ３３における微小エッジ判定処理による判定結果が、「注目画素Ｃの近傍に微小なエッジが存在する」であるか否かを判定する。例えば、微小エッジ判定処理による判定結果が、「注目画素Ｃの近傍に微小なエッジが存在する」である場合、ステップＳ３５において、混合比検出部３６は、水平方向に非線形フィルタリング処理された画像信号S_LPF-Hと入力信号Ｙ１の混合比であるMixレートMr_-Hを最大MixレートMr_-H maxとして混合部３７に出力する。尚、最大MixレートMr_-H maxは、MixレートMr_-Hの最大値、すなわち、画素値のダイナミックレンジの最大値と最小値の差分絶対値である。

ステップＳ３６において、混合部５２は、混合比検出部３６より供給されるMixレートMr_-Hに基づいて、入力信号Ｙ１と非線形フィルタ３５により非線形平滑化処理された画像信号S_LPF-Hとを混合し、平滑化信号Ｓ１として出力する。より詳細には、混合部３７は、以下の式（２）を演算して、入力信号Ｙ１と非線形フィルタにより非線形平滑化された画像信号S_LPF-Hとを混合する。

Ｓ_F-H＝Ｙ１×Mr_-H／Mr_-H max＋S_LPF-H×（１−Mr_-H／Mr_-H max）
・・・（２）
ここで、Mr_-Hは、Mixレートであり、Mr_-H maxは、MixレートMr_-Hの最大値、すなわち、画素値の最大値と最小値の差分絶対値である。

式（２）で示されるように、MixレートMr_-Hが大きければ、非線形フィルタ３５により処理された画像信号S_LPF-Hの重みが小さくなり、入力された処理されていない画像信号Ｙ１の重みが大きくなる。逆に、MixレートMr_-Hが小さければ、すなわち、水平方向に隣接する画素間の画素値の差分絶対値が小さいほど、非線形フィルタにより処理された画像信号S_LPF-Hの重みが大きくなり、入力された処理されていない画像信号の重みが小さくなる。

従って、微小エッジが検出された場合、MixレートMr_-Hは最大MixレートMr_-H maxとなるので、実質的に入力された画像信号Ｙ１が、そのまま出力されることになる。

一方、ステップＳ３４において、「微小エッジが存在しない」と判定された場合、ステップＳ３７において、混合比検出部３６は、注目画素と、各水平処理方向成分画素との画素値の差分絶対値をそれぞれ計算し、計算した各差分絶対値のうちの最大値を混合比である、MixレートMr_-Hとして求め、混合部３７に出力し、その処理は、ステップＳ３６に進む。

すなわち、図７の場合、混合比検出部３６は、注目画素Ｃと、各水平処理方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２との画素値の差分絶対値｜Ｃ−Ｌ２｜，｜Ｃ−Ｌ１｜，｜Ｃ−Ｒ１｜，｜Ｃ−Ｒ２｜を計算し、計算した各差分絶対値のうちの最大値を混合比であるMixレートMr_-Hとして求め、混合部３７に出力する。

すなわち、微小エッジが存在しない場合、注目画素と各水平処理方向成分画素との画素値の差分絶対値の最大値に応じて、非線形フィルタリング処理された画像信号S_LPF-Hと、入力された画像信号Ｙ１とが混合されて、非線形平滑化処理された平滑化信号Ｓ１が生成され、微小エッジが存在した場合、入力された画像信号Ｙ１がそのまま出力される。

結果として、非線形平滑化処理部１１においては、閾値ε₂を基準として微小エッジが検出されることになるので、微小エッジが存在する部分については、非線形平滑化処理が施されないようにすると共に、エッジが存在しない部分についても、その差分絶対値の大きさに応じて非線形平滑化処理が施された画素値と、入力信号とを混合するようにしたので、特に、微小なエッジで構成された単純なパターン画像等で著しく画質の劣化が生じてしまうという事態を抑止することが可能になる。

ここで、図６のフローチャートの説明に戻る。

以上の処理により、非線形平滑化処理が実行されると、その処理は、図５のフローチャートにおけるステップＳ３に進む。

ステップＳ３において、減算部１２は、入力信号Ｙ１より平滑化信号Ｓ１を減算し、差分信号Ｔ１を生成して、信号処理部１３に供給する。すなわち、全帯域を含む入力信号Ｙ１より低域の平滑化信号Ｓ１が減算されるので、入力信号Ｙ１の高域成分が差分信号Ｔ１として出力されることになる。

ステップＳ４において、信号処理部１３は、差分信号Ｔ１に対してコアリング、または、レベル制御処理を施し、処理信号Ｔ１’を加算部１４に供給する。すなわち、小振幅であるほど量子化誤差が含まれることになるので、この処理により、高域成分の量子化誤差が減少されることになる。

ステップＳ５において、加算部１４は、平滑化信号Ｓ１および処理信号Ｔ１’を加算して、出力信号Ｙ２を生成して、出力する。

ステップＳ６において、水平処理方向成分画素抽出部３１は、全ての画素を注目画素として処理したか、すなわち、未処理の画素が存在するか否かを判定し、例えば、全ての画素を注目画素として処理していない、すなわち、未処理画素が存在すると判定した場合、その処理は、ステップＳ１に戻る。そして、ステップＳ６において、全ての画素が注目画素として処理された、すなわち、未処理画素が存在しないと判定された場合、多階調化処理は、終了する。

以上の処理により、例えば、図１３の実線で示されるような入力信号Ｙ１が入力されると、平滑化処理により、図１３の点線で示される平滑化信号Ｓ１が出力される。この場合、差分信号Ｔ１は、図１４の実線で示される信号となる。このとき、差分信号Ｔ１が十分に小さいと、差分信号Ｔ１は、信号処理部１３により０または０近傍の値となるため、出力信号Ｙ２は、実質的に平滑化信号Ｓ１となる。尚、図１３においては、横軸が、信号の画像上の水平方向の位置を示し、垂直方向が画素値を示しており、以降においても同様に表示するものとする。

結果として、入力信号Ｙ１は、図１の多階調化処理装置１により、視覚的に目立ちやすい量子化誤差が除去されている、多階調化された出力信号Ｙ２（≒Ｓ１）として出力されることになる。

ところで、例えば、図１５の実線で示される１LSBだけが変化するステップ波形の近傍に、１LSBだけ変化する振幅成分を持つような入力信号Ｙ１が上述した図１のような多階調化処理装置１に入力された場合、図１５の点線で示されるような出力信号Ｙ２として多階調化されて出力される。すなわち、図１３，図１５のそれぞれの実線で示されるＹ１は、異なる波形であるにも関わらず、図１の多階調化処理装置１に入力された場合、信号処理は、同一の出力信号Ｙ２が出力されてしまうことになり、図１５の入力信号Ｙ１に基づいた画像に対して、若干鮮鋭度を欠いた画像となってしまうことがあった。これは、差分信号Ｔ１に含まれる量子化誤差が振幅成分が平滑化処理により除去されるために発生する。

そこで、本発明を適用した多階調化処理装置においては、差分信号Ｔ１を複数の帯域に分離し、振幅成分である帯域成分については、その帯域成分毎に処理をさせることにより、適正な多階調化を実現させるようにしている。

図１６は、本発明を適用した多階調化処理装置１の構成例を示している。尚、図１における構成と同一の構成については、同一の符号を付しており、その説明は、適宜省略するものとする。

高域用処理判定部７１は、バッファ９１、傾き計算部９２、および処理判定部９３より構成されており、平滑化信号Ｓ１の注目画素を中心とした左右にそれぞれＮ個の画素値（注目画素を含めて（２Ｎ＋１）画素の画素値）を蓄積する。傾き計算部９２は、バッファ９１に蓄積された、注目画素を中心とした（２Ｎ＋１）画素の画素値の最大値と最小値との差分を画素数で割った値を傾きＣ１として計算し、処理判定部９３に出力する。処理判定部９３は、傾きＣ１と所定の閾値ｔｈ１１とを比較して、傾きＣ１の方が閾値ｔｈ１１よりも大きいとき、高域信号制御部７４に対して、高域信号制御を実施するように指示する制御信号を供給する。すなわち、高域用処理判定部７１は、注目画素近傍の平滑化信号の変化率（高域変化率）を傾きＣ１として計算し、傾きＣ１が所定の閾値ｔｈ１１より大きいとき、高域信号Ｔ１１に対して信号制御を行うように指示する。

低域用処理判定部７２は、バッファ１０１、傾き計算部１０２、および処理判定部１０３より構成されており、平滑化信号Ｓ１の注目画素を中心とした左右に水平にＭ個の画素値（注目画素を含めて（２Ｍ＋１）画素の画素値）を蓄積する。傾き計算部１０２は、バッファ１０１に蓄積された、注目画素を中心とした（２Ｍ＋１）画素の画素値の最大値と最小値との差分を画素数で割った値を傾きＣ２として計算し、処理判定部１０３に出力する。処理判定部１０３は、傾きＣ２と所定の閾値ｔｈ１２とを比較して、傾きＣ２の方が閾値ｔｈ１２よりも小さいとき、低域信号制御部７５に対して、低域信号制御を実施するように指示する制御信号を供給する。すなわち、低域用処理判定部７２は、注目画素近傍の平滑化信号の変化率（低域変化率）を傾きＣ２として計算し、傾きＣ２が所定の閾値ｔｈ１２より小さいとき、低域信号Ｔ１３に対して信号制御を行うように指示する。

尚、傾き計算部９２においては、高域信号Ｔ１１の変化の傾きＣ１を求めており、傾き計算部１０２においては、低域信号Ｔ１３の変化の傾きＣ２を求めているので、傾きを求めるに当たりＮ＜Ｍとなる。

帯域分離部７３は、HPF（High Pass Filter）１１１、BPF（Band Pass Filter）１１２、およびLPF（Low Pass Filter）１１３から構成されており、差分信号Ｔ１を３種類の周波数帯域の信号に分離し、高域信号Ｔ１１、中域信号Ｔ１２、低域信号Ｔ１３として、それぞれ高域信号制御部７４、加算部７６、および低域信号制御部７５に出力する。より詳細には、HPF１１１は、差分信号Ｔ１における所定の周波数fhより高い高周波帯域の信号を抽出して高域信号Ｔ１１として、BPF１１２は、差分信号Ｔ１における所定の周波数flより高く周波数fhよりも低い中周波帯域の信号を中域信号Ｔ１２として、LPFは、差分信号Ｔ１における所定の周波数fhより低い低周波帯域の信号を低域信号Ｔ１３として、それぞれ抽出して出力することで、差分信号Ｔ１を３種類の帯域に分離する。尚、ここでは、高域信号Ｔ１１、中域信号Ｔ１２、および低域信号Ｔ１３は、周波数帯域の小さい方から低域信号Ｔ１３、中域信号Ｔ１２、および高域信号Ｔ１１と定義するものとする。また、本実施例における、帯域分離部７３は、HPF１１１、BPF１１２、およびLPF１１３を用いて、差分信号Ｔ１を高域信号Ｔ１１、中域信号Ｔ１２、および低域信号Ｔ１３の３種類の帯域の信号に分離する例について説明を進めるものとするが、帯域の分離については、その他の定義によるものでもよく、例えば、HPFにより抽出される帯域の信号を高域信号Ｔ１１とし、LPFにより抽出される帯域の信号を低域信号Ｔ１３とし、それ以外の信号を中域信号Ｔ１２と定義するようにしてもよい。

高域信号制御部７４は、信号制御部１３−１および選択部１２１より構成されており、選択部１２１は、高域用処理判定部７１より高域信号制御を実施するように指示する信号が供給されるとき、選択部１２１に供給されてくる高域信号Ｔ１１および信号制御部１３−１により信号制御された高域信号Ｔ１１’のうち、高域信号Ｔ１１’を高域制御信号Ｔ２１として加算部７６に出力し、高域用処理判定部７１より高域信号制御を実施するように指示する信号が供給されてこないとき、選択部１２１に供給されてくる高域信号Ｔ１１をそのまま高域制御信号Ｔ２１として加算部７６に出力する。

低域信号制御部７５は、信号制御部１３−２および選択部１３１より構成されており、選択部１３１は、低域用処理判定部７２より低域信号制御を実施するように指示する信号が供給されるとき、選択部１３１に供給されてくる低域信号Ｔ１３および信号制御部１３−２により信号制御された低域信号Ｔ１３’のうち、低域信号Ｔ１３’を低域制御信号Ｔ２２として加算部７６に出力し、低域用処理判定部７２より低域信号制御を実施するように指示する信号が供給されてこないとき、選択部１３１に供給されてくる低域信号Ｔ１３をそのまま低域制御信号Ｔ２２として加算部７６に出力する。

加算部７６は、高域制御信号Ｔ２１、低域制御信号Ｔ２２、中域信号Ｔ１２、および平滑化信号Ｓ１を加算して、出力信号Ｙ２を生成して出力する。

次に、図１７のフローチャートを参照して、図１６の多階調化処理装置１による多階調化処理について説明する。尚、図１７のフローチャートのステップＳ１０１，Ｓ１０２，Ｓ１２０の処理は、図５のフローチャートにおけるステップＳ１，Ｓ２，Ｓ６の処理とどうようであるので、その説明は省略するものとする。

ステップＳ１０２において、非線形平滑化処理部１１により、非線形平滑化処理が実行され、入力信号Ｙ１が非線形平滑化されて平滑化信号Ｓ１が生成されると、減算部１２、高域用処理判定部７１、低域用処理判定部７２、および加算部７６に出力される。

ステップＳ１０３において、減算部１２は、入力信号Ｙ１より平滑化信号Ｓ１を減算し、差分信号Ｔ１を生成して、帯域分離部７３に供給する。

ステップＳ１０４において、帯域分離部７３のHPF１１１は、差分信号Ｔ１の高域成分を抽出して高域信号Ｔ１１として高域信号制御部７４に出力する。

ステップＳ１０５において、帯域分離部７３のBPF１１２は、差分信号Ｔ１の中域成分を抽出して高域信号Ｔ１２として加算部７６に出力する。

ステップＳ１０６において、帯域分離部７３のLPF１１１は、差分信号Ｔ１の低域成分を抽出して低域信号Ｔ１３として低域信号制御部７５に出力する。

ステップＳ１０７において、高域信号制御部７４の信号制御部１３−１は、高域信号Ｔ１１を信号制御し、選択部１２１に出力する。

ステップＳ１０８において、低域信号制御部７５の信号制御部１３−２は、低域信号Ｔ１３を信号制御し、選択部１３１に出力する。

ステップＳ１０９において、高域用処理判定部７１のバッファ９１は、高域処理判定用の画素を（２Ｎ＋１）個を蓄積する。

ステップＳ１１０において、傾き計算部９２は、バッファ９１に蓄積されている（２Ｎ＋１）個の画素を読み出し、最大値および最小値を抽出して、その差分絶対値を（２Ｎ＋１）で割ることにより、傾きＣ１を計算し、処理判定部９３に供給する。

ステップＳ１１１において、処理判定部９３は、傾きＣ１が閾値ｔｈ１１よりも大きいか否かを判定し、大きいと判定した場合、ステップＳ１１２において、高域信号制御部７４に対して、高域信号制御を実施するように指示する制御信号を供給する。これに応じて、高域信号制御部７４の選択部１２１は、信号制御された高域信号Ｔ１１’を高域制御信号Ｔ２１として加算部７６に出力する。

一方、ステップＳ１１１において、傾きＣ１が閾値ｔｈ１１よりも大きくないと判定された場合、ステップＳ１１３において、処理判定部９３は、高域信号制御部７４に対して、高域信号制御を実施するように指示する制御信号を供給しない。これに応じて、高域信号制御部７４の選択部１２１は、高域信号Ｔ１１をそのまま高域制御信号Ｔ２１として加算部７６に出力する。

ステップＳ１１４において、低域用処理判定部７２のバッファ１０１は、低域処理判定用の画素を（２Ｍ＋１）個を蓄積する。

ステップＳ１１５において、傾き計算部１０２は、バッファ１０１に蓄積されている（２Ｍ＋１）個の画素を読み出し、最大値および最小値を抽出して、その差分絶対値を（２Ｍ＋１）で割ることにより、傾きＣ２を計算し、処理判定部１０３に供給する。

ステップＳ１１６において、処理判定部１０３は、傾きＣ２が閾値ｔｈ１２よりも小さいか否かを判定し、小さいと判定した場合、ステップＳ１１７において、低域信号制御部７５に対して、低域信号制御を実施するように指示する制御信号を供給する。これに応じて、低域信号制御部７５の選択部１３１は、信号制御された低域信号Ｔ１３’を低域制御信号Ｔ２２として加算部７６に出力する。

一方、ステップＳ１１６において、傾きＣ２が閾値ｔｈ１２よりも小さくないと判定された場合、ステップＳ１１８において、処理判定部１０３は、低域信号制御部７５に対して、低域信号制御を実施するように指示する制御信号を供給しない。これに応じて、低域信号制御部７５の選択部１３１は、低域信号Ｔ１３をそのまま低域制御信号Ｔ２２として加算部７６に出力する。

ステップＳ１１９において、加算部７６は、高域制御信号Ｔ２１、通域信号Ｔ１２、低域制御信号Ｔ２２、および平滑化信号Ｓ１を加算して、出力信号Ｙ２を生成して出力する。

以上の処理により、例えば、図１５の点線で示される十分信号の勾配が寝ているような波形（傾きが小さい波形）の場合、平滑化信号Ｓ１は、多階調化され、目に付きにくい変化となる。このとき差分信号Ｔ１は、帯域分離部７３により高域信号Ｔ１１、中域信号Ｔ１２、および低域信号Ｔ１３に分離されて、図１８の点線、実線、１点鎖線で示されるように分離される。図１５の点線で示される、十分に勾配が寝ているような入力信号Ｙ１の場合は、高域信号Ｔ１１、中域信号Ｔ１２、および低域信号Ｔ１３は、それぞれ量子化誤差を含んでいるものの、低域信号Ｔ１３のエネルギーが大きくなり、目に見える量子化ノイズとしては、低域信号Ｔ１３が支配的になる。

このため、低域用処理判定部７２により、低域信号Ｔ１３の傾きを判定させ、傾きＣ２が所定の閾値ｔｈ１２より小さい、すなわち、平滑化信号Ｓ１の変化が小さい場合、低域信号用制御部７５により、低域信号Ｔ１３が、コアリングやレベル制御により信号制御されたＴ１３’が低域制御信号として出力される。

すなわち、傾きＣ２が小さく、平滑化信号に大きな変化が存在しない場合、低域信号Ｔ１３に含まれる小振幅な成分をコアリング、またはレベル制御により擬似輪郭などを低減させることが可能となる。

一方、高域信号Ｔ１１については、平滑化信号Ｓ１の急峻な変化は存在しないため、傾きＣ１が閾値ｔｈ１１よりも小さいと判定され、高域信号制御を実施するように指示する信号は出力されないことになるので、高域信号Ｔ１１が、高域制御信号Ｔ２１としてそのまま出力されることになる。

結果として、出力信号Ｙ２は、図１９の点線で示されるように、多階調化された平滑化信号Ｓ１に対して、低域信号Ｔ１３が削減されたような波形となる。尚、図１９の実線は、入力信号Ｙ１である。量子化ノイズとして支配的であった小振幅の低域信号Ｔ１３が削除されることにより、入力信号Ｙ１に対して、出力信号Ｙ２には、図１９における領域Ａ，Ｂ，Ｃで示されるような特徴的な変化が発生する。

逆に、図２０の実線で示される平滑化信号Ｓ１のように高配が急峻な入力信号Ｙ１の場合、平滑化信号Ｓ１は、多階調化されているが、図２１で示されるように、量子化誤差は差分信号Ｔ１のうち、高域成分であるＴ１１に多く含まれる。尚、図２１においては、図２０の入力信号Ｙ１の場合における、帯域分離部７３により分離された、高域信号Ｔ１１、中域信号Ｔ１２および低域信号Ｔ１３の関係を示しており、点線が、高域信号Ｔ１１を、実線が、中域信号Ｔ１２を、１点鎖線が低域信号Ｔ１３をそれぞれ示している。

したがって、傾きＣ２は大きく、平滑化信号Ｓ１に大きな変化が存在するので、低域信号Ｔ１３がそのまま、低域制御信号Ｔ２２として出力される。

一方、高域信号Ｔ１１については、平滑化信号Ｓ１の急峻な変化が存在するため、傾きＣ１が閾値ｔｈ１１よりも大きいと判定され、高域信号制御を実施するように指示する信号が出力されることになるので、高域信号Ｔ１１に含まれる小振幅な成分がコアリング、またはレベル制御により０または０近傍の値とされて、高域制御信号Ｔ２１として出力されることになる。

結果として、出力信号Ｙ２は、多階調化された平滑化信号Ｓ１（図２０の実線）に近い値となり、滑らかな傾きを再現することが可能となる。

ここで、高域用処理判定部７１および低域用処理判定部７２は、平滑化信号Ｓ１に基づいて、それぞれ傾きＣ１，Ｃ２を求めることにより、高域信号制御および低域信号制御の要否を判定してきたが、平滑化信号Ｓ１に代えて、入力信号Ｙ１で代用するようにしてもよい。

以上によれば、入力信号Ｙ１または平滑化信号Ｓ１の傾きに応じて、支配的な帯域の量子化誤差成分を効果的に除去することにより、画像の鮮鋭度を保ったまま多階調化を実現することが可能となる。

以上においては、入力信号Ｙ１を多階調化した出力信号Ｙ２を生成するようにした多階調化処理装置１の例について説明してきたが、各種信号をそれぞれ増幅してエンハンス処理した出力信号Ｙ２を得るときにも同様の効果を実現させることもできる。

図２２は、各種信号をそれぞれ増幅してエンハンス処理して出力信号Ｙ２を得るようにした多階調化処理装置１の構成を示している。尚、図２２において、図１６と同一の構成については、同一の符号を付しており、その説明は適宜省略するものとする。

図２２において、図１６の多階調化処理装置１と異なるのは、新たに増幅部１５１乃至１５４が設けられている点である。増幅部１５１は、平滑化信号Ｓ１を所定の倍率Ｘ１で増幅して、増幅信号Ａ１として加算部７６に出力する。増幅部１５２は、高域制御信号Ｔ２１を所定の倍率Ｘ２で増幅して、増幅信号Ａ２として加算部７６に出力する。増幅部１５３は、中域信号Ｔ１２を所定の倍率Ｘ３で増幅して、増幅信号Ａ３として加算部７６に出力する。増幅部１５４は、低域制御信号Ｔ２２を所定の倍率Ｘ４で増幅して、増幅信号Ａ４として加算部７６に出力する。

次に、図２３のフローチャートを参照して、図２２の多階調化処理装置１による多階調化処理について説明する。尚、図２３のフローチャートのステップＳ１４１乃至Ｓ１５８，Ｓ１６４の処理は、図１７のフローチャートのステップＳ１０１乃至Ｓ１１８，Ｓ１２０の処理と同様であるので、その説明は省略するものとする。

すなわち、ステップＳ１５９において、増幅部１５１は、平滑化信号Ｓ１を所定の倍率Ｘ１で増幅して、増幅信号Ａ１として加算部７６に出力する。

ステップＳ１６０において、増幅部１５２は、高域制御信号Ｔ２１を所定の倍率Ｘ２で増幅して、増幅信号Ａ２として加算部７６に出力する。

ステップＳ１６１において、増幅部１５３は、中域信号Ｔ１２を所定の倍率Ｘ３で増幅して、増幅信号Ａ３として加算部７６に出力する。

ステップＳ１６２において、増幅部１５４は、低域制御信号Ｔ２２を所定の倍率Ｘ４で増幅して、増幅信号Ａ４として加算部７６に出力する。

ステップＳ１６３において、加算部７６は、増幅信号Ａ１乃至Ａ４を加算して、出力信号Ｙ２を生成して出力する。

以上の処理により、入力信号Ｙ１または平滑化信号Ｓ１の傾きに応じて、支配的な帯域の量子化誤差成分を効果的に除去することにより、画像の鮮鋭度を保ったまま多階調化し、さらにエンハンス処理を加えることが可能となる。

また、図２２における多階調化処理装置１における処理では、加算部７６が、増幅信号Ａ１乃至Ａ４を加算する例について説明してきたが、増幅部１５１乃至１５４の増幅倍率を調整して、差分信号Ｔ１を加算して、出力信号を求めるようにして、エンハンスして差分信号Ｔ１に上乗せする信号のみを帯域別に処理するようにしても良い。

図２４は、エンハンスして差分信号Ｔ１に上乗せする信号を帯域別に処理するようにした多階調化処理装置１の構成例を示している。尚、図２４において、図２２における構成と同一の構成については、同一の符号を付しており、その説明は適宜省略するものとする。

図２４において、図２２の構成と異なるのは、増幅部１５１乃至１５４に代えて、増幅部１７１乃至１７４を設けて、加算部７６に代えて加算部１７５を設けた点である。

増幅部１７１は、平滑化信号Ｓ１を所定の倍率Ｘ１１で増幅して、増幅信号Ａ１１として加算部１７６に出力する。増幅部１７２は、高域制御信号Ｔ２１を所定の倍率Ｘ１２で増幅して、増幅信号Ａ１２として加算部１７５に出力する。増幅部１７３は、中域信号Ｔ１２を所定の倍率Ｘ１３で増幅して、増幅信号Ａ１３として加算部１７５に出力する。増幅部１７４は、低域制御信号Ｔ２２を所定の倍率Ｘ１４で増幅して、増幅信号Ａ１４として加算部１７５に出力する。尚、倍率Ｘ１１乃至Ｘ１４は、差分信号Ｔ１に対して上乗せするエンハンス分のみであるので、いずれも１未満の値である。

加算部１７６は、増幅信号Ａ１１乃至Ａ１４に加えて、差分信号Ｔ１を加算する。

次に、図２５のフローチャートを参照して、図２４の多階調化処理装置１による多階調化処理について説明する。尚、図２５のフローチャートのステップＳ１８１乃至Ｓ１９８，Ｓ２０４の処理は、図１７のフローチャートのステップＳ１０１乃至Ｓ１１８，Ｓ１２０の処理と同様であるので、その説明は省略するものとする。

すなわち、ステップＳ１９９において、増幅部１７１は、平滑化信号Ｓ１を所定の倍率Ｘ１１で増幅して、増幅信号Ａ１１として加算部１７５に出力する。

ステップＳ２００において、増幅部１７２は、高域制御信号Ｔ２１を所定の倍率Ｘ１２で増幅して、増幅信号Ａ１２として加算部１７５に出力する。

ステップＳ２０１において、増幅部１７３は、中域信号Ｔ１２を所定の倍率Ｘ１３で増幅して、増幅信号Ａ１３として加算部１７５に出力する。

ステップＳ２０２において、増幅部１７４は、低域制御信号Ｔ２２を所定の倍率Ｘ１４で増幅して、増幅信号Ａ１４として加算部１７５に出力する。

ステップＳ２０３において、加算部１７５は、増幅信号Ａ１１乃至Ａ１４および差分信号Ｔ１を加算して、出力信号Ｙ２を生成して出力する。

以上の処理により、入力信号Ｙ１または平滑化信号Ｓ１の傾きに応じて、エンハンス処理を加える信号における支配的な帯域の量子化誤差成分を効果的に除去することにより、画像の鮮鋭度を保ったまま多階調化し、さらにエンハンス処理を加えることが可能となる。

以上のように、本発明によれば、限られたビット精度の画像信号から、より階調の細かな画像信号を作り出すことが可能となる。

ところで、上述した一連の画像処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図２６は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

従来の多階調化処理装置の構成例を示すブロック図を説明する図である。 図１の信号制御部におけるコアリングを説明する図である。 図１の信号制御部におけるレベル制御を説明する図である。 非線形平滑化処理部の構成例を説明するブロック図である。 図１の多階調化処理装置による多階調化処理を説明するフローチャートである。 図５の非線形平滑化処理を説明するフローチャートである。 非線形平滑化処理を説明する図である。 図６の非線形フィルタ処理を説明するフローチャートである。 図８の微小エッジ判定処理を説明するフローチャートである。 図９の微小エッジ判定処理を説明する図である。 図９の微小エッジ判定処理を説明する図である。 図９の微小エッジ判定処理を説明する図である。 図１の多階調化処理装置による多階調化処理を説明する図である。 図１の多階調化処理装置による多階調化処理を説明する図である。 図１の多階調化処理装置による多階調化処理を説明する図である。 本発明を適用した多階調化処理装置の構成例を説明する図である。 図１６の多階調化処理装置による多階調化処理を説明するフローチャートである。 図１６の多階調化処理装置による多階調化処理を説明する図である。 図１６の多階調化処理装置による多階調化処理を説明する図である。 図１６の多階調化処理装置による多階調化処理を説明する図である。 図１６の多階調化処理装置による多階調化処理を説明する図である。 その他の多階調化処理装置の構成例を説明する図である。 図２２の多階調化処理装置による多階調化処理を説明するフローチャートである。 さらにその他の多階調化処理装置の構成例を説明する図である。 図２４の多階調化処理装置による多階調化処理を説明するフローチャートである。 パーソナルコンピュータの構成例を説明する図である。

符号の説明

１ 多階調化処理装置， １１ 非線形平滑化処理部， １２ 減算部， １３，１３−１，１３−２ 信号処理部， ７１ 高域用処理判定部， ７２ 低域用処理判定部， ７３ 帯域分離部， ７４ 高域信号制御部， ７５ 低域信号制御部， ７６ 加算部， ９１ バッファ， ９２ 傾き計算部， ９３ 処理判定部， １０１ バッファ， １０２ 傾き計算部， １０３ 処理判定部， １１１ HPF， １１２ BPF， １１３ LPF， １２１，１３１ 選択部

Claims (13)

1. 入力信号を線形または非線形に平滑化して平滑化信号を生成する平滑化手段と、
   前記入力信号より前記平滑化信号を減算して差分信号を生成する減算手段と、
   前記差分信号を少なくとも高域差分信号、中域差分信号、および低域差分信号の３帯域の信号に分離する帯域分離手段と、
   前記平滑化信号の変化率に基づいて、前記高域差分信号への処理の要否を判定する高域信号処理判定手段と、
   前記平滑化信号の変化率に基づいて、前記低域差分信号への処理の要否を判定する低域信号処理判定手段と、
   前記高域信号処理判定手段の判定結果に基づいて、前記高域差分信号の０近傍の値を０に処理し、高域処理信号として出力する高域信号処理手段と、
   前記低域信号処理判定手段の判定結果に基づいて、前記低域差分信号の０近傍の値を０に処理し、低域処理信号として出力する低域信号処理手段と、
   前記高域処理信号、前記低域処理信号、前記中域差分信号、および平滑化信号を加算して出力信号を生成する出力信号生成手段と
   を含む画像処理装置。
2. 前記帯域分離手段は、少なくともHPF、BPF、およびLPFを含み、前記HPF、BPF、およびLPFにより、前記差分信号を少なくとも高域差分信号、中域差分信号、および低域差分信号の３帯域の信号に分離する
   請求項１に記載の画像処理装置。
3. 前記高域信号処理判定手段は、
   前記平滑化信号の傾きを前記変化率として計算する傾き計算手段と、
   前記平滑化信号の傾きと所定の閾値との比較により、前記平滑化信号の傾きが所定の閾値より大きい場合、前記高域差分信号への処理が必要であると判定する高域判定手段とを含む
   請求項１の画像処理装置。
4. 前記高域信号処理手段は、
   コアリング、またはレベル制御により、前記高域差分信号の０近傍の値を０に処理して出力する高域処理手段と、
   前記高域判定手段の判定結果に基づいて、前記高域処理手段により処理された高域差分信号、または、前記高域処理手段により処理されていない高域差分信号のいずれかを、高域処理信号として選択する高域選択手段とを含む
   請求項３の画像処理装置。
5. 前記高域選択手段は、
   前記高域信号処理判定手段により処理が必要であると判定された場合、前記高域処理手段により処理された高域差分信号を前記高域処理信号として選択し、
   前記高域信号処理判定手段により処理が必要であると判定されなかった場合、前記高域処理手段により処理されていない高域差分信号を前記高域処理信号として選択する
   請求項４に記載の画像処理装置。
6. 前記低域信号処理判定手段は、
   前記平滑化信号の傾きを前記変化率として計算する傾き計算手段と、
   前記平滑化信号の傾きと所定の閾値との比較により、前記平滑化信号の傾きが所定の閾値より小さい場合、前記低域差分信号への処理が必要であると判定する低域判定手段とを含む
   請求項１の画像処理装置。
7. 前記低域信号処理手段は、
   コアリング、またはレベル制御により、前記低域差分信号の０近傍の値を０に処理して出力する低域処理手段と、
   前記低域判定手段の判定結果に基づいて、前記低域処理手段により処理された低域差分信号、または、前記低域処理手段により処理されていない高域差分信号のいずれかを、高域処理信号として選択する低域選択手段とを含む
   請求項６の画像処理装置。
8. 前記低域選択手段は、
   前記低域信号処理判定手段により処理が必要であると判定された場合、前記低域処理手段により処理された低域差分信号を前記低域処理信号として選択し、
   前記低域信号処理判定手段により処理が必要であると判定されなかった場合、前記低域処理手段により処理されていない低域差分信号を前記低域処理信号として選択する
   請求項７に記載の画像処理装置。
9. 前記高域処理信号、前記低域処理信号、前記中域差分信号、および平滑化信号をそれぞれ増幅する増幅手段をさらに含む
   請求項１に記載の画像処理装置。
10. 前記高域処理信号、前記低域処理信号、前記中域差分信号、および平滑化信号をそれぞれ増幅する増幅手段をさらに含み、
    前記出力信号生成手段は、前記増幅手段によりそれぞれ増幅された前記高域処理信号、前記低域処理信号、前記中域差分信号、および平滑化信号に加えて、前記差分信号を加算して出力信号を生成する
    請求項１に記載の画像処理装置。
11. 入力信号を線形または非線形に平滑化して平滑化信号を生成する平滑化ステップと、
    前記入力信号より前記平滑化信号を減算して差分信号を生成する減算ステップと、
    前記差分信号を少なくとも高域差分信号、中域差分信号、および低域差分信号の３帯域の信号に分離する帯域分離ステップと、
    前記平滑化信号の変化率に基づいて、前記高域差分信号への処理の要否を判定する高域信号処理判定ステップと、
    前記平滑化信号の変化率に基づいて、前記低域差分信号への処理の要否を判定する低域信号処理判定ステップと、
    前記高域信号処理判定ステップの処理での判定結果に基づいて、前記高域差分信号の０近傍の値を０に処理し、高域処理信号として出力する高域信号処理ステップと、
    前記低域信号処理判定ステップの処理での判定結果に基づいて、前記低域差分信号の０近傍の値を０に処理し、低域処理信号として出力する低域信号処理ステップと、
    前記高域処理信号、前記低域処理信号、前記中域差分信号、および平滑化信号を加算して出力信号を生成する出力信号生成ステップと
    を含む画像処理方法。
12. 入力信号を線形または非線形に平滑化して平滑化信号を生成する平滑化ステップと、
    前記入力信号より前記平滑化信号を減算して差分信号を生成する減算ステップと、
    前記差分信号を少なくとも高域差分信号、中域差分信号、および低域差分信号の３帯域の信号に分離する帯域分離ステップと、
    前記平滑化信号の変化率に基づいて、前記高域差分信号への処理の要否を判定する高域信号処理判定ステップと、
    前記平滑化信号の変化率に基づいて、前記低域差分信号への処理の要否を判定する低域信号処理判定ステップと、
    前記高域信号処理判定ステップの処理での判定結果に基づいて、前記高域差分信号の０近傍の値を０に処理し、高域処理信号として出力する高域信号処理ステップと、
    前記低域信号処理判定ステップの処理での判定結果に基づいて、前記低域差分信号の０近傍の値を０に処理し、低域処理信号として出力する低域信号処理ステップと、
    前記高域処理信号、前記低域処理信号、前記中域差分信号、および平滑化信号を加算して出力信号を生成する出力信号生成ステップと
    を含む処理をコンピュータに実行させるプログラム。
13. 請求項１２に記載のプログラムが格納されているプログラム格納媒体。

Images