JP2014036380A - 画像強調装置、画像強調方法 - Google Patents

Abstract

【課題】ナイキスト周波数を超える周波数成分により画像を先鋭化する。
【解決手段】本発明に係る画像強調装置１は、入力画像を鮮鋭化した出力画像を生成する画像強調装置１であって、前記入力画像を表す入力画像信号に含まれる周波数成分の少なくとも直流成分を除去することにより第１信号を生成するフィルタ部１０と、前記第１信号に対して前記第１信号の正負で非対称となる非線形処理を行い第２信号を生成する非線形処理部２０と、前記第２信号を調整して第３信号を生成するリミッタ３０と、前記第３信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成する加算部５０と、を備える。
【選択図】図１

Description

本発明は、画像を鮮鋭化して画質を改善するための画像強調装置及び画像強調方法に関し、例えばテレビジョン（ＴＶ）受像機でリアルタイムに表示される動画の鮮鋭化に好適な画像強調装置及び画像強調方法に関する。

画像を鮮鋭化して画質を改善するための画像強調処理は、従来より広く知られている。例えば、従来のテレビジョン受像機において、表示される画像の輪郭部に相当する映像信号の立ち上がりや立ち下がりを急にする輪郭補償が行われている。この輪郭補償では、入力画像信号（輝度信号）の高周波成分を抽出し、その高周波成分を増幅して入力画像信号に加算することにより、視覚上の画質を向上させている。図１２は、従来の画像強調処理による画像の信号レベルの波形変化を示す図である。図１２（Ａ）は、入力画像信号の水平方向の信号レベルの波形を示す図であり、特に、水平方向に信号レベルが変化するエッジに相当する部分の波形を示す図である。図１２（Ｂ）は、入力画像信号から抽出された高周波成分であり、この高周波成分を増幅して入力画像信号に加算することにより、図１２（Ｃ）に示すエッジの立ち上がり変化が急となった出力画像信号を得ることができる。

また、近年、特に入力画像をより高解像度の出力画像にアップコンバートし、当該アップコンバートした画像の強調処理を行う超解像と呼ばれる技術も提案されている（例えば、非特許文献１参照）。

S. Farsiu, D. Robinson, M. Elad, and P. Milanfar, "Fast and Robust Multi-frame Super-resolution", IEEE Transactions on Image Processing, vol. 13, no. 10, pp. 1327-1344, October 2004.

従来の画像強調処理は、線形のデジタル信号処理に基づくものであることから、ナイキスト周波数よりも高い周波数成分、すなわち対象となる画像のサンプリング周波数の１／２よりも高い周波数成分を生成することができない。このため、画質改善のために、ナイキスト周波数を超える周波数成分を生成、利用して画像を鮮鋭化することはできなかった。

例えば、フルハイビジョン（ＨＤＴＶ：High Definition Television、１０８０×１９２０画素)のテレビジョン受信機で、解像度がＨＤＴＶに満たない画像信号を拡大表示する場合には、画像がぼやけて表示される。また、ＨＤＴＶの解像度を持つ画像信号をより高精細な解像度（例えば４０００×２０００画素程度の４Ｋ解像度）に拡大した場合も同様に画像がぼやけて表示される。このように画像がぼやける原因は、拡大処理後の画像信号には、拡大前の元画像のナイキスト周波数までの周波数成分しか含まれておらず、拡大後の画像のナイキスト周波数近傍の周波数成分が含まれていないためである。

以下、画像の拡大、強調処理による周波数成分の変化を図１３により説明する。図１３（Ａ）は、サンプリング周波数がｆｓであるデジタル画像信号の周波数スペクトルを示し、図１３（Ｂ）は、このデジタル画像信号をアップコンバートして画素数を水平方向に２倍に拡大した場合の周波数スペクトルである。拡大処理後のサンプリング周波数Ｆｂｓは元のサンプリング周波数ｆｓの２倍となる（Ｆｓｂ＝２・ｆｓ）。ここで、図１３（Ｂ）に示すとおり、アップコンバート後のデジタル画像信号においては、元のサンプリング周波数ｆｓに対応するナイキスト周波数ｆｓ／２と、新たなサンプリング周波数Ｆｂｓに対応する新たなナイキスト周波数Ｆｂｓ／２＝ｆｓとの間には、周波数成分が存在しない。

図１３（Ｃ）は、アップコンバート後のデジタル画像信号に対し、従来の線形デジタル信号処理による画像強調処理を行った場合の周波数スペクトルを示している。図示の通り、線形デジタル信号処理による画像強調処理により、元のナイキスト周波数ｆｓ／２近傍の周波数成分は増大している。しかし、従来の線形デジタル信号処理による画像強調処理では、元のナイキスト周波数ｆｓ／２を超える周波数成分が生成されることはない。そのため、従来の線形デジタル信号処理による画像強調処理では、例えば図１３（Ｄ）に例示するように、元のナイキスト周波数ｆｓ／２を超えて、新たなナイキスト周波数Ｆｂｓ／２近傍の周波数成分が生成されることはない。すなわち、アップコンバート後のデジタル画像信号に対し、画質改善のために、ナイキスト周波数を超える周波数成分を生成、利用して画像を鮮鋭化することはできなかった。

また、非特許文献１などに記載の従来の超解像技術は、サンプリング周波数が同じ複数のフレームに繰り返し演算処理を施し、各フレームから解像度の高い画素を選択して合成することにより画像強調処理を行うものである。そのため、画像によっては正しく復元できないことがあるため、動画では破綻画像が突然現れたりするようなチラつきが発生する可能性があり、また、複数フレームを使っての演算の処理量が非常に重いという問題があった。

そこで本発明は、複数フレームに対する繰り返し演算なしで、ナイキスト周波数を超える周波数成分により画像を先鋭化することが可能な画像強調装置及び画像強調方法を提供することを目的とする。

上述した諸課題を解決すべく、本発明に係る画像強調装置は、入力画像を鮮鋭化した出力画像を生成する画像強調装置であって、前記入力画像を表す入力画像信号に含まれる周波数成分の少なくとも直流成分を除去することにより第１信号を生成するフィルタ部と、前記第１信号に対して前記第１信号の正負で非対称となる非線形処理を行い第２信号を生成する非線形処理部と、前記第２信号を調整して第３信号を生成するリミッタと、前記第３信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成する加算部と、を備える。

また、切替器を備え、前記非線形処理部は、前記第１信号に前記第１信号の正負で非対称となる非線形処理を複数種類行い複数種類の第２信号を生成し、前記切替器は、前記入力画像信号の信号レベルに応じて、画素毎に前記複数種類の第２信号から１つの第２信号を選択して第４信号を生成し、前記リミッタは、前記第４信号を調整して前記第３信号を生成する、ことが好ましい。

また、前記切替器は、前記信号レベルが所定値以下の画素について、前記複数種類の第２信号から、前記第１信号の正領域での変化率が大きい第２信号を選択して前記第４信号を生成する、ことが好ましい。

また、前記切替器は、前記信号レベルが所定値より高い画素について、前記複数種類の第２信号から、前記第１信号の負領域での変化率が大きい第２信号を選択して前記第４信号を生成する、ことが好ましい。

また、切替器を備え、前記切替器は、前記入力画像信号の信号レベルに応じて、画素毎に前記第１信号又は前記第２信号の一方を選択して第４信号を生成し、前記リミッタは、前記第４信号を調整して前記第３信号を生成する、ことが好ましい。

また、前記切替器は、前記信号レベルが所定の上限及び下限の範囲に含まれる画素について、前記第２信号を選択して前記第４信号を生成する、ことが好ましい。

また、前記入力画像信号の各画素について、周囲の画素を含む所定エリアの平均信号レベルを算出するエリアフィルタを備え、前記切替器は、前記各画素の前記平均信号レベルに基づき前記第４信号を生成する、ことが好ましい。

上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当し、装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。

例えば、本発明を方法として実現した画像強調方法は入力画像を鮮鋭化した出力画像を生成する画像強調装置における画像強調方法であって、前記画像強調装置による処理手順が、前記入力画像を表す入力画像信号に含まれる周波数成分の少なくとも直流成分を除去することにより第１信号を生成するステップと、前記第１信号に対して前記第１信号の正負で非対称となる非線形処理を行い第２信号を生成する非線形処理ステップと、前記第２信号を調整して第３信号を生成する調整ステップと、前記第３信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成するステップと、を含む。

また、切替ステップをさらに含み、前記非線形処理ステップにおいて、前記第１信号に前記第１信号の正負で非対称となる非線形処理を複数種類行い複数種類の第２信号を生成し、前記切替ステップにおいて、前記入力画像信号の信号レベルに応じて、画素毎に前記複数種類の第２信号から１つの第２信号を選択して第４信号を生成し、前記調整ステップにおいて、前記第４信号を調整して前記第３信号を生成する、ことが好ましい。

また、前記切替ステップにおいて、前記信号レベルが所定値以下の画素について、前記複数種類の第２信号から、前記第１信号の正領域での変化率が大きい第２信号を選択して前記第４信号を生成する、ことが好ましい。

また、前記切替ステップにおいて、前記信号レベルが所定値より高い画素について、前記複数種類の第２信号から、前記第１信号の負領域での変化率が大きい第２信号を選択して前記第４信号を生成する、ことが好ましい。

また、切替ステップをさらに含み、前記切替ステップにおいて、前記入力画像信号の信号レベルに応じて、画素毎に前記第１信号又は前記第２信号の一方を選択して第４信号を生成し、前記調整ステップは、前記第４信号を調整して前記第３信号を生成する、ことが好ましい。

また、前記切替ステップにおいて、前記信号レベルが所定の上限及び下限の範囲に含まれる画素について、前記第２信号を選択して前記第４信号を生成する、ことが好ましい。

また、前記入力画像信号の各画素について、周囲の画素を含む所定エリアの平均信号レベルを算出するステップをさらに含み、前記切替ステップにおいて、前記各画素の前記平均信号レベルに基づき前記第４信号を生成する、ことが好ましい。

本発明に係る画像強調装置及び画像強調方法によれば、複数フレームに対する繰り返し演算なしで、ナイキスト周波数を超える周波数成分により画像を先鋭化することが可能となる。

第１実施形態に係る画像強調装置の構成を示す図である。 第１実施形態に係る画像の水平方向の信号レベルの波形を示す図である。 高域通過フィルタの構成の一例を示す図である。 低域通過フィルタにより構成した高域通過フィルタの一例を示す図である。 第１実施形態に係る非対称非線形処理を示す図である。 第２実施形態に係る画像強調装置の構成を示す図である。 第２実施形態に係る画像の水平方向の信号レベルの波形を示す図である。 第２実施形態に係る非対称非線形処理を示す図である。 第３実施形態に係る画像強調装置の構成を示す図である。 第４実施形態に係る画像の水平方向の信号レベルの波形を示す図である。 第４実施形態に係る非対称非線形処理を示す図である。 従来の画像強調処理による画像の信号レベルの波形変化を示す図である。 画像の拡大、強調処理による周波数成分の変化を示す図である。

以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。

（第１実施形態）
図１は、本発明の第１実施形態に係る画像強調装置１の構成を示すブロック図である。この画像強調装置１は、画像を表すデジタル信号として外部から入力される入力画像信号Ｓ_ｉｎに対し、その入力画像信号Ｓ_ｉｎの表す画像を鮮鋭化するための処理（以下「画像強調処理」または単に「強調処理」という）を施す装置であって、高域通過フィルタ（ＨＰＦ）１０と、非線形処理部２０と、リミッタ３０と、加算器５０とを備えている。

入力画像信号Ｓ_ｉｎの表す画像は、静止画であってもよいし動画であってもよく、入力画像信号Ｓ_ｉｎが動画を表す場合、その動画は、例えば標準画質テレビジョン（ＳＤＴＶ：Standard Definition Television）または高精細テレビジョン（ＨＤＴＶ：High Definition Television）の受像機においてリアルタイムで表示される動画であってもよい。

以下、図２に示す画像の水平方向の信号レベル（輝度値）の波形を例に、各構成部の動作及び出力される波形の説明を行う。なお、以下の説明では、画像の水平方向の信号レベルの波形について各構成部の説明を行うが、画像の垂直方向の信号レベルの波形や、動画像における画像間の時間方向の信号レベルの波形についても、各構成部は水平方向と同等の処理で画像強調処理を行うことが可能である点に留意されたい。

図２（Ａ）は、入力画像信号Ｓ_ｉｎの水平方向の信号レベルの波形を示す図であり、特に、水平方向に信号レベルが変化するエッジに相当する部分の波形を示す図である。なお、入力画像信号Ｓ_ｉｎの解像度は、出力画像信号Ｓ_ｏｕｔの解像度に対応するものであり、出力画像の解像度が元の入力画像の解像度より高い場合、入力画像信号Ｓ_ｉｎは、元の入力画像の解像度を出力画像信号Ｓ_ｏｕｔの解像度にアップコンバートしたものである。例えば、画像強調装置１によりＳＤＴＶの画像をＨＤＴＶの画像として出力する場合、入力画像信号Ｓ_ｉｎは、元のＳＤＴＶの画像を既存の線形変換によりＨＤＴＶの解像度に変換した信号となる。

ＨＰＦ１０は、入力画像信号Ｓ_ｉｎに含まれる周波数成分の少なくとも直流成分を除去することにより高周波信号である第１信号Ｓ１を生成する。具体的には、ＨＰＦ１０は、入力画像信号Ｓ_ｉｎの表す画像における輪郭成分を含む高周波成分を抽出し、図２（Ａ）の入力画像信号Ｓ_ｉｎから、図２（Ｂ）の第１信号Ｓ１を抽出する。

図３は、このＨＰＦ１０の構成を示すブロック図である。図３の通り、ＨＰＦ１０は、ｍ−１個の単位遅延素子１１１〜１１（ｍ−１）と、ｍ個の乗算器１２１〜１２ｍと、１個の加算器１３１とから構成されるｍタップ（ｍは３以上）のトランスバーサル型のデジタルフィルタとして構成することができる。この場合、各乗算器１２ｊ（ｊ＝１〜ｍ、以下同じ）は、入力される信号に係数Ｃｊを乗算してその結果を加算器１３１に出力し、係数Ｃｊは、ＨＰＦ１０が、輪郭成分を含む高周波成分を抽出するように設定されている（例えば、ｍ＝３、Ｃ１＝０．５、Ｃ２＝−１、Ｃ３＝０．５）。なお、一般に、高域通過フィルタを実現するよりも低域通過フィルタを実現する方が容易である。図４は、低域通貨フィルタにより構成した高域通過フィルタの一例を示す図である。図４の通り、低域通過フィルタ（以下「ＬＰＦ」という）１１と減算器１２を用いた構成により、図１に示すＨＰＦ１０を実現することができる。

非線形処理部２０は、第１信号Ｓ１に対して、第１信号Ｓ１の正負で非対称となる非線形処理を行い第２信号Ｓ２を生成する。第１信号Ｓ１は、図２（Ｂ）に示すように正方向の輪郭成分と負方向の輪郭成分とを含むものである。ここで、第１信号Ｓ１の正方向及び負方向は、画素的にはそれぞれ白方向及び黒方向となり、両方向について同じ（対称的な）非線形処理を適用するのではなく、異なる（非対称となる）非線形処理を適用することにより、より人間の視覚特性にあったエッジ強調が可能となる。すなわち、非線形処理部２０は、第１信号Ｓ１の正方向の輪郭成分と、負方向の輪郭成分とに異なる（非対称となる）非線形処理を行うものである。これ以降、第１信号Ｓ１の正負で非対称となる非線形処理を、「非対称非線形処理」と称するものとする。

非線形処理部２０による非対称非線形処理は、第１信号Ｓ１の原点（値がゼロとなる点）を中心に、正の領域に適用する非線形処理と負の領域に適用する非線形処理との値が連続している限り、あらゆる非線形処理を組み合わせることができる。本実施形態において、非線形処理部２０は、例えば図５に示すとおり、第１信号Ｓ１が正の場合には、第１信号Ｓ１を３乗して第２信号Ｓ２を生成し（Ｓ２＝Ｓ１^３）、第１信号Ｓ１が負の場合には、第１信号Ｓ１を２乗して符号を負としたものを第２信号Ｓ２として生成する（Ｓ２＝−Ｓ１^２）ものとする。図２（Ｃ）は、非線形処理部２０による非対称非線形処理による第２信号Ｓ２の波形を示す図である。図示の通り、第２信号Ｓ２は、正の波形が大きく増幅されることになる。

非線形処理部２０が第１信号Ｓ１の正負で非対称となる非線形処理を行うことにより、後述する通り、人間の知覚特性に合った画像強調処理が可能になる。例えば、人間の感覚に基づく法則として、ヴェーバー‐フェヒナーの法則が知られている。この法則を画像認識に当てはめると、輝度が低い領域における輪郭は、輝度が高い領域における輪郭に比べて知覚されやすいといえる。そのため、例えば、非線形処理部２０は、信号レベル（輝度）が低い画素に対して非線形処理部２０の処理を適用することにより、第１信号Ｓ１におけるエッジ強調成分を増幅することが可能となる。

なお、非線形処理部２０による非対称非線形処理は、２乗処理及び３乗処理の組み合わせに限定されず、他の非線形処理を行うことが可能である。例えば、第１信号Ｓ１の正負各領域での非線形処理は、式（１）により表現することができる。各処理部による非線形処理は、p/qで表される一般的な有理数の指数乗をすべて包含する。なお、かかる冪乗処理においては、第１信号Ｓ１の正負は維持されるものであり、例えば、冪乗処理として偶数乗（例えば２乗）を行う場合でも、第１信号Ｓ１が負の場合には、冪乗処理後の値の符号は負に維持される（例えば、Ｓ２＝−Ｓ１^２）。

さらに、非線形処理部２０は、非対称非線形処理について、三角関数（例えばＳ２＝Ｓｉｎ（Ｓ１））、対数関数（例えばＳ２＝ｌｏｇ（｜Ｓ１｜＋１））、ガンマ補正関数（例えばＳ２＝Ｓ１^１／２）など、種々の非線形関数を適宜組み合わせて利用することができる。

また、非線形処理部２０は、予め第１信号Ｓ１の信号レベル毎の加算値をテーブルなどで保持しておき、例えば、最小値０から最大値２５５までの値をとる８ビットの信号レベルである場合、第１信号Ｓ１の信号レベルに応じて±１０の範囲の値を加算するなど、式（１）に示す一般式によらない非線形処理を行うことも可能である。

リミッタ３０は、第２信号Ｓ２の振幅（信号レベル）の調整器として機能するものであり、第２信号Ｓ２を調整して第３信号Ｓ３を生成する。具体的には、第２信号Ｓ２の振幅が所定の上限値以下となるようにクリップ処理を行ったり、第２信号Ｓ２に０≦α＜１となる定数αを乗算することにより当該第２信号Ｓ２のレベルのゲイン調整を行う。また、リミッタ３０は、ノイズ除去のため、第２信号Ｓ２における所定の下限値以下の信号値を０とする丸め処理を行うこともできる。リミッタ３０は、クリップ処理、ゲイン調整、丸め処理などを行った第２信号Ｓ２を第３信号Ｓ３として加算器５０に出力する。

加算器５０は、第３信号Ｓ３を画像の鮮鋭化のための補償用信号として入力画像信号Ｓ_ｉｎに加算することにより出力画像信号Ｓ_ｏｕｔを生成する。すなわち、Ｓ_ｏｕｔ＝Ｓ_ｉｎ＋Ｓ３であり、図２（Ａ）の入力画素信号に図２（Ｃ）の第２信号Ｓ２を調整した第３信号Ｓ３を加算することにより、図２（Ｄ）に示す画像強調処理後の信号を生成する。この出力画像信号Ｓ_ｏｕｔにおけるエッジ部の立ち上がり変化は、入力画像信号Ｓ_ｉｎのエッジ部の立ち上がり変化よりも急になる。即ち、入力画像信号Ｓ_ｉｎよりも鮮鋭な画像を得ることができる。なお、加算器５０は、入力画像信号Ｓ_ｉｎと第３信号Ｓ３との間でタイミングを調整するための遅延素子を必要に応じて備えるものである。

本実施形態に係る画像強調装置１は、従来の画像強調装置では補償できなかったナイキスト周波数ｆｓ／２を越える高周波域の補償も可能であることから、拡大処理の施された画像信号の表す画像の鮮鋭化による画質向上において特に効果を奏する。以下、非線形処理部２０による非線形処理により、ナイキスト周波数ｆｓ／２を越える高周波域の補償が可能となる点について更に詳しく説明する。

いま、入力画像信号Ｓ_ｉｎが（水平方向）位置ｘの関数ｆ(ｘ)で表現されるものとし、入力画像信号Ｓ_ｉｎの基本角周波数をωとすると、このｆ(ｘ)は式（２）のようなフーリエ級数で表現することができる。

ここで、Ｎは、（画像拡大処理前の）サンプリング周波数ｆｓに対応するナイキスト周波数ｆｓ／２を越えない最高周波数の高調波の次数である。すなわち、
Ｎω／（２π）＜ｆｓ／２≦（Ｎ＋１）ω／（２π）
である。

上記式（２）より、関数ｆ(ｘ)で表される入力画像信号Ｓ_ｉｎ（以下「入力信号ｆ(ｘ)」ともいう）の直流成分ａ₀以外の部分をｇ(ｘ)とおくと、ｇ（ｘ）は式（３）で表すことができる。

ＨＰＦ１０から出力される第１信号Ｓ１は、上記信号ｇ(ｘ)または信号ｇ(ｘ)の高周波成分を含んでおり、第１信号Ｓ１は、非線形処理部２０により、第１信号Ｓ１の正負で非対称となる非線形処理を施される。

例えば、非線形処理部２０が、正の第１信号Ｓ１を３乗することにより、第２信号Ｓ２を生成する場合、第２信号Ｓ２における各項は下記式（４ａ）〜（４ｄ）のいずれかで表現される。

（ｉ＝±１，±２，…，±Ｎ；ｊ＝±１，±２，…，±Ｎ；ｋ＝±１，±２，…，±Ｎ）

いま、例えばｉ＝ｊ＝ｋ＝Ｎの項のうち上記式（４ａ）（４ｄ）で示される下記の項に着目すると、これらの項は、三角関数の公式より次のように書き換えることができる。

また、例えばｉ＝ｊ＝ｋ＝−Ｎの項のうち上記式（４ａ）（４ｄ）で示される下記の項に着目すると、この項は、三角関数の公式より次のように書き換えることができる。

上記式（５ａ）（５ｄ）（６ａ）（６ｄ）より、（ｇ(ｘ)）³は、基本角周波数ωの３Ｎ倍の周波数成分や−３Ｎ倍の周波数成分を含む。（ｇ(ｘ)）³における他の項についても三角関数の公式によって書き換えることにより、（ｇ(ｘ)）³は、基本角周波数ωの−３Ｎ倍から３Ｎ倍までの種々の周波数成分を含むことがわかる。

また、非線形処理部２０が、負の第１信号Ｓ１を２乗して符号をマイナスにすることにより、第２信号Ｓ２を生成する場合、第２信号Ｓ２における各項は下記式（７ａ）〜（７ｃ）のいずれかで表現される。

（ｉ＝±１，±２，…，±Ｎ；ｊ＝±１，±２，…，±Ｎ）

三角関数に関する公式を用いると、上記式（７ａ）〜（７ｃ）は、下記の式（８ａ）〜（８ｃ）にそれぞれ書き直すことができる。

上記式より（ｇ(ｘ)）²は、（Ｎ＋１）ω，（Ｎ＋２）ω，…，２Ｎω等の角周波数成分を含むので、ナイキスト周波数ｆｓ／２よりも高い周波数成分を含む。このため、第２信号Ｓ２も、周波数２Ｎω／（２π）という高調波成分等のようにナイキスト周波数ｆｓ／２よりも高い周波数成分を含む。

したがって、画素数を水平方向に２倍にする画像拡大処理が施された後の画像信号が入力画像信号Ｓ_ｉｎとして本実施形態の画像強調装置１に入力されると、ＨＰＦ１０を経て、非線形処理部２０の処理により、画像拡大処理前のナイキスト周波数ｆｓ／２よりも高い周波数成分を含む第２信号Ｓ２が生成される。リミッタ３０が出力する第３信号Ｓ３にも、画像拡大処理前のナイキスト周波数ｆｓ／２よりも高い周波数成分は含まれる。このため、入力画像信号Ｓ_ｉｎと補償用信号である第３信号Ｓ３とを加算した出力画像信号Ｓ_ｏｕｔにも、同様に画像拡大処理前のナイキスト周波数ｆｓ／２よりも高い周波数成分が含まれる。その結果、出力画像信号Ｓ_ｏｕｔの周波数スペクトルは、例えば図１３（Ｄ）に示すように、元のナイキスト周波数ｆｓ／２を超え、新たなナイキスト周波数Ｆｂｓ／２近傍の周波数成分が生成されたものとなる。

このように、本実施形態によれば、非線形処理部２０は、第１信号Ｓ１に非対称非線形処理を行い第２信号Ｓ２を生成し、リミッタ３０は、第２信号Ｓ２を調整して第３信号Ｓ３を生成し、加算器５０は、第３信号を入力画像信号Ｓ_ｉｎに加算して出力画像を表す出力画像信号Ｓ_ｏｕｔを生成する。これにより、複数フレームに対する繰り返し演算なしで、ナイキスト周波数を超える周波数成分により画像を先鋭化することが可能となる。

より詳しくは、非線形処理部２０における非線形処理により、入力画像信号Ｓ_ｉｎが有する周波数成分の高調波成分等のナイキスト周波数ｆｓ／２を越える高周波成分が生成され、この高周波成分を利用して、入力画像信号Ｓ_ｉｎに対し鮮鋭化のための処理が施される。すなわち、サンプリング周波数がｆｓであるデジタル画像信号から画像拡大処理によってサンプリング周波数Ｆｂｓ＝２ｆｓの画像信号を生成し、この画像信号を入力画像信号Ｓ_ｉｎとして使用するものとすると、非線形処理部２０の処理に基づき、元のサンプリング周波数ｆｓに対応するナイキスト周波数ｆｓ／２よりも高い周波数成分を含む第３信号Ｓ３が補償用信号として生成され、この第３信号Ｓ３が入力画像信号Ｓ_ｉｎに付加される。これにより、本実施形態における出力画像信号Ｓ_ｏｕｔの周波数スペクトルは図１３（Ｄ）に示すようになり、拡大処理前のナイキスト周波数ｆｓ／２を超える成分を含み、従来の画像強調装置に比べ、拡大処理後の画像を十分に鮮鋭化できるようになる。

また、図１に示す簡単な構成で本実施形態に係る画像強調装置１を実現できるので、この画像強調装置１を高精細テレビジョン（ＨＤＴＶ)や標準画質テレビジョン（ＳＤＴＶ）の受像機等に利用することにより、静止画のみならずリアルタイムで表示される動画についても、大きなコスト増を招くことなく画質を改善することができる。

また本実施形態は、従来の画像強調装置では補償できなかったナイキスト周波数ｆｓ／２を越える高周波域の補償も可能であることから、特に、拡大処理の施された画像信号の表す画像の鮮鋭化による画質向上において特に効果を奏する。例えば高精細テレビジョン（ＨＤＴＶ)の受信機のディスプレイで、標準画質テレビジョン（ＳＤＴＶ：Standard Definition Television）の画像信号に拡大処理を施して画像を表示する場合に、本実施形態は、リアルタイムで表示される動画を簡単な構成で十分に鮮鋭化できるという点で大きな効果を奏する。また、現在、ＨＤＴＶの画素数よりも多い４０００×２０００程度の画素数のディスプレイ（以下「４ｋディスプレイ」という）やそれに対応したテレビジョン放送のための技術開発が行われており、ＨＤＴＶ用の画像信号をアップコンバートしてこの４ｋディスプレイで表示する場合にも、本実施形態は同様の点で大きな効果を奏する。

（第２実施形態）
図６は、本発明の第２実施形態に係る画像強調装置２の構成を示すブロック図である。この画像強調装置２は、高域通過フィルタ（ＨＰＦ）１０と、非線形処理部２３と、切替器４０と、リミッタ３１と、加算器５０とを備えている。以下、図７に示す画像の水平方向の信号レベル（輝度値）の波形を例に、各構成部の動作及び出力される波形の説明を行う。なお、第１実施形態と同一の符号を付した機能部については、第１実施形態と同等の処理を行うものとして本実施形態での詳細な説明を省略する。例えば、ＨＰＦ１０は、第１実施形態と同様に、図７（Ａ）の入力画像信号Ｓ_ｉｎの高周波成分を抽出して図７（Ｂ）に示す第１信号Ｓ１を生成する。

非線形処理部２３は、第１信号Ｓ１に複数種類の非対称非線形処理を行い複数種類の第２信号を生成するものである。本実施形態に係る非線形処理部２３は、第１処理部２１及び第２処理部２２を備え、第１処理部２１及び第２処理部２２は、それぞれ異なる非対称非線形処理を行うものである。

例えば、第１処理部２１は、図８（Ａ）に示すとおり、第１信号Ｓ１が正の場合には、第１信号Ｓ１を３乗して第２信号Ｓ２１を生成し（Ｓ２１＝Ｓ１^３）、第１信号Ｓ１が負の場合には、第１信号Ｓ１を２乗して符号を負としたものを第２信号Ｓ２１として生成する（Ｓ２１＝−Ｓ１^２）ものとする。図７（Ｃ１）は、第１処理部２１による非対称非線形処理による第２信号Ｓ２１の波形を示す図である。図示の通り、第２信号Ｓ２１は、正の波形が負の波形に比べて大きく増幅されることになる。これにより、例えば、信号レベル（輝度）が低い画素に対して第１処理部２１の処理を適用することにより、第１信号Ｓ１におけるエッジの成分を強調することが可能となる。

また、例えば、第２処理部２２は、図８（Ｂ）に示すとおり、第１信号Ｓ１が正の場合には、第１信号Ｓ１を２乗して第２信号Ｓ２２を生成し（Ｓ２２＝Ｓ１^２）、第１信号Ｓ１が負の場合には、第１信号Ｓ１を３乗したものを第２信号Ｓ２２として生成する（Ｓ２２＝Ｓ１^３）ものとする。図７（Ｃ２）は、第２処理部２２による非対称非線形処理による第２信号Ｓ２２の波形を示す図である。図示の通り、第２信号Ｓ２２は、負の波形が正の波形に比べて大きく増幅されることになる。これにより、例えば、信号レベル（輝度）が高い画素に対して第２処理部２２の処理を適用することにより、増幅による値の飽和・発散を防ぎ、かつ、輝度レベルが低い画素について第１信号Ｓ１におけるエッジの成分を強調することが可能となる。

切替器４０は、入力画像信号Ｓ_ｉｎの信号レベルに応じて、画素毎に複数種類の第２信号（Ｓ２１、Ｓ２２）から１つの第２信号を選択して、第４信号Ｓ４を生成する。ここで、上述の通り、輝度が低い領域における輪郭は、輝度が高い領域における輪郭に比べて知覚されやすい。つまり、人間の視覚特性に基づき、各画素の信号レベル（輝度）に応じて、正方向（白方向）のエッジに対する制御と、負方向（黒方向）のエッジに対する制御とを切り替えることが好ましい。そのため、輝度が低い領域の輪郭をより強調するため、切替器４０は、信号レベル（輝度）の低い画素は、第１信号Ｓ１の正領域での変化率の大きい第１処理部２１による第２信号Ｓ２１を第４信号Ｓ４として選択する。また、切替器４０は、信号レベル（輝度）の高い画素は、増幅による値の飽和・発散を防ぎ、かつ、輝度レベルが低い画素のエッジ成分を強調するため、第１信号Ｓ１の負領域での変化率の大きい第２処理部２２による第２信号Ｓ２２を第４信号Ｓ４として選択する。例えば、切替器４０は、入力画像信号Ｓ_ｉｎが８ビットの信号とすると、信号レベルが０〜１２７の画素については、第１処理部２１からの第２信号Ｓ２１を第４信号Ｓ４としてリミッタ３１に出力し、信号レベルが１２８〜２５５の画素については、第２処理部２２からの第２信号Ｓ２２を第４信号Ｓ４としてリミッタ３１に出力する。図７（Ｄ）は、切替器４０が、第２処理部２２による第２信号Ｓ２２を第４信号Ｓ４として選択した場合の波形を示すものである。

リミッタ３１は、第４信号Ｓ４を調整して第３信号Ｓ３１を生成し、加算器５０は、第３信号Ｓ３１を画像の鮮鋭化のための補償用信号として入力画像信号Ｓ_ｉｎに加算することにより出力画像信号Ｓ_ｏｕｔを生成する。

このように、本実施形態によれば、非線形処理部２３は、第１信号Ｓ１に複数種類の非対称非線形処理を行い複数種類の第２信号（Ｓ２１、Ｓ２２）を生成し、切替器４０は、入力画像信号Ｓ_ｉｎの信号レベルに応じて、画素毎に複数種類の第２信号（Ｓ２１、Ｓ２２）から１つの第２信号を選択して第４信号Ｓ４を生成し、リミッタ３１は、第４信号Ｓ４を調整して第３信号Ｓ３１を生成し、加算器５０は、第３信号Ｓ３１を入力画像信号Ｓ_ｉｎに加算して出力画像を表す出力画像信号Ｓ_ｏｕｔを生成する。これにより、複数フレームに対する繰り返し演算なしで、ナイキスト周波数を超える周波数成分により画像を先鋭化することが可能となる。

特に、切替器４０は、入力画像信号Ｓ_ｉｎの信号レベルに応じて、画素毎に複数種類の第２信号（Ｓ２１、Ｓ２２）から１つの第２信号を選択するという処理を行う。すなわち、入力画像の輝度が低い領域と高い領域など、入力画像の画素ごとに異なる非対称非線形処理を行い、各領域にあった画像強調処理を行うことが可能となる。

例えば、切替器４０は、信号レベルが所定値以下の画素について、複数種類の第２信号（Ｓ２１、Ｓ２２）から、第１信号Ｓ１の正領域での変化率が大きい第２信号を選択して第４信号Ｓ４を生成する。これにより、輝度が低い領域における輪郭は、輝度が高い領域における輪郭に比べて知覚されやすいという人間の知覚特性に合った画像強調処理を行うことが可能となる。

また、例えば、切替器４０は、信号レベルが所定値より高い画素について、複数種類の第２信号（Ｓ２１、Ｓ２２）から、第１信号Ｓ１の負領域での変化率が大きい第２信号を選択して第４信号Ｓ４を生成する。これにより、輝度レベルが低い画素について第１信号Ｓ１におけるエッジの成分が強調されるため、人間の知覚特性に合った画像強調処理を行うことが可能となる。

なお、非線形処理部２３が備える処理部の数は２つに限定されず、さらに多くの処理部を備えることが可能である。例えば、非線形処理部２３は、ｎ個（ｎ＞２）の処理部を備え、各処理部がそれぞれ異なる非対称非線形処理を行うように構成しても良い。この場合、切替器４０は、信号レベルについてｎ−１個の閾値を管理しておき、各閾値によりどの処理部からの第２信号を第４信号Ｓ４として出力するか選択することができる。非線形処理部２３が多くの種類の非対称非線形処理を行うことによって、より細かい粒度で、入力画像の各領域に合った画像強調処理を行うことが可能となる。また、切替器４０が管理する閾値は、信号レベルを均等に分割したものである必要はない。例えば、人間の知覚に影響を与えやすい輝度の低い領域については細かい間隔で閾値を設定して非対称非線形処理を細かく切替え、輝度の高い領域についてはある程度広い範囲について共通の非対称非線形処理を適用することとしても良い。

（第３実施形態）
図９は、本発明の第３実施形態に係る画像強調装置３の構成を示すブロック図である。この画像強調装置２は、高域通過フィルタ（ＨＰＦ）１０と、非線形処理部２３と、切替器４１と、リミッタ３１と、加算器５０、エリアフィルタ６０とを備えている。なお、第２実施形態と同一の符号を付した機能部については、第２実施形態と同等の処理を行うものとして本実施形態での詳細な説明を省略する。例えば、本実施形態に係る画像強調装置３の各信号レベルの波形は、図７に示す第２実施形態における波形と同様である。

エリアフィルタ６０は、入力画像信号Ｓ_ｉｎの画素ごとに第１処理部２１による第２信号Ｓ２１と第２処理部２２による第２信号Ｓ２１とを切り替えた場合に、隣接する画素間において輝度が変化してちらつきが発生することを防ぐものである。本実施形態において、エリアフィルタ６０は、入力画像信号Ｓ_ｉｎの各画素について、周囲の画素を含む所定エリアの平均信号レベルを算出し、当該平均信号レベルを入力画像平均信号Ｓ_{ｉｎ＿ａｖｅ}として切替器４１に出力する。例えば、エリアフィルタ６０は、入力画像信号Ｓ_ｉｎの各画素を中心とした３×３画素、５×５画素、又は７×７画素といった所定エリアの輝度の平均信号レベルを算出するメディアンフィルタであり、当該平均信号レベルを入力画像平均信号Ｓ_{ｉｎ＿ａｖｅ}として切替器４１に出力する。なお、ここでいう「平均」とは、周囲の画素の単純な平均のみならず、各画素に対する重み付けを考慮した重み付け平均を含むものである。

切替器４１は、入力画像平均信号Ｓ_{ｉｎ＿ａｖｅ}の各画素の平均信号レベルに基づき、複数種類の第２信号（Ｓ２１、Ｓ２２）から１つの第２信号を選択して、第４信号Ｓ４１を生成する。

このように、本実施形態によれば、切替器４１は、入力画像信号Ｓ_ｉｎの各画素の信号レベルではなく、各画素の平均信号レベルに基づき第４信号Ｓ４１を生成する。平均信号レベルは、周囲の画素を含む所定エリアの信号レベルの平均値となるため、隣接する画素間において異なる非対称非線形処理による第２信号が選択される可能性が低減され、画面のちらつきの発生を抑制することが可能となる。また、切替器４１は、例えば所定エリアに対して選択される第２信号を一定期間維持することにより、さらに画面のちらつきの発生を抑制することが可能である。

（第４実施形態）
図１０は、本発明の第４実施形態に係る画像強調装置４の構成を示すブロック図である。この画像強調装置４は、高域通過フィルタ（ＨＰＦ）１０と、非線形処理部２０と、切替器４２と、リミッタ３１と、加算器５０とを備えている。以下、図１１に示す画像の水平方向の信号レベル（輝度値）の波形を例に、各構成部の動作及び出力される波形の説明を行う。なお、第１実施形態と同一の符号を付した機能部については、第１実施形態と同等の処理を行うものとして本実施形態での詳細な説明を省略する。例えば、ＨＰＦ１０は、第１実施形態と同様に、図１１（Ａ）の入力画像信号Ｓ_ｉｎの高周波成分を抽出して図１１（Ｂ）に示す第１信号Ｓ１を生成する。また、非線形処理部２０は、第１信号Ｓ１に対して、第１信号Ｓ１の正負で非対称となる非線形処理を行い、図１１（Ｃ）に示す第２信号Ｓ２を生成する。

切替器４２は、入力画像信号Ｓ_ｉｎの信号レベルに応じて、画素毎に、第１信号Ｓ１又は第２信号Ｓ２の一方を選択して、第４信号Ｓ４２を生成する。ここで、上述の通り、輝度が低い領域における輪郭は、輝度が高い領域における輪郭に比べて知覚されやすい。ただし、輝度が特に低い領域における輪郭は、いわゆるノイズに相当するものであり、当該ノイズを強調することは好ましくない。また、輝度が高い領域の輪郭を強調すると、増幅により値が飽和・発散して画像にぎらつきが生じる場合がある。そのため、ノイズの発生を抑えつつ輝度が低い領域の輪郭をより強調するため、切替器４２は、信号レベル（輝度）が所定値の上限及び下限の範囲に含まれる画素は、例えば図１１（Ｄ）に示すとおり、第２信号Ｓ２を第４信号Ｓ４２として選択する。また、切替器４２は、信号レベル（輝度）が所定の上限及び下限の範囲に含まれない画素は、増幅による値の飽和・発散や、ノイズの強調を防ぐため、図１１（Ｂ）に示す第１信号Ｓ１を第４信号Ｓ４２として選択する。例えば、切替器４２は、入力画像信号Ｓ_ｉｎが８ビットの信号とすると、信号レベルが３２（下限）〜１９２（上限）の画素については、非線形処理部２０からの第２信号Ｓ２を第４信号Ｓ４２としてリミッタ３１に出力し、信号レベルが下限未満の０〜３１と、上限より高い１９３〜２５５の画素については、第１信号Ｓ１を第４信号Ｓ４２としてリミッタ３１に出力する。

リミッタ３１は、第４信号Ｓ４２を調整して第３信号Ｓ３１を生成し、加算器５０は、第３信号Ｓ３１を画像の鮮鋭化のための補償用信号として入力画像信号Ｓ_ｉｎに加算することにより出力画像信号Ｓ_ｏｕｔを生成する。

このように、本実施形態によれば、非線形処理部２０は、第１信号Ｓ１に非対称非線形処理を行い第２信号Ｓ２を生成し、切替器４２は、入力画像信号Ｓ_ｉｎの信号レベルに応じて、画素毎に第１信号Ｓ１又は第２信号Ｓ２の一方を選択して第４信号Ｓ４２を生成し、リミッタ３１は、第４信号Ｓ４２を調整して第３信号Ｓ３１を生成し、加算器５０は、第３信号Ｓ３１を入力画像信号Ｓ_ｉｎに加算して出力画像を表す出力画像信号Ｓ_ｏｕｔを生成する。これにより、複数フレームに対する繰り返し演算なしで、ナイキスト周波数を超える周波数成分により画像を先鋭化することが可能となる。

特に、切替器４２は、入力画像信号Ｓ_ｉｎの信号レベルに応じて、画素毎に第１信号Ｓ１又は第２信号Ｓ２の一方を選択するという処理を行う。すなわち、入力画像の輝度が低い領域など、入力画像の画素ごとに非対称非線形処理の適否を判断し、各領域にあった画像強調処理を行うことが可能となる。

例えば、切替器４２は、信号レベルが所定の上限及び下限の範囲に含まれる画素について、第２信号Ｓ２を選択して第３信号Ｓ３を生成する。これにより、ノイズの強調を抑えつつ、輝度が低い領域における輪郭は輝度が高い領域における輪郭に比べて知覚されやすいという人間の知覚特性に合った画像強調処理を行うことが可能となる。

なお、上記第３実施形態は、第２実施形態の構成にエリアフィルタ６０を追加した構成であるが、第４実施形態の構成にエリアフィルタ６０を追加することも可能である。この場合、切替器４２は、入力画像平均信号Ｓ_{ｉｎ＿ａｖｅ}の各画素の平均信号レベルに基づき、第１信号Ｓ１又は第２信号Ｓ２の一方を選択して、第４信号Ｓ４２を生成する。この実施形態によれば、切替器４２は、入力画像信号Ｓ_ｉｎの各画素の信号レベルではなく、各画素の平均信号レベルに基づき第４信号Ｓ４２を生成する。平均信号レベルは、周囲の画素を含む所定エリアの信号レベルの平均値となるため、隣接する画素間において、第１信号Ｓ１又は第２信号Ｓ２それぞれが異なって選択される可能性が低減され、画面のちらつきの発生を抑制することが可能となる。また、切替器４２は、例えば所定エリアに対して、第１信号Ｓ１又は第２信号Ｓ２の選択を一定期間維持することにより、さらに画面のちらつきの発生を抑制することが可能である。

本発明は、画像を鮮鋭化して画質を改善するための画像強調装置に適用されるものであり、例えばテレビジョン（ＴＶ）受像機でリアルタイムで表示される動画を鮮鋭化するための画像強調装置に適用することができる。

また、本発明は、監視カメラの画像強調処理に適用可能であり、例えば、画像の一部を拡大した際のボケを低減することが可能となる。また、暗所に設置された監視カメラの画像や、夜間に撮影された画像などに対して、輝度が暗い領域の輪郭をより先鋭化する画像強調処理が可能になる。

さらに、本発明は、遠距離から撮像した映像の解像度改善に適用することができる。例えば、接近することが困難な事故現場などを遠方から撮影した画像や、衛星画像などに対し、輪郭を先鋭化する画像強調処理が可能になる。

さらに、本発明は、アナログコンテンツのハイビジョン化に適用することができる。即ち、既存のアナログコンテンツをハイビジョンコンテンツに変換する際、アップコンバートされた画像の輪郭を先鋭化する画像強調処理を行うことにより、アナログコンテンツをより高精細なデジタルコンテンツとして再製することが可能となる。例えば、アナログテレビコンテンツをハイビジョンコンテンツに変換したり、古い映画コンテンツをより高精細なデジタルコンテンツ（例えばＢｌｕ−ｒａｙ（登録商標）コンテンツ）に変換したりする際に適用可能である。

さらに、本発明は、医療分野にも適用可能である。例えば、内視鏡等による患部の拡大画像をより高精細な画像へと変換したり、遠隔医療などにおいて、解像度の低い患部の映像をより高精細な画像へと変換したりすることが可能となる。

さらに、本発明は、コンピュータで視聴可能な動画コンテンツの高精細化に適用可能である。インターネット上には動画コンテンツを配信するサイトが多数存在し、既に多数の動画コンテンツが保存されている。本発明により、既存の動画コンテンツをさらに高精細、高解像度のコンテンツに変換し、視聴品質を向上させることが可能となる。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各構成部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

１、２、３ 画像強調装置
１０ ＨＰＦ（高域通過フィルタ：フィルタ部）
１１１〜１１（ｍ−１） 単位遅延素子
１２１〜１２ｍ 乗算器
１３１ 加算器
１１ ＬＰＦ（低域通過フィルタ）
１２ 減算器
２０、２３ 非線形処理部
２１ 第１処理部
２２ 第２処理部
３０、３１ リミッタ
４０、４１、４２ 切替器
５０ 加算器
６０ エリアフィルタ

上述した諸課題を解決すべく、本発明に係る画像強調装置は、入力画像を鮮鋭化した出力画像を生成する画像強調装置であって、前記入力画像を表す入力画像信号に含まれる周波数成分の少なくとも直流成分を除去することにより第１信号を生成するフィルタ部と、前記第１信号に対して前記第１信号の正負で非対称となる非線形処理を行い第２信号を生成する非線形処理部であって、前記第１信号に対して、正の領域に適用する非線形処理と負の領域に適用する非線形処理とが原点を通る連続関数として表され、且つ、非線形処理で生成された周波数成分の帯域が、正の領域と負の領域で非対称となる非線形処理を行う非線形処理部と、前記第２信号を調整して第３信号を生成するリミッタと、前記第３信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成する加算部と、を備える。

例えば、本発明を方法として実現した画像強調方法は、入力画像を鮮鋭化した出力画像を生成する画像強調装置における画像強調方法であって、前記画像強調装置による処理手順が、前記入力画像を表す入力画像信号に含まれる周波数成分の少なくとも直流成分を除去することにより第１信号を生成するステップと、前記第１信号に対して前記第１信号の正負で非対称となる非線形処理を行い第２信号を生成する非線形処理ステップであって、前記第１信号に対して、正の領域に適用する非線形処理と負の領域に適用する非線形処理とが原点を通る連続関数として表され、且つ、非線形処理で生成された周波数成分の帯域が、正の領域と負の領域で非対称となる非線形処理を行う非線形処理ステップと、前記第２信号を調整して第３信号を生成する調整ステップと、前記第３信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成するステップと、を含む。

Claims (14)

1. 入力画像を鮮鋭化した出力画像を生成する画像強調装置であって、
   前記入力画像を表す入力画像信号に含まれる周波数成分の少なくとも直流成分を除去することにより第１信号を生成するフィルタ部と、
   前記第１信号に対して前記第１信号の正負で非対称となる非線形処理を行い第２信号を生成する非線形処理部と、
   前記第２信号を調整して第３信号を生成するリミッタと、
   前記第３信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成する加算部と、を備える画像強調装置。
2. 切替器を備え、
   前記非線形処理部は、前記第１信号に前記第１信号の正負で非対称となる非線形処理を複数種類行い複数種類の第２信号を生成し、
   前記切替器は、前記入力画像信号の信号レベルに応じて、画素毎に前記複数種類の第２信号から１つの第２信号を選択して第４信号を生成し、
   前記リミッタは、前記第４信号を調整して前記第３信号を生成する、請求項１に記載の画像強調装置。
3. 前記切替器は、前記信号レベルが所定値以下の画素について、前記複数種類の第２信号から、前記第１信号の正領域での変化率が大きい第２信号を選択して前記第４信号を生成する、請求項２に記載の画像強調装置。
4. 前記切替器は、前記信号レベルが所定値より高い画素について、前記複数種類の第２信号から、前記第１信号の負領域での変化率が大きい第２信号を選択して前記第４信号を生成する、請求項２又は３に記載の画像強調装置。
5. 切替器を備え、
   前記切替器は、前記入力画像信号の信号レベルに応じて、画素毎に前記第１信号又は前記第２信号の一方を選択して第４信号を生成し、
   前記リミッタは、前記第４信号を調整して前記第３信号を生成する、
   請求項１に記載の画像強調装置。
6. 前記切替器は、前記信号レベルが所定の上限及び下限の範囲に含まれる画素について、前記第２信号を選択して前記第４信号を生成する、請求項５に記載の画像強調装置。
7. 前記入力画像信号の各画素について、周囲の画素を含む所定エリアの平均信号レベルを算出するエリアフィルタを備え、
   前記切替器は、前記各画素の前記平均信号レベルに基づき前記第４信号を生成する、請求項２乃至６のいずれか一項に記載の画像強調装置。
8. 入力画像を鮮鋭化した出力画像を生成する画像強調装置における画像強調方法であって、前記画像強調装置による処理手順が、
   前記入力画像を表す入力画像信号に含まれる周波数成分の少なくとも直流成分を除去することにより第１信号を生成するステップと、
   前記第１信号に対して前記第１信号の正負で非対称となる非線形処理を行い第２信号を生成する非線形処理ステップと、
   前記第２信号を調整して第３信号を生成する調整ステップと、
   前記第３信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成するステップと、を含む画像強調方法。
9. 切替ステップをさらに含み、
   前記非線形処理ステップにおいて、前記第１信号に前記第１信号の正負で非対称となる非線形処理を複数種類行い複数種類の第２信号を生成し、
   前記切替ステップにおいて、前記入力画像信号の信号レベルに応じて、画素毎に前記複数種類の第２信号から１つの第２信号を選択して第４信号を生成し、
   前記調整ステップにおいて、前記第４信号を調整して前記第３信号を生成する、請求項８に記載の画像強調方法。
10. 前記切替ステップにおいて、前記信号レベルが所定値以下の画素について、前記複数種類の第２信号から、前記第１信号の正領域での変化率が大きい第２信号を選択して前記第４信号を生成する、請求項９に記載の画像強調方法。
11. 前記切替ステップにおいて、前記信号レベルが所定値より高い画素について、前記複数種類の第２信号から、前記第１信号の負領域での変化率が大きい第２信号を選択して前記第４信号を生成する、請求項９又は１０に記載の画像強調方法。
12. 切替ステップをさらに含み、
    前記切替ステップにおいて、前記入力画像信号の信号レベルに応じて、画素毎に前記第１信号又は前記第２信号の一方を選択して第４信号を生成し、
    前記調整ステップは、前記第４信号を調整して前記第３信号を生成する、
    請求項８に記載の画像強調方法。
13. 前記切替ステップにおいて、前記信号レベルが所定の上限及び下限の範囲に含まれる画素について、前記第２信号を選択して前記第４信号を生成する、請求項１２に記載の画像強調方法。
14. 前記入力画像信号の各画素について、周囲の画素を含む所定エリアの平均信号レベルを算出するステップをさらに含み、
    前記切替ステップにおいて、前記各画素の前記平均信号レベルに基づき前記第４信号を生成する、請求項９乃至１３のいずれか一項に記載の画像強調方法。
    

Images