JP2014165679A

JP2014165679A - 画像処理装置、画像処理方法

Info

Publication number: JP2014165679A
Application number: JP2013035186A
Authority: JP
Inventors: Seiichi Goshi; 清一合志; Hitoshi Ogasawara; 仁小笠原; Shinichiro Nakamura; 晋一郎中村
Original assignee: Keisoku Giken Co Ltd
Current assignee: Keisoku Giken Co Ltd
Priority date: 2013-02-25
Filing date: 2013-02-25
Publication date: 2014-09-08
Anticipated expiration: 2033-02-25
Also published as: WO2014129209A1; EP2961151B1; CN105075232A; CN105075232B; JP5403450B1; EP2961151A4; EP2961151A1; US20150373234A1; KR20150122656A; US9374508B2

Abstract

【課題】入力画像の水平及び垂直方向の周波数成分を超える周波数領域において水平及び垂直方向の鮮鋭化処理の重複による周波数成分を生成することなく画像を先鋭化する。
【解決手段】本発明に係る画像処理装置は、入力画像信号の垂直方向の周波数成分の高周波部分を除去する垂直フィルタと、入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平鮮鋭化処理部と、入力画像信号の水平方向の周波数成分の高周波部分を除去する水平フィルタと、入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直鮮鋭化処理部と、を備え、前記水平鮮鋭化処理部の前段に前記垂直フィルタが配置された水平方向処理部と、前記垂直鮮鋭化処理部の前段に前記水平フィルタが配置された垂直方向処理部とが、直列又は並列に接続され入力画像を鮮鋭化する。
【選択図】図７

Description

本発明は、画像を鮮鋭化して画質を改善するための画像処理装置及び画像処理方法に関し、例えばテレビジョン（ＴＶ）受像機でリアルタイムに表示される動画の鮮鋭化に好適な画像処理装置及び画像処理方法に関する。

フルハイビジョン（ＨＤＴＶ：High Definition Television、１０８０×１９２０画素)のテレビジョン受信機で、解像度がＨＤＴＶに満たない画像信号を拡大表示する場合には、画像がぼやけて表示される。また、ＨＤＴＶの解像度を持つ画像信号をより高精細な解像度（例えば４０００×２０００画素程度の４Ｋ解像度）に拡大した場合も同様に画像がぼやけて表示される。このため、従来のテレビジョン受像機において、表示される画像の輪郭部に相当する映像信号の立ち上がりや立ち下がりを急峻にする輪郭補償が行われている。この輪郭補償では、入力画像信号（輝度信号）の高周波成分を抽出し、その高周波成分を増幅して入力画像信号に加算することにより、視覚上の画質を向上させている。

ここで、画像の水平方向及び垂直方向の高周波成分に鮮鋭化処理を施すことにより、鮮鋭化処理後の画像において斜め線がギラギラして見える現象が発生し、特に、非線形処理によりナイキスト周波数を超える高域周波数成分を生成する鮮鋭化処理において問題となりやすい。

図１９は、ナイキスト周波数を超える高域周波数成分を生成する鮮鋭化処理を垂直方向及び水平方向に連続して行う構成を示す図であり、図２０は各段階における信号の周波数成分を示す図である。図２０（ａ）は水平方向のサンプリング周波数がｆｈ、水平方向のサンプリング周波数がｆｖであるデジタル画像の入力画像信号Ｓ_ｉｎの周波数成分を示す。デジタル画像のナイキスト周波数は、水平方向がｆｈ／２、垂直方向がｆｖ／２となり、図示の通り、ナイキスト周波数を超える範囲に周波数成分は存在しない。入力画像信号Ｓ_ｉｎの垂直方向に鮮鋭化処理を施すと、図２０（ｂ）の通り、鮮鋭化処理後の信号Ｓ１において、垂直方向のナイキスト周波数ｆｖ／２を越える広域に周波数成分が生成される。この信号Ｓ１にさらに水平方向の鮮鋭化処理を施すと、図２０（ｃ）の通り、鮮鋭化処理後の出力画像信号Ｓ_ｏｕｔにおいて水平方向のナイキスト周波数ｆｈ／２を越える広域に周波数成分が生成される。図示の通り、出力画像信号Ｓ_ｏｕｔの周波数成分の４隅、即ち水平方向及び垂直方向がいずれも高周波数となる領域は、水平方向及び垂直方向の鮮鋭化処理が重複して行われ、画像のギラギラ感が強調されてしまう。

かかるギラギラ感の解消のため、水平方向及び垂直方向の鮮鋭化処理の前段に２次元フィルタを配置する技術が提案されている（特許文献１参照）。

国際公開第２０１２／０４３４０７号

特許文献１は、図２１のように、水平方向及び垂直方向の鮮鋭化処理の前段に２次元フィルタを配置している。図２２は、２次元フィルタの周波数特性の一例を示す図である。図示の通り、２次元フィルタは入力画像信号Ｓ_ｉｎの水平及び垂直方向の高周波成分を減衰させる特性を持つ。図２３は、図２１の回路の各段階における信号の周波数成分を示す図である。図２１の回路において、水平方向のサンプリング周波数がｆｈ、水平方向のサンプリング周波数がｆｖであるデジタル画像の入力画像信号Ｓ_ｉｎに２次元フィルタを施すと、フィルタ処理後の第１信号Ｓ１の周波数成分は図２３（ｂ）の通り水平及び垂直方向の高周波成分が減衰されたものとなる。第１信号Ｓ１に水平鮮鋭化処理を施すと、図２３（ｃ）の通り、鮮鋭化処理後の第２信号Ｓ２は周波数成分が水平方向に拡大された信号となる。加算器により第１信号Ｓ１及び第２信号Ｓ２を合成し、合成した信号に垂直鮮鋭化処理を施すと、図２３（ｄ）の通り、鮮鋭化処理後の第３信号Ｓ３は周波数成分が垂直方向に拡大された信号となる。そして、後段の加算器により垂直鮮鋭化処理前後の信号が合成され出力画像信号Ｓ_ｏｕｔが出力される。

図２１の回路により生成される出力画像信号Ｓ_ｏｕｔは、図２３（ｅ）に示すとおり、出力画像信号Ｓ_ｏｕｔの周波数成分の４隅、即ち水平方向及び垂直方向がいずれも高周波数となる領域において、水平方向で高調波が生成された信号に対してさらに垂直方向で高調波が生成されるため、図２０（ｃ）の信号よりは悪化の程度が少ないものの、依然としてギラギラ／チラチラした画像になりやすいという問題がある。またここで、ギラギラ/チラチラ感を取り除くために２次元フィルタでの通過領域を狭く設定すると、鮮鋭化に供する信号成分が少なくなるため、効果的な鮮鋭化ができないという問題もある。

そこで本発明は、入力画像の水平方向及び垂直方向の周波数成分をいずれも超える周波数領域において水平方向及び垂直方向の鮮鋭化処理の重複による周波数成分を生成することなく画像を鮮鋭化することが可能な画像処理装置及び画像処理方法を提供することを目的とする。

上述した諸課題を解決すべく、本発明に係る画像処理装置は、入力画像を表す入力画像信号に含まれる周波数成分より高い周波数成分を生成して入力画像を鮮鋭化する画像処理装置であって、少なくとも入力画像信号に含まれる水平方向の高周波部分において、入力画像信号の垂直方向の周波数成分の高周波部分を除去する垂直フィルタと、入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平鮮鋭化処理部と、少なくとも入力画像信号に含まれる垂直方向の高周波部分において、入力画像信号の水平方向の周波数成分の高周波部分を除去する水平フィルタと、入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直鮮鋭化処理部と、を備え、前記水平鮮鋭化処理部の前段に前記垂直フィルタが配置された水平方向処理部と、前記垂直鮮鋭化処理部の前段に前記水平フィルタが配置された垂直方向処理部とが、直列又は並列に接続され入力画像を鮮鋭化するものである。

また、並列に接続された前記水平方向処理部及び前記垂直方向処理部のいずれか一方の後段と、いずれか他方の前段とに接続された増幅器を備えることが好ましい。

また、前記増幅器の増幅率βは０≦β≦１であることが好ましい。

また、入力画像信号の動きを検出するフィールド変化検出部を備え、前記フィールド変化検出部は、入力画像信号の垂直方向の動き量が大きいときに前記垂直鮮鋭化処理部による周波数成分の強調度を低くし、入力画像信号の水平方向の動き量が大きいときに前記水平鮮鋭化処理部による周波数成分の強調度を低くすることが好ましい。

さらに、上述した諸課題を解決すべく、本発明に係る画像処理方法は、入力画像を表す入力画像信号に含まれる周波数成分より高い周波数成分を生成して入力画像を鮮鋭化する画像処理装置における画像処理方法であって、前記画像処理装置における処理手順が、少なくとも入力画像信号に含まれる水平方向の高周波部分において、入力画像信号の垂直方向の周波数成分の高周波部分を除去し、入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平方向処理ステップと、少なくとも入力画像信号に含まれる垂直方向の高周波部分において、入力画像信号の水平方向の周波数成分の高周波部分を除去し、入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直方向処理ステップと、を含み、前記垂直方向処理ステップ及び前記水平方向処理ステップを直列又は並列に実行するものである。

また、前記垂直方向処理ステップ及び前記水平方向処理ステップを直列に実行するか並列に実行するかを増幅率βにより切り替えるステップを含むことが好ましい。

前記増幅率βは０≦β≦１であることが好ましい。

また、入力画像信号の動きを検出し、入力画像信号の垂直方向の動き量が大きいときに前記垂直方向処理ステップによる周波数成分の強調度を低くし、入力画像信号の水平方向の動き量が大きいときに前記水平方向処理ステップによる周波数成分の強調度を低くするステップを含むことが好ましい。

本発明に係る画像処理装置及び画像処理方法によれば、入力画像の水平方向及び垂直方向の周波数成分をいずれも超える周波数領域において水平方向及び垂直方向の鮮鋭化処理の重複による周波数成分を生成することなく画像を先鋭化することが可能となり、画像のギラギラ／チラチラ感を低減できる。

本発明に係る鮮鋭化処理部の第１の構成を示す図である。鮮鋭化処理に係る画像の水平方向の信号レベルの波形を示す図である。高域通過フィルタの構成の一例を示す図である。低域通過フィルタにより構成した高域通過フィルタの一例を示す図である。本発明に係る鮮鋭化処理部の第２の構成を示す図である。鮮鋭化処理に係る画像の水平方向の信号レベルの波形を示す図である。本発明の第１の実施形態に係る画像処理装置の構成を示す図である。第１の実施形態における信号の周波数成分の変化を示す図である。本発明の第２の実施形態に係る画像処理装置の構成を示す図である。本発明の第３の実施形態に係る画像処理装置の構成を示す図である。第３の実施形態における信号の周波数成分の変化を示す図である。本発明の第４の実施形態に係る画像処理装置の構成を示す図である。第４の実施形態における２次元フィルタの周波数特性を示す図である。第４の実施形態における信号の周波数成分の第１の変化を示す図である。第４の実施形態における信号の周波数成分の第２の変化を示す図である。本発明の第５の実施形態に係る画像処理装置の構成を示す図である。第５の実施形態における鮮鋭化処理部の構成を示す図である。第５の実施形態におけるフィールド変化検出部の構成を示す図である。従来の画像の水平方向及び垂直方向の鮮鋭化処理を示す図である。従来の鮮鋭化処理による周波数成分の変化を示す図である。２次元フィルタを用いた従来の鮮鋭化処理を示す図である。従来の２次元フィルタの周波数特性を示す図である。２次元フィルタを用いた従来の鮮鋭化処理による周波数成分の変化を示す図である。

以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。

各実施形態に係る画像処理装置（集積回路）は、概略的に言えば、画像の水平方向（横方向、主走査方向）の周波数成分及び垂直方向（縦方向、副走査方向）の周波数成分に対して、画像を鮮鋭化するための鮮鋭化処理を施す装置である。

画像処理装置が施す鮮鋭化処理とは、入力画像を表す信号（以下、入力画像信号と表記する）に対して非線形演算を施すことによって、入力画像に含まれる輪郭部分（エッジ）に相当する信号の立ち上がり及び立ち下がりを高度に急峻にする（エンハンスする）処理である。本発明の画像処理装置が施す鮮鋭化処理は、従来の増幅処理等の線形演算を用いる鮮鋭化処理では利用することができない高周波数成分を画像信号に付加することができるため、画像を高度に（強く）鮮鋭化することができる。

まず、後述する各実施形態における画像処理装置の主要な構成要素である鮮鋭化処理部の概要について説明する。なお、鮮鋭化処理部は、後述する水平鮮鋭化処理部及び垂直鮮鋭化処理部のいずれであってもよい。本明細書では、水平鮮鋭化処理部及び垂直鮮鋭化処理部を区別しないとき、単に、「鮮鋭化処理部」と表記する。

（鮮鋭化処理部の第１の構成例）
図１は、本発明の鮮鋭化処理部ＦＥの第１の構成例を示すブロック図である。この鮮鋭化処理部ＦＥは、画像を表すデジタル信号として外部から入力される入力画像信号Ｓ_ｉｎに対し、その入力画像信号Ｓ_ｉｎの表す画像を鮮鋭化するための処理を施す装置であって、ＨＰＦ１０（高域通過フィルタ）と、非線形処理部２０（非対称型非線形関数）と、リミッター３０とを備えている。

入力画像信号Ｓ_ｉｎの表す画像は、静止画であってもよいし動画であってもよく、入力画像信号Ｓ_ｉｎが動画を表す場合、その動画は、例えば標準画質テレビジョン（ＳＤＴＶ：Standard Definition Television）又は高精細テレビジョン（ＨＤＴＶ：High Definition Television）の受像機においてリアルタイムで表示される動画であってもよい。

以下、図２に示す画像の水平方向の信号レベル（輝度値）の波形を例に、各構成部の動作及び出力される波形の説明を行う。なお、以下の説明では、画像の水平方向の信号レベルの波形について各構成部の説明を行うが、画像の垂直方向の信号レベルの波形や、動画像における画像間の時間方向の信号レベルの波形についても、各構成部は水平方向と同等の処理で鮮鋭化処理を行うことが可能である。

図２（Ａ）は、入力画像信号Ｓ_ｉｎの水平方向の信号レベルの波形を示す図であり、特に、水平方向に信号レベルが変化するエッジに相当する部分の波形を示す図である。なお、入力画像信号Ｓ_ｉｎの解像度は、出力画像信号Ｓ_ｏｕｔの解像度に対応するものであり、出力画像の解像度が元の入力画像の解像度より高い場合、入力画像信号Ｓ_ｉｎは、元の入力画像の解像度を出力画像信号Ｓ_ｏｕｔの解像度にアップコンバートしたものである。例えば、画像処理装置によりＳＤＴＶの画像をＨＤＴＶの画像として出力する場合、入力画像信号Ｓ_ｉｎは、元のＳＤＴＶの画像を既存の線形変換によりＨＤＴＶの解像度に変換した信号となる。

ＨＰＦ１０は、入力画像信号Ｓ_ｉｎに含まれる周波数成分の少なくとも直流成分を除去することにより高周波信号である第１信号Ｓ１を生成する。具体的には、ＨＰＦ１０は、入力画像信号Ｓ_ｉｎの表す画像における輪郭成分を含む高周波成分を抽出し、図２（Ａ）の入力画像信号Ｓ_ｉｎから、図２（Ｂ）の第１信号Ｓ１を抽出する。

図３は、このＨＰＦ１０の構成を示すブロック図である。図３の通り、ＨＰＦ１０は、ｍ−１個の単位遅延素子１１１〜１１（ｍ−１）と、ｍ個の乗算器１２１〜１２ｍと、１個の加算器１３１とから構成されるｍタップ（ｍは３以上）のトランスバーサル型のデジタルフィルタとして構成することができる。この場合、各乗算器１２ｊ（ｊ＝１〜ｍ、以下同じ）は、入力される信号に係数Ｃｊを乗算してその結果を加算器１３１に出力し、係数Ｃｊは、ＨＰＦ１０が、輪郭成分を含む高周波成分を抽出するように設定されている（例えば、ｍ＝３、Ｃ１＝０．５、Ｃ２＝−１、Ｃ３＝０．５）。なお、一般に、高域通過フィルタを実現するよりも低域通過フィルタを実現する方が容易である。図４は、低域通貨フィルタにより構成した高域通過フィルタの一例を示す図である。図４の通り、低域通過フィルタ（以下「ＬＰＦ」という）１１と減算器１２を用いた構成により、図１に示すＨＰＦ１０を実現することができる。

非線形処理部２０は、第１信号Ｓ１に対して、第１信号Ｓ１の正負で非対称となる非線形処理を行うことにより第２信号Ｓ２を生成する。第１信号Ｓ１は、図２（Ｂ）に示すように正方向の輪郭成分と負方向の輪郭成分とを含むものである。ここで、第１信号Ｓ１の正方向及び負方向は、画素的にはそれぞれ白方向及び黒方向となり、両方向について同じ（対称的な）非線形処理を適用するのではなく、異なる（非対称となる）非線形処理を適用することにより、より人間の視覚特性にあったエッジ強調が可能となる。すなわち、非線形処理部２０は、第１信号Ｓ１の正方向の輪郭成分と、負方向の輪郭成分とに異なる（非対称となる）非線形処理を行うものである。これ以降、第１信号Ｓ１の正負で非対称となる非線形処理を、「非対称非線形処理」と称するものとする。

非線形処理部２０による非対称非線形処理は、第１信号Ｓ１の原点（値がゼロとなる点）を中心に、正の領域に適用する非線形処理と負の領域に適用する非線形処理との値が連続している限り、あらゆる非線形処理を組み合わせることができる。本実施形態において、非線形処理部２０は、例えば図５に示すとおり、第１信号Ｓ１が正の場合には、第１信号Ｓ１を３乗して第２信号Ｓ２を生成し（Ｓ２＝Ｓ１^３）、第１信号Ｓ１が負の場合には、第１信号Ｓ１を２乗して符号を負としたものを第２信号Ｓ２として生成する（Ｓ２＝−Ｓ１^２）ものとする。図２（Ｃ）は、非線形処理部２０による非対称非線形処理による第２信号Ｓ２の波形を示す図である。図示の通り、第２信号Ｓ２は、正の波形が大きく増幅されることになる。また、後述する通り、正負で非対称となる非線形処理を行うことにより、正負で非対称となる周波数成分を生成することが可能となる。

非線形処理部２０が第１信号Ｓ１の正負で非対称となる非線形処理を行うことにより、後述する通り、人間の知覚特性に合った画像鮮鋭化処理が可能になる。例えば、人間の感覚に基づく法則として、ヴェーバー‐フェヒナーの法則が知られている。この法則を画像認識に当てはめると、輝度が低い領域における輪郭は、輝度が高い領域における輪郭に比べて知覚されやすいといえる。そのため、例えば、非線形処理部２０は、信号レベル（輝度）が低い領域に対して非線形処理部２０の処理を適用することにより、処理前のエッジ成分が微小であっても、第１信号Ｓ１におけるエッジ成分を強調して輪郭を知覚させることが可能となる。また、非線形処理部２０は、輝度が高い領域の輪郭がより鮮鋭化されるように正の波形が大きく増幅されるため、輝度の高い領域において輪郭がより知覚されやすくすることができる。また、いずれの領域においても、非線形処理により高周波の周波数成分を生成することが可能となる。

なお、非線形処理部２０による非対称非線形処理は、２乗処理及び３乗処理の組み合わせに限定されず、他の非線形処理を行うことが可能である。例えば、第１信号Ｓ１の正負各領域での非線形処理は、式（１）により表現することができる。各処理部による非線形処理は、p/qで表される一般的な有理数の指数乗をすべて包含する。なお、かかる冪乗処理においては、第１信号Ｓ１の正負は維持されるものであり、例えば、冪乗処理として偶数乗（例えば２乗）を行う場合でも、第１信号Ｓ１が負の場合には、冪乗処理後の値の符号は負に維持される（例えば、Ｓ２＝−Ｓ１^２）。

さらに、非線形処理部２０は、非対称非線形処理について、三角関数（例えばＳ２＝Ｓｉｎ（Ｓ１））、対数関数（例えばＳ２＝ｌｏｇ（｜Ｓ１｜＋１））、ガンマ補正関数（例えばＳ２＝Ｓ１^１／２）など、種々の非線形関数を適宜組み合わせて利用することができる。

また、非線形処理部２０は、予め第１信号Ｓ１の信号レベル毎の加算値をテーブルなどで保持しておき、例えば、最小値０から最大値２５５までの値をとる８ビットの信号レベルである場合、第１信号Ｓ１の信号レベルに応じて±１０の範囲の値を加算するなど、式（１）に示す一般式によらない非線形処理を行うことも可能である。

リミッター３０は、第２信号Ｓ２の振幅（信号レベル）の調整器として機能するものであり、第２信号Ｓ２を調整して出力画像信号Ｓ_ｏｕｔを生成する。具体的には、第２信号Ｓ２の振幅が所定の上限値以下となるようにクリップ処理を行ったり、第２信号Ｓ２に０≦α＜１となるゲインαを乗算することにより当該第２信号Ｓ２のレベルのゲイン調整を行う。また、リミッター３０は、ノイズ除去のため、第２信号Ｓ２における所定の下限値以下の信号値を０とする丸め処理を行うこともできる。リミッター３０は、クリップ処理、ゲイン調整、丸め処理などを行った第２信号Ｓ２を出力画像信号Ｓ_ｏｕｔとして出力する。

図示していない加算器により、図２（Ｃ）に示す出力画像信号Ｓ_ｏｕｔを画像の鮮鋭化のための補償用信号として図２（Ａ）に示す入力画像信号Ｓ_ｉｎに加算することにより、図２（Ｄ）に示す信号が生成される。この信号（Ｓ_ｉｎ+Ｓ_ｏｕｔ）におけるエッジ部の立ち上がり変化は、入力画像信号Ｓ_ｉｎのエッジ部の立ち上がり変化よりも急になる。即ち、入力画像信号Ｓ_ｉｎよりも鮮鋭な画像を得ることができる。

（鮮鋭化処理部の第２の構成例）
図５は、本発明の鮮鋭化処理部の第２の構成例を示すブロック図である。この鮮鋭化処理部ＦＥは、非線形処理部４０（非線形関数）と、ＨＰＦ１０と、リミッター３０とを備えている。以下、図６に示す画像の水平方向の信号レベル（輝度値）の波形を例に、各構成部の動作及び出力される波形の説明を行う。なお、画像の垂直方向の信号レベルの波形や、動画像における画像間の時間方向の信号レベルの波形についても、各構成部は水平方向と同等の処理で鮮鋭化処理を行うことが可能である。

図６（Ａ）は、入力画像信号Ｓ_ｉｎの水平方向の信号レベルの波形を示す図であり、特に、水平方向に信号レベルが変化するエッジに相当する部分の波形を示す図である。

非線形処理部４０は、入力画像信号Ｓ_ｉｎに対して非線形処理を行うことにより第１信号Ｓ１を生成する。非線形処理部４０による非線形処理は、画像の輪郭を先鋭化することを目的とするものであり、具体的には、図６（Ａ）に示す入力画像信号Ｓ_ｉｎを図６（Ｂ）のような第１信号Ｓ１とし、信号レベルにおいてエッジの立ち上がり変化を急にする処理を行うものである。

非線形処理部４０による入力画像信号Ｓ_ｉｎから第１信号Ｓ１を生成する処理は、式（２）により一般化することができる。非線形処理部４０による非線形処理は、p/qで表される一般的な有理数の指数乗をすべて包含する。

例えば、非線形処理部４０は、入力画像信号Ｓ_ｉｎの冪乗を第１信号Ｓ１として生成する。非線形処理部４０が入力画像信号Ｓ_ｉｎをｎ乗して第１信号Ｓ１を生成する場合、Ｓ１＝Ｓ_ｉｎ ^ｎとなる。入力画像信号Ｓ_ｉｎはデジタル信号（離散化された信号）であるので、より詳しくは、入力画像信号Ｓ_ｉｎを構成するデータ列をＸ１，Ｘ２，Ｘ３，…としたとき、第１信号Ｓ１は、データ列Ｘ１^ｎ，Ｘ２^ｎ，Ｘ３^ｎ，…によって構成されるデジタル信号である。なお、ｎは任意の実数である。

例えば、入力画像信号Ｓ_ｉｎが８ビットのデジタル信号であれる場合、各画素の信号レベルは０〜２５５の値をとる。このとき、非線形処理部４０が、入力画像信号Ｓ_ｉｎを２乗すると、図６（Ｂ）に例示するように、エッジ部の立ち上がり変化が急になるため、画像の輪郭がより強調されることになる。

また、例えば、非線形処理部４０は、入力画像信号Ｓ_ｉｎの冪乗根を第１信号Ｓ１として生成する。非線形処理部４０が入力画像信号Ｓ_ｉｎのｎ乗根を第１信号Ｓ１として生成する場合、Ｓ１＝Ｓ_ｉｎ ^1/ｎとなる。入力画像信号Ｓ_ｉｎはデジタル信号（離散化された信号）であるので、より詳しくは、入力画像信号Ｓ_ｉｎを構成するデータ列をＸ１，Ｘ２，Ｘ３，…としたとき、第１信号Ｓ１は、データ列Ｘ１^1/n，Ｘ２^1/n，Ｘ３^1/n，…によって構成されるデジタル信号である。なお、ｎは任意の実数である。

入力画像信号Ｓ_ｉｎの冪乗根を第１信号Ｓ１として生成する非線形処理は、人間の知覚特性に基づく輪郭抽出に適している。例えば、人間の感覚に基づく法則として、ヴェーバー‐フェヒナーの法則が知られている。この法則を画像認識に当てはめると、輝度が低い領域における輪郭は、輝度が高い領域における輪郭に比べて知覚されやすいといえる。そのため、例えば、輝度が低い領域の微小なエッジ成分を強調して輪郭を知覚させるため、非線形処理部４０は、例えばガンマ補正関数（例えば、Ｓ１＝Ｓ_ｉｎ ^1/2）により、輝度が高い画素より、輝度が低い画素をより引き上げる非線形処理を行う。

この場合、非線形処理部４０は、式（３）により、ｍビットのデジタル信号の画素値Ｘを正規化した値であるＸ’を算出する。式（３）による正規化後のＸ’の値は０〜１の間の値となる。

ここで、非線形処理部４０は、正規化後のＸ’に式（４）示すガンマ補正関数を適用し、非線形処理後の値Ｙを算出する。

式（４）により、Ｘ’の値が小さい場合、非線形処理後のＹの値がＸ’に比べて高く引き上げられることになる。すなわち、輝度が高い画素より、輝度が低い画素がより引き上げられる。これにより、例えば図６（Ｂ）に例示するエッジの先鋭化において、特に輝度が低い領域のエッジ強調成分が大きくなるため、特に輝度の低い領域の画像の輪郭がより強調されることになる。

ＨＰＦ１０は、第１信号Ｓ１に含まれる周波数成分の少なくとも直流成分を除去することにより高周波信号である第２信号Ｓ２を生成する。具体的には、ＨＰＦ１０は、入力画像信号Ｓ_ｉｎを非線形処理して得られた画像の輪郭成分を含む高周波成分を抽出する処理として、図６（Ｂ）の第１信号Ｓ１から、図６（Ｃ）の第２信号Ｓ２を抽出する。

リミッター３０は、第２信号Ｓ２の振幅（信号レベル）の調整器として機能するものであり、第２信号Ｓ２を調整して出力画像信号Ｓ_ｏｕｔを生成する。リミッター３０は、クリップ処理、ゲイン調整、丸め処理などを行った第２信号Ｓ２を出力画像信号Ｓ_ｏｕｔとして出力する。

図示していない加算器により、図６（Ｃ）に示す出力画像信号Ｓ_ｏｕｔを画像の鮮鋭化のための補償用信号として図６（Ａ）に示す入力画像信号Ｓ_ｉｎに加算することにより、図６（Ｄ）に示す信号が生成される。この信号（Ｓ_ｉｎ+Ｓ_ｏｕｔ）におけるエッジ部の立ち上がり変化は、入力画像信号Ｓ_ｉｎのエッジ部の立ち上がり変化よりも急になる。即ち、入力画像信号Ｓ_ｉｎよりも鮮鋭な画像を得ることができる。

これ以降、上述した鮮鋭化処理部ＦＥを備え、画像の水平方向（横方向、主走査方向）の周波数成分及び垂直方向（縦方向、副走査方向）の周波数成分を鮮鋭化する画像処理装置について詳述する。各実施形態における入力画像信号Ｓ_ｉｎは、水平方向のサンプリング周波数がｆｈ、垂直方向のサンプリング周波数がｆｖとし、ナイキスト周波数は水平方向がｆｈ／２、垂直方向がｆｖ／２であるものとする。

（第１の実施形態）
図７は、本発明の第１の実施形態に係る画像処理装置１の構成を示す図である。画像処理装置１は、垂直ＬＰＦ１３（垂直フィルタ）及び水平ＬＰＦ１４（水平フィルタ）と、水平鮮鋭化処理部ＦＥｈ及び垂直鮮鋭化処理部ＦＥｖと、第１加算器１５及び第２加算器１６とを備える。画像処理装置１は、水平鮮鋭化処理部ＦＥｈの前段に垂直ＬＰＦ１３が配置された構成を水平方向処理部とし、垂直鮮鋭化処理部ＦＥｖの前段に水平ＬＰＦ１４が配置された構成を垂直方向処理部とすると、水平方向処理部と垂直方向処理部とが直列に接続された構成となる。図８は、画像処理装置１の各機能ブロックが出力する信号が表す画像の周波数成分を示す図である。これ以降、図８の周波数成分とともに各機能ブロックの処理を説明する。

垂直ＬＰＦ１３は、入力画像信号Ｓ_ｉｎの垂直方向の周波数成分の高周波部分を除去するものであり、入力画像信号Ｓ_ｉｎの垂直方向成分の高域を部分的に減衰させ、第１信号Ｓ１を水平鮮鋭化処理部ＦＥｈに出力する。図８（ｂ）は第１信号Ｓ１の周波数成分を示す図である。垂直ＬＰＦ１３により、垂直方向で周波数成分の高域が減衰されている。なお、ここで言う高周波部分又は高域とは、ギラギラ感の原因となる水平方向及び垂直方向がいずれも高周波数となる領域で鮮鋭化処理による高周波成分が発生することを防ぐために除去又は減衰させるものであって、後段の鮮鋭化処理部ＦＥの鮮鋭化特性を考慮して、当業者が適宜設定できるものである。

水平鮮鋭化処理部ＦＥｈは、入力画像信号Ｓ_ｉｎに含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成するものであり、垂直ＬＰＦ１３からの第１信号Ｓ１で表される画像の水平方向について鮮鋭化処理を施し、第２信号Ｓ２を第１加算器１５に出力する。図８（ｃ）は第２信号Ｓ２の周波数成分を示す図である。水平鮮鋭化処理部ＦＥｈにより、水平方向にナイキスト周波数を超える周波数成分を含む水平方向の高調波が生成される。

第１加算器１５は、入力画像信号Ｓ_ｉｎと水平鮮鋭化処理部ＦＥｈからの第２信号Ｓ２とを加算して第３信号Ｓ３を生成する。図８（ｄ）は、第３信号Ｓ３の周波数成分を示す図である。第３信号Ｓ３は、入力画像信号Ｓ_ｉｎの周波数成分に、水平方向にナイキスト周波数を超える周波数成分を含む水平方向の高調波を加えた形になり、特に、水平方向にナイキスト周波数を超える周波数成分を含む水平方向の高調波は、垂直方向の高周波領域には生成されていない。

水平ＬＰＦ１４は、第３信号Ｓ３の水平方向の周波数成分の高周波部分を除去するものであり、第３信号Ｓ３の水平方向成分の高域を部分的に減衰させ、第４信号Ｓ４を垂直鮮鋭化処理部ＦＥｖに出力する。図８（ｅ）は第４信号Ｓ４の周波数成分を示す図である。水平ＬＰＦ１４により、水平方向で周波数成分の高域が減衰されている。なお、ここで言う高周波部分又は高域とは、ギラギラ感の原因となる水平方向及び垂直方向がいずれも高周波数となる領域で鮮鋭化処理による高周波成分が発生することを防ぐために除去又は減衰させるものであって、後段の垂直鮮鋭化処理部ＦＥｖの鮮鋭化特性を考慮して当業者が適宜設定できるものである。

垂直鮮鋭化処理部ＦＥｖは、入力画像信号Ｓ_ｉｎに含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成するものであり、水平ＬＰＦ１４からの第４信号Ｓ４で表される画像の垂直方向について鮮鋭化処理を施し、第５信号Ｓ５を第２加算器１６に出力する。図８（ｆ）は第５信号Ｓ５の周波数成分を示す図である。垂直鮮鋭化処理部ＦＥｖにより、垂直方向にナイキスト周波数を超える周波数成分を含む垂直方向の高調波が生成される。

第２加算器１６は、第１加算器１５からの第３信号Ｓ３と垂直鮮鋭化処理部ＦＥｖからの第５信号Ｓ５とを加算して出力画像信号Ｓ_ｏｕｔを生成する。図８（ｇ）は、出力画像信号Ｓ_ｏｕｔの周波数成分を示す図である。出力画像信号Ｓ_ｏｕｔは、入力画像信号Ｓ_ｉｎの周波数成分に、水平方向及び垂直方向にナイキスト周波数を超える周波数成分を含めた高調波を加えた形になり、特に、ナイキスト周波数を超える周波数成分は、水平方向及び垂直方向がいずれも高周波となる領域には生成されていない。

このように、本実施形態によれば、水平鮮鋭化処理部ＦＥｈの前段に垂直ＬＰＦ１３が配置され、垂直鮮鋭化処理部ＦＥｖの前段に水平ＬＰＦ１４が配置されているため、入力画像の水平方向及び垂直方向の周波数成分をいずれも超える周波数領域において水平方向及び垂直方向の鮮鋭化処理の重複による周波数成分を生成することなく画像を先鋭化することが可能となり、画像のギラギラ／チラチラ感を低減できる。また、本手法では、水平の高調波生成および垂直の高調波生成において各々の必要とする帯域に絞ったフィルタ（後述の２次元フィルタも含む）が個別に選べるため、ノイズ感を伴うことなく、水平方向及び垂直方向それぞれの良好な高調波が得られて、くっきりした画像に鮮鋭化できる。

また、図７に示す簡単な構成で本実施形態に係る画像処理装置１を実現できるので、この画像処理装置１を高精細テレビジョン（ＨＤＴＶ)や標準画質テレビジョン（ＳＤＴＶ）の受像機等に利用することにより、静止画のみならずリアルタイムで表示される動画についても、大きなコスト増を招くことなく画質を改善することができる。

また本実施形態は、ナイキスト周波数を越える高周波域の補償も可能であることから、特に、拡大処理の施された画像信号の表す画像の鮮鋭化による画質向上において特に効果を奏する。例えば高精細テレビジョン（ＨＤＴＶ)の受信機のディスプレイで、標準画質テレビジョン（ＳＤＴＶ：Standard Definition Television）の画像信号に拡大処理を施して画像を表示する場合に、本実施形態は、リアルタイムで表示される動画を簡単な構成で十分に鮮鋭化できるという点で大きな効果を奏する。また、現在、ＨＤＴＶの画素数よりも多い４０００×２０００程度の画素数のディスプレイ（以下「４ｋディスプレイ」という）やそれに対応したテレビジョン放送のための技術開発が行われており、ＨＤＴＶ用の画像信号をアップコンバートしてこの４ｋディスプレイで表示する場合にも、本実施形態は同様の点で大きな効果を奏する。

なお、画像処理装置１において、水平方向及び垂直方向の鮮鋭化処理の順番を入れ替えても良い。すなわち、水平方向の鮮鋭化処理に係る構成（垂直ＬＰＦ１３、水平鮮鋭化処理部ＦＥｈ、第１加算器１５）と、垂直方向の鮮鋭化処理に係る構成（水平ＬＰＦ１４、垂直鮮鋭化処理部ＦＥｖ、第２加算器１６）との順序を入れ替えて入力画像信号Ｓ_ｉｎを処理することができる。

また、垂直ＬＰＦ１３及び水平ＬＰＦ１４の代わりに、２次元フィルタを用いても良い。この場合、水平鮮鋭化処理部ＦＥｈの前段には、少なくとも入力画像信号Ｓ_ｉｎに含まれる水平方向の高周波部分において、入力画像信号Ｓ_ｉｎの垂直方向の周波数成分の高周波部分を除去する２次元フィルタを用いることが好ましい。また、垂直鮮鋭化処理部ＦＥｖの前段には少なくとも入力画像信号Ｓ_ｉｎに含まれる垂直方向の高周波部分において、入力画像信号Ｓ_ｉｎの水平方向の周波数成分の高周波部分を除去する２次元フィルタを用いることが好ましい。なお、ここで言う高周波部分又は高域とは、ギラギラ感の原因となる水平方向及び垂直方向がいずれも高周波数となる領域で鮮鋭化処理による高周波成分が発生することを防ぐために除去又は減衰させるものであって、各２次元フィルタ後段の鮮鋭化処理部（ＦＥｖ、ＦＥｈ）の鮮鋭化特性を考慮して当業者が適宜設定できるものである。

また、第２加算器１６の後段にさらに２次元フィルタを備え、より確実に高域成分を減衰させる構成としても良い。かかる２次元フィルタは、出力画像信号Ｓ_ｏｕｔの周波数成分のうち、水平方向及び垂直方向がいずれも高周波数となる領域を除去するものが好ましい。

（第２の実施形態）
図９は、本発明の第２の実施形態に係る画像処理装置２の構成を示す図である。画像処理装置２は、第１の実施形態の画像処理装置１と同等の機能ブロックを備え、垂直ＬＰＦ１３及び水平ＬＰＦ１４の配置が第１の実施形態と異なるものである。各機能ブロックについて、第１の実施形態と同等の処理については重複する説明を省略する。

本実施形態によれば、入力画像信号Ｓ_ｉｎが垂直ＬＰＦ１３及び水平ＬＰＦ１４を通過することになるため、各ＬＰＦが鮮鋭化処理のために高域除去を行うと共に、入力画像信号Ｓ_ｉｎ自体に含まれる高周波成分を減衰させることができる。かかる構成は、入力画像信号Ｓ_ｉｎの高周波成分にノイズが多い場合など、入力画像信号Ｓ_ｉｎ全体のノイズ低減が必要な場合に特に有効である。

なお、第１の実施形態と同様に、画像処理装置２において、水平方向及び垂直方向の鮮鋭化処理の順番を入れ替えても良い。また、垂直ＬＰＦ１３及び水平ＬＰＦ１４の代わりに、それぞれ対応する２次元フィルタを用いても良い。また、第２加算器１６の後段に２次元フィルタを備え、より確実に高域成分を減衰させる構成としても良い。

（第３の実施形態）
図１０は、本発明の第３の実施形態に係る画像処理装置３の構成を示す図である。画像処理装置３は、垂直ＬＰＦ１３及び水平ＬＰＦ１４と、水平鮮鋭化処理部ＦＥｈ及び垂直鮮鋭化処理部ＦＥｖと、第１加算器１５及び第２加算器１６とを備える。画像処理装置３は、水平鮮鋭化処理部ＦＥｈの前段に垂直ＬＰＦ１３が配置された構成を水平方向処理部とし、垂直鮮鋭化処理部ＦＥｖの前段に水平ＬＰＦ１４が配置された構成を垂直方向処理部とすると、水平方向処理部と垂直方向処理部とが並列に接続された構成となる。図１１は、画像処理装置３の各機能ブロックが出力する信号の周波数成分を示す図である。これ以降、図１１の周波数成分とともに各機能ブロックの処理を説明する。

垂直ＬＰＦ１３は、入力画像信号Ｓ_ｉｎの垂直方向の周波数成分の高周波部分を除去するものであり、入力画像信号Ｓ_ｉｎの垂直方向成分の高域を部分的に減衰させ、第１信号Ｓ１を水平鮮鋭化処理部ＦＥｈに出力する。図１１（ｂ）は第１信号Ｓ１の周波数成分を示す図である。垂直ＬＰＦ１３により、垂直方向で周波数成分の高域が減衰されている。なお、ここで言う高周波部分又は高域とは、ギラギラ感の原因となる水平方向及び垂直方向がいずれも高周波数となる領域で鮮鋭化処理による高周波成分が発生することを防ぐために除去又は減衰させるものであって、後段の水平鮮鋭化処理部ＦＥｈの鮮鋭化特性を考慮して当業者が適宜設定できるものである。

水平鮮鋭化処理部ＦＥｈは、入力画像信号Ｓ_ｉｎに含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成するものであり、垂直ＬＰＦ１３からの第１信号Ｓ１で表される画像の水平方向について鮮鋭化処理を施し、第２信号Ｓ２を第１加算器１５に出力する。図１１（ｃ）は第２信号Ｓ２の周波数成分を示す図である。水平鮮鋭化処理部ＦＥｈにより、水平方向にナイキスト周波数を超える周波数成分を含む水平方向の高調波が生成される。

水平ＬＰＦ１４は、入力画像信号Ｓ_ｉｎの水平方向の周波数成分の高周波部分を除去するものであり、入力画像信号Ｓ_ｉｎの水平方向成分の高域を部分的に減衰させ、第３信号Ｓ３を垂直鮮鋭化処理部ＦＥｖに出力する。図１１（ｄ）は第３信号Ｓ３の周波数成分を示す図である。水平ＬＰＦ１４により、水平方向で周波数成分の高域が減衰されている。なお、ここで言う高周波部分又は高域とは、ギラギラ感の原因となる水平方向及び垂直方向がいずれも高周波数となる領域で鮮鋭化処理による高周波成分が発生することを防ぐために除去又は減衰させるものであって、後段の垂直鮮鋭化処理部ＦＥｖの鮮鋭化特性を考慮して当業者が適宜設定できるものである。

垂直鮮鋭化処理部ＦＥｖは、入力画像信号Ｓ_ｉｎに含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成するものであり、水平ＬＰＦ１４からの第３信号Ｓ３で表される画像の垂直方向について鮮鋭化処理を施し、第４信号Ｓ４を第１加算器１５に出力する。図１１（ｅ）は第４信号Ｓ４の周波数成分を示す図である。垂直鮮鋭化処理部ＦＥｖにより、垂直方向にナイキスト周波数を超える周波数成分を含む垂直方向の高調波が生成される。

第１加算器１５は、水平鮮鋭化処理部ＦＥｈからの第２信号Ｓ２と、垂直鮮鋭化処理部ＦＥｖからの第４信号Ｓ４とを加算して第５信号Ｓ５を生成する。図１１（ｆ）は、第５信号Ｓ５の周波数成分を示す図である。

第２加算器１６は、入力画像信号Ｓ_ｉｎと、第１加算器１５からの第５信号Ｓ５とを加算して出力画像信号Ｓ_ｏｕｔを生成する。図１１（ｇ）は、出力画像信号Ｓ_ｏｕｔの周波数成分を示す図である。出力画像信号Ｓ_ｏｕｔは、入力画像信号Ｓ_ｉｎの周波数成分に、水平方向及び垂直方向にナイキスト周波数を超える周波数成分を含めた高調波を加えた形になり、特に、ナイキスト周波数を超える周波数成分は、水平方向及び垂直方向がいずれも高周波となる領域には生成されていない。

このように、本実施形態によれば、本実施形態によれば、水平鮮鋭化処理部ＦＥｈの前段に垂直ＬＰＦ１３が配置され、垂直鮮鋭化処理部ＦＥｖの前段に水平ＬＰＦ１４が配置されているため、入力画像の水平方向及び垂直方向の周波数成分をいずれも超える周波数領域において水平方向及び垂直方向の鮮鋭化処理の重複による周波数成分を生成することなく画像を先鋭化することが可能となり、画像のギラギラ／チラチラ感を低減できる。また、本手法では、水平の高調波生成および垂直の高調波生成において各々の必要とする帯域に絞ったフィルタ（後述の２次元フィルタも含む）が個別に選べるため、ノイズ感を伴うことなく、水平方向及び垂直方向それぞれの良好な高調波が得られて、くっきりした画像に鮮鋭化できる。

なお、画像処理装置３において、第２加算器１６の後段にさらに２次元フィルタを備え、より確実に高域成分を減衰させる構成としても良い。かかる２次元フィルタは、出力画像信号Ｓ_ｏｕｔの周波数成分のうち、水平方向及び垂直方向がいずれも高周波数となる領域を除去するものが好ましい。

（第４の実施形態）
図１２は、本発明の第４の実施形態に係る画像処理装置４の構成を示す図である。第４の実施形態に係る画像処理装置４は、第１の２次元フィルタ２１及び第２の２次元フィルタ２２と、水平鮮鋭化処理部ＦＥｈ及び垂直鮮鋭化処理部ＦＥｖと、増幅器１７（切替器）と、第１加算器１５、第２加算器１６及び第３加算器１８とを備える。画像処理装置４は、水平鮮鋭化処理部ＦＥｈの前段に第１の２次元フィルタ２１が配置された構成を水平方向処理部とし、垂直鮮鋭化処理部ＦＥｖの前段に第２の２次元フィルタ２２が配置された構成を垂直方向処理部とすると、水平方向処理部の後段と垂直方向処理部の前段とに接続された切替器（増幅器１７）を備え、切替器である増幅器１７の設定（増幅率β）により、水平方向処理部と垂直方向処理部の並列接続及び直列接続を切り替えるものである。なお、後述の通り、増幅器１７の増幅率βは０≦β≦１の範囲の値となるため、増幅率βが０＜β＜１の場合には、増幅器１７は並列接続及び直列接続のいずれか一方に厳密に切り替えるものではなく、並列接続及び直列接続をそれぞれを含む回路構成とすることができる。

図１３は本実施形態に係る望ましい２次元フィルタの周波数特性を示す図である。図１３（ａ）は第１の２次元フィルタ２１の周波数特性を示し、図１３（ｂ）は第２の２次元フィルタ２２の周波数特性を示す。これら第１の２次元フィルタ２１及び第２の２次元フィルタ２２は、入力画像信号Ｓinの２次元周波数スペクトルにおける四隅のナイキスト周波数限界付近の信号成分に対しても後述する鮮鋭化処理によって効果的な高調波を発生させることが可能な特性を有する。第１の２次元フィルタ２１は、少なくとも入力画像信号Ｓ_ｉｎに含まれる水平方向の高周波部分において、入力画像信号Ｓ_ｉｎの垂直方向の周波数成分の高周波部分を除去するものである。また、第２の２次元フィルタ２２は、少なくとも入力画像信号Ｓ_ｉｎに含まれる垂直方向の高周波部分において、入力画像信号Ｓ_ｉｎの水平方向の周波数成分の高周波部分を除去するものである。なお、ここで言う高周波部分とは、ギラギラ感の原因となる水平方向及び垂直方向がいずれも高周波数となる領域で鮮鋭化処理による高周波成分が発生することを防ぐために除去又は減衰させるものであって、２次元フィルタ後段の鮮鋭化処理部（ＦＥｖ、ＦＥｈ）の鮮鋭化特性を考慮して当業者が適宜設定できるものである。

増幅器１７の増幅率βは０≦β≦１の範囲で設定可能である。増幅率βが０の場合、画像処理装置４の構成は第３の実施形態のように水平方向及び垂直方向の鮮鋭化処理が並列して行われる構成となり、増幅率βが１の場合、画像処理装置４の構成は第１の実施形態のように水平方向及び垂直方向の鮮鋭化処理が直列して行われる構成となる。増幅率βが０＜β＜１の場合、直列処理による周波数成分と並列処理による周波数成分とが生成されるため、入力画像信号Ｓ_ｉｎの特性に合わせて増幅率βを設定することにより、直列処理及び並列処理による周波数成分を組み合わせ、より適切な鮮鋭化処理を行うことが可能になる。

図１４は、増幅器１７の増幅率βが０の場合の各機能ブロックが出力する信号の周波数成分を示す図である。

第１の２次元フィルタ２１は、少なくとも入力画像信号Ｓ_ｉｎに含まれる水平方向の高周波部分において、入力画像信号Ｓ_ｉｎの垂直方向の周波数成分の高周波部分を除去するものであり、入力画像信号Ｓ_ｉｎの垂直方向成分の高域を部分的に減衰させ、第１信号Ｓ１を水平鮮鋭化処理部ＦＥｈに出力する。図１４（ｂ）は第１信号Ｓ１の周波数成分を示す図である。第１の２次元フィルタ２１により、垂直方向で周波数成分の高域が減衰されている。

水平鮮鋭化処理部ＦＥｈは、入力画像信号Ｓ_ｉｎに含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成するものであり、第１の２次元フィルタ２１からの第１信号Ｓ１で表される画像の水平方向について鮮鋭化処理を施し、第２信号Ｓ２を第１加算器１５及び増幅器１７に出力する。図１４（ｃ）は第２信号Ｓ２の周波数成分を示す図である。水平鮮鋭化処理部ＦＥｈにより、水平方向にナイキスト周波数を超える周波数成分を含む水平方向の高調波が生成される。

増幅器１７は、第２信号Ｓ２に増幅率β（＝０）を乗じるが、この場合増幅率βは０であるため、第３加算器１８への信号の出力は行われない。

第２の２次元フィルタ２２は、少なくとも入力画像信号Ｓ_ｉｎに含まれる垂直方向の高周波部分において、入力画像信号Ｓ_ｉｎの水平方向の周波数成分の高周波部分を除去するものであり、入力画像信号Ｓ_ｉｎである第６信号Ｓ６の水平方向成分の高域を部分的に減衰させ、第３信号Ｓ３を垂直鮮鋭化処理部ＦＥｖに出力する。図１４（ｄ）は第３信号Ｓ３の周波数成分を示す図である。第２の２次元フィルタ２２により、水平方向で周波数成分の高域が減衰されている。

垂直鮮鋭化処理部ＦＥｖは、入力画像信号Ｓ_ｉｎに含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成するものであり、第２の２次元フィルタ２２からの第３信号Ｓ３で表される画像の垂直方向について鮮鋭化処理を施し、第４信号Ｓ４を第１加算器１５に出力する。図１４（ｅ）は第４信号Ｓ４の周波数成分を示す図である。垂直鮮鋭化処理部ＦＥｖにより、垂直方向にナイキスト周波数を超える周波数成分を含む垂直方向の高調波が生成される。

第１加算器１５は、水平鮮鋭化処理部ＦＥｈからの第２信号Ｓ２と、垂直鮮鋭化処理部ＦＥｖからの第４信号Ｓ４とを加算して第５信号Ｓ５を生成する。図１４（ｆ）は、第５信号Ｓ５の周波数成分を示す図である。

第２加算器１６は、入力画像信号Ｓ_ｉｎと、第１加算器１５からの第５信号Ｓ５とを加算して出力画像信号Ｓ_ｏｕｔを生成する。図１４（ｇ）は、出力画像信号Ｓ_ｏｕｔの周波数成分を示す図である。出力画像信号Ｓ_ｏｕｔは、入力画像信号Ｓ_ｉｎの周波数成分に、水平方向及び垂直方向にナイキスト周波数を超える周波数成分を含めた高調波を加えた形になり、特に、ナイキスト周波数を超える周波数成分は、水平方向及び垂直方向がいずれも高周波となる領域には生成されていないとともに、ナイキスト周波数を超えない周波数での、水平方向及び垂直方向がいずれも高周波となる領域での水平方向の高調波と垂直方向の高調波の重なりは程良く抑制されている。

図１５は増幅器１７の増幅率βが１の場合の各機能ブロックが出力する信号の周波数成分を示す図である。

第１の２次元フィルタ２１は、少なくとも入力画像信号Ｓ_ｉｎに含まれる水平方向の高周波部分において、入力画像信号Ｓ_ｉｎの垂直方向の周波数成分の高周波部分を除去するものであり、入力画像信号Ｓ_ｉｎの垂直方向成分の高域を部分的に減衰させ、第１信号Ｓ１を水平鮮鋭化処理部ＦＥｈに出力する。図１５（ｂ）は第１信号Ｓ１の周波数成分を示す図である。第１の２次元フィルタ２１により、垂直方向で周波数成分の高域が減衰されている。

水平鮮鋭化処理部ＦＥｈは、入力画像信号Ｓ_ｉｎに含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成するものであり、第１の２次元フィルタ２１からの第１信号Ｓ１で表される画像の水平方向について鮮鋭化処理を施し、第２信号Ｓ２を第１加算器１５及び増幅器１７に出力する。図１５（ｃ）は第２信号Ｓ２の周波数成分を示す図である。水平鮮鋭化処理部ＦＥｈにより、水平方向にナイキスト周波数を超える周波数成分を含む水平方向の高調波が生成される。

増幅器１７は、第２信号Ｓ２に増幅率β（＝１）を乗じ、第３加算器１８に出力する。

第３加算器１８は、入力画像信号Ｓ_ｉｎと第２信号Ｓ２とを加算して第６信号Ｓ６を生成する。図１５（ｄ）は、第６信号Ｓ６の周波数成分を示す図である。第６信号Ｓ６は、入力画像信号Ｓ_ｉｎの周波数成分に、水平方向にナイキスト周波数を超える周波数成分を含む水平方向の高調波を加えた形になり、特に、水平方向にナイキスト周波数を超える周波数成分を含む水平方向の高調波は、垂直方向の高周波領域には生成されていない。

第２の２次元フィルタ２２は、少なくとも第６信号Ｓ６（入力画像信号Ｓ_ｉｎ＋第２信号Ｓ２）に含まれる垂直方向の高周波部分において、第６信号Ｓ６（入力画像信号Ｓ_ｉｎ＋第２信号Ｓ２）の水平方向の周波数成分の高周波部分を除去するものであり、入力される第６信号Ｓ６（入力画像信号Ｓ_ｉｎ＋第２信号Ｓ２）の水平方向成分の高域を部分的に減衰させ、第３信号Ｓ３を垂直鮮鋭化処理部ＦＥｖに出力する。図１５（ｅ）は第３信号Ｓ３の周波数成分を示す図である。第２の２次元フィルタ２２により、水平方向で周波数成分の高域が減衰されている。

垂直鮮鋭化処理部ＦＥｖは、入力画像信号Ｓ_ｉｎを含む第６信号Ｓ６に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成するものであり、第２の２次元フィルタ２２からの第３信号Ｓ３で表される画像の垂直方向について鮮鋭化処理を施し、第４信号Ｓ４を第１加算器１５に出力する。図１５（ｆ）は第４信号Ｓ４の周波数成分を示す図である。垂直鮮鋭化処理部ＦＥｖにより、垂直方向にナイキスト周波数を超える周波数成分を含む垂直方向の高調波が生成される。

第１加算器１５は、水平鮮鋭化処理部ＦＥｈからの第２信号Ｓ２と、垂直鮮鋭化処理部ＦＥｖからの第４信号Ｓ４とを加算して第５信号Ｓ５を生成する。図１５（ｇ）は、第５信号Ｓ５の周波数成分を示す図である。

第２加算器１６は、入力画像信号Ｓ_ｉｎと、第１加算器１５からの第５信号Ｓ５とを加算して出力画像信号Ｓ_ｏｕｔを生成する。図１５（ｈ）は、出力画像信号Ｓ_ｏｕｔの周波数成分を示す図である。出力画像信号Ｓ_ｏｕｔは、入力画像信号Ｓ_ｉｎの周波数成分に、水平方向及び垂直方向にナイキスト周波数を超える周波数成分を含めた高調波を加えた形になり、特に、ナイキスト周波数を超える周波数成分は、水平方向及び垂直方向がいずれも高周波となる領域には生成されていないとともに、ナイキスト周波数を超えない周波数での、水平方向及び垂直方向がいずれも高周波となる領域での水平方向の高調波と垂直方向の高調波の重なりは程良く抑制されている。

このように、本実施形態によれば、本実施形態によれば、水平鮮鋭化処理部ＦＥｈの前段に第１の２次元フィルタ２１が配置され、垂直鮮鋭化処理部ＦＥｖの前段に第２の２次元フィルタ２２が配置されているため、入力画像の水平方向及び垂直方向の周波数成分をいずれも超える周波数領域において水平方向及び垂直方向の鮮鋭化処理の重複による周波数成分を生成することなく画像を先鋭化することが可能となり、画像のギラギラ／チラチラ感を低減できる。また、本手法では、水平の高調波生成および垂直の高調波生成において各々の必要とする帯域に絞ったフィルタ（２次元フィルタも含む）が個別に選べるため、ノイズ感を伴うことなく、水平方向及び垂直方向それぞれの良好な高調波が得られて、鋭い先端のような画像も鈍い感じになることなく鮮鋭化できる。

また、画像処理装置４において、切替器である増幅器１７は、水平方向処理部及び垂直方向処理部の直列接続及び並列接続を切り替えることができる。これにより、増幅率を０として並列接続とした場合には、水平方向及び垂直方向の鮮鋭化処理それぞれで生成された高周波成分の和が画像の鮮鋭化に働くため、人工的なギラギラ感の発生を防ぐことができる。また、増幅率を１として直列接続とした場合には、入力画像信号Ｓ_ｉｎがすでに斜め成分を除去されたようなボケた感じでも、水平方向及び垂直方向で２次元的に高周波成分の生成が行われるため、鮮鋭化により入力画像を華やかな感じに仕立てることが可能になる。

また、画像処理装置４において、増幅器１７を直列接続及び並列接続の切替器としているため、入力画像信号Ｓ_ｉｎの特性に合わせて増幅率βを設定することにより、直列処理及び並列処理による周波数成分を組み合わせ、より適切な鮮鋭化処理を行うことが可能になる。

なお、画像処理装置４において、水平方向及び垂直方向の鮮鋭化処理の順番を入れ替えても良い。また、第２加算器１６の後段に２次元フィルタを備え、より確実に高域成分を減衰させる構成としても良い。

また、各加算器（１５，１６，１８）は各経路から入力された同一フレームの画像信号を加算するものであるから、タイミングを調整するための遅延素子を必要に応じて備えるものである。

また、切替器は増幅器１７のみに限られず、スイッチ回路などを適宜用いることができるものである。

（第５の実施形態）
図１６は、本発明の第５の実施形態に係る画像処理装置５の構成を示す図である。第５の実施形態に係る画像処理装置５は、第３の実施形態に係る画像処理装置３に入力画像信号Ｓ_ｉｎの水平及び垂直方向の動き量（フィールド変化）を検出するフィールド変化検出部６０を加えて構成されるものである。なお、各機能ブロックについて、第３の実施形態と同等の処理については重複する説明を省略する。

本実施形態に係るフィールド変化検出部６０は、入力画像信号Ｓ_ｉｎのフィールド変化を検出し、水平鮮鋭化処理部ＦＥｈ及び垂直鮮鋭化処理部ＦＥｖの周波数成分の強調度（ゲインα）を調整するものである。図１７は、本実施形態に係る鮮鋭化処理部ＦＥ（水平鮮鋭化処理部ＦＥｈ及び垂直鮮鋭化処理部ＦＥｖ）の構成を示す図である。図１７（ａ）に示す鮮鋭化処理部ＦＥは、図１に示す鮮鋭化処理部ＦＥの非線形処理部２０の後段に増幅器５０を設けた構成である。図１７（ｂ）に示す鮮鋭化処理部ＦＥは、図５に示す鮮鋭化処理部ＦＥのＨＰＦ１０の後段に増幅器５０を設けた構成である。図１７に示す鮮鋭化処理部ＦＥの増幅器５０は、フィールド変化検出部６０からの制御信号によりゲインを変化させることができる。なお、図１７においては、説明の便宜上増幅器５０を独立した構成として記載しているが、増幅器５０の機能（ゲインαの調整）をリミッター３０と一体的に構成してもよい。

図１８は、フィールド変化検出部６０の構成を示す図である。フィールド変化検出部６０は、フレームメモリ６１と、水平ＬＰＦ６２及び水平ＬＰＦ６３と、垂直ＬＰＦ６４及び垂直ＬＰＦ６５と、差分検出部６６及び差分検出部６７と、ゲイン決定部６８とを備えている。

フィールド変化検出部６０において、入力画像信号Ｓ_ｉｎである現フレームの信号は水平ＬＰＦ６３及び垂直ＬＰＦ６５に入力される。また、フレームメモリ６１から出力される前フレームの信号は、水平ＬＰＦ６２及び垂直ＬＰＦ６４に入力される。

水平ＬＰＦ６２及び水平ＬＰＦ６３の出力は差分検出部６６に入力され、差分検出部６６は各信号の差分信号（垂直動き量）をゲイン決定部６８に出力する。

垂直ＬＰＦ６４及び垂直ＬＰＦ６５の出力は差分検出部６７に入力され、差分検出部６７は各信号の差分信号（水平動き量）をゲイン決定部６８に出力する。

ゲイン決定部６８は、垂直動き量の値が大きい場合、垂直鮮鋭化処理部ＦＥｖによる周波数成分の強調度を低くするようにゲインα１を決定し、決定したゲインα１を垂直鮮鋭化処理部ＦＥｖに出力する。また、ゲイン決定部６８は、水平動き量の値が大きい場合、水平鮮鋭化処理部ＦＥｈによる周波数成分の強調度を低くするようにゲインα２を決定し、決定したゲインα２を水平鮮鋭化処理部ＦＥｈに出力する。

このように、本実施形態によれば、フィールド変化検出部６０は入力画像信号Ｓ_ｉｎの動きに応じて水平方向及び垂直方向の鮮鋭化処理による周波数成分の強調度を決定するため、入力画像信号Ｓ_ｉｎの特徴に適した鮮鋭化処理を行うことが可能になる。

（非線形処理による高周波成分生成の説明）
以下、参考のため、図１及び図５鮮鋭化処理部ＦＥにおいて、サンプリング周波数がｆｓである入力画像のナイキスト周波数ｆｓ／２を越える高周波域の補償が可能となる点について説明する。

いま、入力画像信号Ｓ_ｉｎが（水平方向）位置ｘの関数ｆ(ｘ)で表現されるものとし、入力画像信号Ｓ_ｉｎの基本角周波数をωとすると、このｆ(ｘ)は式（５）のようなフーリエ級数で表現することができる。

ここで、Ｎは、（画像拡大処理前の）サンプリング周波数ｆｓに対応するナイキスト周波数ｆｓ／２を越えない最高周波数の高調波の次数である。すなわち、
Ｎω／（２π）＜ｆｓ／２≦（Ｎ＋１）ω／（２π）
である。

例えば、非線形処理部（２０、４０）が、入力画像信号Ｓ_ｉｎを２乗することにより、第１信号Ｓ１を生成する場合、第１信号Ｓ１における各項は下記式（６ａ）〜（６ｃ）のいずれかで表現される。

（ｉ＝±１，±２，…，±Ｎ；ｊ＝±１，±２，…，±Ｎ）

三角関数に関する公式を用いると、上記式（６ａ）〜（６ｃ）は、下記の式（７ａ）〜（７ｃ）にそれぞれ書き直すことができる。

上記式より（ｆ(ｘ)）²は、（Ｎ＋１）ω，（Ｎ＋２）ω，…，２Ｎω等の角周波数成分を含むので、ナイキスト周波数ｆｓ／２よりも高い周波数成分を含む。このため、第１信号Ｓ１も、周波数２Ｎω／（２π）という高調波成分等のようにナイキスト周波数ｆｓ／２よりも高い周波数成分を含む。

また、例えば、非線形処理部（２０、４０）が、正の第１信号Ｓ１を３乗することにより、第２信号Ｓ２を生成する場合、第２信号Ｓ２における各項は下記式（８ａ）〜（８ｄ）のいずれかで表現される。

（ｉ＝±１，±２，…，±Ｎ；ｊ＝±１，±２，…，±Ｎ；ｋ＝±１，±２，…，±Ｎ）

いま、例えばｉ＝ｊ＝ｋ＝Ｎの項のうち上記式（８ａ）（８ｄ）で示される下記の項に着目すると、これらの項は、三角関数の公式より次のように書き換えることができる。

また、例えばｉ＝ｊ＝ｋ＝−Ｎの項のうち上記式（８ａ）（８ｄ）で示される下記の項に着目すると、この項は、三角関数の公式より次のように書き換えることができる。

上記式（９ａ）（９ｄ）（１０ａ）（１０ｄ）より、（ｇ(ｘ)）³は、基本角周波数ωの３Ｎ倍の周波数成分や−３Ｎ倍の周波数成分を含む。（ｇ(ｘ)）³における他の項についても三角関数の公式によって書き換えることにより、（ｇ(ｘ)）³は、基本角周波数ωの−３Ｎ倍から３Ｎ倍までの種々の周波数成分を含むことがわかる。

上記の通り、非線形処理部（２０、４０）による非線形処理により、鮮鋭化処理部ＦＥにおいて、サンプリング周波数がｆｓである入力画像のナイキスト周波数ｆｓ／２を越える高周波域の補償が可能となる。また、非対称型非線形関数を用いる非線形処理部２０は、ハイパスフィルタ処理後の信号の正負で非対称となる非線形処理を行うことにより、正負で非対称となる周波数成分を生成することが可能となる。

本発明は、画像を鮮鋭化して画質を改善するための画像処理装置に適用されるものであり、例えばテレビジョン（ＴＶ）受像機でリアルタイムで表示される動画を鮮鋭化するための画像処理装置に適用することができる。

また、本発明は、監視カメラの画像鮮鋭化処理に適用可能であり、例えば、画像の一部を拡大した際のボケを低減することが可能となる。また、暗所に設置された監視カメラの画像や、夜間に撮影された画像などに対して、輝度が暗い領域の輪郭をより先鋭化する画像処理が可能になる。

さらに、本発明は、遠距離から撮像した映像の解像度改善に適用することができる。例えば、接近することが困難な事故現場などを遠方から撮影した画像や、衛星画像などに対し、輪郭を先鋭化する画像処理が可能になる。

さらに、本発明は、アナログコンテンツのハイビジョン化に適用することができる。即ち、既存のアナログコンテンツをハイビジョンコンテンツに変換する際、アップコンバートされた画像の輪郭を先鋭化する画像処理を行うことにより、アナログコンテンツをより高精細なデジタルコンテンツとして再製することが可能となる。例えば、アナログテレビコンテンツをハイビジョンコンテンツに変換したり、古い映画コンテンツをより高精細なデジタルコンテンツ（例えばＢｌｕ−ｒａｙ（登録商標）コンテンツ）に変換したりする際に適用可能である。

さらに、本発明は、医療分野にも適用可能である。例えば、内視鏡等による患部の拡大画像をより高精細な画像へと変換したり、遠隔医療などにおいて、解像度の低い患部の映像をより高精細な画像へと変換したりすることが可能となる。

さらに、本発明は、コンピュータで視聴可能な動画コンテンツの高精細化に適用可能である。インターネット上には動画コンテンツを配信するサイトが多数存在し、既に多数の動画コンテンツが保存されている。本発明により、既存の動画コンテンツをさらに高精細、高解像度のコンテンツに変換し、視聴品質を向上させることが可能となる。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各構成部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

１、２、３、４、５画像処理装置
１０ＨＰＦ
１１１〜１１（ｍ−１）単位遅延素子
１２１〜１２ｍ乗算器
１３１加算器
１１ＬＰＦ
１２減算器
１３垂直ＬＰＦ（垂直フィルタ）
１４水平ＬＰＦ（水平フィルタ）
１５第１加算器
１６第２加算器
１７増幅器（切替器）
１８第３加算器
２０、４０非線形処理部
２１第１の２次元フィルタ（垂直フィルタ）
２２第２の２次元フィルタ（水平フィルタ）
３０リミッタ
５０増幅器
６０フィールド変化検出部
６１フレームメモリ
６２、６３水平ＬＰＦ
６４、６５垂直ＬＰＦ
６６、６７差分検出部
６８ゲイン決定部

上述した諸課題を解決すべく、本発明に係る画像処理装置は、入力画像を表す入力画像信号に含まれる周波数成分より高い周波数成分を生成して入力画像を鮮鋭化する画像処理装置であって、少なくとも入力画像信号に含まれる水平方向の高周波部分において、入力画像信号の垂直方向の周波数成分の高周波部分を除去する垂直フィルタと、入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平鮮鋭化処理部と、少なくとも入力画像信号に含まれる垂直方向の高周波部分において、入力画像信号の水平方向の周波数成分の高周波部分を除去する水平フィルタと、入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直鮮鋭化処理部と、を備え、前記水平鮮鋭化処理部の前段に前記垂直フィルタが配置された水平方向処理部と、前記垂直鮮鋭化処理部の前段に前記水平フィルタが配置された垂直方向処理部とが、並列に接続され、並列に接続された前記水平方向処理部及び前記垂直方向処理部のいずれか一方の後段と、いずれか他方の前段とに接続された増幅器を備え、入力画像を鮮鋭化するものである。
また、前記増幅器の増幅率βは０≦β≦１であることが好ましい。

また、本発明に係る画像処理装置は、入力画像を表す入力画像信号に含まれる周波数成分より高い周波数成分を生成して入力画像を鮮鋭化する画像処理装置であって、少なくとも入力画像信号に含まれる水平方向の高周波部分において、入力画像信号の垂直方向の周波数成分の高周波部分を除去する垂直フィルタと、入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平鮮鋭化処理部と、少なくとも入力画像信号に含まれる垂直方向の高周波部分において、入力画像信号の水平方向の周波数成分の高周波部分を除去する水平フィルタと、入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直鮮鋭化処理部と、を備え、前記水平鮮鋭化処理部及び前記垂直鮮鋭化処理部の少なくとも一方は、入力信号に含まれる周波数成分の少なくとも直流成分を除去することにより第１信号を生成するフィルタ部と、前記第１信号に対して前記第１信号の正負で非対称となる非線形処理を行い第２信号を生成する非線形処理部であって、前記第１信号に対して、正の領域に適用する非線形処理と負の領域に適用する非線形処理とが原点を通る連続関数として表され、且つ、非線形処理で生成された周波数成分の帯域が、正の領域と負の領域で非対称となる非線形処理を行う非線形処理部と、前記第２信号を調整して第３信号を生成するリミッタと、を含み、前記水平鮮鋭化処理部の前段に前記垂直フィルタが配置された水平方向処理部と、前記垂直鮮鋭化処理部の前段に前記水平フィルタが配置された垂直方向処理部とが、直列又は並列に接続され入力画像を鮮鋭化するものである。

また、本発明に係る画像処理装置は、入力画像を表す入力画像信号に含まれる周波数成分より高い周波数成分を生成して入力画像を鮮鋭化する画像処理装置であって、少なくとも入力画像信号に含まれる水平方向の高周波部分において、入力画像信号の垂直方向の周波数成分の高周波部分を除去する垂直フィルタと、入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平鮮鋭化処理部と、少なくとも入力画像信号に含まれる垂直方向の高周波部分において、入力画像信号の水平方向の周波数成分の高周波部分を除去する水平フィルタと、入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直鮮鋭化処理部と、を備え、前記水平鮮鋭化処理部及び前記垂直鮮鋭化処理部の少なくとも一方は、入力信号に非線形処理を行い第１信号を生成する非線形処理部であって、前記入力信号に対して前記第１信号が連続した非線形関数として表され、且つ、前記入力信号に含まれない周波数成分を生成する非線形処理を行う非線形処理部と、前記第１信号に含まれる周波数成分の少なくとも直流成分を除去することにより第２信号を生成するフィルタ部と、前記第２信号を調整して第３信号を生成するリミッタと、を含み、前記水平鮮鋭化処理部の前段に前記垂直フィルタが配置された水平方向処理部と、前記垂直鮮鋭化処理部の前段に前記水平フィルタが配置された垂直方向処理部とが、直列又は並列に接続され入力画像を鮮鋭化するものである。

さらに、上述した諸課題を解決すべく、本発明に係る画像処理方法は、入力画像を表す入力画像信号に含まれる周波数成分より高い周波数成分を生成して入力画像を鮮鋭化する画像処理装置における画像処理方法であって、前記画像処理装置における処理手順が、少なくとも入力画像信号に含まれる水平方向の高周波部分において、入力画像信号の垂直方向の周波数成分の高周波部分を除去し、入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平方向処理ステップと、少なくとも入力画像信号に含まれる垂直方向の高周波部分において、入力画像信号の水平方向の周波数成分の高周波部分を除去し、入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直方向処理ステップと、前記垂直方向処理ステップ及び前記水平方向処理ステップを直列に実行するか並列に実行するかを増幅率βにより切り替えるステップと、を含み、前記垂直方向処理ステップ及び前記水平方向処理ステップを直列又は並列に実行するものである。
前記増幅率βは０≦β≦１であることが好ましい。

また、本発明に係る画像処理方法は、入力画像を表す入力画像信号に含まれる周波数成分より高い周波数成分を生成して入力画像を鮮鋭化する画像処理装置における画像処理方法であって、前記画像処理装置における処理手順が、少なくとも入力画像信号に含まれる水平方向の高周波部分において、入力画像信号の垂直方向の周波数成分の高周波部分を除去し、入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平方向処理ステップと、少なくとも入力画像信号に含まれる垂直方向の高周波部分において、入力画像信号の水平方向の周波数成分の高周波部分を除去し、入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直方向処理ステップと、を含み、前記水平方向処理ステップと前記垂直方向処理ステップの少なくとも一方は、入力信号に含まれる周波数成分の少なくとも直流成分を除去することにより第１信号を生成するステップと、前記第１信号に対して前記第１信号の正負で非対称となる非線形処理を行い第２信号を生成する非線形処理ステップであって、前記第１信号に対して、正の領域に適用する非線形処理と負の領域に適用する非線形処理とが原点を通る連続関数として表され、且つ、非線形処理で生成された周波数成分の帯域が、正の領域と負の領域で非対称となる非線形処理を行う非線形処理ステップと、前記第２信号を調整して第３信号を生成する調整ステップと、を含み、前記垂直方向処理ステップ及び前記水平方向処理ステップを直列又は並列に実行するものである。

また、本発明に係る画像処理方法は、入力画像を表す入力画像信号に含まれる周波数成分より高い周波数成分を生成して入力画像を鮮鋭化する画像処理装置における画像処理方法であって、前記画像処理装置における処理手順が、少なくとも入力画像信号に含まれる水平方向の高周波部分において、入力画像信号の垂直方向の周波数成分の高周波部分を除去し、入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平方向処理ステップと、少なくとも入力画像信号に含まれる垂直方向の高周波部分において、入力画像信号の水平方向の周波数成分の高周波部分を除去し、入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直方向処理ステップと、を含み、前記水平方向処理ステップと前記垂直方向処理ステップの少なくとも一方は、入力信号に非線形処理を行い第１信号を生成する非線形処理ステップであって、前記入力信号に対して前記第１信号が連続した非線形関数として表され、且つ、前記入力信号に含まれない周波数成分を生成する非線形処理を行う非線形処理ステップと、前記第１信号に含まれる周波数成分の少なくとも直流成分を除去することにより第２信号を生成するステップと、前記第２信号を調整して第３信号を生成するステップと、を含み、前記垂直方向処理ステップ及び前記水平方向処理ステップを直列又は並列に実行するものである。

Claims

入力画像を表す入力画像信号に含まれる周波数成分より高い周波数成分を生成して入力画像を鮮鋭化する画像処理装置であって、
少なくとも入力画像信号に含まれる水平方向の高周波部分において、入力画像信号の垂直方向の周波数成分の高周波部分を除去する垂直フィルタと、
入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平鮮鋭化処理部と、
少なくとも入力画像信号に含まれる垂直方向の高周波部分において、入力画像信号の水平方向の周波数成分の高周波部分を除去する水平フィルタと、
入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直鮮鋭化処理部と、を備え、
前記水平鮮鋭化処理部の前段に前記垂直フィルタが配置された水平方向処理部と、
前記垂直鮮鋭化処理部の前段に前記水平フィルタが配置された垂直方向処理部とが、直列又は並列に接続され入力画像を鮮鋭化する画像処理装置。
並列に接続された前記水平方向処理部及び前記垂直方向処理部のいずれか一方の後段と、いずれか他方の前段とに接続された増幅器を備える、請求項１に記載の画像処理装置。
前記増幅器の増幅率βは０≦β≦１である、請求項２に記載の画像処理装置。
入力画像信号の動きを検出するフィールド変化検出部を備え、
前記フィールド変化検出部は、
入力画像信号の垂直方向の動き量が大きいときに前記垂直鮮鋭化処理部による周波数成分の強調度を低くし、
入力画像信号の水平方向の動き量が大きいときに前記水平鮮鋭化処理部による周波数成分の強調度を低くする、請求項１乃至３のいずれか一項に記載の画像処理装置。
入力画像を表す入力画像信号に含まれる周波数成分より高い周波数成分を生成して入力画像を鮮鋭化する画像処理装置における画像処理方法であって、
前記画像処理装置における処理手順が、
少なくとも入力画像信号に含まれる水平方向の高周波部分において、入力画像信号の垂直方向の周波数成分の高周波部分を除去し、入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平方向処理ステップと、
少なくとも入力画像信号に含まれる垂直方向の高周波部分において、入力画像信号の水平方向の周波数成分の高周波部分を除去し、入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直方向処理ステップと、を含み、
前記垂直方向処理ステップ及び前記水平方向処理ステップを直列又は並列に実行する画像処理方法。
前記垂直方向処理ステップ及び前記水平方向処理ステップを直列に実行するか並列に実行するかを増幅率βにより切り替えるステップを含む、
請求項５に記載の画像処理方法。
前記増幅率βは０≦β≦１である、請求項６に記載の画像処理方法。
入力画像信号の動きを検出し、入力画像信号の垂直方向の動き量が大きいときに前記垂直方向処理ステップによる周波数成分の強調度を低くし、入力画像信号の水平方向の動き量が大きいときに前記水平方向処理ステップによる周波数成分の強調度を低くするステップを含む、請求項５乃至７のいずれか一項に記載の画像処理方法。