JP2009025862A - 画像処理装置、画像処理方法、画像処理プログラム及び画像表示装置 - Google Patents

Abstract

【課題】画像の鮮鋭化を行う際、ノイズの強調による画像のざらつきを抑制しつつ画像の鮮鋭化を可能とする。
【解決手段】処理対象となる画像データのエッジ量を検出するエッジ量検出部２０と、エッジ量検出部２０により検出されたエッジ量の大きさを判定するエッジ量判定部３０と、前記画像データに対し、前記エッジ量判定３０部により判定されたエッジ量に応じて、高周波数成分の強調度合いが異なる周波数特性を有する中周波数成分強調フィルタを適用する鮮鋭化処理部４０とを有する。
【選択図】図３

Description

本発明は画像の鮮鋭化を可能とする画像処理装置、画像処理方法、画像処理プログラム及び画像表示装置に関する。

画像の鮮鋭化技術としてラプラシアンフィルタを利用したものやアンシャープマスクなどが知られている。これらは、エッジなどの高周波数成分を強調することによって画像の鮮鋭化を可能とする反面、ノイズの高周波数成分に対しても同時に強調してしまい、画像のざらつきの要因ともなるという問題がある。

図１１はラプラシアンフィルタについて説明する図である。図１１（ａ）に示すような処理対象となる画像データにおいて、所定位置すなわちｘ方向にｉ番目、ｙ方向にｊ番目の画素の輝度を表す画素値を（ｉ，ｊ）で表したとき、ラプラシアンは、ｆ（ｉ，ｊ）のｘ方向、ｙ方向それぞれの２次微分の和として次式のように表される。
（１）式において、ｘ方向、ｙ方向それぞれの２次微分は、次式のように定義される。
よって、（１）式は、
と表すことができる。これは、図１１（ｂ）に示すようなフィルタを施すことであり、これをラプラシアンフィルタと呼んでいる。また、斜め方向を考慮すると、図１１（ｃ）のようなフィルタとなる。

上述したように、ラプラシアンフィルタは画像の２次微分であるので、ラプラシアンフィルタを適用すると、図１１（ｄ）に示すように、画素値が大きく変化する部分ほど大きな値を出力する。

ラプラシアンフィルタを用いた鮮鋭化は、ラプラシアンフィルタの出力を処理対象となる画像（入力画像）から差し引くことによって行う。

図１２はラプラシアンフィルタを用いた画像の鮮鋭化について説明する図である。図１２（ａ）に示すように、入力画像からラプラシアンフィルタの出力（定数Ｃを与えた出力
）を差し引くことによって鮮鋭化を行う。なお、定数Ｃは、ラプラシアンフィルタの強調度合いを調節するパラメータである。ラプラシアンフィルタを用いた鮮鋭化の周波数特性の一例を図１２（ｂ）に示す。強調度合いを表す係数（強調係数と呼ぶことによる）としてのゲイン（ｇａｉｎ）は定数Ｃによって調節される。

図１２（ｂ）に示すように、ラプラシアンフィルタを用いた鮮鋭化は、画像の高周波数成分をより強く強調するような鮮鋭化処理であることがわかる。このようなラプラシアンフィルタを用いて、より強い鮮鋭化を行おうとすると、処理対象となる画像にノイズが存在する場合、ノイズの高周波数成分も強調してしまうこととなり、画像全体がざらつくという問題がある。
以上はラプラシアンフィルタについて説明したがアンシャープマスクを利用した鮮鋭化も同様にノイズの高周波数成分を強調してしまう。

そこで、ノイズの高周波数成分の強調を抑えるために、エッジ部分だけを上記した鮮鋭化技術を利用して鮮鋭化を行う方法がある。この方法によれば、非エッジ部分のノイズの増加は生じないが、鮮鋭化対象となるエッジ部分と鮮鋭化対象とならない非エッジ部分との境界部分が不自然なものとなり、境界部分で画像劣化が生じるといった問題が生じる。このような問題を解決するための技術は種々提案されている（例えば、特許文献１及び特許文献２参照）。

特許文献１に開示された技術（第１従来技術という）は、エッジ量に応じた強調係数を求め、エッジ部分から非エッジ部分にかけて連続的に強調度合いを変化させて鮮鋭化するものであり、これにより、エッジ部分と非エッジ部分との境界部分を目立たなくすることができると考えられる。

また、特許文献２に開示された技術（第２従来技術という）は、エッジ量に応じて２つのフィルタを切り替えて使用するものである。すなわち、エッジ量がある閾値以上の部分（エッジとして判定される部分）に対しては、高周波数成分を強調するようなフィルタを施し、エッジ量がある閾値未満の部分（非エッジとして判定される部分）に対しては、中程度の周波数帯域の周波数成分を強調するようなバンドパスフィルタを施している。このため、いずれの場合においても、それぞれの周波数成分が強調されるため、エッジ部分と非エッジ部分との境界部分の画像劣化が生じにくい。

特開２００２−８３２９４号公報 特許第３８９４４０８号公報

しかしながら、第１従来技術は、鮮鋭化を行うための技術として、高周波数成分をより強く強調するようなアンシャープマスクを利用しているため、エッジ部分に対しては、ざらつきの要因となるノイズの高周波数成分も強調してしまうという問題がある。さらに、非エッジ部分において、ノイズの高周波数成分は平滑化され、エッジ部分においてはノイズの高周波数成分は強調されるため、画像全体を見渡したとき、エッジ部分のざらつきが、より際立ってしまうといった問題がある。

また、第２従来技術も第１従来技術と同様、エッジ部分に対しては高周波数成分をより強調するような処理が施されるため、エッジ部分に対してはノイズの高周波数成分も同時に強調してしまい、ざらつきが発生してしまうという問題がある。

本発明は、ノイズの高周波数成分の強調を抑えることにより画像のざらつきの発生を抑
制して、かつ、画像の鮮鋭化を可能とする画像処理装置、画像処理方法、画像処理プログラム及び前記画像処理装置を搭載することによって高品質な画像表示が可能な画像表示装置を提供することを目的とする。

（１）本発明の画像処理装置は、処理対象となる画像データのエッジ量を検出するエッジ量検出部と、エッジ量検出部により検出されたエッジ量の大きさを判定するエッジ量判定部と、前記画像データに対し、前記エッジ量判定部により判定されたエッジ量の大きさに応じて、高周波数成分の強調度合いが異なる周波数特性を有する中周波数成分強調フィルタを適用する鮮鋭化処理部とを有することを特徴とする。

このように、本発明の画像処理装置は、中周波数成分を強調するような中周波数成分強調フィルタを適用することによって画像の鮮鋭化を行うものである。これは、人間の目の視覚特性は、高周波数成分よりもむしろ中周波数成分の感度が高いことを利用したものであり、中周波数成分を強調することにより、視覚的に十分な鮮鋭化が可能となるからである。

また、本発明は、エッジ量の大きさに応じて、高周波数成分の強調度合いが異なる周波数特性を有する中周波数成分強調フィルタを適用するようにしいている。これにより、エッジ部分や非エッジ部分などそれぞれに適した周波数特性を有する中周波数成分強調フィルタを適用することができる。

例えば、エッジ部分に対しては、高周波数成分の強調係数がほぼ１（理想的には１）の周波数特性を有する中周波数成分強調フィルタを適用することにより、ノイズの高周波数成分が強調されないので、画像にざらつきが発生するのを抑えることができる。一方、中周波数成分に対しては高い強調係数が与えられるので、人間の目の感度の高い中周波数成分を強調することができ、視覚的に十分な鮮鋭化が可能となる。

また、非エッジ部分に対しては、高周波数成分の強調係数が１以下の周波数特性を有する中周波数成分強調フィルタを適用することにより、積極的にノイズの強調を抑えることができる。この場合も、中周波数成分に対しては高い強調係数が与えられるので、人間の目の感度の高い中周波数成分を強調することができ、視覚的に十分な鮮鋭化が可能となる。

（２）本発明の画像処理装置は、前記鮮鋭化処理部は、前記エッジ量の大きさに応じて前記画像データの平滑化の度合いを設定して平滑化処理を行う平滑化部と、前記画像データから中周波数成分を抽出し、抽出された中周波数成分の強調度合いを設定する中周波数成分強調部と、前記平滑化部の出力と前記中周波数成分強調部の出力とを合成する合成部とを有することが好ましい。

これは、平滑化部による平滑化処理と中周波数成分強調部による中周波数成分強調処理とを分けて行うようにし、平滑化処理された出力と中周波数成分強調処理された出力とを合成して出力するものであり、合成部からは、エッジ量に応じた中周波数成分強調フィルタを適用して鮮鋭化された画像データを出力することができる。すなわち、（２）に記載の画像処理装置では、鮮鋭化処理部において、エッジ量に応じた周波数特性を有する中周波数成分強調フィルタを生成して、生成した中周波数成分強調フィルタによって鮮鋭化を行うものである。このように、鮮鋭化処理部が平滑化処理と中周波数成分強調処理とをそれぞれ独立して行うことにより、ノイズ量などに応じた柔軟な鮮鋭化が可能となる。なお、平滑化処理というのは、高周波成分を抑制する処理を意味するものであるとする。

（３）本発明の画像処理装置は、前記平滑化部は、前記エッジ量の大きさがある値以上である場合には、前記高周波数成分の平滑化の度合いがゼロとなるように、平滑化のためのパラメータを設定して平滑化処理を行い、前記エッジ量の大きさが前記ある値未満である場合には、前記高周波数成分の平滑化の度合いが所定の大きさとなるように、前記平滑化ためのパラメータを設定して平滑化処理を行うことが好ましい。

ここで、平滑化の度合いがゼロとなるように、平滑化のためのパラメータを設定するというのは、高周波数成分が平滑化されないような平滑化のためのパラメータを設定するということであり、これは、エッジ部分などのようにエッジ量の大きさがある値以上である場合には、高周波数成分を平滑化しないことを意味している。なお、平滑化の度合いがゼロとなるように、平滑化のためのパラメータを設定するというのは、平滑化のためのパラメータとして１を設定し、１を掛け算することであるともいえる。
一方、非エッジ部分のようにエッジ量の大きさがある値未満である場合には、高周波数成分に対して、所定の平滑化の度合いで平滑化されるようなパラメータによる平滑化処理を行う。

このように、平滑化部では、エッジ部分などエッジ量の多い部分に対しては、高周波数成分に対しては強調も平滑化も行わず、非エッジ部分などエッジ量の少ない部分に対しては、高周波数成分を所定の平滑化度合いによって平滑化を行うようにしている。これにより、ノイズの高周波数成分の強調を抑制することができる。なお、人間の目の感度の高い中周波数成分は中周波数成分強調部によって強調されるので、視覚的に十分な鮮鋭化が可能となる。

（４）本発明の画像処理装置は、前記中周波数成分の強調度合いは、前記中周波数成分の強調度合いを調節するためのパラメータによって設定することが可能である。
これにより、中周波数成分の強調度合いを適切に設定することができる。なお、中周波数成分の強調度合い及び前記平滑化の度合いを、それぞれのパラメータを独立に調節することによって設定可能とすることにより、ノイズ量などに応じた柔軟な鮮鋭化が可能となる。

（５）本発明の画像処理装置は、前記エッジ量の大きさに応じて高周波数成分の強調度合いが異なる周波数特性を有する中周波数成分強調フィルタを記憶する記憶装置を有し、前記鮮鋭化処理部は、前記エッジ量判定部により判定されたエッジ量の大きさに応じた前記中周波数成分強調フィルタを前記記憶装置から取得して、取得した中周波数成分強調フィルタを適用することもまた好ましい。

このように、エッジ量の大きさに応じた周波数特性を有する中周波数成分強調フィルタを予め作成して、それを保持しておき、エッジ量判定により判定されたエッジ量の大きさに応じて最適な中周波数成分強調フィルタを選択して鮮鋭化を行うことも可能であり、これにより、少ない演算量で高速な鮮鋭化が可能となる。

（６）本発明の画像処理装置は、前記エッジ量判定部は、前記エッジ量検出部により検出されたエッジ量を少なくとも１つの閾値と比較し、前記少なくとも１つの閾値との比較結果をエッジ量の大きさとして出力することが好ましい。

このように、エッジ量判定部は、エッジ量検出部により検出されたエッジ量をある閾値と比較することによってエッジ量の大きさを判定するものである。なお、閾値は複数設定可能である。例えば、閾値としてｔｈ１，ｔｈ２（ただし、ｔｈ１＞ｔｈ２とする）の２つを設定したとすれば、検出されたエッジ量（Ｎとする）と閾値ｔｈ１，ｔｈ２とを比較し、その比較結果をエッジ量の大きさとして出力することができる。すなわち、Ｎ≧ｔｈ
１，ｔｈ１＞Ｎ≧ｔｈ２，ｔｈ２＞Ｎのいずれかをエッジ量の大きさとして出力することができる。このように、エッジ量の大きさを閾値との比較結果として表すことにより、エッジ量の大きさに対応した中周波数成分強調フィルタを適用した鮮鋭化を容易かつ適切に行うことができる。

（７）本発明の画像処理装置は、前記中周波数成分強調フィルタは、前記中周波数成分に対する強調度合いが類似するような周波数特性を有することが好ましい。
このように、それぞれのエッジ量に対応した中周波数成分強調フィルタが類似した周波数特性を有することにより、各中周波数成分強調フィルタの強調係数の差が小さくなり、このような中周波数成分強調フィルタによって鮮鋭化を行うことにより、エッジ部分と非エッジ部分との切り替え（境界）部分の画像劣化を目立たなくすることができる。

（８）本発明の画像処理方法は、処理対象となる画像データのエッジ量を検出するエッジ量検出ステップと、前記エッジ量検出ステップにより検出されたエッジ量の大きさを判定するエッジ量判定ステップと、前記画像データに対し、前記エッジ量判定ステップにより判定されたエッジ量の大きさに応じて、高周波数成分の強調度合いが異なる周波数特性を有する中周波数成分強調フィルタを適用する鮮鋭化ステップとを有することを特徴とする。
このような画像処理方法を実行することにより、前記（１）に記載の画像処理装置と同様の効果を得ることができる。

（９）本発明の画像処理プログラムは、画像の鮮鋭化を行う画像処理装置に、前記画像の鮮鋭化を実行させるための画像処理プログラムであって、処理対象となる画像データのエッジ量を検出するエッジ量検出ステップと、前記エッジ量検出ステップにより検出されたエッジ量の大きさを判定するエッジ量判定ステップと、前記画像データに対し、前記エッジ量判定ステップにより判定されたエッジ量の大きさに応じて、高周波数成分の強調度合いが異なる周波数特性を有する中周波数成分強調フィルタを適用する鮮鋭化ステップとを有することを特徴とする。

このような画像処理プログラムを画像処理装置に実行させることにより、前記（１）に記載の画像処理装置と同様の効果を得ることができる。

（１０）本発明の画像表示装置は、画像の鮮鋭化を行う機能を有する画像処理装置と前記画像処理装置により画像処理された画像データに基づく画像表示処理を行う画像表示部とを有する画像表示装置であって、前記画像処理装置は、処理対象となる画像データのエッジ量を検出するエッジ量検出部と、前記エッジ量検出部により検出されたエッジ量の大きさを判定するエッジ量判定部と、前記画像データに対し、前記エッジ量判定部により判定されたエッジ量の大きさに応じて、高周波数成分の強調度合いが異なる周波数特性を有する中周波数成分強調フィルタを適用する鮮鋭化処理部とを有することを特徴とする。

画像表示装置に搭載される画像処理装置がこのような構成を有することによって、ノイズの高周波数成分の強調を抑えつつ画像の鮮鋭化を行うことができ、画像のざらつきの少ない高品質な画像の表示が可能な画像表示装置を実現することができる。

以下、本発明の実施形態について説明する。具体的な実施形態について説明する前に、まず、本発明の基本的な考え方について説明する。

図１は人間の目の視覚特性について説明する図である。人間の目の視覚特性は、図１に示すように、高周波数成分よりもむしろ中程度の周波数帯域の成分（中周波数成分と呼ぶ
ことにする）の感度が高いことが知られている。なお、本発明の実施形態において、高周波数成分というのは、大体の目安として、２０ｃｙｃｌｅ／ｄｅｇ以上の周波数成分であるとし、中周波数成分というのは、大体の目安として、１０ｃｙｃｌｅ／ｄｅｇを中心としてその前後の数ｃｙｃｌｅ／ｄｅｇの範囲であるとして説明する。ここで、「ｃｙｃｌｅ／ｄｅｇ」は、視聴者が画角の高さ（ｈとする）の画面に対して３ｈの位置から当該画面を見たとき、視聴者の目の１度の視野角における周波数を表している。

人間の目が図１に示すような視覚特性を有することから、高周波数成分を強調しなくても目の感度の高い中周波数成分を強調すれば、視覚的に十分な鮮鋭化が可能となる。そこで、本発明は、中周波数成分を強調するようなフィルタ（中周波数成分強調フィルタと呼ぶことにする）を用い、かつ、エッジ量に応じて最適な中周波数成分強調フィルタを適用して鮮鋭化を行うようにするものであり、それによって、ノイズを強調することなく画像のざらつきを抑制した鮮鋭化を可能とするものである。

[実施形態１]
図２は実施形態１に係る画像処理方法の概略的な処理手順を説明する図である。図２に示すように、まず、処理対象となる画像データを入力し（ステップＳ０）、入力された画像データの所定位置（ある１画素とする）ごとに当該画素におけるエッジ量を検出し（ステップＳ１）、エッジ量の検出結果に基づいて当該画素におけるエッジ量の大きさの判定を行う（ステップＳ２）。このエッジ量の大きさの判定は、本発明の実施形態においては、エッジ量検出部により検出されたエッジ量をある閾値と比較することによってエッジ量の大きさを判定する。なお、閾値は複数設定可能である。

そして、ステップＳ２により判定されたエッジ量の大きさに応じた周波数特性を有する中周波数成分強調フィルタを適用し（ステップＳ３）、当該中周波数成分強調フィルタが適用された画像データを出力する（ステップＳ４）といった手順で処理を行う。

図３は実施形態１に係る画像処理装置の構成を示す図である。実施形態１に係る画像処理装置１００は、図１に示すように、画像データ入力部１０と、画像データ入力部１０に入力された画像データのエッジ量を検出するエッジ量検出部２０、エッジ量検出部２０によるエッジ量検出結果に基づいて当該画素におけるエッジ量の大きさを閾値と比較することによって判定するエッジ量判定部３０、エッジ量判定部３０により判定されたエッジ量の大きさに応じて、周波数特性の異なる中周波数成分強調フィルタを適用することにより、画像の鮮鋭化を行う鮮鋭化処理部４０、鮮鋭化された画像を出力する画像データ出力部５０を有している。

エッジ量検出部２０によるエッジ量の検出は、高周波数成分を抽出するようなフィルタを用いることによって実現できる。例えば、輝度を表す画素値に対し、画像の２次微分であるラプラシアンフィルタを施し、その出力をエッジ量の検出に用いる方法が知られている。すなわち、前述したように、ラプラシアンフィルタは画像の２次微分であるので、図１１（ｄ）に示したように、画素値が大きく変化する部分ほど大きな値を出力する。そのため、ラプラシアンフィルタの出力をエッジ量の検出として用いることができる。なお、画像を一旦平滑化してからエッジ量の検出を行うことで、ノイズの影響の少ない安定したエッジ量の検出が可能となる。

エッジ量検出部２０によりエッジ量が検出されると、エッジ量判定部３０は検出されたエッジ量を幾つかの閾値と比較してどの範囲に属するかを判定する。本発明の実施形態では、閾値としてｔｈ１，ｔｈ２（ただし、ｔｈ１＞ｔｈ２とする）の２つを設定するものとする。そして、検出されたエッジ量（Ｎとする）と閾値ｔｈ１，ｔｈ２とを比較し、その比較結果をエッジ量の大きさとして出力する。すなわち、Ｎ≧ｔｈ１，ｔｈ１＞Ｎ≧ｔ
ｈ２，ｔｈ２＞Ｎのいずれかをエッジ量の大きさとして出力する。

鮮鋭化処理部４０は、エッジ量判定部３０により判定されたエッジ量の大きさに基づいて、エッジ量の大きさに応じた周波数特性を有する中周波数成分強調フィルタを適用した鮮鋭化を行う。すなわち、鮮鋭化処理部４０は、エッジ量の大きさが、Ｎ≧ｔｈ１、ｔｈ１＞Ｎ≧ｔｈ２、ｔｈ２≧Ｎのそれぞれに対応した中周波数成分強調フィルタを処理対象となる画素に対して適用する。

図４は鮮鋭化処理部４０がエッジ量の大きさに応じて適用する中周波数成分強調フィルタの一例を示す図である。図４（ａ）はエッジ量の大きさが、Ｎ≧ｔｈ１である画素に対して適用される中周波数成分強調フィルタの周波数特性、図４（ｂ）はエッジ量の大きさが、ｔｈ１＞Ｎ≧ｔｈ２である画素に対して適用される中周波数成分強調フィルタの周波数特性、図４（ｃ）はエッジ量の大きさが、ｔｈ２＞Ｎである画素に対して適用される中周波数成分強調フィルタの周波数特性の一例である。

なお、エッジ量の大きさが、Ｎ≧ｔｈ１である場合は、当該画素は例えばエッジ部分に対応する画素であり、エッジ量の大きさが、ｔｈ１＞Ｎ≧ｔｈ２である場合は、当該画素はエッジ量が中程度である画素、エッジ量の大きさが、ｔｈ２＞Ｎである場合は、当該画素は例えば非エッジ部分に対応する画素であるといえる。

エッジ量の大きさが、Ｎ≧ｔｈ１である場合に適用される中周波数成分強調フィルタ（第１中周波数成分強調フィルタという）は、その周波数特性（図４（ａ）参照）からもわかるように、高周波数成分のゲイン（強調係数）がほぼ１（理想的には１であることが好ましい）に抑えられ、中周波数成分のゲインは２に近い。

図４（ａ）に示すような第１中周波数成分強調フィルタは、高周波数成分のゲインをほぼ１に抑えているので、ノイズの高周波数成分を強調することはなく、ノイズの強調による画像にざらつきが発生するのを抑えることができる。一方、画像データの高周波数成分も強調されないが、中周波数成分のゲインは２に近い高い値を有し、中周波数成分が強調される。

前述したように、人間の目の視覚特性は、高周波数成分よりもむしろ中周波数成分の感度が高いため、中周波数成分を強調すれば、視覚的に十分な鮮鋭化が可能となる。このことから、画像データの高周波数成分が強調されなくても、中周波数成分が強調されることにより視覚的には十分な鮮鋭化が可能となる。

また、エッジ量の大きさが、ｔｈ１＞Ｎ≧ｔｈ２である場合に適用される中周波数成分強調フィルタ（第２中周波数成分強調フィルタという）は、その周波数特性（図４（ｂ）参照）からもわかるように、高周波数成分のゲインは、０．８程度に抑えられ、中周波数成分のゲインは２に近い値としている。

図４（ｂ）に示すような第２中周波数成分強調フィルタは、中周波数成分に対しては第１中周波数成分強調フィルタと同様に高いゲインを有しているので、人間の目の感度の高い中周波数成分を強調することができる。一方、高周波数成分に対してはゲインが１以下であり、平滑化される。これは、エッジ量が少なくなるにつれて、その画素に含まれる画像の高周波数成分の割合は低くなり、ノイズの高周波数成分の割合が高くなることから、積極的にノイズの高周波数成分を低下させることができるからである。したがって、エッジ量の大きさが、ｔｈ１＞Ｎ≧ｔｈ２である場合、このような第２中周波数成分強調フィルタを用いることにより、画像のざらつきを抑えつつ鮮鋭化が可能となる。

また、エッジ量の大きさが、ｔｈ２＞Ｎである場合に適用される中周波数成分強調フィルタ（第３中周波数成分強調フィルタという）は、その周波数特性（図４（ｃ）参照）からもわかるように、高周波数成分のゲインは、０．３程度に抑えられ、中周波数成分のゲインは２に近い値としている。この第３中周波数成分強調フィルタは、第２中周波数成分強調フィルタよりもさらに高周波数成分のゲインを小さくしている。これは、その画素に含まれる画像の高周波数成分の割合はさらに低く、ノイズの高周波数成分の割合がさらに高くなるからであり、このような場合は、より積極的にノイズの高周波数成分を低下させることができる。したがって、エッジ量の大きさがｔｈ２＞Ｎである場合には、図４（ｃ）に示すような第３中周波数成分強調フィルタを用いることにより、画像のざらつきを抑えつつ鮮鋭化が可能となる。

これら第１中周波数成分強調フィルタ、第２中周波数成分強調フィルタ及び第３中周波数成分強調フィルタは、図４（ａ）〜（ｃ）からもわかるように、中周波数成分に対する強調度合いが類似するような周波数特性を有している。このように、それぞれのエッジ量に対応した中周波数成分強調フィルタ（第１〜第３中周波数成分強調フィルタ）が類似した周波数特性とすることにより、各中周波数成分強調フィルタのゲインの差が小さくなり、その結果、エッジ部分と非エッジ部分との切り替え（境界）部分の画像劣化を目立たなくすることができる。

なお、図４に示した各中周波数成分強調フィルタにおけるゲインの数値は一例であって、これに限られるものではない。例えば、図４においては、第１〜第３中周波数成分強調フィルタにおいて、中周波数成分に対するゲインの最大値がわずかに異なった値となっている例が示されているが、これは、すべて同じ値としてもよい。

次に、鮮鋭化処理部４０が行う具体的な処理について説明する。
図５は鮮鋭化処理部４０の構成を示す図である。鮮鋭化処理部４０は、エッジ量の大きさに応じて画像データの平滑化の度合いを設定して平滑化処理を行う平滑化部４１と、画像データから中周波数成分を抽出し、抽出された中周波数成分の強調度合いを設定する中周波数成分強調部４２と、平滑化部４１の出力と中周波数成分強調部４２の出力とを合成する合成部４３とを有している。

平滑化部４１は、エッジ量判定部３０により判定されたエッジ量の大きさに基づいて平滑化の度合いを設定して平滑化処理を行う。具体的には、エッジ量の大きさが、Ｎ≧ｔｈ１であると判定された場合には、高周波数成分の平滑化の度合いがゼロとなるように、平滑化のためのパラメータを設定して平滑化処理を行う。この場合、平滑化処理というのは高周波成分を抑制する処理を意味するものであるとする。
また、平滑化の度合いがゼロとなるように、平滑化のためのパラメータを設定するというのは、高周波数成分が平滑化されないような平滑化のためのパラメータを設定するということであり、例えば、平滑化のためのパラメータとして１を設定し、１を掛け算することであるともいえる。

また、エッジ量の大きさが、ｔｈ１＞Ｎ≧ｔｈ２である場合及びｔｈ２＞Ｎである場合には、当該画素に対しては、高周波数成分を所定の平滑化の度合いで平滑化するように設定されたパラメータによる平滑化処理を行う。具体的には、エッジ量の大きさが、ｔｈ１＞Ｎ≧ｔｈ２である場合には、標準偏差σがσ１のガウシアンフィルタを適用して平滑化を行い、エッジ量の大きさが、ｔｈ２＞Ｎである場合には、当該画素に対しては、標準偏差σがσ２のガウシアンフィルタを適用して平滑化を行う。ただし、σ１＜σ２とする。

図６は標準偏差σをある値に設定したときのガウシアンフィルタとその周波数特性を示す図である。図６（ａ）は、標準偏差σがσ１＝０．６のガウシアンフィルタであり、図
６（ｂ）はそのガウシアンフィルタ周波数特性を示すものである。

図７は標準偏差σをある値に設定したときのガウシアンフィルタとその周波数特性を示す図である。図７（ａ）は、標準偏差σがσ２＝０．７のガウシアンフィルタであり、図７（ｂ）はそのガウシアンフィルタ周波数特性を示すものである。なお、σは、平滑化の度合いを調節するためのパラメータであるといえるので、パラメータσを平滑化パラメータと呼ぶこともある。

中周波数成分強調部４２は、入力画像データに対し所定の中周波数成分強調フィルタを施すことにより入力画像データの中周波数成分を抽出して、抽出された中周波数成分の強調度合いを設定するものであり、この中周波数成分強調部４２により、結果的に、中周波数成分の強調が行われる。

図８は中周波数成分強調部４２で中周波数成分を抽出する処理に用いる中周波数成分強調フィルタについて説明する図である。図８（ａ）は中周波数成分強調部４２で用いる中周波数成分強調フィルタの周波数特性を示すもので、このような周波数特性を有する中周波数成分強調フィルタは、図８（ｂ）に示す平滑化フィルタと図８（ｃ）に示すラプラシアンフィルタとの畳み込み演算によって実現できる。さらに、図８（ａ）に示す周波数特性を有する中周波数成分強調フィルタの出力に所定のパラメータαを掛け算することにより中周波数成分のゲインを調節することができる。なお、パラメータαは、中周波数成分の鮮鋭化の度合いを調節するためのパラメータであるといえるので、パラメータαを鮮鋭化パラメータと呼ぶこともある。

そして、平滑化部４１の出力と中周波数成分強調部４２からの出力とを合成部４３によって合成することにより、結果的には、エッジ量の大きさに応じて、図３（ａ）〜（ｃ）に示すような中周波数成分強調フィルタを適用した画像データを得ることができる。

なお、合成部４３による合成処理は、平滑化部４１から出力される各画素の輝度を表す画素値と中周波数成分強調部４２から出力される各画素の輝度を表す画素値とを足し合わせることによって行われる。

例えば、エッジ量の大きさが、ｔｈ１＞Ｎ≧ｔｈ２である画素に対しては、平滑化部４１により、標準偏差（平滑化パラメータ）σがσ１のガウシアンフィルタを適用して平滑化された平滑化後の画素値、すなわち、図６（ｂ）のような周波数特性を有するガウシアンフィルタにより平滑化された平滑化後の画素値と、中周波数成分強調部４２により、図８（ａ）に示す周波数特性を有する中周波数成分強調フィルタが適用された画素値（鮮鋭化パラメータαが掛け算された値）とが合成部４３により合算され、その合算値が合成部４３から出力される。

また、エッジ量の大きさが、ｔｈ２＞Ｎである画素に対しては、平滑化部４１により、標準偏差（平滑化パラメータ）σがσ２のガウシアンフィルタを適用して平滑化された平滑化後の画素値、すなわち、図７（ｂ）のような周波数特性を有するガウシアンフィルタにより平滑化された平滑化後の画素値）と、中周波数成分強調部４２により、図８（ａ）に示す周波数特性を有する中周波数成分強調フィルタが適用された画素値（鮮鋭化パラメータαが掛け算された値）とが合成部４３により合算され、その合算値が合成部４３から出力される。
なお、エッジ量がＮ≧ｔｈ１である画素に対しては、前述したように、平滑化部４１では平滑化の度合いをゼロとしているため、当該画素の高周波数成分がほぼそのまま出力される。

以上説明したように、鮮鋭化処理部４０では、画素のエッジ量に応じて、結果的に、高周波数成分のゲインの異なる周波数特性を有する第１〜第３中周波数成分強調フィルタ（図４（ａ）〜（ｃ））を当該画素に適用した場合と同様の結果を得ることができる。

すなわち、Ｎ≧ｔｈ１である画素（エッジ部分などに対応する画素）に対しては、結果的に、図４（ａ）に示すような周波数特性を有する第１中周波数成分強調フィルタが適用された場合と同様の結果を得ることができる。この場合、高周波数成分のゲインをほぼ１としているので、ノイズの高周波数成分を強調することはなく、ノイズ強調による画像にざらつきが発生するのを抑えることができる。一方、中周波数成分に対しては高いゲインが与えられるので、人間の目の感度の高い中周波数成分を強調することができ、視覚的に十分な鮮鋭化が可能となる。

また、エッジ量の大きさが、ｔｈ１＞Ｎ≧ｔｈ２である画素に対しては、結果的に、図４（ｂ）に示すような周波数特性を有する第２中周波数成分強調フィルタが適用された場合と同様の結果を得ることができる。この場合、高周波数成分のゲインは、１以下に抑えられるので、積極的にノイズの高周波数成分を低下させることができる。一方、中周波数成分に対しては高いゲインが与えられるので、人間の目の感度の高い中周波数成分を強調することができ、視覚的に十分な鮮鋭化が可能となる。

また、エッジ量の大きさが、ｔｈ２＞Ｎである画素（非エッジ部分などに対応する画素）に対しては、結果的に、図４（ｃ）に示すような周波数特性を有する第３中周波数成分強調フィルタが適用された場合と同様の結果を得ることができる。この場合、高周波数成分のゲインは、さらに低く抑えられるので、より積極的にノイズの高周波数成分を低下させることができる。一方、中周波数成分に対しては高いゲインが与えられるので、人間の目の感度の高い中周波数成分を強調することができ、視覚的に十分な鮮鋭化が可能となる。

また、鮮鋭化処理部４０の構成及びその機能などで説明したように（図５参照）、平滑化部４１による平滑化処理と中周波数成分強調部４２による中周波数成分強調処理とを分けて行うようにしている。すなわち、中周波数成分の強調度合い（鮮鋭化の度合い）を設定する鮮鋭化パラメータαを適切な値に調節するとともに、高周波数成分のノイズを抑制する平滑化の度合を設定するための平滑化パラメータσ（σ１またはσ２）を適切な値に調節し、これら鮮鋭化パラメータα及び平滑化パラメータσ（σ１またはσ２）によって、中周波数成分の強調度合いと高周波成分の平滑化の度合いを設定するようにしている。

このように、これら鮮鋭化パラメータα及び平滑化パラメータσ（σ１またはσ２）を独立に調節することによって、中周波数成分の強調度合い及び高周波成分の平滑化の度合いを設定可能とすることにより、ノイズ量などに応じた柔軟な鮮鋭化が可能となる。

[実施形態２]
図９は実施形態２に係る画像処理装置１１０の構成を示す図である。図９に示すように、実施形態２に係る画像処理装置１１０は、エッジ量の大きさに対応する中周波数成分強調フィルタ（例えば、図４（ａ）〜（ｃ）に示すような第１〜第３中周波数成分強調フィルタ）を予め作成し、作成した各中周波数成分強調フィルタを記憶装置６０に記憶させておき、鮮鋭化処理部４０では、エッジ量判定部３０により判定されたエッジ量の大きさに応じて、最適な中周波数成分強調フィルタ（第１〜第３中周波数成分強調フィルタのうちのいずれかの中周波数成分強調フィルタ）を選択して、選択した中周波数成分強調フィルタを適用することによって鮮鋭化を行うというものである。

例えば、エッジ量判定部３０により判定されたエッジ量の大きさが、Ｎ≧ｔｈ１である
場合は、鮮鋭化処理部４０は、第１中周波数成分強調フィルタ（図４（ａ）参照）を選択して鮮鋭化を行い、エッジ量の大きさが、ｔｈ１＞Ｎ≧ｔｈ２である場合は、第２中周波数成分強調フィルタ（図４（ｂ）参照）を選択して鮮鋭化を行い、エッジ量の大きさが、ｔｈ２＞Ｎである場合は、第３中周波数成分強調フィルタ（図４（ｃ）参照）を選択して鮮鋭化を行う。

このように、エッジ量の大きさに対応した中周波数成分強調フィルタを予め作成して、それを保持しておき、エッジ量判定部３０により判定されたエッジ量の大きさに応じて、最適な中周波数成分強調フィルタを選択して鮮鋭化を行うことにより、少ない演算量で効率的な鮮鋭化が可能となる。

なお、各エッジ量の大きさに対応した中周波数成分強調フィルタ（図４（ａ）〜（ｃ））は、図９に示すように、鮮鋭化処理部４０とは別に設けられた記憶装置６０に記憶させるようにしてもよく、鮮鋭化処理部４０がこれらの中周波数成分強調フィルタを保持する機能を有してもよい。また、画像処理装置１１０の外部の記憶装置に記憶させておくようにしておいてもよく、また、ネットワーク上に保持させておいて、必要に応じてネットワークを通じて取得するような方式であってもよい。

[実施形態３]
図１０は実施形態３に係る画像表示装置２００の構成を示す図である。実施形態３に係る画像表示装置（例えばテレビジョンなど）２００は、図１０に示すように、画像処理装置１００と画像表示部２１０を有している。図１０では実施形態１で説明した画像処理装置１００を用いた場合を例示したが、実施形態２で説明した画像処理装置１１０であってもよい。

画像表示装置２００が実施形態１で説明した画像処理装置１００を有することにより、ノイズの高周波数成分が強調されることはなく、画像にざらつきが発生するのを抑えることができ、また、人間の目の感度の高い中周波数成分を強調することができるので、視覚的に十分な鮮鋭化が可能となり、高品質な画像を表示することができる。

なお、本発明は上述の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。たとえば、前述の実施形態では、処理の単位を画素単位としたが、画素単位ではなく、複数画素からなる所定の領域を１つの単位としてもよい。

また、本発明は静止画及び動画の両方に適用可能であり、動画の場合は、フレームごとに前述した処理を施すことによって対応可能である。

また、前述の各実施形態において説明した画像処理の手順を画像処理装置に実行させるためのプログラとしての画像処理プログラムを作成することが可能であり、作成した画像処理プログラムを各種の記録媒体に記録させておくことも可能である。したがって、本発明は、これら画像処理プログラムとその画像処理プログラムを記録した記録媒体をも含むものである。また、画像処理プログラムはネットワークから取得するようにしてもよい。

人間の目の視覚特性について説明する図。 実施形態１に係る画像処理方法の概略的な処理手順を説明する図。 実施形態１に係る画像処理装置の構成を示す図。 鮮鋭化処理部４０がエッジ量の大きさに応じて適用する中周波数成分強調フィルタの一例を示す図。 鮮鋭化処理部４０の構成を示す図。 標準偏差σ１をある値に設定したときのガウシアンフィルタとその周波数特性を示す図。 標準偏差σ２をある値に設定したときのガウシアンフィルタとその周波数特性を示す図。 中周波数成分強調部４２で中周波数成分を抽出する処理に用いる中周波数成分強調フィルタについて説明する図。 実施形態２に係る画像処理装置１１０の構成を示す図。 実施形態３に係る画像表示装置２００の構成を示す図。 ラプラシアンフィルタについて説明する図。 ラプラシアンフィルタを用いた画像の鮮鋭化について説明する図。

符号の説明

１０・・・画像データ入力部、２０・・・エッジ量検出部、３０・・・エッジ量判定部、４０・・・鮮鋭化処理部、４１・・・平滑化部、４２・・・中周波数成分強調部、４３・・・合成部、５０・・・画像データ出力部、６０・・・記憶装置、１００，１１０・・・画像処理装置、２００・・・画像表示装置、２１０・・・画像表示部

Claims (10)

1. 処理対象となる画像データのエッジ量を検出するエッジ量検出部と、
   エッジ量検出部により検出されたエッジ量の大きさを判定するエッジ量判定部と、
   前記画像データに対して、前記エッジ量判定部により判定されたエッジ量の大きさに応じて、高周波数成分の強調度合いが異なる周波数特性を有する中周波数成分強調フィルタを適用する鮮鋭化処理部と、
   を有することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記鮮鋭化処理部は、
   前記エッジ量の大きさに応じて前記画像データの平滑化の度合いを設定して平滑化処理を行う平滑化部と、
   前記画像データから中周波数成分を抽出し、抽出された中周波数成分の強調度合いを設定する中周波数成分強調部と、
   前記平滑化部の出力と前記中周波数成分強調部の出力とを合成する合成部と、
   を有することを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記平滑化部は、
   前記エッジ量の大きさがある値以上である場合には、前記高周波数成分の平滑化の度合いがゼロとなるように、平滑化のためのパラメータを設定して平滑化処理を行い、
   前記エッジ量の大きさが前記ある値未満である場合には、前記高周波数成分の平滑化の度合いが所定の大きさとなるように、前記平滑化ためのパラメータを設定して平滑化処理を行うことを特徴とする画像処理装置。
4. 請求項２又は３に記載の画像処理装置において、
   前記中周波数成分の強調度合いは、前記中周波数成分の強調度合いを調節するためのパラメータによって設定することを特徴とする画像処理装置。
5. 請求項１に記載の画像処理装置において、
   前記エッジ量の大きさに応じて高周波数成分の強調度合いが異なる周波数特性を有する中周波数成分強調フィルタを記憶する記憶装置を有し、
   前記鮮鋭化処理部は、前記エッジ量判定部により判定されたエッジ量の大きさに応じた前記中周波数成分強調フィルタを前記記憶装置から取得して、取得した中周波数成分強調フィルタを適用する行うことを特徴とする画像処理装置。
6. 請求項１〜５のいずれかに記載の画像処理装置において、
   前記エッジ量判定部は、前記エッジ量検出部により検出されたエッジ量を少なくとも１つの閾値と比較し、前記少なくとも１つの閾値との比較結果をエッジ量の大きさとして出力することを特徴とする画像処理装置。
7. 請求項１〜６のいずれかに記載の画像処理装置において、
   前記中周波数成分強調フィルタは、前記中周波数成分に対する強調度合いが類似するような周波数特性を有することを特徴する画像処理装置。
8. 処理対象となる画像データのエッジ量を検出するエッジ量検出ステップと、
   前記エッジ量検出ステップにより検出されたエッジ量の大きさを判定するエッジ量判定ステップと、
   前記画像データに対して、前記エッジ量判定ステップにより判定されたエッジ量の大き
   さに応じて、高周波数成分の強調度合いが異なる周波数特性を有する中周波数成分強調フィルタを適用する鮮鋭化ステップと、
   を有することを特徴とする画像処理方法。
9. 画像の鮮鋭化を行う画像処理装置に、前記画像の鮮鋭化を実行させるための画像処理プログラムであって、
   処理対象となる画像データのエッジ量を検出するエッジ量検出ステップと、
   前記エッジ量検出ステップにより検出されたエッジ量の大きさを判定するエッジ量判定ステップと、
   前記画像データに対して、前記エッジ量判定ステップにより判定されたエッジ量の大きさに応じて、高周波数成分の強調度合いが異なる周波数特性を有する中周波数成分強調フィルタを適用する鮮鋭化ステップと、
   を有することを特徴とする画像処理プログラム。
10. 画像の鮮鋭化を行う機能を有する画像処理装置と前記画像処理装置により画像処理された画像データに基づく画像表示処理を行う画像表示部とを有する画像表示装置であって、
    前記画像処理装置は、
    処理対象となる画像データのエッジ量を検出するエッジ量検出部と、
    エッジ量検出部により判定されたエッジ量の大きさを判定するエッジ量判定部と、
    前記画像データに対して、前記エッジ量判定部により判定されたエッジ量の大きさに応じて、高周波数成分の強調度合いが異なる周波数特性を有する中周波数成分強調フィルタを適用する鮮鋭化処理部と、
    を有することを特徴とする画像表示装置。