JP2007019593A - 輪郭強調信号生成回路、画像信号処理装置、撮像装置、輪郭強調信号生成方法、プログラム - Google Patents

Abstract

【課題】 画像信号の高域成分を強調して輪郭強調処理を行う場合において、画像信号中の強いエッジ部分で生じるギラつきの低減を図る。
【解決手段】 入力画像信号から第１の高域成分（従来の帯域）と、さらに高域の第２の高域成分とを抽出すると共に、これら第１の高域成分と第２の高域成分とを上記画像信号のエッジ強度に応じて選択出力する。これによって所定のエッジ強度までは第１の高域成分により従来の帯域を補償し、さらに強いエッジ部分では第２の高域成分によりギラつきを低減した輪郭強調を行うことができる。
【選択図】図２

Description

本発明は、画像信号についての輪郭強調を行うための輪郭強調信号を生成する輪郭強調信号生成回路、さらにはこの輪郭強調信号生成回路を備えた画像信号処理装置及び撮像装置に関する。また、輪郭強調信号生成方法とプログラムに関する。

従来より、画像信号処理の１つとして画像の輪郭を強調して画像の鮮鋭化を図るための輪郭強調処理が知られている。
特に、デジタルスチルカメラやデジタルビデオカメラなどでは、撮像素子に設けられた光学ローパスフィルタによる空間周波数の高域成分が低下するようにされるので、それを補うための処理としてこのような輪郭強調処理を行うようにされている。

従来から行われている輪郭強調処理の概要を、次の図７、図８により説明する。
図７に示されるように、従来の輪郭強調処理は、ハイパスフィルタ（ＨＰＦ）１００などの高域通過型フィルタを用い、入力画像信号から高域成分を抽出し、これを輪郭強調信号として図示するように加算器１０１により入力画像信号に対して加算することで行うようにされていた。
つまり、図８（ａ）に示すような画像信号の入力に対しては、ハイパスフィルタ１００の出力（つまり輪郭強調信号）として図８（ｂ）に示すような高域成分が抽出され、この高域成分が画像信号に加算されることで、図８（ｃ）に示すようにして画像信号のエッジ部分の傾斜が急峻とされ、これによってエッジ部分が強調化された鮮鋭な画像を得ることができるものである。

なお、このような従来の輪郭強調処理については、例えば以下の特許文献にも記載されている。
特開２０００−１０１８７１号公報

しかしながら、このような従来の輪郭強調処理では、例えば画像信号中のエッジ強度が強い部分などで、いわゆるギラつきを生じさせて画質を悪化させてしまうことが知られている。
つまり、従来で用いているハイパスフィルタ１００（高域通過型フィルタ）では、その周波数特性から、例えば画像信号中のエッジ強度が強い部分などで、次の図９に示されるようにして大きく太いオーバーシュート／アンダーシュートを発生させてしまう。
このオーバーシュート／アンダーシュートは、適度な大きさであれば画像信号のエッジ部分を適度に強調できて画質の向上を図ることができる。しかしながら、上記のようにしてこれらが大きく太いものであると、最終的に輪郭強調信号を加算して得られる画像信号としても、図１０に示されるようにして大きく太いオーバーシュート／アンダーシュートが付加されてしまい、これによって画像のエッジ部分、すなわち信号変化の境界部分に縁取りができてしまういわゆるギラつきを生じさせてしまい、画質を悪化させてしまうことになる。

そこで、本発明では以上のような問題点に鑑み、輪郭強調信号生成回路として以下のように構成することとした。
つまり、先ず、入力画像信号から第１の高域成分を抽出する第１のフィルタ手段と、上記入力画像信号から上記第１の高域成分よりもさらに高域の第２の高域成分を抽出する第２のフィルタ手段とを備える。
その上で、上記入力画像信号のエッジ強度に応じて、上記第１及び第２のフィルタ手段から入力される上記第１の高域成分と上記第２の高域成分との選択出力を行う出力選択手段を備えるようにした。

上記のようにして第１のフィルタ手段により抽出される第１の高域成分よりも高域な第２の高域成分としては、発生するオーバーシュート／アンダーシュートが、第１の高域成分よりも細く小さいものとなる。つまり、上記第１のフィルタ手段を従来で用いていた高域通過型フィルタであるとすると、第２のフィルタ手段によれば、従来よりも細く小さなオーバーシュート／アンダーシュートによる高域成分（輪郭強調信号）を抽出することができる。
そして、上記本発明では、これら第１の高域成分と第２の高域成分とを、入力画像信号のエッジ強度に応じて選択出力するようにしているが、これによって所定のエッジ強度までは第１の高域成分により従来の帯域を補償することと、上記所定のエッジ強度よりも強いエッジ部分では第２の高域成分によりギラつきを低減させることとの両立が図れる。

上記のようにして本発明によれば、エッジ強度が或る程度までの部分では第１の高域成分によって従来の帯域を補償することと、特に強いエッジ部分で第２の高域成分によりギラつきを低減した輪郭強調を行うこととの両立を図ることができる。

以下、発明を実施するための最良の形態（以下実施の形態とする）について説明していく。
図１は、実施の形態の撮像装置としての、デジタルスチルカメラ１の内部構成を示したブロック図である。
図１において、先ずシステムコントローラ２０は、装置全体の制御部として機能し、撮像動作や画像再生動作、及び後述する表示部１４の表示動作などのための制御、ユーザー操作の検知、動作状態の遷移処理、外部機器との通信制御などを行う。システムコントローラ２０は図示するバス１１を介して各部とデータや制御情報のやりとりを行う。
図示するようにシステムコントローラ２０に対してはバス１１を介し、メモリ部１９、ＵＳＢ（Universal Serial Bus）インターフェース１８、バッファメモリ１７、メディアドライブ部１６、エンコーダ６、カメラコントローラ１０、表示データ処理部１２、表示コントローラ１５の各部が接続されている。

メモリ部１９は、システムコントローラ２０が備えるＲＯＭや不揮発性メモリ等の記憶手段を包括的に示している。
このメモリ部１９内のＲＯＭには、システムコントローラ２０が実行するプログラムや各種処理係数などが記憶される。また、不揮発性メモリには、各種係数、設定情報、その他電源オフ時にも保持しておくべき情報が記憶される。

また、システムコントローラ２０に対しては、操作部２１が接続される。この操作部２１は当該デジタルスチルカメラ１の筐体外部に表出するようにして設けられた各種操作キーを備え、システムコントローラ２０は各操作キー対応に得られる操作情報に応じた動作が実行されるように必要な各部を制御する。これによりユーザは各種動作の実行を当該デジタルスチルカメラ１に指示することができるようにされている。

また、システムコントローラ２０は、バス１１を介して接続されたＵＳＢインターフェース１８により、図示するＵＳＢ端子ｔusbを介して接続された外部機器（例えばパーソナルコンピュータ等）との間でデータ通信を行うことが可能とされる。

メディアドライブ部１６は、システムコントローラ２０の制御に基づいて、装填されたリムーバブルメディアとしての記録媒体についての記録再生を行う。このため、上記記録媒体に記録すべきデータについての記録フォーマットへのエンコード部、記録媒体からの再生データのデコード部などを備える。
バッファメモリ１７は、上記メディアドライブ部１６に転送して記録媒体に記録させるデータのバッファリングや、メディアドライブ部１６で記録媒体から読み出されたデータのバッファリングを行うために設けられる。

また、当該デジタルスチルカメラ１においては、実際の撮像動作及び画像表示を行うための撮像処理系と表示処理系が設けられる。
先ず、上記撮像処理系としては、図示する撮像レンズ２ａを含むレンズ系２、イメージセンサとしての固体撮像素子部３、撮像信号転送部４、デジタル画像信号処理回路５、エンコーダ６、フラッシュ発光部７、レンズ駆動部８、発光駆動部９、カメラコントローラ１０を有する。

レンズ系２は、撮像レンズ２ａやフォーカスレンズ、ズームレンズを備えたレンズ光学系とされ、被写体の撮像光を固体撮像素子部３に入射する。
固体撮像素子部３は例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサアレイとして構成される。
撮像信号転送部４は、固体撮像素子部３の各撮像素子によって得られる信号の転送、サンプリング、ゲイン調整等を行い、さらにＡ／Ｄ変換を行って撮像によるデジタル画像データを生成し、デジタル画像信号処理部５に転送する。

デジタル画像信号処理回路５は、撮像信号転送部４から得られた撮像画像データ（画像信号）に対するホワイトバランス、Ｙ／Ｃ処理等の各種画像信号処理を行う。特に、本実施の形態の場合、図示する輪郭強調信号生成回路５ａを備え、この輪郭強調信号生成回路５ａから出力される輪郭強調信号を画像信号に加算することで輪郭強調処理を行うように構成されている。
なお、デジタル画像信号処理回路５内におけるこのような輪郭強調処理を行うための構成については後述する。

エンコーダ６は、上記デジタル画像信号処理回路５で処理された撮像画像データについて圧縮処理やフォーマット処理等を行う。例えばＪＰＥＧ（Joint Photographic Experts Group）方式の静止画撮像画像データを生成する。

レンズ駆動部８は、レンズ系２におけるフォーカスレンズやズームレンズの駆動を行う。
発光駆動部９は、フラッシュ発光部７に対するフラッシュ発光駆動を行う。
カメラコントローラ１０は、システムコントローラ２０からの指示に基づいて、当該撮像処理系の動作を制御する。

また、上記した表示処理系としては、例えば液晶ディスプレイ等による表示部１４、表示駆動回路１３、表示データ処理部１２、表示コントローラ１５が設けられる。
表示データ処理部１２は、バス１１を介して接続されたシステムコントローラ２０もしくは上述した撮像処理系から供給された表示データ（画像データ）を格納する。また表示出力のための所要のデコード処理、ＲＧＢ処理等を行う。
表示駆動回路１３は、表示データ処理部１２に格納され、必要な信号処理がされてＲ、Ｇ、Ｂ信号形態とされた表示データを取り込み、表示データに基づいて表示部４を駆動して表示を実行させる。
表示コントローラ１５は当該表示処理系の動作を制御する。

このような撮像処理系・表示処理系において、カメラコントローラ１０、表示コントローラ１５は、それぞれ以下のように制御を行って、必要な動作を実行させる。
まずカメラコントローラ１０は、撮像信号転送部４、デジタル画像信号処理回路５、エンコーダ６を制御して、被写体画像の取り込み、画像信号処理を実行させる。この場合において、ユーザーが先の操作部２１に設けられたシャッタボタンを押すまでの期間は、エンコーダ６から出力される画像（動画像）を表示データ処理部１２に転送し、表示駆動回路１３によって表示部４に表示させる。即ちユーザーが被写体を確認できるようにしている。
ユーザーがシャッタボタンを押したら、システムコントローラ２０は、その時点の被写体画像（静止画）を撮像データとして記録する制御を行うが、このときカメラコントローラ１０に、シャッタ操作時の１フレームの画像データがエンコーダ６からバス１１を介して出力されるように指示を行う。この撮像データはシステムコントローラ２０の制御に基づいて、バッファメモリ１７を介してメディアドライブ部１６に記録データとして供給され、記録媒体に記録される。
また、その撮像データを表示データ処理部１２にも供給して、表示駆動回路１３によって表示部４に表示させることで、ユーザーが撮像した画像を確認できるようにしてもよい。

また、カメラコントローラ１０は、ユーザーの操作に基づくシステムコントローラ２０からの指示や、自動制御によりレンズ駆動部８を制御して、オートフォーカス、ズーム動作を実行させる。レンズ駆動に関しては、システムコントローラ２０からの指示により接写モードと通常モードとの切り換えを行うように構成することもできる。
またカメラコントローラ１０は、固体撮像素子部３での電荷蓄積時間調整やデジタル画像信号処理回路５での信号処理を制御して、露出調整を行ったり、デジタル画像信号処理回路５やエンコーダ６を制御して撮像データの画サイズ設定なども行う。
また、カメラコントローラ１０は発光駆動部９を制御してシャッタタイミングでのフラッシュ発光制御も行う。シャッタタイミングでフラッシュ発光させるか否かはフラッシュ設定のモードとしてシステムコントローラ２０から指示される。

表示コントローラ１５は、上述のように撮像処理系から供給される被写体動画や撮像時の静止画像の表示を実行させるように表示データ処理部１２及び表示駆動回路１３を制御する。また、システムコントローラ２０の指示に応じて、バス１１を介してバッファメモリ１７から転送されてくる画像データや、さらにはシステムコントローラ２０から供給される操作メニュー画面、アイコン、一覧画像などとしての表示データが表示されるように制御を行う。

ところで、この図１に示したデジタルスチルカメラ１では、デジタル画像信号処理回路５内に輪郭強調信号生成回路５ａを設けて、入力画像信号から抽出した高域成分を輪郭強調信号として画像信号に加算することで、輪郭強調処理を行うようにされている。
このような輪郭強調のための構成として、従来通り高域通過型フィルタを１つのみ設けて輪郭強調信号を抽出する構成を採った場合には、先の図９にて説明したようにして、入力画像信号のエッジ強度が強い部分で、抽出された輪郭強調信号に大きく太いオーバーシュート／アンダーシュートが発生し、これによって最終的に得られる画像信号にも大きく太いオーバーシュート／アンダーシュートがつき、画像のエッジ部分、すなわち信号変化の境界部分に縁取りができてしまういわゆるギラつきを生じさせて、かえって画質を悪化させてしまうことになる。

ここで、高域通過型のフィルタにおいて、入力信号から抽出する成分をより高域の成分とすれば、抽出された成分に発生するオーバーシュート／アンダーシュートは、より細く小さくなることがわかっている。
そこで、本実施の形態では、このような高域通過型フィルタの特性を利用するものとして、従来用いられていた高域通過型フィルタ（第１のフィルタ手段）に加え、さらにより高域の成分を抽出する高域通過型フィルタ（第２のフィルタ手段）を設けるものとしている。その上で、上述のようにして従来用いられていた高域通過型フィルタの出力ではギラつきが生じ画質悪化が目立つようなエッジ強度の強い部分では、この新たに設けた第２のフィルタ手段により抽出した輪郭強調信号を出力することで、輪郭強調に伴うギラつきの低減を図るようにする。
そのための構成を、次の図２に示す。

図２は、図１に示したデジタル画像信号処理回路５に備えられる輪郭強調処理のための構成を抽出して示した図である。
先ず、このような輪郭強調処理のための構成としては、図１にも示した輪郭強調信号生成回路５ａが備えられる。そして、本実施の形態の輪郭強調信号生成回路５ａでは、図示するように同じ入力画像信号について、従来と同等の第１高域成分Ｈ１を抽出する第１ハイパスフィルタ（ＨＰＦ）５１と、この第１高域成分Ｈ１よりもさらに高域の第２高域成分Ｈ２を抽出する第２ハイパスフィルタ５２とを設けるようにしている。
上記説明から理解されるように、より高域の成分を抽出するようにした第２ハイパスフィルタ５２の出力である高域成分Ｈ２は、第１ハイパスフィルタ５１により抽出される高域成分Ｈ１よりもオーバーシュート／アンダーシュートが細く小さなものとなる。
図３（ａ）、図３（ｂ）は、同じ入力画像信号について抽出された高域成分Ｈ１と高域成分Ｈ２の関係を例示的に示している。

その上で、これら第１ハイパスフィルタ５１による高域成分Ｈ１と、第２ハイパスフィルタ５２による高域成分Ｈ２との出力を選択するための構成として、図示するオフセット付加回路５３と、出力選択回路５４とを設けるものとしている。すなわち、上記したような所定のエッジ強度（従来の帯域による輪郭強調信号ではギラつきが目立って画質悪化が顕著となるとされるエッジ強度）よりも強いエッジ強度の部分では、第２ハイパスフィルタ５２による輪郭強調信号が出力されるように選択するための構成である。

先ず、オフセット付加回路５３は、上記第２ハイパスフィルタ５２によって入力画像信号から抽出された第２高域成分Ｈ２を入力し、この第２高域成分Ｈ２に対して予め設定された所定値に基づくオフセット値を加算してこれを出力選択回路５４に出力する。
出力選択回路５４は、第１ハイパスフィルタ５１にて抽出された第１高域成分Ｈ１と、第２ハイパスフィルタ５２からの第２高域成分Ｈ２と、さらに上記オフセット付加回路５３からの出力を入力し、上記第１高域成分Ｈ１の振幅値（絶対値）と上記オフセット付加回路５３からの出力の振幅値（絶対値）とを比較して、第１高域成分Ｈ１の振幅値の方が大きければ、第２高域成分Ｈ２を選択出力し、それ以外の場合は第１高域成分Ｈ１を選択出力するように構成される。
この出力選択回路５４の出力が、輪郭強調信号生成回路５ａが出力する輪郭強調信号となるものであり、これが最終的にデジタル画像信号処理回路５内に設けられた図示する加算器５ｂによって画像信号に加算されることで、画像信号の高域成分が強調されて画像の輪郭が強調される。

ここで、上記構成による輪郭強調信号生成回路５ａにおいて、オフセット付加回路５３にて設定される上記所定値（オフセット値ｏｆｓ）としては、画像信号のエッジ強度が所定未満（従来の帯域による輪郭強調信号ではギラつきが目立って画質悪化が顕著となるとされるエッジ強度未満）とされる場合には、次の図４（ａ）に示されるように、第２高域成分Ｈ２の振幅値ＰH2にこのオフセット値ｏｆｓを加算した値（ＰH2＋ｏｆｓ）が、第１高域成分Ｈ１の振幅値ＰH1以上となるようにその値が設定される。
この際、エッジ強度の増大に対しては、より低い帯域を抽出した第１高域成分Ｈ１の方が、オーバーシュート／アンダーシュートがより太く大きくなる傾向となる。このため、図４（ａ）の場合よりも画像信号のエッジ強度が強い図４（ｂ）の状態では、このように第１高域成分Ｈ１の方がエッジ強度の増大に対してオーバーシュート／アンダーシュートがより大きく太くなる傾向となることから、第１高域成分Ｈ１の振幅値ＰH1の値と第２高域成分Ｈ２の振幅値ＰH2＋ｏｆｓの値との関係が逆転し、振幅値ＰH1の方が大となる。
このようにして第１高域成分Ｈ１の振幅値ＰH1の値と第２高域成分Ｈ２の振幅値ＰH2＋オフセット値ｏｆｓの値との関係が逆転し、振幅値ＰH1の方が大となったときには、上記した出力選択回路５４の動作により、第２高域成分Ｈ２の方を出力するようにされる。すなわち、これによって画像信号のエッジ強度が、上記オフセット値ｏｆｓの値に応じて設定される所定のエッジ強度（従来の帯域による輪郭強調信号ではギラつきが目立って画質悪化が顕著となるとされるエッジ強度）以上となるときには、第２高域成分Ｈ２を輪郭強調信号として出力することができる。
また、上記した出力選択回路５４の動作によれば、図４（ａ）のようにして第１高域成分Ｈ１の振幅値ＰH1の値が、第２高域成分Ｈ２の振幅値ＰH2＋ｏｆｓの値以下であるときは、第１高域成分Ｈ１を出力するようにされるので、これにより画像信号のエッジ強度が上記所定のエッジ強度未満のときは、従来と同等の第１高域成分Ｈ１を輪郭強調信号として出力することができる。

上記のようにして実施の形態の輪郭強調信号生成回路５ａの構成によれば、画像信号のエッジ強度が上記所定のエッジ強度以上のときには第２高域成分Ｈ２を輪郭強調信号として出力することができる。
つまり、これを図によって表せば、次の図５において、従来では破線により示す高域成分Ｈ１のような比較的大きく太いオーバーシュート／アンダーシュートによってギラつきが目立ってしまっていたような場合にも、本例では実線により示す第２高域成分Ｈ２としての、より細く小さなオーバーシュート／アンダーシュートによる輪郭強調信号を出力することができ、これによって従来ではギラつきが目立って画質悪化が顕著となってしまっていた場合にも、本例ではギラつきをより低減したかたちで輪郭強調を行うことができるようになる。

また、上記構成によれば、画像信号のエッジ強度が上記所定の強度未満の範囲では、従来と同様の帯域である第１高域成分Ｈ１が輪郭強調信号として出力されることになるが、これによれば、エッジ強度が従来の帯域による輪郭強調信号ではギラつきが目立って画質悪化が顕著となるとされる強度未満の場合では、従来と同様の帯域を補償することができる。

ここで、画像信号におけるエッジ強度の強弱に応じて、オーバーシュート／アンダーシュートの大きさ・太さとしても増減するので、それほど強くないエッジ部分については従来と同等の第１の高域成分を出力してもギラつきはそれほど生じない。むしろこの場合は、従来通りの帯域を補償する上で、第１高域成分Ｈ１を選択することが望ましい。
一方、エッジ強度が或る程度強い部分で第１の高域成分が選択されると、その大きく太いオーバーシュート／アンダーシュートによって画像のギラつきが増大し、上記もしているように画質の向上が図られないことになる。このため、或る程度強いエッジ部分については、第２の高域成分によってギラつきを抑えた輪郭強調ができるようにされることが要請されるものである。
このような要請に対し、上記のように本実施の形態としての輪郭強調信号生成回路５ａの構成によれば、エッジ強度が従来の帯域による輪郭強調信号ではギラつきが目立って画質悪化が顕著となるとされる強度未満の場合では、従来の帯域を補償することと、それよりもさらに強いエッジ強度による部分では第２の高域成分によって従来よりギラつきを低減した輪郭強調を行うこととの両立を図ることができる。

また、この際、上記のような輪郭強調信号生成回路５ａを備えて、画像信号についての輪郭強調を行う実施の形態としてのデジタル画像信号処理回路５によれば、従来の帯域の補償とギラつきを低減した輪郭強調との両立を図るかたちで輪郭強調処理を行うことができる。
さらには、このような本例のデジタル画像信号処理回路５を備えた本例のデジタルスチルカメラ１によれば、従来の帯域の補償とギラつきを低減した輪郭強調との両立を図るかたちで輪郭強調処理を行うことができる撮像装置を提供することができる。

なお、ここで説明を補足しておくと、図２に示した構成において、各ハイパスフィルタにより抽出された高域成分Ｈの振幅値を求めるにあたっては、実際には信号成分中のピーク値からピーク値までの差分を計算して求めるようにされるので、例えばこれまでの図３〜図５に示した高域成分Ｈの波形とは逆に正方向から負方向へと遷移する波形とされる場合には、算出される振幅値の値が負の値となる。
そこで、これに対応させてオフセット付加回路５３としては、第２ハイパスフィルタ５２からの高域成分Ｈ２について、その振幅値の正負の極性に応じて、設定された所定値に基づく正／負のオフセット値ｏｆｓを高域成分Ｈ２に加算するようにされる。具体的に、高域成分Ｈ２の振幅値が正のときは、設定された上記所定値に基づく正の値によるオフセット値ｏｆｓを加算し、負のときは上記所定値に基づく負の値によるオフセット値ｏｆｓを加算するようにされる。
このようなオフセット付加回路５３の動作により、出力選択回路５４においてＰH1とＰH2＋ｏｆｓとの大小関係を適切に比較することができるようになる。

また、図２においては、第１高域成分Ｈ１／第２高域成分Ｈ２の選択出力にあたり、第２高域成分Ｈ２にオフセット値ｏｆｓを加算した上で、振幅値ＰH1と振幅値ＰH2＋ｏｆｓの大小比較を行うことによって、上記オフセット値ｏｆｓの値に応じて設定される所定のエッジ強度を境に第１高域成分Ｈ１／第２高域成分Ｈ２の出力選択を行うものとしたが、このようにオフセット値ｏｆｓの値に応じて設定される所定のエッジ強度を境に第１高域成分Ｈ１／第２高域成分Ｈ２の出力選択を行うための構成としては、他にも多様に考えられる。
例えば、図４（ａ）（ｂ）を参照すると、この場合は振幅値ＰH1からオフセット値ｏｆｓを減算した値と振幅値ＰH2とを比較することによっても、同様の比較を行うことが可能であることがわかる。すなわち図４（ａ）に示す所定のエッジ強度未満の場合としては、振幅値ＰH1−ｏｆｓの値が振幅値ＰH2の値以下となるときとみることができ、また図４（ｂ）の所定のエッジ強度以上のときは、振幅値ＰH1−ｏｆｓの値が振幅値ＰH2の値よりも大となるときとみることができる。
このように振幅値ＰH１−ｏｆｓの値を基準とした比較を行う場合、オフセット付加回路５３としては、第１高域成分Ｈ１のライン側においてオフセット値ｏｆｓを減算するようにして設け、出力選択回路５４においてはこのオフセット付加回路５３からの出力（振幅値ＰH1−ｏｆｓ）と、第１高域成分Ｈ１、第２高域成分Ｈ２を入力するようにする。その上で、振幅値ＰH1−ｏｆｓの値が振幅値ＰH2の値より大となるときは第２高域成分Ｈ２、それ以外の場合は第１高域成分Ｈ１を選択出力するように構成すれば、同様の選択結果を得ることができる。
或いは、図４（ａ）の所定のエッジ強度未満の場合としては、振幅値ＰH1−振幅値ＰH2の値が、オフセット値ｏｆｓ以下の場合としてみることができ、図４（ｂ）の場合は振幅値ＰH1−振幅値ＰH2の値が、オフセット値ｏｆｓより大となるときとしてみることができる。従ってこの場合、オフセット付加回路５３としては、第２高域成分Ｈ２のラインに設けるものとはせず、オフセット値ｏｆｓを出力選択回路５４に対し供給するための回路として設け、出力選択回路５４としては、第１高域成分Ｈ１と第２高域成分Ｈ２からそれぞれ振幅値ＰH1、ＰH2を計算した上で、振幅値ＰH1−振幅値ＰH2＞ｏｆｓのときは第２高域成分Ｈ２を出力し、それ以外では第１高域成分Ｈ１を出力するように構成することで、同様の選択結果を得ることができる。
さらには、例えば図４（ａ）の場合は、振幅値ＰH１−（振幅値ＰH2＋ｏｆｓ）≦０、図４（ｂ）の場合は振幅値ＰH１−（振幅値ＰH2＋ｏｆｓ）＞０とみることもできる。また、図４（ａ）の場合は、（振幅値ＰH１−ｏｆｓ）−振幅値ＰH2≦０、図４（ｂ）の場合は（振幅値ＰH１−ｏｆｓ）−振幅値ＰH2＞０とみることもできる。
ここで、これら何れの場合としても、結局のところは、オフセット値ｏｆｓを用いた振幅値ＰH１と振幅値ＰH2との比較として、振幅値ＰH１の方が振幅値ＰH2よりも、上記オフセット値ｏｆｓを超えて大きくなっているか否かについて判別していることに変わりはない。
つまりこの場合、輪郭強調信号生成回路５ａとしては、このように振幅値ＰH１の方が振幅値ＰH2よりも、上記オフセット値ｏｆｓを超えて大きくなっているときに第２高域成分Ｈ２を出力し、それ以外のときに第１高域成分Ｈ１を出力するように構成されていることで、同様の選択結果を得ることができる。
なお、図２では説明の便宜上、オフセット付加回路５３は出力選択回路５４外に備えられるものとして示したが、これまでの説明から理解されるようにこのオフセット付加回路５３としては、画像信号のエッジ強度に応じて第１高域成分Ｈ１／第２高域成分Ｈ２の選択を行うための機能の１つであることから、出力選択回路５４内に構成することもできる。

また、図２では説明の便宜上、第１ハイパスフィルタ５１と第２ハイパスフィルタ５２への入力画像信号と同じ画像信号に対して輪郭強調信号を加算するものとして示したが、これら第１ハイパスフィルタ５１と第２ハイパスフィルタ５２への入力画像信号と加算器５ｂとの間に他の画像信号処理を介在させる構成とすることもできる。つまりこの場合、輪郭強調信号生成回路５ａにより生成・出力される輪郭強調信号は、少なくともデジタル画像信号処理回路５内における画像信号の本線信号に対して加算されるように構成されればよい。

さらには、画像信号の高域成分を加算して輪郭強調処理を行う構成としては、Ｒ，Ｇ，Ｂ信号のそれぞれについて高域成分を抽出してそれぞれの輪郭強調信号を生成し、それらを抽出元のＲ，Ｇ，Ｂ信号に各々加算する構成と、輝度信号について高域成分を抽出しそれを画像信号に加算する構成とが可能であるが、上記した本実施の形態としての構成は何れの構成にも適用することができる。
但し当然のことであるが、前者の構成を採る場合には、図２に示した第１ハイパスフィルタ５１、第２ハイパスフィルタ５２、オフセット付加回路５３、出力選択回路５４による輪郭強調信号生成回路５ａを、Ｒ，Ｇ，Ｂの各入力画像信号ごとに設け、これらの輪郭強調信号生成回路５ａから出力される輪郭強調信号をＲ，Ｇ，Ｂの対応する画像信号にそれぞれ加算する構成を採ることになる。

ところで、これまでの説明では、輪郭強調信号生成動作をハードウエアにより実現する構成を例示したが、ソフトウェア処理によっても実現することができる。
その一例としては、例えばパーソナルコンピュータ等の情報処理装置において、ＲＡＷ画像データについての画像処理としてこれまでで説明した輪郭強調のための動作と同様の動作をソフトウェア処理により実現する場合が挙げられる。

このようにして情報処理装置におけるソフトウェア処理として、上記した本実施の形態としての輪郭強調のための動作を実現させるために行われるべき処理動作を、次の図６のフローチャートに示す。
先ず、ステップＳ１０１では、対象画像信号についてそれぞれ第１ハイパスフィルタ処理と第２ハイパスフィルタ処理とを実行する。
つまり、例えば輪郭強調処理を実行すべきとして選択された画像データファイル（ＲＡＷ画像データ）としての画像信号について、予め定められた所定の対象区間を単位として、先の第１ハイパスフィルタ５１と第２ハイパスフィルタ５２との関係と同様に従来と同様の帯域による高域成分Ｈ１を抽出する第１ハイパスフィルタ処理と、より高域の成分を抽出する第２ハイパスフィルタ処理とを実行するものである。

続くステップＳ１０２では、第１ハイパスフィルタ処理で得られた信号（高域成分Ｈ１）の振幅値（絶対値）ＰH1と、第２ハイパスフィルタ処理で得られた信号（高域成分Ｈ２）の振幅値（絶対値）ＰH2の計算を行う。
そして、ステップＳ１０３では、振幅値ＰH1が、振幅値ＰH2＋オフセット値ｏｆｓよりも大であるか否かについて判別を行う。
この場合のオフセット値ｏｆｓの値としても、先の図２に示したハードウェアによる構成の場合と同様に設定されればよい。すなわち、画像信号のエッジ強度が、従来の帯域（第１高域成分Ｈ１）による輪郭強調信号ではギラつきが目立って画質悪化が顕著となるとされる強度未満では、ＰH1≦ＰH2＋ｏｆｓとなり、それ以外ではＰH1＞ＰH2＋ｏｆｓとなるように設定を行えばよい。
但し、この場合としては、先のステップＳ１０２にて振幅値ＰH2として絶対値を計算するようにされているので、振幅値ＰH2に加算するオフセット値ｏｆｓの極性は常に正でよい。

ステップＳ１０３において、振幅値ＰH1の方が大でないとして否定結果が得られた場合は、ステップＳ１０４において、第１ハイパスフィルタ処理で得られた高域成分Ｈ１を対象画像信号に加算する。すなわち、ステップＳ１０１のフィルタ処理で対象とした画像信号に高域成分Ｈ１を加算する。
また、ステップＳ１０３において、振幅値ＰH1の方が大であるとして肯定結果が得られた場合は、ステップＳ１０５において、第２ハイパスフィルタ処理で得られた高域成分Ｈ２をステップＳ１０１にて対象とした画像信号に加算する。

そして、ステップＳ１０６では、画像信号が終了したか否かについて判別を行う。すなわち、この図に示す輪郭強調処理を実行すべきとして選択された画像データファイルとしての画像信号の全区間について処理を施したか否かについて判別する。
画像信号が終了していないとして否定結果が得られた場合は、先のステップＳ１０１に戻るようにされ、これによって次の対象区間の画像信号についてこれまでで説明した処理が繰り返される。また、画像信号が終了したとして肯定結果が得られた場合は処理動作を終了する。

このようにして、図６に示す処理動作によっても、画像信号のエッジ強度が上記オフセット値ｏｆｓによって決定される所定のエッジ強度よりも強くなったときには、第２高域成分Ｈ２を輪郭強調信号として選択することができ、またそれ以外のときは第１高域成分Ｈ１を輪郭強調信号として選択することができ、これによって図２に示した構成とする場合と同様の効果を得ることができる。
このような処理動作を実行させるプログラムによれば、例えばパーソナルコンピュータ等の情報処理装置におけるソフトウェア処理として、先の図２に示したハードウェアの構成により得られたものと同様の効果の得られる輪郭強調信号生成、及び輪郭強調処理を実現することができる。

なお、図６においては、図２に示した構成と対応する処理動作として、ステップＳ１０３にて「ＰH1＞ＰH2＋ｏｆｔ」であるか否かについて判別した結果に基づき第１高域成分Ｈ１／第２高域成分Ｈ２を選択するものとしたが、この場合としても、オフセット値ｏｆｓを用いた振幅値ＰH1と振幅値ＰH2との大小比較として、振幅値ＰH１の方が振幅値ＰH2よりも、上記オフセット値ｏｆｓを超えて大きくなっているときに第２高域成分Ｈ２を出力し、それ以外のときに第１高域成分Ｈ１を出力するようにされていれば、同様の選択結果を得ることができる。

以上、本発明の実施の形態について説明したが、本発明としてはこれまでで説明した実施の形態に限定されるべきものではない。
例えば実施の形態では、本発明をデジタルスチルカメラに適用する場合を例示したが、例えば同じ撮像装置に属するデジタルビデオカメラに対しても本発明は好適に適用することができる。
また、撮像装置以外にも、例えばテレビジョン受像機など画像（映像）表示を行う電子機器、さらにはＤＶＤプレイヤ等の画像（映像）再生を行う電子機器等、入力画像信号について輪郭強調処理を行うことが想定される電子機器に広く好適に適用することができる。
また、ソフトウェア処理により実現する場合としても、実施の形態では静止画像としての画像信号を対象として輪郭強調を行う場合に適用する場合を例示したが、映像信号としての画像信号を対象として輪郭強調を行う場合にも好適に適用することができる。

また、実施の形態では、画像信号のエッジ強度に応じて高域成分Ｈ１／高域成分Ｈ２を選択出力するにあたり、所定のオフセット値ｏｆｓを用いることで、振幅値ＰH１の方が振幅値ＰH2よりもオフセット値ｏｆｓを超えて大きくなっているか否かに応じて選択出力を行うものとしたが、このようにすることで、図２に示したようなハードウェアによる構成とする場合には、第１高域成分Ｈ１／第２高域成分Ｈ２のエッジ強度に応じた選択出力を、オフセット値ｏｆｓを得るための構成、振幅値の計算のための構成、値の比較を行うための構成（比較器）、値の比較結果に応じた出力選択のための構成（セレクタ）などといった、比較的簡易な構成で実現することができる。
また、同様に図６に示したソフトウェア処理としても、振幅値などの計算や計算値に基づく判別処理等といった、比較的簡易な処理動作によって実現することができる。
但し、このような構成・処理動作の簡易性を考慮しない場合などには、例えば画像信号のエッジ部分の傾きを測定して実際にエッジ強度を求めた結果に応じる等、他の構成を採ることも可能である。

本発明における実施の形態としての撮像装置の内部構成について示すブロック図である。 実施の形態の画像信号処理装置の内部構成として、特に実施の形態としての輪郭強調信号生成回路の構成と輪郭強調処理に係る部分の構成とを抽出して示したブロック図である。 第１のフィルタ手段と第２のフィルタ手段とによって抽出されるそれぞれの高域成分の関係を例示した図である。 実施の形態の輪郭強調信号生成回路における出力選択動作について説明するための図である。 第２のフィルタ手段からの出力が選択されることでオーバーシュート／アンダーシュートが低減されることについて説明するための図である。 実施の形態としての動作を実現するために実行されるべき処理動作について示したフローチャートである。 従来の輪郭強調信号生成のための構成について示した図である。 輪郭強調の原理について説明するための図である。 画像信号から抽出した高域成分に生じるオーバーシュート／アンダーシュートについて説明するための図である。 図９に示すような高域成分が加算されたときの画像信号波形を模式的に示した図である。

符号の説明

１ デジタルスチルカメラ、２ 撮像レンズ系、２ａ 撮像レンズ、３ 固体撮像素子部、４ 撮像信号転送部、５ デジタル画像信号処理回路、５ａ 輪郭強調信号生成回路、６ エンコーダ、７ フラッシュ発光部、８ レンズ駆動部、９ 発光駆動部、１０ カメラコントローラ、１１ バス、１２ 表示データ処理部、１３ 表示駆動回路、１４ 表示部、１５ 表示コントローラ、１６ メディアドライブ部、１７ バッファメモリ、１８ ＵＳＢインターフェース、１９ メモリ部、２０ システムコントローラ、２１ 操作部、５１ 第１ハイパスフィルタ、５２ 第２ハイパスフィルタ、５３ オフセット付加回路、５４ 出力選択回路、５ｂ 加算器

Claims (6)

1. 入力画像信号から第１の高域成分を抽出する第１のフィルタ手段と、
   上記入力画像信号から上記第１の高域成分よりもさらに高域の第２の高域成分を抽出する第２のフィルタ手段と、
   上記入力画像信号のエッジ強度に応じて、上記第１及び第２のフィルタ手段から入力される上記第１の高域成分と上記第２の高域成分との選択出力を行う出力選択手段と、
   を備えることを特徴とする輪郭強調信号生成回路。
2. 上記出力選択手段は、
   上記第１の高域成分の振幅値の方が上記第２の高域成分の振幅値よりも所定のオフセット分を超えて大きくなっているか否かに応じて、上記第１の高域成分と上記第２の高域成分とを選択出力するようにされている、
   ことを特徴とする請求項１に記載の輪郭強調信号生成回路。
3. 入力画像信号から第１の高域成分を抽出する第１のフィルタ手段と、
   上記入力画像信号から上記第１の高域成分よりもさらに高域の第２の高域成分を抽出する第２のフィルタ手段と、
   上記入力画像信号のエッジ強度に応じて、上記第１及び第２のフィルタ手段から入力される上記第１の高域成分と上記第２の高域成分との選択出力を行う出力選択手段と、
   上記出力選択手段による選択出力を上記入力画像信号又は上記入力画像信号に基づく画像信号に対して加算する加算手段と、
   を備えることを特徴とする画像信号処理装置。
4. 少なくとも撮像のためのレンズ系と撮像素子とを備えて撮像信号を得る撮像手段と、
   上記撮像信号に基づく画像信号を入力して所要の画像信号処理を施すものであって、
   上記画像信号から第１の高域成分を抽出する第１のフィルタ手段と、
   上記画像信号から上記第１の高域成分よりもさらに高域の第２の高域成分を抽出する第２のフィルタ手段と、
   上記画像信号のエッジ強度に応じて、上記第１及び第２のフィルタ手段から入力される上記第１の高域成分と上記第２の高域成分との選択出力を行う出力選択手段と、
   上記出力選択手段による選択出力を上記画像信号又は上記画像信号に基づく画像信号に対して加算する加算手段と、を備える画像信号処理回路を備える、
   ことを特徴とする撮像装置。
5. 入力画像信号から第１の高域成分を抽出する第１のフィルタ処理と、
   上記入力画像信号から上記第１の高域成分よりもさらに高域の第２の高域成分を抽出する第２のフィルタ処理と、
   上記入力画像信号のエッジ強度に応じて、上記第１の高域成分と上記第２の高域成分との選択出力を行う選択出力処理と、
   を備えることを特徴とする輪郭強調信号生成方法。
6. 入力画像信号についての少なくとも輪郭強調処理を情報処理装置に実行させるためのプログラムとして、
   上記入力画像信号から第１の高域成分を抽出する第１のフィルタ処理と、
   上記入力画像信号から上記第１の高域成分よりもさらに高域の第２の高域成分を抽出する第２のフィルタ処理と、
   上記入力画像信号のエッジ強度に応じて、上記第１の高域成分と上記第２の高域成分との選択を行う選択処理と、
   を備えていることを特徴とするプログラム。

Images