JP2014178742A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】画質を十分に改善することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供する。
【解決手段】画像処理装置１００は、入力画像信号の輝度信号及び色信号を入力する入力部１０と、輝度信号を参照信号とし、かつ、色信号を対象信号として、輝度信号に基づいて色信号に対しフィルタ処理を行う色信号フィルタ部３０と、輝度信号とフィルタ処理後の色信号とに基づいた出力画像信号を出力する出力部４０と、を備えるものである。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関し、特に、入力画像に対しフィルタリングを行う画像処理装置、画像処理方法及び画像処理プログラムに関する。

近年、テレビ受像機やパーソナルコンピュータ、スマートフォン等、デジタルの画像信号（映像信号）の表示や処理等を行う画像処理装置が広く普及しており、さらなる表示の大型化や高精細化が進められている。これに伴い、高精度な画像処理技術が望まれている。

画像処理技術として、従来から、符号化（データ圧縮）により劣化した画像（映像）の品質を向上させるフィルタ技術が利用されている。例えば、フィルタに関する従来技術として、非特許文献１〜３、特許文献１〜３が知られている。

ノイズ除去によく用いられる従来技術としてガウシアンフィルタ（Gaussian filter）などを挙げられることができる。しかし、ガウシアンフィルタでは、ノイズをできるだけ除去しようとすると輪郭もボケてしまうという欠点があった。

そこで、非特許文献１では、エッジ保持平滑化フィルタにより、画像をスムーズにしつつ、エッジ部分をぼかすことのないバイラテラルフィルタ（bilateral filter）が提案されている。バイラテラルフィルタは、ガウスぼかしをする際、画素間の距離で重みを決定するのではなく、輝度の差も計算に入れ、輝度の変化が大きいところは重みを小さくすることによりエッジを残す手法である。しかし、バイラテラルフィルタでは、画質改善などの応用分野において効果が高いと評価されるものの、計算量が大きいとの問題が指摘されている。

一方、近年、同じシーンに対し違う条件で撮影された画像や既存画像を用いることで画質を改善する参照データ式画質改善手法（参照データ付き画質改善手法）が、注目を集めている。参照データ式画質改善手法として、非特許文献２でジョイントバイラテラルフィルタ（joint bilateral filter）が提案され、さらに、非特許文献３でガイデッドフィルタ（guided filter）が提案されている。ガイデッドフィルタは、計算量問題の解消と参照データ式画質改善を同時に達成することができる。参照データ式画質改善手法（参照データ式画質改善フィルタ）とは、ジョイントバイラテラルフィルタやガイデッドフィルタのように参照信号（参照データ）と対象信号の２つの画像信号を入力し、参照信号に基づいて対象信号に対しフィルタ処理を行うものとする。

図６は、非特許文献２で提案されているジョイントバイラテラルフィルタの概要を示している。図６に示すように、ジョイントバイラテラルフィルタ９００には、ガイダンス信号（参照信号）として画像１の輝度信号Ｙと、ターゲット信号（対象信号）として画像２の輝度信号Ｙとを入力する。例えば、フラッシュありで撮影した画像１と、フラッシュなしで撮影した画像２を入力する。ジョイントバイラテラルフィルタ９００は、ガイダンス信号の画像１を参照することでターゲット信号の画像２をフィルタ処理し、画像２のフィルタ処理後の輝度信号Ｙを出力する。

また、非特許文献３で提案されたガイデッドフィルタも、図６と同様に、ガイダンス信号として画像１の輝度信号と、ターゲット信号として画像２の輝度信号を入力する。非特許文献３に記載されたガイデッドフィルタ（フィルタカーネル）の演算式を式（１）〜（２）に示す。

ただし、式（１）〜（２）において、Ｉはガイダンス信号、ｐはターゲット信号、ｑはフィルタ処理後の信号である。ωは注目画素及び周辺画素の画素数、μ及びσはＩの平均及び分散である。すなわち、ガイデッドフィルタでは、式（２）にガイダンス信号Ｉ及びターゲット信号ｐを入力してパラメータａ_ｋ及びｂ_ｋを算出し、さらに式（１）を用いてフィルタ処理後の信号ｑを算出する。

ガイデッドフィルタでは、従来のバイラテラルフィルタと同様にエッジ保持の平滑化フィルタ効果を有する一方、参照データを加えることにより激しいノイズの除去も可能になる。フィルタ結果画像の画素値は該当場所にかかわるガイデッドイメージ画素値の線形結合であるため、インテグラルイメージ（integral image）方式を用いることで、高速に計算することができる。

C.Tomasi, R.Manduchi, "Bilateral Filtering for Gray and Color Images", ICCV1998(IEEE International Conference on Computer Vision), pp. 839-846, 1998年 Petschnigg, G., Agrawala, M., Hoppe, H., Szeliski, R.,Cohen, M., Toyama, K., "Digital Photography with Flash and No-Flash Image Pairs", SIGGRAPH(2004), 2004年 K.He, J.Sun, X.Tang, "Guided Image Filtering", ECCV2010(European Conference on Computer Vision), 2010年

特開２００４−２００７９０号公報 特開２００９−２７６１９号公報 特開２０１２−２３９０３８号公報

しかしながら、非特許文献２や３などの従来のフィルタでは、画質を十分に改善できない場合があることを本発明者は見出した。例えば、図６のように従来のフィルタでは、輝度信号に対してフィルタ処理を行うものの、色信号については考慮されていないため、色信号の解像度を向上させることはできない。
非特許文献３では、ガイデッドフィルタの応用例として、ノイズリダクションの例（Noise Reduction）、ジョイントバイラテラルフィルタと同様の例（Flash/No-flash Denoising）、マスク画像の高解像度化の例（Matting/Guided Feathering）、画像の霧除去の例（Single Image Haze Removal）、グレー画像のカラー化の例（Joint Upsampling Colorization）が記載されている。また、その他の文献では、奥行情報を輝度値で表した画像(Depth Map)の高解像度化（Depth Map Super Resolution）などにも応用されている。しかしながら、ＹＣｂＣｒ画像の色成分のノイズ除去と高解像度化を同時に行うためにガイデッドフィルタを応用した例は存在しない。
また、単純に輝度画像信号を色画像信号に置き換えて上記フィルタ処理を行っても十分なノイズ除去を行うことができない。

本発明は、このような従来技術の課題に鑑み、画質を十分に改善することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

本発明に係る画像処理装置は、入力画像信号の輝度信号及び色信号を入力する入力部と、前記輝度信号を参照信号とし、かつ、前記色信号を対象信号として、前記輝度信号に基づいて前記色信号に対しフィルタ処理を行う色信号フィルタ部と、前記輝度信号と前記フィルタ処理後の色信号とに基づいた出力画像信号を出力する出力部と、を備えるのである。

本発明に係る画像処理方法は、入力画像信号の輝度信号及び色信号を入力し、前記輝度信号を参照信号とし、かつ、前記色信号を対象信号として、前記輝度信号に基づいて前記色信号に対しフィルタ処理を行い、前記輝度信号と前記色信号フィルタ処理後の色信号とに基づいた出力画像信号を出力するものである。

本発明に係る画像処理プログラムは、コンピュータに画像処理方法を実行させるための画像処理プログラムであって、前記画像処理方法は、入力画像信号の輝度信号及び色信号を入力し、前記輝度信号を参照信号とし、かつ、前記色信号を対象信号として、前記輝度信号に基づいて前記色信号に対しフィルタ処理を行い、前記輝度信号と前記色信号フィルタ処理後の色信号とに基づいた出力画像信号を出力するものである。

本発明によれば、画質を十分に改善することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。

実施の形態１に係る画像処理装置の構成を示すブロック図である。 実施の形態１に係る画像処理方法の流れを説明するための説明図である。 実施の形態２に係る画像処理方法の流れを説明するための説明図である。 実施の形態３に係る画像処理方法の流れを説明するための説明図である。 実施の形態４に係る画像処理方法の流れを説明するための説明図である。 従来のジョイントバイラテラルフィルタの構成を示す構成図である。

（実施の形態１）
以下、図面を参照して本発明の実施の形態１について説明する。本実施の形態に係る画像処理装置は、輝度信号及び色信号のフィルタ処理にガイデッドフィルタを適用し、特に、フィルタ処理後の輝度信号をガイダンス信号として色信号に対しフィルタ処理を行い、かつ、フィルタ処理後の輝度信号を用いて出力画像を生成することを特徴としている。

図１は、本実施の形態に係る画像処理装置の構成を示している。図１に示すように画像処理装置１００は、入力部１０、輝度信号フィルタ部２０、色信号フィルタ部３０、出力部４０を備えている。また、色信号フィルタ部３０は、一例として、Ｃｂ信号フィルタ部３１、Ｃｒ信号フィルタ部３２を備えている。

なお、図３以降の画像処理方法が実現できれば、その他の機能ブロックで構成してもよい。図２の画像処理装置における各機能（各処理）は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。画像処理装置の各機能を、ＣＰＵ（Central Processing Unit）やメモリ等を有するコンピュータにより実現してもよい。例えば、記憶装置に図３以降に後述する画像処理方法を行うための画像処理プログラムを格納し、画像処理装置の各機能を、記憶装置に格納された画像処理プログラムをＣＰＵで実行することにより実現してもよい。

入力部１０は、符号化された入力画像（または映像）が入力され、入力画像に含まれる輝度信号Ｙ１を輝度信号フィルタ部２０へ出力し、入力画像に含まれる色信号Ｃｂ１、Ｃｒ１を色信号フィルタ部３０（Ｃｂ信号フィルタ部３１、Ｃｒ信号フィルタ部３２）へ出力する。なお、後述の実施の形態で説明するように、輝度信号Ｙ１を出力部４０や色信号フィルタ部３０へ出力してもよい。例えば、入力画像は、ＹＵＶ４２０フォーマットやＪＰＥＧ及びＭＰＥＧ−２などの画像符号化により劣化した画質であり、特に色信号（チャンネル）における解像度劣化が生じている画像である。入力画像は、例えば、輝度信号Ｙ、色信号Ｃｂ，Ｃｒを含むＹＣｂＣｒ（またはＹＵＶ）方式の映像信号であるが、ＲＧＢ方式等、その他の方式の画像信号であってもよい。入力部１０は、入力画像がＲＧＢ方式の場合、ＹＣｂＣｒ方式の画像信号に変換する。また、入力部１０に直接、輝度信号及び色信号を入力してもよい。

輝度信号フィルタ部２０は、入力部から入力される輝度信号Ｙ１に対しフィルタ処理を行い、フィルタ処理後の輝度信号Ｙ２を出力する。輝度信号フィルタ部２０は、非特許文献２や３の参照データ式画質改善手法によりフィルタリングを行う。すなわち、輝度信号フィルタ部２０は、ガイダンス信号（参照信号）を用いて、ターゲット信号（対象信号）に対しフィルタリング処理を行う。ここでは、非特許文献３のガイデッドフィルタを適用した例について説明するが、非特許文献２のジョイントバイラテラルフィルタやガイデッドフィルタを改良したＣＬＭＦ（Cross-Based Local Multipoint Filtering）などその他の参照データ式のフィルタを適用してもよい。なお、ＣＬＭＦについては、「J.Lu, et. al. "Cross-Based Local Multipoint Filtering," in Proc. IEEE Int. Conf. Computer Vision and Pattern Recognition (CVPR), Jun. 2012.」に開示されている。本実施の形態では、輝度信号フィルタ部２０は、入力された輝度信号Ｙ１をガイダンス信号とし、同じ輝度信号Ｙ１をターゲット信号とし、ガイデッドフィルタ処理後の輝度信号Ｙ２を出力する。

色信号フィルタ部３０は、入力部から入力される色信号Ｃｂ１，Ｃｒ１に対しフィルタ処理を行い、フィルタ処理後の色信号Ｃｂ２、Ｃｒ２を出力する。色信号フィルタ部３０は、輝度信号フィルタ部２０と同様に、非特許文献２や３の参照データ式画質改善手法によりフィルタリングを行う。すなわち、色信号フィルタ部３０は、ガイダンス信号（参照信号）を用いて、ターゲット信号（対象信号）に対しフィルタリング処理を行う。輝度信号フィルタ部２０と同様に、非特許文献３のガイデッドフィルタを適用した例について説明するが、非特許文献２のジョイントバイラテラルフィルタなどその他の参照データ式のフィルタやＣＬＭＦを適用してもよい。なお、輝度信号フィルタ部２０と色信号フィルタ部３０を一つのフィルタ部としてもよい。

Ｃｂ信号フィルタ部３１は、輝度信号フィルタ部２０によりフィルタ処理された輝度信号Ｙ２をガイダンス信号とし、入力部１０から入力される色信号Ｃｂ１をターゲット信号として、ガイデッドフィルタ処理後の色信号Ｃｂ２を出力する。Ｃｒ信号フィルタ部３２は、輝度信号フィルタ部２０によりフィルタ処理された輝度信号Ｙ２をガイダンス信号とし、入力部１０から入力される色信号Ｃｒ１をターゲット信号として、ガイデッドフィルタ処理後の色信号Ｃｒ２を出力する。

出力部４０は、輝度信号フィルタ部２０によりフィルタ処理された輝度信号Ｙ２、色信号フィルタ部３０によりフィルタ処理された色信号Ｃｂ２，Ｃｒ２に基づいて、出力画像を生成し出力する。色信号ＣｂとＣｒをガイデッドフィルタ処理した後、鮮鋭度は落ちてしまう可能性がある。そのため、出力部４０は、必要に応じて、コントラスト改善（contrast enhancement）などの後処理（Post-processing）を加えることで画像を鮮鋭にする。すなわち、出力部４０は、フィルタ処理後の色信号Ｃｂ，Ｃｒに対して鮮鋭化処理やコントラスト強調処理を行う。後処理のコントラスト改善の一例として、一般的に用いられるウィーナーフィルタ（Wiener filter）やアンシャープマスク（unsharp mask）などを用いてもよい。

図２は、本実施の形態に係る画像処理装置で実行される画像処理方法の流れを示している。図２に示すように、入力部１０は、入力画像（映像）が入力されると、入力画像がＲＧＢ方式か否か判定し、ＲＧＢ方式の場合に、ＹＣｂＣｒ方式の信号に変換する（Ｓ１０１）。入力部１０は、入力されたＹＣｂＣｒ信号または変換したＹＣｂＣｒ信号に含まれる輝度信号Ｙ、色信号Ｃｂ、Ｃｒを分離し、輝度信号フィルタ部２０、Ｃｂ信号フィルタ部３１、Ｃｒ信号フィルタ部３２にそれぞれ出力する。

続いて、輝度信号フィルタ部２０は、入力部１０から入力された輝度信号Ｙ１をガイダンス信号とし、同じ輝度信号Ｙ１をターゲット信号として、輝度信号Ｙ１に対しガイデッドフィルタ処理を行う（Ｓ１０２）。ガウシアンノイズなどは輝度空間にも存在するとのことから、色信号にフィルタ処理を行う前にガイダンス信号となる輝度信号に対しノイズ除去処理をガイデッドフィルタで自分自身（輝度信号）を参照する形で平滑化処理を行う。具体的には、式（１）〜（２）におけるガイダンス信号Ｉを輝度信号Ｙ１、ターゲット信号ｐを輝度信号Ｙ１として演算処理する。輝度信号フィルタ部２０は、フィルタ処理後の輝度信号Ｙ２を、Ｃｂ信号フィルタ部３１、Ｃｒ信号フィルタ部３２、出力部４０へ出力する。

続いて、Ｃｂ信号フィルタ部３１は、輝度信号フィルタ部２０によりフィルタ処理された輝度信号Ｙ２をガイダンス信号とし、入力部１０から入力される色信号Ｃｂ１をターゲット信号として、色信号Ｃｂ１に対しガイデッドフィルタ処理を行う（Ｓ１０３）。ノイズ除去後の輝度信号Ｙ２を参照画像とし、色信号Ｃｂをガイデッドフィルタでフィルタ処理を行うことで、輝度画像の細部情報を利用し、色信号Ｃｂの該当細部の解像度を改善する。具体的には、式（１）〜（２）におけるガイダンス信号Ｉを輝度信号Ｙ２、ターゲット信号ｐを色信号Ｃｂ１として演算処理する。Ｃｂ信号フィルタ部３１は、フィルタ処理後の色信号Ｃｂ２を出力部４０へ出力する。

続いて、Ｃｒ信号フィルタ部３２は、輝度信号フィルタ部２０によりフィルタ処理された輝度信号Ｙ２をガイダンス信号とし、入力部１０から入力される色信号Ｃｒ１をターゲット信号として、色信号Ｃｒ１に対しガイデッドフィルタ処理を行う（Ｓ１０４）。ノイズ除去後の輝度信号Ｙ２を参照画像とし、色信号Ｃｒをガイデッドフィルタでフィルタ処理を行うことで、輝度画像の細部情報を利用し、色信号Ｃｒの該当細部の解像度を改善する。具体的には、式（１）〜（２）におけるガイダンス信号Ｉを輝度信号Ｙ２、ターゲット信号ｐを色信号Ｃｒ１として演算処理する。Ｃｒ信号フィルタ部３１は、フィルタ処理後の色信号Ｃｒ２を出力部４０へ出力する。

続いて、出力部４０は、輝度信号フィルタ部２０によりフィルタ処理された輝度信号Ｙ２、Ｃｂ信号フィルタ部３１、Ｃｒ信号フィルタ部３２によりフィルタ処理された色信号Ｃｂ２，Ｃｒ２を合成して出力画像に変換する（Ｓ１０５）。さらに出力部４０は、出力画像に対して必要に応じて後処理を行った後（Ｓ１０６）、当該出力画像を出力する。

以上のように、本実施の形態では、画像符号化により劣化した画質、特に色信号における解像度劣化に対し、計算コストが低いガイデッドフィルタを用いることにより画質改善を行う。現行の各種圧縮方式の多くは、人間が輝度解像度より色解像度に対する敏感度が特に弱いという視覚特徴に基づき、ＹＵＶ４２２，４２０フォーマットのように色信号の解像度を輝度信号の解像度よりも低くし、輝度信号はできるだけ原画の解像度を保っている。このような符号化方式では色ノイズが生じやすくなり、それに伴う画質の劣化が見られる。本実施の形態は非特許文献３のガイデッドフィルタを利用して、細部情報が豊富な輝度信号を参照データとし、色信号をフィルタリングすることで、色信号の解像度を向上する。これにより、画像の細部まで再現することが可能となり、大幅な画質改善を行うことができる。

また、ガイデッドフィルタを用いることで、従来技術と比べ画質改善の効果と計算コストの低さを両立でき、高速かつ効果的に画質を改善することができる。このため、テレビの映像信号を始め、ＪＰＥＧとＭＰＥＧなどの圧縮データに対し簡単に画質改善ができ、幅広い応用が期待できる。

本実施の形態では、輝度信号に対しても、輝度信号自身を参照信号してガイデッドフィルタによりフィルタリングを行う。これにより、輝度信号のノイズ成分を除去することができる。フィルタ処理後の輝度信号を参照信号として、色信号をフィルタリングすることで、輝度信号のノイズの影響を抑えて、より色信号の解像度を向上させることができる。

また、フィルタ処理後の輝度信号を含めて出力画像を生成することで、ノイズ成分の除去或いは画像の平滑効果を高めることができる。例えば、画像のエッジ周辺（人や文字の周り）に生じるモスキートノイズなどを効果的に除去することができる。

（実施の形態２）
以下、図面を参照して本発明の実施の形態２について説明する。本実施の形態に係る画像処理装置は、輝度信号及び色信号のフィルタ処理にガイデッドフィルタを適用し、特に、フィルタ処理後の輝度信号をガイダンス信号として色信号に対しフィルタ処理を行い、かつ、入力された輝度信号を用いて出力画像を生成することを特徴としている。

本実施の形態に係る画像処理装置の主な構成は実施の形態１の図１と同様である。図３を用いて、主に、本実施の形態と実施の形態１との相違点について説明する。

図３に示すように、入力部１０は、入力場像がＲＧＢ方式の場合ＹＣｂＣｒ方式の信号に変換し（Ｓ１０１）、輝度信号Ｙを輝度信号フィルタ部２０及び出力部４０へ出力し、色信号Ｃｂ、ＣｒをＣｂ信号フィルタ部３１、Ｃｒ信号フィルタ部３２にそれぞれ出力する。

続いて、実施の形態１と同様に、輝度信号フィルタ部２０は、輝度信号Ｙ１をガイダンス信号とし、同じ輝度信号Ｙ１をターゲット信号として、ガイデッドフィルタ処理を行い（Ｓ１０２）、Ｃｂ信号フィルタ部３１は、フィルタ処理された輝度信号Ｙ２をガイダンス信号とし、色信号Ｃｂ１をターゲット信号として、ガイデッドフィルタ処理を行い（Ｓ１０３）、Ｃｒ信号フィルタ部３２は、フィルタ処理された輝度信号Ｙ２をガイダンス信号とし、色信号Ｃｒ１をターゲット信号として、ガイデッドフィルタ処理を行う（Ｓ１０４）。

続いて、本実施の形態では、出力部４０は、入力部１０により入力された輝度信号Ｙ１、Ｃｂ信号フィルタ部３１、Ｃｒ信号フィルタ部３２によりフィルタ処理された色信号Ｃｂ２，Ｃｒ２を合成して出力画像に変換する（Ｓ２０１）。さらに出力部４０は、出力画像に対して必要に応じて後処理を行った後（Ｓ１０６）、当該出力画像を出力する。

以上のように、本実施の形態では、実施の形態１と比べて、入力された輝度信号をそのまま用いて出力画像を生成する。これにより、実施の形態１と同様に、色信号の解像度を向上することができるとともに、フィルタ処理前の輝度信号の情報を利用して出力画像を生成できる。

ガイデッドフィルタは細かいテクスチャ情報も除去する傾向があるため、細部情報が豊富な画像の場合、実施の形態１のようにフィルタ処理後の輝度信号を用いて出力画像を生成すると、必要なテクスチャ情報が失われてしまう。そこで、本実施の形態のように、原輝度信号を使用して出力画像を生成することで、テクスチャなどの細かい情報を保持し、原画にあるテクスチャを忠実に再現することができる。

（実施の形態３）
以下、図面を参照して本発明の実施の形態３について説明する。本実施の形態に係る画像処理装置は、輝度信号及び色信号のフィルタ処理にガイデッドフィルタを適用し、特に、入力された輝度信号をガイダンス信号として色信号に対しフィルタ処理を行い、かつ、フィルタ処理後の輝度信号を用いて出力画像を生成することを特徴としている。

本実施の形態に係る画像処理装置の主な構成は実施の形態１の図１と同様である。図４を用いて、主に、本実施の形態と実施の形態１との相違点について説明する。

図４に示すように、入力部１０は、入力場像がＲＧＢ方式の場合ＹＣｂＣｒ方式の信号に変換し（Ｓ１０１）、輝度信号Ｙを輝度信号フィルタ部２０、Ｃｂ信号フィルタ部３１、Ｃｒ信号フィルタ部３２へ出力し、色信号Ｃｂ、ＣｒをＣｂ信号フィルタ部３１、Ｃｒ信号フィルタ部３２にそれぞれ出力する。

続いて、実施の形態１と同様に、輝度信号フィルタ部２０は、輝度信号Ｙ１をガイダンス信号とし、同じ輝度信号Ｙ１をターゲット信号として、ガイデッドフィルタ処理を行う（Ｓ１０２）。

続いて、本実施の形態では、Ｃｂ信号フィルタ部３１は、入力部１０から入力された輝度信号Ｙ１をガイダンス信号とし、色信号Ｃｂ１をターゲット信号として、ガイデッドフィルタ処理を行う（Ｓ３０１）。具体的には、式（１）〜（２）におけるガイダンス信号Ｉを輝度信号Ｙ１、ターゲット信号ｐを色信号Ｃｂ１として演算処理する。

同様に、Ｃｒ信号フィルタ部３２は、入力部１０から入力された輝度信号Ｙ１をガイダンス信号とし、色信号Ｃｒ１をターゲット信号として、ガイデッドフィルタ処理を行う（Ｓ３０２）。具体的には、式（１）〜（２）におけるガイダンス信号Ｉを輝度信号Ｙ１、ターゲット信号ｐを色信号Ｃｒ１として演算処理する。

続いて、実施の形態１と同様に、出力部４０は、輝度信号フィルタ部２０によりフィルタ処理された輝度信号Ｙ２、Ｃｂ信号フィルタ部３１、Ｃｒ信号フィルタ部３２によりフィルタ処理された色信号Ｃｂ２，Ｃｒ２を合成して出力画像に変換する（Ｓ２０１）。さらに出力部４０は、出力画像に対して必要に応じて後処理を行った後（Ｓ１０６）、当該出力画像を出力する。

以上のように、少なくとも輝度信号を参照信号とし、色信号に対しガイデッドフィルタ処理を行った場合でも、実施の形態１と同様に、色信号の解像度を向上することができる。また、フィルタ処理後の輝度信号を用いて出力画像を生成するため、エッジ周辺のノイズ等を精度よく除去することができる。

（実施の形態４）
以下、図面を参照して本発明の実施の形態４について説明する。本実施の形態に係る画像処理装置は、色信号のフィルタ処理にガイデッドフィルタを適用し、特に、入力された輝度信号をガイダンス信号として色信号に対しフィルタ処理を行い、かつ、入力された輝度信号を用いて出力画像を生成することを特徴としている。

本実施の形態に係る画像処理装置の主な構成は実施の形態１の図１と同様である。なお、本実施の形態では、輝度信号に対してフィルタ処理を行わないため、輝度信号フィルタ部２０は省略してもよい。図５を用いて、主に、本実施の形態と実施の形態１との相違点について説明する。

図５に示すように、入力部１０は、入力場像がＲＧＢ方式の場合ＹＣｂＣｒ方式の信号に変換し（Ｓ１０１）、輝度信号ＹをＣｂ信号フィルタ部３１、Ｃｒ信号フィルタ部３２、出力部４０へ出力し、色信号Ｃｂ、ＣｒをＣｂ信号フィルタ部３１、Ｃｒ信号フィルタ部３２にそれぞれ出力する。

続いて、実施の形態３と同様に、Ｃｂ信号フィルタ部３１は、入力部１０から入力された輝度信号Ｙ１をガイダンス信号とし、色信号Ｃｂ１をターゲット信号として、ガイデッドフィルタ処理を行い（Ｓ３０１）、Ｃｒ信号フィルタ部３２は、入力部１０から入力された輝度信号Ｙ１をガイダンス信号とし、色信号Ｃｒ１をターゲット信号として、ガイデッドフィルタ処理を行う（Ｓ３０２）。

続いて、実施の形態２と同様に、出力部４０は、入力部１０により入力された輝度信号Ｙ１、Ｃｂ信号フィルタ部３１、Ｃｒ信号フィルタ部３２によりフィルタ処理された色信号Ｃｂ２，Ｃｒ２を合成して出力画像に変換する（Ｓ２０１）。さらに出力部４０は、出力画像に対して必要に応じて後処理を行った後（Ｓ１０６）、当該出力画像を出力する。

以上のように、少なくとも輝度信号を参照信号とし、色信号に対しガイデッドフィルタ処理を行った場合でも、実施の形態１と同様に、色信号の解像度を向上することができる。また、入力された輝度信号を用いて出力画像を生成するため、実施の形態２と同様に、テクスチャ等を精度よく再現することができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

１０ 入力部
２０ 輝度信号フィルタ部
３０ 色信号フィルタ部
３１ Ｃｂ信号フィルタ部
３２ Ｃｒ信号フィルタ部
４０ 出力部
１００ 画像処理装置

Claims (14)

1. 入力画像信号の輝度信号及び色信号を入力する入力部と、
   前記輝度信号を参照信号とし、かつ、前記色信号を対象信号として、前記輝度信号に基づいて前記色信号に対しフィルタ処理を行う色信号フィルタ部と、
   前記輝度信号と前記フィルタ処理後の色信号とに基づいた出力画像信号を出力する出力部と、
   を備える画像処理装置。
2. 前記輝度信号を参照信号とし、かつ、前記輝度信号を対象信号として、前記輝度信号に対しフィルタ処理を行う輝度信号フィルタ部を備える、
   請求項１に記載の画像処理装置。
3. 前記色信号フィルタ部は、前記フィルタ処理後の輝度信号を参照信号として前記色信号に対しフィルタ処理を行う、
   請求項２に記載の画像処理装置。
4. 前記出力部は、前記フィルタ処理後の輝度信号を用いて前記出力画像信号を生成する、
   請求項２または３に記載の画像処理装置。
5. 前記色信号のフィルタ処理は、ガイデッドフィルタ処理である、
   請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記色信号のフィルタ処理は、ジョイントバイラテラルフィルタ処理である、
   請求項１乃至４のいずれか一項に記載の画像処理装置。
7. 前記輝度信号のフィルタ処理は、ガイデッドフィルタ処理である、
   請求項２乃至４のいずれか一項に記載の画像処理装置。
8. 前記輝度信号のフィルタ処理は、ジョイントバイラテラルフィルタ処理である、
   請求項２乃至４のいずれか一項に記載の画像処理装置。
9. 前記出力部は、前記フィルタ処理後の色信号に対して鮮鋭化処理又はコントラスト強調処理を行う、
   請求項１乃至８のいずれか一項に記載の画像処理装置。
10. 入力画像信号の輝度信号及び色信号を入力し、
    前記輝度信号を参照信号とし、かつ、前記色信号を対象信号として、前記輝度信号に基づいて前記色信号に対しフィルタ処理を行い、
    前記輝度信号と前記色信号フィルタ処理後の色信号とに基づいた出力画像信号を出力する、
    画像処理方法。
11. さらに、前記輝度信号を参照信号とし、かつ、前記輝度信号を対象信号として、前記輝度信号に対しフィルタ処理を行う、
    請求項１０に記載の画像処理方法。
12. 前記色信号のフィルタ処理では、前記フィルタ処理後の輝度信号を参照信号とする、
    請求項１１に記載の画像処理方法。
13. 前記出力画像信号の出力では、前記フィルタ処理後の輝度信号を用いて前記出力画像信号を生成する、
    請求項１１または１２に記載の画像処理方法。
14. コンピュータに画像処理方法を実行させるための画像処理プログラムであって、
    前記画像処理方法は、
    入力画像信号の輝度信号及び色信号を入力し、
    前記輝度信号を参照信号とし、かつ、前記色信号を対象信号として、前記輝度信号に基づいて前記色信号に対しフィルタ処理を行い、
    前記輝度信号と前記色信号フィルタ処理後の色信号とに基づいた出力画像信号を出力する、
    画像処理プログラム。

Images