JP2009027537A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】単板撮像素子で撮像されたベイヤ配列等の複数色信号に対して欠落色信号の補間に伴い発生する偽色と解像度低下を十分に抑えつつ、孤立点やドット雑音のようなアーティファクトの発生を小さく抑えること。
【解決手段】各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて１つ以上欠落している映像信号を処理する画像処理装置は、上記各画素の欠落している色信号を補間するＧ信号補間処理部２２及びＲ，Ｂ信号補間処理部２４を備え、上記Ｒ，Ｂ信号補間処理部２４での補間の際には、Ｇ補正値算出部２６及び相関量算出部２８により改善量を求め、加算器３０によって該改善量をＧ信号に加算することで周波数特性を改善したＧ信号を使用して補間を行う。
【選択図】図３

Description

本発明は、Ｒ、Ｇ、Ｂの３原色フィルタがモザイク状に配置された単板撮像素子にて撮像した画像信号を処理する画像処理装置、画像処理方法及び画像処理プログラムに関する。

カラー画像を電気的に撮像する装置としては、１つの画素位置で３つの色（Ｒ、Ｇ、Ｂ）信号を得ることができる３板撮像素子構成のものと、１つの画素位置毎に３つの色信号の内の１つの色信号しか得ることができない単板撮像素子構成のものに大別される。現在市販されているデジタルカメラは単板撮像素子構成が一般的であり、デジタルビデオカメラにおいては３板撮像素子構成のものと単板撮像素子構成のものとが混在した状態である。

３板撮像素子構成は、構造が複雑で部品点数も多くなる為、高価格であるが、撮像画像の各画素位置で３つの色信号を撮像時点で得ることができるので一般的に高画質である。

一方、単板撮像素子構成は、構造が簡単であるが、３つの色信号を得る為に画素毎にＲ、Ｇ、Ｂフィルタを図２（Ａ）に示すようなモザイク状に配置（以降、ベイヤ配列と記す）する必要があり、撮像画像の各画素位置には単一信号のみしか得ることができない。このようなベイヤ配列においては、各画素位置で欠落している色信号を周辺の画素位置の色信号を用いて補間することで、画素当り３つの色信号を得ている。しかし、エッジなどの高い空間周波数を持った撮像領域では、Ｇ信号に対してＲ信号及びＢ信号のサンプリング間隔が異なることに伴い、Ｇ信号で表現可能な高い空間周波数がＲ信号及びＢ信号では低周波数側に折り返してしまう為に、各色信号で補間処理したのではエッジ周辺部等で偽色（本来無い色）が発生するという問題がある。

このような偽色を低減する最も簡単な方法は、ベイヤ配列のＲ信号或いはＢ信号のサンプリング間隔が再現できる空間周波数までレンズ、或いは光学ローパスフィルタの特性を落とした画像を撮像素子上に結像させることである。但し、この方法での撮像画像は、再現可能な空間周波数の半分しか得られないことになり、解像度の低いボケた画像となってしまうという問題が発生する。その為、撮像素子上に結像させる画像解像度はＧ信号のサンプリング間隔で折り返し歪みによるモワレが発生しない空間周波数特性となるように光学系を設計するのが一般的である。

このような光学系を用いて且つ偽色低減を行う方法は、今までに種々提案されている。

その例として特許文献１は、３つの色（ＲとＧとＢ）信号の補間位置を水平、垂直方向ともに画素間の半分の位置とする補間処理を施すもので、この位置への補間処理はナイキスト周波数の半分の周波数でＲ、Ｇ、Ｂの周波数特性を近似させることができることに着目したものである。これにより偽色低減を図っている。

また、特許文献２に開示されているAdaptive Color Plane Interpolation（ＡＣＰＩ）では、欠落しているＧ信号を、近傍のＧ信号の平均値にＲ信号またはＢ信号の二次勾配を加えて補間し、Ｒ信号とＢ信号を近傍画素の平均値にＧ信号の二次勾配を加えて補間する。

特許文献３には、Ｇ信号の補間処理において、Ｇ信号の線形補間値に対して、Ｒ信号またはＢ信号の微分値を加えることによって、解像力の向上を図っている例が示されている。色信号間の類似性に応じて、加える微分値の大きさを変えることによって、解像力の向上とアーティファクトの防止を両立している。
特開平８−２３７６７２号公報 米国特許第５６２９７３４号明細書 特開２００１−３３８２８５号公報

しかしながら、上記特許文献１は、ナイキスト周波数に近い周波数成分を含んだエッジ領域での偽色抑圧は十分とは言えず、更に水平、垂直共に半画素位置に画素を補間する為、この補間フィルタの周波数特性に依存した高周波成分の減衰は避けられず、解像度が落ちてしまうという欠点があった。

また、上記特許文献２は、ＡＣＰＩは、偽色やジッパノイズの発生が少なく精細な画像が得られるが、孤立点が発生するという問題がある。

上記特許文献３は、偽色低減効果については触れられていない。

本発明は、上記の点に鑑みてなされたもので、単板撮像素子で撮像されたベイヤ配列等の複数色信号に対して欠落色信号の補間に伴い発生する偽色と解像度低下を十分に抑えつつ、孤立点やドット雑音のようなアーティファクトの発生を小さく抑えた画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

本発明の画像処理装置の一態様は、各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて１つ以上欠落している映像信号を処理する画像処理装置であって、
上記各画素の欠落している色信号を補間する補間手段と、
上記補間手段での補間の際に、上記各色信号毎に、上記各色信号の周波数特性を改善する、少なくとも１つの周波数特性改善手段と、
上記周波数特性改善手段による上記各色信号に対する改善量を、上記各色信号毎に異なるように制御する改善量制御手段と、
を具備することを特徴とする。

また、本発明の画像処理方法の一態様は、各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて１つ以上欠落している映像信号を処理する画像処理方法であって、
上記各画素の欠落している色信号を補間する際に、上記各色信号に対する改善量を、上記各色信号毎に異なるように制御して、上記各色信号毎に、上記各色信号の周波数特性を改善することを特徴とする。

また、本発明の画像処理プログラムの一態様は、コンピュータに、各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて１つ以上欠落している映像信号を処理させる画像処理プログラムであって、
コンピュータを、
上記各画素の欠落している色信号を補間する補間手段、
上記補間手段での補間の際に、上記各色信号毎に、上記各色信号の周波数特性を改善する、少なくとも１つの周波数特性改善手段、
上記周波数特性改善手段による上記各色信号に対する改善量を、上記各色信号毎に異なるように制御する改善量制御手段、
として機能させるためのものであることを特徴とする。

本発明によれば、単板撮像素子で撮像された複数色信号に対して欠落色信号の補間に伴い発生する偽色と解像度低下を十分に抑えつつ、孤立点やドット雑音のようなアーティファクトの発生を小さく抑える画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。

以下、本発明を実施するための最良の形態を図面を参照して説明する。

［第１実施形態］
図１は、本発明の第１実施形態に係る画像処理装置の全体構成を示す機能ブロック図である。

該画像処理装置は、撮像部１０、補間処理部１２、輝度色差生成部１４、エッジ強調処理部１６、色変換部１８、記録部２０、及びこれら各部を制御する図示しない制御部からなる。

ここで、撮像部１０は、不図示のレンズ、ＩＲカットフィルタ、光学ローパスフィルタ、単板撮像素子（例えばＣＣＤやＣＭＯＳ等）、該撮像素子のコントローラ、増幅器、Ａ／Ｄコンバータ等からなり、該レンズ、ＩＲカットフィルタ、光学ローパスフィルタにて単板撮像素子上に結像した光が、図２（Ａ）に示すベイヤ配列順に並んだ所定色フィルタ付き画素で光電変換される。該光電変換された各画素の電気信号は、増幅器にて増幅され、Ａ／Ｄ変換されて色信号Ｒｓ，Ｇｓ，Ｂｓとして出力される。更に該コントローラは、各色信号Ｒｓ，Ｇｓ，Ｂｓに対するノイズ低減処理機能及びホワイトバランス処理機能等を備えており、補間処理部１２へ出力されるＲｓ，Ｇｓ，Ｂｓにはこれらの処理が施されている。

補間処理部１２は、撮像部１０から、図２（Ａ）に示すベイヤ配列の信号（Ｒｓ，Ｇｓ，Ｂｓ）が入力され、図２（Ｂ）に示すように各画素にＲ信号、Ｇ信号、Ｂ信号が存在する画像信号を生成して、輝度色差生成部１４に出力する。この補間処理部１２の詳細は、後述する。

輝度色差生成部１４は、補間処理部１２で得られたＲ，Ｇ，Ｂ信号に対して、カラーマッチング処理とγ補正処理を行い、得られた補正Ｒ，Ｇ，Ｂ信号から、輝度信号Ｙと色差信号Ｃｂ，Ｃｒを生成し、輝度信号Ｙをエッジ強調処理部１６へ、色差信号Ｃｂ，Ｃｒを色変換部１８へ出力する。

エッジ強調処理部１６は、輝度色差生成部１４で得られた輝度信号Ｙに対して、エッジ強調処理を施し、色変換部１８へ出力する。

色変換部１８は、エッジ強調処理部１６でエッジ強調処理がなされた輝度信号Ｙと輝度色差生成部１４で得られた色差信号Ｃｂ，Ｃｒとから、再度Ｒ，Ｇ，Ｂ信号を生成する。

記録部２０は、入力されたＲ，Ｇ，Ｂ信号をＹ，Ｕ，Ｖ信号に変換し、ＪＰＥＧやＭＰＥＧ等の高能率圧縮符号化処理がなされた圧縮データとして、フラッシュメモリやハードディスク、磁気テープや光ディスク等の所定記録媒体に記録する。

図３は、上記補間処理部１２の構成を示すブロック図である。該補間処理部１２は、Ｇ信号補間処理部２２、Ｒ，Ｂ信号補間処理部２４、Ｇ補正値算出部２６、相関量算出部２８、及び加算器３０から構成される。

該補間処理部１２の機能は、図２（Ａ）に示すベイヤ配列の信号（Ｒｓ，Ｇｓ，Ｂｓ）から、各画素に欠落している信号（ＲまたはＧまたはＢ）を生成することである。例えば、Ｇｓが存在する画素については、ＲとＢを生成する。まず、Ｇ信号補間処理部２２で、ＲまたはＢの位置における欠落したＧ信号を生成する。次に、Ｒ，Ｂ信号補間処理部２４において、全画素のＧ信号と、ＲまたはＢ信号を組み合わせて、欠落したＢまたはＲ信号を得る。

ここで、Ｇ信号補間処理部２２について説明する。該Ｇ信号補間処理部２２は、欠落画素を含むＧｓ信号、相関量算出部２８で算出された相関量、Ｇ補正値算出部２６からのＧ補正値に基づいて、Ｇ信号ＧＬＰＦを出力する。該Ｇ信号補間処理部２２は、ＬＰＦｈ３２、ＬＰＦｖ３４、ＬＰＦａ３６、及び信号選択部３８から構成されている。

以下、図２（Ａ）の３３の位置における欠落したＧ信号Ｇ３３を生成する過程を例として説明する。

ＬＰＦｈ３２、ＬＰＦｖ３４、ＬＰＦａ３６は、それぞれローパスフィルタであり、周辺のＧｓ信号を用いて、欠落したＧ信号を生成する。それぞれ水平方向補間、垂直方向補間、等方的補間であり、以下の（１）式に従って補間Ｇ信号ＧＬＰＦｈ、ＧＬＰＦｖ、ＧＬＰＦａを求める。

信号選択部３８は、相関量算出部２８で得られた相関量Ｄｈ，Ｄｖに基づいて、以下の（２）式に従って、上記Ｇ３３ＬＰＦｈ、Ｇ３３ＬＰＦｖ、Ｇ３３ＬＰＦａの何れかを選択して出力する。この結果、信号の変化が少ない方向に沿って並んだ画素を用いて補間された値が選択される。相関量算出部２８における相関量Ｄｈ，Ｄｖの算出方法は、後述する。

求められたＧ３３ＬＰＦが、次の（３）式のように、図２（Ａ）の３３の位置におけるＧ信号Ｇ３３となる。

Ｇ３３＝Ｇ３３ＬＰＦ …（３）
加算器３０は、次の（４）式のように、信号選択部３８の出力Ｇ３３ＬＰＦとＧ補正値算出部２６の出力であるＧ補正値Ｇ３３ＨＰＦを加算して、広帯域化されたＧ信号Ｇ３３ｃを生成する。

Ｇ３３ｃ＝Ｇ３３ＬＰＦ＋Ｇ３３ＨＰＦ …（４）
この生成されたＧ信号Ｇ３３ｃは、Ｒ，Ｂ信号補間処理部２４に入力される。Ｇ補正値算出部２６によるＧ補正値Ｇ３３ＨＰＦの算出方法は、後述する。

次に、Ｒ，Ｂ信号補間処理部２４について説明する。該Ｒ，Ｂ信号補間処理部２４は、欠落画素を含むＲｓ信号またはＢｓ信号とＧ信号補間処理部２２から得られた全画素分のＧ信号とから、欠落画素のＲ信号またはＢ信号を生成する。該Ｒ，Ｂ信号補間処理部２４は、加算器４０、ＬＰＦ４２及び加算器４４から構成される。

以下、図２（Ａ）の３３の位置における欠落したＢ信号Ｂ３３を生成する過程を例として説明する。

加算器４０では、図２（Ａ）の位置２２、２４、４２、４４の四画素におけるＢ信号とＧｃ信号とから色差信号Ｂｉｊ−Ｇｉｊｃを生成する。

ＬＰＦ４２では、次の（５）式に従って色差信号Ｂｉｊ−Ｇｉｊｃを補間し、位置３３における色差信号を求める。

加算器４４では、上記（Ｂ−Ｇｃ）３３とＧ３３ｃとから、次の（６）式のように、図２（Ａ）の３３の位置における欠落したＢ信号Ｂ３３を生成する。

Ｂ３３＝（Ｂ−Ｇｃ）３３＋Ｇ３３ｃ …（６）
色差信号の生成に際して、広帯域化されたＧ信号Ｇｃを用いているので、偽色の発生が抑制される。

以上の処理により、図２（Ａ）の３３の位置におけるＲ，Ｇ，Ｂ各信号が求められる。

改めて、以上の処理をまとめた式を、（７）式に示す。

同様に、Ｒ，Ｂ信号が欠落している図２（Ａ）の３２の位置におけるＲ，Ｇ，Ｂ各信号は、次の（８）式により求められる。

次に、Ｇ補正値算出部２６について説明する。該Ｇ補正値算出部２６は、ＨＰＦｈ４６、ＨＰＦｖ４８、ＨＰＦａ５０、及び信号選択部５２から構成される。

ＨＰＦｈ４６、ＨＰＦｖ４８、ＨＰＦａ５０は、それぞれハイパスフィルタであり、水平方向、垂直方向、水平垂直方向の高周波成分を抽出し、Ｇ補正信号ＧＨＰＦｈ、ＧＨＰＦｖ、ＧＨＰＦａを求める。算出方法を次の（９）式に示す。

信号選択部５２は、相関量算出部２８で得られた相関量Ｄｈ，Ｄｖに基づいて、次の（１０）式に従って、上記Ｇ３３ＨＰＦｈ、Ｇ３３ＨＰＦｖ、Ｇ３３ＨＰＦａの何れかを選択して出力する。選択された信号がＧ補正信号として、Ｇ信号補間処理部２２に与えられる。

次に、相関量算出部２８について説明する。
相関量算出部２８では、図２（Ａ）の３３の位置における、Ｇ信号の変動量とＲ信号の変動量との類似性を評価する相関量Ｄｈ，Ｄｖを算出する。これら相関量Ｄｈ，Ｄｖの算出式を次の（１１）式に示す。

Ｄｈ＝｜−Ｒ３１＋２×Ｒ３３−Ｒ３５｜＋｜Ｇ３２−Ｇ３４｜
Ｄｖ＝｜−Ｒ１３＋２×Ｒ３３−Ｒ５３｜＋｜Ｇ２３−Ｇ４３｜ …（１１）
以上、Ｂ信号の算出方法を示したが、欠落しているＲ信号の算出については、上記のＢをＲと置き換えた処理により求めることができる。

本発明の特徴は、（７）式において、Ｂ３３を算出する際には、各画素のＧ信号としてＧｉｊｃを用いているのに対して、Ｇ３３を算出する際には、Ｇ３３ＬＰＦを用いていることにある。同様のことが、図３において、ＧｃがＲ，Ｂ信号補間処理部２４に供給されているのに対して、ＧＬＰＦが補間処理部１２のＧ信号出力とされている点に表されている。

Ｇ信号は、次の（１２）式に示すように、輝度信号Ｙに対する寄与が大きい。

Ｙ＝０．２９９００Ｒ＋０．５８７００Ｇ＋０．１１４００Ｂ
Ｃｂ＝−０．１６８７４Ｒ−０．３３１２６Ｇ＋０．５００００Ｂ
Ｃｒ＝０．５００００Ｒ−０．４１８６９Ｇ−０．０８１３１Ｂ …（１２）
このため、補間処理部１２で生じたアーティファクトは、図１のエッジ強調処理部１６において強調され、画質を劣化させる度合いが大きい。そこで、色差信号の生成にかかわるＧ信号のみを広帯域化して偽色の発生を低減させるとともに、輝度信号の生成にかかわるＧ信号にアーティファクトが発生しないようにして、総合的な画質の向上を実現する。

本実施形態では、色差信号の広帯域化に使用する広帯域化したＧ信号（Ｇｃ）を得る方法として、上記（４）式、（９）式に示すように、Ｒ信号またはＢ信号の二次微分値であるＧ補正信号ＧＨＰＦをＧ補間信号ＧＬＰＦに加算する方法を用いているが、広帯域化の方法は、これに限らず、Ｇｓ信号を高次多項式で補間するなど、他の公知の技術が利用可能である。

また、相関量Ｄを求める方法についても、上記の式によるものに限らず、Ｒｓ信号とＧｓ信号の変動量の違い、もしくは、Ｂｓ信号とＧｓ信号の変動量の違いを評価するものであれば、他の方法が利用できる。

［第２実施形態］
図４は、本発明の第２実施形態に係る画像処理装置における補間処理部１２の構成を示すブロック図である。

本第２実施形態における補間処理部１２は、上記第１実施形態におけるその構成に、相関量判定部５４，５６、信号選択部５８，６０が付け加えられているもので、相関量算出部２８において求められた相関量Ｄｈ，Ｄｖに応じて、広帯域化したＧ信号（Ｇｃ）とそうでないＧ信号（ＧＬＰＦ）とを切り替えて用いることに特徴がある。

即ち、信号選択部５８は、相関量判定部５４から与えられた選択信号に従って、Ｒ，Ｂ信号補間処理部２４に与えるＧ信号を、Ｇ信号補間処理部２２から出力された広帯域化したＧ信号（Ｇｃ）とそうでないＧ信号（ＧＬＰＦ）とから選択して出力する。

相関量判定部５４は、相関量算出部２８から与えられた相関量Ｄｈ，Ｄｖに基づいて、信号選択部５８に与える選択信号を出力する。この選択信号は、以下のようにして決定される。まず、次の（１３）式に示すように、相関量算出部２８から与えられた相関量Ｄｈ，Ｄｖのうち小さい方を選択する。

Ｄ＝ｍｉｎ（Ｄｈ，Ｄｖ） …（１３）
求めた相関量Ｄと閾値ＴＲとを比較し、次の（１４）式に従って、相関量Ｄが閾値ＴＲより小さいとき広帯域化したＧ信号Ｇｃを選択し、そうでないとき広帯域化しないＧ信号ＧＬＰＦを選択する信号を出力する。

なおここで、Ｇｄは、Ｒ，Ｂ信号補間処理部２４に与えるＧ信号を示している。

相関量判定部５６及び信号選択部６０は、上記相関量判定部５４及び信号選択部６０と同じ構成であるが、選択したＧ信号を補間処理部１２の出力Ｇ信号とする点が異なる。また、選択信号を生成するために相関量Ｄと比較される閾値ＴＧが、相関量判定部５４で用いられる閾値ＴＲと異なる値をとり、次の（１５）式の関係になっている。なお、これらの閾値ＴＲ，ＴＧは、予めパラメータとして与えられている。

ここで、Ｇｇは、補間処理部１２の出力となるＧ信号を示している。

以上のように、本第２実施形態では、相関量Ｄが小さい領域、つまり、Ｒ信号とＧ信号が類似している領域、もしくは、Ｂ信号とＧ信号が類似している領域では、補間処理部１２から出力されるＧ信号も広帯域化されるため、偽色の低減のみならず、解像感も向上させることができる。

［第３実施形態］
図５は、本発明の第３実施形態に係る画像処理装置における補間処理部１２の構成を示すブロック図である。

本第３実施形態における補間処理部１２は、上記第１実施形態におけるその構成に、色差用補正係数算出部６２、輝度用補正係数算出部６４、積算器６６，６８、加算器７０が付け加えられており、Ｇ補正値算出部２６の出力であるＧ補正値ＧＨＰＦに対して、相関量算出部２８において求められた相関量Ｄｈ，Ｄｖに応じた補正係数がかけられてから、Ｇ信号補間処理部２２の出力であるＧ補間値ＧＬＰＦに加算されている点が異なる。

即ち、色差用補正係数算出部６２、輝度用補正係数算出部６４は、相関量Ｄｈ，Ｄｖに基づいて、色差用補正係数ＫＲ、輝度用補正係数ＫＧをそれぞれ出力する。この場合、相関量算出部２８から与えられた相関量Ｄｈ，Ｄｖのうち小さい方を選択するもので、求めた相関量Ｄから次の（１６）式に従って、色差用補正係数ＫＲ、輝度用補正係数ＫＧをそれぞれ求める。

Ｄ＝ｍｉｎ（Ｄｈ，Ｄｖ）
ＫＲ＝ｆ（Ｄ）
ＫＧ＝ｇ（Ｄ） …（１６）
相関量Ｄと色差用補正係数ＫＲ、輝度用補正係数ＫＧの関数ｆ，ｇの例を図６に示す。同じ相関量Ｄに対して、色差用補正係数ＫＲが輝度用補正係数ＫＧよりも大きくなっているのが特徴である。色差用補正係数算出部６２で算出された色差用補正係数ＫＲは積算器６６へ、輝度用補正係数算出部６４で算出された輝度用補正係数ＫＧは積算器６８へ、それぞれ出力される。

積算器６６は、Ｇ補正値算出部２６の出力であるＧ補正値ＧＨＰＦと色差用補正係数ＫＲをかけて、加算器３０へ出力する。また、積算器６８は、Ｇ補正値算出部２６の出力であるＧ補正値ＧＨＰＦと輝度用補正係数ＫＧをかけて、加算器７０へ出力する。

加算器３０は、次の（１７）式に示すように、Ｇ信号補間処理部２２の出力であるＧ補間値ＧＬＰＦに積算器６６の出力であるＧ補正値ＫＲ×ＧＨＰＦを加えて、Ｒ，Ｂ信号補間処理部２４へ出力する。

Ｇ３３ｄ＝Ｇ３３ＬＰＦ＋ＫＲ×Ｇ３３ＨＰＦ …（１７）
また、加算器７０は、次の（１８）式に示すように、Ｇ信号補間処理部２２の出力であるＧ補間値ＧＬＰＦに積算器６８の出力であるＧ補正値ＫＧ×ＧＨＰＦを加えて、補間処理部１２のＧ出力信号として出力する。

Ｇ３３ｇ＝Ｇ３３ＬＰＦ＋ＫＧ×Ｇ３３ＨＰＦ …（１８）
以上のように、本第３実施形態では、Ｇ補間値ＧＬＰＦに加えるＧ補正値を、相関量Ｄに応じて変えていることにより、偽色の低減と解像感の向上を両立することができる。つまり、Ｒ信号とＧ信号が類似しているほど、もしくは、Ｂ信号とＧ信号が類似しているほど、Ｇ補間値ＧＬＰＦに加えるＧ補正値が大きくなり、Ｒ，Ｂ信号補間処理部２４に与えるＧ信号Ｇｄや補間処理部１２から出力されるＧ信号Ｇｇが広帯域化される。また、その際、Ｒ，Ｂ信号補間処理部２４に与えるＧ信号Ｇｄに加えるＧ補正をより大きくすることによって、偽色の低減効果と解像感の向上を両立している。

［第４実施形態］
本発明の第４実施形態に係る画像処理装置における補間処理部１２の構成は、図５に示した第３実施形態のそれと同様である。但し、本実施形態では、相関量算出部２８、Ｇ補正値算出部２６及び色差用補正係数算出部６２の構成が、上記第３実施形態とは異なっている。

図７は、本第４実施形態における相関量算出部２８の構成を示すブロック図である。該相関量算出部２８は、Ｄｈ算出部７２、Ｄｖ算出部７４、Ｄ４５算出部７６及びＤ１３５算出部７８から構成されている。即ち、特に図示はしていなかったが、上記第１乃至第３実施形態における相関量算出部２８は、Ｄｈ算出部７２及びＤｖ算出部７４を備えており、本第４実施形態にいては、更に、斜め方向（４５°、１３５°）の相関量Ｄ４５とＤ１３５を算出するためのＤ４５算出部７６及びＤ１３５算出部７８が付加されている。このため、相関量Ｄｈ，Ｄｖの算出式も上記（１１）式とは異なる。これら相関量Ｄｈ，Ｄｖ，Ｄ４５，Ｄ１３５の算出式は、次の（１９）式の通りである。

図８は、本第４実施形態におけるＧ補正値算出部２６の構成を示すブロック図である。本実施形態におけるＧ補正値算出部２６は、ＨＰＦｈ４６、ＨＰＦｖ４８、信号選択部５２、ＨＰＦ４５ ８０、ＨＰＦ１３５ ８２、及び最小値算出部８４から構成される。即ち、斜め方向（４５°、１３５°）のＧ補正量ＧＨＰＦ４５、ＧＨＰＦ１３５を算出するためのＨＰＦ４５ ８０及びＨＰＦ１３５ ８２が付加されている。補正量ＧＨＰＦｈ、ＧＨＰＦｖ、ＧＨＰＦ４５、ＧＨＰＦ１３５の算出式を次の（２０）式に示す。

最小値算出部８４は、次の（２１）式に示すように、相関量算出部２８から与えられた相関量Ｄｈ，Ｄｖ，Ｄ４５，Ｄ１３５のうち最小のものを出力する。

Ｄ＝ｍｉｎ（Ｄｈ，Ｄｖ，Ｄ４５，Ｄ１３５） …（２１）
信号選択部５２は、次の（２２）式に示すように、最小値算出部８４の出力に従ってＧ補正信号Ｇ３３ＨＰＦを選択して出力する。

図９は、本第４実施形態における色差用補正係数算出部６２の構成を示すブロック図である。該色差用補正係数算出部６２は、最小値算出部８６、斜め補正係数算出部８８、縦横補正係数算出部９０及び信号選択部９２から構成されている。即ち、本実施形態では、斜め方向（４５°、１３５°）と水平・垂直方向とで補正係数ＫＲの算出方法が異なるようにしている。

最小値算出部８６は、以下の（２３）式に示すように、相関量算出部２８から与えられた相関量Ｄｈ，Ｄｖ，Ｄ４５，Ｄ１３５のうち最小のものを出力する。また、相関量Ｄの最小値が斜め方向であったのか、水平・垂直方向であったのかを示す信号ｈｖ／ｓを信号選択部９２に出力する。

Ｄ＝ｍｉｎ（Ｄｈ，Ｄｖ，Ｄ４５，Ｄ１３５） …（２３）
斜め補正係数算出部８８と縦横補正係数算出部９０は、最小値算出部８６から与えられた相関量Ｄに従って、次の（２４）式により色差用斜め補正係数ＫＲｓと色差用縦横補正係数ＫＲｈｖをそれぞれ求める。

ＫＲｓ＝ｈ（Ｄ）
ＫＲｈｖ＝ｆ（Ｄ） …（２４）
相関量Ｄと色差用斜め補正係数ＫＲｓ、色差用縦横補正係数ＫＲｈｖの関数ｈ，ｆの例を図１０に示す。同じ相関量Ｄに対して、色差用斜め補正係数ＫＲｓが色差用縦横補正係数ＫＲｈｖよりも大きくなっているのが特徴である。

信号選択部９２は、最小値算出部８６から与えられた、相関量Ｄの最小値が斜め方向であったのか、水平・垂直方向であったのかを示す信号ｈｖ／ｓに従って、次の（２５）式に示すように、これら色差用斜め補正係数ＫＲｓと色差用縦横補正係数ＫＲｈｖを選択して、色差用補正係数ＫＲとして出力する。

以上の処理により求められた色差用補正係数ＫＲを用いて、加算器３０は、Ｒ，Ｂ信号補間処理部２４へ与えるＧ信号Ｇｄを、次の（２６）式により算出することになる。

Ｇ３３ｄ＝Ｇ３３ＬＰＦ＋ＫＲ×Ｇ３３ＨＰＦ …（２６）
以上のように、本第４実施形態によれば、斜め方向の相関量Ｄが小さい場合には、色差用補正係数ＫＲによってＧＬＰＦに加えられるＧ補正信号が大きくなるため、斜め方向に対する帯域改善効果が強くなるように働く。ベイヤ配列では、斜め方向のナイキスト周波数が、Ｒ，Ｇ，Ｂともに同じになっており、水平・垂直方向の場合よりも低い周波数において偽色が発生してしまう。そこで、斜め方向に対して、色信号間の相関を用いた帯域改善効果を高めることによって偽色の低減効果を高め、一方、水平・垂直方向に対しては、帯域改善効果を弱めることによって、アーティファクトの発生を防止する。

［第５実施形態］
図１１は、本発明の第５実施形態に係る画像処理装置における補間処理部１２の構成を示すブロック図である。本実施形態においては、該補間処理部１２は、相関量算出部２８、Ｇ信号生成部９４、及びＲ，Ｂ信号生成部９６によって構成される。

Ｇ信号生成部９４は、上記第３実施形態における構成のうち、Ｇ信号を生成する部分と同一のものである。

Ｒ，Ｂ信号生成部９６は、Ｇ信号生成部９４のＧとＺ（Ｚは、ＲまたはＢ）とを入れ替えた構成になっている。即ち、Ｒ，Ｂ信号補間処理部２４、Ｒ，Ｂ補正値算出部９８、Ｒ，Ｂ用補正係数算出部１００、積算器１０２及び加算器１０４から構成されている。

図２（Ａ）の３３の位置におけるＧ３３とＢ３３は、次の（２７）式により求められる。

Ｇ３３＝Ｇ３３ＬＰＦ＋ＫＧ×Ｇ３３ＨＰＦ
Ｂ３３＝Ｂ３３ＬＰＦ＋ＫＲ×Ｂ３３ＨＰＦ …（２７）
Ｒ，Ｂ用補正係数ＫＲと輝度用補正係数ＫＧの関係は、図６に示すように、同じ相関量Ｄに対してＫＲ＞ＫＧとなっている。

以上のように、本第５実施形態によれば、Ｒ，Ｂ信号に対して、色信号間の相関を用いた帯域改善効果を高めることによって、偽色の低減効果を高めることができる。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、上記実施形態の機能を実現するソフトウェアのプログラムをコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、上記機能を実現することも可能である。

（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。

（１） 各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて１つ以上欠落している映像信号を処理する画像処理装置であって、
上記各画素の欠落している色信号を補間する補間手段と、
上記補間手段での補間の際に、上記各色信号毎に、上記各色信号の周波数特性を改善する、少なくとも１つの周波数特性改善手段と、
上記周波数特性改善手段による上記各色信号に対する改善量を、上記各色信号毎に異なるように制御する改善量制御手段と、
を具備することを特徴とする画像処理装置。

（対応する実施形態）
この（１）に記載の画像処理装置に関する実施形態は、第１乃至第５実施形態が対応する。それらの実施形態において、Ｇ信号補間処理部２２、Ｒ，Ｂ信号補間処理部２４が上記補間手段に、加算器３０、７０が上記周波数特性改善手段に、Ｇ補正値算出部２６、相関量算出部２８、色差用補正係数算出部６２、輝度用補正係数算出部６４、積算器６６，６８が改善量制御手段に、それぞれ対応する。

（作用効果）
この（１）に記載の画像処理装置によれば、周波数特性改善手段による各色信号に対する改善量を各色信号毎に異なるように制御する、例えば、Ｇ信号を生成するときの周波数特性改善量ＫＧとＲ，Ｂ信号を生成するときの周波数特性改善量ＫＲとを異ならせることで、Ｒ，Ｇ，Ｂ信号それぞれの画質に対する影響の仕方に合わせた周波数特性の改善を行うことができる。

（２） 上記改善量制御手段は、輝度信号成分に対する寄与が大きい色信号に対する上記改善量を、その他の色信号に対する上記改善量よりも少なくするように制御することを特徴とする（１）に記載の画像処理装置。

（対応する実施形態）
この（２）に記載の画像処理装置に関する実施形態は、第１乃至第５実施形態が対応する。

（作用効果）
この（２）に記載の画像処理装置によれば、輝度信号成分に対する寄与が小さい色信号の周波数特性改善量が大きくなっているので、偽色低減効果が大きくなる。また、輝度信号成分に対する寄与が大きい色信号の周波数特性改善量が比較的小さくなっているので、アーティファクトが目立たない効果がある。

（３） 上記改善量制御手段は、各色信号の局所的な変動の類似性を表す相関量を求める相関量算出手段を備えることを特徴とする（１）または（２）に記載の画像処理装置。

（対応する実施形態）
この（３）に記載の画像処理装置に関する実施形態は、第２乃至第５実施形態が対応する。それらの実施形態において、相関量算出部２８が上記相関量算出手段に対応する。

（作用効果）
この（３）に記載の画像処理装置によれば、各信号の変化が色信号間で類似している場合は、周波数特性改善量が大きくなるので、偽色低減効果や解像感の改善効果が大きくなる。一方、各信号の変化が色信号間で類似していない場合には、アーティファクトが目立たない効果がある。

（４） 上記相関量算出手段は、複数の方向に対する相関量を算出する方向別相関量算出手段を有することを特徴とする（３）に記載の画像処理装置。

（対応する実施形態）
この（４）に記載の画像処理装置に関する実施形態は、第４実施形態が対応する。その実施形態において、Ｄｈ算出部７２、Ｄｖ算出部７４、Ｄ４５算出部７６、Ｄ１３５算出部７８が上記方向別相関量算出手段に対応する。

（作用効果）
この（４）に記載の画像処理装置によれば、斜め方向の周波数特性改善量が大きくなるので、斜め方向の偽色低減効果を高くできる。特に、ベイヤ配列の場合に効果が大きい。

（５） 上記周波数特性改善手段は、周波数特性を改善する対象である色信号以外の色信号から、周波数特性補正信号を求める周波数特性補正信号算出手段を備えることを特徴とする（１）乃至（４）の何れかに記載の画像処理装置。

（対応する実施形態）
この（５）に記載の画像処理装置に関する実施形態は、第１乃至第５実施形態が対応する。それらの実施形態において、Ｇ補正値算出部２６が上記周波数特性補正信号算出手段に対応する。

（作用効果）
この（５）に記載の画像処理装置によれば、周波数特性を改善する対象である色信号以外の色信号から周波数特性補正信号を求める、例えば、Ｇ信号の周波数特性を改善するための補正値ＫＧ×ＧＨＰＦを、Ｒ信号またはＢ信号から得ているため、Ｇ信号のサンプリングに応じた周波数特性よりも良い周波数特性が得られる。

（６） 上記画素位置に応じて１つ以上欠落している映像信号が、Ｒ信号、Ｇ信号、Ｂ信号からなるベイヤ配列映像信号であることを特徴とする（１）乃至（５）の何れかに記載の画像処理装置。

（対応する実施形態）
この（６）に記載の画像処理装置に関する実施形態は、第１乃至第５実施形態が対応する。

（作用効果）
Ｒ，Ｇ，Ｂベイヤ配列画像では、Ｇ信号が輝度信号成分に寄与する割合が大きい。このため、この（６）に記載の画像処理装置は、Ｒ，Ｂ信号に対する周波数特性改善量を大きくして、偽色低減効果を高めるとともに、Ｇ信号に対する周波数特性改善量を小さくして、アーティファクトが目立たないようにする。

また、ベイヤ配列では、斜め方向におけるサンプリング間隔が、Ｇ信号とＲ，Ｂ信号とで同じであるため、斜め方向の信号変化の類似性が高い場合は、Ｇ信号とＲ信号もしくは、Ｇ信号とＢ信号を組み合わせるせることにより、大きな偽色低減効果が得られる。

（７） 各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて１つ以上欠落している映像信号を処理する画像処理方法であって、
上記各画素の欠落している色信号を補間する際に、上記各色信号に対する改善量を、上記各色信号毎に異なるように制御して、上記各色信号毎に、上記各色信号の周波数特性を改善することを特徴とする画像処理方法。

（対応する実施形態）
この（７）に記載の画像処理方法に関する実施形態は、第１乃至第５実施形態が対応する。

（作用効果）
この（７）に記載の画像処理方法によれば、各色信号に対する改善量を各色信号毎に異なるように制御する、例えばＧ信号を生成するときの周波数特性改善量ＫＧとＲ，Ｂ信号を生成するときの周波数特性改善量ＫＲとを異ならせることで、Ｒ，Ｇ，Ｂ信号それぞれの画質に対する影響の仕方に合わせた周波数特性の改善を行うことができる。

（８） コンピュータに、各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて１つ以上欠落している映像信号を処理させる画像処理プログラムであって、
コンピュータを、
上記各画素の欠落している色信号を補間する補間手段、
上記補間手段での補間の際に、上記各色信号毎に、上記各色信号の周波数特性を改善する、少なくとも１つの周波数特性改善手段、
上記周波数特性改善手段による上記各色信号に対する改善量を、上記各色信号毎に異なるように制御する改善量制御手段、
として機能させるための画像処理プログラム。

（対応する実施形態）
この（８）に記載の画像処理プログラムに関する実施形態は、第１乃至第５実施形態が対応する。

（作用効果）
この（８）に記載の画像処理プログラムによれば、各色信号に対する改善量を各色信号毎に異なるように制御する、例えばＧ信号を生成するときの周波数特性改善量ＫＧとＲ，Ｂ信号を生成するときの周波数特性改善量ＫＲとを異ならせることで、Ｒ，Ｇ，Ｂ信号それぞれの画質に対する影響の仕方に合わせた周波数特性の改善を行うことができる。

図１は、本発明の第１実施形態に係る画像処理装置の全体構成を示す機能ブロック図である。 図２（Ａ）はベイヤ配列の色フィルタを説明するための図であり、図２（Ｂ）は補間したＲ信号、Ｇ信号、Ｂ信号を説明するための図である。 図３は、第１実施形態における補間処理部の構成を示すブロック図である。 図４は、本発明の第２実施形態に係る画像処理装置における補間処理部の構成を示すブロック図である。 図５は、本発明の第３実施形態に係る画像処理装置における補間処理部の構成を示すブロック図である。 図６は、相関量Ｄと色差用補正係数ＫＲ、輝度用補正係数ＫＧの関数ｆ，ｇの例を示す図である。 図７は、本発明の第４実施形態に係る画像処理装置における補間処理部の相関量算出部の構成を示すブロック図である。 図８は、第４実施形態に係る画像処理装置における補間処理部のＧ補正値算出部の構成を示すブロック図である。 図９は、第４実施形態に係る画像処理装置における補間処理部の色差用補正係数算出部の構成を示すブロック図である。 図１０は、相関量Ｄと色差用斜め補正係数ＫＲｓ、色差用縦横補正係数ＫＲｈｖの関数ｈ，ｆの例を示す図である。 図１１は、本発明の第５実施形態に係る画像処理装置における補間処理部の構成を示すブロック図である。

符号の説明

１０…撮像部、 １２…補間処理部、 １４…輝度色差生成部、 １６…エッジ強調処理部、 １８…色変換部、 ２０…記録部、 ２２…Ｇ信号補間処理部、 ２４…Ｒ，Ｂ信号補間処理部、 ２６…Ｇ補正値算出部、 ２８…相関量算出部、 ３０，４０，４４，７０，１０４…加算器、 ３２…ＬＰＦｈ、 ３４…ＬＰＦｖ、 ３６…ＬＰＦａ、 ３８，５２，５８，６０，９２…信号選択部、 ４２…ＬＰＦ、 ４６…ＨＰＦｈ、 ４８…ＨＰＦｖ、 ５０…ＨＰＦａ、 ５４，５６…相関量判定部、 ６２…色差用補正係数算出部、 ６４…輝度用補正係数算出部、 ６６，６８，１０２…積算器、 ７２…Ｄｈ算出部、 ７４…Ｄｖ算出部、 ７６…Ｄ４５算出部、 ７８…Ｄ１３５算出部、 ８０…ＨＰＦ４５、 ８２…ＨＰＦ１３５、 ８４，８６…最小値算出部、 ８８…斜め補正係数算出部、 ９０…縦横補正係数算出部、 ９４…Ｇ信号生成部、 ９６…Ｂ信号生成部、 ９８…Ｒ，Ｂ補正値算出部、 １００…Ｒ，Ｂ用補正係数算出部。

Claims (8)

1. 各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて１つ以上欠落している映像信号を処理する画像処理装置であって、
   上記各画素の欠落している色信号を補間する補間手段と、
   上記補間手段での補間の際に、上記各色信号毎に、上記各色信号の周波数特性を改善する、少なくとも１つの周波数特性改善手段と、
   上記周波数特性改善手段による上記各色信号に対する改善量を、上記各色信号毎に異なるように制御する改善量制御手段と、
   を具備することを特徴とする画像処理装置。
2. 上記改善量制御手段は、輝度信号成分に対する寄与が大きい色信号に対する上記改善量を、その他の色信号に対する上記改善量よりも少なくするように制御することを特徴とする請求項１に記載の画像処理装置。
3. 上記改善量制御手段は、各色信号の局所的な変動の類似性を表す相関量を求める相関量算出手段を備えることを特徴とする請求項１又は２に記載の画像処理装置。
4. 上記相関量算出手段は、複数の方向に対する相関量を算出する方向別相関量算出手段を有することを特徴とする請求項３に記載の画像処理装置。
5. 上記周波数特性改善手段は、周波数特性を改善する対象である色信号以外の色信号から、周波数特性補正信号を求める周波数特性補正信号算出手段を備えることを特徴とする請求項１乃至４の何れかに記載の画像処理装置。
6. 上記画素位置に応じて１つ以上欠落している映像信号が、Ｒ信号、Ｇ信号、Ｂ信号からなるベイヤ配列映像信号であることを特徴とする請求項１乃至５の何れかに記載の画像処理装置。
7. 各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて１つ以上欠落している映像信号を処理する画像処理方法であって、
   上記各画素の欠落している色信号を補間する際に、上記各色信号に対する改善量を、上記各色信号毎に異なるように制御して、上記各色信号毎に、上記各色信号の周波数特性を改善することを特徴とする画像処理方法。
8. コンピュータに、各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて１つ以上欠落している映像信号を処理させる画像処理プログラムであって、
   コンピュータを、
   上記各画素の欠落している色信号を補間する補間手段、
   上記補間手段での補間の際に、上記各色信号毎に、上記各色信号の周波数特性を改善する、少なくとも１つの周波数特性改善手段、
   上記周波数特性改善手段による上記各色信号に対する改善量を、上記各色信号毎に異なるように制御する改善量制御手段、
   として機能させるための画像処理プログラム。

Images