JP2009005166A - 色補間装置及び画像処理システム - Google Patents

Abstract

【課題】画像の急峻なエッジ部分で発生する不均一を解消するとともに、解像感の保たれた画像を得ること。
【解決手段】
欠落する色成分を有する画素を含んで構成されたカラー画像信号に対して第１の補間処理と第２の補間処理をそれぞれ行うことで第１補間画像信号と第２補間画像信号とを生成する補間処理部と、第１の補間処理の対象となる特定領域を特定するための評価値を画素毎に算出する評価値算出部と、評価値に基づいて特定領域を決定する領域決定部と、第１補間画像信号から特定領域の画像信号を抽出するとともに、第２補間画像信号から特定領域以外の領域の画像信号を抽出し、抽出した画像信号を合成することで補間後のカラー画像信号を作成する補間処理決定部とを具備する色補間装置を提供する。
【選択図】 図２

Description

本発明は、例えば、デジタルカメラ、動画カメラなど、デジタル変換された画像を表示、入出力する装置に適応可能な画像処理システムに関し、特に、欠落する色成分を有する画素を含んで構成されたカラー画像信号に対して欠落する色成分を補間することで補間後のカラー画像信号を生成する色補間装置に関するものである。

デジタルカメラ等に使用される単板式の撮像素子から出力される画像信号は、各画素について１つの色成分の情報しか持っていない。従って、カラーデジタル画像を生成するためには、各画素において欠落している色成分を補う補間処理を行うことが必要となる。このような欠落している色成分を補う補間処理が必要となるのは、二板撮像素子や三板画素ずらし撮像素子を用いた装置の場合にも同様である。

ところで、画像全体に画一的な補間処理を行うと、画像のエッジ部分等に偽色が生じる等の問題が生ずる。こうした問題に対して、周辺画素の輝度情報に基づいて適応的に補間用フィルタのフィルタ係数を変更して画像のエッジ付近に発生する偽色を抑制する技術が提案されている（例えば、特許文献１参照。）。

また、例えば、図３に示されるようにナイキスト周波数付近でレスポンスが急峻に減衰されるような周波数特性をもつフィルタ係数を用いて補間処理を行うことにより、モアレを防ぎ画像の直線部分における解像度を保つ技術が提案されている（例えば、特許文献２参照。）
特開２０００−２３１７４号公報 特開２００６−１３５５８号公報

しかしながら、上述したようなナイキスト周波数付近でレスポンスが急峻に減衰するような周波数特性を持つフィルタ係数を用いて画像全体に画一的に補間処理を行うと、急峻なエッジ部分で部分的にエッジが強調され過ぎて不均一に見えてしまうという問題があった。

本発明は、上記問題を解決するためになされたもので、画像の急峻なエッジ部分で発生する不均一を解消するとともに、解像感の保たれた画像を得ることのできる色補間装置及び画像処理システムを提供することを目的とする。

上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、欠落する色成分を有する画素を含んで構成されたカラー画像信号に対して前記欠落する色成分を補間することで補間後のカラー画像信号を生成する色補間装置であって、前記カラー画像信号に対して、第１の補間処理と第２の補間処理をそれぞれ行うことで第１補間画像信号と第２補間画像信号とを生成する補間処理手段と、前記第１の補間処理の対象となる特定領域を特定するための評価値を画素毎に算出する評価値算出手段と、前記評価値に基づいて前記特定領域を決定する領域決定手段と、前記第１補間画像信号から前記特定領域の画像信号を抽出するとともに、前記第２補間画像信号から前記特定領域以外の領域の画像信号を抽出し、抽出した画像信号を合成することで前記補間後のカラー画像信号を作成する補間処理決定手段とを具備する色補間装置を提供する。

本発明は、欠落する色成分を有する画素を含んで構成されたカラー画像信号に対して前記欠落する色成分を補間することで補間後のカラー画像信号を生成する色補間装置であって、前記カラー画像信号から特定領域を特定するための評価値を画素毎に算出する評価値算出手段と、前記評価値に基づいて特定領域を決定する領域決定手段と、前記特定領域に採用する第１の補間処理を選択するとともに、前記特定領域以外の領域に採用する第２の補間処理を選択する補間処理決定手段と、前記カラー画像信号の前記特定領域に対して前記第１の補間処理を行うとともに、前記特定領域以外の領域に対して前記第２の補間処理を行うことで前記補間後のカラー画像信号を作成する補間処理手段とを具備する色補間装置を提供する。

本発明は、欠落する色成分を有する画素を含んで構成されたカラー画像信号に対して前記欠落する色成分を補間することで補間後のカラー画像信号を生成する色補間方法であって、前記カラー画像信号に対して、第１の補間処理と第２の補間処理をそれぞれ行うことで第１補間画像信号と第２補間画像信号とを生成する補間処理工程と、前記第１の補間処理の対象となる特定領域を特定するための評価値を画素毎に算出する評価値算出工程と、前記評価値に基づいて前記特定領域を決定する領域決定工程と、前記第１補間画像信号から前記特定領域の画像信号を抽出するとともに、前記第２補間画像信号から前記特定領域以外の領域の画像信号を抽出し、抽出した画像信号を合成することで前記補間後のカラー画像信号を作成する補間処理決定工程とを含む色補間方法を提供する。

本発明は、欠落する色成分を有する画素を含んで構成されたカラー画像信号に対して前記欠落する色成分を補間することで補間後のカラー画像信号を生成する色補間方法であって、前記カラー画像信号から特定領域を特定するための評価値を画素毎に算出する評価値算出工程と、前記評価値に基づいて特定領域を決定する領域決定工程と、前記特定領域に採用する第１の補間処理を選択するとともに、前記特定領域以外の領域に採用する第２の補間処理を選択する補間処理決定工程と、前記カラー画像信号の前記特定領域に対して前記第１の補間処理を行うとともに、前記特定領域以外の領域に対して前記第２の補間処理を行うことで前記補間後のカラー画像信号を作成する補間処理工程とを含む色補間方法を提供する。

本発明は、欠落する色成分を有する画素を含んで構成されたカラー画像信号に対して前記欠落する色成分を補間することで補間後のカラー画像信号を生成するための色補間プログラムであって、前記カラー画像信号に対して、第１の補間処理と第２の補間処理をそれぞれ行うことで第１補間画像信号と第２補間画像信号とを生成する補間処理ステップと、前記第１の補間処理の対象となる特定領域を特定するための評価値を画素毎に算出する評価値算出ステップと、前記評価値に基づいて前記特定領域を決定する領域決定ステップと、前記第１補間画像信号から前記特定領域の画像信号を抽出するとともに、前記第２補間画像信号から前記特定領域以外の領域の画像信号を抽出し、抽出した画像信号を合成することで前記補間後のカラー画像信号を作成する補間処理決定ステップとをコンピュータに実行させる色補間プログラムを提供する。

本発明は、欠落する色成分を有する画素を含んで構成されたカラー画像信号に対して前記欠落する色成分を補間することで補間後のカラー画像信号を生成するための色補間プログラムであって、前記カラー画像信号から特定領域を特定するための評価値を画素毎に算出する評価値算出ステップと、前記評価値に基づいて特定領域を決定する領域決定ステップと、前記特定領域に採用する第１の補間処理を選択するとともに、前記特定領域以外の領域に採用する第２の補間処理を選択する補間処理決定ステップと、前記カラー画像信号の前記特定領域に対して前記第１の補間処理を行うとともに、前記特定領域以外の領域に対して前記第２の補間処理を行うことで前記補間後のカラー画像信号を作成する補間処理ステップとをコンピュータに実行させる色補間プログラムを提供する。

例えば、急峻なエッジ部分で発生する不均一さを解消するために、画像全体に従来よりも緩やかな周波数特性を有するフィルタ係数で補間処理を実施することが考えられる。しかしながら、この場合には、上記不均一さは解消されるものの直線部分における解像度（解像感）が低下するという違う問題が発生してしまう。
本発明では、上記不均一さが発生すると推定される領域とそれ以外の領域とで異なる補間処理を行うので、不均一さを解消しながらもその他の領域においては解像感を保つことが可能となる。

本発明によれば、急峻なエッジ部分に生ずる不均一さを解消するとともに、解像感の保たれた画像を得ることができるという効果を奏する。

以下に、本発明に係る色補間装置および画像処理システムの実施形態について、図面を参照して説明する。

〔第１の実施形態〕
以下の各実施形態においては、画像処理システムとしてデジタルカメラを一例に挙げて説明する。また、本発明の色補間装置については、デジタルカメラに内蔵されて補間処理を実行する色補間部として機能する。
図１は、本発明の第１の実施形態に係るデジタルカメラの概略構成を示したブロック図である。
図１に示されるように、本実施形態に係るデジタルカメラ１は、撮像装置２と画像処理装置３とを備えている。撮像装置２は、レンズ１１、固体撮像素子１２、及び撮像信号処理部１３等を備えて構成されている。また、画像処理装置３は、Ａ／Ｄ変換部２１、第１信号処理部２２、色補間部（色補間装置）２３、第２信号処理部２４、圧縮部２５、表示部２６、及び記録メディア２７等を備えて構成されている。記録メディア２７は、デジタルカメラ１本体に対して着脱可能とされている。

固体撮像素子１２は、例えば、ＣＣＤ、ＳＭＯＳ等の撮像素子であり、単板式のＲＧＢベイヤ配列の色フィルタ（図示略）が装着されている。ＲＧＢベイヤ配列は、Ｇ（緑色）のフィルタが市松状に配置されており、Ｒ（赤色）フィルタとＢ（青色）フィルタがラインごとに交互に配置される構成である。したがって、固体撮像素子１２から出力される画像信号は、１画素につきＲ（赤色）成分、Ｇ（緑色）成分、Ｂ（青色）成分のいずれか１色の画素値を持った信号となる。
そして、このような画像信号が、例えば、Ｇ，Ｒ，Ｇ，Ｒ…或いはＢ，Ｇ，Ｂ，Ｇといった色の順で撮像信号処理部１３に入力される。なお、以下の説明において、このような画像信号をベイヤ配列の画像信号という。

撮像信号処理部１３は、ベイヤ配列の画像信号に対してＣＤＳ（Correlated Double Sampling）／差動サンプリング、並びにアナログゲインの調整等の処理を行い、処理後のベイヤ配列の画像信号を画像処理装置３に出力する。

画像処理装置３において、Ａ／Ｄ変換部２１は、ベイヤ配列の画像信号をデジタル信号に変換して出力する。第１信号処理部２２は、ベイヤ配列の画像信号に対してホワイトバランス等の処理を行って出力する。色補間部２３は、本発明の特徴部分であり、ベイヤ配列の画像信号に対して後述する補間処理を行うことにより、各画素にＲ，Ｇ，Ｂの色情報を持たせたカラー画像信号を生成し、このカラー画像信号を出力する。第２信号処理部２４は、色補間部２３からのカラー画像信号に対して色補正処理やγ補正処理等を行い、処理後のカラー画像信号を表示部２６及び圧縮部２５を介して記録メディア２７に出力する。

次に、本実施形態に係るデジタルカメラ１の作用について簡単に説明する。なお、以下に記載する各部の処理は、図示しないシステムコントローラの制御に従って、各処理部が作動することにより実行される。

まず、デジタルカメラ本体に設けられたシャッタボタン（図示略）がユーザにより押下されると、レンズ１１を介して結像された光学像が固体撮像素子１２おいて光電変換され、ベイヤ配列の画像信号が生成される。このベイヤ配列の画像信号は、撮像信号処理部１３においてＣＤＳ（Correlated Double Sampling）／差動サンプリング、並びにアナログゲインの調整等の処理が行われた後、画像処理装置３内のＡ／Ｄ変換部２１でデジタル信号に変換され、第１信号処理部３２によってホワイトバランス等の所定の画像処理が行われる。第１信号処理部２２から出力されたベイヤ配列の画像信号は、色補間部２３において各画素がＲＧＢの３つの色情報を有するカラー画像信号とされる。カラー画像信号は、第２信号処理部２４において色補正処理やγ補正処理等が施され、処理後のカラー画像信号が表示部２６に表示されるとともに圧縮部２５を介して記録メディア２７に保存される。

次に、上記色補間部２３の詳細について図を参照して説明する。
図２は本実施形態に係る色補正部２３の機能ブロック図である。図２に示されるように、色補間部２３は、補間処理部（補間処理手段）４１、評価値算出部（評価値算出手段）４２、領域決定部（領域決定手段）４３、補間処理決定部（補間処理決定手段）４４、及び閾値入力部４５を備えて構成されている。また、補間処理部４１は、第１信号補間部（第１信号補間手段）４１ａと第２信号補間部（第２信号補間手段）４１ｂとを備えて構成されている。なお、色補正部２３を構成する各部は、ＣＰＵ及びＣＰＵの動作を規定するプログラムが格納されたメモリによって等価的に構成されていてもよい。

上記第１信号補間部４１ａは、図３に実線で示されるように、低い周波数から画像のナイキスト周波数ＮＦの直前まで略一定のレスポンスを保つとともに、ナイキスト周波数ＮＦの直前からナイキスト周波数ＮＦにかけて減衰する周波数特性を持つフィルタ係数で構成される第１補間フィルタを保有している。第１信号補間部４１ａは、第１補間フィルタを用いてベイヤ配列の画像信号に対して補間処理を行い、処理後の信号を第１補間画像信号Ｓ１として出力する。なお、図３において、横軸は空間周波数、縦軸はレスポンスを示している。

上記第２信号補間部４１ｂは、図３に一点鎖線で示されるように、低い周波数からナイキスト周波数ＮＦにかけて上記第１補間フィルタのフィルタ係数よりも緩やかに減衰する周波数特性を持つフィルタ係数で構成される第２補間フィルタを保有している。第２信号補間部４１ｂは、第２補間フィルタを用いてベイヤ配列の画像信号に対して補間処理を行い、処理後の信号を第２補間画像信号Ｓ２として出力する。

第１補間画像信号Ｓ１および第２補間画像信号Ｓ２は、評価値算出部４２及び補間処理決定部４４に入力される。評価値算出部４２は、第１補間画像信号Ｓ１および第２補間画像信号Ｓ２信号を画素毎に比較し、画素値の差分の絶対値｜Ｓ１−Ｓ２｜を算出し、この値を評価値として領域決定部４３に出力する。なお、評価値はこの例に限らず、第１補間画像信号Ｓ１および第２補間画像信号Ｓ２信号の彩度の違いなど、画像のエッジ部分で発生する不均一さを判別するのに適する値であれば、他の評価値を適用してもよい。

領域決定部４３は、評価値算出部４２からの評価値に基づいて特定領域を決定する。ここで、特定領域とは、第１信号補間部４１ａによって補間処理を行うと急峻なエッジ部分で部分的にエッジが強調されすぎて不均一に見えてしまう可能性がある領域である。具体的には、閾値入力部４５から入力される閾値ＴＨと評価値算出部４２からの評価値とを比較し、評価値が閾値ＴＨ以上であればその画素（ｉ，ｊ）は特定領域であると判断して、当該画素（ｉ，ｊ）のフラグＦＬＧ（ｉ，ｊ）に１を設定し、評価値が閾値ＴＨ未満の場合には、特定領域以外であると判断して当該画素（ｉ，ｊ）のフラグＦＬＧ（ｉ，ｊ）に０を設定する。領域決定部４３は、各画素のフラグＦＬＧ（ｉ，ｊ）の情報を補間処理決定部４４に出力する。

なお、上述した領域決定部４３において、閾値入力部４５から与えられる閾値ＴＨは、０から最大閾値ＴＨｍａｘの範囲の任意の値に設定されている。ここで、最大閾値ＴＨｍａｘは、領域決定部４３に入力される信号が取り得る最大値である。また、閾値ＴＨの値をユーザが設定変更可能な構成としてもよい。

補間処理決定部４４は、フラグＦＬＧ（ｉ，ｊ）が１である画素に対しては第２補間画像信号Ｓ２を選択し、フラグＦＬＧ（ｉ，ｊ）が０である画素に対しては第１補間画像信号Ｓ１を選択し、選択したこれらの信号を合成することで、最終的なカラー画像信号を作成する。このカラー画像信号は後段の第２信号処理部２４（図１参照）に出力される。

以上説明してきたように、本実施形態に係るデジタルカメラ１及び色補間部２３によれば、画素の特徴に応じて適切な補間処理を選択することが可能となる。これにより、例えば、第１補間フィルタを用いると急峻なエッジとして表現されてしまう画素については、第１補間フィルタよりも緩やかな第２補間フィルタを用いて生成された第２補間画像信号に置換されるので、急峻なエッジ部分に生ずる不均一さを解消するとともに、解像感の保たれた画像を得ることが可能となる。

〔第２の実施形態〕
次に、本発明の第２実施形態について、図４を用いて説明する。
図４に示すように、本実施形態に係るデジタルカメラは、色補間部２３ａの構成が第１の実施形態に係るデジタルカメラ１の色補間部２３と異なる。以下、本実施形態の色補間部２３ａについて第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。

図４に示すように、本実施形態に係る色補間部２３ａは、補間処理部５１が補間処理決定部５４の後段に配置される。
以下、このような構成を有する色補間部２３ａの作用について説明する。
図１に示される第１信号処理部２２から出力されたベイヤ配列の画像信号は、図４の評価値算出部５２、補間処理部５１の第１信号補間部４１ａ、第２信号補間部４１ｂにそれぞれ入力される。

評価値算出部５２は、第１信号補間部４１ａがベイヤ配列の画像信号に対して第１補間フィルタを用いて補間処理を行った結果得られる第１補間画像信号Ｓ１と、第２信号補間部４１ｂがベイヤ配列の画像信号に対して第２補間フィルタを用いて補間処理を行った結果得られる第２補間画像信号Ｓ２との差分と等価の値を算出可能なフィルタを保有している。評価値算出部５２は、このフィルタを用いて第１信号処理部２２（図１参照）から入力されるベイヤ配列の画像信号をフィルタリングすることにより、第１の実施形態と略同程度の評価値を得て、この評価値を領域決定部４３に出力する。

領域決定部４３は、上記第１の実施形態と同様の方法により、各画素（ｉ，ｊ）のＦＬＧ（ｉ，ｊ）を設定し、この情報を補正処理決定部５４に出力する。
補間処理決定部５４は、フラグＦＬＧ（ｉ，ｊ）の情報に基づいて各画素に採用する補間処理を選択する。具体的には、フラグＦＬＧ（ｉ，ｊ）が１である画素に対しては第２信号補間部４１ｂを選択し、フラグＦＬＧ（ｉ，ｊ）が０である画素に対しては第１信号補間部４１ａを選択し、選択情報を補間処理部５１に出力する。

これにより、補間処理部５１においては、フラグＦＬＧ（ｉ，ｊ）が１である画素、換言すると、特定領域については第２信号補間部４１ｂによる滑らかな補間処理が行われ、特定領域以外については第１信号補間部４１ａによるエッジ部が強調される補間処理が行われる。そして、これら補間処理後の信号が合成されることにより、カラー画像信号が生成され、後段の第２信号処理部２４（図１参照）に出力される。

〔第３の実施形態〕
次に、本発明の第３の実施形態について、図５を用いて説明する。
図５に示すように、本実施形態のデジタルカメラは、色補間部２３ｂの構成が上述した第２の実施形態に係るデジタルカメラと異なる。以下、本実施形態の色補間部２３ｂについて第２の実施形態と共通する点については説明を省略し、異なる点について主に説明する。

図５に示すように、本実施形態に係る色補間部２３ｂは、補正処理決定部６４に対して加重加算係数を入力する係数決定部６６を備えている。また、補間処理部６１が合成部６１ａを備えている。
以下、このような構成を有する色補間部２３ｂの作用について説明する。
まず、評価値算出部５２は、上述した第２の実施形態と同様にフィルタを用いて評価値を算出し、この評価値を領域決定部４３及び係数決定部６６に出力する。

領域決定部４３は、上述した第１の実施形態と同様の方法により、各画素（ｉ，ｊ）のＦＬＧ（ｉ，ｊ）を設定し、この情報を補正処理決定部６４に出力する。
係数決定部６６は、評価値算出部５２から入力される評価値の大きさに応じて、後段の補間処理部６１の合成部６１ａにおける合成比を算出するための加重加算係数Ｋを以下の（１）を用いて決定し、これを補間処理決定部６４に出力する。
Ｋ＝評価値／ＴＨｍａｘ （１）

補間処理決定部６４は、フラグＦＬＧ（ｉ，ｊ）の情報に基づいて各画素に採用する補間処理を選択する。具体的には、フラグＦＬＧ（ｉ，ｊ）が１である画素に対しては第１信号補間部４１ａと第２信号補間部４１ｂとを選択し、フラグＦＬＧ（ｉ，ｊ）が０である画素に対しては第１信号補間部４１ａを選択し、選択情報を補間処理部６１に出力する。また、フラグＦＬＧ（ｉ，ｊ）が１である画素に対しては、係数決定部６６から入力される当該画素の加重加算係数Ｋを上記選択情報とともに出力する。

これにより、補間処理部６１においては、フラグＦＬＧ（ｉ，ｊ）が１である画素、換言すると、特定領域については第２信号補間部４１ｂにより生成される第２補間画像信号Ｓ２と第１信号補間部４１ａにより生成される第１補間画像信号Ｓ１とが合成部６１ａに出力され、合成部６１ａにおいて、上記加重加算係数Ｋに基づく信号の合成が行われる。合成部６１ａは、以下の（２）式に基づいて第１補間画像信号Ｓ１と第２補間画像信号Ｓ２とを合成し、合成補間画像信号Ｓ３を生成する。
Ｓ３＝（１−Ｋ）＊Ｓ１＋Ｋ＊Ｓ２ （２）

ここで、加重加算係数Ｋは、上記（１）に示されるように評価値を最大閾値ＴＨｍａｘで除算した値であるので、図６に示すように、評価値が大きいほど第１補間画像信号Ｓ１の合成割合が小さく、第２補間画像信号Ｓ２の合成割合が大きくなる。

また、フラグＦＬＧ（ｉ，ｊ）が０である画素、換言すると、特定領域以外の領域については第１信号補間部４１ａによって補間処理が行われ第１補間画像信号Ｓ１が生成される。そして、処理後の信号が合成されることにより、カラー画像信号が生成され、後段の第２信号処理部２４（図１参照）に出力される。

以上説明してきたように、本実施形態に係る色補間部２３ｂ及びデジタルカメラによれば、特定領域が第１補間画像信号Ｓ１と第２補間画像信号Ｓ２とが評価値に応じた合成比で合成された合成補間画像信号Ｓ３とされるので、解像感の保持効果が高く、滑らかなエッジの画像を得ることができる。

〔第４の実施形態〕
次に、本発明の第４の実施形態について、図７を用いて説明する。
図７に示すように、本実施形態のデジタルカメラは、色補間部２３ｃの構成が上述した第２の実施形態に係る色補間部２３ａと異なる。以下、本実施形態に係る色補間部２３ｃについて第２の実施形態と共通する点については説明を省略し、異なる点について主に説明する。

図７に示すように、本実施形態に係る色補間部２３ｃは、領域決定部７３に対して選択範囲を入力する選択範囲入力部７６を備えている。選択範囲入力部７６は、領域決定部７３が特定領域を設定する際に参照する周辺領域の設定条件を保有している。図８および図９には、周辺領域の設定条件の一例が示されている。図８及び図９において、斜線部の画素は特定領域か否かを判定する対象とされる画素（注目画素）である。図８では、注目画素を中心とし、かつ、これを取り囲むように周辺領域が設定されており、図９では注目画素を中心として垂直方向および水平方向に数画素ずつ周辺領域が設定されている。選択範囲入力部７６は、保有している周辺領域の設定条件を領域決定部７３に入力する。

以下、このような構成を有する色補間部２３ｃの作用について説明する。
まず、評価値算出部５２は、上述した第２の実施形態と同様にフィルタを用いて評価値を算出し、この評価値を領域決定部７３に出力する。

領域決定部７３は、閾値入力部４５から入力される閾値ＴＨと評価値算出部５２からの評価値とを比較し、評価値が閾値ＴＨ以上であればその画素（ｉ，ｊ）は特定領域であると評価し、当該画素（ｉ，ｊ）のフラグＦＬＧ（ｉ，ｊ）に１を設定し、評価値が閾値ＴＨ未満の場合には、特定領域以外であると評価して当該画素（ｉ，ｊ）のフラグＦＬＧ（ｉ，ｊ）に０を設定する。更に、領域決定部７３は、特定領域であると判断した画素（ｉ，ｊ）があった場合には、選択範囲入力部７６から入力される周辺領域の設定条件に基づいて周辺領域を特定し、これら画素を強制的に特定領域であるとみなしてフラグＦＬＧに１を設定する。領域決定部７３は、全ての画素についてのフラグＦＬＧを設定すると、各画素のフラグＦＬＧ（ｉ，ｊ）の情報を補間処理決定部５４に出力する。

補間処理決定部５４は、上述した第２の実施形態と同様に、フラグＦＬＧ（ｉ，ｊ）の情報に基づいて各画素に採用する補間処理を選択し、選択情報を補間処理部５１に出力する。これにより、補間処理部５１においては、フラグＦＬＧ（ｉ，ｊ）が１である画素については第２信号補間部４１ｂによる滑らかな補間処理が行われ、特定領域以外については第１信号補間部４１ａによるエッジ部が強調される補間処理が行われる。そして、これら補間処理後の信号が合成されることにより、カラー画像信号が生成され、後段の第２信号処理部２４（図１参照）に出力される。

〔第５の実施形態〕
次に、本発明の第５の実施形態について、図１０を用いて説明する。
図１０に示すように、本実施形態に係るデジタルカメラは、色補間部２３ｄの構成が上述した第４の実施形態に係る色補間部２３ｃと異なる。以下、本実施形態に係る色補間部２３ｄについて第４の実施形態と共通する点については説明を省略し、異なる点について主に説明する。

図１０に示すように、本実施形態に係る色補間部２３ｄは、補正処理決定部８４に対して加重加算係数を入力する第２係数決定部８６を備えている。
以下、このような構成を有する色補間部２３ｄの作用について説明する。
まず、評価値算出部５２は、上述した第２の実施形態と同様にフィルタを用いて評価値を算出し、この評価値を領域決定部８３及び第２係数決定部８７に出力する。

領域決定部８３は、閾値入力部４５から入力される閾値ＴＨと評価値算出部５２からの評価値とを比較し、評価値が閾値ＴＨ以上であればその画素（ｉ，ｊ）は特定領域であると評価し、当該画素（ｉ，ｊ）のフラグＦＬＧ（ｉ，ｊ）に１を設定し、評価値が閾値ＴＨ未満の場合には、特定領域以外であると評価して当該画素（ｉ，ｊ）のフラグＦＬＧ（ｉ，ｊ）に０を設定する。更に、領域決定部８３は、特定領域であると判断した画素（ｉ，ｊ）があった場合には、選択範囲入力部７６から入力される周辺領域の設定条件に基づいて周辺領域を特定し、これら画素のフラグＦＬＧに３を設定する。領域決定部８３は、全ての画素についてのフラグＦＬＧを設定すると、各画素のフラグＦＬＧ（ｉ，ｊ）の情報を補間処理決定部８４に出力する。

第２係数決定部８７は、評価値算出部５２から入力される評価値の大きさに応じて後段の補間処理部６１において行われる合成処理の合成比を示す加重加算係数Ｋ１，Ｋ２を決定し、これを補間処理決定部８４に出力する。具体的には、第２係数決定部８７は、領域決定部８３から入力されたフラグＦＬＧ（ｉ，ｊ）が１に設定されている画素については、以下の（３）に基づいて加重加算係数Ｋ１を決定し、領域決定部８３から入力されたフラグＦＬＧ（ｉ，ｊ）が３に設定されている画素については、以下の（４）に基づいて加重加算係数Ｋ２を決定する。

Ｋ１＝評価値／ＴＨｍａｘ （３）
Ｋ２＝評価値／（ＴＨｍａｘ＊Ｇｒａｄ） （４）
（４）式において、Ｇｒａｄ＝｜注目画素の評価値−当該画素の評価値｜である。
ここで、Ｇｒａｄは勾配を示し、注目画素と周辺領域に属する当該画素（以下「周辺画素」という。）との相関を示す値である。なお、Ｇｒａｄについては、注目画素から周辺画素までの距離を値にする等、上記算出方法とは異なる算出方法を用いることとしてもよい。

これにより、特定領域については上記（３）式を用いて加重加算係数Ｋ１が算出され、周辺領域については上記（４）式を用いて加重加算係数Ｋ２が算出されることとなる。

補間処理決定部８４は、フラグＦＬＧ（ｉ，ｊ）が１及び３である画素に対しては第１信号補間部４１ａと第２信号補間部４１ｂとを選択し、フラグＦＬＧ（ｉ，ｊ）が０である画素に対しては第１信号補間部４１ａを選択し、この選択情報を補間処理部６１に出力する。また、フラグＦＬＧ（ｉ，ｊ）が１である画素に対しては、第２係数決定部８７から入力される当該画素の加重加算係数Ｋ１を、フラグＦＬＧ（ｉ，ｊ）が３である画素に対しては、第２係数決定部８７から入力される当該画素の加重加算係数Ｋ２を上記選択情報とともに出力する。

これにより、補間処理部６１においては、フラグＦＬＧ（ｉ，ｊ）が１である画素、換言すると、特定領域については第２信号補間部４１ｂにより生成される第２補間画像信号Ｓ２と第１信号補間部４１ａにより生成される第１補間画像信号Ｓ１とが合成部６１ａに出力され、合成部６１ａにおいて加重加算係数Ｋ１に基づく合成が行われる。合成部６１ａは合成後の信号を合成補間画像信号Ｓ３として出力する。

また、フラグＦＬＧ（ｉ，ｊ）が０である画素、換言すると、特定領域以外の領域については第１信号補間部４１ａによって補間処理が行われ第１補間画像信号Ｓ１が生成される。
また、フラグＦＬＧ（ｉ，ｊ）が３である画素、換言すると、周辺領域については、第２信号補間部４１ｂにより生成される第２補間画像信号Ｓ２と第１信号補間部４１ａにより生成される第１補間画像信号Ｓ１とが合成部６１ａに出力され、合成部６１ａにおいて、上記加重加算係数Ｋ２に基づく合成が行われ、合成補間画像信号Ｓ４として出力される。

ここで、加重加算係数Ｋ２は、上記（４）に示されるように、最大閾値ＴＨｍａｘに勾配Ｇｒａｄを乗じた値で評価値を除算した値となるので、注目画素と周辺画素との相関が弱い、つまり、勾配Ｇｒａｄが大きいほど第１補間画像信号Ｓ１の合成割合が小さく、第２補間画像信号Ｓ２の合成割合が大きくなる。

そして、処理後の信号Ｓ１、Ｓ３、Ｓ４が合成されることにより、カラー画像信号が生成され、後段の第２信号処理部２４（図１参照）に出力される。

以上説明してきたように、本実施形態に係る色補間部２３ｄ及びデジタルカメラによれば、周辺領域が、第１補間画像信号Ｓ１と第２補間画像信号Ｓ２とが評価値及び注目画素と周辺画素との相関に応じた合成比で合成された合成補間画像信号Ｓ４とされるので、解像感の保持効果が高く、滑らかなエッジの画像を得ることができる。

本発明に係る色補間装置および画像処理システムは、例えば、放送用据え置き型カメラ、ＥＮＧカメラ、民生用ハンディカメラ、デジタルカメラ等の製品に搭載可能である。また、動画を扱う画像信号補正プログラム（ＣＧプログラム）、画像編集装置などにも用いられる。

本発明の第１の実施形態に係る画像処理システムの全体概略構成を示した図である。 図１に示した色補間部の機能ブロック図である。 第１補間フィルタ及び第２補間フィルタの一例を示した図である。 本発明の第２の実施形態に係る色補間部の機能ブロック図である。 本発明の第３の実施形態に係る色補間部の機能ブロック図である。 合成比の一例を示した図である。 本発明の第４の実施形態に係る色補間部の機能ブロック図である。 周辺領域の一例を示した図である。 周辺領域の一例を示した図である。 本発明の第５の実施形態に係る色補間部の機能ブロック図である。

符号の説明

１ デジタルカメラ
２ 撮像装置
３ 画像処理装置
１１ レンズ
１２ 固体撮像素子
１３ 撮像信号処理部
２３，２３ａ，２３ｂ，２３ｃ，２３ｄ 色補間部
４１，５１，６１ 補間処理部
４１ａ 第１信号補間部
４１ｂ 第２信号補間部
４２，５２ 評価値算出部
４３，７３，８３ 領域決定部
４４，５４，６４ 補間処理決定部
４５ 閾値入力部
６１ａ 合成部
６６ 係数決定部
７６ 選択範囲入力部
８７ 第２係数決定部

Claims (17)

1. 欠落する色成分を有する画素を含んで構成されたカラー画像信号に対して前記欠落する色成分を補間することで補間後のカラー画像信号を生成する色補間装置であって、
   前記カラー画像信号に対して、第１の補間処理と第２の補間処理をそれぞれ行うことで第１補間画像信号と第２補間画像信号とを生成する補間処理手段と、
   前記第１の補間処理の対象となる特定領域を特定するための評価値を画素毎に算出する評価値算出手段と、
   前記評価値に基づいて前記特定領域を決定する領域決定手段と、
   前記第１補間画像信号から前記特定領域の画像信号を抽出するとともに、前記第２補間画像信号から前記特定領域以外の領域の画像信号を抽出し、抽出した画像信号を合成することで前記補間後のカラー画像信号を作成する補間処理決定手段と
   を具備する色補間装置。
2. 欠落する色成分を有する画素を含んで構成されたカラー画像信号に対して前記欠落する色成分を補間することで補間後のカラー画像信号を生成する色補間装置であって、
   前記カラー画像信号から特定領域を特定するための評価値を画素毎に算出する評価値算出手段と、
   前記評価値に基づいて特定領域を決定する領域決定手段と、
   前記特定領域に採用する第１の補間処理を選択するとともに、前記特定領域以外の領域に採用する第２の補間処理を選択する補間処理決定手段と、
   前記カラー画像信号の前記特定領域に対して前記第１の補間処理を行うとともに、前記特定領域以外の領域に対して前記第２の補間処理を行うことで前記補間後のカラー画像信号を作成する補間処理手段と
   を具備する色補間装置。
3. 前記評価値算出手段は、第１補間画像信号と第２補間画像信号との差分を算出することにより前記評価値を得る請求項１に記載の色補間装置。
4. 前記評価算出手段は、第１補間画像信号と第２補間画像信号との差分と等価の値を算出可能なフィルタを保有し、該フィルタを用いて前記カラー画像信号をフィルタリングすることにより前記評価値を得る請求項２に記載の色補間装置。
5. 前記補間処理手段は、異なる特性のフィルタ係数を用いて前記カラー画像信号をフィルタリングする請求項１から請求項４のいずれかに記載の色補間装置。
6. 前記補間処理手段は、
   低い周波数から画像のナイキスト周波数直前まで略一定のレスポンスを保つとともに、ナイキスト周波数直前からナイキスト周波数にかけて減衰する周波数特性を持つフィルタ係数で構成される第１補間フィルタを用いて補間処理を行う第１信号補間手段と、
   低い周波数からナイキスト周波数にかけて前記第１フィルタの周波数特性よりも緩やかに減衰する周波数特性を持つフィルタ係数で構成される第２補間フィルタを用いて補間処理を行う第２信号補間手段と
   を具備する請求項１から請求項５のいずれかに記載の色補間装置。
7. 前記領域決定手段は、前記評価値と予め登録されている所定の閾値とを比較し、その比較結果に応じて前記特定領域及びそれ以外の領域を決定する請求項１から請求項６のいずれかに記載の色補間装置。
8. 前記領域決定手段は、前記評価値が前記閾値以上の場合に特定領域と特定し、前記評価値が前記閾値よりも小さい場合にそれ以外の領域と決定する請求項７に記載の色補間装置。
9. 前記領域決定手段は、前記評価値が前記閾値以上である画素を特定した場合に、その画素を中心とした周辺領域を特定し、該周辺領域の画素についても前記評価値にかかわらず特定領域とする請求項８に記載の色補間装置。
10. 前記特定領域について第２信号補間手段による補間処理が行われ、それ以外の領域に対して前記第１信号補間手段による補間処理が行われ、これらの補間画像信号が合成されることにより前記補間後のカラー画像信号が作成される請求項６から請求項９のいずれかに記載の色補間装置。
11. 前記補間処理決定手段は、前記第１の補間処理を前記第１信号補間手段及び前記第２信号補間手段に行わせ、これらによって生成された各補間画像信号を前記評価値に応じた合成比で合成することで前記特定領域における前記補間後のカラー画像信号を前記補間処理手段に作成させる請求項６から請求項１０のいずれかに記載の色補間装置。
12. 前記補間処理決定手段は、前記第２の補間処理を前記第１信号補間手段及び前記第２信号補間手段に行わせ、これらによって生成された各補間画像信号を前記評価値及び中心画素と周辺領域の当該画素との相関値に応じた合成比で合成させることで前記周辺領域における前記補間後のカラー画像信号を前記補間処理手段に作成させる請求項９から請求項１１のいずれかに記載の色補間装置。
13. 請求項１から請求項１２のいずれかに記載の色補間装置を有する画像処理システム。
14. 欠落する色成分を有する画素を含んで構成されたカラー画像信号に対して前記欠落する色成分を補間することで補間後のカラー画像信号を生成する色補間方法であって、
    前記カラー画像信号に対して、第１の補間処理と第２の補間処理をそれぞれ行うことで第１補間画像信号と第２補間画像信号とを生成する補間処理工程と、
    前記第１の補間処理の対象となる特定領域を特定するための評価値を画素毎に算出する評価値算出工程と、
    前記評価値に基づいて前記特定領域を決定する領域決定工程と、
    前記第１補間画像信号から前記特定領域の画像信号を抽出するとともに、前記第２補間画像信号から前記特定領域以外の領域の画像信号を抽出し、抽出した画像信号を合成することで前記補間後のカラー画像信号を作成する補間処理決定工程と
    を含む色補間方法。
15. 欠落する色成分を有する画素を含んで構成されたカラー画像信号に対して前記欠落する色成分を補間することで補間後のカラー画像信号を生成する色補間方法であって、
    前記カラー画像信号から特定領域を特定するための評価値を画素毎に算出する評価値算出工程と、
    前記評価値に基づいて特定領域を決定する領域決定工程と、
    前記特定領域に採用する第１の補間処理を選択するとともに、前記特定領域以外の領域に採用する第２の補間処理を選択する補間処理決定工程と、
    前記カラー画像信号の前記特定領域に対して前記第１の補間処理を行うとともに、前記特定領域以外の領域に対して前記第２の補間処理を行うことで前記補間後のカラー画像信号を作成する補間処理工程と
    を含む色補間方法。
16. 欠落する色成分を有する画素を含んで構成されたカラー画像信号に対して前記欠落する色成分を補間することで補間後のカラー画像信号を生成するための色補間プログラムであって、
    前記カラー画像信号に対して、第１の補間処理と第２の補間処理をそれぞれ行うことで第１補間画像信号と第２補間画像信号とを生成する補間処理ステップと、
    前記第１の補間処理の対象となる特定領域を特定するための評価値を画素毎に算出する評価値算出ステップと、
    前記評価値に基づいて前記特定領域を決定する領域決定ステップと、
    前記第１補間画像信号から前記特定領域の画像信号を抽出するとともに、前記第２補間画像信号から前記特定領域以外の領域の画像信号を抽出し、抽出した画像信号を合成することで前記補間後のカラー画像信号を作成する補間処理決定ステップと
    をコンピュータに実行させる色補間プログラム。
17. 欠落する色成分を有する画素を含んで構成されたカラー画像信号に対して前記欠落する色成分を補間することで補間後のカラー画像信号を生成するための色補間プログラムであって、
    前記カラー画像信号から特定領域を特定するための評価値を画素毎に算出する評価値算出ステップと、
    前記評価値に基づいて特定領域を決定する領域決定ステップと、
    前記特定領域に採用する第１の補間処理を選択するとともに、前記特定領域以外の領域に採用する第２の補間処理を選択する補間処理決定ステップと、
    前記カラー画像信号の前記特定領域に対して前記第１の補間処理を行うとともに、前記特定領域以外の領域に対して前記第２の補間処理を行うことで前記補間後のカラー画像信号を作成する補間処理ステップと
    をコンピュータに実行させる色補間プログラム。

Images