JP2010028374A - 画像処理装置および画像信号の補間処理方法、画像処理プログラム - Google Patents

Abstract

【課題】画像のエッジ部や細部の高周波成分を復元できる、汎用性の高い画像処理装置を提供する。
【解決手段】補間処理部１４を構成する、Ｇ成分補間部１４１、Ｒ成分補間部１４２、およびＢ成分補間部１４３は、それぞれ補間の対象となる注目画素に対し、複数の方向の信号変化量を求め、その１方向の画素を選択し、この選択された方向の画素を用いて注目画素の補間を行うことにより、信号変化率を使った補間処理を実現する。
【選択図】 図１

Description

本発明は、単板式カラー撮像素子から得られる画像信号を補間する画像処理装置および画像信号の補間処理方法、画像処理プログラムに関する。

単板式カラー撮像素子においては、出力画像の個々の画素について、１つの色情報しか得ることができない。このため、足りない色情報は周りの画素から推定し、赤、緑、青（Ｒ，Ｇ，Ｂ）の３原色に復元している。この色情報の推定には、いくつかの方法があるが、最も簡単な周辺画素の平均によって補間する線形補間を用いると、エッジ部や細部で色ずれが出たり、ぼやけた画像になってしまったりする。この問題を解決するための技術として、局所ブロックのカラーフィルタに対してセルの重み付けによる加重平均値を加減操作することにより、画質の改善を図る技術や、カラーフィルタの色配列を工夫することで、解像度の向上を図った技術が存在する（例えば、特許文献１参照。）。しかしながら、セルの重み付けによる加重平均値を加減操作する技術においては、画像のエッジ部や細部の高周波成分について再現性（復元性）に問題がある。
特開２０００−２８７２１９号公報

上述したように特許文献１に記載された従来の画像補間技術に於いては、再現性に問題があった。
本発明は、画像のエッジ部や細部の高周波成分を復元でき、色ずれを低減することができる画像処理装置および画像信号の補間処理方法、画像処理プログラムを提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、単板式カラー撮像素子から得られる画像信号を画素単位で補間する画像処理装置に於いて、補間の対象となる注目画素に対し、当該画素の補間に使用する周辺画素を選択し、その選択された画素の情報を用いて前記注目画素の補間を行う補間処理手段を具備し、前記補間処理手段は、前記選択された画素から補間する色と同じ色成分と補間する色と違う色成分の２つの色成分を抽出し、その抽出した補間する色と同じ色成分と補間する色と違う色成分の信号変化率によって前記注目画素を補間することを特徴とする。

また、本発明の画像信号の補間処理方法は、単板式カラー撮像素子から得られる画像信号を画素単位に補間する画像信号の補間処理方法に於いて、補間の対象となる注目画素に対し、当該画素の補間に使用する周辺画素を選択し、その選択された画素情報から補間する色と同じ色成分と補間する色と違う色成分の２つの色成分を抽出し、その抽出した補間する色と同じ色成分と補間する色と違う色成分の信号変化率によって前記注目画素の補間を行うことを特徴とする。

また、本発明の画像処理プログラムは、単板式カラー撮像素子から得られる画像信号を画素単位で補間する画像処理装置に用いられる画像処理プログラムであって、補間の対象となる注目画素に対し、当該画素の補間に使用する周辺画素を選択し、その選択された画素の情報を用いて前記注目画素の補間を行う補間処理機能を具備し、前記補間処理機能は、選択した画素の補間する色と同じ色成分と、補間する色と違う色成分との２つの色成分を抽出し、その抽出した補間する色と同じ色成分と補間する色と違う色成分の信号変化率によって前記注目画素を補間することを特徴とする。

本発明によれば、画像のエッジ部や細部の高周波成分を復元でき、色ずれを低減することができる画像処理装置が提供できる。

以下、図面を参照して本発明の実施形態を説明する。
本発明の実施形態に係る画像処理装置は、補間処理手段として、補間する色と同じ色成分と、補間する色と違う色成分との２つの色成分を用い、補間する色と違う色成分の信号変化率によって注目画素を補間するものである。よって、補間処理手段は信号変化率を使った他色傾向依存形の補間処理手段である。

本発明の実施形態に係る画像処理装置の説明に際し、信号変化率を使った他色傾向依存形補間処理の基本概念について、図９乃至図１８を参照して説明する。なお、本発明の実施形態は、固体撮像素子に、ベイヤ配列による色成分の画像信号を出力する単板式カラー撮像素子を用いた画像処理装置の補間処理を対象としている。

図９は、補間する色とは違う色成分（Ｃ系信号）の信号変化に連続性がない凹凸型で、なおかつ、補間する色とは違う色成分（Ｃ系信号）の信号レベルが補間する色と同じ色成分（Ａ系信号）の信号レベルより大きい場合に、補間される色成分Ａ_ｎを示している。

図１０は、補間する色とは違う色成分の信号変化（Ｃ系信号）に連続性がない凹凸型で、なおかつ、補間する色とは違う色成分（Ｃ系信号）の信号レベルが補間する色と同じ色成分（Ａ系信号）の信号レベルより小さい場合に、補間される色成分Ａ_ｎを示している。

図１１は、補間する色とは違う色成分（Ｃ系信号）の信号変化に連続性のある右肩上がりの傾斜型で、なおかつ、補間する色とは違う色成分（Ｃ系信号）と、補間する色と同じ色成分（Ａ系信号）の信号変化の傾向が同じ場合に、補間される色成分Ａ_ｎを示している。

図１２は、補間する色とは違う色成分（Ｃ系信号）の信号変化に連続性のある右肩上がりの傾斜型で、なおかつ、補間する色とは違う色成分（Ｃ系信号）と、補間する色と同じ色成分（Ａ系信号）の信号変化の傾向が違う場合に、補間される色成分Ａ_ｎを示している。

図１３は、補間する色とは違う色成分（Ｃ系信号）の信号変化に連続性のある右肩下がりの傾斜型で、なおかつ、補間する色とは違う色成分（Ｃ系信号）と、補間する色と同じ色成分（Ａ系信号）の信号変化の傾向が同じ場合に、補間される色成分Ａ_ｎを示している。

図１４は、補間する色とは違う色成分（Ｃ系信号）の信号変化に連続性のある右肩下がりの傾斜型で、なおかつ、補間する色とは違う色成分（Ｃ系信号）と、補間する色と同じ色成分（Ａ系信号）の信号変化の傾向が違う場合に、補間される色成分Ａ_ｎを示している。

図１５は、Ｇ成分の補間に使う画素を示し、Ｇ成分とＲ，Ｂ成分と仮想的に生成したＲ，Ｂ成分により補間される色成分Ｇ_ｎを示している。また、図１６はＲ，Ｂ成分の補間に使う画素を示し、Ｒ，Ｂ成分とＧ成分とにとり補間される色成分ＲＢを示している。

図１７は、補間する色とは違う色成分（Ｃ系信号）の信号変化に連続性がない場合で、なおかつ、補間する色と同じ色成分（Ａ系信号）の信号変化の傾向が小さい場合に、実際の数値を当てはめて補間した例を示している。

図１８は、補間する色とは違う色成分（Ｃ系信号）の信号変化に連続性がある場合で、なおかつ、補間する色と同じ色成分（Ａ系信号）の信号変化の傾向が小さい場合に、実際の数値を当てはめて補間した例を示している。

本発明で実施する補間処理は、補間する色成分の信号傾向が、補間する色とは違う色成分の信号傾向と同じになるように補間するものある。これは、各画素の２つの色成分を使い、注目画素の求める色成分と違う色成分に対して、両隣の画素から線形補間で注目画素の色成分を仮想的に色成分と違う色成分について求める。

これを比で表して式を変形すると、補間する色成分とは違う色成分の信号変化率で求める式（１）になる。この式（１）を補間式（１）とする。補間式（１）において、Ａは補間する色と同じ色成分、Ｃは補間する色とは違う色成分、ｎは注目画素、ｎ−１，ｎ＋１は注目画素ｎの隣の画素をそれぞれ表している。

この補間式（１）が使えるのは、図９に示すように、補間する色成分とは違う色成分（Ｃ系信号）の信号変化に連続性がない凹凸型で、なおかつ、補間する色成分とは違う色成分（Ｃ系信号）の信号レベルが補間する色と同じ色成分（Ａ系信号）の信号レベルより大きい場合である。これは、割り算を使っているため、基準とする補間する色成分とは違う色成分（Ｃ系信号）の信号レベルが補間する色と同じ色成分（Ａ系信号）の信号レベルより低い場合は、２つの色成分の信号レベル差によって、信号変化率が極端に大きくなったり、または小さくなったりしてしまう。そのため、補間結果も大きく変化してしまい、信号が飽和したり、ゼロに近い値となったりしてしまうことがある。

そこで、信号変化率が極端に変化するのを抑制するため、図１０に示すように、補間する色成分とは違う色成分（Ｃ系信号）の信号変化に連続性がない凹凸型で、なおかつ、補間する色成分とは違う色成分（Ｃ系信号）の信号レベルが補間する色と同じ色成分（Ａ系信号）の信号レベルより小さい場合は、２つの色成分の信号レベルが同じになるように、補間式（１）に補正を加える。これは、注目画素ｎの両隣の２画素（ｎ−１，ｎ＋１）の補間する色と同じ色成分（Ａ系信号）から線形補間で仮想的に求めたものを補正値として、これを補間式（１）の補間する色成分とは違う色成分（Ｃ系信号）の各項に加算する。この式を整理すると、式（２）になる。この式（２）を補間式（２）とする。

また、図１１乃至図１４に示すように、補間する色とは違う色成分（Ｃ系信号）の信号変化に連続性がある傾斜型の場合は、信号変化に連続性のない凹凸型と違って、信号変化量に対しての変化率で補間する。

これは、補間式（１）と基本的な考え方は同じであるが、注目画素ｎの両隣の２画素（ｎ−１，ｎ＋１）において、それぞれの色成分の信号レベルの小さい方を基準とした変化量を使って補間するため、最後に、基準とした補間する色成分を加算し、元の信号レベルに戻すものである。これを式で表すと、２つの色成分の信号の大きさに応じて基準となる色成分が異なるため、式（３）〜式（６）の４式になる。上記式（３）を補間式（３−１）、式（４）を補間式（３−２）、式（５）を補間式（３−３）、式（６）を補間式（３−４）とする。

以上のように、各画素の２つの色成分を使い、上記した６つの補間式（１）乃至（３−４）の使い分けによって補間するが、各画素の原画成分は１つの色成分しかない。そこで、Ｇ成分の補間は、図１５に示すように、周辺画素の線形補間で仮想的に求めたＲ成分又はＢ成分を使い、２つの色成分から計算する。この仮想的に求めたＲ成分又はＢ成分は、Ｇ成分の補間に一時的に使うだけである。

また、Ｒ成分またはＢ成分の補間は、図１６に示すように、最初に全てのＧ成分を補間した後に補間するため、その補間結果を使う。

図１７は、連続性のない信号変化時の補間例を２例示している。また、図１８は、連続性のある信号変化時の補間例を２例示している。この図１７、図１８は、実際の数値を当てはめて補間したときの結果の一例である。

上記した、信号変化率を使った補間式により、補間する色成分の信号傾向が補間する色とは違う色成分の信号傾向と同じになるように補間されていることが分かる。

本発明の実施形態に係る画像処理装置の全体の構成を図１に示し、同画像処理装置における補間処理ルーチンを図２乃至図５に示し、補間処理の動作概念を図６乃至図８に示し、同補間処理における画素配置例を図１９乃至図２２に示している。

本発明の実施形態に係る画像処理装置は、図１に示すように、撮像部１１と、Ａ／Ｄ（アナログ／デジタル）変換器１２と、画像ラインバッファ１３と、補間処理部１４と、信号処理部１５と、出力部１６とを具備する。

撮像部１１は、単板式カラー撮像素子により構成される。ここでは、図１９に示すベイヤ配列による色成分の画像信号を出力する。Ａ／Ｄ変換器１２は、撮像部１１の単板式カラー撮像素子から出力される画像信号を画素単位のデジタル信号に変換する。画像ラインバッファ１３は、少なくとも３ライン分の複数のラインバッファを有し、Ａ／Ｄ変換された画像データを補間処理に必要な複数ライン分、ライン毎の更新を行いながら保持する。信号処理部１５は、補間処理部１４で補間処理されたＲ（赤），Ｇ（緑），Ｂ（青）の画像データに、例えば色補正、輪郭強調等の所定の加工処理を施す。出力部１６は、信号処理部１５で処理された画像データを出力（例えば表示出力）する。

補間処理部１４は、Ｇ成分補間部１４１とＲ成分補間部１４２とＢ成分補間部１４３とを具備する。Ｇ成分補間部１４１はＧ成分の補間対象画素に対して補間処理を行い、Ｒ成分補間器１４２はＲ成分の補間対象画素に対して補間処理を行い、Ｂ成分補間器１４３はＢ成分の補間対象画素に対して補間処理を行う。

Ｇ成分補間部１４１、Ｒ成分補間部１４２、Ｂ成分補間部１４３は、それぞれ補間の対象となる注目画素ｎに対し、色相を異にする２つの色成分を用いて複数の方向の信号変化量を求め、その１方向の画素を選択し、その選択した方向の画素を用いて上記注目画素の補間を行う。なお、Ｇ成分補間部１４１、Ｒ成分補間部１４２、Ｂ成分補間部１４３は、ハードウェアによって構成しても良く、ソフトウェアによって構成しても良い。

Ｇ成分補間部１４１は、Ｇ成分の補間時の信号変化量について、周辺画素の線形補間で仮想的に求めた色成分を用いて上記２種の色成分から複数方向の信号変化量を求める。Ｒ成分補間部１４２、およびＢ成分補間部１４３は、Ｒ成分およびＢ成分の信号変化量について、それぞれ周辺画素の線形補間で仮想的に求めた色成分と、上記Ｇ成分の補間結果を含んだ色成分を用いて上記２種の色成分から複数方向の信号変化量を算出する。

この補間処理部１４における補間処理について、さらに図面を参照して説明する。
図６乃至図８において、図６は信号変化量の計算に使う画素を示し、図７はＧ成分補間時の信号変化量の計算に使う画素を示し、図８はＲ，Ｂ成分補間時の信号変化量の計算に使う画素を示している。

補間処理部１４を構成する、Ｇ成分補間部１４１、Ｒ成分補間部１４２、およびＢ成分補間部１４３は、それぞれ補間の対象となる注目画素ｎに対して、複数方向の信号変化量を求め、この複数方向の信号変化量から、変化量の少ない１方向を選択し、この選択した方向の画素を使って補間処理を行う。この信号変化量は、図６に示すように、２つ（２種）の色成分（Ａ系信号，Ｃ系信号）を使い、補間する色と同じ色成分（Ａ系信号）同士の差分と、補間する色と違う色成分（Ｃ系信号）同士の差分と、同じ画素の２つの色成分の差分（ｄｉｆｆ）とを求め、これらの差分を絶対値で加算して求める。また、重み付け係数α，β，γを使い、計算の重み付けをする。

この差分（ｄｉｆｆ）を計算式で表すと、（７）式（信号変化量の基本式）になる。この（７）式において、Ａは補間する色と同じ色成分を表し、Ｃは補間する色とは違う色成分を表し、ｎは注目画素で、ｎ−１，ｎ＋１は注目画素の隣の画素を表している。α，β，γは重み付け係数である。

上記したように、各画素の２つの色成分を使い、信号変化量の基本式で求めるが、各画素の原画成分は１つの色成分しかない。そこで、Ｇ成分の補間時の信号変化量は、図７に示すように、Ｒ成分又はＢ成分の周辺画素の線形補間で仮想的に求めた色成分（ＲＢ_ｎ−１、ＲＢ_ｎ＋１）を使い、この２つの色成分から計算する。ここで、ＲＢとはＲ成分又はＢ成分を表現したものである。また、Ｒ成分またはＢ成分の補間時の信号変化量は、図８に示すように、Ｒ成分又はＢ成分の周辺画素の線形補間で仮想的に求めた色成分（ＲＢ_ｎ）と、最初に全てのＧ成分を補間した結果Ｇｎを使って、２つの色成分から計算する。

ここで、上記信号変化率を使った他色傾向依存形の補間処理について、図２乃至図５に示すフローチャートと、図１９乃至図２２に示す画素配置例を参照して説明する。図２は補間処理全体の処理手順を示し、図３はＧ成分の補間処理手順を示し、図４はＲ成分、Ｂ成分の４画素補間の処理手順を示し、図５はＲ成分、Ｂ成分の２画素補間の処理手順を示している。

さらに、図１９は単板式カラー撮像素子の色フィルタ配列（ベイヤ配列）を示し、図２０はＧ成分の４画素に囲まれた中央画素のＧ成分の補間に使う画素を示し、図２１（Ａ）はＲ成分の４画素に囲まれた中央画素のＲ成分の補間に使う画素を示し、図２１（Ｂ）はＲ成分の４画素に囲まれた中央画素のＲ成分の補間に使う画素のＧ成分を示し、図２２（Ａ）はＲ成分の２画素に挟まれた中央画素のＲ成分の補間に使う画素を示し、図２２（Ｂ）はＲ成分の２画素に挟まれた中央画素のＲ成分の補間に使う画素を示している。

図１９に示す、ベイヤ配列における補間処理手順は、補間処理部１４のＧ成分補間部１４１を用いて、最初に全てのＧ成分の補間処理を実行する（図２のステップＳ１１）。次に、補間した結果のＧ成分を使って、補間処理部１４のＲ成分補間部１４２とＢ成分補間部１４３とを用いて、Ｒ成分の補間処理とＢ成分の補間処理を同時に実行する（図２のステップＳ１２ａ，Ｓ１２ｂ）。この２回のステップで補間が完了する。

次に、図３と図２０を用いてＧ成分補間部１４１によるステップＳ１１のＧ成分の補間処理について説明する。

Ｇ成分補間部１４１によるＧ成分補間処理の４画素補間機能は、注目画素の上下／左右方向における仮想的なＧ成分と、注目画素の上下／左右方向のＧ成分と、その画素の仮想的なＲ成分またはＢ成分と、注目画素のＲ成分またはＢ成分を用いて、上下／左右方向における信号変化量を求め、その上下方向の信号変化量と左右方向の信号変化量を比較して変化量の少ない方向の２画素のＧ成分と、その２画素のＲ成分またはＢ成分と、注目画素のＲ成分またはＢ成分に基づいて注目画素のＧ成分を補間するものである。

具体的には、上下左右の４画素(Ｇ２３，Ｇ４３，Ｇ３２，Ｇ３４）のＧ成分に囲まれた中央の画素Ｒ３３のＧ成分を求める。この処理手順を図３にステップＳ２１〜Ｓ２５ａ，Ｓ２５ｂで示している。ここでは、図２０に示す画素Ｒ３３のＧ成分の補間について説明する。

（１）．信号変化量の計算と補間処理には、注目画素Ｒ３３と周辺画素Ｇ２３，Ｇ４３，Ｇ３２，Ｇ３４において、同じ画素の２つの色成分を使うが、１画素について１色しかないため、仮想的にＲ成分とＧ成分を生成する（図３のステップＳ２１）。ここで求めたＲ成分とＧ成分は、Ｇ成分の補間に一時的に使うものである。

・画素Ｇ３２の仮想的なＲ成分＝Ｒ３２’＝（Ｒ３１＋Ｒ３３）／２
・画素Ｇ３４の仮想的なＲ成分＝Ｒ３４’＝（Ｒ３５＋Ｒ３３）／２
・画素Ｇ２３の仮想的なＲ成分＝Ｒ２３’＝（Ｒ１３＋Ｒ３３）／２
・画素Ｇ４３の仮想的なＲ成分＝Ｒ４３’＝（Ｒ５３＋Ｒ３３）／２
・画素Ｒ３３の仮想的な垂直Ｇ成分＝Ｇｖ３３’＝（Ｇ２３＋Ｇ４３）／２
・画素Ｒ３３の仮想的な水平Ｇ成分＝Ｇｈ３３’＝（Ｇ３２＋Ｇ３４）／２
（２）．注目画素Ｒ３３と同じ色成分のＲ画素Ｒ１３，Ｒ３３，Ｒ５３，Ｒ３１，Ｒ３５と、補間する色と同じ色成分のＧ画素Ｇ２３，Ｇ４３，Ｇ３２，Ｇ３４と、上記（１）項で仮想的に求めたＲ成分Ｒ３２’，Ｒ３４’，Ｒ２３’，Ｒ４３’とＧ成分Ｇｖ３３’，Ｇｈ３３’を使い、上下と左右の２方向の信号変化量ｄｉｆｆ＿Ｖとｄｉｆｆ＿Ｈをそれぞれ計算する（図３のステップＳ２２、Ｓ２３）。

この変化量は、Ｇ成分同士の差分と、Ｒ成分同士の差分と、同一画素のＲ成分とＧ成分との差分の合計である。これを（８）式に表す。（８）式において、ｄｉｆｆ＿Ｖは垂直方向の差分、ｄｉｆｆ＿Ｈは水平方向の差分、α，β，γはそれぞれ重み付け係数である。

（３）．上記（２）項で求めた信号変化量ｄｉｆｆ＿Ｖとｄｉｆｆ＿Ｈを比較し（図３のステップＳ２４）、図２０の変化量の少ない方向の２画素のＧ成分と、この２画素の上記（１）項で求めた仮想的なＲ成分と、注目画素Ｒ３３のＲ成分を使い、これらのＲ成分の信号変化率で補間する（図３のステップＳ２５ａ又はＳ２５ｂ）。これを（９）式に表す。

次に、図４および図２１を用いて、Ｒ成分補間部１４２によるステップＳ１２ａのＲ成分補間処理の４画素補間について説明する。なお、Ｂ成分補間部１４３によるステップＳ１２ｂのＢ成分補間処理も図４と同じ動作であるので、図４ではＲ成分／Ｂ成分の補間ルーチンを兼用して表現している。ただし以下の説明では、Ｒ成分補間部１４２によるＲ成分補間処理についてのみ説明する。

〔１〕．図２１（Ａ）に示す対角の４画素Ｒ１１，Ｒ１３，Ｒ３１，Ｒ３３のＲ成分に囲まれた中央画素Ｂ２２（注目画素Ｒ３３の対角に位置する）のＲ成分を求める。この処理手順を図４のステップＳ３１〜Ｓ３４ａ，Ｓ３４ｂで示している。

＜画素Ｂ２２のＲ成分を求める計算式＞
（１）．信号変化量の計算と補間処理には、注目画素Ｂ２２と周辺画素Ｒ１１，Ｒ１３，Ｒ３１，Ｒ３３において同じ画素の２つの色成分を使うが、１画素について１色しかないため、注目画素Ｂ２２について仮想的にＲ成分を生成する。ここで求めたＲ成分は、一時的に使うものである。なお、ｓｌａとは正方向対角の成分を示し、ｂｓｌａは負方向対角の成分を示している。

・画素Ｂ２２の仮想的なＲ成分＝Ｒｓｌａ２２’＝（Ｒ１３＋Ｒ３１）／２
・画素Ｂ２２の仮想的なＲ成分＝Ｒｂｓｌａ２２’＝（Ｒ１１＋Ｒ３３）／２
（２）．図２１（Ａ）に示す注目画素Ｂ２２の対角方向のＲ成分と、上記（１）で仮想的に求めたＲ成分Ｒｓｌａ２２’とＲｂｓｌａ２２’、同様にして図２１（Ｂ）に示す上記ステップＳ１１で求めた対角方向のＧ成分から、２方向の信号変化量ｄｉｆｆ＿ｂｓｌａとｄｉｆｆ＿ｓｌａをそれぞれ計算する（図４のステップＳ３１，Ｓ３２）。

この変化量は、Ｇ成分同士の差分と、Ｒ成分同士の差分と、同一画素のＲ成分とＧ成分との差分の合計である。これを（１０）式に表す。（１０）式において、ｄｉｆｆ＿ｂｓｌａは左上から右下方向である負方向対角の差分、ｄｉｆｆ＿ｓｌａは右上から左下方向である正方向対角の差分、α，β，γはそれぞれ重み付け係数である。

（３）．上記（１）の信号変化量を比較し（図４のステップＳ３３）、図２１（Ａ）の変化量の少ない対角方向の２画素のＲ成分と、この２画素のＧ成分（ステップＳ１１で求めた図２１（Ｂ））と、注目画素Ｂ２２のＧ成分を使い、これらのＧ成分の信号変化率で補間する（図４のステップＳ３４ａ又はＳ３４ｂ）。これを（１１）式に表す。

Ｒ成分補間部１４２によるＲ成分補間処理の４画素補間機能は、注目画素の正方向／負方向の対角における仮想的なＲ成分と、注目画素の対角方向のＲ成分と、注目画素の対角方向のＧ成分とを用いて、正方向および負方向の対角における信号変化量を求め、信号変化量を比較して変化量の少ない方向の２画素のＲ成分と、その２画素のＧ成分と、注目画素のＧ成分に基づいて注目画素のＲ成分を補間することになる。

Ｂ成分補間部１４３によるＢ成分補間処理の４画素補間機能は、注目画素の正方向／負方向の対角における仮想的なＢ成分と、注目画素の対角方向のＢ成分と、注目画素の対角方向のＧ成分とを用いて、正方向および負方向の対角における信号変化量を求め、信号変化量を比較して変化量の少ない方向の２画素のＢ成分と、その２画素のＧ成分と、注目画素のＧ成分に基づいて注目画素のＢ成分を補間することになる。

次に、図５および図２２を用いて、Ｒ成分補間部１４２によるステップＳ１２ａのＲ成分補間処理の２画素補間について説明する。なお、Ｂ成分補間部１４３によるステップＳ１２ｂのＢ成分補間処理も図５と同じ動作であるので、図５ではＲ成分／Ｂ成分の補間ルーチンを兼用して表現している。ただし以下の説明では、Ｒ成分補間部１４２によるＲ成分補間処理についてのみ説明する。

〔３〕．図２２（Ａ）の１方向（ここでは上下とするが、左右でも良い）の２画素Ｒ１３，Ｒ３３のＲ成分に挟まれた中央画素Ｇ２３のＲ成分を求める。

（例）画素Ｇ２３のＲ成分を求める計算式
図２２（Ａ）の２画素Ｒ１３，Ｒ３３のＲ成分と、この２画素Ｒ１３，Ｒ３３のＧ成分（ステップＳ１１で求めた図１２（Ｂ））と、注目画素Ｇ２３のＧ成分を使い、これらのＧ成分の信号変化率で補間する（図５のステップＳ４１）。これを（１２）式に表す。

Ｒ成分補間部１４２によるＲ成分補間処理の２画素補間機能は、注目画素の上下又は左右に位置する２画素のＲ成分に挟まれたＧ画素のＲ成分を求めるもので、２画素のＲ成分と、２画素のＧ成分と注目画素のＧ成分を用いてＲ成分を補間することになる。

Ｂ成分補間部１４３によるＢ成分補間処理の２画素補間機能は、注目画素の上下又は左右に位置する２画素のＢ成分に挟まれたＧ画素のＢ成分を求めるもので、２画素のＢ成分と、２画素のＧ成分と注目画素のＧ成分を用いてＢ成分を補間することになる。

上記したように本発明の実施形態によれば、補間する色と同じ色成分と補間する色と違う色成分との２つの色成分を使い、補間する色と同じ色成分と補間する色と違う色成分の信号変化率によって補間することにより、画像の高周波成分が復元され、エッジ部や細部での色ずれがなく、鮮鋭な画像を出力できる。

さらに、この信号変化率を使った補間処理に加えて、補間の対象となる注目画素に対し、複数の方向の信号変化量を、色相を異にする２種の色成分を用い、補間する色成分と同じ色成分同士の差分と、補間する色成分と異なる色成分同士の差分と、同じ画素の２種の色成分の差分を絶対値で加算して求め、この複数の方向の信号変化量から、信号変化量の少ない１方向を選択し、この選択した方向を上記注目画素の補間に使用することにより、より高周波成分に対して画像の復元が可能となる。

上記した実施形態は、上記２種の色成分を用いた方向指定による画素選択を例に、信号変化率を使った補間処理を説明したが、これに限らず、上記２種の色成分を用いた方向指定による画素選択以外に、他の方向指定による画素選択を適用しても上記した信号変化率を使った補間処理が実現できる。

本発明の実施形態による画像処理装置の全体の構成を示すブロック図。 上記実施形態に係る補間処理手順を示すフローチャート。 上記実施形態に係る補間処理手順を示すフローチャート。 上記実施形態に係る補間処理手順を示すフローチャート。 上記実施形態に係る補間処理手順を示すフローチャート。 上記実施形態に係る補間処理の動作概念を示す図。 上記実施形態に係る補間処理の動作概念を示す図。 上記実施形態に係る補間処理の動作概念を示す図。 上記実施形態に係る補間処理の動作概念を示す図。 上記実施形態に係る補間処理の動作概念を示す図。 上記実施形態に係る補間処理の動作概念を示す図。 上記実施形態に係る補間処理の動作概念を示す図。 上記実施形態に係る補間処理の動作概念を示す図。 上記実施形態に係る補間処理の動作概念を示す図。 上記実施形態に係る補間処理の動作概念を示す図。 上記実施形態に係る補間処理の動作概念を示す図。 上記実施形態に係る補間処理の動作概念を示す図。 上記実施形態に係る補間処理の動作概念を示す図。 上記実施形態に係る単板式カラー撮像素子の色フィルタ配列（ベイヤ配列）を示す図。 上記実施形態に係る補間処理の動作概念を説明するための画素配置例を示す図。 上記実施形態に係る補間処理の動作概念を説明するための画素配置例を示す図。 上記実施形態に係る補間処理の動作概念を説明するための画素配置例を示す図。

符号の説明

１１…撮像部、１２…Ａ／Ｄ（アナログ／デジタル）変換器、１３…画像バッファ、１４…補間処理部、１５…信号処理部、１６…出力部、１４１…Ｇ成分補間部、１４２…Ｒ成分補間部、１４３…Ｂ成分補間部。

Claims (11)

1. 単板式カラー撮像素子から得られる画像信号を画素単位で補間する画像処理装置に於いて、
   補間の対象となる注目画素に対し、当該画素の補間に使用する周辺画素を選択し、その選択された画素の情報を用いて前記注目画素の補間を行う補間処理手段を具備し、
   前記補間処理手段は、選択した画素から補間する色と同じ色成分と、補間する色と違う色成分との２つの色成分を抽出し、その抽出した補間する色と同じ色成分と補間する色と違う色成分の信号変化率によって前記注目画素を補間することを特徴とする画像処理装置。
2. 前記補間処理手段は、
   前記補間する色と同じ色成分をＡ、前記補間する色と違う色成分をＣ、前記注目画素をｎ、注目画素の両隣画素をｎ−１，ｎ＋１とし、
   前記補間する色と違う色成分Ｃの信号変化に連続性がないことを判定し、かつ、前記補間する色と違う色成分Ｃの信号レベルが前記補間する色と同じ色成分Ａの信号レベルより大きい判定をしたとき、
   Ａ_ｎ＝Ｃ_ｎ＊(Ａ_ｎ−１＋Ａ_ｎ＋１)／(Ｃ_ｎ−１＋Ｃ_ｎ＋１)・・・補間式（１）
   を用いて前記注目画素の補間を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記補間処理手段は、
   前記補間する色と同じ色成分をＡ、前記補間する色と違う色成分をＣ、前記注目画素をｎ、注目画素の両隣画素をｎ−１，ｎ＋１とし、
   前記補間する色と違う色成分Ｃの信号変化に連続性がないことを判定し、かつ、前記補間する色と違う色成分Ｃの信号レベルが前記補間する色と同じ色成分Ａの信号レベルより小さいことを判定したとき、
   Ａ_ｎ＝(Ｃ_ｎ＋(Ａ_ｎ−１＋Ａ_ｎ＋１)／２)＊(Ａ_ｎ−１＋Ａ_ｎ＋１)／(Ｃ_ｎ−１＋Ｃ_ｎ＋１＋Ａ_ｎ−１＋Ａ_ｎ＋１)・・・補間式（２）
   を用いて前記注目画素の補間を行うことを特徴とする請求項１に記載の画像処理装置。
4. 前記補間処理手段は、
   前記補間する色と同じ色成分をＡ、前記補間する色と違う色成分をＣ、前記注目画素をｎ、注目画素の両隣画素をｎ−１，ｎ＋１とし、
   前記補間する色と違う色成分Ｃの信号変化に連続性があることを判定したとき、
   Ａ_ｎ−１＜Ａ_ｎ＋１ かつ Ｃ_ｎ−１＜Ｃ_ｎ＋１の場合
   Ａ_ｎ＝(Ｃ_ｎ−Ｃ_ｎ−１)＊(Ａ_ｎ＋１−Ａ_ｎ−１)／(Ｃ_ｎ＋１−Ｃ_ｎ−１)＋Ａ_ｎ−１‥‥補間式（3-1）
   Ａ_ｎ−１＞Ａ_ｎ＋１ かつ Ｃ_ｎ−１＜Ｃ_ｎ＋１の場合
   Ａ_ｎ＝(Ｃ_ｎ−Ｃ_ｎ−１)＊(Ａ_ｎ−１−Ａ_ｎ＋１)／(Ｃ_ｎ＋１−Ｃ_ｎ−１)＋Ａ_ｎ＋１‥‥補間式（3-2）
   Ａ_ｎ−１＞Ａ_ｎ＋１ かつ Ｃ_ｎ−１＞Ｃ_ｎ＋１の場合
   Ａ_ｎ＝(Ｃ_ｎ−Ｃ_ｎ＋１)＊(Ａ_ｎ−１−Ａ_ｎ＋１)／(Ｃ_ｎ−１−Ｃ_ｎ＋１)＋Ａ_ｎ＋１‥‥補間式（3-3）
   Ａ_ｎ−１＜Ａ_ｎ＋１ かつ Ｃ_ｎ−１＞Ｃ_ｎ＋１の場合
   Ａ_ｎ＝(Ｃ_ｎ−Ｃ_ｎ＋１)＊(Ａ_ｎ＋１−Ａ_ｎ−１)／(Ｃ_ｎ−１−Ｃ_ｎ＋１)＋Ａ_ｎ−１‥‥補間式（3-4）
   を用いて前記注目画素の補間を行うことを特徴とする請求項１に記載の画像処理装置。
5. 前記補間処理手段は、
   補間の対象となる注目画素に対し、色相を異にする２種の色成分を用いて複数の方向の信号変化量を算出し、
   その算出された前記複数の方向の信号変化量から、信号変化量の少ない１方向を選択し、
   補間する色成分と同じ色成分同士の差分と、補間する色成分と異なる色成分同士の差分と、同じ画素の２種の色成分の差分を絶対値で加算して前記信号変化量を求める
   ことを特徴とする請求項１に記載の画像処理装置。
6. 単板式カラー撮像素子から得られる画像信号を画素単位に補間する画像信号の補間処理方法に於いて、
   補間の対象となる注目画素に対し、当該画素の補間に使用する周辺画素を選択し、
   選択された画素情報から補間する色と同じ色成分と補間する色と違う色成分の２つの色成分を抽出し、
   その抽出した補間する色と同じ色成分と補間する色と違う色成分の信号変化率によって前記注目画素の補間を行うことを特徴とする画像信号の補間処理方法。
7. 前記画像信号はベイヤ配列による色成分の画像信号であり、
   前記ベイヤ配列による色成分のうち、Ｇ成分の補間は、選択された周辺画素の線形補間で仮想的に求めたＲ成分又はＢ成分を用い、
   前記Ｇ成分を補間した後に、このＧ成分を用いてＲまたはＢ成分の補間を行う
   ことを特徴とする請求項７に記載の画像信号の補間処理方法。
8. 単板式カラー撮像素子から得られる画像信号を画素単位で補間する画像処理装置に用いられる画像処理プログラムであって、
   補間の対象となる注目画素に対し、当該画素の補間に使用する周辺画素を選択し、その選択された画素の情報を用いて前記注目画素の補間を行う補間処理機能を具備し、
   前記補間処理機能は、選択した画素の補間する色と同じ色成分と、補間する色と違う色成分との２つの色成分を抽出し、その抽出した補間する色と同じ色成分と補間する色と違う色成分の信号変化率によって前記注目画素を補間することを特徴とする画像処理プログラム。
9. 前記補間処理機能は、
   前記補間する色と同じ色成分をＡ、前記補間する色と違う色成分をＣ、前記注目画素をｎ、注目画素の両隣画素をｎ−１，ｎ＋１とし、
   前記補間する色と違う色成分Ｃの信号変化に連続性がないことを判定し、かつ、前記補間する色と違う色成分Ｃの信号レベルが前記補間する色と同じ色成分Ａの信号レベルより大きい判定をしたとき、
   Ａ_ｎ＝Ｃ_ｎ＊(Ａ_ｎ−１＋Ａ_ｎ＋１)／(Ｃ_ｎ−１＋Ｃ_ｎ＋１)・・・補間式（１）
   を用いて前記注目画素の補間を行うことを特徴とする請求項８に記載の画像処理プログラム。
10. 前記補間処理機能は、
    前記補間する色と同じ色成分をＡ、前記補間する色と違う色成分をＣ、前記注目画素をｎ、注目画素の両隣画素をｎ−１，ｎ＋１とし、
    前記補間する色と違う色成分Ｃの信号変化に連続性がないことを判定し、かつ、前記補間する色と違う色成分Ｃの信号レベルが前記補間する色と同じ色成分Ａの信号レベルより小さいことを判定したとき、
    Ａ_ｎ＝(Ｃ_ｎ＋(Ａ_ｎ−１＋Ａ_ｎ＋１)／２)＊(Ａ_ｎ−１＋Ａ_ｎ＋１)／(Ｃ_ｎ−１＋Ｃ_ｎ＋１＋Ａ_ｎ−１＋Ａ_ｎ＋１)・・・補間式（２）
    を用いて前記注目画素の補間を行うことを特徴とする請求項８に記載の画像処理プログラム。
11. 前記補間処理機能は、
    前記補間する色と同じ色成分をＡ、前記補間する色と違う色成分をＣ、前記注目画素をｎ、注目画素の両隣画素をｎ−１，ｎ＋１とし、
    前記補間する色と違う色成分Ｃの信号変化に連続性があることを判定したとき、
    Ａ_ｎ−１＜Ａ_ｎ＋１ かつ Ｃ_ｎ−１＜Ｃ_ｎ＋１の場合
    Ａ_ｎ＝(Ｃ_ｎ−Ｃ_ｎ−１)＊(Ａ_ｎ＋１−Ａ_ｎ−１)／(Ｃ_ｎ＋１−Ｃ_ｎ−１)＋Ａ_ｎ−１‥‥補間式（3-1）
    Ａ_ｎ−１＞Ａ_ｎ＋１ かつ Ｃ_ｎ−１＜Ｃ_ｎ＋１の場合
    Ａ_ｎ＝(Ｃ_ｎ−Ｃ_ｎ−１)＊(Ａ_ｎ−１−Ａ_ｎ＋１)／(Ｃ_ｎ＋１−Ｃ_ｎ−１)＋Ａ_ｎ＋１‥‥補間式（3-2）
    Ａ_ｎ−１＞Ａ_ｎ＋１ かつ Ｃ_ｎ−１＞Ｃ_ｎ＋１の場合
    Ａ_ｎ＝(Ｃ_ｎ−Ｃ_ｎ＋１)＊(Ａ_ｎ−１−Ａ_ｎ＋１)／(Ｃ_ｎ−１−Ｃ_ｎ＋１)＋Ａ_ｎ＋１‥‥補間式（3-3）
    Ａ_ｎ−１＜Ａ_ｎ＋１ かつ Ｃ_ｎ−１＞Ｃ_ｎ＋１の場合
    Ａ_ｎ＝(Ｃ_ｎ−Ｃ_ｎ＋１)＊(Ａ_ｎ＋１−Ａ_ｎ−１)／(Ｃ_ｎ−１−Ｃ_ｎ＋１)＋Ａ_ｎ−１‥‥補間式（3-4）
    を用いて前記注目画素の補間を行うことを特徴とする請求項８に記載の画像処理プログラム。

Images