JP2010028373A - 画像処理装置および画像信号の補間処理方法 - Google Patents

Abstract

【課題】画像のエッジ部や細部の高周波成分を復元できる、汎用性の高い画像処理装置を提供する。
【解決手段】補間処理部１４を構成する、Ｇ成分補間部１４１、Ｒ成分補間部１４２、およびＢ成分補間部１４３は、それぞれ補間の対象となる注目画素に対して、複数方向の信号変化量を求め、この複数方向の信号変化量から、変化量の少ない１方向を選択し、この選択した方向の画素を使って補間処理を行う。この信号変化量は、２つの色成分を使い、補間する色と同じ色同士の差分と、補間する色と違う色同士の差分と、同じ画素の２つの色成分の差分とを求め、これらの差分を絶対値で加算して求める。また、重み付け係数を使い、計算の重み付けをする。
【選択図】 図１

Description

本発明は、単板式カラー撮像素子から得られる画像信号を補間する画像処理装置および画像信号の補間処理方法に関する。

単板式カラー撮像素子においては、出力画像の個々の画素について、１つの色情報しか得ることができない。このため、足りない色情報は周りの画素から推定し、赤、緑、青（Ｒ，Ｇ，Ｂ）の３原色に復元している。この色情報の推定には、いくつかの方法があるが、最も簡単な周辺画素の平均によって補間する線形補間を用いると、エッジ部や細部で色ずれが出たり、ぼやけた画像になってしまったりする。この問題を解決するための技術として、局所ブロックのカラーフィルタに対してセルの重み付けによる加重平均値を加減操作することにより、画質の改善を図る技術や、カラーフィルタの色配列を工夫することで、解像度の向上を図った技術が存在する（例えば、特許文献１参照。）。しかしながら、セルの重み付けによる加重平均値を加減操作する技術においては、画像のエッジ部や細部の高周波成分について再現性（復元性）に問題がある。
特開２０００−２８７２１９号公報

上述したように特許文献１に記載された従来の画像補間技術に於いては、再現性に問題があった。

本発明は、画像のエッジ部や細部の高周波成分を復元でき、色ずれを低減することができる画像処理装置および画像信号の補間処理方法を提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、単板式カラー撮像素子から得られるベイヤ配列による色成分の画像信号を画素単位で補間する画像処理装置に於いて、補間の対象となる注目画素に対し、補間する色と同じ色成分同士の差分と、補間する色と異なる色成分同士の差分と、同じ画素の２つの色成分の差分とを求め、これらの差分を絶対値で加算して複数の方向の信号変化量を算出し、前記算出された前記複数の方向の信号変化量から、信号変化量の少ない１方向を選択し、前記選択された方向を前記注目画素の補間に使用する画素の方向として前記注目画素の補間を行う補間処理手段を具備することを特徴とする。

また、本発明の画像信号の補間処理方法は、単板式カラー撮像素子から得られるベイヤ配列による色成分の画像信号を画素単位で補間する画像信号の補間処理方法に於いて、補間の対象となる注目画素に対し、補間する色と同じ色成分の差分と、補間する色と異なる色成分同士の差分と、同じ画素の２つの色成分の差分とを求め、これらの差分を絶対値で加算して複数の方向の信号変化量を求め、前記複数の方向の信号変化量から、信号変化量の少ない１方向を、前記注目画素の補間に使用する画素の方向として選択し、前記選択された方向を前記注目画素の補間に使用する画素の方向として前記注目画素の補間を行うことを特徴とする。

また、本発明の画像処理装置は、単板式カラー撮像素子から得られるベイヤ配列による色成分の画像信号を画素単位で補間する画像処理装置に於いて、補間の対象となる注目画素と同じ色成分のＲ画素又はＢ画素と、補間する色と同じ成分のＧ画素とを用いて、注目画素の上下および左右の第１の信号変化量を求め、前記注目画素の周辺に隣接する画素から仮想的なＲ成分又はＢ成分とを求め、前記第１の信号変化量を比較して変化量の少ない方向の２画素のＧ成分と、その２画素の前記仮想的なＲ成分又はＢ成分とに基づいて前記注目画素のＧ成分を補間するＧ成分補間手段と、前記注目画素の正方向／負方向の対角における仮想的なＲ成分と、前記注目画素の対角方向のＲ成分と、前記注目画素の対角方向のＧ成分とを用いて、前記正方向および負方向の対角における第２の信号変化量を求め、前記第２の信号変化量を比較して変化量の少ない方向の２画素のＲ成分と、その２画素の前記Ｇ成分と、前記注目画素のＧ成分に基づいて前記注目画素のＲ成分を補間する第１のＲ成分補間手段と、前記注目画素の正方向／負方向の対角における仮想的なＢ成分と、前記注目画素の対角方向のＢ成分と、前記注目画素の対角方向のＧ成分とを用いて、前記正方向および負方向の対角における第３の信号変化量を求め、前記第３の信号変化量を比較して変化量の少ない方向の２画素のＢ成分と、その２画素の前記Ｇ成分と、前記注目画素のＧ成分に基づいて前記注目画素のＢ成分を補間する第１のＢ成分補間手段と、前記注目画素の上下又は左右に位置する２画素のＲ成分に挟まれたＧ画素のＲ成分を求めるための、前記２画素のＲ成分と、前記２画素のＧ成分と前記注目画素のＧ成分を用いてＲ成分を補間する第２のＲ成分補間手段と、前記注目画素の上下又は左右に位置する２画素のＢ成分に挟まれたＧ画素のＲ成分を求めるための、前記２画素のＢ成分と、前記２画素のＧ成分と前記注目画素のＧ成分を用いてＢ成分を補間する第２のＲ成分補間手段と、を具備することを特徴とする。

本発明によれば、画像のエッジ部や細部の高周波成分を復元でき、色ずれを低減することができる画像処理装置が提供できる。

以下、図面を参照して本発明の実施形態を説明する。
本発明の実施形態に係る画像処理装置の全体の構成を図１に示し、同画像処理装置における補間処理ルーチンを図２乃至図５に示し、補間処理の動作概念を図６乃至図８に示し、同補間処理における画素配置例を図９乃至図１２に示している。

本発明の実施形態に係る画像処理装置は、図１に示すように、撮像部１１と、Ａ／Ｄ（アナログ／デジタル）変換器１２と、画像ラインバッファ１３と、補間処理部１４と、信号処理部１５と、出力部１６とを具備する。

撮像部１１は、単板式カラー撮像素子により構成される。ここでは、図９に示すベイヤ配列による色成分の画像信号を出力する。Ａ／Ｄ変換器１２は、撮像部１１の単板式カラー撮像素子から出力される画像信号を画素単位のデジタル信号に変換する。画像ラインバッファ１３は、少なくとも３ライン分の複数のラインバッファを有し、Ａ／Ｄ変換された画像データを補間処理に必要な複数ライン分、ライン毎の更新を行いながら保持する。信号処理部１５は、補間処理部１４で補間処理されたＲ（赤），Ｇ（緑），Ｂ（青）の画像データに、例えば色補正、輪郭強調等の所定の加工処理を施す。出力部１６は、信号処理部１５で処理された画像データを出力（例えば表示出力）する。

補間処理部１４は、Ｇ成分補間部１４１とＲ成分補間部１４２とＢ成分補間部１４３とを具備する。Ｇ成分補間部１４１は、Ｇ成分の補間対象画素に対して補間処理を行い、Ｒ成分補間部１４２はＲ成分の補間対象画素に対して補間処理を行い、Ｂ成分補間部１４３はＢ成分の補間対象画素に対して補間処理を行う。

Ｇ成分補間部１４１、Ｒ成分補間部１４２、Ｂ成分補間部１４３は、それぞれ補間の対象となる注目画素ｎに対し、色相を異にする２種の色成分を用いて複数の方向の信号変化量を求めるもので、補間する色成分と同じ色成分同士の差分と、補間する色成分と異なる色成分同士の差分と、同じ画素の２種の色成分の差分とを求め、これらの差分を絶対値で加算して求める。求めた複数の方向の信号変化量から、信号変化量の少ない１方向を、上記注目画素ｎの補間に使用する画素の方向として選択する。その選択された方向を、上記注目画素ｎの補間に使用する画素の方向として上記注目画素ｎの補間を行う。

Ｇ成分補間部１４１は、Ｇ成分の補間時の信号変化量について、周辺画素の線形補間で仮想的に求めた色成分を用いて上記２種の色成分から複数方向の信号変化量を求める。Ｒ成分補間部１４２、およびＢ成分補間部１４３は、Ｒ成分およびＢ成分の信号変化量について、それぞれ周辺画素の線形補間で仮想的に求めた色成分と、上記Ｇ成分の補間結果を含んだ色成分を用いて上記２種の色成分から複数方向の信号変化量を算出する。

なお、上記Ｇ成分補間部１４１、Ｒ成分補間部１４２、Ｂ成分補間部１４３は、ハードウェアによって構成しても良く、またソフトウェアによって構成しても良い。

この補間処理部１４における補間処理について、さらに図面を参照して説明する。
図６乃至図８において、図６は信号変化量の計算に使う画素を示し、図７はＧ成分補間時の信号変化量の計算に使う画素を示し、図８はＲ，Ｂ成分補間時の信号変化量の計算に使う画素を示している。

補間処理部１４を構成するＧ成分補間部１４１、Ｒ成分補間部１４２、およびＢ成分補間部１４３は、それぞれ補間の対象となる注目画素ｎに対して、複数方向の信号変化量を求め、この複数方向の信号変化量から、変化量の少ない１方向を選択し、この選択した方向の画素を使って補間処理を行う。

この信号変化量は、図６に示すように、２つ（２種）の色成分（Ａ系信号，Ｃ系信号）を使い、補間する色と同じ色成分（Ａ系信号）同士の差分と、補間する色と違う色成分（Ｃ系信号）同士の差分と、同じ画素の２つの色成分の差分（ｄｉｆｆ）とを求め、これらの差分を絶対値で加算して求める。また、重み付け係数α，β，γを使い、計算の重み付けをする。

この差分（ｄｉｆｆ）を計算式で表すと、（１）式（信号変化量の基本式）になる。この（１）式において、Ａは補間する色と同じ色成分を表し、Ｃは補間する色とは違う色成分を表し、ｎは注目画素で、ｎ−１，ｎ＋１は注目画素の隣の画素を表している。α，β，γは重み付け係数である。

上記したように、各画素の２つの色成分を使い、信号変化量の基本式で求めるが、各画素の原画成分は１つの色成分しかない。そこで、Ｇ成分の補間時の信号変化量は、図７に示すように、Ｒ成分又はＢ成分の周辺画素の線形補間で仮想的に求めた色成分（ＲＢ_ｎ−１、ＲＢ_ｎ＋１）を使い、この２つの色成分から計算する。ここで、ＲＢとはＲ成分又はＢ成分を表現したものである。また、Ｒ成分またはＢ成分の補間時の信号変化量は、図８に示すように、Ｒ成分又はＢ成分の周辺画素の線形補間で仮想的に求めた色成分（ＲＢ_ｎ）と、最初に全てのＧ成分を補間した結果Ｇｎを使って、２つの色成分から計算する。

ここで、色相を異にする２種の色成分を用いて求めた複数方向の信号変化量の中から選択した１方向の画素を使って補間処理を行う補間処理手順について、図２乃至図５に示すフローチャートと、図９乃至図１２に示す画素配置例を参照して説明する。ここでは、補間する色と同じ色成分（Ａ系信号）と補間する色と違う色成分（Ｃ系信号）の２種の色成分を使い、補間する色と同じ色成分（Ａ系信号）と補間する色と違う色成分（Ｃ系信号）の信号変化率によって補間する。この信号変化率を使った補間処理を対象に、処理の手順を説明する。

ここでは、図２は補間処理全体の処理手順を示し、図３はＧ成分の補間処理手順を示し、図４はＲ成分、Ｂ成分の４画素補間の処理手順を示し、図５はＲ成分、Ｂ成分の２画素補間の処理手順を示している。

さらに、図９は単板式カラー撮像素子の色フィルタ配列（ベイヤ配列）を示し、図１０はＧ成分の４画素に囲まれた中央画素のＧ成分の補間に使う画素を示し、図１１（Ａ）はＲ成分の４画素に囲まれた中央画素のＲ成分の補間に使う画素を示し、図１１（Ｂ）はＲ成分の４画素に囲まれた中央画素のＲ成分の補間に使う画素のＧ成分を示し、図１２（Ａ）はＲ成分の２画素に挟まれた中央画素のＲ成分の補間に使う画素を示し、図１２（Ｂ）はＲ成分の２画素に挟まれた中央画素のＲ成分の補間に使う画素のＧ成分を示している。

図９に示す、ベイヤ配列における補間処理手順は、補間処理部１４のＧ成分補間部１４１を用いて、最初に全てのＧ成分の補間処理を実行する（図２のステップＳ１１）。次に、補間した結果のＧ成分を使って、補間処理部１４のＲ成分補間部１４２とＢ成分補間処理部１４３とも用いて、Ｒ成分の補間処理と，Ｂ成分の補間処理を同時に実行する（図２のステップＳ１２ａ，Ｓ１２ｂ）。この２回のステップで補間が完了する。

次に、図３と図１０用いてＧ成分補間部１４１によるステップＳ１１のＧ成分の補間処理について説明する。

Ｇ成分補間部１４１によるＧ成分補間処理の４画素補間機能は、注目画素の上下／左右方向における仮想的なＧ成分と、注目画素の上下／左右方向のＧ成分と、その画素の仮想的なＲ成分またはＢ成分と、注目画素のＲ成分またはＢ成分を用いて、上下／左右方向における信号変化量を求め、その上下方向の信号変化量と左右方向の信号変化量とを比較して変化量の少ない方向の２画素のＧ成分と、その２画素のＲ成分またはＢ成分と、注目画素のＲ成分またはＢ成分に基づいて注目画素のＧ成分を補間するものである。

具体的には、上下左右の４画素(Ｇ２３，Ｇ４３，Ｇ３２，Ｇ３４）のＧ成分に囲まれた中央画素Ｒ３３のＧ成分を求める。この処理手順を図３にステップＳ２１〜Ｓ２５ａ，Ｓ２５ｂで示している。ここでは、図１０に示す画素Ｒ３３のＧ成分の補間について説明する。

（１）．信号変化量の計算と補間処理には、注目画素Ｒ３３と周辺画素Ｇ２３，Ｇ４３，Ｇ３２，Ｇ３４において、同じ画素の２つの色成分を使うが、１画素について１色しかないため、仮想的にＲ成分とＧ成分を生成する（図３のステップＳ２１）。ここで求めたＲ成分とＧ成分は、Ｇ成分の補間に一時的に使うものである。

・画素Ｇ３２の仮想的なＲ成分＝Ｒ３２’＝（Ｒ３１＋Ｒ３３）／２
・画素Ｇ３４の仮想的なＲ成分＝Ｒ３４’＝（Ｒ３５＋Ｒ３３）／２
・画素Ｇ２３の仮想的なＲ成分＝Ｒ２３’＝（Ｒ１３＋Ｒ３３）／２
・画素Ｇ４３の仮想的なＲ成分＝Ｒ４３’＝（Ｒ５３＋Ｒ３３）／２
・画素Ｒ３３の仮想的な垂直Ｇ成分＝Ｇｖ３３’＝（Ｇ２３＋Ｇ４３）／２
・画素Ｒ３３の仮想的な水平Ｇ成分＝Ｇｈ３３’＝（Ｇ３２＋Ｇ３４）／２
（２）．注目画素Ｒ３３と同じ色成分のＲ画素Ｒ１３，Ｒ３３，Ｒ５３，Ｒ３１，Ｒ３５と、補間する色と同じ色成分のＧ画素Ｇ２３，Ｇ４３，Ｇ３２，Ｇ３４、上記（１）で仮想的に求めたＲ成分とＧ成分Ｒ３２’，Ｒ３４’，Ｒ２３’，Ｒ４３’とＧ成分Ｇｖ３３’，Ｇｈ３３’を使い、上下と左右の２方向の信号変化量ｄｉｆｆ＿Ｖ，ｄｉｆｆ＿Ｈをそれぞれ計算する（図３のステップＳ２２、Ｓ２３）。

この変化量は、Ｇ成分同士差分と、Ｒ成分同士の差分と、同一画素のＲ成分とＧ成分との差分の合計である。これを（２）式に表す。（２）式において、ｄｉｆｆ＿Ｖは垂直方向の差分、ｄｉｆｆ＿Ｈは水平方向の差分、α，β，γはそれぞれ重み付け係数である。

（３）．上記（２）項で求めた信号変化量ｄｉｆｆ＿Ｖ，ｄｉｆｆ＿Ｈを比較し（図３のステップＳ２４）、図１０の変化量の少ない方向の２画素のＧ成分と、この２画素の上記（１）項で求めた仮想的なＲ成分と、注目画素Ｒ３３のＲ成分を使い、これらのＲ成分の信号変化率で補間する（図３のステップＳ２５ａ又はＳ２５ｂ）。これを（３）式に表す。

次に、図４および図１１（Ａ），（Ｂ）を用いて、Ｒ成分補間部１４２によるステップＳ１２ａのＲ成分補間処理の４画素補間について説明する。なお、Ｂ成分補間部１４３によるステップＳ１２ｂのＢ成分補間処理も図４と同じ動作であるので、図４ではＲ成分／Ｂ成分の補間ルーチンを兼用して表現している。ただし以下の説明では、Ｒ成分補間部１４２によるＲ成分補間処理についてのみ説明する。

〔１〕．図１１（Ａ）に示す対角の４画素Ｒ１１，Ｒ１３，Ｒ３１，Ｒ３３のＲ成分に囲まれた中央画素Ｂ２２（注目画素Ｒ３３の対角に位置する）のＲ成分を求める。この処理手順を図４のステップＳ３１〜Ｓ３４ａ，Ｓ３４ｂで示している。

＜画素Ｂ２２のＲ成分を求める計算式＞
（１）．信号変化量の計算と補間処理には、注目画素Ｂ２２と周辺画素Ｒ１１，Ｒ１３，Ｒ３１，Ｒ３３において同じ画素の２つの色成分を使うが、１画素について１色しかないため、注目画素Ｂ２２について仮想的にＲ成分を生成する。ここで求めたＲ成分は、一時的に使うものである。なお、ｓｌａとは正方向対角の成分を示し、ｂｓｌａは負方向対角の成分を示している。

・画素Ｂ２２の仮想的なＲ成分＝Ｒｓｌａ２２’＝（Ｒ１３＋Ｒ３１）／２
・画素Ｂ２２の仮想的なＲ成分＝Ｒｂｓｌａ２２’＝（Ｒ１１＋Ｒ３３）／２
（２）．図１１（Ａ）に示す注目画素Ｂ２２の対角方向のＲ成分と、上記（１）で仮想的に求めたＲ成分Ｒｓｌａ２２’とＲｂｓｌａ２２’、同様にして図１１（Ｂ）に示すステップＳ１１で求めた対角方向のＧ成分から、２方向の信号変化量ｄｉｆｆ＿ｂｓｌａとｄｉｆｆ＿ｓｌａをそれぞれ計算する（図４のステップＳ３１，Ｓ３２）。

この変化量は、Ｇ成分同士の差分と、Ｒ成分同士の差分と、同一画素のＲ成分とＧ成分との差分の合計である。これを（４）式に表す。（４）式において、ｄｉｆｆ＿ｂｓｌａは左上から右下方向である負方向対角の差分、ｄｉｆｆ＿ｓｌａは右上から左下方向である正方向対角の差分、α，β，γはそれぞれ重み付け係数である。

（３）．上記（１）の信号変化量を比較し（図４のステップＳ３３）、図１１（Ａ）の変化量の少ない対角方向の２画素のＲ成分と、この２画素のＧ成分（ステップＳ１１で求めた図１１（Ｂ））と、注目画素Ｂ２２のＧ成分を使い、これらのＧ成分の信号変化率で補間する（図４のステップＳ３４ａ又はＳ３４ｂ）。これを（５）式に表す。

Ｒ成分補間部１４２によるＲ成分補間処理の４画素補間機能は、注目画素の正方向／負方向の対角における仮想的なＲ成分と、注目画素の対角方向のＲ成分と、注目画素の対角方向のＧ成分とを用いて、正方向および負方向の対角における信号変化量を求め、信号変化量を比較して変化量の少ない方向の２画素のＲ成分と、その２画素のＧ成分と、注目画素のＧ成分に基づいて注目画素のＲ成分を補間することになる。

Ｂ成分補間部１４３によるＢ成分補間処理の４画素補間機能は、注目画素の正方向／負方向の対角における仮想的なＢ成分と、注目画素の対角方向のＢ成分と、注目画素の対角方向のＧ成分とを用いて、正方向および負方向の対角における信号変化量を求め、信号変化量を比較して変化量の少ない方向の２画素のＢ成分と、その２画素のＧ成分と、注目画素のＧ成分に基づいて注目画素のＢ成分を補間することになる。

次に、図５および図１２（Ａ），（Ｂ）を用いて、Ｒ成分補間部１４２によるステップＳ１２ａのＲ成分補間処理の２画素補間について説明する。なお、Ｂ成分補間部１４３によるステップＳ１２ｂのＢ成分補間処理も図５と同じ動作であるので、図５ではＲ成分／Ｂ成分の補間ルーチンを兼用して表現している。ただし以下、Ｒ成分補間部１４２による、Ｒ成分補間処理についてのみ説明する。

〔３〕．図１２（Ａ）の１方向（ここでは上下とするが、左右でも良い）の２画素Ｒ１３，Ｒ３３のＲ成分に挟まれた中央画素Ｇ２３のＲ成分を求める。

＜画素Ｇ２３のＲ成分を求める計算式＞
図１２（Ａ）の２画素Ｒ１３、Ｒ２３のＲ成分と、この２画素Ｒ１３、Ｒ２３のＧ成分（ステップＳ１１で求めた図１２（Ｂ））と、注目画素Ｇ２３のＧ成分を使い、これらのＧ成分の信号変化率で補間する（図５のステップＳ４１）。これを（６）式に表す。

Ｒ成分補間部１４２によるＲ成分補間処理の２画素補間機能は、注目画素の上下又は左右に位置する２画素のＲ成分に挟まれたＧ画素のＲ成分を求めるもので、２画素のＲ成分と、２画素のＧ成分と、注目画素のＧ成分を用いてＲ成分を補間することになる。

Ｂ成分補間部１４３によるＢ成分補間処理の２画素補間機能は、注目画素の上下又は左右に位置する２画素のＢ成分に挟まれたＧ画素のＢ成分を求めるもので、２画素のＢ成分と、２画素のＧ成分と、注目画素のＧ成分を用いてＢ成分を補間することになる。

上記したように本発明の実施形態によれば、複数方向の信号変化量を、２種の色成分を使い、補間する色と同じ色成分同士の差分と、補間する色と違う色成分同士の差分と、同じ画素の２つの色成分の差分とを求め、これらの差分を絶対値で加算し、この変化量の少ない１方向の画素を使って、信号変化率を使った補間や、線形補間、またはその他の方法で補間することにより、画像の高周波成分が復元され、エッジ部や細部での色ずれがなく、鮮鋭な画像を出力できる。

さらに上記実施形態による、補間する色と同じ色成分と補間する色と違う色成分の２つの色成分を使い、補間する色と同じ色成分と補間する色と違う色成分の信号変化率によって補間することにより、より高周波成分に対して画像の復元が可能となる。

上記した実施形態は、補間に用いる画素の方向検出と、この検出した方向が示す画素を使った補間処理の双方に、それぞれ、補間する色と同じ色成分と補間する色と違う色成分の２つの色成分を使う例を示したが、この発明は、上述した実施の形態そのままに限定されるものではなく、実施段階では本発明の要旨を逸脱しない範囲で構成要素を変形または変更して実施できる。

本発明の実施形態による画像処理装置の全体の構成を示すブロック図。 上記実施形態に係る補間処理手順を示すフローチャート。 上記実施形態に係る補間処理手順を示すフローチャート。 上記実施形態に係る補間処理手順を示すフローチャート。 上記実施形態に係る補間処理手順を示すフローチャート。 上記実施形態に係る補間処理の動作を示す図。 上記実施形態に係る補間処理の動作を示す図。 上記実施形態に係る補間処理の動作を示す図。 上記実施形態に係る単板式カラー撮像素子の色フィルタ配列（ベイヤ配列）を示す図。 上記実施形態に係る補間処理の動作の画素配置例を示す図。 上記実施形態に係る補間処理の動作の画素配置例を示す図。 上記実施形態に係る補間処理の動作の画素配置例を示す図。

符号の説明

１１…撮像部、１２…Ａ／Ｄ（アナログ／デジタル）変換器、１３…画像バッファ、１４…補間処理部、１５…信号処理部、１６…出力部、１４１…Ｇ成分補間部、１４２…Ｒ成分補間部、１４３…Ｂ成分補間部。

Claims (7)

1. 単板式カラー撮像素子から得られるベイヤ配列による色成分の画像信号を画素単位で補間する画像処理装置に於いて、
   補間の対象となる注目画素に対し、補間する色と同じ色成分同士の差分と、補間する色と異なる色成分同士の差分と、同じ画素の２つの色成分の差分とを求め、これらの差分を絶対値で加算して複数の方向の信号変化量を算出し、
   前記算出された前記複数の方向の信号変化量から、信号変化量の少ない１方向を選択し、
   前記選択された方向を前記注目画素の補間に使用する画素の方向として前記注目画素の補間を行う補間処理手段を
   具備することを特徴とする画像処理装置。
2. 前記補間処理手段は、
   周辺画素の線形補間で仮想的に求めた色成分を用いて前記２種の色成分から前記Ｇ成分の補間時の前記信号変化量を算出し、
   周辺画素の線形補間で仮想的に求めた色成分と、前記Ｇ成分の補間結果を含んだ色成分を用いて前記２種の色成分から前記Ｒ成分およびＢ成分の前記信号変化量を算出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 単板式カラー撮像素子から得られるベイヤ配列による色成分の画像信号を画素単位で補間する画像信号の補間処理方法に於いて、
   補間の対象となる注目画素に対し、補間する色と同じ色成分の差分と、補間する色と異なる色成分同士の差分と、同じ画素の２つの色成分の差分とを求め、
   これらの差分を絶対値で加算して複数の方向の信号変化量を求め、
   前記複数の方向の信号変化量から、信号変化量の少ない１方向を、前記注目画素の補間に使用する画素の方向として選択し、
   前記選択された方向を前記注目画素の補間に使用する画素の方向として前記注目画素の補間を行う
   ことを特徴とする画像信号の補間処理方法。
4. Ｇ成分の補間時の信号変化量は、周辺画素の線形補間で仮想的に求めた色成分を用いて前記２種の色成分から算出し、
   Ｒ成分およびＢ成分の信号変化量は、それぞれ周辺画素の線形補間で仮想的に求めた色成分と、前記Ｇ成分の補間結果を含んだ色成分を用いて前記２種の色成分から算出する
   ことを特徴とする請求項３に記載の画像信号の補間処理方法。
5. 単板式カラー撮像素子から得られるベイヤ配列による色成分の画像信号を画素単位で補間する画像処理装置に於いて、
   補間の対象となる注目画素と同じ色成分のＲ画素又はＢ画素と、補間する色と同じ成分のＧ画素とを用いて、注目画素の上下および左右の第１の信号変化量を求め、前記注目画素の周辺に隣接する画素から仮想的なＲ成分又はＢ成分とを求め、前記第１の信号変化量を比較して変化量の少ない方向の２画素のＧ成分と、その２画素の前記仮想的なＲ成分又はＢ成分とに基づいて前記注目画素のＧ成分を補間するＧ成分補間手段と、
   前記注目画素の正方向／負方向の対角における仮想的なＲ成分と、前記注目画素の対角方向のＲ成分と、前記注目画素の対角方向のＧ成分とを用いて、前記正方向および負方向の対角における第２の信号変化量を求め、前記第２の信号変化量を比較して変化量の少ない方向の２画素のＲ成分と、その２画素の前記Ｇ成分と、前記注目画素のＧ成分に基づいて前記注目画素のＲ成分を補間する第１のＲ成分補間手段と、
   前記注目画素の正方向／負方向の対角における仮想的なＢ成分と、前記注目画素の対角方向のＢ成分と、前記注目画素の対角方向のＧ成分とを用いて、前記正方向および負方向の対角における第３の信号変化量を求め、前記第３の信号変化量を比較して変化量の少ない方向の２画素のＢ成分と、その２画素の前記Ｇ成分と、前記注目画素のＧ成分に基づいて前記注目画素のＢ成分を補間する第１のＢ成分補間手段と、
   前記注目画素の上下又は左右に位置する２画素のＲ成分に挟まれたＧ画素のＲ成分を求めるための、前記２画素のＲ成分と、前記２画素のＧ成分と前記注目画素のＧ成分を用いてＲ成分を補間する第２のＲ成分補間手段と、
   前記注目画素の上下又は左右に位置する２画素のＢ成分に挟まれたＧ画素のＲ成分を求めるための、前記２画素のＢ成分と、前記２画素のＧ成分と前記注目画素のＧ成分を用いてＢ成分を補間する第２のＲ成分補間手段と、
   を具備することを特徴とする画像処理装置。
6. 前記Ｇ成分補間手段は、前記隣接する上下の画素の変化量と、前記隣接する左右の画素の変化量とを求め、その変化量の小さい方の仮想的なＲ成分又はＢ成分を選択することを特徴とする請求項５に記載の画像処理装置。
7. 前記隣接する上下の画素の変化量および前記隣接する左右の画素の変化量は、
   前記注目画素および前記注目画素に隣接する同じ色成分のＲ画素と、前記注目画素に隣接する補間する色と同じ色成分の画素と、前記仮想的に求めたＲ成分と、前記注目画素の水平Ｇ成分および垂直Ｇ成分とを用いて、上下と左右の信号変化量を算出することを特徴とする請求項６に記載の画像処理装置。

Images