JP2012134671A - 画像処理装置 - Google Patents

Abstract

【課題】画面全体が色かぶりしたような状態でも、本来の無彩色部での解像力を得られるようにする。
【解決手段】色補間部５３において、固定ホワイトバランスゲインが選択されたときであっても、オートホワイトバランスゲインに基づいて修正された画素値で有彩色か無彩色かの彩色判定をし、該彩色判定で決定された補間演算式に基づいて固定ホワイトバランスゲインによる修正画素値を補正して色補間する。
【選択図】図４

Description

本発明は、単板式のカラー撮像方式が採用される撮像装置等に用いられる画像処理装置および画像処理方法に関するものである。

デジタルカメラでは、ベイヤ配列画素でなる撮像素子を用いた単板式撮像方式が主流となっている。ベイヤ配列の撮像素子で撮像された被写体像情報を示すベイヤデータから画像信号を生成する場合、ベイヤデータにおける各画素に配置されている色フィルタ以外の色情報（画素値）を補間する必要がある。特に、Ｇ画素の情報は輝度情報に影響を与えるため、Ｇ画素の情報は画像信号の解像度や輪郭のシャープネスに影響を与えることになる。

ところで、従来は、ホワイトバランスが施された画像に色補間を施す。このとき、有彩色部と無彩色部とで補間演算式を異ならせている。

図１と図２とでは、パターンの方向が異なるが、Ｇ画素だけみただけでは、どちらのパターンか判断ができない。そのため、Ｇ以外の画素を用いて空間的に、方向の相関性を求めることが行われる。

このときに、このパターンが無彩色であれば、Ｒ、Ｇ、Ｂそれぞれの画素値が、ほぼ同一となるため、正しく方向を判定可能であり、この方向判定に基づいて色補間すべき画素に対する周囲画素値の寄与度に重み付けを施すことによって、色補間したときの解像力の低下を防止するようにしている。

一方、このパターンが有彩色の場合は、逆のパターンだと認識されてしまう場合がある。そこで、従来は、有彩色の場合は方向判定せず、色補間すべき画素に対する周囲画素値の寄与度を均等に設定している。

この他にも、解像力の低下を防止すべく、たとえば特許文献１ではＧ画素の補間に、Ｒ、Ｂの情報も使用して方向相関を求めて補間値を算出し、この結果にハイパスフィルタをかけ、Ｇ画素のみから補間した結果に加算するようにしている。また、特許文献２では、無彩色部であるときだけ、ｆＮ／２の空間周波数の領域で、Ｒ，Ｂを用いて方向判定を行うようにしている。

特許４４９７２３３ 特開２００７−３２９９７６号公報

ここで問題となるのは、有彩色の場合、解像力の低下が招来されるという点である。たとえば、プリセットホワイトバランスが選択されて、画像全体が色かぶりしているような状況では、本来の画面全体の解像力が失われてしまうことになる。

本発明は、この課題を解決すべくなされたものであって、その主たる目的は、例えば画面全体が色かぶりしたような状態でも、本来の無彩色部での解像力を得られるようにすることにある。

すなわち、本発明は、ベイヤ配列原画像から得られるＲ、Ｇ、Ｂそれぞれの画素値に少なくとも基づいてオートホワイトバランスゲインを算出する一方で、予め設定された又は外部から入力されたホワイトバランスゲインである固定ホワイトバランスゲインを受け付け、前記オートホワイトバランスゲイン又は前記固定ホワイトバランスゲインのうちの選択されたいずれかに基づいて前記原画像の画素値を修正し、前記修正画素値を、その周囲の画素値をパラメータとする所定の補間演算式で補正することによって色補間し、前記補間演算式が無彩色の場合と有彩色の場合とで異なるようにしたものである。

そして、前記色補間において、前記固定ホワイトバランスゲインが選択されたときであっても、前記オートホワイトバランスゲインに基づいて修正された画素値で有彩色か無彩色かの彩色判定をし、該彩色判定で決定された補間演算式に基づいて前記固定ホワイトバランスゲインによる修正画素値を補正して色補間することを特徴とする。

このようなものであれば、例えば、固定ホワイトバランスゲインが選択されて、ホワイトバランス修正画像が色かぶりした場合、従来であれば、本来は無彩色の領域でも有彩色と判断して有彩色用の色補間を施してしまい、詳細な解像力を失う場合が生じるが、本発明によれば、オートホワイトバランスゲインに基づいて得られたホワイトバランス修正画像によって有彩色か無彩色かを判断し、その判断に基づく補間演算式にしたがって固定ホワイトバランスゲインでの修正画像を色補間するため、本来無彩色の領域は、例えば色かぶりによって有彩色で出力されるものの、色補間によってその解像度を落とすことがなくなり、従来に比べて解像力の向上を図れる。

前記彩色判定の具体的な態様としては、補間する画素を中心とする所定領域内におけるＲ、Ｇ、Ｂそれぞれの画素の平均値が、互いに一定範囲内であれば、無彩色と判定し、そうでなければ有彩色と判定するものを挙げることができる。

前記補間演算式の具体的態様としては、有彩色の場合は、補間する画素に対して、その隣接する周囲の画素の値が寄与する比率を等しく設定したものであり、無彩色の場合は、補間する画素に対して、その縦方向に隣接する画素の値と横方向に隣接する画素の値とが寄与する比率を互いに異ならせたものを挙げることができる。

上述した本発明によれば、例えば、固定ホワイトバランスが選択されて色かぶりが生じたとしても、オートホワイトバランスゲインで原画像に修正を施した修正画像での色補間をするため、本来無彩色の部分の解像力が減少することはない。したがって、従来のものに比べ、確実に解像力を向上させることが可能になる。

ベイヤ配列画像における方向判定の原理を説明する原理説明図である。 ベイヤ配列画像における方向判定の原理を説明する原理説明図である。 本発明の一実施形態におけるデジタルカメラの全体機器構成を示す模式的ブロック図である。 同実施形態における画像処理装置たるイメージプロセス部の機能ブロック図である。 同実施形態におけるホワイトバランス部及び色補間部でのデータのやりとりを示す機能ブロック図である。 同実施形態におけるホワイトバランス部の詳細機能ブロック図である。 同実施形態におけるホワイトバランス部の動作フローチャートである。 同実施形態における色補間部の詳細機能ブロック図である。 同実施形態における色補間部の動作フローチャートである。ク図である。 同実施形態における方向判定の原理を説明する原理説明図である。 同実施形態における方向判定の原理を説明する原理説明図である。

以下、本発明の一実施形態を、図面を参照して説明する。
本実施形態に係る画像処理装置は、例えば、デジタルカメラに搭載されて用いられるものである。まず、このデジタルカメラの概要を図３を参照して簡単に説明する。

このデジタルカメラにおいて、被写体はレンズ１を通して、ＣＣＤ２上に結像され、電気信号としてアナログフロントエンド部３へ送られる。アナログフロントエンド部３ではまず、自動ゲインコントロール部３１により、信号が増幅され、ＡＤコンバータ３２でデジタル信号に変換される。
デジタル信号に変換された画像（ベイヤ配列原画像）はＳＤＲＡＭなどのメモリ４に保存される。

メモリ４に保存されたベイヤ配列原画像は、画像処理装置たるイメージプロセス部５でＹＣｂＣｒ画像に変換された後、画像圧縮部６に順におくられ、例えばＪＰＥＧ形式で符号化される。符号化された圧縮画像はメモリーカード７に記憶される。

前記イメージプロセス部５について詳述すれば、このものは、物理的には、図示しないＣＰＵやメモリ等からなり、これらが協働することによって実現されるもので、機能的には、図４に示すように、入力バッファ５１、ホワイトバランス部５２、色補間部５３、色再現部５４、トーン調整部５５、ＹＣ変換部５６、輪郭強調部５７及び出力バッファ５８を具備するものである。

このイメージプロセス部５の動作説明を兼ねて各部を説明すると、まず入力バッファ５１（ＦＩＦＯ形式）が、前記メモリ４からベイヤ配列原画像を受けとり、順次後段に出力する。この出力されたベイヤ配列原画像に対し、ホワイトバランス部５２で、ベイヤ配列の各画素値にホワイトバランスゲインがかけられ、画像のホワイトバランスが調整される。そして、色補間部５３で、ベイヤ配列カラーフィルタの欠損位置がＣＦＡ補間され、ＲＧＢの画像が生成される。なお、これらホワイトバランス部５２と色補間部５３とが本実施形態の特徴であり、その詳細については後述する。

色再現部５４では、３×３のマトリクス等によって前記ＲＧＢ画像の色再現範囲が調整される。そして、トーン調整部５５で、ルックアップテーブル等により、画像の階調特性が調整され、ＹＣ変換部５６で、前記ＲＧＢ画像がＹＣｂＣｒ画像に変換される。このＹＣｂＣｒ画像は、輪郭強調部５７で輪郭強調処理が施された後、出力バッファ５８（ＦＩＦＯ形式）を介して再度メモリ４に出力され、その後、上述したように画像圧縮部６で圧縮される。
次に、前記ホワイトバランス部５２及び色補間部５３について詳述する。

ホワイトバランス部５２は、図５、図６に示すように、次段の色補間部５３で使用されるホワイトバランスゲインと補正ゲインとを出力するものであり、オートホワイトバランス評価値作成部５２１、オートホワイトバランス演算部５２２、プリセットホワイトバランスゲイン取得部５２４、色補間部用ゲイン算出部５２３及びモード判断部５２５を具備している。

オートホワイトバランス評価値作成部５２１では、オートホワイトバランスの評価値が作成される。この評価値とは、ベイヤ配列の原画面全体を特定の小ブロックに分割し、この小ブロック毎にＲ、Ｇ、Ｂの各画素値をそれぞれ平均した平均値である。

オートホワイトバランス演算部５２２では、前記評価値と、図示しない自動露出機能部で計算されたＢｖ値（被写体輝度）、ストロボ発光情報等から、オートホワイトバランスゲインが算出される。

しかして、通常、プリセットホワイトバランスゲインやマニュアルホワイトバランスゲインなどのように予め設定された固定ホワイトバランスゲインを与えられた場合は、オートホワイトバランス演算を行う必要がないが、本実施形態では、前記固定ホワイトバランスゲインの指定時でもオートホワイトバランス演算を行う。

色補間部用補正ゲイン算出部５２３では、固定ホワイトバランスゲインとオートホワイトバランスゲインの比で表される補正ゲインがＲＧＢ毎に算出される。この補正ゲインが色補間部５３に出力される。
具体的に、このホワイトバランスゲイン算出部５２１の動作を、図７のフローチャートにより説明する。

まず、オートホワイトバランスの評価値を算出する（ステップＳ１１）。次に、この評価値に基づいてＲ、Ｇ、Ｂそれぞれに対応したオートホワイトバランスゲインを算出する（ステップＳ１２）。次に固定ホワイトバランスゲインが指定されているか、オートホワイトバランスゲインが指定されているかを判断する（ステップＳ１３）。

固定ホワイトバランスゲインが指定されている場合、出力すべきホワイトバランスゲインとして、この固定ホワイトバランスゲインを設定する（ステップＳ１４）。また、前記補正ゲインとして、固定ホワイトバランスゲインをオートホワイトバランスゲインで割り算した値を設定し出力する（ステップＳ１５）。

一方、オートホワイトバランスゲインが指定されている場合は、出力すべきホワイトバランスゲインとして、オートホワイトバランスゲインを設定（ステップＳ１６）する一方で、補正ゲインとして１を設定し出力する（ステップＳ１７）。
色補間部５３は、図５，図８に示すように、彩色判定部５３１、補間演算部５３２を具備するものである。その動作を図９を参照して説明する。

まず、彩色判定部５３１で、注目画像が無彩色か有彩色かを判定する（ステップＳ２１、ステップＳ２２）。具体的には、ホワイトバランス部５２から出力されたホワイトバランスゲインに補正ゲインを乗じた値で原画像のＲＧＢ各画素値を補正した画像で有彩色か無彩色かを判断する。この補正ゲインは、固定ホワイトバランスゲインをオートホワイトバランスに変換するものであるから、結局、原画像にオートホワイトバランスを施した画像で、有彩色か無彩色かが判断されることとなる。

有彩色か無彩色かの判定は、補間する画素を中心とする例えば５×５画素の領域で行われ、Ｒ：９pixel、Ｂ：９pixel、Ｇ：１８pixelの平均値を用いて判定する。ここでは、Ｒ画素およびＢ画素の平均値が両方ともＧ画素の平均値の±３％の範囲内に入っていたら無彩色であると判定している。

無彩色の場合、補間演算部５３２は、ＣＦＡ補間の方向を判定する（ステップＳ２３）。方向判定では、各縦列のＲＧＢ画素の値を積算し、隣り合う縦列の積算画素値の差分をとる。同様に各横列のＲＧＢ画素の値を積算し、隣り合う横列の積算画素値の差分をとる。次に、それら縦列、横列でのそれぞれの差分値に係る判定係数を算出し、大きい方の方向をウェイト重点方向として判定する。

そして、前記判定係数に基づいて、前記ウェイト重点方向方向により大きなウエイトがかかるように、中心画素の周囲４画素からの補間演算を行う（ステップＳ２４）。しかして、このときの画素値は、選択されたホワイトバランスモード、すなわち固定ホワイトバランスゲインかオートホワイトバランスゲインで修正された画素値が用いられる。

例えば、図１０のように縦にラインが入っている画像があるとすれば、横列の差分値はほぼ０になり（同図ｂ）、縦列の差分値の方が大きくなる（同図ａ）ので、縦方向がウェイト重点方向となる。
前記補間演算式は、例えば以下のようなものである。
（（Ｇ１＋Ｇ３）×Ｖ＋（Ｇ２＋Ｇ４）×Ｈ）／（２×（Ｈ＋Ｖ））

ここで、Ｖは、縦方向の判定係数であり、隣り合う縦列の差分値（４つ）を平均した値である。Ｈは横方向の判定係数であり、隣り合う横列の差分値（４つ）を平均した値である。Ｇ１〜Ｇ４は、求めるべき中心画素の縦横に隣接する各画素の値である。

一方、有彩色と判定した場合には、補間演算部５３２は、例えば、周囲の４画素の平均値を補間値として用いる（ステップＳ２５）。数式であらわすと、下記のようである。
（Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４）／４
その理由は、以下のとおりである。

たとえば、図１１に示すように、オレンジ色の縦線があったと仮定する。このとき基本的にはＲ＞Ｇ＞Ｂとなるので、暗線部ではＲ＞Ｇとなり、明線部ではＧ＞Ｂとなっている。

この図１１をみてわかるように、無彩色時方向判定係数は横方向の値が大きくなるのは明らかで、この結果、誤った認識となってしまう。誤った方向で補間が行われると、画像に大きな影響が及ぶため、前述したように、有彩色領域では、方向性を考慮せず、周囲の４画素の平均値を補間値として用いる。しかし、この結果、方向性を考慮しないがために、解像力が低下する場合があり得る。

しかして、上述した本実施形態によれば、プリセットホワイトバランスやマニュアルホワイトバランスが選択され、例えば、画面全体が色かぶりした状態となっても、補間方向を決定するための画像は、オートホワイトバランスの結果を反映したものとなるため、オートホワイトバランスを適用した時の本来の無彩色部での解像力改善が可能となる。したがって、従来に比べ、確実に画像の解像力を向上させることが可能になる。

なお、本発明は前記実施形態に限られるものではない。例えば、色補間部において、オートホワイトバランスゲイン、固定ホワイトバランスゲインのいずれが選択されても、オートホワイトバランスゲインを用いた画像の色補間をするようなプログラムでも構わない。その他、本発明はその趣旨を逸脱しない範囲で種々の変形が可能である。

５・・・画像処理装置（イメージプロセス部）
５２２・・・オートホワイトバランスゲイン演算部
５２４・・・固定ホワイトバランスゲイン取得部
５３・・・色補間部

Claims (6)

1. ベイヤ配列原画像から得られるＲ、Ｇ、Ｂそれぞれの画素値に少なくとも基づいてオートホワイトバランスゲインを算出するオートホワイトバランスゲイン演算部と、
   予め設定された又は外部から入力されたホワイトバランスゲインである固定ホワイトバランスゲインを受け付ける固定ホワイトバランスゲイン取得部と、
   前記オートホワイトバランスゲイン又は前記固定ホワイトバランスゲインのうちの選択されたいずれかに基づいて前記原画像の画素値を修正し、前記修正画素値を、その周囲の画素値をパラメータとする所定の補間演算式で補正することによって色補間する色補間部とを具備し、
   前記補間演算式が無彩色の場合と有彩色の場合とで異なるようにした画像処理装置であって、
   前記色補間部は、前記固定ホワイトバランスゲインが選択されたときであっても、前記オートホワイトバランスゲインに基づいて修正された画素値で有彩色か無彩色かの彩色判定をし、該彩色判定で決定された補間演算式に基づいて前記固定ホワイトバランスゲインによる修正画素値を補正して色補間することを特徴とする画像処理装置。
2. 色補間する画素を中心とする所定領域内におけるＲ、Ｇ、Ｂそれぞれの画素の平均値が、互いに一定範囲内であれば、無彩色と判定し、そうでなければ有彩色と判定することを特徴とする請求項１記載の画像処理装置。
3. 前記補間演算式が、有彩色の場合は、補間する画素に対して、その隣接する周囲の画素の値が寄与する比率を等しく設定したものであり、無彩色の場合は、補間する画素に対して、その縦方向に隣接する画素の値と横方向に隣接する画素の値とが寄与する比率を互いに異ならせたものであることを特徴とする請求項１又は２記載の画像処理装置。
4. ベイヤ配列原画像から得られるＲ、Ｇ、Ｂそれぞれの画素値に少なくとも基づいてオートホワイトバランスゲインを算出する一方で、予め設定された又は外部から入力されたホワイトバランスゲインである固定ホワイトバランスゲインを受け付け、
   前記オートホワイトバランスゲイン又は前記固定ホワイトバランスゲインのうちの選択されたいずれかに基づいて前記原画像の画素値を修正し、前記修正画素値を、その周囲の画素値をパラメータとする所定の補間演算式で補正することによって色補間し、
   前記補間演算式が無彩色の場合と有彩色の場合とで異なるようにした画像処理方法であって、
   前記固定ホワイトバランスゲインが選択されたときであっても、前記オートホワイトバランスゲインに基づいて修正された画素値で有彩色か無彩色かの彩色判定をし、
   該彩色判定で決定された補間演算式に基づいて前記固定ホワイトバランスゲインによる修正画素値を補正して色補間することを特徴とする画像処理方法。
5. 色補間する画素を中心とする所定領域内におけるＲ、Ｇ、Ｂそれぞれの画素の平均値が、互いに一定範囲内であれば、無彩色と判定し、そうでなければ有彩色と判定することを特徴とする請求項４記載の画像処理方法。
6. 前記補間演算式が、有彩色の場合は、補間する画素に対して、その隣接する周囲の画素の値が寄与する比率を等しく設定したものであり、無彩色の場合は、補間する画素に対して、その縦方向に隣接する画素の値と横方向に隣接する画素の値とが寄与する比率を互いに異ならせたものであることを特徴とする請求項４又は５記載の画像処理方法。