JP2004229055A

JP2004229055A - 画像処理装置

Info

Publication number: JP2004229055A
Application number: JP2003015804A
Authority: JP
Inventors: Yasuhiro Yamamoto; 康裕山元
Original assignee: Pentax Corp
Current assignee: Pentax Corp
Priority date: 2003-01-24
Filing date: 2003-01-24
Publication date: 2004-08-12
Also published as: US20040160521A1

Abstract

【課題】注目画素の周辺画素の相関を正確に求めることにより、Ｇのプレーンデータを高精度に求める。
【解決手段】注目画素として１つのＲまたはＢ画素を選択し、注目画素の周囲の画素の画素データから相関係数Ｋを求める（ステップ１０１）。相関係数Ｋは注目画素の垂直および水平方向にある関連画素に関する第１相関値と、注目画素の斜め方向に隣接する４つの周辺画素に関する第２相関値とから成る。相関係数Ｋ＞０か否かを判定する（ステップ１０２）。相関係数Ｋ＞０のとき、注目画素の垂直方向の相関が強いと判断し、注目画素の垂直方向にある関連画素の画素データを用いた補間処理により、注目画素のＧの画素データを求める（ステップ１０３）。相関係数Ｋ＜０のとき、注目画素の水平方向の相関が強いと判断し、注目画素の水平方向にある関連画素の画素データを用いた補間処理により注目画素のＧの画素データを求める（ステップ１０４）。
【選択図】図８

Description

【０００１】
【発明の属する技術分野】
本発明は、例えばデジタルカメラに設けられ、撮像素子を介して得られたレッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）の画素データに対して補間処理を施し、Ｇのプレーンデータを求める画像処理装置に関する。
【０００２】
【従来の技術】
従来デジタルカメラにおいて、撮像素子の受光面にＲ、Ｇ、Ｂのカラーフィルタがベイヤー配列に従って設けられたものが知られている。すなわち撮像素子から読み出された静止画像の生データでは、Ｒ、Ｇ、Ｂ画素がベイヤー配列に従って市松模様に並んでおり、画像処理では、各画素に関して補間処理が実行され、Ｒ、Ｇ、Ｂの３枚のプレーンデータが作成される（例えば特許文献１）。
【０００３】
Ｇのプレーンデータは画質に与える影響が大きいため、注目画素であるＲ画素またはＢ画素に関し、その画素を通る垂直線および水平線上にある周辺画素の画素データの相関を求めている。すなわち、相対的に強い相関を有する側の画素データを用いて、注目画素のＧの画素データを補間処理により求めている。例えば縦縞模様の画像における縦縞の境界線では、垂直方向の相関が強いため、注目画素のＧの画素データは垂直方向に位置する画素の画素データが用いられる。
【０００４】
【特許文献】
特開２００２−２１８４８２号公報
【０００５】
【発明が解決しようとする課題】
ところが、被写体像の一部が、ざらついた壁面のように一様な色の部分に異なる色の粒が点在するような画像であったり、生データにノイズが含まれているような場合、相関が正確に求められるとは限らない。このため、相関の弱い側の画素データを用いて補間処理を行うこととなり、本来の色成分からかけ離れた色成分の画素データが求められて画質が低下するという問題が生じる。
【０００６】
本発明は、注目画素の周辺画素の相関を正確に求めることにより、Ｇのプレーンデータを高精度に求めることを目的としている。
【０００７】
【課題を解決するための手段】
本発明に係る画像処理装置は、レッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）画素が格子状に規則的に配置されて成る画像データにおいて、Ｒ画素またはＢ画素に関してＧの画素データを演算により求める画像処理装置であって、注目画素であるＲ画素またはＢ画素の垂直方向および水平方向に位置する関連画素の画素データに基づいて、注目画素に関する第１相関値を演算により求める第１相関値演算手段と、注目画素の斜め左上、斜め右上、斜め左下および斜め右下に隣接する４つの周辺画素に関する第２相関値を演算により求める第２相関値演算手段と、第１相関値と第２相関値に基づいて、注目画素の垂直方向および水平方向における画素データの相関関係を求め、垂直方向の相関関係が相対的に大きいときは注目画素の垂直方向に位置するＧ画素およびＲ画素またはＢ画素の画素データを用いて、水平方向の相関関係が相対的に大きいときは注目画素の水平方向に位置するＧ画素およびＲ画素またはＢ画素の画素データを用いて、注目画素のＧの画素データを演算により求める画素データ演算手段とを備えることを特徴としている。
【０００８】
画素データ演算手段は、好ましくは、前記第１相関値と前記第２相関値に対して異なる係数を乗じて求めた相関係数に基づいて前記相関関係を求める。第２相関値は、各周辺画素の左右に隣接するＧ画素におけるＧの画素データの差の絶対値と、各周辺画素の上下に隣接するＧ画素におけるＧの画素データの差の絶対値とに基づいて演算されてもよい。この場合第２相関値は、例えば、４つの周辺画素の左右に隣接するＧ画素におけるＧの画素データの差の絶対値の和と、４つの周辺画素の上下に隣接するＧ画素におけるＧの画素データの差の絶対値の和との差に基づいて演算される。
【０００９】
【発明の実施の形態】
以下、本発明の実施形態を図面を参照して説明する。
図１は、本発明の一実施形態である画像処理装置を備えたデジタルカメラの電気的および光学的な構成を概略的に示すブロック図である。このデジタルカメラは単一の撮像素子（ＣＣＤ）１０を備えている。撮像素子１０の受光面には、例えばベイヤー配列に従って、格子状に規則的に配列されたレッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）のカラーフィルタが設けられている。撮影レンズ１１の光軸上には、赤外カットフィルタ１２と光学ローパスフィルタ１３と撮像素子１０がこの順に配設されている。したがって撮影レンズ１１を通過した光線は、赤外線とノイズ成分を除去されて撮像素子１０に入射し、撮像素子１０ではアナログの電気信号である画像信号が発生する。
【００１０】
この画像信号は、相関二重サンプリング回路（ＣＤＳ）とＡＤ変換器（ＡＤＣ）を備えたアナログ信号処理回路１４において、ノイズ成分を除去されるとともにデジタルの画像データに変換される。デジタルの画像データは、デジタル信号処理回路１５において、後述する種々の画像処理を施される。
【００１１】
デジタル信号処理回路１５において処理された画像データはメモリ１６に格納される。画像データはメモリ１６から読み出され、圧縮処理を施されて、ＰＣカード１７に静止画像として記録される。静止画像の画像データは、ＬＣＤ表示回路１８において所定の処理を施され、液晶表示装置（ＬＣＤ）１９においてカラー画像として表示される。また、デジタル信号処理回路１５から出力された画像データはＬＣＤ表示回路１８に直接入力され、液晶表示装置１９ではモニタ画像が動画として表示される。
【００１２】
図２はデジタル信号処理回路１５において実行される画像処理の手順を示す図である。デジタル信号処理回路１５に入力された画像データ（生データ）は、ステップＳ１においてホワイトバランス調整される。ステップＳ２ではＧ補間が実行され、ＲとＢ画素に関して、Ｇの画素データが補間により求められる。ステップＳ３ではＲＢ補間が実行され、ＲとＢの画素データが欠落している画素について、ＲとＢの画素データがそれぞれ補間によって求められる。これにより、全ての画素について、Ｒ、Ｇ、Ｂの画素データが求められる。
【００１３】
ステップＳ４では、ステップＳ３の処理結果として得られた画素データに色補正マトリクスが施され、カラーフィルタの特性によって生じる誤差が除去される。ステップＳ５では色補正マトリクスが施された画素データに対してガンマ補正が施される。ステップＳ６では輪郭強調が実行される。このようにして得られたＲＧＢカラー画像データは、上述したように、液晶表示装置１９に出力され、あるいは圧縮処理を施されてＰＣカード１７に記録される。
【００１４】
図３は撮像素子１０によって得られた画像データ（生データ）における画素の配置と色を示している。Ｒ、Ｇ、Ｂの文字はそれぞれレッド、グリーンおよびブルーの色を示す。したがって画像データにおいて、最上部から奇数番目の列Ｌ１ではＧ画素とＲ画素が交互に並び、偶数番目の列Ｌ２ではＢ画素とＧ画素が交互に並んでいる。数字は座標を示し、座標の原点は左隅（すなわち「Ｇ００」）である。例えば上から３番目の列では、左から右へ向かってＧ２０、Ｒ２１、Ｇ２２、Ｒ２３・・・の順に並んでいる。なお図３において、Ｇ画素は２重枠によって示されている。
【００１５】
図３〜図７を参照して、本実施形態を用いない場合、すなわち比較例におけるＧのプレーンデータの生成を説明する。
図４において、枠Ｗによって囲まれた部分は図３に対応している。枠Ｗの外側には、枠Ｗの最外周に位置する画素と同じ画素データが二重に記載され、画像データは２画素分だけ拡張されている。網かけの部分はＧ画素であり、濃い網かけの部分（７０と記載されている）はＲ２３（図３参照）に対応する。
【００１６】
注目画素がＲ２３であるとき、下記（１）式に従って相関係数Ｋが演算される。

（１）式において、ａ、ｂ、ｃは係数であり、経験的に求められる。また（１）式において、Ｒ２３、Ｇ２２、Ｇ２４等の符号はその画素における画素データを示す。なお以下の説明においても、式中のＲ２３等の符号はその画素における画素データを示す。
【００１７】
相関係数Ｋ＞０であるとき、Ｒ２３の垂直方向の相関が相対的に強いと判断され、Ｒ２３の垂直方向に位置する関連画素の画素データを用いて、下記（２）式に従った補間処理によりＧ２３が求められる。
Ｇ２３＝（Ｇ１３＋Ｇ３３）／２＋（−Ｒ０３＋２Ｒ２３−Ｒ４３）／８・・・（２）
すなわち関連画素は、Ｒ２３の上下側に隣接するＧ画素（Ｇ１３、Ｇ３３）と、これらのＧ画素の上方または下方に隣接するＲ画素（Ｒ０３、Ｒ４３）である。
【００１８】
これに対して相関係数Ｋ＜０であるとき、Ｒ２３の水平方向の相関が相対的に強いと判断され、Ｒ２３の水平方向に位置する関連画素の画素データを用いて、下記（３）式に従った補間処理によりＧ２３が求められる。
Ｇ２３＝（Ｇ２２＋Ｇ２４）／２＋（−Ｒ２１＋２Ｒ２３−Ｒ２５）／８・・・（３）
すなわち関連画素は、Ｒ２３の左右側に隣接するＧ画素（Ｇ２２、Ｇ２４）と、これらのＧ画素の左側または右側に隣接するＲ画素（Ｒ２１、Ｒ２５）である。
【００１９】
図４の例におけるＲ画素とＢ画素の相関係数Ｋを（１）式に従って求めると、図５に示す結果が得られる。なお、図５において網かけの部分はＧ画素に対応しており、相関係数Ｋは存在しない。濃い網かけの部分（−１０と記載されている）は、Ｒ２３の画素の相関係数Ｋである。
【００２０】
図５に示される相関係数Ｋを用いて、（２）式または（３）式に従って全てのＲ画素とＢ画素のＧの画素データを求めると、図６に示す結果が得られる。なお、係数ａ、ｂ、ｃはそれぞれ１である。
【００２１】
図６において網かけの部分はＧ画素であり、（２）式または（３）式による演算は適用されない。濃い網かけの部分（５８．８と記載されている）は、Ｒ２３におけるＧの補間データ（すなわちＧ２３）である。図５に示されるようにＲ２３の画素の相関係数Ｋ（＝−１０）＜０であるので、水平方向に相関が強いと判断され、（３）式が用いられてＧ２３＝５８．８が求められる。
【００２２】
図７は、このようにして得られた全ての画素におけるＧの画素データを３次元的に示し、かつ画素データが６０以上である部分を黒く塗って示したものである。この図から理解されるように、Ｇ２３の画素データ（符号Ｑ１）は隣接するＧ画素の画素データよりも相対的に小さく、峰状に突出した部分（符号Ｑ２）を図の右側から見ると、符号Ｑ１の所で窪んでいる。これは、Ｇ２３を求めるときに、その画素の相関係数Ｋに誤差が生じていたためであると考えられ、本実施形態では、次に述べるように注目画素の斜め方向に位置する周辺画素も考慮して求めた相関係数Ｋを用いている。
【００２３】
図８は注目画素であるＲ画素およびＢ画素のＧの画素データを求める補間処理ルーチンのフローチャートである。
【００２４】
ステップ１０１では、注目画素として１つのＲ画素またはＢ画素が選択されるとともに、注目画素の周囲の画素の画素データから相関係数Ｋが求められる。ここで「周囲の画素」は、注目画素の垂直方向および水平方向に位置する関連画素だけでなく、注目画素の斜め左上、斜め右上、斜め左下および斜め右下に隣接する４つの周辺画素も含む。例えばＲ２３の画素の場合、関連画素はＲ０３、Ｇ１３、Ｇ３３、Ｒ４３、Ｒ２１、Ｇ２２、Ｇ２４、Ｒ２５であり、周辺画素はＢ１２、Ｂ１４、Ｂ３２、Ｂ３４である。
【００２５】
Ｒ２３を例にとると、相関係数Ｋは下記（４）式に従って演算される。

（４）式を（１）式と比較することから明らかなように、係数ｄがかかっている項が追加され、周辺画素が考慮されている。なお係数ｄは係数ａ、ｂ、ｃと同様に経験に基づいて任意に決定することができ、相互に異なる値をとってもよく、あるいは全ての係数が１であってもよい。
【００２６】
（４）式において、係数ａ、ｂ、ｃがかかっている３つの項の和は第１相関値であり、注目画素の垂直方向および水平方向の相関の強さを概略的に示す指標である。また、係数ｄがかかっている４つ目の項は４つの周辺画素に関する第２相関値であり、周辺画素が水平方向と垂直方向のいずれに相関が強いかを示している。第２相関値は、各周辺画素の左右に隣接するＧ画素におけるＧの画素データの差の絶対値と、各周辺画素の上下に隣接するＧ画素におけるＧの画素データの差の絶対値とに基づいて演算され、本実施形態では、各周辺画素の左右に隣接するＧ画素におけるＧの画素データの差の絶対値の和と、各周辺画素の上下に隣接するＧ画素におけるＧの画素データの差の絶対値の和との差に、係数ｄを乗じて求められる。つまり第２の相関値は、注目画素から上下左右に１画素ずれた井桁状の４本の直線上のＧ画素データから注目画素近傍の縦横相関値を求めることにより、求められる。
【００２７】
ステップ１０２では、相関係数Ｋ＞０であるか否かが判定される。相関係数Ｋ＞０であるとき、注目画素の垂直方向の相関が相対的に強いと判断され、注目画素の垂直方向に位置する関連画素の画素データを用いた補間処理により、注目画素のＧの画素データが求められる。この演算は（２）式と同じである。
【００２８】
これに対して相関係数Ｋ＜０であるときは、注目画素の水平方向の相関が相対的に強いと判断され、注目画素の水平方向に位置する関連画素の画素データを用いた補間処理により、注目画素のＧの画素データが求められる。この演算は（３）式と同じである。
【００２９】
ステップ１０５では、全てのＲ画素とＢ画素について、ステップ１０１〜１０４の処理が完了したか否かが判定される。完了していなければステップ１０１へ戻り、上述した処理が再び実行され、完了していれば補間処理ルーチンは終了する。
【００３０】
図４の例におけるＲ画素とＢ画素の相関係数Ｋを（４）式に従って求めると、図９に示す結果が得られる。図５と同様に、図９において網かけの部分はＧ画素に対応している。濃い網かけの部分（５０と記載されている）は、Ｒ２３の画素の相関係数Ｋである。
【００３１】
図９に示される相関係数Ｋを用いて、（２）式または（３）式に従って全てのＲ画素とＢ画素のＧの画素データを求めると、図１０に示すようなＧのプレーンデータが得られる。なお、係数ａ、ｂ、ｃ、ｄはそれぞれ１である。
【００３２】
図１０において、濃い網かけの部分（７０と記載されている）は、Ｒ２３におけるＧの補間データ（すなわちＧ２３）である。図９に示されるようにＲ２３の画素の相関係数Ｋ（＝５０）＞０であるので、垂直方向に相関が強いと判断され、（２）式が用いられてＧ２３＝７０が求められる。
【００３３】
図１１は、このようにして得られた全ての画素におけるＧの画素データを３次元的に示し、かつ画素データが６０以上である部分を黒く塗って示したものである。この図から理解されるように、Ｇ２３の画素データ（符号Ｑ３）は隣接するＧ画素の画素データの中間の値を有しており、峰状に突出した部分（符号Ｑ４）を図の右側から見ると、符号Ｑ３の部分はその両側の部分と滑らかにつながっている（図７の比較例参照）。これは、Ｒ２３の周辺画素に関する第２相関値も考慮して相関係数Ｋを用いたためであると考えられる。
【００３４】
したがって本実施形態によれば、被写体像の一部が、ざらついた壁面のように一様な色の部分に異なる色の粒が点在するような画像であったり、被写体像にノイズが存在したりするような場合であっても、相関が正確に求められる。すなわち、常に、相関の強い側の画素データを用いて補間処理を行うこととなり、本来の色成分に近い色成分の画素データが求められ、画質が低下が防止される。
【００３５】
なお、Ｒ画素とＢ画素は通常の補間処理により求められる。
【００３６】
【発明の効果】
以上のように本発明によれば、注目画素の周辺画素の相関を正確に求めることにより、Ｇのプレーンデータを高精度に求めることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態である画像処理装置を備えたデジタルカメラの電気的および光学的な構成を示すブロック図である。
【図２】デジタル信号処理回路において実行される画像処理の手順を示す図である。
【図３】撮像素子によって得られた画像データにおける画素の配置と色を示す図である。
【図４】撮像素子によって得られた画像データの数値を示す図である。
【図５】比較例における各注目画素の相関係数Ｋの分布を示す図である。
【図６】比較例におけるＧのプレーンデータを示す図である。
【図７】図６のＧのプレーンデータを３次元的に示す図である。
【図８】補間処理ルーチンのフローチャートである。
【図９】実施形態における各注目画素の相関係数Ｋの分布を示す図である。
【図１０】実施形態におけるＧのプレーンデータを示す図である。
【図１１】図１０のＧのプレーンデータを３次元的に示す図である。
【符号の説明】
１０撮像素子

Claims

レッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）画素が格子状に規則的に配置されて成る画像データにおいて、Ｒ画素またはＢ画素に関してＧの画素データを演算により求める画像処理装置であって、
注目画素であるＲ画素またはＢ画素の垂直方向および水平方向に位置する関連画素の画素データに基づいて、前記注目画素に関する第１相関値を演算により求める第１相関値演算手段と、
前記注目画素の斜め左上、斜め右上、斜め左下および斜め右下に隣接する４つの周辺画素に関する第２相関値を演算により求める第２相関値演算手段と、
前記第１相関値と前記第２相関値に基づいて、前記注目画素の垂直方向および水平方向における画素データの相関関係を求め、垂直方向の相関関係が相対的に大きいときは前記注目画素の垂直方向に位置するＧ画素およびＲ画素またはＢ画素の画素データを用いて、水平方向の相関関係が相対的に大きいときは前記注目画素の水平方向に位置するＧ画素およびＲ画素またはＢ画素の画素データを用いて、前記注目画素のＧの画素データを演算により求める画素データ演算手段と
を備えることを特徴とする画像処理装置。
前記画素データ演算手段が、前記第１相関値と前記第２相関値に対して異なる係数を乗じて求めた相関係数に基づいて前記相関関係を求めることを特徴とする請求項１に記載の画像処理装置。
前記第２相関値が、前記各周辺画素の左右に隣接するＧ画素におけるＧの画素データの差の絶対値と、前記各周辺画素の上下に隣接するＧ画素におけるＧの画素データの差の絶対値とに基づいて演算されることを特徴とする請求項１に記載の画像処理装置。
前記第２相関値が、前記４つの周辺画素の左右に隣接するＧ画素におけるＧの画素データの差の絶対値の和と、前記４つの周辺画素の上下に隣接するＧ画素におけるＧの画素データの差の絶対値の和との差に基づいて演算されることを特徴とする請求項３に記載の画像処理装置。