JP2005159957A - 色補間方法 - Google Patents

Abstract

【課題】色補間処理の精度を向上させることを課題とする。
【解決手段】ＣＣＤ撮像素子等のセンサにはＲＧＢベイヤ配列の色フィルタが装着されている。このようなセンサから画像が読み込まれ（Ｓ１）、色補間装置にＲＡＷデータとして入力される（Ｓ２）。色補間装置では、注目画素の周辺領域の全ての色の画素を用いて、水平方向および垂直方向の画素値の差分絶対値の加算値ＤＨ,ＤＶが算出される（Ｓ３,Ｓ４）。加算値ＤＨ,ＤＶを比較し（Ｓ５）、水平あるいは垂直方向の流れ傾向があると判定された場合には、Ｓ６に移行する。Ｓ６では、垂直方向の相関性が強い場合には、上下の画素より補間処理が行われ、水平方向の相関性が強い場合には、左右の画素より補間処理が行われる。
【選択図】図７

Description

本発明は、画像データの色補間方法に関する。

デジタルカメラ等で利用されるＣＣＤ撮像素子は、色フィルタを介して受光する光を光電変換して画像データを出力する。この色フィルタには、ＲＧＢ系フィルタやＹＭＣＫ系色フィルタなどがある。そして、単板式の色フィルタにおいては、１画素について１色の画像データが出力される。たとえば、ＲＧＢ系色フィルタであれば、１画素についてＲ（赤色）成分、または、Ｇ（緑色）成分、または、Ｂ（青色）成分の画像データが出力される。

このため、単板式の色フィルタを備えるＣＣＤ撮像素子から出力された画像データについては、各画素について単一色の画像データしか出力されないため、他の色成分の画像データについては補間処理を行うようにしている。そして、この補間処理については様々なアルゴリズムが用いられている。

しかし、補間処理は注目画素の画像データを周囲の画像データから推測する処理であるから、画像の内容次第では誤った補間を行う場合がある。そこで、下記特許文献１や特許文献２では、補間処理の精度を向上させるための技術が開示されている。

特許文献１の技術は、上下方向のＧ信号の差分と左右方向のＧ信号の差分を算出することにより、垂直方向および水平方向の相関度を求め、この相関度に応じた画素補間や色差信号の生成を行うようにしている。また、特許文献２においても、Ｇ信号を用いて垂直方向および水平方向の相関度を求め、相関度に応じた画素補間を行うようにしている。

特開２００２−３００５９０号公報 特開平１１−２０５８０８号公報

しかしながら、上記各特許文献に記載された方法は、Ｇ信号のみを用いて相関度を求めているため、補間処理の精度に問題があった。また、従来では、隣接する画素（狭い範囲）から水平方向あるいは垂直方向の相関度を判定していたため、エッジ部分や、細線などの高周波領域（特にナイキスト周波数付近や画素をまたぐ細線などの領域）において相関度判定のエラー頻度が高かった。このため水平、垂直方向どちらかに画素の流れ傾向が強い場合の補間精度が低いという問題があった。

そこで、本発明は前記問題点に鑑み、補間精度を向上させる技術を提供することを目的とする。

上記課題を解決するため、請求項１記載の発明は、所定の色空間のベイヤ配列の画素データを入力する第１工程と、注目画素の周辺に所定領域が設定され、前記所定領域内の全ての色成分の画素データを用いて、水平方向の画素値変化評価値（以下、水平評価値とする。）および垂直方向の画素値変化評価値（以下、垂直評価値とする。）を算出する第２工程と、前記水平評価値と前記垂直評価値とを比較する第３工程と、前記第３工程の比較の結果、水平方向の画素値変化が大きいと判定された場合には、前記注目画素について上下方向の画素値を用いた画素補間を行い、垂直方向の画素値変化が大きいと判定された場合には、前記注目画素について水平方向の画素値を用いた画素補間を行う第４工程と、を備えることを特徴とする。

請求項２記載の発明は、請求項１に記載の色補間方法において、前記水平評価値は、前記所定領域内において水平方向で隣り合う同色画素データの画素値の差分絶対値を全て加算した値であり、前記垂直評価値は、前記所定領域内において垂直方向で隣り合う同色画素データの画素値の差分絶対値を全て加算した値であることを特徴とする。

請求項３記載の発明は、請求項１または請求項２に記載の色補間方法において、前記第３工程は、前記水平評価値と前記垂直評価値の差が所定の閾値を越えるか否かを判定する工程、を含み、前記第３工程において前記水平評価値と前記垂直評価値の差が所定の閾値を越える場合のみ、前記第４工程を実行することを特徴とする。

請求項４記載の発明は、請求項１ないし請求項３のいずれかに記載の色補間方法において、前記ベイヤ配列において市松状に配列される色を第１色成分とすると、前記注目画素は前記第１色成分以外の第２色成分であり、前記第４工程は、水平方向の画素値変化が大きいと判定された場合には、前記注目画素について上下に隣接する前記第１色成分の２つの画素データの画素値を用いることにより、前記注目画素における前記第１色成分についての画素補間を行い、垂直方向の画素値変化が大きいと判定された場合には、前記注目画素について左右に隣接する前記第１色成分の２つの画素データの画素値を用いることにより、前記注目画素における前記第１色成分についての画素補間を行う工程、を含むことを特徴とする。

請求項５記載の発明は、請求項４に記載の色補間方法において、前記所定の色空間がＲＧＢ色空間であって、前記第１色成分がＧ成分であることを特徴とする。

請求項６記載の発明は、請求項１ないし請求項５のいずれかに記載の色補間方法において、前記所定領域は、前記注目画素を中心とした５×５の画素領域であることを特徴とする。

本発明は、注目画素の所定領域内の全ての色成分の画素データを用いて、水平方向と垂直方向の画素値変化評価値を求め、この評価値を判定基準として補間処理を実行するので、全ての色成分が補間処理の判定に寄与することとなり、より精度の高い補間処理を実行することが可能である。

また、両評価値の差が所定の閾値を越えない場合にのみ、本発明の補間処理を実行するので、水平方向あるいは垂直方向に評価すべき相関性がない場合に、誤った補間処理が実行されることはない。

以下、図面を参照しつつ本発明の実施の形態について説明する。図１に示すように、色補間装置１０は、入力画像データＸに対して色補間処理を施し、色補間処理後の出力画像データＹを出力する。

入力画像データＸは、たとえば、デジタルカメラで用いられるＣＣＤ撮像素子において撮像されたデータである。また、この実施の形態においては、ＣＣＤ撮像素子には、図２に示すような単板式のＲＧＢベイヤ配列の色フィルタが装着されているものを想定する。ＲＧＢベイヤ配列は、Ｇ（緑色）のフィルタが市松状に配置されており、Ｒ（赤色）フィルタとＢ（青色）フィルタがラインごとに交互に配置される構成である。したがって、入力画像データＸは、１画素につき、Ｒ（赤色）成分、または、Ｇ（緑色）成分、または、Ｂ（青色）成分のいずれか１色の画素値を持ったデータである。そして、このような入力画像データＸが、たとえば、Ｇ,Ｒ,Ｇ,Ｒ…あるいはＢ,Ｇ,Ｂ,Ｇ…といった色の順で色補間装置１０に入力される。

図３は、色補間装置１０の機能ブロック図である。色補間装置１０は、レジスタ群１１、ラインバッファ１２,１３,１４,１５、条件判定部１６、および、演算部１７を備えている。条件判定部１６、および、演算部１７は、たとえば、ＣＰＵと、このＣＰＵの動作を規定するプログラムが格納されたメモリとによって等価的に構成される。

レジスタ群１１は、図に示すように、５行×５列の２５個のレジスタＰ００,Ｐ０１,・・・Ｐ４４を備えている。詳しくは、５個のレジスタＰ００〜０４が直列接続され、最後のレジスタＰ０４の下流には、ラインバッファ１２が接続されている。さらに、ラインバッファ１２の下流には、５個のレジスタＰ１０〜１４が直列接続され、最後のレジスタＰ１４の下流には、ラインバッファ１３が接続されている。さらに、ラインバッファ１３の下流には、５個のレジスタＰ２０〜２４が直列接続され、最後のレジスタＰ２４の下流には、ラインバッファ１４が接続され、ラインバッファ１４の下流には、５個のレジスタＰ３０〜３４が直列接続され、最後のレジスタＰ３４の下流には、ラインバッファ１５が接続され、ラインバッファ１５の下流には、５個のレジスタＰ４０〜４４が直列接続されている。

レジスタ群１１には、入力画像データＸの画素値が、画素の配列方向（走査線の方向）に沿って順次入力される。そして、各レジスタＰ００〜Ｐ４３に格納されている画素値は、１クロックごとに下流側のレジスタＰ０１〜Ｐ４４に転送されて、格納される。また、レジスタ群１１を通過する画素値は、中途においてラインバッファ１２〜１５を経由する。たとえば、色補間装置１０が入力する入力画像データＸが、横方向でＮピクセルの画像データであるならば、ラインバッファ１２〜１５は、（Ｎ−５）ピクセル分の画像データを格納するラインバッファとして構成される。つまり、ラインバッファ１２〜１５は、レジスタＰ０４,Ｐ１４,Ｐ２４,Ｐ３４から出力された画素のデータを受信した後、（Ｎ−４）クロック間、その画素データを保持し、（Ｎ−５）クロック目において当該画素データを次段のレジスタＰ１０,Ｐ２０,Ｐ３０,Ｐ４０に出力するのである。その結果、レジスタ群１１は、注目画素を中心とする２次元（５×５ピクセル分）の画素値を保持する。ここで、注目画素とはレジスタＰ２２に対応する画素である。

そして、レジスタＰ００,Ｐ０１,・・・Ｐ４４に格納される画素値をＱ００,Ｑ０１,・・・Ｑ４４とすれば、レジスタ群１１には、図４に示すような２次元の画像データが格納されることになる。したがって、注目画素の補間処理前の画素値はＱ２２である。

色補間装置１０に入力画像データＸが画素ごとに順次入力されると、注目画素を移動させつつ、図４に示す５×５ピクセルの画素値Ｑ００,Ｑ０１,・・・Ｑ４４が注目画素の周辺画素の画素値として各レジスタＰ００,Ｐ０１,・・・Ｐ４４に格納される。そして、注目画素が更新される毎に、条件判定部１６は、各レジスタＰ００,Ｐ０１,・・・Ｐ４４に格納されている周辺画素の画素値Ｑ００,Ｑ０１,・・・Ｑ４４を入力する。

そして、条件判定部１６は、画素値Ｑ００,Ｑ０１,・・・Ｑ４４に基づいて水平方向および垂直方向のそれぞれについて、画素値の差分絶対値の加算値を算出する。これは、現在の注目画素についての水平方向および垂直方向についての画素の流れ傾向を算出する処理である。流れ傾向とは、画素値の相関性を示すものであり、たとえば、水平方向の直線ラインや縞模様が存在するような場合には、水平方向の流れ傾向があると言える。そして、水平方向の流れ傾向がある場合には、水平方向の相関度が高いと言える。

水平方向の画素値の差分とは、図５に示すように、１画素おきに出現する同色画素の画素値の差である。図に示すように、たとえば水平方向のラインがＲ,Ｇ,Ｒ,Ｇ,Ｒ・・・の画素列である場合には、Ｇ成分とＲ成分の両方について画素値の差分を算出する。同様に、水平方向のラインがＢ,Ｇ,Ｂ,Ｇ,Ｂ・・・の画素列である場合には、Ｇ成分とＢ成分の両方について画素値の差分を算出する。

垂直方向の画素値の差分とは、図６に示すように、１画素おきに出現する同色画素の画素値の差である。図に示すように、たとえば垂直方向のラインがＲ,Ｇ,Ｒ,Ｇ,Ｒ・・・の画素列である場合には、Ｇ成分とＲ成分の両方について画素値の差分を算出する。同様に、垂直方向のラインがＢ,Ｇ,Ｂ,Ｇ,Ｂ・・・の画素列である場合には、Ｇ成分とＢ成分の両方について画素値の差分を算出する。

数１式は、水平方向の画素値変化評価値ＤＨ、つまり、水平方向の画素値の差分絶対値の加算値を表す式である。図中、abs(x)はxの絶対値を示している。

また、数２式は、垂直方向の画素値変化評価値ＤＶ、つまり、垂直方向の画素値の差分絶対値の加算値を表す式である。abs(x)は、同様にxの絶対値を示している。

つまり、画素値変化評価値ＤＨ,ＤＶは、それぞれ水平方向および垂直方向に関して、図４で示した５×５の周辺画素の領域内で、１画素おきで並んでいる同色画素の差分絶対値を全て加算した値である。この評価値は、Ｇ成分、Ｒ成分、Ｂ成分の全ての色の成分について画素値の差分絶対値を加算した評価値である。

次に、条件判定部１６は、水平方向の画素値変化評価値ＤＨと垂直方向の画素値変化評価値ＤＶとの差分絶対値abs(ＤＨ−ＤＶ）を算出し、数３式を満たすか否かの判定を行う。

数３式において、ＤＡは、水平方向あるいは垂直方向の流れ傾向を判定する閾値である。そして、水平方向の画素値変化評価値ＤＨと垂直方向の画素値変化評価値ＤＶとの差があまり大きくなく、その差分絶対値が閾値ＤＡより小さい場合には、水平方向あるいは垂直方向の流れ傾向が見られないという判断、つまり、水平方向あるいは垂直方向のいずれにも評価すべき相関が見られないと判断し、本発明の補間処理の対象とはしない。逆に、その差分絶対値が閾値ＤＡより大きい場合には、水平方向あるいは垂直方向の流れ傾向が存在するという判断、つまり、水平方向あるいは垂直方向のいずれかに評価すべき相関が見られると判断し、本発明の補間処理の対象とするのである。

条件判定部１６は、相関度の判定結果を演算部に通知する。これに従い、演算部１７は補間演算処理を行う。具体的には、条件判定部１６において、数３式を満たしていると判定された場合、つまり、水平方向あるいは垂直方向のいずれかに評価すべき相関が見られると判定された場合には、数４式で示すような補間演算処理を実行する。

数４式において、Ｑｉ２２は、注目画素において補間された画素値である。ＤＨ＞ＤＶの場合、つまり、垂直方向の相関度が大きい場合には、注目画素の隣接する上下の画素値Ｑ１２,Ｑ３２の平均値を注目画素の画素値として採用し、ＤＨ＜ＤＶの場合、つまり、水平方向の相関度が大きい場合には、注目画素の隣接する左右の画素値Ｑ２１,Ｑ２３を注目画素の画素値として採用するのである。

ここで、数４式で示したように、この補間処理では上下あるいは左右の隣接する画素値によって補間処理を実行している。したがって、入力画像データＸが、図２で示したＲＧＢベイヤ配列の画像データの場合には、この補間処理が実行可能であるのは、Ｇ成分の画像データである。したがって、本実施の形態においては、色補間装置１０によりＧ成分の画像データを補間している。

しかし、色フィルタの配列によっては、他のＲ成分やＢ成分についても、本発明のアルゴリズムを適用させて色補間処理を実行することが可能である。つまり、本発明の色補間処理アルゴリズムの特徴は、水平方向あるいは垂直方向の流れ傾向を判定する際、つまり、相関度を判定する際において、色空間における全ての色成分の画素値を用いて評価値ＤＨ,ＤＶを算出することである。そして、この評価値ＤＨ,ＤＶを判定基準として用いる限りにおいては、Ｇ成分に限らず、Ｒ成分やＢ成分における補間処理に適用させるようにしてもよい。

また、上記実施の形態においては、入力画像データＸがＲＧＢ色空間の画像データである場合を例に説明しているが、本発明のアルゴリズムは、入力画像データがその他の色空間のデータである場合にも同様に適用可能である。また、上記実施の形態においては、注目画素の周囲の５×５ピクセルの画素を用いて評価値ＤＨ,ＤＶを求めるようにしているが、評価値ＤＨ,ＤＶを算出する際に対象とする周辺画素の領域は特に限定されるものではなく、７×７ピクセルの周辺領域を用いるようにしてもよい。

図７は、本発明の色補間処理のアルゴリズムを示すフローチャートである。まず、ＣＣＤ撮像素子等のセンサにおいて画像の読み込みが行われる（ステップＳ１）。次に、色補間装置１０が、ＲＡＷデータとしての入力画像データＸを入力する（ステップＳ２）。次に、色補間装置１０において、水平方向の差分絶対値の加算値（水平方向の画素値変化評価値ＤＨ）および垂直方向の差分絶対値の加算値（垂直方向の画素値変化評価値ＤＶ）が算出される（ステップＳ３,Ｓ４）。

次に、条件判定部１６において、水平方向あるいは垂直方向の流れ傾向があるか否かの判定が行われる（ステップＳ５）。この判定は、数３式を満たすか否かの判定処理である。

そして、水平方向あるいは垂直方向の流れ傾向が存在する、つまり、水平方向あるいは垂直方向に評価すべき相関が存在すると判定される場合（ステップＳ５でYES）には、数４式で示したような補間処理を実行する（ステップＳ６）。

一方、水平方向あるいは垂直方向の流れ傾向が存在しない、つまり、水平方向あるいは垂直方向に評価すべき相関が存在しないと判定される場合（ステップＳ５でNO）には、数４式で示したような補間処理を実行することは適当でないので、周知の他の補間処理方法を実行する。他の補間処理方法としては、たとえば、上下左右の４画素の平均値を注目画素の画素値とする方法などである。他にも、同一出願人により出願されている特願平１１−２２５０５６号などに開示されている補間処理を実行するようにしてもよい。

このように、評価値ＤＨ,ＤＶの関係が数３式を満たしていない場合には、数４式で示したような補間処理を行わないのは以下の理由である。本発明の補間アルゴリズムは、特に水平方向や垂直方向に相関性が見られる場合に、その相関性を考慮した補間を行うものである。したがって、たとえば上下左右４画素の画素値を用いて補間処理を行う場合に比べると、偏ったデータを採用する補間処理であると言える。したがって、特に水平方向や垂直方向に相関性が見られない場合には、数４式で示したような補間処理を行わずに、従来から行われているようなアルゴリズムを採用することとしているのである。

色補間装置と入出力データを示す図である。 ＲＧＢベイヤ配列の色フィルタアレイを示す図である。 色補間装置の機能ブロック図である。 注目画素周辺の５×５ピクセルの画素値を示す図である。 水平方向の差分の取り方を示す図である。 垂直方向の差分の取り方を示す図である。 本発明の色補間アルゴリズムを示すフローチャートである。

符号の説明

１０ 色補間装置
１１ レジスタ群
１２〜１５ ラインバッファ
１６ 条件判定部
１７ 演算部
Ｐ００〜Ｐ４４ レジスタ

Claims (6)

1. 所定の色空間のベイヤ配列の画素データを入力する第１工程と、
   注目画素の周辺に所定領域が設定され、前記所定領域内の全ての色成分の画素データを用いて、水平方向の画素値変化評価値（以下、水平評価値とする。）および垂直方向の画素値変化評価値（以下、垂直評価値とする。）を算出する第２工程と、
   前記水平評価値と前記垂直評価値とを比較する第３工程と、
   前記第３工程の比較の結果、水平方向の画素値変化が大きいと判定された場合には、前記注目画素について上下方向の画素値を用いた画素補間を行い、垂直方向の画素値変化が大きいと判定された場合には、前記注目画素について水平方向の画素値を用いた画素補間を行う第４工程と、
   を備えることを特徴とする色補間方法。
2. 請求項１に記載の色補間方法において、
   前記水平評価値は、前記所定領域内において水平方向で隣り合う同色画素データの画素値の差分絶対値を全て加算した値であり、前記垂直評価値は、前記所定領域内において垂直方向で隣り合う同色画素データの画素値の差分絶対値を全て加算した値であることを特徴とする色補間方法。
3. 請求項１または請求項２に記載の色補間方法において、
   前記第３工程は、
   前記水平評価値と前記垂直評価値の差が所定の閾値を越えるか否かを判定する工程、
   を含み、
   前記第３工程において前記水平評価値と前記垂直評価値の差が所定の閾値を越える場合のみ、前記第４工程を実行することを特徴とする色補間方法。
4. 請求項１ないし請求項３のいずれかに記載の色補間方法において、
   前記ベイヤ配列において市松状に配列される色を第１色成分とすると、前記注目画素は前記第１色成分以外の第２色成分であり、
   前記第４工程は、
   水平方向の画素値変化が大きいと判定された場合には、前記注目画素について上下に隣接する前記第１色成分の２つの画素データの画素値を用いることにより、前記注目画素における前記第１色成分についての画素補間を行い、垂直方向の画素値変化が大きいと判定された場合には、前記注目画素について左右に隣接する前記第１色成分の２つの画素データの画素値を用いることにより、前記注目画素における前記第１色成分についての画素補間を行う工程、
   を含むことを特徴とする色補間方法。
5. 請求項４に記載の色補間方法において、
   前記所定の色空間がＲＧＢ色空間であって、前記第１色成分がＧ成分であることを特徴とする色補間方法。
6. 請求項１ないし請求項５のいずれかに記載の色補間方法において、
   前記所定領域は、前記注目画素を中心とした５×５の画素領域であることを特徴とする色補間方法。
   

Images