JP2010104019A - 画素補間方法 - Google Patents
画素補間方法 Download PDFInfo
- Publication number
- JP2010104019A JP2010104019A JP2009286229A JP2009286229A JP2010104019A JP 2010104019 A JP2010104019 A JP 2010104019A JP 2009286229 A JP2009286229 A JP 2009286229A JP 2009286229 A JP2009286229 A JP 2009286229A JP 2010104019 A JP2010104019 A JP 2010104019A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- correlation
- signal
- degree
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Abstract
【課題】画素補間精度を向上させることを課題とする。
【解決手段】RGBベイヤ配列の画素信号について、垂直方向、水平方向、斜めA方向、斜めB方向の相関値を求める。相関値は、G信号を用いて算出される。垂直方向と水平方向を第1の組とし、斜めA,B方向を第2の組とし、相関値の偏りの大きい組を選択する。そして、偏りの大きい組の中で相関度の高い方向を選択し、当該方向について画素補間を行う。あるいは、偏りの大きい組に属する2つの方向について、相関度の比率に応じた重み付けを行って画素補間を行う。
【選択図】図4
【解決手段】RGBベイヤ配列の画素信号について、垂直方向、水平方向、斜めA方向、斜めB方向の相関値を求める。相関値は、G信号を用いて算出される。垂直方向と水平方向を第1の組とし、斜めA,B方向を第2の組とし、相関値の偏りの大きい組を選択する。そして、偏りの大きい組の中で相関度の高い方向を選択し、当該方向について画素補間を行う。あるいは、偏りの大きい組に属する2つの方向について、相関度の比率に応じた重み付けを行って画素補間を行う。
【選択図】図4
Description
本発明は、デジタルカメラ等に用いられる画素補間方法に関する。
デジタルカメラ等で利用されるCCD撮像素子は、色フィルタを介して受光する光を光電変換して画素データを出力する。この色フィルタには、RGB系フィルタやYMCK系色フィルタなどがある。そして、単板式の色フィルタにおいては、1画素について1色の画素データが出力される。たとえば、RGB系色フィルタであれば、1画素についてR(赤色)成分、または、G(緑色)成分、または、B(青色)成分の画素データが出力される。
このため、単板式の色フィルタを備えるCCD撮像素子から出力された画素データについては、各画素について単一色の画像データしか出力されないため、他の色成分の画像データについては補間処理を行うようにしている。そして、この補間処理については様々なアルゴリズムが用いられている。
しかし、補間処理は注目画素の画素データを周囲の画素データから推測する処理であるから、画像の内容次第では誤った補間を行う場合がある。そこで、上下方向のG信号の差分と左右方向のG信号の差分を算出することにより、垂直方向および水平方向の相関度を求め、この相関度に応じた画素補間を行うなど、補間精度を向上させるための技術が存在する。
また、下記特許文献においては、垂直方向に加えて斜め方向の相関度を評価して、画素補間を行う技術が開示されている。
上記の方法では、斜め方向の相関度を評価することで画素の補間精度を向上させているが、垂直、水平方向の相関度を用いた補間方法をそのまま拡張しているだけであるので、誤った補間を行うケースも発生する。
そこで、本発明は前記問題点に鑑み、複数の相関度を用いた画素補間技術において、補間精度を向上させる技術を提供することを目的とする。
上記課題を解決するため、請求項1記載の発明は、所定の色空間の画素データを入力する第1工程と、注目画素の周辺画素を用いて、第1の方向における画素の相関度と、前記第1の方向と直交する第2の方向における画素の相関度と、前記第1および第2の方向とは異なる第3の方向における画素の相関度と、前記第3の方向と直交する第4の方向における画素の相関度と、を求める第2工程と、前記第2工程で求められた相関度に基づいて、前記第1〜第4の4つの方向に関して、相関度の比率に応じた重み付けを行って画素補間を行う工程、を備えることを特徴とする。
請求項2記載の発明は、請求項1に記載の画素補間方法において、前記所定の色空間の画素データは、前記所定の色空間に含まれる各色成分の画素がベイヤ配列されたデータ、を含むことを特徴とする。
請求項3記載の発明は、請求項1または請求項2に記載の画素補間方法において、前記第1の方向は垂直方向あるいは水平方向であり、前記第3の方向は垂直方向に対して45度の傾きを持った方向であることを特徴とする。
請求項4記載の発明は、請求項1ないし請求項3のいずれかに記載の画素補間方法において、前記第2工程は、前記画素データがRGB色空間の画素データである場合にはG信号について、あるいは、前記画素データが輝度信号を含む所定の色空間の画素データである場合には輝度信号について相関度を求めることを特徴とする。
本発明は、注目画素の周辺領域の画素データを用いて、直角に交わる2方向の複数組の相関度を求め、この相関度を判定基準として補間処理を実行するので、より精度の高い補間処理を実行することが可能である。
また、本発明は複数の斜め方向の相関度を考慮することとしているので、今後撮像素子に、8角形、12角形のように斜め方向に画素が配列される形態のものが増加した場合においても有効である。
以下、図面を参照しつつ本発明の画素補間方法をデジタルカメラにおいて適用させた場合の実施の形態について説明する。図1は、実施の形態に係るデジタルカメラ1の機能ブロック図である。デジタルカメラ1は、撮像センサであるCCD2と、A/D変換回路3と、画像処理回路4と、メモリ6と、LCD7とを備えている。画像処理回路4は、本発明の画素補間方法が適用される色補間回路5を備えている。
この実施の形態において、CCD2はRGBベイヤ配列の色フィルタアレイを備えている。したがって、被写体から入射した光は、RGBベイヤ配列の色フィルタによって、RGB各色の光に分解される。そして、RGB各色の光は、CCD2の各画素において光電変換され、電荷情報として蓄積される。CCD2は、蓄積した電荷情報をアナログの画像信号として出力する。このアナログの画像信号は、A/D変換回路3においてデジタル変換され、A/D変換回路3は、RGBベイヤ配列の画像信号をデジタル信号として出力する。A/D変換回路3から出力される画像信号は、図2に示すように、R(赤色)信号とG(緑色)信号が交互に出力される水平ラインと、G(緑色)信号とB(青色)信号が交互に出力される水平ラインとが交互に出力される信号である。
なお、この実施の形態においては、CCD2から出力される画像信号をRGBベイヤ配列の画像信号としているが、本発明の画素補間方法は、補色系の色フィルタアレイを備えた撮像センサから出力された画像信号など、様々な画像信号に適用可能である。
A/D変換回路3から出力されたベイヤ配列の画像信号は、画像処理回路4に入力され、色補間回路5において色補間処理が施される。この色補間処理において本発明の特徴である画素補間方法が実行される。これにより、1画素がRGB3つの色成分の信号をもつ画像信号へと変換される。そして、その他の補正処理、圧縮処理等が施された後、画像信号は、メモリ6に格納される。あるいは、LCD7に対して出力される。
{実施の形態1}:一般的なRGBベイヤ配列の画素配列に対する処理
本発明の実施の形態1に係る画素補間方法について説明する。実施の形態1においては、CCD2から出力される画素信号は、図2に示すような一般的なRGBベイヤ配列の画素信号である。
本発明の実施の形態1に係る画素補間方法について説明する。実施の形態1においては、CCD2から出力される画素信号は、図2に示すような一般的なRGBベイヤ配列の画素信号である。
図2において、色成分を表す記号R(赤色),G(緑色),B(青色)に続く2桁の数字は、1桁目が画素配列の行数、2桁目が画素配列の列数を示している。この例では、偶数行のラインは、R→G→R→G・・・というように、RとGが交互に読み出されるラインであり、奇数行のラインは、G→B→G→B・・・というように、GとBの画素が交互に読み出されるラインである。
図3は、図2で示した画素配列に対して相関度を評価する4つの方向を示している。本実施の形態においては、互いに直交する2方向の組が2組利用される。1組目は、互いに直交する垂直方向と水平方向の組であり、2組目は、互いに直行する斜めA方向と斜めB方向の組である。また、この実施の形態において、斜めA方向は、垂直方向から左45度に傾いた方向であり、斜めB方向は、垂直方向から右45度に傾いた方向である。
なお、図2,図4〜図9において、太実線で描かれた円はG信号であり、細実線で描かれた円はR信号であり、破線で描かれた円はB信号を示している。また、各図面においてR00,G01等の表記は、画素を識別する名称として使用しているが、数1式〜数20式において、R00,G01等の表記は、各画素の画素値を示すものとする。
<相関値計算方法>
図4(A)〜(D)は、注目画素がG信号(ここではG22)である場合の相関値計算方法について示している。この実施の形態においては、注目画素を中心とした5×5の周辺領域に含まれるG信号を相関値計算の対象領域としているが、周辺領域の範囲は特には限定されるものではない。他にも7×7領域などを利用してもよい。
図4(A)〜(D)は、注目画素がG信号(ここではG22)である場合の相関値計算方法について示している。この実施の形態においては、注目画素を中心とした5×5の周辺領域に含まれるG信号を相関値計算の対象領域としているが、周辺領域の範囲は特には限定されるものではない。他にも7×7領域などを利用してもよい。
図4(A)は垂直方向の相関値(Cvertical)を算出する方法を示しており、その計算式は、数1式となる。
つまり、7つのG信号(G11,G31,G02,G22,G42,G13,G33)の画素値を用いて、垂直方向の画素差分絶対値を4組計算し、これらの平均値を相関値(Cvertical)とするのである。そして、相関値(Cvertical)の値が小さいほど垂直方向への相関度が高いことを示している。
図4(B)は水平方向の相関値(Chorizontal)を算出する方法を示しており、その計算式は、数2式となる。
つまり、7つのG信号(G11,G13,G20,G22,G24,G31,G33)の画素値を用いて、水平方向の画素差分絶対値を4組計算し、これらの平均値を相関値(Chorizontal)とするのである。そして、相関値(Chorizontal)の値が小さいほど水平方向への相関度が高いことを示している。
図4(C)は斜めA方向の相関値(CdiagonalA)を算出する方法を示しており、その計算式は、数3式となる。
つまり、5つのG信号(G00,G11,G22,G33,G44)の画素値を用いて、斜めA方向の画素差分絶対値を4組計算し、これらの平均値を相関値(CdiagonalA)とするのである。そして、相関値(CdiagonalA)の値が小さいほど斜めA方向への相関度が高いことを示している。
図4(D)は斜めB方向の相関値(CdiagonalB)を算出する方法を示しており、その計算式は、数4式となる。
つまり、5つのG信号(G04,G13,G22,G31,G40)の画素値を用いて、斜めB方向の画素差分絶対値を4組計算し、これらの平均値を相関値(CdiagonalB)とするのである。そして、相関値(CdiagonalB)の値が小さいほど相関度が高いことを示している。
図5(A)〜(D)は、注目画素がR信号(ここではR22)である場合の相関値計算方法について示している。この実施の形態においては、注目画素を中心とした5×5の周辺領域に含まれるG信号を相関値計算の対象画素としているが、周辺領域の範囲は特には限定されるものではない。他にも3×3領域や7×7領域を利用してもよい。
図5(A)は垂直方向の相関値(Cvertical)を算出する方法を示しており、その計算式は、数5式となる。
つまり、8つのG信号(G01,G21,G41,G12,G32,G03,G23,G43)の画素値を用いて、垂直方向の画素差分絶対値を5組計算し、これらの平均値を相関値(Cvertical)とするのである。そして、相関値(Cvertical)の値が小さいほど相関度が高いことを示している。
図5(B)は水平方向の相関値(Chorizontal)を算出する方法を示しており、その計算式は、数6式となる。
つまり、8つのG信号(G10,G12,G14,G21,G23,G30,G32,G34)の画素値を用いて、水平方向の画素差分絶対値を5組計算し、これらの平均値を相関値(Chorizontal)とするのである。そして、相関値(Chorizontal)の値が小さいほど相関度が高いことを示している。
図5(C)は斜めA方向の相関値(CdiagonalA)を算出する方法を示しており、その計算式は、数7式となる。
つまり、8つのG信号(G10,G21,G32,G43,G01,G12,G23,G34)の画素値を用いて、斜めA方向の画素差分絶対値を6組計算し、これらの平均値を相関値(CdiagonalA)とするのである。そして、相関値(CdiagonalA)の値が小さいほど相関度が高いことを示している。
図5(D)は斜めB方向の相関値(CdiagonalB)を算出する方法を示しており、その計算式は、数8式となる。
つまり、8つのG信号(G03,G12,G21,G30,G14,G23,G32,G41)の画素値を用いて、斜めB方向の画素差分絶対値を6組計算し、これらの平均値を相関値(CdiagonalB)とするのである。そして、相関値(CdiagonalB)の値が小さいほど相関度が高いことを示している。
B信号が注目画素である場合の画素補間方法については、R信号が注目画素である場合と同様である。つまり、図5において、R信号とB信号とを入れ替え、同様に、数5式〜数8式を用いることにより、水平、垂直、斜めA、斜めB方向の相関値を算出し、各方向についての相関度を評価することが可能である。
次に、上述した方法により求めた4方向の相関値から4方向の相関度を評価し、画素の補間を行う3つの方法について説明する。
<第1の画素補間方法>
まず、第1の画素補間方法について説明する。第1の方法では、垂直方向、水平方向、斜めA方向、斜めB方向のうち、垂直方向と水平方向とからなる組を第1の組とし、斜めA方向と斜めB方向とからなる組を第2の組として、相関度の評価を行い、相関度の偏りの大きい組を選択する。
まず、第1の画素補間方法について説明する。第1の方法では、垂直方向、水平方向、斜めA方向、斜めB方向のうち、垂直方向と水平方向とからなる組を第1の組とし、斜めA方向と斜めB方向とからなる組を第2の組として、相関度の評価を行い、相関度の偏りの大きい組を選択する。
つまり、第1の組において垂直方向の相関値(Cvertical)と水平方向の相関値(Chorizontal)の差分絶対値|Cvertical−Chorizontal|を算出し、第2の組においては斜めA方向の相関値(CdiagonalA)と斜めB方向の相関値(CdiagonalB)の差分絶対値|CdiagonalA−CdiagonalB|を算出する。そして、2つの差分絶対値の大小を評価し、差分絶対値の大きい組を相関度の偏りの大きい組として選択するのである。
たとえば、相関値(Cvertical)=20、相関値(Chorizontal)=10、斜めA方向の相関値(CdiagonalA)=10、斜めB方向の相関値(CdiagonalB)=5である場合であれば、|20−10|>|10−5|となり、相関度の偏りが大きい第1の組が選択される。
相関度の偏りの大きい組が決定すると、次に、相関度の偏りの大きい組の中で、相関度の大きい方向が選択される。上で示した例であれば、第1の組が選択されているが、その中で、垂直方向の相関値(Cvertical)=20、水平方向の相関値(Chorizontal)=10であるので、相関度の大きい方向、つまり、相関値の小さい水平方向が選択されるのである。
このようにして、相関度の偏りが大きい組が選択され、さらに、相関度の偏りの大きい組の中で、相関度の大きい方向が選択されると、この相関度の大きい方向について画素補間を行うのである。具体的には、図4で示したように、G信号が注目画素の場合であれば、この注目画素についてR信号あるいはB信号を、選択された方向の同色画素を用いて画素補間するのである。図5で示したように、R信号が注目画素の場合であれば、この注目画素についてG信号あるいはB信号を、選択された方向の同色画素を用いて画素補間するのである。同様に、注目画素がBの場合であれば、この注目画素についてG信号あるいはR信号を、選択された方向の同色画素を用いて画素補間するのである。
また、補間したい方向のラインに補間対象となる色成分の画素が存在する場合には、平均値を算出することやリニア補間を行うで、画素補間処理を実行することができる。しかし、画素配列によっては、補間したい方向のラインに補間対象となる色成分の画素が存在しない場合がある。このような場合には、補間したい方向のラインに直角な方向の変化率(ラプラシアン)から補間対象となる画素の画素値を推測するなどの方法をとればよい。ただし、本発明における上記の相関度の評価が考慮されていれば、特に、補間方法については限定されるものではない。
上述した例、つまり、相関値(Cvertical)=20、相関値(Chorizontal)=10、斜めA方向の相関値(CdiagonalA)=10、斜めB方向の相関値(CdiagonalB)=5の場合であれば、第1の組が選択され、さらに、水平方向が選択されるので、G信号が注目画素である場合には、水平方向のR信号を用いて注目画素のR信号を画素補間し、水平方向のB信号(水平ライン上にB信号はないので、上記で示したように、垂直方向の変化率を考慮して推測されたB信号)を用いて注目画素のB信号を画素補間するのである。同様に、R信号が注目画素である場合には、水平方向のB信号(水平ライン上にB信号はないので、上記で示したように、垂直方向の変化率を考慮して推測されたB信号)を用いて注目画素のB信号を画素補間し、水平方向のG信号を用いて注目画素のG信号を画素補間し、B信号が注目画素である場合には、水平方向のR信号(水平ライン上にR信号はないので、上記で示したように、垂直方向の変化率を考慮して推測されたR信号)を用いて注目画素のR信号を画素補間し、水平方向のG信号を用いて注目画素のG信号を画素補間するのである。
<第2の画素補間方法>
次に、第2の画素補間方法について説明する。上述した第1の画素補間方法と同様に、この第2の方法においても、第1の組および第2の組のうち相関度の偏りの大きい組が選択される。そして、第2の方法では、この選択された相関度の大きい組に含まれる2方向の相関度を利用する。具体的には、選択された相関度の大きい組に含まれる2方向について、相関度に応じた比率で重み付けを行い、2方向の画素変化を考慮した画素補間を行うのである。
次に、第2の画素補間方法について説明する。上述した第1の画素補間方法と同様に、この第2の方法においても、第1の組および第2の組のうち相関度の偏りの大きい組が選択される。そして、第2の方法では、この選択された相関度の大きい組に含まれる2方向の相関度を利用する。具体的には、選択された相関度の大きい組に含まれる2方向について、相関度に応じた比率で重み付けを行い、2方向の画素変化を考慮した画素補間を行うのである。
上記の例であれば、選択された相関度の偏りの大きい第1の組において、相関値(Cvertical)=20、相関値(Chorizontal)=10であり、相関値の比は2/3:1/3となるので、相関度の比は、1/3:2/3となる。ここで、注目画素について垂直方向において画素補間を行った画素値をP1、水平方向に画素補間を行った画素値をP2とすると、相関度の比率に応じて重み付けをした「P1×1/3+P2×2/3」の値を注目画素の画素値とするのである。これにより、垂直、水平2方向の相関度を考慮した精度の高い補間処理を実行することが可能である。
一般的には、選択された相関度の偏りの大きい組に含まれる2つの方向X,Yの相関値をCX,CY(CX,CYの算出方法は、数1式〜数8式で示した方法と同様。)とし、X,Y方向において画素補間を行った画素値をPX,PYとすると、2つの方向X,Yに対する相関度の比は、数9式のようになる。
従って、2つの方向X,Yの相関度の比率に応じて重み付けされた画素補間値は、数10式で表される。
また、上記の例では、相関度の比をそのまま重み付け係数として利用し、相関度に応じて単純比例配分するようにしたが、図10(a),(b)に示すような関数を用いて重み付け係数を算出するようにしてもよい。図中、横軸は相関度の比率(単純比例配分を行う場合の重み付け係数に対応する。)、縦軸は各関数によって決定される重み付け係数の値を示している。
図に示すように、この重み付け係数を求める関数は、単純なリニア関数ではなく、相関度の比率の領域によって、その傾きが異なるように設定されている。つまり、相関度の比率によって異なる関数を適用させるようにしている。図10に示した各領域における関数の傾きは一例であるが、このように、各領域における関数を自由に設定できるようにしている。
図10で示したような関数を用いる場合、ルックアップテーブル(LUT)として関数の値を予めROMに格納するようにしてもよいし、関数の計算式をソフトウェア処理として実行するようにしてもよい。
<第3の画素補間方法>
次に、第3の画素補間方法について説明する。この方法は、上記の方法で求められた4つの方向の相関度に応じて、4つの全ての方向について相関度の比率に応じた重み付けを行って画素補間を行う方法である。
次に、第3の画素補間方法について説明する。この方法は、上記の方法で求められた4つの方向の相関度に応じて、4つの全ての方向について相関度の比率に応じた重み付けを行って画素補間を行う方法である。
上記の例であれば、相関値(Cvertical)=20、相関値(Chorizontal)=10、相関値(CdiagonalA)=10、相関値(CdiagonalB)=5であり、相関値の比率は20/45:10/45:10/45:5/45となるので、相関度の比率は、25/45:35/45:35/45:40/45となる。この相関度比の算出方法は一例であり、他の例については後述する。
そして、注目画素について垂直方向において画素補間を行った画素値をP1、水平方向に画素補間を行った画素値をP2、斜めA方向に画素補間を行った画素値をP3、斜めB方向に画素補間を行った画素値をP4とすると、相関度の比率に応じて重み付けされた画素値「P1×25/45+P2×35/45+P3×35/45+P4×40/45」を注目画素の画素値とするのである。これにより、垂直、水平、斜めA、斜めBの4方向の相関度を考慮した精度の高い補間処理を実行することが可能である。
一般的には、X,Y,Z,Ω方向における相関度をCX,CY,CZ,CΩ(CX,CY,CZ,CΩの算出方法は、数1式〜数8式で示した方法と同様。)とし、X,Y,Z,Ω方向において画素補間を行った画素値をPX,PY,PZ,PΩとすると、4つの方向X,Y,Z,Ωに対する相関度の比は、数11式のようになる。
従って、4つの方向X,Y,Z,Ωの相関度の比率に応じて重み付けされた画素補間値は、数12式で表される。
また、重み付け係数を算出する方法として、この第3の方法においても、図10に示すような関数を用いることが可能である。
また、別の相関度比率の求め方として、相関値の逆比を用いるようにしてもよい。つまり、相関値(Cvertical)=20、相関値(Chorizontal)=10、相関値(CdiagonalA)=10、相関値(CdiagonalB)=5であり、相関値の比率は20:10:10:5であるので、相関度の比率をこれらの逆比、1/20:1/10:1/10:1/5すなわち1/9:2/9:2/9:4/9とする方法である。
あるいは、また別の相関度比率の求め方として、相関度乖離率を考慮するようにしてもよい。つまり、それそれの組における相関度の比が、10/30:20/30と5/15:10/15であり、それぞれの組についての相関度乖離率が、|20−10|:|10−5|すなわち2/3:1/3であるので、各組の相関度の比率に相関度乖離率を乗じることにより、相関度の比率を10/30×2/3:20/30×2/3:5/15×1/3:10/15×1/3、すなわち、2/9:4/9:1/9:2/9とするのである。また、この方法において、相関係数、相関乖離率それぞれについて図10に示す非線形な特性を適用することもできる。
{実施の形態2}:RGBベイヤ配列を45度回転させた画素配列に対する処理
本発明の実施の形態2に係る画素補間方法について説明する。実施の形態2におけるCCD2は、図6に示すような画素配列となっている。つまり、図2で示した一般的なRGBベイヤ配列を45度回転させた画素配列となっている。たとえば、このような画素配列のCCDとしてハニカムCCDが知られている。
本発明の実施の形態2に係る画素補間方法について説明する。実施の形態2におけるCCD2は、図6に示すような画素配列となっている。つまり、図2で示した一般的なRGBベイヤ配列を45度回転させた画素配列となっている。たとえば、このような画素配列のCCDとしてハニカムCCDが知られている。
そして、このようなCCD2から出力される画素信号は、図7に示すような配列の画素信号である。この例では、偶数行(偶数ライン)は、R→B→R→B・・・とR(赤色)とB(青色)が交互に読み出され、奇数行(奇数ライン)はG→G→G→G・・・のようにG(緑色)の画素が連続的に読み出される。このように出力信号の配列が実施の形態1とは異なるため、実施の形態1で説明した方法とは異なる方法を用いる。
この実施の形態においても図3で示したように、互いに直交する相関方向の組が2組利用される。
<相関値計算方法>
図8(A)〜(D)は、注目画素がG信号(ここではG22)である場合の相関値計算方法について示している。この実施の形態においては、注目画素を中心とした3×3の周辺領域に含まれるG信号を相関値計算の対象画素としているが、周辺領域の範囲は特には限定されるものではない。他にも5×5領域や7×7領域のG信号を利用してもよい。
図8(A)〜(D)は、注目画素がG信号(ここではG22)である場合の相関値計算方法について示している。この実施の形態においては、注目画素を中心とした3×3の周辺領域に含まれるG信号を相関値計算の対象画素としているが、周辺領域の範囲は特には限定されるものではない。他にも5×5領域や7×7領域のG信号を利用してもよい。
図8(A)は垂直方向の相関値(Cvertical)を算出する方法を示しており、その計算式は、数13式となる。
つまり、3つのG信号(G02,G22,G42)の画素値を用いて、垂直方向の画素差分絶対値を2組計算し、これらの平均値を相関値(Cvertical)とするのである。そして、相関値(Cvertical)の値が小さいほど相関度が高いことを示している。
図8(B)は水平方向の相関値(Chorizontal)を算出する方法を示しており、その計算式は、数14式となる。
つまり、3つのG信号(G32,G22,G23)の画素値を用いて、水平方向の画素差分絶対値を2組計算し、これらの平均値を相関値(Chorizontal)とするのである。そして、相関値(Chorizontal)の値が小さいほど相関度が高いことを示している。
図8(C)は斜めA方向の相関値(CdiagonalA)を算出する方法を示しており、その計算式は、数15式となる。
つまり、3つのG信号(G01,G22,G43)の画素値を用いて、斜めA方向の画素差分絶対値を2組計算し、これらの平均値を相関値(CdiagonalA)とするのである。そして、相関値(CdiagonalA)の値が小さいほど相関度が高いことを示している。
図8(D)は斜めB方向の相関値(CdiagonalB)を算出する方法を示しており、その計算式は、数16式となる。
つまり、3つのG信号(G03,G22,G41)の画素値を用いて、斜めB方向の画素差分絶対値を2組計算し、これらの平均値を相関値(CdiagonalB)とするのである。そして、相関値(CdiagonalB)の値が小さいほど相関度が高いことを示している。
図9(A)〜(D)は、注目画素がB信号(ここではB22)である場合の相関値計算方法について示している。この実施の形態においては、注目画素を中心とした2×4の周辺領域のG信号を相関値計算の対象画素としているが、周辺領域の範囲は特には限定されるものではない。
図9(A)は垂直方向の相関値(Cvertical)を算出する方法を示しており、その計算式は、数17式となる。
つまり、8つのG信号(G10,G11,G12,G13,G30,G31,G32,G33)の画素値を用いて、垂直方向の画素差分絶対値を4組計算し、これらの平均値を相関値(Cvertical)とするのである。そして、相関値(Cvertical)の値が小さいほど相関度が高いことを示している。
図9(B)は水平方向の相関値(Chorizontal)を算出する方法を示しており、その計算式は、数18式となる。
つまり、8つのG信号(G10,G11,G12,G13,G30,G31,G32,G33)の画素値を用いて、水平方向の画素差分絶対値を6組計算し、これらの平均値を相関値(Chorizontal)とするのである。そして、相関値(Chorizontal)の値が小さいほど相関度が高いことを示している。
図9(C)は斜めA方向の相関値(CdiagonalA)を算出する方法を示しており、その計算式は、数19式となる。
つまり、6つのG信号(G10,G11,G12,G31,G32,G33)の画素値を用いて、斜めA方向の画素差分絶対値を3組計算し、これらの平均値を相関値(CdiagonalA)とするのである。そして、相関値(CdiagonalA)の値が小さいほど相関度が高いことを示している。
図9(D)は斜めB方向の相関値(CdiagonalB)を算出する方法を示しており、その計算式は、数20式となる。
つまり、6つのG信号(G11,G12,G13,G30,G31,G32)の画素値を用いて、斜めB方向の画素差分絶対値を3組計算し、これらの平均値を相関値(CdiagonalB)とするのである。そして、相関値(CdiagonalB)の値が小さいほど相関度が高いことを示している。
R信号が注目画素である場合の画素補間方法については、B信号が注目画素である場合と同様である。つまり、図9において、B信号とR信号とを入れ替え、同様に数17式〜数20式を用いることにより、水平、垂直、斜めA、斜めB方向の相関値を算出することが可能である。
以上の方法により、水平、垂直、斜めA、斜めB方向について4つの相関値(Cvertical,Chorizontal,CdiagonalA,CdiagonalB)が算出されると、第1の実施の形態で説明した3つの画素補間方法と同様の方法により、画素補間を行うことが可能である。つまり、第1の方法は、相関度の偏りの大きい組を選択し、さらに、相関度の偏りの大きい組の中で相関度の高い方向を選択する。そして、当該方向について画素補間を行う方法である。第2の方法は、相関度の偏りの大きい組を選択し、相関度の偏りの大きい組に含まれる2つの方向について、相関度の比率に応じた重み付けを行って画素補間を行う方法である。また、第3の方法は、4つの方向について、相関度の比率に応じた重み付けを行って画素補間を行う方法である。
{変形例}
上記実施の形態においては、斜めA方向および斜めB方向は、それぞれ垂直方向から45度の傾きをもつ組を選択したが、これは一例である。斜めA方向と斜めB方向が互い直交する関係を持っていれば、垂直方向に対する傾きとして他の角度を選択するようにしてもよい。
上記実施の形態においては、斜めA方向および斜めB方向は、それぞれ垂直方向から45度の傾きをもつ組を選択したが、これは一例である。斜めA方向と斜めB方向が互い直交する関係を持っていれば、垂直方向に対する傾きとして他の角度を選択するようにしてもよい。
また、上記実施の形態においては、G信号について相関値を算出するようにしたが、入力する画素データが、たとえば、輝度信号を含むデータである場合には、輝度信号を用いて相関値を求めるようにすることが好ましい。ただし、本発明の画素補間方法において相関値を求める画素成分は、G信号や輝度信号に限定されるものではなく、他の色を用いて相関値を求めるようにしてもよい。
また、相関値を評価する際に、閾値との評価を行うようにしてもよい。上述の如く、本実施の形態においては、垂直、水平、斜めA、斜めB方向について相関値を算出した。そして、それぞれの相関値を所定の閾値と比較評価するのである。そして、たとえば、4つの方向において画素補間を行う上記第3の画素補間方法において、閾値を下回る相関値を有する方向のみ(つまり、相関度の高い方向のみ)について画素補間を行うようにしてもよい。また、いずれの方向についても相関値が閾値を上回る場合(つまり、いずれの方向についても相関度が高くない場合)には、メディアン補間あるいは平均値補間のどちらを使うかを選択するなど、状況に応じて補間方法を切り替えるようにしてもよい。
4 画像処理回路
5 色補間回路
5 色補間回路
Claims (4)
- 所定の色空間の画素データを入力する第1工程と、
注目画素の周辺画素を用いて、第1の方向における画素の相関度と、前記第1の方向と直交する第2の方向における画素の相関度と、前記第1および第2の方向とは異なる第3の方向における画素の相関度と、前記第3の方向と直交する第4の方向における画素の相関度と、を求める第2工程と、
前記第2工程で求められた相関度に基づいて、前記第1〜第4の4つの方向に関して、相関度の比率に応じた重み付けを行って画素補間を行う工程、
を備えることを特徴とする画素補間方法。 - 請求項1に記載の画素補間方法において、
前記所定の色空間の画素データは、
前記所定の色空間に含まれる各色成分の画素がベイヤ配列されたデータ、
を含むことを特徴とする画素補間方法。 - 請求項1または請求項2に記載の画素補間方法において、
前記第1の方向は垂直方向あるいは水平方向であり、前記第3の方向は垂直方向に対して45度の傾きを持った方向であることを特徴とする画素補間方法。 - 請求項1ないし請求項3のいずれかに記載の画素補間方法において、
前記第2工程は、前記画素データがRGB色空間の画素データである場合にはG信号について、あるいは、前記画素データが輝度信号を含む所定の色空間の画素データである場合には輝度信号について相関度を求めることを特徴とする画素補間方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009286229A JP2010104019A (ja) | 2009-12-17 | 2009-12-17 | 画素補間方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009286229A JP2010104019A (ja) | 2009-12-17 | 2009-12-17 | 画素補間方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004199233A Division JP4446818B2 (ja) | 2004-07-06 | 2004-07-06 | 画素補間方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010104019A true JP2010104019A (ja) | 2010-05-06 |
Family
ID=42294168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009286229A Pending JP2010104019A (ja) | 2009-12-17 | 2009-12-17 | 画素補間方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010104019A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012117584A1 (ja) | 2011-02-28 | 2012-09-07 | 富士フイルム株式会社 | カラー撮像装置 |
WO2012120705A1 (ja) | 2011-03-09 | 2012-09-13 | 富士フイルム株式会社 | カラー撮像素子 |
US11263724B2 (en) | 2019-10-02 | 2022-03-01 | Hanwha Techwin Co., Ltd. | Device for interpolating colors and method thereof |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11103465A (ja) * | 1997-09-26 | 1999-04-13 | Nikon Corp | 補間装置および補間処理プログラムを記録した記録媒体 |
JP2000188762A (ja) * | 1998-12-21 | 2000-07-04 | Nikon Corp | 補間処理装置および補間処理プログラムを記録した記録媒体 |
JP2001061157A (ja) * | 1999-06-14 | 2001-03-06 | Nikon Corp | 画像処理方法、画像処理プログラムを記録した機械読み取り可能な記録媒体、および画像処理装置 |
-
2009
- 2009-12-17 JP JP2009286229A patent/JP2010104019A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11103465A (ja) * | 1997-09-26 | 1999-04-13 | Nikon Corp | 補間装置および補間処理プログラムを記録した記録媒体 |
JP2000188762A (ja) * | 1998-12-21 | 2000-07-04 | Nikon Corp | 補間処理装置および補間処理プログラムを記録した記録媒体 |
JP2001061157A (ja) * | 1999-06-14 | 2001-03-06 | Nikon Corp | 画像処理方法、画像処理プログラムを記録した機械読み取り可能な記録媒体、および画像処理装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012117584A1 (ja) | 2011-02-28 | 2012-09-07 | 富士フイルム株式会社 | カラー撮像装置 |
US8878970B2 (en) | 2011-02-28 | 2014-11-04 | Fujifilm Corporation | Color imaging apparatus having color imaging element |
US9288454B2 (en) | 2011-02-28 | 2016-03-15 | Fujifilm Corporation | Color imaging apparatus having color imaging element |
WO2012120705A1 (ja) | 2011-03-09 | 2012-09-13 | 富士フイルム株式会社 | カラー撮像素子 |
US9313466B2 (en) | 2011-03-09 | 2016-04-12 | Fujifilm Corporation | Color imaging element |
US11263724B2 (en) | 2019-10-02 | 2022-03-01 | Hanwha Techwin Co., Ltd. | Device for interpolating colors and method thereof |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20070126885A1 (en) | Pixel Interpolation Method | |
US8131067B2 (en) | Image processing apparatus, image processing method, and computer-readable media for attaining image processing | |
JP5672776B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP5040519B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US20150029367A1 (en) | Color imaging apparatus | |
JP5840008B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
EP1389771A2 (en) | Digital image system and method for combining demosaicing and bad pixel correction | |
JP2005159957A (ja) | 色補間方法 | |
JP5781998B2 (ja) | カラー撮像素子 | |
JP5542243B2 (ja) | 画像処理装置、方法及びプログラム並びに撮像装置 | |
JP4863505B2 (ja) | 画像処理装置 | |
JP2006186965A (ja) | 画素補間方法および画像判定方法 | |
JP4982897B2 (ja) | 画像処理装置 | |
WO2006048962A1 (ja) | 画素信号処理装置及び画素信号処理方法 | |
JP2010103642A (ja) | シェーディング補正装置 | |
US9679358B2 (en) | Pixel interpolation processing apparatus, imaging apparatus, interpolation processing method, and integrated circuit | |
KR100768619B1 (ko) | 화소 신호 처리 장치 및 방법 | |
JP4104495B2 (ja) | データ処理装置、画像処理装置およびカメラ | |
JP4446818B2 (ja) | 画素補間方法 | |
JP5600812B2 (ja) | 撮像装置 | |
JP5456206B2 (ja) | 撮像装置、撮像装置の制御プログラム、及び撮像装置の制御方法 | |
JP2010104019A (ja) | 画素補間方法 | |
JP5484015B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
US8810680B1 (en) | Method and apparatus for color data synthesis in digital image and video capture systems | |
JP4998069B2 (ja) | 補間処理装置、撮像装置、及び、補間処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120726 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120731 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20121120 |