JP2004023384A

JP2004023384A - 単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法

Info

Publication number: JP2004023384A
Application number: JP2002174513A
Authority: JP
Inventors: Naoki Ozawa; 小澤　直樹
Original assignee: BIITEKKU KK
Current assignee: BIITEKKU KK
Priority date: 2002-06-14
Filing date: 2002-06-14
Publication date: 2004-01-22
Anticipated expiration: 2022-06-14
Also published as: US20030231807A1; US7139443B2; JP3965460B2

Abstract

【課題】インタリーブの関係にある画素信号に対して、あらゆる条件の画像で周波数帯域を低下させることなく欠落した画素位置での補間信号を生成できる、単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法を提供する。
【解決手段】インタリーブの関係にある画素配列をすべての格子点に画素が存在する画素配列に変換し、これに対する直交変換と逆変換処理に対応する係数を用いたフィルタ処理によって画素の間に対応する補間信号を生成する。ここで補間信号の生成を行う逆変換には、実在の画素信号から得た周波数係数をそのまま用いるので、補間信号の周波数特性が低下しない。
【選択図】　　　　図１

Description

【０００１】
【発明が属する技術分野】
本発明は、ベイヤ配列の単板カラーカメラにおいて市松状に配された緑色信号等、隣接するライン上の画素位置がライン方向に画素の繰り返し周期の半分だけずれたインタリーブの関係にある信号に対し、欠落した画素の位置に対応する補間信号を生成する単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法に関する。
【０００２】
【従来の技術】
近年、普及の速度が著しい電子スチルカメラの多くは、固体撮像素子を１つだけ用いてカラーの画像信号を得る単板カラーカメラで構成されている。単板カラーカメラでは、固体撮像素子の画素ごとに透過光の異なる微小な色フィルタを組み合わせることによってカラー画像の生成に必要なＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の信号を得ている。ここで微小な色フィルタの配列の一例として、電子スチルカメラでの主流である、いわゆる原色形ベイヤ配列を図２に示す。
【０００３】
図２に示す原色形ベイヤ配列では、固体撮像素子の各画素に対応する微小フィルタのうち、Ｇを透過する微小フィルタがすべての水平画素列において水平方向に１画素おきに、なおかつ奇数番目の水平画素列と偶数番目の水平画素列では水平方向に１画素分だけずれた、インタリーブの関係に配置されている。一方、Ｒを透過する微小フィルタは奇数番目の水平画素列のＧの間にある画素に配置され、Ｂを透過する微小フィルタは偶数番目の水平画素列のＧの間にある画素に配置されている。この結果、全体の構成は水平方向２画素、垂直方向２画素の部分が繰り返される構成となっている。
【０００４】
単板カラーカメラでは、色フィルタを組み合わせた固体撮像素子からＲ、Ｇ、Ｂの信号を取り出してカラー画像を得る。このとき、画像の解像度に関わる輝度信号Ｙは、ＮＴＳＣ方式では次の（１）式の関係で生成される。
【０００５】
Ｙ＝０．３０・Ｒ＋０．５９・Ｇ＋０．１１・Ｂ　　　　　（１）
【０００６】
（１）式の関係から、画像の解像度は大きな割合を占めるＧの解像度に大きく関わることがわかる。このことから、固体撮像素子のＲ、Ｂの画素位置に対応するＧ信号を補間し、すべての画素に対するＧ信号が得られれば、画像の解像度向上が達成できる。
【０００７】
また、Ｇ信号がすべての画素で得られると、ＧとＲ、Ｂの低周波成分の相関を利用してＧの画素位置のＲ、Ｂ信号を補間する方法を適用する場合に、補間信号の精度向上が見込める。すなわちＲ、ＢとＧを同じ画素位置で得られると、たとえば５画素程度の狭い範囲内でもＲ、ＢとＧに対して帯域の一致したローパスフィルタが構成できるので、両者の低周波成分の比がより高精度で得られる。こうしたＧとＲ、Ｂの低周波成分の相関を利用してＧの位置のＲ、Ｂ信号を補間する方法についてはここでは詳しく説明しないが、たとえば公開特許公報の特開平１１−２４３５５４が提案されいる。
【０００８】
インタリーブの関係にあるＧの信号を補間する一般的な方法は、次のとおりである。たとえば図２に示した原色形ベイヤ配列において水平方向の画素位置が（２ｍ＋１）、垂直方向の画素位置が（２ｎ＋１）であるＲの信号をＲ（２ｍ＋１，２ｎ＋１）とあらわすものとする（以後、同様）。このとき、実在しないＧ（２ｍ＋１，２ｎ＋１）に対する補間信号に、実在するＧ（２ｍ＋１，２ｎ）とＧ（２ｍ＋１，２ｎ＋２）の平均値、あるいはＧ（２ｍ，２ｎ＋１）とＧ（２ｍ＋２，２ｎ＋１）の平均値、あるいはこれら４画素の平均値を用いる。
【０００９】
こうした隣接画素のみの加算平均の演算から得られる信号は、Ｇ信号にコサインカーブの周波数特性を持つ狭帯域なローパスフィルタの処理を施したことにほかならないので、補間信号を欠落する画素の位置に組み込んだあとのＧ信号の解像度は若干低下する。そこで、解像度を低下することなくベイヤ配列の単板カラーカメラで得られるＧ信号を補間する方法が、公開特許公報の特開平９−８４０３１、特開平１０−１０８２０９、特開平１１−２７５３７３等で提案されている。
【００１０】
こうした公開特許公報に述べられている方法は、いずれも、Ｇが欠落した画素の位置に対応するＧ信号を、その周辺の画素の信号から判定した相関の方向性に基づいて、水平方向に隣接するＧの画素から生成した補間信号、あるいは垂直方向に隣接するＧの画素から生成した補間信号のうちのいづれかを選択して補間に用いるものである。すなわち、図２に示す配列において実在しないＧ（２ｍ＋１，２ｎ＋１）を、画像の水平方向の変化が垂直方向の変化よりも小さいと判定したときにはＧ（２ｍ，２ｎ＋１）とＧ（２ｍ＋２，２ｎ＋１）の平均値で補間し、画像の垂直方向の変化が水平方向の変化よりも小さいと判定したときにはＧ（２ｍ＋１，２ｎ）とＧ（２ｍ＋１，２ｎ＋２）の平均値で補間する。
【００１１】
この結果、変化の大きな方向の信号を加算平均するローパスフィルタの処理を行わないので、補間後のＧ信号の周波数特性が低下するのを緩和できる。このとき補間信号の生成に用いるのは変化の小さい方向の信号であるから、もともと高域の周波数成分は少なく、加算平均することによってローパスフィルタの処理を施しても周波数特性の低下には結びつかない。このように、上記の公開特許公報に述べられている方法によると、画像の方向性の判定が正しくなされれば、解像度を低下させることなくＧ信号を補間できる。
【００１２】
画像の方向性の判定は、特開平１０−１０８２０９では周辺のＧの画素信号から求めることとしている。すなわち、実在しないＧ（２ｍ＋１，２ｎ＋１）の補間信号を生成する際は、Ｇ（２ｍ，２ｎ＋１）とＧ（２ｍ＋２，２ｎ＋１）の差から水平方向の変化を検出し、Ｇ（２ｍ＋１，２ｎ）とＧ（２ｍ＋１，２ｎ＋２）の差から垂直方向の変化を検出する。ところが、この差信号の周波数特性は、２画素での位相が等しくなる周波数で出力が零になることから、画素間隔の２倍の逆数に対応する周波数、すなわち画素のサンプリング周波数ｆｓの１／２倍である周波数ｆｓ／２周辺で零となる。ｆｓ／２の周波数はＲとＢのサンプリング周波数に等しいので、Ｒ信号とＢ信号からｆｓ／２の周波数成分を正しく得ることも期待できず、画像がｆｓ／２の周波数成分を多く含む場合には補間信号の解像度向上は望めない。
【００１３】
特開平９−８４０１３における画像の方向性の判定方法も周辺のＧの画素信号を利用するものであり、特開平１０−１０８２０９と同様の問題点を持つ。また、特開平１１−２７５３７３では、補間する画素の位置で得られるＲあるいはＢの画素信号と周辺のＧの画素信号から画像の方向性の判定を行うことが述べられている。すなわち、実在しないＧ（２ｍ＋１，２ｎ＋１）の補間信号を生成する際は、Ｒ（２ｍ＋１，２ｎ＋１）とＧ（２ｍ，２ｎ＋１）あるいはＧ（２ｍ＋２，２ｎ＋１）の差から水平方向の変化を検出し、Ｒ（２ｍ＋１，２ｎ＋１）とＧ（２ｍ＋１，２ｎ）あるいはＧ（２ｍ＋１，２ｎ＋２）の差から垂直方向の変化を検出する。こうした隣り合う２画素から求めた差信号には周波数ｆｓ／２の周波数成分が含まれるので、広い周波数帯域をもつ画像での方向性の判定に有利であるが、彩度の高い被写体ではＲとＧの差信号に色彩に起因する差が含まれるので、方向性の判定結果の信頼性は低下する。
【００１４】
一方、画素のサンプリング点を補間して増やす一つの方法として、実在するサンプリング点に対して離散コサイン変換（以後”ＤＣＴ”）を行い、得られた周波数係数を用いて逆変換（以後”ＩＤＣＴ”）する際に、ＤＣＴに用いた実在する画素の間隔の半分の周期で画素を再生する方法が知られている。こうした方法では、用いる周波数係数が実在する画素のものなので補間前の信号と補間後の信号の間で周波数帯域が変わらず、周波数特性を低下させることなく画素の補間が達成できる。こうした方法の具体例が、たとえば公開特許公報の特開平１１−２６１８０７に述べられている。
【００１５】
ＤＣＴとＩＤＣＴによる画素補間の方法の概要を、図３ないし図５を用いて説明する。図３は補間前の画素の配列を示す図であり、ＤＣＴの１ブロック分である水平８画素×垂直８画素を示した。水平方向の画素位置を示す番号ｉは左端から右端へ０から７であり、垂直方向の画素位置を示す番号ｊは最上部から最下部へ０から７である。ここで、水平方向の画素位置がｉで垂直方向の画素位置がｊである画素の信号をｘ（ｉ，ｊ）とおき、ＤＣＴによって得られる周波数係数をＦ（ｕ，ｖ）とおくと、Ｆ（ｕ，ｖ）は次の（２）式であることが知られている。ここでｕは水平周波数、ｖは垂直周波数である。
【００１６】
【数１】

【００１７】
（２）式において、ＮはＤＣＴの処理を施す１ブロックの水平方向および垂直方向の画素数であり、図３では８である。（２）式で得られる周波数係数Ｆ（ｕ，ｖ）は、ｕおよびｖがともに０から７までである。（２）式のコサインの項から、ｕ（またはｖ）＝０の周波数は画素によって位相が変わらない直流であり、ｕ（またはｖ）＝１の周波数では１ブロック内にある７画素間隔の間でｃｏｓ（ＰＩ／１６）からｃｏｓ（１５・ＰＩ／１６）まで変化する。ここで、”ＰＩ”は円周率である。これは、ブロックの周期の８画素間隔ではちょうどＰＩの位相変化に対応するので、８画素間隔が１／２周期にあたる周波数ｆｓ／１６である。ｕ（またはｖ）＝２、３、４、．．．、７ではその２、３、４、．．．、７倍であることから、（２）式で得られる周波数係数Ｆ（ｕ，ｖ）においてｕ（またはｖ）が取る最大の周波数は７・ｆｓ／１６である。この結果、Ｆ（ｕ，ｖ）が存在するのは図４に点で示した周波数の位置となる。図４において、水平方向は水平周波数ｕ、垂直方向は垂直周波数ｖをあらわし、各点はＦ（ｕ，ｖ）の大きさはあらわさずに存在する周波数の位置のみをあらわすものとする。
【００１８】
また、Ｆ（ｕ，ｖ）を用いたＩＤＣＴの処理によって、図３に示した各画素位置に対応するもとの画素信号ｘ（ｉ，ｊ）を再生するには、次の（３）式を用いればよいことが知られている。
【００１９】
【数２】

【００２０】
ここで、（３）式の２・ｉ、２・ｊをｉ’、ｊ’に置き換えた次の（４）式にしたがって、それぞれ０から１５までのｉ’およびｊ’に対するｘ’（ｉ’，ｊ’）を求めると、図５に示すｉ’、ｊ’の各位置に画素信号ｘ’（ｉ’，ｊ’）が再生される。
【００２１】
【数３】

【００２２】
（３）式と（４）式の比較から、ｉ、ｊの各値におけるｘ（ｉ，ｊ）は、ｉ’、ｊ’がその２倍の値であるときのｘ’（ｉ’，ｊ’）に対応する。すなわち、ｉ’＝０、２、４、６、８、．．．、１４の画素位置はｉ＝０、１、２、３、４、．．．、７に対応し、ｊ’＝０、２、４、６、８、．．．、１４の画素位置はｊ＝０、１、２、３、４、．．．、７に対応する。このことから、図５に白抜きの点で示した画素位置は図３に示した元の画素位置に対応し、図５に黒点で示した画素位置は補間された画素である。このとき補間された画素を含めた画素信号の再生には周波数係数Ｆ（ｕ，ｖ）を用いているのであるから、周波数特性をほとんど変化させることなく画素の補間が達成される。
【００２３】
なお、ｉ’＝１５あるいはｊ’＝１５に対応する画素の補間信号は、画素位置の左方向、あるいは上方向の画素信号のみを用いて生成したものであるから、隣接するブロックの画素信号とつながりにくい場合がある。そこで、特開平１１−２６１８０７では各ブロックの端の画素列を隣接するブロックの間で重複して用いることで、画素位置の左方向、あるいは上方向の画素信号のみを用いて生成した補間信号を用いないこととして、隣接ブロックとのつながりを改善している。
【００２４】
こうした方法をベイヤ配列の単板カラーカメラで得られるＧの画素信号にそのまま適用し、欠落する画素のＧを補間することはできない。すなわち、図２に示したようにベイヤ配列ではＧが画素列ごとにインタリーブした関係にあることから、図３に示した１ブロック内の画素にＧのみを当てはめると、たとえば図６のようになる。図６において、白抜きの点で示した画素はＧが実在する位置で、黒点で示した位置はＧが欠落した位置を示す。元の画素位置で既に欠落した信号は、ＤＣＴとＩＤＣＴの処理を経ても零としてそのまま再生されるので、画素数を補間したところで欠落したＧの補間には効果がない。
【００２５】
インタリーブの関係にある画素にＤＣＴの処理を施す方法として、公開特許公報の特開平１−２５６２８８が提案されているが、補間処理を行うときは周波数特性が著しく低下するので問題である。すなわち、特開平１−２５６２８８で述べられている方法は、インタリーブの関係にある画素を奇数行の画素と偶数行の画素に二分して、それぞれ別々にＤＣＴの処理を施すものである。これによると、分割したそれぞれの信号では画素の間隔が撮像素子の画素間隔の２倍になるので、取りうる周波数の帯域はｆｓ／４より低い帯域であり、撮像素子の画素数で決まる周波数帯域の半分になる。ＩＤＣＴの処理によって元の画素信号を再生し、そのまま２つの信号を合成する場合は、サンプリングに起因する側波帯成分が保存されて有効な周波数帯域が元に戻るので問題ないが、ＩＤＣＴの処理で画素を補間する場合には、ｆｓ／４より高い周波数帯域の側波帯成分が失われるので元に戻らず、周波数特性が著しく低下する。
【００２６】
【発明が解決しようとする課題】
以上述べたように、欠落した画素位置での相関の方向性を判定して、対応する補間信号を選択する従来の単板カラーカメラの市松配列緑色信号の補間方法では、相関の方向性が正しく判定できた場合には周波数帯域を低下させることなく補間信号を生成することが期待できるが、画像が広い周波数帯域を持つ場合、あるいは彩度が高い場合などを含むあらゆる条件での正しい方向性の判定が難しいという問題がある。また、ＤＣＴとＩＤＣＴの処理の過程で画素を増加する従来の画素の補間方法を単板カラーカメラの市松配列緑色信号にそのまま流用すると、周波数帯域を低下させずに補間信号を生成することができないという問題がある。
【００２７】
本発明は、上記従来技術の問題点に鑑み、あらゆる条件の画像で周波数帯域を低下させることなく欠落した画素位置での補間信号を生成できる、単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法を提供することを目的とする。
【００２８】
【課題を解決するための手段】
上記課題を解決するために本発明の単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法は、二次元の配列をなす複数の画素が、すべての画素列において等しい間隔で配され、かつ、奇数番目の上記画素列における上記画素の位置と偶数番目の上記画素列における上記画素の位置が上記等しい間隔の半分だけ上記画素列の方向にずれた関係にあるときに、上記すべての画素列において上記等しい間隔で配された上記画素のそれぞれ中間の位置に対応する補間信号を生成する単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法において、Ｎを任意の整数としたとき、任意に選んだ第１の画素列に存在して互いに隣り合う第１の画素および第２の画素の中間の位置である第１の補間位置に対し、上記第１の画素列上にあって上記第１の補間位置から上記第１の画素の方向に向かってＮ番目に存在する画素である第１の端点画素と、上記第１の画素列上にあって上記第１の補間位置から上記第２の画素の方向に向かってＮ番目に存在する画素である第２の端点画素と、上記第１の補間位置から上記画素列の方向と垂直に引いた第１の直線上にあって上記第１の補間位置から一方向に向かってＮ番目に存在する画素である第３の端点画素と、上記第１の直線上にあって上記第１の補間位置から上記第３の端点画素とは反対の方向に向かってＮ番目に存在する画素である第４の端点画素とを頂点とした四角形内にある複数の画素の信号を取り出し、上記四角形内にある画素から任意に選んだ画素の信号を１、上記四角形内にある上記任意に選んだ画素以外の画素の信号を零と仮定して上記第３の端点画素と上記第２の端点画素を結ぶ第１の軸と上記第３の端点画素と上記第１の端点画素を結ぶ第２の軸に対して直交変換を施して、生成された係数を用いた倍密度の逆変換を上記第１の補間位置に対して行なって得られる信号の大きさを上記任意に選んだ画素に対する係数とすることによって上記四角形内にある画素のそれぞれに対する係数を生成し、上記四角形内にある複数の画素の信号をそれぞれ対応する上記係数を乗算してから加えあわせた信号を上記第１の補間位置に対応する補間信号とする。
【００２９】
ここで上記直交変換をＤＣＴ処理で行い、その逆変換をＩＤＣＴ処理で行うと周知の演算式を利用できるので適用が容易である。
【００３０】
【作用】
本発明の単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法によれば、上記第３の端点画素と上記第２の端点画素を結ぶ第１の軸と上記第３の端点画素と上記第１の端点画素を結ぶ第２の軸を選ぶことで、インタリーブの関係にある画素配列をすべての格子点に画素が存在する画素配列に変換できるので、直交変換と逆変換を利用した補間信号の生成が可能となる。
【００３１】
このとき実在の画素信号から得た周波数係数をそのまま用いるので、補間信号の周波数特性がほとんど低下することはない。また、補間信号の生成を行う実際の演算処理は、あらかじめ直交変換とその逆変換を行った場合に対応する係数を求めておくことで、比較的簡単な２次元のフィルタ処理で達成できる。
【００３２】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を用いて説明する。
【００３３】
図１は、ベイヤ配列の単板カラーカメラの信号処理のうち、本発明の実施の形態によるＧ信号の補間処理に関わる部分を示すブロック図である。図１において、固体撮像素子１から得られる画素信号はＡ／Ｄ変換器２でディジタル信号に変換される。ここで、固体撮像素子１には図２に示したベイヤ配列のフィルタが組み合わされているものとする。Ａ／Ｄ変換器２から得られたディジタルの画素信号はプロセッサ３に加えられる。プロセッサ３は、Ａ／Ｄ変換器２から加えられた画素信号をメモり４へ順次記録する。なおかつプロセッサ３は、Ｇが欠落する画素位置の補間信号生成を目的としたＤＣＴの処理に必要なＧの画素信号を、メモリ４から読み出すことで同時化して補間処理演算器５に加える。補間処理演算器５は、プロセッサ３から受け取ったＤＣＴの処理に必要なＧの画素信号に２次元の係数を用いたフィルタ処理を施すことによって補間信号を生成する。補間処理演算器５で生成された補間信号は合成器６に加えられる。これに加えて、合成器６には補間信号との空間的な位置関係が一致するよう遅延回路７によって時間調整されたプロセッサ３からのＧ信号が加えられる。ここで合成器６は、遅延回路７から実在する画素のＧ信号が得られるときはこれを出力し、実在する画素のＧ信号が得られないときは補間処理演算器５から得られる補間信号を出力するよう動作する。
【００３４】
ここで、プロセッサ３から補間処理演算器５に加える画素信号は、たとえばベイヤ配列のＧの画素のみを抜き出した図７における画素位置（２ｍ＋１，２ｎ＋１）の補間信号を生成する際には、図７において実線１００で示した範囲内にある１６画素分の信号とする。
【００３５】
補間処理演算器５は、加えられた１６画素の信号を次のように置き換える。すなわち、図７における（２ｍ＋１，２ｎ−２）と（２ｍ＋４，２ｎ＋１）を結ぶ方向にｋ軸を取り、（２ｍ＋１，２ｎ−２）と（２ｍ−２，２ｎ＋１）を結ぶ方向にｌ軸を取ってｚ（ｋ，ｌ）に対して次の置き換えを行う。
【００３６】
ｚ（０，０）＝ｘ（２ｍ＋１，２ｎ−２）　　　（５）
【００３７】
ｚ（１，０）＝ｘ（２ｍ＋２，２ｎ−１）　　　（６）
【００３８】
ｚ（２，０）＝ｘ（２ｍ＋３，２ｎ）　　　　　（７）
【００３９】
ｚ（３，０）＝ｘ（２ｍ＋４，２ｎ＋１）　　　（８）
【００４０】
ｚ（０，１）＝ｘ（２ｍ，２ｎ−１）　　　　　（９）
【００４１】
ｚ（１，１）＝ｘ（２ｍ＋１，２ｎ）　　　　　（１０）
【００４２】
ｚ（２，１）＝ｘ（２ｍ＋２，２ｎ＋１）　　　（１１）
【００４３】
ｚ（３，１）＝ｘ（２ｍ＋３，２ｎ＋２）　　　（１２）
【００４４】
ｚ（０，２）＝ｘ（２ｍ−１，２ｎ）　　　　　（１３）
【００４５】
ｚ（１，２）＝ｘ（２ｍ，２ｎ＋１）　　　　　（１４）
【００４６】
ｚ（２，２）＝ｘ（２ｍ＋１，２ｎ＋２）　　　（１５）
【００４７】
ｚ（３，２）＝ｘ（２ｍ＋２，２ｎ＋３）　　　（１６）
【００４８】
ｚ（０，３）＝ｘ（２ｍ−２，２ｎ＋１）　　　（１７）
【００４９】
ｚ（１，３）＝ｘ（２ｍ−１，２ｎ＋２）　　　（１８）
【００５０】
ｚ（２，３）＝ｘ（２ｍ，２ｎ＋３）　　　　　（１９）
【００５１】
ｚ（３，３）＝ｘ（２ｍ＋１，２ｎ＋４）　　　（２０）
【００５２】
これらの画素信号に対してＤＣＴ処理を施すと、次の（２１）式の関係の周波数係数Ｆ（ａ，ｂ）が得られる。ここでＮは４である。
【００５３】
【数４】

【００５４】
このとき得られるＦ（ａ，ｂ）を用いた次の（２２）式に示すＩＤＣＴ処理で、補間信号ｚ’（ｋ’，ｌ’）を生成する。
【００５５】
【数５】

【００５６】
従来例の説明における（３）式と（４）式の関係からわかるように、ｋ’＝３、ｌ’＝３とおいたとき（２２）式で得られる補間信号ｚ’（３、３）は、４つの画素信号ｚ（１，１）、ｚ（２，１）、ｚ（１，２）、ｚ（２，２）の中間の画素に対応する。ｚ（１，１）、ｚ（２，１）、ｚ（１，２）、ｚ（２，２）は、それぞれ（１０）、（１１）、（１４）、（１５）式の関係にあるので、結局、補間信号ｚ’（３，３）は図７における画素位置（２ｍ＋１，２ｎ＋１）に対応したものとなる。
【００５７】
上述のように、ＤＣＴおよびＩＤＣＴの処理でブロックの中央に対応する補間信号ｚ’（ｃｅｎｔｅｒ、ｃｅｎｔｅｒ）のみを生成する場合には、ｋ’＝３、ｌ’＝３としたときの値を（２２）式から得ればよい。このとき、（２２）式におけるコサインの項が奇数の周波数ａ，ｂに対して零となることから、ａあるいはｂが奇数である周波数係数の演算を必要としない。これにより、（２２）式は次の（２３）式のように書き改めることができる。
【００５８】
【数６】

【００５９】
（２３）式に（２１）式を組み込むことによって、次の（２４）式が得られる。
【００６０】
【数７】

【００６１】
（２４）式が示すように、ブロックの中央に対応する補間信号であるｚ’（ｃｅｎｔｅｒ、ｃｅｎｔｅｒ）と各画素信号ｚ（ｋ，ｌ）とは一次の結合であるから、これらの関係は次の（２５）式で表すことができる。
【００６２】
【数８】

【００６３】
（２５）式における係数ｃｏｅｆ（ｋ，ｌ）をすべてのｋとｌに対して求めておけば、ＤＣＴとＩＤＣＴによる中央の画素位置に対応する補間信号の生成が、二次元のフィルタ演算で達成できる。ここで、たとえばｚ（０，０）のみが１で、他の画素信号が零であるときのｚ’（ｃｅｎｔｅｒ、ｃｅｎｔｅｒ）を（２４）式から求めれば、ｃｏｅｆ（０，０）が得られる。同様に、ｚ（ｋ，ｌ）のみが１で、他の画素信号が零であるときのｚ’（ｃｅｎｔｅｒ、ｃｅｎｔｅｒ）を（２４）式から求めれば、ｃｏｅｆ（ｋ，ｌ）が得られる。
【００６４】
こうして求めた係数の値の一例を図８に示す。図８は（２４）式においてＮを４として求めた係数で、画素位置３００に対応する補間信号を生成するには、たとえば画素３０１の信号は０．０１１倍して加え、画素３０２の信号は０．０６２倍して差し引き、画素３０３の信号は０．３６４倍して加える等の演算を行えばよいことを示している。
【００６５】
以上述べたように図１における補間処理演算器５によれば、プロセッサ３から受け取ったＤＣＴの処理に必要なＧの画素信号に、上述した方法で求めた２次元の係数を用いたフィルタ処理を施すことによって、ＤＣＴとＩＤＣＴの処理に比べて遙かに簡単な演算で、ブロックの中央に対応するＤＣＴとＩＤＣＴの処理に基づいた補間信号を生成できる。このときの処理に用いる周波数係数Ｆ（ａ，ｂ）は元の画素から得たものであるから、補間信号の周波数特性は元の画素の周波数特性とほとんど変わらない。この結果、実在する画素のＧ信号と欠落した画素位置の補間信号が合成された合成器６の出力信号は、周波数特性が実在の画素のものと変わらず、固体撮像素子１の全画素に対応したＧの画素信号となる。
【００６６】
同様に、図７における（２ｍ＋３，２ｎ＋１）に対応した補間信号を得るには、点線１０１で示した範囲内の１６の画素信号をプロセッサ３から補間処理演算器５に加え、これに２次元の係数を用いたフィルタ処理を施せばよい。
【００６７】
また、上述の説明では、説明を簡単にするためにＤＣＴの処理を横方向４画素、縦方向４画素の合計１６画素を用いて行うものとした。しかし、一般的なＪＰＥＧなどのＤＣＴのプロセッサと同様に、横方向８画素、縦方向８画素の合計６４画素など、他の画素数を用いても良いことは明らかである。６４画素を用いるとき、図７に示す画素位置（２ｍ＋１，２ｎ＋１）に対応する補間信号を生成する際には、図７に細線１０２で示した範囲内の画素信号を用いればよい。
【００６８】
また、上述の説明は、ベイヤ配列の単板カラーカメラにおいて市松状に配置されたＧの画素信号に対して、欠落した位置に対応する補間信号を生成する場合を例にとった。しかし、広く、隣接するライン間で画素が互いにインタリーブの関係にある画像信号に対して欠落した位置の画素信号を生成する場合に適用できることは明らかである。
【００６９】
【発明の効果】
以上説明したように、本発明の単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法によれば、隣接するライン間で画素が互いにインタリーブの関係にある画像信号に対して、周波数特性を実在の画素から得られるものとほとんど変えることなく、あらゆる条件の画像に対して欠落した位置の画素信号を簡単な演算で生成できる。
【図面の簡単な説明】
【図１】本発明の単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法による実施の形態の構成を示す図である。
【図２】本発明に関わる単板カラーカメラに使用される色フィルタの配列の一例を示す図である。
【図３】ＤＣＴの処理の説明に用いる画素位置をあらわす図である。
【図４】ＤＣＴの処理で得られる周波数係数の周波数領域での位置を表す図である。
【図５】ＤＣＴおよび倍密度のＩＤＣＴの処理で得られる画素の位置を表す図である。
【図６】インタリーブの関係にある画素信号とＤＣＴの画素位置との対応をあらわす図である。
【図７】本発明の実施の形態における画素配列の変換を説明する図である。
【図８】本発明の実施の形態におけるブロック内の画素に対する係数の一例を示す図である。
【符号の説明】
１　　固体撮像素子
２　　Ａ／Ｄ変換器
３　　プロセッサ
４　　メモリ
５　　補間処理演算器
６　　合成器
７　　遅延回路

Claims

二次元の配列をなす複数の画素が、すべての画素列において等しい間隔で配され、かつ、奇数番目の上記画素列における上記画素の位置と偶数番目の上記画素列における上記画素の位置が上記等しい間隔の半分だけ上記画素列の方向にずれた関係にあるときに、上記すべての画素列において上記等しい間隔で配された上記画素のそれぞれ中間の位置に対応する補間信号を生成する単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法において、
Ｎを任意の整数としたとき、任意に選んだ第１の画素列に存在して互いに隣り合う第１の画素および第２の画素の中間の位置である第１の補間位置に対し、上記第１の画素列上にあって上記第１の補間位置から上記第１の画素の方向に向かってＮ番目に存在する画素である第１の端点画素と、上記第１の画素列上にあって上記第１の補間位置から上記第２の画素の方向に向かってＮ番目に存在する画素である第２の端点画素と、上記第１の補間位置から上記画素列の方向と垂直に引いた第１の直線上にあって上記第１の補間位置から一方向に向かってＮ番目に存在する画素である第３の端点画素と、上記第１の直線上にあって上記第１の補間位置から上記第３の端点画素とは反対の方向に向かってＮ番目に存在する画素である第４の端点画素とを頂点とした四角形内にある複数の画素の信号を取り出し、
上記四角形内にある画素から任意に選んだ画素の信号を１、上記四角形内にある上記任意に選んだ画素以外の画素の信号を零と仮定して上記第３の端点画素と上記第２の端点画素を結ぶ第１の軸と上記第３の端点画素と上記第１の端点画素を結ぶ第２の軸に対して直交変換を施して、生成された係数を用いた倍密度の逆変換を上記第１の補間位置に対して行なって得られる信号の大きさを上記任意に選んだ画素に対する係数とすることによって上記四角形内にある画素のそれぞれに対する係数を生成し、
上記四角形内にある複数の画素の信号をそれぞれ対応する上記係数を乗算してから加えあわせた信号を上記第１の補間位置に対応する補間信号とすることを特徴とした単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法。
上記二次元の配列をなす複数の画素が、撮像面に２次元状に配置された複数の画素の各々に分光感度特性の異なる複数種の微小フィルタを一定の繰り返し周期で、なおかつ、特定の種類の上記微小フィルタがすべての画素列において１画素おきに、しかも隣り合う画素列では互いに補間する関係に配置された固体撮像素子における上記特定の種類の上記微小フィルタに対応する画素であることを特徴とした請求項１記載の単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法。
上記任意の整数であるＮは２であることを特徴とした請求項１あるいは請求項２記載の単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法。
上記任意の整数であるＮは４であることを特徴とした請求項１あるいは請求項２記載の単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法。
上記直交変換は離散コサイン変換であることを特徴とした請求項１ないし請求項４記載の単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法。