JP2004289444A - 信号処理装置及びデジタルカメラ - Google Patents
信号処理装置及びデジタルカメラ Download PDFInfo
- Publication number
- JP2004289444A JP2004289444A JP2003078285A JP2003078285A JP2004289444A JP 2004289444 A JP2004289444 A JP 2004289444A JP 2003078285 A JP2003078285 A JP 2003078285A JP 2003078285 A JP2003078285 A JP 2003078285A JP 2004289444 A JP2004289444 A JP 2004289444A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- color
- pixel
- processing
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims description 145
- 238000000034 method Methods 0.000 claims abstract description 74
- 238000007781 pre-processing Methods 0.000 claims description 14
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 239000003086 colorant Substances 0.000 abstract description 8
- 238000003384 imaging method Methods 0.000 abstract description 2
- 238000012805 post-processing Methods 0.000 description 17
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000001444 catalytic combustion detection Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- FYZYXYLPBWLLGI-AUOPOVQUSA-N Genipin 1-beta-gentiobioside Chemical compound C([C@H]1O[C@H]([C@@H]([C@@H](O)[C@@H]1O)O)O[C@@H]1OC=C([C@@H]2[C@H]1C(=CC2)CO)C(=O)OC)O[C@@H]1O[C@H](CO)[C@@H](O)[C@H](O)[C@H]1O FYZYXYLPBWLLGI-AUOPOVQUSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Abstract
【課題】小さな回路規模で、撮像素子から読み出した信号に対して、複数のカラーフィルタの配列方式に対応して所定の信号処理を行う。
【解決手段】ＣＣＤ１４から読み出された各画素の信号について、ＣＣＤＩＦ５０において、当該ＣＣＤのカラーフィルタの配列方式に従って各画素の信号の色（Ｒ／Ｇ／Ｂ）を識別するための色識別信号を生成し、この色識別信号に基づいて点順次の各色信号が該当する画素の色を識別して、前処理、同時化処理を行うようにした。また、オフセット補正回路５２、ゲイン補正回路５４、ガンマ補正回路５６といったカラーフィルタの配列方式によらずに同一の前処理を行うための回路については、色識別信号が示す色毎に処理に用いるパラメータを切換えるようにした。
【選択図】 図１
【解決手段】ＣＣＤ１４から読み出された各画素の信号について、ＣＣＤＩＦ５０において、当該ＣＣＤのカラーフィルタの配列方式に従って各画素の信号の色（Ｒ／Ｇ／Ｂ）を識別するための色識別信号を生成し、この色識別信号に基づいて点順次の各色信号が該当する画素の色を識別して、前処理、同時化処理を行うようにした。また、オフセット補正回路５２、ゲイン補正回路５４、ガンマ補正回路５６といったカラーフィルタの配列方式によらずに同一の前処理を行うための回路については、色識別信号が示す色毎に処理に用いるパラメータを切換えるようにした。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、信号処理装置及びデジタルカメラに係わり、特に、カラー画像を撮像するために、複数の色のカラーフィルタが所定の配列となるように画素に対して設けられた単板構成の撮像素子から読み出された各画素の色信号に所定の処理を施す信号処理装置及びデジタルカメラに関する。
【０００２】
【従来の技術】
近年、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージ・センサ等の撮像素子の高解像度化に伴い、デジタルスチルカメラやデジタルビデオカメラ等のデジタルカメラの需要が急増している。デジタルカメラでは、高品位の画像を得るために、撮像素子での撮影により得られた画像信号に対して、エッジ強調などの輪郭補正処理や、色味を調整する色補正処理といった各種の補正処理が施される。
【０００３】
一般的なデジタルカメラでは、カラーで被写体を撮像する撮像素子を単板構成とし、撮像素子の各画素には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の何れかのカラーフィルタが所定の配列に従って配置されている。従って、この撮像素子から撮像画像の各画素の信号を読み出すと、Ｒ、Ｇ、Ｂのうちの少なくとも１色の色信号が時系列に間欠的に出力されることになり、このような状態で供給される画像信号を用いて補正処理を行っても高精度に補正することはできない。
【０００４】
このため、デジタルカメラでは、各画素について、間欠した色の信号を周辺の画素の信号により補間して生成する信号処理（以下、「同時化処理」と称す）が行われている（例えば、特許文献１、２参照）。デジタルカメラで採用されるカラーフィルタの配列方式には、ベイヤー配列、ＲＧＢストライプ配列、ハニカム配列など各種の配列方式がある。同時化処理は、カラーフィルタの配列に応じて、各画素で間欠している色の信号を補間するために用いる周辺画素やその重み付け係数といった当該処理で用いるパラメータを定めて、それぞれのデジタルカメラの撮像素子で採用しているカラーフィルタの配列方式に応じて、適切な同時化処理が施されることが必要である。
【０００５】
また、同時化処理を行う場合、同時化処理の前段において、撮像素子から得られた各画素の色信号に対して、撮像素子の色毎の感度差などを補正して感度調整を行う補正処理（上述した高品位の画像を得るための補正処理と区別するために、この補正処理を「前処理」、高品位の画像を得るための補正処理を「後処理」と称す）を施しておく必要がある。
【０００６】
近年、デジタルカメラの低価格化に伴って、異なるカラーフィルタの配列方式、例えばハニカム配列のＣＣＤとベイヤー配列のＣＣＤの両方の色信号処理を１つの処理系（例えばＬＳＩ）で実現し、同一の処理系を、異なるカラーフィルタの配列方式が採用されたデジタルカメラで共通に使用可能にすることが望まれている。
【０００７】
【特許文献１】
特開平１１−１７７９９５号公報
【特許文献２】
特開２０００−１８４３８６号公報
【０００８】
【発明が解決しようとする課題】
しかしながら、カラーフィルタの配列方式によって処理系に入力される画素色順が異なるため、例えばハニカム配列とベイヤー配列とで別々の信号処理回路が必要とされ、処理系の回路規模が増大し、かえってコストが高くなってしまうという問題があった。
【０００９】
本発明は上記問題点を解消するためになされたもので、小さな回路規模で、撮像素子から読み出した信号に対して、複数のカラーフィルタの配列方式に対応して所定の信号処理を行うことができる信号処理装置及びこの信号処理装置を適用可能なデジタルカメラを提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、請求項１に記載の信号処理装置は、カラー画像を撮像するために、複数の色のカラーフィルタが所定の配列となるように画素に対して設けられた撮像素子から読み出された撮像画像の各画素の信号に所定の処理を施して前記撮像画像の画像データを得る信号処理装置であって、予め定められた複数の前記カラーフィルタの配列方式の何れか１つを表す選択信号が入力されると共に、該選択信号が表す配列方式に基づいて、前記画素信号による各画素の色を識別するための色識別信号を生成する生成手段と、前記複数の配列方式に共通に設けられ、前記生成手段により生成された色識別信号が示す色に対応する画素信号に施す処理を前記所定の処理として行う処理手段と、を有することを特徴としている。
【００１１】
この信号処理装置によれば、生成手段では、複数のカラーフィルタの配列方式のうち、選択信号が表すカラーフィルタの配列方式に対応して、画素信号による各画素の色を識別するための色識別信号が生成される。この色識別信号により、撮像素子から順次読み出される各画素の信号が複数の色のうち何れの色に該当するのかを識別可能になる。
【００１２】
複数の配列方式に共通で設けられた処理手段では、前記所定の処理として、色識別信号が示す色に対応する画素信号に施す処理を行われる。この処理は、例えば、色識別信号が示す色毎に処理に用いるパラメータを切換えるなどして行うことができる。
【００１３】
すなわち、撮像素子から各画素の信号を読み出したときに、配列方式によって、読出した信号が該当する色の順番が異なっても、当該撮像素子で採用されている配列方式を表す選択信号を生成手段に入力させれば、当該配列方式に対応した色識別信号を生成することができ、この色識別信号により各画素の信号が該当する色を識別できるので、処理手段が複数の配列方式で共通であっても、適切に処理を行うことができる。
【００１４】
このように信号処理装置では、複数の配列方式で処理手段で共通化しても、各配列方式に対応して所定の信号処理を行うことができ、回路規模を小さくすることができる。
【００１５】
上記の信号処理装置においては、例えば、請求項２に記載されているように、前記処理手段は、前記配列方式に対応して、各画素について、周辺の画素の信号から自らの画素の各色の画像データを生成する同時化信号処理手段と、前記同時化信号処理手段の前段に備え、且つ前記画素信号について補正処理を施す前処理手段と、から構成されるようにすることができる。
【００１６】
請求項３に記載のデジタルカメラは、カラー画像を撮像するために、複数の色のカラーフィルタが所定の配列となるように画素に対して設けられた単板構成の撮像素子と、請求項１又は請求項２に記載の信号処理装置とを備え、前記撮像素子で撮影して得られた撮像画像の画素信号に対して前記信号処理装置により所定の処理を施して、前記撮像画像を表す画像データを取得することを特徴としている。
【００１７】
このデジタルカメラによれば、上記の信号処理装置を用いて、撮像素子から得られた色信号に対して所定の処理を施して画像データを取得するので、低コスト化を図ることができる。
【００１８】
【発明の実施の形態】
次に、図面を参照して本発明に係る実施形態の１例を詳細に説明する。
【００１９】
まず、図１を参照して、本実施の形態に係るデジタルカメラ１０の構成を説明する。同図に示すように、本実施の形態に係るデジタルカメラ１０は、被写体像を結像させるための撮影レンズ１２と、撮影レンズ１２の光軸後方に配設された撮像素子としてのＣＣＤ１４と、ＣＣＤ１４を駆動するＣＣＤ駆動回路１６と、入力されたアナログ信号に対して所定の信号処理を行うアナログ信号処理部１８と、入力されたデジタル信号に対して所定のデジタル信号処理を施す本発明の信号処理装置としてのデジタル信号処理部２０と、各種タイミング信号を生成するタイミングジェネレータ（ＴＧ）２２と、撮影で取得されたデジタル画像信号を記憶するメモリ２４と、デジタルカメラ１０の全体的な動作を司る制御部２６と、カラーフィルタの配列方式を選択する選択手段として用いる切換えスイッチ２８と、を含んで構成されている。
【００２０】
撮影レンズ１２を介してＣＣＤ１４の受光面に結像された被写体像は、各センサで光の入射光量に応じた量の信号電荷に変換される。このようにして蓄積された信号電荷は、ＣＣＤ駆動回路１６から加えられるリードゲートパルスによってシフトレジスタに読み出され、レジスタ転送パルスによって信号電荷に応じた電圧信号（アナログ信号）として順次読み出される。尚、このＣＣＤ１４は、蓄積した信号電荷をシャッタゲートパルスによって掃き出すことができ、これにより電荷の蓄積時間（シャッタスピード）を制御する、いわゆる電子シャッタ機能を有している。
【００２１】
ＣＣＤ１４から順次読み出された電圧信号は、各画素の信号として、アナログ信号処理部１８に入力される。アナログ信号処理部１８では、入力された色信号に対して、所定のアナログ信号処理を施した後、デジタル信号に変換して出力する。なお、ＣＣＤ駆動回路１６、アナログ信号処理部１８は、ＴＧ２２から加えられるタイミング信号によって同期して駆動されるようになっている。
【００２２】
アナログ信号処理部１８から出力された信号（デジタル信号）は、一旦メモリ（図示省略）に格納され、その後、当該メモリに格納された色信号はＣＣＤ１４から読み出した点順次（画素の順番）にデジタル信号処理部２０に入力される。また、このときデジタル信号処理部２０には、アナログ信号処理部１８から画像毎の画像同期信号が入力されるようになっている。
【００２３】
デジタル信号処理部２０は、複数のカラーフィルタの配列方式に共通で使用可能に構成されており、本実施の形態では、一例として、ハニカム配列とベイヤー配列とで共通使用可能に構成されている。すなわち、ＣＣＤ１４には、ハニカム配列のＣＣＤ又はベイヤー配列のＣＣＤを使用可能である。ただし、本発明は、カラーフィルタの配列方式の種類をこれに限定するものではない。
【００２４】
なお、図２は、各画素３０を表す矩形内のＲ／Ｇ／Ｂは対応するカラーフィルタの色、すなわち画素３０の色を表している。
【００２５】
ハニカム配列のＣＣＤ１４の場合、図２（Ａ）に示すように、実画素３０Ａと虚画素３０Ｂとが市松模様を構成するように配列され、実画素について、ある行にはＧのみ、次の行にはＢＲＢＲ…、次の行にはＧのみ、次の行にはＲＢＲＢ…というように各色のカラーフィルタが配置されているかの如く、各画素の信号が読み出される。
【００２６】
ベイヤー配列のＣＣＤ１４の場合、図２（Ｂ）に示すように、実画素３０が二次元配列され、ある行にはＲＧＲＧ…、次の行にはＧＢＧＢ…というように各色のカラーフィルタが配置されているかの如く、各画素の信号が読み出される。
【００２７】
また、デジタル信号処理部２０は、図１に示すように、信号を取り込むＣＣＤインタフェース回路（ＣＣＤＩＦ）５０と、前処理手段として、取り込んだ信号に対して前処理を施すオフセット補正回路５２、ゲイン補正回路５４、及びガンマ補正回路５６と、同時化処理手段として、ハニカム配列に基づいた同時化処理を行う同時化処理回路５８Ａ及びベイヤー配列に基づいた同時化処理を行う同時化処理回路５８Ｂと、色信号に対して後処理を施すための後処理回路６０と、圧縮回路６２とを含んで構成されている。
【００２８】
ＣＣＤＩＦ５０は、画像同期信号に同期して、ＣＣＤ１４から読み出した点順次に各画素の信号の取り込みを開始する。また、ＣＣＤＩＦ５０は、切換えスイッチ２８と接続されており、切換えスイッチ２８から配列方式の選択（ハニカム／ベイヤー）を示す選択信号が入力される。この切換えスイッチ２８によるハニカム／ベイヤーの選択は、本デジタルカメラ１０の組み立て時に、採用するＣＣＤ１４のカラーフィルタの配列方式に従って予め実施されている。
【００２９】
ＣＣＤＩＦ５０は、入力された選択信号に基づいて、ＣＣＤ１４から読み出した点順次に取り込んだ各信号がそれぞれＲＧＢの何れの色の画素から得られたものであるか、すなわちＲＧＢの何れの色の画素の信号であるのかを識別するための色識別信号を生成する。すなわち、ＣＣＤＩＦ５０が生成手段としての機能を担っている。
【００３０】
本実施の形態では、一例として、表１に示すＲＧＢ信号及びＲＧＢＧ信号を色識別信号として生成するようになっている。
【００３１】
【表１】
【００３２】
なお、表１におけるＧ１、Ｇ２とは、ハニカム配列では、左上にＲが隣接したＧ、Ｂが隣接したＧを示し、ベイヤー配列では、水平方向にＲと隣接したＧ、Ｂと隣接したＧを示す。すなわち、ハニカム配列では垂直方向に隣り合うＧ、ベイヤー配列では、斜め方向に隣合うＧが区別されるようになっている。これは、同時化処理回路５８Ａ、５８Ｂで実行される同時化処理において、このようなＧ１、Ｇ２とで異なる補間演算式（すなわちパラメータ）が用いられるためである。
【００３３】
また、ハニカム配列については、実画素／虚画素を識別して虚画素で得られた色信号を無効とするために、さらに表２に示す２ビットのＸＯＳ信号を色識別信号として生成するようになっている。
【００３４】
【表２】
【００３５】
ＣＣＤＩＦ５０は、取り込んだ各画素の信号を色信号として、生成した色識別信号と共に後段のオフセット補正回路５２へ出力する。
【００３６】
オフセット補正回路５２は、黒色の被写体を撮影した場合に黒色が表現されるように、ＣＣＤ１４の出力信号における各色のゼロ値を補正するものである。詳しくは、オフセット補正回路５２では、当該回路での処理に用いるパラメータとして、ＲＧＢの各色毎に予めオフセット値が設定されており、ＣＣＤＩＦ５０から出力された色信号に対して、色識別信号が示す色のオフセットを選択し、選択したオフセット値を減算する。オフセット補正回路５２は、減算後の色信号を色識別信号と共に、後段のゲイン補正回路５４へ出力する。
【００３７】
ゲイン補正回路５４は、白色などの被写体を撮影した場合に白色が表現されるように、ＣＣＤ１４の出力信号における各色の最大値を補正するものである。詳しくは、ゲイン補正回路５４では、当該回路での処理に用いるパラメータとして、ＲＧＢの各色毎に予めゲイン値が設定されており、オフセット補正回路５２から出力された色信号に対して、色識別信号が示す色のゲイン値を選択し、選択したゲイン値を乗算する。ゲイン補正回路５４は、乗算後の色信号を色識別信号と共に、後段のガンマ補正回路５６へ出力する。
【００３８】
ガンマ補正回路５６は、各色の階調を補正するものである。詳しくは、ガンマ補正回路５６では、当該回路での処理に用いるパラメータとして、ＲＧＢの各色毎に予め入出力特性（ガンマカーブ）が設定されており、ゲイン補正回路５４から出力された色信号に対して、色識別信号が示す色の入出力特性（ガンマカーブ）を選択し、当該色信号を入力値として選択した入出力特性に従って変換する。ガンマ補正回路５６は、変換後の色信号を色識別信号と共に、後段の同時化処理回路５８Ａ、５８Ｂに出力する。
【００３９】
同時化処理回路５８Ａ、５８Ｂは、各画素についてＲＧＢの３色揃った色信号が得られるように、それぞれ対応するカラーフィルタの配列方式に対応して、各画素について同時化処理を行なう。同時化処理とは、ＲＧＢの各色信号のうち間欠した色の信号を周辺の画素の色信号により補間して生成する処理である。
【００４０】
例えば、図２（Ａ）において、Ｇ色のカラーフィルタが設けられた画素３０＿１では、Ｇ色の色信号が得られる。したがって、この画素では、Ｇ色については得られた色信号を用いればよいが、他のＢ、Ｒ色については周辺画素（例えばＢ色については画素３０＿２、３０＿３、Ｒ色については画素３０＿４、３０＿５）により補間して色信号を生成する。なお、補間演算については、従来公知の技術と同様でよいため、ここでは詳細な説明は省略する。
【００４１】
なお、本実施の形態では、ハニカム配列とベイヤー配列とでデジタル信号処理部２０を共通に使用可能としたため、ハニカム用の同時化処理回路５８Ａとベイヤー用の同時化処理回路５８Ｂを設けた。すなわち、同時化処理回路５８は、カラーフィルタの配列方式毎に設けられるものであり、ＲＧＢストライプ配列とハニカム配列とでデジタル信号処理部２０を共通に使用可能とする場合には、ＲＧＢストライプ用とハニカム用とで２つの同時化処理回路が設けられることになる。また、ハニカム配列、ベイヤー配列、及びＲＧＢストライプ配列でデジタル信号処理部２０を共通に使用可能とした場合には、ハニカム用、ベイヤー用、及びＲＧＢストライプ用で３つの同時化処理回路が設けられることになる。
【００４２】
このようにカラーフィルタの配列方式毎に同時化処理回路５８を設けるのは、同時化処理に用いる補正演算式（すなわちパラメータ）がカラーフィルタの配列方式によって異なるためである。
【００４３】
また、同時化処理回路５８Ａ、５８Ｂでは、同時化処理により得られた各画素毎のＲＧＢの色信号をＹＣ変換し、輝度信号（Ｙ信号）及び色差信号（Ｙｒ信号及びＹｂ信号）を生成する。同時化処理回路５８Ａ、５８Ｂは、画像信号として、生成した輝度信号及び色差信号を後段の後処理回路６０へ出力する。
【００４４】
後処理回路６０には、切換えスイッチ２８と接続されており、切換えスイッチ２８から配列方式の選択（ハニカム／ベイヤー）を示す選択信号が入力される。後処理回路６０は、入力された選択信号に基づいて、同時化処理回路５８Ａ、５８Ｂの何れか一方から出力された画像信号を選択して取り込む。すなわち、入力された選択信号がハニカム配列の選択を示すものであれば、同時化処理回路５８Ａから出力された画像信号を取り込み、入力された選択信号がベイヤー配列の選択を示すものであれば、同時化処理回路５８Ｂから出力された画像信号を取り込む。
【００４５】
なお、後処理回路６０で選択信号に基づいて同時化処理回路５８Ａ、５８Ｂのうち何れか一方の出力信号を選択する代わりに、選択信号に基づいて、同時化処理回路５８Ａ、５８Ｂのうち何れか一方のみが動作するようにしてもよい。例えば、選択信号がハニカム配列を示すものであれば、同時化処理回路５８Ｂへの電源供給をＯＦＦし、同時化処理回路５８Ａにのみに電源供給し、選択信号がベイヤー配列を示すものであれば、同時化処理回路５８Ａへの電源供給をＯＦＦし、同時化処理回路５８Ｂにのみに電源供給するようなスイッチを設けてもよい。
【００４６】
後処理回路６０は、取り込んだ画像信号に対して、当該信号が表す画像のエッジを強調したり、撮影環境などに応じて色補正したりするための所定の補正処理を施して、圧縮回路６２へ出力する。
【００４７】
圧縮回路６２では、ユーザによって不図示のレリーズボタン（所謂、シャッター）が押圧操作された際に、後処理回路６０から出力された画像信号を記録用の画像信号として取り込み、取り込んだ画像信号をＪＰＥＧなど所定の圧縮方式で圧縮する。圧縮された画像信号は、不図示のメモリインタフェース回路を介してメモリ２４に書き込まれる。
【００４８】
なお、後処理回路６０から出力された各種補正処理後の信号は、デジタルカメラ１０のファインダとして機能する不図示の液晶ディスプレイや電子ビューファインダへの表示用にも用いられる。
【００４９】
制御部２６は、ＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、上記各部の動作を制御するために、各部に対して適宜制御信号を送出する。特に、本発明に関するものとして、制御部２６は、オフセット補正回路５２、ゲイン補正回路５４、及びガンマ補正回路５６へ、それぞれの処理で用いる各色毎のパラメータ（オフセット値、ゲイン値、入出力特性（ガンマカーブ））を示す信号を送出する。すなわち、制御部２６により、オフセット補正回路５２、ゲイン補正回路５４、及びガンマ補正回路５６で実行される前処理で用いるパラメータが設定される。なお、このパラメータは、制御部２６の不図示のメモリに予め記憶していてもよいし、制御部２６により演算により生成してもよい。
【００５０】
なお、上記では、切換えスイッチ２８から、ハニカム／ベイヤーの選択結果を示す信号がデジタル信号処理部２０に入力されるように構成したが、本発明はこれに限定されるものではない。例えば、切換えスイッチ２８をデジタル信号処理部２０に内蔵させてもよいし、切換えスイッチ２８からの選択結果を示す信号が、制御部２６を介して、デジタル信号処理部２０に入力されるようにしてもよい。また、切換えスイッチ２８を省略し、制御部２６の不図示のメモリに、当該デジタルカメラ１０の組み立て製造時に、ハニカム配列であるかベイヤー配列であるかを示す情報を記憶させ、制御部２６がこのメモリの記憶情報に従って、選択信号を生成して、デジタル信号処理部２０に供給するようにしてもよい。
【００５１】
次に、本実施の形態の作用を説明する。
【００５２】
本実施形態に係るデジタルカメラ１０は、ユーザによって、不図示のレリーズボタン（所謂、シャッター）が押圧操作されると、ＣＣＤ１４から各画素の信号が順次に読み出され、読み出された各信号は、アナログ信号処理部１８で所定のアナログ信号処理が施されてデジタル信号に変換される。このデジタル信号は、ＣＣＤ１４から読み出した点順次にデジタル信号処理部２０に入力され、デジタル信号処理部２０により、前処理、同時化処理、後処理が施される。これにより、撮像画像を表す画像データを生成される。生成された画像データは圧縮されて、メモリ２４に記憶される。
【００５３】
次に、図３乃至図５を参照して、デジタル信号処理部２０の動作を詳細に説明する。なお、デジタル信号処理部２０では、制御部２６からの信号に従って、前処理に用いるパラメータ、すなわちオフセット補正回路５２ではオフセット値、ゲイン補正回路５４ではゲイン値、及びガンマ補正回路５６では入出力特性（ガンマカーブ）が各色毎に設定されている。また、デジタル信号処理部２０には、切換えスイッチ２８から本デジタルカメラ１０で採用しているＣＣＤ１４のカラーフィルタの配列方式（ハニカム／ベイヤー）を示す信号が入力されている。
【００５４】
図３はデジタル信号処理部２０の動作を示すフローチャートを示している。また、図４、図５はＣＣＤのカラーフィルタの配列方式がハニカム配列の場合、ベイヤー配列の場合のデジタル信号処理部２０における各種信号のタイミングチャートをそれぞれ示している。
【００５５】
デジタル信号処理部２０では、アナログ信号処理部１８からの画像同期信号ＥＮが入力されると図３に示す動作を開始する。デジタル信号処理部２０は、画像同期信号ＥＮが入力されると、図３に示すように、まずステップＳＴ１において、ＣＣＤＩＦ５０により、切換えスイッチ２８から入力されている選択信号に基づいて、本デジタルカメラ１０で採用しているＣＣＤ１４のカラーフィルタの配列方式を選択信号に従って判別し、ハニカム配列であればステップＳＴ２、ベイヤー配列であればステップＳＴ３に進む。
【００５６】
ステップＳＴ２ではハニカム配列に応じて、ステップＳＴ３では、ベイヤー配列に応じて、ＣＣＤ１４から読み出された点順次の信号の画素の色を識別する色識別信号を画像同期信号ＥＮに同期して生成する。
【００５７】
また、ステップＳＴ２又はＳＴ３における色識別信号の生成と共に、ＣＣＤＩＦ５０では、ステップＳＴ４において、画像同期信号ＥＮに同期して、ＣＣＤ１４から読み出された点順次にアナログ信号処理部１８で処理された信号の取り込みを開始する。
【００５８】
詳しくは、図４に示すように、選択信号がハニカム配列を示す場合（同図ではＨレベル）、画像同期信号ＥＮの立下りに同期して、デジタル信号処理部２０には、ＣＣＤ１４から読み出した順に各画素の信号が色信号として入力される。具体的には、ハニカム配列の場合、ある行の信号として、同図に示されているように、所定のクロックＣＬＫに従って、ＲＸＢＸＲＸＢＸ・・・の順に各色の画素の信号が入力されることになる。なお、Ｘは虚画素を示す。
【００５９】
これと同時に所定のクロックＣＬＫに従って、色識別信号が順次生成され、具体的には、ＲＧＢ信号は１１１１１１１１・・・、ＲＧＢＧ信号は１１００１１００・・・、ＸＯＳ信号は１０１０１０１０・・・という２ビット信号が生成される。すなわち、点順次に入力された１画素目の色信号についての色識別信号（ＲＧＢ、ＲＧＢＧ、ＸＯＳ）＝（１、１、１）となり、この色識別信号から、表１、２に示したように、Ｒ色で且つ有効な画素（実画素）で得られた色信号であることが分かる。また２画素目の色信号についての色識別信号は、（ＲＧＢ、ＲＧＢＧ、ＸＯＳ）＝（１、１、０）となり、この色識別信号から、ＲＧＢ、ＲＧＢＧ信号はＲ色を示しているが、ＸＯＳ信号から無効な画素、すなわち虚画素の色信号であることが分かる。このように色識別信号（ＲＧＢ、ＲＧＢＧ、ＸＯＳ）により、各色信号が表す色及び有効／無効が判別可能である。
【００６０】
一方、図５に示すように、選択信号がベイヤー配列を示す場合（同図ではＬレベル）、画像同期信号ＥＮの立下りに同期して、デジタル信号処理部２０には、ＣＣＤ１４から読み出した順に各画素の信号が色信号として入力される。具体的には、ベイヤー配列の場合、ある行について、同図に示されているように、所定のクロックＣＬＫに従って、ＲＧＲＧＲＧＲＧ・・・の順に色信号が入力されることになる。
【００６１】
これと同時に所定のクロックＣＬＫに従って、色識別信号が順次生成され、具体的には、ＲＧＢ信号は１０１０１０１０・・・、ＲＧＢＧ信号は１１００１１００・・・という２ビット信号が生成される。すなわち、点順次に入力された１画素目の色信号についての色識別信号（ＲＧＢ、ＲＧＢＧ）＝（１、１）となり、この色識別信号から、表１に示したように、Ｒ色の画素で得られた色信号であることが分かる。また２画素目の色信号についての色識別信号は、（ＲＧＢ、ＲＧＢＧ）＝（０、１）となり、この色識別信号から、Ｒの画素と隣り合うＢ色の画素から得られた色信号であることが分かる。
【００６２】
そして、次のステップＳＴ５では、オフセット補正回路５２、ゲイン補正回路５４、ガンマ補正回路５６のそれぞれにおいて、色識別信号として入力されたＲＧＢ信号及びＲＧＢＧ信号が示す色に基づいて、パラメータを選択する。そして次のステップＳＴ６で、オフセット補正回路５２、ゲイン補正回路５４、ガンマ補正回路５６により、選択したパラメータを用いて、オフセット補正、ゲイン補正、ガンマ補正といった前処理をそれぞれ施す。なお、ここでは、色識別信号に含まれるＸＯＳ信号については無視され、実画素／虚画素に係わらず、同一の処理がなされる。
【００６３】
例えば、対応する色識別信号が（ＲＧＢ、ＲＧＢＧ）＝（１、１）とＲ色を表している色信号の場合は、オフセット補正回路５２、ゲイン補正回路５４、ガンマ補正回路５６において、Ｒ色に対応して設定されているパラメータが選択されて、オフセット補正、ゲイン補正、ガンマ補正が実行される。
【００６４】
このように前処理過程では、色識別信号に基づいて処理対象の色信号の色を判別し、ＲＧＢの各色毎に予め用意されたパラメータの中から、判別した色のパラメータを選択することで、各色毎に適切な前処理を行うことができる。
【００６５】
このようにして前処理が施された色信号は、同時化処理回路５８Ａ、５８Ｂの両者に入力され、次のステップＳＴ７においては、色識別信号が示す色の補間演算式に従って、それぞれでハニカム配列、ベイヤー配列に適した同時化処理がなされると共にＹＣ変換処理して輝度信号及び色差信号に変換される。なお、同時化処理回路５８Ａでは、対応する色識別信号に含まれるＸＯＳ信号が０の色信号については、無効な信号であるとして、同時化処理には用いないようになっている。
【００６６】
次のステップＳＴ８では、後処理回路６０により、切換えスイッチ２８から入力されている選択信号に基づいて、本デジタルカメラ１０で採用しているＣＣＤ１４のカラーフィルタの配列方式を選択信号に従って判別し、ハニカム配列であればステップＳＴ９、ベイヤー配列であればステップＳＴ１０に進む。
【００６７】
そして、後処理回路６０により、ステップＳＴ９では同時化処理回路５８Ａの出力信号（輝度信号、色差信号）、ステップＳＴ１０では同時化処理回路５８Ｂの出力信号を選択し、当該選択した出力信号に対して、後処理として、エッジ強調や色補正といった所定のデジタル信号処理を施す。
【００６８】
この後処理回路６０による処理後の信号（輝度信号、色差信号）は、撮像画像を表すデジタル画像データとして、圧縮回路６２に入力され、最後にステップＳＴ１１で、ＪＰＥＧ方式などで圧縮した後、メモリ２４に記憶させて、図３の動作は終了する。
【００６９】
このように、本実施の形態では、ＣＣＤ１４から読み出された各画素の信号について、ＣＣＤＩＦ５０において、当該ＣＣＤのカラーフィルタの配列方式に従って各画素の信号の色（Ｒ／Ｇ／Ｂ）を識別するための色識別信号を生成し、この色識別信号に基づいて点順次の各色信号が該当する画素の色を識別して、前処理、同時化処理を行うようにした。
【００７０】
これにより、デジタル信号処理部２０では、配列方式毎に、前処理、同時化処理、後処理を行う処理系を設けずとも、ハニカム配列とベイヤー配列の２つの配列方式に対応してデジタル信号処理を行うことができ回路規模の増大を抑えることができる。また、特に、オフセット補正回路５２、ゲイン補正回路５４、ガンマ補正回路５６といったカラーフィルタの配列方式によらずに同一の前処理を行うための回路については、色識別信号が示す色毎に処理に用いるパラメータを切換えるようにしたことで、カラーフィルタの配列方式によらずに共通化することができ、回路規模の増大を防止する効果がある。
【００７１】
【発明の効果】
上記に示したように、本発明は、小さな回路規模で、撮像素子から読み出した信号に対して、複数のカラーフィルタの配列方式に対応して所定の信号処理を行うことができるという優れた効果を有する。
【図面の簡単な説明】
【図１】本実施の形態に係るデジタルカメラの構成を示すブロック図である。
【図２】（Ａ）はハニカム配列、（Ｂ）はベイヤー配列を示す図である。
【図３】デジタル信号処理部の動作を示すフローチャートである。
【図４】ＣＣＤのカラーフィルタの配列方式がハニカム配列の場合のデジタル信号処理部における各種信号のタイミングチャートである。
【図５】ＣＣＤのカラーフィルタの配列方式がベイヤー配列の場合のデジタル信号処理部における各種信号のタイミングチャートである。
【符号の説明】
１０ デジタルカメラ
１２ 撮影レンズ
１４ ＣＣＤ
１８ アナログ信号処理部
２０ デジタル信号処理部
２６ 制御部
２８ 切換えスイッチ
３０ 画素
３０Ａ 実画素
３０Ｂ 虚画素
５２ オフセット補正回路
５４ ゲイン補正回路
５６ ガンマ補正回路
５８Ａ、５８Ｂ 同時化処理回路
６０ 後処理回路
６２ 圧縮回路
【発明の属する技術分野】
本発明は、信号処理装置及びデジタルカメラに係わり、特に、カラー画像を撮像するために、複数の色のカラーフィルタが所定の配列となるように画素に対して設けられた単板構成の撮像素子から読み出された各画素の色信号に所定の処理を施す信号処理装置及びデジタルカメラに関する。
【０００２】
【従来の技術】
近年、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージ・センサ等の撮像素子の高解像度化に伴い、デジタルスチルカメラやデジタルビデオカメラ等のデジタルカメラの需要が急増している。デジタルカメラでは、高品位の画像を得るために、撮像素子での撮影により得られた画像信号に対して、エッジ強調などの輪郭補正処理や、色味を調整する色補正処理といった各種の補正処理が施される。
【０００３】
一般的なデジタルカメラでは、カラーで被写体を撮像する撮像素子を単板構成とし、撮像素子の各画素には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の何れかのカラーフィルタが所定の配列に従って配置されている。従って、この撮像素子から撮像画像の各画素の信号を読み出すと、Ｒ、Ｇ、Ｂのうちの少なくとも１色の色信号が時系列に間欠的に出力されることになり、このような状態で供給される画像信号を用いて補正処理を行っても高精度に補正することはできない。
【０００４】
このため、デジタルカメラでは、各画素について、間欠した色の信号を周辺の画素の信号により補間して生成する信号処理（以下、「同時化処理」と称す）が行われている（例えば、特許文献１、２参照）。デジタルカメラで採用されるカラーフィルタの配列方式には、ベイヤー配列、ＲＧＢストライプ配列、ハニカム配列など各種の配列方式がある。同時化処理は、カラーフィルタの配列に応じて、各画素で間欠している色の信号を補間するために用いる周辺画素やその重み付け係数といった当該処理で用いるパラメータを定めて、それぞれのデジタルカメラの撮像素子で採用しているカラーフィルタの配列方式に応じて、適切な同時化処理が施されることが必要である。
【０００５】
また、同時化処理を行う場合、同時化処理の前段において、撮像素子から得られた各画素の色信号に対して、撮像素子の色毎の感度差などを補正して感度調整を行う補正処理（上述した高品位の画像を得るための補正処理と区別するために、この補正処理を「前処理」、高品位の画像を得るための補正処理を「後処理」と称す）を施しておく必要がある。
【０００６】
近年、デジタルカメラの低価格化に伴って、異なるカラーフィルタの配列方式、例えばハニカム配列のＣＣＤとベイヤー配列のＣＣＤの両方の色信号処理を１つの処理系（例えばＬＳＩ）で実現し、同一の処理系を、異なるカラーフィルタの配列方式が採用されたデジタルカメラで共通に使用可能にすることが望まれている。
【０００７】
【特許文献１】
特開平１１−１７７９９５号公報
【特許文献２】
特開２０００−１８４３８６号公報
【０００８】
【発明が解決しようとする課題】
しかしながら、カラーフィルタの配列方式によって処理系に入力される画素色順が異なるため、例えばハニカム配列とベイヤー配列とで別々の信号処理回路が必要とされ、処理系の回路規模が増大し、かえってコストが高くなってしまうという問題があった。
【０００９】
本発明は上記問題点を解消するためになされたもので、小さな回路規模で、撮像素子から読み出した信号に対して、複数のカラーフィルタの配列方式に対応して所定の信号処理を行うことができる信号処理装置及びこの信号処理装置を適用可能なデジタルカメラを提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、請求項１に記載の信号処理装置は、カラー画像を撮像するために、複数の色のカラーフィルタが所定の配列となるように画素に対して設けられた撮像素子から読み出された撮像画像の各画素の信号に所定の処理を施して前記撮像画像の画像データを得る信号処理装置であって、予め定められた複数の前記カラーフィルタの配列方式の何れか１つを表す選択信号が入力されると共に、該選択信号が表す配列方式に基づいて、前記画素信号による各画素の色を識別するための色識別信号を生成する生成手段と、前記複数の配列方式に共通に設けられ、前記生成手段により生成された色識別信号が示す色に対応する画素信号に施す処理を前記所定の処理として行う処理手段と、を有することを特徴としている。
【００１１】
この信号処理装置によれば、生成手段では、複数のカラーフィルタの配列方式のうち、選択信号が表すカラーフィルタの配列方式に対応して、画素信号による各画素の色を識別するための色識別信号が生成される。この色識別信号により、撮像素子から順次読み出される各画素の信号が複数の色のうち何れの色に該当するのかを識別可能になる。
【００１２】
複数の配列方式に共通で設けられた処理手段では、前記所定の処理として、色識別信号が示す色に対応する画素信号に施す処理を行われる。この処理は、例えば、色識別信号が示す色毎に処理に用いるパラメータを切換えるなどして行うことができる。
【００１３】
すなわち、撮像素子から各画素の信号を読み出したときに、配列方式によって、読出した信号が該当する色の順番が異なっても、当該撮像素子で採用されている配列方式を表す選択信号を生成手段に入力させれば、当該配列方式に対応した色識別信号を生成することができ、この色識別信号により各画素の信号が該当する色を識別できるので、処理手段が複数の配列方式で共通であっても、適切に処理を行うことができる。
【００１４】
このように信号処理装置では、複数の配列方式で処理手段で共通化しても、各配列方式に対応して所定の信号処理を行うことができ、回路規模を小さくすることができる。
【００１５】
上記の信号処理装置においては、例えば、請求項２に記載されているように、前記処理手段は、前記配列方式に対応して、各画素について、周辺の画素の信号から自らの画素の各色の画像データを生成する同時化信号処理手段と、前記同時化信号処理手段の前段に備え、且つ前記画素信号について補正処理を施す前処理手段と、から構成されるようにすることができる。
【００１６】
請求項３に記載のデジタルカメラは、カラー画像を撮像するために、複数の色のカラーフィルタが所定の配列となるように画素に対して設けられた単板構成の撮像素子と、請求項１又は請求項２に記載の信号処理装置とを備え、前記撮像素子で撮影して得られた撮像画像の画素信号に対して前記信号処理装置により所定の処理を施して、前記撮像画像を表す画像データを取得することを特徴としている。
【００１７】
このデジタルカメラによれば、上記の信号処理装置を用いて、撮像素子から得られた色信号に対して所定の処理を施して画像データを取得するので、低コスト化を図ることができる。
【００１８】
【発明の実施の形態】
次に、図面を参照して本発明に係る実施形態の１例を詳細に説明する。
【００１９】
まず、図１を参照して、本実施の形態に係るデジタルカメラ１０の構成を説明する。同図に示すように、本実施の形態に係るデジタルカメラ１０は、被写体像を結像させるための撮影レンズ１２と、撮影レンズ１２の光軸後方に配設された撮像素子としてのＣＣＤ１４と、ＣＣＤ１４を駆動するＣＣＤ駆動回路１６と、入力されたアナログ信号に対して所定の信号処理を行うアナログ信号処理部１８と、入力されたデジタル信号に対して所定のデジタル信号処理を施す本発明の信号処理装置としてのデジタル信号処理部２０と、各種タイミング信号を生成するタイミングジェネレータ（ＴＧ）２２と、撮影で取得されたデジタル画像信号を記憶するメモリ２４と、デジタルカメラ１０の全体的な動作を司る制御部２６と、カラーフィルタの配列方式を選択する選択手段として用いる切換えスイッチ２８と、を含んで構成されている。
【００２０】
撮影レンズ１２を介してＣＣＤ１４の受光面に結像された被写体像は、各センサで光の入射光量に応じた量の信号電荷に変換される。このようにして蓄積された信号電荷は、ＣＣＤ駆動回路１６から加えられるリードゲートパルスによってシフトレジスタに読み出され、レジスタ転送パルスによって信号電荷に応じた電圧信号（アナログ信号）として順次読み出される。尚、このＣＣＤ１４は、蓄積した信号電荷をシャッタゲートパルスによって掃き出すことができ、これにより電荷の蓄積時間（シャッタスピード）を制御する、いわゆる電子シャッタ機能を有している。
【００２１】
ＣＣＤ１４から順次読み出された電圧信号は、各画素の信号として、アナログ信号処理部１８に入力される。アナログ信号処理部１８では、入力された色信号に対して、所定のアナログ信号処理を施した後、デジタル信号に変換して出力する。なお、ＣＣＤ駆動回路１６、アナログ信号処理部１８は、ＴＧ２２から加えられるタイミング信号によって同期して駆動されるようになっている。
【００２２】
アナログ信号処理部１８から出力された信号（デジタル信号）は、一旦メモリ（図示省略）に格納され、その後、当該メモリに格納された色信号はＣＣＤ１４から読み出した点順次（画素の順番）にデジタル信号処理部２０に入力される。また、このときデジタル信号処理部２０には、アナログ信号処理部１８から画像毎の画像同期信号が入力されるようになっている。
【００２３】
デジタル信号処理部２０は、複数のカラーフィルタの配列方式に共通で使用可能に構成されており、本実施の形態では、一例として、ハニカム配列とベイヤー配列とで共通使用可能に構成されている。すなわち、ＣＣＤ１４には、ハニカム配列のＣＣＤ又はベイヤー配列のＣＣＤを使用可能である。ただし、本発明は、カラーフィルタの配列方式の種類をこれに限定するものではない。
【００２４】
なお、図２は、各画素３０を表す矩形内のＲ／Ｇ／Ｂは対応するカラーフィルタの色、すなわち画素３０の色を表している。
【００２５】
ハニカム配列のＣＣＤ１４の場合、図２（Ａ）に示すように、実画素３０Ａと虚画素３０Ｂとが市松模様を構成するように配列され、実画素について、ある行にはＧのみ、次の行にはＢＲＢＲ…、次の行にはＧのみ、次の行にはＲＢＲＢ…というように各色のカラーフィルタが配置されているかの如く、各画素の信号が読み出される。
【００２６】
ベイヤー配列のＣＣＤ１４の場合、図２（Ｂ）に示すように、実画素３０が二次元配列され、ある行にはＲＧＲＧ…、次の行にはＧＢＧＢ…というように各色のカラーフィルタが配置されているかの如く、各画素の信号が読み出される。
【００２７】
また、デジタル信号処理部２０は、図１に示すように、信号を取り込むＣＣＤインタフェース回路（ＣＣＤＩＦ）５０と、前処理手段として、取り込んだ信号に対して前処理を施すオフセット補正回路５２、ゲイン補正回路５４、及びガンマ補正回路５６と、同時化処理手段として、ハニカム配列に基づいた同時化処理を行う同時化処理回路５８Ａ及びベイヤー配列に基づいた同時化処理を行う同時化処理回路５８Ｂと、色信号に対して後処理を施すための後処理回路６０と、圧縮回路６２とを含んで構成されている。
【００２８】
ＣＣＤＩＦ５０は、画像同期信号に同期して、ＣＣＤ１４から読み出した点順次に各画素の信号の取り込みを開始する。また、ＣＣＤＩＦ５０は、切換えスイッチ２８と接続されており、切換えスイッチ２８から配列方式の選択（ハニカム／ベイヤー）を示す選択信号が入力される。この切換えスイッチ２８によるハニカム／ベイヤーの選択は、本デジタルカメラ１０の組み立て時に、採用するＣＣＤ１４のカラーフィルタの配列方式に従って予め実施されている。
【００２９】
ＣＣＤＩＦ５０は、入力された選択信号に基づいて、ＣＣＤ１４から読み出した点順次に取り込んだ各信号がそれぞれＲＧＢの何れの色の画素から得られたものであるか、すなわちＲＧＢの何れの色の画素の信号であるのかを識別するための色識別信号を生成する。すなわち、ＣＣＤＩＦ５０が生成手段としての機能を担っている。
【００３０】
本実施の形態では、一例として、表１に示すＲＧＢ信号及びＲＧＢＧ信号を色識別信号として生成するようになっている。
【００３１】
【表１】
なお、表１におけるＧ１、Ｇ２とは、ハニカム配列では、左上にＲが隣接したＧ、Ｂが隣接したＧを示し、ベイヤー配列では、水平方向にＲと隣接したＧ、Ｂと隣接したＧを示す。すなわち、ハニカム配列では垂直方向に隣り合うＧ、ベイヤー配列では、斜め方向に隣合うＧが区別されるようになっている。これは、同時化処理回路５８Ａ、５８Ｂで実行される同時化処理において、このようなＧ１、Ｇ２とで異なる補間演算式（すなわちパラメータ）が用いられるためである。
【００３３】
また、ハニカム配列については、実画素／虚画素を識別して虚画素で得られた色信号を無効とするために、さらに表２に示す２ビットのＸＯＳ信号を色識別信号として生成するようになっている。
【００３４】
【表２】
ＣＣＤＩＦ５０は、取り込んだ各画素の信号を色信号として、生成した色識別信号と共に後段のオフセット補正回路５２へ出力する。
【００３６】
オフセット補正回路５２は、黒色の被写体を撮影した場合に黒色が表現されるように、ＣＣＤ１４の出力信号における各色のゼロ値を補正するものである。詳しくは、オフセット補正回路５２では、当該回路での処理に用いるパラメータとして、ＲＧＢの各色毎に予めオフセット値が設定されており、ＣＣＤＩＦ５０から出力された色信号に対して、色識別信号が示す色のオフセットを選択し、選択したオフセット値を減算する。オフセット補正回路５２は、減算後の色信号を色識別信号と共に、後段のゲイン補正回路５４へ出力する。
【００３７】
ゲイン補正回路５４は、白色などの被写体を撮影した場合に白色が表現されるように、ＣＣＤ１４の出力信号における各色の最大値を補正するものである。詳しくは、ゲイン補正回路５４では、当該回路での処理に用いるパラメータとして、ＲＧＢの各色毎に予めゲイン値が設定されており、オフセット補正回路５２から出力された色信号に対して、色識別信号が示す色のゲイン値を選択し、選択したゲイン値を乗算する。ゲイン補正回路５４は、乗算後の色信号を色識別信号と共に、後段のガンマ補正回路５６へ出力する。
【００３８】
ガンマ補正回路５６は、各色の階調を補正するものである。詳しくは、ガンマ補正回路５６では、当該回路での処理に用いるパラメータとして、ＲＧＢの各色毎に予め入出力特性（ガンマカーブ）が設定されており、ゲイン補正回路５４から出力された色信号に対して、色識別信号が示す色の入出力特性（ガンマカーブ）を選択し、当該色信号を入力値として選択した入出力特性に従って変換する。ガンマ補正回路５６は、変換後の色信号を色識別信号と共に、後段の同時化処理回路５８Ａ、５８Ｂに出力する。
【００３９】
同時化処理回路５８Ａ、５８Ｂは、各画素についてＲＧＢの３色揃った色信号が得られるように、それぞれ対応するカラーフィルタの配列方式に対応して、各画素について同時化処理を行なう。同時化処理とは、ＲＧＢの各色信号のうち間欠した色の信号を周辺の画素の色信号により補間して生成する処理である。
【００４０】
例えば、図２（Ａ）において、Ｇ色のカラーフィルタが設けられた画素３０＿１では、Ｇ色の色信号が得られる。したがって、この画素では、Ｇ色については得られた色信号を用いればよいが、他のＢ、Ｒ色については周辺画素（例えばＢ色については画素３０＿２、３０＿３、Ｒ色については画素３０＿４、３０＿５）により補間して色信号を生成する。なお、補間演算については、従来公知の技術と同様でよいため、ここでは詳細な説明は省略する。
【００４１】
なお、本実施の形態では、ハニカム配列とベイヤー配列とでデジタル信号処理部２０を共通に使用可能としたため、ハニカム用の同時化処理回路５８Ａとベイヤー用の同時化処理回路５８Ｂを設けた。すなわち、同時化処理回路５８は、カラーフィルタの配列方式毎に設けられるものであり、ＲＧＢストライプ配列とハニカム配列とでデジタル信号処理部２０を共通に使用可能とする場合には、ＲＧＢストライプ用とハニカム用とで２つの同時化処理回路が設けられることになる。また、ハニカム配列、ベイヤー配列、及びＲＧＢストライプ配列でデジタル信号処理部２０を共通に使用可能とした場合には、ハニカム用、ベイヤー用、及びＲＧＢストライプ用で３つの同時化処理回路が設けられることになる。
【００４２】
このようにカラーフィルタの配列方式毎に同時化処理回路５８を設けるのは、同時化処理に用いる補正演算式（すなわちパラメータ）がカラーフィルタの配列方式によって異なるためである。
【００４３】
また、同時化処理回路５８Ａ、５８Ｂでは、同時化処理により得られた各画素毎のＲＧＢの色信号をＹＣ変換し、輝度信号（Ｙ信号）及び色差信号（Ｙｒ信号及びＹｂ信号）を生成する。同時化処理回路５８Ａ、５８Ｂは、画像信号として、生成した輝度信号及び色差信号を後段の後処理回路６０へ出力する。
【００４４】
後処理回路６０には、切換えスイッチ２８と接続されており、切換えスイッチ２８から配列方式の選択（ハニカム／ベイヤー）を示す選択信号が入力される。後処理回路６０は、入力された選択信号に基づいて、同時化処理回路５８Ａ、５８Ｂの何れか一方から出力された画像信号を選択して取り込む。すなわち、入力された選択信号がハニカム配列の選択を示すものであれば、同時化処理回路５８Ａから出力された画像信号を取り込み、入力された選択信号がベイヤー配列の選択を示すものであれば、同時化処理回路５８Ｂから出力された画像信号を取り込む。
【００４５】
なお、後処理回路６０で選択信号に基づいて同時化処理回路５８Ａ、５８Ｂのうち何れか一方の出力信号を選択する代わりに、選択信号に基づいて、同時化処理回路５８Ａ、５８Ｂのうち何れか一方のみが動作するようにしてもよい。例えば、選択信号がハニカム配列を示すものであれば、同時化処理回路５８Ｂへの電源供給をＯＦＦし、同時化処理回路５８Ａにのみに電源供給し、選択信号がベイヤー配列を示すものであれば、同時化処理回路５８Ａへの電源供給をＯＦＦし、同時化処理回路５８Ｂにのみに電源供給するようなスイッチを設けてもよい。
【００４６】
後処理回路６０は、取り込んだ画像信号に対して、当該信号が表す画像のエッジを強調したり、撮影環境などに応じて色補正したりするための所定の補正処理を施して、圧縮回路６２へ出力する。
【００４７】
圧縮回路６２では、ユーザによって不図示のレリーズボタン（所謂、シャッター）が押圧操作された際に、後処理回路６０から出力された画像信号を記録用の画像信号として取り込み、取り込んだ画像信号をＪＰＥＧなど所定の圧縮方式で圧縮する。圧縮された画像信号は、不図示のメモリインタフェース回路を介してメモリ２４に書き込まれる。
【００４８】
なお、後処理回路６０から出力された各種補正処理後の信号は、デジタルカメラ１０のファインダとして機能する不図示の液晶ディスプレイや電子ビューファインダへの表示用にも用いられる。
【００４９】
制御部２６は、ＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、上記各部の動作を制御するために、各部に対して適宜制御信号を送出する。特に、本発明に関するものとして、制御部２６は、オフセット補正回路５２、ゲイン補正回路５４、及びガンマ補正回路５６へ、それぞれの処理で用いる各色毎のパラメータ（オフセット値、ゲイン値、入出力特性（ガンマカーブ））を示す信号を送出する。すなわち、制御部２６により、オフセット補正回路５２、ゲイン補正回路５４、及びガンマ補正回路５６で実行される前処理で用いるパラメータが設定される。なお、このパラメータは、制御部２６の不図示のメモリに予め記憶していてもよいし、制御部２６により演算により生成してもよい。
【００５０】
なお、上記では、切換えスイッチ２８から、ハニカム／ベイヤーの選択結果を示す信号がデジタル信号処理部２０に入力されるように構成したが、本発明はこれに限定されるものではない。例えば、切換えスイッチ２８をデジタル信号処理部２０に内蔵させてもよいし、切換えスイッチ２８からの選択結果を示す信号が、制御部２６を介して、デジタル信号処理部２０に入力されるようにしてもよい。また、切換えスイッチ２８を省略し、制御部２６の不図示のメモリに、当該デジタルカメラ１０の組み立て製造時に、ハニカム配列であるかベイヤー配列であるかを示す情報を記憶させ、制御部２６がこのメモリの記憶情報に従って、選択信号を生成して、デジタル信号処理部２０に供給するようにしてもよい。
【００５１】
次に、本実施の形態の作用を説明する。
【００５２】
本実施形態に係るデジタルカメラ１０は、ユーザによって、不図示のレリーズボタン（所謂、シャッター）が押圧操作されると、ＣＣＤ１４から各画素の信号が順次に読み出され、読み出された各信号は、アナログ信号処理部１８で所定のアナログ信号処理が施されてデジタル信号に変換される。このデジタル信号は、ＣＣＤ１４から読み出した点順次にデジタル信号処理部２０に入力され、デジタル信号処理部２０により、前処理、同時化処理、後処理が施される。これにより、撮像画像を表す画像データを生成される。生成された画像データは圧縮されて、メモリ２４に記憶される。
【００５３】
次に、図３乃至図５を参照して、デジタル信号処理部２０の動作を詳細に説明する。なお、デジタル信号処理部２０では、制御部２６からの信号に従って、前処理に用いるパラメータ、すなわちオフセット補正回路５２ではオフセット値、ゲイン補正回路５４ではゲイン値、及びガンマ補正回路５６では入出力特性（ガンマカーブ）が各色毎に設定されている。また、デジタル信号処理部２０には、切換えスイッチ２８から本デジタルカメラ１０で採用しているＣＣＤ１４のカラーフィルタの配列方式（ハニカム／ベイヤー）を示す信号が入力されている。
【００５４】
図３はデジタル信号処理部２０の動作を示すフローチャートを示している。また、図４、図５はＣＣＤのカラーフィルタの配列方式がハニカム配列の場合、ベイヤー配列の場合のデジタル信号処理部２０における各種信号のタイミングチャートをそれぞれ示している。
【００５５】
デジタル信号処理部２０では、アナログ信号処理部１８からの画像同期信号ＥＮが入力されると図３に示す動作を開始する。デジタル信号処理部２０は、画像同期信号ＥＮが入力されると、図３に示すように、まずステップＳＴ１において、ＣＣＤＩＦ５０により、切換えスイッチ２８から入力されている選択信号に基づいて、本デジタルカメラ１０で採用しているＣＣＤ１４のカラーフィルタの配列方式を選択信号に従って判別し、ハニカム配列であればステップＳＴ２、ベイヤー配列であればステップＳＴ３に進む。
【００５６】
ステップＳＴ２ではハニカム配列に応じて、ステップＳＴ３では、ベイヤー配列に応じて、ＣＣＤ１４から読み出された点順次の信号の画素の色を識別する色識別信号を画像同期信号ＥＮに同期して生成する。
【００５７】
また、ステップＳＴ２又はＳＴ３における色識別信号の生成と共に、ＣＣＤＩＦ５０では、ステップＳＴ４において、画像同期信号ＥＮに同期して、ＣＣＤ１４から読み出された点順次にアナログ信号処理部１８で処理された信号の取り込みを開始する。
【００５８】
詳しくは、図４に示すように、選択信号がハニカム配列を示す場合（同図ではＨレベル）、画像同期信号ＥＮの立下りに同期して、デジタル信号処理部２０には、ＣＣＤ１４から読み出した順に各画素の信号が色信号として入力される。具体的には、ハニカム配列の場合、ある行の信号として、同図に示されているように、所定のクロックＣＬＫに従って、ＲＸＢＸＲＸＢＸ・・・の順に各色の画素の信号が入力されることになる。なお、Ｘは虚画素を示す。
【００５９】
これと同時に所定のクロックＣＬＫに従って、色識別信号が順次生成され、具体的には、ＲＧＢ信号は１１１１１１１１・・・、ＲＧＢＧ信号は１１００１１００・・・、ＸＯＳ信号は１０１０１０１０・・・という２ビット信号が生成される。すなわち、点順次に入力された１画素目の色信号についての色識別信号（ＲＧＢ、ＲＧＢＧ、ＸＯＳ）＝（１、１、１）となり、この色識別信号から、表１、２に示したように、Ｒ色で且つ有効な画素（実画素）で得られた色信号であることが分かる。また２画素目の色信号についての色識別信号は、（ＲＧＢ、ＲＧＢＧ、ＸＯＳ）＝（１、１、０）となり、この色識別信号から、ＲＧＢ、ＲＧＢＧ信号はＲ色を示しているが、ＸＯＳ信号から無効な画素、すなわち虚画素の色信号であることが分かる。このように色識別信号（ＲＧＢ、ＲＧＢＧ、ＸＯＳ）により、各色信号が表す色及び有効／無効が判別可能である。
【００６０】
一方、図５に示すように、選択信号がベイヤー配列を示す場合（同図ではＬレベル）、画像同期信号ＥＮの立下りに同期して、デジタル信号処理部２０には、ＣＣＤ１４から読み出した順に各画素の信号が色信号として入力される。具体的には、ベイヤー配列の場合、ある行について、同図に示されているように、所定のクロックＣＬＫに従って、ＲＧＲＧＲＧＲＧ・・・の順に色信号が入力されることになる。
【００６１】
これと同時に所定のクロックＣＬＫに従って、色識別信号が順次生成され、具体的には、ＲＧＢ信号は１０１０１０１０・・・、ＲＧＢＧ信号は１１００１１００・・・という２ビット信号が生成される。すなわち、点順次に入力された１画素目の色信号についての色識別信号（ＲＧＢ、ＲＧＢＧ）＝（１、１）となり、この色識別信号から、表１に示したように、Ｒ色の画素で得られた色信号であることが分かる。また２画素目の色信号についての色識別信号は、（ＲＧＢ、ＲＧＢＧ）＝（０、１）となり、この色識別信号から、Ｒの画素と隣り合うＢ色の画素から得られた色信号であることが分かる。
【００６２】
そして、次のステップＳＴ５では、オフセット補正回路５２、ゲイン補正回路５４、ガンマ補正回路５６のそれぞれにおいて、色識別信号として入力されたＲＧＢ信号及びＲＧＢＧ信号が示す色に基づいて、パラメータを選択する。そして次のステップＳＴ６で、オフセット補正回路５２、ゲイン補正回路５４、ガンマ補正回路５６により、選択したパラメータを用いて、オフセット補正、ゲイン補正、ガンマ補正といった前処理をそれぞれ施す。なお、ここでは、色識別信号に含まれるＸＯＳ信号については無視され、実画素／虚画素に係わらず、同一の処理がなされる。
【００６３】
例えば、対応する色識別信号が（ＲＧＢ、ＲＧＢＧ）＝（１、１）とＲ色を表している色信号の場合は、オフセット補正回路５２、ゲイン補正回路５４、ガンマ補正回路５６において、Ｒ色に対応して設定されているパラメータが選択されて、オフセット補正、ゲイン補正、ガンマ補正が実行される。
【００６４】
このように前処理過程では、色識別信号に基づいて処理対象の色信号の色を判別し、ＲＧＢの各色毎に予め用意されたパラメータの中から、判別した色のパラメータを選択することで、各色毎に適切な前処理を行うことができる。
【００６５】
このようにして前処理が施された色信号は、同時化処理回路５８Ａ、５８Ｂの両者に入力され、次のステップＳＴ７においては、色識別信号が示す色の補間演算式に従って、それぞれでハニカム配列、ベイヤー配列に適した同時化処理がなされると共にＹＣ変換処理して輝度信号及び色差信号に変換される。なお、同時化処理回路５８Ａでは、対応する色識別信号に含まれるＸＯＳ信号が０の色信号については、無効な信号であるとして、同時化処理には用いないようになっている。
【００６６】
次のステップＳＴ８では、後処理回路６０により、切換えスイッチ２８から入力されている選択信号に基づいて、本デジタルカメラ１０で採用しているＣＣＤ１４のカラーフィルタの配列方式を選択信号に従って判別し、ハニカム配列であればステップＳＴ９、ベイヤー配列であればステップＳＴ１０に進む。
【００６７】
そして、後処理回路６０により、ステップＳＴ９では同時化処理回路５８Ａの出力信号（輝度信号、色差信号）、ステップＳＴ１０では同時化処理回路５８Ｂの出力信号を選択し、当該選択した出力信号に対して、後処理として、エッジ強調や色補正といった所定のデジタル信号処理を施す。
【００６８】
この後処理回路６０による処理後の信号（輝度信号、色差信号）は、撮像画像を表すデジタル画像データとして、圧縮回路６２に入力され、最後にステップＳＴ１１で、ＪＰＥＧ方式などで圧縮した後、メモリ２４に記憶させて、図３の動作は終了する。
【００６９】
このように、本実施の形態では、ＣＣＤ１４から読み出された各画素の信号について、ＣＣＤＩＦ５０において、当該ＣＣＤのカラーフィルタの配列方式に従って各画素の信号の色（Ｒ／Ｇ／Ｂ）を識別するための色識別信号を生成し、この色識別信号に基づいて点順次の各色信号が該当する画素の色を識別して、前処理、同時化処理を行うようにした。
【００７０】
これにより、デジタル信号処理部２０では、配列方式毎に、前処理、同時化処理、後処理を行う処理系を設けずとも、ハニカム配列とベイヤー配列の２つの配列方式に対応してデジタル信号処理を行うことができ回路規模の増大を抑えることができる。また、特に、オフセット補正回路５２、ゲイン補正回路５４、ガンマ補正回路５６といったカラーフィルタの配列方式によらずに同一の前処理を行うための回路については、色識別信号が示す色毎に処理に用いるパラメータを切換えるようにしたことで、カラーフィルタの配列方式によらずに共通化することができ、回路規模の増大を防止する効果がある。
【００７１】
【発明の効果】
上記に示したように、本発明は、小さな回路規模で、撮像素子から読み出した信号に対して、複数のカラーフィルタの配列方式に対応して所定の信号処理を行うことができるという優れた効果を有する。
【図面の簡単な説明】
【図１】本実施の形態に係るデジタルカメラの構成を示すブロック図である。
【図２】（Ａ）はハニカム配列、（Ｂ）はベイヤー配列を示す図である。
【図３】デジタル信号処理部の動作を示すフローチャートである。
【図４】ＣＣＤのカラーフィルタの配列方式がハニカム配列の場合のデジタル信号処理部における各種信号のタイミングチャートである。
【図５】ＣＣＤのカラーフィルタの配列方式がベイヤー配列の場合のデジタル信号処理部における各種信号のタイミングチャートである。
【符号の説明】
１０ デジタルカメラ
１２ 撮影レンズ
１４ ＣＣＤ
１８ アナログ信号処理部
２０ デジタル信号処理部
２６ 制御部
２８ 切換えスイッチ
３０ 画素
３０Ａ 実画素
３０Ｂ 虚画素
５２ オフセット補正回路
５４ ゲイン補正回路
５６ ガンマ補正回路
５８Ａ、５８Ｂ 同時化処理回路
６０ 後処理回路
６２ 圧縮回路
Claims (3)
- カラー画像を撮像するために、複数の色のカラーフィルタが所定の配列となるように画素に対して設けられた撮像素子から読み出された撮像画像の各画素の信号に所定の処理を施して前記撮像画像の画像データを得る信号処理装置であって、
予め定められた複数の前記カラーフィルタの配列方式の何れか１つを表す選択信号が入力されると共に、該選択信号が表す配列方式に基づいて、前記画素信号による各画素の色を識別するための色識別信号を生成する生成手段と、
前記複数の配列方式に共通に設けられ、前記生成手段により生成された色識別信号が示す色に対応する画素信号に施す処理を前記所定の処理として行う処理手段と、
を有することを特徴とする信号処理装置。 - 前記処理手段は、
前記配列方式に対応して、各画素について、周辺の画素の信号から自らの画素の各色の画像データを生成する同時化信号処理手段と、
前記同時化信号処理手段の前段に備えられ、且つ前記画素信号について補正処理を施す前処理手段と、
から構成されることを特徴とする請求項１に記載の信号処理装置。 - カラー画像を撮像するために、複数の色のカラーフィルタが所定の配列となるように画素に対して設けられた単板構成の撮像素子と、請求項１又は請求項２に記載の信号処理装置とを備え、前記撮像素子で撮影して得られた撮像画像の画素信号に対して前記信号処理装置により所定の処理を施して、前記撮像画像を表す画像データを取得する、
ことを特徴とするデジタルカメラ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003078285A JP3961975B2 (ja) | 2003-03-20 | 2003-03-20 | 信号処理装置及びデジタルカメラ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003078285A JP3961975B2 (ja) | 2003-03-20 | 2003-03-20 | 信号処理装置及びデジタルカメラ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004289444A true JP2004289444A (ja) | 2004-10-14 |
| JP3961975B2 JP3961975B2 (ja) | 2007-08-22 |
Family
ID=33292807
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003078285A Expired - Fee Related JP3961975B2 (ja) | 2003-03-20 | 2003-03-20 | 信号処理装置及びデジタルカメラ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3961975B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010041612A (ja) * | 2008-08-07 | 2010-02-18 | Mega Chips Corp | 画像処理装置 |
| CN113676652A (zh) * | 2021-08-25 | 2021-11-19 | 维沃移动通信有限公司 | 图像传感器、控制方法、控制装置、电子设备和存储介质 |
-
2003
- 2003-03-20 JP JP2003078285A patent/JP3961975B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010041612A (ja) * | 2008-08-07 | 2010-02-18 | Mega Chips Corp | 画像処理装置 |
| CN113676652A (zh) * | 2021-08-25 | 2021-11-19 | 维沃移动通信有限公司 | 图像传感器、控制方法、控制装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3961975B2 (ja) | 2007-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7903155B2 (en) | Image capturing apparatus and program | |
| EP1246453A2 (en) | Signal processing apparatus and method, and image sensing apparatus | |
| KR100854163B1 (ko) | 촬상 장치 및 화질 보정 방법 | |
| CN102783135A (zh) | 利用低分辨率图像提供高分辨率图像的方法和装置 | |
| JP5523065B2 (ja) | 撮像装置及びその制御方法 | |
| JP2009044593A (ja) | 撮像装置及び固体撮像素子の駆動方法 | |
| JP2008109369A (ja) | 撮像装置及び画像処理方法 | |
| US8111298B2 (en) | Imaging circuit and image pickup device | |
| US8218021B2 (en) | Image capture apparatus, method of controlling the same, and program | |
| JP2000244823A (ja) | 撮像素子の欠陥画素補正装置 | |
| JP2004328117A (ja) | ディジタルカメラおよび撮像制御方法 | |
| JP2007243917A (ja) | 撮像装置および画像処理プログラム | |
| JP5033711B2 (ja) | 撮像装置及び撮像装置の駆動方法 | |
| US20070269133A1 (en) | Image-data noise reduction apparatus and method of controlling same | |
| US8081229B2 (en) | Imaging apparatus | |
| JP3961975B2 (ja) | 信号処理装置及びデジタルカメラ | |
| JP2003101815A (ja) | 信号処理装置及び信号処理方法 | |
| JP2010171930A (ja) | 撮影装置及び撮影方法 | |
| JP2008072501A (ja) | 撮像装置、撮像方法、プログラムおよび記録媒体 | |
| JP2006340100A (ja) | 撮影装置 | |
| JP4043379B2 (ja) | 撮像装置 | |
| US7782381B2 (en) | Generating an instant review image using fractional readouts | |
| JP2009060589A (ja) | 撮像装置 | |
| JP4022682B2 (ja) | 撮像装置及び画像出力方法 | |
| JP4852490B2 (ja) | 撮像装置及びそのポストビュー画像生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050303 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061220 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070227 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070417 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070515 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070517 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3961975 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110525 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110525 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120525 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130525 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140525 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |