JP2004193911A - 画像処理装置および画像処理方法、デジタルスチルカメラ - Google Patents
画像処理装置および画像処理方法、デジタルスチルカメラ Download PDFInfo
- Publication number
- JP2004193911A JP2004193911A JP2002358765A JP2002358765A JP2004193911A JP 2004193911 A JP2004193911 A JP 2004193911A JP 2002358765 A JP2002358765 A JP 2002358765A JP 2002358765 A JP2002358765 A JP 2002358765A JP 2004193911 A JP2004193911 A JP 2004193911A
- Authority
- JP
- Japan
- Prior art keywords
- data
- signal
- color
- line memory
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 195
- 238000000034 method Methods 0.000 title abstract description 34
- 230000015654 memory Effects 0.000 claims abstract description 100
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000003672 processing method Methods 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 6
- 239000003086 colorant Substances 0.000 abstract description 4
- 230000007423 decrease Effects 0.000 abstract description 3
- 230000005055 memory storage Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 18
- 238000012937 correction Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- FYZYXYLPBWLLGI-AUOPOVQUSA-N Genipin 1-beta-gentiobioside Chemical compound C([C@H]1O[C@H]([C@@H]([C@@H](O)[C@@H]1O)O)O[C@@H]1OC=C([C@@H]2[C@H]1C(=CC2)CO)C(=O)OC)O[C@@H]1O[C@H](CO)[C@@H](O)[C@H](O)[C@H]1O FYZYXYLPBWLLGI-AUOPOVQUSA-N 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
Abstract
【課題】撮像素子のモニタリング動作時における垂直方向のデータ間引き処理やラインメモリ格納前に行われる水平方向のデータ間引き処理によって隣接画素データ間の相関が小さくなって生じる偽色を抑制する。
【解決手段】ＣＣＤ１から垂直方向に間引き処理を行わずに画素データを画像処理装置２０Ａに入力し、水平方向補間処理部８にて列方向にデータ補間して第１の色信号データを生成し、水平方向に間引き処理してラインメモリ９に格納する。ラインメモリ９から出力されたデータを、垂直方向補間処理部１０にて行方向にデータ補間して第２の色信号データを生成し、この第２の色信号データを用いて輝度色差信号生成部１１にて輝度色差信号データ（Ｙ、ＣＢ、ＣＲ）を生成する。間引き処理前のデータを用いて補間処理を行うため、隣接画素データの相関が大きく、偽色が生じにくい。
【選択図】 図１
【解決手段】ＣＣＤ１から垂直方向に間引き処理を行わずに画素データを画像処理装置２０Ａに入力し、水平方向補間処理部８にて列方向にデータ補間して第１の色信号データを生成し、水平方向に間引き処理してラインメモリ９に格納する。ラインメモリ９から出力されたデータを、垂直方向補間処理部１０にて行方向にデータ補間して第２の色信号データを生成し、この第２の色信号データを用いて輝度色差信号生成部１１にて輝度色差信号データ（Ｙ、ＣＢ、ＣＲ）を生成する。間引き処理前のデータを用いて補間処理を行うため、隣接画素データの相関が大きく、偽色が生じにくい。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、色フィルタを介して撮像素子により得られる画素データを用いて輝度信号データおよび色差信号データを生成する画像処理装置および画像処理方法、それを備えたデジタルスチルカメラに関する。
【０００２】
【従来の技術】
従来、デジタルスチルカメラでは、行方向および列方向に配置され、それぞれ色フィルタを有する固体撮像素子などを用いて撮像することによって画像データが得られる。この画像データはデジタル値に変換され、画像処理装置によって、デジタルクランプ処理、ホワイトバランス処理、輝度信号データおよび色差信号データの生成処理などが行われ、生成された輝度信号データおよび色差信号データが外部メモリに記憶される。
【０００３】
図９は、従来の画像処理装置を備えたデジタルスチルカメラの一例を示すブロック図である。
【０００４】
図９において、このデジタルスチルカメラ５０は、撮像素子としてのＣＣＤ５１と、サンプルホールド部５２と、ＡＤコンバータ５３と、画像処理装置５０Ａとを備えている。
【０００５】
画像処理装置５０Ａは、クランプ処理部５４と、ホワイトバランス処理部５５と、ガンマ（γ）補正部５６と、ローパスフィルタ部５７と、間引き処理部５８と、ラインメモリ５９と、補間処理部６０と、輝度色差信号データ（Ｙ、ＣＢ、ＣＲ）生成部６１とを有している。
【０００６】
ＣＣＤ５１は、行方向および列方向に配置されそれぞれＲ（赤）、Ｇ（緑）またはＢ（青）の色フィルタが設けられている。ＣＣＤ５１からは、色フィルタに応じた色成分がそれぞれ画素データとして出力される。
【０００７】
サンプルホールド部５２は、この各画素データから信号成分が取り出されてサンプルホールドされる。
【０００８】
ＡＤコンバータ５３は、サンプルホールドされた信号成分をデジタルデータに変換する。
【０００９】
画像処理装置５０Ａのクランプ処理部５４は、ＡＤコンバータ５３でデジタルデータに変換された各画素データに対して、黒レベルが規定値に固定される。
【００１０】
ホワイトバランス処理部５５は、白色を調整するため、ＲおよびＢの画素データに対して所定の値が乗算されてゲインが調整される。
【００１１】
ガンマ補正部５６は、ブラウン管や液晶パネルなど特定のモニタ装置として用いられる各表示装置毎の階調表示特性に調整するために、明るさ補正が行われる。
【００１２】
ローパスフィルタ部５７では、後段の縮小処理（間引き処理など）によるエイリアシングを防ぐため、高周波成分が減衰される。
【００１３】
間引き処理部５８では、データが列方向に間引かれて水平方向に縮小処理される。
【００１４】
ラインメモリ５９は、間引き処理部５８で縮小処理されたデータを一旦保存する。
【００１５】
補間処理部６０は、色フィルタアレイ上に存在しない色成分を補間によって求める。
【００１６】
輝度色差信号生成部６１は、輝度信号データＹと色差信号データＣＢおよびＣＲとが生成される。
【００１７】
以下に、補間処理について説明する。
【００１８】
単板式デジタルスチルカメラでは、例えば図１０（ａ）に示すように、撮像素子の各画素毎に対応して特定の色（Ｒ、Ｇ、Ｂの３色のうちの何れか一つ）の色フィルタが設けられている。特定の色に対応した撮像素子の各画素から出力される信号を処理することによって色分離が行われ、Ｒ、Ｇ、Ｂの各色信号データが算出され、それらの色信号データから輝度信号データおよび色差信号データという映像信号データが作成される。
【００１９】
例えば、図１０（ａ）に示すように、１ライン目がＲ、Ｇ、Ｒ、Ｇ、・・・、２ライン目がＧ、Ｂ、Ｇ、Ｂ、・・・、３ライン目がＲ、Ｇ、Ｒ、Ｇ、・・・、４ライン目がＧ、Ｂ、Ｇ、Ｂ、・・・というように、水平方向（列方向）および垂直方向（行方向）ともに交互に配置（ベイヤ配列）されている場合について考える。この場合、例えばＲのフィルタが配されている画素からはＧの信号データが得られないため、この画素に対応するＧ信号データは、隣接する画素からの信号データを用いてデータを補間することにより求められる。この場合、データ補間のために用いられる隣接画素間において、撮像素子の受光部に入射される光に相関があることが前提となる。
【００２０】
デジタルスチルカメラ５０においては、撮影の際に構図を決定するため、例えばＣＣＤなどの撮像素子から取り込まれた画像をリアルタイムでモニタ装置に表示するモニタリングと称される機能が設けられている。このとき、撮像素子が１００万画素を超えるような高画素タイプのデジタルスチルカメラ５０では、通常、１秒間に３０フレーム分、全画素の動画を読み出そうとすると撮像素子の時間当たりの出力データ量が多くなることから、駆動クロックを数倍にする必要があり、これに伴って画像処理が高速になり、消費電力が大幅に増加する。
【００２１】
そこで、ＣＣＤ５１にて、垂直方向のデータ間引き処理を行うことにより出力画素データ数が減らされて、１秒間に３０フレームまたは１５フレームの画像が出力されるモニタリングモードと称される動作が行われる。垂直方向のデータ間引き処理は、例えば３００万画素ＣＣＤの場合には１／７程度とされ、１ラインのデータが出力されると６ラインのデータが間引かれ、次に１ラインのデータが出力されると６ラインのデータが間引かれ、・・・というように７ライン毎にデータが出力される。また、水平方向については、通常、データ間引き処理が行われず、水平方向の全画素データが出力される。
【００２２】
このとき、水平方向の全画素データを格納可能なラインメモリ５９を複数ライン設けると、ＬＳＩのチップサイズが実用的ではない大きさになるため、例えば動画表示のために１ライン当たり６４０画素程度の画素データを格納可能なラインメモリ５９を用いる場合には、ラインメモリ５９に入力される前に水平方向の画素データ数を減らす必要がある。水平方向の縮小率は、例えば３００万画素ＣＣＤであれば１／３程度である。
【００２３】
上述したように、モニタリング時においてＣＣＤ５１にて垂直方向のデータ間引き処理が行われると、出力される隣接画素データ間において垂直方向の相関が小さくなることが多い。また、水平方向においても、ラインメモリ５９の容量を実用的な大きさにするためにデータが間引かれてラインメモリ５９に格納されるため、データを補間処理する際に隣接画素データ間の相関が小さくなる場合が多い。このように隣接画素データ間の相関が小さい場合に補間処理を行うと、処理画像に本来は存在しない色（偽色）が発生するという問題がある。
【００２４】
次に、偽色の発生について説明する。
【００２５】
図１０（ａ）に示すベイヤ配列の色フィルタを有する固体撮像装置において、図１０（ｂ）に示すような垂直方向に白から黒に急激に変化する光が照射された場合、各画素からの信号出力は、図１０（ｂ）の右側に示すように、白の光が照射された上側部分ではＲ、Ｇ、Ｂがそれぞれ「１」となり、黒の光が照射された下側部分ではＲ、Ｇ、Ｂがそれぞれ「０」となる。
【００２６】
この信号データに対して、隣接する同色の画素からの出力信号を平均または重み付けして補間処理を行う方法において、例えば図１０（ｃ）に示すように各画素に対応した値で重み付けを行って中心点の補間画素データを求めるフィルタを用いた場合、図１０（ｄ）の４×４＝１６画素の中心点Ａの補間処理後の画素データは、
Ｒ＝（１×１＋（１＋０）×３＋０×９）／１６＝０．２５
Ｂ＝（１×９＋（１＋０）×３＋０×１）／１６＝０．７５
Ｇ＝（（１＋０）×９＋（１＋１＋０＋０）×３＋（１＋０）×１））
／３２＝０．５
となる。補間処理後のＲ、ＢおよびＧのデータ値から色差信号データＣＢおよびＣＲを求めると、
Ｂ−Ｇ＝０．２５
Ｒ−Ｇ＝−０．２５
から
ＣＢ＝Ｂ−Ｙ
＝（−０．２９９Ｒ−０．５８７Ｇ＋０．８８６Ｂ）×０．５６４
＝（（Ｂ−Ｇ）−（Ｒ−Ｇ）×０．３３７）×０．５
＝０．１６７
ＣＲ＝Ｒ−Ｙ
＝（０．７０１Ｒ−０．５８７Ｇ−０．１１４Ｂ）×０．７１３
＝（（Ｒ−Ｇ）−（Ｂ−Ｇ）×０．１６３）×０．５
＝−０．１４５
となる。なお、ここでは色差信号ＣＢおよびＣＲが０にならず、偽信号が発生することを説明するため、輝度信号Ｙや色差信号ＣＢ、ＣＲへの詳細な変換式、輝度信号Ｙの値については説明を省略している。
【００２７】
このように、白と黒の境界部分において、本来は共に「０」であるはずの色差信号ＣＢおよびＣＲが「０」ではなくなり、偽の色信号が発生している。ＣＣＤにて垂直方向のデータ間引き処理が行われた場合には、隣接画素の相関が小さくなることが多いため、このような偽色の発生が顕著になる。
【００２８】
同様に、水平方向においても、図１１（ａ）に示すような水平方向に急激に変化する光が照射された場合、各画素からの信号出力は、図１１（ａ）に示すように、白の光が照射された部分ではＲ、Ｇ、Ｂがそれぞれ「１」となり、黒の光が照射された部分ではＧ、Ｒ、Ｂがそれぞれ「０」となり、白から黒に変化する部分ではＧ、Ｒ、Ｂがそれぞれ「０．５」となる。
【００２９】
この場合に、例えば図１１（ｂ）に矢印で示すデータを間引いて矩形□で囲んだ部分のデータを残す１／３間引き処理を行ってから、図１０（ｃ）に示すフィルタを用いてデータの重み付けを行って補間する補間処理を行うと、図１１（ｃ）に左側の●印で示す点Ｂの補間画素データは
Ｒ＝（０×１＋（１＋０）×３＋１×９）／１６＝０．７５
Ｂ＝（０×９＋（１＋０）×３＋１×１）／１６＝０．２５
Ｇ＝（（１＋０）×９＋（１＋１＋０＋０）×３＋（１＋０）×１））
／３２＝０．５
となり、色差信号データＣＢおよびＣＲは
Ｂ−Ｇ＝−０．２５
Ｒ−Ｇ＝０．２５
から
ＣＢ＝Ｂ−Ｙ
＝（−０．２９９Ｒ−０．５８７Ｇ＋０．８８６Ｂ）×０．５６４
＝（（Ｂ−Ｇ）−（Ｒ−Ｇ）×０．３３７）×０．５
＝−０．１６７
ＣＲ＝Ｒ−Ｙ
＝（０．７０１Ｒ−０．５８７Ｇ−０．１１４Ｂ）×０．７１３
＝（（Ｒ−Ｇ）−（Ｂ−Ｇ）×０．１６３）×０．５
＝０．１４５
となる。また、図１１（ｃ）に右側の●印で示す点Ｃの補間画素データは
Ｒ＝（０×１＋（０＋１）×３＋１×９）／１６＝０．７５
Ｂ＝（１×９＋（１＋１）×３＋１×１）／１６＝１
Ｇ＝（（１＋１）×９＋（１＋１＋１＋０）×３＋（１＋０）×１））
／３２＝０．８７５
となり、色差信号データＣＢおよびＣＲは
Ｂ−Ｇ＝−０．１２５
Ｒ−Ｇ＝０．１２５
から
ＣＢ＝Ｂ−Ｙ
＝（−０．２９９Ｒ−０．５８７Ｇ＋０．８８６Ｂ）×０．５６４
＝（（Ｂ−Ｇ）−（Ｒ−Ｇ）×０．３３７）×０．５
＝０．０８４
ＣＲ＝Ｒ−Ｙ
＝（０．７０１Ｒ−０．５８７Ｇ−０．１１４Ｂ）×０．７１３
＝（（Ｒ−Ｇ）−（Ｂ−Ｇ）×０．１６３）×０．５
＝−０．０７３
となる。
【００３０】
このように、本来はともに「０」であるはずの色差信号ＣＢおよびＣＲが「０」ではなくなり、偽の色信号が発生している。これは、水平方向のデータ間引き処理により隣接画素の相関が小さくなるためである。
【００３１】
以上のように、画素データを間引いた場合には、補間処理によって正しい色差信号が得られにくくなり、偽色が発生しやすくなるという問題がある。そこで、例えば特許文献１および特許文献２には、画素データの間引きを行った後、ラインメモリ５９に複数ライン分のデータを格納し、複数ラインのデータを用いて補間処理などを行うことによって、垂直方向の画素データを間引いた場合の偽色を抑制する方法が開示されている。
【００３２】
【特許文献１】
特開２０００−７８５９５号公報
【００３３】
【特許文献２】
特開２００１−８６５２０号公報
【００３４】
【発明が解決しようとする課題】
上述したように、モニタリング時においてＣＣＤ５１にて垂直方向のデータ間引き処理が行われると、出力される隣接画素データ間において垂直方向の相関が小さくなることが多い。また、水平方向においても、ラインメモリ５９の容量を実用的な大きさにするためにデータが間引かれてラインメモリ５９に格納されると、データを補間処理する際に隣接画素データ間の相関が小さくなる場合が多い。このように隣接画素データ間の相関が小さい場合に補間処理を行うと、処理画像に本来は存在しない色（偽色）が発生するという問題がある。
【００３５】
本発明は、上記従来の事情に鑑みて為されたものであり、撮像素子のモニタリング動作時における垂直方向のデータ間引き処理やラインメモリ格納前に行われる水平方向のデータ間引き処理によって隣接画素データ間の相関が小さくなっても偽色の発生を抑制することができる画像処理装置および画像処理方法、それを用いたデジタルスチルカメラを提供することを目的とする。
【００３６】
【課題を解決するための手段】
本発明の画像処理装置は、行方向および列方向に配置されてそれぞれ色フィルタを有する複数の撮像素子から入力された入力画素データを用いて輝度信号データおよび色差信号データを生成する画像処理装置において、入力画素データのうち、所定の画素位置に対して列方向に隣接する複数の画素データを用いて列方向にデータを補間して第１の色信号データを生成する水平方向補間処理手段と、第１の色信号データを複数行分格納可能とするラインメモリ手段と、ラインメモリ手段から出力されたデータのうち、所定の画素位置に対して行方向に隣接する複数の画素データを用いて行方向にデータを補間して第２の色信号データを生成する垂直方向補間処理手段と、第２の色信号データを用いて輝度信号データおよび色差信号データを生成する輝度色差信号生成手段とを備えており、そのことにより上記目的が達成される。
【００３７】
また、好ましくは、本発明の画像処理装置における水平方向補間処理手段は、色フィルタがベイヤ配列の場合に、ＲＧラインからはＲ信号を出力し、ＧＢラインからはＢ信号を出力し、これらのＲＧラインおよびＧＢラインからはＧ信号を出力する水平方向補間回路と、この水平方向補間回路からのＲ信号またはＢ信号とＧ信号との差信号（Ｒ−ＧまたはＢ−Ｇ）を出力する差信号出力手段とを有する。
【００３８】
さらに、好ましくは、本発明の画像処理装置における水平方向補間回路は、入力画素データが順次保持される４段のシフトレジスタ手段と、このシフトレジスタ手段の奇数段からの出力を加算する第１加算手段と、シフトレジスタ手段の偶数段からの出力を加算する第２加算手段と、第１加算手段および第２加算手段の各出力を選択してＲ信号またはＢ信号を出力する第１選択手段と、第１加算手段および第２加算手段の各出力を選択してＧ信号を出力する第２選択手段とを有する。
【００３９】
さらに、好ましくは、本発明の画像処理装置におけるラインメモリ手段は、水平方向補間処理手段から出力される第１の色信号データを列方向に間引いたデータが格納される。
【００４０】
さらに、好ましくは、本発明の画像処理装置におけるラインメモリ手段は、差信号（Ｒ−ＧまたはＢ−Ｇ）を入力する第１の１Ｈラインメモリと、第１の１Ｈラインメモリの出力を入力とする第２の１Ｈラインメモリと、第２の１Ｈラインメモリの出力を入力とする第３の１Ｈラインメモリと、Ｇ信号を入力する第４の１Ｈラインメモリと、第４の１Ｈラインメモリの出力を入力とする第５の１Ｈラインメモリと、第５の１Ｈラインメモリの出力を入力とする第６の１Ｈラインメモリとを有する。
【００４１】
さらに、好ましくは、本発明の画像処理装置における垂直方向補間処理手段は、差信号（Ｒ−ＧまたはＢ−Ｇ）と第１〜第３の１Ｈラインメモリの各出力を入力とすると共に、Ｇ信号と第４〜第６の１Ｈラインメモリの各出力を入力とする。
【００４２】
さらに、好ましくは、本発明の画像処理装置における水平方向補間処理手段からの第１の色信号データがラインメモリ手段に入力されるタイミングを所定の比率で間引いた間欠クロック信号を生成する間欠クロック生成手段をさらに備え、垂直方向補間処理手段および輝度色差信号生成手段の動作クロック信号としてこの間欠クロック信号が供給される。
【００４３】
さらに、好ましくは、本発明の画像処理装置における水平方向補間処理手段および垂直方向補間処理手段は、所定の画素位置に対して隣接する複数の画素データのうち、該当する色データを平均または重み付けして補間データを求めるためのフィルタを用いて色信号データを生成する。
【００４４】
さらに、好ましくは、本発明のデジタルスチルカメラは、請求項１〜８の何れかに記載の画像処理装置を用いて撮像画素データを画像処理し、そのことにより上記目的が達成される。
【００４５】
本発明の画像処理方法は、行方向および列方向に配置されそれぞれ色フィルタを有する複数の撮像素子から画像処理装置に順次入力された入力画素データを用いて輝度信号データおよび色差信号データを生成する画像処理方法において、この入力画素データのうち、所定の画素位置に対して列方向に隣接する複数の画素データを用いて列方向にデータを補間して第１の色信号データを生成する第１ステップと、第１の色信号データを列方向に所定比率で間引いてラインメモリ手段に複数行分格納する第２ステップと、ラインメモリ手段から出力されたデータのうち、所定の画素位置に対して行方向に隣接する複数の画素データを用いて行方向にデータを補間して第２の色信号データを生成する第３ステップと、この第２の色信号データを用いて輝度信号データおよび色差信号データを生成する第４ステップとを含んでおり、そのことにより上記目的が達成される。
【００４６】
また、好ましくは、本発明の画像処理方法における第２〜第４ステップの動作クロック信号として、第１ステップの動作クロック信号を所定の比率で間引いた間欠クロック信号を用いる。
【００４７】
上記構成により、以下に、本発明の作用について説明する。
【００４８】
本発明においては、撮像素子から画像処理装置に入力された画素データは、水平方向補間処理手段に入力される。水平方向補間処理手段では、所定の画素位置に対して列方向（水平方向）に隣接する複数の画素のデータを用いて列方向にデータが補間されてＲ、ＧおよびＢのデータが生成され、第１の色信号データ（Ｒ−Ｇ、Ｂ−Ｇ、Ｇ）が生成される。この水平方向補間処理は、所定の画素位置に対して隣接する複数の画素のデータのうち、該当する色のデータをフィルタを用いて平均または重み付けして補間データを求める。水平方向に間引き処理を行う前のデータを用いて水平方向補間処理を行うことができるため、隣接画素データ間の相関が比較的大きく、偽色が発生しにくい。
【００４９】
水平方向補間処理手段にて生成された第１の色信号データは、複数ライン分が色差信号（Ｒ−Ｇ、Ｂ−Ｇ）用のラインメモリおよびＧ信号用のラインメモリに格納される。
【００５０】
このとき、間欠クロック生成手段によって画素データの入力レートである基本クロック信号を所定の比率で間引いた間欠クロック信号を生成し、ラインメモリ手段の動作クロック信号として供給することによって、水平方向補間処理手段からの第１の色信号データを水平方向に間引き圧縮処理して、ラインメモリ手段の容量を小さくすることができる。
【００５１】
ラインメモリから出力された複数ラインの第１の色信号データ（Ｒ−Ｇ、Ｂ−Ｇ、Ｇ）は垂直方向補間処理手段に入力される。垂直方法補間処理手段では、所定の画素位置に対して行方向（垂直方向）に隣接する複数の画素のデータを用いて行方向にデータが補間されて第２の色信号データ（Ｒ−Ｇ、Ｂ−Ｇ、Ｇ）が生成される。この垂直方向補間処理は、所定の画素位置に対して隣接する複数の画素のデータのうち、該当する色のデータを平均または重み付けして補間データを求めるフィルタを用いて行うことができる。第１の色信号データ（Ｒ−Ｇ、Ｂ−Ｇ、Ｇ）が水平方向の情報から作成されているため、撮像素子の垂直方向の間引きにより隣接画素間の相関が小さい場合でも偽色が発生しにくい。
【００５２】
垂直方向補間処理手段にて生成された第２の色信号データは、輝度色差信号生成手段に入力され、輝度色差信号生成手段では、輝度信号データ（Ｙ）および色差信号データ（ＣＢ、ＣＲ）が生成される。
【００５３】
上記ラインメモリ手段、垂直方向補間処理手段および輝度色差信号生成手段の動作クロック信号として間欠クロック信号を用いることによって、動作周波数を低くして消費電力を削減することができる。
【００５４】
【発明の実施の形態】
以下に、本発明のデジタルスチルカメラの実施形態について図面を参照しながら説明する。
【００５５】
図１は、本発明のデジタルスチルカメラの実施形態における要部構成を示すブロック図である。なお、図１の部材番号１〜７については図９と同様の作用効果を奏する。
【００５６】
図１において、デジタルスチルカメラ２０は、撮像素子としてのＣＣＤ１と、サンプルホールド部２と、ＡＤコンバータ３と、画像処理装置２０Ａとを備えている。
【００５７】
画像処理装置２０Ａは、クランプ処理部４と、ホワイトバランス処理部５と、ガンマ（γ）補正部６と、ローパスフィルタ部７と、水平方向補間処理部８と、ラインメモリ９と、垂直方向補間処理部１０と、輝度色差信号（Ｙ、ＣＢ、ＣＲ）生成部１１と、間引き用クロック制御部１２とを有している。
【００５８】
撮像素子１は、行方向および列方向に配置され、それぞれＲ（赤）、Ｇ（緑）またはＢ（青）の色フィルタが設けられている。各撮像素子１からは、色フィルタに応じた色成分が画素データとして出力される。
【００５９】
サンプルホールド部２は、この各画素データを信号成分として取り出してサンプルホールドする。
【００６０】
ＡＤコンバータ３は、サンプルホールド部２からの各画素データをデジタルデータに変換する。
【００６１】
画像処理装置２０Ａのクランプ処理部４は、ＡＤコンバータ３でデジタルデータに変換された各画素データに対して、黒レベルが規定値に固定される。
【００６２】
ホワイトバランス部５は、白色を調整するため、ＲおよびＢの画素データに対して所定の値が乗算されてゲインが調整される。
【００６３】
ガンマ補正部６では、ブラウン管や液晶パネルなどモニタ装置として用いられる各表示装置毎の階調表示特性に合致するように明るさ補正が行われて階調表示特性を調整する。
【００６４】
ローパスフィルタ部７は、後段の縮小処理（間引き処理等）によるエイリアシングを防ぐため、高周波成分が減衰される。
【００６５】
水平方向補間処理部８は、列方向（水平方向）毎にデータが補間され、所定の画素位置に対する第１の色信号データ（Ｒ−Ｇ、Ｂ−Ｇ、Ｇ）が生成される。例えば図６（ａ）に示すベイヤ配列では、奇数水平ライン（ＲＧライン）ではＲ、ＧおよびＲ−Ｇの信号データが算出され、偶数水平ラインではＧ、ＢおよびＢ−Ｇの信号データが算出される。
【００６６】
ラインメモリ９は、水平方向補間処理部８からの第１の色信号データをそれぞれに複数ライン分格納する。
【００６７】
垂直方向補間回路１０はそれぞれ行方向（垂直方向）にデータが補間されて、所定の画素位置に対する第２の色信号データ（Ｒ−Ｇ、Ｂ−Ｇ、Ｇ）が生成される。
【００６８】
輝度色差信号生成部１１は、第２の色信号データから輝度信号データＹと色差信号データＣＢおよびＣＲとが生成される。
【００６９】
間引き用クロック制御部１２は、画素データの入力レートである基本クロック信号を所定の比率で間引いた間欠クロック信号を生成し、ラインメモリ９の動作クロック信号として供給することによって、水平方向補間処理部８からの第１の色信号データを水平方向に間引き圧縮処理して、ラインメモリ９に格納している。また、間欠クロック信号は、垂直方向補間処理部１０および輝度色差信号生成部１１の動作クロック信号としても用いられており、ラインメモリ９、垂直方向補間処理部１０および輝度色差信号生成部１１の動作周波数が低減されて消費電力が低減される。
【００７０】
図２は、図１の画像処理装置２０Ａの水平方向補間処理部８以降の構成を示すブロック図である。
【００７１】
図２において、水平方向補間処理部８は、水平方向補間回路８ａおよび差信号出力手段としての加算器８ｂを有しており、水平方向補間回路８ａからは、ＲＧラインでは所定の画素位置と隣接する画素のデータを用いて水平方向の補間処理により信号データＲおよびＧが生成され、ＧＢラインでは信号データＢおよびＧが生成され、加算器８ｂにて減算処理されて水平方向補間処理後の信号データＲ−ＧまたはＢ−Ｇが生成される。水平方向補間処理部８で水平方向補間処理により生成された第１の信号データＲ−ＧまたはＢ−ＧとＧとは、直接またはラインメモリ９ａまたは９ｂを経由して垂直方向補間処理部１０に出力される。
【００７２】
垂直方向補間処理部１０は、所定の画素位置と隣接する同列のデータを複数用いて垂直方向の補間処理により第２の信号データＲ−Ｇ、Ｂ−ＧおよびＧが生成される。
【００７３】
輝度色差信号生成部１１は、垂直方向補間処理により生成された第２の信号データＲ−Ｇ、Ｂ−ＧおよびＧを用いて、輝度信号データＹと色差信号データＣＲおよびＣＢとが生成される。
【００７４】
ここで、ラインメモリ９ａおよび９ｂと、垂直方向補間処理部１０と、Ｙ，ＣＢ，ＣＲ生成部１１の動作クロック信号は間引き用クロック制御部１２で生成された間欠クロック信号によって動作が制御されている。
【００７５】
次に、水平方向補間処理部８の構成について、さらに詳細に説明する。
【００７６】
図３は、図２の水平方向補間回路８ａの構成例を示すブロック図である。ここでは、４画素のデータから１画素のデータを求めるフィルタを用いて、４画素の中心に位置する画素の補間データを求める回路構成について説明する。
【００７７】
図３において、水平方向補間回路８ａは、４段のシフトレジスタ手段としてのシフトレジスタ１３と、乗算器１４ａおよび１４ｂと、第１および第２加算手段としての加算器１５ａおよび１５ｂと、除算器１６ａおよび１６ｂと、第１および第２選択手段としてのマルチプレクサ１７ａおよび１７ｂとを有しており、シフトレジスタ１３に一時的に保持された画素データに対して３または１の重み付けを行って、これらのデータを加算し、その後で４で割ることによって所定の画素位置のデータを直線補間している。
【００７８】
シフトレジスタ１３は、ＲＧラインではＲ１、Ｇ２、Ｒ３およびＧ４の４列の画素データが格納され、このデータの処理が終わると、右側方向にデータがシフトされながら次の４列の画素データが格納されて同じ処理が繰り返され、そのラインの処理が終わると、次に、その下のライン（行）の処理が行われる。
【００７９】
次のラインはＧＢラインであり、Ｇ１、Ｂ２、Ｇ３およびＢ４の４列の画素データが格納され、このデータの処理が終わると、同じく右側方向にデータがシフトされながら次の４列の画素データが格納されて同じ処理が繰り返され、そのラインの処理が終わると、次に、その下のライン（行）の処理が行われる。
【００８０】
ここで、ＲＧラインではＲＧＲＧ・・・、ＢＧラインではＧＢＧＢ・・・と画素の位置関係が入れ替わるため、マルチプレクサ（ＭＵＸ）１７ａおよび１７ｂにて出力データが切り替えられる。
【００８１】
常に、同色の奇数画素のフィルタを用いる場合には、元の画素と同じ画素位置の補間データを求めることになるが、基本的な動作は同様である。また、ここでは直線補間により補間を行う方法について説明しているが、その他の重み付け補間などを行うことも可能である。
【００８２】
この水平方向補間回路８ａによって、ＲＧラインでは信号データＲおよびＧが生成され、ＧＢラインでは信号データＧおよびＢが生成される。また、信号データＲ−ＧおよびＢ−Ｇは、水平方向補間回路８ａから出力された補間処理後の信号データＲ、ＢおよびＧのそれぞれを加算回路８ｂにて減算処理することによって生成される。
【００８３】
ここまでの処理は、図示していないが、ＣＣＤ１から画像処理装置２０Ａの水平方向補間回路８までの画像データの入力レートである基本クロック信号によって制御されている。
【００８４】
次にラインメモリ９の構成について、さらに詳細に説明する。
【００８５】
図４は、図２のラインメモリ９ａおよび９ｂの構成例を示すブロック図である。
【００８６】
図４にラインメモリ９ａおよび９ｂはそれぞれ、Ｒ−Ｇ／Ｂ−Ｇ信号データ用のラインメモリ１８ａ〜１８ｃおよびＧ信号データ用のラインメモリ１８ｄ〜１８ｆの２種類であり、本実施形態ではデータ補間処理を行うために４ライン分のデータを使用するため、それぞれ１Ｈ×３ラインづつ、計６ラインのラインメモリ１８ａ〜１８ｆが設けられている。なお、本実施形態において１Ｈに相当するデータ数は、４画素データを用いて補間処理を行うことにより得られる１画素データの１Ｈ（１水平同期期間）分であり、各ラインメモリ９ａおよび９ｂは１Ｈ×３ライン分のメモリ容量を有している。
【００８７】
このラインメモリ９ａおよび９ｂは、ＦＩＦＯ（ｆｉｒｓｔ ｉｎ ｆｉｒｓｔ ｏｕｔ；先入れ先出し）メモリとなっており、先に入力されたデータから順に出力され、３ラインのメモリから同列のデータが同時に出力される。Ｒ−Ｇ／Ｂ−Ｇ用のラインメモリ１８ａ〜１８ｃには、ＲＧラインの場合には信号データＲ−Ｇが、ＧＢラインの場合には信号データＢ−Ｇがライン毎に交互に入力される。
【００８８】
ラインメモリ９ａおよび９ｂに記憶されている３ライン分のデータ、および水平補間処理部８において処理中のラインのデータを合わせて計４ライン分のデータが同時に垂直方向補間処理部１０に入力される。
【００８９】
なお、奇数画素のフィルタを用いる場合には、元の画素と同じ画素位置の補間データを求めることになり、例えばラインメモリがそれぞれ２ラインずつ設けられる構成などとなるが、基本的な動作は同様である。
【００９０】
次に、垂直方向補間処理部１０の構成についてさらに詳細に説明する。
【００９１】
図５は、図２の垂直方向補間処理部１０の構成例を示すブロック図である。ここでは直線補間により補間を行う例について説明するが、その他の重み付け補間などを行うことも可能である。
【００９２】
図５（ａ）は信号データＲ−ＧまたはＢ−Ｇ用の補間回路であり、図５（ｂ）は信号データＧ用の補間回路である。垂直方向補間処理部１０には図５（ａ）と図５（ｂ）との各補間回路が設けられている。
【００９３】
図５（ａ）では、４ラインのデータから１画素のデータを求めるフィルタを用いて、４ラインの中央に位置するラインの信号データＲ−ＧおよびＢ−Ｇの補間データを求める。この補間回路は、乗算器１９ａおよび１９ｂと、加算器２０ａおよび２０ｂと、除算器２１ａおよび２１ｂと、マルチプレクサ２２ａおよび２２ｂとを有しており、１Ｈラインメモリ１８ａ〜１８ｃに一時的に保持された水平補間処理後のデータに対して３または１の重み付けを行って、これらのデータを加算し、その後で４で割ることによって所定の画素位置のデータを直線補間している。
【００９４】
図５（ａ）の補間回路では、１Ｈラインメモリ１８ａ〜１８ｃと、加算回路８ｂを介して水平方向補間回路８ａから供給される水平補間処理後の信号データ（Ｒ−Ｇ、Ｂ−Ｇ、Ｇ）から、例えばＲＧラインの場合には、第１ＲＧラインからの信号データＲ−Ｇ（１Ｈラインメモリ１８ｃからの出力）と、第３ＲＧラインからの信号データＲ−Ｇ（１Ｈラインメモリ１８ａからの出力）に３倍の重み付けを行った値を加算回路２０ａにて加算した後、４で割っている。また、第２ＢＧラインからの信号データＢ−Ｇ（１Ｈラインメモリ１８ｂからの出力）に３倍の重み付けを行った値と、第４ＢＧラインからの信号データＢ−Ｇ（加算回路８ｂからの出力）とを加算回路２０ｂにて加算した後、４で割っている。ＧＢラインの場合についても同様である。
【００９５】
ＲＧラインの場合に得られる値とＧＢラインの場合に得られる値とを、マルチプレクサ２２ａおよび２２ｂにて切り替えることにより、垂直補間された信号データＲ−ＧおよびＢ−Ｇが出力される。
【００９６】
１Ｈラインメモリ１８ａ〜１８ｃおよび加算回路８ｂからの出力データは順次供給され、水平方向の右側方向に順次、水平補間処理された信号データＲ−ＧおよびＢ−Ｇが出力され、同じ処理が繰り返して行われる。１Ｈ期間の信号データの処理が終わると、次の４ラインに移動して同じ処理が繰り返される。
【００９７】
一方、図５（ｂ）の信号データＧ用の補間回路では、４ラインのデータから１画素のデータを求めるフィルタを用いて、４ラインの中央に位置するラインの信号データＧの補間データを求める。この補間回路は、乗算器２３ａおよび２３ｂと、加算器２４ａ、２４ｂおよび２５と、除算器２６とを有しており、１Ｈラインメモリ１８ｄ〜１８ｆに一時的に保持された水平補間処理後のデータに対して３または１の重み付けを行って、これらのデータを加算し、その後で８で割ることによって所定の画素位置のデータを直線補間している。
【００９８】
この図５（ｂ）に示す補間回路では、１Ｈラインメモリ１８ｄ〜１８ｆと、加算回路８ｂを介して水平方向補間回路８ａから供給される水平補間処理後の信号データ（Ｇ）から、１Ｈラインメモリ１８ｆからの出力と１Ｈラインメモリ１８ｅからの出力に３倍の重み付けを行った値とを加算回路２４ａにて加算した値と、および１Ｈラインメモリ１８ｄからの出力に３倍の重み付けを行った値と水平方向補間処理部８からの出力とを加算回路２４ｂにて加算した値とを加算回路２５あにて加算した後、８で割ることにより、垂直補間された信号データＧが出力される。
【００９９】
１Ｈラインメモリ１８ｄ〜１８ｆおよび水平方向補間回路８ａからの各出力データは順次供給され、水平方向の右側方向に順次、水平補間処理された信号データＧが出力され、同じ処理が繰り返して行われる。１Ｈ期間の信号データの処理が終わると、次の４ラインの処理に移行して同じ処理が繰り返される。
【０１００】
このようにして垂直方向補間処理部１０にて生成される第２の信号データを用いて、輝度色差信号Ｙ／ＣＢ／ＣＲ生成部１１では、輝度信号データＹを一般的な式
Ｙ＝０．５８７Ｇ＋０．２９９Ｒ＋０．１１４Ｂ
によって生成する。ここで、Ｇ≒Ｙ（輝度信号）と考えると、Ｒ−ＧおよびＢ−Ｇはそれぞれ色差信号と考えることができ、
ＣＢ＝Ｒ−Ｙ
ＣＲ＝Ｂ−Ｙ
として近似することができる。よって、これらの色差信号の式を上記輝度信号Ｙによって変形し、各色差信号データＣＢおよびＣＲを
ＣＢ＝Ｒ−Ｙ＝｛（Ｂ−Ｇ）−（Ｒ−Ｇ）×０．３３７｝×０．８８６
ＣＲ＝Ｂ−Ｙ＝｛（Ｒ−Ｇ）−（Ｂ−Ｇ）×０．１６２｝×０．７０１
によって生成することができる。
【０１０１】
例えば図６（ａ）に示すようなベイヤ配列の色フィルタを有する固体撮像装置において、図６（ｂ）に示すような垂直方向に白から黒に急激に変化する光がＣＣＤ１に照射された場合、各画素からの信号出力は、図６（ｂ）の右側に示すように、白の光が照射された部分ではＧ、Ｒ、Ｂがそれぞれ「１」となり、黒の光が照射された部分ではＧ、Ｒ、Ｂがそれぞれ「０」となる。特に、ＣＣＤ１からのデータ出力が垂直方向に間引かれている場合には、このようなライン間の相関が小さいデータが生じることが多い。
【０１０２】
この信号データに対して、本実施形態では、図６（ｃ）に示すような水平補間フィルタおよび図６（ｄ）に示すような垂直補間用フィルタを用いて補間処理を行う。
【０１０３】
この場合、図６（ｅ）に●印で示す点Ａの水平方向補間処理後の画素データは、
Ｇ＝（１×０＋１×３＋１×０＋１×１）／４＝１
Ｒ＝（１×１＋１×０＋１×３＋１×０）／４＝１
Ｒ−Ｇ＝０
となり、点Ｂの水平方向補間処理後の画素データは、
Ｇ＝（１×１＋１×０＋１×３＋１×０）／４＝１
Ｂ＝（１×０＋１×３＋１×０＋１×１）／４＝１
Ｂ−Ｇ＝０
となり、点Ｃの水平方向補間処理後の画素データは、
Ｇ＝（０×０＋０×３＋０×０＋０×１）／４＝０
Ｒ＝（０×１＋０×０＋０×３＋０×０）／４＝０
Ｒ−Ｇ＝０
となり、点Ｄの水平方向補間処理後の画素データは、
Ｇ＝（０×１＋０×０＋０×３＋０×０）／４＝０
Ｂ＝（０×０＋０×３＋０×０＋０×１）／４＝０
Ｂ−Ｇ＝０
となる。
【０１０４】
この水平方向補間処理後の第１の色信号データを用いて垂直方向補間処理を行うと、図６（ｅ）に●印で示す点Ｅの垂直方向補間処理後の画素データは、
Ｒ−Ｇ＝（０×１＋０×０＋０×３＋０×０）／４＝０
Ｂ−Ｇ＝（０×０＋９×３＋０×０＋０×１）／４＝０
Ｇ＝（１×１＋１×３＋１×３＋１×１）／８＝０．５
となる。
【０１０５】
この垂直方向補間処理後の第２の色信号データを用いて輝度信号データＹ、色差信号データＣＢおよびＣＲを求めると、
Ｙ＝０．３０１Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
＝０．３０１（Ｒ−Ｇ）＋０．１１４（Ｂ−Ｇ）＋Ｇ
＝０．５
Ｂ−Ｇ＝０
Ｒ−Ｇ＝０
から
ＣＢ＝Ｂ−Ｙ
＝（−０．２９９Ｒ−０．５８７Ｇ＋０．８８６Ｂ）×０．５６４
＝（（Ｂ−Ｇ）−（Ｒ−Ｇ）×０．３３７）×０．５
＝０
ＣＲ＝Ｒ−Ｙ
＝（０．７０１Ｒ−０．５８７Ｇ−０．１１４Ｂ）×０．７１３
＝（（Ｒ−Ｇ）−（Ｂ−Ｇ）×０．１６３）×０．５
＝０
となる。
【０１０６】
このように、本実施形態の画像処理装置によれば、ＣＣＤ１にて垂直方向のデータ間引き処理が行われて垂直方向に隣接する画素のデータの相関が小さくなっても、白と黒との境界部分の点Ｅにおいて、色差信号データＣＢおよびＣＲがともに０となり、偽色が発生しにくいことが判る。
【０１０７】
図７（ａ）〜図７（ｅ）は、図１のＣＣＤ１に垂直方向に急激に変化する光が照射された場合について、輝度色差信号の計算過程を説明するための図である。
【０１０８】
図７（ａ）に示すように水平方向に急激に変化する光がＣＣＤ１に照射された場合、各画素からの信号出力は、白の光が照射された部分ではＧ、Ｒ、Ｂがそれぞれ「１」となり、黒の光が照射された部分ではＧ、Ｒ、Ｂがそれぞれ「０」となり、白から黒に変化する部分ではＧ、Ｒ、Ｂがそれぞれ「０．５」となる。
【０１０９】
これらの信号データに対して、本実施形態では、図６（ｃ）に示すような水平補間フィルタおよび図６（ｄ）に示すような垂直補間用フィルタを用いて補間処理を行う。但し、この場合には、補間処理の前には水平方向の画素データが間引かれず、ＣＣＤ１には光学ローパスフィルタが用いられるため、隣接画素間でデータが急激に変化せず、比較的相関があると考えられる。
【０１１０】
この場合、図７（ａ）に●印で示す点Ｆ１（第１ライン目）およびＦ３（第３ライン目）の水平方向補間処理後の画素データは、
Ｇ＝（０×０＋０×３＋０×０＋０．５×１）／４＝０．１２５
Ｒ＝（０×１＋０×０＋０×３＋０．５×０）／４＝０
Ｒ−Ｇ＝−０．１２５
となり、点Ｆ２（第２ライン目）およびＦ４（第４ライン目）の水平方向補間処理後の画素データは、
Ｇ＝（０×１＋０×０＋０×３＋０．５×０）／４＝０
Ｂ＝（０×０＋０×３＋０×０＋０．５×１）／４＝０．１２５
Ｂ−Ｇ＝０．１２５
となり、点Ｇ１およびＧ３の水平方向補間処理後の画素データは、
Ｇ＝（０×１＋０×０＋０．５×３＋１×０）／４＝０．３７５
Ｒ＝（０×０＋０×３＋０．５×０＋１×１）／４＝０．２５
Ｒ−Ｇ＝−０．１２５
となり、点Ｇ２およびＧ４の水平方向補間処理後の画素データは、
Ｇ＝（０×０＋０×３＋０．５×０＋１×１）／４＝０．２５
Ｂ＝（０×１＋０×０＋０．５×３＋１×０）／４＝０．３７５
Ｂ−Ｇ＝０．１２５
となり、点Ｈ１およびＨ３の水平方向補間処理後の画素データは、
Ｇ＝（０×０＋０．５×３＋１×０＋１×１）／４＝０．６２５
Ｒ＝（０×１＋０．５×０＋１×３＋１×０）／４＝０．７５
Ｒ−Ｇ＝０．１２５
となり、点Ｈ２およびＨ４の水平方向補間処理後の画素データは、
Ｇ＝（０×１＋０．５×０＋１×３＋１×０）／４＝０．７５
Ｂ＝（０×０＋０．５×３＋１×０＋１×１）／４＝０．６２５
Ｂ−Ｇ＝−０．１２５
となり、点Ｉ１およびＩ３の水平方向補間処理後の画素データは、
Ｇ＝（０．５×１＋１×０＋１×３＋１×０）／４＝０．８７５
Ｒ＝（０．５×０＋１×３＋１×０＋１×１）／４＝１
Ｒ−Ｇ＝０．１２５
となり、点Ｉ２およびＩ４の水平方向補間処理後の画素データは、
Ｇ＝（０．５×０＋１×３＋１×０＋１×１）／４＝１
Ｂ＝（０．５×１＋１×０＋１×３＋１×０）／４＝０．８７５
Ｂ−Ｇ＝−０．１２５
となり、点Ｊ１およびＪ３の水平方向補間処理後の画素データは、
Ｇ＝（１×０＋１×３＋１×０＋１×１）／４＝１
Ｒ＝（１×１＋１×０＋１×３＋１×０）／４＝１
Ｒ−Ｇ＝０
となり、点Ｊ２およびＪ４の水平方向補間処理後の画素データは、
Ｇ＝（１×１＋１×０＋１×３＋１×０）／４＝１
Ｂ＝（１×０＋１×３＋１×０＋１×１）／４＝１
Ｂ−Ｇ＝０
となる。
【０１１１】
この水平方向補間処理後の第１の色信号データに対して、例えば図７（ｄ）および図７（ｅ）に上から矢印で示すデータを間引いて矩形□で囲んだ部分のデータを残す１／３間引き処理を行ってから、図６（ｄ）に示すフィルタを用いてデータの重み付けを行って補間する垂直方向補間処理を行うと、図８（ａ）および図８（ｂ）に左側の●印で示す点Ｋの垂直補間処理後の画素データは、
Ｒ−Ｇ＝（−０．１２５×１＋０．１２５×０−０．１２５×３
＋０．１２５×０）／４＝−０．１２５
Ｂ−Ｇ＝（−０．１２５×０＋０．１２５×３−０．１２５×０
＋０．１２５×１）／４＝０．１２５
Ｇ＝（０．３７５×１＋０．２５×３＋０．３７５×３＋０．２５×１）
／８＝０．３１３
となり、図８（ａ）および図８（ｂ）に右側の●印で示す点Ｌの垂直補間処理後の画素データは、
Ｒ−Ｇ＝（０×１＋０×０＋０×３＋０）／４＝０
Ｂ−Ｇ＝（０×０＋０×３＋０×０＋０×１）／４＝０
Ｇ＝（１×１＋１×３＋１×３＋１×１）／８＝１
となる。
【０１１２】
この垂直方向補間処理後の第２の色信号データを用いて、図８（ｃ）に左側の●印で示す点Ｋの輝度信号データＹ、色差信号データＣＢおよびＣＲを求めると、
Ｙ＝０．３０１Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
＝０．３０１（Ｒ−Ｇ）＋０．１１４（Ｂ−Ｇ）＋Ｇ
＝０．０８６
Ｂ−Ｇ＝−０．１２５
Ｒ−Ｇ＝０．１２５
から
ＣＢ＝Ｂ−Ｙ
＝（−０．２９９Ｒ−０．５８７Ｇ＋０．８８６Ｂ）×０．５６４
＝（（Ｂ−Ｇ）−（Ｒ−Ｇ）×０．３３７）×０．５
＝０、０８４
ＣＲ＝Ｒ−Ｙ
＝（０．７０１Ｒ−０．５８７Ｇ−０．１１４Ｂ）×０．７１３
＝（（Ｒ−Ｇ）−（Ｂ−Ｇ）×０．１６３）×０．５
＝−０．０７３
となり、図８（ｃ）に右側の●印で示す点Ｌの輝度信号データＹ、色差信号データＣＢおよびＣＲを求めると、
Ｙ＝０．３０１Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
＝０．３０１（Ｒ−Ｇ）＋０．１１４（Ｂ−Ｇ）＋Ｇ
＝１
Ｂ−Ｇ＝０
Ｒ−Ｇ＝０
から
ＣＢ＝Ｂ−Ｙ
＝（−０．２９９Ｒ−０．５８７Ｇ＋０．８８６Ｂ）×０．５６４
＝（（Ｂ−Ｇ）−（Ｒ−Ｇ）×０．３３７）×０．５
＝０
ＣＲ＝Ｒ−Ｙ
＝（０．７０１Ｒ−０．５８７Ｇ−０．１１４Ｂ）×０．７１３
＝（（Ｒ−Ｇ）−（Ｂ−Ｇ）×０．１６３）×０．５
＝０
となる。
【０１１３】
このように、本実施形態の画像処理装置２０Ａによれば、水平方向に急激に変化する光がＣＣＤ１に入射されても、隣接する画素のデータの相関が比較的大きいデータ間引き処理前の画素データを用いて色差信号データを求めることにより、若干の偽色は発生するが、その偽色のレベルが小さくなり、偽色の色信号が発生しにくいことが判る。
【０１１４】
さらに、本実施形態では、ラインメモリ９、垂直方向補間処理部１０および輝度色差信号生成部１１に、間引き用クロック制御部１２にて生成された間欠クロック信号が入力されており、この間欠クロック信号に同期して画素データの間引きによる圧縮処理が行われている。例えば画像データを１／３に圧縮する場合には、間引き用クロック制御部１２では、ラインメモリ９、垂直方向補間処理部１０および輝度色差信号生成部１１に対して、ＣＣＤ１から画素データが入力されるタイミングである基本クロック信号の３クロック分の間に間欠クロック信号を１クロック分だけ発生させる。
【０１１５】
この間引き用クロック制御部１２は、カウンタと加算器、比較器などの容易な回路構成にて実現することができる。または、クロック信号の間欠パターンをレジスタに設定しておき、レジスタからそのデータを１ビットづつ読み出すことによって実現することができる。この間欠クロック信号によって画素データの間引きを行うことにより、ラインメモリ９、垂直方向補間処理部１０および輝度色差信号生成部１１の動作周波数を低減して、大幅に消費電力を削減することができる。
【０１１６】
以上のように、ＣＣＤ１などの撮像素子からは画素データを垂直方向に間引かずに出力し、水平方向補間処理部８にて水平方向の補間を行って、画素データを水平方向に間引いて圧縮した後、ラインメモリ９に互いに相関の高い複数ラインのデータを格納し、垂直方向補間処理部１０にて垂直方向の補間を行って、画素データを垂直方向に間引いて圧縮することによって、偽色の発生を抑制すると共に、画像処理装置の処理数を減少させて消費電力を低減し、画像処理装置のラインメモリ等の回路数を削減して撮像装置の小型化を図ることができる。
【０１１７】
また、間欠クロック信号を用いることによって画像処理装置の動作周波数を低減し、さらに低消費電力化を図ることができる。したがって、本発明は、電池駆動を行う携帯用画像処理装置のように低消費電力化が要求される用途に最適であり、特に、デジタルスチルカメラに有効である。
【０１１８】
【発明の効果】
以上のように、本発明によれば、水平方向のデータ補間処理を行って第１の信号データＲ−Ｇ、Ｂ−ＧおよびＧを求め、それらのデータを水平方向に間引いてデータ圧縮し、垂直方向のデータ補間処理を行った後、輝度信号データＹ、色差信号データＣＢおよびＣＲを生成することによって、撮像素子による垂直方向のデータ間引き処理によって生じる偽色およびラインメモリ格納前の水平方向のデータ間引き処理によって生じる偽色を大幅に抑えることができる。
【０１１９】
さらに、ラインメモリ、垂直方向補間処理手段および輝度色差信号生成手段の動作クロック信号として間欠クロック信号を用いることによって、消費電力を大幅に抑えることができる。
【図面の簡単な説明】
【図１】本発明のデジタルスチルカメラの実施形態における要部構成を示すブロック図である。
【図２】図１の画像処理装置における水平方向補間処理部、ラインメモリ、垂直方向補間処理部および輝度色差信号生成部の構成例を示すブロック図である。
【図３】図２の水平方向補間回路の構成例を示すブロック図である。
【図４】図２のラインメモリの構成例を示すブロック図である。
【図５】図２の垂直方向補間処理部の構成例を示すブロック図である。
【図６】（ａ）〜（ｅ）は、図１のＣＣＤに垂直方向に急激に変化する光が照射された場合について、輝度色差信号の計算過程を説明するための図である。
【図７】（ａ）〜（ｅ）は、図１のＣＣＤに水平方向に急激に変化する光が照射された場合について、輝度色差信号の計算過程を説明するための図である。
【図８】（ａ）〜（ｃ）は、図１のＣＣＤに垂直方向に急激に変化する光が照射された場合について、輝度色差信号の計算過程を説明するための図である。
【図９】従来の画像処理装置を備えたデジタルスチルカメラの一例を示すブロック図である。
【図１０】（ａ）〜（ｄ）は、従来のＣＣＤに垂直方向に急激に変化する光が照射された場合について、輝度色差信号の計算過程を説明するための図である。
【図１１】（ａ）〜（ｃ）は、従来のＣＣＤに水平方向に急激に変化する光が照射された場合について、輝度色差信号の計算過程を説明するための図である。
【符号の説明】
１ ＣＣＤ
２ サンプルホールド部
３ ＡＤコンバータ
４ クランプ処理部
５ ホワイトバランス処理部
６ γ補正部
７ ローパスフィルタ部
８ 水平方向補間処理部
８ａ 水平方向補間回路
８ｂ 加算回路
９、９ａ、９ｂ ラインメモリ
１０ 垂直方向補間処理部
１１ 輝度色差信号生成部
１２ 間引き用クロック制御部
１３ シフトレジスタ
１４ａ、１４ｂ、１９ａ、１９ｂ、２３ａ、２３ｂ 乗算器
１５ａ、１５ｂ、２０ａ、２０ｂ、２４ａ、２４ｂ、２５ 加算器
１６ａ、１６ｂ、２１ａ、２１ｂ、２６ 除算器
１７ａ、１７ｂ、２２ａ、２２ｂ マルチプレクサ
１８ａ、１８ｂ、１８ｃ、１８ｄ、１８ｅ、１８ｆ １Ｈラインメモリ
２０ デジタルスチルカメラ
２０Ａ 画像処理装置
【発明の属する技術分野】
本発明は、色フィルタを介して撮像素子により得られる画素データを用いて輝度信号データおよび色差信号データを生成する画像処理装置および画像処理方法、それを備えたデジタルスチルカメラに関する。
【０００２】
【従来の技術】
従来、デジタルスチルカメラでは、行方向および列方向に配置され、それぞれ色フィルタを有する固体撮像素子などを用いて撮像することによって画像データが得られる。この画像データはデジタル値に変換され、画像処理装置によって、デジタルクランプ処理、ホワイトバランス処理、輝度信号データおよび色差信号データの生成処理などが行われ、生成された輝度信号データおよび色差信号データが外部メモリに記憶される。
【０００３】
図９は、従来の画像処理装置を備えたデジタルスチルカメラの一例を示すブロック図である。
【０００４】
図９において、このデジタルスチルカメラ５０は、撮像素子としてのＣＣＤ５１と、サンプルホールド部５２と、ＡＤコンバータ５３と、画像処理装置５０Ａとを備えている。
【０００５】
画像処理装置５０Ａは、クランプ処理部５４と、ホワイトバランス処理部５５と、ガンマ（γ）補正部５６と、ローパスフィルタ部５７と、間引き処理部５８と、ラインメモリ５９と、補間処理部６０と、輝度色差信号データ（Ｙ、ＣＢ、ＣＲ）生成部６１とを有している。
【０００６】
ＣＣＤ５１は、行方向および列方向に配置されそれぞれＲ（赤）、Ｇ（緑）またはＢ（青）の色フィルタが設けられている。ＣＣＤ５１からは、色フィルタに応じた色成分がそれぞれ画素データとして出力される。
【０００７】
サンプルホールド部５２は、この各画素データから信号成分が取り出されてサンプルホールドされる。
【０００８】
ＡＤコンバータ５３は、サンプルホールドされた信号成分をデジタルデータに変換する。
【０００９】
画像処理装置５０Ａのクランプ処理部５４は、ＡＤコンバータ５３でデジタルデータに変換された各画素データに対して、黒レベルが規定値に固定される。
【００１０】
ホワイトバランス処理部５５は、白色を調整するため、ＲおよびＢの画素データに対して所定の値が乗算されてゲインが調整される。
【００１１】
ガンマ補正部５６は、ブラウン管や液晶パネルなど特定のモニタ装置として用いられる各表示装置毎の階調表示特性に調整するために、明るさ補正が行われる。
【００１２】
ローパスフィルタ部５７では、後段の縮小処理（間引き処理など）によるエイリアシングを防ぐため、高周波成分が減衰される。
【００１３】
間引き処理部５８では、データが列方向に間引かれて水平方向に縮小処理される。
【００１４】
ラインメモリ５９は、間引き処理部５８で縮小処理されたデータを一旦保存する。
【００１５】
補間処理部６０は、色フィルタアレイ上に存在しない色成分を補間によって求める。
【００１６】
輝度色差信号生成部６１は、輝度信号データＹと色差信号データＣＢおよびＣＲとが生成される。
【００１７】
以下に、補間処理について説明する。
【００１８】
単板式デジタルスチルカメラでは、例えば図１０（ａ）に示すように、撮像素子の各画素毎に対応して特定の色（Ｒ、Ｇ、Ｂの３色のうちの何れか一つ）の色フィルタが設けられている。特定の色に対応した撮像素子の各画素から出力される信号を処理することによって色分離が行われ、Ｒ、Ｇ、Ｂの各色信号データが算出され、それらの色信号データから輝度信号データおよび色差信号データという映像信号データが作成される。
【００１９】
例えば、図１０（ａ）に示すように、１ライン目がＲ、Ｇ、Ｒ、Ｇ、・・・、２ライン目がＧ、Ｂ、Ｇ、Ｂ、・・・、３ライン目がＲ、Ｇ、Ｒ、Ｇ、・・・、４ライン目がＧ、Ｂ、Ｇ、Ｂ、・・・というように、水平方向（列方向）および垂直方向（行方向）ともに交互に配置（ベイヤ配列）されている場合について考える。この場合、例えばＲのフィルタが配されている画素からはＧの信号データが得られないため、この画素に対応するＧ信号データは、隣接する画素からの信号データを用いてデータを補間することにより求められる。この場合、データ補間のために用いられる隣接画素間において、撮像素子の受光部に入射される光に相関があることが前提となる。
【００２０】
デジタルスチルカメラ５０においては、撮影の際に構図を決定するため、例えばＣＣＤなどの撮像素子から取り込まれた画像をリアルタイムでモニタ装置に表示するモニタリングと称される機能が設けられている。このとき、撮像素子が１００万画素を超えるような高画素タイプのデジタルスチルカメラ５０では、通常、１秒間に３０フレーム分、全画素の動画を読み出そうとすると撮像素子の時間当たりの出力データ量が多くなることから、駆動クロックを数倍にする必要があり、これに伴って画像処理が高速になり、消費電力が大幅に増加する。
【００２１】
そこで、ＣＣＤ５１にて、垂直方向のデータ間引き処理を行うことにより出力画素データ数が減らされて、１秒間に３０フレームまたは１５フレームの画像が出力されるモニタリングモードと称される動作が行われる。垂直方向のデータ間引き処理は、例えば３００万画素ＣＣＤの場合には１／７程度とされ、１ラインのデータが出力されると６ラインのデータが間引かれ、次に１ラインのデータが出力されると６ラインのデータが間引かれ、・・・というように７ライン毎にデータが出力される。また、水平方向については、通常、データ間引き処理が行われず、水平方向の全画素データが出力される。
【００２２】
このとき、水平方向の全画素データを格納可能なラインメモリ５９を複数ライン設けると、ＬＳＩのチップサイズが実用的ではない大きさになるため、例えば動画表示のために１ライン当たり６４０画素程度の画素データを格納可能なラインメモリ５９を用いる場合には、ラインメモリ５９に入力される前に水平方向の画素データ数を減らす必要がある。水平方向の縮小率は、例えば３００万画素ＣＣＤであれば１／３程度である。
【００２３】
上述したように、モニタリング時においてＣＣＤ５１にて垂直方向のデータ間引き処理が行われると、出力される隣接画素データ間において垂直方向の相関が小さくなることが多い。また、水平方向においても、ラインメモリ５９の容量を実用的な大きさにするためにデータが間引かれてラインメモリ５９に格納されるため、データを補間処理する際に隣接画素データ間の相関が小さくなる場合が多い。このように隣接画素データ間の相関が小さい場合に補間処理を行うと、処理画像に本来は存在しない色（偽色）が発生するという問題がある。
【００２４】
次に、偽色の発生について説明する。
【００２５】
図１０（ａ）に示すベイヤ配列の色フィルタを有する固体撮像装置において、図１０（ｂ）に示すような垂直方向に白から黒に急激に変化する光が照射された場合、各画素からの信号出力は、図１０（ｂ）の右側に示すように、白の光が照射された上側部分ではＲ、Ｇ、Ｂがそれぞれ「１」となり、黒の光が照射された下側部分ではＲ、Ｇ、Ｂがそれぞれ「０」となる。
【００２６】
この信号データに対して、隣接する同色の画素からの出力信号を平均または重み付けして補間処理を行う方法において、例えば図１０（ｃ）に示すように各画素に対応した値で重み付けを行って中心点の補間画素データを求めるフィルタを用いた場合、図１０（ｄ）の４×４＝１６画素の中心点Ａの補間処理後の画素データは、
Ｒ＝（１×１＋（１＋０）×３＋０×９）／１６＝０．２５
Ｂ＝（１×９＋（１＋０）×３＋０×１）／１６＝０．７５
Ｇ＝（（１＋０）×９＋（１＋１＋０＋０）×３＋（１＋０）×１））
／３２＝０．５
となる。補間処理後のＲ、ＢおよびＧのデータ値から色差信号データＣＢおよびＣＲを求めると、
Ｂ−Ｇ＝０．２５
Ｒ−Ｇ＝−０．２５
から
ＣＢ＝Ｂ−Ｙ
＝（−０．２９９Ｒ−０．５８７Ｇ＋０．８８６Ｂ）×０．５６４
＝（（Ｂ−Ｇ）−（Ｒ−Ｇ）×０．３３７）×０．５
＝０．１６７
ＣＲ＝Ｒ−Ｙ
＝（０．７０１Ｒ−０．５８７Ｇ−０．１１４Ｂ）×０．７１３
＝（（Ｒ−Ｇ）−（Ｂ−Ｇ）×０．１６３）×０．５
＝−０．１４５
となる。なお、ここでは色差信号ＣＢおよびＣＲが０にならず、偽信号が発生することを説明するため、輝度信号Ｙや色差信号ＣＢ、ＣＲへの詳細な変換式、輝度信号Ｙの値については説明を省略している。
【００２７】
このように、白と黒の境界部分において、本来は共に「０」であるはずの色差信号ＣＢおよびＣＲが「０」ではなくなり、偽の色信号が発生している。ＣＣＤにて垂直方向のデータ間引き処理が行われた場合には、隣接画素の相関が小さくなることが多いため、このような偽色の発生が顕著になる。
【００２８】
同様に、水平方向においても、図１１（ａ）に示すような水平方向に急激に変化する光が照射された場合、各画素からの信号出力は、図１１（ａ）に示すように、白の光が照射された部分ではＲ、Ｇ、Ｂがそれぞれ「１」となり、黒の光が照射された部分ではＧ、Ｒ、Ｂがそれぞれ「０」となり、白から黒に変化する部分ではＧ、Ｒ、Ｂがそれぞれ「０．５」となる。
【００２９】
この場合に、例えば図１１（ｂ）に矢印で示すデータを間引いて矩形□で囲んだ部分のデータを残す１／３間引き処理を行ってから、図１０（ｃ）に示すフィルタを用いてデータの重み付けを行って補間する補間処理を行うと、図１１（ｃ）に左側の●印で示す点Ｂの補間画素データは
Ｒ＝（０×１＋（１＋０）×３＋１×９）／１６＝０．７５
Ｂ＝（０×９＋（１＋０）×３＋１×１）／１６＝０．２５
Ｇ＝（（１＋０）×９＋（１＋１＋０＋０）×３＋（１＋０）×１））
／３２＝０．５
となり、色差信号データＣＢおよびＣＲは
Ｂ−Ｇ＝−０．２５
Ｒ−Ｇ＝０．２５
から
ＣＢ＝Ｂ−Ｙ
＝（−０．２９９Ｒ−０．５８７Ｇ＋０．８８６Ｂ）×０．５６４
＝（（Ｂ−Ｇ）−（Ｒ−Ｇ）×０．３３７）×０．５
＝−０．１６７
ＣＲ＝Ｒ−Ｙ
＝（０．７０１Ｒ−０．５８７Ｇ−０．１１４Ｂ）×０．７１３
＝（（Ｒ−Ｇ）−（Ｂ−Ｇ）×０．１６３）×０．５
＝０．１４５
となる。また、図１１（ｃ）に右側の●印で示す点Ｃの補間画素データは
Ｒ＝（０×１＋（０＋１）×３＋１×９）／１６＝０．７５
Ｂ＝（１×９＋（１＋１）×３＋１×１）／１６＝１
Ｇ＝（（１＋１）×９＋（１＋１＋１＋０）×３＋（１＋０）×１））
／３２＝０．８７５
となり、色差信号データＣＢおよびＣＲは
Ｂ−Ｇ＝−０．１２５
Ｒ−Ｇ＝０．１２５
から
ＣＢ＝Ｂ−Ｙ
＝（−０．２９９Ｒ−０．５８７Ｇ＋０．８８６Ｂ）×０．５６４
＝（（Ｂ−Ｇ）−（Ｒ−Ｇ）×０．３３７）×０．５
＝０．０８４
ＣＲ＝Ｒ−Ｙ
＝（０．７０１Ｒ−０．５８７Ｇ−０．１１４Ｂ）×０．７１３
＝（（Ｒ−Ｇ）−（Ｂ−Ｇ）×０．１６３）×０．５
＝−０．０７３
となる。
【００３０】
このように、本来はともに「０」であるはずの色差信号ＣＢおよびＣＲが「０」ではなくなり、偽の色信号が発生している。これは、水平方向のデータ間引き処理により隣接画素の相関が小さくなるためである。
【００３１】
以上のように、画素データを間引いた場合には、補間処理によって正しい色差信号が得られにくくなり、偽色が発生しやすくなるという問題がある。そこで、例えば特許文献１および特許文献２には、画素データの間引きを行った後、ラインメモリ５９に複数ライン分のデータを格納し、複数ラインのデータを用いて補間処理などを行うことによって、垂直方向の画素データを間引いた場合の偽色を抑制する方法が開示されている。
【００３２】
【特許文献１】
特開２０００−７８５９５号公報
【００３３】
【特許文献２】
特開２００１−８６５２０号公報
【００３４】
【発明が解決しようとする課題】
上述したように、モニタリング時においてＣＣＤ５１にて垂直方向のデータ間引き処理が行われると、出力される隣接画素データ間において垂直方向の相関が小さくなることが多い。また、水平方向においても、ラインメモリ５９の容量を実用的な大きさにするためにデータが間引かれてラインメモリ５９に格納されると、データを補間処理する際に隣接画素データ間の相関が小さくなる場合が多い。このように隣接画素データ間の相関が小さい場合に補間処理を行うと、処理画像に本来は存在しない色（偽色）が発生するという問題がある。
【００３５】
本発明は、上記従来の事情に鑑みて為されたものであり、撮像素子のモニタリング動作時における垂直方向のデータ間引き処理やラインメモリ格納前に行われる水平方向のデータ間引き処理によって隣接画素データ間の相関が小さくなっても偽色の発生を抑制することができる画像処理装置および画像処理方法、それを用いたデジタルスチルカメラを提供することを目的とする。
【００３６】
【課題を解決するための手段】
本発明の画像処理装置は、行方向および列方向に配置されてそれぞれ色フィルタを有する複数の撮像素子から入力された入力画素データを用いて輝度信号データおよび色差信号データを生成する画像処理装置において、入力画素データのうち、所定の画素位置に対して列方向に隣接する複数の画素データを用いて列方向にデータを補間して第１の色信号データを生成する水平方向補間処理手段と、第１の色信号データを複数行分格納可能とするラインメモリ手段と、ラインメモリ手段から出力されたデータのうち、所定の画素位置に対して行方向に隣接する複数の画素データを用いて行方向にデータを補間して第２の色信号データを生成する垂直方向補間処理手段と、第２の色信号データを用いて輝度信号データおよび色差信号データを生成する輝度色差信号生成手段とを備えており、そのことにより上記目的が達成される。
【００３７】
また、好ましくは、本発明の画像処理装置における水平方向補間処理手段は、色フィルタがベイヤ配列の場合に、ＲＧラインからはＲ信号を出力し、ＧＢラインからはＢ信号を出力し、これらのＲＧラインおよびＧＢラインからはＧ信号を出力する水平方向補間回路と、この水平方向補間回路からのＲ信号またはＢ信号とＧ信号との差信号（Ｒ−ＧまたはＢ−Ｇ）を出力する差信号出力手段とを有する。
【００３８】
さらに、好ましくは、本発明の画像処理装置における水平方向補間回路は、入力画素データが順次保持される４段のシフトレジスタ手段と、このシフトレジスタ手段の奇数段からの出力を加算する第１加算手段と、シフトレジスタ手段の偶数段からの出力を加算する第２加算手段と、第１加算手段および第２加算手段の各出力を選択してＲ信号またはＢ信号を出力する第１選択手段と、第１加算手段および第２加算手段の各出力を選択してＧ信号を出力する第２選択手段とを有する。
【００３９】
さらに、好ましくは、本発明の画像処理装置におけるラインメモリ手段は、水平方向補間処理手段から出力される第１の色信号データを列方向に間引いたデータが格納される。
【００４０】
さらに、好ましくは、本発明の画像処理装置におけるラインメモリ手段は、差信号（Ｒ−ＧまたはＢ−Ｇ）を入力する第１の１Ｈラインメモリと、第１の１Ｈラインメモリの出力を入力とする第２の１Ｈラインメモリと、第２の１Ｈラインメモリの出力を入力とする第３の１Ｈラインメモリと、Ｇ信号を入力する第４の１Ｈラインメモリと、第４の１Ｈラインメモリの出力を入力とする第５の１Ｈラインメモリと、第５の１Ｈラインメモリの出力を入力とする第６の１Ｈラインメモリとを有する。
【００４１】
さらに、好ましくは、本発明の画像処理装置における垂直方向補間処理手段は、差信号（Ｒ−ＧまたはＢ−Ｇ）と第１〜第３の１Ｈラインメモリの各出力を入力とすると共に、Ｇ信号と第４〜第６の１Ｈラインメモリの各出力を入力とする。
【００４２】
さらに、好ましくは、本発明の画像処理装置における水平方向補間処理手段からの第１の色信号データがラインメモリ手段に入力されるタイミングを所定の比率で間引いた間欠クロック信号を生成する間欠クロック生成手段をさらに備え、垂直方向補間処理手段および輝度色差信号生成手段の動作クロック信号としてこの間欠クロック信号が供給される。
【００４３】
さらに、好ましくは、本発明の画像処理装置における水平方向補間処理手段および垂直方向補間処理手段は、所定の画素位置に対して隣接する複数の画素データのうち、該当する色データを平均または重み付けして補間データを求めるためのフィルタを用いて色信号データを生成する。
【００４４】
さらに、好ましくは、本発明のデジタルスチルカメラは、請求項１〜８の何れかに記載の画像処理装置を用いて撮像画素データを画像処理し、そのことにより上記目的が達成される。
【００４５】
本発明の画像処理方法は、行方向および列方向に配置されそれぞれ色フィルタを有する複数の撮像素子から画像処理装置に順次入力された入力画素データを用いて輝度信号データおよび色差信号データを生成する画像処理方法において、この入力画素データのうち、所定の画素位置に対して列方向に隣接する複数の画素データを用いて列方向にデータを補間して第１の色信号データを生成する第１ステップと、第１の色信号データを列方向に所定比率で間引いてラインメモリ手段に複数行分格納する第２ステップと、ラインメモリ手段から出力されたデータのうち、所定の画素位置に対して行方向に隣接する複数の画素データを用いて行方向にデータを補間して第２の色信号データを生成する第３ステップと、この第２の色信号データを用いて輝度信号データおよび色差信号データを生成する第４ステップとを含んでおり、そのことにより上記目的が達成される。
【００４６】
また、好ましくは、本発明の画像処理方法における第２〜第４ステップの動作クロック信号として、第１ステップの動作クロック信号を所定の比率で間引いた間欠クロック信号を用いる。
【００４７】
上記構成により、以下に、本発明の作用について説明する。
【００４８】
本発明においては、撮像素子から画像処理装置に入力された画素データは、水平方向補間処理手段に入力される。水平方向補間処理手段では、所定の画素位置に対して列方向（水平方向）に隣接する複数の画素のデータを用いて列方向にデータが補間されてＲ、ＧおよびＢのデータが生成され、第１の色信号データ（Ｒ−Ｇ、Ｂ−Ｇ、Ｇ）が生成される。この水平方向補間処理は、所定の画素位置に対して隣接する複数の画素のデータのうち、該当する色のデータをフィルタを用いて平均または重み付けして補間データを求める。水平方向に間引き処理を行う前のデータを用いて水平方向補間処理を行うことができるため、隣接画素データ間の相関が比較的大きく、偽色が発生しにくい。
【００４９】
水平方向補間処理手段にて生成された第１の色信号データは、複数ライン分が色差信号（Ｒ−Ｇ、Ｂ−Ｇ）用のラインメモリおよびＧ信号用のラインメモリに格納される。
【００５０】
このとき、間欠クロック生成手段によって画素データの入力レートである基本クロック信号を所定の比率で間引いた間欠クロック信号を生成し、ラインメモリ手段の動作クロック信号として供給することによって、水平方向補間処理手段からの第１の色信号データを水平方向に間引き圧縮処理して、ラインメモリ手段の容量を小さくすることができる。
【００５１】
ラインメモリから出力された複数ラインの第１の色信号データ（Ｒ−Ｇ、Ｂ−Ｇ、Ｇ）は垂直方向補間処理手段に入力される。垂直方法補間処理手段では、所定の画素位置に対して行方向（垂直方向）に隣接する複数の画素のデータを用いて行方向にデータが補間されて第２の色信号データ（Ｒ−Ｇ、Ｂ−Ｇ、Ｇ）が生成される。この垂直方向補間処理は、所定の画素位置に対して隣接する複数の画素のデータのうち、該当する色のデータを平均または重み付けして補間データを求めるフィルタを用いて行うことができる。第１の色信号データ（Ｒ−Ｇ、Ｂ−Ｇ、Ｇ）が水平方向の情報から作成されているため、撮像素子の垂直方向の間引きにより隣接画素間の相関が小さい場合でも偽色が発生しにくい。
【００５２】
垂直方向補間処理手段にて生成された第２の色信号データは、輝度色差信号生成手段に入力され、輝度色差信号生成手段では、輝度信号データ（Ｙ）および色差信号データ（ＣＢ、ＣＲ）が生成される。
【００５３】
上記ラインメモリ手段、垂直方向補間処理手段および輝度色差信号生成手段の動作クロック信号として間欠クロック信号を用いることによって、動作周波数を低くして消費電力を削減することができる。
【００５４】
【発明の実施の形態】
以下に、本発明のデジタルスチルカメラの実施形態について図面を参照しながら説明する。
【００５５】
図１は、本発明のデジタルスチルカメラの実施形態における要部構成を示すブロック図である。なお、図１の部材番号１〜７については図９と同様の作用効果を奏する。
【００５６】
図１において、デジタルスチルカメラ２０は、撮像素子としてのＣＣＤ１と、サンプルホールド部２と、ＡＤコンバータ３と、画像処理装置２０Ａとを備えている。
【００５７】
画像処理装置２０Ａは、クランプ処理部４と、ホワイトバランス処理部５と、ガンマ（γ）補正部６と、ローパスフィルタ部７と、水平方向補間処理部８と、ラインメモリ９と、垂直方向補間処理部１０と、輝度色差信号（Ｙ、ＣＢ、ＣＲ）生成部１１と、間引き用クロック制御部１２とを有している。
【００５８】
撮像素子１は、行方向および列方向に配置され、それぞれＲ（赤）、Ｇ（緑）またはＢ（青）の色フィルタが設けられている。各撮像素子１からは、色フィルタに応じた色成分が画素データとして出力される。
【００５９】
サンプルホールド部２は、この各画素データを信号成分として取り出してサンプルホールドする。
【００６０】
ＡＤコンバータ３は、サンプルホールド部２からの各画素データをデジタルデータに変換する。
【００６１】
画像処理装置２０Ａのクランプ処理部４は、ＡＤコンバータ３でデジタルデータに変換された各画素データに対して、黒レベルが規定値に固定される。
【００６２】
ホワイトバランス部５は、白色を調整するため、ＲおよびＢの画素データに対して所定の値が乗算されてゲインが調整される。
【００６３】
ガンマ補正部６では、ブラウン管や液晶パネルなどモニタ装置として用いられる各表示装置毎の階調表示特性に合致するように明るさ補正が行われて階調表示特性を調整する。
【００６４】
ローパスフィルタ部７は、後段の縮小処理（間引き処理等）によるエイリアシングを防ぐため、高周波成分が減衰される。
【００６５】
水平方向補間処理部８は、列方向（水平方向）毎にデータが補間され、所定の画素位置に対する第１の色信号データ（Ｒ−Ｇ、Ｂ−Ｇ、Ｇ）が生成される。例えば図６（ａ）に示すベイヤ配列では、奇数水平ライン（ＲＧライン）ではＲ、ＧおよびＲ−Ｇの信号データが算出され、偶数水平ラインではＧ、ＢおよびＢ−Ｇの信号データが算出される。
【００６６】
ラインメモリ９は、水平方向補間処理部８からの第１の色信号データをそれぞれに複数ライン分格納する。
【００６７】
垂直方向補間回路１０はそれぞれ行方向（垂直方向）にデータが補間されて、所定の画素位置に対する第２の色信号データ（Ｒ−Ｇ、Ｂ−Ｇ、Ｇ）が生成される。
【００６８】
輝度色差信号生成部１１は、第２の色信号データから輝度信号データＹと色差信号データＣＢおよびＣＲとが生成される。
【００６９】
間引き用クロック制御部１２は、画素データの入力レートである基本クロック信号を所定の比率で間引いた間欠クロック信号を生成し、ラインメモリ９の動作クロック信号として供給することによって、水平方向補間処理部８からの第１の色信号データを水平方向に間引き圧縮処理して、ラインメモリ９に格納している。また、間欠クロック信号は、垂直方向補間処理部１０および輝度色差信号生成部１１の動作クロック信号としても用いられており、ラインメモリ９、垂直方向補間処理部１０および輝度色差信号生成部１１の動作周波数が低減されて消費電力が低減される。
【００７０】
図２は、図１の画像処理装置２０Ａの水平方向補間処理部８以降の構成を示すブロック図である。
【００７１】
図２において、水平方向補間処理部８は、水平方向補間回路８ａおよび差信号出力手段としての加算器８ｂを有しており、水平方向補間回路８ａからは、ＲＧラインでは所定の画素位置と隣接する画素のデータを用いて水平方向の補間処理により信号データＲおよびＧが生成され、ＧＢラインでは信号データＢおよびＧが生成され、加算器８ｂにて減算処理されて水平方向補間処理後の信号データＲ−ＧまたはＢ−Ｇが生成される。水平方向補間処理部８で水平方向補間処理により生成された第１の信号データＲ−ＧまたはＢ−ＧとＧとは、直接またはラインメモリ９ａまたは９ｂを経由して垂直方向補間処理部１０に出力される。
【００７２】
垂直方向補間処理部１０は、所定の画素位置と隣接する同列のデータを複数用いて垂直方向の補間処理により第２の信号データＲ−Ｇ、Ｂ−ＧおよびＧが生成される。
【００７３】
輝度色差信号生成部１１は、垂直方向補間処理により生成された第２の信号データＲ−Ｇ、Ｂ−ＧおよびＧを用いて、輝度信号データＹと色差信号データＣＲおよびＣＢとが生成される。
【００７４】
ここで、ラインメモリ９ａおよび９ｂと、垂直方向補間処理部１０と、Ｙ，ＣＢ，ＣＲ生成部１１の動作クロック信号は間引き用クロック制御部１２で生成された間欠クロック信号によって動作が制御されている。
【００７５】
次に、水平方向補間処理部８の構成について、さらに詳細に説明する。
【００７６】
図３は、図２の水平方向補間回路８ａの構成例を示すブロック図である。ここでは、４画素のデータから１画素のデータを求めるフィルタを用いて、４画素の中心に位置する画素の補間データを求める回路構成について説明する。
【００７７】
図３において、水平方向補間回路８ａは、４段のシフトレジスタ手段としてのシフトレジスタ１３と、乗算器１４ａおよび１４ｂと、第１および第２加算手段としての加算器１５ａおよび１５ｂと、除算器１６ａおよび１６ｂと、第１および第２選択手段としてのマルチプレクサ１７ａおよび１７ｂとを有しており、シフトレジスタ１３に一時的に保持された画素データに対して３または１の重み付けを行って、これらのデータを加算し、その後で４で割ることによって所定の画素位置のデータを直線補間している。
【００７８】
シフトレジスタ１３は、ＲＧラインではＲ１、Ｇ２、Ｒ３およびＧ４の４列の画素データが格納され、このデータの処理が終わると、右側方向にデータがシフトされながら次の４列の画素データが格納されて同じ処理が繰り返され、そのラインの処理が終わると、次に、その下のライン（行）の処理が行われる。
【００７９】
次のラインはＧＢラインであり、Ｇ１、Ｂ２、Ｇ３およびＢ４の４列の画素データが格納され、このデータの処理が終わると、同じく右側方向にデータがシフトされながら次の４列の画素データが格納されて同じ処理が繰り返され、そのラインの処理が終わると、次に、その下のライン（行）の処理が行われる。
【００８０】
ここで、ＲＧラインではＲＧＲＧ・・・、ＢＧラインではＧＢＧＢ・・・と画素の位置関係が入れ替わるため、マルチプレクサ（ＭＵＸ）１７ａおよび１７ｂにて出力データが切り替えられる。
【００８１】
常に、同色の奇数画素のフィルタを用いる場合には、元の画素と同じ画素位置の補間データを求めることになるが、基本的な動作は同様である。また、ここでは直線補間により補間を行う方法について説明しているが、その他の重み付け補間などを行うことも可能である。
【００８２】
この水平方向補間回路８ａによって、ＲＧラインでは信号データＲおよびＧが生成され、ＧＢラインでは信号データＧおよびＢが生成される。また、信号データＲ−ＧおよびＢ−Ｇは、水平方向補間回路８ａから出力された補間処理後の信号データＲ、ＢおよびＧのそれぞれを加算回路８ｂにて減算処理することによって生成される。
【００８３】
ここまでの処理は、図示していないが、ＣＣＤ１から画像処理装置２０Ａの水平方向補間回路８までの画像データの入力レートである基本クロック信号によって制御されている。
【００８４】
次にラインメモリ９の構成について、さらに詳細に説明する。
【００８５】
図４は、図２のラインメモリ９ａおよび９ｂの構成例を示すブロック図である。
【００８６】
図４にラインメモリ９ａおよび９ｂはそれぞれ、Ｒ−Ｇ／Ｂ−Ｇ信号データ用のラインメモリ１８ａ〜１８ｃおよびＧ信号データ用のラインメモリ１８ｄ〜１８ｆの２種類であり、本実施形態ではデータ補間処理を行うために４ライン分のデータを使用するため、それぞれ１Ｈ×３ラインづつ、計６ラインのラインメモリ１８ａ〜１８ｆが設けられている。なお、本実施形態において１Ｈに相当するデータ数は、４画素データを用いて補間処理を行うことにより得られる１画素データの１Ｈ（１水平同期期間）分であり、各ラインメモリ９ａおよび９ｂは１Ｈ×３ライン分のメモリ容量を有している。
【００８７】
このラインメモリ９ａおよび９ｂは、ＦＩＦＯ（ｆｉｒｓｔ ｉｎ ｆｉｒｓｔ ｏｕｔ；先入れ先出し）メモリとなっており、先に入力されたデータから順に出力され、３ラインのメモリから同列のデータが同時に出力される。Ｒ−Ｇ／Ｂ−Ｇ用のラインメモリ１８ａ〜１８ｃには、ＲＧラインの場合には信号データＲ−Ｇが、ＧＢラインの場合には信号データＢ−Ｇがライン毎に交互に入力される。
【００８８】
ラインメモリ９ａおよび９ｂに記憶されている３ライン分のデータ、および水平補間処理部８において処理中のラインのデータを合わせて計４ライン分のデータが同時に垂直方向補間処理部１０に入力される。
【００８９】
なお、奇数画素のフィルタを用いる場合には、元の画素と同じ画素位置の補間データを求めることになり、例えばラインメモリがそれぞれ２ラインずつ設けられる構成などとなるが、基本的な動作は同様である。
【００９０】
次に、垂直方向補間処理部１０の構成についてさらに詳細に説明する。
【００９１】
図５は、図２の垂直方向補間処理部１０の構成例を示すブロック図である。ここでは直線補間により補間を行う例について説明するが、その他の重み付け補間などを行うことも可能である。
【００９２】
図５（ａ）は信号データＲ−ＧまたはＢ−Ｇ用の補間回路であり、図５（ｂ）は信号データＧ用の補間回路である。垂直方向補間処理部１０には図５（ａ）と図５（ｂ）との各補間回路が設けられている。
【００９３】
図５（ａ）では、４ラインのデータから１画素のデータを求めるフィルタを用いて、４ラインの中央に位置するラインの信号データＲ−ＧおよびＢ−Ｇの補間データを求める。この補間回路は、乗算器１９ａおよび１９ｂと、加算器２０ａおよび２０ｂと、除算器２１ａおよび２１ｂと、マルチプレクサ２２ａおよび２２ｂとを有しており、１Ｈラインメモリ１８ａ〜１８ｃに一時的に保持された水平補間処理後のデータに対して３または１の重み付けを行って、これらのデータを加算し、その後で４で割ることによって所定の画素位置のデータを直線補間している。
【００９４】
図５（ａ）の補間回路では、１Ｈラインメモリ１８ａ〜１８ｃと、加算回路８ｂを介して水平方向補間回路８ａから供給される水平補間処理後の信号データ（Ｒ−Ｇ、Ｂ−Ｇ、Ｇ）から、例えばＲＧラインの場合には、第１ＲＧラインからの信号データＲ−Ｇ（１Ｈラインメモリ１８ｃからの出力）と、第３ＲＧラインからの信号データＲ−Ｇ（１Ｈラインメモリ１８ａからの出力）に３倍の重み付けを行った値を加算回路２０ａにて加算した後、４で割っている。また、第２ＢＧラインからの信号データＢ−Ｇ（１Ｈラインメモリ１８ｂからの出力）に３倍の重み付けを行った値と、第４ＢＧラインからの信号データＢ−Ｇ（加算回路８ｂからの出力）とを加算回路２０ｂにて加算した後、４で割っている。ＧＢラインの場合についても同様である。
【００９５】
ＲＧラインの場合に得られる値とＧＢラインの場合に得られる値とを、マルチプレクサ２２ａおよび２２ｂにて切り替えることにより、垂直補間された信号データＲ−ＧおよびＢ−Ｇが出力される。
【００９６】
１Ｈラインメモリ１８ａ〜１８ｃおよび加算回路８ｂからの出力データは順次供給され、水平方向の右側方向に順次、水平補間処理された信号データＲ−ＧおよびＢ−Ｇが出力され、同じ処理が繰り返して行われる。１Ｈ期間の信号データの処理が終わると、次の４ラインに移動して同じ処理が繰り返される。
【００９７】
一方、図５（ｂ）の信号データＧ用の補間回路では、４ラインのデータから１画素のデータを求めるフィルタを用いて、４ラインの中央に位置するラインの信号データＧの補間データを求める。この補間回路は、乗算器２３ａおよび２３ｂと、加算器２４ａ、２４ｂおよび２５と、除算器２６とを有しており、１Ｈラインメモリ１８ｄ〜１８ｆに一時的に保持された水平補間処理後のデータに対して３または１の重み付けを行って、これらのデータを加算し、その後で８で割ることによって所定の画素位置のデータを直線補間している。
【００９８】
この図５（ｂ）に示す補間回路では、１Ｈラインメモリ１８ｄ〜１８ｆと、加算回路８ｂを介して水平方向補間回路８ａから供給される水平補間処理後の信号データ（Ｇ）から、１Ｈラインメモリ１８ｆからの出力と１Ｈラインメモリ１８ｅからの出力に３倍の重み付けを行った値とを加算回路２４ａにて加算した値と、および１Ｈラインメモリ１８ｄからの出力に３倍の重み付けを行った値と水平方向補間処理部８からの出力とを加算回路２４ｂにて加算した値とを加算回路２５あにて加算した後、８で割ることにより、垂直補間された信号データＧが出力される。
【００９９】
１Ｈラインメモリ１８ｄ〜１８ｆおよび水平方向補間回路８ａからの各出力データは順次供給され、水平方向の右側方向に順次、水平補間処理された信号データＧが出力され、同じ処理が繰り返して行われる。１Ｈ期間の信号データの処理が終わると、次の４ラインの処理に移行して同じ処理が繰り返される。
【０１００】
このようにして垂直方向補間処理部１０にて生成される第２の信号データを用いて、輝度色差信号Ｙ／ＣＢ／ＣＲ生成部１１では、輝度信号データＹを一般的な式
Ｙ＝０．５８７Ｇ＋０．２９９Ｒ＋０．１１４Ｂ
によって生成する。ここで、Ｇ≒Ｙ（輝度信号）と考えると、Ｒ−ＧおよびＢ−Ｇはそれぞれ色差信号と考えることができ、
ＣＢ＝Ｒ−Ｙ
ＣＲ＝Ｂ−Ｙ
として近似することができる。よって、これらの色差信号の式を上記輝度信号Ｙによって変形し、各色差信号データＣＢおよびＣＲを
ＣＢ＝Ｒ−Ｙ＝｛（Ｂ−Ｇ）−（Ｒ−Ｇ）×０．３３７｝×０．８８６
ＣＲ＝Ｂ−Ｙ＝｛（Ｒ−Ｇ）−（Ｂ−Ｇ）×０．１６２｝×０．７０１
によって生成することができる。
【０１０１】
例えば図６（ａ）に示すようなベイヤ配列の色フィルタを有する固体撮像装置において、図６（ｂ）に示すような垂直方向に白から黒に急激に変化する光がＣＣＤ１に照射された場合、各画素からの信号出力は、図６（ｂ）の右側に示すように、白の光が照射された部分ではＧ、Ｒ、Ｂがそれぞれ「１」となり、黒の光が照射された部分ではＧ、Ｒ、Ｂがそれぞれ「０」となる。特に、ＣＣＤ１からのデータ出力が垂直方向に間引かれている場合には、このようなライン間の相関が小さいデータが生じることが多い。
【０１０２】
この信号データに対して、本実施形態では、図６（ｃ）に示すような水平補間フィルタおよび図６（ｄ）に示すような垂直補間用フィルタを用いて補間処理を行う。
【０１０３】
この場合、図６（ｅ）に●印で示す点Ａの水平方向補間処理後の画素データは、
Ｇ＝（１×０＋１×３＋１×０＋１×１）／４＝１
Ｒ＝（１×１＋１×０＋１×３＋１×０）／４＝１
Ｒ−Ｇ＝０
となり、点Ｂの水平方向補間処理後の画素データは、
Ｇ＝（１×１＋１×０＋１×３＋１×０）／４＝１
Ｂ＝（１×０＋１×３＋１×０＋１×１）／４＝１
Ｂ−Ｇ＝０
となり、点Ｃの水平方向補間処理後の画素データは、
Ｇ＝（０×０＋０×３＋０×０＋０×１）／４＝０
Ｒ＝（０×１＋０×０＋０×３＋０×０）／４＝０
Ｒ−Ｇ＝０
となり、点Ｄの水平方向補間処理後の画素データは、
Ｇ＝（０×１＋０×０＋０×３＋０×０）／４＝０
Ｂ＝（０×０＋０×３＋０×０＋０×１）／４＝０
Ｂ−Ｇ＝０
となる。
【０１０４】
この水平方向補間処理後の第１の色信号データを用いて垂直方向補間処理を行うと、図６（ｅ）に●印で示す点Ｅの垂直方向補間処理後の画素データは、
Ｒ−Ｇ＝（０×１＋０×０＋０×３＋０×０）／４＝０
Ｂ−Ｇ＝（０×０＋９×３＋０×０＋０×１）／４＝０
Ｇ＝（１×１＋１×３＋１×３＋１×１）／８＝０．５
となる。
【０１０５】
この垂直方向補間処理後の第２の色信号データを用いて輝度信号データＹ、色差信号データＣＢおよびＣＲを求めると、
Ｙ＝０．３０１Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
＝０．３０１（Ｒ−Ｇ）＋０．１１４（Ｂ−Ｇ）＋Ｇ
＝０．５
Ｂ−Ｇ＝０
Ｒ−Ｇ＝０
から
ＣＢ＝Ｂ−Ｙ
＝（−０．２９９Ｒ−０．５８７Ｇ＋０．８８６Ｂ）×０．５６４
＝（（Ｂ−Ｇ）−（Ｒ−Ｇ）×０．３３７）×０．５
＝０
ＣＲ＝Ｒ−Ｙ
＝（０．７０１Ｒ−０．５８７Ｇ−０．１１４Ｂ）×０．７１３
＝（（Ｒ−Ｇ）−（Ｂ−Ｇ）×０．１６３）×０．５
＝０
となる。
【０１０６】
このように、本実施形態の画像処理装置によれば、ＣＣＤ１にて垂直方向のデータ間引き処理が行われて垂直方向に隣接する画素のデータの相関が小さくなっても、白と黒との境界部分の点Ｅにおいて、色差信号データＣＢおよびＣＲがともに０となり、偽色が発生しにくいことが判る。
【０１０７】
図７（ａ）〜図７（ｅ）は、図１のＣＣＤ１に垂直方向に急激に変化する光が照射された場合について、輝度色差信号の計算過程を説明するための図である。
【０１０８】
図７（ａ）に示すように水平方向に急激に変化する光がＣＣＤ１に照射された場合、各画素からの信号出力は、白の光が照射された部分ではＧ、Ｒ、Ｂがそれぞれ「１」となり、黒の光が照射された部分ではＧ、Ｒ、Ｂがそれぞれ「０」となり、白から黒に変化する部分ではＧ、Ｒ、Ｂがそれぞれ「０．５」となる。
【０１０９】
これらの信号データに対して、本実施形態では、図６（ｃ）に示すような水平補間フィルタおよび図６（ｄ）に示すような垂直補間用フィルタを用いて補間処理を行う。但し、この場合には、補間処理の前には水平方向の画素データが間引かれず、ＣＣＤ１には光学ローパスフィルタが用いられるため、隣接画素間でデータが急激に変化せず、比較的相関があると考えられる。
【０１１０】
この場合、図７（ａ）に●印で示す点Ｆ１（第１ライン目）およびＦ３（第３ライン目）の水平方向補間処理後の画素データは、
Ｇ＝（０×０＋０×３＋０×０＋０．５×１）／４＝０．１２５
Ｒ＝（０×１＋０×０＋０×３＋０．５×０）／４＝０
Ｒ−Ｇ＝−０．１２５
となり、点Ｆ２（第２ライン目）およびＦ４（第４ライン目）の水平方向補間処理後の画素データは、
Ｇ＝（０×１＋０×０＋０×３＋０．５×０）／４＝０
Ｂ＝（０×０＋０×３＋０×０＋０．５×１）／４＝０．１２５
Ｂ−Ｇ＝０．１２５
となり、点Ｇ１およびＧ３の水平方向補間処理後の画素データは、
Ｇ＝（０×１＋０×０＋０．５×３＋１×０）／４＝０．３７５
Ｒ＝（０×０＋０×３＋０．５×０＋１×１）／４＝０．２５
Ｒ−Ｇ＝−０．１２５
となり、点Ｇ２およびＧ４の水平方向補間処理後の画素データは、
Ｇ＝（０×０＋０×３＋０．５×０＋１×１）／４＝０．２５
Ｂ＝（０×１＋０×０＋０．５×３＋１×０）／４＝０．３７５
Ｂ−Ｇ＝０．１２５
となり、点Ｈ１およびＨ３の水平方向補間処理後の画素データは、
Ｇ＝（０×０＋０．５×３＋１×０＋１×１）／４＝０．６２５
Ｒ＝（０×１＋０．５×０＋１×３＋１×０）／４＝０．７５
Ｒ−Ｇ＝０．１２５
となり、点Ｈ２およびＨ４の水平方向補間処理後の画素データは、
Ｇ＝（０×１＋０．５×０＋１×３＋１×０）／４＝０．７５
Ｂ＝（０×０＋０．５×３＋１×０＋１×１）／４＝０．６２５
Ｂ−Ｇ＝−０．１２５
となり、点Ｉ１およびＩ３の水平方向補間処理後の画素データは、
Ｇ＝（０．５×１＋１×０＋１×３＋１×０）／４＝０．８７５
Ｒ＝（０．５×０＋１×３＋１×０＋１×１）／４＝１
Ｒ−Ｇ＝０．１２５
となり、点Ｉ２およびＩ４の水平方向補間処理後の画素データは、
Ｇ＝（０．５×０＋１×３＋１×０＋１×１）／４＝１
Ｂ＝（０．５×１＋１×０＋１×３＋１×０）／４＝０．８７５
Ｂ−Ｇ＝−０．１２５
となり、点Ｊ１およびＪ３の水平方向補間処理後の画素データは、
Ｇ＝（１×０＋１×３＋１×０＋１×１）／４＝１
Ｒ＝（１×１＋１×０＋１×３＋１×０）／４＝１
Ｒ−Ｇ＝０
となり、点Ｊ２およびＪ４の水平方向補間処理後の画素データは、
Ｇ＝（１×１＋１×０＋１×３＋１×０）／４＝１
Ｂ＝（１×０＋１×３＋１×０＋１×１）／４＝１
Ｂ−Ｇ＝０
となる。
【０１１１】
この水平方向補間処理後の第１の色信号データに対して、例えば図７（ｄ）および図７（ｅ）に上から矢印で示すデータを間引いて矩形□で囲んだ部分のデータを残す１／３間引き処理を行ってから、図６（ｄ）に示すフィルタを用いてデータの重み付けを行って補間する垂直方向補間処理を行うと、図８（ａ）および図８（ｂ）に左側の●印で示す点Ｋの垂直補間処理後の画素データは、
Ｒ−Ｇ＝（−０．１２５×１＋０．１２５×０−０．１２５×３
＋０．１２５×０）／４＝−０．１２５
Ｂ−Ｇ＝（−０．１２５×０＋０．１２５×３−０．１２５×０
＋０．１２５×１）／４＝０．１２５
Ｇ＝（０．３７５×１＋０．２５×３＋０．３７５×３＋０．２５×１）
／８＝０．３１３
となり、図８（ａ）および図８（ｂ）に右側の●印で示す点Ｌの垂直補間処理後の画素データは、
Ｒ−Ｇ＝（０×１＋０×０＋０×３＋０）／４＝０
Ｂ−Ｇ＝（０×０＋０×３＋０×０＋０×１）／４＝０
Ｇ＝（１×１＋１×３＋１×３＋１×１）／８＝１
となる。
【０１１２】
この垂直方向補間処理後の第２の色信号データを用いて、図８（ｃ）に左側の●印で示す点Ｋの輝度信号データＹ、色差信号データＣＢおよびＣＲを求めると、
Ｙ＝０．３０１Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
＝０．３０１（Ｒ−Ｇ）＋０．１１４（Ｂ−Ｇ）＋Ｇ
＝０．０８６
Ｂ−Ｇ＝−０．１２５
Ｒ−Ｇ＝０．１２５
から
ＣＢ＝Ｂ−Ｙ
＝（−０．２９９Ｒ−０．５８７Ｇ＋０．８８６Ｂ）×０．５６４
＝（（Ｂ−Ｇ）−（Ｒ−Ｇ）×０．３３７）×０．５
＝０、０８４
ＣＲ＝Ｒ−Ｙ
＝（０．７０１Ｒ−０．５８７Ｇ−０．１１４Ｂ）×０．７１３
＝（（Ｒ−Ｇ）−（Ｂ−Ｇ）×０．１６３）×０．５
＝−０．０７３
となり、図８（ｃ）に右側の●印で示す点Ｌの輝度信号データＹ、色差信号データＣＢおよびＣＲを求めると、
Ｙ＝０．３０１Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
＝０．３０１（Ｒ−Ｇ）＋０．１１４（Ｂ−Ｇ）＋Ｇ
＝１
Ｂ−Ｇ＝０
Ｒ−Ｇ＝０
から
ＣＢ＝Ｂ−Ｙ
＝（−０．２９９Ｒ−０．５８７Ｇ＋０．８８６Ｂ）×０．５６４
＝（（Ｂ−Ｇ）−（Ｒ−Ｇ）×０．３３７）×０．５
＝０
ＣＲ＝Ｒ−Ｙ
＝（０．７０１Ｒ−０．５８７Ｇ−０．１１４Ｂ）×０．７１３
＝（（Ｒ−Ｇ）−（Ｂ−Ｇ）×０．１６３）×０．５
＝０
となる。
【０１１３】
このように、本実施形態の画像処理装置２０Ａによれば、水平方向に急激に変化する光がＣＣＤ１に入射されても、隣接する画素のデータの相関が比較的大きいデータ間引き処理前の画素データを用いて色差信号データを求めることにより、若干の偽色は発生するが、その偽色のレベルが小さくなり、偽色の色信号が発生しにくいことが判る。
【０１１４】
さらに、本実施形態では、ラインメモリ９、垂直方向補間処理部１０および輝度色差信号生成部１１に、間引き用クロック制御部１２にて生成された間欠クロック信号が入力されており、この間欠クロック信号に同期して画素データの間引きによる圧縮処理が行われている。例えば画像データを１／３に圧縮する場合には、間引き用クロック制御部１２では、ラインメモリ９、垂直方向補間処理部１０および輝度色差信号生成部１１に対して、ＣＣＤ１から画素データが入力されるタイミングである基本クロック信号の３クロック分の間に間欠クロック信号を１クロック分だけ発生させる。
【０１１５】
この間引き用クロック制御部１２は、カウンタと加算器、比較器などの容易な回路構成にて実現することができる。または、クロック信号の間欠パターンをレジスタに設定しておき、レジスタからそのデータを１ビットづつ読み出すことによって実現することができる。この間欠クロック信号によって画素データの間引きを行うことにより、ラインメモリ９、垂直方向補間処理部１０および輝度色差信号生成部１１の動作周波数を低減して、大幅に消費電力を削減することができる。
【０１１６】
以上のように、ＣＣＤ１などの撮像素子からは画素データを垂直方向に間引かずに出力し、水平方向補間処理部８にて水平方向の補間を行って、画素データを水平方向に間引いて圧縮した後、ラインメモリ９に互いに相関の高い複数ラインのデータを格納し、垂直方向補間処理部１０にて垂直方向の補間を行って、画素データを垂直方向に間引いて圧縮することによって、偽色の発生を抑制すると共に、画像処理装置の処理数を減少させて消費電力を低減し、画像処理装置のラインメモリ等の回路数を削減して撮像装置の小型化を図ることができる。
【０１１７】
また、間欠クロック信号を用いることによって画像処理装置の動作周波数を低減し、さらに低消費電力化を図ることができる。したがって、本発明は、電池駆動を行う携帯用画像処理装置のように低消費電力化が要求される用途に最適であり、特に、デジタルスチルカメラに有効である。
【０１１８】
【発明の効果】
以上のように、本発明によれば、水平方向のデータ補間処理を行って第１の信号データＲ−Ｇ、Ｂ−ＧおよびＧを求め、それらのデータを水平方向に間引いてデータ圧縮し、垂直方向のデータ補間処理を行った後、輝度信号データＹ、色差信号データＣＢおよびＣＲを生成することによって、撮像素子による垂直方向のデータ間引き処理によって生じる偽色およびラインメモリ格納前の水平方向のデータ間引き処理によって生じる偽色を大幅に抑えることができる。
【０１１９】
さらに、ラインメモリ、垂直方向補間処理手段および輝度色差信号生成手段の動作クロック信号として間欠クロック信号を用いることによって、消費電力を大幅に抑えることができる。
【図面の簡単な説明】
【図１】本発明のデジタルスチルカメラの実施形態における要部構成を示すブロック図である。
【図２】図１の画像処理装置における水平方向補間処理部、ラインメモリ、垂直方向補間処理部および輝度色差信号生成部の構成例を示すブロック図である。
【図３】図２の水平方向補間回路の構成例を示すブロック図である。
【図４】図２のラインメモリの構成例を示すブロック図である。
【図５】図２の垂直方向補間処理部の構成例を示すブロック図である。
【図６】（ａ）〜（ｅ）は、図１のＣＣＤに垂直方向に急激に変化する光が照射された場合について、輝度色差信号の計算過程を説明するための図である。
【図７】（ａ）〜（ｅ）は、図１のＣＣＤに水平方向に急激に変化する光が照射された場合について、輝度色差信号の計算過程を説明するための図である。
【図８】（ａ）〜（ｃ）は、図１のＣＣＤに垂直方向に急激に変化する光が照射された場合について、輝度色差信号の計算過程を説明するための図である。
【図９】従来の画像処理装置を備えたデジタルスチルカメラの一例を示すブロック図である。
【図１０】（ａ）〜（ｄ）は、従来のＣＣＤに垂直方向に急激に変化する光が照射された場合について、輝度色差信号の計算過程を説明するための図である。
【図１１】（ａ）〜（ｃ）は、従来のＣＣＤに水平方向に急激に変化する光が照射された場合について、輝度色差信号の計算過程を説明するための図である。
【符号の説明】
１ ＣＣＤ
２ サンプルホールド部
３ ＡＤコンバータ
４ クランプ処理部
５ ホワイトバランス処理部
６ γ補正部
７ ローパスフィルタ部
８ 水平方向補間処理部
８ａ 水平方向補間回路
８ｂ 加算回路
９、９ａ、９ｂ ラインメモリ
１０ 垂直方向補間処理部
１１ 輝度色差信号生成部
１２ 間引き用クロック制御部
１３ シフトレジスタ
１４ａ、１４ｂ、１９ａ、１９ｂ、２３ａ、２３ｂ 乗算器
１５ａ、１５ｂ、２０ａ、２０ｂ、２４ａ、２４ｂ、２５ 加算器
１６ａ、１６ｂ、２１ａ、２１ｂ、２６ 除算器
１７ａ、１７ｂ、２２ａ、２２ｂ マルチプレクサ
１８ａ、１８ｂ、１８ｃ、１８ｄ、１８ｅ、１８ｆ １Ｈラインメモリ
２０ デジタルスチルカメラ
２０Ａ 画像処理装置
Claims (11)
- 行方向および列方向に配置されてそれぞれ色フィルタを有する複数の撮像素子から入力された入力画素データを用いて輝度信号データおよび色差信号データを生成する画像処理装置において、
該入力画素データのうち、所定の画素位置に対して列方向に隣接する複数の画素データを用いて列方向にデータを補間して第１の色信号データを生成する水平方向補間処理手段と、
該第１の色信号データを複数行分格納可能とするラインメモリ手段と、
該ラインメモリ手段から出力されたデータのうち、所定の画素位置に対して行方向に隣接する複数の画素データを用いて行方向にデータを補間して第２の色信号データを生成する垂直方向補間処理手段と、
該第２の色信号データを用いて輝度信号データおよび色差信号データを生成する輝度色差信号生成手段とを備えた画像処理装置。 - 前記水平方向補間処理手段は、前記色フィルタがベイヤ配列の場合に、ＲＧラインからはＲ信号を出力し、ＧＢラインからはＢ信号を出力し、該ＲＧラインおよびＧＢラインからはＧ信号を出力する水平方向補間回路と、
該水平方向補間回路からのＲ信号またはＢ信号とＧ信号との差信号（Ｒ−ＧまたはＢ−Ｇ）を出力する差信号出力手段とを有した請求項１記載の画像処理装置。 - 前記水平方向補間回路は、入力画素データが順次保持される４段のシフトレジスタ手段と、該シフトレジスタ手段の奇数段からの出力を加算する第１加算手段と、該シフトレジスタ手段の偶数段からの出力を加算する第２加算手段と、該第１加算手段および第２加算手段の各出力を選択してＲ信号またはＢ信号を出力する第１選択手段と、該第１加算手段および第２加算手段の各出力を選択してＧ信号を出力する第２選択手段とを有する請求項２記載の画像処理装置。
- 前記ラインメモリ手段は、前記水平方向補間処理手段から出力される第１の色信号データを列方向に間引いたデータが格納される請求項１記載の画像処理装置。
- 前記ラインメモリ手段は、前記差信号（Ｒ−ＧまたはＢ−Ｇ）を入力する第１の１Ｈラインメモリと、該第１の１Ｈラインメモリの出力を入力とする第２の１Ｈラインメモリと、該第２の１Ｈラインメモリの出力を入力とする第３の１Ｈラインメモリと、前記Ｇ信号を入力する第４の１Ｈラインメモリと、該第４の１Ｈラインメモリの出力を入力とする第５の１Ｈラインメモリと、該第５の１Ｈラインメモリの出力を入力とする第６の１Ｈラインメモリとを有した請求項２記載の画像処理装置。
- 前記垂直方向補間処理手段は、前記差信号（Ｒ−ＧまたはＢ−Ｇ）と前記第１〜第３の１Ｈラインメモリの各出力を入力とすると共に、前記Ｇ信号と前記第４〜第６の１Ｈラインメモリの各出力を入力とする請求項５記載の画像処理装置。
- 前記水平方向補間処理手段からの第１の色信号データが前記ラインメモリ手段に入力されるタイミングを所定の比率で間引いた間欠クロック信号を生成する間欠クロック生成手段をさらに備え、
前記垂直方向補間処理手段および前記輝度色差信号生成手段の動作クロック信号として該間欠クロック信号が供給される請求項４記載の画像処理装置。 - 前記水平方向補間処理手段および垂直方向補間処理手段は、所定の画素位置に対して隣接する複数の画素データのうち、該当する色データを平均または重み付けして補間データを求めるためのフィルタを用いて色信号データを生成する請求項１記載の画像処理装置。
- 請求項１〜８の何れかに記載の画像処理装置を用いて撮像画素データを画像処理するデジタルスチルカメラ。
- 行方向および列方向に配置されそれぞれ色フィルタを有する複数の撮像素子から画像処理装置に順次入力された入力画素データを用いて輝度信号データおよび色差信号データを生成する画像処理方法において、
該入力画素データのうち、所定の画素位置に対して列方向に隣接する複数の画素データを用いて列方向にデータを補間して第１の色信号データを生成する第１ステップと、
該第１の色信号データを列方向に所定比率で間引いてラインメモリ手段に複数行分格納する第２ステップと、
該ラインメモリ手段から出力されたデータのうち、所定の画素位置に対して行方向に隣接する複数の画素データを用いて行方向にデータを補間して第２の色信号データを生成する第３ステップと、
該第２の色信号データを用いて輝度信号データおよび色差信号データを生成する第４ステップとを含む画像処理方法。 - 前記第２〜第４ステップの動作クロック信号として、前記第１ステップの動作クロック信号を所定の比率で間引いた間欠クロック信号を用いる請求項１０記載の画像処理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002358765A JP4133283B2 (ja) | 2002-12-10 | 2002-12-10 | 画像処理装置および画像処理方法、デジタルスチルカメラ |
| US10/730,988 US20040165082A1 (en) | 2002-12-10 | 2003-12-10 | Image processing apparatus, image processing method and digital still camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002358765A JP4133283B2 (ja) | 2002-12-10 | 2002-12-10 | 画像処理装置および画像処理方法、デジタルスチルカメラ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004193911A true JP2004193911A (ja) | 2004-07-08 |
| JP4133283B2 JP4133283B2 (ja) | 2008-08-13 |
Family
ID=32758353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002358765A Expired - Fee Related JP4133283B2 (ja) | 2002-12-10 | 2002-12-10 | 画像処理装置および画像処理方法、デジタルスチルカメラ |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20040165082A1 (ja) |
| JP (1) | JP4133283B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006072658A (ja) * | 2004-09-01 | 2006-03-16 | Sony Corp | 画像処理装置 |
| WO2008152972A1 (ja) * | 2007-06-13 | 2008-12-18 | Olympus Corporation | 画像処理装置、画像処理プログラム、画像処理方法 |
| JP2013197613A (ja) * | 2012-03-15 | 2013-09-30 | Nikon Corp | 撮像装置、画像処理装置及び画像処理プログラム |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7195588B2 (en) | 2004-03-01 | 2007-03-27 | Olympus Corporation | Endoscope image pick-up apparatus |
| US20060109395A1 (en) * | 2004-11-24 | 2006-05-25 | Junya Yamamoto | Area light source device and liquid crystal display device including the same |
| JP5574615B2 (ja) * | 2009-04-20 | 2014-08-20 | キヤノン株式会社 | 画像処理装置、その制御方法、及びプログラム |
| CN102648632B (zh) * | 2009-11-27 | 2015-01-28 | 株式会社尼康 | 数据处理装置 |
| JP5438579B2 (ja) * | 2010-03-29 | 2014-03-12 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
| JP2013017142A (ja) * | 2011-07-06 | 2013-01-24 | Sony Corp | 画像処理装置、撮像装置、画像処理方法及びプログラム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6836289B2 (en) * | 1999-12-20 | 2004-12-28 | Texas Instruments Incorporated | Digital still camera architecture with red and blue interpolation using green as weighting factors |
| JP4055927B2 (ja) * | 2000-08-25 | 2008-03-05 | シャープ株式会社 | 画像処理装置およびデジタルカメラ |
-
2002
- 2002-12-10 JP JP2002358765A patent/JP4133283B2/ja not_active Expired - Fee Related
-
2003
- 2003-12-10 US US10/730,988 patent/US20040165082A1/en not_active Abandoned
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006072658A (ja) * | 2004-09-01 | 2006-03-16 | Sony Corp | 画像処理装置 |
| JP4569227B2 (ja) * | 2004-09-01 | 2010-10-27 | ソニー株式会社 | 画像処理装置 |
| WO2008152972A1 (ja) * | 2007-06-13 | 2008-12-18 | Olympus Corporation | 画像処理装置、画像処理プログラム、画像処理方法 |
| JP2008311874A (ja) * | 2007-06-13 | 2008-12-25 | Olympus Corp | 画像処理装置、画像処理プログラム、画像処理方法 |
| US8320714B2 (en) | 2007-06-13 | 2012-11-27 | Olympus Corporation | Image processing apparatus, computer-readable recording medium for recording image processing program, and image processing method |
| JP2013197613A (ja) * | 2012-03-15 | 2013-09-30 | Nikon Corp | 撮像装置、画像処理装置及び画像処理プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4133283B2 (ja) | 2008-08-13 |
| US20040165082A1 (en) | 2004-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8154636B2 (en) | Image enhancement using hardware-based deconvolution | |
| US8368775B2 (en) | Imaging apparatus and live-view image display method thereof | |
| JP2008199177A (ja) | 画像処理装置およびその方法と電子カメラ | |
| JP3942569B2 (ja) | 撮像装置および画像データの変換方法 | |
| WO2006054607A1 (ja) | 映像処理装置 | |
| JP3991011B2 (ja) | 画像信号処理装置 | |
| JP2009164778A (ja) | 撮像装置 | |
| WO2018092400A1 (ja) | 固体撮像素子、信号処理回路、及び、電子機器 | |
| JP4133283B2 (ja) | 画像処理装置および画像処理方法、デジタルスチルカメラ | |
| US20050068426A1 (en) | Imaging device | |
| EP1173029B1 (en) | Color image pickup device | |
| US20060044428A1 (en) | Image pickup device and signal processing method | |
| JP2006262382A (ja) | 画像処理装置 | |
| JP2004336468A (ja) | 撮像装置及び画像処理方法 | |
| JPWO2013100097A1 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
| JP2002359856A (ja) | データ変換回路およびデジタル・カメラ | |
| JP2004153848A (ja) | 画像入力装置の画像処理回路 | |
| JP4035542B2 (ja) | 撮像装置 | |
| JP2002330283A (ja) | 解像度変換方法および解像度変換装置 | |
| JP3954204B2 (ja) | 信号処理装置およびその信号処理方法 | |
| JP2005159916A (ja) | 撮像装置 | |
| JP2004153849A (ja) | 画像入力装置の画像処理回路 | |
| JP4478934B2 (ja) | 画像信号処理装置 | |
| JP4249909B2 (ja) | 信号処理装置および信号処理方法 | |
| KR0137232B1 (ko) | 정지화상기록 디지탈 카메라 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050615 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080307 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080430 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080526 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080602 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130606 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |