JP2000032481A - 撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体 - Google Patents

撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体

Info

Publication number
JP2000032481A
JP2000032481A JP19218998A JP19218998A JP2000032481A JP 2000032481 A JP2000032481 A JP 2000032481A JP 19218998 A JP19218998 A JP 19218998A JP 19218998 A JP19218998 A JP 19218998A JP 2000032481 A JP2000032481 A JP 2000032481A
Authority
JP
Japan
Prior art keywords
image signal
signal processing
pixel
image
compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP19218998A
Other languages
English (en)
Other versions
JP3728107B2 (ja
Inventor
Tetsunobu Kouchi
哲伸 光地
Toru Koizumi
徹 小泉
Katsuto Sakurai
克仁 櫻井
Katsuhisa Ogawa
勝久 小川
Toshitake Ueno
勇武 上野
Shigetoshi Sugawa
成利 須川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP19218998A priority Critical patent/JP3728107B2/ja
Priority to US09/338,865 priority patent/US6567571B1/en
Publication of JP2000032481A publication Critical patent/JP2000032481A/ja
Application granted granted Critical
Publication of JP3728107B2 publication Critical patent/JP3728107B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Processing Of Color Television Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

(57)【要約】 【課題】 画像信号処理を行うために最適な画像信号を
出力可能な撮像センサーを提供できるようにする。 【解決手段】 複数の画素信号を出力する撮像素子と同
じICチップ部上に、上記撮像素子より出力される各画
素信号から1画面より小さい所定サイズの画素ブロック
毎に演算処理を行い、上記画素ブロックの各画素信号の
加算情報を算出する撮像信号処理手段を設け、後段の回
路で行う画像信号処理に適した形式の画像信号を撮像セ
ンサから出力することができるようにして、画像処理の
精度を向上させるとともに、信号処理速度の高速化を達
成できるようにする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は撮像センサ、画像信
号処理方法、画像信号処理システム、撮像装置及び記憶
媒体に関する。
【0002】
【従来の技術】カラー画像信号を取り扱う画像信号処理
回路においては、画像圧縮を含む種々の画像信号処理を
行っている。そして、一般的に、上記画像信号処理を行
う場合には、所定サイズの画素ブロック毎に行ってい
る。
【0003】上記所定サイズの画素ブロック毎に行う画
像信号処理の種類は種々であるが、例えば隣接ビットと
の差分出力の和や、ブロック内画素信号にそれぞれ重み
付けをしたのち和出力を求める積和演算を行う場合があ
った。
【0004】
【発明が解決しようとする課題】このような演算を行う
場合、従来は撮像センサからシリアルで出力される画素
信号を後段の信号処理回路に入力して行っていた。した
がって、例えば画素ブロック単位で演算処理を行う場合
には、各画素ブロックを構成する画素信号が撮像センサ
から全て出力されるまで待機しなければならなかった。
【0005】また、上記各画素信号のブロック単位の積
和演算等を行う場合には、メモリ手段を用いて行う必要
があったので、大きな容量のメモリが必要であった。
【0006】このため、従来の画像信号処理回路におい
て、種々の画像信号処理を行うようにするとコストパフ
ォーマンスが悪いだけでなく、信号処理を行う速度が遅
くなってしまう問題があった。
【0007】本発明は上述の問題点にかんがみ、画像信
号処理を行うために最適な画像信号を出力可能な撮像セ
ンサを提供できるようにすることを第1の目的とする。
また、撮像センサから出力される画像信号に種々の処理
を施す画像信号処理回路の構成を簡素化できるようにす
るとともに、画像信号処理回路における処理速度を向上
させることができるようにすることを第2の目的とす
る。
【0008】
【課題を解決するための手段】本発明の撮像センサは、
複数の画素信号を出力する撮像素子と同じICチップ部
上に、上記撮像素子より出力される各画素信号から1画
面より小さい所定サイズの画素ブロック毎に演算処理を
行い、上記画素ブロックの画素信号の加算情報を算出す
る撮像信号処理手段を設けたことを特徴としている。ま
た、本発明の撮像センサの他の特徴とするところは、上
記撮像信号処理手段は、各画素ブロック同志が重なるよ
うに所定の画素分ずつずらしながら加算情報を算出する
ことを特徴としている。また、本発明の撮像センサのそ
の他の特徴とするところは、上記撮像信号処理手段は、
上記画素ブロックの画素信号の加算情報を算出する際
に、各画素信号に重み付けを行うことを特徴としてい
る。
【0009】本発明の画像信号処理方法は、複数の画素
信号を出力する撮像素子より出力される各画素信号から
1画面より小さい所定サイズの画素ブロック毎に演算処
理を施して、画像圧縮処理を含む画像信号処理を後段の
回路で行うのに適した画素信号の加算情報を出力する撮
像信号処理手段を有し、撮像センサから出力される画像
信号を処理する方法であって、色情報に関して少なくと
もホワイトバランス補正又はγ補正を施す色処理工程を
経ずに上記撮像信号処理手段の出力を用いて画像信号の
情報量を圧縮する処理を施す圧縮工程と、上記情報圧縮
処理された画像信号に伸張処理を施す伸張工程とを行
い、上記伸張工程が終了した後で上記色処理工程を行う
ことを特徴としている。また、本発明の画像信号処理方
法の他の特徴とするところは、上記撮像信号処理手段
は、上記撮像素子と同じICチップ上に設けられている
ことを特徴としている。また、本発明の画像信号処理方
法のその他の特徴とするところは、上記撮像信号処理手
段は、少なくとも画像圧縮処理を含む画像信号処理を後
段の回路で行うのに適した所定サイズの画素ブロック毎
に、上記画素信号の加算情報を出力することを特徴とし
ている。また、本発明の画像信号処理方法のその他の特
徴とするところは、上記撮像信号処理手段は、上記所定
サイズの画素ブロック毎に画素信号を出力する際に、各
画素ブロック同志が重なるようにずらしながら出力する
ことを特徴としている。また、本発明の画像信号処理方
法のその他の特徴とするところは、上記撮像信号処理手
段は、上記所定サイズの画素ブロック毎に画素信号を出
力する際に、各画素信号に重み付けを行うことを特徴と
している。また、本発明の画像信号処理方法のその他の
特徴とするところは、上記圧縮工程及び伸張工程で処理
される画像信号は、上記撮像信号処理手段で生成されて
出力される疑似輝度色差信号(Y´、U´、V´)であ
ることを特徴としている。また、本発明の画像信号処理
方法のその他の特徴とするところは、上記圧縮工程及び
伸張工程はコードブック方式により行われるベクトル量
子化工程及びベクトル復号化工程であることを特徴とし
ている。また、本発明の画像信号処理方法のその他の特
徴とするところは、上記圧縮工程及び伸張工程はDC
T、量子化、可変長符号化を行う圧縮/伸張方式により
行われることを特徴としている。
【0010】本発明の画像信号処理システムは、複数の
画素信号を出力する撮像素子より出力される各画素信号
から1画面より小さい所定サイズの画素ブロック毎に演
算処理を施して、画像圧縮処理を含む画像信号処理を後
段の回路で行うのに適した画素信号の加算情報を出力す
る撮像信号処理手段を有し、撮像センサより出力される
画像信号に所定の信号処理を施して出力する画像信号供
給側と、上記画像信号供給側から得られる画像信号を使
用する画像信号入力側とからなる画像信号処理システム
であって、色情報に関して少なくともホワイトバランス
補正又はγ補正を施す前に上記撮像信号処理手段の出力
を用いて上記画像信号に情報圧縮処理を施す圧縮手段が
上記画像信号供給側に設けられ、上記情報圧縮された画
像信号に情報伸張処理を施す伸張手段及び色処理手段が
画像信号入力側に設けられていて、上記圧縮手段による
情報圧縮処理、及び上記伸張手段による情報伸張処理が
終了した後で、上記色処理手段により、色情報に関して
少なくともホワイトバランス補正又はγ補正を行うこと
を特徴としている。また、本発明の画像信号処理システ
ムの他の特徴とするところは、上記撮像信号処理手段
は、上記撮像素子と同じICチップ上に設けられている
ことを特徴としている。また、本発明の画像信号処理シ
ステムのその他の特徴とするところは、上記撮像信号処
理手段は、少なくとも画像圧縮処理を含む画像信号処理
を後段の回路で行うのに適した所定サイズの画素ブロッ
ク毎に、上記画素信号の加算情報を出力することを特徴
としている。また、本発明の画像信号処理システムのそ
の他の特徴とするところは、上記撮像信号処理手段は、
上記所定サイズの画素ブロック毎に画素信号を出力する
際に、各画素ブロック同志が重なるようにずらしながら
出力することを特徴としている。また、本発明の画像信
号処理システムのその他の特徴とするところは、上記撮
像信号処理手段は、上記所定サイズの画素ブロック毎に
画素信号を出力する際に、各画素信号に重み付けを行う
ことを特徴としている。また、本発明の画像信号処理シ
ステムのその他の特徴とするところは、上記圧縮手段及
び伸張手段で処理される画像信号は、上記撮像信号処理
手段で生成されて出力される疑似輝度色差信号(Y´、
U´、V´)であることを特徴としている。また、本発
明の画像信号処理システムのその他の特徴とするところ
は、上記圧縮手段及び伸張手段はコードブック方式によ
り行われるベクトル量子化手段及びベクトル復号化手段
であることを特徴としている。また、本発明の画像信号
処理システムのその他の特徴とするところは、上記圧縮
手段及び伸張手段はDCT、量子化、可変長符号化を行
う圧縮/伸張方式により行われることを特徴としてい
る。
【0011】本発明の撮像装置は、複数の画素信号を出
力する撮像素子より出力される各画素信号から1画面よ
り小さい所定サイズの画素ブロック毎に演算処理を施し
て、画像圧縮処理を含む画像信号処理を後段の回路で行
うのに適した画素信号の加算情報を出力する撮像信号処
理手段を有する撮像手段と、上記撮像手段から出力され
る画像信号の色情報に関し少なくともホワイトバランス
補正又はγ補正を施さない状態で上記撮像信号処理手段
の出力を用いて情報圧縮処理を施して圧縮画像信号を生
成する圧縮手段とを有することを特徴としている。ま
た、本発明の撮像装置の他の特徴とするところは、上記
撮像信号処理手段は、上記撮像素子と同じICチップ上
に設けられていることを特徴としている。また、本発明
の撮像装置のその他の特徴とするところは、上記圧縮手
段から出力される圧縮画像信号を記憶媒体に書き込む書
き込み手段を有することを特徴としている。また、本発
明の撮像装置のその他の特徴とするところは、上記記憶
媒体に記憶した圧縮画像信号を読み出す読み出し手段
と、上記読み出し手段によって読み出された圧縮画像信
号に情報伸張処理を施す伸張手段と、上記伸張手段によ
って再生された画像信号の色情報に関し少なくともホワ
イトバランス補正又はγ補正の何れか1つの処理を施す
色処理手段とを具備することを特徴としている。また、
本発明の撮像装置のその他の特徴とするところは、上記
撮像信号処理手段は、上記所定サイズの画素ブロック毎
に演算処理を行う際に、各画素ブロック同志が重なるよ
うにずらしながら行うことを特徴としている。また、本
発明の撮像装置のその他の特徴とするところは、上記撮
像信号処理手段は、上記所定サイズの画素ブロック毎に
加算情報を算出する際に、各画素信号に重み付けを行う
ことを特徴としている。また、本発明の撮像装置のその
他の特徴とするところは、上記圧縮手段で処理される画
像信号は、上記撮像信号処理手段で生成されて出力され
る疑似輝度色差信号(Y´、U´、V´)であることを
特徴としている。また、本発明の撮像装置のその他の特
徴とするところは、上記圧縮手段はコードブック方式に
より行われるベクトル量子化手段及びベクトル復号化手
段であることを特徴としている。また、本発明の撮像装
置のその他の特徴とするところは、上記圧縮手段はDC
T、量子化、可変長符号化を行う圧縮/伸張方式により
行われることを特徴としている。
【0012】本発明の記憶媒体は、上記画像信号処理方
法の手順をコンピュータに実行させるためのプログラム
を格納したことを特徴としている。また、本発明の記憶
媒体の他の特徴とするところは、上記各手段としてコン
ピュータを機能させるためのプログラムを格納したこと
を特徴としている。
【0013】
【発明の実施の形態】次に、本発明の撮像センサ、画像
信号処理方法、画像信号処理システム、撮像装置及び記
憶媒体の実施の形態を説明する。図1は、本発明の撮像
センサの構成を示すブロック図である。図1に示したよ
うに、この撮像センサ10は、センサ部11、垂直走査
回路12、ラインメモリ部13、水平走査回路14、ブ
ロックメモリ部15、積和演算部16等によって構成さ
れており、これらは1つのICチップ上に構成されてい
る。そして、上記ブロックメモリ部15及び積和演算部
16により撮像信号処理手段が構成されている。
【0014】上記センサ部11には、図2(a)〜
(c)に示すような画素センサセルが水平方向及び垂直
方向に複数個配列されている。そして、各画素センサセ
ルのフォトダイオードには、例えばシアン、イエロー、
マゼンダ、グリーンの3色の補色フィルタと1色の原色
フィルタが配設されていて、原信号Ye、Cy、Mg、
Grがセンサ部11からシリアルで出力される。なお、
リセットラインにより各セルの信号のリセットが行わ
れ、セレクトラインにより読み出し位置の選択が行われ
る。また、転送ラインにより光電変換信号をアンプに入
力する。
【0015】上記センサ部11から出力される原信号Y
e、Cy、Mg、Grはブロックメモリ部15に入力さ
れる。上記ブロックメモリ部15は、撮像センサ10の
後段に配設された画像信号処理装置で行う種々の信号処
理(例えば、圧縮処理)を行うのに最適な、画面サイズ
よりも小さい所定サイズのブロック単位で画素信号を出
力する。
【0016】積和演算部16は、上記ブロックメモリ部
15に記憶されている画素信号をマトリックス演算し、
圧縮のコードサイズと同じ所定のブロック単位毎に平均
輝度を算出したり、重み付け加算値の出力を行ったりす
る処理を行う。ここで、ブロック単位の画素信号の重み
付け加算値(重み付け係数は負も含む)を加算情報と定
義する。
【0017】図3は、ブロックメモリ部15及び積和演
算部16の具体的な構成例を示す回路図であり、図4は
各部の動作タイミングを示すタイミングチャートであ
る。図3に示したように、この回路は、「3×3」の9
画素分のブロック単位の信号を並列に出力するように構
成している。
【0018】そして、「3×3」の画素ブロックを水平
方向に1画素分ずつずらせながら読み出すようにしてい
る。したがって、同じ画素の信号が3回読み出されるこ
とになる。読み出し動作の詳細な説明は省略するが、水
平走査パルスH1 〜H5 、垂直走査パルスV1 〜V5
シフトパルスS1 〜S3 、選択信号T1 〜T3 が図4に
示したように変化すると、最初の時点t1 においては、
11、Y21、Y31、Y 12、Y22、Y32、Y13、Y23、Y
33の画素信号が出力される。
【0019】これらの9個の画素信号は、メモリ用コン
デンサC1 〜C9 にそれぞれ蓄積されていたものであ
る。そして、次の時点t2 では1 画素分だけ水平方向に
移動した「3×3」画素ブロック分の信号が並列で出力
される。すなわち、Y14、Y12、Y13、Y24、Y22、Y
23、Y34、Y32、Y33の画素信号が出力されることにな
る。
【0020】この場合、9個の画素信号のうち、前の時
点t1 に出力された画素信号と異なる画素信号は、
11、Y21、Y31の3個であり、Y12、Y13、Y22、Y
23、Y32、Y33の画素信号は同じである。すなわち、メ
モリ用コンデンサC2 、C3 、C 5 、C6 、C8 、C9
にそれぞれ保持されていた画素信号が出力される。上述
のようにして、水平方向に1画素分ずつずらせながら読
み出すようにしている。
【0021】図5は、「3×3」画素ブロック分の信号
を垂直方向に1画素分ずつずらしながら読み出すように
した回路の一例を示し、図6は図5の回路の各部の動作
タイミングを示すタイミングチャートである。
【0022】また、図7は、画素間に垂直出力線を3本
ずつ設けた例を示す回路図であり、図8は図7の回路の
各部の動作タイミングを示すタイミングチャートであ
る。この例の場合、スキャン順序は水平方向となる。
【0023】次に、図9〜図13を参照しながら重み付
けを行う回路の例を説明する。図9の回路における出力
電圧Vout は、Vout =−R3 /R1 in+(R1 +R
3 )VREF となる。
【0024】また、図10(a)の回路の重み付けは、
垂直出力線に介設された抵抗器R1(R2 、R3 )と増
幅器に配設された帰還抵抗器Rout との比によって所望
の重み付けを行うことができる。また、図10(b)に
示した回路のように、差演算を行う場合には、画素信号
を(+)と(−)端子にそれぞれ入力するようにする。
【0025】また、図11に示すように、所定の係数を
有する演算増幅器を画素信号の出力端にカスケード接続
することによっても、重み付けを行うことができる。図
11に示した例は、「−1」、「−2」、「−1/2」
の演算増幅器をカスケード接続した例を示しており、図
12は、図11の回路の各部の動作タイミングを示すタ
イミングチャートである。
【0026】図11に示したように、3つの演算増幅器
を経由した出力は「−1」となり、最初の2つの演算増
幅器を経由した出力は「2」となる。また、1番目の演
算増幅器のみを経由した出力は「−1」となる。
【0027】図13にマトリックス演算回路の別の例を
示す。この例の場合、C1(V1- V i1)+C2(V2- V i1)+C(V
01- V i1)=0、V0= AV i1(A はオペアンプのオープンル
ープゲイン) 、A →∞ではV i1=0、C1V1+C2V2+CV01=0、
V01 = (-C1V1-C2V2)/C
【0028】また、C( Vo1- V i2)+C3(V3- V i2)+C(V02
- V i2)=0 、 Vi2→0 、-C1V1-C2V2+C3V3=0 、V02 = (C
1V1+C2V2-C3V3)/Cである。
【0029】次に、図14〜図16を参照しながら、本
実施の形態の撮像センサ出力の具体的な使用例を説明す
る。この例は、本実施の形態の撮像センサの出力をコー
ドブック方式(ベクトル量子化方式)の圧縮伸張装置に
適用した例を示している。
【0030】すなわち、図14に示すように「4×4」
画素ブロックの加算情報としての積和演算値(図14は
重み付け係数1の例)を求めておけば、例えば、後段の
画像信号処理ブロックにおいて、コードブック方式の情
報圧縮伸張を行う場合に、複数の量子化コードの中から
近似したコードを検索する際に、上記積和演算値を用い
てコードブックの中から、近似した積和演算値を有する
例えば、コードA,B,Cのような3つのコードの絞り
込みができるので、高速且つ高精度に検索することがで
きる。
【0031】更に、図15に示すように、「6×6」画
素ブロックの外周部の信号を抽出し、その平均輝度を算
出する。そして、候補のコードA,B,Cの外周画素に
対応するデータの平均A´バー、B´バー、C´バーを
同様に求めて比較する。上述したようなセンサ側のブロ
ックの演算を撮像センサ上で行っておけば、撮像センサ
の出力信号を使用してコードブック方式の圧縮伸張を高
速に、且つ高精度に行うことができる。
【0032】図16は、本実施の形態の撮像センサ10
を用いて、コードブック方式の情報圧縮を行う手順を示
すフローチャートである。図16に示したように、撮像
動作が開始されると、最初のステップP1において、セ
ンサ部11で生成された各画素の信号が出力され、所定
画素数の信号がブロックメモリ部15に保持される。
【0033】そして、所定の画素ブロックを構成する画
素信号がブロックメモリ部15に蓄積されるとステップ
P2に進み、所定の画素ブロック(この例では、4×4
の画素ブロック)の平均輝度Sバーが算出されて出力さ
れる。
【0034】次に、ステップP3において、各画素の信
号と、上記積和演算部16によって算出された平均輝度
Sバーの値を基にして、画素ブロックに対応するコード
候補(ベクトル量子化コード)A,B,Cをコードブッ
ク記憶装置(図示せず)の中から選択する。なお、コー
ドブックの各コードには、予め対応する積和値がリンク
して記憶されており、A,B,Cを選択する際に、先
ず、コードブックの中から近似する積和値のものを絞り
込むことでA,B,Cが選択される。
【0035】次に、ステップP4に進み、図15を参照
しながら説明したように、「6×6」の画素ブロックに
おける外周部の信号を抽出し、その平均輝度S´バーを
求める。
【0036】次に、ステップP5において、上述した画
素ブロックに対応するコード候補A,B,Cのそれぞれ
の外周画素に対応するデータの平均輝度A´バー,B´
バー,C´バーを演算する。
【0037】次に、ステップP6において、ステップP
4において求めた平均輝度S´バーと、ステップP5に
おいて求めた外周画素に対応するデータの平均輝度A´
バー,B´バー,C´バーとの差演算をそれぞれ行う。
【0038】次に、ステップP7において、A〜Cの中
から上記差演算の結果が最小となるコードを、データ圧
縮しようとするブロックに対応するコードとして選択
し、そのコード番号を出力する。
【0039】本実施の形態においては、上述したように
してコード選択を行うので、隣接ブロックに対して滑ら
かに境界がつながるベクトル量子化コードを容易に選択
することができる。その結果、高品位なベクトル量子化
による画像圧縮を実現することができる。
【0040】また、本実施の形態では、上述したステッ
プP1、ステップP2、ステップP4の処理を撮像セン
サ10内で行うことができるので、画像圧縮処理を高速
に行うことが可能となる。また、撮像センサ10からは
画面サイズよりも小さい所定サイズの画素ブロック単位
で画素信号を出力することができるので、必要な画素数
の信号が撮像センサ10から出力されるまで待機する必
要がなく、待機時間及び画素信号を保持するためのメモ
リ容量を削減することができる。
【0041】なお、コードブック内の各コードにリンク
させてそれぞれのコードのSバー、A´バー、B´バ
ー、C´バー・・・の値を記憶させておけば、例えば、
ステップP5の処理を省略することができる。逆に、上
記のSバー値もその都度演算で求めるようにすれば、コ
ードブックメモリの容量を節約することができる。
【0042】次に、本実施の形態の撮像センサ10を用
いた第2の実施の形態を図17のブロック図を参照しな
がら説明する。図17は、本発明の撮像部10を用いて
構成した画像信号処理システムの一例を示すブロック図
である。図17に示したように、この画像信号処理シス
テムは、撮像素子ICチップ部(撮像部)10、コード
ブック方式圧縮装置40、コード番号出力装置41によ
って画像信号の出力側が構成されている。また、コード
番号入力装置50、コードブック方式伸張装置60、色
処理装置100、画像表示または記憶装置90によって
画像信号の入力側が構成されている。
【0043】上記撮像センサ10は撮像素子(受光素
子)11及び撮像信号処理装置110を有し、上述した
ように、撮像センサ10からは疑似Y´信号、疑似U´
信号、疑似V´信号等の撮像部出力信号S10が出力さ
れる。
【0044】上記撮像センサ10から出力される撮像部
出力信号S10は、コードブック方式圧縮装置40に入
力される。上記コードブック方式圧縮装置40は、上述
したように、撮像センサ10から入力された所定の画素
数分の撮像部出力信号S10のパターンと、コードブッ
ク記憶装置(図示せず)に予め記憶されている複数のコ
ード(パターン)とを比較する。
【0045】本実施の形態のコードブック記憶装置(図
示せず)には、撮像センサ10から出力される撮像部出
力信号S10に対応するパターンで複数のコードが記憶
されており、コードブック方式圧縮装置40はその中で
最も似通ったパターンを見つけ出し、そのパターンのコ
ード番号を出力する。そして、コードブック方式圧縮装
置40から出力されたコード番号は、コード番号出力装
置41により通信回線等の媒体を介してコード番号入力
装置側に送信される。
【0046】通信回線を介して送られてきたコード番号
は、コード番号入力装置50によって入力されてコード
ブック方式伸張装置60に供給される。コードブック方
式伸張装置60は、入力されたコード番号に対応するパ
ターンをコードブック記憶装置(図示せず)から読みだ
して、コードブック方式圧縮装置40によって圧縮した
画像データを再生する。
【0047】コードブック方式伸張装置60によって再
生された撮像部出力信号S10は、次に、色処理装置1
00に与えられる。上記色処理装置100は、入力され
た撮像部出力信号S10中の色情報に関しホワイトバラ
ンス補正、γ補正等の色補正処理のように、良好な画質
を得るために必要な種々の処理を行う色処理部82を有
している。
【0048】したがって、コードブック方式伸張装置6
0から入力された原信号Ye、Cy、Mg、Grは、こ
の色処理装置100において所定の色処理が施され、輝
度信号Y、及び色差信号u、vが生成されて出力され
る。
【0049】色処理装置100から出力された輝度信号
Y、及び色差信号u、vは、画像表示または記憶装置9
0に与えられ、画像表示されたり、記憶媒体に記憶され
たりする。なお、本実施の形態においては、情報圧縮伸
張方式としてコードブック方式を用いた例を示したが、
DCT、量子化、可変長符号化を行う圧縮/伸張方式を
用いるようにしてもよい。
【0050】上述のように、本実施の形態の画像信号処
理システムは、高品位の画質を得るために行う色補正処
理を、情報圧縮処理の前に行わずに情報伸張処理の後で
行っている。したがって、情報圧縮処理→情報伸張処理
に伴って発生するブロックノイズや高周波ノイズによる
画質の劣化を最小限に抑えることができ、回線を介して
伝送する際の情報量を大幅に削減できるとともに、色処
理後に画像信号が劣化しないようにすることができ、高
品位の画質を得ることができる。
【0051】次に、図18を参照しながら第3の実施の
形態を説明する。上述した第2の実施の形態において
は、圧縮処理を施した信号を通信回線等の媒体を介して
外部に出力するようにした例を示したが、この例におい
ては、圧縮後の信号を一旦記録媒体に記録し、これを再
生するとともに、圧縮伸張処理の後で色処理を行う撮像
装置に適用した例を示している。
【0052】すなわち、図17と異なる構成は、コード
ブック方式圧縮装置40とコードブック方式伸張装置6
0との間に、書込装置130、記憶媒体131、読出装
置132を設けている。
【0053】このように構成することにより、撮像セン
サ10から出力される画像信号を記憶媒体131に記憶
するために必要な記憶容量を格段と低減することがで
き、しかも記憶媒体131から読み出した画像信号をコ
ードブック方式伸張装置60で再生してから色処理装置
100内において色処理を行うので、画質の劣化が少な
くて済み、高品質な画像を画像表示装置133に表示す
ることができる。
【0054】なお、本実施の形態撮像装置は媒体131
までの構成にとどめることもできる。また、上記読出装
置132、コードブック方式伸張装置60、色処理装置
100、画像表示装置133は再生装置(例えば、パソ
コン)に含ませることもできる。また、第2、第3実施
例において、撮像信号処理装置110は撮像素子と同一
のチップ上に設けなくともよい。また、フィルタパター
ンは例えば、R,G,Bの組み合わせでもよい。
【0055】また、本実施の形態においては、情報圧縮
伸張方式としてコードブック方式を用いた例を示した
が、DCT、量子化、可変長符号化を行う圧縮/伸張方
式を用いるようにしてもよい。また、図17、図18の
実施例において、撮像部から原信号もコードブック方式
圧縮装置に入力して圧縮に用いてもよい。
【0056】なお、上述した実施の形態の各機能を実現
するソフトウェアのプログラムコードを記憶した記憶媒
体を、システム或いは装置に供給し、そのシステム或い
は装置のコンピュータ(またはCPUやMPU、いずれ
も図示せず)が記憶媒体に格納されたプログラムコード
を読みだして実行することによっても、達成されること
は言うまでもない。この場合、記憶媒体から読み出され
たプログラムコード自体が実施の形態の機能を実現する
こととなり、そのプログラムコードを記憶した記憶媒体
は本発明を構成することとなる。
【0057】プログラムコードを供給するための記憶媒
体としては、ROM、フロッピーディスク、ハードディ
スク、光ディスク、光磁気ディスク、CD−ROM、C
D−R、磁気テープ、不揮発性のメモリカード等を用い
ることができる。
【0058】また、コンピュータが読みだしたプログラ
ムコードを実行することにより、実施の形態の機能が実
現されるだけでなく、そのプログラムコードの指示に基
づき、コンピュータ上で稼動しているOS等が実際の処
理の一部又は全部を行い、その処理によって実施の形態
の機能が実現される場合も含まれる。
【0059】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された拡張機能ボー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書き込まれた後、そのプログラムコードの指
示に基づき、その機能拡張ボードや機能拡張ユニットに
備わるCPUなどが実際の処理の一部又は全部を行い、
その処理によって実施の形態の機能が実現される場合も
含まれる。
【0060】
【発明の効果】本発明は上述したように、画像圧縮に適
した形式の画像信号及びブロック単位の特徴データを撮
像センサから出力することができるので、撮像センサか
ら出力される画像信号を圧縮処理する際の精度及び処理
速度を大幅に向上させることができる。
【0061】また、本発明のその他の特徴によれば、カ
ラー画像信号処理を行う場合の一般的な前処理である擬
似輝度色差演算等を撮像センサ上で行うことができるの
で、演算速度を高速化することができるとともに、後段
で行う色信号処理に必要なメモリ容量を低減することが
できる。
【0062】また、本発明の他の特徴によれば、色情報
に関し少なくともホワイトバランス補正又はγ補正等の
色補正を行わずに、撮像素子からのブロックごとの特徴
データを演算し、この特徴データを用いて画像信号に情
報圧縮処理を施す圧縮処理と、上記情報圧縮処理された
画像信号に情報伸張処理を施す伸張処理とを行う場合
に、上記情報圧縮処理及び情報伸張処理を行った後で上
記色処理を行うようにしたので、画像信号を伝送した
り、記憶媒体に記憶したりする際のデータ量を大幅に削
減することができ、且つ色処理後に画質の劣化が生じな
いようにすることができて高品質の画像を得ることがで
きる。
【図面の簡単な説明】
【図1】本発明の撮像センサの構成例を示すブロック図
である。
【図2】画素センサの構成例を示す回路図である。
【図3】マトリクス演算手段の第1の例を示す回路図で
ある。
【図4】図3の回路の各部の動作タイミングを示す図で
ある。
【図5】マトリクス演算手段の第2の例を示す回路図で
ある。
【図6】図5の回路の各部の動作タイミングを示す図で
ある。
【図7】マトリクス演算手段の第3の例を示す回路図で
ある。
【図8】図7の回路の各部の動作タイミングを示す図で
ある。
【図9】重み付け演算を行うマトリクス演算手段の第1
の例を示す回路図である。
【図10】重み付け演算を行うマトリクス演算手段の第
2の例を示す回路図である。
【図11】重み付け演算を行うマトリクス演算手段の第
3の例を示す回路図である。
【図12】図11の回路の各部の動作タイミングを示す
図である。
【図13】重み付け演算を行うマトリクス演算手段の第
4の例を示す回路図である。
【図14】コードブック方式の情報圧縮の原理を説明す
る図である。
【図15】コードブック方式の情報圧縮の原理を説明す
る図である。
【図16】実施の形態の撮像センサ撮像装置用いてコー
ドブック方式の情報圧縮処理を行う手順を示すフローチ
ャートである。
【図17】実施の形態の撮像センサを用いた画像信号処
理システムの第2の実施の形態を示すブロック図であ
る。
【図18】実施の形態の撮像センサを撮像装置に適用し
た例を示すブロック図である。
【符号の説明】
10 撮像センサ(撮像部) 11 撮像素子 12 垂直走査回路 13 ラインメモリ部 14 水平走査回路 15 ブロックメモリ部 16 積和演算部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 9/73 H04N 9/73 Z (72)発明者 櫻井 克仁 東京都大田区下丸子3丁目30番2号 キヤ ノン株式会社内 (72)発明者 小川 勝久 東京都大田区下丸子3丁目30番2号 キヤ ノン株式会社内 (72)発明者 上野 勇武 東京都大田区下丸子3丁目30番2号 キヤ ノン株式会社内 (72)発明者 須川 成利 東京都大田区下丸子3丁目30番2号 キヤ ノン株式会社内 Fターム(参考) 5C024 AA01 CA23 DA01 FA00 FA01 HA00 HA17 HA20 5C065 BB02 BB12 BB48 CC01 CC02 CC03 DD01 GG20 GG21 GG23 GG50 5C066 AA01 AA11 BA17 CA02 GA01 GB01 KE00 KM02 5C078 AA09 BA21 BA22 BA53 BA57 CA00 DA00 DA01 DA02 DA11 DA12

Claims (30)

    【特許請求の範囲】
  1. 【請求項1】 複数の画素信号を出力する撮像素子と同
    じICチップ部上に、上記撮像素子より出力される各画
    素信号から1画面より小さい所定サイズの画素ブロック
    毎に演算処理を行い、上記画素ブロックの画素信号の加
    算情報を算出する撮像信号処理手段を設けたことを特徴
    とする撮像センサ。
  2. 【請求項2】 上記撮像信号処理手段は、各画素ブロッ
    ク同志が重なるように所定の画素分ずつずらしながら加
    算情報を算出することを特徴とする請求項1に記載の撮
    像センサ。
  3. 【請求項3】 上記撮像信号処理手段は、上記画素ブロ
    ックの画素信号の加算情報を算出する際に、各画素信号
    に重み付けを行うことを特徴とする請求項1または2に
    記載の撮像センサ。
  4. 【請求項4】 複数の画素信号を出力する撮像素子より
    出力される各画素信号から1画面より小さい所定サイズ
    の画素ブロック毎に演算処理を施して、画像圧縮処理を
    含む画像信号処理を後段の回路で行うのに適した画素信
    号の加算情報を出力する撮像信号処理手段を有し、撮像
    センサから出力される画像信号を処理する方法であっ
    て、 色情報に関して少なくともホワイトバランス補正又はγ
    補正を施す色処理工程を経ずに上記撮像信号処理手段の
    出力を用いて画像信号の情報量を圧縮する処理を施す圧
    縮工程と、上記情報圧縮処理された画像信号に伸張処理
    を施す伸張工程とを行い、上記伸張工程が終了した後で
    上記色処理工程を行うことを特徴とする画像信号処理方
    法。
  5. 【請求項5】 上記撮像信号処理手段は、上記撮像素子
    と同じICチップ上に設けられていることを特徴とする
    請求項4に記載の画像信号処理方法。
  6. 【請求項6】 上記撮像信号処理手段は、少なくとも画
    像圧縮処理を含む画像信号処理を後段の回路で行うのに
    適した所定サイズの画素ブロック毎に、上記画素信号の
    加算情報を出力することを特徴とする請求項5に記載の
    画像信号処理方法。
  7. 【請求項7】 上記撮像信号処理手段は、上記所定サイ
    ズの画素ブロック毎に画素信号を出力する際に、各画素
    ブロック同志が重なるようにずらしながら出力すること
    を特徴とする請求項6に記載の画像信号処理方法。
  8. 【請求項8】 上記撮像信号処理手段は、上記所定サイ
    ズの画素ブロック毎に画素信号を出力する際に、各画素
    信号に重み付けを行うことを特徴とする請求項4〜7の
    何れか1項に記載の画像信号処理方法。
  9. 【請求項9】 上記圧縮工程及び伸張工程で処理される
    画像信号は、上記撮像信号処理手段で生成されて出力さ
    れる疑似輝度色差信号(Y´、U´、V´)であること
    を特徴とする請求項4〜8の何れか1項に記載の画像信
    号処理方法。
  10. 【請求項10】 上記圧縮工程及び伸張工程はコードブ
    ック方式により行われるベクトル量子化工程及びベクト
    ル復号化工程であることを特徴とする請求項4〜9の何
    れか1項に記載の画像信号処理方法。
  11. 【請求項11】 上記圧縮工程及び伸張工程はDCT、
    量子化、可変長符号化を行う圧縮/伸張方式により行わ
    れることを特徴とする4〜9の何れか1項に記載の画像
    信号処理方法。
  12. 【請求項12】 複数の画素信号を出力する撮像素子よ
    り出力される各画素信号から1画面より小さい所定サイ
    ズの画素ブロック毎に演算処理を施して、画像圧縮処理
    を含む画像信号処理を後段の回路で行うのに適した画素
    信号の加算情報を出力する撮像信号処理手段を有し、撮
    像センサより出力される画像信号に所定の信号処理を施
    して出力する画像信号供給側と、上記画像信号供給側か
    ら得られる画像信号を使用する画像信号入力側とからな
    る画像信号処理システムであって、 色情報に関して少なくともホワイトバランス補正又はγ
    補正を施す前に上記撮像信号処理手段の出力を用いて上
    記画像信号に情報圧縮処理を施す圧縮手段が上記画像信
    号供給側に設けられ、上記情報圧縮された画像信号に情
    報伸張処理を施す伸張手段及び色処理手段が画像信号入
    力側に設けられていて、 上記圧縮手段による情報圧縮処理、及び上記伸張手段に
    よる情報伸張処理が終了した後で、上記色処理手段によ
    り、色情報に関して少なくともホワイトバランス補正又
    はγ補正を行うことを特徴とする画像信号処理システ
    ム。
  13. 【請求項13】 上記撮像信号処理手段は、上記撮像素
    子と同じICチップ上に設けられていることを特徴とす
    る請求項12に記載の画像信号処理システム。
  14. 【請求項14】 上記撮像信号処理手段は、少なくとも
    画像圧縮処理を含む画像信号処理を後段の回路で行うの
    に適した所定サイズの画素ブロック毎に、上記画素信号
    の加算情報を出力することを特徴とする請求項12また
    は13に記載の画像信号処理システム。
  15. 【請求項15】 上記撮像信号処理手段は、上記所定サ
    イズの画素ブロック毎に画素信号を出力する際に、各画
    素ブロック同志が重なるようにずらしながら出力するこ
    とを特徴とする請求項12〜14の何れか1項に記載の
    画像信号処理システム。
  16. 【請求項16】 上記撮像信号処理手段は、上記所定サ
    イズの画素ブロック毎に画素信号を出力する際に、各画
    素信号に重み付けを行うことを特徴とする請求項12〜
    15の何れか1項に記載の画像信号処理システム。
  17. 【請求項17】 上記圧縮手段及び伸張手段で処理され
    る画像信号は、上記撮像信号処理手段で生成されて出力
    される疑似輝度色差信号(Y´、U´、V´)であるこ
    とを特徴とする請求項12〜16の何れか1項に記載の
    画像信号処理システム。
  18. 【請求項18】 上記圧縮手段及び伸張手段はコードブ
    ック方式により行われるベクトル量子化手段及びベクト
    ル復号化手段であることを特徴とする請求項12〜17
    の何れか1項に記載の画像信号処理システム。
  19. 【請求項19】 上記圧縮手段及び伸張手段はDCT、
    量子化、可変長符号化を行う圧縮/伸張方式により行わ
    れることを特徴とする12〜17の何れか1項に記載の
    画像信号処理システム。
  20. 【請求項20】 複数の画素信号を出力する撮像素子よ
    り出力される各画素信号から1画面より小さい所定サイ
    ズの画素ブロック毎に演算処理を施して、画像圧縮処理
    を含む画像信号処理を後段の回路で行うのに適した画素
    信号の加算情報を出力する撮像信号処理手段を有する撮
    像手段と、 上記撮像手段から出力される画像信号の色情報に関し少
    なくともホワイトバランス補正又はγ補正を施さない状
    態で上記撮像信号処理手段の出力を用いて情報圧縮処理
    を施して圧縮画像信号を生成する圧縮手段とを有するこ
    とを特徴とする撮像装置。
  21. 【請求項21】 上記撮像信号処理手段は、上記撮像素
    子と同じICチップ上に設けられていることを特徴とす
    る請求項20に記載の撮像装置。
  22. 【請求項22】 上記圧縮手段から出力される圧縮画像
    信号を記憶媒体に書き込む書き込み手段を有することを
    特徴とする請求項20に記載の撮像装置。
  23. 【請求項23】 上記記憶媒体に記憶した圧縮画像信号
    を読み出す読み出し手段と、 上記読み出し手段によって読み出された圧縮画像信号に
    情報伸張処理を施す伸張手段と、 上記伸張手段によって再生された画像信号の色情報に関
    し少なくともホワイトバランス補正又はγ補正の何れか
    1つの処理を施す色処理手段とを具備することを特徴と
    する請求項20に記載の撮像装置。
  24. 【請求項24】 上記撮像信号処理手段は、上記所定サ
    イズの画素ブロック毎に演算処理を行う際に、各画素ブ
    ロック同志が重なるようにずらしながら行うことを特徴
    とする請求項20〜23の何れか1項に記載の撮像装
    置。
  25. 【請求項25】 上記撮像信号処理手段は、上記所定サ
    イズの画素ブロック毎に加算情報を算出する際に、各画
    素信号に重み付けを行うことを特徴とする請求項20〜
    24の何れか1項に記載の撮像装置。
  26. 【請求項26】 上記圧縮手段で処理される画像信号
    は、上記撮像信号処理手段で生成されて出力される疑似
    輝度色差信号(Y´、U´、V´)であることを特徴と
    する請求項20〜25の何れか1項に記載の撮像装置。
  27. 【請求項27】 上記圧縮手段はコードブック方式によ
    り行われるベクトル量子化手段及びベクトル復号化手段
    であることを特徴とする請求項20〜25の何れか1項
    に記載の撮像装置。
  28. 【請求項28】 上記圧縮手段はDCT、量子化、可変
    長符号化を行う圧縮/伸張方式により行われることを特
    徴とする20〜25の何れか1項に記載の撮像装置。
  29. 【請求項29】 請求項4〜11の何れか1項に記載の
    画像信号処理方法の手順をコンピュータに実行させるた
    めのプログラムを格納したことを特徴とする記憶媒体。
  30. 【請求項30】 請求項12〜28の何れかに記載の各
    手段としてコンピュータを機能させるためのプログラム
    を格納したことを特徴とする記憶媒体。
JP19218998A 1998-06-24 1998-07-07 撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体 Expired - Fee Related JP3728107B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP19218998A JP3728107B2 (ja) 1998-07-07 1998-07-07 撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体
US09/338,865 US6567571B1 (en) 1998-06-24 1999-06-23 Image sensing device capable of outputting image signals by blocks and processing circuit which processes image signals by blocks

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19218998A JP3728107B2 (ja) 1998-07-07 1998-07-07 撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体

Publications (2)

Publication Number Publication Date
JP2000032481A true JP2000032481A (ja) 2000-01-28
JP3728107B2 JP3728107B2 (ja) 2005-12-21

Family

ID=16287168

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19218998A Expired - Fee Related JP3728107B2 (ja) 1998-06-24 1998-07-07 撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体

Country Status (1)

Country Link
JP (1) JP3728107B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002354498A (ja) * 2001-05-24 2002-12-06 Nikon Corp 電子カメラ
JP2006025270A (ja) * 2004-07-09 2006-01-26 Sony Corp 撮像装置及び撮像素子の集積回路
JP2006261789A (ja) * 2005-03-15 2006-09-28 Canon Inc 撮像装置、撮像素子、及び撮像処理方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002354498A (ja) * 2001-05-24 2002-12-06 Nikon Corp 電子カメラ
JP2006025270A (ja) * 2004-07-09 2006-01-26 Sony Corp 撮像装置及び撮像素子の集積回路
JP4599917B2 (ja) * 2004-07-09 2010-12-15 ソニー株式会社 撮像装置
US8174587B2 (en) 2004-07-09 2012-05-08 Sony Corporation Imaging apparatus, integrated circuit for image pickup device and image data processing method
JP2006261789A (ja) * 2005-03-15 2006-09-28 Canon Inc 撮像装置、撮像素子、及び撮像処理方法
US8164646B2 (en) 2005-03-15 2012-04-24 Canon Kabushiki Kaisha Image capturing apparatus, image capturing sensor, and image capturing processing method

Also Published As

Publication number Publication date
JP3728107B2 (ja) 2005-12-21

Similar Documents

Publication Publication Date Title
JP3096618B2 (ja) 撮像装置
US7230643B2 (en) Digital camera with electronic zooming function
US6269183B1 (en) Image processing device and still image pickup device, and method for processing image
JP4683678B2 (ja) 画像信号処理方法、画像信号処理システム、記憶媒体及び撮像装置
US7936375B2 (en) Image processor, imaging device, and image processing system use with image memory
US6587603B1 (en) Sensor unit capable of outputting image signals by blocks and processing circuit which processes image signals by blocks
JP2000244935A (ja) 画像データ圧縮方法
US6684000B1 (en) Image sensing device capable of outputting image signals by blocks and processing circuit which processes image signals by blocks
JP2001203970A (ja) 画像記録装置、画像再生装置および画像処理プログラムを記録した記録媒体
US20030123741A1 (en) Image processing device and image processing method
JP2702408B2 (ja) 画像変換システム
JP2000032481A (ja) 撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体
JP4092830B2 (ja) 画像データ圧縮方法
JP4164161B2 (ja) 画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体
JP3081538B2 (ja) デジタルスチルカメラ
JP4281161B2 (ja) 電子カメラ
JP4599705B2 (ja) 画像処理装置及びその方法、並びにプログラム記録媒体
JP4339671B2 (ja) 撮像装置
JP2002152762A (ja) 画像処理装置および画像処理プログラムを記録した記録媒体
JP3652123B2 (ja) 撮像素子、画像処理装置、画像処理システム、及び記憶媒体
JP2000050293A (ja) 撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記録媒体
JPH10327428A (ja) ディジタルカメラ
JPH0349483A (ja) 撮像装置及び画像処理装置
JP3667098B2 (ja) 撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体
JP3623882B2 (ja) 画像再生装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050930

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091007

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091007

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101007

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101007

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111007

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111007

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121007

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131007

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees