JP2003259220A - Image data processor, imaging system, image data processing method, computer program and computer readable storage medium - Google Patents

Image data processor, imaging system, image data processing method, computer program and computer readable storage medium

Info

Publication number
JP2003259220A
JP2003259220A JP2002050313A JP2002050313A JP2003259220A JP 2003259220 A JP2003259220 A JP 2003259220A JP 2002050313 A JP2002050313 A JP 2002050313A JP 2002050313 A JP2002050313 A JP 2002050313A JP 2003259220 A JP2003259220 A JP 2003259220A
Authority
JP
Japan
Prior art keywords
data
image sensor
image
pixel
address
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002050313A
Other languages
Japanese (ja)
Other versions
JP4343484B2 (en
JP2003259220A5 (en
Inventor
Yuichiro Yamashita
雄一郎 山下
Kazuhiro Sonoda
一博 園田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2002050313A priority Critical patent/JP4343484B2/en
Publication of JP2003259220A publication Critical patent/JP2003259220A/en
Publication of JP2003259220A5 publication Critical patent/JP2003259220A5/ja
Application granted granted Critical
Publication of JP4343484B2 publication Critical patent/JP4343484B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

<P>PROBLEM TO BE SOLVED: To correct the defect of data outputted from an image sensor in real time without needing a conventionally required frame memory. <P>SOLUTION: The address of a particular pixel on an image sensor 101 is stored in a memory part 106, a counter 108 indicates the current address of data outputted from the image sensor 101, an address decoding part 109 detects a coincidence between the address of the particular pixel stored in the memory part 106 and the current address indicated by the counter 106, and an image correcting part 103 corrects pixel data corresponding to the current address and outputted from the image sensor 101, so that the defect of the data from the image sensor 101 can be corrected, thereby eliminating the need for the conventionally required frame memory. <P>COPYRIGHT: (C)2003,JPO

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、イメージデータ処
理装置、撮像システム、イメージデータ処理方法、コン
ピュータプログラム、及びコンピュータ読み取り可能な
記憶媒体に関し、特に、イメージセンサからのデータを
補正するものに用いて好適なものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image data processing device, an imaging system, an image data processing method, a computer program, and a computer-readable storage medium, and in particular, it is used for correcting data from an image sensor. It is suitable.

【0002】[0002]

【従来の技術】イメージセンサはある確率で画素の点欠
陥を有している。従来は、その点欠陥を以下のような方
式で補正していた。 1)画素の点欠陥のアドレスをあらかじめメモリに記憶
させておく。 2)イメージセンサからのデータをフレームメモリに記
憶する。 3)フレームメモリに記憶されたデータの各画素データ
うち上記メモリに記憶されたアドレスに対応する画素デ
ータを、その周辺画素データを用いた演算により補間す
る。
2. Description of the Related Art Image sensors have a certain probability of having pixel point defects. Conventionally, the point defect has been corrected by the following method. 1) The address of the point defect of the pixel is stored in the memory in advance. 2) Store the data from the image sensor in the frame memory. 3) Of each pixel data of the data stored in the frame memory, the pixel data corresponding to the address stored in the memory is interpolated by the calculation using the peripheral pixel data.

【0003】[0003]

【発明が解決しようとする課題】しかしこの方式では、
全画面に対応したフレームメモリが必要であり、コスト
の増加につながることや、また、一枚の画像データを取
り終えた後に演算を行うことから単位時間あたりのフレ
ーム出力枚数が欠陥補正処理によって減ってしまうこと
などの問題があった。
However, in this method,
A frame memory that supports all screens is required, which leads to an increase in cost, and the number of frame outputs per unit time is reduced by the defect correction process because the calculation is performed after one image data is taken. There were problems such as being lost.

【0004】また、この方式を採用した際、実使用に耐
える時間内に処理を終えるためには、イメージセンサの
処理動作と比較して、より高速なクロックで処理ICが
動作する必要があり、そのような場合には、ICが生み
出すノイズがイメージセンサに伝わってしまい、画質が
劣化するという欠点があった。
Further, when this system is adopted, in order to complete the processing within a time period that can withstand actual use, the processing IC needs to operate at a clock faster than the processing operation of the image sensor. In such a case, there is a drawback that the noise generated by the IC is transmitted to the image sensor and the image quality is deteriorated.

【0005】本発明は上述の問題点にかんがみてなされ
たもので、従来必要とされたフレームメモリを必要とせ
ず、リアルタイムでイメージセンサから出力されるデー
タの欠陥補正を行うことができるようにすることを目的
とする。
The present invention has been made in view of the above-mentioned problems, and makes it possible to perform defect correction of data output from an image sensor in real time without requiring a frame memory which has been conventionally required. The purpose is to

【0006】[0006]

【課題を解決するための手段】本発明のイメージデータ
処理装置は、画素データを順次出力するイメージセンサ
に接続されたイメージデータ処理装置であって、前記イ
メージセンサ上の特定画素のアドレスを記憶する記憶手
段と、補正指示があったときに前記イメージセンサから
入力される画素データに補正処理を行う補正手段と、前
記特定画素のアドレスに該当する画素データが前記イメ
ージセンサから前記補正手段に入力されるのに同期して
前記補正手段に前記補正指示を出力する補正指示出力手
段とを備えたことを特徴とするものである。
An image data processing device of the present invention is an image data processing device connected to an image sensor for sequentially outputting pixel data, and stores an address of a specific pixel on the image sensor. A storage unit, a correction unit that performs a correction process on pixel data input from the image sensor when a correction instruction is given, and pixel data corresponding to an address of the specific pixel is input from the image sensor to the correction unit. And a correction instruction output means for outputting the correction instruction to the correction means in synchronism therewith.

【0007】本発明のイメージデータ処理装置の他の特
徴とするところは、イメージセンサの出力端子に接続可
能に構成されてなるイメージデータ処理装置において、
前記イメージセンサ上の特定画素のアドレスを記憶する
メモリからアドレスデータを読み出し、前記アドレスデ
ータに基づいてシフトレジスタを設定し、前記イメージ
センサからのデータに同期して前記シフトレジスタを動
作させて前記イメージセンサからのデータに対する画素
補正を制御する構成としたことを特徴とするものであ
る。
Another feature of the image data processing device of the present invention is that the image data processing device is configured to be connectable to the output terminal of the image sensor,
Address data is read from a memory that stores an address of a specific pixel on the image sensor, a shift register is set based on the address data, and the shift register is operated in synchronization with the data from the image sensor to operate the image. It is characterized in that the pixel correction for the data from the sensor is controlled.

【0008】また、本発明のイメージデータ処理装置の
その他の特徴とするところは、イメージセンサの出力端
子に接続可能に構成されてなるイメージデータ処理装置
において、前記イメージセンサ上の特定画素のアドレス
を記憶するメモリからアドレスデータを読み出し、前記
アドレスデータに基づいて複数のシフトレジスタのいず
れかを設定し、同時に前記イメージセンサからのデータ
に同期して別のシフトレジスタを動作させて画素補正を
制御する構成としたことを特徴とするものである。
Another feature of the image data processing device of the present invention is that in an image data processing device configured to be connectable to an output terminal of an image sensor, an address of a specific pixel on the image sensor is set. Address data is read from a memory to be stored, and one of a plurality of shift registers is set based on the address data, and at the same time, another shift register is operated in synchronization with the data from the image sensor to control pixel correction. It is characterized by being configured.

【0009】本発明の撮像システムは、少なくとも、被
写体像を結像する光学系と、前記光学系で結像された被
写体像を画像信号として出力するイメージセンサと、前
記のイメージデータ処理装置と、前記イメージデータ処
理装置からの出力信号を処理する信号処理手段とを有す
ることを特徴とするものである。
The image pickup system of the present invention comprises at least an optical system for forming a subject image, an image sensor for outputting the subject image formed by the optical system as an image signal, the image data processing device, and Signal processing means for processing an output signal from the image data processing device.

【0010】本発明のイメージデータ処理方法は、イメ
ージセンサから順次出力される画素データを処理するた
めのイメージデータ処理方法であって、補正指示があっ
たときに前記イメージセンサから入力される画素データ
に補正処理を行う補正手順と、特定画素のアドレスに該
当する画素データが前記イメージセンサから入力される
のに同期して前記補正指示を出力する補正指示出力手順
とを有することを特徴とするものである。
An image data processing method of the present invention is an image data processing method for processing pixel data sequentially output from an image sensor, wherein the pixel data input from the image sensor when a correction instruction is given. And a correction instruction output procedure for outputting the correction instruction in synchronization with pixel data corresponding to an address of a specific pixel being input from the image sensor. Is.

【0011】本発明のイメージデータ処理方法の他の特
徴とするところは、イメージセンサからのデータを処理
するためのイメージデータ処理方法であって、前記イメ
ージセンサ上の特定画素のアドレスを記憶するメモリか
らアドレスデータを読み出し、前記アドレスデータに基
づいてシフトレジスタを設定し、前記イメージセンサか
らのデータに同期して前記シフトレジスタを動作させて
前記イメージセンサからのデータに対する画素補正を制
御することを特徴とするものである。
Another feature of the image data processing method of the present invention is an image data processing method for processing data from an image sensor, the memory storing an address of a specific pixel on the image sensor. Reading address data from the image sensor, setting a shift register based on the address data, and operating the shift register in synchronization with the data from the image sensor to control pixel correction for the data from the image sensor. It is what

【0012】また、本発明のイメージデータ処理方法の
その他の特徴とするところは、イメージセンサからのデ
ータを処理するためのイメージデータ処理方法であっ
て、前記イメージセンサ上の特定画素のアドレスを記憶
するメモリからアドレスデータを読み出し、前記アドレ
スデータに基づいて複数のシフトレジスタのいずれかを
設定し、同時に前記イメージセンサからのデータに同期
して別のシフトレジスタを動作させて画素補正を制御す
ることを特徴とするものである。
Another feature of the image data processing method of the present invention is an image data processing method for processing data from an image sensor, which stores an address of a specific pixel on the image sensor. Read address data from the memory, set one of a plurality of shift registers based on the address data, and simultaneously operate another shift register in synchronization with the data from the image sensor to control pixel correction. It is characterized by.

【0013】本発明のコンピュータプログラムは、イメ
ージセンサから順次出力される画素データの処理をコン
ピュータに実行させるためのコンピュータプログラムで
あって、補正指示があったときに前記イメージセンサか
ら入力される画素データに補正処理を行う処理と、特定
画素のアドレスに該当する画素データが前記イメージセ
ンサから入力されるのに同期して前記補正指示を出力す
る補正指示出力処理とを実行させることを特徴とするも
のである。
A computer program of the present invention is a computer program for causing a computer to execute processing of pixel data sequentially output from an image sensor, wherein the pixel data input from the image sensor when a correction instruction is given. And a correction instruction output process for outputting the correction instruction in synchronization with the pixel data corresponding to the address of the specific pixel input from the image sensor. Is.

【0014】本発明のコンピュータプログラムの他の特
徴とするところは、イメージセンサから順次出力される
画素データの処理をコンピュータに実行させるためのコ
ンピュータプログラムであって、前記イメージセンサ上
の特定画素のアドレスを記憶するメモリからアドレスデ
ータを読み出し、前記アドレスデータに基づいてシフト
レジスタを設定し、前記イメージセンサからのデータに
同期して前記シフトレジスタを動作させて前記イメージ
センサからのデータに対する画素補正を制御する処理を
コンピュータに実行させることを特徴とするものであ
る。
Another feature of the computer program of the present invention is a computer program for causing a computer to execute processing of pixel data sequentially output from an image sensor, which is an address of a specific pixel on the image sensor. Read address data from a memory storing the data, set a shift register based on the address data, and operate the shift register in synchronization with the data from the image sensor to control pixel correction for the data from the image sensor. It is characterized by causing a computer to execute the processing.

【0015】また、本発明のコンピュータプログラムの
その他の特徴とするところは、イメージセンサから順次
出力される画素データの処理をコンピュータに実行させ
るためのコンピュータプログラムであって、前記イメー
ジセンサ上の特定画素のアドレスを記憶するメモリから
アドレスデータを読み出し、前記アドレスデータに基づ
いて複数のシフトレジスタのいずれかを設定し、同時に
前記イメージセンサからのデータに同期して別のシフト
レジスタを動作させて画素補正を制御する処理をコンピ
ュータに実行させることを特徴とするものである。
Another feature of the computer program of the present invention is a computer program for causing a computer to execute processing of pixel data sequentially output from the image sensor, the specific pixel on the image sensor. The address data is read from the memory that stores the address, and one of the plurality of shift registers is set based on the address data. At the same time, another shift register is operated in synchronization with the data from the image sensor to perform pixel correction. It is characterized by causing a computer to execute a process for controlling.

【0016】本発明のコンピュータ読み取り可能な記憶
媒体は、前記のコンピュータプログラムを格納したこと
を特徴とするものである。
A computer-readable storage medium according to the present invention is characterized by storing the above computer program.

【0017】[0017]

【発明の実施の形態】次に、添付図面を参照しながら本
発明のイメージデータ処理装置、撮像システム、イメー
ジデータ処理方法、コンピュータプログラム、及びコン
ピュータ読み取り可能な記憶媒体の実施の形態について
説明する。
BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of an image data processing device, an image pickup system, an image data processing method, a computer program, and a computer-readable storage medium according to the present invention will be described below with reference to the accompanying drawings.

【0018】(第1の実施形態)本発明の第1の実施形
態を図1、図2を用いて説明する。図1は本実施形態に
おけるイメージデータ処理装置113の機能ブロック図
である。101はデータの発生源となるイメージセンサ
であり、イメージデータ処理装置113に接続されてい
る。
(First Embodiment) A first embodiment of the present invention will be described with reference to FIGS. FIG. 1 is a functional block diagram of the image data processing device 113 according to this embodiment. An image sensor 101 is a data generation source and is connected to the image data processing device 113.

【0019】イメージデータ処理装置113において、
102はイメージデータ処理装置113の入力端子であ
る。103は画素補正処理を行う画像補正部であり、イ
メージセンサ101からのデータが入力される入力端子
104、シフトレジスタ110からの画素補正指示信号
が入力される入力端子105、画素補正結果を出力する
出力端子112を有する。
In the image data processing device 113,
Reference numeral 102 is an input terminal of the image data processing device 113. An image correction unit 103 performs a pixel correction process, and outputs an input terminal 104 to which data from the image sensor 101 is input, an input terminal 105 to which a pixel correction instruction signal from the shift register 110 is input, and a pixel correction result. It has an output terminal 112.

【0020】106は補正対象のアドレスデータを保持
するアドレス保持メモリ部で、任意のフォーマットでデ
ータが収められている。107はメモリフェッチ部であ
り、アドレス保持メモリ部106に保持されているメモ
リデータが所定の補正対象アドレスごとの単位で取り込
まれる。108は行カウンタである。
An address holding memory unit 106 holds the address data to be corrected, and the data is stored in an arbitrary format. A memory fetch unit 107 fetches the memory data held in the address holding memory unit 106 in units of a predetermined correction target address. Reference numeral 108 is a row counter.

【0021】109はアドレスデコーダであり、行カウ
ンタ108の情報とメモリフェッチ部107からの補正
対象アドレスの情報が入力される。110は1ビットシ
リアルのシフトレジスタであり、アドレスデコーダ10
9から出力されたデコード結果を受け、最終段111か
ら画素補正指示信号を画像補正部103の入力端子10
5に出力する。
Reference numeral 109 is an address decoder to which the information of the row counter 108 and the information of the correction target address from the memory fetch unit 107 are input. 110 is a 1-bit serial shift register,
9, the pixel correction instruction signal is sent from the final stage 111 to the input terminal 10 of the image correction unit 103.
Output to 5.

【0022】次に、この機能ブロックの動作を説明す
る。本実施形態では、アドレス保持メモリ部106内の
アドレスの配列として、補正対象画素のアドレスは、行
番号の若い順にソートされているとする。
Next, the operation of this functional block will be described. In the present embodiment, it is assumed that the addresses of the correction target pixels are sorted in ascending order of the row numbers as an array of addresses in the address holding memory unit 106.

【0023】まず、シフトレジスタ110を完全に初期
化する。ここで初期状態を「0」とし、補正指示信号を
「1」とする。このシフトレジスタ110の初期化処理
期間に、アドレス保持メモリ部106からメモリフェッ
チ部107にアドレスデータが読み出される。このアド
レスデータは、補正対象画素の行と列を示す情報を有し
ている。
First, the shift register 110 is completely initialized. Here, the initial state is "0" and the correction instruction signal is "1". During the initialization processing period of the shift register 110, the address data is read from the address holding memory unit 106 to the memory fetch unit 107. This address data has information indicating the row and column of the correction target pixel.

【0024】一方、行カウンタ108には、現在の補正
対象の行番号が保持されている。
On the other hand, the row counter 108 holds the current row number to be corrected.

【0025】アドレスデコーダ109においては、メモ
リフェッチ部107のアドレスデータに含まれる行番号
と行カウンタ108に保持されている行番号との2つの
行番号を比較し、一致している場合は、現在メモリフェ
ッチ部107でフェッチされている列番号は補正される
べき画素を示しているとして、シフトレジスタ110に
デコード信号を送る。たとえば、メモリフェッチ部10
7でフェッチされている列番号が10番だったら、シフ
トレジスタ110の10番目に「1」を書き込む。
In the address decoder 109, the two line numbers of the line number contained in the address data of the memory fetch unit 107 and the line number held in the line counter 108 are compared. A decode signal is sent to the shift register 110 on the assumption that the column number fetched by the memory fetch unit 107 indicates a pixel to be corrected. For example, the memory fetch unit 10
If the column number fetched in 7 is number 10, “1” is written in the 10th position of the shift register 110.

【0026】その後、次のアドレスデータを取り込み、
上記と同様のアドレスデコード及びシフトレジスタ11
0の初期化処理を行う。また、本動作は行番号が一致し
なくなったところで一旦停止する。
After that, the next address data is fetched,
Address decoding and shift register 11 similar to the above
Initialization processing of 0 is performed. Also, this operation is temporarily stopped when the line numbers do not match.

【0027】次に、画素補正期間(シフトレジスタ11
0の動作期間)に移行する。 まず、イメージセンサ1
01からのデータと同じレートでシフトレジスタ110
を動作させる。たとえば、ある行の10列目のデータが
補正されるべき画素であれば、イメージセンサ101か
らの10個の画素データが入力端子104にくる間に、
ちょうどシフトレジスタ110の画素補正指示信号が初
期化処理時に指示信号入力端子105までシフトされ、
10列目の画素データが画像補正部103に入力される
のと同時期に画素補正指示信号が画像補正部103に入
力される。
Next, the pixel correction period (shift register 11
0 operation period). First, the image sensor 1
Shift register 110 at the same rate as the data from 01
To operate. For example, if the data in the 10th column of a certain row is a pixel to be corrected, while the 10 pixel data from the image sensor 101 arrive at the input terminal 104,
The pixel correction instruction signal of the shift register 110 is just shifted to the instruction signal input terminal 105 during the initialization processing,
A pixel correction instruction signal is input to the image correction unit 103 at the same time when the pixel data of the tenth column is input to the image correction unit 103.

【0028】画像補正部103においては、シフトレジ
スタ110からの画素補正指示信号を受けて何らかの決
められた画像補正処理を行い、その結果を出力端子11
2から出力する。
The image correction unit 103 receives the pixel correction instruction signal from the shift register 110, performs some predetermined image correction processing, and outputs the result to the output terminal 11.
Output from 2.

【0029】ここで、シフトレジスタ110は、その初
期化処理と補正処理(画素補正信号を出力するためのシ
フト処理)とを同時に行うことができないので、スケジ
ューリングが必要となる。図2を用いてその考え方を説
明する。図2は、所定の行に着目してシフトレジスタ1
10の初期化処理と補正の流れを示した図である。
Here, the shift register 110 cannot perform its initialization processing and correction processing (shift processing for outputting a pixel correction signal) at the same time, so scheduling is required. The concept will be described with reference to FIG. FIG. 2 shows a shift register 1 focusing on a predetermined row.
It is a figure showing the initialization processing of No. 10, and the flow of amendment.

【0030】201はイメージセンサ101の処理動作
を時間の流れに対して示したものであり、202はそれ
に対応したシフトレジスタ110(補正回路)の処理動
作を示したものである。イメージセンサ101は、行が
変わる間に水平ブランキング期間という、画素データを
出力しない期間を有しているので、たとえばn行目の水
平ブランキング期間においては、n行目の補正データの
デコード及びシフトレジスタ110の初期化処理を行
う。その初期化処理の後、イメージセンサ101からの
画素データに同期してシフトレジスタ110を動作さ
せ、所定の画素データの補正を行う。
Reference numeral 201 shows the processing operation of the image sensor 101 with respect to the flow of time, and reference numeral 202 shows the processing operation of the shift register 110 (correction circuit) corresponding thereto. Since the image sensor 101 has a horizontal blanking period during which the pixel data is not output while the row changes, for example, in the horizontal blanking period of the n-th row, decoding and correction data of the n-th row are performed. The shift register 110 is initialized. After the initialization processing, the shift register 110 is operated in synchronization with the pixel data from the image sensor 101, and predetermined pixel data is corrected.

【0031】ここで、イメージセンサ101であるが、
たとえばCMOSセンサ、CCD、その他のデバイスな
どが考えられる。本発明においては、イメージセンサ1
01の種類にはよらず、適用可能である。
Here, regarding the image sensor 101,
For example, CMOS sensors, CCDs, other devices, etc. can be considered. In the present invention, the image sensor 1
It is applicable regardless of the type of 01.

【0032】また、本実施形態では、イメージセンサ1
01が直接補正装置(イメージデータ処理装置113)
に接続されている。その間のデータ形態がアナログデー
タ/デジタルデータ、どちらであるかはここでは限定し
ていない。たとえば、イメージセンサ101からのアナ
ログデータを直接補正装置(イメージデータ処理装置1
13)で処理しても良く、もしくは、一度AD変換され
たデータを処理しても良い。
In the present embodiment, the image sensor 1
01 is a direct correction device (image data processing device 113)
It is connected to the. Whether the data format in the meantime is analog data / digital data is not limited here. For example, the analog data from the image sensor 101 is directly corrected (image data processing device 1
It may be processed in 13), or the data once AD-converted may be processed.

【0033】また、ここではメモリフェッチ/アドレス
デコードの考え方として、まず行が若い順にソートされ
ていることを仮定し、行が一致した場合に、メモリフェ
ッチされているその列の位置をデコードし、シフトレジ
スタ110を設定して、行が一致しなくなるまでその処
理をくりかえし、そこでメモリフェッチを停止するとい
う方式を採用している。
As a concept of memory fetch / address decoding, it is assumed that rows are sorted in ascending order, and when the rows match, the position of the column fetched by the memory is decoded. The shift register 110 is set, the processing is repeated until the rows do not match, and the memory fetch is stopped there.

【0034】ただし、アルゴリズムはこれのみに限定さ
れず、キズアドレス群から補正すべきアドレスを探すこ
とができればいかなる方法でも良い。たとえば1行進む
ごとにアドレスの格納されたメモリを先頭から最後まで
スキャンしてアドレスを見つけても良い。この場合は、
全メモリのスキャンが必要なので判定に時間がかかる
が、アドレスをソートしなくてはならないという前提を
取り除くことができる。
However, the algorithm is not limited to this, and any method may be used as long as the address to be corrected can be searched from the scratch address group. For example, each time one line is advanced, the memory in which the address is stored may be scanned from the beginning to the end to find the address. in this case,
It takes a lot of time to make the decision because it needs to scan the entire memory, but it removes the premise that the addresses must be sorted.

【0035】また、ここで画像補正部103での画像補
正処理の内容については言及していないが、シフトレジ
スタ110からの画素補正指示に従って補正を行うもの
であればいかなるものでも、本発明の効果を奏すること
ができる。たとえば画像補正部103が遅延素子を有し
ており、1画素もしくは複数画素前の値を補正後の画素
出力として出力しても良い。或いは、たとえば画像補正
部103が遅延素子と遅延出力機能を有しており、1画
素もしくは複数画素後の値を補正後の画素出力として出
力しても良い。
Although the content of the image correction processing in the image correction unit 103 is not mentioned here, any effect can be obtained as long as the correction is performed according to the pixel correction instruction from the shift register 110. Can be played. For example, the image correction unit 103 may include a delay element, and the value of one pixel or a plurality of pixels before may be output as the corrected pixel output. Alternatively, for example, the image correction unit 103 may have a delay element and a delay output function, and may output a value after one pixel or a plurality of pixels as a corrected pixel output.

【0036】また、前記2つの方法では、同一行のデー
タを用いることでしか画素補正を行えず、その画素の補
正結果と上下周辺画素との相関は無関係となる。上下周
辺画素との相関を無関係としないため、たとえば補正回
路が数行分のラインメモリと演算機能、遅延出力機能と
を有し、隣接加算を行った補正結果を出力しても良い。
この場合の出力は、入力から1行もしくは数行遅れるこ
とになる。
Further, in the above two methods, the pixel correction can be performed only by using the data of the same row, and the correlation between the correction result of the pixel and the upper and lower peripheral pixels becomes irrelevant. Since the correlation with the upper and lower peripheral pixels is not irrelevant, for example, the correction circuit may have a line memory for several rows, a calculation function, and a delay output function, and may output the correction result of adjacent addition.
In this case, the output is delayed by one line or several lines from the input.

【0037】また、行カウンタ108は、行という単語
を使っているがこれには限定されない。画素がグループ
に分割されている際に、そのグループを識別する目的で
ここでは行の概念を導入したのみであり、たとえばグル
ープカウンタという呼び方をしても良い。
The line counter 108 uses the word line, but is not limited to this. When pixels are divided into groups, the concept of rows is only introduced here for the purpose of identifying the groups, and may be called, for example, a group counter.

【0038】また、列数とシフトレジスタ110の段数
は、本実施形態においては対応させる必要がある。たと
えばイメージセンサ101の列数が3000である場
合、シフトレジスタ110の段数も3000段必要とな
る。なお、たとえば先頭のn画素だけを補正対象とした
いような場合は、シフトレジスタ110の段数をn段に
限定することで回路規模を縮小することができる。
Further, the number of columns and the number of stages of the shift register 110 must correspond in this embodiment. For example, when the number of columns of the image sensor 101 is 3000, the number of stages of the shift register 110 is also required to be 3000. Note that, for example, when it is desired to correct only the first n pixels, the circuit scale can be reduced by limiting the number of stages of the shift register 110 to n stages.

【0039】また、回路作製プロセスにおいて、シフト
レジスタ110や画像補正部103などを同一半導体チ
ップに形成することによっても、回路規模を縮小するこ
とができる。
Further, in the circuit manufacturing process, the circuit scale can be reduced by forming the shift register 110, the image correction section 103 and the like on the same semiconductor chip.

【0040】また、画素の読み出しが始まる前に、決め
られた水平ブランキング期間で所定行の補正データの初
期化処理をする必要がある。この要求に対応する方法と
しては、1)水平ブランキング期間で初期化処理をでき
ないような行あたりの補正対象画素数を許さないような
仕様にする、2)初期化処理が終了次第、画素の読み出
しを開始するようにタイミング発生を工夫する、などが
考えられる。どちらも設計項目であり、これにより、本
発明の効果を限定するものではない。
Further, before the pixel reading is started, it is necessary to initialize the correction data of a predetermined row in the determined horizontal blanking period. As a method of responding to this request, 1) the specification is made such that the number of pixels to be corrected per row that does not allow the initialization processing during the horizontal blanking period is allowed, and 2) the pixel number of the pixels is changed as soon as the initialization processing is completed. It is conceivable to devise timing generation so as to start reading. Both are design items and do not limit the effects of the present invention.

【0041】また、処理ICの生み出すノイズを最低限
にしたい場合は、初期化処理時のメモリフェッチなどに
用いるクロックの周波数をできる限り低周波にしなくて
はならない。このような場合は使用可能なクロックスピ
ードと、補正対象画素数の最適化が必要となるが、これ
らも設計項目である。
In order to minimize the noise generated by the processing IC, the frequency of the clock used for the memory fetch at the time of the initialization processing should be as low as possible. In such a case, it is necessary to optimize the usable clock speed and the number of pixels to be corrected, but these are also design items.

【0042】また、本実施形態では10列目の画素を補
正するために10番目のレジスタに指示信号を与えてい
るが、たとえば1列目(先頭)の画素を補正するために
1度もシフトを必要としない場合は、9番目のレジスタ
に指示信号を与えればよい。先頭の画素を補正するため
に何度かダミーのシフトを必要とする場合は、それを見
越したレジスタの位置に指示信号を設定すればよい。
In the present embodiment, the instruction signal is given to the 10th register in order to correct the pixels in the 10th column. However, for example, the instruction signal is shifted once in order to correct the pixels in the 1st column (head). If is not required, an instruction signal may be given to the ninth register. When it is necessary to perform dummy shifts several times to correct the leading pixel, the instruction signal may be set at a register position in anticipation thereof.

【0043】以上説明してきたように、本実施形態の構
成とすることで、補正対象の画素のアドレスに該当する
画素データがイメージセンサ101から画像補正部10
3に入力されるのに同期してシフトレジスタ110から
画像補正部103に画素補正指示信号を出力するように
したので、イメージセンサ101から出力されるデータ
の欠陥補正をリアルタイムで行うことができ、従来必要
とされたフレームメモリを不要とすることができる。こ
れにより、従来の補正回路に比べて少ない回路規模とす
ることができ、低いクロック周波数で駆動可能な回路を
採用することで、より重畳されるノイズの少ないイメー
ジデータ処理を実現することができる。
As described above, with the configuration of this embodiment, the pixel data corresponding to the address of the pixel to be corrected is transferred from the image sensor 101 to the image correction unit 10.
Since the pixel correction instruction signal is output from the shift register 110 to the image correction unit 103 in synchronization with the input to the image correction unit 3, the defect correction of the data output from the image sensor 101 can be performed in real time. It is possible to eliminate the conventionally required frame memory. As a result, the circuit scale can be made smaller than that of the conventional correction circuit, and by adopting a circuit that can be driven at a low clock frequency, it is possible to realize image data processing with less superimposed noise.

【0044】また、シフトレジスタ110からの画素補
正指示信号とイメージセンサ101から取り込む画素デ
ータとを同期させることで、正確に補正対象画素を処理
することができる。
Further, by synchronizing the pixel correction instruction signal from the shift register 110 and the pixel data fetched from the image sensor 101, the pixel to be corrected can be processed accurately.

【0045】また、イメージセンサ101から画素デー
タが出力されない期間を利用してシフトレジスタ110
の初期化処理を行うことで、その初期化処理に必要な時
間を実効的にゼロにすることができる。これにより、よ
り早いフレームレートを実現することができるようにな
る。
Further, the shift register 110 is used by utilizing the period in which the pixel data is not output from the image sensor 101.
By performing the initialization process of, the time required for the initialization process can be effectively reduced to zero. This makes it possible to realize a higher frame rate.

【0046】(第2の実施形態)本発明の第2の実施形
態を図3、図4、図5を用いて説明する。図3は本実施
形態におけるイメージデータ処理装置の機能ブロック図
である。なお、上記第1の実施形態で説明した構成要素
には同一の符号を付し、以下では上記第1の実施形態と
の相違点を中心に説明する。
(Second Embodiment) A second embodiment of the present invention will be described with reference to FIGS. 3, 4 and 5. FIG. 3 is a functional block diagram of the image data processing device in this embodiment. The constituent elements described in the first embodiment are designated by the same reference numerals, and the differences from the first embodiment will be mainly described below.

【0047】本実施形態では、アドレスデコーダ109
は、複数のシフトレジスタに設定を行う。本実施形態で
は、第1のシフトレジスタ110と第2のシフトレジス
タ301の2つのシフトレジスタを有する場合を説明す
る。
In this embodiment, the address decoder 109
Sets a plurality of shift registers. In this embodiment, the case where the first shift register 110 and the second shift register 301 have two shift registers will be described.

【0048】図3に示すように、シフトレジスタ11
0、301は、初期化イネーブル端子303、304を
それぞれ有し、初期化イネーブルの指示が来たときのみ
アドレスデコーダ109からの指示を受け付ける。逆に
初期化処理の指示を受けていないシフトレジスタは、画
素補正指示信号出力のためのシフト処理を行う。
As shown in FIG. 3, the shift register 11
Reference numerals 0 and 301 respectively have initialization enable terminals 303 and 304, and accept an instruction from the address decoder 109 only when an initialization enable instruction is received. On the contrary, the shift register that has not received the instruction for the initialization process performs the shift process for outputting the pixel correction instruction signal.

【0049】第1及び第2のシフトレジスタ101、3
01の最終段111、302は、セレクタ305を介し
て画像補正部103の指示信号入力端子105に接続さ
れる。また、第1の実施形態の行カウンタ108は、こ
こでは群カウンタ306と名称を変更している。
First and second shift registers 101, 3
The final stages 111 and 302 of 01 are connected to the instruction signal input terminal 105 of the image correction unit 103 via the selector 305. Further, the row counter 108 of the first embodiment is renamed here as a group counter 306.

【0050】次に、本機能ブロックの動作を説明する。
基本的には第1の実施形態と同等の動作をする。異なる
点は、並列に構成された第1及び第2シフトレジスタ1
10、301とセレクタ305にまつわる動作である。
たとえば第1のシフトレジスタ110が初期化処理され
ている際、セレクタ305は、第2のシフトレジスタの
最終段302を画像補正部103の指示信号入力端子1
05へ接続し、そして、第2のシフトレジスタ301が
画像補正部103に画素補正指示信号を送る。第2のシ
フトレジスタ301が初期化処理されている際には、こ
の逆の処理動作をする。
Next, the operation of this functional block will be described.
Basically, the same operation as that of the first embodiment is performed. The difference is that the first and second shift registers 1 configured in parallel are
This is an operation related to 10, 301 and the selector 305.
For example, when the first shift register 110 is being initialized, the selector 305 sets the final stage 302 of the second shift register to the instruction signal input terminal 1 of the image correction unit 103.
05, and the second shift register 301 sends a pixel correction instruction signal to the image correction unit 103. When the second shift register 301 is initialized, the reverse processing operation is performed.

【0051】次に、図4を用いて、本実施形態のイメー
ジデータ処理装置の初期化処理と補正処理(画素補正信
号を出力するためのシフト処理)のスケジュールを説明
する。ここで401はイメージセンサ101の処理動作
を時間軸に対して模式的に示したものであり、たとえば
n行目のアクセスについては、水平ブランキング期間4
02と、画素読み出し期間403からなる。ここでn行
目読み出し期間403は4分割されており、それぞれ第
1群読み出し期間404、第2群読み出し期間405、
第3群読み出し期間406、第4群読み出し期間407
で構成されている。また、408は1つ前の行であるn
−1行目の第4群読み出し期間である。
Next, the schedule of the initialization processing and the correction processing (shift processing for outputting the pixel correction signal) of the image data processing apparatus of this embodiment will be described with reference to FIG. Here, reference numeral 401 schematically shows the processing operation of the image sensor 101 with respect to the time axis. For example, for access to the n-th row, the horizontal blanking period 4
02 and a pixel reading period 403. Here, the n-th row reading period 403 is divided into four, and the first group reading period 404, the second group reading period 405,
Third group readout period 406, fourth group readout period 407
It is composed of. Also, 408 is the previous row n
It is the fourth group readout period of the -1st row.

【0052】第1のシフトレジスタ110においては、
n−1行目の第4群読み出しの間に、イメージセンサ1
01からの画素データに同期して画素補正処理動作を行
う(409)。また、第2のシフトレジスタ301にお
いては、次の読み出されるべきn行目の第1群データの
初期化処理を行う(410)。このようにして、各シフ
トレジスタが初期化処理と補正処理とを交互に繰り返す
動作を行う。
In the first shift register 110,
During the fourth group reading of the (n-1) th row, the image sensor 1
The pixel correction processing operation is performed in synchronization with the pixel data from 01 (409). Further, in the second shift register 301, the initialization processing of the first group data of the nth row to be read next is performed (410). In this way, each shift register performs the operation of repeating the initialization process and the correction process alternately.

【0053】次に、本実施形態の効果を説明する。上記
第1の実施形態においては、n行目の補正データの初期
化処理は、その水平ブランク期間でのみ行うために、そ
の期間でn行目の列分の設定が必要であった。たとえば
イメージセンサ101の列数が3000列存在する場
合、シフトレジスタも3000段必要であった。
Next, the effect of this embodiment will be described. In the first embodiment, since the initialization processing of the correction data of the nth row is performed only in the horizontal blank period, it is necessary to set the column for the nth row in that period. For example, if the image sensor 101 has 3000 columns, 3000 shift registers are required.

【0054】それに対して、本実施形態においては、た
とえば3000列を750列ごとの4群に分け、750
段のシフトレジスタを並列に2つ用意することで、必要
となるシフトレジスタを減少させることができる。さら
に、たとえば4群ではなく300群に分割すれば10段
のシフトレジスタを2つ並列に有すればよいことにな
り、シフトレジスタに必要な回路規模を激減させること
ができる。
On the other hand, in the present embodiment, for example, 3000 columns are divided into 4 groups of 750 columns, and 750 columns are divided into 4 groups.
The number of shift registers required can be reduced by preparing two shift registers in parallel. Furthermore, for example, if it is divided into 300 groups instead of 4 groups, it is sufficient to have two shift registers of 10 stages in parallel, which can drastically reduce the circuit scale required for the shift register.

【0055】ここで、補正対象の画素が多数存在し、図
4で示されるような初期化処理時間では間に合わないケ
ースが起こりうる。初期化処理時間が足りずに使用不可
能になってしまったイメージセンサ101は、不良品と
なってしまい歩留まり低下の要因となる。初期化処理時
間をさらに多く取るためには、メモリフェッチ部10
7、アドレスデコーダ部109、及び並列に並べるシフ
トレジスタの数を増やせばよい。
Here, there may be a case in which there are a large number of pixels to be corrected and the initialization processing time as shown in FIG. The image sensor 101, which has become unusable due to insufficient initialization processing time, becomes a defective product, which causes a reduction in yield. To increase the initialization processing time, the memory fetch unit 10
7, the number of address decoder units 109 and the number of shift registers arranged in parallel may be increased.

【0056】図5は、図3に示したイメージデータ処理
装置に対して、メモリフェッチ部107、アドレスデコ
ーダ部109を1つ増やして、シフトレジスタをさらに
2つ増やした場合のスケジュール図である。図5に示す
ように、第1のシフトレジスタ501、第2のシフトレ
ジスタ502が偶数群の補正処理を担当し、増設された
メモリフェッチ部、アドレスデコーダ部で制御される新
たな第3のシフトレジスタ503、第4のシフトレジス
タ504が奇数群の補正処理を担当するように構成する
ことで、倍のデータ初期化処理期間が確保できるように
なる。さらに、初期化処理期間を増やしたい場合は、さ
らにメモリフェッチ部、アドレスデコーダ部、シフトレ
ジスタを増設すればよい。
FIG. 5 is a schedule diagram when the memory fetch unit 107 and the address decoder unit 109 are increased by one and the shift register is further increased by two in the image data processing device shown in FIG. As shown in FIG. 5, the first shift register 501 and the second shift register 502 are in charge of the correction processing of the even group, and the new third shift controlled by the expanded memory fetch unit and address decoder unit. By configuring the register 503 and the fourth shift register 504 so as to be in charge of the correction processing of the odd group, the double data initialization processing period can be secured. Furthermore, if it is desired to increase the initialization processing period, a memory fetch unit, an address decoder unit, and a shift register may be added.

【0057】以上説明してきたように、本実施形態の構
成とすることで、一行あたりの画素数が多いイメージセ
ンサにおいても、より早いフレームレートを実現するこ
とができる。また、補正対象の画素のアドレスに該当す
る画素データがイメージセンサ101から画像補正部1
03に入力されるのに同期してシフトレジスタ110、
301のいずれかから画像補正部103に画素補正指示
信号を出力するようにしたので、従来必要とされたフレ
ームメモリを不要とすることができる。これにより、従
来の補正回路に比べて少ない回路規模とすることがで
き、低いクロック周波数で駆動可能な回路を採用するこ
とで、より重畳されるノイズの少ないイメージデータ処
理装置を実現することができる。
As described above, with the configuration of this embodiment, a faster frame rate can be realized even in an image sensor having a large number of pixels per row. Further, pixel data corresponding to the address of the pixel to be corrected is transferred from the image sensor 101 to the image correction unit 1.
Shift register 110, in synchronization with the input to 03.
Since the pixel correction instruction signal is output to the image correction unit 103 from any one of 301, it is possible to eliminate the conventionally required frame memory. As a result, the circuit scale can be made smaller than that of the conventional correction circuit, and by adopting a circuit that can be driven at a low clock frequency, an image data processing device with less superimposed noise can be realized. .

【0058】また、一行あたりの画素数がより多いイメ
ージセンサにおいても、シフトレジスタ110からの画
素補正指示信号とイメージセンサ101から取り込む画
素データとを同期させることで、正確に補正対象画素を
処理することができる。
Further, even in an image sensor having a larger number of pixels per row, the pixel correction instruction signal from the shift register 110 and the pixel data fetched from the image sensor 101 are synchronized to accurately process the pixel to be corrected. be able to.

【0059】また、複数のシフトレジスタ有し、1つの
シフトレジスタが補正動作を行っている期間に、その他
のシフトレジスタを順次初期化処理することで、初期化
処理に必要な時間を実効的にゼロにすることができる。
これにより、さらに早いフレームレートを実現すること
ができるようになる。
Further, by having a plurality of shift registers and sequentially initializing the other shift registers while one shift register is performing the correction operation, the time required for the initialization process is effectively made. Can be zero.
This makes it possible to realize a higher frame rate.

【0060】(第3の実施形態)次に、本発明の係わる
イメージデータ処理装置を撮像装置(デジタルカメラ)
に適用した場合の実施形態を説明する。
(Third Embodiment) Next, the image data processing apparatus according to the present invention is used as an image pickup apparatus (digital camera).
An embodiment when applied to is described.

【0061】図6は、本発明の係わるイメージデータ処
理装置を撮像装置に適用した例を示すブロック図であ
る。
FIG. 6 is a block diagram showing an example in which the image data processing device according to the present invention is applied to an image pickup device.

【0062】図6において、11はレンズ12の保護と
メインスイッチを兼ねるバリア、12は被写体の光学像
をイメージセンサ14に結像させるレンズ、13はレン
ズ12を通った光量を可変するための絞り、14はレン
ズ12で結像された被写体像を画像信号として取り込む
ためのイメージセンサ、15は本発明に係わるイメージ
データ処理装置であり、イメージセンサ14から出力さ
れる画像信号の欠陥補正をする画像補正部18を有して
いる。16はイメージデータ処理装置15から出力され
た画像信号のアナログ−デジタル変換を行うA/D変換
器、17はA/D変換器16から出力された画像データ
に各種の補正を行い、あるいはデータを圧縮する信号処
理部である。ここで、イメージデータ処理装置15は、
イメージセンサ14、A/D変換器16、画像補正部1
8、及び信号処理部17等にタイミング信号を供給する
駆動回路を含んでおり、画像補正部18と駆動回路と
は、同一半導体チップ上に形成されている。また、イメ
ージセンサ処理装置15は、A/D変換器16の後段で
あってもよい。
In FIG. 6, reference numeral 11 is a barrier which also serves as a main switch for protecting the lens 12, a lens 12 for forming an optical image of a subject on the image sensor 14, and a diaphragm 13 for varying the amount of light passing through the lens 12. Reference numeral 14 denotes an image sensor for taking in a subject image formed by the lens 12 as an image signal. Reference numeral 15 denotes an image data processing device according to the present invention, which is an image for correcting a defect of an image signal output from the image sensor 14. It has a correction unit 18. Reference numeral 16 denotes an A / D converter that performs analog-digital conversion of the image signal output from the image data processing device 15, and 17 performs various corrections on the image data output from the A / D converter 16, or converts the data. A signal processing unit for compression. Here, the image data processing device 15
Image sensor 14, A / D converter 16, image correction unit 1
8 and a drive circuit that supplies a timing signal to the signal processing unit 17 and the like, and the image correction unit 18 and the drive circuit are formed on the same semiconductor chip. Further, the image sensor processing device 15 may be at a stage subsequent to the A / D converter 16.

【0063】19は各種演算と撮像装置全体を制御する
全体制御・演算部、20は画像データを一時的に記憶す
るための画像データメモリ部、21は記憶媒体に対して
記録または読み出しを行うための記憶媒体制御インタフ
ェース部、22は画像データの記録または読み出しを行
うための半導体メモリ等の着脱可能な記憶媒体、23は
外部コンピュータ等と接続するための外部インタフェー
ス部である。
Reference numeral 19 is an overall control / arithmetic unit for controlling various calculations and the entire image pickup apparatus, 20 is an image data memory unit for temporarily storing image data, and 21 is for recording or reading on a storage medium. Is a removable storage medium such as a semiconductor memory for recording or reading image data, and 23 is an external interface for connecting to an external computer or the like.

【0064】次に、上記構成における撮像装置の撮影時
の動作について説明する。まず、バリア11が開けられ
るとメイン電源がオンされ、次にコントロール系の電源
がオンし、さらにA/D変換器16などの撮像系回路の
電源がオンされる。
Next, the operation of the image pickup apparatus having the above-mentioned structure at the time of shooting will be described. First, when the barrier 11 is opened, the main power source is turned on, then the control system power source is turned on, and then the image pickup system circuit such as the A / D converter 16 is turned on.

【0065】次に、イメージセンサ14から出力された
信号は、イメージセンサ処理装置15で欠陥画素の信号
があれば、画像補正部18で補正され、A/D変換器1
6に出力されて、そのA/D変換器16で変換された
後、信号処理部17に入力される。
Next, the signal output from the image sensor 14 is corrected by the image correction unit 18 if there is a defective pixel signal in the image sensor processing device 15, and the A / D converter 1
6 is output to the A / D converter 16, converted by the A / D converter 16, and then input to the signal processing unit 17.

【0066】そして、信号処理部17で所定の処理がな
され、出力された画像データは、全体制御・演算部19
によって画像データメモリ部20に書き込まれる。次
に、画像データメモリ部20に蓄積されたデータは全体
制御・演算部19の制御により、記憶媒体制御インタフ
ェース部21を介して、記憶媒体22に記録される。ま
た、外部インタフェース部23を通り直接コンピュータ
等に入力して、画像データの加工を行ってもよい。
Then, the signal processing unit 17 performs predetermined processing, and the output image data is processed by the overall control / calculation unit 19
Is written in the image data memory unit 20 by. Next, the data accumulated in the image data memory unit 20 is recorded in the storage medium 22 via the storage medium control interface unit 21 under the control of the overall control / arithmetic unit 19. Further, the image data may be processed by directly inputting it to a computer or the like through the external interface unit 23.

【0067】本実施形態の構成とすることで、イメージ
センサ14から出力される画像信号の欠陥補正をするこ
とができ、高画質な撮像装置を実現することができる。
With the configuration of this embodiment, the defect of the image signal output from the image sensor 14 can be corrected, and an image pickup device with high image quality can be realized.

【0068】(本発明の他の実施の形態)本発明は複数
の機器から構成されるシステムに適用しても1つの機器
からなる装置に適用しても良い。
(Other Embodiments of the Present Invention) The present invention may be applied to a system including a plurality of devices or an apparatus including a single device.

【0069】また、上記実施形態では、アドレス保持メ
モリ部106、メモリフェッチ部107、行カウンタ1
08や群カウンタ306、アドレスデコーダ109など
は機能ブロックで構成されているが、汎用の制御装置、
たとえば何らかのCPUなどでそれらの機能をソフトウ
ェア的に実現しても同等の効果を得られる。すなわち、
上述した実施の形態の機能を実現するように各種のデバ
イスを動作させ、上記各種デバイスと接続された装置あ
るいはシステム内のコンピュータに対し、記憶媒体か
ら、またはインターネット等の伝送媒体を介して上記実
施の形態の機能を実現するためのソフトウェアのプログ
ラムコードを供給し、そのシステムあるいは装置のコン
ピュータ(CPUあるいはMPU)に格納されたプログ
ラムに従って上記各種デバイスを動作させることによっ
て実施したものも、本発明の範疇に含まれる。
In the above embodiment, the address holding memory unit 106, the memory fetch unit 107, the row counter 1
Although the 08, the group counter 306, the address decoder 109, etc. are composed of functional blocks, a general-purpose control device,
For example, even if those functions are realized by software by some CPU, the same effect can be obtained. That is,
Various devices are operated so as to realize the functions of the above-described embodiments, and the above-described embodiment is performed on a computer in an apparatus or system connected to the various devices from a storage medium or via a transmission medium such as the Internet. Of the present invention, by supplying the program code of software for realizing the function of the above form and operating the above various devices according to the program stored in the computer (CPU or MPU) of the system or apparatus. Included in the category.

【0070】また、この場合、上記ソフトウェアのプロ
グラムコード自体が上述した実施の形態の機能を実現す
ることになり、そのプログラムコード自体、およびその
プログラムコードをコンピュータに供給するための手
段、例えばかかるプログラムコードを格納した記憶媒体
は本発明を構成する。かかるプログラムコードを記憶す
る記憶媒体としては、例えばフレキシブルディスク、ハ
ードディスク、光ディスク、光磁気ディスク、CD−R
OM、磁気テープ、不揮発性のメモリカード、ROM等
を用いることができる。
In this case, the program code itself of the software realizes the functions of the above-described embodiments, and the program code itself and means for supplying the program code to the computer, for example, such program. The storage medium storing the code constitutes the present invention. A storage medium for storing the program code is, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-R.
An OM, a magnetic tape, a non-volatile memory card, a ROM or the like can be used.

【0071】また、コンピュータが供給されたプログラ
ムコードを実行することにより、上述の実施の形態で説
明した機能が実現されるだけでなく、そのプログラムコ
ードがコンピュータにおいて稼働しているOS(オペレ
ーティングシステム)あるいは他のアプリケーションソ
フト等の共同して上述の実施の形態で示した機能が実現
される場合にもかかるプログラムコードは本発明の実施
の形態に含まれる。
Further, the computer executes the supplied program code so that not only the functions described in the above embodiments are realized, but also the OS (operating system) in which the program code is operating in the computer. Alternatively, the program code is also included in the embodiments of the present invention when the functions described in the above embodiments are implemented jointly by other application software or the like.

【0072】さらに、供給されたプログラムコードがコ
ンピュータの機能拡張ボードやコンピュータに接続され
た機能拡張ユニットに備わるメモリに格納された後、そ
のプログラムコードの指示に基づいてその機能拡張ボー
ドや機能拡張ユニットに備わるCPU等が実際の処理の
一部または全部を行い、その処理によって上述した実施
の形態の機能が実現される場合にも本発明に含まれる。
Further, after the supplied program code is stored in the memory provided in the function expansion board of the computer or the function expansion unit connected to the computer, the function expansion board or function expansion unit is instructed based on the instruction of the program code. The present invention also includes a case where the CPU or the like included in the above performs a part or all of the actual processing and the processing realizes the functions of the above-described embodiments.

【0073】[0073]

【発明の効果】本発明によれば、特定画素、たとえば補
正対象の画素のアドレスに該当する画素データがイメー
ジセンサから入力されるのに同期して補正指示を出力す
ることができるので、イメージセンサから出力されるデ
ータの欠陥補正をリアルタイムで行うことができ、従来
必要とされたフレームメモリを不要とすることができ
る。これにより、従来の補正回路に比べて少ない回路規
模とすることができ、低いクロック周波数で駆動可能な
回路を採用することで、より重畳されるノイズの少ない
イメージデータ処理を実現することができる。また、フ
レームメモリに一度取り込む必要がなくなることから、
より早いフレームレートを実現することができるように
なる。
According to the present invention, the correction instruction can be output in synchronization with the pixel data corresponding to the address of the specific pixel, for example, the pixel to be corrected, input from the image sensor. The defect correction of the data output from can be performed in real time, and the conventionally required frame memory can be eliminated. As a result, the circuit scale can be made smaller than that of the conventional correction circuit, and by adopting a circuit that can be driven at a low clock frequency, it is possible to realize image data processing with less superimposed noise. Also, since it is no longer necessary to load the frame memory once,
It becomes possible to realize a higher frame rate.

【0074】また、画素補正指示信号とイメージセンサ
から取り込む画素データとを同期させることで、正確に
補正対象画素を処理することができる。
Further, by synchronizing the pixel correction instruction signal and the pixel data fetched from the image sensor, the pixel to be corrected can be processed accurately.

【図面の簡単な説明】[Brief description of drawings]

【図1】第1の実施形態におけるイメージデータ処理装
置の機能ブロック図である。
FIG. 1 is a functional block diagram of an image data processing device according to a first embodiment.

【図2】第1の実施形態におけるイメージデータ処理装
置の初期化処理と補正処理の流れを示した図である。
FIG. 2 is a diagram showing a flow of initialization processing and correction processing of the image data processing apparatus according to the first embodiment.

【図3】第2の実施形態におけるイメージデータ処理装
置の機能ブロック図である。
FIG. 3 is a functional block diagram of an image data processing device according to a second embodiment.

【図4】第2の実施形態におけるイメージデータ処理装
置の初期化処理と補正処理の流れを示した図である。
FIG. 4 is a diagram showing a flow of initialization processing and correction processing of the image data processing device according to the second embodiment.

【図5】第2の実施形態におけるイメージデータ処理装
置の初期化処理と補正処理の流れを示した図である。
FIG. 5 is a diagram showing a flow of initialization processing and correction processing of the image data processing device according to the second embodiment.

【図6】本発明の係わるイメージデータ処理装置を撮像
装置に適用した例を示すブロック図である。
FIG. 6 is a block diagram showing an example in which the image data processing device according to the present invention is applied to an imaging device.

【符号の説明】[Explanation of symbols]

101 イメージセンサ 102 入力端子 103 画像補正部 104 入力端子 105 指示信号入力端子 106 アドレス保持メモリ部 107 メモリフェッチ部 108 行カウンタ 109 アドレスデコーダ 110 シフトレジスタ 111 シフトレジスタの最終段 112 出力端子 113 イメージデータ処理装置 101 image sensor 102 input terminals 103 image correction unit 104 input terminals 105 Instruction signal input terminal 106 address holding memory unit 107 memory fetch unit 108 line counter 109 address decoder 110 shift register 111 Final stage of shift register 112 output terminals 113 Image data processing device

Claims (18)

【特許請求の範囲】[Claims] 【請求項1】 画素データを順次出力するイメージセン
サに接続されたイメージデータ処理装置であって、 前記イメージセンサ上の特定画素のアドレスを記憶する
記憶手段と、 補正指示があったときに前記イメージセンサから入力さ
れる画素データに補正処理を行う補正手段と、 前記特定画素のアドレスに該当する画素データが前記イ
メージセンサから前記補正手段に入力されるのに同期し
て前記補正手段に前記補正指示を出力する補正指示出力
手段とを備えたことを特徴とするイメージデータ処理装
置。
1. An image data processing device connected to an image sensor for sequentially outputting pixel data, comprising: storage means for storing an address of a specific pixel on the image sensor; and the image when a correction instruction is given. A correction unit that performs a correction process on pixel data input from a sensor, and a correction instruction to the correction unit in synchronization with pixel data corresponding to the address of the specific pixel being input from the image sensor to the correction unit. An image data processing device, comprising: a correction instruction output means for outputting
【請求項2】 イメージデータを画素データグループに
分けて出力するイメージセンサの出力端子に接続可能に
構成されてなるイメージデータ処理装置であって、 前記イメージセンサ上の1つ以上の特定画素のアドレス
を記憶するメモリ部と、 前記イメージセンサから出力される現在の画素データグ
ループを指示するグループカウンタと、 前記メモリ部から前記特定画素のアドレスを読み出すメ
モリデータフェッチ部と、 前記メモリデータフェッチ部で読み出された特定画素の
アドレスが属する画素データグループと前記グループカ
ウンタで指示された画素データグループとが一致してい
るか否かを判定するアドレスデコード部と、 前記アドレスデコード部での判定結果に応じて補正指示
信号を生成するシフトレジスタと、 前記シフトレジスタで生成された補正指示信号をもとに
前記イメージセンサから出力される画素データの補正を
行う画像補正部とを有することを特徴とするイメージデ
ータ処理装置。
2. An image data processing device configured to be connectable to an output terminal of an image sensor that outputs image data by dividing it into pixel data groups, the address of one or more specific pixels on the image sensor. A memory unit for storing a memory, a group counter for indicating a current pixel data group output from the image sensor, a memory data fetch unit for reading the address of the specific pixel from the memory unit, and a memory data fetch unit for reading. An address decoding unit that determines whether or not the pixel data group to which the address of the issued specific pixel belongs and the pixel data group designated by the group counter are matched, and according to the determination result by the address decoding unit. A shift register for generating a correction instruction signal; And an image correction unit that corrects the pixel data output from the image sensor based on the correction instruction signal generated by the image data processing apparatus.
【請求項3】 前記イメージセンサの出力端子に現れる
画素データに同期して前記シフトレジスタがシフトして
前記補正指示信号を前記画像補正部に出力することを特
徴とする請求項2に記載のイメージデータ処理装置。
3. The image according to claim 2, wherein the shift register shifts in synchronization with pixel data appearing at an output terminal of the image sensor to output the correction instruction signal to the image correction unit. Data processing device.
【請求項4】 前記イメージセンサの出力端子にはある
画素データグループと次の画素データグループとが所定
の間隔をおいて連続的に現れ、前記シフトレジスタは前
記所定の間隔の期間に初期化処理されることを特徴とす
る請求項2または3に記載のイメージデータ処理装置。
4. A pixel data group and a next pixel data group continuously appear at a predetermined interval at an output terminal of the image sensor, and the shift register is initialized during a period of the predetermined interval. The image data processing apparatus according to claim 2 or 3, wherein
【請求項5】 イメージデータを画素データグループに
分けて出力するイメージセンサの出力端子に接続可能に
構成されてなるイメージデータ処理装置であって、 前記イメージセンサ上の1つ以上の特定画素のアドレス
を記憶するメモリ部と、 前記イメージセンサから出力される現在の画素データグ
ループを所定区分に分けた群を指示する群カウンタと、 前記メモリ部に記憶された前記特定画素のアドレスを読
み出すメモリデータフェッチ部と、 前記メモリデータフェッチ部で読み出された特定画素の
アドレスが属する群と前記群カウンタで指示された群と
が一致しているか否かを判定するアドレスデコード部
と、 前記アドレスデコード部での判定結果に応じて補正指示
信号を生成する複数のシフトレジスタと、 前記複数のシフトレジスタのうちセレクタを介して接続
されたシフトレジスタからの補正指示信号をもとに前記
イメージセンサから出力される画素データの補正を行う
画像補正部とを有することを特徴とするイメージデータ
処理装置。
5. An image data processing device configured to be connectable to an output terminal of an image sensor for outputting image data by dividing it into pixel data groups, the address of one or more specific pixels on the image sensor. A memory section that stores a memory cell, a group counter that indicates a group that divides the current pixel data group output from the image sensor into predetermined sections, and a memory data fetch that reads the address of the specific pixel stored in the memory section. A unit, an address decoding unit that determines whether the group to which the address of the specific pixel read by the memory data fetch unit belongs and the group indicated by the group counter match, and the address decoding unit A plurality of shift registers that generate a correction instruction signal according to the determination result of An image data processing device, comprising: an image correction unit that corrects pixel data output from the image sensor based on a correction instruction signal from a shift register connected through a selector.
【請求項6】 前記複数のシフトレジスタは、前記群が
変わるごとに交互に、前記イメージセンサの出力端子に
現れる画素データに同期してシフトして前記補正指示信
号を前記画像補正部に出力することを特徴とする請求項
5に記載のイメージデータ処理装置。
6. The plurality of shift registers shifts alternately in synchronization with pixel data appearing at an output terminal of the image sensor and outputs the correction instruction signal to the image correction unit, every time the group changes. The image data processing device according to claim 5, wherein
【請求項7】 前記複数のシフトレジスタは、1つのシ
フトレジスタが前記補正指示信号を前記画像補正部に出
力している期間に、それ以外のシフトレジスタが初期化
処理されていることを特徴とする請求項5または6に記
載のイメージデータ処理装置。
7. The plurality of shift registers are such that while one shift register is outputting the correction instruction signal to the image correction section, the other shift registers are initialized. The image data processing device according to claim 5 or 6.
【請求項8】 前記シフトレジスタと前記画像補正部と
が同一半導体チップ上に形成されていることを特徴とす
る請求項2〜7の何れか1項に記載のイメージデータ処
理装置。
8. The image data processing device according to claim 2, wherein the shift register and the image correction unit are formed on the same semiconductor chip.
【請求項9】 イメージセンサの出力端子に接続可能に
構成されてなるイメージデータ処理装置において、 前記イメージセンサ上の特定画素のアドレスを記憶する
メモリからアドレスデータを読み出し、 前記アドレスデータに基づいてシフトレジスタを設定
し、 前記イメージセンサからのデータに同期して前記シフト
レジスタを動作させて前記イメージセンサからのデータ
に対する画素補正を制御する構成としたことを特徴とす
るイメージデータ処理装置。
9. An image data processing device configured to be connectable to an output terminal of an image sensor, wherein address data is read from a memory that stores an address of a specific pixel on the image sensor, and shifts based on the address data. An image data processing device, characterized in that a register is set and the shift register is operated in synchronization with the data from the image sensor to control pixel correction for the data from the image sensor.
【請求項10】 イメージセンサの出力端子に接続可能
に構成されてなるイメージデータ処理装置において、 前記イメージセンサ上の特定画素のアドレスを記憶する
メモリからアドレスデータを読み出し、 前記アドレスデータに基づいて複数のシフトレジスタの
いずれかを設定し、同時に前記イメージセンサからのデ
ータに同期して別のシフトレジスタを動作させて画素補
正を制御する構成としたことを特徴とするイメージデー
タ処理装置。
10. An image data processing device configured to be connectable to an output terminal of an image sensor, wherein address data is read from a memory storing an address of a specific pixel on the image sensor, and a plurality of address data are read based on the address data. 2. An image data processing apparatus, characterized in that any one of the shift registers is set, and at the same time, another shift register is operated in synchronization with data from the image sensor to control pixel correction.
【請求項11】 少なくとも、被写体像を結像する光学
系と、 前記光学系で結像された被写体像を画像信号として出力
するイメージセンサと、 前記請求項1〜10の何れか1項に記載のイメージデー
タ処理装置と、 前記イメージデータ処理装置からの出力信号を処理する
信号処理手段とを有することを特徴とする撮像システ
ム。
11. At least an optical system for forming a subject image, an image sensor for outputting the subject image formed by the optical system as an image signal, and the image sensor according to claim 1. 2. An image pickup system, comprising: the image data processing device according to claim 1; and signal processing means for processing an output signal from the image data processing device.
【請求項12】 イメージセンサから順次出力される画
素データを処理するためのイメージデータ処理方法であ
って、 補正指示があったときに前記イメージセンサから入力さ
れる画素データに補正処理を行う補正手順と、 特定画素のアドレスに該当する画素データが前記イメー
ジセンサから入力されるのに同期して前記補正指示を出
力する補正指示出力手順とを有することを特徴とするイ
メージデータ処理方法。
12. An image data processing method for processing pixel data sequentially output from an image sensor, the correction procedure performing a correction process on pixel data input from the image sensor when a correction instruction is given. And a correction instruction output procedure for outputting the correction instruction in synchronization with pixel data corresponding to an address of a specific pixel from the image sensor.
【請求項13】 イメージセンサからのデータを処理す
るためのイメージデータ処理方法であって、 前記イメージセンサ上の特定画素のアドレスを記憶する
メモリからアドレスデータを読み出し、 前記アドレスデータに基づいてシフトレジスタを設定
し、 前記イメージセンサからのデータに同期して前記シフト
レジスタを動作させて前記イメージセンサからのデータ
に対する画素補正を制御することを特徴とするイメージ
データ処理方法。
13. An image data processing method for processing data from an image sensor, comprising: reading address data from a memory storing an address of a specific pixel on the image sensor; and a shift register based on the address data. Is set, and the shift register is operated in synchronization with the data from the image sensor to control the pixel correction for the data from the image sensor.
【請求項14】 イメージセンサからのデータを処理す
るためのイメージデータ処理方法であって、 前記イメージセンサ上の特定画素のアドレスを記憶する
メモリからアドレスデータを読み出し、 前記アドレスデータに基づいて複数のシフトレジスタの
いずれかを設定し、同時に前記イメージセンサからのデ
ータに同期して別のシフトレジスタを動作させて画素補
正を制御することを特徴とするイメージデータ処理方
法。
14. An image data processing method for processing data from an image sensor, comprising: reading address data from a memory storing an address of a specific pixel on the image sensor; An image data processing method, wherein any one of the shift registers is set, and at the same time, another shift register is operated in synchronization with data from the image sensor to control pixel correction.
【請求項15】 イメージセンサから順次出力される画
素データの処理をコンピュータに実行させるためのコン
ピュータプログラムであって、 補正指示があったときに前記イメージセンサから入力さ
れる画素データに補正処理を行う処理と、 特定画素のアドレスに該当する画素データが前記イメー
ジセンサから入力されるのに同期して前記補正指示を出
力する補正指示出力処理とを実行させることを特徴とす
るコンピュータプログラム。
15. A computer program for causing a computer to execute processing of pixel data sequentially output from an image sensor, wherein the pixel data input from the image sensor is corrected when a correction instruction is given. A computer program that executes a process and a correction instruction output process that outputs the correction instruction in synchronization with pixel data corresponding to an address of a specific pixel from the image sensor.
【請求項16】 イメージセンサから順次出力される画
素データの処理をコンピュータに実行させるためのコン
ピュータプログラムであって、 前記イメージセンサ上の特定画素のアドレスを記憶する
メモリからアドレスデータを読み出し、 前記アドレスデータに基づいてシフトレジスタを設定
し、 前記イメージセンサからのデータに同期して前記シフト
レジスタを動作させて前記イメージセンサからのデータ
に対する画素補正を制御する処理をコンピュータに実行
させることを特徴とするコンピュータプログラム。
16. A computer program for causing a computer to execute processing of pixel data sequentially output from an image sensor, the address data being read from a memory storing an address of a specific pixel on the image sensor, A shift register is set based on the data, and the computer is caused to perform a process of controlling the pixel correction for the data from the image sensor by operating the shift register in synchronization with the data from the image sensor. Computer program.
【請求項17】 イメージセンサから順次出力される画
素データの処理をコンピュータに実行させるためのコン
ピュータプログラムであって、 前記イメージセンサ上の特定画素のアドレスを記憶する
メモリからアドレスデータを読み出し、 前記アドレスデータに基づいて複数のシフトレジスタの
いずれかを設定し、同時に前記イメージセンサからのデ
ータに同期して別のシフトレジスタを動作させて画素補
正を制御する処理をコンピュータに実行させることを特
徴とするコンピュータプログラム。
17. A computer program for causing a computer to execute processing of pixel data sequentially output from an image sensor, the address data being read from a memory storing an address of a specific pixel on the image sensor, One of the plurality of shift registers is set based on the data, and at the same time, the computer is caused to execute a process of controlling another pixel correction by operating another shift register in synchronization with the data from the image sensor. Computer program.
【請求項18】 請求項15〜17のいずれか1項に記
載のコンピュータプログラムを格納したことを特徴とす
るコンピュータ読み取り可能な記憶媒体。
18. A computer-readable storage medium on which the computer program according to claim 15 is stored.
JP2002050313A 2002-02-26 2002-02-26 Image data processing apparatus and imaging system Expired - Fee Related JP4343484B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002050313A JP4343484B2 (en) 2002-02-26 2002-02-26 Image data processing apparatus and imaging system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002050313A JP4343484B2 (en) 2002-02-26 2002-02-26 Image data processing apparatus and imaging system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2009142701A Division JP4759628B2 (en) 2009-06-15 2009-06-15 Image data processing apparatus, imaging system, image data processing method, computer program, and computer-readable storage medium

Publications (3)

Publication Number Publication Date
JP2003259220A true JP2003259220A (en) 2003-09-12
JP2003259220A5 JP2003259220A5 (en) 2007-01-18
JP4343484B2 JP4343484B2 (en) 2009-10-14

Family

ID=28662595

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002050313A Expired - Fee Related JP4343484B2 (en) 2002-02-26 2002-02-26 Image data processing apparatus and imaging system

Country Status (1)

Country Link
JP (1) JP4343484B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007535252A (en) * 2004-04-26 2007-11-29 ピルツ ゲーエムベーハー アンド コー.カーゲー Image recording apparatus and method
US7777791B2 (en) 2003-04-11 2010-08-17 Mega Chips Corporation Defective pixel correction device
WO2019130731A1 (en) 2017-12-28 2019-07-04 Sony Semiconductor Solutions Corporation Imaging device and diagnosis method

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7777791B2 (en) 2003-04-11 2010-08-17 Mega Chips Corporation Defective pixel correction device
US7812866B2 (en) 2003-04-11 2010-10-12 Mega Chips Corporation Defective pixel correction device
US7911514B2 (en) 2003-04-11 2011-03-22 Mega Chips Corporation Defective pixel correction device
US8023010B2 (en) 2003-04-11 2011-09-20 Mega Chips Corporation Defective pixel correction device
JP2007535252A (en) * 2004-04-26 2007-11-29 ピルツ ゲーエムベーハー アンド コー.カーゲー Image recording apparatus and method
US7952632B2 (en) 2004-04-26 2011-05-31 Pilz Gmbh & Co. Kg Image recording device and method
WO2019130731A1 (en) 2017-12-28 2019-07-04 Sony Semiconductor Solutions Corporation Imaging device and diagnosis method
US11330212B2 (en) 2017-12-28 2022-05-10 Sony Semiconductor Solutions Corporation Imaging device and diagnosis method

Also Published As

Publication number Publication date
JP4343484B2 (en) 2009-10-14

Similar Documents

Publication Publication Date Title
JP3295077B2 (en) Video processor system
JP5424726B2 (en) Imaging device
US8817139B2 (en) Image pickup device and signal transmitting device
JP2001186419A (en) Image sensor and pixel read method
JP2000287134A (en) Image processor and image processing method
US20040183945A1 (en) Image processor with frame-rate conversion
JPH0622197A (en) Picture processing unit
JP2000194839A (en) Device for panning and scaling image with image sensor
JP4343484B2 (en) Image data processing apparatus and imaging system
JP3991751B2 (en) Solid-state imaging device and reading method thereof
JP4759628B2 (en) Image data processing apparatus, imaging system, image data processing method, computer program, and computer-readable storage medium
JP2000311241A (en) Image processor
JP2004165912A (en) Method and device for driving area imaging element
CN101277384B (en) Image pickup apparatus and method
JPH09130677A (en) Image pickup device and image information correction device
JP4802482B2 (en) Image processing apparatus and image processing method
JP2004294973A (en) Digital image processor
JP2001186417A (en) Defective pixel detector
US8045036B2 (en) Apparatus and method for sorting raw data with horizontal division
JP2000259812A (en) High-speed image processing method and device
JPH10326258A (en) Data arithmetic system and method therefor
CN111436214A (en) Image signal processing apparatus and method
JPH09128475A (en) Information reader
JPH0448884A (en) Storage circuit
JP2002204396A (en) Pixel correction apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090707

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090709

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4343484

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130717

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees