JP2009207195A - Image data processing apparatus, imaging system, image data processing method, computer program, and computer-readable storage medium - Google Patents

Image data processing apparatus, imaging system, image data processing method, computer program, and computer-readable storage medium Download PDF

Info

Publication number
JP2009207195A
JP2009207195A JP2009142701A JP2009142701A JP2009207195A JP 2009207195 A JP2009207195 A JP 2009207195A JP 2009142701 A JP2009142701 A JP 2009142701A JP 2009142701 A JP2009142701 A JP 2009142701A JP 2009207195 A JP2009207195 A JP 2009207195A
Authority
JP
Japan
Prior art keywords
image
image sensor
correction
data
row
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009142701A
Other languages
Japanese (ja)
Other versions
JP4759628B2 (en
Inventor
Yuichiro Yamashita
雄一郎 山下
Kazuhiro Sonoda
一博 園田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009142701A priority Critical patent/JP4759628B2/en
Publication of JP2009207195A publication Critical patent/JP2009207195A/en
Application granted granted Critical
Publication of JP4759628B2 publication Critical patent/JP4759628B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Input (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To make a defect correction of data outputted in real time from an image sensor without needing a frame memory which is needed conventionally. <P>SOLUTION: The address of a specific pixel of an image sensor 101 is stored into a memory portion 106; a current row address of the pixel data outputted from the image sensor 101 is indicated by a row counter 108; matching of the row address of the specific pixel read from the memory portion 106 by a memory fetch portion 107 and the current row address indicated by the counter 108 is detected by an address decode portion 109; a correction of the pixel data which correspond to the current address and are output from the image sensor 101 is conducted by an image correction portion 103; and a defect correction of the pixel data from the image sensor 101 can be made, which allows the frame memory needed conventionally to be made unnecessary. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、イメージデータ処理装置、撮像システム、イメージデータ処理方法、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体に関し、特に、イメージセンサからのデータを補正するものに用いて好適なものである。   The present invention relates to an image data processing apparatus, an imaging system, an image data processing method, a computer program, and a computer-readable storage medium, and is particularly suitable for use in correcting data from an image sensor.

イメージセンサはある確率で画素の点欠陥を有している。従来は、その点欠陥を以下のような方式で補正していた。
1)画素の点欠陥のアドレスをあらかじめメモリに記憶させておく。
2)イメージセンサからのデータをフレームメモリに記憶する。
3)フレームメモリに記憶されたデータの各画素データうち上記メモリに記憶されたアドレスに対応する画素データを、その周辺画素データを用いた演算により補間する。
An image sensor has a pixel point defect with a certain probability. Conventionally, the point defect has been corrected by the following method.
1) The address of the point defect of the pixel is previously stored in the memory.
2) Store data from the image sensor in the frame memory.
3) The pixel data corresponding to the address stored in the memory among the pixel data stored in the frame memory is interpolated by calculation using the peripheral pixel data.

しかしこの方式では、全画面に対応したフレームメモリが必要であり、コストの増加につながることや、また、一枚の画像データを取り終えた後に演算を行うことから単位時間あたりのフレーム出力枚数が欠陥補正処理によって減ってしまうことなどの問題があった。   However, this method requires a frame memory that supports the entire screen, which leads to an increase in cost, and the number of frames that can be output per unit time is increased because the calculation is performed after one image data is taken. There were problems such as reduction by defect correction processing.

また、この方式を採用した際、実使用に耐える時間内に処理を終えるためには、イメージセンサの処理動作と比較して、より高速なクロックで処理ICが動作する必要があり、そのような場合には、ICが生み出すノイズがイメージセンサに伝わってしまい、画質が劣化するという欠点があった。   In addition, when this method is adopted, in order to finish the processing within the time that can withstand actual use, it is necessary for the processing IC to operate with a clock faster than the processing operation of the image sensor. In some cases, the noise generated by the IC is transmitted to the image sensor, and the image quality deteriorates.

本発明は上述の問題点にかんがみてなされたもので、従来必要とされたフレームメモリを必要とせず、リアルタイムでイメージセンサから出力されるデータの欠陥補正を行うことができるようにすることを目的とする。   The present invention has been made in view of the above-described problems, and it is an object of the present invention to make it possible to perform defect correction of data output from an image sensor in real time without requiring a frame memory that has been conventionally required. And

本発明のイメージデータ処理装置は、イメージデータを画素データの行ごとに分けて出力するイメージセンサの出力端子に接続されたイメージデータ処理装置において、前記イメージセンサの補正対象画素のアドレスデータを記憶するメモリと、前記イメージセンサから出力される現在の画素データの行を指示する行カウンタと、前記メモリから前記アドレスデータを読み出すメモリデータフェッチ部と、前記メモリデータフェッチ部で読み出された前記アドレスデータの補正対象画素が属する画素データの行と前記行カウンタで指示された画素データの行とが一致しているか否かを判定するアドレスデコード部と、前記メモリに記憶された前記アドレスデータに基づいて設定されるとともに、前記アドレスデコード部での判定結果に応じて補正指示信号を出力するシフトレジスタと、前記シフトレジスタから出力された補正指示信号をもとに前記イメージセンサから出力される画素データの補正を行う画像補正部とを有し、前記イメージセンサから順次出力される前記イメージデータに同期して前記シフトレジスタが動作し、前記イメージセンサからの前記イメージデータに対する補正が制御され、前記シフトレジスタは、前記イメージセンサの出力端子に現れる画素データに同期してシフトして前記補正指示信号を前記画像補正部に出力することを特徴とするものである。
また、本発明は、上述したイメージデータ処理装置によるイメージデータ処理方法、及び、当該イメージデータ処理方法をコンピュータに実行させるためのコンピュータプログラム、並びに、当該コンピュータプログラムを格納するコンピュータ読み取り可能な記憶媒体を含む。
An image data processing apparatus according to the present invention stores address data of a correction target pixel of the image sensor in an image data processing apparatus connected to an output terminal of an image sensor that outputs image data divided for each row of pixel data. A memory; a row counter that indicates a row of current pixel data output from the image sensor; a memory data fetch unit that reads the address data from the memory; and the address data read by the memory data fetch unit An address decoding unit that determines whether a row of pixel data to which the correction target pixel belongs and a row of pixel data designated by the row counter match, and based on the address data stored in the memory And is set according to the determination result in the address decoding unit. A shift register that outputs a positive instruction signal; and an image correction unit that corrects pixel data output from the image sensor based on the correction instruction signal output from the shift register, and sequentially from the image sensor. The shift register operates in synchronization with the output image data, the correction of the image data from the image sensor is controlled, and the shift register is synchronized with the pixel data appearing at the output terminal of the image sensor. Shifting and outputting the correction instruction signal to the image correction unit.
The present invention also provides an image data processing method by the above-described image data processing apparatus, a computer program for causing a computer to execute the image data processing method, and a computer-readable storage medium storing the computer program. Including.

本発明によれば、特定画素、たとえば補正対象の画素のアドレスに該当する画素データがイメージセンサから入力されるのに同期して補正指示を出力することができるので、イメージセンサから出力されるデータの欠陥補正をリアルタイムで行うことができ、従来必要とされたフレームメモリを不要とすることができる。これにより、従来の補正回路に比べて少ない回路規模とすることができ、低いクロック周波数で駆動可能な回路を採用することで、より重畳されるノイズの少ないイメージデータ処理を実現することができる。また、フレームメモリに一度取り込む必要がなくなることから、より早いフレームレートを実現することができるようになる。   According to the present invention, a correction instruction can be output in synchronization with input of pixel data corresponding to an address of a specific pixel, for example, a pixel to be corrected, from the image sensor. The defect correction can be performed in real time, and the frame memory which has been conventionally required can be eliminated. Accordingly, the circuit scale can be reduced as compared with the conventional correction circuit, and image data processing with less superimposed noise can be realized by employing a circuit that can be driven at a low clock frequency. In addition, since there is no need to capture the frame memory once, a higher frame rate can be realized.

また、画素補正指示信号とイメージセンサから取り込む画素データとを同期させることで、正確に補正対象画素を処理することができる。   Further, the pixel to be corrected can be accurately processed by synchronizing the pixel correction instruction signal and the pixel data fetched from the image sensor.

第1の実施形態におけるイメージデータ処理装置の機能ブロック図である。It is a functional block diagram of the image data processing device in the first embodiment. 第1の実施形態におけるイメージデータ処理装置の初期化処理と補正処理の流れを示した図である。It is the figure which showed the flow of the initialization process and correction | amendment process of the image data processing apparatus in 1st Embodiment. 第2の実施形態におけるイメージデータ処理装置の機能ブロック図である。It is a functional block diagram of the image data processing apparatus in 2nd Embodiment. 第2の実施形態におけるイメージデータ処理装置の初期化処理と補正処理の流れを示した図である。It is the figure which showed the flow of the initialization process and correction | amendment process of the image data processing apparatus in 2nd Embodiment. 第2の実施形態におけるイメージデータ処理装置の初期化処理と補正処理の流れを示した図である。It is the figure which showed the flow of the initialization process and correction | amendment process of the image data processing apparatus in 2nd Embodiment. 本発明の係わるイメージデータ処理装置を撮像装置に適用した例を示すブロック図である。1 is a block diagram illustrating an example in which an image data processing apparatus according to the present invention is applied to an imaging apparatus.

次に、添付図面を参照しながら本発明のイメージデータ処理装置、撮像システム、イメージデータ処理方法、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体の実施の形態について説明する。   Next, embodiments of an image data processing apparatus, an imaging system, an image data processing method, a computer program, and a computer-readable storage medium according to the present invention will be described with reference to the accompanying drawings.

(第1の実施形態)
本発明の第1の実施形態を図1、図2を用いて説明する。
図1は本実施形態におけるイメージデータ処理装置113の機能ブロック図である。101はデータの発生源となるイメージセンサであり、イメージデータ処理装置113に接続されている。
(First embodiment)
A first embodiment of the present invention will be described with reference to FIGS.
FIG. 1 is a functional block diagram of the image data processing apparatus 113 in the present embodiment. An image sensor 101 is a data generation source, and is connected to the image data processing device 113.

イメージデータ処理装置113において、102はイメージデータ処理装置113の入力端子である。103は画素補正処理を行う画像補正部であり、イメージセンサ101からのデータが入力される入力端子104、シフトレジスタ110からの画素補正指示信号が入力される入力端子105、画素補正結果を出力する出力端子112を有する。   In the image data processing device 113, 102 is an input terminal of the image data processing device 113. An image correction unit 103 performs pixel correction processing. The input terminal 104 receives data from the image sensor 101, the input terminal 105 receives a pixel correction instruction signal from the shift register 110, and outputs a pixel correction result. An output terminal 112 is provided.

106は補正対象のアドレスデータを保持するアドレス保持メモリ部で、任意のフォーマットでデータが収められている。107はメモリフェッチ部であり、アドレス保持メモリ部106に保持されているメモリデータが所定の補正対象アドレスごとの単位で取り込まれる。108は行カウンタである。   An address holding memory unit 106 holds address data to be corrected and stores data in an arbitrary format. A memory fetch unit 107 fetches memory data held in the address holding memory unit 106 in units of predetermined correction target addresses. Reference numeral 108 denotes a row counter.

109はアドレスデコーダであり、行カウンタ108の情報とメモリフェッチ部107からの補正対象アドレスの情報が入力される。110は1ビットシリアルのシフトレジスタであり、アドレスデコーダ109から出力されたデコード結果を受け、最終段111から画素補正指示信号を画像補正部103の入力端子105に出力する。   Reference numeral 109 denotes an address decoder, which receives information from the row counter 108 and information about the correction target address from the memory fetch unit 107. A 1-bit serial shift register 110 receives the decoding result output from the address decoder 109 and outputs a pixel correction instruction signal from the final stage 111 to the input terminal 105 of the image correction unit 103.

次に、この機能ブロックの動作を説明する。本実施形態では、アドレス保持メモリ部106内のアドレスの配列として、補正対象画素のアドレスは、行番号の若い順にソートされているとする。   Next, the operation of this functional block will be described. In the present embodiment, it is assumed that the addresses of the correction target pixels are sorted in ascending order of row numbers as the address arrangement in the address holding memory unit 106.

まず、シフトレジスタ110を完全に初期化する。ここで初期状態を「0」とし、補正指示信号を「1」とする。このシフトレジスタ110の初期化処理期間に、アドレス保持メモリ部106からメモリフェッチ部107にアドレスデータが読み出される。このアドレスデータは、補正対象画素の行と列を示す情報を有している。   First, the shift register 110 is completely initialized. Here, the initial state is “0”, and the correction instruction signal is “1”. During the initialization processing period of the shift register 110, address data is read from the address holding memory unit 106 to the memory fetch unit 107. This address data has information indicating the row and column of the correction target pixel.

一方、行カウンタ108には、現在の補正対象の行番号が保持されている。   On the other hand, the row counter 108 holds the current row number to be corrected.

アドレスデコーダ109においては、メモリフェッチ部107のアドレスデータに含まれる行番号と行カウンタ108に保持されている行番号との2つの行番号を比較し、一致している場合は、現在メモリフェッチ部107でフェッチされている列番号は補正されるべき画素を示しているとして、シフトレジスタ110にデコード信号を送る。たとえば、メモリフェッチ部107でフェッチされている列番号が10番だったら、シフトレジスタ110の10番目に「1」を書き込む。   In the address decoder 109, the two row numbers of the row number included in the address data of the memory fetch unit 107 and the row number held in the row counter 108 are compared, and if they match, the current memory fetch unit Assuming that the column number fetched at 107 indicates a pixel to be corrected, a decode signal is sent to the shift register 110. For example, if the column number fetched by the memory fetch unit 107 is No. 10, “1” is written to the tenth of the shift register 110.

その後、次のアドレスデータを取り込み、上記と同様のアドレスデコード及びシフトレジスタ110の初期化処理を行う。また、本動作は行番号が一致しなくなったところで一旦停止する。   Thereafter, the next address data is fetched, and the address decoding and the shift register 110 initialization process similar to the above are performed. This operation is temporarily stopped when the line numbers do not match.

次に、画素補正期間(シフトレジスタ110の動作期間)に移行する。
まず、イメージセンサ101からのデータと同じレートでシフトレジスタ110を動作させる。たとえば、ある行の10列目のデータが補正されるべき画素であれば、イメージセンサ101からの10個の画素データが入力端子104にくる間に、ちょうどシフトレジスタ110の画素補正指示信号が初期化処理時に指示信号入力端子105までシフトされ、10列目の画素データが画像補正部103に入力されるのと同時期に画素補正指示信号が画像補正部103に入力される。
Next, the pixel correction period (the operation period of the shift register 110) starts.
First, the shift register 110 is operated at the same rate as the data from the image sensor 101. For example, if the data of the 10th column of a certain row is a pixel to be corrected, the pixel correction instruction signal of the shift register 110 is just the initial while the 10 pixel data from the image sensor 101 arrives at the input terminal 104. At the same time as the pixel data of the 10th column is input to the image correction unit 103, the pixel correction instruction signal is input to the image correction unit 103.

画像補正部103においては、シフトレジスタ110からの画素補正指示信号を受けて何らかの決められた画像補正処理を行い、その結果を出力端子112から出力する。   The image correction unit 103 receives a pixel correction instruction signal from the shift register 110, performs some predetermined image correction processing, and outputs the result from the output terminal 112.

ここで、シフトレジスタ110は、その初期化処理と補正処理(画素補正信号を出力するためのシフト処理)とを同時に行うことができないので、スケジューリングが必要となる。図2を用いてその考え方を説明する。
図2は、所定の行に着目してシフトレジスタ110の初期化処理と補正の流れを示した図である。
Here, the shift register 110 cannot perform the initialization process and the correction process (shift process for outputting a pixel correction signal) at the same time, so scheduling is necessary. The concept will be described with reference to FIG.
FIG. 2 is a diagram showing a flow of initialization processing and correction of the shift register 110 focusing on a predetermined row.

201はイメージセンサ101の処理動作を時間の流れに対して示したものであり、202はそれに対応したシフトレジスタ110(補正回路)の処理動作を示したものである。イメージセンサ101は、行が変わる間に水平ブランキング期間という、画素データを出力しない期間を有しているので、たとえばn行目の水平ブランキング期間においては、n行目の補正データのデコード及びシフトレジスタ110の初期化処理を行う。その初期化処理の後、イメージセンサ101からの画素データに同期してシフトレジスタ110を動作させ、所定の画素データの補正を行う。   201 shows the processing operation of the image sensor 101 with respect to the flow of time, and 202 shows the processing operation of the shift register 110 (correction circuit) corresponding thereto. Since the image sensor 101 has a period during which the pixel data is not output, that is, a horizontal blanking period while the line changes, for example, in the horizontal blanking period of the nth row, the correction data of the nth row is decoded and An initialization process of the shift register 110 is performed. After the initialization process, the shift register 110 is operated in synchronization with the pixel data from the image sensor 101 to correct predetermined pixel data.

ここで、イメージセンサ101であるが、たとえばCMOSセンサ、CCD、その他のデバイスなどが考えられる。本発明においては、イメージセンサ101の種類にはよらず、適用可能である。   Here, the image sensor 101 is, for example, a CMOS sensor, a CCD, or another device. The present invention is applicable regardless of the type of the image sensor 101.

また、本実施形態では、イメージセンサ101が直接補正装置(イメージデータ処理装置113)に接続されている。その間のデータ形態がアナログデータ/デジタルデータ、どちらであるかはここでは限定していない。たとえば、イメージセンサ101からのアナログデータを直接補正装置(イメージデータ処理装置113)で処理しても良く、もしくは、一度AD変換されたデータを処理しても良い。   In the present embodiment, the image sensor 101 is directly connected to the correction device (image data processing device 113). It is not limited here whether the data form during that time is analog data / digital data. For example, analog data from the image sensor 101 may be processed directly by the correction device (image data processing device 113), or data once AD-converted may be processed.

また、ここではメモリフェッチ/アドレスデコードの考え方として、まず行が若い順にソートされていることを仮定し、行が一致した場合に、メモリフェッチされているその列の位置をデコードし、シフトレジスタ110を設定して、行が一致しなくなるまでその処理をくりかえし、そこでメモリフェッチを停止するという方式を採用している。   Here, as a concept of memory fetch / address decoding, it is assumed that the rows are sorted in ascending order, and when the rows match, the position of the column fetched by the memory is decoded, and the shift register 110 Is used, and the process is repeated until the lines do not match, and the memory fetch is stopped there.

ただし、アルゴリズムはこれのみに限定されず、キズアドレス群から補正すべきアドレスを探すことができればいかなる方法でも良い。たとえば1行進むごとにアドレスの格納されたメモリを先頭から最後までスキャンしてアドレスを見つけても良い。この場合は、全メモリのスキャンが必要なので判定に時間がかかるが、アドレスをソートしなくてはならないという前提を取り除くことができる。   However, the algorithm is not limited to this, and any method may be used as long as an address to be corrected can be found from the scratch address group. For example, the address may be found by scanning the memory in which the address is stored from the beginning to the end as the line advances. In this case, since it takes a long time to scan all the memories, it is possible to remove the premise that the addresses must be sorted.

また、ここで画像補正部103での画像補正処理の内容については言及していないが、シフトレジスタ110からの画素補正指示に従って補正を行うものであればいかなるものでも、本発明の効果を奏することができる。たとえば画像補正部103が遅延素子を有しており、1画素もしくは複数画素前の値を補正後の画素出力として出力しても良い。或いは、たとえば画像補正部103が遅延素子と遅延出力機能を有しており、1画素もしくは複数画素後の値を補正後の画素出力として出力しても良い。   Further, the contents of the image correction processing in the image correction unit 103 are not mentioned here, but any device that performs correction in accordance with the pixel correction instruction from the shift register 110 has the effect of the present invention. Can do. For example, the image correction unit 103 may include a delay element, and the value of one pixel or a plurality of pixels before may be output as the corrected pixel output. Alternatively, for example, the image correction unit 103 may have a delay element and a delay output function, and a value after one pixel or a plurality of pixels may be output as a pixel output after correction.

また、前記2つの方法では、同一行のデータを用いることでしか画素補正を行えず、その画素の補正結果と上下周辺画素との相関は無関係となる。上下周辺画素との相関を無関係としないため、たとえば補正回路が数行分のラインメモリと演算機能、遅延出力機能とを有し、隣接加算を行った補正結果を出力しても良い。この場合の出力は、入力から1行もしくは数行遅れることになる。   In the two methods, pixel correction can be performed only by using data in the same row, and the correlation between the correction result of the pixel and the upper and lower peripheral pixels is irrelevant. In order not to make the correlation with the upper and lower peripheral pixels irrelevant, for example, the correction circuit may have several lines of line memory, an arithmetic function, and a delay output function, and may output a correction result obtained by performing adjacent addition. In this case, the output is delayed by one line or several lines from the input.

また、行カウンタ108は、行という単語を使っているがこれには限定されない。画素がグループに分割されている際に、そのグループを識別する目的でここでは行の概念を導入したのみであり、たとえばグループカウンタという呼び方をしても良い。   The line counter 108 uses the word line, but is not limited to this. When the pixels are divided into groups, the concept of a row is only introduced here for the purpose of identifying the group. For example, a group counter may be called.

また、列数とシフトレジスタ110の段数は、本実施形態においては対応させる必要がある。たとえばイメージセンサ101の列数が3000である場合、シフトレジスタ110の段数も3000段必要となる。なお、たとえば先頭のn画素だけを補正対象としたいような場合は、シフトレジスタ110の段数をn段に限定することで回路規模を縮小することができる。   Further, the number of columns and the number of stages of the shift register 110 need to correspond in this embodiment. For example, when the number of columns of the image sensor 101 is 3000, the number of stages of the shift register 110 is also required to be 3000. For example, when only the first n pixels are to be corrected, the circuit scale can be reduced by limiting the number of stages of the shift register 110 to n stages.

また、回路作製プロセスにおいて、シフトレジスタ110や画像補正部103などを同一半導体チップに形成することによっても、回路規模を縮小することができる。   In the circuit manufacturing process, the circuit scale can also be reduced by forming the shift register 110, the image correction unit 103, and the like on the same semiconductor chip.

また、画素の読み出しが始まる前に、決められた水平ブランキング期間で所定行の補正データの初期化処理をする必要がある。この要求に対応する方法としては、1)水平ブランキング期間で初期化処理をできないような行あたりの補正対象画素数を許さないような仕様にする、2)初期化処理が終了次第、画素の読み出しを開始するようにタイミング発生を工夫する、などが考えられる。どちらも設計項目であり、これにより、本発明の効果を限定するものではない。   In addition, it is necessary to initialize the correction data of a predetermined row in a predetermined horizontal blanking period before pixel reading starts. As a method for responding to this requirement, 1) a specification that does not allow the number of pixels to be corrected per row so that the initialization process cannot be performed in the horizontal blanking period, and 2) as soon as the initialization process is completed, It is conceivable to devise timing generation so as to start reading. Both are design items, and the effect of the present invention is not limited thereby.

また、処理ICの生み出すノイズを最低限にしたい場合は、初期化処理時のメモリフェッチなどに用いるクロックの周波数をできる限り低周波にしなくてはならない。このような場合は使用可能なクロックスピードと、補正対象画素数の最適化が必要となるが、これらも設計項目である。   Further, when it is desired to minimize the noise generated by the processing IC, the frequency of the clock used for memory fetching during the initialization process must be as low as possible. In such a case, it is necessary to optimize the usable clock speed and the number of pixels to be corrected. These are also design items.

また、本実施形態では10列目の画素を補正するために10番目のレジスタに指示信号を与えているが、たとえば1列目(先頭)の画素を補正するために1度もシフトを必要としない場合は、9番目のレジスタに指示信号を与えればよい。先頭の画素を補正するために何度かダミーのシフトを必要とする場合は、それを見越したレジスタの位置に指示信号を設定すればよい。   In this embodiment, an instruction signal is given to the tenth register to correct the pixels in the tenth column. For example, a shift is required once to correct the pixels in the first column (first). If not, an instruction signal may be given to the ninth register. If several dummy shifts are required to correct the first pixel, an instruction signal may be set at a register position that allows for the shift.

以上説明してきたように、本実施形態の構成とすることで、補正対象の画素のアドレスに該当する画素データがイメージセンサ101から画像補正部103に入力されるのに同期してシフトレジスタ110から画像補正部103に画素補正指示信号を出力するようにしたので、イメージセンサ101から出力されるデータの欠陥補正をリアルタイムで行うことができ、従来必要とされたフレームメモリを不要とすることができる。これにより、従来の補正回路に比べて少ない回路規模とすることができ、低いクロック周波数で駆動可能な回路を採用することで、より重畳されるノイズの少ないイメージデータ処理を実現することができる。   As described above, with the configuration of the present embodiment, the shift register 110 synchronizes with the pixel data corresponding to the address of the pixel to be corrected being input from the image sensor 101 to the image correction unit 103. Since the pixel correction instruction signal is output to the image correction unit 103, defect correction of data output from the image sensor 101 can be performed in real time, and a conventionally required frame memory can be eliminated. . Accordingly, the circuit scale can be reduced as compared with the conventional correction circuit, and image data processing with less superimposed noise can be realized by employing a circuit that can be driven at a low clock frequency.

また、シフトレジスタ110からの画素補正指示信号とイメージセンサ101から取り込む画素データとを同期させることで、正確に補正対象画素を処理することができる。   Further, by synchronizing the pixel correction instruction signal from the shift register 110 and the pixel data fetched from the image sensor 101, the correction target pixel can be processed accurately.

また、イメージセンサ101から画素データが出力されない期間を利用してシフトレジスタ110の初期化処理を行うことで、その初期化処理に必要な時間を実効的にゼロにすることができる。これにより、より早いフレームレートを実現することができるようになる。   Further, by performing the initialization process of the shift register 110 using a period during which no pixel data is output from the image sensor 101, the time required for the initialization process can be effectively reduced to zero. As a result, a faster frame rate can be realized.

(第2の実施形態)
本発明の第2の実施形態を図3、図4、図5を用いて説明する。
図3は本実施形態におけるイメージデータ処理装置の機能ブロック図である。なお、上記第1の実施形態で説明した構成要素には同一の符号を付し、以下では上記第1の実施形態との相違点を中心に説明する。
(Second Embodiment)
A second embodiment of the present invention will be described with reference to FIG. 3, FIG. 4, and FIG.
FIG. 3 is a functional block diagram of the image data processing apparatus according to this embodiment. In addition, the same code | symbol is attached | subjected to the component demonstrated in the said 1st Embodiment, and it demonstrates centering on difference with the said 1st Embodiment below.

本実施形態では、アドレスデコーダ109は、複数のシフトレジスタに設定を行う。本実施形態では、第1のシフトレジスタ110と第2のシフトレジスタ301の2つのシフトレジスタを有する場合を説明する。   In the present embodiment, the address decoder 109 sets a plurality of shift registers. In this embodiment, a case where two shift registers, the first shift register 110 and the second shift register 301, are described.

図3に示すように、シフトレジスタ110、301は、初期化イネーブル端子303、304をそれぞれ有し、初期化イネーブルの指示が来たときのみアドレスデコーダ109からの指示を受け付ける。逆に初期化処理の指示を受けていないシフトレジスタは、画素補正指示信号出力のためのシフト処理を行う。   As shown in FIG. 3, the shift registers 110 and 301 have initialization enable terminals 303 and 304, respectively, and accept an instruction from the address decoder 109 only when an initialization enable instruction is received. Conversely, a shift register that has not received an instruction for initialization processing performs shift processing for outputting a pixel correction instruction signal.

第1及び第2のシフトレジスタ101、301の最終段111、302は、セレクタ305を介して画像補正部103の指示信号入力端子105に接続される。また、第1の実施形態の行カウンタ108は、ここでは群カウンタ306と名称を変更している。   The final stages 111 and 302 of the first and second shift registers 101 and 301 are connected to the instruction signal input terminal 105 of the image correction unit 103 via the selector 305. Further, the name of the row counter 108 of the first embodiment is changed to the group counter 306 here.

次に、本機能ブロックの動作を説明する。
基本的には第1の実施形態と同等の動作をする。異なる点は、並列に構成された第1及び第2シフトレジスタ110、301とセレクタ305にまつわる動作である。たとえば第1のシフトレジスタ110が初期化処理されている際、セレクタ305は、第2のシフトレジスタの最終段302を画像補正部103の指示信号入力端子105へ接続し、そして、第2のシフトレジスタ301が画像補正部103に画素補正指示信号を送る。第2のシフトレジスタ301が初期化処理されている際には、この逆の処理動作をする。
Next, the operation of this functional block will be described.
The operation is basically the same as that of the first embodiment. The difference is the operation related to the first and second shift registers 110 and 301 and the selector 305 configured in parallel. For example, when the first shift register 110 is being initialized, the selector 305 connects the final stage 302 of the second shift register to the instruction signal input terminal 105 of the image correction unit 103, and the second shift register The register 301 sends a pixel correction instruction signal to the image correction unit 103. When the second shift register 301 is initialized, the reverse processing operation is performed.

次に、図4を用いて、本実施形態のイメージデータ処理装置の初期化処理と補正処理(画素補正信号を出力するためのシフト処理)のスケジュールを説明する。ここで401はイメージセンサ101の処理動作を時間軸に対して模式的に示したものであり、たとえばn行目のアクセスについては、水平ブランキング期間402と、画素読み出し期間403からなる。ここでn行目読み出し期間403は4分割されており、それぞれ第1群読み出し期間404、第2群読み出し期間405、第3群読み出し期間406、第4群読み出し期間407で構成されている。また、408は1つ前の行であるn−1行目の第4群読み出し期間である。   Next, the initialization process and the correction process (shift process for outputting a pixel correction signal) of the image data processing apparatus according to the present embodiment will be described with reference to FIG. Here, 401 schematically shows the processing operation of the image sensor 101 with respect to the time axis. For example, the access in the nth row includes a horizontal blanking period 402 and a pixel readout period 403. Here, the n-th row readout period 403 is divided into four parts, which are constituted by a first group readout period 404, a second group readout period 405, a third group readout period 406, and a fourth group readout period 407, respectively. Reference numeral 408 denotes a fourth group readout period in the (n-1) th row that is the previous row.

第1のシフトレジスタ110においては、n−1行目の第4群読み出しの間に、イメージセンサ101からの画素データに同期して画素補正処理動作を行う(409)。また、第2のシフトレジスタ301においては、次の読み出されるべきn行目の第1群データの初期化処理を行う(410)。このようにして、各シフトレジスタが初期化処理と補正処理とを交互に繰り返す動作を行う。   In the first shift register 110, during the fourth group reading of the (n-1) th row, a pixel correction processing operation is performed in synchronization with the pixel data from the image sensor 101 (409). In the second shift register 301, the first group data of the nth row to be read next is initialized (410). In this way, each shift register performs an operation of alternately repeating the initialization process and the correction process.

次に、本実施形態の効果を説明する。
上記第1の実施形態においては、n行目の補正データの初期化処理は、その水平ブランク期間でのみ行うために、その期間でn行目の列分の設定が必要であった。たとえばイメージセンサ101の列数が3000列存在する場合、シフトレジスタも3000段必要であった。
Next, the effect of this embodiment will be described.
In the first embodiment, since the initialization processing of the correction data for the nth row is performed only during the horizontal blank period, it is necessary to set the column for the nth row during that period. For example, when the number of columns of the image sensor 101 is 3000, 3000 stages of shift registers are required.

それに対して、本実施形態においては、たとえば3000列を750列ごとの4群に分け、750段のシフトレジスタを並列に2つ用意することで、必要となるシフトレジスタを減少させることができる。さらに、たとえば4群ではなく300群に分割すれば10段のシフトレジスタを2つ並列に有すればよいことになり、シフトレジスタに必要な回路規模を激減させることができる。   On the other hand, in this embodiment, for example, by dividing 3000 columns into four groups of 750 columns and preparing two 750-stage shift registers in parallel, the required shift registers can be reduced. Further, for example, if divided into 300 groups instead of four groups, two 10-stage shift registers need only be provided in parallel, and the circuit scale required for the shift registers can be drastically reduced.

ここで、補正対象の画素が多数存在し、図4で示されるような初期化処理時間では間に合わないケースが起こりうる。初期化処理時間が足りずに使用不可能になってしまったイメージセンサ101は、不良品となってしまい歩留まり低下の要因となる。初期化処理時間をさらに多く取るためには、メモリフェッチ部107、アドレスデコーダ部109、及び並列に並べるシフトレジスタの数を増やせばよい。   Here, there are cases where there are a large number of pixels to be corrected, and the initialization processing time as shown in FIG. The image sensor 101 that has become unusable due to insufficient initialization processing time becomes a defective product and causes a decrease in yield. In order to further increase the initialization processing time, the number of the memory fetch unit 107, the address decoder unit 109, and the shift registers arranged in parallel may be increased.

図5は、図3に示したイメージデータ処理装置に対して、メモリフェッチ部107、アドレスデコーダ部109を1つ増やして、シフトレジスタをさらに2つ増やした場合のスケジュール図である。図5に示すように、第1のシフトレジスタ501、第2のシフトレジスタ502が偶数群の補正処理を担当し、増設されたメモリフェッチ部、アドレスデコーダ部で制御される新たな第3のシフトレジスタ503、第4のシフトレジスタ504が奇数群の補正処理を担当するように構成することで、倍のデータ初期化処理期間が確保できるようになる。さらに、初期化処理期間を増やしたい場合は、さらにメモリフェッチ部、アドレスデコーダ部、シフトレジスタを増設すればよい。   FIG. 5 is a schedule diagram when the memory fetch unit 107 and the address decoder unit 109 are increased by one and the shift register is further increased by two with respect to the image data processing apparatus shown in FIG. As shown in FIG. 5, the first shift register 501 and the second shift register 502 are in charge of correction processing for the even number group, and a new third shift controlled by the added memory fetch unit and address decoder unit. By configuring the register 503 and the fourth shift register 504 to perform correction processing for the odd-numbered group, a double data initialization processing period can be secured. Furthermore, if it is desired to increase the initialization processing period, a memory fetch unit, an address decoder unit, and a shift register may be added.

以上説明してきたように、本実施形態の構成とすることで、一行あたりの画素数が多いイメージセンサにおいても、より早いフレームレートを実現することができる。また、補正対象の画素のアドレスに該当する画素データがイメージセンサ101から画像補正部103に入力されるのに同期してシフトレジスタ110、301のいずれかから画像補正部103に画素補正指示信号を出力するようにしたので、従来必要とされたフレームメモリを不要とすることができる。これにより、従来の補正回路に比べて少ない回路規模とすることができ、低いクロック周波数で駆動可能な回路を採用することで、より重畳されるノイズの少ないイメージデータ処理装置を実現することができる。   As described above, with the configuration of the present embodiment, a faster frame rate can be realized even in an image sensor having a large number of pixels per row. In addition, a pixel correction instruction signal is sent from one of the shift registers 110 and 301 to the image correction unit 103 in synchronization with the pixel data corresponding to the address of the pixel to be corrected being input from the image sensor 101 to the image correction unit 103. Since the output is made, the frame memory that has been conventionally required can be dispensed with. Thereby, the circuit scale can be reduced as compared with the conventional correction circuit, and an image data processing apparatus with less superimposed noise can be realized by employing a circuit that can be driven at a low clock frequency. .

また、一行あたりの画素数がより多いイメージセンサにおいても、シフトレジスタ110からの画素補正指示信号とイメージセンサ101から取り込む画素データとを同期させることで、正確に補正対象画素を処理することができる。   Even in an image sensor having a larger number of pixels per row, the pixel to be corrected can be accurately processed by synchronizing the pixel correction instruction signal from the shift register 110 and the pixel data captured from the image sensor 101. .

また、複数のシフトレジスタ有し、1つのシフトレジスタが補正動作を行っている期間に、その他のシフトレジスタを順次初期化処理することで、初期化処理に必要な時間を実効的にゼロにすることができる。これにより、さらに早いフレームレートを実現することができるようになる。   In addition, when there is a plurality of shift registers and one shift register is performing a correction operation, the time required for the initialization process is effectively reduced to zero by sequentially initializing the other shift registers. be able to. Thereby, an even faster frame rate can be realized.

(第3の実施形態)
次に、本発明の係わるイメージデータ処理装置を撮像装置(デジタルカメラ)に適用した場合の実施形態を説明する。
(Third embodiment)
Next, an embodiment when the image data processing apparatus according to the present invention is applied to an imaging apparatus (digital camera) will be described.

図6は、本発明の係わるイメージデータ処理装置を撮像装置に適用した例を示すブロック図である。   FIG. 6 is a block diagram showing an example in which the image data processing apparatus according to the present invention is applied to an imaging apparatus.

図6において、11はレンズ12の保護とメインスイッチを兼ねるバリア、12は被写体の光学像をイメージセンサ14に結像させるレンズ、13はレンズ12を通った光量を可変するための絞り、14はレンズ12で結像された被写体像を画像信号として取り込むためのイメージセンサ、15は本発明に係わるイメージデータ処理装置であり、イメージセンサ14から出力される画像信号の欠陥補正をする画像補正部18を有している。16はイメージデータ処理装置15から出力された画像信号のアナログ−デジタル変換を行うA/D変換器、17はA/D変換器16から出力された画像データに各種の補正を行い、あるいはデータを圧縮する信号処理部である。ここで、イメージデータ処理装置15は、イメージセンサ14、A/D変換器16、画像補正部18、及び信号処理部17等にタイミング信号を供給する駆動回路を含んでおり、画像補正部18と駆動回路とは、同一半導体チップ上に形成されている。また、イメージセンサ処理装置15は、A/D変換器16の後段であってもよい。   In FIG. 6, reference numeral 11 denotes a barrier that serves as a main switch for protecting the lens 12, 12 denotes a lens that forms an optical image of a subject on the image sensor 14, 13 denotes a diaphragm for changing the amount of light passing through the lens 12, and 14. An image sensor 15 for taking in the subject image formed by the lens 12 as an image signal, 15 is an image data processing apparatus according to the present invention, and an image correction unit 18 for correcting a defect in the image signal output from the image sensor 14. have. Reference numeral 16 denotes an A / D converter that performs analog-digital conversion of the image signal output from the image data processing device 15, and reference numeral 17 denotes various corrections to the image data output from the A / D converter 16, or A signal processing unit for compression. Here, the image data processing device 15 includes a drive circuit that supplies a timing signal to the image sensor 14, the A / D converter 16, the image correction unit 18, the signal processing unit 17, and the like. The drive circuit is formed on the same semiconductor chip. Further, the image sensor processing device 15 may be a subsequent stage of the A / D converter 16.

19は各種演算と撮像装置全体を制御する全体制御・演算部、20は画像データを一時的に記憶するための画像データメモリ部、21は記憶媒体に対して記録または読み出しを行うための記憶媒体制御インタフェース部、22は画像データの記録または読み出しを行うための半導体メモリ等の着脱可能な記憶媒体、23は外部コンピュータ等と接続するための外部インタフェース部である。   19 is an overall control / arithmetic unit for controlling various calculations and the entire imaging apparatus, 20 is an image data memory unit for temporarily storing image data, and 21 is a storage medium for recording or reading out the storage medium. A control interface unit 22 is a detachable storage medium such as a semiconductor memory for recording or reading image data, and 23 is an external interface unit for connecting to an external computer or the like.

次に、上記構成における撮像装置の撮影時の動作について説明する。
まず、バリア11が開けられるとメイン電源がオンされ、次にコントロール系の電源がオンし、さらにA/D変換器16などの撮像系回路の電源がオンされる。
Next, an operation at the time of shooting of the imaging apparatus having the above configuration will be described.
First, when the barrier 11 is opened, the main power supply is turned on, the control system power supply is turned on, and the power supply of the imaging system circuit such as the A / D converter 16 is turned on.

次に、イメージセンサ14から出力された信号は、イメージセンサ処理装置15で欠陥画素の信号があれば、画像補正部18で補正され、A/D変換器16に出力されて、そのA/D変換器16で変換された後、信号処理部17に入力される。   Next, the signal output from the image sensor 14 is corrected by the image correction unit 18 and output to the A / D converter 16 if there is a signal of a defective pixel in the image sensor processing device 15, and the A / D After being converted by the converter 16, the signal is input to the signal processing unit 17.

そして、信号処理部17で所定の処理がなされ、出力された画像データは、全体制御・演算部19によって画像データメモリ部20に書き込まれる。次に、画像データメモリ部20に蓄積されたデータは全体制御・演算部19の制御により、記憶媒体制御インタフェース部21を介して、記憶媒体22に記録される。また、外部インタフェース部23を通り直接コンピュータ等に入力して、画像データの加工を行ってもよい。   Then, predetermined processing is performed by the signal processing unit 17, and the output image data is written into the image data memory unit 20 by the overall control / calculation unit 19. Next, the data stored in the image data memory unit 20 is recorded on the storage medium 22 via the storage medium control interface unit 21 under the control of the overall control / calculation unit 19. Further, the image data may be processed by directly inputting to a computer or the like through the external interface unit 23.

本実施形態の構成とすることで、イメージセンサ14から出力される画像信号の欠陥補正をすることができ、高画質な撮像装置を実現することができる。   By adopting the configuration of the present embodiment, it is possible to correct a defect in the image signal output from the image sensor 14 and to realize an image pickup apparatus with high image quality.

(本発明の他の実施の形態)
本発明は複数の機器から構成されるシステムに適用しても1つの機器からなる装置に適用しても良い。
(Another embodiment of the present invention)
The present invention may be applied to a system composed of a plurality of devices or an apparatus composed of a single device.

また、上記実施形態では、アドレス保持メモリ部106、メモリフェッチ部107、行カウンタ108や群カウンタ306、アドレスデコーダ109などは機能ブロックで構成されているが、汎用の制御装置、たとえば何らかのCPUなどでそれらの機能をソフトウェア的に実現しても同等の効果を得られる。すなわち、上述した実施の形態の機能を実現するように各種のデバイスを動作させ、上記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、記憶媒体から、またはインターネット等の伝送媒体を介して上記実施の形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ(CPUあるいはMPU)に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。   In the above embodiment, the address holding memory unit 106, the memory fetch unit 107, the row counter 108, the group counter 306, the address decoder 109, and the like are configured by functional blocks. However, a general-purpose control device such as a CPU is used. Even if these functions are implemented in software, the same effect can be obtained. That is, various devices are operated so as to realize the functions of the above-described embodiments, and the devices connected to the various devices or the computers in the system are transferred from a storage medium or via a transmission medium such as the Internet. A software program code for realizing the functions of the above-described embodiment is supplied, and the above-mentioned various devices are operated according to a program stored in a computer (CPU or MPU) of the system or apparatus. It is included in the category of the invention.

また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記憶する記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。   In this case, the program code of the software itself realizes the functions of the above-described embodiments, and the program code itself and means for supplying the program code to the computer, for example, the program code are stored. This storage medium constitutes the present invention. As a storage medium for storing the program code, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.

また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施の形態で説明した機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているOS(オペレーティングシステム)あるいは他のアプリケーションソフト等の共同して上述の実施の形態で示した機能が実現される場合にもかかるプログラムコードは本発明の実施の形態に含まれる。   Further, by executing the program code supplied by the computer, not only the functions described in the above-described embodiments are realized, but also the OS (operating system) or other operating system in which the program code is running on the computer. Such program code is also included in the embodiment of the present invention even when the functions described in the above-described embodiment are realized in cooperation with application software or the like.

さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合にも本発明に含まれる。   Further, after the supplied program code is stored in the memory provided in the function expansion board of the computer or the function expansion unit connected to the computer, the CPU provided in the function expansion board or function expansion unit based on the instruction of the program code The present invention also includes a case where the functions of the above-described embodiment are realized by performing part or all of the actual processing.

101:イメージセンサ、102:入力端子、103:画像補正部、104:入力端子、105:指示信号入力端子、106:アドレス保持メモリ部、107:メモリフェッチ部、108:行カウンタ、109:アドレスデコーダ、110:シフトレジスタ、111:シフトレジスタの最終段、112:出力端子、113:イメージデータ処理装置 101: Image sensor, 102: Input terminal, 103: Image correction unit, 104: Input terminal, 105: Instruction signal input terminal, 106: Address holding memory unit, 107: Memory fetch unit, 108: Row counter, 109: Address decoder 110: shift register, 111: final stage of the shift register, 112: output terminal, 113: image data processing device

Claims (8)

イメージデータを画素データの行ごとに分けて出力するイメージセンサの出力端子に接続されたイメージデータ処理装置において、
前記イメージセンサの補正対象画素のアドレスデータを記憶するメモリと、
前記イメージセンサから出力される現在の画素データの行を指示する行カウンタと、
前記メモリから前記アドレスデータを読み出すメモリデータフェッチ部と、
前記メモリデータフェッチ部で読み出された前記アドレスデータの補正対象画素が属する画素データの行と前記行カウンタで指示された画素データの行とが一致しているか否かを判定するアドレスデコード部と、
前記メモリに記憶された前記アドレスデータに基づいて設定されるとともに、前記アドレスデコード部での判定結果に応じて補正指示信号を出力するシフトレジスタと、
前記シフトレジスタから出力された補正指示信号をもとに前記イメージセンサから出力される画素データの補正を行う画像補正部と
を有し、
前記イメージセンサから順次出力される前記イメージデータに同期して前記シフトレジスタが動作し、前記イメージセンサからの前記イメージデータに対する補正が制御され、
前記シフトレジスタは、前記イメージセンサの出力端子に現れる画素データに同期してシフトして前記補正指示信号を前記画像補正部に出力することを特徴とするイメージデータ処理装置。
In the image data processing apparatus connected to the output terminal of the image sensor that outputs the image data separately for each row of pixel data,
A memory for storing address data of correction target pixels of the image sensor;
A row counter that indicates a row of current pixel data output from the image sensor;
A memory data fetch unit for reading the address data from the memory;
An address decoding unit for determining whether or not a row of pixel data to which a correction target pixel of the address data read by the memory data fetch unit coincides with a row of pixel data designated by the row counter; ,
A shift register that is set based on the address data stored in the memory and outputs a correction instruction signal in accordance with a determination result in the address decoding unit;
An image correction unit that corrects pixel data output from the image sensor based on a correction instruction signal output from the shift register;
The shift register operates in synchronization with the image data sequentially output from the image sensor, and correction for the image data from the image sensor is controlled,
The image data processing apparatus, wherein the shift register shifts in synchronization with pixel data appearing at an output terminal of the image sensor and outputs the correction instruction signal to the image correction unit.
前記シフトレジスタは、前記イメージセンサの水平ブランキング期間において前記アドレスデータに基づいて初期化処理がなされることを特徴とする請求項1に記載のイメージデータ処理装置。   The image data processing apparatus according to claim 1, wherein the shift register is initialized based on the address data in a horizontal blanking period of the image sensor. 前記イメージセンサの出力端子にはある行の画素データと次の行の画素データとが既定の間隔をおいて現れることを特徴とする請求項1または2に記載のイメージデータ処理装置。   3. The image data processing apparatus according to claim 1, wherein the pixel data of a certain row and the pixel data of the next row appear at a predetermined interval at an output terminal of the image sensor. 前記シフトレジスタと前記画像補正部とが同一半導体チップ上に形成されていることを特徴とする請求項1〜3の何れか1項に記載のイメージデータ処理装置。   The image data processing apparatus according to claim 1, wherein the shift register and the image correction unit are formed on the same semiconductor chip. 少なくとも、
被写体像を結像する光学系と、
前記光学系で結像された被写体像を画像信号として出力するイメージセンサと、
請求項1〜4の何れか1項に記載のイメージデータ処理装置と、
前記イメージデータ処理装置からの画像信号を処理する信号処理手段と
を有することを特徴とする撮像システム。
at least,
An optical system for forming a subject image;
An image sensor that outputs a subject image formed by the optical system as an image signal;
The image data processing device according to any one of claims 1 to 4,
An image pickup system comprising: signal processing means for processing an image signal from the image data processing device.
イメージデータを画素データの行ごとに分けて出力するイメージセンサの出力端子に接続されたイメージデータ処理装置によるイメージデータ処理方法において、
前記イメージセンサの補正対象画素のアドレスデータをメモリに記憶する記憶処理と、
前記イメージセンサから出力される現在の画素データの行を指示する指示処理と、
前記メモリから前記アドレスデータを読み出す読み出し処理と、
前記読み出し処理で読み出された前記アドレスデータの補正対象画素が属する画素データの行と前記指示処理で指示された画素データの行とが一致しているか否かを判定する判定処理と、
前記メモリに記憶された前記アドレスデータに基づいて設定されるとともに、前記判定処理での判定結果に応じて補正指示信号をシフトレジスタから出力する出力処理と、
前記シフトレジスタから出力された補正指示信号をもとに前記イメージセンサから出力される画素データの補正を画像補正部で行う画像補正処理と
を有し、
前記イメージセンサから順次出力される前記イメージデータに同期して前記シフトレジスタが動作し、前記イメージセンサからの前記イメージデータに対する補正が制御され、
前記シフトレジスタは、前記イメージセンサの出力端子に現れる画素データに同期してシフトして前記補正指示信号を前記画像補正部に出力することを特徴とするイメージデータ処理方法。
In the image data processing method by the image data processing device connected to the output terminal of the image sensor that outputs the image data separately for each row of pixel data,
A storage process for storing address data of a correction target pixel of the image sensor in a memory;
An instruction process for indicating a row of current pixel data output from the image sensor;
A read process for reading the address data from the memory;
A determination process for determining whether or not a row of pixel data to which a correction target pixel of the address data read out in the read-out process matches a row of pixel data instructed in the instruction process;
An output process that is set based on the address data stored in the memory, and that outputs a correction instruction signal from a shift register according to the determination result in the determination process;
An image correction process in which an image correction unit corrects pixel data output from the image sensor based on a correction instruction signal output from the shift register, and
The shift register operates in synchronization with the image data sequentially output from the image sensor, and correction for the image data from the image sensor is controlled,
The image data processing method, wherein the shift register shifts in synchronization with pixel data appearing at an output terminal of the image sensor and outputs the correction instruction signal to the image correction unit.
イメージデータを画素データの行ごとに分けて出力するイメージセンサの出力端子に接続されたイメージデータ処理装置によるイメージデータ処理方法をコンピュータに実行させるためのコンピュータプログラムにおいて、
前記イメージセンサの補正対象画素のアドレスデータをメモリに記憶する記憶処理と、
前記イメージセンサから出力される現在の画素データの行を指示する指示処理と、
前記メモリから前記アドレスデータを読み出す読み出し処理と、
前記読み出し処理で読み出された前記アドレスデータの補正対象画素が属する画素データの行と前記指示処理で指示された画素データの行とが一致しているか否かを判定する判定処理と、
前記メモリに記憶された前記アドレスデータに基づいて設定されるとともに、前記判定処理での判定結果に応じて補正指示信号をシフトレジスタから出力する出力処理と、
前記シフトレジスタから出力された補正指示信号をもとに前記イメージセンサから出力される画素データの補正を画像補正部で行う画像補正処理と
をコンピュータに実行させ、
前記イメージセンサから順次出力される前記イメージデータに同期して前記シフトレジスタが動作し、前記イメージセンサからの前記イメージデータに対する補正が制御され、
前記シフトレジスタは、前記イメージセンサの出力端子に現れる画素データに同期してシフトして前記補正指示信号を前記画像補正部に出力することを特徴とするコンピュータプログラム。
In a computer program for causing a computer to execute an image data processing method by an image data processing apparatus connected to an output terminal of an image sensor that outputs image data divided for each row of pixel data,
A storage process for storing address data of a correction target pixel of the image sensor in a memory;
An instruction process for indicating a row of current pixel data output from the image sensor;
A read process for reading the address data from the memory;
A determination process for determining whether or not a row of pixel data to which a correction target pixel of the address data read out in the read-out process matches a row of pixel data instructed in the instruction process;
An output process that is set based on the address data stored in the memory, and that outputs a correction instruction signal from a shift register according to the determination result in the determination process;
Causing the computer to execute an image correction process in which an image correction unit corrects pixel data output from the image sensor based on a correction instruction signal output from the shift register;
The shift register operates in synchronization with the image data sequentially output from the image sensor, and correction for the image data from the image sensor is controlled,
The computer program, wherein the shift register shifts in synchronization with pixel data appearing at an output terminal of the image sensor and outputs the correction instruction signal to the image correction unit.
請求項7に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。   A computer-readable storage medium storing the computer program according to claim 7.
JP2009142701A 2009-06-15 2009-06-15 Image data processing apparatus, imaging system, image data processing method, computer program, and computer-readable storage medium Expired - Fee Related JP4759628B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009142701A JP4759628B2 (en) 2009-06-15 2009-06-15 Image data processing apparatus, imaging system, image data processing method, computer program, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009142701A JP4759628B2 (en) 2009-06-15 2009-06-15 Image data processing apparatus, imaging system, image data processing method, computer program, and computer-readable storage medium

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2002050313A Division JP4343484B2 (en) 2002-02-26 2002-02-26 Image data processing apparatus and imaging system

Publications (2)

Publication Number Publication Date
JP2009207195A true JP2009207195A (en) 2009-09-10
JP4759628B2 JP4759628B2 (en) 2011-08-31

Family

ID=41148915

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009142701A Expired - Fee Related JP4759628B2 (en) 2009-06-15 2009-06-15 Image data processing apparatus, imaging system, image data processing method, computer program, and computer-readable storage medium

Country Status (1)

Country Link
JP (1) JP4759628B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115348432A (en) * 2022-08-15 2022-11-15 上海壁仞智能科技有限公司 Data processing method and device, image processing method, electronic device and medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6386971A (en) * 1986-09-30 1988-04-18 Canon Inc Image pickup device
JPH06319086A (en) * 1993-05-06 1994-11-15 Sony Corp Defect detecting device for solid-state image pickup element and defect correcting circuit using the detecting device
JPH07147652A (en) * 1993-11-24 1995-06-06 Hitachi Ltd Video camera
JP2001061102A (en) * 1999-08-20 2001-03-06 Mitsubishi Electric Corp Defective pixel detecting circuit
JP2001186417A (en) * 1999-12-22 2001-07-06 Mitsubishi Electric Corp Defective pixel detector
JP2002016842A (en) * 2000-06-30 2002-01-18 Mitsubishi Electric Corp Defect-pixel sensing device and recording medium with recorded defect-pixel sensing program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6386971A (en) * 1986-09-30 1988-04-18 Canon Inc Image pickup device
JPH06319086A (en) * 1993-05-06 1994-11-15 Sony Corp Defect detecting device for solid-state image pickup element and defect correcting circuit using the detecting device
JPH07147652A (en) * 1993-11-24 1995-06-06 Hitachi Ltd Video camera
JP2001061102A (en) * 1999-08-20 2001-03-06 Mitsubishi Electric Corp Defective pixel detecting circuit
JP2001186417A (en) * 1999-12-22 2001-07-06 Mitsubishi Electric Corp Defective pixel detector
JP2002016842A (en) * 2000-06-30 2002-01-18 Mitsubishi Electric Corp Defect-pixel sensing device and recording medium with recorded defect-pixel sensing program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115348432A (en) * 2022-08-15 2022-11-15 上海壁仞智能科技有限公司 Data processing method and device, image processing method, electronic device and medium
CN115348432B (en) * 2022-08-15 2024-05-07 上海壁仞科技股份有限公司 Data processing method and device, image processing method, electronic equipment and medium

Also Published As

Publication number Publication date
JP4759628B2 (en) 2011-08-31

Similar Documents

Publication Publication Date Title
JP5901186B2 (en) Solid-state imaging device and driving method thereof
US8274579B2 (en) Image processing apparatus and imaging apparatus
JP4367963B2 (en) Imaging apparatus, imaging system, and driving method of imaging apparatus
US8817139B2 (en) Image pickup device and signal transmitting device
JP4870528B2 (en) Solid-state imaging device
US20120110224A1 (en) Data processing apparatus and image processing apparatus
JP4199874B2 (en) Image processing apparatus and processing method
US9569160B2 (en) Display processing device and imaging apparatus
JP2010283671A (en) Imaging device
JP2006014175A (en) Solid-state imaging device, image sensor, image processor and imaging method
JP4343484B2 (en) Image data processing apparatus and imaging system
JP4759628B2 (en) Image data processing apparatus, imaging system, image data processing method, computer program, and computer-readable storage medium
JP3991751B2 (en) Solid-state imaging device and reading method thereof
JP4341630B2 (en) Solid-state imaging device, driving method of solid-state imaging device, and imaging device
US7656434B2 (en) Analog front-end device and image pickup device
JP2018157371A (en) Imaging apparatus and method of correcting defective pixels
US20080018742A1 (en) Analog front-end device and imaging apparatus
JP6415086B2 (en) Image processing apparatus, image processing method, and program
TWI820541B (en) Image dewarping method
JP2018005389A (en) Image deformation circuit, image processing apparatus, and image deformation method
JP5222654B2 (en) Defective pixel detection device for imaging device and marking device for imaging device
US8045036B2 (en) Apparatus and method for sorting raw data with horizontal division
JP4802482B2 (en) Image processing apparatus and image processing method
CN111436214A (en) Image signal processing apparatus and method
WO2018029782A1 (en) Arithmetic processing apparatus, image processing apparatus, and image capture apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110531

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110606

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140610

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees