JP2009207195A - Image data processing apparatus, imaging system, image data processing method, computer program, and computer-readable storage medium - Google Patents
Image data processing apparatus, imaging system, image data processing method, computer program, and computer-readable storage medium Download PDFInfo
- Publication number
- JP2009207195A JP2009207195A JP2009142701A JP2009142701A JP2009207195A JP 2009207195 A JP2009207195 A JP 2009207195A JP 2009142701 A JP2009142701 A JP 2009142701A JP 2009142701 A JP2009142701 A JP 2009142701A JP 2009207195 A JP2009207195 A JP 2009207195A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image sensor
- correction
- data
- row
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004590 computer program Methods 0.000 title claims description 8
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000003384 imaging method Methods 0.000 title description 9
- 238000012937 correction Methods 0.000 claims abstract description 82
- 230000015654 memory Effects 0.000 claims abstract description 61
- 238000003702 image correction Methods 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims description 48
- 230000003287 optical effect Effects 0.000 claims description 4
- 239000004065 semiconductor Substances 0.000 claims description 4
- 230000007547 defect Effects 0.000 abstract description 11
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Image Input (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、イメージデータ処理装置、撮像システム、イメージデータ処理方法、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体に関し、特に、イメージセンサからのデータを補正するものに用いて好適なものである。 The present invention relates to an image data processing apparatus, an imaging system, an image data processing method, a computer program, and a computer-readable storage medium, and is particularly suitable for use in correcting data from an image sensor.
イメージセンサはある確率で画素の点欠陥を有している。従来は、その点欠陥を以下のような方式で補正していた。
1)画素の点欠陥のアドレスをあらかじめメモリに記憶させておく。
2)イメージセンサからのデータをフレームメモリに記憶する。
3)フレームメモリに記憶されたデータの各画素データうち上記メモリに記憶されたアドレスに対応する画素データを、その周辺画素データを用いた演算により補間する。
An image sensor has a pixel point defect with a certain probability. Conventionally, the point defect has been corrected by the following method.
1) The address of the point defect of the pixel is previously stored in the memory.
2) Store data from the image sensor in the frame memory.
3) The pixel data corresponding to the address stored in the memory among the pixel data stored in the frame memory is interpolated by calculation using the peripheral pixel data.
しかしこの方式では、全画面に対応したフレームメモリが必要であり、コストの増加につながることや、また、一枚の画像データを取り終えた後に演算を行うことから単位時間あたりのフレーム出力枚数が欠陥補正処理によって減ってしまうことなどの問題があった。 However, this method requires a frame memory that supports the entire screen, which leads to an increase in cost, and the number of frames that can be output per unit time is increased because the calculation is performed after one image data is taken. There were problems such as reduction by defect correction processing.
また、この方式を採用した際、実使用に耐える時間内に処理を終えるためには、イメージセンサの処理動作と比較して、より高速なクロックで処理ICが動作する必要があり、そのような場合には、ICが生み出すノイズがイメージセンサに伝わってしまい、画質が劣化するという欠点があった。 In addition, when this method is adopted, in order to finish the processing within the time that can withstand actual use, it is necessary for the processing IC to operate with a clock faster than the processing operation of the image sensor. In some cases, the noise generated by the IC is transmitted to the image sensor, and the image quality deteriorates.
本発明は上述の問題点にかんがみてなされたもので、従来必要とされたフレームメモリを必要とせず、リアルタイムでイメージセンサから出力されるデータの欠陥補正を行うことができるようにすることを目的とする。 The present invention has been made in view of the above-described problems, and it is an object of the present invention to make it possible to perform defect correction of data output from an image sensor in real time without requiring a frame memory that has been conventionally required. And
本発明のイメージデータ処理装置は、イメージデータを画素データの行ごとに分けて出力するイメージセンサの出力端子に接続されたイメージデータ処理装置において、前記イメージセンサの補正対象画素のアドレスデータを記憶するメモリと、前記イメージセンサから出力される現在の画素データの行を指示する行カウンタと、前記メモリから前記アドレスデータを読み出すメモリデータフェッチ部と、前記メモリデータフェッチ部で読み出された前記アドレスデータの補正対象画素が属する画素データの行と前記行カウンタで指示された画素データの行とが一致しているか否かを判定するアドレスデコード部と、前記メモリに記憶された前記アドレスデータに基づいて設定されるとともに、前記アドレスデコード部での判定結果に応じて補正指示信号を出力するシフトレジスタと、前記シフトレジスタから出力された補正指示信号をもとに前記イメージセンサから出力される画素データの補正を行う画像補正部とを有し、前記イメージセンサから順次出力される前記イメージデータに同期して前記シフトレジスタが動作し、前記イメージセンサからの前記イメージデータに対する補正が制御され、前記シフトレジスタは、前記イメージセンサの出力端子に現れる画素データに同期してシフトして前記補正指示信号を前記画像補正部に出力することを特徴とするものである。
また、本発明は、上述したイメージデータ処理装置によるイメージデータ処理方法、及び、当該イメージデータ処理方法をコンピュータに実行させるためのコンピュータプログラム、並びに、当該コンピュータプログラムを格納するコンピュータ読み取り可能な記憶媒体を含む。
An image data processing apparatus according to the present invention stores address data of a correction target pixel of the image sensor in an image data processing apparatus connected to an output terminal of an image sensor that outputs image data divided for each row of pixel data. A memory; a row counter that indicates a row of current pixel data output from the image sensor; a memory data fetch unit that reads the address data from the memory; and the address data read by the memory data fetch unit An address decoding unit that determines whether a row of pixel data to which the correction target pixel belongs and a row of pixel data designated by the row counter match, and based on the address data stored in the memory And is set according to the determination result in the address decoding unit. A shift register that outputs a positive instruction signal; and an image correction unit that corrects pixel data output from the image sensor based on the correction instruction signal output from the shift register, and sequentially from the image sensor. The shift register operates in synchronization with the output image data, the correction of the image data from the image sensor is controlled, and the shift register is synchronized with the pixel data appearing at the output terminal of the image sensor. Shifting and outputting the correction instruction signal to the image correction unit.
The present invention also provides an image data processing method by the above-described image data processing apparatus, a computer program for causing a computer to execute the image data processing method, and a computer-readable storage medium storing the computer program. Including.
本発明によれば、特定画素、たとえば補正対象の画素のアドレスに該当する画素データがイメージセンサから入力されるのに同期して補正指示を出力することができるので、イメージセンサから出力されるデータの欠陥補正をリアルタイムで行うことができ、従来必要とされたフレームメモリを不要とすることができる。これにより、従来の補正回路に比べて少ない回路規模とすることができ、低いクロック周波数で駆動可能な回路を採用することで、より重畳されるノイズの少ないイメージデータ処理を実現することができる。また、フレームメモリに一度取り込む必要がなくなることから、より早いフレームレートを実現することができるようになる。 According to the present invention, a correction instruction can be output in synchronization with input of pixel data corresponding to an address of a specific pixel, for example, a pixel to be corrected, from the image sensor. The defect correction can be performed in real time, and the frame memory which has been conventionally required can be eliminated. Accordingly, the circuit scale can be reduced as compared with the conventional correction circuit, and image data processing with less superimposed noise can be realized by employing a circuit that can be driven at a low clock frequency. In addition, since there is no need to capture the frame memory once, a higher frame rate can be realized.
また、画素補正指示信号とイメージセンサから取り込む画素データとを同期させることで、正確に補正対象画素を処理することができる。 Further, the pixel to be corrected can be accurately processed by synchronizing the pixel correction instruction signal and the pixel data fetched from the image sensor.
次に、添付図面を参照しながら本発明のイメージデータ処理装置、撮像システム、イメージデータ処理方法、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体の実施の形態について説明する。 Next, embodiments of an image data processing apparatus, an imaging system, an image data processing method, a computer program, and a computer-readable storage medium according to the present invention will be described with reference to the accompanying drawings.
(第1の実施形態)
本発明の第1の実施形態を図1、図2を用いて説明する。
図1は本実施形態におけるイメージデータ処理装置113の機能ブロック図である。101はデータの発生源となるイメージセンサであり、イメージデータ処理装置113に接続されている。
(First embodiment)
A first embodiment of the present invention will be described with reference to FIGS.
FIG. 1 is a functional block diagram of the image
イメージデータ処理装置113において、102はイメージデータ処理装置113の入力端子である。103は画素補正処理を行う画像補正部であり、イメージセンサ101からのデータが入力される入力端子104、シフトレジスタ110からの画素補正指示信号が入力される入力端子105、画素補正結果を出力する出力端子112を有する。
In the image
106は補正対象のアドレスデータを保持するアドレス保持メモリ部で、任意のフォーマットでデータが収められている。107はメモリフェッチ部であり、アドレス保持メモリ部106に保持されているメモリデータが所定の補正対象アドレスごとの単位で取り込まれる。108は行カウンタである。
An address holding
109はアドレスデコーダであり、行カウンタ108の情報とメモリフェッチ部107からの補正対象アドレスの情報が入力される。110は1ビットシリアルのシフトレジスタであり、アドレスデコーダ109から出力されたデコード結果を受け、最終段111から画素補正指示信号を画像補正部103の入力端子105に出力する。
次に、この機能ブロックの動作を説明する。本実施形態では、アドレス保持メモリ部106内のアドレスの配列として、補正対象画素のアドレスは、行番号の若い順にソートされているとする。
Next, the operation of this functional block will be described. In the present embodiment, it is assumed that the addresses of the correction target pixels are sorted in ascending order of row numbers as the address arrangement in the address holding
まず、シフトレジスタ110を完全に初期化する。ここで初期状態を「0」とし、補正指示信号を「1」とする。このシフトレジスタ110の初期化処理期間に、アドレス保持メモリ部106からメモリフェッチ部107にアドレスデータが読み出される。このアドレスデータは、補正対象画素の行と列を示す情報を有している。
First, the
一方、行カウンタ108には、現在の補正対象の行番号が保持されている。
On the other hand, the
アドレスデコーダ109においては、メモリフェッチ部107のアドレスデータに含まれる行番号と行カウンタ108に保持されている行番号との2つの行番号を比較し、一致している場合は、現在メモリフェッチ部107でフェッチされている列番号は補正されるべき画素を示しているとして、シフトレジスタ110にデコード信号を送る。たとえば、メモリフェッチ部107でフェッチされている列番号が10番だったら、シフトレジスタ110の10番目に「1」を書き込む。
In the
その後、次のアドレスデータを取り込み、上記と同様のアドレスデコード及びシフトレジスタ110の初期化処理を行う。また、本動作は行番号が一致しなくなったところで一旦停止する。
Thereafter, the next address data is fetched, and the address decoding and the
次に、画素補正期間(シフトレジスタ110の動作期間)に移行する。
まず、イメージセンサ101からのデータと同じレートでシフトレジスタ110を動作させる。たとえば、ある行の10列目のデータが補正されるべき画素であれば、イメージセンサ101からの10個の画素データが入力端子104にくる間に、ちょうどシフトレジスタ110の画素補正指示信号が初期化処理時に指示信号入力端子105までシフトされ、10列目の画素データが画像補正部103に入力されるのと同時期に画素補正指示信号が画像補正部103に入力される。
Next, the pixel correction period (the operation period of the shift register 110) starts.
First, the
画像補正部103においては、シフトレジスタ110からの画素補正指示信号を受けて何らかの決められた画像補正処理を行い、その結果を出力端子112から出力する。
The
ここで、シフトレジスタ110は、その初期化処理と補正処理(画素補正信号を出力するためのシフト処理)とを同時に行うことができないので、スケジューリングが必要となる。図2を用いてその考え方を説明する。
図2は、所定の行に着目してシフトレジスタ110の初期化処理と補正の流れを示した図である。
Here, the
FIG. 2 is a diagram showing a flow of initialization processing and correction of the
201はイメージセンサ101の処理動作を時間の流れに対して示したものであり、202はそれに対応したシフトレジスタ110(補正回路)の処理動作を示したものである。イメージセンサ101は、行が変わる間に水平ブランキング期間という、画素データを出力しない期間を有しているので、たとえばn行目の水平ブランキング期間においては、n行目の補正データのデコード及びシフトレジスタ110の初期化処理を行う。その初期化処理の後、イメージセンサ101からの画素データに同期してシフトレジスタ110を動作させ、所定の画素データの補正を行う。
201 shows the processing operation of the
ここで、イメージセンサ101であるが、たとえばCMOSセンサ、CCD、その他のデバイスなどが考えられる。本発明においては、イメージセンサ101の種類にはよらず、適用可能である。
Here, the
また、本実施形態では、イメージセンサ101が直接補正装置(イメージデータ処理装置113)に接続されている。その間のデータ形態がアナログデータ/デジタルデータ、どちらであるかはここでは限定していない。たとえば、イメージセンサ101からのアナログデータを直接補正装置(イメージデータ処理装置113)で処理しても良く、もしくは、一度AD変換されたデータを処理しても良い。
In the present embodiment, the
また、ここではメモリフェッチ/アドレスデコードの考え方として、まず行が若い順にソートされていることを仮定し、行が一致した場合に、メモリフェッチされているその列の位置をデコードし、シフトレジスタ110を設定して、行が一致しなくなるまでその処理をくりかえし、そこでメモリフェッチを停止するという方式を採用している。
Here, as a concept of memory fetch / address decoding, it is assumed that the rows are sorted in ascending order, and when the rows match, the position of the column fetched by the memory is decoded, and the
ただし、アルゴリズムはこれのみに限定されず、キズアドレス群から補正すべきアドレスを探すことができればいかなる方法でも良い。たとえば1行進むごとにアドレスの格納されたメモリを先頭から最後までスキャンしてアドレスを見つけても良い。この場合は、全メモリのスキャンが必要なので判定に時間がかかるが、アドレスをソートしなくてはならないという前提を取り除くことができる。 However, the algorithm is not limited to this, and any method may be used as long as an address to be corrected can be found from the scratch address group. For example, the address may be found by scanning the memory in which the address is stored from the beginning to the end as the line advances. In this case, since it takes a long time to scan all the memories, it is possible to remove the premise that the addresses must be sorted.
また、ここで画像補正部103での画像補正処理の内容については言及していないが、シフトレジスタ110からの画素補正指示に従って補正を行うものであればいかなるものでも、本発明の効果を奏することができる。たとえば画像補正部103が遅延素子を有しており、1画素もしくは複数画素前の値を補正後の画素出力として出力しても良い。或いは、たとえば画像補正部103が遅延素子と遅延出力機能を有しており、1画素もしくは複数画素後の値を補正後の画素出力として出力しても良い。
Further, the contents of the image correction processing in the
また、前記2つの方法では、同一行のデータを用いることでしか画素補正を行えず、その画素の補正結果と上下周辺画素との相関は無関係となる。上下周辺画素との相関を無関係としないため、たとえば補正回路が数行分のラインメモリと演算機能、遅延出力機能とを有し、隣接加算を行った補正結果を出力しても良い。この場合の出力は、入力から1行もしくは数行遅れることになる。 In the two methods, pixel correction can be performed only by using data in the same row, and the correlation between the correction result of the pixel and the upper and lower peripheral pixels is irrelevant. In order not to make the correlation with the upper and lower peripheral pixels irrelevant, for example, the correction circuit may have several lines of line memory, an arithmetic function, and a delay output function, and may output a correction result obtained by performing adjacent addition. In this case, the output is delayed by one line or several lines from the input.
また、行カウンタ108は、行という単語を使っているがこれには限定されない。画素がグループに分割されている際に、そのグループを識別する目的でここでは行の概念を導入したのみであり、たとえばグループカウンタという呼び方をしても良い。
The
また、列数とシフトレジスタ110の段数は、本実施形態においては対応させる必要がある。たとえばイメージセンサ101の列数が3000である場合、シフトレジスタ110の段数も3000段必要となる。なお、たとえば先頭のn画素だけを補正対象としたいような場合は、シフトレジスタ110の段数をn段に限定することで回路規模を縮小することができる。
Further, the number of columns and the number of stages of the
また、回路作製プロセスにおいて、シフトレジスタ110や画像補正部103などを同一半導体チップに形成することによっても、回路規模を縮小することができる。
In the circuit manufacturing process, the circuit scale can also be reduced by forming the
また、画素の読み出しが始まる前に、決められた水平ブランキング期間で所定行の補正データの初期化処理をする必要がある。この要求に対応する方法としては、1)水平ブランキング期間で初期化処理をできないような行あたりの補正対象画素数を許さないような仕様にする、2)初期化処理が終了次第、画素の読み出しを開始するようにタイミング発生を工夫する、などが考えられる。どちらも設計項目であり、これにより、本発明の効果を限定するものではない。 In addition, it is necessary to initialize the correction data of a predetermined row in a predetermined horizontal blanking period before pixel reading starts. As a method for responding to this requirement, 1) a specification that does not allow the number of pixels to be corrected per row so that the initialization process cannot be performed in the horizontal blanking period, and 2) as soon as the initialization process is completed, It is conceivable to devise timing generation so as to start reading. Both are design items, and the effect of the present invention is not limited thereby.
また、処理ICの生み出すノイズを最低限にしたい場合は、初期化処理時のメモリフェッチなどに用いるクロックの周波数をできる限り低周波にしなくてはならない。このような場合は使用可能なクロックスピードと、補正対象画素数の最適化が必要となるが、これらも設計項目である。 Further, when it is desired to minimize the noise generated by the processing IC, the frequency of the clock used for memory fetching during the initialization process must be as low as possible. In such a case, it is necessary to optimize the usable clock speed and the number of pixels to be corrected. These are also design items.
また、本実施形態では10列目の画素を補正するために10番目のレジスタに指示信号を与えているが、たとえば1列目(先頭)の画素を補正するために1度もシフトを必要としない場合は、9番目のレジスタに指示信号を与えればよい。先頭の画素を補正するために何度かダミーのシフトを必要とする場合は、それを見越したレジスタの位置に指示信号を設定すればよい。 In this embodiment, an instruction signal is given to the tenth register to correct the pixels in the tenth column. For example, a shift is required once to correct the pixels in the first column (first). If not, an instruction signal may be given to the ninth register. If several dummy shifts are required to correct the first pixel, an instruction signal may be set at a register position that allows for the shift.
以上説明してきたように、本実施形態の構成とすることで、補正対象の画素のアドレスに該当する画素データがイメージセンサ101から画像補正部103に入力されるのに同期してシフトレジスタ110から画像補正部103に画素補正指示信号を出力するようにしたので、イメージセンサ101から出力されるデータの欠陥補正をリアルタイムで行うことができ、従来必要とされたフレームメモリを不要とすることができる。これにより、従来の補正回路に比べて少ない回路規模とすることができ、低いクロック周波数で駆動可能な回路を採用することで、より重畳されるノイズの少ないイメージデータ処理を実現することができる。
As described above, with the configuration of the present embodiment, the
また、シフトレジスタ110からの画素補正指示信号とイメージセンサ101から取り込む画素データとを同期させることで、正確に補正対象画素を処理することができる。
Further, by synchronizing the pixel correction instruction signal from the
また、イメージセンサ101から画素データが出力されない期間を利用してシフトレジスタ110の初期化処理を行うことで、その初期化処理に必要な時間を実効的にゼロにすることができる。これにより、より早いフレームレートを実現することができるようになる。
Further, by performing the initialization process of the
(第2の実施形態)
本発明の第2の実施形態を図3、図4、図5を用いて説明する。
図3は本実施形態におけるイメージデータ処理装置の機能ブロック図である。なお、上記第1の実施形態で説明した構成要素には同一の符号を付し、以下では上記第1の実施形態との相違点を中心に説明する。
(Second Embodiment)
A second embodiment of the present invention will be described with reference to FIG. 3, FIG. 4, and FIG.
FIG. 3 is a functional block diagram of the image data processing apparatus according to this embodiment. In addition, the same code | symbol is attached | subjected to the component demonstrated in the said 1st Embodiment, and it demonstrates centering on difference with the said 1st Embodiment below.
本実施形態では、アドレスデコーダ109は、複数のシフトレジスタに設定を行う。本実施形態では、第1のシフトレジスタ110と第2のシフトレジスタ301の2つのシフトレジスタを有する場合を説明する。
In the present embodiment, the
図3に示すように、シフトレジスタ110、301は、初期化イネーブル端子303、304をそれぞれ有し、初期化イネーブルの指示が来たときのみアドレスデコーダ109からの指示を受け付ける。逆に初期化処理の指示を受けていないシフトレジスタは、画素補正指示信号出力のためのシフト処理を行う。
As shown in FIG. 3, the shift registers 110 and 301 have initialization enable
第1及び第2のシフトレジスタ101、301の最終段111、302は、セレクタ305を介して画像補正部103の指示信号入力端子105に接続される。また、第1の実施形態の行カウンタ108は、ここでは群カウンタ306と名称を変更している。
The
次に、本機能ブロックの動作を説明する。
基本的には第1の実施形態と同等の動作をする。異なる点は、並列に構成された第1及び第2シフトレジスタ110、301とセレクタ305にまつわる動作である。たとえば第1のシフトレジスタ110が初期化処理されている際、セレクタ305は、第2のシフトレジスタの最終段302を画像補正部103の指示信号入力端子105へ接続し、そして、第2のシフトレジスタ301が画像補正部103に画素補正指示信号を送る。第2のシフトレジスタ301が初期化処理されている際には、この逆の処理動作をする。
Next, the operation of this functional block will be described.
The operation is basically the same as that of the first embodiment. The difference is the operation related to the first and
次に、図4を用いて、本実施形態のイメージデータ処理装置の初期化処理と補正処理(画素補正信号を出力するためのシフト処理)のスケジュールを説明する。ここで401はイメージセンサ101の処理動作を時間軸に対して模式的に示したものであり、たとえばn行目のアクセスについては、水平ブランキング期間402と、画素読み出し期間403からなる。ここでn行目読み出し期間403は4分割されており、それぞれ第1群読み出し期間404、第2群読み出し期間405、第3群読み出し期間406、第4群読み出し期間407で構成されている。また、408は1つ前の行であるn−1行目の第4群読み出し期間である。
Next, the initialization process and the correction process (shift process for outputting a pixel correction signal) of the image data processing apparatus according to the present embodiment will be described with reference to FIG. Here, 401 schematically shows the processing operation of the
第1のシフトレジスタ110においては、n−1行目の第4群読み出しの間に、イメージセンサ101からの画素データに同期して画素補正処理動作を行う(409)。また、第2のシフトレジスタ301においては、次の読み出されるべきn行目の第1群データの初期化処理を行う(410)。このようにして、各シフトレジスタが初期化処理と補正処理とを交互に繰り返す動作を行う。
In the
次に、本実施形態の効果を説明する。
上記第1の実施形態においては、n行目の補正データの初期化処理は、その水平ブランク期間でのみ行うために、その期間でn行目の列分の設定が必要であった。たとえばイメージセンサ101の列数が3000列存在する場合、シフトレジスタも3000段必要であった。
Next, the effect of this embodiment will be described.
In the first embodiment, since the initialization processing of the correction data for the nth row is performed only during the horizontal blank period, it is necessary to set the column for the nth row during that period. For example, when the number of columns of the
それに対して、本実施形態においては、たとえば3000列を750列ごとの4群に分け、750段のシフトレジスタを並列に2つ用意することで、必要となるシフトレジスタを減少させることができる。さらに、たとえば4群ではなく300群に分割すれば10段のシフトレジスタを2つ並列に有すればよいことになり、シフトレジスタに必要な回路規模を激減させることができる。 On the other hand, in this embodiment, for example, by dividing 3000 columns into four groups of 750 columns and preparing two 750-stage shift registers in parallel, the required shift registers can be reduced. Further, for example, if divided into 300 groups instead of four groups, two 10-stage shift registers need only be provided in parallel, and the circuit scale required for the shift registers can be drastically reduced.
ここで、補正対象の画素が多数存在し、図4で示されるような初期化処理時間では間に合わないケースが起こりうる。初期化処理時間が足りずに使用不可能になってしまったイメージセンサ101は、不良品となってしまい歩留まり低下の要因となる。初期化処理時間をさらに多く取るためには、メモリフェッチ部107、アドレスデコーダ部109、及び並列に並べるシフトレジスタの数を増やせばよい。
Here, there are cases where there are a large number of pixels to be corrected, and the initialization processing time as shown in FIG. The
図5は、図3に示したイメージデータ処理装置に対して、メモリフェッチ部107、アドレスデコーダ部109を1つ増やして、シフトレジスタをさらに2つ増やした場合のスケジュール図である。図5に示すように、第1のシフトレジスタ501、第2のシフトレジスタ502が偶数群の補正処理を担当し、増設されたメモリフェッチ部、アドレスデコーダ部で制御される新たな第3のシフトレジスタ503、第4のシフトレジスタ504が奇数群の補正処理を担当するように構成することで、倍のデータ初期化処理期間が確保できるようになる。さらに、初期化処理期間を増やしたい場合は、さらにメモリフェッチ部、アドレスデコーダ部、シフトレジスタを増設すればよい。
FIG. 5 is a schedule diagram when the memory fetch
以上説明してきたように、本実施形態の構成とすることで、一行あたりの画素数が多いイメージセンサにおいても、より早いフレームレートを実現することができる。また、補正対象の画素のアドレスに該当する画素データがイメージセンサ101から画像補正部103に入力されるのに同期してシフトレジスタ110、301のいずれかから画像補正部103に画素補正指示信号を出力するようにしたので、従来必要とされたフレームメモリを不要とすることができる。これにより、従来の補正回路に比べて少ない回路規模とすることができ、低いクロック周波数で駆動可能な回路を採用することで、より重畳されるノイズの少ないイメージデータ処理装置を実現することができる。
As described above, with the configuration of the present embodiment, a faster frame rate can be realized even in an image sensor having a large number of pixels per row. In addition, a pixel correction instruction signal is sent from one of the shift registers 110 and 301 to the
また、一行あたりの画素数がより多いイメージセンサにおいても、シフトレジスタ110からの画素補正指示信号とイメージセンサ101から取り込む画素データとを同期させることで、正確に補正対象画素を処理することができる。
Even in an image sensor having a larger number of pixels per row, the pixel to be corrected can be accurately processed by synchronizing the pixel correction instruction signal from the
また、複数のシフトレジスタ有し、1つのシフトレジスタが補正動作を行っている期間に、その他のシフトレジスタを順次初期化処理することで、初期化処理に必要な時間を実効的にゼロにすることができる。これにより、さらに早いフレームレートを実現することができるようになる。 In addition, when there is a plurality of shift registers and one shift register is performing a correction operation, the time required for the initialization process is effectively reduced to zero by sequentially initializing the other shift registers. be able to. Thereby, an even faster frame rate can be realized.
(第3の実施形態)
次に、本発明の係わるイメージデータ処理装置を撮像装置(デジタルカメラ)に適用した場合の実施形態を説明する。
(Third embodiment)
Next, an embodiment when the image data processing apparatus according to the present invention is applied to an imaging apparatus (digital camera) will be described.
図6は、本発明の係わるイメージデータ処理装置を撮像装置に適用した例を示すブロック図である。 FIG. 6 is a block diagram showing an example in which the image data processing apparatus according to the present invention is applied to an imaging apparatus.
図6において、11はレンズ12の保護とメインスイッチを兼ねるバリア、12は被写体の光学像をイメージセンサ14に結像させるレンズ、13はレンズ12を通った光量を可変するための絞り、14はレンズ12で結像された被写体像を画像信号として取り込むためのイメージセンサ、15は本発明に係わるイメージデータ処理装置であり、イメージセンサ14から出力される画像信号の欠陥補正をする画像補正部18を有している。16はイメージデータ処理装置15から出力された画像信号のアナログ−デジタル変換を行うA/D変換器、17はA/D変換器16から出力された画像データに各種の補正を行い、あるいはデータを圧縮する信号処理部である。ここで、イメージデータ処理装置15は、イメージセンサ14、A/D変換器16、画像補正部18、及び信号処理部17等にタイミング信号を供給する駆動回路を含んでおり、画像補正部18と駆動回路とは、同一半導体チップ上に形成されている。また、イメージセンサ処理装置15は、A/D変換器16の後段であってもよい。
In FIG. 6,
19は各種演算と撮像装置全体を制御する全体制御・演算部、20は画像データを一時的に記憶するための画像データメモリ部、21は記憶媒体に対して記録または読み出しを行うための記憶媒体制御インタフェース部、22は画像データの記録または読み出しを行うための半導体メモリ等の着脱可能な記憶媒体、23は外部コンピュータ等と接続するための外部インタフェース部である。
19 is an overall control / arithmetic unit for controlling various calculations and the entire imaging apparatus, 20 is an image data memory unit for temporarily storing image data, and 21 is a storage medium for recording or reading out the storage medium. A
次に、上記構成における撮像装置の撮影時の動作について説明する。
まず、バリア11が開けられるとメイン電源がオンされ、次にコントロール系の電源がオンし、さらにA/D変換器16などの撮像系回路の電源がオンされる。
Next, an operation at the time of shooting of the imaging apparatus having the above configuration will be described.
First, when the
次に、イメージセンサ14から出力された信号は、イメージセンサ処理装置15で欠陥画素の信号があれば、画像補正部18で補正され、A/D変換器16に出力されて、そのA/D変換器16で変換された後、信号処理部17に入力される。
Next, the signal output from the
そして、信号処理部17で所定の処理がなされ、出力された画像データは、全体制御・演算部19によって画像データメモリ部20に書き込まれる。次に、画像データメモリ部20に蓄積されたデータは全体制御・演算部19の制御により、記憶媒体制御インタフェース部21を介して、記憶媒体22に記録される。また、外部インタフェース部23を通り直接コンピュータ等に入力して、画像データの加工を行ってもよい。
Then, predetermined processing is performed by the
本実施形態の構成とすることで、イメージセンサ14から出力される画像信号の欠陥補正をすることができ、高画質な撮像装置を実現することができる。
By adopting the configuration of the present embodiment, it is possible to correct a defect in the image signal output from the
(本発明の他の実施の形態)
本発明は複数の機器から構成されるシステムに適用しても1つの機器からなる装置に適用しても良い。
(Another embodiment of the present invention)
The present invention may be applied to a system composed of a plurality of devices or an apparatus composed of a single device.
また、上記実施形態では、アドレス保持メモリ部106、メモリフェッチ部107、行カウンタ108や群カウンタ306、アドレスデコーダ109などは機能ブロックで構成されているが、汎用の制御装置、たとえば何らかのCPUなどでそれらの機能をソフトウェア的に実現しても同等の効果を得られる。すなわち、上述した実施の形態の機能を実現するように各種のデバイスを動作させ、上記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、記憶媒体から、またはインターネット等の伝送媒体を介して上記実施の形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ(CPUあるいはMPU)に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
In the above embodiment, the address holding
また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記憶する記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。 In this case, the program code of the software itself realizes the functions of the above-described embodiments, and the program code itself and means for supplying the program code to the computer, for example, the program code are stored. This storage medium constitutes the present invention. As a storage medium for storing the program code, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施の形態で説明した機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているOS(オペレーティングシステム)あるいは他のアプリケーションソフト等の共同して上述の実施の形態で示した機能が実現される場合にもかかるプログラムコードは本発明の実施の形態に含まれる。 Further, by executing the program code supplied by the computer, not only the functions described in the above-described embodiments are realized, but also the OS (operating system) or other operating system in which the program code is running on the computer. Such program code is also included in the embodiment of the present invention even when the functions described in the above-described embodiment are realized in cooperation with application software or the like.
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合にも本発明に含まれる。 Further, after the supplied program code is stored in the memory provided in the function expansion board of the computer or the function expansion unit connected to the computer, the CPU provided in the function expansion board or function expansion unit based on the instruction of the program code The present invention also includes a case where the functions of the above-described embodiment are realized by performing part or all of the actual processing.
101:イメージセンサ、102:入力端子、103:画像補正部、104:入力端子、105:指示信号入力端子、106:アドレス保持メモリ部、107:メモリフェッチ部、108:行カウンタ、109:アドレスデコーダ、110:シフトレジスタ、111:シフトレジスタの最終段、112:出力端子、113:イメージデータ処理装置 101: Image sensor, 102: Input terminal, 103: Image correction unit, 104: Input terminal, 105: Instruction signal input terminal, 106: Address holding memory unit, 107: Memory fetch unit, 108: Row counter, 109: Address decoder 110: shift register, 111: final stage of the shift register, 112: output terminal, 113: image data processing device
Claims (8)
前記イメージセンサの補正対象画素のアドレスデータを記憶するメモリと、
前記イメージセンサから出力される現在の画素データの行を指示する行カウンタと、
前記メモリから前記アドレスデータを読み出すメモリデータフェッチ部と、
前記メモリデータフェッチ部で読み出された前記アドレスデータの補正対象画素が属する画素データの行と前記行カウンタで指示された画素データの行とが一致しているか否かを判定するアドレスデコード部と、
前記メモリに記憶された前記アドレスデータに基づいて設定されるとともに、前記アドレスデコード部での判定結果に応じて補正指示信号を出力するシフトレジスタと、
前記シフトレジスタから出力された補正指示信号をもとに前記イメージセンサから出力される画素データの補正を行う画像補正部と
を有し、
前記イメージセンサから順次出力される前記イメージデータに同期して前記シフトレジスタが動作し、前記イメージセンサからの前記イメージデータに対する補正が制御され、
前記シフトレジスタは、前記イメージセンサの出力端子に現れる画素データに同期してシフトして前記補正指示信号を前記画像補正部に出力することを特徴とするイメージデータ処理装置。 In the image data processing apparatus connected to the output terminal of the image sensor that outputs the image data separately for each row of pixel data,
A memory for storing address data of correction target pixels of the image sensor;
A row counter that indicates a row of current pixel data output from the image sensor;
A memory data fetch unit for reading the address data from the memory;
An address decoding unit for determining whether or not a row of pixel data to which a correction target pixel of the address data read by the memory data fetch unit coincides with a row of pixel data designated by the row counter; ,
A shift register that is set based on the address data stored in the memory and outputs a correction instruction signal in accordance with a determination result in the address decoding unit;
An image correction unit that corrects pixel data output from the image sensor based on a correction instruction signal output from the shift register;
The shift register operates in synchronization with the image data sequentially output from the image sensor, and correction for the image data from the image sensor is controlled,
The image data processing apparatus, wherein the shift register shifts in synchronization with pixel data appearing at an output terminal of the image sensor and outputs the correction instruction signal to the image correction unit.
被写体像を結像する光学系と、
前記光学系で結像された被写体像を画像信号として出力するイメージセンサと、
請求項1〜4の何れか1項に記載のイメージデータ処理装置と、
前記イメージデータ処理装置からの画像信号を処理する信号処理手段と
を有することを特徴とする撮像システム。 at least,
An optical system for forming a subject image;
An image sensor that outputs a subject image formed by the optical system as an image signal;
The image data processing device according to any one of claims 1 to 4,
An image pickup system comprising: signal processing means for processing an image signal from the image data processing device.
前記イメージセンサの補正対象画素のアドレスデータをメモリに記憶する記憶処理と、
前記イメージセンサから出力される現在の画素データの行を指示する指示処理と、
前記メモリから前記アドレスデータを読み出す読み出し処理と、
前記読み出し処理で読み出された前記アドレスデータの補正対象画素が属する画素データの行と前記指示処理で指示された画素データの行とが一致しているか否かを判定する判定処理と、
前記メモリに記憶された前記アドレスデータに基づいて設定されるとともに、前記判定処理での判定結果に応じて補正指示信号をシフトレジスタから出力する出力処理と、
前記シフトレジスタから出力された補正指示信号をもとに前記イメージセンサから出力される画素データの補正を画像補正部で行う画像補正処理と
を有し、
前記イメージセンサから順次出力される前記イメージデータに同期して前記シフトレジスタが動作し、前記イメージセンサからの前記イメージデータに対する補正が制御され、
前記シフトレジスタは、前記イメージセンサの出力端子に現れる画素データに同期してシフトして前記補正指示信号を前記画像補正部に出力することを特徴とするイメージデータ処理方法。 In the image data processing method by the image data processing device connected to the output terminal of the image sensor that outputs the image data separately for each row of pixel data,
A storage process for storing address data of a correction target pixel of the image sensor in a memory;
An instruction process for indicating a row of current pixel data output from the image sensor;
A read process for reading the address data from the memory;
A determination process for determining whether or not a row of pixel data to which a correction target pixel of the address data read out in the read-out process matches a row of pixel data instructed in the instruction process;
An output process that is set based on the address data stored in the memory, and that outputs a correction instruction signal from a shift register according to the determination result in the determination process;
An image correction process in which an image correction unit corrects pixel data output from the image sensor based on a correction instruction signal output from the shift register, and
The shift register operates in synchronization with the image data sequentially output from the image sensor, and correction for the image data from the image sensor is controlled,
The image data processing method, wherein the shift register shifts in synchronization with pixel data appearing at an output terminal of the image sensor and outputs the correction instruction signal to the image correction unit.
前記イメージセンサの補正対象画素のアドレスデータをメモリに記憶する記憶処理と、
前記イメージセンサから出力される現在の画素データの行を指示する指示処理と、
前記メモリから前記アドレスデータを読み出す読み出し処理と、
前記読み出し処理で読み出された前記アドレスデータの補正対象画素が属する画素データの行と前記指示処理で指示された画素データの行とが一致しているか否かを判定する判定処理と、
前記メモリに記憶された前記アドレスデータに基づいて設定されるとともに、前記判定処理での判定結果に応じて補正指示信号をシフトレジスタから出力する出力処理と、
前記シフトレジスタから出力された補正指示信号をもとに前記イメージセンサから出力される画素データの補正を画像補正部で行う画像補正処理と
をコンピュータに実行させ、
前記イメージセンサから順次出力される前記イメージデータに同期して前記シフトレジスタが動作し、前記イメージセンサからの前記イメージデータに対する補正が制御され、
前記シフトレジスタは、前記イメージセンサの出力端子に現れる画素データに同期してシフトして前記補正指示信号を前記画像補正部に出力することを特徴とするコンピュータプログラム。 In a computer program for causing a computer to execute an image data processing method by an image data processing apparatus connected to an output terminal of an image sensor that outputs image data divided for each row of pixel data,
A storage process for storing address data of a correction target pixel of the image sensor in a memory;
An instruction process for indicating a row of current pixel data output from the image sensor;
A read process for reading the address data from the memory;
A determination process for determining whether or not a row of pixel data to which a correction target pixel of the address data read out in the read-out process matches a row of pixel data instructed in the instruction process;
An output process that is set based on the address data stored in the memory, and that outputs a correction instruction signal from a shift register according to the determination result in the determination process;
Causing the computer to execute an image correction process in which an image correction unit corrects pixel data output from the image sensor based on a correction instruction signal output from the shift register;
The shift register operates in synchronization with the image data sequentially output from the image sensor, and correction for the image data from the image sensor is controlled,
The computer program, wherein the shift register shifts in synchronization with pixel data appearing at an output terminal of the image sensor and outputs the correction instruction signal to the image correction unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009142701A JP4759628B2 (en) | 2009-06-15 | 2009-06-15 | Image data processing apparatus, imaging system, image data processing method, computer program, and computer-readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009142701A JP4759628B2 (en) | 2009-06-15 | 2009-06-15 | Image data processing apparatus, imaging system, image data processing method, computer program, and computer-readable storage medium |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002050313A Division JP4343484B2 (en) | 2002-02-26 | 2002-02-26 | Image data processing apparatus and imaging system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009207195A true JP2009207195A (en) | 2009-09-10 |
JP4759628B2 JP4759628B2 (en) | 2011-08-31 |
Family
ID=41148915
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009142701A Expired - Fee Related JP4759628B2 (en) | 2009-06-15 | 2009-06-15 | Image data processing apparatus, imaging system, image data processing method, computer program, and computer-readable storage medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4759628B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115348432A (en) * | 2022-08-15 | 2022-11-15 | 上海壁仞智能科技有限公司 | Data processing method and device, image processing method, electronic device and medium |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6386971A (en) * | 1986-09-30 | 1988-04-18 | Canon Inc | Image pickup device |
JPH06319086A (en) * | 1993-05-06 | 1994-11-15 | Sony Corp | Defect detecting device for solid-state image pickup element and defect correcting circuit using the detecting device |
JPH07147652A (en) * | 1993-11-24 | 1995-06-06 | Hitachi Ltd | Video camera |
JP2001061102A (en) * | 1999-08-20 | 2001-03-06 | Mitsubishi Electric Corp | Defective pixel detecting circuit |
JP2001186417A (en) * | 1999-12-22 | 2001-07-06 | Mitsubishi Electric Corp | Defective pixel detector |
JP2002016842A (en) * | 2000-06-30 | 2002-01-18 | Mitsubishi Electric Corp | Defect-pixel sensing device and recording medium with recorded defect-pixel sensing program |
-
2009
- 2009-06-15 JP JP2009142701A patent/JP4759628B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6386971A (en) * | 1986-09-30 | 1988-04-18 | Canon Inc | Image pickup device |
JPH06319086A (en) * | 1993-05-06 | 1994-11-15 | Sony Corp | Defect detecting device for solid-state image pickup element and defect correcting circuit using the detecting device |
JPH07147652A (en) * | 1993-11-24 | 1995-06-06 | Hitachi Ltd | Video camera |
JP2001061102A (en) * | 1999-08-20 | 2001-03-06 | Mitsubishi Electric Corp | Defective pixel detecting circuit |
JP2001186417A (en) * | 1999-12-22 | 2001-07-06 | Mitsubishi Electric Corp | Defective pixel detector |
JP2002016842A (en) * | 2000-06-30 | 2002-01-18 | Mitsubishi Electric Corp | Defect-pixel sensing device and recording medium with recorded defect-pixel sensing program |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115348432A (en) * | 2022-08-15 | 2022-11-15 | 上海壁仞智能科技有限公司 | Data processing method and device, image processing method, electronic device and medium |
CN115348432B (en) * | 2022-08-15 | 2024-05-07 | 上海壁仞科技股份有限公司 | Data processing method and device, image processing method, electronic equipment and medium |
Also Published As
Publication number | Publication date |
---|---|
JP4759628B2 (en) | 2011-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5901186B2 (en) | Solid-state imaging device and driving method thereof | |
US8274579B2 (en) | Image processing apparatus and imaging apparatus | |
JP4367963B2 (en) | Imaging apparatus, imaging system, and driving method of imaging apparatus | |
US8817139B2 (en) | Image pickup device and signal transmitting device | |
JP4870528B2 (en) | Solid-state imaging device | |
US20120110224A1 (en) | Data processing apparatus and image processing apparatus | |
JP4199874B2 (en) | Image processing apparatus and processing method | |
US9569160B2 (en) | Display processing device and imaging apparatus | |
JP2010283671A (en) | Imaging device | |
JP2006014175A (en) | Solid-state imaging device, image sensor, image processor and imaging method | |
JP4343484B2 (en) | Image data processing apparatus and imaging system | |
JP4759628B2 (en) | Image data processing apparatus, imaging system, image data processing method, computer program, and computer-readable storage medium | |
JP3991751B2 (en) | Solid-state imaging device and reading method thereof | |
JP4341630B2 (en) | Solid-state imaging device, driving method of solid-state imaging device, and imaging device | |
US7656434B2 (en) | Analog front-end device and image pickup device | |
JP2018157371A (en) | Imaging apparatus and method of correcting defective pixels | |
US20080018742A1 (en) | Analog front-end device and imaging apparatus | |
JP6415086B2 (en) | Image processing apparatus, image processing method, and program | |
TWI820541B (en) | Image dewarping method | |
JP2018005389A (en) | Image deformation circuit, image processing apparatus, and image deformation method | |
JP5222654B2 (en) | Defective pixel detection device for imaging device and marking device for imaging device | |
US8045036B2 (en) | Apparatus and method for sorting raw data with horizontal division | |
JP4802482B2 (en) | Image processing apparatus and image processing method | |
CN111436214A (en) | Image signal processing apparatus and method | |
WO2018029782A1 (en) | Arithmetic processing apparatus, image processing apparatus, and image capture apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110531 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110606 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140610 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |