JP2016076793A

JP2016076793A - Imaging apparatus

Info

Publication number: JP2016076793A
Application number: JP2014205173A
Authority: JP
Inventors: 高田　仁夫; Hitoo Takada; 仁夫高田; 昭夫黒澤; Akio Kurosawa
Original assignee: Kurabo Industries Ltd; Kurashiki Spinning Co Ltd
Current assignee: Kurabo Industries Ltd; Kurashiki Spinning Co Ltd
Priority date: 2014-10-03
Filing date: 2014-10-03
Publication date: 2016-05-12
Anticipated expiration: 2034-10-03
Also published as: JP6703805B2

Abstract

PROBLEM TO BE SOLVED: To provide an imaging apparatus capable of performing calibration corresponding to plural imaging conditions.SOLUTION: The imaging apparatus comprises: imaging means for obtaining image data of a subject; storage means for storing plural pieces of calibration data for calibrating at least one of the imaging means and the image data; and calibration means for calibrating at least one of the imaging means and the image data while switching the pieces of calibration data.SELECTED DRAWING: Figure 1

Description

本発明は、校正手段を有する撮像装置に関し、特に、シェーディング補正手段を有する撮像装置に関する。 The present invention relates to an imaging apparatus having calibration means, and more particularly to an imaging apparatus having shading correction means.

近年、ＣＣＤやＣＭＯＳ等の撮像素子を用いた撮像装置によって得られる画像データの明るさのムラを補正する技術が検討されている。例えば、撮像素子の感度や照明のばらつき、レンズ等に起因する明るさムラを補正する技術として、シェーディング補正が知られている（例えば、特許文献１参照。）。このシェーディング補正は、ラインセンサ各画素の感度特性のばらつきを補正する技術であって、白基準データと黒基準データに基づいて、画像データを規格化することによって各画素の感度ばらつきを補正している。このため、シェーディング補正では、各ラインセンサ（Ｒ、Ｇ、Ｂ）の各画素毎にそれぞれ白基準データと黒基準データをもつ。 In recent years, a technique for correcting unevenness in brightness of image data obtained by an image pickup apparatus using an image pickup device such as a CCD or a CMOS has been studied. For example, shading correction is known as a technique for correcting unevenness in brightness caused by variations in sensitivity of an image sensor, illumination, lenses, and the like (see, for example, Patent Document 1). This shading correction is a technique for correcting variations in sensitivity characteristics of each pixel of the line sensor, and by correcting the sensitivity variations of each pixel by standardizing image data based on white reference data and black reference data. Yes. For this reason, in shading correction, each pixel of each line sensor (R, G, B) has white reference data and black reference data.

また、カラーラインセンサ用にＲＧＢ各色について設けられた３つのシェーディング補正回路をもつデータ処理回路がある（例えば、特許文献２参照。）。 In addition, there is a data processing circuit having three shading correction circuits provided for each color of RGB for a color line sensor (see, for example, Patent Document 2).

特開平８−３０７６７２号公報JP-A-8-307672 特開２００９−９４９２８号公報JP 2009-94928 A

上記のシェーディング補正技術では、ＲＧＢの３つの撮像素子に対して、ＲＧＢそれぞれの撮像素子についての補正データは持つものの、これらの補正データは、特定の照明条件における補正データであって、複数の照明条件毎の補正データは有していない。 In the above-described shading correction technology, although there are correction data for each of RGB image sensors for three RGB image sensors, these correction data are correction data under a specific illumination condition, and a plurality of illumination data It does not have correction data for each condition.

しかし、撮像時の照明条件が異なればシェーディング補正のためのデータも変化する。そのため、複数の照明を切り替えて撮像する場合等のように複数の撮像条件を切り替えて撮像する場合には、１つの撮像条件における補正データだけでは正確なシェーディング補正は困難である。 However, the shading correction data changes if the illumination conditions at the time of imaging differ. Therefore, when a plurality of imaging conditions are switched and an image is captured, such as when imaging is performed by switching a plurality of illuminations, accurate shading correction is difficult with only correction data under one imaging condition.

本発明は、複数の撮像条件に対応した校正を行うことができる撮像装置を提供することを目的とする。 An object of the present invention is to provide an imaging apparatus capable of performing calibration corresponding to a plurality of imaging conditions.

本発明に係る撮像装置は、被撮像物の画像データを得る撮像手段と、
前記撮像手段と前記画像データとの少なくとも一方を校正するための複数の校正データを記憶する記憶手段と、
前記複数の校正データを切り替えて前記撮像手段と前記画像データとの少なくとも一方の校正を行う校正手段と、
を備えることを特徴とする。 An imaging apparatus according to the present invention includes an imaging means for obtaining image data of an object to be imaged,
Storage means for storing a plurality of calibration data for calibrating at least one of the imaging means and the image data;
A calibration means for performing calibration of at least one of the imaging means and the image data by switching the plurality of calibration data;
It is characterized by providing.

本発明に係る撮像装置によれば、撮像条件に対応する校正データによって撮像手段と画像データとの少なくとも一方を校正できるので、撮像条件に対応した適切な校正を行うことができる。また、撮像装置の内部に、校正データを有する記憶手段と、校正手段とを備えるので、外部に出力して処理する場合と比べて、外部出力の際の画像信号の低階調化処理の影響を受けることなく、撮像装置の内部で高精度の画像データ（高階調画像信号）のままで校正することができ、高精度の校正済みの画像データを得ることができる。 According to the imaging apparatus of the present invention, since at least one of the imaging means and the image data can be calibrated with the calibration data corresponding to the imaging condition, it is possible to perform appropriate calibration corresponding to the imaging condition. In addition, since the image capturing apparatus includes a storage unit having calibration data and a calibration unit, the effect of the gradation reduction processing of the image signal at the time of external output is compared with the case of processing by outputting to the outside. The image data can be calibrated as it is with high accuracy image data (high gradation image signal) in the image pickup apparatus, and highly accurate calibrated image data can be obtained.

実施の形態１に係る撮像装置の構成を示すブロック図である。1 is a block diagram illustrating a configuration of an imaging apparatus according to Embodiment 1. FIG. 実施の形態２に係る撮像装置を含む照明付き撮像システムの構成を示すブロック図である。6 is a block diagram illustrating a configuration of an imaging system with illumination that includes an imaging apparatus according to Embodiment 2. FIG. 図２の撮像装置のシェーディング補正手段の動作を示す概略図である。It is the schematic which shows operation | movement of the shading correction | amendment means of the imaging device of FIG. シェーディング補正データを構成する各画素の白基準と黒基準と、補正前の画像信号と、補正後の画像信号と、を示すグラフである。It is a graph which shows the white reference | standard and black reference | standard of each pixel which comprise shading correction data, the image signal before correction | amendment, and the image signal after correction | amendment. ｍ_ｍａｘ個の照明を順次切り替えて撮像を行うスイッチング撮像において、校正を行って校正後の画像データを得る撮像方法のフローチャートである。10 is a flowchart of an imaging method in which calibration is performed to obtain image data after calibration in switching imaging in which imaging is performed by sequentially switching m _max illuminations.

第１の態様に係る撮像装置は、被撮像物の画像データを得る撮像手段と、
前記撮像手段と前記画像データとの少なくとも一方を校正するための複数の校正データを記憶する記憶手段と、
前記複数の校正データを切り替えて前記撮像手段と前記画像データとの少なくとも一方の校正を行う校正手段と、
を備えることを特徴とする。 An imaging apparatus according to a first aspect includes an imaging means for obtaining image data of an object to be imaged,
Storage means for storing a plurality of calibration data for calibrating at least one of the imaging means and the image data;
A calibration means for performing calibration of at least one of the imaging means and the image data by switching the plurality of calibration data;
It is characterized by providing.

第２の態様に係る撮像装置は、上記第１の態様において、前記校正データは、前記画像データをシェーディング補正するためのシェーディング補正データであってもよい。
この場合に、前記校正手段は、前記シェーディング補正データを用いてシェーディング補正を行うシェーディング補正手段であってもよい。 In the imaging device according to a second aspect, in the first aspect, the calibration data may be shading correction data for correcting shading of the image data.
In this case, the calibration unit may be a shading correction unit that performs shading correction using the shading correction data.

第３の態様に係る撮像装置は、上記第１の態様において、前記校正データは、前記撮像手段における撮像素子の蓄積時間に関する校正データであってもよい。
この場合に、前記校正手段は、前記蓄積時間に関する校正データを用いて前記撮像手段における撮像素子の蓄積時間を調整する手段であってもよい。 In the imaging device according to a third aspect, in the first aspect, the calibration data may be calibration data relating to an accumulation time of the imaging element in the imaging means.
In this case, the calibration means may be means for adjusting the accumulation time of the image sensor in the imaging means using calibration data relating to the accumulation time.

第４の態様に係る撮像装置は、上記第１の態様において、前記校正データは、前記撮像手段におけるゲインに関する校正データであってもよい。
この場合に、前記校正手段は、前記ゲインに関する校正データを用いて前記撮像手段におけるゲインを調整する手段であってもよい。 In the imaging device according to a fourth aspect, in the first aspect, the calibration data may be calibration data relating to a gain in the imaging means.
In this case, the calibration means may be means for adjusting the gain in the imaging means using calibration data relating to the gain.

第５の態様に係る撮像装置は、上記第１から第４のいずれかの態様において、前記校正データは、撮像時の照明条件に対応して校正を行うための校正データであってもよい。
この場合に、前記校正手段は、撮像時の前記照明条件の切り替えに対応して、前記複数の校正データから撮像時の前記照明条件に対応する校正データに切り替えて校正を行ってもよい。 In the imaging device according to a fifth aspect, in any one of the first to fourth aspects, the calibration data may be calibration data for performing calibration in accordance with an illumination condition at the time of imaging.
In this case, the calibration unit may perform calibration by switching from the plurality of calibration data to calibration data corresponding to the illumination condition at the time of imaging in response to switching of the illumination condition at the time of imaging.

上記構成によって、照明条件毎に対応する校正データを用いた校正ができる。また、撮像装置内部で校正を行うことで、外部出力時の低階調化の影響を受けることなく高階調画像信号による高精度な補正処理ができる。 With the above configuration, calibration using calibration data corresponding to each illumination condition can be performed. Further, by performing calibration inside the image pickup apparatus, it is possible to perform highly accurate correction processing using a high gradation image signal without being affected by the reduction in gradation at the time of external output.

第６の態様に係る撮像装置は、上記第５の態様において、前記校正手段は、撮像時の前記照明条件の切り替えと同期して撮像時の前記照明条件に対応する校正データに切り替えてもよい。 In the imaging device according to a sixth aspect, in the fifth aspect, the calibration unit may switch to calibration data corresponding to the illumination condition at the time of imaging in synchronization with the switching of the illumination condition at the time of imaging. .

上記構成によって、照明条件の切り替えと同期して校正データを切り替えることで、各照明条件ごとに対応する校正を順次実行できる。 With the above configuration, by switching calibration data in synchronization with switching of illumination conditions, calibration corresponding to each illumination condition can be executed sequentially.

第７の態様に係る撮像装置は、上記第１の態様において、前記校正手段は、前記撮像手段における撮像と同期して前記校正データを切り替えてもよい。 In the imaging device according to a seventh aspect, in the first aspect, the calibration unit may switch the calibration data in synchronization with imaging in the imaging unit.

第８の態様に係る撮像装置は、上記第１の態様において、校正後の画像データの画像信号を低階調化して外部に出力する出力手段を備えてもよい。 The imaging apparatus according to an eighth aspect may include output means for reducing the gradation of the image signal of the calibrated image data and outputting the same to the outside in the first aspect.

第９の態様に係る検査装置は、上記第１から第８のいずれかの態様における前記撮像装置を含む。 An inspection apparatus according to a ninth aspect includes the imaging apparatus according to any one of the first to eighth aspects.

以下、本発明の実施の形態に係る撮像装置について、添付図面を参照しながら説明する。なお、図面において実質的に同一の部材については同一の符号を付している。 Hereinafter, imaging devices according to embodiments of the present invention will be described with reference to the accompanying drawings. In the drawings, substantially the same members are denoted by the same reference numerals.

（実施の形態１）
＜撮像装置＞
図１は、実施の形態１に係る撮像装置１０の構成を示すブロック図である。この撮像装置１０は、被撮像物５の画像データを得る撮像手段１と、撮像手段１と画像データとの少なくとも一方を校正するための校正データ２ａ、２ｂ、２ｃ、２ｄを記憶する記憶手段２と、校正データを用いて撮像手段１と画像データとの少なくとも一方を校正する校正手段３と、を備える。また、校正後の画像データの画像信号を外部に出力する出力手段４を備えてもよい。
この撮像装置では、撮像条件に対応する校正データによって撮像手段１と画像データとの少なくとも一方を校正できるので、撮像条件に対応した適切な校正を行うことができる。また、撮像装置１０の内部において、校正データ２ａ、２ｂ、２ｃ、２ｄを有する記憶手段２と、校正手段３とを備えるので、外部に出力して処理する場合と比べて、外部出力の際の低階調化処理の影響を受けることなく、撮像装置１０の内部で高精度の画像データ（高階調画像信号）のままで校正することができ、高精度の校正済みの画像データを得ることができる。 (Embodiment 1)
<Imaging device>
FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus 10 according to the first embodiment. The imaging apparatus 10 includes an imaging unit 1 that obtains image data of the object to be imaged 5, and a storage unit 2 that stores calibration data 2a, 2b, 2c, and 2d for calibrating at least one of the imaging unit 1 and the image data. And calibration means 3 for calibrating at least one of the imaging means 1 and the image data using the calibration data. Moreover, you may provide the output means 4 which outputs the image signal of the image data after calibration outside.
In this imaging apparatus, since at least one of the imaging means 1 and the image data can be calibrated with the calibration data corresponding to the imaging conditions, it is possible to perform appropriate calibration corresponding to the imaging conditions. In addition, since the storage unit 2 having the calibration data 2a, 2b, 2c, and 2d and the calibration unit 3 are provided inside the imaging apparatus 10, it is more suitable for external output than when output to the outside and processed. It is possible to calibrate with high accuracy image data (high gradation image signal) inside the imaging apparatus 10 without being affected by the gradation reduction processing, and to obtain highly accurate calibrated image data. it can.

以下に、この撮像装置１０を構成する各構成要素について説明する。 Below, each component which comprises this imaging device 10 is demonstrated.

＜撮像手段＞
撮像手段１は、ＣＣＤ、ＣＭＯＳ等の撮像素子１ａと、撮像素子１ａを制御する撮像制御手段１ｂとを含んでもよい。また、撮像手段１は、ラインセンサあるいはエリアセンサのいずれであってもよい。例えば、被撮像物５が搬送されている場合には、搬送方向に沿って高速に走査するために、ラインセンサを用いてもよい。ラインセンサは単一のモノクロラインセンサであってもよい。 <Imaging means>
The imaging unit 1 may include an imaging element 1a such as a CCD or CMOS, and an imaging control unit 1b that controls the imaging element 1a. Further, the imaging means 1 may be either a line sensor or an area sensor. For example, when the object to be imaged 5 is being transported, a line sensor may be used to scan at high speed along the transport direction. The line sensor may be a single monochrome line sensor.

＜記憶手段＞
記憶手段２は、複数の校正データ２ａ、２ｂ、２ｃ、２ｄを有している。校正データ２ａ、２ｂ、２ｃ、２ｄは、撮像手段１と画像データとの少なくとも一方を校正するためのものである。校正データ２ａ、２ｂ、２ｃ、２ｄとしては、例えば、シェーディング補正データであってもよい。あるいは、校正データは、画像全体の明るさを調整するための校正データ、例えば、撮像手段１における撮像素子１ａの蓄積時間に関する校正データであってもよい。また、校正データは、撮像手段１におけるゲインに関する校正データであってもよい。なお、校正データがシェーディング補正データである場合については実施の形態２において詳述する。 <Storage means>
The storage means 2 has a plurality of calibration data 2a, 2b, 2c and 2d. The calibration data 2a, 2b, 2c, and 2d are for calibrating at least one of the imaging means 1 and the image data. The calibration data 2a, 2b, 2c, and 2d may be, for example, shading correction data. Alternatively, the calibration data may be calibration data for adjusting the brightness of the entire image, for example, calibration data relating to the accumulation time of the image sensor 1a in the imaging means 1. Further, the calibration data may be calibration data related to the gain in the imaging unit 1. The case where the calibration data is shading correction data will be described in detail in the second embodiment.

＜校正手段＞
校正手段３によって、校正データを用いて撮像手段１と画像データとの少なくとも一方を校正する。校正手段３は、例えば、電気回路によって物理的な構成として実現してもよい。あるいは、コンピュータ上で動作するコンピュータソフトウエアによって実現してもよい。コンピュータは、通常の構成要素であるＣＰＵ、ＲＯＭ、ＲＡＭ、ハードディスク、入出力インタフェース等のうち上記校正動作を実行できる必要最小限の機能を有していればよい。 <Calibration means>
The calibration unit 3 calibrates at least one of the imaging unit 1 and the image data using the calibration data. The calibration means 3 may be realized as a physical configuration by an electric circuit, for example. Or you may implement | achieve by the computer software which operate | moves on a computer. The computer only needs to have a minimum necessary function capable of executing the calibration operation among normal components such as a CPU, ROM, RAM, hard disk, and input / output interface.

また、校正データが撮像手段１における撮像素子の蓄積時間に関する校正データの場合には、校正手段３によって撮像手段１の撮像素子の蓄積時間を校正データに基づいて変更し、露光、撮像を行って画像データを得ることができる。実際には、校正手段３は、記憶手段２から蓄積時間に関する設定値の校正データ２ａ、２ｂ、２ｃ、２ｄのいずれかを読み出し、その値を撮像手段１にセットすることで撮像素子１ａの蓄積時間を変更する。
校正データが撮像手段１におけるゲインに関する校正データの場合には、校正手段３によって撮像手段１のゲイン（アナログゲイン又はデジタルゲイン）を校正データに基づいて変更し、露光、撮像を行って画像データを得る。実際には、校正手段３は、記憶手段２からゲインに関する設定値の校正データ２ａ、２ｂ、２ｃ、２ｄのいずれかを読み出し、その値を撮像手段１にセットすることでゲインを変更する。
なお、校正手段３は、撮像手段１における撮像と同期して校正データを切り替えてもよい。 Further, when the calibration data is calibration data related to the storage time of the image sensor in the imaging unit 1, the calibration unit 3 changes the storage time of the image sensor of the image sensor 1 based on the calibration data, and performs exposure and imaging. Image data can be obtained. Actually, the calibration unit 3 reads any one of the calibration data 2a, 2b, 2c, and 2d of the set value related to the accumulation time from the storage unit 2, and sets the value in the imaging unit 1 to store the image sensor 1a. Change the time.
When the calibration data is calibration data related to the gain in the imaging unit 1, the calibration unit 3 changes the gain (analog gain or digital gain) of the imaging unit 1 based on the calibration data, and performs exposure and imaging to obtain image data. obtain. Actually, the calibration unit 3 reads any one of the calibration data 2a, 2b, 2c and 2d of the set value related to the gain from the storage unit 2, and sets the value in the imaging unit 1 to change the gain.
Note that the calibration unit 3 may switch the calibration data in synchronization with the imaging performed by the imaging unit 1.

＜出力手段＞
出力手段４によって校正後の画像データの画像信号を外部に出力する。
なお、出力手段４は、外部出力時に伝送レートが制限される場合があり、画像信号を低階調化処理して外部出力する場合がある。この場合には、高精度の画像信号の精度を低下させて出力する。
この撮像装置１０では、上述のように、外部出力の際の低階調化処理の影響を受けることなく、撮像装置１０の内部で高精度の画像データ（高階調画像信号）のままで校正することができ、高精度の校正済みの画像データを得ることができる。なお、その後の外部出力で校正済み画像データは低階調化処理を受けるが、低階調化処理後に校正を行った場合に比べて低階調化の影響、例えば大幅な桁落ちなど、を受けないため、精度低下の影響を抑制できる。 <Output means>
The output means 4 outputs an image signal of the calibrated image data to the outside.
Note that the output means 4 may have a limited transmission rate during external output, and may output the image signal externally after performing gradation reduction processing. In this case, the accuracy of the high-precision image signal is reduced and output.
As described above, the imaging apparatus 10 is calibrated with high-accuracy image data (high gradation image signal) inside the imaging apparatus 10 without being affected by the gradation reduction process at the time of external output. And calibrated image data with high accuracy can be obtained. Note that the calibrated image data is subjected to the gradation reduction process by the external output after that, but the influence of the gradation reduction, for example, significant digit loss, compared to the case where the calibration is performed after the gradation reduction process. Since it is not affected, it is possible to suppress the influence of accuracy reduction.

＜バッファメモリ＞
この撮像装置１０では、撮像手段１と校正手段３との間にバッファメモリを設けてもよい。バッファメモリは、撮像手段１からの画像信号を一時的に保持しておくことができる。これによって、撮像のタイミングと校正のタイミングとを同期させない場合にも、校正前の画像データを所定期間にわたって保持できる。 <Buffer memory>
In the imaging device 10, a buffer memory may be provided between the imaging unit 1 and the calibration unit 3. The buffer memory can temporarily hold the image signal from the imaging unit 1. Thus, even when the imaging timing and the calibration timing are not synchronized, the image data before calibration can be held for a predetermined period.

（実施の形態２）
＜撮像装置＞
図２は、実施の形態２に係る撮像装置２０を含む照明付き撮像システム３０の構成を示すブロック図である。この撮像装置２０は、被撮像物５の画像データを得る撮像手段１１と、画像データをシェーディング補正するためのシェーディング補正データ１２ａ、１２ｂ、１２ｃ、１２ｄを記憶する記憶手段１２と、シェーディング補正データ１２ａ、１２ｂ、１２ｃ、１２ｄを用いて画像データをシェーディング補正するシェーディング補正手段１３と、を備える。また、補正後の画像データの画像信号を外部に出力する出力手段１４を備えてもよい。 (Embodiment 2)
<Imaging device>
FIG. 2 is a block diagram illustrating a configuration of an illuminated imaging system 30 including the imaging device 20 according to the second embodiment. The imaging device 20 includes an imaging unit 11 that obtains image data of the object 5 to be imaged, a storage unit 12 that stores shading correction data 12a, 12b, 12c, and 12d for correcting shading of the image data, and shading correction data 12a. , 12b, 12c, and 12d, and shading correction means 13 for correcting shading of the image data. Moreover, you may provide the output means 14 which outputs the image signal of the image data after correction | amendment outside.

この撮像装置２０では、撮像時の照明条件に対応するシェーディング補正データによって画像データをシェーディング補正できるので、撮像条件に対応した適切な補正を行うことができる。また、この撮像装置２０は、その内部において、シェーディング補正データ１２ａ、１２ｂ、１２ｃ、１２ｄを有する記憶手段１２と、シェーディング補正手段１３とを備える。そこで、外部に出力して処理する場合と比べて、外部出力の際の低階調化処理の影響を受けることなく、撮像装置の内部で高精度の画像データ（高階調画像信号）のままでシェーディング補正を行うことができ、高精度の補正済みの画像データを得ることができる。 In the imaging apparatus 20, since the image data can be shading corrected by the shading correction data corresponding to the illumination condition at the time of imaging, it is possible to perform appropriate correction corresponding to the imaging condition. In addition, the imaging apparatus 20 includes a storage unit 12 having shading correction data 12a, 12b, 12c, and 12d and a shading correction unit 13 therein. Therefore, compared with the case of processing by outputting to the outside, it is not affected by the gradation reduction process at the time of external output, and the image data remains as highly accurate image data (high gradation image signal). Shading correction can be performed, and highly accurate corrected image data can be obtained.

以下に、この撮像装置２０を構成する各構成要素について説明する。 Below, each component which comprises this imaging device 20 is demonstrated.

＜撮像手段＞
撮像手段１１は、実施の形態１における撮像手段１と実質的に同様のものを用いることができる。そこで、詳細の説明を省略する。
なお、図２では、レンズ１５を撮像手段１１とは分離して示しているが、これは、単に略真上から撮像している撮像状態を示すために便宜的にレンズ１５を撮像手段１１から分離して示しているにすぎない。なお、レンズ１５は、撮像手段１１に含まれてもよい。また、図２では撮像装置を一体のものとして示しているが、例えば、ヘッド分離型の構成（撮像手段１１とレンズ１５がヘッド部、それより後段の処理部がコントローラ部として分離した構造）であってもよい。 <Imaging means>
As the image pickup means 11, substantially the same image pickup means 1 as in the first embodiment can be used. Therefore, detailed description is omitted.
In FIG. 2, the lens 15 is illustrated separately from the imaging unit 11, but this is simply because the lens 15 is removed from the imaging unit 11 for the sake of convenience in order to indicate an imaging state in which imaging is performed from substantially above. It is only shown separately. The lens 15 may be included in the imaging unit 11. In FIG. 2, the image pickup apparatus is shown as an integral unit. However, for example, in a head-separated configuration (a structure in which the image pickup unit 11 and the lens 15 are separated as a head portion, and a processing portion subsequent thereto is separated as a controller portion) There may be.

＜記憶手段＞
記憶手段１２は、複数のシェーディング補正データ１２ａ、１２ｂ、１２ｃ、１２ｄを有している。各シェーディング補正データ１２ａ、１２ｂ、１２ｃ、１２ｄは、各照明条件について、撮像手段１１の撮像素子１１ａの各画素の白基準と黒基準とからなる。例えば、図４は、シェーディング補正データを構成する各画素の白基準Ｗと黒基準Ｂとを示すグラフである。図４の横軸は、画素位置を表し、縦軸は、輝度を表している。
また、第１シェーディング補正データ１２ａ、第２シェーディング補正データ１２ｂ、第３シェーディング補正データ１２ｃ、第４シェーディング補正データ１２ｄは、それぞれ照明Ｌ１（１８ａ）、照明Ｌ２（１８ｂ）、照明Ｌ３（１８ｃ）、照明Ｌ４（１８ｄ）による照明条件に対応している。なお、照明の数とシェーディング補正データの数とは一致している必要はなく、様々な照明条件の組み合わせに対応した複数のシェーディング補正データを必要な数だけ記憶しておき、照明条件の切り替えに対応して適切なシェーディング補正データを用いればよい。
シェーディング補正データを構成する各画素の白基準Ｗは、各照明毎に白の校正板を用いて撮像して得ることができる。あるいは、各照明から撮像手段１１の撮像素子１１ａに直接照射して撮像して白基準Ｗを得る場合もある。黒基準Ｂは、撮像手段１１の撮像素子１１ａに全く光が入らない状態、例えば、レンズ１５にフタをした状態で撮像して得ることができる。あるいは、白基準Ｗと同様に、各照明毎に黒の校正板を用いて撮像して黒基準Ｂを得るようにしてもよい。なお、黒基準Ｂは、すべての照明１８ａ、１８ｂ、１８ｃ、１８ｄについて共通のデータとしてもよい。 <Storage means>
The storage unit 12 includes a plurality of shading correction data 12a, 12b, 12c, and 12d. Each shading correction data 12a, 12b, 12c, and 12d includes a white reference and a black reference for each pixel of the image sensor 11a of the image pickup unit 11 for each illumination condition. For example, FIG. 4 is a graph showing the white reference W and the black reference B of each pixel constituting the shading correction data. The horizontal axis in FIG. 4 represents the pixel position, and the vertical axis represents the luminance.
The first shading correction data 12a, the second shading correction data 12b, the third shading correction data 12c, and the fourth shading correction data 12d are the illumination L1 (18a), illumination L2 (18b), illumination L3 (18c), This corresponds to the illumination condition by the illumination L4 (18d). Note that the number of illuminations and the number of shading correction data do not need to match, and a required number of shading correction data corresponding to various combinations of illumination conditions are stored for switching the illumination conditions. Correspondingly, appropriate shading correction data may be used.
The white reference W of each pixel constituting the shading correction data can be obtained by imaging using a white calibration plate for each illumination. Alternatively, the white reference W may be obtained by directly irradiating the image pickup device 11a of the image pickup unit 11 from each illumination and picking up an image. The black reference B can be obtained by imaging in a state where no light enters the imaging element 11a of the imaging unit 11, for example, a state where the lens 15 is covered. Alternatively, as with the white reference W, the black reference B may be obtained by imaging using a black calibration plate for each illumination. The black reference B may be common data for all the illuminations 18a, 18b, 18c, and 18d.

＜シェーディング補正手段＞
シェーディング補正手段１３は、シェーディング補正データを用いて画像データをシェーディング補正する。シェーディング補正手段１３は、例えば、電気回路によって物理的な構成として実現してもよい。あるいは、コンピュータ上で動作するコンピュータソフトウエアによって実現してもよい。コンピュータは、通常の構成要素であるＣＰＵ、ＲＯＭ、ＲＡＭ、ハードディスク、入出力インタフェース等のうち上記補正動作を実行できる必要最小限の機能を有していればよい。
なお、シェーディング補正手段１３を電気回路として構成した場合には、照明条件毎に設けた複数のシェーディング補正回路を、撮像および照明の点灯と同期して切り替えることで、照明切り替えの度に記憶手段１２からシェーディング補正データ１２ａ、１２ｂ、１２ｃ、１２ｄを読み出す時間が不要になり、より高速な補正処理ができる。 <Shading correction means>
The shading correction unit 13 performs shading correction on the image data using the shading correction data. The shading correction means 13 may be realized as a physical configuration by an electric circuit, for example. Or you may implement | achieve by the computer software which operate | moves on a computer. The computer only needs to have a minimum necessary function capable of executing the correction operation among normal components such as a CPU, ROM, RAM, hard disk, and input / output interface.
When the shading correction unit 13 is configured as an electric circuit, the storage unit 12 is switched each time the illumination is switched by switching a plurality of shading correction circuits provided for each illumination condition in synchronization with imaging and lighting of the illumination. The time for reading the shading correction data 12a, 12b, 12c, and 12d is not required, and a higher-speed correction process can be performed.

図３は、図２の撮像装置２０のシェーディング補正手段１３の動作を示す概略図である。図４は、１つのシェーディング補正データを構成する各画素ｉの白基準Ｗｉと黒基準Ｂｉを全画素にわたってそれぞれ要素として含む白基準Ｗと黒基準Ｂと、各画素ｉの補正前の画像信号Ｓｉを全画素にわたって要素として含む補正前の画像信号Ｓと、各画素ｉの補正後の画像信号Ｓ’ｉを全画素にわたって要素として含む補正後の画像信号Ｓ’、の一例を示すグラフである。
シェーディング補正手段１３によるシェーディング補正について以下に説明する。
（ａ）シェーディング補正手段１３は、画像信号Ｓと、撮像条件である照明条件に対応するシェーディング補正データを構成する白基準Ｗ及び黒基準Ｂと、をそれぞれラインメモリ２２ａ、２２ｂ、２２ｃに記憶する。
（ｂ）次いで、各画素ｉごとに白基準Ｗｉと黒基準Ｂｉとの差（Ｗｉ−Ｂｉ）と、画像信号Ｓｉと黒基準Ｂｉとの差（Ｓｉ−Ｂｉ）をそれぞれ算出する。
（ｃ）その後、各画素ｉごとに画像信号Ｓｉと黒基準Ｂｉとの差（Ｓｉ−Ｂｉ）を白基準Ｗｉと黒基準Ｂｉとの差（Ｗｉ−Ｂｉ）で除して規格化した値（Ｓｉ−Ｂｉ）／（Ｗｉ−Ｂｉ）を得る。
（ｄ）この規格化値にｎビットの画像信号Ｓｉの最大値２^ｎ−１を乗じた値（Ｓｉ−Ｂｉ）／（Ｗｉ−Ｂｉ）＊（２^ｎ−１）を補正後の画像信号Ｓ’ｉとして出力する。
以上によって、照明条件に対応したシェーディング補正を行うことができる。 FIG. 3 is a schematic diagram showing the operation of the shading correction means 13 of the imaging device 20 of FIG. FIG. 4 shows a white reference W and a black reference B each including the white reference Wi and black reference Bi of each pixel i constituting one shading correction data as elements, and an image signal Si before correction of each pixel i. Is a graph showing an example of an uncorrected image signal S including all the pixels as an element and a corrected image signal S ′ including the corrected image signal S′i for each pixel i as an element.
The shading correction by the shading correction means 13 will be described below.
(A) The shading correction unit 13 stores the image signal S and the white reference W and the black reference B constituting the shading correction data corresponding to the illumination condition as the imaging condition in the line memories 22a, 22b, and 22c, respectively. .
(B) Next, for each pixel i, a difference (Wi−Bi) between the white reference Wi and the black reference Bi and a difference (Si−Bi) between the image signal Si and the black reference Bi are calculated.
(C) After that, for each pixel i, the difference (Si−Bi) between the image signal Si and the black reference Bi is divided by the difference (Wi−Bi) between the white reference Wi and the black reference Bi (standardized value ( Si-Bi) / (Wi-Bi) is obtained.
(D) A value (Si-Bi) / (Wi-Bi) * (2 ⁿ -1) obtained by multiplying the normalized value by the maximum value 2 ⁿ -1 of the n-bit image signal Si is corrected image signal S. Output as' i.
As described above, shading correction corresponding to the illumination condition can be performed.

＜出力手段＞
出力手段１４は、実施の形態１における出力手段４と実質的に同様のものを使用できる。そこで、詳細の説明を省略する。 <Output means>
The output means 14 can be substantially the same as the output means 4 in the first embodiment. Therefore, detailed description is omitted.

＜バッファメモリ＞
バッファメモリは、実施の形態１におけるバッファメモリと実質的に同様のものを使用できる。そこで、詳細の説明を省略する。 <Buffer memory>
As the buffer memory, substantially the same buffer memory as that of the first embodiment can be used. Therefore, detailed description is omitted.

＜照明付き撮像システム＞
照明付き撮像システム３０は、実施の形態２に係る撮像装置２０と、同期信号発生手段１６と、照明制御手段１７と、照明１８ａ、１８ｂ、１８ｃ、１８ｄと、を備える。この照明付き撮像システム３０は、特開２０１２−４２２９７号公報に記載のように、撮像手段１１の撮像タイミングに同期して複数の照明１８ａ、１８ｂ、１８ｃ、１８ｄを切り替えながら撮像する、いわゆるスイッチング撮像方式で駆動させることができる。
なお、この照明付き撮像システム３０は、撮像手段１１の撮像タイミングと複数の照明１８ａ、１８ｂ、１８ｃ、１８ｄの切り替えとを同期させることなく駆動してもよく、撮像タイミングと照明の切り替えとの同期は、必須の構成ではない。 <Imaging system with illumination>
The illumination-equipped imaging system 30 includes the imaging device 20 according to the second embodiment, the synchronization signal generation unit 16, the illumination control unit 17, and the illuminations 18a, 18b, 18c, and 18d. As described in Japanese Patent Application Laid-Open No. 2012-42297, the illumination imaging system 30 performs so-called switching imaging in which a plurality of illuminations 18a, 18b, 18c, and 18d are switched in synchronization with the imaging timing of the imaging unit 11. It can be driven by a method.
The illumination-equipped imaging system 30 may be driven without synchronizing the imaging timing of the imaging unit 11 and the switching of the plurality of illuminations 18a, 18b, 18c, and 18d, and synchronization between the imaging timing and the switching of the illumination. Is not an essential configuration.

以下に、この照明付き撮像システム３０を構成する各構成要素について説明する。 Below, each component which comprises this imaging system 30 with illumination is demonstrated.

＜撮像装置＞
撮像装置２０は、上記撮像装置２０を利用できるので、説明を省略する。 <Imaging device>
Since the imaging device 20 can use the imaging device 20, description thereof is omitted.

＜照明＞
この照明付き撮像システム３０では、拡散反射光となる照明Ｌ１（１８ａ）、照明Ｌ２（１８ｂ）、照明Ｌ３（１８ｃ）と、正反射光となる照明Ｌ４（１８ｄ）とを有している。また、照明Ｌ１（１８ａ）、照明Ｌ２（１８ｂ）、照明Ｌ３（１８ｃ）は、それぞれＲ、Ｇ、Ｂに対応する赤色光（Ｒ）、緑色光（Ｇ）、青色光（Ｂ）を照射し、照明Ｌ４（１８ｄ）は、白色光を照射する。
なお、照明１８ａ、１８ｂ、１８ｃ、１８ｄの数は４つに限られるものではない。例えば、照明の数は１つ、２つ、３つ、あるいは５つ以上であってもよい。また上記の例では、３つの拡散反射光と、１つの正反射光との組合せで構成しているが、これに限られず、例えば、さらに透過光を組み合わせてもよい。 <Lighting>
This imaging system 30 with illumination includes illumination L1 (18a), illumination L2 (18b), and illumination L3 (18c) that are diffusely reflected light, and illumination L4 (18d) that is specularly reflected light. In addition, the illumination L1 (18a), the illumination L2 (18b), and the illumination L3 (18c) emit red light (R), green light (G), and blue light (B) corresponding to R, G, and B, respectively. The illumination L4 (18d) emits white light.
The number of lights 18a, 18b, 18c, 18d is not limited to four. For example, the number of lights may be one, two, three, five or more. In the above example, a combination of three diffuse reflection lights and one regular reflection light is used. However, the present invention is not limited to this. For example, transmitted light may be further combined.

＜同期信号発生手段＞
同期信号発生手段１６は、撮像手段１１と、シェーディング補正手段１３と、照明制御手段１７と、に同期信号を送り、照明１８ａ、１８ｂ、１８ｃ、１８ｄの切り替えと、撮像のタイミングと、を同期させる。また、撮像の終了後、次の照明への切り替えと、１つ前の照明によって撮像された画像信号についてのシェーディング補正とを、同期させる。したがって、照明１８ａ、１８ｂ、１８ｃ、１８ｄの切り替えと、１つ前の照明に対応するシェーディング補正データ１２ａ、１２ｂ、１２ｃ、１２ｄの読み込みとを同期させることとなる。
なお、同期信号発生手段１６は、撮像装置２０、照明制御手段１７のいずれに設けられていてもよい。あるいは、別体として設けられていてもよい。 <Synchronization signal generating means>
The synchronization signal generation unit 16 sends a synchronization signal to the imaging unit 11, the shading correction unit 13, and the illumination control unit 17, and synchronizes the switching of the illuminations 18a, 18b, 18c, and 18d with the imaging timing. . In addition, after the imaging is completed, switching to the next illumination is synchronized with the shading correction for the image signal captured by the previous illumination. Therefore, switching of the illuminations 18a, 18b, 18c, and 18d is synchronized with reading of the shading correction data 12a, 12b, 12c, and 12d corresponding to the previous illumination.
The synchronization signal generator 16 may be provided in either the imaging device 20 or the illumination controller 17. Alternatively, it may be provided as a separate body.

＜照明制御手段＞
照明制御手段１７によって照明１８ａ、１８ｂ、１８ｃ、１８ｄを制御する。照明制御手段１７は、上記同期信号に基づいて照明１８ａ、１８ｂ、１８ｃ、１８ｄを順次切り替える。なお、スイッチング撮像における照明の制御は、複数の照明を順次切り替えることだけに限られず、例えば、２つ以上の照明を組み合わせて同時に照射してもよく、また、１つの照明を、波長や明るさを切り替えながら複数回照射してもよい。 <Lighting control means>
The illumination control means 17 controls the illuminations 18a, 18b, 18c, and 18d. The illumination control unit 17 sequentially switches the illuminations 18a, 18b, 18c, and 18d based on the synchronization signal. Note that the control of illumination in switching imaging is not limited to sequentially switching a plurality of illuminations, and for example, two or more illuminations may be combined and irradiated simultaneously, and one illumination may have a wavelength or brightness. You may irradiate several times while switching.

＜搬送手段＞
搬送手段１９は、例えば、被撮像物５を一方向に搬送するものであってもよい。搬送手段１９としては、例えば、ベルトコンベアであってもよい。 <Conveying means>
The transport unit 19 may transport the object to be imaged 5 in one direction, for example. As the conveying means 19, for example, a belt conveyor may be used.

＜撮像方法＞
図５は、ｍ_ｍａｘ個の照明を順次切り替えて撮像を行うスイッチング撮像において、校正を行って校正後の画像データを得る撮像方法のフローチャートである。
（１）予め、各照明毎のシェーディング補正データ・蓄積時間・ゲインを記憶手段に記憶する（Ｓ０１）。なお、各照明に対応するシェーディング補正データの取得は、上述のように各照明ごとの白基準及び黒基準を得ることに対応する。蓄積時間・ゲインについても各照明ごとの輝度と蓄積時間・ゲインとの関係を得ることによって、校正データが得られる。
（２）初期設定として、ｎ＝１、ｍ＝１に設定する（Ｓ０２）。
（３）ｎライン目の撮像を開始する（Ｓ０３）。
（４）ｍ番目の校正データで蓄積時間・ゲインを設定する（Ｓ０４）。例えば、照明が正反射光等のために明るすぎる場合には撮像手段１１の撮像素子１１ａの蓄積時間を減らすか又はゲインを低下させ、逆に透過光等のために暗すぎる場合には撮像素子１１ａの蓄積時間を増やすか又はゲインを増大させてもよい。
（５）ｍ番目の照明を点灯する（Ｓ０５）。
（６）露光して撮像し、画像信号を得る（Ｓ０６）。
（７）ｍ番目の照明を消灯する（Ｓ０７）。
（８）ｍ番目の校正データ（シェーディング補正データ）で画像信号をシェーディング補正して出力する（Ｓ０８）。
（９）照明の番号ｍがｍ_ｍａｘか否か判断（Ｓ０９）し、ｍ_ｍａｘである場合には照明の番号ｍを１にリセット（Ｓ１０）し、ｍ_ｍａｘでない場合にはｍをインクリメント（ｍ＝ｍ＋１）（Ｓ１１）し、ステップＳ０４に戻る。なお、照明の番号ｍのリセット（Ｓ１０）は、この段階で行う場合に限られない。例えば、ｎライン目の撮像を開始する（Ｓ０３）際に同時に照明の番号ｍをリセットしてもよい。
（１０）照明の番号ｍを１にリセットした後、ラインの番号ｎがｎ_ｍａｘであるか判断（Ｓ１２）し、ｎ_ｍａｘである場合には撮像を終了する。ラインの番号ｎがｎ_ｍａｘでない場合、ｎをインクリメント（ｎ＝ｎ＋１）（Ｓ１３）し、ステップＳ０３に戻る。
以上によって、ｍ_ｍａｘ個の照明を順次切り替えて撮像を行うスイッチング撮像において、各照明条件に対応する校正データ（シェーディング補正データ、蓄積時間、ゲイン）を用いて撮像手段と画像データとの少なくとも一方を校正して、校正後の画像データを得ることができる。 <Imaging method>
FIG. 5 is a flowchart of an imaging method in which calibration is performed to obtain image data after calibration in switching imaging in which imaging is performed by sequentially switching m _max illuminations.
(1) The shading correction data, accumulation time, and gain for each illumination are stored in advance in the storage means (S01). Note that acquisition of shading correction data corresponding to each illumination corresponds to obtaining a white reference and a black reference for each illumination as described above. With respect to the accumulation time / gain, calibration data can be obtained by obtaining the relationship between the luminance and the accumulation time / gain for each illumination.
(2) As an initial setting, n = 1 and m = 1 are set (S02).
(3) Start imaging of the nth line (S03).
(4) The accumulation time and gain are set with the mth calibration data (S04). For example, when the illumination is too bright due to specular reflection light or the like, the accumulation time of the image sensor 11a of the imaging means 11 is reduced or the gain is decreased, and conversely when the illumination is too dark due to transmitted light or the like, the image sensor The accumulation time of 11a may be increased or the gain may be increased.
(5) The mth illumination is turned on (S05).
(6) An image is obtained by exposure to obtain an image signal (S06).
(7) The mth illumination is turned off (S07).
(8) The image signal is subjected to shading correction with the mth calibration data (shading correction data) and output (S08).
(9) It is determined whether or not the illumination number m is m _max (S09). If it is m _max , the illumination number m is reset to 1 (S10), and if it is not m _max , m is incremented (m = M + 1) (S11), and the process returns to step S04. Note that the resetting of the illumination number m (S10) is not limited to this case. For example, the illumination number m may be reset simultaneously when imaging of the nth line is started (S03).
(10) After resetting the illumination number m to 1, it is determined whether the line number n is n _max (S12), and if it is n _max , the imaging is terminated. If the line number n is not n _max , n is incremented (n = n + 1) (S13), and the process returns to step S03.
As described above, in switching imaging in which imaging is performed by sequentially switching m _max illuminations, at least one of imaging means and image data is obtained using calibration data (shading correction data, accumulation time, gain) corresponding to each illumination condition. The image data after calibration can be obtained by calibration.

上記撮像方法によれば、ラインセンサ等の撮像手段１１の画素ごとの感度ムラと、照明条件の差異に起因する照明ムラとを、撮像装置２０の内部で同時に補正することができる。 According to the imaging method described above, sensitivity unevenness for each pixel of the imaging unit 11 such as a line sensor and illumination unevenness due to a difference in illumination conditions can be corrected simultaneously inside the imaging device 20.

なお、上記撮像方法では、シェーディング補正、蓄積時間、ゲインの全てを校正する場合について説明したが、これら全てを校正する必要はない。シェーディング補正、蓄積時間、ゲインのいずれか１つ又はこれらの組合せについて校正を行ってもよい。 In the imaging method described above, the shading correction, the accumulation time, and the gain are all calibrated. However, it is not necessary to calibrate all of them. Calibration may be performed for any one of shading correction, accumulation time, gain, or a combination thereof.

なお、本開示においては、前述した様々な実施の形態のうちの任意の実施の形態を適宜組み合わせることを含むものであり、それぞれの実施の形態が有する効果を奏することができる。 It should be noted that the present disclosure includes appropriately combining any of the above-described various embodiments, and can provide the effects of the respective embodiments.

本発明に係る撮像装置によれば、撮像条件に対応する校正データによって撮像手段と画像データとの少なくとも一方を校正できるので、撮像条件に対応した適切な校正を行うことができる。 According to the imaging apparatus of the present invention, since at least one of the imaging means and the image data can be calibrated with the calibration data corresponding to the imaging condition, it is possible to perform appropriate calibration corresponding to the imaging condition.

１、１１撮像手段
１ａ、１１ａ撮像素子
１ｂ、１１ｂ撮像制御手段
２、１２記憶手段
２ａ第１校正データ
２ｂ第２校正データ
２ｃ第３校正データ
２ｄ第４校正データ
３校正手段
４、１４出力手段
１０、２０撮像装置
１２ａ第１シェーディング補正データ
１２ｂ第２シェーディング補正データ
１２ｃ第３シェーディング補正データ
１２ｄ第４シェーディング補正データ
１３シェーディング補正手段
１５レンズ
１６同期信号発生手段
１７照明制御手段
１８ａ、１８ｂ、１８ｃ、１８ｄ照明
１９搬送手段
２２ａ、２２ｂ、２２ｃラインメモリ
３０照明付き撮像システム
５被撮像物 DESCRIPTION OF SYMBOLS 1, 11 Imaging means 1a, 11a Imaging element 1b, 11b Imaging control means 2, 12 Storage means 2a 1st calibration data 2b 2nd calibration data 2c 3rd calibration data 2d 4th calibration data 3 Calibration means 4, 14 Output means 10 , 20 imaging device 12a first shading correction data 12b second shading correction data 12c third shading correction data 12d fourth shading correction data 13 shading correction means 15 lens 16 synchronization signal generation means 17 illumination control means 18a, 18b, 18c, 18d Illumination 19 Transport means 22a, 22b, 22c Line memory 30 Illuminated imaging system 5 Object to be imaged

Claims

Imaging means for obtaining image data of the object to be imaged;
Storage means for storing a plurality of calibration data for calibrating at least one of the imaging means and the image data;
A calibration means for performing calibration of at least one of the imaging means and the image data by switching the plurality of calibration data;
An imaging apparatus comprising:

The calibration data is shading correction data for correcting shading of the image data,
The imaging apparatus according to claim 1, wherein the calibration unit is a shading correction unit that performs shading correction using the shading correction data.

The calibration data is calibration data relating to the accumulation time of the image sensor in the imaging means,
The imaging apparatus according to claim 1, wherein the calibration unit is a unit that adjusts an accumulation time of an imaging element in the imaging unit using calibration data relating to the accumulation time.

The calibration data is calibration data relating to gain in the imaging means,
The imaging apparatus according to claim 1, wherein the calibration unit is a unit that adjusts a gain in the imaging unit using calibration data related to the gain.

The calibration data is calibration data for performing calibration corresponding to the illumination conditions at the time of imaging,
5. The calibration unit according to claim 1, wherein the calibration unit performs calibration by switching from the plurality of calibration data to calibration data corresponding to the illumination condition during imaging in response to switching of the illumination condition during imaging. The imaging device according to one.

The imaging apparatus according to claim 5, wherein the calibration unit switches to calibration data corresponding to the illumination condition during imaging in synchronization with switching of the illumination condition during imaging.

The imaging apparatus according to claim 1, wherein the calibration unit switches the calibration data in synchronization with imaging performed by the imaging unit.

The imaging apparatus according to claim 1, further comprising output means for reducing the gradation of the image signal of the image data after calibration and outputting the image signal to the outside.

An inspection apparatus including the imaging apparatus according to claim 1.