JP2010193378A - Adjustment device and adjustment method; and imaging device - Google Patents

Adjustment device and adjustment method; and imaging device Download PDF

Info

Publication number
JP2010193378A
JP2010193378A JP2009038080A JP2009038080A JP2010193378A JP 2010193378 A JP2010193378 A JP 2010193378A JP 2009038080 A JP2009038080 A JP 2009038080A JP 2009038080 A JP2009038080 A JP 2009038080A JP 2010193378 A JP2010193378 A JP 2010193378A
Authority
JP
Japan
Prior art keywords
adjustment
coefficient
image data
spectral sensitivity
wavelength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009038080A
Other languages
Japanese (ja)
Other versions
JP5375168B2 (en
Inventor
Ritsuko Fuyuki
律子 冬木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2009038080A priority Critical patent/JP5375168B2/en
Publication of JP2010193378A publication Critical patent/JP2010193378A/en
Application granted granted Critical
Publication of JP5375168B2 publication Critical patent/JP5375168B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an adjustment device and an adjustment method for accurately adjusting dispersion of a spectral sensitivity characteristic of an imaging element that may occur on a product basis; and an imaging device adjusted by the adjusting device. <P>SOLUTION: The adjustment device includes a light source part, a spectral part, a holding part, a memory, an obtaining part and a calculation part. The light source part emits a visible light ray. The spectral part spectrally disperses the visible light ray. The holding part holds this imaging device including an imaging element. The memory records data of a spectral sensitivity characteristic used as a reference of the adjustment. The obtaining part obtains image data of RGB by subjecting the visible light ray spectrally dispersed by the spectral part to photoelectric conversion by the imaging element. The calculation part respectively calculates, based on the image data obtained by the obtaining part, differences between respective RGB values obtained by multiplying the RGB values calculated on a predetermined wavelength basis by a predetermined coefficient, and respective corresponding RGB values on the basis of wavelength of the spectral sensitivity characteristic used as the reference to obtain a coefficient minimizing the average value of the sum of the differences. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、撮像素子の分光感度特性を調整する調整装置及び調整方法、並びに撮像装置に関する。   The present invention relates to an adjustment device and adjustment method for adjusting spectral sensitivity characteristics of an image sensor, and an imaging device.

従来、撮像装置の1つである電子カメラにおいて、製品毎に発生し得る撮像素子の分光感度特性のばらつきを調整する調整方法が開示されている(例えば、特許文献1参照)。   2. Description of the Related Art Conventionally, there has been disclosed an adjustment method for adjusting variation in spectral sensitivity characteristics of an image sensor that may occur for each product in an electronic camera that is one of imaging apparatuses (see, for example, Patent Document 1).

しかし、特許文献1に開示された調整方法では、R(赤)G(緑)B(青)の原色信号の画像データに対して、波長(周波数)毎に細かく調整を行う点について考慮されていない点で改善の余地がある。   However, in the adjustment method disclosed in Patent Document 1, consideration is given to fine adjustment for each wavelength (frequency) with respect to image data of R (red), G (green), and B (blue) primary color signals. There is room for improvement.

本発明は、上記事情に鑑み、製品毎に発生し得る撮像素子の分光感度特性のばらつきを精度良く調整する調整装置及び調整方法、並びに、この調整装置で調整された撮像装置を提供することを目的とする。   SUMMARY OF THE INVENTION In view of the above circumstances, the present invention provides an adjustment device and an adjustment method for accurately adjusting variations in spectral sensitivity characteristics of image pickup devices that can occur for each product, and an image pickup device adjusted by the adjustment device. Objective.

第1の発明に係る調整装置は、光源部と、分光部と、保持部と、メモリと、取得部と、演算部とを備える。光源部は、可視光線を発する。分光部は、可視光線をスペクトル分光する。保持部は、分光感度特性が調整対象となる撮像素子を有する撮像装置を保持する。メモリは、調整の基準となる分光感度特性のデータを記録する。取得部は、分光部でスペクトル分光された可視光線を撮像素子で光電変換することにより、R(赤)G(緑)B(青)の色成分の組み合わせからなる画像データを取得する。演算部は、取得部で取得した画像データに基づいて、予め定められた波長毎に算出されたRGB値に所定の係数を乗算した各RGB値と、調整の基準となる分光感度特性の波長毎に対応する各RGB値との差分を各々算出し、差分の総和の平均値を最小とする係数を求める。   An adjustment device according to a first aspect includes a light source unit, a spectroscopic unit, a holding unit, a memory, an acquisition unit, and a calculation unit. The light source unit emits visible light. The spectroscopic unit performs spectral spectroscopy on visible light. The holding unit holds an imaging apparatus having an imaging element whose spectral sensitivity characteristics are to be adjusted. The memory records spectral sensitivity characteristic data which is a reference for adjustment. The obtaining unit obtains image data including a combination of R (red), G (green), and B (blue) color components by photoelectrically converting visible light spectrally separated by the spectroscopic unit using an image sensor. The calculation unit, based on the image data acquired by the acquisition unit, each RGB value obtained by multiplying the RGB value calculated for each predetermined wavelength by a predetermined coefficient, and each wavelength of the spectral sensitivity characteristic serving as a reference for adjustment The difference with each RGB value corresponding to is calculated, and the coefficient that minimizes the average value of the sum of the differences is obtained.

第2の発明に係る調整装置は、光源部と、フィルタと、保持部と、メモリと、取得部と、演算部とを備える。光源部は、可視光線を発する。フィルタは、可視光線の内、各々異なる通過波長帯域を有する。保持部は、分光感度特性が調整対象となる撮像素子を有する撮像装置を保持する。メモリは、調整の基準となる分光感度特性のデータを記録する。取得部は、フィルタを通過した可視光線を撮像素子で光電変換することにより、R(赤)G(緑)B(青)の色成分の組み合わせからなる画像データを取得する。演算部は、取得部で取得した画像データに基づいて、予め定められた波長毎に算出されたRGB値に所定の係数を乗算した各RGB値と、調整の基準となる分光感度特性の波長毎に対応する各RGB値との差分を各々算出し、差分の総和の平均値を最小とする係数を求める。   The adjustment device according to the second invention includes a light source unit, a filter, a holding unit, a memory, an acquisition unit, and a calculation unit. The light source unit emits visible light. The filters have different pass wavelength bands in visible light. The holding unit holds an imaging apparatus having an imaging element whose spectral sensitivity characteristics are to be adjusted. The memory records spectral sensitivity characteristic data which is a reference for adjustment. The acquisition unit acquires image data including a combination of R (red), G (green), and B (blue) color components by photoelectrically converting visible light that has passed through the filter with an imaging device. The calculation unit, based on the image data acquired by the acquisition unit, each RGB value obtained by multiplying the RGB value calculated for each predetermined wavelength by a predetermined coefficient, and each wavelength of the spectral sensitivity characteristic serving as a reference for adjustment The difference with each RGB value corresponding to is calculated, and the coefficient that minimizes the average value of the sum of the differences is obtained.

第3の発明は、第1又は第2の発明において、係数は、N行N列の行列式であることが好ましい。   In a third aspect based on the first aspect, the coefficient is preferably a determinant of N rows and N columns.

第4の発明は、第1又は第2の発明において、係数は、非線形ガンマ関数から算出される補正値であることが好ましい。   In a fourth aspect based on the first aspect, the coefficient is preferably a correction value calculated from a nonlinear gamma function.

第5の発明は、第1又は第2の発明において、演算部は、N行N列の行列式と、非線形ガンマ関数から算出される補正値とを組み合わせることにより、各々の差分の平均値を最小にする。   In a fifth aspect based on the first or second aspect, the arithmetic unit combines the determinant of N rows and N columns with a correction value calculated from a nonlinear gamma function, thereby calculating an average value of each difference. Minimize.

第6の発明に係る調整方法は、撮像ステップと、取得ステップと、演算ステップとを備える。撮像ステップは、分光感度特性が調整対象となる撮像素子を有する撮像装置にスペクトル分光された可視光線を照射し、撮像素子で光電変換する。取得ステップは、光電変換により生成したR(赤)G(緑)B(青)の色成分の組み合わせからなる画像データを取得する。演算ステップは、取得ステップで取得した画像データに基づいて、予め定められた波長毎に算出されたRGB値に所定の係数を乗算した各RGB値と、調整の基準となる分光感度特性の波長毎に対応する各RGB値との差分を各々算出し、差分の総和の平均値を最小とする係数を求める。   An adjustment method according to a sixth aspect includes an imaging step, an acquisition step, and a calculation step. The imaging step irradiates an imaging apparatus having an imaging element whose spectral sensitivity characteristics are to be adjusted with visible light that is spectrally dispersed, and performs photoelectric conversion by the imaging element. In the acquisition step, image data including a combination of R (red), G (green), and B (blue) color components generated by photoelectric conversion is acquired. The calculation step includes each RGB value obtained by multiplying the RGB value calculated for each predetermined wavelength by a predetermined coefficient based on the image data acquired in the acquisition step, and each wavelength of the spectral sensitivity characteristic serving as a reference for adjustment. The difference with each RGB value corresponding to is calculated, and the coefficient that minimizes the average value of the sum of the differences is obtained.

第7の発明に係る調整方法は、撮像ステップと、取得ステップと、演算ステップとを備える。撮像ステップは、分光感度特性が調整対象となる撮像素子を有する撮像装置に、各々異なる通過波長帯域を有するフィルタにより選択的に通過した可視光線を照射し、撮像素子で光電変換する。取得ステップは、光電変換により生成したR(赤)G(緑)B(青)の色成分の組み合わせからなる画像データを取得する。演算ステップは、取得ステップで取得した画像データに基づいて、予め定められた波長毎に算出されたRGB値に所定の係数を乗算した各RGB値と、調整の基準となる分光感度特性の波長毎に対応する各RGB値との差分を各々算出し、差分の総和の平均値を最小とする係数を求める。   An adjustment method according to a seventh aspect includes an imaging step, an acquisition step, and a calculation step. The imaging step irradiates an imaging device having an imaging device whose spectral sensitivity characteristics are to be adjusted with visible light selectively passed by filters having different pass wavelength bands, and performs photoelectric conversion by the imaging device. In the acquisition step, image data including a combination of R (red), G (green), and B (blue) color components generated by photoelectric conversion is acquired. The calculation step includes each RGB value obtained by multiplying the RGB value calculated for each predetermined wavelength by a predetermined coefficient based on the image data acquired in the acquisition step, and each wavelength of the spectral sensitivity characteristic serving as a reference for adjustment. The difference with each RGB value corresponding to is calculated, and the coefficient that minimizes the average value of the sum of the differences is obtained.

第8の発明に係る撮像装置は、撮像素子と、係数記録部とを備える。撮像素子は、光電変換により画像データを生成する。係数記録部は、請求項1から請求項5のいずれか1項に記載の調整装置により算出された係数を記録する。   An imaging device according to an eighth invention includes an imaging element and a coefficient recording unit. The image sensor generates image data by photoelectric conversion. The coefficient recording unit records the coefficient calculated by the adjustment device according to any one of claims 1 to 5.

本発明によれば、製品毎に発生し得る撮像素子の分光感度特性のばらつきを精度良く調整することができる。   According to the present invention, it is possible to accurately adjust the variation in spectral sensitivity characteristics of the image sensor that may occur for each product.

本実施形態の調整装置1の構成を示すブロック図The block diagram which shows the structure of the adjustment apparatus 1 of this embodiment. 電子カメラ100の構成を示すブロック図The block diagram which shows the structure of the electronic camera 100 コンピュータ200の構成を示すブロック図The block diagram which shows the structure of the computer 200 撮像素子103の受光面に照射される可視光線について説明する図The figure explaining the visible light irradiated to the light-receiving surface of the image pick-up element 103 波長毎に記録される画像データについて説明をする図The figure explaining the image data recorded for every wavelength 調整の基準となる分光感度特性を例示する模式図Schematic diagram illustrating spectral sensitivity characteristics that serve as a reference for adjustment 調整装置の動作の一例を示すフローチャートFlow chart showing an example of the operation of the adjusting device アナログ波形の画像データの一例を示す図Diagram showing an example of analog waveform image data 第1実施形態における係数が算出されるまでの流れを説明する図The figure explaining the flow until the coefficient in the first embodiment is calculated 第2実施形態における係数が算出されるまでの流れを説明する図The figure explaining the flow until the coefficient in 2nd Embodiment is calculated

(第1実施形態の説明)
以下、図面に基づいて本発明の実施の形態を詳細に説明する。
(Description of the first embodiment)
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図1は、本実施形態の調整装置1の構成を示すブロック図である。図1に示す通り、調整装置1は、暗室10とコンピュータ(PC)200とを備える。暗室10は、外部からの光を遮断するために用いられる。さらに、暗室10の内部には、光源室4と、分光室5と、電子カメラ室6とを備える。光源室4と分光室5との間は、スリット7が設けられている。分光室5と電子カメラ室6との間には、スリット7が設けられている。光源室4には、光源2が配置される。分光室5には、プリズム3が配置される。電子カメラ室6には、ステージ9が配置され、電子カメラ100が保持される。また、ステージ9は、コンピュータ200からの指示を受けることにより上下左右に移動する。これにより、電子カメラ100は、所望の位置に配置されている。   FIG. 1 is a block diagram illustrating a configuration of the adjusting device 1 according to the present embodiment. As shown in FIG. 1, the adjustment device 1 includes a dark room 10 and a computer (PC) 200. The dark room 10 is used to block light from the outside. Further, the dark room 10 includes a light source chamber 4, a spectroscopic chamber 5, and an electronic camera chamber 6. A slit 7 is provided between the light source chamber 4 and the spectroscopic chamber 5. A slit 7 is provided between the spectroscopic chamber 5 and the electronic camera chamber 6. The light source 2 is disposed in the light source chamber 4. The prism 3 is disposed in the spectroscopic chamber 5. A stage 9 is disposed in the electronic camera room 6 and holds the electronic camera 100. Further, the stage 9 moves up and down and left and right in response to an instruction from the computer 200. Thereby, the electronic camera 100 is arrange | positioned in the desired position.

光源2は、太陽光(一例として、色温度5500K)と同様の光を発する光源である。   The light source 2 is a light source that emits light similar to sunlight (color temperature 5500K as an example).

プリズム3は、光源2から発せられた可視光線を連続的にスペクトル分光する。このスペクトル分光された可視光線と、撮像素子との関係については後述する。なお、本実施形態では、可視光線の一例として、380nm〜780nmを採用する。   The prism 3 continuously spectrally separates visible light emitted from the light source 2. The relationship between the spectrally dispersed visible light and the image sensor will be described later. In the present embodiment, 380 nm to 780 nm is adopted as an example of visible light.

次に、調整用の電子カメラ100について説明する。   Next, the adjustment electronic camera 100 will be described.

図2は、電子カメラ100の構成を示すブロック図である。図2に示す通り電子カメラ1は、撮影レンズ101と、カットフィルタ102と、撮像素子103と、アナログフロントエンド部(以下、「AFE」という。)104と、RAM(Random Access Memory)105と、ROM(Read Only Memory)106と、操作部107と、CPU(Central Processing Unit)108と、通信インターフェース(I/F)109とを備える。   FIG. 2 is a block diagram illustrating a configuration of the electronic camera 100. As shown in FIG. 2, the electronic camera 1 includes a photographing lens 101, a cut filter 102, an image sensor 103, an analog front end (hereinafter referred to as “AFE”) 104, a RAM (Random Access Memory) 105, A ROM (Read Only Memory) 106, an operation unit 107, a CPU (Central Processing Unit) 108, and a communication interface (I / F) 109 are provided.

このうちAFE104、RAM105、ROM106、CPU108及び通信インターフェース(I/F)109は、バス110を介して互いに接続している。また、操作部107は、CPU108に接続している。   Among these, the AFE 104, the RAM 105, the ROM 106, the CPU 108, and the communication interface (I / F) 109 are connected to each other via the bus 110. The operation unit 107 is connected to the CPU 108.

撮影レンズ101は、ズームレンズと、フォーカスレンズとを含む複数のレンズ群で構成されている。なお、簡単のため、図2では、撮影レンズ101を1枚のレンズとして図示する。   The taking lens 101 is composed of a plurality of lens groups including a zoom lens and a focus lens. For the sake of simplicity, FIG. 2 shows the photographing lens 101 as a single lens.

カットフィルタ102は、入射光線の波長成分の内、赤外線側の波長成分と紫外線側の波長成分をカットする。このカットフィルタ102は、紫外線成分の波長をカットする光学ローパスフィルタに、赤外線成分をカットするIR(InfraRed)カットフィルタが蒸着されている。   The cut filter 102 cuts the wavelength component on the infrared side and the wavelength component on the ultraviolet side among the wavelength components of incident light. In this cut filter 102, an IR (InfraRed) cut filter for cutting an infrared component is deposited on an optical low-pass filter for cutting a wavelength of an ultraviolet component.

撮像素子103は、撮影レンズ101からの入射光線を光電変換することにより、画像データを生成する。この撮像素子103には、CCD(Charge Coupled Devices)やCMOS(Complementary Metal−Oxide Semiconductor)のイメージセンサを適宜選択して用いることができる。   The image sensor 103 generates image data by photoelectrically converting incident light from the photographing lens 101. As this image sensor 103, a CCD (Charge Coupled Devices) or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor can be appropriately selected and used.

なお、撮像素子103の受光面には、入射光線をカラー検出するために、RGBの3種類のカラーフィルタが公知のベイヤー配列で配置されている。これによって、撮像素子103の受光面には、R画素とG画素とB画素との3種類の画素が配置される。すなわち、画像データはR信号(R)、G信号(G)、B信号(B)の3種類の信号から構成されることになる。なお、ベイヤー配列は一例であって、この配列に限定されるものではない。   Note that three types of RGB color filters are arranged in a known Bayer array on the light receiving surface of the image sensor 103 in order to detect incident light in color. Thus, three types of pixels of R pixel, G pixel, and B pixel are arranged on the light receiving surface of the image sensor 103. That is, the image data is composed of three types of signals: R signal (R), G signal (G), and B signal (B). Note that the Bayer array is an example, and the present invention is not limited to this array.

AFE104は、撮像素子103が生成する画像データに対して信号処理を施すアナログフロントエンド回路である。このAFE104は、画像データのゲイン調整やA/D変換等を行う。このAFE104が出力する画像データは、RAM105に記録される。このRAM105は、フレームメモリとしても機能する。   The AFE 104 is an analog front end circuit that performs signal processing on image data generated by the image sensor 103. The AFE 104 performs image data gain adjustment, A / D conversion, and the like. Image data output from the AFE 104 is recorded in the RAM 105. The RAM 105 also functions as a frame memory.

ROM106は、電子カメラ100の制御を行うプログラム等を予め記憶している不揮発性のメモリである。なお、工場出荷前の調整作業時に、撮像素子103の分光感度特性のばらつきを調整するための係数が、ROM106に書き込まれる(詳細は、後述する)。   The ROM 106 is a non-volatile memory that stores a program for controlling the electronic camera 100 in advance. Note that a coefficient for adjusting variation in spectral sensitivity characteristics of the image sensor 103 is written in the ROM 106 during the adjustment work before factory shipment (details will be described later).

操作部107は、例えば、コマンドダイヤル、十字状のカーソルキー、電源ボタン、レリーズ釦等を有している。そして、操作部107は、電子カメラ1への操作の指示入力を受け付ける。   The operation unit 107 includes, for example, a command dial, a cross-shaped cursor key, a power button, a release button, and the like. Then, the operation unit 107 receives an operation instruction input to the electronic camera 1.

CPU108は、電子カメラ100の統括的な制御を行うプロセッサである。また、CPU108は、画像処理機能も有しており、RAM105に記録されている画像データを読み出し、各種の画像処理(階調変換処理、輪郭強調処理、ホワイトバランス処理等)を施す。   The CPU 108 is a processor that performs overall control of the electronic camera 100. The CPU 108 also has an image processing function, reads image data recorded in the RAM 105, and performs various image processing (gradation conversion processing, contour enhancement processing, white balance processing, etc.).

通信インターフェース(I/F)109は、不図示の通信ケーブルが電気的に接続されることにより、コンピュータ200と画像データ等の送受信を実現するための通信インターフェースである。なお、通信インターフェース(I/F)109は、無線で画像データ等の送受信をする無線LAN(Local Area Network)を実現させるための通信インターフェースであってもよい。   A communication interface (I / F) 109 is a communication interface for realizing transmission / reception of image data and the like with the computer 200 by electrically connecting a communication cable (not shown). The communication interface (I / F) 109 may be a communication interface for realizing a wireless LAN (Local Area Network) that transmits and receives image data and the like wirelessly.

次に、コンピュータ200について説明する。   Next, the computer 200 will be described.

図3は、コンピュータ200の構成を示すブロック図である。図3に示す通りコンピュータ200は、通信インターフェース(I/F)201と、ROM202と、RAM203と、コンピュータ用CPU204と、表示モニタ205と、キーボード206とを備える。ここでは、説明の便宜上、表示モニタ205やキーボード206もコンピュータ200に含めるものとする。   FIG. 3 is a block diagram illustrating a configuration of the computer 200. As illustrated in FIG. 3, the computer 200 includes a communication interface (I / F) 201, a ROM 202, a RAM 203, a computer CPU 204, a display monitor 205, and a keyboard 206. Here, the display monitor 205 and the keyboard 206 are also included in the computer 200 for convenience of explanation.

通信インターフェース(I/F)201は、不図示の通信ケーブルで電気的に接続されることにより、電子カメラ100と画像データ等の送受信を実現するための通信インターフェースである。ROM202は、コンピュータ200の制御を行うプログラム等を予め記憶している不揮発性のメモリである。   A communication interface (I / F) 201 is a communication interface for realizing transmission and reception of image data and the like with the electronic camera 100 by being electrically connected by a communication cable (not shown). The ROM 202 is a non-volatile memory that stores programs for controlling the computer 200 in advance.

RAM203は、電子カメラ100で取得された画像データを記録するメモリである。また、RAM203は、コンピュータ用CPU204の演算処理に使用するメモリである。   A RAM 203 is a memory that records image data acquired by the electronic camera 100. A RAM 203 is a memory used for arithmetic processing of the computer CPU 204.

コンピュータ用CPU204は、コンピュータ200の統括的な制御を行うプロセッサである。また、本実施形態の調整方法の処理を行うためのプログラムが、コンピュータ用CPU204に組み込まれる。これにより、コンピュータ用CPU204は、撮影制御部204aと、取得部204bと、演算部204cとしても機能する。   The computer CPU 204 is a processor that performs overall control of the computer 200. In addition, a program for performing the adjustment method of the present embodiment is incorporated in the computer CPU 204. Thereby, the computer CPU 204 also functions as the imaging control unit 204a, the acquisition unit 204b, and the calculation unit 204c.

撮影制御部204aは、電子カメラ1に対して静止画撮影を行わせる。すなわち、撮影制御部204aは、通信インターフェース(I/F)201を介して、電子カメラ100のCPU108に撮影開始の指示を出す。これにより、電子カメラ100のCPU108は、撮影制御部204aからの撮影開始の指示を受け付けた後、不図示のタイミングジェネレータを介して、撮像素子103へ向けて駆動信号を送出し、静止画撮影を行わせる。この静止画撮影された画像データは、電子カメラ100のRAM105に記録される。   The shooting control unit 204a causes the electronic camera 1 to perform still image shooting. That is, the imaging control unit 204 a issues an instruction to start imaging to the CPU 108 of the electronic camera 100 via the communication interface (I / F) 201. As a result, the CPU 108 of the electronic camera 100 receives a shooting start instruction from the shooting control unit 204a, and then sends a drive signal to the image sensor 103 via a timing generator (not shown) to take a still image. Let it be done. The image data obtained by taking the still image is recorded in the RAM 105 of the electronic camera 100.

ここで、撮影制御部204aからの撮影開始の指示を受け付けた後、静止画撮影された画像データについて説明する。静止画撮影された画像データは、一例として、スペクトル分光された可視光線の光強度を、RGBの色成分の組み合わせで示すデータである。   Here, image data obtained by taking a still image after receiving an instruction to start shooting from the shooting control unit 204a will be described. As an example, the image data obtained by taking a still image is data indicating the light intensity of visible light subjected to spectrum spectroscopy by a combination of RGB color components.

図4は、撮像素子103の受光面に照射される可視光線について説明する図である。図4(a)に示すように、光源2から出射した可視光線は、プリズム3でスペクトル分光される。この際、プリズムを通過する可視光線(電磁波)は、波長(周波数)によって屈折率が異なるため、スペクトル分光される。この場合、青色の波長(380nm)が赤色の波長(780nm)よりも屈折率が大きい。このプリズムの性質を利用すると、スペクトル分光された画像データを1回の撮影で取得でき、測定時間の短縮が図られる。そこで、調整装置1では、スペクトル分光された波長(一例として、380nm〜780nm)を、撮像素子103の受光面に受光できるように調整用の電子カメラ100が配置される。この場合、ステージ9が電子カメラ100を移動させることにより、撮像素子103が最適な位置に配置される。   FIG. 4 is a diagram for explaining visible light irradiated on the light receiving surface of the image sensor 103. As shown in FIG. 4A, the visible light emitted from the light source 2 is spectrally separated by the prism 3. At this time, the visible light (electromagnetic wave) passing through the prism is spectrally dispersed because the refractive index differs depending on the wavelength (frequency). In this case, the blue wavelength (380 nm) has a higher refractive index than the red wavelength (780 nm). By utilizing the properties of this prism, image data obtained by spectral spectroscopy can be acquired by one imaging, and the measurement time can be shortened. Therefore, in the adjustment device 1, the adjustment electronic camera 100 is arranged so that the spectrally dispersed wavelength (for example, 380 nm to 780 nm) can be received by the light receiving surface of the image sensor 103. In this case, when the stage 9 moves the electronic camera 100, the image sensor 103 is arranged at an optimal position.

なお、図4(b)に示すように、調整装置1では、光源2と撮像素子103との間にフィルタ20を配置してもよい。このフィルタ20は、可視光線の内、特定の波長成分を通過させる通過波長帯域を有する。例えば、通過波長帯域が異なる複数のフィルタ20を用いることで、特定の波長毎に画像データを取得することができる。   As shown in FIG. 4B, in the adjustment device 1, a filter 20 may be disposed between the light source 2 and the image sensor 103. The filter 20 has a pass wavelength band that allows a specific wavelength component to pass through in visible light. For example, image data can be acquired for each specific wavelength by using a plurality of filters 20 having different pass wavelength bands.

取得部204bは、電子カメラ100のRAM105に記録された画像データ(RGBの画像データ)を、通信インターフェース(I/F)201を介して取得し、RAM203に記録する。   The acquisition unit 204 b acquires image data (RGB image data) recorded in the RAM 105 of the electronic camera 100 via the communication interface (I / F) 201 and records it in the RAM 203.

演算部204cは、取得部204bで取得した画像データに基づいて、予め定められた波長毎にRGB値を算出する。なお、本実施形態では、波長(周波数)毎とは、特定の波長(周波数)を複数選択してもよく、複数の波長帯域(周波数帯域)でもよい。以下の例では、波長帯域毎として説明を続ける。そのため、波長帯域と称することがある。   The calculation unit 204c calculates an RGB value for each predetermined wavelength based on the image data acquired by the acquisition unit 204b. In the present embodiment, for each wavelength (frequency), a plurality of specific wavelengths (frequencies) may be selected, or a plurality of wavelength bands (frequency bands) may be used. In the following example, description will be continued for each wavelength band. Therefore, it may be called a wavelength band.

図5は、波長毎に記録される画像データについて説明をする図である。   FIG. 5 is a diagram for explaining the image data recorded for each wavelength.

図5(a)は、撮像素子103の正面図であり、撮影画像のイメージ図に対応している。この場合、図4(a)に示すように、プリズム3でスペクトル分光された可視光線は、図5(a)に示すように、撮像素子103の垂直ライン方向にスペクトル線となって入射することとなる。そして、水平ライン方向に連続スペクトル線が形成することになる。なお、説明の便宜上、撮像素子103を正面から見て、左端を380nmとし、右端を780nmとする。   FIG. 5A is a front view of the image sensor 103 and corresponds to an image diagram of a captured image. In this case, as shown in FIG. 4 (a), the visible light spectrally split by the prism 3 is incident as a spectral line in the vertical line direction of the image sensor 103 as shown in FIG. 5 (a). It becomes. Then, a continuous spectral line is formed in the horizontal line direction. For convenience of explanation, the left end is 380 nm and the right end is 780 nm when the image sensor 103 is viewed from the front.

ここで、ある波長帯域に対応するスペクトル線の画像データの各RGB値(各々のR値、G値、B値)は、図5(b)に示すように、垂直ライン方向のベイヤー配列のRGB値を抽出して、平均値をとった値とする。例えば、各RGB値は、8ビットのデータを用いると、ダイナミックレンジとして、0から255の値をとることになる。この例では、2列のベイヤー配列のRGB値を抽出したため、Gの数が、RとBの数に比較して2倍多いので、その分の適宜補正を行ってもよい。このようにして、演算部204cは、取得部204bで取得した画像データに基づいて、予め定められた波長毎にRGB値を算出する。このRGB値は、RAM203に記録される。   Here, each RGB value (each R value, G value, B value) of the image data of the spectral line corresponding to a certain wavelength band is represented by the RGB of the Bayer array in the vertical line direction as shown in FIG. The value is extracted and taken as an average value. For example, each RGB value takes a value from 0 to 255 as the dynamic range when 8-bit data is used. In this example, since the RGB values of two rows of Bayer arrays are extracted, the number of G is twice as large as the number of R and B, and accordingly, the correction may be made accordingly. In this way, the calculation unit 204c calculates an RGB value for each predetermined wavelength based on the image data acquired by the acquisition unit 204b. The RGB values are recorded in the RAM 203.

なお、撮影画像(撮像素子)のxy座標の位置に基づいて、各波長毎のRGB値を算出してもよい。そして、調整の基準となる撮影画像(撮像素子)における同一のxy座標のRGB値と比較してもよい。   Note that the RGB value for each wavelength may be calculated based on the position of the xy coordinates of the captured image (imaging device). And you may compare with the RGB value of the same xy coordinate in the picked-up image (imaging element) used as the reference | standard of adjustment.

演算部204cは、予め定められた波長毎に算出されたRGB値に所定の係数を乗算した各RGB値を算出する。さらに、演算部204cは、調整の基準となる分光感度特性の波長毎に対応する各RGB値との差分を各々算出し、差分の総和の平均値を最小とする係数を求める(詳細は後述する)。   The calculation unit 204c calculates each RGB value obtained by multiplying the RGB value calculated for each predetermined wavelength by a predetermined coefficient. Furthermore, the calculation unit 204c calculates a difference from each RGB value corresponding to each wavelength of the spectral sensitivity characteristic that is a reference for adjustment, and obtains a coefficient that minimizes the average value of the sum of the differences (details will be described later). ).

次に、第1実施形態における調整装置の動作の一例を説明する。また、電子カメラ1の調整方法について説明する。   Next, an example of the operation of the adjustment device in the first embodiment will be described. A method for adjusting the electronic camera 1 will be described.

ここでは、まず、電子カメラ1の調整方法の概要について述べる。本実施形態では、調整対象となる複数の電子カメラに対して、調整の基準となる分光感度特性を予め用意する。この分光感度特性は、測定若しくは計算で求めてもよい。   Here, first, an outline of an adjustment method of the electronic camera 1 will be described. In the present embodiment, spectral sensitivity characteristics serving as a reference for adjustment are prepared in advance for a plurality of electronic cameras to be adjusted. This spectral sensitivity characteristic may be obtained by measurement or calculation.

図6は、調整の基準となる分光感度特性を例示する模式図である。ここでは、説明の便宜上、模式図として描いている。本実施形態の調整装置1は、調整対象となる電子カメラ100に対して、調整の基準となる分光感度特性(波長毎の各RGB値)に近づけるようにして、電子カメラ機種間における撮像素子の分光感度特性のばらつきを抑制する調整方法を提供する。以下、フローチャートを用いて具体的に説明する。   FIG. 6 is a schematic view illustrating the spectral sensitivity characteristic that is a reference for adjustment. Here, it is drawn as a schematic diagram for convenience of explanation. The adjustment device 1 according to the present embodiment is configured so that the electronic camera 100 to be adjusted is close to the spectral sensitivity characteristic (each RGB value for each wavelength) that is a reference for adjustment, and the image sensor between the electronic camera models. An adjustment method for suppressing variations in spectral sensitivity characteristics is provided. Hereinafter, a specific description will be given using a flowchart.

図7は、調整装置の動作の一例を示すフローチャートである。   FIG. 7 is a flowchart illustrating an example of the operation of the adjustment device.

このフローチャートは、図1に示す調整装置1に調整対象となる電子カメラ100が配置された後、キーボード206から調整方法のプログラム開始の指示入力をコンピュータ用CPU204が受け付けると開始する。なお、電子カメラ1の電源は予めONになっているものとする。また、光源2も不図示の通信ケーブルを介して、コンピュータ用CPU204からの指示で点灯するものとする。   This flowchart is started when the computer CPU 204 receives an instruction to start the adjustment method program from the keyboard 206 after the electronic camera 100 to be adjusted is arranged in the adjustment apparatus 1 shown in FIG. It is assumed that the power source of the electronic camera 1 is turned on in advance. The light source 2 is also turned on in response to an instruction from the computer CPU 204 via a communication cable (not shown).

なお、調整用に用いられる撮像素子103の分光感度特性のもとになるアナログ波形の画像データとしては、一例として、380nmから780nmの範囲(780−380=400nm)を40等分にして、波長帯域10nmに相当するスペクトル線の画像データを取得することとする。   As an example of analog waveform image data that is the basis of the spectral sensitivity characteristics of the image sensor 103 used for adjustment, the range from 380 nm to 780 nm (780-380 = 400 nm) is divided into 40 equal parts, and the wavelength Image data of spectral lines corresponding to a bandwidth of 10 nm is acquired.

ステップS101:コンピュータ用CPU204の撮影制御部204aは、キーボード206から、撮影開始の指示入力を受け付けると、調整装置1の光源2を点灯させた後、電子カメラ100に対して静止画撮影を行わせる。撮影制御部204aは、通信インターフェース(I/F)201を介して、電子カメラ100のCPU108に撮影開始の指示を出す。これにより、電子カメラ100のCPU108は、不図示のタイミングジェネレータを介して、撮像素子103へ向けて駆動信号を送出し、静止画撮影を行わせる。すると、スペクトル分光された可視光線の光強度を表すアナログ波形の画像データ(アナログデータ)が取得される。なお、静止画撮影が終了すると、コンピュータ用CPU204は、光源2を消灯させる。   Step S101: Upon receiving an instruction to start shooting from the keyboard 206, the shooting control unit 204a of the computer CPU 204 turns on the light source 2 of the adjustment device 1 and then causes the electronic camera 100 to perform still image shooting. . The shooting control unit 204 a issues a shooting start instruction to the CPU 108 of the electronic camera 100 via the communication interface (I / F) 201. As a result, the CPU 108 of the electronic camera 100 sends a drive signal to the image sensor 103 via a timing generator (not shown) to perform still image shooting. Then, image data (analog data) of an analog waveform representing the light intensity of visible light subjected to spectrum spectroscopy is acquired. When the still image shooting is completed, the computer CPU 204 turns off the light source 2.

図8は、アナログ波形の画像データの一例を示す図である。撮像素子103は、プリズム3を介して、380nmから780nmまでの連続スペクトル線を撮像する。CPU108は、連続スペクトル線を1フレームの静止画像を撮影した後、波長(波長帯域:10nm)毎に画像データを抽出する。説明をわかりやすくするため、1フレームの静止画像データから、波長毎に、光強度の分布を抽出し、図8に示すようにして40フレーム(nは、1から40までの自然数)の静止画像の画像データを作成することとする。図8では、波長(波長帯域:10nm)毎の光強度を表している。AFE104が出力する静止画像の画像データ(デジタルデータ)は、RAM105に記録される。   FIG. 8 is a diagram illustrating an example of image data of an analog waveform. The imaging element 103 images continuous spectral lines from 380 nm to 780 nm via the prism 3. The CPU 108 captures a still image of one frame of continuous spectral lines, and then extracts image data for each wavelength (wavelength band: 10 nm). For easy understanding, light intensity distribution is extracted for each wavelength from one frame of still image data, and a still image of 40 frames (n is a natural number from 1 to 40) as shown in FIG. The image data is created. In FIG. 8, the light intensity for each wavelength (wavelength band: 10 nm) is shown. Image data (digital data) of a still image output from the AFE 104 is recorded in the RAM 105.

ステップS102:コンピュータ用CPU204の取得部204bは、電子カメラ100のRAM105に記録された画像データを、通信インターフェース(I/F)201を介して取得する。そして、取得部204bは、その画像データをRAM203に記録する。さらに、演算部204cは、RAM203に記録された画像データに基づいて、波長毎に各RGB値を算出する。これらの各RGB値は、RAM203に記録される。   Step S102: The acquisition unit 204b of the computer CPU 204 acquires the image data recorded in the RAM 105 of the electronic camera 100 via the communication interface (I / F) 201. Then, the acquisition unit 204b records the image data in the RAM 203. Further, the calculation unit 204c calculates each RGB value for each wavelength based on the image data recorded in the RAM 203. These RGB values are recorded in the RAM 203.

ステップS103:コンピュータ用CPU204の演算部204cは、調整の基準となる分光感度特性の波長毎の各RGB値と、静止画撮影により得られた波長毎の各RGB値とに基づいて、係数を算出する。具体的に図9を参照しながら、係数の算出について説明する。   Step S103: The calculation unit 204c of the computer CPU 204 calculates a coefficient based on each RGB value for each wavelength of the spectral sensitivity characteristic that is a reference for adjustment and each RGB value for each wavelength obtained by still image shooting. To do. The calculation of the coefficient will be described specifically with reference to FIG.

図9は、第1実施形態における係数が算出されるまでの流れを説明する図である。   FIG. 9 is a diagram for explaining a flow until a coefficient is calculated in the first embodiment.

まず、演算部204cは、図9(a)に示す通り、調整の基準(目標)となる各RGB値(R、G、B)をROM202から読み出す。   First, the arithmetic unit 204c reads out from the ROM 202 each RGB value (R, G, B) serving as an adjustment reference (target) as shown in FIG.

Figure 2010193378
Figure 2010193378

ここで、nは、1から40までの自然数である。つまり、演算部204cは、調整の基準となる各RGB値(R、G、B)を40組用意する。次に、演算部204cは、図9(b)に示す通り、撮影制御部204aの指示により静止画撮影して得られた波長毎の各RGB値に、3行3列の行列式(係数)を乗算して出力値(R’、G’、B’)を算出する。   Here, n is a natural number from 1 to 40. That is, the calculation unit 204c prepares 40 sets of RGB values (R, G, B) that are the reference for adjustment. Next, as shown in FIG. 9 (b), the calculation unit 204c has a determinant (coefficient) of 3 rows and 3 columns for each RGB value for each wavelength obtained by shooting a still image according to an instruction from the shooting control unit 204a. To calculate output values (R ′, G ′, B ′).

Figure 2010193378
Figure 2010193378

ここで、nは、1から40までの自然数である。   Here, n is a natural number from 1 to 40.

次に、演算部204cは、図9(c)に示す通り、調整の基準となる各RGB値(R、G、B)と、出力値(R’、G’、B’)との差分を波長毎に算出する。   Next, as shown in FIG. 9C, the calculation unit 204c calculates the difference between each RGB value (R, G, B) serving as a reference for adjustment and the output value (R ′, G ′, B ′). Calculate for each wavelength.

Figure 2010193378
Figure 2010193378

ここで、nは、1から40までの自然数である。   Here, n is a natural number from 1 to 40.

次に、演算部204cは、図9(d)に示す通り、n=1から40までの差分の総和の平均値を算出する。   Next, the arithmetic unit 204c calculates the average value of the sum of the differences from n = 1 to 40 as shown in FIG.

Figure 2010193378
Figure 2010193378

次に、演算部204cは、差分の総和の平均値が最小(ゼロ)に近づくように、3行3列の行列式(係数)を調節し、再度、図9(b)、図9(c)、図9(d)の処理を繰り返し、係数が収束するまで演算を繰り返す。なお、この演算自体は、公知の行列演算であるので、詳細は省略する。このようにして、演算部204cは、最終的に係数を算出する。   Next, the calculation unit 204c adjusts the determinant (coefficient) of 3 rows and 3 columns so that the average value of the sum of the differences approaches the minimum (zero), and again, FIG. 9B and FIG. ), The process of FIG. 9D is repeated, and the calculation is repeated until the coefficients converge. Since this calculation itself is a known matrix calculation, its details are omitted. In this way, the calculation unit 204c finally calculates the coefficient.

Figure 2010193378
Figure 2010193378

この係数は、RAM203に記録される。   This coefficient is recorded in the RAM 203.

ステップS104:コンピュータ用CPU204は、RAM203から係数を読み出し、通信インターフェース(I/F)201を介して、係数(データ)を電子カメラ100に送信する。電子カメラ100は、通信インターフェース(I/F)109を介して係数(データ)を受信し、その係数(データ)をROM106に書き込む。そして、図7に示すフローチャートの処理ルーチンは、終了する。なお、引き続き、他の電子カメラを調整する場合には、改めて、他の電子カメラが調整装置1に設置された後、図7に示すフローチャートを実行すればよい。   Step S104: The computer CPU 204 reads the coefficient from the RAM 203, and transmits the coefficient (data) to the electronic camera 100 via the communication interface (I / F) 201. The electronic camera 100 receives the coefficient (data) via the communication interface (I / F) 109 and writes the coefficient (data) in the ROM 106. Then, the processing routine of the flowchart shown in FIG. 7 ends. In the case where the other electronic camera is continuously adjusted, the flowchart shown in FIG. 7 may be executed after the other electronic camera is installed in the adjusting device 1 again.

以上、第1実施形態の調整装置1及び調整方法によれば、製品毎に発生し得る撮像素子103の分光感度特性のばらつきを、精度良く調整することができる。なお、撮像素子103の分光感度特性のばらつきは、IRカットフィルタや撮像素子103に用いられるカラーフィルタの分光特性に影響を受ける。第1実施形態の調整方法では、IRカットフィルタやカラーフィルタに起因する分光感度特性のばらつきを補償することができる。   As described above, according to the adjustment device 1 and the adjustment method of the first embodiment, it is possible to accurately adjust the variation in spectral sensitivity characteristics of the image sensor 103 that may occur for each product. Note that the variation in spectral sensitivity characteristics of the image sensor 103 is affected by the spectral characteristics of the IR cut filter and the color filter used in the image sensor 103. In the adjustment method of the first embodiment, it is possible to compensate for variations in spectral sensitivity characteristics caused by the IR cut filter and the color filter.

また、第1実施形態の調整方法によれば、3行3列の行列式を係数にすることで、容易に係数を求めることができる。なお、3行3列の行列式は、一例であって、3行3列の行列式に限定されるものではない。   Further, according to the adjustment method of the first embodiment, the coefficient can be easily obtained by using the determinant of 3 rows and 3 columns as the coefficient. Note that the 3 × 3 determinant is an example, and is not limited to the 3 × 3 determinant.

さらに、第1実施形態の電子カメラ100によれば、調整作業時に電子カメラ100に係数が記録されるので、撮像素子103の分光感度特性を基準の分光感度特性に合わせることができる。
(第2実施形態)
次に、本発明の第2実施形態について説明する。第2実施形態では、演算部204cは、3行3列の行列式と、非線形ガンマ関数から算出される補正値とを組み合わせることにより、各々の差分の総和の平均値を最小にする。なお、本発明の第1実施形態と本発明の第2実施形態とでは、演算部204cの数学的処理(図7のステップS103)が異なるだけなので、調整装置1の構成については、同じ要素については同じ符号を付して説明を省略する。第2実施形態では、まず、第1実施形態と同様にして、予め係数(3行3列の行列式)を求めておくことを前提とする。
Furthermore, according to the electronic camera 100 of the first embodiment, the coefficient is recorded in the electronic camera 100 during the adjustment work, so that the spectral sensitivity characteristic of the image sensor 103 can be matched with the reference spectral sensitivity characteristic.
(Second Embodiment)
Next, a second embodiment of the present invention will be described. In the second embodiment, the computing unit 204c minimizes the average value of the sum of the differences by combining the determinant of 3 rows and 3 columns and the correction value calculated from the nonlinear gamma function. Note that the first embodiment of the present invention and the second embodiment of the present invention differ only in the mathematical processing (step S103 in FIG. 7) of the arithmetic unit 204c. Are denoted by the same reference numerals and description thereof is omitted. In the second embodiment, it is assumed that a coefficient (a determinant of 3 rows and 3 columns) is obtained in advance as in the first embodiment.

次に、第2実施形態における調整装置1の動作の一例について説明する。   Next, an example of operation | movement of the adjustment apparatus 1 in 2nd Embodiment is demonstrated.

なお、調整装置1の動作の一例を示すフローチャートについても図7を流用して説明する。そのため、ステップS101及びステップS102の処理は、第1実施形態と同じ手順であるので説明は省略する。   Note that a flowchart showing an example of the operation of the adjustment apparatus 1 will also be described with reference to FIG. For this reason, the processing in step S101 and step S102 is the same procedure as in the first embodiment, and a description thereof will be omitted.

図10は、第2実施形態における係数が算出されるまでの流れを説明する図である。   FIG. 10 is a diagram for explaining a flow until a coefficient is calculated in the second embodiment.

ステップS103:演算部104cは、図10(a)に示す通り、調整の基準となる各RGB値(R、G、B)をROM202から読み出す。   Step S103: The computing unit 104c reads out from the ROM 202 each RGB value (R, G, B) serving as a reference for adjustment, as shown in FIG.

次に、演算部204cは、図10(b)に示す通り、静止画撮影して得られた波長毎の各RGB値に、第1実施形態で求めた係数(3行3列の行列式)を乗算して出力値(R’、G’、B’)を算出する。   Next, as shown in FIG. 10B, the calculation unit 204c calculates the coefficients (determinants of 3 rows and 3 columns) obtained in the first embodiment for each RGB value obtained by capturing a still image. To calculate output values (R ′, G ′, B ′).

次に、演算部204cは、波長毎の出力値(R’、G’、B’)に対して、R’、G’、B’個別にいわゆるガンマ補正を行う。このガンマ補正は、入力xに対して、y=axγの関係になるときのγの値を補正する(図10(c))。なお、aは比例定数である。この場合、演算部204cは、入力x(R’、G’、B’)に対して、各RGB毎にガンマ係数(γ、γ、γ)を調整して出力値(R”、G”、B”)を算出する。 Next, the calculation unit 204c performs so-called gamma correction on R ′, G ′, and B ′ individually for the output values (R ′, G ′, and B ′) for each wavelength. This gamma correction corrects the value of γ when y = ax γ with respect to the input x (FIG. 10C). A is a proportionality constant. In this case, the calculation unit 204c adjusts the gamma coefficients (γ R , γ G , γ B ) for each RGB with respect to the input x (R ′, G ′, B ′) and outputs the output values (R ″, G ″, B ″) is calculated.

次に、演算部204cは、図10(d)に示す通り、n=1から40までの差分の総和の平均値を算出する。   Next, the arithmetic unit 204c calculates the average value of the sum of the differences from n = 1 to 40 as shown in FIG.

次に、演算部204cは、差分の総和の平均値が最小(ゼロ)に近づくように、ガンマ係数を調節し、再度、図9(c)、図9(d)、図9(e)の処理を繰り返し、ガンマ係数が収束するまで演算を繰り返す。なお、この演算自体は、公知の数学的処理であるので、詳細は省略する。このようにして、演算部204cは、ガンマ係数(γ、γ、γ)を補正値として算出する。このガンマ係数(γ、γ、γ)は、RAM203に記録される。 Next, the calculation unit 204c adjusts the gamma coefficient so that the average value of the sum of differences approaches the minimum (zero), and again in FIGS. 9C, 9D, and 9E. Repeat the process until the gamma coefficient converges. Since this calculation itself is a well-known mathematical process, details are omitted. In this way, the arithmetic unit 204c calculates the gamma coefficients (γ R , γ G , γ B ) as correction values. The gamma coefficients (γ R , γ G , γ B ) are recorded in the RAM 203.

ステップS104:コンピュータ用CPU204は、RAM203から係数(3行3列の行列式、ガンマ係数(γ、γ、γ)を読み出し、電子カメラ100に送信する。電子カメラ100は、その係数をROM106に書き込む。そして、図7に示すフローチャートの処理ルーチンは、終了する。 Step S104: The computer CPU 204 reads out a coefficient (a determinant of 3 rows and 3 columns and a gamma coefficient (γ R , γ G , γ B ) from the RAM 203 and transmits it to the electronic camera 100. The electronic camera 100 outputs the coefficient. The data is written in the ROM 106. Then, the processing routine of the flowchart shown in FIG.

以上、第2実施形態の調整装置1及び調整方法によっても、第1実施形態と同様、製品毎に発生し得る撮像素子103の分光感度特性のばらつきを、精度良く調整することができる。また、第2実施形態の調整方法によれば、3行3列の行列式とガンマ係数を組み合わせることで、第1実施形態と比較して、さらに精度良く調整することができる。   As described above, according to the adjustment device 1 and the adjustment method of the second embodiment, similarly to the first embodiment, the variation in spectral sensitivity characteristics of the image sensor 103 that may occur for each product can be adjusted with high accuracy. Further, according to the adjustment method of the second embodiment, it is possible to adjust more accurately than the first embodiment by combining the determinant of 3 rows and 3 columns and the gamma coefficient.

さらに、第2実施形態の電子カメラ100によれば、調整作業時に電子カメラ100に係数が記録されるので、撮像素子103の分光感度特性を基準の分光感度特性に合わせることができる。
<実施形態の補足事項>
(1)第2実施形態では、演算部204cは、3行3列の行列式と、非線形ガンマ関数から算出される各RGB値の補正値(ガンマ係数)とを組み合わせることにより、各々の差分の総和の平均値を最小にするようにしたが、非線形ガンマ関数から算出される補正値(ガンマ係数)のみで、各々の差分の総和の平均値を最小にするようにしてもよい。
Furthermore, according to the electronic camera 100 of the second embodiment, since the coefficient is recorded in the electronic camera 100 during the adjustment operation, the spectral sensitivity characteristic of the image sensor 103 can be matched with the reference spectral sensitivity characteristic.
<Supplementary items of the embodiment>
(1) In the second embodiment, the calculation unit 204c combines the determinant of 3 rows and 3 columns with the correction value (gamma coefficient) of each RGB value calculated from the non-linear gamma function. Although the average value of the sum is minimized, the average value of the sum of the differences may be minimized by using only the correction value (gamma coefficient) calculated from the nonlinear gamma function.

(2)第1実施形態及び第2実施形態では、調整の基準となる分光感度特性を計算により求めた。例えば、所定の電子カメラの分光感度特性を基準機として採用する場合には、予め、基準機の分光感度特性を調整の基準となる分光感度特性に合わせるようにして、前処理を行う。これにより、調整用の他の電子カメラに対しては、基準機の分光感度特性に合わせるようにすればよい。   (2) In the first embodiment and the second embodiment, spectral sensitivity characteristics serving as a reference for adjustment are obtained by calculation. For example, when the spectral sensitivity characteristic of a predetermined electronic camera is adopted as a reference machine, preprocessing is performed in advance so that the spectral sensitivity characteristic of the reference machine is matched with the spectral sensitivity characteristic serving as a reference for adjustment. Thus, the other electronic camera for adjustment may be adjusted to the spectral sensitivity characteristic of the reference machine.

(3)第1実施形態及び第2実施形態では、分光器としてプリズム3を採用したが、プリズム3を用いず、図4(b)に示すように、特定の波長の可視光線のみを透過させるフィルタを用いて、光源2からの可視光線を選択的に透過させるようにしてもよい。この場合においても、第1実施形態及び第2実施形態と同様の効果が得られる。   (3) In the first embodiment and the second embodiment, the prism 3 is employed as the spectroscope. However, as shown in FIG. 4B, only visible light having a specific wavelength is transmitted without using the prism 3. You may make it selectively permeate | transmit visible light from the light source 2 using a filter. Even in this case, the same effect as the first embodiment and the second embodiment can be obtained.

(4)第1実施形態及び第2実施形態では、コンピュータ用CPU204に、撮影制御部204a、取得部204b、演算部204cを備えたが、電子カメラ100のCPU108に備えるようにしてもよい。   (4) In the first embodiment and the second embodiment, the computer CPU 204 includes the imaging control unit 204a, the acquisition unit 204b, and the calculation unit 204c, but may be included in the CPU 108 of the electronic camera 100.

(5)第1実施形態及び第2実施形態では、RGBの3種類のカラーフィルタを採用したが、これに限られず、補色フィルタを用いて同様の調整方法を行ってもよい。   (5) In the first embodiment and the second embodiment, three types of RGB color filters are employed, but the present invention is not limited to this, and a similar adjustment method may be performed using a complementary color filter.

1・・・調整装置、2・・・光源、3・・・プリズム、20・・・フィルタ、9・・・ステージ、106、202・・・ROM、204b・・・取得部、204c・・・演算部、100・・・電子カメラ DESCRIPTION OF SYMBOLS 1 ... Adjustment apparatus, 2 ... Light source, 3 ... Prism, 20 ... Filter, 9 ... Stage, 106, 202 ... ROM, 204b ... Acquisition part, 204c ... Arithmetic unit, 100 ... electronic camera

特開2001−197511号公報JP 2001-197511 A

Claims (8)

可視光線を発する光源部と、
前記可視光線をスペクトル分光する分光部と、
分光感度特性が調整対象となる撮像素子を有する撮像装置を保持する保持部と、
調整の基準となる前記分光感度特性のデータを記録するメモリと、
前記分光部でスペクトル分光された可視光線を前記撮像素子で光電変換することにより、R(赤)G(緑)B(青)の色成分の組み合わせからなる画像データを取得する取得部と、
前記取得部で取得した画像データに基づいて、予め定められた波長毎に算出されたRGB値に所定の係数を乗算した各RGB値と、調整の基準となる前記分光感度特性の前記波長毎に対応する各RGB値との差分を各々算出し、前記差分の総和の平均値を最小とする前記係数を求める演算部と、
を備えることを特徴とする調整装置。
A light source that emits visible light;
A spectroscopic unit for spectrally spectrally analyzing the visible light;
A holding unit that holds an imaging device having an imaging element whose spectral sensitivity characteristics are to be adjusted;
A memory for recording data of the spectral sensitivity characteristics as a reference for adjustment;
An acquisition unit that acquires image data including a combination of R (red), G (green), and B (blue) color components by photoelectrically converting visible light spectrally separated by the spectroscopic unit with the imaging device;
Each RGB value obtained by multiplying a predetermined coefficient by an RGB value calculated for each predetermined wavelength based on the image data acquired by the acquisition unit, and for each wavelength of the spectral sensitivity characteristic that serves as a reference for adjustment Calculating a difference with each corresponding RGB value, and calculating the coefficient that minimizes the average value of the sum of the differences;
An adjustment device comprising:
可視光線を発する光源部と、
前記可視光線の内、各々異なる通過波長帯域を有するフィルタと、
分光感度特性が調整対象となる撮像素子を有する撮像装置を保持する保持部と、
調整の基準となる前記分光感度特性のデータを記録するメモリと、
前記フィルタを通過した可視光線を前記撮像素子で光電変換することにより、R(赤)G(緑)B(青)の色成分の組み合わせからなる画像データを取得する取得部と、
前記取得部で取得した画像データに基づいて、予め定められた波長毎に算出されたRGB値に所定の係数を乗算した各RGB値と、調整の基準となる前記分光感度特性の前記波長毎に対応する各RGB値との差分を各々算出し、前記差分の総和の平均値を最小とする前記係数を求める演算部と、
を備えることを特徴とする調整装置。
A light source that emits visible light;
Among the visible light, filters each having a different pass wavelength band;
A holding unit that holds an imaging device having an imaging element whose spectral sensitivity characteristics are to be adjusted;
A memory for recording data of the spectral sensitivity characteristics as a reference for adjustment;
An acquisition unit that acquires image data including a combination of R (red), G (green), and B (blue) color components by photoelectrically converting visible light that has passed through the filter with the imaging device;
Each RGB value obtained by multiplying a predetermined coefficient by an RGB value calculated for each predetermined wavelength based on the image data acquired by the acquisition unit, and for each wavelength of the spectral sensitivity characteristic that serves as a reference for adjustment Calculating a difference with each corresponding RGB value, and calculating the coefficient that minimizes the average value of the sum of the differences;
An adjustment device comprising:
請求項1又は請求項2に記載の調整装置において、
前記係数は、N行N列の行列式であることを特徴とする調整装置。
The adjustment device according to claim 1 or 2,
The adjustment apparatus is characterized in that the coefficient is a determinant of N rows and N columns.
請求項1又は請求項2に記載の調整装置において、
前記係数は、非線形ガンマ関数から算出される補正値であることを特徴とする調整装置。
The adjustment device according to claim 1 or 2,
The adjustment device is characterized in that the coefficient is a correction value calculated from a nonlinear gamma function.
請求項1又は請求項2に記載の調整装置において、
前記演算部は、前記N行N列の行列式と、非線形ガンマ関数から算出される補正値とを組み合わせることにより、各々の前記差分の平均値を最小にすることを特徴とする調整装置。
The adjustment device according to claim 1 or 2,
The said calculating part combines the determinant of the said N row N column and the correction value calculated from a nonlinear gamma function, The adjustment apparatus characterized by the above-mentioned.
分光感度特性が調整対象となる撮像素子を有する撮像装置にスペクトル分光された可視光線を照射し、前記撮像素子で光電変換する撮像ステップと、
前記光電変換により生成したR(赤)G(緑)B(青)の色成分の組み合わせからなる画像データを取得する取得ステップと、
前記取得ステップで取得した画像データに基づいて、予め定められた波長毎に算出されたRGB値に所定の係数を乗算した各RGB値と、調整の基準となる前記分光感度特性の前記波長毎に対応する各RGB値との差分を各々算出し、前記差分の総和の平均値を最小とする前記係数を求める演算ステップと、
を備えることを特徴とする調整方法。
An imaging step of irradiating an imaging device having an imaging device whose spectral sensitivity characteristic is to be adjusted with spectrally visible light, and performing photoelectric conversion with the imaging device;
An acquisition step of acquiring image data composed of a combination of R (red), G (green), and B (blue) color components generated by the photoelectric conversion;
Based on the image data acquired in the acquisition step, each RGB value obtained by multiplying the RGB value calculated for each predetermined wavelength by a predetermined coefficient, and for each wavelength of the spectral sensitivity characteristic that is a reference for adjustment A calculation step of calculating a difference between each corresponding RGB value and obtaining the coefficient that minimizes an average value of the sum of the differences;
The adjustment method characterized by comprising.
分光感度特性が調整対象となる撮像素子を有する撮像装置に、各々異なる通過波長帯域を有するフィルタにより選択的に通過した可視光線を照射し、前記撮像素子で光電変換する撮像ステップと、
前記光電変換により生成したR(赤)G(緑)B(青)の色成分の組み合わせからなる画像データを取得する取得ステップと、
前記取得ステップで取得した画像データに基づいて、予め定められた波長毎に算出されたRGB値に所定の係数を乗算した各RGB値と、調整の基準となる前記分光感度特性の前記波長毎に対応する各RGB値との差分を各々算出し、前記差分の総和の平均値を最小とする前記係数を求める演算ステップと、
を備えることを特徴とする調整方法。
An imaging step of irradiating an imaging apparatus having an imaging element whose spectral sensitivity characteristics are to be adjusted selectively with visible light that has been selectively passed by filters having different pass wavelength bands, and performing photoelectric conversion with the imaging element;
An acquisition step of acquiring image data composed of a combination of R (red), G (green), and B (blue) color components generated by the photoelectric conversion;
Based on the image data acquired in the acquisition step, each RGB value obtained by multiplying the RGB value calculated for each predetermined wavelength by a predetermined coefficient, and for each wavelength of the spectral sensitivity characteristic that is a reference for adjustment A calculation step of calculating a difference between each corresponding RGB value and obtaining the coefficient that minimizes an average value of the sum of the differences;
The adjustment method characterized by comprising.
光電変換により画像データを生成する撮像素子と、
請求項1から請求項5のいずれか1項に記載の調整装置により算出された前記係数を記録する係数記録部と、
を備えることを特徴とする撮像装置。
An image sensor that generates image data by photoelectric conversion;
A coefficient recording unit that records the coefficient calculated by the adjustment device according to any one of claims 1 to 5,
An imaging apparatus comprising:
JP2009038080A 2009-02-20 2009-02-20 ADJUSTING DEVICE, ADJUSTING METHOD, AND IMAGING DEVICE Expired - Fee Related JP5375168B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009038080A JP5375168B2 (en) 2009-02-20 2009-02-20 ADJUSTING DEVICE, ADJUSTING METHOD, AND IMAGING DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009038080A JP5375168B2 (en) 2009-02-20 2009-02-20 ADJUSTING DEVICE, ADJUSTING METHOD, AND IMAGING DEVICE

Publications (2)

Publication Number Publication Date
JP2010193378A true JP2010193378A (en) 2010-09-02
JP5375168B2 JP5375168B2 (en) 2013-12-25

Family

ID=42818905

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009038080A Expired - Fee Related JP5375168B2 (en) 2009-02-20 2009-02-20 ADJUSTING DEVICE, ADJUSTING METHOD, AND IMAGING DEVICE

Country Status (1)

Country Link
JP (1) JP5375168B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015070348A (en) * 2013-09-27 2015-04-13 池上通信機株式会社 Color unevenness correction method, and imaging apparatus having color unevenness correction unit
WO2016143139A1 (en) * 2015-03-12 2016-09-15 オリンパス株式会社 Image processing device, image processing method, and program
WO2016143134A1 (en) * 2015-03-12 2016-09-15 オリンパス株式会社 Image processing device, image processing method, and program
WO2017068702A1 (en) * 2015-10-22 2017-04-27 オリンパス株式会社 Image processing device, image processing method, and program
WO2017119134A1 (en) 2016-01-08 2017-07-13 オリンパス株式会社 Image processing apparatus, image processing method, and program
JP2019518374A (en) * 2016-05-30 2019-06-27 シリオス テクノロジーズ How to limit image sensor crosstalk

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000102042A (en) * 1998-09-28 2000-04-07 Mitsubishi Electric Corp Spectral sensitivity characteristic measurement method for image pickup device and image pickup data constitution method
JP2005295419A (en) * 2004-04-05 2005-10-20 Mitsubishi Electric Corp Image pickup device, camera, and signal processing method
JP3844083B2 (en) * 1996-12-24 2006-11-08 三菱電機株式会社 Color characteristic measuring apparatus, color characteristic measuring method, and imaging data recording medium
JP2008301258A (en) * 2007-05-31 2008-12-11 Olympus Corp Signal processor and signal processing program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3844083B2 (en) * 1996-12-24 2006-11-08 三菱電機株式会社 Color characteristic measuring apparatus, color characteristic measuring method, and imaging data recording medium
JP2000102042A (en) * 1998-09-28 2000-04-07 Mitsubishi Electric Corp Spectral sensitivity characteristic measurement method for image pickup device and image pickup data constitution method
JP2005295419A (en) * 2004-04-05 2005-10-20 Mitsubishi Electric Corp Image pickup device, camera, and signal processing method
JP2008301258A (en) * 2007-05-31 2008-12-11 Olympus Corp Signal processor and signal processing program

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015070348A (en) * 2013-09-27 2015-04-13 池上通信機株式会社 Color unevenness correction method, and imaging apparatus having color unevenness correction unit
CN107409200B (en) * 2015-03-12 2019-02-12 奥林巴斯株式会社 Image processing apparatus, image processing method and computer-readable recording medium
CN107409201A (en) * 2015-03-12 2017-11-28 奥林巴斯株式会社 Image processing apparatus, image processing method and program
US10419685B2 (en) 2015-03-12 2019-09-17 Olympus Corporation Image processing apparatus, image processing method, and computer-readable recording medium
US10416026B2 (en) 2015-03-12 2019-09-17 Olympus Corporation Image processing apparatus for correcting pixel value based on difference between spectral sensitivity characteristic of pixel of interest and reference spectral sensitivity, image processing method, and computer-readable recording medium
WO2016143139A1 (en) * 2015-03-12 2016-09-15 オリンパス株式会社 Image processing device, image processing method, and program
CN107409200A (en) * 2015-03-12 2017-11-28 奥林巴斯株式会社 Image processing apparatus, image processing method and program
JPWO2016143139A1 (en) * 2015-03-12 2017-12-21 オリンパス株式会社 Image processing apparatus, image processing method, and program
CN107409201B (en) * 2015-03-12 2019-02-05 奥林巴斯株式会社 Image processing apparatus, image processing method and computer-readable recording medium
JPWO2016143134A1 (en) * 2015-03-12 2017-12-28 オリンパス株式会社 Image processing apparatus, image processing method, and program
WO2016143134A1 (en) * 2015-03-12 2016-09-15 オリンパス株式会社 Image processing device, image processing method, and program
WO2017068702A1 (en) * 2015-10-22 2017-04-27 オリンパス株式会社 Image processing device, image processing method, and program
JPWO2017068702A1 (en) * 2015-10-22 2018-08-09 オリンパス株式会社 Image processing apparatus, image processing method, and program
EP3367679A4 (en) * 2015-10-22 2019-06-05 Olympus Corporation Image processing device, image processing method, and program
CN108141573A (en) * 2015-10-22 2018-06-08 奥林巴斯株式会社 Image processing apparatus, image processing method and program
US10531029B2 (en) 2015-10-22 2020-01-07 Olympus Corporation Image processing apparatus, image processing method, and computer readable recording medium for correcting pixel value of pixel-of-interest based on correction amount calculated
WO2017119134A1 (en) 2016-01-08 2017-07-13 オリンパス株式会社 Image processing apparatus, image processing method, and program
JP2019518374A (en) * 2016-05-30 2019-06-27 シリオス テクノロジーズ How to limit image sensor crosstalk

Also Published As

Publication number Publication date
JP5375168B2 (en) 2013-12-25

Similar Documents

Publication Publication Date Title
US11193830B2 (en) Spectrocolorimeter imaging system
JP6096243B2 (en) Image data processing method and system
JP5432075B2 (en) Imaging apparatus and color temperature calculation method
CN110017904B (en) Multispectral radiation temperature measurement method based on CCD camera
JP5375168B2 (en) ADJUSTING DEVICE, ADJUSTING METHOD, AND IMAGING DEVICE
WO2017098897A1 (en) Imaging device, imaging control method, and program
JP5397788B2 (en) Image input device
JP2013093914A (en) Image input device
AU2008348644B8 (en) Method and apparatus for multi-spectral imaging
US20130300876A1 (en) Method and apparatus for multi-spectral imaging
JP2011124948A (en) Information processor, method of processing information, program and image pickup device with optical microscope mounted thereon
JP5943393B2 (en) Imaging device
WO2018235225A1 (en) Image capturing device, image capturing method, and program
JP6534824B2 (en) Imaging device and control method of imaging device
JP2010288093A (en) Image processing apparatus, solid-state imaging apparatus, and electronic information apparatus
JP2007158628A (en) Imaging apparatus and image processing method
CN115239550A (en) Image processing method, image processing apparatus, storage medium, and electronic device
EP3131291A1 (en) System and method for acquiring color image from monochrome scan camera
US20200312017A1 (en) Image processing
WO2015097776A1 (en) Image pickup element and image pickup apparatus
US20230179875A1 (en) Apparatus, optical apparatus, image pickup method, and non-transitory computer-readable storage medium
JP2014042138A (en) Image processing device, computer program, and digital camera
US20230179873A1 (en) Apparatus, optical apparatus, image pickup method, and non-transitory computer-readable storage medium
US20150070529A1 (en) Imaging apparatus and image correction data generating method
JP7330867B2 (en) IMAGING DEVICE, INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING SYSTEM, DATA GENERATION METHOD, AND PROGRAM

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121016

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130827

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130909

R150 Certificate of patent or registration of utility model

Ref document number: 5375168

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees