JP2006345388A - Imaging apparatus - Google Patents

Imaging apparatus Download PDF

Info

Publication number
JP2006345388A
JP2006345388A JP2005170934A JP2005170934A JP2006345388A JP 2006345388 A JP2006345388 A JP 2006345388A JP 2005170934 A JP2005170934 A JP 2005170934A JP 2005170934 A JP2005170934 A JP 2005170934A JP 2006345388 A JP2006345388 A JP 2006345388A
Authority
JP
Japan
Prior art keywords
shading correction
image
correction data
data
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005170934A
Other languages
Japanese (ja)
Inventor
Kenji Shiraishi
賢二 白石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2005170934A priority Critical patent/JP2006345388A/en
Publication of JP2006345388A publication Critical patent/JP2006345388A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To perform shading correction at high speed and low cost without separately providing exclusive hardware for the shading correction. <P>SOLUTION: This imaging apparatus is equipped with a front-end signal processor 31 including an A/D converter 6 which performs analog-digital conversion to an imaging signal outputted from a CCD solid-state imaging device 3, a YUV conversion part 12 which converts a digitally converted imaging signal into a color image signal separated into pieces of information about luminance and colors and a RAM 17 which stores the color image signal. The imaging apparatus is further equipped with the RAM 17, a ROM 16 which store shading correction data in a form equivalent to that of the color image signal, a pixel operation part 14 and a CPU 15 which perform the shading correction by multiplication by every pixel between the shading correction data stored in the RAM 17 and the ROM 16 in the form equivalent to that of the color image signal and each piece of data about the color image signal. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、ディジタルスティルカメラ等の画像入力機器を含む電子的な撮像装置に係り、特に光学レンズ特性であるシェーディングを専用の特別な装置を用いることなく、高速に補正する撮像装置に関するものである。   The present invention relates to an electronic imaging apparatus including an image input device such as a digital still camera, and more particularly to an imaging apparatus that corrects shading, which is an optical lens characteristic, at high speed without using a dedicated special apparatus. .

ディジタルカメラのようなカメラの小型化などに伴って、画像の周辺部分の光量が落ちてしまう、いわゆるシェーディングの問題に一層留意する必要が生じている。このようなシェーディングを光学的に補正するためには、一般に、レンズ枚数を増加させたり、光学系全体のサイズを拡大することなどが必要になり、著しいコストの上昇を招くことになってしまう。
そのため、比較的コストをかけずにシェーディングを補正するためには、シェーディングを電気的に補正する必要がある。従来の多くのシステムでは、専用の処理部を用いて信号処理を行うか、CPU(中央処理ユニット)が画像データを読み出して加工するソフトウェア処理を行うかしていた。前者、すなわち専用の処理部によって信号を処理する手法は、シェーディング補正の信号処理のための専用の処理部にコストがかかり、結局コストの上昇を招いてしまうという問題がある。一方、後者、すなわちCPUによるソフトウェア処理は、シェーディング補正のための画像処理に長時間を要し、処理時間が長くかかってしまうという問題がある。
With the downsizing of a camera such as a digital camera, it is necessary to pay more attention to the so-called shading problem in which the amount of light in the peripheral portion of an image is reduced. In order to optically correct such shading, in general, it is necessary to increase the number of lenses or to enlarge the size of the entire optical system, which leads to a significant increase in cost.
Therefore, in order to correct shading without relatively cost, it is necessary to electrically correct shading. In many conventional systems, signal processing is performed using a dedicated processing unit, or software processing in which a CPU (central processing unit) reads and processes image data is performed. The former, that is, the method of processing a signal by a dedicated processing unit has a problem that the dedicated processing unit for shading correction signal processing is costly and eventually increases the cost. On the other hand, the latter, that is, the software processing by the CPU has a problem that it takes a long time for image processing for shading correction, and it takes a long processing time.

このように、シェーディングを電気的に補正する従来のいくつかの例について具体的に説明する。例えば、特許文献1(特開昭62−130074号)には、予め基準被写体を撮像し、ディジタル値に変換して記憶し、これに基づいてシェーディング補正のための補正係数を求めて記憶しておき、任意の画像の撮像時に、前記補正係数を撮像信号と同期して読み出し、乗算型ディジタル−アナログ変換手段により、前記補正係数を撮像信号に乗算し、シェーディング補正されたアナログ撮像信号を得て、ディジタル化および記憶に供することが示されている。この特許文献1の技術においては、撮影に直接必要のない専用のハードウェアからなる乗算型ディジタル−アナログ変換手段を別途に設ける必要がある。
また、特許文献2(特開2003−87653号)には、ストロボ撮影時の配光ムラを補正するための光量分布補正テーブルにシェーディング補正特性を付加して記憶しておき、ストロボ撮影時に光量分布補正テーブルによって撮像データを補正することが記載されている。この場合、光量分布補正テーブルによる撮像データの補正を行うシステムとしては、撮像アナログ信号を、アナログ−ディジタル変換する前に、光量分布補正テーブルに従って利得が制御されるAGC(自動利得制御)回路によって制御するシステムと、撮像アナログ信号をアナログ−ディジタル変換した後に、DSP(ディジタルシグナルプロセッサ)部分において、光量分布補正テーブルに従って画素毎の可変利得制御を行うシステムとが示されている。AGC回路によって、アナログ的に補正をする場合には、画像転送時に各画素に対応して利得を設定することができるようなAGC回路が必要となる。
In this way, some conventional examples for electrically correcting shading will be specifically described. For example, in Patent Document 1 (Japanese Patent Laid-Open No. 62-130074), a reference subject is captured in advance, converted into a digital value and stored, and a correction coefficient for shading correction is obtained and stored based on this. When an arbitrary image is captured, the correction coefficient is read out in synchronization with the imaging signal, and the imaging signal is multiplied by the correction coefficient by a multiplying digital-analog conversion unit to obtain a shading-corrected analog imaging signal. It has been shown to be digitized and stored. In the technique of this patent document 1, it is necessary to separately provide a multiplication type digital-analog conversion means comprising dedicated hardware that is not directly required for photographing.
In Patent Document 2 (Japanese Patent Laid-Open No. 2003-87653), a shading correction characteristic is added and stored in a light amount distribution correction table for correcting light distribution unevenness during strobe shooting, and the light amount distribution during strobe shooting. It describes that the imaging data is corrected by the correction table. In this case, as a system for correcting imaging data using a light quantity distribution correction table, an analog image signal is controlled by an AGC (automatic gain control) circuit whose gain is controlled according to the light quantity distribution correction table before analog-to-digital conversion. And a system that performs variable gain control for each pixel in accordance with a light quantity distribution correction table in a DSP (digital signal processor) portion after analog-to-digital conversion of an imaging analog signal. When analog correction is performed by the AGC circuit, an AGC circuit capable of setting a gain corresponding to each pixel at the time of image transfer is required.

また、DSP部分において、ディジタル的に補正をする場合も、画像処理時に各画素に対応した補正データを設定して可変利得制御を行うための専用構成が必要である。CPUが補正データを設定するのであれば、処理速度が非常に遅くなるおそれがある。
特許文献3(特開2001−197369号)には、シェーディング補正データを圧縮して記憶し、これを読み出して伸長して画像データから減算する補正演算に供することが示されている。この場合、補正演算をディジタル的に行う構成と、ディジタル−アナログ変換してからアナログ的に補正演算を行った後にアナログ−ディジタル変換する構成とが示されている。この特許文献3に示された構成では、シェーディング補正データを圧縮して記憶し、伸長して補正に供することが示されていると共に、補正演算を基本的にアナログ演算で行っており、シェーディング補正のために画像データから補正データを減算するために専用の補正演算回路を別途に設ける必要がある。
特許文献4(特開2000−41179号)には、レンズの絞り値、ズーム位置およびレンズの種類に対応するシェーディング補正データを記憶しておき、光学系から制御信号を得て、記憶されたシェーディング補正データを選択して、撮像信号に乗算することが開示されている。この場合、レンズの絞り値、ズーム位置およびレンズの種類に対応して予め記憶した複数種のシェーディング補正データを光学系からの制御信号に応じて選択的に使用することに特徴があり、個々のシェーディング補正データの記憶形態については、さほど言及されておらず、レンズの絞り値、ズーム位置およびレンズの種類以外の条件についても言及されていない。
Also, in the case where digital correction is performed in the DSP portion, a dedicated configuration for performing variable gain control by setting correction data corresponding to each pixel during image processing is necessary. If the CPU sets correction data, the processing speed may be very slow.
Patent Document 3 (Japanese Patent Laid-Open No. 2001-197369) discloses that shading correction data is compressed and stored, and is read out, decompressed, and subjected to a correction operation for subtraction from image data. In this case, a configuration in which correction calculation is performed digitally and a configuration in which analog-digital conversion is performed after analog-to-digital correction calculation after digital-to-analog conversion are shown. In the configuration shown in Patent Document 3, it is shown that shading correction data is compressed and stored, decompressed and used for correction, and correction calculation is basically performed by analog calculation. Therefore, it is necessary to separately provide a dedicated correction arithmetic circuit for subtracting the correction data from the image data.
Patent Document 4 (Japanese Patent Laid-Open No. 2000-41179) stores shading correction data corresponding to a lens aperture value, zoom position, and lens type, obtains a control signal from the optical system, and stores the stored shading. It is disclosed that correction data is selected and multiplied by an imaging signal. In this case, a feature is that a plurality of types of shading correction data stored in advance corresponding to the lens aperture value, zoom position, and lens type are selectively used in accordance with a control signal from the optical system. The storage form of the shading correction data is not so much mentioned, and conditions other than the lens aperture value, zoom position and lens type are not mentioned.

特許文献5(特開2002−218298号)には、画素に対応するシェーディング補正係数を記憶しておき、各画素毎に対応させて、撮像データの輝度データにシェーディング補正係数を乗算することが開示されている。この特許文献5には、さらに、記憶されたシェーディング補正係数を光学系の種々の条件に対応して補正して、撮像データにおける画素毎の輝度データとの補正演算に供することおよび特定波長領域を透過させない色フィルタが、撮像レンズと撮像素子との間に設けられている場合には、対応するシェーディング補正係数を、色フィルタによって影響を受ける画素と受けない画素とに分けて記憶して、色シェーディングの補正を可能とすることも示されている。この場合、撮影レンズの交換にかかわりなくシェーディング補正を行い、色シェーディングの補正も行うことに特徴があり、シェーディング補正係数は、水平方向と垂直方向について各2種類程度ずつ記憶されているに過ぎず、補間演算によって画素マトリクスに対応させている。   Patent Document 5 (Japanese Patent Application Laid-Open No. 2002-218298) discloses storing shading correction coefficients corresponding to pixels and multiplying the luminance data of the imaging data by the shading correction coefficient in correspondence with each pixel. Has been. In Patent Document 5, the stored shading correction coefficient is corrected in accordance with various conditions of the optical system, and used for correction calculation with luminance data for each pixel in the imaging data, and a specific wavelength region When a color filter that does not transmit is provided between the imaging lens and the imaging device, the corresponding shading correction coefficient is stored separately for the pixels that are affected by the color filter and the pixels that are not affected by the color filter. It has also been shown to allow shading correction. In this case, there is a feature in that shading correction is performed regardless of replacement of the photographing lens, and color shading correction is also performed, and only about two types of shading correction coefficients are stored in each of the horizontal direction and the vertical direction. The pixel matrix is made to correspond by interpolation calculation.

特開昭62−130074号公報Japanese Patent Laid-Open No. Sho 62-130074 特開2003−87653号公報JP 2003-87653 A 特開2001−197369号公報JP 2001-197369 A 特開2000−41179号公報JP 2000-41179 A 特開2002−218298号公報JP 2002-218298 A

通常のディジタルカメラ等の撮像装置においては、画像情報を処理するために、画像の圧縮/伸張機能と、画像の拡大/縮小機能と、画像をフレームデータ等と合成処理するための画素間演算機能とが搭載されている。これら各機能は、それぞれ高速処理が可能である。これら通常搭載されている機能を適切に流用すれば、シェーディング補正のための専用ハードウェアを要することなく、高速で且つ安価にシェーディング補正を行うことが可能となると考えられる。
本発明は、上述した事情に鑑みてなされたもので、シェーディング補正のための専用ハードウェアを別途に設けることなく、高速で且つ安価にシェーディング補正を行うことを可能とする撮像装置を提供することを目的としている。
本発明の請求項1の目的は、特に、シェーディング補正演算に供されるシェーディング補正データの形式を工夫して、画素間演算機能をシェーディング補正に流用し、特別なハードウェアを必要とせずに、高速で且つ安価なシェーディング補正を可能とする撮像装置を提供することにある。
本発明の請求項2の目的は、特に、輝度信号のみをシェーディング補正演算に供するようにして、シェーディング補正データの容量およびシェーディング補正の演算量を抑制し、記憶容量の削減および処理時間の短縮を可能とする撮像装置を提供することにある。
In an image pickup apparatus such as a normal digital camera, an image compression / expansion function, an image enlargement / reduction function, and an inter-pixel calculation function for synthesizing an image with frame data or the like to process image information And are installed. Each of these functions can be processed at high speed. By appropriately diverting these normally installed functions, it is considered that shading correction can be performed at high speed and at low cost without requiring dedicated hardware for shading correction.
The present invention has been made in view of the above-described circumstances, and provides an imaging apparatus capable of performing shading correction at high speed and at low cost without separately providing dedicated hardware for shading correction. It is an object.
The object of claim 1 of the present invention is to devise the format of the shading correction data used for the shading correction calculation, and to divert the inter-pixel calculation function to the shading correction, without requiring special hardware. An object of the present invention is to provide an imaging apparatus capable of high-speed and inexpensive shading correction.
The object of claim 2 of the present invention is to reduce the storage capacity and the processing time by suppressing the amount of shading correction data and the amount of shading correction by using only the luminance signal for shading correction calculation. An object of the present invention is to provide an imaging device that can be used.

本発明の請求項3の目的は、特に、輝度信号および色信号をシェーディング補正演算に供するようにして、いわゆる色シェーディングをも補正し、一層高画質を得ることを可能とする撮像装置を提供することにある。
本発明の請求項4の目的は、特に、シェーディング補正を行うか否かを、選択的に切換えて、シェーディングを補正するか、シェーディングは補正せずに、例えば中央部等について良好な画質を得るかを、撮影条件に基づいて、選択し得る撮像装置を提供することにある。
本発明の請求項5の目的は、特に、シェーディング補正を輝度について行うか輝度と色の両方について行うかを、選択的に切換えて、輝度のみについてのシェーディング補正を行うか、輝度と色との両方についてのシェーディング補正を行うかを、撮影条件に基づいて、選択し得る撮像装置を提供することにある。
本発明の請求項6の目的は、特に、高速連続撮影か否かに応じてシェーディング補正を選択的に切り換え、すなわち速度優先か画質優先かに応じてシェーディング補正動作を変更し得る撮像装置を提供することにある。
The object of claim 3 of the present invention is to provide an image pickup apparatus which can obtain a higher image quality by correcting so-called color shading by using the luminance signal and the color signal for shading correction calculation. There is.
An object of claim 4 of the present invention is to obtain a good image quality, for example, at the center portion, for example, by selectively switching whether or not to perform shading correction and correcting shading or without correcting shading. An object of the present invention is to provide an image pickup apparatus that can select these based on shooting conditions.
An object of claim 5 of the present invention is to selectively switch whether to perform shading correction for luminance or both luminance and color, to perform shading correction for luminance only, An object of the present invention is to provide an imaging apparatus capable of selecting whether to perform shading correction for both of them based on imaging conditions.
The object of claim 6 of the present invention is to provide an imaging apparatus capable of selectively switching shading correction according to whether or not high-speed continuous shooting is performed, that is, changing the shading correction operation depending on whether speed priority or image quality priority. There is to do.

本発明の請求項7の目的は、特に、シェーディング補正演算に供されるシェーディング補正データの形式を工夫して、画像縮小/拡大機能をシェーディング補正に流用し、特別なハードウェアを必要とせずに、シェーディング補正データの記憶容量を実質的に削減し、安価でしかも処理速度の向上をも期待し得る撮像装置を提供することにある。
本発明の請求項8の目的は、特に、シェーディング補正演算に供されるシェーディング補正データを小容量化して、記憶容量を削減し、安価でしかも処理速度の向上をも期待し得る撮像装置を提供することにある。
本発明の請求項9の目的は、特に、特性値を記憶し、近似的にシェーディング補正データを作成して演算に供するようにして、実質的な記憶容量を一層削減し、安価でしかも処理速度の向上をも期待し得る撮像装置を提供することにある。
本発明の請求項10の目的は、特に、画像圧縮機能を流用してシェーディング補正演算に供されるシェーディング補正データを圧縮し小容量化して記憶するようにし、記憶容量を削減して、安価に構成し得る撮像装置を提供することにある。
本発明の請求項11の目的は、特に、シェーディング補正演算に供されるシェーディング補正データの高周波成分を除去して、画素単位の感度差やノイズ成分の影響を除去し、シェーディング補正データの拡大/縮小利用に対する汎用性を高め得る撮像装置を提供することにある。
本発明の請求項12の目的は、特に、撮像レンズのズーム位置、フォーカス位置、像高および絞り量の少なくとも1つに応じたシェーディング補正データの加工を、シェーディング補正データが縮小/圧縮されて画素数が少ない状態で行い、シェーディング補正データの加工の、計算量を低減し高速化を可能とする撮像装置を提供することにある。
The object of claim 7 of the present invention is to devise the format of shading correction data used for shading correction calculation, and to divert the image reduction / enlargement function to shading correction, without requiring special hardware. An object of the present invention is to provide an imaging apparatus that can substantially reduce the storage capacity of shading correction data, is inexpensive, and can be expected to improve processing speed.
The object of claim 8 of the present invention is to provide an imaging apparatus that can reduce the storage capacity, reduce the storage capacity, and can be expected to improve the processing speed, in particular, by reducing the shading correction data used for the shading correction calculation. There is to do.
The object of claim 9 of the present invention is to store characteristic values, create shading correction data approximately for use in calculation, and further reduce the substantial storage capacity, at a low cost and with a processing speed. It is an object of the present invention to provide an imaging apparatus that can be expected to improve the image quality.
An object of claim 10 of the present invention is to reduce shading correction data for use in shading correction calculation by diverting the image compression function, to store it in a small capacity, to reduce the storage capacity, and to reduce the cost. An object of the present invention is to provide an imaging device that can be configured.
The object of claim 11 of the present invention is to remove the high frequency component of the shading correction data used for the shading correction calculation, to remove the influence of the sensitivity difference and the noise component for each pixel, and to increase / decrease the shading correction data. An object of the present invention is to provide an imaging apparatus capable of enhancing versatility for reduction use.
The object of the twelfth aspect of the present invention is to process the shading correction data according to at least one of the zoom position, focus position, image height, and aperture amount of the image pickup lens. An object of the present invention is to provide an image pickup apparatus that can be performed in a small number and reduce the amount of calculation and increase the speed of processing shading correction data.

請求項1に記載した本発明に係る撮像装置は、上述した目的を達成するために、
光電変換を行う光電変換素子を2次元的に配置してなる撮像素子と、
前記撮像素子を駆動するためのパルスを発生させる駆動パルス発生手段と、
前記撮像素子から出力される撮像信号のアナログ−ディジタル変換を行う信号変換手段と、
ディジタル変換された撮像信号を輝度と色の情報に分離したカラー画像信号に変換する画像処理手段と、
前記カラー画像信号を保存する画像保存手段と
を具備する撮像装置において、
前記カラー画像信号と同等の形式を有するシェーディング補正データを記憶する補正データ記憶手段と、
前記カラー画像信号と同等の形式を有して前記補正データ記憶手段に記憶されたシェーディング補正データと前記カラー画像信号の各データとの間で画素毎に乗算することによってシェーディング補正を行う画素演算手段と、
をさらに備えることを特徴としている。
In order to achieve the above-described object, an imaging apparatus according to the present invention described in claim 1
An image sensor formed by two-dimensionally arranging photoelectric conversion elements that perform photoelectric conversion;
Drive pulse generating means for generating a pulse for driving the image sensor;
Signal conversion means for performing analog-digital conversion of an image pickup signal output from the image pickup device;
Image processing means for converting the digitally converted imaging signal into a color image signal separated into luminance and color information;
In an imaging apparatus comprising image storage means for storing the color image signal,
Correction data storage means for storing shading correction data having a format equivalent to the color image signal;
Pixel arithmetic means for performing shading correction by multiplying each pixel of the color image signal between the shading correction data having the same format as the color image signal and stored in the correction data storage means When,
Is further provided.

請求項2に記載した本発明に係る撮像装置は、請求項1の撮像装置であって、
前記画素演算手段は、前記カラー画像信号の輝度信号のみに対してシェーディング補正演算を行う画素間演算手段であることを特徴としている。
請求項3に記載した本発明に係る撮像装置は、請求項1の撮像装置であって、
前記画素演算手段は、前記カラー画像信号の輝度信号および色信号の両情報に対してシェーディング補正演算を行う画素間演算手段であることを特徴としている。
請求項4に記載した本発明に係る撮像装置は、請求項1〜請求項3のいずれか1項の撮像装置であって、
シェーディング補正を行うか否かを、撮影条件に基づいて選択的に切り替える手段を含むことを特徴としている。
請求項5に記載した本発明に係る撮像装置は、上述した目的を達成するために、
前記撮像素子から出力された撮像信号を、輝度情報と色情報に分離したカラー画像信号に対してシェーディング補正を行う手段を具備する撮像装置において、
輝度情報のみを補正する補正処理と、輝度情報および色情報の両方を補正する補正処理とを選択的に切換えて補正処理を行う補正処理手段を備えることを特徴としている。
An imaging device according to the present invention described in claim 2 is the imaging device according to claim 1,
The pixel calculation means is an inter-pixel calculation means for performing a shading correction calculation only on the luminance signal of the color image signal.
An imaging apparatus according to a third aspect of the present invention is the imaging apparatus according to the first aspect,
The pixel calculation means is an inter-pixel calculation means for performing a shading correction calculation on both the luminance signal and color signal information of the color image signal.
An imaging apparatus according to a fourth aspect of the present invention is the imaging apparatus according to any one of the first to third aspects,
It is characterized by including means for selectively switching whether or not to perform shading correction based on photographing conditions.
In order to achieve the above-described object, an imaging device according to the present invention described in claim 5 is provided.
In an imaging apparatus comprising means for performing shading correction on a color image signal obtained by separating the imaging signal output from the imaging element into luminance information and color information,
It is characterized by comprising correction processing means for performing correction processing by selectively switching between correction processing for correcting only luminance information and correction processing for correcting both luminance information and color information.

請求項6に記載した本発明に係る撮像装置は、請求項4または請求項5の撮像装置であって、
高速で連続撮影が必要であるか否かに基づいて、前記補正処理の選択切り替えを行う手段を含むことを特徴としている。
請求項7に記載した本発明に係る撮像装置は、請求項1〜請求項3のいずれか1項の撮像装置であって、
画像データに拡大および縮小の少なくとも一方の処理を施して、保存するカラー画像のサイズを変更するための画像サイズ変更手段と、
前記画像サイズ変更手段に基づく補正対象のカラー画像の保存サイズに合せてシェーディング補正データを拡大または縮小処理をして、前記画素演算手段によるシェーディング補正演算に供するための手段と
をさらに有することを特徴としている。
An imaging device according to a sixth aspect of the present invention is the imaging device according to the fourth or fifth aspect,
It is characterized in that it includes means for selectively switching the correction processing based on whether or not continuous shooting is necessary at high speed.
An imaging device according to a seventh aspect of the present invention is the imaging device according to any one of the first to third aspects,
Image size changing means for changing the size of the color image to be saved by performing at least one of enlargement and reduction processing on the image data;
Means for enlarging or reducing the shading correction data according to the storage size of the color image to be corrected based on the image size changing means, and providing the shading correction calculation by the pixel calculation means. It is said.

請求項8に記載した本発明に係る撮像装置は、請求項7の撮像装置であって、
前記補正データ記憶手段は、シェーディング補正データを、前記撮像素子の画素数よりも少ない画素数分のデータとして記憶しており、且つ
前記撮像装置は、対象カラー画像の保存サイズに合せてシェーディング補正データを拡大処理した後に、当該画像のシェーディング補正演算に供するための手段を含むことを特徴としている。
請求項9に記載した本発明に係る撮像装置は、請求項7の撮像装置であって、
前記補正データ記憶手段は、シェーディング補正データを作成するための特性値を記憶しており、且つ
前記撮像装置は、前記特性値から補間近似して作成したシェーディング補正データを拡大または縮小してシェーディング補正演算に供するための手段を含むことを特徴としている。
請求項10に記載した本発明に係る撮像装置は、請求項7または請求項8の撮像装置であって、
前記補正データ記憶手段の記憶に供するシェーディング補正データを画像データとして圧縮する画像圧縮手段と、
前記補正データ記憶手段から読み出した圧縮された画像データとしてのシェーディング補正データを伸長してシェーディング補正に供する画像伸張手段と
をさらに具備することを特徴としている。
The imaging device according to the present invention described in claim 8 is the imaging device according to claim 7,
The correction data storage means stores shading correction data as data for a number of pixels smaller than the number of pixels of the image sensor, and the imaging device is adapted to store the shading correction data in accordance with the storage size of the target color image. The image processing apparatus includes a means for performing a shading correction calculation of the image after enlarging the image.
An imaging device according to the present invention described in claim 9 is the imaging device according to claim 7,
The correction data storage means stores characteristic values for creating shading correction data, and the imaging apparatus enlarges or reduces shading correction data created by interpolation approximation from the characteristic values to perform shading correction. It is characterized by including means for use in calculation.
An imaging device according to the present invention described in claim 10 is the imaging device according to claim 7 or claim 8, wherein
Image compression means for compressing shading correction data to be stored in the correction data storage means as image data;
The image processing apparatus further comprises image expansion means for expanding the shading correction data as compressed image data read from the correction data storage means and subjecting the data to shading correction.

請求項11に記載した本発明に係る撮像装置は、請求項7〜請求項10のいずれか1項の撮像装置であって、
シェーディング補正を行う前およびシェーディング補正データの拡大または縮小処理時の少なくとも一方に、シェーディング補正データに対してフィルタ処理を施し、シェーディング補正データの高周波数成分を除去する画像フィルタ手段をさらに有することを特徴としている。
請求項12に記載した本発明に係る撮像装置は、請求項7〜請求項11のいずれか1項の撮像装置であって、
シェーディング補正データの画素数が少ないときに、撮像レンズのズーム位置、フォーカス位置、像高および絞り量の少なくとも1つに応じて、シェーディング補正データを加工する手段をさらに含むことを特徴としている。
The imaging device according to the present invention described in claim 11 is the imaging device according to any one of claims 7 to 10,
The image processing device further includes an image filter unit that filters the shading correction data before removing the shading correction and at least one of the enlargement or reduction processing of the shading correction data and removes high frequency components of the shading correction data. It is said.
An imaging apparatus according to a twelfth aspect of the present invention is the imaging apparatus according to any one of the seventh to eleventh aspects,
The apparatus further includes means for processing the shading correction data according to at least one of a zoom position, a focus position, an image height, and an aperture amount of the imaging lens when the number of pixels of the shading correction data is small.

本発明によれば、シェーディング補正のための専用ハードウェアを別途に設けることなく、高速で且つ安価にシェーディング補正を行うことを可能とする撮像装置を提供することができる。
すなわち本発明の請求項1の撮像装置によれば、
光電変換を行う光電変換素子を2次元的に配置してなる撮像素子と、
前記撮像素子を駆動するためのパルスを発生させる駆動パルス発生手段と、
前記撮像素子から出力される撮像信号のアナログ−ディジタル変換を行う信号変換手段と、
ディジタル変換された撮像信号を輝度と色の情報に分離したカラー画像信号に変換する画像処理手段と、
前記カラー画像信号を保存する画像保存手段と
を具備する撮像装置において、
前記カラー画像信号と同等の形式を有するシェーディング補正データを記憶する補正データ記憶手段と、
カラー画像信号と同等の形式を有して前記補正データ記憶手段に記憶されたシェーディング補正データと前記カラー画像信号の各データとの間で画素毎に乗算することによってシェーディング補正を行う画素演算手段と、
をさらに備えることにより、特に、シェーディング補正演算に供されるシェーディング補正データの形式を工夫して、画素間演算機能をシェーディング補正に流用し、特別なハードウェアを必要とすることなく、高速で且つ安価なシェーディング補正が可能となる。
According to the present invention, it is possible to provide an imaging apparatus that can perform shading correction at high speed and at low cost without separately providing dedicated hardware for shading correction.
That is, according to the imaging device of claim 1 of the present invention,
An image sensor formed by two-dimensionally arranging photoelectric conversion elements that perform photoelectric conversion;
Drive pulse generating means for generating a pulse for driving the image sensor;
Signal conversion means for performing analog-digital conversion of an image pickup signal output from the image pickup device;
Image processing means for converting the digitally converted imaging signal into a color image signal separated into luminance and color information;
In an imaging apparatus comprising image storage means for storing the color image signal,
Correction data storage means for storing shading correction data having a format equivalent to the color image signal;
Pixel calculation means for performing shading correction by multiplying each data of the color image signal and the shading correction data stored in the correction data storage means and having a format equivalent to a color image signal, for each pixel; ,
In particular, the format of the shading correction data used for the shading correction calculation is devised, the inter-pixel calculation function is diverted to the shading correction, and no special hardware is required. Inexpensive shading correction becomes possible.

また、本発明の請求項2の撮像装置によれば、請求項1の撮像装置において、
前記画素演算手段は、カラー画像信号の輝度信号のみに対してシェーディング補正演算を行う画素間演算手段であることにより、特に、輝度信号のみをシェーディング補正演算に供するようにして、シェーディング補正データの容量およびシェーディング補正の演算量を抑制し、記憶容量の削減および処理時間を短縮することが可能となる。
本発明の請求項3の撮像装置によれば、請求項1の撮像装置において、
前記画素演算手段は、カラー画像信号の輝度信号および色信号の両情報に対してシェーディング補正演算を行う画素間演算手段であることにより、特に、輝度信号および色信号をシェーディング補正演算に供するようにして、いわゆる色シェーディングをも補正し、一層高画質を得ることが可能となる。
本発明の請求項4の撮像装置によれば、請求項1〜請求項3のいずれか1項の撮像装置において、
シェーディング補正を行うか否かを、撮影条件に基づいて選択的に切り替える手段を含むことにより、特に、シェーディング補正を行うか否かを、選択的に切換えて、シェーディングを補正するか、シェーディングは補正せずに、例えば中央部等について良好な画質を得るかを、撮影条件に基づいて、選択することが可能となる。
According to the imaging device of claim 2 of the present invention, in the imaging device of claim 1,
The pixel calculation means is an inter-pixel calculation means for performing shading correction calculation only on the luminance signal of the color image signal, and in particular, only the luminance signal is subjected to the shading correction calculation, so that the capacity of the shading correction data is increased. In addition, it is possible to suppress the calculation amount of shading correction, reduce the storage capacity, and shorten the processing time.
According to the imaging device of claim 3 of the present invention, in the imaging device of claim 1,
The pixel calculation means is an inter-pixel calculation means for performing a shading correction calculation on both the luminance signal and the color signal information of the color image signal, and in particular, the luminance signal and the color signal are used for the shading correction calculation. Thus, so-called color shading can also be corrected to obtain higher image quality.
According to the imaging device of claim 4 of the present invention, in the imaging device of any one of claims 1 to 3,
By including means for selectively switching whether or not to perform shading correction based on shooting conditions, in particular, whether or not to perform shading correction is selectively switched to correct shading or shading correction. For example, it is possible to select whether to obtain a good image quality for the central portion or the like based on the shooting conditions.

本発明の請求項5の撮像装置によれば、
前記撮像素子から出力された撮像信号を、輝度情報と色情報に分離したカラー画像信号に対してシェーディング補正を行う手段を具備する撮像装置において、
輝度情報のみを補正する補正処理と、輝度情報および色情報の両方を補正する補正処理とを選択的に切換えて補正処理を行う補正処理手段を備えることにより、特に、シェーディング補正を輝度について行うか輝度と色の両方について行うかを、選択的に切換えて、輝度のみについてのシェーディング補正を行うか、輝度と色との両方についてのシェーディング補正を行うかを、撮影条件に基づいて、選択することが可能となる。
本発明の請求項6の撮像装置によれば、請求項4または請求項5の撮像装置において、
高速で連続撮影が必要であるか否かに基づいて、前記補正処理の選択切り替えを行う手段を含むことにより、特に、高速連続撮影か否かに応じてシェーディング補正を選択的に切り換え、すなわち速度優先か画質優先かに応じてシェーディング補正動作を変更することが可能となる。
According to the imaging device of claim 5 of the present invention,
In an imaging apparatus comprising means for performing shading correction on a color image signal obtained by separating the imaging signal output from the imaging element into luminance information and color information,
In particular, whether or not shading correction is performed for luminance by providing correction processing means for selectively performing correction processing that corrects only luminance information and correction processing that corrects both luminance information and color information. Select whether to perform shading correction for only luminance or shading correction for both luminance and color based on shooting conditions by selectively switching between luminance and color. Is possible.
According to the imaging device of claim 6 of the present invention, in the imaging device of claim 4 or claim 5,
By including means for switching the correction processing based on whether high-speed continuous shooting is required, in particular, shading correction is selectively switched depending on whether high-speed continuous shooting is performed, that is, speed The shading correction operation can be changed according to whether priority is given to image quality.

本発明の請求項7の撮像装置によれば、請求項1〜請求項3のいずれか1項の撮像装置において、
画像データに拡大および縮小の少なくとも一方の処理を施して、保存するカラー画像のサイズを変更するための画像サイズ変更手段と、
画像サイズ変更手段に基づく補正対象のカラー画像の保存サイズに合せてシェーディング補正データを拡大または縮小処理をして、前記画素演算手段によるシェーディング補正演算に供するための手段と
をさらに有することにより、特に、シェーディング補正演算に供されるシェーディング補正データの形式を工夫して、画像縮小/拡大機能をシェーディング補正に流用し、特別なハードウェアを必要とせずに、シェーディング補正データの記憶容量を実質的に削減し、安価でしかも処理速度の向上をも期待することが可能となる。
本発明の請求項8の撮像装置によれば、請求項7の撮像装置において、
前記補正データ記憶手段は、シェーディング補正データを、前記撮像素子の画素数よりも少ない画素数分のデータとして記憶しており、且つ
前記撮像装置は、対象カラー画像の保存サイズに合せてシェーディング補正データを拡大処理した後に、当該画像のシェーディング補正演算に供するための手段を含むことにより、特に、シェーディング補正演算に供されるシェーディング補正データを小容量化して、記憶容量を削減し、安価でしかも処理速度の向上をも期待することが可能となる。
According to the imaging device of claim 7 of the present invention, in the imaging device of any one of claims 1 to 3,
Image size changing means for changing the size of the color image to be saved by performing at least one of enlargement and reduction processing on the image data;
By further including means for enlarging or reducing the shading correction data according to the storage size of the color image to be corrected based on the image size changing means, and for performing shading correction calculation by the pixel calculation means, By devising the format of shading correction data used for shading correction calculation, the image reduction / enlargement function can be used for shading correction, and the storage capacity of shading correction data can be substantially reduced without the need for special hardware. It is possible to reduce the cost and increase the processing speed.
According to the imaging device of claim 8 of the present invention, in the imaging device of claim 7,
The correction data storage means stores shading correction data as data for a number of pixels smaller than the number of pixels of the image sensor, and the imaging device is adapted to store the shading correction data in accordance with the storage size of the target color image. By including means for performing shading correction calculation of the image after the enlargement processing, in particular, the shading correction data to be used for the shading correction calculation is reduced in capacity, the storage capacity is reduced, and the processing is inexpensive. An increase in speed can also be expected.

本発明の請求項9の撮像装置によれば、請求項7の撮像装置において、
前記補正データ記憶手段は、シェーディング補正データを作成するための特性値を記憶しており、且つ
前記撮像装置は、前記特性値から補間近似して作成したシェーディング補正データを拡大または縮小してシェーディング補正演算に供するための手段を含むことにより、特に、特性値を記憶し、近似的にシェーディング補正データを作成して演算に供するようにして、実質的な記憶容量を一層削減し、安価でしかも処理速度の向上をも期待することが可能となる。
本発明の請求項10の撮像装置によれば、請求項7または請求項8の撮像装置において、
前記補正データ記憶手段の記憶に供するシェーディング補正データを画像データとして圧縮する画像圧縮手段と、
前記補正データ記憶手段から読み出した圧縮された画像データとしてのシェーディング補正データを伸長してシェーディング補正に供する画像伸張手段と
をさらに具備することにより、特に、画像圧縮機能を流用してシェーディング補正演算に供されるシェーディング補正データを圧縮し小容量化して記憶するようにし、記憶容量を削減して、安価に構成することが可能となる。
According to the imaging device of claim 9 of the present invention, in the imaging device of claim 7,
The correction data storage means stores characteristic values for creating shading correction data, and the imaging apparatus enlarges or reduces shading correction data created by interpolation approximation from the characteristic values to perform shading correction. By including means for performing computation, in particular, characteristic values are stored, and shading correction data is generated approximately for use in computation, so that the substantial storage capacity is further reduced, and the processing is inexpensive. An increase in speed can also be expected.
According to the imaging device of claim 10 of the present invention, in the imaging device of claim 7 or claim 8,
Image compression means for compressing shading correction data to be stored in the correction data storage means as image data;
Further comprising an image decompression means for decompressing the shading correction data as compressed image data read from the correction data storage means for use in shading correction, and in particular, using the image compression function for the shading correction calculation. It is possible to compress the shading correction data to be supplied, reduce the capacity and store it, reduce the storage capacity, and configure the apparatus at low cost.

本発明の請求項11の撮像装置によれば、
請求項11に記載した本発明に係る撮像装置は、請求項7〜請求項10のいずれか1項の撮像装置において、
シェーディング補正を行う前およびシェーディング補正データの拡大または縮小処理時の少なくとも一方に、シェーディング補正データに対してフィルタ処理を施し、シェーディング補正データの高周波数成分を除去する画像フィルタ手段をさらに有することにより、特に、シェーディング補正演算に供されるシェーディング補正データの高周波成分を除去して、画素単位の感度差やノイズ成分の影響を除去し、シェーディング補正データの拡大/縮小利用に対する汎用性を高めることが可能となる。
本発明の請求項12の撮像装置によれば、請求項7〜請求項11のいずれか1項の撮像装置において、
シェーディング補正データの画素数が少ないときに、撮像レンズのズーム位置、フォーカス位置、像高および絞り量の少なくとも1つに応じて、シェーディング補正データを加工する手段をさらに含むことにより、特に、撮像レンズのズーム位置、フォーカス位置、像高および絞り量の少なくとも1つに応じたシェーディング補正データの加工を、シェーディング補正データが縮小/圧縮されて画素数が少ない状態で行い、シェーディング補正データの加工の、計算量を低減し高速化することが可能となる。
According to the imaging device of claim 11 of the present invention,
The imaging device according to the present invention described in claim 11 is the imaging device according to any one of claims 7 to 10,
By further including image filter means for performing a filtering process on the shading correction data and removing a high frequency component of the shading correction data before performing the shading correction and at least one of the enlargement or reduction process of the shading correction data. In particular, high-frequency components in shading correction data used for shading correction calculations can be removed to eliminate the effects of pixel-by-pixel sensitivity differences and noise components, thereby increasing the versatility of using shading correction data for enlargement / reduction. It becomes.
According to the imaging device of claim 12 of the present invention, in the imaging device of any one of claims 7 to 11,
In particular, the imaging lens further includes means for processing the shading correction data according to at least one of the zoom position, the focus position, the image height, and the aperture amount of the imaging lens when the number of pixels of the shading correction data is small. The processing of shading correction data according to at least one of the zoom position, focus position, image height, and aperture amount is performed in a state where the shading correction data is reduced / compressed and the number of pixels is small. It is possible to reduce the calculation amount and increase the speed.

以下、本発明に係る実施の形態に基づき、図面を参照して本発明の撮像装置を詳細に説明する。
図1は、本発明の一つの実施の形態に係るディジタルカメラのシステム構成を示している。
図1に示すディジタルカメラは、
撮影レンズ系1、メカニカルシャッタ2、CCD(電荷結合素子)固体撮像素子3、CDS(相関2重サンプリング)回路4、AGC(自動利得制御)回路5、A/D(アナログ−ディジタル)変換器6、タイミング発生器(TG)7、CCDインタフェース(CCD−I/F)8、メモリコントローラ9、ディスプレイインタフェース(ディスプレイI/F)10、JPEG処理部11、YUV変換部12、リサイズ処理部13、画素間演算部14、CPU(中央制御部)15、ROM(リードオンリメモリ)16、RAM(ランダムアクセスメモリ)(SDRAM)17、ディスプレイ18、モータドライバ19、操作部20、ストロボモジュール21およびメモリカード22を具備している。CDS回路4、AGC回路5、A/D変換器6およびタイミング発生器7は、フロントエンド(F/E)の信号処理部31を構成し、ディジタル信号処理IC(集積回路)32には、CCDインタフェース8、メモリコントローラ9、ディスプレイインタフェース10、JPEG処理部11、YUV変換部12、リサイズ処理部13および画素間演算部14が搭載される。
Hereinafter, based on the embodiment concerning the present invention, the imaging device of the present invention is explained in detail with reference to drawings.
FIG. 1 shows a system configuration of a digital camera according to an embodiment of the present invention.
The digital camera shown in FIG.
Shooting lens system 1, mechanical shutter 2, CCD (charge coupled device) solid-state imaging device 3, CDS (correlated double sampling) circuit 4, AGC (automatic gain control) circuit 5, A / D (analog-digital) converter 6 , Timing generator (TG) 7, CCD interface (CCD-I / F) 8, memory controller 9, display interface (display I / F) 10, JPEG processing unit 11, YUV conversion unit 12, resize processing unit 13, pixel Calculation unit 14, CPU (central control unit) 15, ROM (read only memory) 16, RAM (random access memory) (SDRAM) 17, display 18, motor driver 19, operation unit 20, strobe module 21 and memory card 22 It has. The CDS circuit 4, AGC circuit 5, A / D converter 6 and timing generator 7 constitute a front-end (F / E) signal processing unit 31, and a digital signal processing IC (integrated circuit) 32 includes a CCD. An interface 8, a memory controller 9, a display interface 10, a JPEG processing unit 11, a YUV conversion unit 12, a resizing processing unit 13, and an inter-pixel calculation unit 14 are mounted.

撮影レンズ系1は、被写体光学像をCCD固体撮像素子3の受光面上に結像させるための光学系である。メカニカルシャッタ2は、撮影レンズ系1とCCD固体撮像素子3との間の光路上に介挿されて、光路を開閉し、CCD固体撮像素子3の露光を制限する。CCD固体撮像素子3は、露光状態で受光面に入射される光学像を電気信号に変換して一時保持し、画像データを転送出力する。
CDS回路4、AGC回路5、A/D変換器6およびタイミング発生器7は、CCD固体撮像素子3からの出力信号をフロントエンドにおいて処理する信号処理部31を構成する。CDS回路4は、CCD固体撮像素子3の出力画像信号を相関2重サンプリングする。AGC回路5は、CDS回路4の相関2重サンプリング出力を、自動利得制御して所用の信号レベルに調整する。A/D変換器6は、AGC回路5のアナログ出力をディジタルデータに変換する。タイミング発生器7は、ディジタル信号処理IC32のCCDインタフェース8から与えられる同期駆動信号であるVD信号(垂直同期駆動信号)およびHD信号(水平同期駆動信号)に応動し、且つCPU15と連携して、CCD固体撮像素子3、CDS回路4、AGC回路5およびA/D変換器6にタイミング信号を与え、これらを適正に同期させる。
The photographing lens system 1 is an optical system for forming an object optical image on the light receiving surface of the CCD solid-state imaging device 3. The mechanical shutter 2 is inserted on the optical path between the photographic lens system 1 and the CCD solid-state imaging device 3 to open and close the optical path and limit the exposure of the CCD solid-state imaging device 3. The CCD solid-state imaging device 3 converts an optical image incident on the light receiving surface in an exposed state into an electrical signal, temporarily holds it, and transfers and outputs image data.
The CDS circuit 4, the AGC circuit 5, the A / D converter 6, and the timing generator 7 constitute a signal processing unit 31 that processes an output signal from the CCD solid-state imaging device 3 at the front end. The CDS circuit 4 performs correlated double sampling on the output image signal of the CCD solid-state imaging device 3. The AGC circuit 5 adjusts the correlated double sampling output of the CDS circuit 4 to a desired signal level by performing automatic gain control. The A / D converter 6 converts the analog output of the AGC circuit 5 into digital data. The timing generator 7 responds to a VD signal (vertical synchronization drive signal) and an HD signal (horizontal synchronization drive signal), which are synchronization drive signals given from the CCD interface 8 of the digital signal processing IC 32, and in cooperation with the CPU 15, Timing signals are given to the CCD solid-state imaging device 3, the CDS circuit 4, the AGC circuit 5, and the A / D converter 6 to synchronize them appropriately.

ディジタル信号処理IC32は、CPU15の制御に基づき、信号処理部31のA/D変換器6を介して与えられるディジタル画像データをRAM17へ格納するとともに、圧縮およびYUV変換等の所要の信号処理を行い、当該信号処理IC32内で処理されたデータのRAM17への格納、A/D変換器6から与えられまたはRAM17から取り出された画像データ等のディスプレイ18への表示、A/D変換器6から与えられまたはRAM17から取り出されたディジタル画像データの圧縮処理、ならびにYUV変換およびリサイズ処理等の処理を行う。
CCDインタフェース8は、信号処理部31のA/D変換器6から与えられるディジタル画像データを受けて、メモリコントローラ9を介してRAM17に格納する。メモリコントローラ9は、CPU15の制御に基づき、CCDインタフェース8を介して与えられる原RGB(RAW−RGB)データ、YUV変換部12でYUV変換されたYUVデータおよびJPEG処理部11でJPEG(Joint Photographic Experts Group)方式にて圧縮されたJPEGデータ等のRAM17への書き込みならびにこれらのデータおよびプログラムデータ等のRAM17からの読み出しを制御する。
The digital signal processing IC 32 stores the digital image data given via the A / D converter 6 of the signal processing unit 31 in the RAM 17 and performs necessary signal processing such as compression and YUV conversion based on the control of the CPU 15. , Storage of data processed in the signal processing IC 32 in the RAM 17, display of image data or the like supplied from the A / D converter 6 or taken out from the RAM 17, and display from the A / D converter 6 Then, compression processing of digital image data taken out from the RAM 17 or processing such as YUV conversion and resizing processing is performed.
The CCD interface 8 receives digital image data given from the A / D converter 6 of the signal processing unit 31 and stores it in the RAM 17 via the memory controller 9. Under the control of the CPU 15, the memory controller 9 is provided with original RGB (RAW-RGB) data given via the CCD interface 8, YUV data YUV converted by the YUV converter 12, and JPEG (Joint Photographic Experts) by the JPEG processor 11. The JPEG data compressed by the Group) method is written to the RAM 17 and the reading of these data and program data from the RAM 17 is controlled.

ディスプレイインタフェース10は、RAM17から読み出された画像データをディスプレイ18に表示させる。なお、このディスプレイインタフェース10から外部のTV(テレビジョン)等に表示させるためのTV出力を出力するようにしても良い。JPEG処理部11は、A/D変換器6から与えられまたはRAM17から取り出された画像データ等を、JPEG方式にて圧縮する。YUV変換部12は、A/D変換器6から与えられまたはRAM17から取り出された画像データを、CPU15から与えられるオートホワイトバランス(AWB)制御値に従ってYUV変換する。リサイズ処理部13は、A/D変換器6から与えられまたはRAM17から取り出された画像データを、リサイズする。画素間演算部14は、A/D変換器6から与えられまたはRAM17から取り出された画像データについて、CPU15の制御に従って画素間での所要の演算を行う。すなわち、メモリコントローラ9は、A/D変換器6から与えられた画像データを、RAM17へ格納し、且つRAM17から画像データを取り出して、ディスプレイインタフェース10を介してディスプレイ18への表示に供するとともに、RAM17から画像データを取り出して、JPEG処理部11によるJPEG方式の圧縮処理、YUV変換部12によるYUV変換、リサイズ処理部13によるリサイズ処理ならびにこれら圧縮、YUV変換およびリサイズの処理後のデータのRAM17への書き込みに供する。さらには、メモリコントローラ9は、RAM17からデータを取り出してメモリカード22への書き込みに供する。   The display interface 10 displays the image data read from the RAM 17 on the display 18. The display interface 10 may output a TV output for display on an external TV (television) or the like. The JPEG processing unit 11 compresses image data or the like given from the A / D converter 6 or taken out from the RAM 17 by the JPEG method. The YUV converter 12 performs YUV conversion on the image data given from the A / D converter 6 or taken out from the RAM 17 in accordance with an auto white balance (AWB) control value given from the CPU 15. The resizing processing unit 13 resizes the image data given from the A / D converter 6 or taken out from the RAM 17. The inter-pixel operation unit 14 performs a necessary operation between pixels on the image data given from the A / D converter 6 or taken out from the RAM 17 according to the control of the CPU 15. That is, the memory controller 9 stores the image data given from the A / D converter 6 in the RAM 17, takes out the image data from the RAM 17, and provides it for display on the display 18 via the display interface 10. Image data is taken out from the RAM 17, JPEG compression processing by the JPEG processing unit 11, YUV conversion by the YUV conversion unit 12, resizing processing by the resizing processing unit 13, and data after the compression, YUV conversion and resizing processing to the RAM 17. Used for writing. Further, the memory controller 9 takes out data from the RAM 17 and uses it for writing to the memory card 22.

ROM16は、CPU15の動作プログラムおよびデータ等を格納している。RAM17は、例えばSDRAM(シンクロナス・ダイナミック・ランダム・アクセス・メモリ)等の半導体メモリであり、既に述べた、原RGBデータ、YUV変換されたYUVデータ、JPEG圧縮されたJPEGデータ、ならびにCPU15の動作プログラムおよびデータ等をそれぞれ格納するために用いられる。CPU15は、ROM16およびRAM17の少なくとも一方から読み出したプログラムおよびデータを用いて撮影動作に係る各種の処理を実行し、処理に伴う一時的なデータをメモリコントローラ9を介してRAM17に格納する。したがって、メモリコントローラ9は、先に述べた機能に加えて、ROM16およびRAM17の少なくとも一方からプログラムを取り出して実行に供すべくCPU15に供給する機能、ならびに各種の処理に伴いCPU15から与えられ得る一時的なデータをRAM17に書き込む機能をも有する。
ディスプレイ18は、液晶表示装置等の画像表示可能な表示装置であり、A/D変換器6から供給され、またはRAM17から取り出され、ディスプレイインタフェース10を介して与えられる画像データ等を表示し、さらには、所要の情報を表示する。モータドライバ19は、CPU15の制御に基づいて、フォーカシングおよびズーミング等のために撮影レンズ系1のレンズ駆動モータ(図示せず)を駆動し、且つシャッタ開閉動作のためにタイミング発生器7と連動してメカニカルシャッタ2のシャッタ駆動モータ(図示せず)を駆動する。操作部20は、撮影を指令するためのレリーズスイッチ、各モードを切換えるためのモードスイッチ、ならびにその他のスイッチ、キー、レバーおよびダイヤル等の少なくとも一部の操作手段を含み、当該ディジタルカメラに対する動作指示、設定指示および選択指示等の情報をCPU15に与えるための操作を行う。
The ROM 16 stores an operation program and data for the CPU 15. The RAM 17 is a semiconductor memory such as an SDRAM (Synchronous Dynamic Random Access Memory), for example, and has already been described, the original RGB data, YUV converted YUV data, JPEG compressed JPEG data, and the operation of the CPU 15. It is used to store programs and data. The CPU 15 executes various processes related to the photographing operation using a program and data read from at least one of the ROM 16 and the RAM 17, and stores temporary data associated with the process in the RAM 17 via the memory controller 9. Therefore, in addition to the functions described above, the memory controller 9 takes out a program from at least one of the ROM 16 and the RAM 17 and supplies it to the CPU 15 for execution, and a temporary function that can be given from the CPU 15 in accordance with various processes. It also has a function of writing various data into the RAM 17.
The display 18 is a display device capable of displaying an image such as a liquid crystal display device, and displays image data or the like supplied from the A / D converter 6 or taken out from the RAM 17 and given through the display interface 10. Displays the required information. The motor driver 19 drives a lens driving motor (not shown) of the photographing lens system 1 for focusing, zooming, and the like based on the control of the CPU 15 and interlocks with the timing generator 7 for shutter opening / closing operation. Then, a shutter drive motor (not shown) of the mechanical shutter 2 is driven. The operation unit 20 includes a release switch for instructing photographing, a mode switch for switching each mode, and at least a part of operation means such as other switches, keys, levers, and dials. Then, an operation for giving information such as a setting instruction and a selection instruction to the CPU 15 is performed.

ストロボモジュール21は、CPU15の制御に基づいて、ストロボを発光し、被写体の照明に供する。ストロボを発光させるか否かは、動作モードおよび被写体光量の少なくとも一方に応じて決定される。メモリカード22は、いわゆるフラッシュメモリのような半導体不揮発性メモリを内蔵するスモールカードなどと称される小型のICメモリ式記録媒体であり、当該ディジタルスティルカメラに対して着脱可能な外部記録媒体として用いられ、例えばディジタルスティルカメラに設けられたスロットに脱離可能に装着されて用いられる。このメモリカード22には、例えば、CPU15の制御により、RAM17内のJPEG方式等で圧縮された画像データをメモリコントローラ9を介してRAM17から取り出して、撮影結果として保存する。
上述のような構成において、まず、この種のディジタルスティルカメラの基本動作の概要を説明する。この基本動作は、従来のディジタルスティルカメラと本質的に同様である。
The strobe module 21 emits strobe light for illumination of the subject under the control of the CPU 15. Whether or not to emit the strobe is determined according to at least one of the operation mode and the subject light amount. The memory card 22 is a small IC memory type recording medium called a small card incorporating a semiconductor non-volatile memory such as a so-called flash memory, and is used as an external recording medium detachable from the digital still camera. For example, it is used by being detachably mounted in a slot provided in a digital still camera. For example, under the control of the CPU 15, the image data compressed by the JPEG method or the like in the RAM 17 is extracted from the RAM 17 via the memory controller 9 and stored as a photographing result in the memory card 22.
In the configuration as described above, first, an outline of the basic operation of this type of digital still camera will be described. This basic operation is essentially the same as that of a conventional digital still camera.

図1において、撮影レンズ系1により結像される被写体光学像が、CCD固体撮像素子3の受光面で露光されたデータは、電気信号からなるアナログ画像信号に変換されて、CCD固体撮像素子3から出力される。このアナログ画像信号は、CDS回路4、AGC回路5、A/D変換器6およびタイミング発生器7で構成されるフロントエンドの信号処理部31でディジタル信号に変換される。CDS回路4では、CCD固体撮像素子3の出力から有効なアナログ画像信号のみが取り出される。AGC回路5では、このアナログ画像信号を増幅する。そしてA/D変換器6では、アナログ画像信号をディジタル画像データに変換している。これら各部は、タイミング発生器7のタイミング信号に応動して動作し、所要の動作タイミングを同期させるように制御されている。
ディジタルデータに変換されたRGB形式の画像信号(以下、「RGBデータ」と称する)は、ディジタル信号処理IC32のCCDインタフェース8を介して取り込まれ、メモリコントローラ9によりRAM17に書き込まれる。このときCCDインタフェース8は、画面を水平方向と垂直方向とにそれぞれ16分割した256個のエリアに対して、R、GおよびBの各色のそれぞれのデータ値の積分値が算出される。CPU15は、これを読み出して、自動露出(AE)制御やオートホワイトバランス制御のための演算を行う。
In FIG. 1, data obtained by exposing a subject optical image formed by the photographic lens system 1 on the light receiving surface of the CCD solid-state imaging device 3 is converted into an analog image signal composed of an electrical signal, and the CCD solid-state imaging device 3. Is output from. The analog image signal is converted into a digital signal by a front-end signal processing unit 31 including a CDS circuit 4, an AGC circuit 5, an A / D converter 6, and a timing generator 7. In the CDS circuit 4, only an effective analog image signal is extracted from the output of the CCD solid-state imaging device 3. The AGC circuit 5 amplifies this analog image signal. The A / D converter 6 converts the analog image signal into digital image data. These units operate in response to the timing signal of the timing generator 7 and are controlled to synchronize the required operation timing.
An RGB format image signal (hereinafter referred to as “RGB data”) converted into digital data is taken in via the CCD interface 8 of the digital signal processing IC 32 and written into the RAM 17 by the memory controller 9. At this time, the CCD interface 8 calculates the integral value of each data value of each color of R, G, and B for 256 areas obtained by dividing the screen into 16 parts in the horizontal direction and the vertical direction. The CPU 15 reads this and performs calculations for automatic exposure (AE) control and auto white balance control.

書き込まれたRGBデータは、CPU15の制御に基づき、メモリコントローラ9によって読み出され、YUV変換部12によってYUVデータに変換されてRAM17に書き戻される。YUV変換部12には、ホワイトバランスを調整するためのR、GおよびBそれぞれに対する乗算器が設けられており、CPU15は、上述したR、GおよびBの積分値に基づいてホワイトバランス演算を行った結果より、乗算係数を設定してホワイトバランスを調整する。さらに、γ(ガンマ)テーブル等と称される階調変換テーブルによって階調変換が行われる。
このようなYUVデータをディスプレイインタフェース10が読み出して、TVや液晶モニタ等のディスプレイ(表示装置)18に供給され表示が行われる。
操作部20の操作などによって、撮影モードに設定すると、静止画撮影に先立って、CCD固体撮像素子3で捉えられている画像を、ディスプレイ18に随時表示するスルー画面の表示を行うライブビューモードが動作する。このライブビューモードは、CCD固体撮像素子3の読み出しサイクルに合わせて、例えば1/30秒等毎に画面更新が繰り返し行われる。
The written RGB data is read by the memory controller 9 based on the control of the CPU 15, converted into YUV data by the YUV conversion unit 12, and written back to the RAM 17. The YUV conversion unit 12 is provided with multipliers for R, G, and B for adjusting white balance, and the CPU 15 performs white balance calculation based on the integrated values of R, G, and B described above. The white balance is adjusted by setting the multiplication coefficient based on the result. Further, gradation conversion is performed by a gradation conversion table called a γ (gamma) table or the like.
The display interface 10 reads out such YUV data and supplies the YUV data to a display (display device) 18 such as a TV or a liquid crystal monitor for display.
When the shooting mode is set by operating the operation unit 20 or the like, a live view mode for displaying a through screen for displaying an image captured by the CCD solid-state imaging device 3 on the display 18 at any time prior to still image shooting is provided. Operate. In this live view mode, the screen is repeatedly updated every 1/30 seconds, for example, in accordance with the readout cycle of the CCD solid-state imaging device 3.

このライブビューモードでは、前述したエリア毎のRGB積算値を周期的に読み出して自動露出制御を行っている。画面を複数に分割した各エリアからそれぞれ読み出されるR、GおよびBの各色の積分値から画面の明るさや被写体の分布などを検出して、次のライブビュー画面や静止画露光用の露光量制御データを算出している。その制御データに基づき、タイミング発生器7によってCCD固体撮像素子3に入力する電子シャッタの時間制御や、メカニカル絞り(図示されていない)の開口制御などを行う。
同時に自動ホワイトバランス制御も、R、GおよびBの各色の積分値およびそれぞれの大小関係から各エリアの色合いと、そのエリアの画面内位置情報から光源色(色温度)の特定などを行って、ホワイトバランス制御値(R、GおよびBの各色の乗算器の係数)を決定する。この制御値は、連続的に更新されているライブビュー画面の次のYUV変換時に設定を変更する。この制御により、光源色が変わるなどの撮影環境が変化してもホワイトバランスを自動的に合わせるようにしている。
In the live view mode, the automatic exposure control is performed by periodically reading the RGB integrated values for each area described above. The screen brightness and subject distribution are detected from the integrated values of the R, G, and B colors read from each area divided into a plurality of areas, and the exposure control for the next live view screen and still image exposure is performed. Data is calculated. Based on the control data, the timing generator 7 performs time control of the electronic shutter input to the CCD solid-state imaging device 3, opening control of a mechanical aperture (not shown), and the like.
At the same time, the automatic white balance control also determines the hue of each area based on the integral value of each color of R, G, and B and the magnitude relationship of each color, and specifies the light source color (color temperature) based on the position information in the screen of that area, A white balance control value (R, G, and B multiplier coefficients) is determined. This control value is changed at the next YUV conversion of the live view screen that is continuously updated. By this control, the white balance is automatically adjusted even if the photographing environment such as the light source color changes.

この場合、ズームレンズからなる撮影レンズ系1は、CPU15がモータドライバ19に対してモータ駆動制御を行うことによって焦点距離の変更が行われる。操作部20からユーザのズーム倍率変更指示が操作入力されると、CPU15はその指示に応じてモータドライバ19を駆動する。なお、ズーム駆動をパルスモータで行う場合は、駆動パルス数によってズーム位置を検出することができ、特別な位置検出回路を追加しなくても位置検出が可能となる。しかしながら、図示していないが別途にズーム位置検出装置を設けて、ズーム位置を検出するようにしても良い。
ユーザが、操作部20より静止画撮影指示を入力すると、撮影に先立って、オートフォーカシング(AF:自動合焦調整)動作が行われる。
オートフォーカシングは、モータドライバ19を用いてフォーカシング(合焦調整)用レンズを駆動する。CCDインタフェース8には、画面内の指定範囲についてのハイパスフィルタ出力の積分結果を、合焦評価値(以下、「AF評価値」と称する)を、フレーム毎に出力する機能があり、撮影レンズ系1のフォーカシング用レンズを移動しながらAF評価値を取得して、いわゆる山登り制御を実施して合焦位置を検出する。
In this case, in the photographing lens system 1 including a zoom lens, the focal length is changed by the CPU 15 performing motor drive control on the motor driver 19. When the user inputs a zoom magnification change instruction from the operation unit 20, the CPU 15 drives the motor driver 19 according to the instruction. When zoom driving is performed by a pulse motor, the zoom position can be detected by the number of drive pulses, and the position can be detected without adding a special position detection circuit. However, although not shown, a zoom position detection device may be provided separately to detect the zoom position.
When the user inputs a still image shooting instruction from the operation unit 20, an autofocusing (AF: automatic focusing adjustment) operation is performed prior to shooting.
In auto focusing, a motor driver 19 is used to drive a focusing (focusing adjustment) lens. The CCD interface 8 has a function of outputting a focus evaluation value (hereinafter referred to as “AF evaluation value”) for each frame as a result of integration of a high-pass filter output for a specified range in the screen. An AF evaluation value is acquired while moving one focusing lens, and so-called hill-climbing control is performed to detect a focus position.

オートフォーカシングに続いて、静止画撮影用の露光と、露光した静止画画像のRAM17への取り込みが行われる。
この時点では、静止画画像は、CCD固体撮像素子3から出力されたRGBデータである。RAM17に取り込まれたRGBデータは、YUV変換部12でYUVデータに変換され、RAM17に書き戻される。例えば、300万画素のCCD固体撮像素子では、変換されたYUVデータのサイズは2048×1536画素となる。このサイズのYUVデータを主画像YUVデータと称することにする。
次に主画像YUVデータと共に記録する縮小画像であるサムネイル画像の作成を行う。サムネイル画像のサイズは、例えば160×120画素である。主画像YUVデータは、メモリコントローラ9に読み出されて、リサイズ処理部13に送られ、縮小されたサムネイル画像が、SDRAMに書き戻される。
このリサイズ処理部13では、縮小と拡大の画像サイズ変換が可能である。縮小時には、ローパスフィルタをかけた結果を間引きサンプリングする。拡大時には、隣接画素間を線形補間し、画素間をサンプリングした後にローパスフィルタ処理をする。
Following autofocusing, exposure for still image shooting and taking of the exposed still image into the RAM 17 are performed.
At this time, the still image is RGB data output from the CCD solid-state imaging device 3. The RGB data captured in the RAM 17 is converted into YUV data by the YUV converter 12 and written back to the RAM 17. For example, in a CCD solid-state image sensor with 3 million pixels, the size of the converted YUV data is 2048 × 1536 pixels. This size of YUV data will be referred to as main image YUV data.
Next, a thumbnail image that is a reduced image to be recorded together with the main image YUV data is created. The size of the thumbnail image is, for example, 160 × 120 pixels. The main image YUV data is read out to the memory controller 9 and sent to the resize processing unit 13, and the reduced thumbnail image is written back to the SDRAM.
The resizing processing unit 13 can reduce and enlarge the image size. At the time of reduction, the result of applying the low-pass filter is thinned out and sampled. At the time of enlargement, linear interpolation is performed between adjacent pixels, and low-pass filter processing is performed after sampling between pixels.

サムネイルYUVデータおよび主画像YUVデータは、再度読み出されてJPEG処理部11においてJPEG圧縮され、RAM17に書き戻される。JPEG圧縮されたデータに、RAM17にて、ヘッダデータなどが付加されてJPEG画像ファイルとしてから、CPU15によってメモリカード22に転送保存される。ここでは、JPEG処理部11による圧縮としたが、画像ファイルを記録するにあたっては、特にJPEG圧縮に限定するわけではなく、2値変換して記録するカメラであれば、MMR圧縮、非圧縮のYUV記録、あるいはJPEG2000圧縮等のファイル形式のいずれを用いても良い。
ディジタルカメラとしての撮影動作制御プログラム、外部との通信プログラム、その他鏡胴メカニズム特性、CCD固体撮像素子の感度および撮影レンズ系1のレンズ特性のような個体毎のばらつきを補正する個体特性データなどは、全て、書き換え可能なROM16内に保存されており、後述するシェーディング補正データも、このROM16に保存されている。CPU15は、起動時に、このROM16のプログラムおよびデータを、RAM17に読み出して利用している。
画素間演算部14は、2種類の画像データに対する四則演算、ビットシフトおよび定数乗算等を行うことができる。最近の電子カメラでは、予め用意してあるフレームデータを撮影画像に合成したり、特定の透過率で2つの画像を重ね合わせたりする画素間演算機能を持っていることが多くなっており、このため画素間演算部14が設けられている。
The thumbnail YUV data and the main image YUV data are read again, JPEG-compressed by the JPEG processing unit 11, and written back to the RAM 17. Header data or the like is added to the JPEG-compressed data in the RAM 17 to form a JPEG image file, which is then transferred and saved by the CPU 15 to the memory card 22. Here, the compression is performed by the JPEG processing unit 11. However, the recording of the image file is not particularly limited to JPEG compression. If the camera performs binary conversion and records, MMR compression and uncompressed YUV are performed. Any file format such as recording or JPEG2000 compression may be used.
Individual characteristic data for correcting individual variations such as a photographing operation control program as a digital camera, an external communication program, a lens barrel mechanism characteristic, a sensitivity of a CCD solid-state imaging device, and a lens characteristic of the photographing lens system 1 Are all stored in the rewritable ROM 16, and shading correction data described later is also stored in the ROM 16. The CPU 15 reads and uses the program and data in the ROM 16 to the RAM 17 at the time of startup.
The inter-pixel operation unit 14 can perform four arithmetic operations, bit shifts, constant multiplications, and the like on two types of image data. Recent electronic cameras often have an inter-pixel calculation function that combines pre-prepared frame data with a captured image or superimposes two images with a specific transmittance. Therefore, an inter-pixel calculation unit 14 is provided.

ここで、ディジタルカメラにおいては、CCD固体撮像素子3の各画素前に装着されている各画素に受光した光を集めるための集光レンズや撮影レンズ系1の特性により、均一輝度の被写体を撮影した場合でも、撮影後の画像の明るさが均一とならないシェーディングと称される現象が発生する。このシェーディング現象は、通常、画面の中心部よりも周辺部のほうが暗くなる形であらわれる。
本発明では、このシェーディングを補正するために、画像データと同じ形式としたシェーディングを補正するためのデータ(以下、「シェーディング補正データ」と称する)を使用し、画素間演算部14の機能を利用してシェーディング補正を行う。すなわち、RAM17が、CPU15の制御に基づき、カラー画像信号と同等の形式を有するシェーディング補正データを記憶する補正データ記憶手段として機能する。また、画素間演算部14が、CPU15の制御に基づき、カラー画像信号と同等の形式で補正データ記憶手段に記憶されたシェーディング補正データとカラー画像信号の各データとの間で画素毎に乗算することによってシェーディング補正を行う画素演算手段として機能する。例えば、画像データが8ビットのYUV形式である場合、シェーディング補正データも、8ビットのYUV形式とする。
Here, in the digital camera, a subject with uniform brightness is photographed by the characteristics of the condenser lens and the photographing lens system 1 for collecting the light received by each pixel mounted in front of each pixel of the CCD solid-state imaging device 3. Even in this case, a phenomenon called shading occurs in which the brightness of the image after photographing is not uniform. This shading phenomenon usually appears in a form in which the periphery is darker than the center of the screen.
In the present invention, in order to correct this shading, data for correcting shading in the same format as the image data (hereinafter referred to as “shading correction data”) is used, and the function of the inter-pixel calculation unit 14 is used. To perform shading correction. That is, the RAM 17 functions as a correction data storage unit that stores shading correction data having a format equivalent to that of a color image signal under the control of the CPU 15. Further, the inter-pixel calculation unit 14 multiplies pixel by pixel between the shading correction data stored in the correction data storage means and each data of the color image signal in the same format as the color image signal under the control of the CPU 15. This functions as a pixel calculation means for performing shading correction. For example, when the image data is in the 8-bit YUV format, the shading correction data is also in the 8-bit YUV format.

図2を参照して本発明のシェーディング補正について説明する。
この場合、画像データは、8ビットデータ(RGB形式では、R、GおよびBそれぞれが8ビットで表現され、YUV形式では、Y、UおよびVそれぞれが、8ビットで表現される)で構成される。
図2(a)は、画面全体が均等輝度の被写体を撮影した画面である。図2(b)は、図2(a)の画面の中央太い点線ライン上の明るさ(輝度Y)である。この例では、画面の外側に行くほど明るさが下がってしまっている。また図2(b)の中心付近にある黒点は、輝度が最大値になっている部分である。通常レンズの中心と画面の中心が一致していれば、明るさのピークは中央になるが、組み付けなどの誤差によって中心をずれてしまうことがある。図2(c)は画面中央の太い点線ライン上の補正データである。カメラは、各水平ラインに対して同様の補正データを持っており、つまり各画素に対応した補正データを画像データと同様の形式で作成した2次元補正データテーブルをROM16内に保持している。この2次元補正データテーブルは、画像データと同じ形式であるので、この場合は、0から255の値を持つ8ビットのデータである。
The shading correction of the present invention will be described with reference to FIG.
In this case, the image data is composed of 8-bit data (R, G, and B are each represented by 8 bits in the RGB format, and Y, U, and V are each represented by 8 bits in the YUV format). The
FIG. 2A shows a screen obtained by photographing a subject whose entire screen has a uniform luminance. FIG. 2B shows the brightness (luminance Y) on the thick dotted line in the center of the screen of FIG. In this example, the brightness decreases as it goes outside the screen. Further, the black spot near the center of FIG. 2B is a portion where the luminance is the maximum value. Normally, if the center of the lens and the center of the screen coincide with each other, the brightness peak is at the center, but the center may be shifted due to errors such as assembly. FIG. 2C shows correction data on a thick dotted line at the center of the screen. The camera has the same correction data for each horizontal line, that is, a two-dimensional correction data table in which correction data corresponding to each pixel is created in the same format as the image data is held in the ROM 16. Since the two-dimensional correction data table has the same format as the image data, in this case, it is 8-bit data having a value from 0 to 255.

この実施の形態では、中央値近傍の128を1倍とした。これにより乗算係数である補正データが表現できる倍率は、最大255/128倍となり、倍率の最小ステップが1/128倍となる。
すなわち、図2(a)のような均一な被写体を撮影したときに最も明るくなる個所(図における黒い点)を基準として、補正データテーブルのその画素位置に対応する補正データ値を128とする。その他の画素位置に対応する補正データは、各画素の補正前の輝度値(Yデータ)を何倍すれば、黒点の輝度値と同じ値になるか、つまり黒点の輝度値を基準とした補正係数を算出する。
補正処理時は、各画素の輝度値と各画素に対応した補正データとを乗算した後に、128で割り算を行う。なお補正後に、輝度値が255を超えた場合には、255に置き換えるリミット処理が行われる。この補正処理は、圧縮前のYデータについて行われる。すなわち、次のような値である:

(補正後Yデータ)={(補正前Yデータ)×(補正データ)/128}

ここでは輝度Yについてのみの補正の説明をしたが、色差UまたはVについても同様の補正を行うことができる。
In this embodiment, 128 near the median is set to 1 time. As a result, the magnification that the correction data that is the multiplication coefficient can be expressed is a maximum of 255/128 times, and the minimum step of the magnification is 1/128 times.
That is, the correction data value corresponding to the pixel position in the correction data table is set to 128 with reference to the brightest part (black dot in the figure) when a uniform subject as shown in FIG. The correction data corresponding to the other pixel positions will be the same as the luminance value of the black point when the luminance value (Y data) before correction of each pixel is multiplied, that is, correction based on the luminance value of the black point Calculate the coefficient.
At the time of the correction process, the luminance value of each pixel is multiplied by the correction data corresponding to each pixel, and then division is performed by 128. After the correction, when the luminance value exceeds 255, limit processing for replacing with 255 is performed. This correction process is performed on the Y data before compression. That is, the following values:

(Y data after correction) = {(Y data before correction) × (correction data) / 128}

Although the correction of only the luminance Y has been described here, the same correction can be performed for the color difference U or V.

図3に、輝度Yだけを補正した場合と、色(色差U、V)を補正した場合との関係を示している。破線上の点(1)〜点(5)は、赤い被写体を、明るさを変えながら撮影した場合の色差Vの変化を示したものである。同じ色の被写体の場合、明るさが大きくなるにつれてVの値が大きくなっていることがわかる。
これに対して、点(2)部分について、輝度Yだけ点(3)の位置までを補正すると、点(5)となる。つまり明るさだけを明るくした点(5)は、被写体が明るくなったときの色合いに相当する点(3)と比べて、結果的に見た目の色合いが薄くなってしまう。
したがって、色差を補正して、図3の点(5)が点(3)の位置になるような乗算補正をすれば、より正確に補正することができる。但し、このようにすると処理の時間が長くなってしまう。
そこで、このような方法に対して、撮影モードによって切り換えるという方法が考えられる。例えば、連写等のように連続的に高速で撮影を行う必要がある場合には、人間の目が敏感な輝度のみの補正を行うようにする。一方、連写がオフのとき、マクロ撮影のとき、またはセルフタイマ撮影等のように高速繰り返し撮影が必要とならない撮影モードでは、色差の補正をも行うようにする。つまり、撮影モードが、高速処理が必要かどうかで、シェーディング補正処理を切り換える。
FIG. 3 shows a relationship between the case where only the luminance Y is corrected and the case where the color (color differences U and V) is corrected. Points (1) to (5) on the broken line show changes in the color difference V when a red subject is photographed while changing the brightness. It can be seen that in the case of the subject of the same color, the value of V increases as the brightness increases.
On the other hand, when the point (2) is corrected up to the position of the point (3) by the luminance Y, the point (5) is obtained. That is, the point (5) where only the brightness is brightened is lighter in appearance as compared with the point (3) corresponding to the color when the subject is brightened.
Therefore, it is possible to correct more accurately by correcting the color difference and performing multiplication correction so that the point (5) in FIG. 3 becomes the position of the point (3). However, this will increase the processing time.
Therefore, a method of switching according to the photographing mode is conceivable for such a method. For example, when it is necessary to continuously shoot at a high speed such as continuous shooting, only the luminance that is sensitive to human eyes is corrected. On the other hand, when continuous shooting is off, macro shooting, or shooting modes that do not require high-speed repeated shooting, such as self-timer shooting, color difference correction is also performed. That is, the shading correction process is switched depending on whether the shooting mode requires high-speed processing.

したがって、CPU15および操作部20により、シェーディング補正を行うか否かを、撮影条件に基づいて選択的に切り替える手段を構成し、また、輝度情報のみを補正する補正処理と、輝度情報および色情報の両方を補正する補正処理とを選択的に切換えて補正処理を行う補正処理手段をも構成することができる。
この場合、補正にあたっては、色差U、Vも8ビットデータであるので、輝度Yの補正と同様に8ビットの乗算用補正データを作成すれば、上述と同様の演算処理で補正することが可能である。
ここで、補正テーブルの作成方法について説明する。
ディジタルカメラ等のカメラの製造工程において、シェーディングの影響が最大になるようなズーム位置と絞り径に設定して、輝度均一の面光源を撮影する。一般的には、焦点距離は、最も短い広角端、絞りは最大径の場合が、最もシェーディングの影響を受けることが多い。
撮影し、サムネイル画像を作成した後に、RAM17上にあるサムネイル画像のYデータの最大値を見出す。次に、各画素に対して、最大値と同じにするための係数を計算し、各画素の位置に対応する2次元シェーディング補正データとしてROM16に保存する。これを基準補正データとする。
Therefore, the CPU 15 and the operation unit 20 constitute means for selectively switching whether or not to perform shading correction based on the shooting conditions, and also include correction processing for correcting only luminance information, and luminance information and color information. It is also possible to configure correction processing means for performing correction processing by selectively switching between correction processing for correcting both.
In this case, since the color differences U and V are also 8-bit data in the correction, if 8-bit multiplication correction data is created in the same manner as the correction of the luminance Y, it can be corrected by the same arithmetic processing as described above. It is.
Here, a method for creating a correction table will be described.
In a manufacturing process of a camera such as a digital camera, a surface light source with uniform brightness is photographed by setting the zoom position and the aperture diameter so as to maximize the influence of shading. In general, when the focal length is the shortest wide-angle end and the aperture is the maximum diameter, the focal length is most affected by shading.
After shooting and creating a thumbnail image, the maximum value of Y data of the thumbnail image on the RAM 17 is found. Next, a coefficient for making each pixel the same as the maximum value is calculated and stored in the ROM 16 as two-dimensional shading correction data corresponding to the position of each pixel. This is used as reference correction data.

次に、全焦点距離を、例えば5等分した各ズーム位置と、各絞り径で同様の撮影を行って、ズーム位置毎のシェーディング補正データを作成する。これらを全てROM16に保存するようにしてもよいが、基準シェーディング補正データから、各ズーム位置のシェーディング補正データに変換するための変換係数を、求めて保存するようにしてもよい。
例えば、どのズーム位置と絞り径でも、図4(a)のように、周辺での輝度の低下を2次関数で表現できるような滑らかなものである場合には、基準補正テーブルの最大値と、各テーブルの最大値を比較して係数を算出して、テーブル加工係数データとして保存することができる。
しかしながら、焦点距離が短い広角側では図4(b)のような形状で、焦点距離が長い望遠側では図4(a)のようになる場合には、図4(c)のように画面領域をエリア分割してテーブル加工係数を作成する必要がある。なお、通常の場合、変曲点は中心付近ではなく、図4(b)のように中心から離れた部分にあるので、画面分割は、図4(c)のように中心から離れるにつれて細かくする。
Next, similar shooting is performed at each zoom position obtained by dividing the total focal length into five, for example, and each aperture diameter, and shading correction data for each zoom position is created. All of these may be stored in the ROM 16, but conversion coefficients for converting the reference shading correction data into the shading correction data at each zoom position may be obtained and stored.
For example, when the zoom position and the aperture diameter are smooth so that a decrease in luminance in the periphery can be expressed by a quadratic function as shown in FIG. 4A, the maximum value of the reference correction table is set. The coefficients can be calculated by comparing the maximum values of the tables and stored as table processing coefficient data.
However, when the focal length is short as shown in FIG. 4B on the wide-angle side and as shown in FIG. 4A on the telephoto side where the focal length is long, the screen area is as shown in FIG. It is necessary to create a table processing coefficient by dividing the area. In the normal case, the inflection point is not near the center but at a part away from the center as shown in FIG. 4B, so that the screen division is made finer as the distance from the center is as shown in FIG. 4C. .

このようにして作成した変換係数は、各8ビットのデータであるから、JPEG圧縮して保存しても良い。JPEGデータとして保存することで、保存するデータ量をより少なくすることができ、しかもデータ使用時における読み出し量が少なくなることから、高速化が可能になる。
このようにして、製造工程において、1台ずつ、各カメラに対してテーブルを作成するようにすれば、図2(b)のように、組付け精度が低いために、左右および上下の明るさ分布が違っていても問題なくなり、組付け精度の基準を緩和することができ、製造コストを低減することが可能となる。
また、個体間のばらつきがほとんどないような場合には、予め作成しておいた補正テーブルおよび加工係数によってテーブルを作成するようにしてもよい。
さらに、ROM16のサイズが小さいなどの理由で、テーブルデータとして保持できない場合には、図5に示すようにシェーディング特性を直線近似し、直線式の係数をROM16に保存して、シェーディング補正時に、この式から補正係数を算出して補正するようにしても良い。
Since the conversion coefficients created in this way are 8-bit data, they may be JPEG compressed and stored. By saving as JPEG data, the amount of data to be saved can be further reduced, and the amount of data to be read when using the data can be reduced, so that the speed can be increased.
In this way, if a table is created for each camera one by one in the manufacturing process, as shown in FIG. Even if the distribution is different, there is no problem, the standard of assembly accuracy can be relaxed, and the manufacturing cost can be reduced.
Further, when there is almost no variation between individuals, a table may be created using a correction table and a processing coefficient created in advance.
Furthermore, when the data cannot be stored as table data because the size of the ROM 16 is small, the shading characteristics are linearly approximated as shown in FIG. A correction coefficient may be calculated from the equation and corrected.

次に、撮影時における利用方法を説明する。
撮影時は、主画像とサムネイル画像のYUVデータを作成する。これらをJEPG圧縮する前に、シェーディング補正を行う。
撮影モードが起動されると、CPU15は、ROM16から基準補正テーブルをRAM17に読み出す。操作部20より撮影開始指示が入力されると、自動露出制御処理により撮影時の絞り径が決定し、露光処理が開始される。CPU15は、現在のズーム位置と絞り径から、加工係数を読み出し、露光および原RGBデータのRAM17への転送と並行して、読み出した加工係数から、基準補正テーブルを加工し、現在のズーム位置および絞り位置に応じた補正データを作成する。この加工では、1倍以下にならないようにする必要があるため、例えば最小値を128とし、128以下になった場合は、128に置き換えるリミット処理を行う。
作成されたシェーディング補正データは、記録する主画像のサイズに合せたサイズにリサイズ処理部13で変換する。なお、リサイズ処理部13でのサイズ拡大処理では、ローパスフィルタ処理も行っている。
Next, a usage method at the time of photographing will be described.
At the time of shooting, YUV data of the main image and the thumbnail image is created. Shading correction is performed before JPEG compression of these.
When the shooting mode is activated, the CPU 15 reads the reference correction table from the ROM 16 into the RAM 17. When a shooting start instruction is input from the operation unit 20, the aperture diameter at the time of shooting is determined by the automatic exposure control process, and the exposure process is started. The CPU 15 reads the processing coefficient from the current zoom position and aperture diameter, processes the reference correction table from the read processing coefficient in parallel with exposure and transfer of the original RGB data to the RAM 17, and sets the current zoom position and Create correction data according to the aperture position. In this processing, since it is necessary not to be less than 1 time, for example, the minimum value is set to 128, and when it becomes 128 or less, limit processing is performed to replace it with 128.
The generated shading correction data is converted by the resizing processing unit 13 into a size that matches the size of the main image to be recorded. In the size enlargement process in the resizing processing unit 13, low-pass filter processing is also performed.

300万画素の2048×1536画素で記録する場合には、補正テーブルも同じサイズに拡大する。CCD固体撮像素子3のサイズが300万画素であっても、主画像記録サイズが640×480画素であれば、補正テーブルも640×480画素に拡大し、記録する主画像が作成されてからシェーディング補正を行う。シェーディング補正後のYUVデータを縮小してサムネイル画像を作成し、それぞれをJPEG圧縮して、画像ファイルとして保存する。
なお、ここでは、サムネイルサイズのシェーディング補正データから作成した主画像用の補正データにより、主画像に対してシェーディング補正を行った後に、補正後の主画像からサムネイルを作成するようにしたが、主画像とサムネイルのそれぞれに対してシェーディング補正を実行してもよい。主画像を縮小してサムネイルを作成しないシステムにおいては、主画像は拡大したシェーディング補正データによって補正を実行し、サムネイルに対しては、拡大していないシェーディング補正データを乗算することでそれぞれの画像に対してシェーディング補正をするようにしても良い。
When recording with 2048 × 1536 pixels of 3 million pixels, the correction table is enlarged to the same size. Even if the size of the CCD solid-state imaging device 3 is 3 million pixels, if the main image recording size is 640 × 480 pixels, the correction table is enlarged to 640 × 480 pixels, and shading is performed after the main image to be recorded is created. Make corrections. Thumbnail images are created by reducing the YUV data after shading correction, and each of them is JPEG compressed and saved as an image file.
In this example, after the main image is subjected to shading correction using the main image correction data generated from the thumbnail size shading correction data, a thumbnail is generated from the corrected main image. Shading correction may be performed on each of the image and the thumbnail. In a system that does not create thumbnails by reducing the main image, the main image is corrected by the enlarged shading correction data, and the thumbnail is multiplied by the non-enlarged shading correction data to each image. On the other hand, shading correction may be performed.

上述したように、縮小した補正テーブルを持ち、それを拡大して利用することには、いくつかの利点がある。
第一に、テーブル作成時にリサイズ処理部13で縮小を行う際に、ローパスフィルタ処理が行われるため、CCD固体撮像素子3の画素単位の感度差やノイズが平均化され、隣接する補正係数間の差による影響が少ない滑らかな係数テーブルの作成が可能であるため、ノイズや画素単位の感度差を排除した滑らかなテーブルを作成することができる。また、シェーディング補正実行時に、同様にローパスフィルタ処理をすることで、より滑らかなシェーディング補正データとなり、画素単位の感度差の影響を受けないので、厳密な位置合せが不要になり、テーブル作成時の画素数と異なるサイズの画像に対しても、同じテーブルを使用することが可能となる。
上述においては、ノイズや画素単位の感度差を排除するために、ローパスフィルタ処理をおこなうものとしたが、このローパスフィルタに特に限定しなくても良い。目的は光学特性以外のノイズを除去するものであるから、メディアンフィルタなどのフィルタ手段を使うことも可能である。
As described above, having a reduced correction table and enlarging and using it have several advantages.
First, since low-pass filter processing is performed when the resizing processing unit 13 performs reduction at the time of creating a table, the sensitivity difference and noise in the pixel unit of the CCD solid-state imaging device 3 are averaged, and adjacent correction coefficients are between. Since it is possible to create a smooth coefficient table that is less affected by differences, it is possible to create a smooth table that eliminates noise and pixel-by-pixel sensitivity differences. Also, when performing shading correction, the same low-pass filter processing results in smoother shading correction data that is not affected by sensitivity differences in units of pixels, eliminating the need for strict alignment. The same table can be used for an image having a size different from the number of pixels.
In the above description, low-pass filter processing is performed to eliminate noise and pixel-by-pixel sensitivity differences. However, the present invention is not limited to this low-pass filter. Since the purpose is to remove noise other than optical characteristics, it is also possible to use filter means such as a median filter.

第二に、ROM16に持つべきテーブルサイズを小さくすることができる。このためROM16の容量削減によるコストダウンを実現することが可能となる。
第三に、データ読み出し量を少なくすることができる。これは記録時の処理時間の短縮化を実現することができる。
第四に、ズーム位置や絞り径によって補正テーブルを加工するときのデータ量を少なくすることができる。計算量を少なくすることによって、処理の高速化を実現することができる。
第五に、記録画素数に合せて補正量を変えることができる。毎回全画素に補正をする必要がないために、記録画素数が少ないときは、補正時間を短くすることができる。
したがって、特許請求の範囲の各請求項に対応する作用効果は、次のようになる。
Second, the table size that should be held in the ROM 16 can be reduced. For this reason, it is possible to realize cost reduction by reducing the capacity of the ROM 16.
Third, the amount of data read can be reduced. This can reduce the processing time during recording.
Fourth, it is possible to reduce the amount of data when processing the correction table based on the zoom position and the aperture diameter. By reducing the amount of calculation, the processing speed can be increased.
Fifth, the correction amount can be changed according to the number of recording pixels. Since it is not necessary to correct all the pixels every time, the correction time can be shortened when the number of recording pixels is small.
Therefore, the operational effects corresponding to the respective claims in the claims are as follows.

請求項1の構成では、シェーディング補正データを画像データと同等の形式にすることにっよって、画素間演算機能をシェーディング補正データの処理に利用することができるため、特別なハードウェアを別途に設ける必要なしに、高速でシェーディング補正することが可能となる。
請求項2の構成では、輝度信号のみに対して補正を行うようにしたことによって、処理時間の短縮を可能とし、補正データを保持するメモリを削減してコストダウンを達成することが可能となる。
請求項3の構成では、輝度と色の両方を補正するようにしたことによって、より高画質を達成するシェーディング補正が可能となる。
請求項4の構成では、補正を行うかどうかを選択することが可能であり、画質優先か否かの目的に対応させて動作を変えることが可能となる。
請求項5の構成では、輝度のみの補正か、輝度と色の両方の補正かを選択することが可能であり、画質優先か否かの所望の目的に対応させて動作を変えることが可能となる。
請求項6の構成では、速度優先か画質優先かの所望の目的に対応させて動作を変えることが可能となる。
According to the first aspect of the present invention, since the inter-pixel calculation function can be used for processing the shading correction data by making the shading correction data in the same format as the image data, special hardware is provided separately. Shading correction can be performed at high speed without necessity.
In the configuration of claim 2, by correcting only the luminance signal, the processing time can be shortened, and it is possible to reduce the cost by reducing the memory for holding the correction data. .
In the configuration of claim 3, by correcting both luminance and color, shading correction that achieves higher image quality is possible.
In the configuration of the fourth aspect, it is possible to select whether or not to perform correction, and it is possible to change the operation in accordance with the purpose of whether or not priority is given to image quality.
In the configuration of claim 5, it is possible to select correction only for luminance or correction for both luminance and color, and the operation can be changed in accordance with a desired purpose of whether or not priority is given to image quality. Become.
According to the configuration of the sixth aspect, the operation can be changed in accordance with a desired purpose of speed priority or image quality priority.

請求項7の構成では、シェーディング補正データを画像データと同等の形式とするので、画像縮小拡大機能をシェーディング補正データに利用することができ、特別なハードウェアを別途に設ける必要なしに補正対象となる画像に合せてシェーディング補正データを拡大縮小することが可能になる。このことによって、シェーディング補正データを記録画素数毎に記憶しておく必要がなくなり、記憶メモリの削減によりコストを低減し、常に撮像素子の画素数と同じ数の画素の処理を行う必要がなくなり、処理速度を向上させることができる。
請求項8の構成では、縮小したシェーディング補正データを拡大して使うものとしたことで、シェーディング補正データ記憶メモリの削減によりコストを低減し、記憶メモリの削減によるコストダウンと、常に撮像素子の画素数と同じ数の画素の処理を行う必要がなくなり、処理速度を向上させることができる。
請求項9の構成では、光学特性の測定値を保持していて、その値から近似によってシェーディング補正データを作成することによって、よりメモリの削減ができる。さらに近似によるシェーディング補正データが縮小サイズであれば、近似演算自体の計算量も少なくすることができるため、高速化が期待できる。
In the configuration of claim 7, since the shading correction data has a format equivalent to that of the image data, the image reduction / enlargement function can be used for the shading correction data, and the correction target is not required to be provided separately. The shading correction data can be enlarged / reduced in accordance with the image. This eliminates the need to store shading correction data for each number of recorded pixels, reduces the cost by reducing the storage memory, and eliminates the need to always process the same number of pixels as the number of pixels of the image sensor. The processing speed can be improved.
According to the configuration of the eighth aspect, the reduced shading correction data is used in an enlarged manner, so that the cost is reduced by reducing the shading correction data storage memory, the cost is reduced by reducing the storage memory, and the pixels of the image sensor are always used. It is not necessary to process the same number of pixels as the number, and the processing speed can be improved.
In the configuration of the ninth aspect, the measured value of the optical characteristic is held, and the shading correction data is created by approximation from the measured value, whereby the memory can be further reduced. Furthermore, if the shading correction data by approximation is reduced in size, the calculation amount of the approximation calculation itself can be reduced, so that high speed can be expected.

請求項10の構成ででは、シェーディング補正データを画像データと同等の形式とするので、画像圧縮をするための圧縮手段をシェーディング補正データの処理に利用することが可能となり、JPEGで圧縮して保存しておくことにより、さらに補正データ記憶用のメモリを削減することができる。
請求項11の構成ででは、シェーディング補正データに高周波成分除去フィルタ処理を行うことによって、画素単位の感度差やノイズ成分を除去することができ、画素単位の厳密な位置合せが不要となるので、シェーディング補正データを拡大または縮小して利用する際に同じ補正データを使うことが可能となる。
請求項12の構成では、縮小した小さいシェーディング補正データについて加工を行うため、計算量を少なくすることが可能となり、計算を高速化することができる。
In the configuration of claim 10, since the shading correction data has the same format as the image data, it is possible to use the compression means for compressing the image for the processing of the shading correction data, and compress and save it with JPEG. Thus, the memory for storing correction data can be further reduced.
In the configuration of claim 11, by performing the high frequency component removal filter process on the shading correction data, it is possible to remove the sensitivity difference and noise components in pixel units, and strict alignment in pixel units is not necessary. The same correction data can be used when the shading correction data is enlarged or reduced.
According to the configuration of the twelfth aspect, since processing is performed on the reduced small shading correction data, the amount of calculation can be reduced, and the calculation can be speeded up.

本発明の撮像装置の一つの実施の形態に係るディジタルスティルカメラの概略のシステム構成を模式的に示すブロック図である。1 is a block diagram schematically showing a schematic system configuration of a digital still camera according to an embodiment of an imaging apparatus of the present invention. 図1のディジタルスティルカメラのシェーディング補正に係るシェーディング特性と補正データの関係を模式的に示す図である。It is a figure which shows typically the relationship between the shading characteristic and correction data which concern on the shading correction of the digital still camera of FIG. 図1のディジタルスティルカメラのシェーディング補正に係る輝度補正と色差補正の関係を模式的に示す図である。It is a figure which shows typically the relationship between the brightness correction which concerns on the shading correction of the digital still camera of FIG. 1, and a color difference correction. 図1のディジタルスティルカメラのシェーディング補正に係るシェーディング特性および補正エリアの分割を説明するための模式図である。FIG. 3 is a schematic diagram for explaining shading characteristics and correction area division related to shading correction of the digital still camera of FIG. 1. 図1のディジタルスティルカメラのシェーディング補正に係るシェーディング特性およびその直線近似を説明するための模式図である。FIG. 2 is a schematic diagram for explaining shading characteristics and linear approximation thereof related to shading correction of the digital still camera of FIG. 1.

符号の説明Explanation of symbols

1 撮影レンズ系
2 メカニカルシャッタ
3 CCD(電荷結合素子)固体撮像素子
4 CDS(相関2重サンプリング)回路
5 AGC(自動利得制御)回路
6 A/D(アナログ−ディジタル)変換器
7 タイミング発生器(TG)
8 CCDインタフェース(CCD−I/F)
9 メモリコントローラ
10 ディスプレイインタフェース(ディスプレイI/F)
11 JPEG処理部
12 YUV変換部
13 リサイズ処理部
14 画素間演算部
15 CPU(中央制御部)
16 ROM(リードオンリメモリ)
17 RAM(ランダムアクセスメモリ)
18 ディスプレイ
19 モータドライバ
20 操作部
21 ストロボモジュール
22 メモリカード
31 フロントエンド(F/E)信号処理部
32 ディジタル信号処理IC(集積回路)
DESCRIPTION OF SYMBOLS 1 Shooting lens system 2 Mechanical shutter 3 CCD (charge coupled device) solid-state image sensor 4 CDS (correlated double sampling) circuit 5 AGC (automatic gain control) circuit 6 A / D (analog-digital) converter 7 Timing generator ( TG)
8 CCD interface (CCD-I / F)
9 Memory Controller 10 Display Interface (Display I / F)
11 JPEG processing unit 12 YUV conversion unit 13 Resize processing unit 14 Inter-pixel operation unit 15 CPU (Central control unit)
16 ROM (Read Only Memory)
17 RAM (Random Access Memory)
18 Display 19 Motor Driver 20 Operation Unit 21 Strobe Module 22 Memory Card 31 Front End (F / E) Signal Processing Unit 32 Digital Signal Processing IC (Integrated Circuit)

Claims (12)

光電変換を行う光電変換素子を2次元的に配置してなる撮像素子と、
前記撮像素子を駆動するためのパルスを発生させる駆動パルス発生手段と、
前記撮像素子から出力される撮像信号のアナログ−ディジタル変換を行う信号変換手段と、
ディジタル変換された撮像信号を輝度と色の情報に分離したカラー画像信号に変換する画像処理手段と、
前記カラー画像信号を保存する画像保存手段と
を具備する撮像装置において、
前記カラー画像信号と同等の形式を有するシェーディング補正データを記憶する補正データ記憶手段と、
前記カラー画像信号と同等の形式を有して前記補正データ記憶手段に記憶されたシェーディング補正データと前記カラー画像信号の各データとの間で画素毎に乗算することによってシェーディング補正を行う画素演算手段と、
をさらに備えることを特徴とする撮像装置。
An image sensor formed by two-dimensionally arranging photoelectric conversion elements that perform photoelectric conversion;
Drive pulse generating means for generating a pulse for driving the image sensor;
Signal conversion means for performing analog-digital conversion of an image pickup signal output from the image pickup device;
Image processing means for converting the digitally converted imaging signal into a color image signal separated into luminance and color information;
In an imaging apparatus comprising image storage means for storing the color image signal,
Correction data storage means for storing shading correction data having a format equivalent to the color image signal;
Pixel arithmetic means for performing shading correction by multiplying each pixel of the color image signal between the shading correction data having the same format as the color image signal and stored in the correction data storage means When,
An image pickup apparatus further comprising:
前記画素演算手段は、前記カラー画像信号の輝度信号のみに対してシェーディング補正演算を行う画素間演算手段であることを特徴とする請求項1に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the pixel calculation unit is an inter-pixel calculation unit that performs a shading correction calculation only on a luminance signal of the color image signal. 前記画素演算手段は、前記カラー画像信号の輝度信号および色信号の両情報に対してシェーディング補正演算を行う画素間演算手段であることを特徴とする請求項1に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the pixel calculation unit is an inter-pixel calculation unit that performs a shading correction calculation on both information of a luminance signal and a color signal of the color image signal. シェーディング補正を行うか否かを、撮影条件に基づいて選択的に切り替える手段を含むことを特徴とする請求項1〜請求項3のいずれか1項に記載の撮像装置。   The imaging apparatus according to any one of claims 1 to 3, further comprising means for selectively switching whether to perform shading correction based on an imaging condition. 前記撮像素子から出力された撮像信号を、輝度情報と色情報に分離したカラー画像信号に対してシェーディング補正を行う手段を具備する撮像装置において、
輝度情報のみを補正する補正処理と、輝度情報および色情報の両方を補正する補正処理とを選択的に切換えて補正処理を行う補正処理手段を備えることを特徴とする撮像装置。
In an imaging apparatus comprising means for performing shading correction on a color image signal obtained by separating the imaging signal output from the imaging element into luminance information and color information,
An imaging apparatus comprising: correction processing means for performing correction processing by selectively switching between correction processing for correcting only luminance information and correction processing for correcting both luminance information and color information.
高速で連続撮影が必要であるか否かに基づいて、前記補正処理の選択切り替えを行う手段を含むことを特徴とする請求項4または請求項5に記載の撮像装置。   6. The image pickup apparatus according to claim 4, further comprising means for performing selection switching of the correction processing based on whether or not continuous shooting is necessary at high speed. 画像データに拡大および縮小の少なくとも一方の処理を施して、保存するカラー画像のサイズを変更するための画像サイズ変更手段と、
前記画像サイズ変更手段に基づく補正対象のカラー画像の保存サイズに合せてシェーディング補正データを拡大または縮小処理をして、前記画素演算手段によるシェーディング補正演算に供するための手段と
をさらに有することを特徴とする請求項1〜請求項3のいずれか1項に記載の撮像装置。
Image size changing means for changing the size of the color image to be saved by performing at least one of enlargement and reduction processing on the image data;
Means for enlarging or reducing the shading correction data according to the storage size of the color image to be corrected based on the image size changing means, and providing the shading correction calculation by the pixel calculation means. The imaging device according to any one of claims 1 to 3.
前記補正データ記憶手段は、シェーディング補正データを、前記撮像素子の画素数よりも少ない画素数分のデータとして記憶しており、且つ
前記撮像装置は、対象カラー画像の保存サイズに合せてシェーディング補正データを拡大処理した後に、当該画像のシェーディング補正演算に供するための手段を含むことを特徴とする請求項7に記載の撮像装置。
The correction data storage means stores shading correction data as data for a number of pixels smaller than the number of pixels of the image sensor, and the imaging device is adapted to store the shading correction data in accordance with the storage size of the target color image. The imaging apparatus according to claim 7, further comprising means for performing a shading correction calculation of the image after enlarging the image.
前記補正データ記憶手段は、シェーディング補正データを作成するための特性値を記憶しており、且つ
前記撮像装置は、前記特性値から補間近似して作成したシェーディング補正データを拡大または縮小してシェーディング補正演算に供するための手段を含むことを特徴とする請求項7に記載の撮像装置。
The correction data storage means stores characteristic values for creating shading correction data, and the imaging apparatus enlarges or reduces shading correction data created by interpolation approximation from the characteristic values to perform shading correction. The imaging apparatus according to claim 7, further comprising means for use in calculation.
前記補正データ記憶手段の記憶に供するシェーディング補正データを画像データとして圧縮する画像圧縮手段と、
前記補正データ記憶手段から読み出した圧縮された画像データとしてのシェーディング補正データを伸長してシェーディング補正に供する画像伸張手段と
をさらに具備することを特徴とする請求項7または請求項8に記載の撮像装置。
Image compression means for compressing shading correction data to be stored in the correction data storage means as image data;
9. The imaging according to claim 7 or 8, further comprising image expansion means for expanding shading correction data as compressed image data read from the correction data storage means for use in shading correction. apparatus.
シェーディング補正を行う前およびシェーディング補正データの拡大または縮小処理時の少なくとも一方に、シェーディング補正データに対してフィルタ処理を施し、シェーディング補正データの高周波数成分を除去する画像フィルタ手段をさらに有することを特徴とする請求項7〜請求項10のいずれか1項に記載の撮像装置。   The image processing device further includes an image filter unit that filters the shading correction data before removing the shading correction and at least one of the enlargement or reduction processing of the shading correction data and removes high frequency components of the shading correction data. The imaging device according to any one of claims 7 to 10. シェーディング補正データの画素数が少ないときに、撮像レンズのズーム位置、フォーカス位置、像高および絞り量の少なくとも1つに応じて、シェーディング補正データを加工する手段をさらに含むことを特徴とする請求項7〜請求項11のいずれか1項に記載の撮像装置。   The apparatus further includes means for processing the shading correction data according to at least one of a zoom position, a focus position, an image height, and an aperture amount of the imaging lens when the number of pixels of the shading correction data is small. The imaging device according to any one of claims 7 to 11.
JP2005170934A 2005-06-10 2005-06-10 Imaging apparatus Pending JP2006345388A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005170934A JP2006345388A (en) 2005-06-10 2005-06-10 Imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005170934A JP2006345388A (en) 2005-06-10 2005-06-10 Imaging apparatus

Publications (1)

Publication Number Publication Date
JP2006345388A true JP2006345388A (en) 2006-12-21

Family

ID=37641979

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005170934A Pending JP2006345388A (en) 2005-06-10 2005-06-10 Imaging apparatus

Country Status (1)

Country Link
JP (1) JP2006345388A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010015548A (en) * 2008-06-06 2010-01-21 Nikon Corp Object tracking device and camera
JP2010157015A (en) * 2008-12-26 2010-07-15 Nikon Corp Image matching device and camera
US8031935B2 (en) 2006-03-20 2011-10-04 Ricoh Company, Ltd. Method for removing color noise and image-capturing device that uses this method
US8131068B2 (en) 2008-06-06 2012-03-06 Nikon Corporation Image matching device and camera
JP2012529065A (en) * 2009-06-01 2012-11-15 バイオ−ラッド ラボラトリーズ,インコーポレイティド Calibration of imaging devices for biological / chemical samples
JP2013106131A (en) * 2011-11-11 2013-05-30 Hitachi Consumer Electronics Co Ltd Image processing device
JP2014013957A (en) * 2012-07-03 2014-01-23 Canon Inc Imaging device, and method of controlling the same

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8031935B2 (en) 2006-03-20 2011-10-04 Ricoh Company, Ltd. Method for removing color noise and image-capturing device that uses this method
US8639027B2 (en) 2006-03-20 2014-01-28 Ricoh Company, Ltd. Method for removing color noise and image-capturing device that uses this method
JP2010015548A (en) * 2008-06-06 2010-01-21 Nikon Corp Object tracking device and camera
JP4565273B2 (en) * 2008-06-06 2010-10-20 株式会社ニコン Subject tracking device and camera
US8131068B2 (en) 2008-06-06 2012-03-06 Nikon Corporation Image matching device and camera
JP2010157015A (en) * 2008-12-26 2010-07-15 Nikon Corp Image matching device and camera
JP4661957B2 (en) * 2008-12-26 2011-03-30 株式会社ニコン Image matching device and camera
JP2012529065A (en) * 2009-06-01 2012-11-15 バイオ−ラッド ラボラトリーズ,インコーポレイティド Calibration of imaging devices for biological / chemical samples
US8913127B2 (en) 2009-06-01 2014-12-16 Bio-Rad Laboratories, Inc. Calibration of imaging device for biological/chemical samples
JP2013106131A (en) * 2011-11-11 2013-05-30 Hitachi Consumer Electronics Co Ltd Image processing device
JP2014013957A (en) * 2012-07-03 2014-01-23 Canon Inc Imaging device, and method of controlling the same

Similar Documents

Publication Publication Date Title
US6882754B2 (en) Image signal processor with adaptive noise reduction and an image signal processing method therefor
JP5983616B2 (en) Imaging apparatus, imaging method, and program
JP2007180631A (en) Imaging apparatus and photographing method
JP2004328117A (en) Digital camera and photographing control method
JP5780764B2 (en) Imaging device
JP2005347811A (en) White balance correction apparatus and white balance correction method, program and electronic camera apparatus
JP2007251860A (en) Color noise elimination method for image data and imaging apparatus using the same
JP2006345388A (en) Imaging apparatus
JP5123137B2 (en) Imaging apparatus and imaging method
JP5223686B2 (en) Imaging apparatus and imaging method
US7925149B2 (en) Photographing apparatus and method for fast photographing capability
JP2008053931A (en) Imaging apparatus
JP3733828B2 (en) Electronic camera
JP2008148180A (en) Imaging apparatus, image processing device and method, and computer program
JP2005269339A (en) Color shading correction method for wide dynamic range solid-state imaging element and solid-state imaging apparatus
JP4335648B2 (en) Digital camera and imaging method of digital camera
JP2006253970A (en) Imaging apparatus, shading correction data generating method, and program
JP4160664B2 (en) Autofocus device, camera, and in-focus position determination method
JP2007013270A (en) Imaging apparatus
JP2007180718A (en) Imaging device, imaging system, and imaging method
JP5310331B2 (en) Imaging apparatus and imaging method
JP2002207162A (en) Digital camera
JP4449692B2 (en) Electronic camera
JP2007013269A (en) Imaging apparatus
JP3947912B2 (en) Image signal processing device