JP2006253970A - 撮像装置、シェーディング補正データ作成方法およびプログラム - Google Patents
撮像装置、シェーディング補正データ作成方法およびプログラム Download PDFInfo
- Publication number
- JP2006253970A JP2006253970A JP2005066365A JP2005066365A JP2006253970A JP 2006253970 A JP2006253970 A JP 2006253970A JP 2005066365 A JP2005066365 A JP 2005066365A JP 2005066365 A JP2005066365 A JP 2005066365A JP 2006253970 A JP2006253970 A JP 2006253970A
- Authority
- JP
- Japan
- Prior art keywords
- correction data
- shading correction
- luminance
- signal
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003705 background correction Methods 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims description 45
- 238000003384 imaging method Methods 0.000 title claims description 11
- 238000012937 correction Methods 0.000 claims abstract description 65
- 238000012545 processing Methods 0.000 claims abstract description 37
- 230000009467 reduction Effects 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 25
- 238000003860 storage Methods 0.000 claims description 7
- 238000011946 reduction process Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 4
- 238000006243 chemical reaction Methods 0.000 description 11
- 230000035945 sensitivity Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 101100115215 Caenorhabditis elegans cul-2 gene Proteins 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 206010027146 Melanoderma Diseases 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Abstract
【課題】 カメラごとのシェーディング補正データ作成を簡単な構成で、かつ低コストで実現する。
【解決手段】 カメラ製造工程において、シェーディングの影響が最大になるズーム位置と絞り径に設定して輝度均一の面光源を撮影する。撮影された画像の縮小処理をリサイズ部22で行い、サムネイル画像を作成する。このサムネイル画像のYデータ最大値を見つける。次に各画素に対して上記最大値と同じにするために係数を計算し、各画素の位置に対応した2次元シェーディング補正データとしてROM26に保存する。これを基準補正データとする。次に全焦点距離を、例えば5等分した各ズーム位置と各絞り径で同様の撮影を行い、ズーム位置毎のシェーディング補正データを作成する。これを全てROM26に保存する。
【選択図】 図1
【解決手段】 カメラ製造工程において、シェーディングの影響が最大になるズーム位置と絞り径に設定して輝度均一の面光源を撮影する。撮影された画像の縮小処理をリサイズ部22で行い、サムネイル画像を作成する。このサムネイル画像のYデータ最大値を見つける。次に各画素に対して上記最大値と同じにするために係数を計算し、各画素の位置に対応した2次元シェーディング補正データとしてROM26に保存する。これを基準補正データとする。次に全焦点距離を、例えば5等分した各ズーム位置と各絞り径で同様の撮影を行い、ズーム位置毎のシェーディング補正データを作成する。これを全てROM26に保存する。
【選択図】 図1
Description
本発明は、デジタルカメラなどの撮像装置及びこの撮像装置で用いられるシェーディング補正データ作成方法およびプログラムに関するものである。
カメラの小型化などに伴い、画像の周辺部分の光量が落ちてしまう問題がある。これを光学的に補正するには、レンズ枚数増加やサイズ拡大などが必要になり、コストアップとなってしまう。そのため補正をする必要があるが、画素数の増加に伴い、記録画素数と同じだけの補正データを持つには非常に大きなメモリが必要になり、コストアップとなってしまう。そのため縮小したデータとして補正データを持つ必要がある。
また、カメラは組み付け誤差によりレンズの位置や光軸が多少ずれてしまう。そのためカメラごとに補正データを生成する必要がある。しかしカメラごとの補正データ生成では、各カメラの画素単位の感度差(欠陥画素)が本来のシェーディング特性とは異なる補正データができてしまう可能性ある。そこでフィルタ処理を行うことにより、上記誤差を排除できる。また、フィルタ処理を行うことで画素ごとの感度差が排除されているので、多少の画素位置ずれが許容でき、このため縮小したテーブルを拡大して使う場合に、厳密な位置合せを必要としなくなり、画素数が異なる画像に対して同じ補正データが使えるようになる。
また、カメラは組み付け誤差によりレンズの位置や光軸が多少ずれてしまう。そのためカメラごとに補正データを生成する必要がある。しかしカメラごとの補正データ生成では、各カメラの画素単位の感度差(欠陥画素)が本来のシェーディング特性とは異なる補正データができてしまう可能性ある。そこでフィルタ処理を行うことにより、上記誤差を排除できる。また、フィルタ処理を行うことで画素ごとの感度差が排除されているので、多少の画素位置ずれが許容でき、このため縮小したテーブルを拡大して使う場合に、厳密な位置合せを必要としなくなり、画素数が異なる画像に対して同じ補正データが使えるようになる。
従来よりシェーディング補正データの作成に関する技術がいくつか提案されている(例えば、特許文献1,2参照)。
特開昭62−130074号公報
特開2003−87653号公報
従来のシェーディング補正データ作成方法で作成された補正データはデータ量が大きく、これを記憶する記憶装置も大容量のものを必要とし、また、この補正データを用いてシェーディング補正する場合の処理時間が長くなるなどの問題があった。上記特許文献1,2では、何れも予め測定したデータに基づいて補正データを作成しているが、後述する本発明のように縮小画像を作成して補正データを作成していない。
本発明は、カメラごとのシェーディング補正データ作成を簡単な構成で、かつ低コストで実現することを課題とする。
本発明は、カメラごとのシェーディング補正データ作成を簡単な構成で、かつ低コストで実現することを課題とする。
請求項1の発明による撮像装置は、撮像素子から出力される撮像信号を輝度信号と色信号を有するカラー画像信号に変換して保存する撮像装置において、前記カラー画像信号の画像を縮小する縮小手段と、前記縮小した画像の画面内の最高輝度値と各画素の輝度との差、または前記縮小した画像の画面中央付近の平均輝度と各画素の輝度との差に基づいてシェーディング補正データを作成する作成手段と、前記作成されたシェーディング補正データを記憶する記憶手段と、前記記憶されたシェーディング補正データ用いてシェーディング補正を行う補正手段とを備えたことを特徴とするものである。
請求項2の発明による撮像装置は、請求項1の装置において、前記作成手段は、前記カラー画像信号の輝度信号のみに対してシェーディング補正データを作成することを特徴とするものである。
請求項3の発明による撮像装置は、請求項1の装置において、前記作成手段は、前記カラー画像信号の輝度信号と色信号の両方に対してシェーディング補正データを作成することを特徴とするものである。
請求項4の発明による撮像装置は、請求項1または2の装置において、前記作成手段がシェーディング補正データを作成する前に前記均一輝度の下で被写体を撮影した画像に対して高周波成分除去フィルタ処理を行う低域透過フィルタ手段を備えたことを特徴とするものである。
請求項3の発明による撮像装置は、請求項1の装置において、前記作成手段は、前記カラー画像信号の輝度信号と色信号の両方に対してシェーディング補正データを作成することを特徴とするものである。
請求項4の発明による撮像装置は、請求項1または2の装置において、前記作成手段がシェーディング補正データを作成する前に前記均一輝度の下で被写体を撮影した画像に対して高周波成分除去フィルタ処理を行う低域透過フィルタ手段を備えたことを特徴とするものである。
請求項5の発明によるシェーディング補正データ作成方法は、均一輝度の被写体を撮影した画像を縮小した画像の画面内の最高輝度値と各画素の輝度との差、または前記縮小した画像の画面中央付近の平均輝度と各画素の輝度との差に基づいてシェーディング補正データを作成することを特徴とするものである。
請求項6の発明によるシェーディング補正データ作成方法は、請求項5の方法において、輝度信号のみに対してシェーディング補正データを作成することを特徴とするものである。
請求項7の発明によるシェーディング補正データ作成方法は、請求項5の方法において、前記輝度信号と色信号に対してシェーディング補正データを作成することを特徴とするものである。
請求項6の発明によるシェーディング補正データ作成方法は、請求項5の方法において、輝度信号のみに対してシェーディング補正データを作成することを特徴とするものである。
請求項7の発明によるシェーディング補正データ作成方法は、請求項5の方法において、前記輝度信号と色信号に対してシェーディング補正データを作成することを特徴とするものである。
請求項8の発明によるシェーディング補正データ作成方法は、請求項5の方法において、カラー画像信号の輝度信号と色信号の両方に対してシェーディング補正データを生成するか、輝度信号のみに対してシェーディング補正データを生成するかを切り換えることが可能なことを特徴とするものである。
請求項9の発明によるシェーディング補正データ作成方法は、請求項5から8の方法において、前記シェーディング補正データを作成する前に前記均一輝度被写体を撮影した画像に対して高周波成分除去フィルタ処理を行うことを特徴とするものである。
請求項9の発明によるシェーディング補正データ作成方法は、請求項5から8の方法において、前記シェーディング補正データを作成する前に前記均一輝度被写体を撮影した画像に対して高周波成分除去フィルタ処理を行うことを特徴とするものである。
請求項10の発明によるプログラムは、均一輝度の被写体を撮影する撮影処理と、前記撮影処理で得られた画像を縮小する縮小処理と、縮小処理で縮小した画像の画面内の最高輝度値と各画素の輝度との差、または前記縮小した画像の画面中央付近の平均輝度と各画素の輝度との差に基づいてシェーディング補正データを作成する作成処理と、前記作成されたシェーディング補正データを記憶する記憶処理と、前記記憶されたシェーディング補正データ用いてシェーディング補正を行う補正処理とをコンピュータに実行させるものである。
請求項11の発明によるプログラムは、請求項10のプログラムにおいて、前記作成処理は、前記カラー画像信号の輝度信号のみに対してシェーディング補正データを作成することを特徴とするものである。
請求項12の発明によるプログラムは、請求項10のプログラムにおいて、前記作成手処理は、前記カラー画像信号の輝度信号と色信号の両方に対してシェーディング補正データを作成することを特徴とするものである。
請求項13の発明によるプログラムは、請求項10から12のプログラムにおいて、前記作成処理によりシェーディング補正データを作成する前に、前記均一輝度の下で被写体を撮影した画像に対して高周波成分除去フィルタ処理を行うフィルタ処理をコンピュータに実行させるものである。
請求項12の発明によるプログラムは、請求項10のプログラムにおいて、前記作成手処理は、前記カラー画像信号の輝度信号と色信号の両方に対してシェーディング補正データを作成することを特徴とするものである。
請求項13の発明によるプログラムは、請求項10から12のプログラムにおいて、前記作成処理によりシェーディング補正データを作成する前に、前記均一輝度の下で被写体を撮影した画像に対して高周波成分除去フィルタ処理を行うフィルタ処理をコンピュータに実行させるものである。
請求項1,5,10の発明によれば、縮小した画像からシェーディング補正データを作成することにより、シェーディング補正用データのサイズを小さくすることができる。また、テーブル作成時の処理データ数が少ないため、生産ラインで行う補正データ処理時間を短くすることができ、製造コストの削減効果も得られる。
請求項2,6,11の発明によれば、輝度信号のみの補正データ作成とすることにより、画質よりもコスト優先の機種の場合、補正データをできるだけ少なくすることができる。
請求項3,7,12の発明によれば、色信号の補正データも作成することにより、より高画質化を行うことができる。特に請求項7のように、同じシステム構成で複数の機種に対応するため、目的に合わせて切り換えることができる。
請求項4,8の発明によれば、各個体カメラの補正データを生成するときに、撮像素子の欠陥画素はノイズの影響をローパスフィルタやメディアンフィルタなどの高周波成分除去フィルタ処理によって排除することができ、シェーディング補正データを拡大して使用するときに、厳密な位置合せを不要にすることができる。
請求項3,7,12の発明によれば、色信号の補正データも作成することにより、より高画質化を行うことができる。特に請求項7のように、同じシステム構成で複数の機種に対応するため、目的に合わせて切り換えることができる。
請求項4,8の発明によれば、各個体カメラの補正データを生成するときに、撮像素子の欠陥画素はノイズの影響をローパスフィルタやメディアンフィルタなどの高周波成分除去フィルタ処理によって排除することができ、シェーディング補正データを拡大して使用するときに、厳密な位置合せを不要にすることができる。
以下、本発明の実施形態を図面と共に説明する。
図1は本発明の実施形態によるデジタルカメラのシステムブロック図である。
図1において、レンズ1、電子シャッタ2を介してCCD3の受光面で露光されたデータは電気信号に変換され、アナログ画像信号としてCCD3より出力される。このアナログ画像信号は、CDS部4、AGC部5、A/D変換部6で構成されるF/E(フロントエンド)7でデジタル信号に変換される。CDS部4ではCCD3の出力から有効なアナログ画像信号のみが取り出される。AGC(自動利得制御)部5ではこのアナログ画像信号の増幅を行う。そしてA/D変換部6ではアナログ画像信号をデジタル信号に変換する。これらのタイミングはタイミング信号発生器(TG)7のタイミング信号によって同期が取られている。
図1は本発明の実施形態によるデジタルカメラのシステムブロック図である。
図1において、レンズ1、電子シャッタ2を介してCCD3の受光面で露光されたデータは電気信号に変換され、アナログ画像信号としてCCD3より出力される。このアナログ画像信号は、CDS部4、AGC部5、A/D変換部6で構成されるF/E(フロントエンド)7でデジタル信号に変換される。CDS部4ではCCD3の出力から有効なアナログ画像信号のみが取り出される。AGC(自動利得制御)部5ではこのアナログ画像信号の増幅を行う。そしてA/D変換部6ではアナログ画像信号をデジタル信号に変換する。これらのタイミングはタイミング信号発生器(TG)7のタイミング信号によって同期が取られている。
デジタルに変換されたRGB形式の画像信号(以降RGBデータと称する)は、信号処理IC8のCCD−I/F9を介してSDRAM10のRAW−RGB部11に取り込まれる。このときCCD−I/F9では、画面を水平と垂直に16分割した256エリアに対してR,G,Bのそれぞれの積分値が算出される。CPU16はこれを読み出してAE(自動露出)やAWB(自動ホワイトバランス)の演算を行う。
SDRAM10に書き込まれたRGBデータは、メモリコントローラ17により読み出され、YUV(輝度、色差)変換部15によりYUVデータに変換されてSDRAM10のYUV部13に書き戻される。YUV変換部15には、ホワイトバランスを合わせるためのRGBそれぞれに対する乗算器がついており、前記のRGB積分値からCPU16はホワイトバランス演算を行った結果より、乗算係数を設定してホワイトバランスを合わせる。さらに階調変換テーブル(ガンマテーブル)によって階調変換が行われる。このYUVデータをDisp−I/F18が読み出して、TVや液晶モニタなどの表示装置19に入力され表示が行われる。
カメラを撮影モードに設定すると、静止画撮影に先立って表示装置19にスルー画面の表示を行うライブビューモードが動作する。このライブビューモードは、画面更新が1/30秒などのCCD読み出しサイクルに合わせて繰り返し行われる。ライブビューモードでは、周期的にRGB積算値を読み出してAE制御を行っている。画面を複数に分割したエリアのそれぞれから読み出されたRGBの積分値から画面の明るさや被写体の分布などを検出し、次回のライブビュー画面や静止画露光用の露光量制御データを算出する。その制御データに基づき、TG7によりCCD3に入力する電子シャッタ2の本数制御やメカ絞り制御などを行う。同時にAWB制御も、RGBそれぞれの積分値および大小関係から各エリアの色合いと、そのエリアの画面内位置情報から光源色(色温度)の特定などを行い、ホワイトバランス制御値(RGBの乗算器の係数)を決定する。この制御値は、連続的に更新されているライブビュー画面の次のYUV変換時に設定を変更する。この制御により、光源色が変わるなどの撮影環境が変化してもホワイトバランスに自動的に合わせている。
レンズ1のズームレンズはモータドライバ20により駆動され、CPU16がモータドライバ20を制御することにより焦点距離の変更が行われる。操作部21からユーザのズーム倍率変更指示が入力されると、CPU16はその指示に応じてモータを駆動制御する。なお、ズーム駆動をパルスモータで行う場合は、駆動パルス数によってズーム位置を検出することができ、特別な位置検出回路を追加しなくても位置検出が可能となる。しかし図示しないが別途ズーム位置検出回路を設けてズーム位置を検出してもよい。ユーザが操作部21より静止画撮影指示を入力すると、撮影に先立ってAF(自動焦点調整)動作を行う。AFはモータドライバ20を用いて焦点調節用レンズを駆動することで行われる。CCD−I/F9には、画面内指定範囲のハイパスフィルタ出力の積分結果(以下AF評価値)をフレームごとに出力する機能があり、レンズを移動しながらAF評価値を取得して山登りAFを実施して合焦位置を検出する。
AFに続いて静止画撮影用の露光と、露光した静止画画像のSDRAM10への取り込みが行われる。この時点では、静止画画像は、CCD3から出力されたRGB形式のデータである。SDRAM10に取り込まれたRGBデータは、YUV変換部15でYUVのデータに変換され、SDRAM10に書き戻される。300万画素CCDでは、変換されたYUVデータのサイズは2048×1536となる。このサイズのYUVデータを主画像YUVデータと称する。
次に、主画像YUVデータとともに記録する縮小画像であるサムネイル画像を作成する。サムネイル画像のサイズは160×120である。主画像YUVデータは、メモリコントローラ17によりYUV部13から読み出されてリサイズ部22に送られ、ここでサムネイル画像に縮小される。このサムネイルYUVデータはSDRAM10に書き戻される。このリサイズ部22は、縮小と拡大の画像サイズ変換が可能である。縮小時は、主画像YUVデータにローパスフィルタをかけた結果を間引きサンプリングする。拡大時は、隣接画素間を線形補間し、画素間をサンプリングした後にローパスフィルタ処理を行う。
上記サムネイルYUVデータおよび主画像YUVデータは、再度読み出されてJPEG部23においてJPEG圧縮され、SDRAM10のJPEG部14に書き戻される。SDRAM10においてJPEG圧縮されたデータにヘッダデータなどが付加されてJPEG画像ファイルとし、CPU16によりメモリーカード24に保存される。ここでは、JPEG部23による圧縮としたが、ファイルを記録するにあたっては、特にJPEG圧縮に限るわけではなく、2値変換して記録するカメラであればMMR圧縮や、非圧縮のYUV記録、JPEG2000などのファイル形式の場合もある。
カメラの撮影動作制御プログラム、外部との通信プログラム、その他鏡胴メカ特性やCCD感度やレンズ特性などのカメラごとのばらつきを補正するカメラ個体特性データ等は全て書き換え可能なROM26に保存されており、後述するシェーディング補正データも、このROM26に保存されている。CPU16はこのROM26のプログラムおよびデータを起動時にSDRAM10のプログラム部11に読み出して利用している。画素間演算部25は、2種類の画像データに対する四則演算と、ビットシフトや定数乗算を行うことができる。最近の電子カメラでは、あらかじめ用意してあるフレームデータを撮影画像に合成したり、特定の透過率で2つの画像を重ね合わせたりする機能があるため、画素間演算機能を持っている。
ここで、シェーディングおよびシェーディング補正について説明する。
デジタルカメラにおいては、CCDの各画素の前に装着されている各画素に受光した光を集めるための集光レンズや撮影レンズの特性により、均一輝度の被写体を撮影した場合でも、撮影後の画像の明るさが均一とならないシェーディングと呼ばれる現象が発生する。このシェーディング現象は、通常、画面の中心部よりも周辺部のほうが暗くなる。
本実施形態では、このシェーディングを補正するために、画像データと同じ形式であるシェーディングを補正するデータ(以下、シェーディング補正データ)を使用し、画素間演算部24の機能を利用してシェーディング補正を行う。例えば、画像データが8ビットのYUV形式である場合、シェーディング補正データも8ビットのYUV形式となる。
デジタルカメラにおいては、CCDの各画素の前に装着されている各画素に受光した光を集めるための集光レンズや撮影レンズの特性により、均一輝度の被写体を撮影した場合でも、撮影後の画像の明るさが均一とならないシェーディングと呼ばれる現象が発生する。このシェーディング現象は、通常、画面の中心部よりも周辺部のほうが暗くなる。
本実施形態では、このシェーディングを補正するために、画像データと同じ形式であるシェーディングを補正するデータ(以下、シェーディング補正データ)を使用し、画素間演算部24の機能を利用してシェーディング補正を行う。例えば、画像データが8ビットのYUV形式である場合、シェーディング補正データも8ビットのYUV形式となる。
シェーディング補正を図2を参照して説明する。
本実施形態では、画像データは8ビットデータ(RGB形式では、R,G,Bがそれぞれ8ビットで表現され、YUV形式では、Y,U,Vがそれぞれ8ビットで表現される)で構成される。図2において、(a)は画面全体が均等輝度の被写体を撮影した画面である。(b)は、(a)の画面中央の太い点線27上の明るさ(輝度Y)である。この例では、画面の外側に行くほど明るさが下がっている。また(b)の中心付近にある黒点28は、輝度が最大値になっている個所である。通常、レンズの中心と画面の中心が一致していれば、明るさのピーク(黒点28)は画面中央になるが、組み付けなどの誤差によって中心をずれてしまうことがある。(c)は(a)の上記太い点線27の補正データである。カメラは各水平ラインに対して同様の補正データを持っている。つまり各画素に対応した補正データを画像データと同様の形式で作成した2次元補正データテーブルは、画像データと同じ形式であるため、0〜255の値を持つ8ビットのデータである。
本実施形態では、画像データは8ビットデータ(RGB形式では、R,G,Bがそれぞれ8ビットで表現され、YUV形式では、Y,U,Vがそれぞれ8ビットで表現される)で構成される。図2において、(a)は画面全体が均等輝度の被写体を撮影した画面である。(b)は、(a)の画面中央の太い点線27上の明るさ(輝度Y)である。この例では、画面の外側に行くほど明るさが下がっている。また(b)の中心付近にある黒点28は、輝度が最大値になっている個所である。通常、レンズの中心と画面の中心が一致していれば、明るさのピーク(黒点28)は画面中央になるが、組み付けなどの誤差によって中心をずれてしまうことがある。(c)は(a)の上記太い点線27の補正データである。カメラは各水平ラインに対して同様の補正データを持っている。つまり各画素に対応した補正データを画像データと同様の形式で作成した2次元補正データテーブルは、画像データと同じ形式であるため、0〜255の値を持つ8ビットのデータである。
本実施形態では、0〜255の値のうち128を1倍とした。これにより乗算係数である補正データが表現できる倍率は、最大255/128倍となり、倍率の最小ステップが1/128倍となる。すなわち、図2(a)のような均一な被写体を撮影したときに、一番明るくなる部分(黒点28)を基準として、補正データテーブルのその画素位置に対応する補正データ値を128とする。その他の画素位置に対応する補正データは、各画素の補正前の輝度値(Yデータ)を何倍すれば、黒点28の輝度値(Yデータ)と同じ値になるか、つまり黒点28の輝度値を基準とした補正係数を算出する。シェーディング補正処理時は、下記式(1)のように各画素の輝度値と各画素に対応した補正データとを乗算した後に、128で割り算を行う。なお、補正後Yが255を超えた場合は、255に置き換えるリミット処理が行われる。この補正処理は、圧縮前のYデータについて行われる。
(補正後Yデータ)=[(補正前Yデータ)×(補正データ)/128] …(1)
ここでは輝度Yについてのみの補正の説明をしたが、色差UVについても同様の補正が可能である。
(補正後Yデータ)=[(補正前Yデータ)×(補正データ)/128] …(1)
ここでは輝度Yについてのみの補正の説明をしたが、色差UVについても同様の補正が可能である。
図5は輝度Yだけを補正した場合と、色(色差UV)を補正した場合との関係を示す図である。
点線29上の各点(1)〜(4)は、赤い被写体を明るさを変えながら撮影した場合の色差Vの変化を示したものである。同じ色の被写体の場合、明るさが大きくなるにつれてVの値が大きくなっていることが分かる。これに対して、(2)の点について、輝度Yだけ(3)の位置まで補正すると(5)となる。つまり明るさだけを明るくした(5)は、被写体が明るくなったときの色合い(3)と比べて結果的に見た目の色合いが薄くなってしまう。従って、色差を補正して、(5)が(3)の位置になるような乗算補正をすれば、より正確な補正となる。ただし処理の時間が長くなってしまうという副作用もある。
点線29上の各点(1)〜(4)は、赤い被写体を明るさを変えながら撮影した場合の色差Vの変化を示したものである。同じ色の被写体の場合、明るさが大きくなるにつれてVの値が大きくなっていることが分かる。これに対して、(2)の点について、輝度Yだけ(3)の位置まで補正すると(5)となる。つまり明るさだけを明るくした(5)は、被写体が明るくなったときの色合い(3)と比べて結果的に見た目の色合いが薄くなってしまう。従って、色差を補正して、(5)が(3)の位置になるような乗算補正をすれば、より正確な補正となる。ただし処理の時間が長くなってしまうという副作用もある。
そこで、シェーディング補正を輝度信号のみについて行うか、輝度信号と色信号の両方について行うかを、撮影モードによって切り換えるという方法が考えられる。例えば、連写などの連続的に高速で撮影を行う必要がある場合は、人間の目が敏感な輝度のみの補正を行う。連写OFF時、マクロ撮影、セルフタイマー撮影時などの高速繰り返し撮影が必要のない撮影モードでは色差の補正も行う。つまり、撮影モードが高速処理が必要かどうかで、シェーディング補正処理を切り換える。補正方法は、UVも8ビットデータなので、輝度補正と同様に8ビットの乗算用補正データを作成すれば、同様演算処理で補正が可能である。
ここで本実施形態による補正データテーブルの作成方法について説明する。
カメラの製造工程において、シェーディングの影響が最大になるズーム位置と絞り径に設定して、輝度均一の面光源を撮影する。一般的に焦点距離は一番短いワイド端、絞りは最大径の場合が一番シェーディングの影響を受ける(図2(a))。撮影後、縮小処理をしてローパスフィルタ処理を行い、サムネイル画像を作成した後、SDRAM10上にあるサムネイル画像のYデータ最大値を見つける(図2(b)の黒点28)。次に各画素に対して、図2(c)のように最大値と同じにするために係数を計算し、各画素の位置に対応した2次元シェーディング補正データとしてROM26に保存する。これを基準補正データとする。次に全焦点距離を、例えば5等分した各ズーム位置と各絞り径で同様の撮影を行い、ズーム位置毎のシェーディング補正データを作成する。これを全てROM26に保存してもよいが、基準シェーディング補正データから、各ズーム位置のシェーディング補正データに変換する変換係数を、持つようにしてもよい。
カメラの製造工程において、シェーディングの影響が最大になるズーム位置と絞り径に設定して、輝度均一の面光源を撮影する。一般的に焦点距離は一番短いワイド端、絞りは最大径の場合が一番シェーディングの影響を受ける(図2(a))。撮影後、縮小処理をしてローパスフィルタ処理を行い、サムネイル画像を作成した後、SDRAM10上にあるサムネイル画像のYデータ最大値を見つける(図2(b)の黒点28)。次に各画素に対して、図2(c)のように最大値と同じにするために係数を計算し、各画素の位置に対応した2次元シェーディング補正データとしてROM26に保存する。これを基準補正データとする。次に全焦点距離を、例えば5等分した各ズーム位置と各絞り径で同様の撮影を行い、ズーム位置毎のシェーディング補正データを作成する。これを全てROM26に保存してもよいが、基準シェーディング補正データから、各ズーム位置のシェーディング補正データに変換する変換係数を、持つようにしてもよい。
例えば、どのズーム位置と絞り径でも図3の(a)のように、輝度の落ち方が2次関数で表現できるような滑らかなものであれば、基準補正テーブルの最大値と、各テーブルの最大値を比較して係数を算出して、テーブル加工係数データとして保存することができる。
しかし、ズームの焦点距離が短いワイド側では図3の(a)のような形状となり、焦点距離が長いテレ側では(b)のようになる場合は、(c)のように画面領域をエリア分割してテーブル加工係数を作成する必要がある。なお、通常変極点は中心付近ではなく中心から離れた部分にあるので、画面分割は中心から離れるにつれて図示のように細かくしている。
しかし、ズームの焦点距離が短いワイド側では図3の(a)のような形状となり、焦点距離が長いテレ側では(b)のようになる場合は、(c)のように画面領域をエリア分割してテーブル加工係数を作成する必要がある。なお、通常変極点は中心付近ではなく中心から離れた部分にあるので、画面分割は中心から離れるにつれて図示のように細かくしている。
作成した変換係数は各8ビットのデータであるから、JPEG圧縮して保存してもよい。JPEGデータとして保存することで、保存するデータをより少なくすることができるとともに、データ使用時に読み出し量が少なくなることから、高速化が可能になる。このように製造工程においてカメラ1台ずつに対してテーブルを作成するようにすれば、図2の(b)のように、組付け精度が低いために左右および上下の明るさ分布が違っていても問題なくなり、組付け精度の基準を緩和することができ、製造コストを下げることが可能になる。
また、カメラ個体間のばらつきがほとんどない場合は、あらかじめ作成した補正テーブルおよび加工係数によってテーブルを作成してもよい。また、ROM26のサイズが小さいなどの理由でテーブルデータとして保持できない場合は、図4に示すようにシェーディング特性を直線近似し、直線式の係数をROM26に保存して、シェーディング補正実施時に、この式から補正係数を算出して補正してもよい。
次に、作成した補正データの撮影時の利用方法を説明する。
撮影時は、主画像とサムネイル画像のYUVデータを作成する。これらをJEPG圧縮する前にシェーディング補正を行う。撮影モードが起動されると、CPU16はROM26から基準補正テーブルをSDRAM10に読み出す。操作部21より撮影開始指示が入力されると、AE処理により撮影時の絞り径が決定し、露光処理が開始される。CPU16は現在のズーム位置と絞り径から加工係数を読み出し、露光およびRAW−RGB12のSDRAM10への転送と平行して、読み出した加工係数より、基準補正テーブルを加工し、現在のズーム位置、及び絞り位置に応じた補正データを作成する。この加工では、1倍以下にならないようにする必要があるため、最小値128とし、128以下になった場合は、128に置き換えるリミット処理を行う。作成されたシェーディング補正データは、リサイズ部22で記録する主画像のサイズに合わせたサイズに変換する。なお、リサイズ部22でのサイズ拡大処理では、ローパスフィルタ処理を行っている。
撮影時は、主画像とサムネイル画像のYUVデータを作成する。これらをJEPG圧縮する前にシェーディング補正を行う。撮影モードが起動されると、CPU16はROM26から基準補正テーブルをSDRAM10に読み出す。操作部21より撮影開始指示が入力されると、AE処理により撮影時の絞り径が決定し、露光処理が開始される。CPU16は現在のズーム位置と絞り径から加工係数を読み出し、露光およびRAW−RGB12のSDRAM10への転送と平行して、読み出した加工係数より、基準補正テーブルを加工し、現在のズーム位置、及び絞り位置に応じた補正データを作成する。この加工では、1倍以下にならないようにする必要があるため、最小値128とし、128以下になった場合は、128に置き換えるリミット処理を行う。作成されたシェーディング補正データは、リサイズ部22で記録する主画像のサイズに合わせたサイズに変換する。なお、リサイズ部22でのサイズ拡大処理では、ローパスフィルタ処理を行っている。
300万画素の2048×1536で記録する場合は、補正テーブルも同じサイズに拡大する。CCDサイズが300万画素であっても、主画像記録サイズが640×480であれば、補正テーブルも640×480に拡大し、記録する主画像が作成されてからシェーディング補正を行う。シェーディング補正後のYUVデータを縮小してサムネイルを作成し、それぞれをJPEG圧縮して画像ファイルとして保存する。なお、ここではサムネイルサイズのシェーディング補正データから作成した主画像用の補正データにより、主画像に対してシェーディング補正後に、補正後の主画像からサムネイルを作成したが、主画像とサムネイルのそれぞれに対してシェーディング補正を実行してもよい。主画像を縮小してサムネイルを作成しないシステムにおいては、主画像は拡大したシェーディング補正データによって補正を実行し、サムネイルに対しては、拡大していないシェーディング補正データを乗算することでそれぞれの画像に対してシェーディング補正をするようにしてもよい。
以上のように、縮小した補正テーブルを持ち、それを拡大して利用することにより、次のような利点が得られる。
第1に、テーブル作成時にリサイズブロックで縮小を行う際に、ローパスフィルタ処理が行われるため、CCDの画素単位の感度差やノイズが平均化され、隣接する補正係数間の差による影響が少ない滑らかな係数テーブルを作成することができるため、ノイズや画素単位の感度差を排除した滑らかなテーブル作成が可能になる。また、シェーディング補正実行時に、同様にローパスフィルタ処理をすることで、より滑らかなシェーディング補正データとなり、画素単位の感度差の影響を受けないので、テーブル作成時の画素数と異なるサイズの画像に対して、同じテーブルを使うことができる。本実施形態では、ノイズや画素単位の感度差の排除として、ローパスフィルタ処理としたが、特に限定しなくてもよい。目的は光学特性以外のノイズを除去するものであるから、メディアンフィルタなどのフィルタ手段を使うことも可能である。
第1に、テーブル作成時にリサイズブロックで縮小を行う際に、ローパスフィルタ処理が行われるため、CCDの画素単位の感度差やノイズが平均化され、隣接する補正係数間の差による影響が少ない滑らかな係数テーブルを作成することができるため、ノイズや画素単位の感度差を排除した滑らかなテーブル作成が可能になる。また、シェーディング補正実行時に、同様にローパスフィルタ処理をすることで、より滑らかなシェーディング補正データとなり、画素単位の感度差の影響を受けないので、テーブル作成時の画素数と異なるサイズの画像に対して、同じテーブルを使うことができる。本実施形態では、ノイズや画素単位の感度差の排除として、ローパスフィルタ処理としたが、特に限定しなくてもよい。目的は光学特性以外のノイズを除去するものであるから、メディアンフィルタなどのフィルタ手段を使うことも可能である。
第2に、ROM26に持つべきテーブルサイズを小さくすることができる。ROM容量削減によるコストダウンをすることができる。
第3に、データ読み出し量を少なくすることができる。これは記録時の処理時間の短縮化を実現することができる。
第4に、ズーム位置や絞り径によって補正テーブルを加工するときのデータ量を少なくすることができる。計算量を少なくすることは処理高速化を実現できる。
第5に、記録画素数に合わせて補正量を変えることができる。毎回全画素に補正をする必要がないために記録画素数が少ないときは、補正時間を短くすることができる。
第3に、データ読み出し量を少なくすることができる。これは記録時の処理時間の短縮化を実現することができる。
第4に、ズーム位置や絞り径によって補正テーブルを加工するときのデータ量を少なくすることができる。計算量を少なくすることは処理高速化を実現できる。
第5に、記録画素数に合わせて補正量を変えることができる。毎回全画素に補正をする必要がないために記録画素数が少ないときは、補正時間を短くすることができる。
なお、本実施形態によるシェーディング補正データ作成処理をCPU16が実行するためのROM26に格納されるプログラムは本発明によるプログラムを構成する。このプログラムを記録する記録媒体としては、半導体記憶装置や光学的及び/又は磁気的な記憶装置等を用いることができる。このようなプログラム及び記録媒体を、前述した実施形態とは異なる構成のシステム等で用い、そこのCPUにより上記プログラムを実行させることにより、本発明と実質的に同じ効果を得ることができる。
3 CCD
7 フロントエンド
8 信号処理IC
10 SDRAM
11 プログラム部
16 CPU
21 操作部
22 リサイズ部
26 ROM
7 フロントエンド
8 信号処理IC
10 SDRAM
11 プログラム部
16 CPU
21 操作部
22 リサイズ部
26 ROM
Claims (13)
- 撮像素子から出力される撮像信号を輝度信号と色信号を有するカラー画像信号に変換して保存する撮像装置において、
前記カラー画像信号の画像を縮小する縮小手段と、
前記縮小した画像の画面内の最高輝度値と各画素の輝度との差、または前記縮小した画像の画面中央付近の平均輝度と各画素の輝度との差に基づいてシェーディング補正データを作成する作成手段と、
前記作成されたシェーディング補正データを記憶する記憶手段と、
前記記憶されたシェーディング補正データ用いてシェーディング補正を行う補正手段とを備えたことを特徴とする撮像装置。 - 前記作成手段は、前記カラー画像信号の輝度信号のみに対してシェーディング補正データを作成することを特徴とする請求項1記載の撮像装置。
- 前記作成手段は、前記カラー画像信号の輝度信号と色信号の両方に対してシェーディング補正データを作成することを特徴とする請求項1記載の撮像装置。
- 前記作成手段がシェーディング補正データを作成する前に前記均一輝度の下で被写体を撮影した画像に対して高周波成分除去フィルタ処理を行う低域透過フィルタ手段を備えたことを特徴とする請求項1から3のいずれか1項に記載の撮像装置。
- 均一輝度の被写体を撮影した画像を縮小した画像の画面内の最高輝度値と各画素の輝度との差、または前記縮小した画像の画面中央付近の平均輝度と各画素の輝度との差に基づいてシェーディング補正データを作成することを特徴とするシェーディング補正データ作成方法。
- 輝度信号のみに対してシェーディング補正データを作成することを特徴とする請求項5記載のシェーディング補正データ作成方法。
- 前記輝度信号と色信号に対してシェーディング補正データを作成することを特徴とする請求項5記載のシェーディング補正データ作成方法。
- カラー画像信号の輝度信号と色信号の両方に対してシェーディング補正データを生成するか、輝度信号のみに対してシェーディング補正データを生成するかを切り換えることが可能なことを特徴とする請求項5記載のシェーディング補正データ作成方法。
- 前記シェーディング補正データを作成する前に前記均一輝度被写体を撮影した画像に対して高周波成分除去フィルタ処理を行うことを特徴とする請求項5から8のいずれか1項に記載のシェーディング補正データ作成方法。
- 均一輝度の被写体を撮影する撮影処理と、
前記撮影処理で得られた画像を縮小する縮小処理と、
縮小処理で縮小した画像の画面内の最高輝度値と各画素の輝度との差、または前記縮小した画像の画面中央付近の平均輝度と各画素の輝度との差に基づいてシェーディング補正データを作成する作成処理と、
前記作成されたシェーディング補正データを記憶する記憶処理と、
前記記憶されたシェーディング補正データ用いてシェーディング補正を行う補正処理とをコンピュータに実行させるプログラム。 - 前記作成処理は、前記カラー画像信号の輝度信号のみに対してシェーディング補正データを作成することを特徴とする請求項10記載のプログラム。
- 前記作成手処理は、前記カラー画像信号の輝度信号と色信号に対してシェーディング補正データを作成することを特徴とする請求項10記載のプログラム。
- 前記作成処理によりシェーディング補正データを作成する前に、前記均一輝度の下で被写体を撮影した画像に対して高周波成分除去フィルタ処理を行うフィルタ処理をコンピュータに実行させる請求項10から12のいずれか1項に記載のプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005066365A JP2006253970A (ja) | 2005-03-09 | 2005-03-09 | 撮像装置、シェーディング補正データ作成方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005066365A JP2006253970A (ja) | 2005-03-09 | 2005-03-09 | 撮像装置、シェーディング補正データ作成方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006253970A true JP2006253970A (ja) | 2006-09-21 |
Family
ID=37093989
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005066365A Withdrawn JP2006253970A (ja) | 2005-03-09 | 2005-03-09 | 撮像装置、シェーディング補正データ作成方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006253970A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008275538A (ja) * | 2007-05-02 | 2008-11-13 | Olympus Corp | 三次元形状測定器及び試料画像構築装置 |
US8031935B2 (en) | 2006-03-20 | 2011-10-04 | Ricoh Company, Ltd. | Method for removing color noise and image-capturing device that uses this method |
JP2012090051A (ja) * | 2010-10-19 | 2012-05-10 | Sony Corp | 撮像装置及び撮像方法 |
US9661290B2 (en) | 2014-11-21 | 2017-05-23 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
JP2017139743A (ja) * | 2015-12-15 | 2017-08-10 | トムソン ライセンシングThomson Licensing | ライトフィールドカメラによって取り込まれたイメージに生じる口径食効果を補正する方法及び装置 |
-
2005
- 2005-03-09 JP JP2005066365A patent/JP2006253970A/ja not_active Withdrawn
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8031935B2 (en) | 2006-03-20 | 2011-10-04 | Ricoh Company, Ltd. | Method for removing color noise and image-capturing device that uses this method |
US8639027B2 (en) | 2006-03-20 | 2014-01-28 | Ricoh Company, Ltd. | Method for removing color noise and image-capturing device that uses this method |
JP2008275538A (ja) * | 2007-05-02 | 2008-11-13 | Olympus Corp | 三次元形状測定器及び試料画像構築装置 |
JP2012090051A (ja) * | 2010-10-19 | 2012-05-10 | Sony Corp | 撮像装置及び撮像方法 |
US9661290B2 (en) | 2014-11-21 | 2017-05-23 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
JP2017139743A (ja) * | 2015-12-15 | 2017-08-10 | トムソン ライセンシングThomson Licensing | ライトフィールドカメラによって取り込まれたイメージに生じる口径食効果を補正する方法及び装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4567593B2 (ja) | 撮像装置および撮影方法 | |
US8872937B2 (en) | Image capture apparatus and image capturing method | |
JP5123137B2 (ja) | 撮像装置および撮像方法 | |
JP5169318B2 (ja) | 撮像装置、撮像方法 | |
JP2010074813A (ja) | 撮像装置および撮像方法 | |
JP2007251860A (ja) | 画像データのカラーノイズ除去方法及びこの方法を用いた撮像装置 | |
JP3298545B2 (ja) | デジタルカメラ及び画像処理方法並びに記憶媒体 | |
JP4433883B2 (ja) | ホワイトバランス補正装置及びホワイトバランス補正方法、プログラム、電子カメラ装置 | |
JP5223686B2 (ja) | 撮像装置および撮像方法 | |
JP2006121613A (ja) | 撮像装置 | |
JP2004328117A (ja) | ディジタルカメラおよび撮像制御方法 | |
JP2008053931A (ja) | 撮像装置 | |
JPH11215426A (ja) | オートフォーカス装置 | |
JP5277863B2 (ja) | 撮像装置および撮像方法 | |
JP2010062802A (ja) | 撮像装置、撮像方法およびその方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP2006345388A (ja) | 撮像装置 | |
JP2006253970A (ja) | 撮像装置、シェーディング補正データ作成方法およびプログラム | |
US8503772B2 (en) | Image processing unit, image processing method, and device for adjusting tone of monotone images by reducing color as a function of brightness | |
JP2010068046A (ja) | 撮像装置 | |
JP4272566B2 (ja) | 広ダイナミックレンジ固体撮像素子の色シェーディング補正方法および固体撮像装置 | |
JP4705146B2 (ja) | 撮像装置及び撮像方法 | |
JP2019080261A (ja) | 撮像装置 | |
JP4335648B2 (ja) | デジタルカメラ及びデジタルカメラの撮像方法 | |
JP2007027984A (ja) | 撮影装置およびその制御方法 | |
JP2004145022A (ja) | デジタルカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080513 |