JP2012023537A - 撮像装置の調整方法及び撮像装置 - Google Patents

Abstract

【課題】メモリ容量を節約しつつ、画像処理にかかる時間を短縮できる撮像装置の調整方法及び撮像装置を提供する。
【解決手段】画素に対応づけて代表補正値を入力された補正部４は、かかる代表補正値を、当該画素からのデジタル画像信号に加算することにより補正を行い、新たな画像データを作成する。かかる画像データは、記憶部７に入力されて記憶され、或いは不図示の表示部に入力されて画像を表示するために用いられる。本発明によれば、メモリ６の容量が少なくて足り、また画像処理に必要な時間の短縮も行える。
【選択図】図１

Description

本発明は、固体撮像素子を備えた撮像装置の調整方法及び撮像装置に関するものである。

デジタルカメラなどの撮像装置には、入射光を電気信号に変換する複数の画素を有する撮像素子が備えられている。また近年では、複数種類の光電変換特性を有する撮像素子として、例えば、入射光量に基づいて入射光を電気信号に線形変換する線形変換動作と対数変換する対数変換動作とを切り換えるリニアログ変換型センサも提案されている。ところで、複数の画素を有する撮像素子では、画素ごとの感度の相違に起因して、出力にばらつきが生じるという問題がある。この画素ごとの感度の相違は、撮影画像において、ざらつきノイズとして現れることから、高画質化を実現するためには最も解決しなければならない問題の一つである。特に、リニアログ変換型センサは、複数種類の変換特性の切換点における出力信号値の画素ごとのばらつきが発生しやすく、かかる問題はより重要である。

これに対し、特許文献１には、均一光照射時の各画素毎の撮像データをメモリ（ＭＥＭ）に記憶し、補正演算回路（ＣＯＲ）が、実際の撮像時における各画素毎の撮像データからメモリ（ＭＥＭ）に記憶された均一光照射時の撮像データを減算することにより、各画素間の感度の不均一性を補正する技術が開示されている。

一方、特許文献２には、入力画像を複数ブロックに分割し、各ブロック毎に階調補正を行ない、各ブロック毎に階調補正された画像を合成して出力する技術が開示されている。

特開平５−３０３５０号公報 特開平１０−２６１０７７号公報

しかるに、特許文献１の技術によれば、全画素毎について均一光照射時の撮像データを予めメモリに記憶保持することが行われるが、高画質化に伴い画素数が増大した撮像素子では大容量のメモリが必要となり、大容量メモリの実装にはコストがかかるという問題がある。一方、特許文献２の技術によれば、１枚の画像を分割して階調補正した後、再度合成しなくてはならず、画像処理に時間がかかるという問題がある。

本発明は、上述の問題に鑑みてなされたものであり、メモリ容量を節約しつつ、画像処理にかかる時間を短縮できる撮像装置の調整方法及び撮像装置を提供することを目的とする。

本発明の撮像装置の調整方法は、被写体光を受光して画像信号に変換するＮ個の画素を備えた固体撮像素子と、前記画素から出力された画像信号を補正するために用いる、Ｍ個（但しＮ＞Ｍ）のグループの代表補正値を記憶する記憶手段と、前記記憶手段に記憶された補正データに基づいて、前記画素から出力された画像信号を補正する補正手段と、を有する撮像装置の調整方法であって、
前記固体撮像素子に均一光を入射させて、各画素からの画像信号を基準値に変換するための補正値をそれぞれ求めるステップと、
求めた補正値が前記グループのいずれに属するかを決定して、当該画素それぞれに対応づけて、決定されたグループを特定する情報を前記記憶手段に記憶するステップと、を有し、
被写体の撮影時には、前記補正手段が、或る画素から出力された画像信号については、当該画素に対応づけて記憶された前記グループを特定する情報に基づいて、前記情報により特定されるグループの代表補正値を前記記憶手段より読み出して、読み出された代表補正値を用いて補正するようになっていることを特徴とする。

本発明によれば、前記固体撮像素子に均一光を入射させて、各画素からの画像信号を基準値に変換するための補正値をそれぞれ求めるステップと、求めた補正値が前記グループのいずれに属するかを決定して、当該画素それぞれに対応づけて、決定されたグループを特定する情報を前記記憶手段に記憶するステップと、を有するので、被写体の撮影時には、前記補正手段が、或る画素から出力された画像信号については、当該画素に対応づけて記憶された前記グループを特定する情報に基づいて、前記情報により特定されるグループの代表補正値を前記記憶手段より読み出して、読み出された代表補正値を用いて補正することができ、これによりメモリ容量の低減を図ると共に、画像信号の補正処理にかかる時間を短縮することができる。

本発明の別な態様による撮像装置の調整方法において、前記固体撮像素子に異なる光量の均一光を入射させて、各画素からの画像信号を前記基準値に変換するための補正値をそれぞれ求めるので、入射光量に関わらず、適切に画像信号を補正することができる。

本発明の別な態様による撮像装置の調整方法において、前記固体撮像素子に入射させる均一光の光量は、前記画素の光電変換特性に応じて変化させるので、例えばリニアログ変換型センサのように、画素の光電変換特性が線形である線形領域と対数形である対数領域とを有する場合でも、例えば線形領域と対数領域との境界付近で、細かく均一光の光量を変化させて補正値を求めることができ、より高精度な補正処理を行うことができる。尚、リニアログ変換型センサは、例えば特開平０５―３０３５０号公報に記載されている。

本発明の別な態様による撮像装置の調整方法において、前記基準値は階調特性に関する値であると好ましいが、それに限られない。

本発明の別な態様による撮像装置の調整方法において、前記代表補正値は予め決定されていると好ましい。例えば、当該グループに含まれる補正値の範囲の中央値や、最大値、最小値でもよい。

本発明の別な態様による撮像装置の調整方法において、前記代表補正値は、同じグループに振り分けられた、各画素からの画像信号を基準値に変換するための補正値の平均値とすると好ましい。

本発明の別な態様による撮像装置の調整方法において、前記グループの数Ｍを、各画素からの画像信号を基準値に変換するための補正値の最小値と最大値の差に応じて変化させると、前記補正値の最小値と最大値の差が小さければグループ数を減らすことができるので、全体としての処理時間を短縮できる。

本発明の別な態様による撮像装置の調整方法において、前記グループの数Ｍは、前記固体撮像素子毎に異なると好ましい。

本発明の別な態様による撮像装置の調整方法において、前記補正値の最小値と最大値の差が所定値を超えたら、前記グループの数Ｍを一定とすると好ましい。

本発明の別な態様による撮像装置は、請求項１〜７のいずれかに記載の撮像装置の調整方法により調整される。

本実施の形態に係る撮像装置１のブロック図である。 画素毎に出力される画像信号と基準値との関係を示す図である。 リニアログ型センサの光電変換特性を示す図であり、縦軸が画像信号値、横軸が階調（入射光量）を示す。

以下、本発明にかかる実施の形態を、図面を参照して説明する。図１は、本実施の形態に係る撮像装置１の概略図である。撮像装置１は、複数の画素を含む固体撮像素子２、Ａ／Ｄ変換部３，補正手段である補正部４，補正データ読取部５，記憶手段としてのメモリ６，記憶部７、補正データ作成部８を有している。固体撮像素子２の画素は、マトリクス状に配置されているが、ここでは撮像面上の列の画素を左から右に数えるものとし、更に或る列の最後の画素に、次列の最初の画素を続けるようにして、全画素を１列に並び直して続き番号を付すものとする。即ち、2592×1944の画素を有する固体撮像素子２であると、各画素は撮像面左上の１番から右下の５０３８８４８番まで番号が付与されることとなる。

ここで、本実施の形態に係る撮像装置１の調整方法について述べる。Ｎ個の画素を有する固体撮像素子２におけるｉ（ｉ＝１，２，３，・・・、Ｎ）番目の画素から出力されたアナログ画像信号は、Ａ／Ｄ変換部３でデジタル画像信号に変換され、入射光量Ｌに比例した出力信号Ｖ（ｉ）を発生する。ここで、リニア型の固体撮像素子における画素が理想的な光電変換特性を有しているとすると、入射光量に対して出力が線形に変化するので、ａを比例定数として、以下の式で表せる。
Ｖ（ｉ）＝ａ・Ｌ

しかしながら、実際の固体撮像素子においては画素毎に特性のバラツキがあるので、同一入射光量Ｌに対してＶ（ｉ）は一定ではなく、基準となる均一光を入射した際に画素が出力するべき階調基準値Ｖｓに対してそれぞれ差異が生じる。そこで、例えば工場出荷時に、基準となる均一光を固体撮像素子２の撮像面に入射させて、画素毎に階調基準値Ｖｓに合わせるための補正値Ｖｃ（ｉ）を求める（図２参照）。尚、補正値Ｖｃ（ｉ）は、画素からのデジタル画像信号に加算する値でも良いし、積算する値でも良いが、ここでは加算する値として説明する。
Ｖｃ（ｉ）＝Ｖｓ−Ｖ（ｉ）

ところで、補正値Ｖｃ（ｉ）は実際の撮像時に用いられるものであるので、撮像時に任意に読み出せるように不揮発性メモリ等に記憶しておく必要があるが、かかる補正値Ｖｃ（ｉ）をそのまま記憶しようとすると、固体撮像素子２の画素数Ｎが５０３８８４８である場合、補正値Ｖｃ（ｉ）を十分な有効桁数で記憶する５０３８８４８個の格納場所が必要になり、よって大容量のメモリが必要になる。そこで、本実施の形態では、以下のようにしてメモリ容量を節約することとする。

ここで、説明を単純化するために、全範囲の階調において各画素の補正値が不変であるとする。まず、メモリ６においてファイル形式でＭ（例えば１０００）個の格納場所を設ける。次いで、経験或いはシミュレーションなどから、補正値Ｖｃ（ｉ）の最大値Ｖｍａｘと最小値Ｖｍｉｎの範囲を求め、これを等間隔に切り分けて所定数Ｍのグループに分割する。ここで、（Ｖｍａｘ−Ｖｍｉｎ）／Ｍ＝Ｒ（補正値のグループ間差に相当）とおくと、最も補正値の小さい第１グループにおける補正値の範囲は、Ｖｍｉｎから（Ｖｍｉｎ＋Ｒ）であり、次に補正値の小さい第２グループの補正値の範囲は、（Ｖｍｉｎ＋Ｒ）から（Ｖｍｉｎ＋２Ｒ）であり、・・・最も補正値の大きい第Ｍグループの補正値の範囲は、（Ｖｍｉｎ＋（Ｍ−１）Ｒ）からＶｍａｘである。更に、各グループの代表補正値として、各グループの画素の補正値の平均値を、予めメモリ６のＭ個の格納場所（第１メモリ部）にそれぞれ記憶しておく。

次に、工場出荷時などの初期段階において、均一光を固体撮像素子２に入射させると、固体撮像素子２は、各画素において受光量に応じたアナログ画像信号を出力（光電変換）する。このアナログ画像信号は、Ａ／Ｄ変換部３に入力されてデジタル画像信号に変換され、補正データ作成部８に入力される。補正データ作成部８は、ｉ（ｉは１〜Ｎの整数）番目の画素から出力されたデジタル画像信号と階調基準値Ｖｓとを比較して補正値Ｖｃ（ｉ）を画素毎に求め、補正値Ｖｃ（ｉ）がＧ（ｉ）番目のグループの補正値の範囲に属すると判断したら、メモリ６の格納場所（第２メモリ部）に、並び順でｉ番目にＧ（ｉ）を記憶する。（各画素からの画像信号を基準値に変換するための補正値をそれぞれ求めるステップ及び決定されたグループを特定する情報を記憶手段に記憶するステップ）。以上をまとめると、メモリ６内の第１メモリ部には、各グループの画素の補正値の平均値が記憶され、第２メモリ部には、画素の順序でグループ番号が記憶される。この場合、第２メモリ部内に記憶されたグループ番号の並び順自体が、各画素に対応してグループを特定する情報となる。従って、第２メモリ部においてｉ番目に記憶されたグループ番号Ｇ（ｉ）は、ｉ番目の画素に対応するグループの番号を示していることがわかる。これによりメモリ容量を大幅に削減できる。

本実施の形態によるデータ削減例を示す。サイズ640×480の画像に対し、本来は画素毎16ビットの補正データを持つ場合、データ総量は640×480×16ビットとなる。画素毎のデータ量は（640×480×16）/(640×480)=16ビットとなる。本実施の形態の方法により、グループの分割数を256とすると、各グループの補正値を記憶するメモリが256×16ビットとなり、各画素においてその画素がどのグループに所属するかを記憶するメモリは640×480×8となる。よって、画素毎のデータ量が(256×16+640×480×8＋8）/(640×480)=8.01ビットとなり、約半分まで削減することができる。

次に、本実施の形態にかかる撮像装置１の、被写体撮影動作について説明する。不図示のレンズを介して被写体光を撮像面に受光した固体撮像素子２は、各画素において受光量に応じたアナログ画像信号を出力（光電変換）する。このアナログ画像信号は、Ａ／Ｄ変換部３に入力されてデジタル画像信号に変換され、補正部４に入力される。

ここで補正部４は、画素によって適正値からばらついているデジタル画像信号を補正するために、補正値が必要になる。そこで補正部４は、補正データ読取部５に対して各画素毎の補正値を出力するように命令する。命令を受けた補正データ読取部５は、補正メモリ６の第２メモリ部内を検索して、全画素について画素番号ｉの画素に対応するグループＧ（ｉ）を直接求め、次いで求めた当該グループＧ（ｉ）の代表補正値を第１メモリ部から読み出し、全画素分の代表補正値を補正部４に入力する。

このようにして、各画素毎に対応づけて代表補正値を入力された補正部４は、かかる代表補正値を、当該画素からのデジタル画像信号に加算することにより補正を行い、新たな画像データを作成する。かかる画像データは、記憶部７に入力されて記憶され、或いは不図示の表示部に入力されて画像を表示するために用いられる。本実施の形態によれば、メモリ６の容量が少なくて足り、また画像処理に必要な時間の短縮も行える。

以上は、全範囲の階調において各画素の補正値が不変とした例であるが、一般的な撮像素子においては階調毎に各画素の補正値が変化することが多い。その対処は以下のようにして行える。工場出荷時などの初期段階において、異なる光量の均一光を固体撮像素子２に入射させて、階調をｋ（ｋ＝１，２，３・・・）段階に変えた状態での補正値を得る。更に補正データ作成部８は、上記と同様の処理を行い、階調毎に画素のグループ分けを行い、同様にメモリ６内の第１メモリ部には、各グループの画素の補正値の平均値を記憶し、第２メモリ部には、画素番号と階調の順序でグループ番号Ｇ（ｋ、ｉ）が記憶される。より具体的には、例えば８ビットの信号を用いる固体撮像素子２において、最大２５６階調を等間隔で１０段階（２５階調ずつ）に分けて異なる光量の均一光を入射させて補正値を求めるものとする。ここで、第２メモリ部において、最初の記憶位置をカウント１として、第１階調段階における１〜Ｎ番目の画素のグループ番号が連続して記憶され、続けて第２階調段階における１〜Ｎ番目の画素のグループ番号が連続して記憶され、・・・続けて第１０階調段階における１〜Ｎ番目の画素のグループ番号が連続して記憶される。これは、第２のメモリ部における、カウント１から（１０×Ｎ）まで連番が付された記憶位置に、所定の順序で並んだ画素番号と階調とに対応するグループ番号が順次記憶されたことを意味するので、並べられた順序での画素番号及び階調とカウント番号との関係から、任意の階調における任意の画素番号に対応する画素のグループ番号を直ちに読み出すことができる。但し、第２メモリ部には、カウント１の位置から、１番目の画素について１〜１０階調段階に対応するグループ番号を連続して記憶し、続けて２番目の画素について１〜１０階調段階に対応するグループ番号を連続して記憶し、・・・続けてＮ番目の画素について１〜１０階調段階に対応するグループ番号を連続して記憶しても同様である。以上によりメモリ６内にＮ×１０個の格納場所が必要になるが、その場合でも記憶容量は十分少ない。尚、隣接する階調間の値は補間によって求めても良い。

図１を参照し、実際の撮像において、アナログ画像信号がＡ／Ｄ変換部３に入力されてデジタル画像信号に変換され、補正部４に入力されたとき、補正部４は、実際の階調情報（階調ｋ）を補正データ読取部５に入力して、各画素毎の補正値を出力するように命令する。命令を受けた補正データ読取部５は、メモリ６の第２メモリ部内を検索して、全画素について、実際の階調ｋにおける画素ｉに対応するグループＧ（ｋ、ｉ）を直接求め、次いで求めた当該グループＧ（ｋ、ｉ）の代表補正値（平均値）を第１メモリ部から読み出し、全画素分の代表補正値を補正部４に入力する。それ以外は、上述の実施の形態と同様である。

更に、以上の実施の形態においてグループ数Ｍを固定としたが、可変としても良い。固体撮像素子２の個体差により画素の光電変換特性が異なるため、（最大値Ｖｍａｘ−最小値Ｖｍｉｎ）の変動幅も異なる。そこで、各固体撮像素子２について、均一光入射時における階調基準値Ｖｓとの差の最大値Ｖｍａｘと最小値Ｖｍｉｎとを求め、更に最大値Ｖｍａｘと最小値Ｖｍｉｎとの差を求めて、その差に応じてグループ数Ｍを可変とすることができる。例えば、（最大値Ｖｍａｘ−最小値Ｖｍｉｎ）＝１００００なら、Ｍ＝１００グループとし、（最大値Ｖｍａｘ−最小値Ｖｍｉｎ）＝５０００なら、Ｍ＝５０グループとする。このように、グループ数Ｍを（最大値Ｖｍａｘ−最小値Ｖｍｉｎ）により設定することで、（最大値Ｖｍａｘ−最小値Ｖｍｉｎ）が小さい場合は、グループ数Ｍを少なくでき、メモリ６内で検索しなければならない情報が整理され、処理時間が短縮になり、電力消費を少なくすることができる。例えば、８ビットの信号処理回路において、補正データの個数が２５６いわゆる８ビットの場合に比べ、補正データの個数が１６いわゆる４ビットの場合、１回で２つの補正データを読み込むことができるので、処理時間が半分になる。それにより、固体撮像素子２の処理時間短縮と電力消費節約は，共通する製品全体の平均処理時問と消費電力を低減させることができ、製品の品質向上を実現することができる。但し、８ビットの信号処理回路における記憶容量の都合上、グループ数は２５６（所定値の一例）を上限とするのが好ましい。従って、上述の例で（最大値Ｖｍａｘ−最小値Ｖｍｉｎ）≧２５６００の場合には、Ｍ＝２５６グループとして一定の数とする。

ところで、以上の実施の形態では、固体撮像素子２は、入射光の光量に対して画素から出力される画像信号が線形に変化するリニア型センサであったが、リニアログ型センサの場合には、入射光の光量に対して画素から出力される画像信号が線形に変化する線形領域と対数形に変化する対数領域とを有するから、グループ間の補正値の差をどのように確保するかが課題となる。即ち、リニアログ型センサにおいて、上述のようにグループ間の補正値の差を一定にすると、特に線形領域と対数領域の境界部にて、画素のバラツキが大きく、適切な補正を行えない恐れがある。

そこで、本実施の形態の変形例としては、リニアログ型センサにおいてはグループ間の補正値の差を可変とすることができる。具体的には、リニアログ型センサの光電変換特性を示す図３において、線形領域（〜グループＬ）においては、均一光の変化量を比較的大きな量とし、グループ間の補正値の差をΔ１とする。一方、線形領域と対数領域との間に境界部（グループＬ〜グループ（Ｌ＋３））になったら、均一光の変化量を比較的大きな量とし、グループ間の補正値の差をΔ２（＜Δ１）とする。更に、対数領域（グループ（Ｌ＋３）〜）になったら、均一光の変化量を大きな量とし、グループ間の補正値の差をΔ３（＞Δ２）とする。これにより、特にリニアログ型センサにおいて、光電変換特性が比較的不安定な境界部付近の光量の入射光を受光した場合でも、適正な補正を行うことができる。境界部か否かは、リニアログ型センサの特性でわかる。

尚、本変形例では境界部において４通りに均一光の光量を変化させて、４セットの画像信号を取得しているが、更にこの画像信号を補間処理（平均値をとるなど）することで、例えば、グループＬとグループ（Ｌ＋１）との間に１つのグループ、グループ（Ｌ＋１）とグループ（Ｌ＋２）との間に１つのグループ、グループ（Ｌ＋２）とグループ（Ｌ＋３）との間に１つのグループと、グループ数を増大させてメモリ６に記憶することで、より高精度な補正を行うこともできる。

本発明は、明細書に記載の実施形態に限定されるものではなく、他の実施形態・変形例を含むことは、本明細書に記載された実施形態や思想から本分野の当業者にとって明らかである。明細書の記載及び実施形態は、あくまでも例証を目的としており、本発明の範囲は後述する請求項によって示されている。

１ 撮像装置
２ 固体撮像素子
３ Ａ／Ｄ変換部
４ 補正部
５ 補正データ読取部
６ メモリ
７ 記憶部
８ 補正データ作成部

Claims (10)

1. 被写体光を受光して画像信号に変換するＮ個の画素を備えた固体撮像素子と、前記画素から出力された画像信号を補正するために用いる、Ｍ個（但しＮ＞Ｍ）のグループの代表補正値を記憶する記憶手段と、前記記憶手段に記憶された補正データに基づいて、前記画素から出力された画像信号を補正する補正手段と、を有する撮像装置の調整方法であって、
   前記固体撮像素子に均一光を入射させて、各画素からの画像信号を基準値に変換するための補正値をそれぞれ求めるステップと、
   求めた補正値が前記グループのいずれに属するかを決定して、当該画素それぞれに対応づけて、決定されたグループを特定する情報を前記記憶手段に記憶するステップと、を有し、
   被写体の撮影時には、前記補正手段が、或る画素から出力された画像信号については、当該画素に対応づけて記憶された前記グループを特定する情報に基づいて、前記情報により特定されるグループの代表補正値を前記記憶手段より読み出して、読み出された代表補正値を用いて補正するようになっていることを特徴とする撮像装置の調整方法。
2. 前記固体撮像素子に異なる光量の均一光を入射させて、各画素からの画像信号を前記基準値に変換するための補正値をそれぞれ求めることを特徴とする請求項１に記載の撮像装置の調整方法。
3. 前記固体撮像素子に入射させる均一光の光量は、前記画素の光電変換特性に応じて変化させることを特徴とする請求項１又は２に記載の撮像装置の調整方法。
4. 前記基準値は階調特性に関する値であることを特徴とする請求項１〜３のいずれかに記載の撮像装置の調整方法。
5. 前記代表補正値は予め決定されていることを特徴とする請求項１〜４のいずれかに記載の撮像装置の調整方法。
6. 前記代表補正値は、同じグループに振り分けられた、各画素からの画像信号を基準値に変換するための補正値の平均値とすることを特徴とする請求項１〜４のいずれかに記載の撮像装置の調整方法。
7. 前記グループの数Ｍを、各画素からの画像信号を基準値に変換するための補正値の最小値と最大値の差に応じて変化させることを特徴とする請求項１〜６のいずれかに記載の撮像装置の調整方法。
8. 前記グループの数Ｍは、前記固体撮像素子毎に異なることを特徴とする請求項７に記載の撮像装置の調整方法。
9. 前記補正値の最小値と最大値の差が所定値を超えたら、前記グループの数Ｍを一定とすることを特徴とする請求項７又は８に記載の撮像装置の調整方法。
10. 請求項１〜９のいずれかに記載の撮像装置の調整方法により調整されたことを特徴とする撮像装置。

Images