JP2009267639A - 撮像装置 - Google Patents

Abstract

【課題】ＣＣＤ読出し信号に現れる周期的なレベル低下を補正する。
【解決手段】
画素周辺記録型ＣＣＤ撮像素子を有し、１垂直ラインもしくは水平ライン分の画素を不連続なタイミングで読出す撮像装置において、不連続箇所に相当する初段読出し画素のタイミングに応じてパルスを出力するタイミングジェネレータと、デジタル化された前記初段読出し画素の値を入力され、テーブルを用いて補正した画素の値を出力する補正手段と、前記パルスが無いときは前記補正手段で補正する前の画素の値を選択し、前記パルスが出力されたときに、前記補正した画素の値を選択して出力するセレクタと、を備えた。なお、前記補正手段は、入力された画素の値を右ビットシフトした値をアドレスとしてテーブルから読み出したゲインを、前記入力された画素の値に乗算することで、前記補正した値を得るようにしてもよい。
【選択図】 図４

Description

本発明は撮影装置に係り、特に１画面を分割して並列読み出しを行うＣＣＤ（Charge Coupled Device）撮像素子を用いた場合に好適な撮影装置に関する。

一般的なＣＣＤ撮像素子は、垂直及び水平方向に周期的に配置されたフォトダイオード（ＰＤ）と、水平方向のＰＤ数と同数の垂直転送路と、各垂直転送路から受け取った電荷を転送する１〜２本の水平転送路と、を有している。水平転送路を２本用いる場合、水平転送路を垂直転送路と交互に接続し、水平転送路が１本のときの半分の速度で水平転送を行い、その出力を再び１本に纏めれば、通常のラスタスキャンの映像信号が得られる。

１画面（１フレーム）を構成する全てのＰＤ（画素）の電荷を取り出すためには、各水平転送路において、１フレーム時間内に水平ＰＤ数／水平転送路数に相当する回数の転送を行う必要がある。転送速度を下げるために、図１に示すように画面を水平方向に１６分割してそれぞれにおいて水平転送を行い、その出力を並列に出力する手法が知られる。この場合、並列出力された信号はそれぞれＡ／Ｄ変換されて記録される。少なくとも再生時までに１画面に合成されればよい。

更に高速（例えば１００万枚／秒）の連続撮影を行う場合、垂直転送速度自体が制約になる。そのような用途のために、１画素毎にＣＣＤやキャパシタ等のメモリ手段を設けた画素周辺記録型撮像素子が知られる（例えば特許文献１乃至２参照。）。そのような画素周辺記録型撮像素子では一例として、あるＰＤから伸びる６０段のＣＣＤの先が、一列隣で６つ下のＰＤのＣＣＤの入力端に接続されている。すなわちこの６０段ＣＣＤは、周辺記録素子と垂直転送手段とを兼ねており、ＰＤからの電荷が下斜め方向に転送される。そして画素エリアの下端では６本の６０段ＣＣＤの出力端が６段の垂直転送ＣＣＤに接続され、更にその出力が水平転送ＣＣＤに接続される。あるいは、６０段ＣＣＤを縦続接続する替わりに、通常の垂直転送路を備えたものもある。

画素周辺記録型撮像素子では、超高速の連続撮影が可能なものの、連続撮影枚数は画素周辺記録の容量で制限され、例えば６０フレーム程度である。そのため、上述の１６分割並列読み出しと組み合わせ、連続１４４枚の超高速連続撮影と、永続的な１０００枚／秒程度の高速度撮影の両方を可能にしたカメラが知られる（例えば非特許文献１参照。）。

上記の他、本発明に関連する技術として、単板カメラにおいてＡ／Ｄ変換前の可変利得増幅器に画素の色に応じて時分割にゲイン調整をするものが知られる。切替えられるピクセルゲインは固定値であり、補正される画素値に応じて変化するものではない。

米国特許第５３５５１６５号明細書 特開２０００−１６５７５０号公報 北村和也、外１０名，「３０万画素超高速度高感度カメラ」，高速度撮影とフォトニクスに関する総合シンポジウム２００５，2-1（2005）、インターネット＜URL：http://mars.rist.u-tokai.ac.jp/2-1.pdf＞

しかしながら、非特許文献１のような分割並列読み出しを行うと、合成後の画像には、図８に示すような水平または垂直方向に分割数に応じた周期的な黒点（レベルが低い点）が現れるという問題がある。これは画面分割により水平転送が不連続になり、各水平転送の最初の転送において、ＣＣＤ駆動波形不良による電荷転送漏れ等が起こることが原因の一つと考えられる。分割並列読み出しを行わない通常のＣＣＤ撮像素子であれば、所望の画素数より若干多い画素を備えておき、最初の水平転送電荷を捨ててしまえば済むが、その方法は、分割並列読み出しでは画面合成が不連続になってしまうため採用できない。

本発明の撮像装置は、撮像素子を有し、１垂直ラインもしくは水平ライン分の画素を不連続に読出す撮像装置において、
撮像素子から読み出した信号をデジタル化するＡ／Ｄ変換器と、
前記撮像素子が有する所定の複数画素の読出しタイミングに応じてパルスを出力するタイミングジェネレータと、
デジタル化された前記所定の複数画素の値を入力され、テーブルを用いて補正した画素の値を出力する補正手段と、
前記パルスが無いときは前記補正手段で補正する前の画素の値を選択し、前記パルスが出力されたときに、前記補正した画素の値を選択して出力するセレクタと、を備えた。

また上記の撮像装置において、前記撮像素子は、画素周辺記録型ＣＣＤ撮像素子であって、
前記既知の複数画素は、前記不連続な読み出しの先頭に当る画素であり、
前記補正手段は、入力された画素の値を右ビットシフトした値をアドレスとしてテーブルから読み出したゲインを、前記入力された画素の値に乗算することで、前記補正した値とする。

本発明によれば、リアルタイム処理で、黒点の補正を行うことができるので、１０００枚／秒程度の高速撮影後直ちに補正された映像を利用することができる。

発明の実施例に係る高速撮影装置は、要約すれば、黒点のレベル低下を補正するための共通のテーブルを１つあるいは並列読み出しの分割数だけ設け、既知の位置に発生する黒点の画素信号に対してテーブルに基づく補正を行うものである。テーブルは、レベル低下した画素の輝度値（全て）と、補正後の輝度値とを対応付けるもの（実施例１）と、レベル低下した画素の輝度値（代表値）と、当該輝度値に乗算すべきゲイン値とを対応付けるもの（実施例２）とがあるが、後者の方がテーブルサイズを小さくできる点では望ましい。

図１は、本例が前提とするＣＣＤ撮像素子の分割並列読出しの模式図である。すなわち分割並列読出しに関しては従来と同様、水平方向に１６分割された水平転送ＣＣＤが、それぞれ別個に水平転送を行う。分割されるのは水平転送だけで、画素エリアの構造は基本的には連続している。
水平（若しくは垂直）転送が断続的に行われるために、連続して出力される単位は４５０画素となっており、その先頭の初段読出し画素だけ、他の画素とゲインが異なっている。取り出された電荷は電荷電圧変換増幅器により電圧に変換され、ｃｈ１〜１６の信号として出力される。その後フロントエンド部（図示せず）においてＣＤＳ（Correlation Double Sampling）、可変利得増幅、Ａ／Ｄ変換される。

図２は、本例の高速撮影装置に用いるテーブル（ＬＵＴ：ルックアップテーブル）を作成する際のセットアップ図である。シェーディング補正を行うときと同様、撮像部にレンズを装着した状態で均一光源を撮影し、ＲＡＷデータ（ブラックシェーディング以外の補正がかかっていないＡ／Ｄ変換した直後のデータ）をパソコンに取り込む。本例の場合、後述するように光源の照度を細かく変えながらＲＡＷデータを取り込みを繰り返えす。

図３は、ＬＵＴの生成方法を示す概念図である。仮にシェーディングが残っていたり、光源の照度が時間的に変化していたとしても、同時刻に露光された隣接画素同士ではその輝度値はほぼ同じになるはずである。また、黒点におけるレベル低下は、垂直方向に並ぶ黒点に対しては同様に起こるはずであるから、補正テーブルは共通にできる。
したがって、初段読出し画素(１)の値をアドレスとし、隣接する画素(２)の値を書き込んで、順次テーブルを埋めていくことで補正テーブルを作成できる。同じアドレスに対し複数回データ得られた場合は、それらの平均を用いるとよい。光源の照度を変化させながらデータを取得しても、テーブルには空きが生じるので、その部分は直線近似により生成する。あるいはテーブル値が滑らかになるように全体的にフィッティングしなおしても良い。

上述の補正は、現画素の値のみを参照する（引き数とする）ＬＵＴである。そのほか、現画素及び前画素の値を参照する方法や、現画素とその前後の画素の値を参照する方法があり、それぞれ以下の式で表される。

現画素のみ参照するＬＵＴ
式１： 出力データ＝ＬＵＴ_{_1}［現画素値］

前、現画素のみ参照するＬＵＴ
式２： 出力データ＝ＬＵＴ_{_2}［前画素値，現画素値］

前、現、後画素のみ参照するＬＵＴ
式３： 出力データ＝ＬＵＴ_{_3}［前画素値，現画素値，後画素値］

前画素の値を参照することで、黒点の発生原因に前画素のレベルの影響を受ける要素（電荷の転送漏れ等）が含まれていても正確に補正できる。更に後画素の値も参照することで、シェーディング、グルーミング等があっても補正できるようになる。このような多次元のＬＵＴを作成する方法として、まず均一光源時のデータを取得し、それを元に所定のモデルで出力データを拡張生成する方法がある。あるいは、照度Ｌを変えながら点光源をスキャン撮影し、点光源が黒点に入射したときに得られる黒点および前後の３画素の値のセット[Ｉ_B，Ｉ_{pre_B}，Ｉ_{post_B}]_ＬBを測定し、同様に黒点の前、後画素に入射したときの３画素の値のセット[Ｉ_B，Ｉ_{pre_B}，Ｉ_{post_B}]_{Ｌpre_B}、[Ｉ_B，Ｉ_{pre_B}，Ｉ_{post_B}]_{Ｌpost_B}を測定しておく（Ｌ_Bは黒点入射照度を意味する）。そして、ＬＵＴ_{_3}の任意のアドレス値[Ｉ_B，Ｉ_{pre_B}，Ｉ_{post_B}]に対し、そのアドレスに最も近い値を与える[Ｉ_B，Ｉ_{pre_B}，Ｉ_{post_B}]_ＬB＋[Ｉ_B，Ｉ_{pre_B}，Ｉ_{post_B}]_{Ｌpost_B}＋[Ｉ_B，Ｉ_{pre_B}，Ｉ_{post_B}]_{Ｌpost_B}の組み合わせを探し、そのときの黒点入射照度Ｌ_Bをテーブルの出力データとするようにしてもよい。

図４は、本例の高速撮影装置の黒点補正回路のブロック図である。
Ａ／Ｄ変換器１は、フロントエンド部で処理されたアナログ信号をＡ／Ｄ変換してＲＡＷデータを出力する。
ＴＧ（タイミングジェネレータ）２は、基準クロック（図示せず）を入力され、水平カウンタや垂直カウンタを所定のタイミングで動作させることで、水平クロック、垂直クロックなどのＣＣＤ駆動パルスや、リセットゲート信号、その他必要な信号（電子シャッタ信号等）をＣＣＤ撮像素子に出力する。また、黒点の生じる画素の水平及び垂直カウント値を記憶もしくは生成する黒点アドレス生成手段と、水平カウンタや垂直カウンタの値を黒点アドレス生成手段と比較して一致したときにパルスを出力する比較器を有する。

ＬＵＴ３は、上述したようにＲａｗデータの現画素値（及び前、後画素値）に対応する出力データを記憶しており、Ｒａｗデータを入力されて、対応する出力データを出力する。
ＳＥＬ（セレクタ）４は、ＴＧ２からのパルスが無い時は、ＬＵＴ３に入力されるものと同じＲａｗデータをそのまま出力し、パルスがあるときは、ＬＵＴ３からの出力データを出力する。すなわち、パルスがあるときだけ、ＲａｗデータがＬＵＴ３からの出力データに差し替えられることによって、黒点のレベルは補正されたものになる。
これらＴＧ２からＳＥＬ４はＦＰＧＡ（Field Programmable Gate Array）などのハードウェアロジックにより実現され、リアルタイムに（撮像素子の読出し速度と同じ速さで）処理される。

その後、必要に応じて白キズ（白点）、ゲインシェーディング、スミア、ガンマなどの補正が為され、高速撮影装置内部若しくは外部のメモリに記録される。なおガンマ補正後、ビット数が（Ａ／Ｄ変換時より）削減されたり、画像圧縮されて記録されることもある。
これらの補正処理は、黒点補正も含め、順番を入れ替えてもよい。また、高速処理のために１６分割した画面毎に別体のハードウェアで並列に行ってもよい。その際、ＬＵＴ３を分割画面数だけ設け、その内容も個々に生成する（出力データは異なりうる）ようにしてもよい。

黒点におけるレベル低下は、読出し速度などの諸環境に依存すると考えられるので、インターフェース手段を設けて、ＬＵＴ３の内容をパソコンから書き換えられるようにすれば、ＬＵＴ３の大容量化を防ぐことができる。

本例に拠れば、ＬＵＴ３と簡単な回路の追加だけで、黒点のレベルを正常値に補正することができる。また、ＬＵＴ３を多次元にすれば、より正確な補正ができ、画面を合成したときの繋ぎ目をより目立たなくすることができる。

図５は、本例の高速撮影装置の黒点補正回路のブロック図である。本例の黒点補正回路は、ＬＵＴが記憶する補正ゲインをＲａｗデータに乗算して出力する乗算器２３を備えた点などで実施例１（図４）と異なる。
ビットシフト２１は、入力されたＲａｗデータを右ビットシフトして下位ビットを除去することで、ビット数を減らしたアドレスをＬＵＴ２２に出力する。

ＬＵＴ２２は、補正後のデータそのものの替わりに、補正に用いるゲインをアドレスに対応付けて記憶している。ＬＵＴ２２はＬＵＴ３に比べ少ないアドレス空間で実現できる。

乗算器２３は、入力されたＲａｗデータと、ＬＵＴ２２が出力する補正ゲインとを乗算して、ＳＥＬ４に出力する。乗算器２３の出力するデータは以下の式で表される。
式４： 出力データ＝現画素値 × ＬＵＴ_{_4}［現画素値／Ｔ］
ただしＴはテーブルの区切り数であり、２ⁿ（ｎはビットシフト２１における右ビットシフト数）に相当する。
ＴＧ２、ＳＥＬ４は先の実施例１と同一である。

図６は、本例の高速撮影装置のＬＵＴ２２の生成方法を示す概念図である。初段読出し画素(１)の値をアドレスとし、画素（１）に隣接する画素(２)を画素（１）で除算した値を書き込んで、順次テーブルを埋めていく。ビットシフトによりアドレス空間が縮小しているので、全てのアドレスに対するデータを直接得ることも可能である。複数回データ得られた場合は、それらの平均を用いるとよい。また実施例１同様、多次元ＬＵＴにすることもできる。すなわち、ＬＵＴ３が格納していた出力データをそのアドレスで除算した値を格納すればよい。

本例に拠れば、ＬＵＴ２２はＬＵＴ３に比べ少ないアドレス空間で実現できる。

図７は、本例の高速撮影装置の黒点補正回路のブロック図である。本例の黒点補正回路は、ＣＣＤ撮像素子の読出し速度（クロック周波数）に応じた係数を更に乗算するようにした点で実施例１と異なる。すなわち、読出し速度を変更すると黒点におけるレベル低下の度合いも変化するので、例えば代表的な画素値における読出し速度依存性を測定してテーブル化しておき、黒点の画素値全範囲に共通に適用する。なお読出し速度に限らず、複数の読出しモード（加算読出しの有無なども含む）がある撮像素子であれば、それらのモードついてテーブル化することもできる。

以上説明した実施例１乃至３は、１垂直ラインもしくは水平ライン分の画素の読出し（タイミング）に不連続性を伴う、あるいはその他の原因で間欠的な画素のレベル低下が生じるような各種の撮像素子（ＣＭＯＳ等、ＣＣＤ以外も含む）に適用することができる。なお画素周辺記録型撮像素子の種類によっては、出現する黒点の並びが周期的に１列ずつずれて水平、垂直から僅かに傾く場合がある。また、水平転送路から連続的に読み出せる画素の並びが単純に水平方向でなく、時間方向、垂直方向が組み合わさっている場合がある。その場合、黒点が水平転送に起因するものであれば、あくまでも読出し時の隣接画素をＬＵＴの参照に使えばよく、垂直転送に起因するものであれば、そのときの隣接画素を使う必要がある。

高速カメラに限らず、複数の出力を持つ撮像素子、複数の撮像素子を併設して画素数を増した所謂貼り合わせ撮像装置に利用することができる。例えば産業用高速度カメラ、スーパＨＤカメラ（高精細カメラ）などに好適である。

従来及び本発明の各実施例に係るＣＣＤ撮像素子の分割並列読出しの模式図 各実施例の高速撮影装置に用いるＬＵＴを作成する際のセットアップ図 実施例１の高速撮影装置のＬＵＴ３の生成方法を示す概念図 実施例１の高速撮影装置の黒点補正回路のブロック図 実施例２の高速撮影装置の黒点補正回路のブロック図 実施例２の高速撮影装置のＬＵＴ２２の生成方法 実施例２の高速撮影装置の黒点補正回路のブロック図 従来の分割並列読出しに伴う周期的な黒点が現れた映像出力例

符号の説明

１…Ａ／Ｄ変換器
２…ＴＧ（タイミングジェネレータ）
３、２２、２４…ＬＵＴ（ルックアップテーブル）
４…ＳＥＬ（セレクタ）
２１…ビットシフト
２３、２５…乗算器

Claims (2)

1. 撮像素子を有し、１垂直ラインもしくは水平ライン分の画素を不連続に読出す撮像装置において、
   撮像素子から読み出した信号をデジタル化するＡ／Ｄ変換器と、
   前記撮像素子が有する所定の複数画素の読出しタイミングに応じてパルスを出力するタイミングジェネレータと、
   デジタル化された前記所定の複数画素の値を入力され、テーブルを用いて補正した画素の値を出力する補正手段と、
   前記パルスが無いときは前記補正手段で補正する前の画素の値を選択し、前記パルスが出力されたときに、前記補正した画素の値を選択して出力するセレクタと、を備えた撮像装置。
2. 前記撮像素子は、画素周辺記録型ＣＣＤ撮像素子であって、
   前記既知の複数画素は、前記不連続な読み出しの先頭に当る画素であり、
   前記補正手段は、入力された画素の値を右ビットシフトした値をアドレスとしてテーブルから読み出したゲインを、前記入力された画素の値に乗算することで、前記補正した値とすることを特徴とする、請求項１記載の撮像装置。

Images