JP2006254291A - 撮像装置及び画像処理システム - Google Patents

Abstract

【課題】 被写体の細部における輝度の小さな変化を鮮明に撮像する。また、撮像装置の外部に接続された、非同期に動作する装置における信号処理に適したデータを生成することができるようにする。
【解決手段】 固体撮像素子（４）からの撮像信号を増幅し（５）、Ａ／Ｄ変換し（６）た後、階調変換し（７）、ヘッダ情報を挿入し（１３）、インターフェース手段（１３）を介して外部の画像信号処理手段（９）に送信する。画像信号処理手段（９）における撮像信号のレベルに基づいて、露出量を調整するとともに、ヘッダ情報挿入手段で挿入されるヘッダ情報の内容を決定する（８）。
【選択図】 図１

Description

本発明は、電子カメラのような撮像装置に関し、特に、指紋や血管のパターンなど、画像の細部における輝度の小さな変化を検出するのに用いられる撮像装置に関し、特にそのような撮像装置における露出量および階調変換特性の制御に関する。本発明はまた撮像装置を含む画像処理システムに関する。

従来の撮像装置の露出制御として、映像信号の積算値を一定レベルに近づけるように比較回路を用いて比較回路の比較結果により露出調整を行うＴＴＬ（Ｔｈｒｏｕｇｈ Ｔｈｅ Ｌｅｎｓ）測光を実現したものがある（例えば、特許文献１参照）。

特公平５−３７５９５号公報（第５頁、第１図）

しかしながら、従来の露出制御では、被写体の細部における輝度の小さな変化を鮮明に撮像することができないという問題があった。

さらに撮像装置の外部に接続された、非同期に動作する装置における信号処理に適したデータを生成することができないという問題があった。

本発明は、被写体からの撮像光を画素ごとに光電変換して撮像信号を生成する固体撮像素子と、前記固体撮像素子からの撮像信号を増幅する増幅手段と、前記増幅手段の出力をアナログ−ディジタル変換してディジタル撮像信号を出力するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段の出力を階調変換する階調変換手段と、前記階調変換手段から出力される階調変換された撮像信号にヘッダ情報を挿入するヘッダ挿入手段と、前記ヘッダが挿入された撮像信号を外部の画像信号処理手段へ送信し、前記外部の画像信号処理手段で処理された撮像信号のレベルを示す信号を受信して前記制御手段に供給するインターフェース手段と、前記外部の画像信号処理手段で処理された撮像信号のレベルに応じて、前記固体撮像素子の電荷蓄積時間と前記増幅手段の利得の積に比例した露出量を調整するとともに、前記ヘッダ情報挿入手段で挿入されるヘッダ情報の内容を決定する制御手段とを有する撮像装置を提供する。

本発明によれば、被写体の細部における輝度の小さな変化を鮮明に撮像することができる。

さらに、撮像装置の外部に接続された、非同期に動作する装置における信号処理に適したデータを生成することができる。

実施の形態１．
図１は、この発明の実施の形態１の撮像装置の構成を示すブロック図である。図示の撮像装置は、被写体３が指であり、指を背後から照明して、その指紋パターンを示す画像を生成するのに適したものであり、光源駆動手段１と、光源２と、固体撮像素子４と、前置増幅器５と、Ａ／Ｄ変換手段６と、階調変換手段７と、制御手段８と、ヘッダ挿入手段１３と、インターフェース手段１４とを備えている。
インターフェース手段１４は、外部の画像信号処理手段９に接続されている。

光源２は例えばＬＥＤ（発光ダイオード）で構成され、被写体３として指に対し背後から照明光を当てる。
光源駆動手段１は、光源２を駆動するもので、駆動電流の調整により光源２の光量が制御される。光源駆動手段１の駆動電流は、制御手段８により制御される。
固体撮像素子４は、被写体３からの透過光を受け、入射した光を画素ごとに光電変換して、撮像信号Ｓｓ（「固体撮像素子出力」と呼ぶことがある）を出力する。

固体撮像素子４は、図２に示すように２次元的に、即ち、水平方向Ｈ、垂直方向Ｖに配列された複数の画素を構成する光電変換素子を有し、各光電変換素子からは、入射光の光量に応じた大きさのアナログ撮像信号が出力される。固体撮像素子４からの信号の出力は、各水平ラインに沿う、水平方向に並んだ画素ごとに順次出力される。

固体撮像素子４は例えばＣＣＤ撮像素子であり、その光電荷蓄積時間の制御及び蓄積された電荷の取出しのタイミングの制御により、シャッター速度及びシャッターの開閉に相当する制御を行うことができる。そのため、固体撮像素子４に対する電荷蓄積時間の制御を電子シャッター機能と呼ぶことがある。本実施の形態では、制御手段８により、電荷蓄積時間の制御が行われる。

前置増幅器５は、固体撮像素子４の撮像出力を増幅して、出力信号Ｓｇ（「前置増幅器出力」と呼ぶことがある）を出力する。前置増幅器５の増幅利得は制御手段８により制御される。
Ａ／Ｄ変換手段６は、前置増幅器５の出力をＡ／Ｄ（アナログ−ディジタル）変換して、ディジタル撮像信号Ｓｆ（「Ａ／Ｄ出力」と呼ぶことがある）を出力する。
階調変換手段７は、Ａ／Ｄ変換手段６の出力を階調変換して、階調変換された撮像信号Ｓｔ（「階調変換出力」と呼ぶことがある）を出力する。階調変換手段７は、複数の階調変換特性を切り替えて用いることができるものであり、その切り替えは、制御手段８によって行われる。

図３は、階調変換手段７の階調変換特性の例を示す。横軸は入力（Ａ／Ｄ出力Ｓｆ）であり、縦軸は出力（階調変換出力Ｓｔ）である。図中のＴＣ１、ＴＣ２、ＴＣ３は、制御手段８の階調特性制御信号Ｔｃより切り替えられる階調変換特性を表す。
第１の変換特性ＴＣ１は、線形であって、入力の最小値から最大値までの変化に対して、出力最小値から最大値まで直線的に変化する。第２及び第３の変換特性ＴＣ２、ＴＣ３は非線形であって、入力（Ａ／Ｄ変換出力）が所定値未満の小さい範囲では、出力はゼロに固定され、入力が所定値以上の大きい範囲では、入力の変化に対する出力の変化が大きく（特性曲線の傾斜が急であり）、入力が最大値のとき出力も最大値となる。
上記所定値は、第２の変換特性ＴＣ２よりも第３の変換特性ＴＣ３の方が大きく、入力が上記所定値よりも大きい範囲における、入力の変化に対する出力の変化（曲線の傾斜）は、第２の変換特性ＴＣ２よりも第３の変換特性ＴＣ３の方が大きい。図示の例では、入力は１０ビットの数値であり、最小値が０、最大値が１０２３であり、出力は８ビットの数値であり、最小値が０、最大値が２５５である。

そして、第１の変換特性ＴＣ１では入力の変化に対する出力の変化の比が１／４である。第２の変換特性ＴＣ２では、上記所定値が５１２（入力が取り得る値の最大値の１／２）であり、入力が上記所定値よりも大きい範囲における、入力の変化に対する出力の変化の比が、第１の変換特性ＴＣ１の２倍（１／２）である。第３の変換特性ＴＣ３では、上記所定値が７６７（入力が取り得る値の最大値の３／４）であり、入力が上記所定値よりも大きい範囲における、入力の変化に対する出力の変化の比が、第１の変換特性ＴＣ１の４倍（１）である。

上記のように、第１の変換特性ＴＣ１は、入力の可変範囲（ダイナミックレンジ）の全体にわたり、特性を表す曲線の傾斜が一様であり、従って入力の増加に対する出力の増加が一定である。
第２の変換特性ＴＣ２は、入力のダイナミックレンジのうちの上半分で、第１の変換特性ＴＣ１よりも傾斜が急であり、入力の増加に対する出力の増加が大きく、従って、ダイナミックレンジの上半分の領域で、画像の細部における輝度の小さな変化を拡大する効果を有する。
第３の変換特性ＴＣ３は、入力のダイナミックレンジのうちの上４分の１の領域で、第２の変換特性ＴＣ２よりも傾斜が一層急であり、入力の増加に対する出力の増加が一層大きく、従って、ダイナミックレンジの上４分の１の領域で、画像の細部における輝度の小さな変化を一層拡大する効果を有する。

なお、一般的な階調変換は、入力信号が１０ビットであっても、後段の信号処理の制約、転送レートの制約で８ビットにするなど階調数を減らす処理が行われることが多い。本実施の形態では、入力信号の１０ビットのデータを有効に利用して、後段に適した８ビットの信号に変換する際、最上位ビットのみ又は最上位及び２番目のビットを除去し、さらに入力の低い範囲においては、すべてのビットをゼロとする処理を行うことにより、非線形の階調変換を行っている。例えば、第２の変換特性ＴＣ２は、入力の最上位ビット及び最下位ビットを除去して８ビットとし、さらに入力が所定値５１２未満では、すべてのビットをゼロに置きかえる処理をすることにより得られる。第３の変換特性ＴＣ３は、入力の最上位ビット及び上位から２番目のビットを除去して８ビットとし、さらに入力が所定値７６７未満ではすべてのビットをゼロに置きかえる処理をすることにより得られる。

ヘッダ挿入手段１３は、階調変換手段７から出力される階調変換された撮像信号（画像データ）Ｓｔにヘッダを挿入する。ヘッダは１フレームの撮像信号に対して挿入されるものであり、挿入されるヘッダの例を図４に示す。図４（ａ）〜（ｄ）は、それぞれ互いに４つの異なる内容のヘッダを示す。

ヘッダ情報Ｈ１は、後述の第１の露出量Ｋ１と第１の階調変換特性ＴＣ１を適用した場合の階調変換出力Ｓｔ１であることを示す。同様にヘッダ情報Ｈ２は、後述の第２の露出量Ｋ２と第２の階調変換特性ＴＣ２を適用した場合の階調変換出力Ｓｔ２であることを示す。ヘッダ情報Ｈ３は、後述の第３の露出量Ｋ３と第３の階調変換特性ＴＣ３を適用した場合の階調変換出力Ｓｔ３であることを示す。ヘッダ情報Ｈ０は、初期状態であることを示す。

このようなヘッダ情報を撮像信号に挿入するのは、後述のように、フレーム同期された階調変換手段７の出力Ｓｔ１、Ｓｔ２、Ｓｔ３を、非同期の、外部の画像信号処理手段９で判別可能にし、どのような露出量及び階調変換特性を適用することにより得られた撮像信号であるかの判別を可能にするためである。

外部の画像信号処理手段９は、インターフェース手段１４を介して送信される撮像信号（画像データ）に対し、表示、印刷、更なる画像処理のための処理を行うためのものであり、例えば専用のハードェアで構成可能であるほか、パーソナルコンピュータでも構成可能である。外部の画像信号処理手段９をパーソナルコンピュータで構成すると、画像抽出、画像合成などの画像処理を汎用的で、かつ多機能、高性能に実現することができる。画像信号処理手段９はさらに撮像装置に対して撮像要求を発生する機能をも有する。

インターフェース手段１４は、ヘッダが挿入された撮像信号Ｓｈを受けて、これを信号Ｓｕｉとして、外部の画像信号処理手段９に送信する。インターフェース手段１４は、さらに、画像信号処理手段９から、該画像信号処理手段９で処理された撮像信号のレベルを表すレベル信号Ｓｕｃを受信し、この信号Ｓｕｃを制御手段８に転送する。インターフェース手段１４は、さらに画像信号処理手段９からの、撮像要求信号Ｓｓｔを制御手段８に転送する。
する。

インターフェースのプロトコルとして、ＵＳＢ２．０やＩＥＥＥ１３９４などのシリアル通信を用いることで、高速なデータ転送を容易に実現することが出来る。規格化された通信インターフェースを用いることで汎用的な環境で使用可能であり、アプリケーションソフトウェア開発コストを抑える効果も有する。

制御手段８は、階調変換手段７が線形の変換特性（ＴＣ１）で変換を行ったときに画像信号処理手段９で処理された撮像信号Ｓｊのレベルを表す信号Ｓｕｃに応じて、制御信号Ｋｄ，Ｋｓ、Ｋｇをそれぞれを光源駆動手段１、固体撮像素子４、前置増幅器５に送って露出量を制御するとともに、制御信号Ｔｃを階調変換手段７に送って階調変換手段７の階調変換特性を制御し、また、ヘッダ制御信号ＣＮＴｈをヘッダ挿入手段１３に送ってヘッダ挿入手段１３を制御して、挿入されるヘッダの内容を決定する。

なお、制御手段８でこれらの制御信号Ｋｄ、Ｋｓ、Ｋｇ、Ｔｃ，ＣＮＴｈを生成する代わりに、外部の画像信号処理手段９でこれらの制御信号Ｋｄ、Ｋｓ、Ｋｇ、Ｔｃ、ＣＮＴｈを生成し、インターフェース手段１４を介して制御手段８に送り、制御手段８がこれらの信号をそれぞれ光源駆動手段１、固体撮像素子４、前置増幅器５、階調変換手段７、ヘッダ挿入手段１３に転送するようにしても良い。

露出量の制御は、光源駆動手段１に対する駆動電流の制御（光源２の光量の調整）、固体撮像素子４に対する電荷蓄積時間の制御（電子シャッターの制御）、及び前置増幅器５に対する増幅利得の制御によって行われる。

露出量は、光源駆動手段１の駆動電流が大きいほど大きくなり、固体撮像素子４の電荷蓄積時間が大きいほど大きくなり、前置増幅器５の増幅利得が大きいほど大きくなる。
線形な関係が成立する範囲では、露出量は、駆動電流と、電荷蓄積時間と、増幅利得の積に比例する。
即ち、
Ｋ＝Ｋｄ×Ｋｓ×Ｋｇ
の関係がある。
ここで、Ｋは露出量、
Ｋｄは光源駆動電流に対応する光源駆動電流係数、
Ｋｓは電荷蓄積時間に対応する蓄積時間係数、
Ｋｇは増幅利得に対応する増幅利得係数である。

露出量Ｋの制御は、これらの係数Ｋｄ、Ｋｓ、Ｋｇを、
階調変換手段７が線形の変換特性（ＴＣ１）で変換を行うことにより生成された撮像信号が画像処理手段９に供給され、これに応じて画像処理手段９が処理した撮像信号Ｓｊのレベル（階調変換特性が線形であるので、Ａ／Ｄ出力Ｓｆに比例する）に基づいて定めることにより行われる。例えば、上記の画像信号処理手段９の撮像信号Ｓｊのレベルに対応するアドレス値にＫｄ、Ｋｓ、Ｋｇの値を蓄えたＬＵＴ（ルック・アップ・テーブル）が用いられる。
ＬＵＴの作成（ＳｊとＫｄ、Ｋｓ、Ｋｇの関係の設定）に当たっては、Ｓ／Ｎ（信号対ノイズ比）、フレームレート、動きによるぶれ防止等が考慮される。

図５に示す表は、異なる値の露出量Ｋと、それを実現するための駆動電流係数Ｋｄ、蓄積時間係数Ｋｓ、増幅利得係数Ｋｇとの関係を示す。図５の表の左端の欄は設定番号（設定状態を特定するための番号）を示す。露出量Ｋ、駆動電流係数Ｋｄ、蓄積時間係数Ｋｓ、増幅利得係数Ｋｇは相対値であり、例えば、電荷蓄積時間１／３０（秒）を基準状態Ｋｓ＝１.０とした場合、電荷蓄積時間１／６０（秒）の状態はＫｓ＝０.５である。

制御手段８は、試験撮像時には、基準露出量Ｋ＝１とし、階調変換手段７が線形の変換特性で変換を行うことにより生成された信号を、画像処理手段９で処理したときに得られる撮像信号Ｓｊのレベルに基づいて、本撮像で用いる露出量Ｋが最適となるように、光源駆動電流係数Ｋｄ、電荷蓄積時間係数Ｋｓ、増幅利得係数Ｋｇを制御する。

基準露出量Ｋ（＝１）は、想定される種々の被写体のいずれを撮像した場合にも、固体撮像素子４の出力Ｓｓが設計された範囲内に収まるように、光源駆動電流、電荷蓄積時間、増幅利得を最適化することにより得られた値であり、この値は、多数の被写体のサンプルを用いて、それぞれについて最適化し、統計処理することにより決定されたものである。

基準露出量Ｋは、基準状態の光源駆動電流Ｉｄを設定する光源駆動電流係数Ｋｄを１とし、基準状態の固体撮像素子４の電荷蓄積時間を設定する蓄積時間係数Ｋｓを１とし、基準状態の前置増幅器５の増幅利得を設定する利得係数Ｋｇを１としたとき、１となる。即ち、

Ｋ ＝ Ｋｄ×Ｋｓ×Ｋｇ ＝ １
の関係が満たされる。

制御手段８は、試験撮像時に、階調変換特性ＴＣ１を選択して行った試験撮像で得られる撮像信号Ｓｊ（試験撮像で、階調変換手段７が線形の階調変換特性ＴＣ１で変換を行うことにより得られた信号を画像処理手段で処理したときに得られる撮像信号Ｓｊ）のレベルを入力とし、本撮像で用いる光源駆動電流制御信号Ｋｄ、電荷蓄積時間Ｋｓ、増幅利得Ｋｇの値を調整する。
また、階調変換手段７に対し、信号Ｔｃにより、選択すべき階調変換特性を指示する。

図２は、被写体３として指（被写体３Ａ）を撮像し、指紋のパターンを鮮明に表す画像を生成する場合の、撮像画面内における指の輪郭３Ａｐと、一本の水平ライン（水平方向に並んだ画素から成るライン）Ｌｎの位置関係を示す。

図６、図７、図８は、それぞれ、露出量が第１の値（第１の露出量）、第２の値（第２の露出量）、第３の値（第３の露出量）に設定された状態（第１の状態、第２の状態、第３の状態）における、Ａ／Ｄ出力Ｓｆを示す。図６、図７、図８で横軸は画面内の水平ラインＬｎ上の位置（Ｈ）を示している。縦軸はＡ／Ｄ出力Ｓｆである。

また、図６（ａ）は、水平ラインＬｎ全体にわたるＡ／Ｄ出力Ｓｆの概要を示し、図６（ｂ）、（ｃ）、（ｄ）は、それぞれ、図６（ａ）の位置Ｐ１、Ｐ２、Ｐ３のＡ／Ｄ出力Ｓｆを拡大して示す。位置Ｐ１は、被写体のうち最も明るい部分、位置Ｐ３は被写体のうち最も暗い部分、位置Ｐ２は被写体のうちの中間的な明るさの部分である。
また、図７（ａ）は、水平ラインＬｎ全体にわたるＡ／Ｄ出力Ｓｆの概要を示し、図７（ｂ）、（ｃ）、（ｄ）は、それぞれ、図７（ａ）の位置Ｐ１、Ｐ２、Ｐ３のＡ／Ｄ出力Ｓｆを拡大して示す。
また、図８（ａ）は、水平ラインＬｎ全体にわたるＡ／Ｄ出力Ｓｆの概要を示し、図８（ｂ）、（ｃ）、（ｄ）は、それぞれ、図８（ａ）の位置Ｐ１、Ｐ２、Ｐ３のＡ／Ｄ出力Ｓｆを拡大して示す。

図示のように、指を撮像することにより得られる画像は、振幅が大きい、緩やかに変化する成分（低周波数成分）に、振幅が小さい、急に変化する成分（高周波数成分）が重畳したものである。このうち、振幅の小さい高周波数成分が指紋のパターンに対応する。本発明は、指紋のパターンを表す画像の生成を目的とするものであり、以下のようにして、振幅の小さい高周波数成分を適確に抽出している。

図６、図７、図８において、Ｓｆ１、Ｓｆ２、Ｓｆ３はそれぞれ被写体の位置Ｐ１、Ｐ２、Ｐ３の部分（小領域）の平均輝度レベルに対応するＡ／Ｄ出力Ｓｆの平均レベルを示し、ΔＳｆ１、ΔＳｆ２、ΔＳｆ３は高周波数成分の振幅を示す。
露出量を大きくすれば、Ａ／Ｄ変換出力Ｓｆの平均出力レベルが高くなる。一方、Ａ／Ｄ変換出力Ｓｆの所定のレベルにおける高周波数成分の振幅を拡大するには、階調変換手段７で用いる階調変換特性として、当該所定の力レベルにおける、入力の変化に対する出力の変化の比が大きい変換特性を用いれば良い。被写体に対応する画像のうち、各部分について最適の露出量と階調変換特性を用いたときに得られた画像を選択することにより、最も鮮明な画像（指紋パターンを示す画像）を得ることができ、このようにして得られた各部分の画像を互いに組合せる（合成する）ことにより、被写体画像の全体について鮮明な指紋のパターンを表す画像を得ることとができる。このような選択及び合成は画像処理手段９で行われる。

以下、そのための動作を図９を参照してより詳細に説明する。
最初にステップＳ１において、外部の画像信号処理手段９から撮像要求信号Ｓｓｔが発せられると、これがインターフェースを介して制御手段８に伝えられ、制御手段８は、撮像装置の各部を初期状態に設定する。このとき、ヘッダ挿入手段１４は、初期状態であることを示すヘッダ情報Ｈ０を、画像信号処理手段９に向けて送信される画像データの各フレームに付加する。これに対し、外部の画像信号処理手段９は送信されてくる画像データのヘッダ情報を抽出する。

外部の画像信号処理手段９は、抽出したヘッダが初期状態を表すもの（Ｈ０）かどうかの判断をし（Ｓ２）、初期状態であれば、ステップＳ３の試験撮像処理を実行する。

ステップＳ３において、試験撮像処理が開始されると、初期状態、即ち、基準露出量Ｋ０を与えるように、光源駆動電流係数Ｋｄ、電荷蓄積時間係数Ｋｓ、前置増幅器増幅利得係数Ｋｇが設定されて、この状態で撮像が行われる。このとき、階調変換手段７も階調変換特性が初期値、例えば第１の変換特性ＴＣ１に設定される。
また、このときも、ヘッダ情報としてＨ０を挿入すべきことを指示する。この結果、上記のように露出量Ｋ１、階調変換特性ＴＣ１を適用して得られた撮像信号にヘッダＨ０が挿入されたものが、外部の画像信号処理手段９に送信される。このヘッダ情報Ｈ０により外部の画像信号処理手段９では、露出量が初期状態（Ｋ０）で、かつ線形の階調変換特性ＴＣ１を適用して得られた撮像情報であることを知ることができる。

上記のように基準露出量Ｋ０で撮像を行い、階調変換手段７が線形の変換特性ＴＣ１を用いて変換を行い、さらにインターフェース手段１４を介して送信された信号を画像信号処理手段９で処理することにより得られた撮像信号Ｓｊのレベル（Ｓｕｃ）をもとに、以下のように、制御手段８で最適な露出量Ｋ１を検出することができる。

即ち、次に、ステップＳ４で、制御手段８は、撮像により出力されている撮像信号Ｓｊのレベルをもとに、本撮像で用いるべき第１乃至第３の露出量Ｋ１乃至Ｋ３を算出する。
即ち、ステップＳ３で得られた撮像信号Ｓｊのレベルから、被写体全体を、Ａ／Ｄ変換出力のダイナミックレンジを十分に利用して（ダイナミックレンジの略全体を利用して）取り込むことができる第１の露出量Ｋ１を検出する。

また、撮像信号Ｓｊのレベルから各部の対応するＡ／Ｄ変換出力Ｓｆの平均的レベル（Ｓｆ１，Ｓｆ２，Ｓｆ３）を考慮して、さらに位置Ｐ２の信号量Ｓｆ２、及び位置Ｐ３の信号量Ｓｆ３に基づき、第２の露出量Ｋ２及び第３の露出量Ｋ３をそれぞれ算出する。

ここで、第２の露出量Ｋ２と第３の露出量Ｋ３は、
Ｋ２＝Ｓａ／Ｓｆ２
Ｋ３＝Ｓａ／Ｓｆ３
で与えられる。

Ｓａは、Ａ／Ｄ変換出力Ｓｆの最大値Ｓｆｍを用い、画像処理手段９において、高周波数成分の振幅を適切に取出すことができるように予め定められた値である。

上記のように、振幅の大きい低周波数成分に、振幅の小さい高周波数成分が重畳した画像において、高周波数成分のパターンを鮮明に取出すため、本発明では、露出量の制御と階調変換特性の選択を適切に組合せて行うこととしている。

次に、ステップＳ５では、ステップＳ４で得られた第１の露出量Ｋ１を用いて露出制御を行い、これとともに、階調変換手段７に第１の階調変換特性ＴＣ１で階調変換を行わせて撮像を行い、１フレームの撮像データを生成し、ヘッダ挿入手段１２は、生成された撮像データにヘッダＨ１を挿入する。第１の露出量Ｋ１は、例えば図６（ａ）に示されるように、被写体の最も明るい部分Ｐ１に対応するＡ／Ｄ変換出力Ｓｆ１が、Ａ／Ｄ変換出力のダイナミックレンジに含まれ、かつ該ダイナミックレンジの最大値Ｓｆｍに近い値となるものである。第１の階調変換特性ＴＣ１は、図３に示すように線形の変換特性である。

第１の露出量Ｋ１及び第１の階調変換特性ＴＣ１を用いて撮像を行うと、階調変換出力Ｓｔとして、図６（ｂ）乃至（ｄ）に示すように、位置Ｐ１、Ｐ２、Ｐ３のすべてにおいて高周波数成分が現われ、位置Ｐ１における高周波数成分の方が位置Ｐ２における高周波数成分よりも振幅が大きく、位置Ｐ２における高周波数成分の方が位置Ｐ３における高周波数成分よりも振幅が大きいデータが得られる。位置Ｐ１、Ｐ２、Ｐ３相互間で、高周波数成分の振幅に差ができるのは、同じ細かな構造（例えば指紋）による輝度変化の振幅も、その部分の輝度レベルに比例して小さくなるからである。

次に、ステップＳ６では、ステップＳ４で得られた第２の露出量Ｋ２を用いて露出制御を行い、これとともに、階調変換手段７に第２の階調変換特性ＴＣ２で階調変換を行わせて撮像を行い、１フレームの撮像データを生成し、ヘッダ挿入手段１２は、生成された撮像データにヘッダＨ２を挿入する。第２の露出量Ｋ２は、例えば図７（ａ）に示されるように、被写体の中間程度の明るさの部分Ｐ２に対応するＡ／Ｄ変換出力Ｓｆ２が、Ａ／Ｄ変換出力Ｓｆのダイナミックレンジに含まれ、かつ該ダイナミックレンジの最大値Ｓｆｍに近い値となり、一方、被写体の最も明るい部分Ｐ１に対応するＡ／Ｄ変換出力Ｓｆ１が、Ａ／Ｄ変換出力のダイナミックレンジの最大値Ｓｆｍに固定される（飽和する）ものである。第２の階調変換特性ＴＣ２は、図３に示すように、入力（Ａ／Ｄ変換出力Ｓｆ）が最大値の１／２までは出力がゼロであり、入力が最大値の１／２以上の範囲では、入力の変化に対する出力の変化が、第１の階調変換特性ＴＣ１の２倍になる。

第２の露出量Ｋ２及び第２の階調変換特性ＴＣ２を用いて撮像を行うと、階調変換出力Ｓｔとして、図７（ｂ）に示すように、位置Ｐ１においては、信号が飽和し、高周波数成分が現われないものの、図７（ｃ）及び（ｄ）に示すように、位置Ｐ２及びＰ３において高周波数成分が現われ、位置Ｐ２における高周波数成分の方が位置Ｐ３における高周波数成分よりも振幅が大きいデータが得られる。

次に、ステップＳ７では、ステップＳ４で得られた第３の露出量Ｋ３を用いて露出制御を行い、これとともに、階調変換手段７に第３の階調変換特性ＴＣ３で階調変換を行わせて撮像を行い、１フレームの撮像データを生成し、ヘッダ挿入手段１２は、生成された撮像データにヘッダＨ３を挿入する。第３の露出量Ｋ３は、例えば図８（ａ）に示されるように、被写体の最も暗い部分Ｐ３に対応するＡ／Ｄ変換出力Ｓｆ３が、Ａ／Ｄ変換出力Ｓｆのダイナミックレンジに含まれ、かつ該ダイナミックレンジの最大値Ｓｆｍに近い値となり、一方、被写体の最も明るい部分Ｐ１に対応するＡ／Ｄ変換出力Ｓｆ１のみならず、被写体の中間程度の明るさの部分Ｐ２に対応するＡ／Ｄ変換出力Ｓｆ２が、Ａ／Ｄ変換出力のダイナミックレンジの最大値Ｓｆｍに固定される（飽和する）ものである。第３の階調変換特性ＴＣＣは、図３に示すように、入力（Ａ／Ｄ変換出力Ｓｆ）が最大値の３／４までは出力がゼロであり、入力が最大値の３／４以上の範囲では、入力の変化に対する出力の変化が、第１の階調変換特性ＴＣ１の４倍になる。

第３の露出量Ｋ３及び第３の階調変換特性ＴＣ３を用いて撮像を行うと、階調変換出力Ｓｔとして、図８（ｂ）及び（ｃ）に示すように、位置Ｐ１及びＰ２においては、高周波数成分が現われないものの、図８（ｄ）に示すように、位置Ｐ３において高周波数成分が明確に現われるデータが得られる。

ステップＳ８において、外部の画像信号処理手段９は、ヘッダ情報を付加した撮像信号Ｓｕｉが送られる度に、ヘッダ情報を取り込みその内容を検出する。

次に、ステップＳ１０では、ステップＳ５乃至Ｓ７の撮像（本撮像）で得られた信号のうち、画像の各位置（各部分）について、高周波数成分の振幅が最大のものを選んで合成する。
図示の例では、位置Ｐ１については、ステップＳ５の処理で得られた信号（図６（ｂ）、図７（ｂ）、図８（ｂ）に示される高周波数成分のうちの最も大きいもの、即ち図６（ｂ）に示される高周波数成分を有する信号）を選ぶ。位置Ｐ２については、ステップＳ６の処理で得られた信号（図６（ｃ）、図７（ｃ）、図８（ｃ）に示される高周波数成分のうちの最も大きいもの、即ち図７（ｃ）に示される高周波数成分を有する信号）を選ぶ。位置Ｐ３については、ステップＳ７の処理で得られた信号（図６（ｄ）、図７（ｄ）、図８（ｄ）に示される高周波数成分のうちの最も大きいもの、即ち図７（ｄ）に示される高周波数成分を有する信号）を選ぶ。

そして、このようにして、各位置について選ばれた信号を合成して１フレームの画像信号を生成する。このような合成を行うことで、被写体内のすべての部分について、高周波数成分のパターンが鮮明に再生された画像が得られる。この場合、低周波数成分の忠実な再生は犠牲となるが、高周波数成分の鮮明な再生を優先することで、輝度が細かく変化する（変化幅が小さい）パターン、例えば指紋のパターンを表す鮮明な画像を得ることができる。

上記のうち、ステップＳ２、Ｓ８、Ｓ１０は画像信号処理手段９における処理であり、ステップＳ１は、一部画像処理手段９における処理と撮像装置における処理であり、他のステップＳ３〜Ｓ７は、撮像装置における処理である。

ヘッダ情報を用いることで、非同期な外部の画像信号処理手段９で露出制御が可能で、フレーム毎に画像信号を検出することが可能であるため、無駄なフレームを使用する必要が無く高速なシステムを構築することが出来る。

また、外部の画像信号処理手段としてパーソナルコンピュータを用いることで、画像処理を高性能に実現することが可能となる。

さらにまた、露出制御に、外部信号処理部９における信号処理結果を用いることで、線形フィルタ、非線形フィルタ、ヒストグラム、分散等の高度な計算処理を用いた露出制御を実現することもできる。

なお、上記の例では、ステップＳ１０において、画像の各位置について、ステップＳ５乃至Ｓ７の処理で得られた信号のうち、高周波数成分の振幅が最大のものを選んで合成しているが、そのようにする代わりに、被写体に対応する画面の全体について最も適切な露出量とそれに対応する階調変換特性との組合せで生成された画像信号を得ることとしても良い。このようにした場合にも、高周波数成分の振幅を増幅し、輝度が細かく変化する（変化幅が小さい）パターンを表す鮮明な画像を得ることができる。

また、上記の例のステップＳ３の処理では、一つの基準露出量Ｋ０で撮像を行い、その結果得られる信号量Ｓｆに基づいて、第１の露出量Ｋ１、第２の露出量Ｋ２、第３の露出量Ｋ３を求める処理（Ｓ４）を行っているが、複数の異なる基準露出量、例えば３つの基準露出量Ｋ０ａ、Ｋ０ｂ、Ｋ０ｃで撮像を行い、その結果得られる複数の、例えば３つの信号量Ｓｆ１、Ｓｆ２、Ｓｆ３に基づいて、第１の露出量Ｋ１、第２の露出量Ｋ２、第３の露出量Ｋ３を求めることとしても良い。

この場合、第１の基準露出量Ｋ０ａは、実施の形態１で説明したのと同様の値を有する。第２の基準露出量Ｋ０ｂは、想定される被写体のうち、透過率が比較的低い（即ち、固体撮像素子に入射する光の量が少ない）もの（例えば、太い指など）を撮像した場合に、固体撮像素子出力Ｓｓが設計された範囲内に収まるように、最適化した値であり、この値も、多数の被写体のサンプル（太い指など）を用いて、それぞれについて最適化し、統計処理することにより決定されたものである。第２の基準露出量Ｋ０ｂは第１の基準露出量Ｋ０ａよりも大きな値となる。
第３の基準露出量Ｋ０ａは、想定される被写体のうち、透過率が比較的高い（即ち、固体撮像素子に入射する光の量が多い）もの（例えば、細い指など）を撮像した場合に、固体撮像素子出力Ｓｓが設計された範囲内に収まるように、最適化した値であり、この値も、多数の被写体のサンプル（細い指など）を用いて、それぞれについて最適化し、統計処理することにより決定されたものである。第３の基準露出量Ｋ０ｃは第１の基準露出量Ｋ０ａよりも小さな値となる。

複数の基準露出量Ｋ０ａ、Ｋ０ｂ、Ｋ０ｃを用いることで、種々の互いの異なる特性の被写体のいずれに対しても、適切な基準露出量を設定することでき、Ａ／Ｄ変換出力Ｓｆが飽和するといった事態の発生を少なくすることができ、露出制御や階調変換特性の選択を適切に行うことができる。
以下、３種類の基準露出量Ｋ０ａ、Ｋ０ｂ、Ｋ０ｃを用いる場合について説明する。この場合、例えば、図４の単一のヘッダＨ０の代わりに３種のヘッダＨ０Ａ，Ｈ０Ｂ，Ｈ０Ｃを用いる。

まず、第１の基準露出量Ｋ０ａの設定で被写体を撮像する。このときヘッダ挿入手段１２は撮像データに対し、例えばヘッダ情報Ｈ０Ａを設定する。そして次のフレームでは、第２の基準露出量Ｋ０ｂの設定で被写体を撮像する。このときヘッダ挿入手段１２は撮像データに対し、例えばヘッダ情報Ｈ０Ｂを設定する。さらに次のフレームで、第３の基準露出量Ｋ０ｃの設定で被写体を撮像する。このときヘッダ挿入手段１２は撮像データに対し、ヘッダ情報Ｈ０Ｃを設定する。

ステップＳ３で３つの基準露出量を適用して撮像され、それぞれヘッダ情報Ｈ０Ａ，Ｈ０Ｂ、Ｈ０Ｃを持つ３枚（３フレーム）の画像データを比較することで、被写体全体をダイナミックレンジ内で有効に取り込める第１の露出量Ｋ１を正確に決定することができる。

このように、複数の基準露出量Ｋ０ａ、Ｋ０ｂ、Ｋ０ｃを用いることで、被写体の信号量が飽和したり、クリップする撮像信号の影響を除去することができ、ステップＳ６において、露出量判定ができない事態を避けることができる。
なお上記のように、初期状態の設定値を複数個用いる場合は、それぞれに対して異なるヘッダ情報（Ｈ０Ａ、Ｈ０Ｂ、Ｈ０Ｃ）を付加しても、同一のヘッダ情報（Ｈ０）を割り当てても、初期状態を検出する効果が得られる点では同じである。

また、このように、１フレーム毎にあらかじめ設定しておいた複数の基準露出量に切り換えて撮像することで、最適な第１の露出量Ｋ１判定用の画像データを高速に撮像することができ、この結果最適な第１の露出量Ｋ１を高速に決定できる。

また、上記の例では、露出量制御のため、光源駆動電流、電荷蓄積時間及び増幅利得を制御することとしているが、（ａ）電荷蓄積時間と増幅利得を制御し、光源駆動電流制御を固定することもでき、（ｂ）光源駆動電流を制御し、電荷蓄積時間及び増幅利得特性を固定することもできる。

さらにまた、上記の例では、被写体の背後から光を当てて透過光を撮像素子に入射しているが、被写体に当たる反射光（或いは散乱光）を用いた場合にも、本発明を適用することができる。さらに、第１の変換特性ＴＣ１、第２の変換特性ＴＣ２、第３の変換特性ＴＣ３の組み合わせは、ダイナミックレンジが有効に使用できる組み合わせであればよく、上記の例以外にも様々な組み合わせが考えられる。

実施の形態２．
図１０は、この発明の実施の形態２の撮像装置の構成を示すブロック図である。実施の形態２の撮像装置は、図１０において、図１と同一の符号は同一乃至同様の部材を示す。図１０の撮像装置は、図１に示す部材に加えて、被写体検出手段１１を有する。

実施の形態２の撮像装置は、被写体からの信号のみを抽出して露出制御に用いるものである。より詳しく述べると、被写体検出手段１１は、画像処理手段９の出力Ｓｊに基づいて、被写体の形状を認識し、被写体部分とそうでない部分の判別を行い、被写体部分以外の部分の信号を無視し、被写体部分の信号のみに基づいて算出した撮像信号Ｓｊのレベルを供給する。被写体部分の撮像信号Ｓｊのレベルを表す信号Ｓｕｃがインターフェース手段１４を介して制御手段１２に送られ、制御手段１２は、この撮像信号Ｓｊのレベルに基いて、即ち、被写体検出手段１１の出力を露出評価値として露出制御及び階調変換特性の選択を行わせる。

図１１は、被写体３の背景部分が被写体３に比べて輝度レベルの高い場合（例えば実施の形態１について述べたように、被写体３を背後から照明する光源２からの光が直接固体撮像素子４に入射した場合）場合のＡ／Ｄ変換出力Ｓｆを示す。図１１で横軸は図２に示される画面内の水平ラインＬｎ上の位置（Ｈ）を示しており、縦軸はＡ／Ｄ出力Ｓｆである。図１１において、位置Ｐ４は、被写体３の背景の明るい部分に対応する。

図１１に示す画像信号が入力された場合、位置Ｐ４の信号Ｓｆ４によって、露出量の適切な制御が困難となる。そこで、本実施の形態では、位置Ｐ４の信号Ｓｆ４を無視して露出量の制御、階調変換特性の選択を行うこととしている。即ち、上記のように、被写体検出手段１１が被写体部分の映像信号のみを抽出し、インターフェース手段１４を介して制御手段１２に送る。制御手段１２は、被写体検出部分１１が抽出した被写体部分の映像信号のみを用いて露出制御及び階調変換特性の選択を行う。

図１２は、そのような被写体部分抽出の機能を持つ撮像装置の動作を示す。図１２に示される動作は、図９に示す動作と概して同じである。異なるのは、ステップＳ２とステップＳ３の間にステップＳ１３が挿入されている点であり、図１２のステップＳ４は、図９のステップＳ４と同じであるが、ステップＳ１３で被写体部分の信号として抽出された信号のみを用いて露出量の算出を行う。

被写体部分の信号のみに基づいて露出量の制御、階調変換特性の選択を行うので、被写体の背景部分の輝度の影響を受けることなく、露出量の制御などを適切に行うことができる。

なお、実施の形態２に対しても、実施の形態１に関連して説明したのと同様の変形を加えることができる。

この発明の実施の形態１の撮像装置の構成を示すブロック図である。 撮像画面内の被写体の画像の一例を示す図である。 図１の階調変換手段の第１乃至第３の階調変換特性を示す図である。 撮像信号に挿入されるヘッダ情報の例を示す図である。 異なる値の露出量Ｋと、それを実現するための駆動電流係数Ｋｄ、蓄積時間係数Ｋｓ、増幅利得係数Ｋｇとの関係を示す表である。 露出量が第１の値（第１の露出量）の状態における、Ａ／Ｄ変換出力Ｓｆを示す図である。 露出量が第２の値（第２の露出量）の状態における、Ａ／Ｄ変換出力Ｓｆを示す図である。 露出量が第３の値（第３の露出量）の状態における、Ａ／Ｄ変換出力Ｓｆを示す図である。 この発明の実施の形態１の撮像装置の動作を示すフローチャートである。 この発明の実施の形態２の撮像装置の構成を示すブロック図である。 被写体の背景が明るい場合のＡ／Ｄ変換出力Ｓｆの一例を示す図である。 この発明の実施の形態２の撮像装置の動作を示すフローチャートである。

符号の説明

１ 光源駆動手段、 ２ 光源、 ３ 被写体、 ４ 固体撮像素子、 ５ 前置増幅器、 ６ Ａ／Ｄ変換手段、 ７ 階調変換手段、 ８ 制御手段、 ９ 画像処理手段、 １０ 制御手段、 １１ 被写体検出手段、 １２ 制御手段、 １３ ヘッダ挿入手段、 １４ インターフェース手段。

Claims (8)

1. 被写体からの撮像光を画素ごとに光電変換して撮像信号を生成する固体撮像素子と、
   前記固体撮像素子からの撮像信号を増幅する増幅手段と、
   前記増幅手段の出力をアナログ−ディジタル変換してディジタル撮像信号を出力するＡ／Ｄ変換手段と、
   前記Ａ／Ｄ変換手段の出力を階調変換する階調変換手段と、
   前記階調変換手段から出力される階調変換された撮像信号にヘッダ情報を挿入するヘッダ挿入手段と、
   前記ヘッダが挿入された撮像信号を外部の画像信号処理手段へ送信し、前記外部の画像信号処理手段で処理された撮像信号のレベルを示す信号を受信して前記制御手段に供給するインターフェース手段と、
   前記外部の画像信号処理手段で処理された撮像信号のレベルに応じて、前記固体撮像素子の電荷蓄積時間と前記増幅手段の利得の積に比例した露出量を調整するとともに、
   前記ヘッダ情報挿入手段で挿入されるヘッダ情報の内容を決定する制御手段と
   を有する撮像装置。
2. 前記制御手段は、
   前記外部の画像信号処理手段で処理された撮像信号のレベルに応じて、前記露出量を調整するとともに、前記階調変換手段の階調変換特性を制御する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記被写体を照射する光源と、
   前記光源の光量を制御するための光源駆動手段とをさらに有し、
   前記制御手段は、前記固体撮像素子の電荷蓄積時間及び前記増幅手段の利得に加えて、前記光源の光量を制御することにより前記露出量を調整する
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記制御手段は、
   前記階調変換手段の階調変換特性として、
   前記Ａ／Ｄ変換手段の出力の可変範囲のうち、前記Ａ／Ｄ変換手段からの出力の低周波数成分のレベルの部分において、入力の変化に対する出力の変化の比が大きい階調変換特性を選択することを特徴とする請求項１に記載の撮像装置。
5. 前記固体撮像素子に形成される画像のうち、前記被写体に対応する画像の部分を検出する被写体検出手段をさらに有し、
   前記制御手段は、前記被写体検出手段により検出された被写体に対応する画像の部分以外の信号を無視して、前記露出量の制御を行う
   することを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
6. 請求項１乃至５のいずれかに記載の撮像装置と、
   前記撮像装置との間で信号の送受信が可能なように設けられた画像信号処理手段とを有し、
   前記撮像装置の前記制御手段と前記画像信号処理手段が非同期に動作するものであり、前記画像信号処理手段が前記撮像装置から送信されるヘッダ情報を検出することで前記露出量を判別することを特徴とする画像処理システム。
7. 前記制御手段は、
   前記被写体のそれぞれの部分について、前記Ａ／Ｄ変換手段の出力の低周波数成分のレベルに応じて定められた露出量及び階調変換特性を用いて形成された画像を選択し、選択されたそれぞれの部分の画像を組合せることにより被写体全体の画像を生成する
   ことを特徴とする請求項６に記載の画像処理システム。
8. 前記制御手段は、
   前記被写体の画像のうち、
   前記Ａ／Ｄ変換手段の出力の低周波数成分のレベルが比較的高い部分については、前記露出量を比較的小さくし、前記階調変換手段の階調変換特性として、入力に対する出力の変化が略一様な変換特性を選択することにより得られた画像を選択し、
   前記Ａ／Ｄ変換手段の出力の低周波数成分のレベルが比較的低い部分については、前記露出量を比較的大きくし、前記階調変換手段の階調変換特性として、入力に対する出力の変化が、入力レベルの低い領域において小さく、入力レベルの高い領域において大きい変換特性を選択することにより得られた画像を選択する
   ことを特徴とする請求項７に記載の画像処理システム。

Images