JP2009129364A - 撮像装置およびその方法 - Google Patents

Abstract

【課題】複雑な機構が不要で、撮像デバイスの位置を変えることなく位相の異なる画像を発生させることができる撮像装置およびその方法を提供する。
【解決手段】、撮像装置１０は、照明用光源部１１の各光源１１１，１１２の点灯状態、あるいは光強度を光源制御装置１２により変えて、異なる照明状態を作り出して被照明物である被写体ＯＢＪを撮像デバイス１３で撮像することで得られた位相の異なる複数の画像を画像処理部１４に転送し、画像処理部１４において、複数の画像データを用いた超解像処理により解像度の高い画像を得る。これにより、被写体あるいは撮像デバイスを物理的に動かさずに位相の異なる画像を取得することが可能となる。
【選択図】図１

Description

本発明は、照明状態の異なる複数の撮像画像を取得可能な撮像装置およびその方法に関するものである。

高い解像度の画像を得るためには、通常分解能の高い撮像デバイスを必要とする。
このため撮像装置が複雑になり、また、高価になるという不利益がある。

一方、位相の異なる複数の画像を用いてより解像度の高い画像を作成する技術が各方面から提案されている（たとえば、非特許文献１、特許文献１参照）。

非特許文献１には、カメラの手ぶれなどによる制御されない位置ずれをもつ複数のデジタル画像を入力し、入力画像以上の解像度をもつ１枚の高解像度画像を出力する超解像処理技術が提案されている。

また、特許文献１には、低解像度の画像入力デバイスを手動で走査して、画像入力部から複数枚のフレーム画像を取得し、入力された複数枚のフレーム画像のそれぞれに対して、レイアウト解析処理を行い、このレイアウト構造をフレーム画像間で対応付け、これに基づきフレーム画像間の相対的なずれを位置ずれ量として検出し、各物体ごとに画素の大きさ未満の位置ずれ量を検出し、超解像処理により高解像度の超解像画像を取得する技術が開示されている。
Super-Resolved Surface Reconstruction From Multiple Images, NASA Ames Research Center、複数のデジタル画像データによる超解像処理, （株）リコー 中央研究所 AIT研究センター 特開平１０-６９５３７号公報

ところで、上述した技術では、被写体と撮像デバイスの位置関係を変えることで位相の異なる画像を得ているが、通常は被写体の位置を動かすことは難しいため撮像デバイスの位置を動かす必要が生ずる。
そのため、撮像デバイスを物理的に動かす複雑な機構を必要とし、装置の複雑化を招くという不利益がある。

本発明は、複雑な機構が不要で、撮像デバイスの位置を変えることなく位相の異なる画像を発生させることができる撮像装置およびその方法を提供することにある。

本発明の第１の観点の撮像装置は、被写体を撮像する撮像デバイスと、被写体を照明可能な少なくとも一つの照明用光源と、上記照明用光源による照明光を、被写体の複数の異なる領域に対して選択的に照射させることが可能な照明領域制御部と、上記照明領域制御部により制御される複数の異なる照明状態の被写体を上記撮像デバイスに撮像させる制御部とを有する。

好適には、上記撮像デバイスで得られた複数の画像からより解像度の高い画像を生成する画像処理部を有する。

好適には、複数の照明用光源を有し、上記照明領域制御部は、上記複数の照明用光源の点灯状態、消灯状態を選択的に切り替えて複数の異なる照明状態を発現させ、上記制御部は、上記複数の異なる照明状態ごとの被写体を上記撮像デバイスに撮像させる。

好適には、上記複数の照明用光源による照明光は、赤外域の光を含む。

好適には、上記照明領域制御部は、上記照明用光源による照明光の強度を制御して複数の異なる照明状態を発現させ、上記制御部は、上記複数の異なる照明状態ごとの被写体を上記撮像デバイスに撮像させる。

好適には、上記撮像デバイス側に配置された一つの照明用光源を有し、上記照明領域制御部は、上記照明用光源の照明光を選択的に透過、遮蔽することが可能なシャッターを含む。

本発明の第２の観点は、被写体を撮像する撮像デバイスと、被写体を照明可能な少なくとも一つの照明用光源とを用いる撮像方法であって、上記照明用光源による照明光を、被写体の複数の異なる領域に対して選択的に照射し、上記複数の異なる照明状態の被写体を上記撮像デバイスで撮像し、位相の異なる複数の画像を得る。

本発明によれば、たとえば照明用光源部の点灯状態、あるいは光強度を照明領域制御部により選択的に変えて、異なる照明状態を発現させ、被照明物である被写体を撮像デバイス１３で撮像することで、位相の異なる複数の画像を得る。
この得られた複数の画像データを用いた超解像処理により解像度の高い画像を得る。

本発明によれば、複雑な機構が不要で、撮像デバイスの位置を変えることなく位相の異なる画像を発生させることができる。

以下、本発明の実施形態を添付図面に関連付けて説明する。

図１は、本発明の実施形態に係る撮像装置の構成例を示すブロック図である。
図２は、本実施形態に係る照明用光源および撮像デバイスと被写体との関係を示す図である。

本撮像装置１０は、図１に示すように、照明用光源部１１、撮像領域制御部としての光源制御装置１２、撮像デバイス１３、画像処理部１４、フレームバッファ１５、および制御部１６を有する。

照明用光源部１１は、複数（図２の例では２）の可視光の光源１１１，１１２を有し、撮像デバイス１３で撮像する被写体ＯＢＪの被撮像領域の異なる複数の領域（位置）を照明可能に構成されている。
照明用光源部１１は、光源制御装置１２の制御の下、各光源１１１，１１２の点灯状態、あるいは光強度が制御される。

照明用光源部１１は、光源制御装置１２の制御の下、たとえば各光源１１１，１１２を消灯状態、光源１１１を点灯状態で光源１１２を消灯状態、光源１１１を消灯状態で光源１１２を点灯状態、各光源１１１，１１２を点灯状態となるように制御される。

照明用光源１１１，１１２は、たとえば印加される電圧を変えることで光強度を制御することが可能である。

光源制御装置１２は、制御部１６の指示に従って照明用光源部１１における各光源１１１，１１２の点灯状態、あるいは光強度を制御する。
光源制御装置１２は、制御部１６の指示の下、たとえば照明用光源部１１の各光源１１１，１１２を消灯状態、光源１１１を点灯状態で光源１１２を消灯状態、光源１１１を消灯状態で光源１１２を点灯状態、各光源１１１，１１２を点灯状態となるように制御する。
光源制御装置１２は、これにより被写体ＯＢＪの被撮像領域の異なる複数の領域（位置）を照明させ、複数の異なる照明状態を発現させる。

光源制御装置１２は、たとえば照明用光源１１１，１１２に印加する電圧を変えることで光強度を制御することが可能である。

撮像デバイス１３は、ＣＣＤやＣＭＯＳセンサからなる撮像素子を有するデジタルカメラにより構成され、制御部１６による撮像タイミング指示に応答して、照明用光源部１１の各光源１１１，１１２の点灯状態あるいは光強度が光源制御装置１２で切り替え制御されるたびに被写体ＯＢＪを撮像し、その撮像画像データを画像処理部１４に出力する。

撮像デバイス１３は、照明状態が異なり、結果として位相の異なる複数の画像を撮像して、画像処理部１４に出力する。

画像処理部１４は、撮像デバイス１３から送られてくる位相の異なる複数の画像をフレームバッファ１５に一時格納し、制御部１６の制御の下、この位相の異なる複数の画像に対して超解像処理を行って、超解像度（高解像度）の画像を取得する。

画像処理部１４は、たとえば超解像処理として、与えられる位相の異なる複数の画像データからそれぞれの画像データの撮像時の標本化位置のずれを推定する位置推定処理と、各画像データを折り返し成分も含めて原信号の高周波成分を全て透過する帯域の広いローパルフィルタを用いて高密度化する高帯域補間処理と、各高密度化データの標本化位置に応じた重みを使った加重和をとることにより、折り返し歪みを打ち消し、これと並行して原信号の高周波成分を復元する加重和処理と、を行う機能を有する。

制御部１６は、装置全体を制御し、光源制御装置１２による照明用光源部１１の点灯制御指示、撮像デバイスの撮像タイミングや撮像画像の出力タイミングの制御、あるいは、画像処理部１４における複数画像データのフレームバッファ１５への格納処理や超解像処理の制御等を行う。

本実施形態に係る撮像装置１０は、照明用光源部１１の各光源１１１，１１２の点灯状態、あるいは光強度を光源制御装置１２により変えて、異なる照明状態を作り出して（発現させて）、被照明物である被写体ＯＢＪを撮像デバイス１３で撮像することで得られた位相の異なる複数の画像を画像処理部１４に転送し、画像処理部１４において、複数の画像データを用いた超解像処理により解像度の高い画像を得る。

このように、撮像装置１０は、位相の異なる画像を得るために撮像デバイス１３を動かす必要がないため、機構を簡素化できる。

以下、本実施形態に係る撮像装置１０における異なる照明状態を作り出して被照明物である被写体ＯＢＪを撮像デバイス１３で撮像する処理例について、図２〜図８に関連付けてさらに詳細に説明する。

本実施形態においては、図２に示すように、被写体ＯＢＪに対して、これを照明する光源が２つ以上と撮像デバイス１３が配置されている。

図３（Ａ）〜（Ｃ）は、本実施形態に係る光源の照明状態を変えて被写体の撮像を行う処理を説明するための図である。

図３（Ａ）においては、図中左側の光源１１１を点灯させて被写体ＯＢＪである指の先の方を照明し、右側の光源１１２を消灯して被写体ＯＢＪの撮像を行っている。
図３（Ｂ）においては、図中左側の光源１１１を消灯させながら右側の光源１１２を点灯して、被写体ＯＢＪである指の付け根側を照明し、被写体ＯＢＪの撮像を行っている。
図３（Ｃ）においては、両方の光源１１１，１１２を点灯させ被写体ＯＢＪである指の腹の全体を照明し、被写体ＯＢＪの撮像を行っている。

このような撮像を行うことで、被写体ＯＢＪの位置および撮像デバイス１３の位置を変えることなく、位相状態の異なる３枚の画像が取得できる。
この位相状態の異なる複数の画像を超解像処理に用いることで、各々の画像よりも解像度の高い画像の生成が可能になる。

ここで図２では点灯あるいは消灯の組み合わせで撮影を行っているが、完全な消灯でなく、各々の光源の強さを変えて照明条件を変化させても良い。

図３（Ａ）〜（Ｃ）では、光源として可視光源を用いているが、赤外光を用いればたとえば生体の静脈を撮影することもできる。

図４は、照明光源に赤外ＬＥＤを使用した場合の静脈撮像の第１例を示す図である。
図５は、照明光源に赤外ＬＥＤを使用した場合の静脈撮像の第２例を示す図である。

たとえば、図４の例では、照明用光源に赤外ＬＥＤを使用し、被写体の後ろ側から光を照射することで指を透過してくる画像が取得できる。
この際に複数（図４の例では３）のＬＥＤ１１３〜１１５を使用し、これらのＬＥＤ１１３〜１１５の各々の点灯、消灯の状態を変えることで図３（Ａ）〜（Ｂ）と同様に位相状態の異なる複数の画像が取得できる。

また、図５の例では、複数（図５の例では２）の照明用のＬＥＤ１１６，１１７を撮像デバイス１３側に設置し、生体の指である被写体ＯＢＪの内部反射によって透過してくる光を撮影している。
この場合も各ＬＥＤ１１６，１１７の点灯、消灯の状態を変えることで図３（Ａ）〜（Ｃ）と同様に位相状態の異なる複数の画像が取得できる。

次に、生体の指紋の画像を取得する場合について説明する。
図６は、生体の指紋の画像撮像の第１例を示す図である。
図７は、生体の指紋の画像撮像の第２例を示す図である。

図６の例では、照明光を透明な基板２０の側方から基板２０の中に照射して導波させている。
この基板２０に指を押し当てると生体の指の指紋によって照明光が反射されるので、その像を撮像デバイス１３で取得する。
このとき、照明光の照射方法を変化させることで、図３（Ａ）〜（Ｃ）と同様に位相状態の異なる画像が複数枚取得することができる。

また、図７の例では、図３（Ａ）〜（Ｃ）と同様に撮像デバイス１３側から照明光を照射し、生体の指紋を撮影している。

ここまでの説明では照明用として複数の光源を配置する例を示してきたが、光源を一つにして、たとえば途中に遮蔽物を置いて被写体に対する照明光の照射領域を制御しても良い。

図８（Ａ）〜（Ｃ）は、照明用光源を一つにして被写体に対する照明光の照射領域を制御する例を示す図である。

図８（Ａ）〜（Ｃ）においては、撮像デバイス１３側に一つの照明用光源１１８を配置し、光源１１８から被写体ＯＢＪ間に照明領域制御部としてのシャッター２１，２２を配置して照明光の照射領域を制御する。

図８（Ａ）の例では、撮像デバイス１３側に配置された光源１１８から照射された照明光は図中の左側のシャッター２１で遮蔽され、被写体ＯＢＪの被撮像領域の中央および右側を中心に照射される。この状態の被写体ＯＢＪが撮像デバイス１３で撮像される。

図８（Ｂ）の例では、撮像デバイス１３側に配置された光源１１８から照射された照明光は図中の右側のシャッター２２で遮蔽され、被写体ＯＢＪの被撮像領域の中央および左側を中心に照射される。この状態の被写体ＯＢＪが撮像デバイス１３で撮像される。

図８（Ｃ）の例では、撮像デバイス１３側に配置された光源１１８から照射された照明光は２つのシャッター２１，２２を透過し、被写体ＯＢＪの被撮像領域の全体に照射される。この状態の被写体ＯＢＪが撮像デバイス１３で撮像される。

このように、図８（Ａ）〜（Ｃ）の例のように、シャッター２１，２２の状態を変えることで照明状態の異なる複数の状態を作り出し、これらの状態の被写体ＯＢＪを撮像デバイス１３で撮像することにより位相状態の異なる画像を取得することができる。
この場合も、被写体あるいは撮像デバイスを物理的に動かさずに位相の異なる画像を取得できるので、複雑な機構を要することなく超解像のための複数画像を得ることができる。

以上説明したように、本実施形態によれば、撮像装置１０は、照明用光源部１１の各光源１１１，１１２の点灯状態、あるいは光強度を光源制御装置１２により変えて、異なる照明状態を作り出して被照明物である被写体ＯＢＪを撮像デバイス１３で撮像することで得られた位相の異なる複数の画像を画像処理部１４に転送し、画像処理部１４において、複数の画像データを用いた超解像処理により解像度の高い画像を得ることから、被写体あるいは撮像デバイスを物理的に動かさずに位相の異なる画像を取得することが可能となる。
その結果、複雑な機構を要することなく超解像のための複数画像を得ることができる。

本発明の実施形態に係る撮像装置の構成例を示すブロック図である。 本実施形態に係る照明用光源および撮像デバイスと被写体との関係を示す図である。 本実施形態に係る光源の照明状態を変えて被写体の撮像を行う処理を説明するための図である。 照明光源の赤外ＬＥＤを使用した場合の静脈撮像の第１例を示す図である。 照明光源の赤外ＬＥＤを使用した場合の静脈撮像の第２例を示す図である。 生体の指紋の画像撮像の第１例を示す図である。 生体の指紋の画像撮像の第２例を示す図である。 照明用光源を一つにして被写体に対する照明光の照射領域を制御する例を示す図である。

１０・・・撮像装置、１１・・・照明用光源部、１１１〜１１８・・・光源、１２・・・光源制御装置、１３・・・撮像デバイス、１４・・・画像処理部、１５・・・フレームバッファ、１６・・・制御部、２０・・・基板、２１，２２・・・シャッター。

Claims (12)

1. 被写体を撮像する撮像デバイスと、
   被写体を照明可能な少なくとも一つの照明用光源と、
   上記照明用光源による照明光を、被写体の複数の異なる領域に対して選択的に照射させることが可能な照明領域制御部と、
   上記照明領域制御部により制御される複数の異なる照明状態の被写体を上記撮像デバイスに撮像させる制御部と
   を有する撮像装置。
2. 上記撮像デバイスで得られた複数の画像からより解像度の高い画像を生成する画像処理部を有する
   請求項１記載の撮像装置。
3. 複数の照明用光源を有し、
   上記照明領域制御部は、
   上記複数の照明用光源の点灯状態、消灯状態を選択的に切り替えて複数の異なる照明状態を発現させ、
   上記制御部は、
   上記複数の異なる照明状態ごとの被写体を上記撮像デバイスに撮像させる
   請求項１記載の撮像装置。
4. 上記複数の照明用光源による照明光は、赤外域の光を含む
   請求項３記載の撮像装置。
5. 上記照明領域制御部は、
   上記照明用光源による照明光の強度を制御して複数の異なる照明状態を発現させ、
   上記制御部は、
   上記複数の異なる照明状態ごとの被写体を上記撮像デバイスに撮像させる
   請求項１記載の撮像装置。
6. 上記照明領域制御部は、
   上記照明用光源による照明光の強度を制御して複数の異なる照明状態を発現させ、
   上記制御部は、
   上記複数の異なる照明状態ごとの被写体を上記撮像デバイスに撮像させる
   請求項３記載の撮像装置。
7. 上記撮像デバイス側に配置された一つの照明用光源を有し、
   上記照明領域制御部は、
   上記照明用光源の照明光を選択的に透過、遮蔽することが可能なシャッターを含む
   請求項１記載の撮像装置。
8. 被写体を撮像する撮像デバイスと、被写体を照明可能な少なくとも一つの照明用光源とを用いる撮像方法であって、
   上記照明用光源による照明光を、被写体の複数の異なる領域に対して選択的に照射し、
   上記複数の異なる照明状態の被写体を上記撮像デバイスで撮像し、位相の異なる複数の画像を得る
   撮像方法。
9. 上記撮像デバイスで得られた複数の画像からより解像度の高い画像を生成する
   請求項８記載の撮像方法。
10. 複数の照明用光源の点灯状態、消灯状態を選択的に切り替えて複数の異なる照明状態を発現させ、
    上記複数の異なる照明状態ごとの被写体を上記撮像デバイスで撮像する
    請求項８記載の撮像方法。
11. 上記照明用光源による照明光の強度を制御して複数の異なる照明状態を発現させ、
    上記複数の異なる照明状態ごとの被写体を上記撮像デバイスで撮像する
    請求項８記載の撮像方法。
12. 上記撮像デバイス側に配置された一つの照明用光源の照明光を選択的に透過、遮蔽することにより複数の異なる照明状態を発現させ、
    上記複数の異なる照明状態ごとの被写体を上記撮像デバイスで撮像する
    請求項８記載の撮像方法。