JP2014016537A - 撮像装置 - Google Patents

Abstract

【課題】夜間などの暗い環境での暗部感度の向上と、昼間などの明るい環境でのカラー映像の取得を、装置を大型化することなく両立させ、さらにイメージャの全画素の暗部感度の向上を図る。
【解決手段】 １以上の光学レンズを含み、物体光が入射される撮像光学系と、その撮像光学系の焦点位置から物体と反対方向に配置され、複数の画素を含む撮像素子と、少なくとも１つの上記光学レンズと、撮像光学系の焦点位置との間に配置され、複数のフィルタを含んで構成されるカラーフィルタと、を備える。
【選択図】図２

Description

本開示は、様々な明るさの環境で使用される監視カメラなどに適用して好適な撮像装置に関する。

監視カメラのように様々な環境下で使用されるカメラにとって、夜間などの光量の少ない暗い環境（暗環境）での感度、すなわち暗部感度は非常に重要である。監視カメラにおいて、暗い環境での感度が低いと、監視したい対象が低感度によるノイズに埋もれてしまい、監視者が対象を見落としてしまうことがある。そのため、暗部感度に重きを置く監視システムでは、暗部感度の性能が高いモノクロカメラが使用されることがよくある。

一般に、１枚のイメージャ（撮像素子）のみを有するカラーカメラ（１ＣＣＤカメラ、もしくは１ＣＭＯＳカメラと呼ばれる）に使用されるイメージャには、その表面（前面）にカラーフィルタアレイが装着されている。カラーフィルタアレイは、各カラーフィルタがイメージャの各画素に対応するよう正確に位置合わせをしてイメージャに重ねられる。イメージャに入ってきた物体光がこのカラーフィルタを透過することで、カラーフィルタの色に応じた所望のカラー成分のみが取り出される。しかし、カラーフィルタを透過しないカラー成分については遮断されてしまうため、物体光全体としての透過率が低下し、暗部感度が下がってしまう。

このようにモノクロカメラの方が、暗部感度が高く、夜間などの暗い環境における監視に向いている。一方で、モノクロカメラを使用することによって、別の問題が発生する。昼間や照明下などの光量の多い明るい環境（明環境）においてもモノクロ映像（白黒等の単色）しか取得できず、画像の視認性や記録性が低下してしまうことである。すなわち、暗部感度を重視してモノクロカメラを使うと明るい撮影シーンでの視認性、記録性が低下し、明るい撮影シーンでの視認性、記録性を考えてカラーカメラを使用すると暗部感度が低下するというジレンマが発生してしまう。

そこで、夜間などの暗い環境では感度の高いモノクロ映像の取得、昼間などの明るい環境ではカラー映像の取得、の両立が望まれている。これを実現するための方法としては、従来、次の２つが知られている。

１つの方法は、２台のカメラを使う方法である。モノクロカメラや赤外線カメラなどの暗部感度の高いカメラとカラーカメラを使用する。この方法では、夜間などの暗い環境では暗部感度の高いカメラの映像を信頼し、昼間などの明るい環境ではカラーカメラの高い視認性、記録性を活用する。

もう１つの方法は、イメージャに搭載されるカラーフィルタに工夫を施すことである。特許文献１では、いわゆる“ベイヤ配列”と呼ばれる一般に４フィルタ（４画素に対応）を１セットとして使用されていたカラーフィルタから、そのうちの１つのフィルタを取り除いている。すなわち、カラーフィルタにＲ（赤）、Ｇ（緑）、Ｂ（青）のすべてを透過するＷフィルタを設けている。これにより、物体光がＷフィルタを透過して対応する画素に直接入射し、暗部感度が向上する。

特開２００７−３０６４４７号公報

しかしながら、前者の方法では、２台のカメラを使用するために、カメラ装置のコストやサイズが大きくなってしまう。また、２台のカメラ分の映像を表示、記録する装置が必要となるなどの問題もある。

後者の方法では、暗部感度の向上を図ることはできるが、フィルタを取り除かれた画素以外の暗部感度は低下したままである。

以上の状況から、夜間などの暗い環境での暗部感度の向上と、昼間などの明るい環境でのカラー映像の取得を、装置を大型化することなく両立させ、さらにイメージャの全画素の暗部感度の向上を図る手法が要望されていた。

本開示の一側面の撮像装置は、１以上の光学レンズを含み、物体光が入射される撮像光学系と、その撮像光学系の焦点位置から物体と反対方向に配置され、複数の画素を含む撮像素子と、少なくとも１つの上記光学レンズと、撮像光学系の焦点位置との間に配置され、複数のフィルタを含んで構成されるカラーフィルタと、を備える。

上記構成において、例えば、入力される制御信号に基づいて、少なくとも１以上の光学レンズを透過した物体光の光路への、上記カラーフィルタの挿入又は取り去りを駆動制御するカラーフィルタ駆動部、を更に備える。

本開示の一側面によれば、複数のフィルタを含んで構成されるカラーフィルタを、撮像光学系を構成する少なくとも１つの光学レンズと、撮像光学系の焦点位置との間に配置する。これにより、カラーフィルタのそれぞれのフィルタを透過した物体光が撮像素子の対応する画素に入射し、カラー画像が得られる。一方、このカラーフィルタを取り去ると、撮像素子では各画素に直接入射した物体光に基づくモノクロ画像が取得される。

本開示の少なくとも一つの実施形態によれば、カラーフィルタの挿入及び取り外しを切り換えた場合、暗環境での暗部感度の向上と、明環境でのカラー映像の取得を、装置を大型化することなく両立できる。さらにカラーフィルタを取り去った場合には、撮像素子の全画素の暗部感度の向上が図られる。

ライトフィールドカメラの原理を説明するための図である。 本開示の撮像装置の原理を説明するための図である。 縦横４分割したフィルタ構成（２×２）のカラーフィルタの例を示す平面図である。 本開示の第１の実施形態に係る撮像装置の構成例を示すブロック図である。 図１のカメラ信号処理部の内部構成例を示すブロック図である。 本開示の第１の実施形態に係る撮像装置にＩＲカットフィルタを適用した場合の構成例を示すブロック図である。 本開示の第２の実施形態に係る撮像装置の構成例を示すブロック図である。 本開示の第３の実施形態に係る撮像装置の構成例を示すブロック図である。 縦横９分割したフィルタ構成（３×３）のカラーフィルタの例を示す平面図である。 本開示の第４の実施形態に係る撮像装置の構成例を示すブロック図である。 色滲みの一例を示す説明図である。 本開示の第５の実施形態に係るカラーフィルタの例を示す平面図である。

以下、本開示の技術を実施するための形態（以下、実施形態という）の例について説明する。本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。説明は以下の順序で行う。
１．第１の実施形態（カラーフィルタを光学レンズとその焦点の間に配置した例）
２．第２の実施形態（カラーフィルタ・ＩＲカットフィルタ駆動装置を備える例）
３．第３の実施形態（カラーフィルタ選択駆動装置を備える例）
４．第４の実施形態（マイクロレンズ駆動装置を備える例）
５．第５の実施形態（カラーフィルタに非透過帯を形成した例）
６．その他

＜．第１の実施形態＞
本開示では、次のような解決策によって、暗環境での暗部感度の向上と明環境でのカラー映像の取得を両立させる。基本的には、暗部感度の高い画像を取得するために、カラーフィルタの装着されていないモノクロイメージャを用いたカメラを使用する。このとき、カメラのモノクロイメージャの表面（もしくは近傍）に、一つのマイクロレンズが複数の画素をまたぐ若しくは覆う形状のマイクロレンズアレイを装着しておく。マイクロレンズアレイは、光学レンズによって集光された光を、光路別に分離する機能を持つ。このように構成されたカメラは、ライトフィールドカメラと呼ばれている。具体的には、文献１（Ng, R., Levoy, M., Bredif, M., Duval, G., Horowitz, M., Hanrahan, P. (2005). "Light Field Photography with a Hand-Held PlenopticCamera", Stanford Tech Report CTSR 2005-02, April, 2005.）に示されているような構成である。

このようにマイクロレンズアレイをモノクロイメージャに装着することによって、図１に示すような光学系と等価になり、物体光を光路ごとに分離してモノクロイメージャ３に入射することができる。図１の例では、光学レンズ１の焦点位置にマイクロレンズアレイ２を配置し、その後方（焦点を基点に物体と反対方向）にモノクロイメージャ３を配置している。物体の左側からの物体光（左画像）は、光学レンズ１とマイクロレンズアレイ２を介して、焦点を中心として点対称の位置に相当するモノクロイメージャ３の左画素３−Ｌに入射する。また物体の右側からの物体光（右画像）は、光学レンズ１とマイクロレンズアレイ２を介して、光学レンズ１の焦点を中心として点対称の位置に相当するモノクロイメージャ３の右画素３−Ｒに入射する。光路が異なるということは、物体を見ている方向が異なると言えるため、図１の光学系では、ステレオ画像（立体画像、３Ｄ画像）のように左右の別々の視点から撮影された画像を、１台のカメラで記録することができる。

図２は、本開示の撮像装置の原理を説明するための図である。図２に示すように、前方（物体に近い側）に配置された光学レンズ１とマイクロレンズアレイ２、並びにモノクロイメージャ３を含む光学系の光学レンズ１付近に、カラーフィルタ４を挿入する。すなわち、カラーフィルタ４は、光学レンズ１とその焦点位置との間で、光学レンズ１の開口部に配置される。

図１に例示の原理を用いれば、図２ではそれぞれカラーフィルタ４を透過した光が画素ごとに取り込まれて、その光量に応じた情報が取得される。例えば赤色域の波長の光を透過するフィルタ４Ｒを透過した光は、モノクロイメージャ３の画素３Ｒ−１に入射し、また青色域の波長の光を透過するフィルタ４Ｂを透過した光は、モノクロイメージャ３の画素３Ｂ−１に入射する。画素３Ｒ−１，３Ｂ−１はそれぞれ、一般的なカラーフィルタが実装されたイメージャのＲ画素，Ｂ画素に対応する。

ここで、例えば、カラーフィルタ４としてベイヤ配列の単位構成と同じ配色の２次元のカラーフィルタを挿入する。ベイヤ配列では、第１の色成分としてのＧのフィルタが市松状に配置されるとともに、第２又は第３の色成分としてのＲ及びＢのフィルタが、それ以外の位置に一行ごとに交互に配置されている。これにより、マイクロレンズアレイ２を挿入したモノクロイメージャ３ではベイヤ配列のカラー画像が取得される。一方で、このようなカラーフィルタ４を取り去ると、モノクロイメージャ３ではモノクロ画像が取得される。

図３に、縦横４分割したフィルタ構成（２×２）のカラーフィルタの例を示す。図３では、物体側から光学レンズ１及びカラーフィルタ１２を見た状態を例示している。この例はベイヤ配列の単位構成であり、２×２のフィルタ構成のうち、緑色域の波長の光を透過するフィルタ１２Ｇ１とフィルタ１２Ｇ２が左上及び右下（対角）に配置されている。また、２×２のフィルタ構成のうち、赤色域の波長の光を透過するフィルタ１２Ｒが右上に、青色域の波長の光を透過するフィルタ１２Ｂが左下に配置されている。

さらに、図３の例では、カラーフィルタ１２のフィルタ構成をベイヤ配列にしたが、この例に限られない。例えば補色系（Ｃ，Ｃｙ，Ｍｇ，Ｙｅ）、高感度（Ｇ，Ｒ，Ｗ，Ｂ）、ワイドダイナミック（Ｇ，Ｒ,ＮＤ,Ｂ）などのフィルタ構成が考えられる。

このように、マイクロレンズアレイ２が前面に装着されたモノクロイメージャ３を有するカメラにカラーフィルタ４を挿入することでカラー画像を取得でき、一方、カラーフィルタ４を除くことでモノクロ画像が取得できる。この原理を用いることによって、暗環境での暗部感度と明環境でのカラー化を両立させることが可能となる。

なお、図２の例では、光学レンズ１の焦点位置もしくは実質的に焦点位置にマイクロレンズアレイ２を配置しているが、この条件を満たす範囲においてマイクロレンズアレイ２をモノクロイメージャ３の前面（撮像面）に配置することができる。

また、図２の例では、本開示の光学系を構成する要素の一つとしてマイクロレンズアレイ２を含めたが、マイクロレンズアレイ２は必須の要素ではない。マイクロレンズアレイ２を設けた場合は、物体光をマイクロレンズごとに、すなわち光路に応じて分離してモノクロイメージャ３の対応する画素に入射させることができる。また、各マイクロレンズに到達した物体光が集光されてモノクロイメージャ３の対応する画素に入射されるので、各画素に入射する光量が増加し、光学レンズ１により取り込んだ光の利用効率の向上、感度向上が図られる。

［撮像装置の構成例］
図４は、本開示の第１の実施形態に係る撮像装置の構成例を示すブロック図である。
本例の撮像装置１０は、一般的な電子式カメラの基本構成を備え、撮像光学系１１と、カラーフィルタ１２と、マイクロレンズアレイ１３と、モノクロイメージャ１４と、カメラ信号処理部１５と、出力変換部１６と、カラーフィルタ駆動装置１７と、操作部１８とを備えている。

撮像光学系１１は、被写体の像光を取り込んでモノクロイメージャ１４の図示せぬ撮像面に結像させるものであり、１以上の光学レンズを組み合わせて構成される。図４の例の撮像光学系１１は、物体側から順に凸レンズ型の光学レンズ１１−１、凹レンズ型の光学レンズ１１−２、そしてシリンドリカルレンズ型の光学レンズ１１−３を有する。

カラーフィルタ１２は、例えば図３に示したベイヤ配列のフィルタ構成（２×２）を備える。撮像光学系１１が備える少なくとも１つの光学レンズと、当該撮像光学系１１の焦点位置との間に配置される。この例では、カラーフィルタ１２は、光学レンズ１１−２と光学レンズ１１−３の間に配置されている。カラーフィルタ１２を構成するＲ，Ｇ，Ｂの各フィルタの配置位置は、各フィルタを透過してモノクロイメージャ１４に入射する光がこのモノクロイメージャ１４の画素の配置位置と対応するように調整されている。カラーフィルタ１２は、カラーフィルタ駆動装置１７によって、少なくとも１以上の光学レンズを透過した物体光の光路への挿入、又は取り去りが行われる。

マイクロレンズアレイ１３は、図２に示したマイクロレンズアレイ２と同様の構成とすることができる。このマイクロレンズアレイ１３は、撮像光学系１１の焦点位置（実質的に焦点と同じ位置を含む）に配置される。

モノクロイメージャ１４は、本発明に係る撮像素子の一例である。このモノクロイメージャ１４は、図２に示したモノクロイメージャ３と同様、その前面にカラーフィルタが装着されていない。

モノクロイメージャ１４は、例えばＣＣＤ（Charge Coupled Devices：電荷結合素子）に代表される電荷転送型固体撮像素子や、ＭＯＳ（Metal Oxide Semiconductor:金属酸化型半導体）に代表されるＸ−Ｙアドレス型固体撮像素子などにより実現される。モノクロイメージャ１４内には、画素に対応する複数の光電変換素子が二次元的に配置されている。各画素の光電変換素子は、入射した光を光電変換して画素信号（アナログ信号）として出力する。カラーフィルタ１２を構成するＲ，Ｇ，Ｂの各カラーフィルタの配置位置は、モノクロイメージャ１４の画素の配置位置と対応しているので、各画素では、Ｒ，Ｇ，Ｂのいずれか１つの色成分を有する画素信号が生成される。モノクロイメージャ１４で光電変換されて電気信号として出力される画像信号（アナログ信号）は、図示しないＡ／Ｄ変換器によりデジタル信号に変換された後、カメラ信号処理部１５へ出力される。

カメラ信号処理部１５は、本発明に係る信号処理部の一例である。モノクロイメージャ１４より入力される画像信号に対し、光学系補正、ガンマ補正、ホワイトバランス補正などを行い、出力変換部１６へ出力する。また、カメラ信号処理部１５は、入力された画像信号に基づいてカラーフィルタ制御用の信号（制御信号）を生成し、この信号をカラーフィルタ駆動装置１７へ出力する。カメラ信号処理部１５は、画像信号（撮影シーン）を解析して、暗部感度が必要な場合はカラーフィルタ１２を物体光の光路から取り除く制御信号を出力し、そうではない場合はカラーフィルタ１２を物体光の光路に挿入する制御信号を出力する。カメラ信号処理部１５には、例えばＤＳＰ（Digital Signal Processor）が用いられる。

出力変換部１６は、画像信号のデータ量を削減し、所定の画像フォーマットに変換して出力する。出力変換部１６は、所定の画像フォーマットに変換した画像データを出力し、表示装置に表示させたり、記録媒体に記録させたり、通信手段を介して撮像装置１０の外部に出力させたりする。

カラーフィルタ駆動装置１７は、本発明に係るカラーフィルタ駆動部の一例であり、図示しない駆動回路と駆動機構を備えて構成されている。カラーフィルタ駆動装置１７の駆動回路はカメラ信号処理部１５から受信する制御信号に基づいて駆動信号を生成し、駆動機構による物体光の光路に対するカラーフィルタ１２の挿入又は取り去りの動作を制御する。

操作部１８は、ユーザの入力操作に応じた操作信号を生成するものであり、例えばキーボードやマウス、タッチパネル等が適用される。ユーザは、操作部１８を操作して、物体光の光路に対するカラーフィルタ１２の挿入又は取り去りの指示や、環境判定開始の指示を行うことができる。生成された操作信号は、図示しないインターフェース部を介してカメラ信号処理部１５へ入力される。

図５は、撮像装置１０のカメラ信号処理部１５の内部構成例を示すブロック図である。
カメラ信号処理部１５は、画像解析部１５１と、環境判定部１５２と、メモリ１５３と、駆動制御部１５４と、信号処理部１５５を備えて構成される。

画像解析部１５１は、モノクロイメージャ１４から出力される画像信号（撮影シーン）を解析し、解析結果を環境判定部１５２へ通知する。撮影シーンの解析方法として、例えば次のような方法がある。画像解析部１５１は、モノクロイメージャ１４の各画素から出力される画素信号から、撮像された画像の全体あるいは一部分の画素値を積算して、積算値を環境判定部１５２へ通知する。

環境判定部１５２は、画像解析部１５１から供給される画像信号（撮影シーン）の解析結果から、撮影シーンが暗い撮影シーン又は明るい撮影シーンのいずれであるかを判定する。そして、判定結果に応じた制御信号を駆動制御部１５４へ出力する。一例として、画像解析部１５１から供給される、撮像された画像の全体あるいは一部分の画素値の積算値と、不揮発性のメモリ１５３に登録されている閾値とを比較する。比較の結果、積算値が設定したある閾値未満であれば暗い撮影シーン（暗環境）であると判定し、感度を高めるために物体光の光路からカラーフィルタ１２を取り除く制御信号を出力する。逆に、積算値が閾値以上であれば明るい撮影シーン（明環境）である判定し、物体光の光路へカラーフィルタ１２を挿入する制御信号を出力する。

駆動制御部１５４は、環境判定部１５２から出力される環境判定の結果を反映した制御信号を、カラーフィルタ駆動装置１７で処理可能な信号形態に変換し、カラーフィルタ駆動装置１７へ出力する。また、駆動制御部１５４は、操作部１８から入力される操作信号に基づいて、物体光の光路に対するカラーフィルタ１２の挿入又は取り去りの制御信号を生成し、カラーフィルタ駆動装置１７へ出力する。

信号処理部１５５は、モノクロイメージャ３からカメラ信号処理部１５に入力された画像信号に所定の処理を行い、出力変換部１６へ出力する。この処理としては、例えば、光学系補正、ガンマ補正、ホワイトバランス補正などがある。

このようにして、カメラ信号処理部１５は、モノクロイメージャ３から供給される画像信号により明環境又は暗環境を判定し、判定結果に応じた制御信号をカラーフィルタ駆動装置１７へ出力する。カラーフィルタ駆動装置１７は、カメラ信号処理部１５から入力された制御信号に基づいてカラーフィルタ１２を駆動制御し、明環境のときカラーフィルタ１２を物体光の光路に挿入し、暗環境のときカラーフィルタ１２を物体光の光路から取り去る。そして、信号処理部１５５は、カラーフィルタ１２の挿入又は取り外しに応じてモノクロイメージャ３で生成される画像信号を受け取り、その画像信号に所定の処理を施して出力する。

上述した第１の実施形態によれば、撮像装置１０は、暗環境ではカラーフィルタ１２を挿入することなく撮影を行い暗部感度の高い画像（モノクロ画像）を取得し、明環境ではカラーフィルタ１２を挿入して撮影を行いカラー画像を取得できる。これによって、１台の撮像装置１０で、撮影シーンに応じて、高感度画像又はカラー画像の選択的な撮影が行える。また、カラーフィルタを取り去った場合、モノクロイメージャ３では各画素に直接入射した物体光に基づくモノクロ画像が取得される。

物体色が白の場合は暗部感度が数倍に上がり、物体に色がついている場合はさらに暗部感度が上がる。例えば、植物のような緑色の物体をカラーフィルタのＧフィルタを通して撮影すると輝度は非常に低い。一方、カラーフィルタを取り外して撮影してモノクロ画像を取得すると、１０倍以上の感度向上が見込める。

なお、カメラ信号処理部１５による画像解析及び環境判定を行うタイミングは、自動又は手動による撮影直前すなわち撮影ジョブ開始時に行ってもよいし、又は定期的に行ってもよい。

＜２．第２の実施形態＞
第２の実施形態は、第１の実施形態に係る撮像装置にＩＲ（赤外光）カットフィルタを適用し、一つの駆動装置でカラーフィルタ及びＩＲカットフィルタの挿入又は取り去りを行うようにした例である。

一般的に、ＣＣＤやＣＭＯＳなどのイメージャはＩＲ領域の光にも受光感度を持つ。また、イメージャに装着されるカラーフィルタもＩＲ領域の光を透過してしまう。そのため、一般的なカラーカメラでは、ＩＲカットフィルタと呼ばれるＩＲ領域の光を遮断するためのフィルタが装着されることがある。そして、監視カメラとしてカラーカメラを用いる場合、暗部感度を少しでも向上させるため、暗い撮影シーンでの撮影時では、赤外光を除去するＩＲカットフィルタを取り外すメカ機構を設けている場合がある。例えば、特開昭６２−２６３７７６号公報にこのような構成が記載されている。

図６は、第１の実施形態に係る撮像装置にＩＲカットフィルタを適用した場合の構成例を示すブロック図である。
図６に例示した撮像装置２０は、撮像光学系１１のマイクロレンズアレイ１３側にＩＲカットフィルタ２１を配置し、ＩＲカットフィルタ駆動装置２２によりＩＲカットフィルタ２１の取り外しを行う構成である。

そこで、以下に、カラーフィルタとＩＲカットフィルタを同一モジュール化し、１つの駆動装置でカラーフィルタとＩＲカットフィルタの駆動を制御する構成を提案する。

図７は、本開示の第２の実施形態に係る撮像装置の構成例を示すブロック図である。
本例の撮像装置３０は、ＩＲカットフィルタ２１をカラーフィルタ１２に隣接させて物体光の光路に挿入できるように構成している。モジュール化したカラーフィルタ１２とＩＲカットフィルタ２１は、カラーフィルタ・ＩＲカットフィルタ駆動装置３１により駆動制御される。

カラーフィルタ・ＩＲカットフィルタ駆動装置３１は、本発明に係るカラーフィルタ駆動部の一例である。このカラーフィルタ・ＩＲカットフィルタ駆動装置３１は、カラーフィルタ駆動装置１７と同様、図示しない駆動回路と駆動機構を備えて構成されている。カラーフィルタ・ＩＲカットフィルタ駆動装置３１の駆動回路はカメラ信号処理部１５から受信する制御信号に基づいて駆動信号を生成し、駆動機構による物体光の光路に対するカラーフィルタ１２及び／又はＩＲカットフィルタ２１の挿入又は取り去りの動作を制御する。例えば制御信号には、制御対象に指定されたフィルタの識別情報と、その制御対象に対して行う制御内容の情報が含まれる。

上述した第２の実施形態によれば、ＩＲカットフィルタ２１をメカ的に取り外す機構を有している撮像装置であれば、その機構を利用してその撮像装置のコストを上昇させることなく、カラーフィルタ１２の挿入、取り外しが行える。

＜３．第３の実施形態＞
上述した第１の実施形態及び第２の実施形態で示した、撮像光学系１１の焦点位置より物体側にカラーフィルタ１２を挿入する構成のメリットの一つとして、カラーフィルタ１２の変更が容易であることがある。したがって、様々なカスタムカラーフィルタを挿入したカラーカメラを簡単に構成できる。

従来の一般的な撮像装置において、カスタムカラーフィルタを利用するために、次のような２つの手法を用いていた。
１つは専用のカラーフィルタを装着したカスタムイメージャを製造する方法である。一般的に半導体プロセスによって製造されるイメージャは大量生産することでコストを下げている。そのため、様々な種類のカラーフィルタを装着した専用のカスタムイメージャを生産するのは、コスト面で好ましくない。しかも、この方法では、使用するカスタムカラーフィルタを搭載したカメラに対して、別のカラーフィルタに取り換えることが非常に困難である。

別の方法として時系列の撮像を使う方法がある。例えば、時系列に照明を変化させる方法、あるいはチューナブルフィルタ等を使って時系列にカラーフィルタの特性を変化させる方法がある。しかしながらこの方法は、時系列で撮像状態を変化させるため動いている物体への対応が難しく、一般的なカメラとして使用できない。

しかしながら、第１の実施形態及び第２の実施形態で示した、カラーフィルタを後から挿入することでカラー画像を取得する方法は、カラーフィルタの変更が容易である。その特性を利用して、図８に示すように、複数のカラーフィルタを用意しておき、シーン解析や手動選択によって使用するカラーフィルタを選択してもよい。また、カメラが使用される撮影シーンが限定されているのであれば、その撮影シーンに最も適したカスタムカラーフィルタを１つだけ使用してもよい。

図８は、本開示の第３の実施形態に係る撮像装置の構成例を示すブロック図である。
本例の撮像装置４０では、光学レンズ１１−２と光学レンズ１１−３の間に、異なるフィルタ構成の２つのカラーフィルタ１２−１とカラーフィルタ１２−２が隣接して挿入可能に設けられている。また、撮像装置４０は、カメラ信号処理部１５からの制御信号に基づいてカラーフィルタ１２−１，１２−２のいずれかを選択して駆動制御するカラーフィルタ選択駆動装置４１を備えている。

カラーフィルタ選択駆動装置４１は、本発明に係るカラーフィルタ駆動部の一例である。このカラーフィルタ選択駆動装置４１は、カラーフィルタ駆動装置１７と同様、図示しない駆動回路と駆動機構を備えて構成されている。カラーフィルタ選択駆動装置４１の駆動回路はカメラ信号処理部１５から受信する制御信号に基づいて駆動信号を生成し、駆動機構による物体光の光路に対する、カラーフィルタ１２−１又はカラーフィルタ１２−２の挿入又は取り去りの動作を制御する。例えば制御信号には、制御対象に指定されたカラーフィルタの識別情報と、その制御対象に対して行う制御内容の情報が含まれる。

なお、撮影シーンに応じたカラーフィルタの定義としては、次のようなものがある。例えば、撮影で得た画像を人が見た画像により近くしたい場合は、例えば特開２００５−１６００４４号公報に記載されたようなカラーフィルタを使えばよい。また、撮影で得た画像から人の肌に対応する画像を検出したければ、例えば特開２００８−２７５４７７号公報に記載されたような特定の波長の光を透過するフィルタを使えばよい。

上述した第３の実施形態によれば、用意しておいた複数のカラーフィルタから、目的に応じて適切なカラーフィルタを自動又は手動で選択して、所望の撮影を行うことができる。なお、この第３の実施形態を、第２の実施形態（図７参照）に適用することもできる。

（カラーフィルタの変形例）
ところで、本開示に係る撮像装置に使用されるカラーフィルタのフィルタ構成は、図３のように２×２の配列である必要はない。これはモノクロイメージャ３の前面に配置される又は装着されるマイクロレンズアレイ１３の各マイクロレンズによる画素のカバー範囲に依存する。１つのマイクロレンズで２×２の４画素をカバーしていれば、例えば、図３のような２×２のカラーフィルタ１２を用いることができる。また、１つのマイクロレンズが３×３の９画素をカバーしていれば、図９のような３×３のカラーフィルタ４２を使うことができる。２×２のカラーフィルタでは最大４種類のフィルタしか使用できないが、３×３のカラーフィルタになると最大９種類のフィルタを選択することが可能となる。それにより、カラー画像の色再現性の向上が期待される。

なお、１つのマイクロレンズの画素カバー範囲は２×２あるいは３×３だけでなく、４×４、５×５のようにもっと大きくしてもよいし、１×２、２×５のような縦と横の画素数が均等でなくてもよい。

＜４．第４の実施形態＞
第４の実施形態は、これまでの第１〜第３の実施形態で示された撮像装置を用いて暗いシーンを撮影する時に、マイクロレンズアレイ１３を取り外し可能に構成した例である。

マイクロレンズアレイ１３を装着したまま、モノクロイメージャ３によるモノクロ画像の撮影を行うことを想定する。（１）この場合、物体光がマイクロレンズを透過することで若干光の強度が減衰し、モノクロイメージャ３の感度が低下してしまう。（２）また、例えば２×２の画素をカバーするマイクロレンズを使用した場合、画素数が１／４に低下してしまう。これは、本開示のライトフィールドカメラを応用した撮像装置では、各画素で生成されたＲ，Ｇ，Ｂのいずれか１つの色成分を有する画素信号に対し、従来のベイヤ配列のイメージャのように偽色を用いた補間を行わないからである。そこで、カラーフィルタの挿入と取り外しに同期して、マイクロレンズの挿入と取り外しを行うことを提案する。

図１０は、本開示の第４の実施形態に係る撮像装置の構成例を示すブロック図である。
本例の撮像装置５０は、第１の実施形態に係る撮像装置１０（図４参照）に対し、マイクロレンズアレイ１３が挿入及び取り外し可能であること、マイクロレンズアレイ１３を駆動制御するマイクロレンズ駆動装置５１を備える点が異なる。

マイクロレンズ駆動装置５１は、本発明に係るマイクロレンズ駆動部の一例である。このマイクロレンズ駆動装置５１は、カラーフィルタ駆動装置１７と同様、図示しない駆動回路と駆動機構を備えて構成されている。マイクロレンズ駆動装置５１の駆動回路はカメラ信号処理部１５から受信する制御信号に基づいて駆動信号を生成し、駆動機構による物体光の光路に対するマイクロレンズアレイ１３の挿入又は取り去りの動作を制御する。カメラ信号処理部１５は、カラーフィルタ駆動装置１７へ制御信号を送信するのと同期して、マイクロレンズ駆動装置５１へ制御信号を送信する。そして、マイクロレンズ駆動装置５１へ送信される制御信号には、カラーフィルタ駆動装置１７へ送信される制御信号と同じ制御内容の情報が含まれる。すなわち、カラーフィルタ１２の挿入及び取り外しの動作と、マイクロレンズアレイ１３の挿入及び取り外しの動作が同期する。

上述した第４の実施形態によれば、カラーフィルタ１２の挿入及び取り外しに同期して、マイクロレンズアレイ１３の挿入と取り外しを行うことにより、感度向上、並びに画素数の増加が図られる。

＜５．第５の実施形態＞
本開示に係る実施形態で使用するカラーフィルタは、例えば、２×２の４画素をカバーしたマイクロレンズアレイ１３をモノクロイメージャ１４に装着した場合、図３のようなものになる。物体光の図２に示される光路による分離は、中央部分で厳密に分離できているわけではない。物体光のぼけ、あるいは装着しているマイクロレンズアレイの個体差、あるいは光学系中心の位置ずれ、あるいは光学レンズの焦点とカラーフィルタの位置ずれ等によって、隣り合う２つの色が混じってしまうことがある。

光学レンズの焦点とカラーフィルタの位置ずれについては、色滲みの一例を示した図１１によって説明できる。図２に示すようにモノクロイメージャの中央部分の画素については、カラーフィルタの中央部分（フィルタ４Ｒとフィルタ４Ｂの中間）で分離される。一方で、モノクロイメージャ３の端の部分（周辺）では、図１１に示すように、中央からずれた位置で色が分離し、フィルタ４Ｂとフィルタ４Ｒを透過した光が画素３Ｂ−２に入射してしまう。そこで、物体光の各色成分を分離するため、カラーフィルタの中央部分に非透過帯を設けることを提案する。

図１２は、本開示の第５の実施形態に係るカラーフィルタの例を示す平面図である。図１２では、物体側から撮像光学系１１（光学レンズ１１−１）及びカラーフィルタ６０を見た状態を例示している。
本例のカラーフィルタ６０は、相互に隣接するフィルタの間に物体光が透過しない非透過帯６１が形成されている。ここでは、非透過帯６１が、フィルタ１２Ｇ１とフィルタ１２Ｒの間、フィルタ１２Ｒとフィルタ１２Ｇ２の間、フィルタ１２Ｇ２とフィルタ１２Ｂの間、フィルタ１２Ｂとフィルタ１２Ｇ１の間に、一定の幅を持って形成されている。あるいは、色の混ざり具合を考慮して、フィルタ同士が隣接する場所ごとに幅を変えてもよい。この非透過帯６１は、例えば黒等の光を透過しない顔料の塗布、あるいは光を透過しない材料からなる板材等を用いて形成することができる。

上述した第５の実施形態によれば、相互に隣接するフィルタの間に物体光が透過しない非透過帯を形成することにより、色が混じってしまうことを抑制し、色滲みを防止できる。

＜６．その他＞
本開示に係る撮像装置は、監視カメラの他、様々な明るさの環境で使用されるスチルカメラ、ビデオカメラ等に適用して好適である。

本開示に係る撮像装置にマイクロレンズによる光路分離を利用する場合、非特許文献１のように、撮像装置を物体との距離の計測に使用できる。したがって、上記の第１〜第４の実施形態に係る撮像装置を距離計測に用いてもよい。

なお、本開示は以下のような構成も取ることができる。
（１）
１以上の光学レンズを含み、物体光が入射される撮像光学系と、
前記撮像光学系の焦点位置から物体と反対方向に配置され、複数の画素を含む撮像素子と、
少なくとも１つの前記光学レンズと、前記撮像光学系の焦点位置との間に配置され、複数のフィルタを含んで構成されるカラーフィルタと、を備える
撮像装置。
（２）
入力される制御信号に基づいて、少なくとも１以上の前記光学レンズを透過した前記物体光の光路への、前記カラーフィルタの挿入又は取り去りを駆動制御するカラーフィルタ駆動部、を更に備える
前記（１）に記載の撮像装置。
（３）
前記撮像素子から供給される画像信号により明環境又は暗環境を判定し、判定結果に応じた制御信号を前記カラーフィルタ駆動部へ出力する信号処理部、を更に備え、
前記カラーフィルタ駆動部は、前記制御信号に基づいて、明環境のとき前記カラーフィルタを前記物体光の光路に挿入し、暗環境のとき前記カラーフィルタを前記物体光の光路から取り去る
前記（２）に記載の撮像装置。
（４）
前記撮像光学系の焦点位置に配置されたマイクロレンズアレイを、更に備える
前記（１）〜（３）のいずれかに記載の撮像装置。
（５）
前記マイクロレンズアレイが、前記撮像素子の前面に配置されている
前記（４）に記載の撮像装置。
（６）
入力される制御信号に基づいて、前記撮像光学系を透過した前記物体光の光路への、前記マイクロレンズアレイの挿入又は取り去りを駆動制御するマイクロレンズ駆動制御部、を更に備える
前記（４）又は（５）のいずれかに記載の撮像装置。
（７）
前記撮像光学系を透過した前記物体光に含まれる赤外光を遮断する赤外光カットフィルタを、更に備え、
前記カラーフィルタ駆動部は、前記制御信号に基づいて、前記カラーフィルタ及び／又は前記赤外光カットフィルタを駆動制御する
前記（２）〜（６）のいずれかに記載の撮像装置。
（８）
複数種類の前記カラーフィルタを備え、
前記カラーフィルタ駆動部は、前記制御信号に基づいて、複数種類の前記カラーフィルタのうち指定されたカラーフィルタを駆動制御する
前記（２）〜（７）のいずれかに記載の撮像装置。
（９）
前記カラーフィルタは、相互に隣接する前記フィルタの間に前記物体光が透過しない非透過帯が形成されている
前記（１）〜（８）のいずれかに記載の撮像装置。

なお、上述した各実施形態例における一連の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種の機能を実行するためのプログラムをインストールしたコンピュータにより、実行可能である。例えば汎用のパーソナルコンピュータなどに所望のソフトウェアを構成するプログラムをインストールして実行させればよい。

また、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給してもよい。また、そのシステムあるいは装置のコンピュータ（またはＣＰＵ等の制御装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、機能が実現されることは言うまでもない。

この場合のプログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現される。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部又は全部を行う。その処理によって上述した実施形態の機能が実現される場合も含まれる。

また、本明細書において、時系列的な処理を記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）をも含むものである。

以上、本開示は上述した各実施の形態に限定されるものではなく、特許請求の範囲に記載された要旨を逸脱しない限りにおいて、その他種々の変形例、応用例を取り得ることは勿論である。
すなわち、上述した各実施形態の例は、本開示の好適な具体例であるため、技術的に好ましい種々の限定が付されている。しかしながら、本開示の技術範囲は、各説明において特に本開示を限定する旨の記載がない限り、これらの形態に限られるものではない。例えば、以上の説明で挙げた使用材料とその使用量、処理時間、処理順序および各パラメータの数値的条件等は好適例に過ぎず、また説明に用いた各図における寸法、形状および配置関係も概略的なものである。

１…光学レンズ、 ２…マイクロレンズ、 ３…モノクロイメージャ（撮像素子）、 ３Ｂ−１…Ｂ画素、 ３Ｒ−１…Ｒ画素、 ４…カラーフィルタアレイ、 ４Ｒ…Ｒフィルタ、４Ｂ…Ｂフィルタ、 １０…撮像装置、 １１…撮像光学系、 １２，１２−１，１２−２…カラーフィルタアレイ、 １３…マイクロレンズ、 １４…モノクロイメージャ（撮像素子）、 １５…カメラ信号処理部、 １７…カラーフィルタ駆動装置、 ２０…撮像装置、 ２１…ＩＲカットフィルタ、 ２２…ＩＲカットフィルタ駆動装置、 ３０…撮像装置、 ３１…カラーフィルタ・ＩＲカットフィルタ駆動装置、 ４０…撮像装置、 ４１…カラーフィルタ選択駆動装置、 ５０…撮像装置、 ５１…マイクロレンズ駆動装置、 ６０…カラーフィルタ、 ６１…非透過帯、 １５１…画像解析部、 １５２…環境判定部、 １５３…メモリ、 １５４…駆動制御部、 １５５…信号処理部

Claims (9)

1. １以上の光学レンズを含み、物体光が入射される撮像光学系と、
   前記撮像光学系の焦点位置から物体と反対方向に配置され、複数の画素を含む撮像素子と、
   少なくとも１つの前記光学レンズと、前記撮像光学系の焦点位置との間に配置され、複数のフィルタを含んで構成されるカラーフィルタと、を備える
   撮像装置。
2. 入力される制御信号に基づいて、少なくとも１以上の前記光学レンズを透過した前記物体光の光路への、前記カラーフィルタの挿入又は取り去りを駆動制御するカラーフィルタ駆動部、を更に備える
   請求項１に記載の撮像装置。
3. 前記撮像素子から供給される画像信号により明環境又は暗環境を判定し、判定結果に応じた制御信号を前記カラーフィルタ駆動部へ出力する信号処理部、を更に備え、
   前記カラーフィルタ駆動部は、前記制御信号に基づいて、明環境のとき前記カラーフィルタを前記物体光の光路に挿入し、暗環境のとき前記カラーフィルタを前記物体光の光路から取り去る
   請求項２に記載の撮像装置。
4. 前記撮像光学系の焦点位置に配置されたマイクロレンズアレイを、更に備える
   請求項３に記載の撮像装置。
5. 前記マイクロレンズアレイが、前記撮像素子の前面に配置されている
   請求項４に記載の撮像装置。
6. 入力される制御信号に基づいて、前記撮像光学系を透過した前記物体光の光路への、前記マイクロレンズアレイの挿入又は取り去りを駆動制御するマイクロレンズ駆動制御部、を更に備える
   請求項４に記載の撮像装置。
7. 前記撮像光学系を透過した前記物体光に含まれる赤外光を遮断する赤外光カットフィルタを、更に備え、
   前記カラーフィルタ駆動部は、前記制御信号に基づいて、前記カラーフィルタ及び／又は前記赤外光カットフィルタを駆動制御する
   請求項２に記載の撮像装置。
8. 複数種類の前記カラーフィルタを備え、
   前記カラーフィルタ駆動部は、前記制御信号に基づいて、複数種類の前記カラーフィルタのうち指定されたカラーフィルタを駆動制御する
   請求項２に記載の撮像装置。
9. 前記カラーフィルタは、相互に隣接する前記フィルタの間に前記物体光が透過しない非透過帯が形成されている
   請求項１に記載の撮像装置。