JP2017098831A - 画像処理装置、画像処理方法、撮像装置、偏光制御ユニット、撮像システムおよびプログラム - Google Patents

Abstract

【課題】画像処理の負担を低減しつつ高精度に高解像度画像を生成すること【解決手段】撮像装置に使用される偏光制御ユニットは、第１の偏光子１０２と、第１の偏光子を通過した光の偏光方向を調節する偏光制御素子１０３と、偏光制御素子を介した光を通過させる第２の偏光子１０４と、を有する。第１および第２の偏光子の少なくとも一方は複数の領域を含み、該複数の領域の少なくとも２つは、通過させる光の偏光方向が互いに異なり、前記通過させる光は、前記撮像装置の撮像素子における同一の画素に入射する。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、撮像装置、偏光制御ユニット、撮像システムおよびプログラムに関する。

１枚以上の低解像度画像から１枚の高解像度画像を生成する画像処理技術は、超解像（Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ）技術と呼ばれている。超解像技術の一種である画素ずらし超解像（Ｐｉｘｅｌ Ｓｈｉｆｔ Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ）では、低解像度のイメージセンサを微小駆動させ、互いに異なる場所で取得した複数枚の低解像度画像から、補間処理をすることで高解像度画像を生成する。なお、補間処理とは粗いサンプリング点を滑らかにつなぎ、サンプリング点の間の点における値を推定する処理である。

特許文献１では、入射光を常光と異常光に分離する平行水晶板と、常光と異常光を交互に透過するように制御可能な液晶偏光フィルタとを用いて、時分割で取得した常光像と異常光像とから、画素ずらし超解像を行うことで高解像度画像を生成する。特許文献１は、水晶の複屈折を利用して、互いにシフトした複数枚の低解像度画像（常光像と異常光像）を、メカニカルな駆動を必要とせずに取得できる。

超解像技術の別の種類は、ＭＡＰ（Ｍａｘｉｍａｍ ａ Ｐｏｓｔｅｒｉｏｒｉ）推定に代表される反復計算を用いた手法である。ＭＡＰ推定では、１枚または複数枚の低解像度画像から反復計算を行うことで、高解像度画像を生成する。具体的には、まず推定の尤もらしさを表す尤度項（Ｌｉｋｅｌｉｈｏｏｄ Ｔｅｒｍ）と、推定に関する事前知識（平滑さ等）を表す事前確率項（Ｐｒｉｏｒ Ｔｅｒｍ）の和からなる目的関数（Ｏｂｊｅｃｔｉｖｅ Ｆｕｎｃｔｉｏｎ）を定義する。次に、この目的関数値を反復計算により最大化（若しくは最小化）することで、事後確率が最大の（与えられた条件下で最も確率が高い）高解像度画像が生成する。

特開平６−２７５８０４号公報

画素ずらし超解像は、低解像度のイメージセンサを微小に駆動する必要があり、単純な補間処理のために超解像精度は低い。特許文献１も、画像処理が単純な補間処理であるため、超解像精度が低い。ＭＡＰ推定に代表される反復計算は、画像処理に計算負荷が大きい複雑な計算を必要とする。

本発明は、画像処理の負担を低減しつつ高精度に高解像度画像を生成することが可能な画像処理装置、画像処理方法、撮像装置、偏光制御ユニット、撮像システムおよびプログラムを提供することを例示的な目的とする。

本発明の偏光制御ユニットは、撮像装置に使用される偏光制御ユニットであって、第１の偏光子と、該第１の偏光子を通過した光の偏光方向を調節する調節手段と、該調節手段を介した光を通過させる第２の偏光子と、を有し、前記第１及び第２の偏光子の少なくとも一方は複数の領域を含み、該複数の領域の少なくとも２つは、通過させる光の偏光方向が互いに異なり、前記通過させる光は、前記撮像装置の撮像素子における同一の画素に入射することを特徴とする。

本発明によれば、画像処理の負担を低減しつつ高精度に高解像度画像を生成することが可能な画像処理装置、画像処理方法、撮像装置、偏光制御ユニット、撮像システムおよびプログラムを提供することができる。

本発明の撮像装置の構成例を示したブロック図である。 図1に示す撮像装置が任意の透過率分布を実現することを説明する図である。 本発明の撮像装置による超解像方法を説明したフローチャート 本発明の撮像装置を適用した赤外カメラのブロック図である。（実施例１） 本発明の撮像装置を適用した内視鏡のブロック図である。（実施例２） 本発明の撮像装置を適用した顕微鏡のブロック図である。（実施例３） 本発明の透過率分布を示す図である。 本発明の効果である数値計算結果を示す図である。

図１は、本実施形態による撮像装置１００の構成例を示すブロック図である。撮像装置１００は、結像光学系１０１と、第１の偏光板１０２と、偏光制御素子１０３と、第２の偏光板１０４と、撮像素子１０５、画像処理手段１５０、駆動手段１５５、制御手段１６０、記憶手段１６２、表示手段１６４を有する。

撮像装置は、レンズ一体型でもよいし、レンズ装置が着脱可能に構成される撮像装置本体であってもよい。後者の場合、レンズ装置と撮像装置本体から構成される撮像システムは本発明を構成する。この場合、レンズ装置に結像光学系１０１、第１の偏光板１０２、偏光制御素子１０３、第２の偏光板１０４、駆動手段１５５が設けられ、撮像装置本体に撮像素子１０５、画像処理手段１５０、制御手段１６０、記憶手段１６２、表示手段１６４が設けられてもよい。レンズ装置には、レンズ装置の各部を制御すると共にカメラ制御手段として機能する制御手段１６０と通信するレンズ制御手段が設けられ、カメラ制御手段は、レンズ制御手段を介して、駆動手段１５５を制御する。あるいは、レンズ装置に結像光学系１０１が設けられ、結像光学系１０１以外の構成要素が撮像装置本体に設けられてもよい。

第１の偏光板１０２、偏光制御素子１０３、第２の偏光板１０４は、偏光制御ユニットとして一体的に結像光学系１０１の光軸に着脱可能に撮像装置１００に設けられていてもよい。この結果、これらのユニットが結像光学系１０１の光軸から退避されると、撮像装置は通常の低解像度画像を生成し、これらのユニットが結像光学系１０１の光軸に挿入されると、撮像装置は通常の高解像度画像を生成するようになる。撮像装置１００に使用される偏光制御ユニットは、撮像装置またはレンズ装置に内蔵型であってもよいが、外付型として撮像装置１００に装着可能に構成されてもよい。

結像光学系１０１は、例えば、レンズ群で構成され、偏光制御ユニットを介して物体（被写体）の光学像を撮像素子１０５の撮像面（画素上）に形成する。結像光学系１０１は、焦点調節用のフォーカスレンズ、焦点距離を変更するズームレンズ（変倍レンズ）、光軸を偏心させる像振れ補正レンズ、光量を調整する絞りなどを含んでもよい。

第１の偏光板（第１の偏光子）１０２は、結像光学系１０１の像面に設置されている。但し、第１の偏光板１０２、偏光制御素子１０３、第２の偏光板１０４は、結像光学系１０１の中に設けられていてもよい。偏光板は、入射光のうち特定の偏光（特定方向に偏光した直線偏光）だけを通過させる光学素子であり、本実施形態では、偏光子と同義で使用されている。偏光子の透過軸（または反射軸）に平行な向きを持つ偏光だけが透過する。偏光子は、透過型でも反射型でもよい。

第１の偏光板１０２は、ワイヤーグリッド、回折格子（グレーティング）、プリズムなどにより構成可能である。ワイヤーグリッドとは、金属細線を一定の方位で整列させたものであり、その方位に応じた偏光透過特性（または偏光反射特性）を発揮する。回折格子は領域毎に異なる偏光の方位を有する。なお、リソグラフィ技術を応用して金属細線を作製することで、少なくとも２つの領域の偏光透過特性が互いに異なる微細な偏光板を、集積化することができる。

第１及び第２の偏光板１０２、１０４の少なくとも一方は、撮像装置１００の撮像素子１０５の１画素に対応する領域が複数の領域に分割され、複数の領域は、通過させる偏光の偏光方向が異なる部分を有する。図１では、第１の偏光板１０２がこの機能を有する。即ち、第１の偏光板１０２は、複数の領域を含む。複数の領域の少なくとも２つは、偏光特性が互いに異なるが、好ましくは全ての領域の偏光特性が互いに異なる。偏光特性とは、通過させる光の偏光方向、つまり、偏光を通過（透過または反射）させる透過軸または反射軸の方向を意味する。また、通過させる光は、撮像素子１０５における同一の画素に入射する。

偏光制御素子（調整手段）１０３は、例えば、液晶素子で構成され、第１の偏光板１０２の後方に設置される。偏光制御素子１０３は、第１の偏光板１０２を通過した光の偏光方向を、駆動手段（電力印加手段、調整手段）１５５により、外部から電力（電圧または電流）を印加して発生させた電界により、液晶分子の配向を調節する調節手段として機能する。図１は、透過型の偏光制御素子１０３を示しているが、反射型の偏光制御素子でもよい。また、調節手段は、偏向方向を調整できる限り、液晶素子に限らない。また、偏光制御素子１０３に電圧を印加するためのＩＴＯ（Ｉｎｄｉｕｍ−Ｔｉｎ Ｏｘｉｄｅ）電極や、液晶分子の配向層等は図示が省略されている。

第２の偏光板（第２の偏光子）１０４は、例えば、ＰＶＡ（Ｐｏｌｙｖｉｎｙｌ Ａｌｃｏｈｏｌ）フィルムにヨウ素化合物分子を配向吸着させたもので構成され、偏光制御素子１０３の後方に設置されている。第２の偏光板１０４は、調節手段を介した光を通過させる。より詳細には、第２の偏光板１０４は、調節手段によって偏光方向が調節された光のうち所定の光を通過させる。第２の偏光板１０４は、一様な偏光特性を有し、全面において一方向に偏光方向を有する偏光を通過させる偏光子（または検光子）である。偏光子と検光子を組み合わせた装置は、一般に、偏光器と呼ばれている。一様であれば数値計算により、実現される透過率分布を容易に予想できるが、一様でなくとも、例えば、装置使用前に制御電圧と透過率分布との関係をキャリブレーション、もしくは数値計算により制御電圧と透過率分布との関係を推定していれば足りる。以下、説明の簡単のため、第２の偏光板１０４の偏光透過特性は、全領域において完全に一様であるものとする。ヨウ素化合物分子は細長い形状をしており、その分子配向に応じた偏光透過特性を示す。第２の偏光板１０４は、ヨウ素化合物分子を用いたものに限定されない。

撮像素子１０５は、例えば、ＣＭＯＳイメージセンサやＣＣＤイメージセンサなどの光電変換素子で構成され、第２の偏光板１０４からの光（結像光学系１０１が形成した被写体の光学像）を受光してこれを光電変換し、光強度に応じた電気信号を出力する。また、撮像素子１０５から出力されるアナログ電気信号を、デジタル電気信号に変換するＡ／Ｄ変換器や、電気配線等の図示は省略されている。撮像素子１０５は、複数の画素を有する。

第１の偏光板１０２と第２の偏光板１０４の、偏光制御素子１０３に関する順序は、逆でもよい。この場合、結像光学系１０１、第２の偏光板１０４、偏光制御素子１０３、第１の偏光板１０２、撮像素子１０５の順番となる。

第１の偏光板１０２の縦横の分割数は同じでなくてもよく、例えば、第１の偏光板１０２が縦ｍ×横ｎ（ｍ≠ｎ）の領域に分割されてもよい。また、第１の偏光板１０２と第２の偏光板１０４の夫々が、複数の領域に分割され、互いに異なる偏光分布を持っていてもよい。

また、第１の偏光板１０２が複数の領域を有する代わりに偏光制御素子１０３の、撮像素子１０５の１画素に対応する領域が、複数の領域に分割されてもよい。この場合、複数の領域は、通過させる偏光の偏光方向が異なる部分を有し（好ましくはすべて異なり）、偏光方向は独立して調節可能に構成されてもよい。第１の偏光板１０２と調節手段は一体に構成され、液晶素子が第１の偏光板１０２の機能を更に有してもよい。この機能は、第２の偏光板１０４に設けられていてもよいから、撮像装置に使用される偏光制御ユニットは、以下のようになる。即ち、偏光制御ユニットは、入射光のうち特定の偏光を通過させる第１の偏光子と、特定の偏光の偏光方向を調節する調節手段と、調節手段によって偏光方向が調節された特定の偏光のうち所定の偏光を通過させる第２の偏光子と、を有する。調節手段は、撮像素子の１画素に対応する領域が複数の領域に分割され、複数の領域は、通過させる偏光の偏光方向が異なる部分を有する偏光制御素子を有する。また、調節手段は、複数の領域の偏光方向を独立して調節する方向調節手段を更に有する。

本発明は、光は単色であることを前提としているため、本実施形態では含めていないが、カラーフィルタを構成要素に含めてもよい。また、本発明は、無偏光を前提としている。

画像処理手段１５０は、撮像素子１０５から得られる信号に対してγ処理、ホワイトバランスなどの信号処理を施すと共に、後述する超解像処理を実行することができる。制御手段１６０は、撮像装置１００の各部を制御し、後述する制御方法を実行し、マイクロコンピュータから構成されている。記憶手段１６２は、後述する制御方法のプログラム、それに使用されるデータ、画像処理手段１５０によって処理された画像（超解像処理結果を含む）を記憶し、各種のメモリ、着脱可能な媒体を含む。また、記憶手段は、ネットワーク（インターネット）上のコンピュータであってもよい。表示手段１６４は、記憶手段１６２に記憶された情報、各種の制御情報などを表示する液晶ディスプレイなどであり、高解像度画像に対応した解像度を有している。

図２は、撮像装置１００が撮像素子の１画素の複数の領域に形成される任意の透過率分布を実現することを示す概略斜視図である。

第１の偏光板２０２は、２×２の領域２０２ａ〜ｄを含み、被写体側から見て左上部は１３５度、右上部は４５度、左下部は９０度、右下部は０度方向に夫々偏光方向を有する偏光を透過させる、領域毎に異なる偏光透過特性を有する。第２の偏光板２０４は、９０度方向の偏光方向を有する偏光を透過させる、一様な偏光透過特性を有する。偏光制御素子２０３は、透過型であり、第１の偏光板２０２を透過した偏光の偏光方向を、図２（ａ）では変えず、図２（ｂ）では矢印方向に少し変える。２０５は撮像素子（の１画素）、２０５ａ〜ｄは一画素における領域を示している。

ここで、「透過率分布」とは、第１の偏光板２０２への入射光に対する、撮像素子の各画素の複数の領域２０５ａ〜ｄへの入射光の減衰率分布である。また、撮像素子の１画素のサイズは、例えば、１０μｍなので、結像光学系２０１は便宜上かなり小さく描かれているが、実際の結像光学系２０１は、その他の構成要素に比べ、かなり大きい（ｍｍ〜ｃｍオーダー）。また、図２の構成は一例であり、本発明はこれに限定されない。例えば、第１の偏光板２０２は、２×２分割に限らず、３×３分割でも４×４分割でもよい。

図２（ａ）では、第１の偏光板２０２の左上部を透過した１３５度方向の偏光は、偏光方向をそのままに偏光制御素子２０３を透過し、第２の偏光板２０４に至る。ここで、第２の偏光板２０４は９０度方向の偏光を透過する特性を有しているため、第１の偏光板２０２の左上部を透過した１３５度方向の偏光は、強度が５０％減衰し撮像素子２０５に到達する。同様のことが、第１の偏光板２０２の領域毎で起こり、結果として図２（ａ）の右表に示す透過率分布が実現する。

図２（ｂ）では、第１の偏光板２０２の左上部を透過した１３５度方向の偏光は、偏光制御素子２０３により、その偏光方向が少し変えられ、第２の偏光板２０４に至る。ここで、偏光制御素子２０３を透過した後の偏光方向を１５０度であるとすると、第１の偏光板２０２の左上部を透過した偏光は、強度が約７５％だけ減衰し、撮像素子２０５に到達する。同様のことが、第１の偏光板２０２の領域毎で起こり、結果として図２（ｂ）の右表に示す透過率分布が実現する。

以上、撮像装置１００によれば、偏光制御素子２０３に印可される電力（電流または電圧）を外部から制御することによって、任意の透過率分布が実現できることが分かる。

図３は、撮像装置１００の制御手段１６０が実行する超解像方法（画像処理方法）を示すフローチャートであり、「Ｓ」はステップ（工程）を表している。図３に示すフローチャートは、コンピュータに各ステップを実行させるためのプログラムとして具現化が可能である。かかるプログラムは、撮像装置１００の記憶手段（例えば、非一時的なコンピュータ可読記憶媒体）に記憶可能である。

Ｓ３０１では、制御手段１６０は、偏光制御素子１０３を駆動制御することで実現する、透過率分布Ｐｉ（ｉ＝１〜Ｎ）の情報を記憶手段１６２に記憶させる。なお、偏光制御素子１０３に印可される電圧と、その際の透過率分布との関係は、予め測定しておくか、予めシミュレーションにより求めておき、工場出荷時などに記憶手段１６２に記憶される。

Ｓ３０２では、制御手段１６０は、透過率分布Ｐｉの情報と、撮像素子１０５の全画素の各々で観測される光強度分布Ｉｉの情報と、を対応づけて記憶手段１６２に記憶させる。

Ｓ３０３では、制御手段１６０は、Ｓ３０１からＳ３０２を複数回（Ｎ回）繰り返し、互いに異なる複数の透過率分布Ｐ１〜ＰＮと、対応する複数の光強度分布Ｉ１〜ＩＮを記憶手段１６２に記憶する。本実施形態では、繰り返し回数を、第１の偏光板２０２の分割数に設定している。これは、第１の偏光板２０２の分割数倍の解像度を得るためであるが、繰り返し回数は最低２回あればよい。

本実施形態では、図２に示すように、第１の偏光板２０２が、２×２分割されていた場合、繰り返し回数Ｎ＝２×２＝４回となる。同様の考えで、３×３分割、４×４分割されていた場合、繰り返し回数は各々Ｎ＝９回、１６回である。繰り返し回数Ｎは正確には、２×２分割されていた場合、Ｎ＝４回以上であればよい。しかし、説明の簡単のため、以降では繰り返し回数Ｎは、２×２分割されていた場合、Ｎ＝４回であるとする。３×３分割、４×４分割されていた場合も同様である。

透過率分布Ｐ１を図２（ａ）に示すもの、透過率分布Ｐ２を図２（ｂ）に示すもの、などのように、透過率分布Ｐ１〜ＰＮを互いに異なる分布から形成してもよいが、互いに直交している必要がある。すなわち、透過率分布Ｐ１〜ＰＮをベクトルで表現した際、Ｐ１と、Ｐ２〜Ｐ４の夫々が直交（内積をとったときに０となる）するようにし、同様にＰ２とＰ３、Ｐ４の夫々が直交、Ｐ３とＰ４が直交するようにする。

Ｓ３０３では、制御手段１６０は、繰り返し回数Ｎだけ連写し、各撮像において駆動手段１５５によって印可される電圧を変化させる。このように、撮像装置１００は、連写機能を有し、制御手段１６０は撮像素子１０５の露光を制御する。また、撮像装置１００は、静止画撮影モードと動画撮影モードで動作することができる。

Ｓ３０４では、制御手段１６０は、画像処理手段１５０を介して、記憶手段１６２に記憶された透過率分布と光強度分布の情報に基づく逆問題を、撮像素子１０５の画素毎に解くことで、超解像を行う。この解法を次式に示す。

ここで、Ｐ_ｉは撮像素子１０５のｉ番目の画素における複数の透過率分布Ｐ１_ｉ〜ＰＮ_ｉを各行に記述した行列である。Ｉ_ｉは撮像素子１０５のｉ番目の画素において観測される光強度Ｉ１_ｉ〜ＩＮ_ｉを各行に持つ列ベクトルである。ｉｎｖは逆行列（疑似逆行列）を求める演算子である。なお、本実施形態では、行列、ベクトルは太字、スカラーは細字で示している。また、行列Ｐ_ｉのサイズはＮ行Ｎ列、列ベクトルＩ_ｉのサイズはＮ行１列である。また、この逆問題を解いて得られるＮ行１列の列ベクトルｙ_ｉは、撮像素子１０５のｉ番目の画素における超解像画素値である。すなわち、撮像素子１０５のｉ番目の画素を√Ｎ×√Ｎ分割した際に、観測される光強度分布を表したベクトルである。

撮像素子１０５の１画素において、透過率分布を変えて複数回撮像することで、超解像画素値が得られる理由を説明する。撮像素子１０５のある１画素において観測される光強度Ｉ、その時の透過率分布Ｐ、対応する超解像画素値ｙの関係は、次式で与えられる。

透過率分布Ｐは行ベクトルであり、透過率分布Ｐで決まる線形結合係数で、超解像画素値ｙに重み付けをし、得られる線形和が光強度Ｉである。ただし、この方程式１つだけでは、スカラーである光強度Ｉから、Ｎ行１列の列ベクトルである超解像画素値ｙは、求めることができない。そこで、条件（透過率分布）を変えて複数回観測し、連立方程式を立てることで、超解像画素値が求められる。

Ｓ３０５では、制御手段１６０は、画像処理手段１５０を介して、逆問題を解いた結果を統合して高解像度画像を生成する。統合に必要な情報は、予め記憶手段１６２に記憶されている。Ｓ３０６では、制御手段１６０は、高解像度画像を記憶手段１６２に記憶したり、表示手段１６４に表示したりする。なお、制御手段１６０は、Ｓ３０５で、画像処理手段１５０にＳ３０４で取得した画素毎の情報を統合させずに、その情報を記憶手段１６２に記憶して処理を終了してもよい。そして、高解像度画像を表示する際に、制御手段１６０は画像処理手段１５０にそれを生成させるようにすれば、記憶手段１６２の記憶容量を抑えることができる。同様に、制御手段１６０は、Ｓ３０３でＹｅｓとなった時点で処理を終了してもよい。そして、高解像度画像を表示する際に、Ｓ３０４〜Ｓ３０６を実行してもよい。

以上、本発明の装置構成により、超解像ができることが分かる。なお、偏光制御素子１０３を制御するだけで良く、画素ずらし法のようなメカニカルな駆動を必要としない。加えて、Ｓ３０４において逆問題を解く計算負荷は、ＭＡＰ推定と比べてとても小さく、画像処理に複雑な計算を必要としない。

特許文献１ではメカニカルな駆動を必要としない、画素ずらし超解像のための撮像装置が開示されている。以下、本発明の撮像装置と画素ずらし超解像と、によりそれぞれ得られる超解像画像の画質を、数値計算により比較する。なお、低解像度画像のサイズは、６４×６４画素、低解像度画像の１画素のサイズは１０μｍ、超解像画像のサイズは１２８×１２８画素とする。低解像度画像の１画素を２×２分割したため、超解像画像は低解像度画像と比べ全画素数が４倍となっているが、１画素のサイズが半分（５μｍ）となっているため、画像の縦横の長さは変わっていない。また、画素ずらし超解像では、ランダムにシフトして取得した４枚の低解像度画像から、スプライン（Ｓｐｌｉｎｅ）補間により、超解像画像を生成した。

図７は、本発明で使用する、偏光制御素子の数値計算モデルにより生成した４つの透過率分布Ｐ１〜Ｐ４を示す図である。４つの透過率分布Ｐ１〜Ｐ４は、撮像素子のある１画素におけるものである。即ち、今回は１画素を２×２分割したので、透過率分布Ｐ１〜Ｐ４は各々２行２列の行列となる。黒ければ透過率が低く、白ければ透過率が高いことを意味する。本発明では、図７に示す４つの透過率分布Ｐ１〜Ｐ４を用いて、図３に示すフローチャートで示した超解像方法に従い、超解像画像を生成し、Ｓ３０４における逆問題の解法として、Ｍｏｏｒｅ−Ｐｅｎｒｏｓｅの擬似逆行列を用いた。

超解像画像の画質を、正解画像との２乗平均平方根誤差（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ；ＲＭＳＥ）で評価した。ＲＭＳＥは次式で与えられる。

ここで、Ｐ、Ｑは任意のＭ行１列の列ベクトル、ｐ_ｉ、ｑ_ｉは各々Ｐ、Ｑのｉ番目の要素である。ＲＭＳＥがゼロに近いほど、Ｐ、Ｑが類似していることを意味し、超解像画像と正解画像とのＲＭＳＥがゼロに近いほど、超解像画像が正解画像と類似し、高精度に超解像ができていると言える。

図８に数値計算による超解像処理結果を示す。図８（ａ）が画素ずらし超解像による超解像画像、図８（ｂ）が本発明の撮像装置による超解像画像、図８（ｃ）が正解画像である。画素ずらし超解像による超解像画像と正解画像とのＲＭＳＥは０．０１４５、本発明の撮像装置による超解像画像と正解画像とのＲＭＳＥは０．０００であった。これより、画素ずらし超解像による超解像画像と正解画像とのＲＭＳＥより、本発明の撮像装置による超解像画像と正解画像とのＲＭＳＥの方がゼロに近く、従来技術より高精度に超解像ができることが分かる。

本実施形態では、偏光制御素子１０３を駆動しているが、偏光制御素子１０３を設ける代わりに、第１の偏光板１０２を回転する機構を設けてもよい。この場合、メカニカルな駆動が発生するが、上述したように、本実施形態の超解像方法は、画素ずらし法よりも高精度であるという効果を有する。

また、本実施形態では、画像処理手段１５０が超解像処理を行っているが、超解像処理プログラム（画像処理方法）がインストールされたパーソナルコンピュータ（ＰＣ）や専用の画像処理装置が超解像処理を行ってもよい。この場合、撮像装置１００から記憶手段１６２が着脱可能に構成されるか、ＵＳＢなどのケーブル（有線）、無線通信などにより、ＰＣや専用画像処理装置にデータが移行される。その場合、インターネットやＬＡＮなどのネットワークを介して通信が行われてもよい。このため、撮像装置１００は、有線または無線の通信手段を有してもよい。

このときの画像処理装置は、互いに異なる複数の一様でない透過率分布と、各透過率分布に対応づけられた撮像素子１０５の各画素の光強度分布の逆問題を解くことによって、撮像素子１０５の各画素の領域の画素値を取得する取得手段を有する。また、画像処理装置は、画素値を統合することによって高解像度画像を生成する生成手段を有する。複数の透過率分布は、光学素子（構成要素１０２〜１０４）を介して撮像素子１０５に光を導くことによって撮像素子１０５の各画素の複数の領域に対して形成される。また、各透過率分布は、前記光学素子への入射光に対する撮像素子の各画素への入射光の減衰率分布である。

同様に、画像処理方法は、上述の複数の透過率分布と光強度分布の逆問題を解くことによって、撮像素子１０５の各画素の領域の画素値を取得するステップと、画素値を統合することによって高解像度画像を生成するステップと、を有する。

図４は、実施例１の撮像装置としての赤外カメラ４００の構成例を示すブロック図である。赤外カメラ４００は、赤外結像光学系４０１と、第１の偏光板４０２と、偏光制御部である液晶素子４０３と、第２の偏光板４０４と、撮像素子である赤外イメージセンサ４０５と、により構成される。これらの構成要素は、それぞれ、結像光学系１０１、第１の偏光板１０２、偏光制御素子１０３、第２の偏光板１０４、撮像素子１０５に対応する。

赤外カメラ４００の構成要素は、全て赤外波長領域において機能する。赤外結像光学系４０１は、例えば、サファイアガラス、第１の偏光板４０２は、例えば、アルミニウムのワイヤーグリッドや回折格子、赤外イメージセンサ４０５は、例えば、ヒ化ガリウムで作製される。また、赤外イメージセンサ４０５前面に、必要に応じて波長フィルタを設置してもよい。第１の偏光板４０２をワイヤーグリッドや回折格子で構成することは、本発明が赤外カメラに適用される場合に特に有効である。

以上の構成と図３のフローチャートで示した超解像方法により、低解像度な赤外イメージセンサでも、高解像度な赤外画像が取得できる。なお、図４に示す構成例は、一例に過ぎず、例えば、構成要素が可視光領域において機能する、通常のカメラ等にも適用が可能である。

図５は、実施例２の撮像装置としての内視鏡５００の構成例を示すブロック図である。内視鏡５００は、対象物を照明する照明ユニットと、照明ユニットによって照明された対象物からの反射光を集めて結像する撮像ユニットと、を有する。

照明ユニットは、平行な照明光を発する光源５１０、光源５１０からの光を伝達し、均一にする光ファイバ５１２、光ファイバ５１２からの平行光により対象物を照明する照明光学系５１４からなる。光源５１０が別途必要な理由は、多くの場合、内視鏡５００は暗い場所（例えば、腹腔内）で用いられるからである。光源５１０は、単波長でもよいし、多波長を時分割で発してもよい。多波長の場合は、時間毎に異なる波長の低解像度画像の取得、および超解像処理を行うこととなる。また、光源５１０は、無偏光を発してもよいが、偏光方向が異なる光を時分割で発してもよい。光ファイバ５１２や照明光学系５１４を用いずに、光源５１０で対象物を直接照明してもよい。

撮像ユニットは、対物・結像光学系５０１と、光ファイババンドル５０６と、第１の偏光板５０２と、偏光制御部である液晶素子５０３と、第２の偏光板５０４と、撮像素子であるイメージセンサ５０５と、を有する。構成要素５０１〜５０５は、それぞれ、結像光学系１０１、第１の偏光板１０２、偏光制御素子１０３、第２の偏光板１０４、撮像素子１０５に対応する。光ファイババンドル５０６は、対物・結像光学系５０１によって結像された光学像を伝送するが、ロッドレンズなど他の手段を用いて伝送してもよい。

図３に示すＳ３０１〜Ｓ３０４を、波長毎に行い波長毎の超解像結果を統合し、Ｓ３０５で示す。

なお、光源５１０から対象物までの照明光の偏光状態や、対象物からイメージセンサ５０５までの光の偏光状態を保存する必要がある場合は、光ファイバ５１２、光ファイババンドル５０６として偏光保持が可能なものを用いる必要がある。また、光源５１０として蛍光の励起光を用いて、対象内の蛍光物質を励起した際に発せられる蛍光を観察してもよい。その場合、励起光と蛍光を分離するためのフィルタを、イメージセンサ５０５の前面等に別途設ける必要がある。

以上の構成と図３のフローチャートで示した超解像方法により、低解像度なイメージセンサでも、高解像度な内視鏡画像が取得できる。

図６は、実施例３の撮像装置としての顕微鏡６００の構成例を示すブロック図である。顕微鏡６００は、ステージ６２０と、ステージ上の標本Ｓを照明する照明ユニットと、照明ユニットによって照明された標本Ｓからの反射光を集めて結像する撮像ユニットと、を有する。

照明ユニットは、平行な照明光を発する光源６１０、光源６１０からの平行光により標本Ｓを照明する照明光学系６１４からなる。光源６１０が別途必要な理由は、顕微鏡では細かい部分を観察する目的上、光量が必要だからである。光源６１０は、単波長でもよいが、多波長を時分割で発してもよい。多波長の場合は、実施例２と同様に、時間毎に異なる波長の低解像度画像の取得、および超解像処理を行うこととなる。また、光源６１０は無偏光を発してもよいが、偏光方向が異なる光を時分割で発してもよい。

撮像ユニットは、標本からの透過または反射光を集めて結像する対物・結像光学系６０１と、第１の偏光板６０２と、偏光制御部である液晶素子６０３と、第２の偏光板６０４と、撮像素子であるイメージセンサ６０５と、により構成されている。構成要素６０１〜６０５は、それぞれ、結像光学系１０１、第１の偏光板１０２、偏光制御素子１０３、第２の偏光板１０４、撮像素子１０５に対応する。

また、光源として蛍光の励起光を用いて、標本中の蛍光物質を励起した際に発せられる蛍光を観察しても良い。その場合、実施例２と同様に、励起光と蛍光を分離するためのフィルタを、イメージセンサ６０５の前面等に別途設ける必要がある。

以上の構成と図３のフローチャートで示した超解像方法により、低解像度なイメージセンサでも、高解像度な顕微鏡画像が取得できる。

以上、本発明の実施形態について説明したが、本発明はその要旨の範囲内で種々の変形及び変更が可能である。例えば、本発明は偏光制御を使用して透過率分布を形成するものに限定されない。この場合、撮像装置は、被写体を撮像する撮像素子と、撮像素子の同一の画素内の複数の領域に対し、互いに異なる複数の透過率分布を形成する形成手段と、記憶手段と、制御手段と、を有する。そして、制御手段は、複数の透過率分布の夫々に対応づけて撮像素子の各画素の光強度分布の情報を記憶手段に記憶させる。また、各透過率分布は、形成手段への入射光に対する複数の領域への入射光の減衰率分布となる。形成手段は、例えば、領域が異なる減光率を有する減光フィルタを複数種類設けて着脱可能にしたり、回転したりするなどによって構成することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は、赤外カメラ、内視鏡、顕微鏡、可視光のカメラなどの撮影装置に適用可能である。

１００…撮像装置、１０２…第１の偏光板（第１の偏光子）、１０３…偏光制御素子（調節手段）、１５５…駆動手段（調整手段）、１０４…第２の偏光板（第２の偏光子）、１０５…撮像素子、２０２ａ〜ｄ…領域、２０５…撮像素子の１画素

Claims (18)

1. 撮像装置に使用される偏光制御ユニットであって、
   第１の偏光子と、
   該第１の偏光子を通過した光の偏光方向を調節する調節手段と、
   該調節手段を介した光を通過させる第２の偏光子と、を有し、
   前記第１および第２の偏光子の少なくとも一方は、通過させる光の偏光方向が互いに異なる複数の領域を含み、
   該複数の領域を通過した光は、前記撮像装置の撮像素子における同一の画素に入射することを特徴とする偏光制御ユニット。
2. 前記調節手段は、
   液晶素子と、
   該液晶素子の液晶分子の配向を調節するための電力を印加する電力印加手段と、
   を有することを特徴とする請求項１に記載の偏光制御ユニット。
3. 前記調節手段は、前記第１の偏光子を回転させることを特徴とする請求項１に記載の偏光制御ユニット。
4. 前記第１および第２の偏光子の少なくとも一方は、ワイヤーグリッドから構成されていることを特徴とする請求項１乃至３のうちいずれか１項に記載の偏光制御ユニット。
5. 前記第１および第２の偏光子の少なくとも一方は、回折格子から構成されていることを特徴とする請求項１乃至３のうちいずれか１項に記載の偏光制御ユニット。
6. 撮像装置に使用される偏光制御ユニットであって、
   第１の偏光子と、
   該第１の偏光子を通過した光の偏光方向を調節する調節手段と、
   該調節手段を介した光を通過させる第２の偏光子と、を有し、
   前記調節手段は、通過させる光の偏光方向が互いに異なる複数の領域を含む偏光制御素子と、前記複数の領域に係る前記偏光方向を調節する方向調節手段と、を備え、
   前記複数の領域を通過した光は、前記撮像装置の撮像素子における同一の画素に入射することを特徴とする偏光制御ユニット。
7. 請求項１乃至６のうちいずれか１項に記載の偏光制御ユニットと、該偏光制御ユニットからの光を受光する撮像素子と、を備えることを特徴とする撮像装置。
8. 前記偏光制御ユニットを介して物体の像を前記撮像素子の画素上に形成する結像光学系を備えることを特徴とする請求項７に記載の撮像装置。
9. 前記撮像素子の各画素の複数の領域に対し、互いに異なる複数の透過率分布の夫々に対応づけて前記撮像素子の各画素の光強度分布の情報を記憶させる制御手段を有し、
   各透過率分布は、前記偏光制御ユニットへの入射光に対する前記複数の領域に対する前記入射光の減衰率分布であることを特徴とする請求項７に記載の撮像装置。
10. 被写体を撮像する撮像素子と、
    該撮像素子の同一の画素内の複数の領域に対し、互いに異なる複数の透過率分布を形成する形成手段と、
    前記複数の透過率分布の夫々に対応づけて前記撮像素子の各画素の光強度分布の情報を記憶させる制御手段と、
    を有し、
    各透過率分布は、前記形成手段への入射光に対する前記複数の領域への入射光の減衰率分布であることを特徴とする撮像装置。
11. 前記透過率分布と前記光強度分布の情報に基づく逆問題を解くことによって、各画素の領域の画素値を取得し、該画素値を統合することによって高解像度画像を生成する画像処理手段を有することを特徴とする請求項９又は１０に記載の撮像装置。
12. 前記複数の透過率分布の夫々を表すベクトルは互いに直交することを特徴とする請求項１１に記載の撮像装置。
13. 前記画像処理手段は、前記複数の透過率分布を表す行列の擬似逆行列を用いて、前記逆問題を解くことを特徴とする請求項１１又は１２に記載の撮像装置。
14. 前記高解像度画像を表示する表示手段を有することを特徴とする請求項１１又は１２に記載の撮像装置。
15. 被写体の光学像を形成する結像光学系と、請求項１乃至６のうちいずれか１項に記載の偏光制御ユニットを備えたレンズ装置と、
    該レンズ装置が着脱可能な撮像装置と、
    を有することを特徴とする撮像システム。
16. 光学素子を介して撮像素子に光を導くことによって前記撮像素子の同一の画素内の複数の領域に対する、互いに異なる複数の透過率分布と、各透過率分布に対応づけられた前記撮像素子の各画素の光強度分布と、の情報に基づく逆問題を解くことによって、前記撮像素子の各画素の領域の画素値を取得する取得手段と、
    前記画素値を統合することによって高解像度画像を生成する生成手段と、
    を有し、
    各透過率分布は、前記光学素子への入射光に対する前記複数の領域への入射光の減衰率分布であることを特徴とする画像処理装置。
17. 光学素子を介して撮像素子に光を導くことによって前記撮像素子の同一の画素内の複数の領域に対する、互いに異なる複数の透過率分布と、各透過率分布に対応づけられた前記撮像素子の各画素の光強度分布と、の情報に基づく逆問題を解くことによって、前記撮像素子の各画素の領域の画素値を取得するステップと、
    前記画素値を統合することによって高解像度画像を生成するステップと、
    を有し、
    各透過率分布は、前記光学素子への入射光に対する前記複数の領域への入射光の減衰率分布であることを特徴とする画像処理方法。
18. コンピュータに請求項１７に記載の画像処理方法を実行させるためのプログラム。