JP2016130727A - 撮像装置 - Google Patents

Abstract

【課題】コマ収差の発生およびそれに伴う解像度の低下を抑制する撮像技術を提供する。
【解決手段】撮像装置は、互いに異なる波長特性を有するｍ種類（ｍは１以上の整数）の光を取得する符号化装置Ｃと、かつ前記ｍ種類の光の各々に対応する信号を出力する撮像素子Ｓと、前記信号を処理することにより、異なる波長域ごとであってｍよりも多いｎ個の画像を生成して出力する信号処理回路Ｐｒとを備える。
【選択図】図１

Description

本開示は、分光画像を取得するための撮像装置に関する。

各々が狭帯域である多数のバンド（例えば数十バンド以上）のスペクトル情報を活用することで、従来のＲＧＢ画像では不可能であった観測物の詳細な物性を把握することができる。この多波長の情報を取得するカメラは、「ハイパースペクトルカメラ」と呼ばれる。ハイパースペクトルカメラは、食品検査、生体検査、医薬品開発、鉱物の成分分析等のあらゆる分野で利用されている。

観測対象の波長を狭帯域に限定して取得された画像の活用例として、特許文献１は、被験体の腫瘍部位と非腫瘍部位との判別を行う装置を開示している。この装置は、励起光の照射により、癌細胞内に蓄積されるプロトポルフィリンＩＸが６３５ｎｍの蛍光を発し、フォト−プロトポルフィリンが６７５ｎｍの蛍光を発することを検出する。これにより、腫瘍部位と非腫瘍部位との識別を行う。

特許文献２は、時間経過に伴って低下する生鮮食品の鮮度を、連続的な多波長の光の反射率特性の情報を取得することで判定する方法を開示している。

多波長の画像または反射率を測定できるハイパースペクトルカメラの方式には、例えば特許文献３に開示されているように、圧縮センシングを利用した方法がある。特許文献３に開示された装置は、測定対象からの光をプリズム等の第１の分光素子で分光した後、符号化マスクでマーキングし、さらに第２の分光素子によって光線の経路を戻す。これにより、符号化され、かつ波長軸に関して多重化された画像がセンサによって取得される。多重化された画像から圧縮センシングの適用により、多波長の複数枚の画像を再構成することができる。

圧縮センシングとは、少ないサンプル数の取得データから、それよりも多くのデータを復元する技術である。測定対象の２次元座標を（ｘ、ｙ）、波長をλとすると、求めたいデータｆは、ｘ、ｙ、λの３次元のデータである。これに対し、センサによって得られる画像データｇは、λ軸方向に圧縮および多重化された２次元のデータである。相対的にデータ量が少ない取得画像ｇから、相対的にデータ量が多いデータｆを求める問題は、いわゆる不良設定問題であり、このままでは解くことができない。しかし、一般に、自然画像のデータは冗長性を有しており、それを巧みに利用することでこの不良設定問題を良設定問題に変換することができる。画像の冗長性を活用してデータ量を削減する技術の例に、ｊｐｅｇ圧縮がある。ｊｐｅｇ圧縮は、画像情報を周波数成分に変換し、データの本質的でない部分、例えば、視覚の認識性が低い成分を除去するといった方法が用いられる。圧縮センシングでは、このような技法を演算処理に組入れ、求めたいデータ空間を冗長性で表された空間に変換することで未知数を削減し解を得る。この変換には、例えば、離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、トータルバリエーション（ＴＶ）等が使用される。

国際公開第１３／００２３５０号 特開２００７−１０８１２４号公報 米国特許第７２８３２３１号明細書

従来の圧縮センシングを利用したハイパースペクトルカメラでは、プリズム等の分光素子が光路上に挿入される。このため、コマ収差が発生し、解像度が低下するという課題があった。

本開示は、コマ収差の発生およびそれに伴う解像度の低下を抑制し得る新たな撮像技術を提供する。

本開示の一態様に係る撮像装置は、互いに異なる波長特性を有するｍ種類（ｍは１以上の整数）の光を取得し、かつ前記ｍ種類の光の各々に対応する信号を出力する撮像素子と、前記信号を処理することにより、異なる波長域ごとであってｍよりも多いｎ個の画像を生成して出力する信号処理回路と、を備える。

図１は、本開示の実施の形態１の撮像装置Ｄ１を示す模式図である。 図２Ａは、実施の形態１の符号化素子Ｃ１における分光透過率の例を示す図である。 図２Ｂは、実施の形態１の符号化素子Ｃ２における分光透過率の例を示す図である。 図２Ｃは、実施の形態１の符号化素子Ｃ３における分光透過率の例を示す図である。 図２Ｄは、実施の形態１の符号化素子Ｃ１における分光透過率の他の例を示す図である。 図２Ｅは、実施の形態１の符号化素子Ｃ２における分光透過率の他の例を示す図である。 図２Ｆは、実施の形態１の符号化素子Ｃ３における分光透過率の他の例を示す図である。 図３Ａは、対象波長域Ｗと、それに含まれる複数の波長域Ｗ１、Ｗ２、・・・、Ｗｎとの関係の一例を説明するための図である。 図３Ｂは、対象波長域Ｗと、それに含まれる複数の波長域Ｗ１、Ｗ２、・・・、Ｗｎとの関係の他の例を説明するための図である。 図４Ａは、実施の形態１の符号化素子の分光透過率の一例を説明するための図である。 図４Ｂは、実施の形態１の符号化素子の分光透過率の他の例を説明するための図である。 図５は、実施の形態１における分光分離画像生成までの概要を示すフローチャートである。 図６は、本開示の実施の形態２の撮像装置Ｄ２を示す模式図である。 図７Ａは、実施の形態２の符号化装置の波長特性の例を示す図である。 図７Ｂは、実施の形態２の符号化装置の波長特性の例を示す図である。 図７Ｃは、実施の形態２の符号化装置の波長特性の例を示す図である。 図７Ｄは、実施の形態２における符号化装置の波長特性の他の例を示す図である。 図７Ｅは、実施の形態２における符号化装置の波長特性の他の例を示す図である。 図７Ｆは、実施の形態２における符号化装置の波長特性の他の例を示す図である。

本開示の実施の形態を説明する前に、本発明者によって見出された知見を説明する。

本発明者の検討によれば、上述した従来の圧縮センシングを利用した構成は、プリズム等の分光素子が光路上に挿入される。プリズムは、屈折を用いて波長毎に光の経路を変えて分離する。これによって、コマ収差が発生し、解像度が低下するという課題があった。

本発明者は、上記の課題を見出し、これらの課題を解決するための構成を検討した。

本開示は、以下の項目に記載の撮像装置を含む。

［項目１］
互いに異なる波長特性を有するｍ種類（ｍは１以上の整数）の光を取得し、かつ前記ｍ種類の光の各々に対応する信号を出力する撮像素子と、
前記信号を処理することにより、異なる波長域ごとであってｍよりも多いｎ個の画像を生成して出力する信号処理回路と、を備える撮像装置。

［項目２］
対象物への入射光の強度、または前記対象物からの反射光の強度を、互いに異なる波長特性でｍ種類変化させる符号化装置をさらに備え、
前記ｍ種類の光は、前記符号化装置を介して生成される、項目１に記載の撮像装置。

［項目３］
対象物への入射光の強度、または前記対象物からの反射光の強度を、互いに異なる波長特性でｍ種類（ｍは１以上の整数）変化させる符号化装置と、
前記入射光が前記対象物で反射した光、または前記対象物からの前記反射光を取得し、かつ前記光または前記反射光に対応する信号を出力する撮像素子と、
前記信号を処理することにより、異なる波長域ごとであってｍよりも多いｎ個の画像を生成して出力する信号処理回路と、を備える撮像装置。

［項目４］
各回の撮影において、対象物への入射光の強度、または対象物からの反射光の強度を、前記撮影ごとに異なる波長特性で変化させることにより符号化する符号化装置と、
前記符号化装置によって符号化された光を取得し、かつ記光に対応する信号を出力する撮像素子と、
ｍ回（ｍは１以上の整数）の撮影において前記撮像素子から出力された前記信号を処理することにより、異なる波長域ごとであってｍよりも多いｎ個の画像を生成する信号処理回路と、を有する、撮像装置。

［項目５］
前記波長特性は、互いに異なる第１波長域および第２波長域においてそれぞれ透過率の極大値を有し、
前記波長特性を、前記透過率の最大値が１、最小値が０となるように正規化したとき、前記第１波長域および前記第２波長域における前記極大値はいずれも０．５以上である、項目１から４のいずれかに記載の撮像装置。

［項目６］
前記波長特性は、空間方向に一様である項目１から５のいずれかに記載の撮像装置。

［項目７］
前記符号化装置は、
透過率の波長分布が互いに異なる複数の分光フィルタと、
前記複数の分光フィルタのうち、前記撮像装置の光路上に配置する分光フィルタを撮影ごとに切り替えるスイッチと、を備える、項目２から６のいずれかに記載の撮像装置。

［項目８］
前記ｎ個の画像は、第１の画像と第２の画像とを含み、
前記第１の画像に対応する第１の波長域における前記複数の分光フィルタの各々の透過率を要素とする列ベクトルが、前記第１の波長域と異なる、前記第２の画像に対応する第２の波長域における前記複数の分光フィルタの各々の透過率を要素とする列ベクトルに対して独立である、項目７に記載の撮像装置。

［項目９］
前記符号化装置は、
光強度の波長分布が互いに異なる複数の光源を備え、
前記複数の光源における点灯する光源と消灯する光源との組合せが変更されることにより、前記ｍ種類の光が得られる、項目２から６のいずれかに記載の撮像装置。

［項目１０］
前記ｎ個の画像は、第１の画像と第２の画像とを含み、
前記第１の画像に対応する第１の波長域における前記ｍ種類の光の強度の値を要素とする列ベクトルが、前記第１の波長域と異なる、前記第２の画像に対応する第２の波長域における前記ｍ種類の光の強度の値を要素とする列ベクトルに対して独立である、項目９に記載の撮像装置。

［項目１１］
ｍはｎの５分の１以下の値である、項目１から１０のいずれかに記載の撮像装置。

［項目１２］
前記撮像素子がＣｎ種類のカラーフィルタを含み、
ｍ、ｎ、およびＣｎが、
ｍ×Ｃｎ＜ｎ
の関係を満たす、項目１から１１のいずれかに記載の撮像装置。

［項目１３］
下記式で定義され、前記ｍ種類の光のうちＭ種類目の光の、前記ｎ個の画像のうちＮ番目の画像の波長域における第１の波長特性と、前記ｍ種類の光のうちＭ＋ｉ種類目の光の、前記ｎ個の画像のうちＮ＋ｊ番目の画像の波長域における第２の波長特性との相関値を、ｉおよびｊを変数として表す自己相関関数ｙ（ｉ，ｊ）が、ｙ（０，０）のみにおいて極大値を有する、項目１から１２のいずれかに記載の撮像装置。

ただし、上記式において、ｘ（Ｍ，Ｎ）は第１の波長特性、ｘ（Ｍ＋ｉ，Ｎ＋ｊ）は第２の波長特性、ｉ＝−（ｍ−１），・・・，−１，０，１，・・・，（ｍ−１）、ｊ＝−（ｎ−１），・・・，−１，０，１，・・・，（ｎ−１）である。

［項目１４］
ｍはｎの１０分の１以下の値である、項目１から１３のいずれかに記載の撮像装置。

以下、図面を参照しながら、本開示のより具体的な実施の形態を説明する。以下の説明では、画像を示す信号、すなわち、各画素の画素値を表す信号の集合を、単に「画像」と称することがある。以下の説明において、図中に示されたｘｙｚ座標を用いる。

（実施の形態１）
［１．撮像装置］
まず、実施の形態に係る撮像装置Ｄ１の構成について、図１〜図４を用いて説明する。

図１は、実施の形態１の撮像装置Ｄ１を示す模式図である。本実施の形態の撮像装置Ｄ１は、結像光学系Ｌと、符号化装置Ｃと、撮像素子Ｓとを備える。

［１−１．結像光学系Ｌ］
結像光学系Ｌは、少なくとも１つの撮像レンズを含む。図１では、１つのレンズが描かれている。結像光学系Ｌは複数のレンズの組み合わせによって構成されていてもよい。結像光学系Ｌは、撮影対象物Ｏからの光を集光し撮像素子Ｓの撮像面上に像を形成する。

［１−２．符号化装置Ｃ］
符号化装置Ｃは、撮影対象物Ｏと撮像素子Ｓの間に配置される。図１の例では、符号化装置Ｃを撮影対象物Ｏと結像光学系Ｌとの間に配置しているが、この例に限らない。すなわち、符号化装置Ｃを結像光学系Ｌと撮像素子Ｓとの間に配置してもよい。撮影対象物Ｏと結像光学系Ｌとの間に配置する場合、結像光学系Ｌに近づけるほど撮像装置Ｄ１を小型化できる。符号化装置Ｃは、撮影対象物Ｏからの反射光の強度を波長域ごとに、かつ撮影ごとにランダムに変調して出力する。実施の形態１における符号化装置Ｃによるこの過程を、本明細書では「符号化」と称する。「ランダム」については後述する。

符号化装置Ｃは、互いに異なる分光透過率のｍ個の符号化素子Ｃ１、Ｃ２、Ｃ３、・・・、Ｃｍを備える。さらに、符号化装置Ｃは、ｍ個の符号化素子Ｃ１〜Ｃｍを切り替える機構であるスイッチを備える。具体的には、図１の例では、符号化装置Ｃは回転軸を備える。また、回転軸から等距離にｍ個の符号化素子Ｃ１〜Ｃｍが配置される。符号化装置Ｃが回転すると、撮像素子Ｓに到達する光の経路上に配置される符号化素子が切り替わる。言い換えると、１度の撮影において、ｍ個の符号化素子のひとつが撮像素子Ｓに到達する光の経路上に配置される。また、当該撮影時に、残りのｍ−１個の符号化素子は、当該経路外に配置される。

符号化素子Ｃ１〜Ｃｍを切り替える機構は上述した例に限らない。例えば、一列に配置した符号化素子の集合を、撮影ごとに配置方向に移動させて切り替えてもよい。

本実施の形態は、異なる分光透過率の符号化素子を撮影ごとに切り替えることによって、撮影対象物からの反射光を撮影ごとに異なる波長特性で符号化する。

本実施の形態１では符号化素子は分光フィルタによって形成される。各符号化素子Ｃ１、Ｃ２、Ｃ３、・・・、Ｃｍは透光性の部材で形成され、互いに異なる分光透過率を有する。「分光透過率」とは、光透過率の波長分布を意味する。符号化素子の分光透過率は空間方向に一様である。

図２Ａおよび図２Ｄは、符号化素子Ｃ１の分光透過率Ｉ１の例を示している。図２Ｂおよび図２Ｅは、符号化素子Ｃ２の分光透過率Ｉ２の例を示している。図２Ｃおよび図２Ｆは、符号化素子Ｃ３の分光透過率Ｉ３の例を示している。図２Ａから図２Ｃは、透過率が略０または略１のいずれかの値を取り得るバイナリースケールの透過率分布を示している。略０とは２０％以下の値、略１とは８０％以上の値を指す。分光透過率Ｉ１、Ｉ２、Ｉ３は互いに異なっている。具体的には、透過率が略０または略１となる波長帯域が互いに異なる。透過率分布は必ずしもバイナリースケールにする必要はない。例えば、図２Ｄから図２Ｆに示すように、透過率が０以上１以下の任意の値を取り得るグレースケールでもよい。

図３Ａおよび図３Ｂは、対象波長域Ｗと、それに含まれる複数の波長域Ｗ１、Ｗ２、・・・、Ｗｎとの関係を説明するための図である。複数の波長域Ｗ１〜Ｗｎは、撮像装置Ｄ１が画像に使用する波長域である。また、後述する信号処理回路Ｐｒは、波長域Ｗ１〜Ｗｎごとに分離したｎ個の分光画像Ｆ１〜Ｆｎを再構成する。

対象波長域Ｗは、用途によって様々な範囲に設定され得る。対象波長域Ｗは、例えば可視光の波長域（約４００ｎｍ〜約７００ｎｍ）、近赤外線の波長域（約７００ｎｍ〜約２５００ｎｍ）、近紫外線の波長域（約１０ｎｍ〜約４００ｎｍ）、その他、中赤外、遠赤外、あるいは、テラヘルツ波、ミリ波等の電波域であり得る。このように、撮像装置Ｄ１で使用される波長域は可視光域とは限らない。本明細書では、可視光に限らず、近紫外線、近赤外線、および電波などの非可視光も便宜上「光」と称する。

本実施の形態では、図３Ａに示すように、ｎを４以上の任意の整数として、対象波長域Ｗをｎ等分したそれぞれを波長域Ｗ１、Ｗ２、・・・、Ｗｎとしている。ただしこのような例に限定されない。対象波長域Ｗに含まれる複数の波長域は任意に設定してよい。例えば、図３Ｂに示すように、波長域によってその幅（帯域幅）を不均一にしてもよい。また、隣接する波長域の間にギャップがあってもよい。

図４Ａおよび図４Ｂは、符号化素子の分光透過率の特性を説明するための図である。図４Ａはグレースケールの分光透過率の例を示し、図４Ｂはバイナリースケールの分光透過率の例を示している。図４Ａに示す光透過率の波長分布は、対象波長域Ｗ内での光透過率の最大値が１、最小値が０となるように正規化されている。本実施の形態では、ひとつの符号化素子は、複数の波長域Ｗ１〜Ｗｎのうちの少なくとも２つの波長域において透過率が５０％以上となる分光透過率を有する。言い換えると、対象波長域Ｗにおいて一様な強度分布を有する光を符号化素子に入射させた場合に符号化素子から出力される光は、当該少なくとも２つの波長域において、対象波長域Ｗ内の最大強度で正規化した場合の強度（本実施の形態において、これを「正規化強度」と定義する。）が０．５以上となる。図４Ａおよび図４Ｂの例における分光透過率は、対象波長域Ｗ内の波長域Ｗ２、Ｗｎ等において透過率が５０％以上である。符号化素子Ｃ１〜Ｃｍは、互いに異なる分光透過率の特性を有する。具体的には、符号化素子Ｃ１〜Ｃｍは、透過率が５０％以上となる波長域の組み合わせ、または数が互いに異なる。さらに具体的には、波長域Ｗ１〜Ｗｎのそれぞれにおいて、符号化素子Ｃ１〜Ｃｍごとの透過率の値を要素とする列ベクトルが、任意の波長域間で互いに独立である。波長域Ｗ１〜Ｗｎのうちすべての波長域の組み合わせにおいて独立であってもよい。また、波長域Ｗ１〜Ｗｎのうち一部の波長域間で独立であってもよい。本実施の形態は、波長域ごとの当該列ベクトルが独立性を備えることを「ランダム」と等価とする。

ランダムは、以下の（数２）で定義される自己相関関数によって定義してもよい。

撮像素子Ｓが互いに異なる波長特性を有するｍ種類の光を取得し、信号処理回路Ｐｒが異なる波長域ごとのｎ個の画像を出力するとき、ｘ（Ｍ，Ｎ）は、Ｍ種類目の光のＮ番目の波長域における光透過率を表す。また、ｉ＝−（ｍ−１），・・・，−１，０，１，・・・，（ｍ−１）、ｊ＝−（ｎ−１），・・・，−１，０，１，・・・，（ｎ−１）である。Ｍ＜１，Ｎ＜１，Ｍ＞ｍ，Ｎ＞ｎのときｘ（Ｍ，Ｎ）＝０である。上記（数２）で示される自己相関関数ｙ（ｉ，ｊ）は、Ｍ種類目の光のＮ番目の波長域における光透過率ｘ（Ｍ，Ｎ）と、Ｍ＋ｉ種類目の光のＮ＋ｊ番目の波長域における光透過率ｘ（Ｍ＋ｉ，Ｎ＋ｊ）との相関値を、ｉおよびｊを変数として表す関数である。このとき、本開示における「ランダム」とは、例えば、上記（数２）で示される自己相関関数ｙ（ｉ，ｊ）がｙ（０，０）において極大値を有し、その他において極大値を有さないことを言う。具体的には、ｉ＝０からｍ−１及び−（ｍ−１）に向かうにつれて単調に減少し、かつ、ｊ＝０からｎ−１及び−（ｎ−１）に向かうにつれて単調に減少することを意味する。また、「ランダム」は、ｙ（０，０）のほかに、ｉ軸方向においてｍ／１０箇所以下、ｊ軸方向においてｎ／１０箇所以下の極大値を有していてもよい。

上記のように、符号化素子Ｃ１〜Ｃｍは、波長域Ｗ１〜Ｗｎのうちの少なくとも２つの波長域において透過率が５０％以上となる。一方、後述するが、信号処理回路Ｐｒは、波長域Ｗ１〜Ｗｎ毎に分離したｎ個の分光画像（以下、「分光分離画像」と称することがある。）Ｆ１〜Ｆｎを生成する。したがって、符号化素子Ｃ１〜Ｃｍは、分離すべき波長域Ｗ１〜Ｗｎの少なくとも２つの波長域の光を重畳して出力する。撮像素子Ｓは、符号化素子Ｃ１〜Ｃｍからの重畳した光を受光する。これは、波長方向に圧縮されたデータを取得していることを意味する。

分光透過率の波長方向の分解能、言い換えれば、分光透過率曲線における１つの極値（ピーク）を挟む隣接する２つの極小値の間の部分の半値幅 は、所望の波長域の幅（帯域幅）程度に設定され得る。この場合、分光透過率をフーリエ変換等を用いて周波数成分に分解すれば、その波長域の幅に相当する周波数成分の値が相対的に大きくなる。

符号化素子は、多層膜、有機材料、回折格子構造、金属を含む微細構造の少なくとも１つを用いて構成され得る。多層膜の形態の場合、例えば、誘電体多層膜または金属層を含む多層膜が用いられ得る。各多層膜の厚さ、材料、および積層順序の少なくとも１つが異なれば異なる分光特性を実現できる。多層膜を用いることにより、分光透過率におけるシャープな立ち上がりおよび立下りを実現できる。有機材料を用いた構成は、含有する顔料または染料が異なるようにしたり、異種の材料を積層させたりすることによって異なる分光特性が実現され得る。回折格子構造を用いた構成は、異なる回折ピッチまたは深さの回折構造を設けることによって異なる分光特性が実現され得る。金属を含む微細構造を用いる場合は、プラズモン効果による分光を利用して作製され得る。

符号化素子による符号化過程は、各波長の光による画像を区別するためのマーキングを行う過程といえる。そのようなマーキングが可能である限り、透過率の分布は任意に設定してよい。波長域Ｗにおいて透過率５０％以上の領域と透過率５０％未満の領域との比率は、例えば、１：１でもよいし、１：９のような一方に偏りのある分布でもよい。

符号化素子の透過率分布に関する情報は、設計データまたは実測キャリブレーションによって事前に取得され、後述する演算処理に利用される。

［１−３．撮像素子］
撮像素子Ｓは、２次元に配列された複数の光検出セル（本明細書において、「画素」とも呼ぶ。）を有するモノクロタイプの撮像素子である。撮像素子Ｓは、例えばＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、赤外線アレイセンサ、テラヘルツアレイセンサ、ミリ波アレイセンサであり得る。光検出セルは、例えばフォトダイオードによって構成され得る。撮像素子Ｓは、必ずしもモノクロタイプの撮像素子である必要はない。例えば、Ｒ／Ｇ／Ｂ、Ｒ／Ｇ／Ｂ／ＩＲ、またはＲ／Ｇ／Ｂ／Ｗのフィルタを有するカラータイプの撮像素子を用いてもよい。カラータイプの撮像素子を使用することで、波長に関する情報量を増やすことができ、分光分離画像Ｆの再構成の精度を向上させることができる。例えば、撮像素子ＳがＣｎ種類のカラーフィルタを有すると、分光分離画像Ｆの個数ｎを、ｍ×Ｃｎ個よりも大きくすることができる。ただし、カラータイプの撮像素子を使用した場合、空間方向（ｘ、ｙ方向）の情報量が低下する。つまり、波長に関する情報量と解像度とはトレードオフの関係にある。取得対象の波長範囲（対象波長域）は任意に決定してよく、可視の波長範囲に限らず、紫外、近赤外、中赤外、遠赤外、マイクロ波・電波の波長範囲であってもよい。

［１−４．その他の構成］
撮像装置Ｄ１は、さらに符号化装置Ｃよりも被写体側に帯域通過フィルタを備えていてもよい。この帯域通過フィルタは、撮影対象物Ｏからの反射光のうち、対象波長域Ｗに相当する波長域の成分のみを透過させる。これにより、符号化装置Ｃが備える分光フィルタでは残存してしまう対象波長域Ｗ外の波長域の成分を取り除くことができる。これにより、所望の対象波長域Ｗに限定した分離精度の高い分光分離画像Ｆを得ることができる。

［２．信号処理回路］
信号処理回路Ｐｒは、撮像素子Ｓから出力された画像信号を処理する回路である。信号処理回路Ｐｒは、撮像装置Ｄ１に組み込まれていてもよいし、撮像装置Ｄ１に有線または無線で電気的に接続された信号処理装置の構成要素であってもよい。信号処理回路Ｐｒは、撮像素子Ｓによって取得された画像Ｇに基づいて、撮影対象物Ｏからの光の波長域ごとに分離された分光分離画像Ｆを推定する。

信号処理回路Ｐｒは、例えばデジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のプログラマブルロジックデバイス（ＰＬＤ）、または中央演算処理装置（ＣＰＵ）・画像処理用演算プロセッサ（ＧＰＵ）とコンピュータプログラムとの組み合わせによって実現され得る。そのようなコンピュータプログラムは、メモリなどの記録媒体に格納され、ＣＰＵがそのプログラムを実行することにより、後述する演算処理を実行できる。信号処理回路Ｐｒが、撮像装置Ｄ１の外部の要素である場合、撮像装置Ｄ１に電気的に接続されたパーソナルコンピュータ（ＰＣ）またはインターネット上のクラウドサーバなどの信号処理装置が、信号処理回路Ｐｒを有する。本明細書では、そのような信号処理装置と撮像装置とを含むシステムを、「分光システム」と称する。

［３．動作］
以下、本実施の形態における撮像装置Ｄ１の動作を説明する。

図５は、本実施の形態における分光方法の概要を示すフローチャートである。まず、ステップＳ１０１において、符号化素子Ｃ１〜Ｃｍのひとつを光路上に配置する。次に、ステップＳ１０２において、ステップＳ１０１で配置した符号化素子を用いて、撮影対象物Ｏからの反射光の強度を、波長域ごとに符号化する。符合化された光による画像Ｇを取得する。前述したとおり、符号化素子Ｃ１〜Ｃｍは、分離すべき複数の波長域のうち少なくとも２つにおいて、透過率が５０％以上の値を有する。したがって、ステップＳ１０２において、分離すべき波長域の光が重畳した画像Ｇが取得される。従来の圧縮センシングによる構成とは異なり、本実施の形態は、プリズム等の分光素子を使用しない。つまり、波長域に応じて画像を空間方向にシフトさせないため、シフト量に相当する画素が犠牲にされない。したがって、多重像であっても空間解像度は高く維持できる。撮影画像Ｇは、撮像素子Ｓにおける複数の画素によって多重像の情報が電気信号（画素信号）に変換されて生成される。その後、ステップＳ１０３にて、符号化装置Ｃを回転させて符号化素子を別の分光特性のものに交換する。ステップＳ１０１〜Ｓ１０３をｍ回繰り返す。ｍ回の撮影により、ｍ個の符号化素子Ｃ１〜Ｃｍのそれぞれに応じたｍ個の画像Ｇ１〜Ｇｍを取得する。続くステップＳ１０４において、撮像素子Ｓによって取得されたｍ個の画像Ｇ１〜Ｇｍと、ｍ個の符号化素子Ｃ１〜Ｃｍの分光透過率とに基づいて、波長域Ｗ１〜Ｗｎごとのｎ個の画像を再構成する。なお、撮影回数ｍは、波長域ごとに再構成する画像数ｎよりも小さい値である。

［４．分光画像Ｆ１、Ｆ２、・・Ｆｍの再構成方法］
次に、撮影画像と、符号化素子の分光透過率特性とに基づいて多波長の分光分離画像Ｆを再構成する方法を説明する。ここで多波長とは、例えば通常のカラーカメラで取得される３色（Ｒ・Ｇ・Ｂ）の波長帯域よりも多くの波長帯域を意味する。この波長帯域の数（以下、「分光帯域数」と称することがある。）は、例えば４から１００程度の数であり得る。用途によっては、分光帯域数は１００を超えていてもよい。

求めたいデータは分光分離画像Ｆであり、そのデータをｆと表す。分光帯域数（バンド数）をｎとすると、データｆは各帯域の画像データｆ１、ｆ２、・・・、ｆｎを統合したデータである。求めるべき画像データのｘ方向の画素数をｎｘ、ｙ方向の画素数をｎｙとすると、画像データｆ１、ｆ２、・・・、ｆｎの各々は、ｎｘ×ｎｙ画素の２次元データの集まりである。したがって、データｆは要素数ｎｘ×ｎｙ×ｎの３次元データである。一方、符号化素子によって符号化および多重化されて取得される撮影画像Ｇは、符号化素子を交換してｍ回撮影して得られる画像Ｇ１、Ｇ２、・・・、Ｇｍの各データｇ１、ｇ２、・・・、ｇｍを統合したデータｇを有する。データｇは要素数ｎｘ×ｎｙ×ｍの３次元データである。ここで、撮影回数ｍは分光帯域数ｎよりも少ない数であることが望ましい。例えば、ｍはｎの５分の１以下である。望ましくは、ｍはｎの１０分の１以下、さらに望ましくは、ｍはｎの３０分の１以下である。このように構成することで、撮影回数を減らすことができる。このため、測定時間の低減および動きのある撮影対象物Ｏの測定に有利となる。本実施の形態におけるデータｇ（ｇ１、ｇ２、・・・、ｇｍ）は、以下の（数３）で表すことができる。

厳密には、ベクトルｆはｎｘ×ｎｙ×ｎ行１列の１次元ベクトルである。また、ベクトルｇは、ｎｘ×ｎｙ×ｍ行１列の１次元ベクトルである。行列Ｈは、ベクトルｆの各成分を波長域ｗ１、ｗ２、・・・、ｗｎごとに異なる符号化情報で符号化し、それらを加算する変換を表す。行列Ｈの要素ｈｉ（ｗｊ）は符号化素子Ｃｉ（ｉは、１からｍまでの整数）における波長域ｗｊ（ｊは１からｎまでの整数）の光透過率を表す。Ｈは、ｎｘ×ｎｙ×ｍ行ｎｘ×ｎｙ×ｎ列の行列である。

さて、ベクトルｇと行列Ｈが与えられれば、（数３）の逆問題を解くことでｆを算出することができそうである。しかし、実際は、求めるデータｆの要素数ｎｘ×ｎｙ×ｎが取得データｇの要素数ｎｘ×ｎｙ×ｍよりも多い（ｍ＜ｎ）。したがって、この問題は不良設定問題となり、このままでは解くことができない。そこで、本実施の形態の信号処理回路Ｐｒは、データｆに含まれる画像の冗長性を利用し、圧縮センシングの手法を用いて解を求める。具体的には、以下の（数４）の式を解くことにより、求めるデータｆを推定する。

ここで、ｆ’は、推定されたｆのデータを表す。上式の括弧内の第１項は、推定結果Ｈｆと取得データｇとのずれ量、いわゆる残差項を表す。ここでは２乗和を残差項としているが、絶対値あるいは二乗和平方根等を残差項としてもよい。括弧内の第２項は、後述する正則化項（または安定化項）である。（数４）は、第１項と第２項との和を最小化するｆを求めることを意味する。信号処理回路Ｐｒは、再帰的な反復演算によって解を収束させ、最終的な解ｆ’を算出することができる。

（数４）の括弧内の第１項は、取得データｇと、推定過程のｆを行列Ｈによってシステム変換したＨｆとの差分の二乗和を求める演算を意味する。第２項のΦ（ｆ）は、ｆの正則化における制約条件であり、推定データのスパース情報を反映した関数である。働きとしては、推定データを滑らかまたは安定にする効果がある。正則化項は、例えば、ｆの離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、またはトータルバリエーション（ＴＶ）等によって表され得る。例えば、トータルバリエーションを使用した場合、観測データｇのノイズの影響を抑えた安定した推測データを取得できる。それぞれの正則化項の空間における撮影対象物Ｏのスパース性は、撮影対象物Ｏのテキスチャによって異なる。撮影対象物Ｏのテキスチャが正則化項の空間においてよりスパースになる正則化項を選んでもよい。あるいは、複数の正則化項を演算に含んでもよい。τは、重み係数であり、この値が大きいほど冗長的なデータの削減量が多くなり（圧縮する割合が高まり）、小さいほど解への収束性が弱くなる。重み係数τは、ｆがある程度収束し、かつ、過圧縮にならない適度な値に設定される。

なお、ここでは（数４）に示す圧縮センシングを用いた演算例を示したが、その他の方法を用いて解いてもよい。例えば、最尤推定法またはベイズ推定法などの他の統計的方法を用いることができる。また、分光分離画像Ｆの数は任意であり、各波長帯域も任意に設定してよい。

以上のように、本実施の形態では、分光透過率が異なる複数の符号化素子を用いた複数回撮影によって、データｇを取得する。したがって、従来必要とされるプリズム等の分光素子を使用しない。これにより、コマ収差の発生を抑え、圧縮センシングによる解像度の低下を抑制することができる。また、本開示の構成ではリレー光学系を必要としないため、大幅な小型化を実現しうる。リレー光学系では、ひとつの光路（光軸）上で複数の結像面が存在するために装置が大型化しやすい。本開示の構成では、符号化装置が空間的に一様な強度変調を行うため、符号化装置を結像面に配置する必要がない。したがって、結像面を複数設ける必要が無く小型化が可能である。以上より、本実施の形態は、高解像度、多波長、小型の３つの要求を同時に満たし得る。また、撮像の際、２次元データを保有するだけで済むため、長時間のデータ取得に有効である。さらに、プリズム等を使用する画像シフト方式では高強度の被写体を撮影した時にライン上に広範囲に亘って飽和が生じる可能性がある。これに対して、画像シフトを行わない本開示では飽和の範囲が限定的であり、有利である。

（実施の形態２）
実施の形態２は、符号化装置Ｃを分光フィルタの変わりに光源で構成する点で実施の形態１と異なっている。具体的には、実施の形態２は、撮影対象物Ｏに照射する光源における波長域ごとの光強度を撮影ごとにランダムに変更する。実施の形態２における符号化装置Ｃによるこの過程を、本明細書では「符号化」と称する。「ランダム」は後述する。

以下、実施の形態１と同様の内容についての詳細な説明は省略する。

図６は、実施の形態２の撮像装置Ｄ２を示す模式図である。符号化装置Ｃは互いに異なる波長特性の光を出力する複数の光源によって構成される。言い換えると、符号化装置Ｃは、出力光強度の波長分布が互いに異なる複数の光源によって構成される。複数の光源は互いに近接して配置することで、空間的な波長分布のばらつきを抑制することができる。符号化装置Ｃは、撮影対象物Ｏへの照射光量が十分となる程度に撮影対象物Ｏに近接して配置される。

符号化装置Ｃは、ｎ回の撮影ごとに、点灯、及び消灯させる光源の組み合わせを変更する。これによって、例えば、図７Ａから図７Ｆのいずれかに示す波長特性の光を出力する光源を形成する。波長特性Ｉ１’、Ｉ２’、及びＩ３’は、点灯及び消灯させる光源の組み合わせを互いに異ならせることによって形成される。

本実施の形態では、１回の撮影で符号化装置Ｃが出力する光の波長分布は、複数の波長域Ｗ１〜Ｗｎのうちの少なくとも２つの波長域において光強度が０．５以上の値を有する。ここでの光強度とは、対象波長域Ｗ内の最大強度で正規化した値である。点灯及び消灯させる光源の組合せは撮影ごとにすべて異なる。具体的には、光強度が０．５以上となる波長域の組み合わせ、または数が互いに異なる。より具体的には、波長域Ｗ１〜Ｗｎのそれぞれにおいて、撮影回ごとの光強度の値を要素とする列ベクトルが、任意の波長域間で互いに独立である。波長域Ｗ１〜Ｗｎのうちすべての波長域の組み合わせにおいて独立であってもよい。また、波長域Ｗ１〜Ｗｎのうち一部の波長域間で独立であってもよい。本実施の形態は、波長域ごとの当該列ベクトルが独立性を備えることを「ランダム」と等価とする。

本実施の形態は、波長特性の異なる複数の光源の点灯及び消灯の組み合わせを変更することによって、撮影対象物への入射光を撮影ごとに異なる波長特性で符号化する。
符号化装置Ｃの各光源は点灯・消灯の２値の変化だけでなく、光量を調整して照射できるものでもよい。光源は、例えば、ＬＥＤ、ＬＤ、レーザ、蛍光灯、水銀灯、ハロゲンランプ、メタルハライドランプ、キセノンランプ等により構成されるが、それらに限定されない。また、テラヘルツ波の波長域を利用する場合にはフェムト秒レーザなどの超高速ファイバレーザにより光源を形成しても良い。

実施の形態１、２において、符号化装置Ｃを分光フィルタまたは光源で構成する例を説明したが、それらに限定されない。例えば、液晶チューナブルフィルタ、音響光学素子、またはディジタルミラーデバイス（ＤＭＤ）を光学系の中に含めて実現してもよい。

本開示における撮像装置は、多波長の２次元画像を取得するカメラや測定機器に有用である。生体・医療・美容向けセンシング、食品の異物・残留農薬検査システム、リモートセンシングシステムおよび車載センシングシステム等にも応用できる。

Ｏ 撮影対象物
Ｃ 符号化装置
Ｃ１、Ｃ２、Ｃ３、Ｃｍ 符号化素子
Ｉ１、Ｉ２、Ｉ３ 透過率の波長分布
Ｉ１’、Ｉ２’、Ｉ３’ 光強度の波長分布
Ｒ 光束
Ｌ 結像光学系
Ｐｒ 信号処理回路
Ｓ 撮像素子
Ｔ１、Ｔ２、Ｔ３、Ｔｍ 撮影時間
Ｇ、Ｇ１、Ｇ２、Ｇ３、Ｇｍ 撮影画像
Ｆ、Ｆ１、Ｆ２、Ｆ３、Ｆｎ 分光分離画像
Ｄ１、Ｄ２ 撮像装置

Claims (14)

1. 互いに異なる波長特性を有するｍ種類（ｍは１以上の整数）の光を取得し、かつ前記ｍ種類の光の各々に対応する信号を出力する撮像素子と、
   前記信号を処理することにより、異なる波長域ごとであってｍよりも多いｎ個の画像を生成して出力する信号処理回路と、を備える撮像装置。
2. 対象物への入射光の強度、または前記対象物からの反射光の強度を、互いに異なる波長特性でｍ種類変化させる符号化装置をさらに備え、
   前記ｍ種類の光は、前記符号化装置を介して生成される、請求項１に記載の撮像装置。
3. 対象物への入射光の強度、または前記対象物からの反射光の強度を、互いに異なる波長特性でｍ種類（ｍは１以上の整数）変化させる符号化装置と、
   前記入射光が前記対象物で反射した光、または前記対象物からの前記反射光を取得し、かつ前記光または前記反射光に対応する信号を出力する撮像素子と、
   前記信号を処理することにより、異なる波長域ごとであってｍよりも多いｎ個の画像を生成して出力する信号処理回路と、を備える撮像装置。
4. 各回の撮影において、対象物への入射光の強度、または対象物からの反射光の強度を、前記撮影ごとに異なる波長特性で変化させることにより符号化する符号化装置と、
   前記符号化装置によって符号化された光を取得し、かつ記光に対応する信号を出力する撮像素子と、
   ｍ回（ｍは１以上の整数）の撮影において前記撮像素子から出力された前記信号を処理することにより、異なる波長域ごとであってｍよりも多いｎ個の画像を生成する信号処理回路と、を有する、撮像装置。
5. 前記波長特性は、互いに異なる第１波長域および第２波長域においてそれぞれ透過率の極大値を有し、
   前記波長特性を、前記透過率の最大値が１、最小値が０となるように正規化したとき、前記第１波長域および前記第２波長域における前記極大値はいずれも０．５以上である、請求項１から４のいずれかに記載の撮像装置。
6. 前記波長特性は、空間方向に一様である、請求項１から５のいずれかに記載の撮像装置。
7. 前記符号化装置は、
   透過率の波長分布が互いに異なる複数の分光フィルタと、
   前記複数の分光フィルタのうち、前記撮像装置の光路上に配置する分光フィルタを撮影ごとに切り替えるスイッチと、を備える、請求項２から６のいずれかに記載の撮像装置。
8. 前記ｎ個の画像は、第１の画像と第２の画像とを含み、
   前記第１の画像に対応する第１の波長域における前記複数の分光フィルタの各々の透過率を要素とする列ベクトルが、前記第１の波長域と異なる、前記第２の画像に対応する第２の波長域における前記複数の分光フィルタの各々の透過率を要素とする列ベクトルに対して独立である、請求項７に記載の撮像装置。
9. 前記符号化装置は、
   光強度の波長分布が互いに異なる複数の光源を備え、
   前記複数の光源における点灯する光源と消灯する光源との組合せが変更されることにより、前記ｍ種類の光が得られる、請求項２から６のいずれかに記載の撮像装置。
10. 前記ｎ個の画像は、第１の画像と第２の画像とを含み、
    前記第１の画像に対応する第１の波長域における前記ｍ種類の光の強度の値を要素とする列ベクトルが、前記第１の波長域と異なる、前記第２の画像に対応する第２の波長域における前記ｍ種類の光の強度の値を要素とする列ベクトルに対して独立である、請求項９に記載の撮像装置。
11. ｍはｎの５分の１以下の値である、請求項１から１０のいずれかに記載の撮像装置。
12. 前記撮像素子がＣｎ種類のカラーフィルタを含み、
    ｍ、ｎ、およびＣｎが、
    ｍ×Ｃｎ＜ｎ
    の関係を満たす、請求項１から１１のいずれかに記載の撮像装置。
13. 下記式で定義され、前記ｍ種類の光のうちＭ種類目の光の、前記ｎ個の画像のうちＮ番目の画像の波長域における第１の波長特性と、前記ｍ種類の光のうちＭ＋ｉ種類目の光の、前記ｎ個の画像のうちＮ＋ｊ番目の画像の波長域における第２の波長特性との相関値を、ｉおよびｊを変数として表す自己相関関数ｙ（ｉ，ｊ）が、ｙ（０，０）のみにおいて極大値を有する、請求項１から１２のいずれかに記載の撮像装置。
    

    

    
    ただし、上記式において、ｘ（Ｍ，Ｎ）は第１の波長特性、ｘ（Ｍ＋ｉ，Ｎ＋ｊ）は第２の波長特性、ｉ＝−（ｍ−１），・・・，−１，０，１，・・・，（ｍ−１）、ｊ＝−（ｎ−１），・・・，−１，０，１，・・・，（ｎ−１）である。
14. ｍはｎの１０分の１以下の値である、請求項１から１３のいずれかに記載の撮像装置。

Images