JP2022180800A - 撮像装置 - Google Patents

Abstract

【課題】簡単な構成で画質を向上させた撮像装置を提供する。【解決手段】本発明の撮像装置は、光を電気信号に変換し、センサ画像を生成する画像センサと、前記画像センサ上に投影される光を変調する光変調部と、前記センサ画像に基づいて像を復元する画像処理部と、を有し、前記光変調部には内部領域と外部領域があり、前記内部領域を通過かつ前記画像センサ上に投影される光の平均輝度と、前記外部領域を通過かつ前記画像センサ上に投影される光の平均輝度と、が略等しい。【選択図】図１９

Description

本発明は、撮像装置に関する。

スマートフォンなどに搭載するデジタルカメラは、薄型化が必要である。この種のデジタルカメラの薄型化技術として、レンズを用いることなく物体像を得るものがある。この技術は、画像センサ上に、パターンが形成された変調部を設け、変調部を透過する光が画像センサ上で生じる射影パターンから、入射光の入射角を相互相関演算により求めることで、外界の物体の像を得るものである。また、例えば特許文献１には、射影パターンを複数の互いに重ならない同心円パターンとすることで、簡単な計算で外界の物体の像を得ることが開示されている。

国際公開第１７／１４５３４８号

上述した特許文献１では、複数の同心円パターンの境界における非連続性が原因となり、撮像結果が劣化する可能性がある。

本発明の目的は、簡単な構成で画質を向上させた撮像装置を提供することにある。

上記課題を解決するために、本発明の撮像装置は、光を電気信号に変換し、センサ画像を生成する画像センサと、前記画像センサ上に投影される光を変調する光変調部と、前記センサ画像に基づいて像を復元する画像処理部と、を有し、前記光変調部には内部領域と外部領域があり、前記内部領域を通過かつ前記画像センサ上に投影される光の平均輝度と、前記外部領域を通過かつ前記画像センサ上に投影される光の平均輝度と、が略等しい。

本発明によれば、簡単な構成で画質を向上させた撮像装置を提供できる。上記した以外の課題、構成および効果は、以下の発明を実施するための形態の説明により明らかにされる。

実施例１に係る撮像装置の構成の一例を示す図 撮像装置における撮像部の構成の一例を示す図 撮像装置における撮像部の構成の別の一例を示す図 斜め入射平行光によるパターン基板表面から画像センサへの射影像が面内ずれを生じることを説明する図 撮影用パターンとしてガボールゾーンプレートを示す図 撮影用パターンとしてフレネルゾーンプレートを示す図 撮影用パターンの投影像を示す図 現像用パターンを示す図 相関現像方式による現像画像を示す図 フリンジスキャンにおける複数の初期位相の組合せを示す図 複数の初期位相を有する撮影用パターンを示す図 斜め入射平行光によるセンサ画像の例を示す図 斜め入射平行光によるセンサ画像を４分割した例を示す図 被写体の例を示す図 現像画像の例を示す図 実施例１による現像画像の例を示す図 実施例２による現像画像の例を示す図 実施例３による現像画像の例を示す図 実施例１における撮影用パターンを示す図 実施例２における撮影用パターンを示す図 実施例３における撮影用パターンを示す図 実施例３における撮影用パターンの初期位相配置を示す図 フリンジスキャン処理前後の信号成分とクロストーク成分を示す図 撮像装置における画角を示す図 センサ画像における信号成分およびクロストーク成分のプロファイルを示す図 複素センサ画像における信号成分およびクロストーク成分のプロファイルを示す図 実施例１のセンサ画像における信号成分およびクロストーク成分のプロファイルを示す図 実施例１の複素センサ画像における信号成分およびクロストーク成分のプロファイルを示す図 光変調部の外部領域に、透過率略１００％の領域と透過率略０％の領域のデューティ比１：１でランダムに配置した例を示す図 光変調部の外部領域に、透過率略１００％の領域と透過率略０％の領域をデューティ比３：１でランダムに配置した例を示す図 光変調部の外部領域に、透過率略１００％の領域と透過率略０％の領域をデューティ比１：３でランダムに配置した例を示す図 撮像装置における撮像部に仕切りを配置した例を示す図 撮像装置の画像処理部における処理フローを示す図 光変調部の外部領域における格子状のパターンの例を示す図 光変調部の外部領域における格子状のパターンの別の例を示す図 光変調部の外部領域における格子状のパターンのさらに別の例を示す図

以下、図面を参照して本発明の実施形態を説明する。実施例は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。

図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。

実施例において、プログラムを実行して行う処理について説明する場合がある。ここで、計算機は、プロセッサ（例えばＣＰＵ、ＧＰＵ）によりプログラムを実行し、記憶資源（例えばメモリ）やインターフェースデバイス（例えば通信ポート）等を用いながら、プログラムで定められた処理を行う。そのため、プログラムを実行して行う処理の主体を、プロセッサとしても良い。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であれば良く、特定の処理を行う専用回路を含んでいても良い。ここで、専用回路とは、例えばＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）、ＣＰＬＤ（Complex Programmable Logic Device）等である。

プログラムは、プログラムソースから計算機にインストールされても良い。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであっても良い。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布しても良い。また、実施例において、２以上のプログラムが１つのプログラムとして実現されても良いし、１つのプログラムが２以上のプログラムとして実現されても良い。

まず、実施例１について説明する。

〈基本構成〉
図１は、実施例１に係る撮像装置１０１の構成の一例を示す図である。撮像装置１０１は、結像させるレンズを用いることなく、外界の物体の画像を取得するものであり、図１に示すように、撮像部１０２と、画像処理部１０５と、コントローラ１０６と、を備えている。

図２は、撮像部１０２の一例を示す図である。図２に示すように、撮像部１０２は、画像センサ１０３と、光変調部１０４と、を有する。光変調部１０４は、画像センサ１０３の受光面に密着して固定されており、外界からの入射光を変調し、画像センサ１０３の受光面上に所望の輝度パターンの投影像を形成する。光変調部１０４は、例えばガラスやプラスティックなどの可視光に対して透明な材料に、アルミニウム、クロムなどの金属を蒸着することで、蒸着されたパターンと蒸着されていないパターンによって濃淡をつけ、外界からの入射光に対して強度変調を加える。なお、光変調部１０４は、金属の蒸着による濃淡をつける方法に限定されるものでなく、例えば、インクジェットプリンタによる印刷などによって濃淡をつける方法でも良い。このように、光変調部１０４が強度変調型の場合、比較的容易に形成できる利点がある。

また、図３に示した撮像部１０２のように、光変調部１０４は、同心円状にシリンドリカルレンズを並べたもので、入射光に対して位相変調を加え、画像センサ１０３の受光面上に輝度パターン３０１を形成しても良い。このように、光変調部１０４が位相変調型の場合、微細なパターンを形成できるので、高い解像度を得やすい利点がある。さらに、光変調部１０４は、画像センサ１０３の受光面上に所望の輝度パターンを形成する手段であれば、これ以外の構成であっても良い。また、ここでは可視光を例に説明したが、例えば遠赤外線の撮影を行う際には、光変調部１０４は例えばゲルマニウム、シリコン、カルコゲナイドなどの遠赤外線に対して透明な材料とするなど、撮影対象となる波長に対して透明な材料を用いれば良い。

画像センサ１０３の表面には、受光素子である画素１０３ａが格子状に規則的に配置されている。この画像センサ１０３は、画素１０３ａが受光した光画像を電気信号である画像信号に変換し、センサ画像を生成する。画像センサ１０３から出力されたセンサ画像は、画像処理部１０５によって画像処理されて出力される。画像処理部１０５は、現像用パターンおよびセンサ画像に基づいて像を復元する。

以上の構成において、撮影する場合には、光変調部１０４を透過する光は、光強度もしくは位相が変調され、透過した光は画像センサ１０３にて受光される。画像センサ１０３から出力されたセンサ画像は、画像処理部１０５によって画像処理され、処理されたデータがコントローラ１０６に出力される。コントローラ１０６は、画像処理部１０５の出力をホストコンピュータや外部記録媒体に出力する場合には、ＵＳＢ等のインターフェイスに適合するようデータ形式を変換し出力する。

続いて、撮像装置１０１における画像撮影原理について説明する。なお、図４に示すように、光変調部１０４は、撮影用パターン４０１が形成された厚さｄのパターン基板であり、入射光に強度変調（具体的には透過率変調）を加えるものとして説明するが、光変調部１０４が、入射光に位相変調を加える場合でも同様に考えることができる。

まず、光変調部１０４が入射光に対して加える透過率変調は、中心からの半径に対して反比例してピッチが細かくなる同心円状のパターンであり、同心円の中心である基準座標からの半径ｒ、係数β、透過率分布の初期位相Φ、を用いて、（式１）のように定義される。

このような縞を持つプレートは、ガボールゾーンプレートやフレネルゾーンプレートと呼ばれる。図５に（式１）のガボールゾーンプレート、図６に（式１）を閾値１で２値化したフレネルゾーンプレート、の例を示す。以下、簡単化のためにｘ軸方向についてのみ数式で説明するが、同様にｙ軸方向について考慮することで２次元に展開して考えることが可能である。

撮影用パターン４０１が形成された厚さｄのパターン基板に、図４に示すようにｘ軸方向に角度θ_０で平行光が入射したとする。光変調部１０４中の屈折角をθとして幾何光学的には、撮影用パターン４０１の透過率が乗じられた輝度パターン４０２が、ｋ＝ｄ・ｔａｎθだけずれて画像センサ１０３の受光面上に投影される。このとき、輝度パターン４０２は、（式２）で示すような強度分布を有する投影像となる。

（式２）のように、輝度パターン４０２は、撮影用パターン４０１がｋシフトして投影されたものとなり、これが撮像部１０２の出力となる。

撮影した画像の現像では、輝度パターン４０２（図７）と現像用パターン８０１（図８）との相互相関関数を画像処理部１０５が演算することにより、シフト量ｋの輝点（図９）を得る。なお、一般的に相互相関演算を２次元畳み込み演算で行うと演算量が大きくなることから、フーリエ変換を用いて演算する例に関し、数式を用いて原理を説明する。まず、現像用パターン８０１は、撮影用パターン４０１と同様にガボールゾーンプレートやフレネルゾーンプレートを用いるため、現像用パターン８０１は、（式３）と表せる。

現像用パターン８０１は、画像処理で使用するため、（式１）のように１でオフセットさせる必要はなく、負の値を有していても問題ない。（式２）のフーリエ変換は、（式４）となる。

また、（式３）のフーリエ変換は、（式５）となる。

ここで、Ｆはフーリエ変換の演算を表し、ｕはｘ方向の周波数座標、括弧を伴うδはデルタ関数である。（式４）および（式５）で重要なことは、フーリエ変換後の式もまたフレネルゾーンプレートやガボールゾーンプレートとなっている点である。よって、（式４）および（式５）に基づいて、フーリエ変換後の現像用パターン８０１を直接的に生成してもよい。これにより演算量を低減可能である。次に、（式４）および（式５）を乗算すると、（式６）となる。

（式６）における指数関数で表された項ｅｘｐ（－ｉｋｕ）が信号成分であり、この項をフーリエ変換すると、（式７）のようになり、元のｘ軸においてｋの位置に輝点を得ることができる。

この輝点が無限遠の光束を示しており、図１の撮像装置１０１による撮影像にほかならない。

なお、図２４に示すように、撮影用パターン４０１と輝度パターン４０２のシフト量が、画像センサ１０３の１辺あたりの長さＳに対して略半分以下であれば、良好な現像結果が得られる。このため、外界からの入射角をθ_{０＿ｍａｘ}とすると、撮像装置の水平方向および垂直方向の画角は２θ_{０＿ｍａｘ}となる。

なお、相関現像方式ではパターンの自己相関関数が単一のピークを有するものであれば、フレネルゾーンプレートやガボールゾーンプレートに限定されないパターン、例えばランダムなパターンで実現しても良い。

〈ノイズキャンセル〉
前述の（式６）から（式７）への変換においては、信号成分に着目して説明したが、実際には、信号成分以外の項が現像を阻害する。そこで、フリンジスキャンに基づくノイズキャンセルを行う。フリンジスキャンのためには、撮影用パターン４０１として初期位相Φの異なる複数のパターンを使用する必要がある。図１０に、複数のパターンの例を示す。ここでは、Φ＝０、π／２、π、３π／２となる４位相を用いて撮影したセンサ画像を、（式８）に従って演算すると、複素数のセンサ画像（複素センサ画像）が得られる。

ここで、複素数の現像用パターン８０１は、（式９）で表せる。

現像用パターン８０１は、フリンジスキャン処理内で使用するため、複素数であっても問題ない。複素センサ画像のフーリエ変換は（式１０）のようになる。

また、現像用パターン８０１のフーリエ変換は、（式１１）のようになる。

次に、（式１０）および（式１１）を乗算すると、（式１２）となる。

（式１２）における指数関数で表された項ｅｘｐ（－ｉｋｕ）が信号成分であり、（式６）のような不要な項が発生せず、ノイズキャンセルされていることが分かる。なお、以上の例では、４位相の複数のパターンを使用して説明したが、Φは０～２πの間の角度を等分するように設定すれば良く、この位相に限定するものではない。

このように、フリンジスキャンでは、撮影用パターン４０１として初期位相の異なる複数のパターンを使用する必要がある。本実施例では、空間分割でパターンを切り替えることでこれを実現する。

空間分割フリンジスキャンを実現する場合、図１１に示す複数の初期位相を有するパターン１１０１を備えた撮影用パターン４０１が使用される。１枚の画像を取得後、画像処理部１０５は、それぞれの初期位相のパターンに対応して４枚に分割した後、フリンジスキャン演算を実施する。

空間分割フリンジスキャンを実施する場合、１枚の画像を４分割するため、それぞれの初期位相パターンに対応する画像センサのサイズは１辺あたり１／２となる。このため、図２４において長さＳを画像センサ１０３の１辺あたりの長さの１／２と置き換えると、空間分割フリンジスキャンを用いる撮像装置１０１における水平方向および垂直方向の画角は２θ_{０＿ｍａｘ}として表される。

なお、空間分割フリンジスキャンでは、投影される撮影用パターンの中心位置が被写体までの距離に応じて変化するため、フリンジスキャンを機能させるためには、中心位置変化の補正が必要である。よって、後述のピント位置の設定に応じて、画像処理部１０５における画像分割の分割領域を変えても良い。また、画像処理部１０５における画像分割の分割領域は一定のまま、後述のピント位置の設定に応じて、現像用パターンの中心座標をシフトさせることで、中心位置変化を補正しても良い。

<空間分割フリンジスキャンの問題点>
以上の構成で撮影を行う際、図４のように入射光が光変調部１０４に対して斜めに入射すると、画像センサ１０３の受光面上に形成される輝度パターン４０２は、図１２に示すように撮影用パターン４０１が左にシフトしたパターンとなる。このようにして取得した画像を、画像処理部１０５にてそれぞれの初期位相のパターンに対応して４枚に分割すると、図１３に示すような４枚の画像に分割される。分割画像１３０１および１３０４は、対応する初期位相のパターンの投影像である信号成分に加え、それぞれの初期位相パターンの右隣に隣接した初期位相のパターンが投影される。このような隣接する初期位相パターンの映り込みを以降、クロストーク成分と称する。一方、分割画像１３０２および１３０３は、それぞれに対応する初期位相パターンの右隣にはパターンが描画されていないため、クロストーク成分は発生せず、このセンサ領域の輝度値はゼロとなる。

このようにクロストーク成分の有無に差がある画像を用いてフリンジスキャンにより現像処理を行うと、以下に述べる理由で現像画像には輝度ムラが発生し、画質が大幅に劣化してしまう。図２５は、センサ画像中の信号成分とクロストーク成分を一次元上にプロットした図である。破線２５０１は図１３の点線１３０５に沿ってプロットしたもので、実線２５０２は図１３の点線１３０６に沿ってプロットしたものである。複素センサ画像の実部はこれら２つの差分に相当するので、複素センサ画像中の信号成分とクロストーク成分を一次元上にプロットした図は図２６の実線２６０１のようになる。図２６によれば、複素センサ画像中の信号成分は値ゼロを中心とした信号であるのに対して、クロストーク成分は平均値がゼロからずれており、信号成分とクロストーク成分の間で一点鎖線２６０２のように平均値がステップ的に変化することが分かる。このようにクロストーク成分の影響で複素センサ画像中に輝度ムラが生じた結果、現像画像には輝度ムラが発生する。例えば、図１４のような被写体を撮影および現像すると、図１５のような現像画像が生成される。

<クロストーク成分有無の影響抑制方法>
前述のような画質劣化を抑制するため、光変調部１０４に形成される撮影用パターン４０１は、図１９のように内部領域１９０１と外部領域１９０２からなるものとする。ここで、内部領域１９０１には、図１１で示した複数の初期位相を有するパターン１１０１が描画されているものとする。すなわち、内部領域を通過する入射光が画像センサ１０３上に投影する輝度パターンは４つの同心円パターンからなり、４つの同心円パターンは、それぞれ中心座標からの距離に対してピッチが反比例して細かくなり、互いに重ならない。同心円形状なので製造や計算処理が容易であり、互いに重ならなので干渉ノイズの発生を防止できる。

また、外部領域１９０２を透過し、かつ、画像センサ１０３の受光面上に投影される入射光の平均輝度は、内部領域１９０１を透過し、かつ、画像センサ１０３の受光面上に投影される入射光の平均輝度と、略等しい輝度とする。ここで、略等しい輝度とは、それぞれの平均輝度が完全に一致している場合だけでなく、内部領域１９０１の平均輝度に対して、外部領域１９０２の平均輝度が９０％以上１１０％以下の範囲にある場合も含まれる。

光変調部１０４が金属蒸着を用いた透過率変調型の場合、外部領域１９０２は所望の一様な透過率を有するように加工すれば良い。例えば、内部領域１９０１において、透過率が略０％の領域と透過率が略１００％の領域がデューティ比１：１で配置されている場合、外部領域１９０２の透過率は略５０％とする。このように、外部領域１９０２は、外部領域１９０２を通過する入射光に対して一様な透過率とすることで、光変調部１０４の加工が容易になる。一方、光変調部１０４がシリンドリカルレンズなどを用いた位相変調型の場合、外部領域１９０２はシリンドリカルレンズと同一の材質で形成された平行平板を用いることで実現できる。

外部領域１９０２の輝度をこのようにすることで、センサ画像中の信号成分とクロストーク成分を一次元上にプロットした図は、図２７に示すようになる。破線２７０１は図１３の点線１３０５に沿ってプロットしたもので、実線２７０２は図１３の点線１３０６に沿ってプロットしたものである。複素センサ画像の実部はこれら２つの差分に相当するので、複素センサ画像中の信号成分とクロストーク成分を一次元上にプロットした図は図２８のようになる。図２８によれば、複素センサ画像中の信号成分とクロストーク成分はともに値ゼロを中心とした信号となり、図２６で示したような平均値のステップ的な変化は生じていないことが分かる。

図１９の撮影用パターン４０１を使用した撮像装置１０１で図１４の被写体を撮影および現像すると、図１６に示した現像画像１６０１が取得できる。この結果から、内部領域１９０１と外部領域１９０２を透過し、画像センサ１０３の受光面上に投影される入射光の輝度を略等しくすることで、クロストーク成分の有無の差を抑制し、現像画像の画質が向上することが分かる。

但し、現像画像１６０１には依然輝度ムラが残存している。これは、センサ画像に生じるクロストーク成分が、一様な透過率の外部領域１９０２を透過した入射光（一様クロストーク成分）と、内部領域１９０１を透過した、撮影用パターンで変調された入射光（高周波クロストーク成分）と、からなるためと考えられる。すなわち、前述の構成で取得したセンサ画像を４分割し、フリンジスキャンで複素センサ画像を生成すると、複素センサ画像に、以下の３種類のクロストーク成分が混在するため、現像画像に輝度ムラが残存すると考えられる。第１は、一様クロストーク成分同士の差分であり、第２は、高周波クロストーク成分同士の差分であり、第３は、一様クロストーク成分と高周波クロストーク成分間の差分、である。そこで、図３３の処理フローで示したように、画像処理部１０５は、画像取得後にハイパスフィルタ処理を行った後、画像分割処理、フリンジスキャン処理、現像用パターンと相互相関演算による現像処理、をそれぞれ行う。このようにハイパスフィルタ処理を行うことで、センサ画像の輝度ムラを除去し、図１６の現像画像１６０２に示すように、さらに輝度ムラを抑制した現像画像が得られる。

センサ画像のハイパスフィルタ処理では、センサ画像に対して所望の重み付け係数で移動平均を算出したり、所望のフィルタカーネルとの畳み込み計算をフーリエ変換で実現したりする。なお、センサ画像中の低周波信号の強度を減衰させることができれば、どのようにハイパスフィルタ処理であっても良い。例えば、図６に示すように撮影用パターン内の輝度パターンの最大ピッチをＷｍａｘとした場合、センサ画像中で空間周波数が２π／Ｗｍａｘをカットオフ周波数とし、カットオフ周波数以下の成分を低周波信号、カットオフ周波数以上の成分を高周波信号とする。これにより、高周波信号に影響を与えずに、低周波信号を減衰させることができる。

なお、撮像装置１０１の画角全体で良好な現像画像を取得するには、図２４に示すように、輝度パターン４０２が最大でＳ／２シフトした場合においてクロストーク成分の有無の差を抑制する必要がある。このため、光変調部１０４の外部領域１９０２は内部領域１９０１の周囲を幅Ｓ／２で囲むように配置すればよい。例えば、内部領域１９０１の縦方向の長さをＬ１、横方向の長さをＬ２とし、画像センサ１０３の縦方向の長さと横方向の長さが内部領域１９０１の縦方向の長さと横方向の長さと略等しい場合、図１９に示すように、内部領域１９０１の左右両側に幅Ｌ２/４以上の外部領域１９０２を、内部領域１９０１の上下両側に幅Ｌ１/４以上の外部領域１９０２を、設ければ良い。

以上の構成によれば、空間分割フリンジスキャンを用いて、クロストーク成分の有無の影響を受けずに撮影可能なレンズレス撮像装置を実現することができる。

さらに、図３２に示すように、内部領域１９０１内のパターン同士、および内部領域１９０１と外部領域１９０２、を区切る仕切り３２０１を、光変調部１０４と画像センサ１０３の間に配置することで遮光し、クロストーク成分の影響を抑制することも可能である。但し、画像センサ１０３は一般的に受光面の上にカバーガラスなどが配置されており、仕切り３２０１と画像センサ１０３の受光面を密着させることができず、一部のクロストーク成分はセンサ画像内に残留してしまう。この場合も、本実施例の構成によってクロストーク成分の有無の影響を抑制することで、センサ画像内に残留したクロストーク成分の影響を抑制できる。

なお、光変調部１０４が金属蒸着などによる２値の透過率変調パターンとする場合、一様な透過率変調で、外部領域１９０２を透過した入射光の平均輝度を、内部領域１９０１を透過した入射光の平均輝度と一致させるには、外部領域１９０２が、内部領域１９０１における２値の透過率の中間の透過率を有するように加工する必要がある。このような３値以上の透過率変調は、金属蒸着を用いる場合、膜厚の変更で透過率を変更することができるが、製造時のコスト増加につながるという欠点がある。このため、外部領域１９０２における透過率変調は、一様な透過率変調の代わりに、２値のランダムな透過率パターンや２値の格子状の透過率パターンとし、これらのパターンのデューティ比を適切な値に設定することで、製造コストを抑制しつつ所望の透過率変調を実現しても良い。

例えば、外部領域１９０２の透過率略５０％にするには、図２９に示したように、透過率略１００％の領域と透過率略０％の領域をデューティ比１：１でランダムに配置すれば良い。その他にも、図３０に示したように、透過率略１００％の領域と透過率略０％の領域をデューティ比３：１でランダムに配置し、透過率略７５％の外部領域１９０２を実現しても良いし、図３１に示したように、透過率略１００％の領域と透過率略０％の領域をデューティ比１：３でランダムに配置し、透過率略２５％の外部領域１９０２を実現しても良い。また、外部領域１９０２における透過率変調が格子状のパターンの場合、例えば図３４～図３６に示すようなパターンを用い、内部領域１９０１を透過かつ画像センサ１０３の受光面上に投影される入射光の平均輝度に基づいて、透過率略１００％の領域と透過率略０％の領域のデューティ比を決定すれば良い。

実施例１では、光変調部１０４の外部領域１９０２は一様の透過率を有することで、クロストーク成分の有無の影響を抑制した。したがって、実施例１において良好な現像画像を取得するには、画像処理部１０５でセンサ画像にハイパスフィルタ処理を適用する必要があった。

実施例２は、内部領域１９０１における同心円パターンと同様の同心円パターンを、外部領域１９０２にも敷き詰めるなどにより、外部領域１９０２が入射光に対して加える変調と、内部領域１９０１が入射光に対して加える変調と、の間の差を低減する。具体的には、図２０に示すように、外部領域１９０２を通過する入射光が画像センサ１０３上に投影する輝度パターンが１２個の同心円パターンからなり、１２個の同心円パターンは、それぞれの中心座標からの距離に対してピッチが反比例して細かくなり、互いに重ならない。このような構成とすることで、複素センサ画像中に生じるクロストーク成分を高周波クロストーク成分同士の差分のみの１種類に揃えることができ、センサ画像にハイパスフィルタ処理を適用せずとも、良好な画質の現像画像を取得することが可能となる。

図１７に、実施例２の光変調部１０４を用いて撮影および現像した結果を示す。このように、複素センサ画像中のクロストーク成分の種類を揃えることで、ハイパスフィルタ処理を適用せずとも良好な画質の現像画像が取得できることが分かる。

なお、外部領域１９０２が入射光に対して加える変調は、内部領域１９０１が加える変調そのものである必要はなく、異なる初期位相を有するパターンの変調を加えることで実現しても良い。

実施例２では、外部領域１９０２が入射光に対して加える変調パターンの初期位相は任意のものとした。実施例３では、クロストーク成分の影響を最小限に抑制するために、初期位相の配置を工夫する。

クロストーク成分の影響を最小限に抑制するためには、フリンジスキャン処理で分割したセンサ画像同士の差分を取り、複素センサ画像を生成する際に、クロストーク成分同士の差分がゼロとなる組み合わせの数を最大化すれば良い。

図２１は、複素センサ画像を生成する際に、クロストーク成分同士の差分がゼロとなる組み合わせの数を最大化する、変調パターンの配置の一例を示す。図２２は、図２１の変調パターンの初期位相の配置を図示したものである。変調パターンは、４×４の領域に分割されており、それぞれ特定の初期位相のパターンで入射光を変調する。４×４の領域のうち内側の２×２の領域は、内部領域１９０１に相当し、４つの同心円パターンの中心座標はそれぞれの領域の中心に位置している。また、内部領域１９０１の各領域のパターンの初期位相は、左上が０、右上がπ／２、右下がπ、左下が３π／２であり、隣接したパターン同士の初期位相の差がπ／２となっているため、隣接するパターン同士の影響が抑えられる。一方、外側の１２個の領域は、外部領域１９０２に相当し、左上から時計回りにそれぞれ、０、π／２、０、π／２、π、π／２、π、３π／２、π、３π／２、０、３π／２の初期位相パターンで入射光を変調する。すなわち、外部領域１９０２についても、１２個の領域のうち隣接した領域の同心円パターンは、初期位相が互いにπ／２異なるので、隣接するパターン同士の影響が抑えられる。

したがって、本実施例では、４×４の領域のうち、１行１列目、１行３列目、２行２列目および３行１列目の領域を透過する入射光が画像センサ１０３上に投影する同心円パターンは、初期位相が等しくなる。また、４×４の領域のうち、１行２列目、１行４列目、２行３列目および３行４列目の領域を透過する入射光が前記画像センサ上に投影する同心円パターンも、初期位相が等しくなる。さらに、４×４の領域のうち、２行４列目、３行３列目、４行２列目および４行４列目の領域を透過する入射光が前記画像センサ上に投影する同心円パターンも、初期位相が等しくなる。そして、４×４の領域のうち、２行１列目、３行２列目、４行１列目および４行３列目を透過する入射光が前記画像センサ上に投影する同心円パターンも、初期位相が等しくなる。なお、４×４の領域は、等サイズの四角形に分割されて形成されているので、内部領域１９０１および外部領域１９０２に無駄なく敷き詰めることができる。

前述の構成で取得したセンサ画像は、画像処理部１０５で分割され、フリンジスキャン処理が行われる。図２３における、配列２３０１、２３０２、２３０４および２３０５は、それぞれ初期位相０、π、３π／２、π／２に対応する分割後のセンサ画像内に含まれる信号成分とクロストーク成分とそれらの位置関係を図示したものである。３×３の各配列における、中心の配列要素は信号成分の初期位相に対応し、外側の配列要素はクロストーク成分に対応する。フリンジスキャン処理では、初期位相０の信号成分と初期位相πの信号成分の差分を算出することで、実部信号成分を生成し、初期位相３π／２の信号成分と初期位相π／２の信号成分の差分を算出することで、虚部信号成分を生成する。このため、複素センサ画像は、実部が配列２３０３、虚部が配列２３０６でそれぞれ示した信号成分と、クロストーク成分と、を有することとなる。このように、複素センサ画像の実部および虚部に含まれるクロストーク成分の大半は差分算出時に打ち消しあい、実部および虚部を併せて７５％のクロストーク成分を打ち消すことができる。

図１８に、実施例３の光変調部１０４を用いて撮影および現像した結果を示す。図１８に示すように、複素センサ画像に含まれるクロストーク成分の大半が打ち消しあう初期位相パターンの配置をとることで、実施例２の方法で得られる現像画像である図１７よりもさらに良好な画質の現像画像を取得できる。

なお、光変調部１０４が入射光に対して加える変調パターンの配置は、本実施例に示したものに限らず、内部領域１９０１内の互いに隣接しあった初期位相パターンの位相がπ／２ずつ異なり、外部領域１９０２内の初期位相パターンと内部領域の初期位相パターンのうち同じ初期位相パターンが図２２と同様の位置関係で配置されていれば、どのようなパターンであっても良い。

なお、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。さらに、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１０１・・・撮像装置、１０２・・・撮像部、１０３・・・画像センサ、１０３ａ・・・画素、１０４・・・光変調部、１０５・・・画像処理部、１０６・・・コントローラ、３０１・・・輝度パターン、４０１・・・撮影用パターン、４０２・・・輝度パターン、８０１・・・現像用パターン、１１０１・・・複数の初期位相を有するパターン、１３０１～１３０４・・・分割画像、１６０１，１６０２・・・現像画像、１９０１・・・内部領域、１９０２・・・外部領域、３２０１・・・仕切り

Claims (14)

1. 光を電気信号に変換し、センサ画像を生成する画像センサと、
   前記画像センサ上に投影される光を変調する光変調部と、
   前記センサ画像に基づいて像を復元する画像処理部と、を有し、
   前記光変調部には内部領域と外部領域があり、前記内部領域を通過かつ前記画像センサ上に投影される光の平均輝度と、前記外部領域を通過かつ前記画像センサ上に投影される光の平均輝度と、が略等しいことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記光変調部は、前記内部領域を通過する入射光に対して強度変調を加えることを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   前記光変調部は、前記内部領域を通過する入射光に対して位相変調を加えることを特徴とする撮像装置。
4. 請求項１に記載の撮像装置において、
   前記外部領域は、前記外部領域を通過する入射光に対して一様な透過率であることを特徴とする撮像装置。
5. 請求項２に記載の撮像装置において、
   前記外部領域を通過する入射光に対してランダムまたは格子状の透過率パターンで強度変調を加え、
   前記透過率パターンのデューティ比は、前記内部領域を通過かつ前記画像センサ上に投影される光の平均輝度に基づいて決定されることを特徴とする撮像装置。
6. 請求項４に記載の撮像装置において、
   前記画像処理部は、前記センサ画像に対してハイパスフィルタ処理を行うことを特徴とする撮像装置。
7. 請求項６に記載の撮像装置において、
   前記ハイパスフィルタ処理のカットオフ周波数は、前記内部領域を通過する入射光が前記画像センサ上に投影する輝度パターンの最大ピッチに基づいて決定されることを特徴とする撮像装置。
8. 請求項１に記載の撮像装置において、
   前記内部領域の縦方向の長さをＬ１、横方向の長さをＬ２としたとき、前記外部領域は、前記内部領域の縦方向両側に幅Ｌ１／４以上の長さ、前記内部領域の横方向両側にＬ２／４以上の長さ、を有することを特徴とする撮像装置。
9. 請求項１に記載の撮像装置において、
   前記内部領域を通過する入射光が前記画像センサ上に投影する輝度パターンは４つの同心円パターンからなり、
   前記４つの同心円パターンは、それぞれの中心座標からの距離に対してピッチが反比例して細かくなり、互い重ならないことを特徴とする撮像装置。
10. 請求項９に記載の撮像装置において、
    前記外部領域を通過する入射光が前記画像センサ上に投影する輝度パターンは１２個の同心円パターンからなり、
    前記１２個の同心円パターンは、それぞれの中心座標からの距離に対してピッチが反比例して細かくなり、互い重ならないことを特徴とする撮像装置。
11. 請求項９に記載の撮像装置において、
    前記内部領域は等サイズの４つの領域に分割され、
    前記４つの同心円パターンの中心座標はそれぞれ前記４つの領域の中心に位置し、
    前記４つの領域のうち互いに隣接した領域の同心円パターンは、初期位相が互いにπ／２異なることを特徴とする撮像装置。
12. 請求項１に記載の撮像装置において、
    前記光変調部は４×４の等サイズの四角形の領域に分割され、
    前記４×４の等サイズの四角形の領域のうち内側の２×２の領域を前記内部領域とし、
    前記４×４の等サイズの四角形の領域のうち外側の１２個の領域を前記外部領域とし、
    前記４×４の等サイズの四角形の領域それぞれを通過する入射光が前記画像センサ上に投影する輝度パターンは、前記４×４の等サイズの四角形の領域それぞれの中心座標からの距離に対してピッチが反比例して細かくなる同心円パターンであり、
    前記４×４の等サイズの四角形の領域のうち、互いに隣接した領域を透過する入射光が前記画像センサ上に投影する前記同心円パターンの初期位相は互いにπ／２異なることを特徴とする撮像装置。
13. 請求項１２に記載の撮像装置において、
    前記４×４の等サイズの四角形の領域のうち、１行１列目、１行３列目、２行２列目および３行１列目の領域を透過する入射光が前記画像センサ上に投影する前記同心円パターンは初期位相が等しく、
    前記４×４の等サイズの四角形の領域のうち、１行２列目、１行４列目、２行３列目および３行４列目の領域を透過する入射光が前記画像センサ上に投影する前記同心円パターンは初期位相が等しく、
    前記４×４の等サイズの四角形の領域のうち、２行４列目、３行３列目、４行２列目および４行４列目の領域を透過する入射光が前記画像センサ上に投影する前記同心円パターンは初期位相が等しく、
    前記４×４の等サイズの四角形の領域のうち、２行１列目、３行２列目、４行１列目および４行３列目を透過する入射光が前記画像センサ上に投影する前記同心円パターンは初期位相が等しいことを特徴とする撮像装置。
14. 請求項１に記載の撮像装置において、
    前記内部領域を通過する入射光が前記画像センサ上に投影する輝度パターンは複数の同心円パターンからなり、
    前記光変調部と前記画像センサの間には仕切りがあり、
    前記仕切りは、前記内部領域の前記同心円パターン同士、および、前記内部領域と前記外部領域、を区切るように配置されていることを特徴とする撮像装置。

Images