本発明の前提となる、結像させるレンズを用いることなく外界の物体の画像を取得するレンズレスの撮像装置の原理については、特許文献1を援用する。なお、その一部について以降説明するが、詳細は、特許文献1を参照されたい。
図1は、レンズレスの撮像装置の基本構成図である。図1に示すように、撮像装置101は、変調器102、画像センサ部103、および画像処理部106を含む。画像センサ部103から出力された画像信号は、画像処理部である画像処理部106によって画像処理されて画像表示部107などに出力される。
図2は、変調器102の一例を示す構成図である。図2において、変調器102は、画像センサ部103の受光面に固定されており、格子基板102aの表面側および裏面側に、表面側格子パターン104、裏面側格子パターン105がそれぞれ形成されている。このように、変調器102は、画像センサ部103の受光面に設けられる。格子基板102aは、例えばガラスやプラスティックなどの透明な材料からなる。
以降、格子基板102aの画像センサ部103側を裏面と呼び、対向する面すなわち撮影対象側を表面と呼ぶ。この表面側格子パターン104および裏面側格子パターン105は、外側に向かうほど中心からの半径に反比例して格子パターンの間隔、すなわちピッチが狭くなる同心円状の格子パターンからなる。
表面側格子パターン104、裏面側格子パターン105を透過する光は、その格子パターンによって光の強度が変調され、透過した光は画像センサ部103にて受光される。
画像センサ部103の表面には、受光素子である画素103aが格子状(アレイ状)に規則的に配置されている。この画像センサ部103は、画素103aが受光した光画像を電気信号である画像信号に変換する。このように、画像センサ部103は、撮像面にアレイ状に配置された複数の受光素子に取り込まれた光学像を画像信号に変換して出力する。
続いて、図1の撮像装置101が有する画像処理部106による画像処理の概略について説明する。図3は、画像処理部106による画像処理の概略を示すフローチャートである。図3において、まず、画像センサ部103から出力される信号から、ステップS500の処理でデモザイキング処理等によりRGB(Red Green Blue)成分ごとのモアレ縞画像を生成する。次に、モアレ縞画像に対して、RGB成分ごとに高速フーリエ変換(FFT:Fast Fourier Transform)などの2次元フーリエ変換演算により周波数スペクトルを求める(S501)。
続いて、ステップS501の処理による周波数スペクトルのうち必要な周波数領域のデータを切り出した後(S502)、該周波数スペクトルの強度計算を行うことによって画像を取得する(S503)。なお、ここで、例えば、4枚のパターンの変調器を使用する場合は2枚の位相の異なる画像の強度の合成を行い1枚の画像として出力する。ここで、画像センサ部から得られる信号から、周波数スペクトル算出、強度計算等により画像を取得するまでの処理を現像処理と呼ぶ。
そして、得られた画像に対してノイズ除去処理を行い(S504)、続いてコントラスト強調処理(S505)などを行う。その後、画像のカラーバランスを調整して(S506)撮影画像として出力する(S507)。以上により、画像処理部106による画像処理が終了となる。
続いて、撮像装置101における撮影原理について説明する。まず、図2で示した中心からの半径に対して反比例してピッチが細かくなる同心円状の表面側格子パターン104、裏面側格子パターン105は、以下のように定義する。レーザ干渉計などにおいて、平面波に近い球面波と参照光として用いる平面波とを干渉させる場合を想定する。同心円の中心である基準座標からの半径をrとし、そこでの球面波の位相をφ(r)とするとき、これを波面の曲がりの大きさを決める係数βを用いて、式1
と表せる。
球面波にもかかわらず、半径rの2乗で表されているのは、平面波に近い球面波のため、展開の最低次のみで近似できるからである。この位相分布を持った光に平面波を干渉させると、式2のような干渉縞の強度分布が得られる。
これは、式3を満たす半径位置で明るい線を持つ同心円の縞となる。
縞のピッチをpとすると、式4が得られ、
ピッチは、半径に対して反比例して狭くなっていくことがわかる。
このような縞を持つプレートは、フレネルゾーンプレートやガボールゾーンプレートと呼ばれる。式2で定義される強度分布に比例した透過率分布をもった格子パターンを、図1に示した表面側格子パターン104、裏面側格子パターン105として用いる。
ここで、図4を用いて入射状態について説明する。図4は、入射状態を示す図である。
このような格子パターンが両面に形成された厚さtの変調器102に、図4に示すように角度θ0で平行光が入射したとする。変調器102中の屈折角をθとして幾何光学的には、表面の格子の透過率が乗じられた光が、δ=t・tanθだけずれて裏面に入射し、仮に2つの同心円格子の中心がそろえて形成されていたとすると、裏面の格子の透過率がδだけずれて掛け合わされることになる。このとき、式5
のような強度分布が得られる。
この展開式の第4項が、2つの格子のずれの方向にまっすぐな等間隔の縞模様を重なり合った領域一面に作ることがわかる。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞はモアレ縞と呼ばれる。このようにまっすぐな等間隔の縞は、検出画像の2次元フーリエ変換によって得られる空間周波数分布に鋭いピークを生じる。
その周波数の値からδの値、すなわち光線の入射角θを求めることが可能となる。このような全面で一様に等間隔で得られるモアレ縞は、同心円状の格子配置の対称性から、ずれの方向によらず同じピッチで生じることは明らかである。このような縞が得られるのは、格子パターンをフレネルゾーンプレートまたはガボールゾーンプレートで形成したことによるものであるが、全面で一様に等間隔なモアレ縞が得られるのであればどのような格子パターンを使用してもよい。
ここで、式5から鋭いピークを持つ成分のみを式6のように取り出すと、
そのフーリエスペクトルは、式7のようになる。
ここで、Fはフーリエ変換の演算を表し、u、vは、x方向およびy方向の空間周波数座標、括弧を伴うδはデルタ関数である。この結果から、検出画像の空間周波数スペクトルにおいて、モアレ縞の空間周波数のピークがu=±δβ/πの位置に生じることがわかる。その様子を図5に示す。
図5は、光線と変調器102の配置図、モアレ縞、および空間周波数スペクトルの模式図をそれぞれ示す図である。図5において、左から右にかけては、光線と変調器102の配置図、モアレ縞、および空間周波数スペクトルの模式図をそれぞれ示している。図5(a)は、垂直入射、図5(b)は、左側から角度θで光線が入射する場合、図5(c)は、右側から角度θで光線が入射する場合をそれぞれ示している。
変調器102の表面側に形成された表面側格子パターン104と裏面側に形成された裏面側格子パターン105とは、軸がそろっている。図5(a)では、表面側格子パターン104と裏面側格子パターン105との影が一致するのでモアレ縞は生じない。
図5(b)および図5(c)では、表面側格子パターン104と裏面側格子パターン105とのずれが等しいために同じモアレが生じ、空間周波数スペクトルのピーク位置も一致して、空間周波数スペクトルからは、光線の入射角が図5(b)の場合なのか、あるいは図5(c)の場合なのかを判別することができなくなる。これを避けるための方法について図6を用いて説明する。
図6は、格子パターンの配置例を示す図である。図6に示すように、変調器102に垂直に入射する光線に対しても2つの格子パターンの影がずれて重なるようあらかじめ2つの表面側格子パターン104、裏面側格子パターン105を光軸に対して相対的にずらしておくことが必要である。軸上の垂直入射平面波に対して2つの格子の影の相対的なずれをδ0とするとき、入射角θの平面波によって生じるずれδは、式8のように表せる。
このとき、入射角θの光線のモアレ縞の空間周波数スペクトルのピークは周波数のプラス側では、式9
の位置となる。
画像センサの大きさをS、画像センサのx方向およびy方向の画素数を共にNとすると、2次元フーリエ変換による離散画像の空間周波数スペクトルは、-N/(2S)から+N/(2S)の範囲で得られる。
このことから、プラス側の入射角とマイナス側の入射角を均等に受光することを考えれば、垂直入射平面波(θ=0)によるモアレ縞のスペクトルピーク位置は、原点(DC:直流成分)位置と、例えば+側端の周波数位置との中央位置、すなわち、式10の空間周波数位置とするのが妥当である。
したがって、2つの格子の相対的な中心位置ずれは、式11
とするのが妥当である。
図7は、表面側格子パターン104と裏面側格子パターン105とをずらして配置した場合のモアレ縞の生成および周波数スペクトルを説明する模式図である。図5と同様にして、左側は光線と変調器102の配置図、中央列はモアレ縞、そして右側は空間周波数スペクトルを示す。また、図7(a)は、光線が垂直入射の場合であり、図7(b)は、光線が左側から角度θで入射する場合であり、図7(c)は、光線が右側から角度θで入射する場合である。
表面側格子パターン104と裏面側格子パターン105とは、あらかじめδ0だけずらして配置されている。そのため、図7(a)でもモアレ縞が生じ、空間周波数スペクトルにピークが現れる。そのずらし量δ0は、上記したとおり、ピーク位置が原点から片側のスペクトル範囲の中央に現れるように設定されている。
このとき図7(b)では、ずれδがさらに大きくなる方向、図7(c)では、小さくなる方向となっているため、図5と異なり、図7(b)と図7(c)との違いがスペクトルのピーク位置から判別できる。このピークのスペクトル像がすなわち無限遠の光束を示す輝点であり、図1の撮像装置101による撮影像にほかならない。
受光できる平行光の入射角の最大角度をθmaxとすると、式12より、
撮像装置101にて受光できる最大画角は、式13
で与えられる。
一般的なレンズを用いた結像との類推から、画角θmaxの平行光を画像センサの端で焦点を結んで受光すると考えると、レンズを用いない撮像装置101の実効的な焦点距離は、式14
に相当すると考えることができる。
ここで、式13より画角は変調器102の厚さt、表面側格子パターン104、裏面側格子パターン105の係数βによって変更可能であることが判る。よって、例えば変調器102が、表面側格子パターン104と裏面側格子パターン105を薄膜に形成し、それらを支持部材により保持する構成であり、支持部材の長さ、すなわち厚さtを変更可能な構成としていれば、撮影時に画角を変更して撮影することも可能となる。
以上の説明では、いずれも入射光線は同時には1つの入射角度だけであったが、実際に撮像装置101がカメラとして作用するためには、複数の入射角度の光が同時に入射する場合を想定しなければならない。このような複数の入射角の光は、裏面側の格子パターンに入射する時点ですでに複数の表側格子の像を重なり合わせることになる。もし、これらが相互にモアレ縞を生じると、信号成分である裏面側格子パターン105とのモアレ縞の検出を阻害するノイズとなることが懸念される。
しかし、実際は、表面側格子パターン104の像どうしの重なりはモアレ像のピークを生じず、ピークを生じるのは裏面側格子パターン105との重なりだけになる。その理由について以下に説明する。
まず、複数の入射角の光線による表面側格子パターン104の影どうしの重なりは、積ではなく和であることが大きな違いである。1つの入射角の光による表面側格子パターン104の影と裏面側格子パターン105との重なりでは、表面側格子パターン104の影である光の強度分布に、裏面側格子パターン105の透過率を乗算することで、裏面側格子パターン105を透過したあとの光強度分布が得られる。
これに対して、表面側格子パターン104に複数入射する角度の異なる光による影どうしの重なりは、光の重なり合いなので、積ではなく、和になる。和の場合は、式15のように、
もとのフレネルゾーンプレートの格子の分布に、モアレ縞の分布を乗算した分布となる。したがって、その周波数スペクトルは、それぞれの周波数スペクトルの重なり積分で表される。
そのため、たとえモアレのスペクトルが単独で鋭いピークをもったとしても、実際上、その位置にフレネルゾーンプレートの周波数スペクトルのゴーストが生じるだけである。つまり、スペクトルに鋭いピークは生じない。したがって、複数の入射角の光を入れても検出されるモアレ像のスペクトルは、常に表面側格子パターン104と裏面側格子パターン105との積のモアレだけであり、裏面側格子パターン105が単一である以上、検出されるスペクトルのピークは1つの入射角に対して1つだけとなる。
ここで、これまで検出することを説明してきた平行光と、実際の物体からの光との対応について図8を用いて模式的に説明する。図8は、物体を構成する各点からの光が画像センサに対してなす角を説明する説明図である。
被写体401を構成する各点からの光は、厳密には点光源からの球面波として、図1の撮像装置101の変調器102および画像センサ部103(以下、図8では格子センサ一体基板1301という)に入射する。このとき、被写体401に対して格子センサ一体基板が十分に小さい場合や、十分に遠い場合には、各点から、格子センサ一体基板を照明する光の入射角が同じとみなすことができる。
式9から求められる微小角度変位Δθに対するモアレの空間周波数変位Δuが、画像センサの空間周波数の最小解像度である1/S以下となる関係から、Δθが平行光とみなせる条件は、式16のように表せる。
この条件下であれば、無限遠の物体に対して本構成の撮像装置で撮像が可能である。
ここで、これまで述べた無限遠の場合における表面側格子パターン104の裏面への射影の様子を図9に示す。図9では、無限遠の物体を構成する点1401からの球面波は、十分に長い距離を伝搬する間に平面波となり表面側格子パターン104を照射し、その投影像1402が下の面に投影される場合、投影像は表面側格子パターン104とほぼ同じ形状である。結果、投影像1402に対して、裏面側格子パターン(図2の裏面側格子パターン105に相当)の透過率分布を乗じることにより、図10に示すように、等間隔な直線状のモアレ縞を得ることができる。
一方、有限距離の物体に対する撮像について説明する。図11は、撮像する物体が有限距離にある場合に表面側格子パターン104の裏面への射影が表面側格子パターン104より拡大されることを示す説明図である。図11に示すように、物体を構成する点1601からの球面波が表面側格子パターン104を照射し、その投影像1602が下の面に投影される場合、投影像はほぼ一様に拡大される。なお、この拡大率αは、表面側格子パターン104から点1601までの距離fを用いて、式17
のように算出できる。
そのため、図12に示すように、平行光に対して設計された裏面側の格子パターンの透過率分布をそのまま乗じたのでは、等間隔な直線状のモアレ縞は生じなくなる。しかし、一様に拡大された表面側格子パターン104の影に合わせて、裏面側格子パターン105を拡大するならば、図13に示すように、拡大された投影像1602に対して再び、等間隔な直線状のモアレ縞を生じさせることができる。このためには、裏面側格子パターン105の係数βをβ/α2とすることで補正が可能である。
これにより、必ずしも無限遠でない距離の点1601からの光を選択的に現像することができる。これによって、任意の位置に焦点合わせて撮影を行うことができる。
次に、変調器102の構成を簡略化する方法について説明する。変調器102では、格子基板102aの表面および裏面にそれぞれ同一形状の表面側格子パターン104および裏面側格子パターン105を互いにずらして形成することにより、入射する平行光の角度をモアレ縞の空間周波数スペクトルから検知して像を現像していた。この裏面側格子パターン105は、画像センサ部103に密着して入射する光の強度を変調する光学素子であり、入射光に依らず同じ格子パターンである。そこで、図14に示すように、裏面側格子パターン105を除去した変調器1901を使用し、裏面側格子パターン105に相当する処理を画像処理部1902内の強度変調部1903で実行してもよい。例えば、画像センサ部103および画像処理部1902はバス1904で接続されている。
この時の変調器1901の構成の詳細を図15に示す。この構成によって、格子基板102aに形成する格子パターンを1面減らすことができる。それにより、変調器の製造コストを低減することができ、さらに光利用効率を向上させることもできる。
図16は、図14の画像処理部1902による画像処理の概略を示すフローチャートである。この図16におけるフローチャートが図3のフローチャートと異なるところは、ステップS2101の処理である。ステップS2101の処理では、前述した強度変調部1903により画像センサ部103から出力される画像に対して、画像処理部1902が裏面側格子パターン105を透過したことに相当するモアレ縞画像を生成する。具体的には、式5に相当する演算が行われればよいので、画像処理部1902は、強度変調部1903において裏面側格子パターン105を生成し、画像センサ部103の画像に対して乗算すればよい。さらに、裏面側格子パターン105が2値化したパターンであれば、黒に相当する領域の画像センサ部103の値を0にするだけでも実現可能である。これにより、乗算回路の規模を抑圧することが可能である。以降、図16のステップS501~507の処理は、図3の処理と同様であるので、ここでは説明を省略する。
なお、強度変調部1903により裏面側格子パターン105に相当する処理を実現したが、裏面側格子パターン105はセンサに密着して入射する光の強度を変調する光学素子であるため、センサの感度を実効的に裏面側格子パターン105の透過率を加味して設定することによっても実現できる。
以上で説明した、裏面側格子パターン105を画像処理部で行う構成によれば、撮影後に任意の距離にフォーカスを合わせることも可能となる。この場合の構成を図17に示す。図17において、図14と異なるのは、記憶部2201、画像処理部2202、フォーカス設定部2203である。記憶部2201は、例えば、撮影後のフォーカス調整を可能とするため、画像センサ部103から出力される画像を一時的に格納する。また、フォーカス設定部2203は、撮像装置101に備え付けられたつまみや、スマートフォンのGUI(Graphical User Interface)などによってフォーカス距離を設定可能であり、フォーカス距離情報(任意の距離フォーカスを合せるための公知の距離情報)を画像処理部2202に出力する。
図18は、図17の画像処理部2202による画像処理の概略を示すフローチャートである。図18において図16と異なる点は、ステップS2301の処理である。ステップS2301の処理では、フォーカス設定部2203出力であるフォーカス距離情報に基づいて、式17から拡大率αを算出し、裏面側格子パターン105の係数βをβ/αとする計算を行う。その後S2101において、該係数に基づいて裏面側の格子パターンを透過したことに相当するモアレ縞画像を生成する。以降、図18のステップS501~S506の処理は、図3の処理と同様であるので、ここでは説明を省略する。
以上の方法、構成に依れば、高速フーリエ変換などの簡単な演算によって外界の物体像を得ることができ、さらに撮影後に任意の距離にフォーカスを調整可能となる。従来のカメラにおいてフォーカスを変更するためには再撮影が必要であったが、本構成では1度の撮影しか必要としない。
以上の説明では、式5から鋭いピークを持つ成分のみを取り出した式6に着目して話を進めたが、実際には式5の第4項以外の項がノイズとなる。そこで、フリンジスキャンに基づくノイズキャンセルが効果的である。
まず、式2の干渉縞強度分布において、表面側格子パターン104の初期位相をΦF、裏面側格子パターン105の初期位相をΦBとすると、式5は式18のように表せる。
ここで、三角関数の直交性を利用し、式19のように、
式18をΦF、ΦBに関して積分すると、ノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。前述の議論から、これをフーリエ変換すれば、空間周波数分布にノイズのない鋭いピークを生じることになる。
ここで式19は積分の形で示しているが、実際にはΦF、ΦBの組合せの総和を計算することによっても同様の効果が得られる。ΦF、ΦBは0~2πの間の角度を等分するように設定すればよく、{0、π/2、π、3π/2}のように4等分、{0、π/3、2π/3}のように3等分してもよい。
さらに、式19は簡略化できる。式19では、ΦF、ΦBを独立して変えられるように計算したが、ΦF=ΦBすなわち表面側格子パターン104と裏面側格子パターン105の初期位相に同じ位相を適用してもノイズ項をキャンセルできる。式19においてΦF=ΦB=Φとすれば、式20となり、
ノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。また、Φは0~2πの間の角度を等分するように設定すればよく、{0、π/2、π、3π/2}のように4等分すればよい。
また、等分せずとも、{0、π/2}の直交した位相を使用してもノイズ項をキャンセルでき、さらに簡略化できる。まず、図14の構成のように裏面側格子パターン105を画像処理部1902で実施すれば、裏面側格子パターン105に負値を扱えるため、式18は式21となる(ΦF=ΦB=Φ)。
裏面側格子パターン105は既知であるため、この式21から裏面側格子パターン105を減算し、Φ={0、π/2}の場合について加算すれば、式22のように、
ノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。
また、前述のように表面側格子パターン104と裏面側格子パターン105とは、あらかじめδ0ずらすことで空間周波数空間に生じる2つの現像画像を分離していた。しかし、この方法では現像画像の画素数が半分になる問題点がある。そこで、δ0ずらさなくとも現像画像の重複を回避する方法について説明する。式19のフリンジスキャンにおいて、cosの代わりに、式23のようにexpを用い複素平面上で演算する。
これによりノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。式23中のexp(2iβδx)をフーリエ変換すれば、式24となり、
式7のように2つのピークを生じず、単一の現像画像を得られることが判る。このように、表面側格子パターン104、裏面側格子パターン105をずらす必要もなくなり、画素数を有効に使用可能となる。
以上のフリンジスキャンに基づくノイズキャンセル方法を行うための構成について図19~28を用いて説明する。フリンジスキャンでは、少なくとも表面側格子パターン104として初期位相の異なる複数のパターンを使用する必要がある。これを実現するには時分割でパターンを切り替える方法と、空間分割でパターンを切り替える方法がある。
図19に時分割フリンジスキャンを実現する構成を示す。図19において、2501は変調器、2502は制御部、2503は画像処理部である。制御部2502は、画像センサ部103、変調器2501、および画像処理部2503などを統括制御する。
変調器2501は、例えば電気的に図20に示す複数の初期位相を切り替えて表示する(位相シフトする)ことが可能な液晶表示素子などである。図20(a)~(d)のパターンは、初期位相ΦFもしくはΦがそれぞれ{0、π/2、π、3π/2}とする。
図20に示すように、図20(a)~(d)のパターンのそれぞれは、複数の線で構成される。図20(a)のパターンが第1の格子パターンに対応し、図20(c)のパターンが、第1の格子パターンと位相がπずれる第2の格子パターンに対応する。また、図20(b)のパターンが、第1の格子パターンから位相がπ/2ずれた第3の格子パターンに対応し、図20(d)のパターンが第1の格子パターンから位相が3π/2ずれた第4の格子パターンに対応する。
図20に示す格子パターンは、複数の同心円から構成され、複数の同心円は、同心円の中心となる基準座標に対して同心円のピッチが反比例して細かくなる。
なお、変調器2501の格子パターンは、図24に示したように、複数の直線で構成され、当該複数の直線は、基準座標に対して直線間距離が反比例して狭くなるようにしてもよい。
図20に示した格子パターンを実現する変調器2501の液晶表示素子における電極配置の例を図21に示す。格子パターンの1周期を4分割するように同心円状電極が構成されており、内側から4本おきに電極が結線され、外周部から駆動端子として4本の電極が引き出されている。これら4つの電極に印加する電圧状態を“0”と“1”の2つの状態で時間的に切り替えることで、格子パターンの初期位相ΦFもしくはΦを図21(a)~(d)のように{0、π/2、π、3π/2}と切り替えることが可能となる。
なお、図21において、網掛けで示した“1”を印加した電極が光を遮蔽し、白で示した“0”を印加した電極が光を透過させることに対応している。
次に、図22に画像処理部2503における画像処理の概略を示すフローチャートを示す。この図22におけるフローチャートが図16のフローチャートと異なるところは、ステップS2701~S2704の処理である。まず、画像処理部2503は、フリンジスキャン演算の初めに加算結果をリセットする(S2701)。次に、式20に対応する場合には、画像処理部2503は、撮影に使用した表面側格子パターン104と同じ初期位相に設定し(S2702)、その初期位相を持つ裏面側格子パターン105を生成、画像センサ部103の画像に対して乗算する(S2101)。
画像処理部2503は、この結果を各初期位相のパターン毎に加算する(S2703)。以上のステップS2702~S2703の処理を全ての初期位相のパターン数繰り返す(S2704)。以降の処理は、図16の処理と同様であるので、ここでは説明を省略する。なお、上記フローは式20を例に説明したが、式19、22、23にも同様に適用することが可能である。
対して、図23に空間分割フリンジスキャンを実現する構成を示す。変調器2901は、例えば図24の初期位相ΦFもしくはΦがそれぞれ{0、π/2、π、3π/2}のパターンのように、複数の初期位相のパターンを2次元的に並べた構成である。
画像分割部2902は、画像センサ部103出力を変調器2901のパターン配置に応じた領域に分割し、画像処理部2503に順次伝送する。図24の例では、画像センサ出力を2×2の領域に分割するということである。
式20に基づくフリンジスキャンでは4位相必要であるため変調器2801は2×2であったが、式22に基づくフリンジスキャンでは2位相で実現できるため変調器2901は1×2のパターン配置でも実現可能である。例えば、図25の初期位相ΦFもしくはΦがそれぞれ{0、π}のパターンを2次元的に並べた構成である。位相数に応じて、画像センサ出力も1×2の領域に分割する。以降の画像処理部2503の処理は時分割フリンジスキャンである図22の処理と同等であるため説明を省略する。
この空間分割フリンジスキャンを用いれば、時分割フリンジスキャンの変調器2501のように電気的に切り替える必要がなく、安価に変調器を作製することができる。さらに、空間分割フリンジスキャンでは、1画面のシャッタが同じタイミングの画像センサでは、4位相あるいは2位相の撮像タイミングが同じため、動体の撮像が可能である。2位相より4位相のほうが現像後に高画質な画像を望めるが、4位相に比べ2位相は処理量が軽くできる。また、2位相では水平ライン毎にシャッタタイミングが異なるCMOS型の画像センサを動画撮影に使用することができる。しかし、空間分割フリンジスキャンを用いると画像を分割するため解像度が実効的に低下する。よって、解像度を上げる必要がある静止物の撮影には時分割フリンジスキャンが適している。
図26に、撮影後にフォーカス調整が行える画像の情報量を削減し、かつ、図19の画像処理部2503の処理を分割することで、撮像装置の処理負荷を低減した撮像装置3000と再生装置3100とを含む撮像システムの構成例を示す。図19と同じものには同じ番号を付し、説明は省略する。この撮像システムは、撮像装置3000と、再生装置3100(復元装置)とを含む。なお、この撮像システムでは、時分割フリンジスキャンを適用する例を示している。
撮像装置3000は、画像を撮像し結果を圧縮する装置である。また、再生装置3100は、上記圧縮した結果を復元して、復元した結果を再生する装置である。撮像装置3000は、撮像部3020と出力処理部3007とを含み、それらは、バス1904で接続されている。
撮像部3020は、画像センサ部103と、変調器2501と、透明な格子基板102aと、制御部2502と、圧縮前処理部3001と、圧縮処理部3005(圧縮部)と、記憶部2201とを含む。圧縮前処理部3001は、センサ信号処理部3002と、差分処理部3003と、データ変換処理部3004(データ変換部)とを含む。
再生装置3100は、制御部3101と、入力処理部3009と、復号処理部3010と、現像処理部3011(画像復元処理部、変調処理部)と、記憶部3012と、フォーカス設定部2203と、画像出力部3013とを含み、それらは、バス3104で接続されている。
また、撮像システムでは、画像表示部107と記憶装置3008をさらに含む。
制御部2502は、画像センサ部103、変調器2501、および圧縮前処理部3001などを統括制御する。
センサ信号処理部3002は、例えば、画像センサ部103から出力された各画素のデータ(画像信号)から補完データを生成し、各画素に対応したRGBデータを生成するデモザイキング処理等を行い、センサ画像として出力する。センサ画像は必要に応じて記憶部2201に画像データを格納したり、差分処理部3003へ送出したりする。このように、センサ信号処理部3002は、画像センサ部103から出力された画像信号を受信する。
例えば、センサ信号処理部3002は、変調器2501が第1の格子パターンの時の画像信号(第1の画像信号)を受信したり、第2の格子パターンの時の画像信号(第2の画像信号)を受信したりする。また、センサ信号処理部3002は、第3の格子パターンの時の画像信号(第3の画像信号)を受信したり、第4の格子パターンの時の画像信号(第4の画像信号)を受信したりする。
差分処理部3003は、変調器2501の位相を変えて撮影された領域の2枚のセンサ画像(画像信号)間の差分を取り、差分画像(差分データ)を生成する。また、差分処理部3003は、センサ信号処理部3002から直接センサ画像を取得したり、記憶部2201に記憶されているセンサ画像を取得したりする。さらに、差分処理部3003は、差分画像を必要に応じて記憶部2201に画像データを格納する。なお、センサ画像が、例えばカラー画像であり、1画素がRデータ、Gデータ、Bデータで構成されている場合は、Rデータ、Gデータ、Bデータのデータ毎に差分をとってもよい。このように、差分処理部3003は、センサ信号処理部3002により受信された画像信号の差分を算出し、当該差分に基づく差分画像を生成する。
例えば、差分処理部3003は、第1の画像信号と第2の画像信号との差分を算出し、当該差分に基づく差分画像(第1の差分データ)を生成する。また、差分処理部3003は、第3の画像信号と、第4の画像信号との差分を算出し、当該差分に基づく差分画像(第2の差分データ)を生成する。
ここで、本撮像装置の場合の差分処理部3003の入出力信号の特徴について説明する。図27に、図26のセンサ信号処理部3002から出力されたセンサ画像の一部の明るさ変化の一例を示したグラフを示す。横軸は、あるラインの画面の水平位置を示し、縦軸は画素データの値を示す。ここで、画素データの値は大きければ大きいほど明るいことを示している。なお、図27では、画素データを12bitで表現した場合を例にしているが、画素データ値はほかのビット数や、正規化したデータ値で表現してもいい。
図27の(a)は、図26の変調器2501に図24の(a)のパターンを使用した場合、図27の(b)は、図26の変調器2501に図24の(c)のパターンを使用した画面領域の画素データの変化の一例を示す。本撮像装置で撮影したセンサ画像は、レンズを用いたセンサ画像と異なり、光量の積算値であるため、イメージセンサが理想的に被写体を撮影した場合、急激なデータの変化はない。
しかしながら、例えば、筐体の影等やイメージセンサ内の特性により、データの直流成分は大きく変化する場合がある。これらの影響を排除するには、変調器2501の位相のπ異なるセンサ画像の差分をとることで、必要なセンサ画像のデータ部分のみの取り出しが可能になる。
図28に差分処理部3003から出力された差分画像の一部の明るさ変化の一例を示したグラフを示す。図28において、縦軸が差分値を示し、横軸が各画素の位置を示す。図28に示すように、各位置の画素値の差分を示しており、差分が最も大きい位置の値が最大値3401となり、差分が最も小さい位置の値が最小値3402となる。図28の例は、図27の映像と同じ位置のデータを示す。影で暗くなっている影響が排除され、のちの再生装置3100で映像にする必要な情報のみが残る。
図26に戻り、データ変換処理部3004は、差分処理部3003で得られた差分画像全体から、画素データ差分値の最小値と最大値を求める。最小値をオフセット値として、各画素データ差分値から減算することにより、差分画像を表現するのに必要なビット数は最大値から最小値を減算したデータを表現するのに必要なビット数になり、元の画素値を表現するビット数から大幅に低減することが可能になる。
なお、データ変換処理部3004では、後段の圧縮処理部3005において、入力する画像の1画素当たりのビット数が予め決まっている場合や、圧縮効率を考慮して、オフセット減算した差分画像を、例えば、8ビットに割り当てる等の処理を行い、圧縮用画像データを生成する。また、後段の圧縮処理部3005において、入力する画像として、赤、緑、青のデータで表現するのではなく、輝度と色による表現が求められる場合は、合わせて変換を行う。
このように、データ変換処理部3004は、差分処理部3003による画像信号の差分の範囲(最大値および最小値)および差分データに基づいた圧縮用画像データ(第1の圧縮用画像データ)を生成する。なお、データ変換処理部3004は、最大値と最小値とを算出する場合について述べたが、差分の範囲を示す他の情報を算出するようにしてもよい。
データ変換処理部3004は、生成した圧縮用画像データを圧縮処理部3005へ送出する。また、差分処理部3003が、第3の画像信号と、第4の画像信号との差分を算出し、当該差分に基づく差分画像(第2の差分データ)を生成した場合、データ変換処理部3004は、当該差分に基づいた圧縮用画像(第2の圧縮用画像データ)を生成する。
圧縮処理部3005は、静止画像や動画像、さらに図示はしていないが音声入力がある場合は音声のデータ量を削減する圧縮処理する。圧縮符号化方式は、例えば、JPEG、JPEG2000、MPEG2、H.264/AVC、H.265/HEVCなどである。圧縮処理部3005は、データ変換処理部3004から圧縮用画像を取得し、当該圧縮用画像を圧縮して、圧縮したデータを含む圧縮データを生成する。圧縮処理部3005による圧縮データ構成は、例えば、JPEGでは、ヘッダー、圧縮画像データ、フッターで構成される。
図29に、1枚の圧縮画像の圧縮データ構成例を示す。図29に示すように、圧縮データは、ヘッダー部3501と、圧縮画像データ3502と、フッター部3503とを有する。ヘッダー部3501は、開始マーカーや、ファイルサイズ、画像サイズや量子化テーブル等、画像の圧縮・復号に必要な情報が格納される。
圧縮画像データ3502は、圧縮用画像を圧縮したデータである。フッター部3503は、終了マーカー等が格納される部分である。なお、ヘッダー部3501は、当該ヘッダー内にアプリケーション毎に自由にデータを設定できる領域3504を含む。圧縮処理部3005は、当該領域3504にメタデータを付加する。
ここで、図30に、圧縮処理部3005が付加するメタデータ例を示す。図30に示すように、メタデータには、レコード3601およびレコード3602を含む。レコード3601は、データ変換処理部3004で得られた、差分画像の画素データの最小値の変数および値を含む。レコード3602は、当該差分画像の画素データの最大値の変数および値を含む。
図26に戻り、圧縮処理部3005は、画像圧縮時に、圧縮画像、圧縮パラメータを生成するとともに、図30に示した情報を、メタデータとして付加することにより、後段の再生装置3100での画像復元を可能にする。このように、圧縮処理部3005は、圧縮画像に、差分の範囲を示す情報(最小値の変数および値、最大値の変数および値)を含める。
なお、メタデータの付加は、撮像装置3000から出力する時に付加されていればよいため、出力処理部3007で、メタデータを付加したヘッダーに付け直しても構わない。
差分処理部3003が、第3の画像信号と、第4の画像信号との差分を算出し、当該差分に基づく差分画像を生成した場合、圧縮処理部3005は、第2の圧縮用画像データを圧縮した圧縮画像に、第3の画像信号と、第4の画像信号との差分の範囲を示す情報(最小値の変数および値、最大値の変数および値)を含める。
出力処理部3007は、圧縮処理部3005により生成された圧縮データを出力する部分である。出力処理部3007は、記憶装置3008へ圧縮データを記憶出力する。
記憶部2201および記憶部3012は、圧縮前処理部3001や圧縮処理部3005、復号処理部3010、現像処理部3011で一時的にパラメータの保存や、画像データの保存に使用する。
出力処理部3007は、圧縮処理部3005が生成した圧縮ファイルを記憶装置3008に記録する。
記憶装置3008は、ハードディスク(HDD)やソリッドステートドライブ(SSD)、メモリーカードやそれらを用いたレコーダ等、デジタルデータを記録する装置である。
制御部3101は、例えば、入力処理部3009、復号処理部3010、現像処理部3011およびフォーカス設定部2203などを統括制御する。
入力処理部3009は、順次あるいは図示してはいないが、ユーザーからの要求に応じて記憶装置3008に格納されている圧縮データを取り出す。このように、入力処理部3009は、出力処理部3007により出力されたデータを入力する。入力処理部3009は、入力したデータを復号処理部3010に送出する。
復号処理部3010は、圧縮処理部3005の圧縮方式に使用された方式の復号処理をするもので、図29のヘッダー部3501に格納された情報から、圧縮画像データ3502を復号することにより、復号画像(圧縮復元画像)を取得する。また、復号処理部3010は、付加されているメタデータも同時に取得し、現像処理部3011に送出する。
現像処理部3011は、復号画像とメタデータから、オフセットおよび元のビット深度の画像(差分データ)を復元することにより、復元差分画像を生成する。すなわち、現像処理部3011は、復号画像と、差分の範囲とから復元差分画像を生成する。
現像処理部3011は、さらに、フォーカス調整のため、図18で説明した、裏面ピッチ決定(S2301)、裏面格子強度変調(S2101)を行い、図22で説明した強度変調結果加算(S2703)を行う。さらに、図3で説明した、2次元FFT演算(S501)、スペクトル切り出し(S502)、強度計算(S503)、ノイズ除去(S504)、コントラスト強調(S505)、カラーバランス調整(S506)、出力信号生成処理(S507)の各処理を順に行い、画像表示部107が、現像した画像を表示できるような表示信号を生成する。
すなわち、現像処理部3011は、復元差分画像を変調してモアレ縞画像を生成し、当該モアレ縞画像をフーリエ変換して周波数スペクトルを算出する。
撮像装置を上述のような構成とすることで、後からフォーカス調整等が可能な画像のデータ量を削減することが可能であり、また、記憶装置のコスト低減につながる。また、再生装置で現像処理を行うことにより、記憶装置の処理が軽減し、記憶装置の小型化、低コスト化が可能になる。なお、再生装置は、図示したような構成が実現できれば、パソコン等を用いてソフトウェア処理で実現してもよいし、GPUやFPGA等のハードウェアで処理を行ってもよい。また、記憶装置は、再生装置に内蔵されているHDD等でもよい。
図31に圧縮前処理部3001における画像処理の概略を示すフローチャートを示す。最初に、圧縮前処理部3001は、変調器2501の格子パターン(ゾーンプレート)の位相シフト数を設定する(S3101)。圧縮前処理部3001は、例えば、4パターン時分割する場合、4を設定する。なお、圧縮前処理部3001において予め設定されてもよい。
続いて、圧縮前処理部3001は、画像データの差分をとるフレーム数を設定する(S3102)。また、圧縮前処理部3001は、最大値および最小値をリセット、例えば、0に設定する(S3103)。
圧縮前処理部3001は、センサ信号処理を実行し(S500)、差分フレームが初期値であると判断した場合は(S3104:Yes)、記憶部2201に画素データを記憶させる(S3105)。ステップS3108でフレーム終了と判断されるまで、センサ信号処理S500の処理を繰り返す。
ステップS3104で初期フレームではないと判断した場合は、ステップS3106では、ステップS3105で格納した同じ座標の画素値を減算し、記憶部2201に格納する。また、ステップS3107で最大値及び最小値と画素値とを比較し、最大値より大きい場合は画素値を最大値に設定し、最小値より小さい場合は画素値を最小値に設定する。次に、ステップS3018のフレーム終了判定を行い、フレーム終了ではない場合は、センサ信号処理を実行し(S500)、フレーム終了の場合は、処理を終了する。
ステップS3109では差分を取得するフレーム数および位相シフトから1を減算し、ステップS3110においてフレーム差分終了と判定されない場合は、ステップS3103の最大値、最小値リセット処理に戻り、フレーム差分処理が終了した場合は、ステップS3111のデータシフト処理を行う。
ステップS3111では、ステップS3107で取得した最小値から、例えば、全差分画素値から最小値を減算する処理により差分画像値の最小値を0とするデータシフト処理を行う。ステップS3112は、ステップS3107から取得した最大値から、例えば、使用していない上位ビットを削減するビット削減処理を行う。
なお、ビット削減処理(S3112)は、画像圧縮に使用するアルゴリズムにより画像データのビット数が限定されている場合等において、ターゲットとするビット数に割当直す処理を行う。ステップS3113で、データシフト処理(S3111)やビット削減処理(S3112)で変換した差分画素値を、後で行う現像処理で復元できるように画像復元情報、例えば、最大値や最小値の情報をメタデータとして生成する。
次に、ステップS3114で位相シフトの終了を判断し、全ての位相処理が終了した場合は処理終了し、終了していない場合はステップS3102からの処理を繰り返す。
以上説明した圧縮前処理により、センサ画像の画素値のビット数を削減することができ、効率よく圧縮することができる。
続いて、図32を用いて、図26に示した再生装置3100の処理手順を説明する。図32において、図3および図16、図18、図22と同じ処理は同じ番号を付し、説明は省略する。図32において、処理を開始すると、ステップS3701で記憶部3012から圧縮ファイルを取得する。次に、ステップS3702で圧縮ファイルのヘッダー情報を用いて圧縮画像の復号処理を行う。次に、ステップS3703で、圧縮ファイルのヘッダーにあるメタデータから元の画像の画素データの最大値と最小値である画像情報を取得し、図26のデータ変換処理部3004で処理する前の差分画像の画素データを復元する画素データ復元処理を行う。
ここで、圧縮に使用したアルゴリズムが不可逆圧縮の場合、復元した画像は全く同じものにはならない場合もある。次に、ステップS3704で、変調器の位相を設定する。位相は、例えば、位相の最初の設定値は0で、次はπずらしたものとする。
以下、図18で説明した裏面ピッチ決定(S2301)、裏面格子強度変調(S2101)を行い、図22で説明した強度変調結果加算(S2703)を行う。ここで、ステップS2704で位相シフトの終了の判定をする。例えば、位相シフトπの処理が終了していない場合は、圧縮ファイル取得(S3701)に戻る。位相シフトが終了している場合は、図3で説明した、2次元FFT演算(S501)、スペクトル切り出し(S502)、強度計算(S503)、ノイズ除去(S504)、コントラスト強調(S505)、カラーバランス調整(S506)、出力信号生成処理(S507)の各処理を順に行い、画像表示部107が、現像した画像を表示できるような表示信号を生成する。
以上説明した再生装置では、圧縮された画像を復号処理し、フォーカス調整可能な画像を復元することにより、再生装置で、ユーザーが必要とするときに必要な被写体のフォーカス調整や距離計測が可能である。
図33に、本実施例における撮像システムの構成図を示す。図33は、動画像において撮影後にフォーカス調整が行える画像の情報量を削減し、かつ、図23の画像処理部2503の処理を複数フレーム毎の制御を行うことにより、連続した動画像の撮影に適したレンズレスの撮像装置3800と再生装置3100(復元装置)とを含む撮像システムの構成例である。図33において、図26および図23と同じものには同じ番号を付し、説明は省略する。なお、この撮像システムでは、動画処理のため、1フレーム分の画像を同時に撮影できる空間分割フリンジスキャンを適用する例を示している。
図33において、撮像装置3800は、画像を撮像した結果を圧縮する装置である。また、再生装置3100は、上記圧縮した結果を復元して、復元した結果を再生する装置である。
撮像装置3800は、撮像部3820と出力処理部3007とを含む。撮像部3820は、画像センサ部103と、透明な格子基板102a、透明な格子基板102a、変調器2901と、制御部3802と、圧縮前処理部3801と、圧縮処理部3805(圧縮部)と、記憶部2201とを含む。圧縮前処理部3801は、センサ信号処理部3002と、差分処理部3003と、データ変換処理部3804(データ変換部)と、演算パラメータ生成部3806を含む。
制御部3802は、画像センサ部103、圧縮前処理部3801および圧縮処理部3805などを統括制御する。
画像分割部2902は、例えば、画像センサ部103から出力された各画素のデータ(画像信号)を変調器2901の位相パターン毎に4個の領域に分割する。図34に画像信号分割例を示す。3900は画像信号全体、3901は第1の格子パターン領域の画像信号の領域(第1の領域)、3902は第2の格子パターン領域の画像信号の領域(第2の領域)、3903は第3の格子パターン領域の画像信号の領域(第3の領域)、3904は第4の格子パターン領域の画像信号の領域(第4の領域)である。画像分割部2902後は、第1の領域、第2の領域、第3の領域および第4の領域の画像信号は別々の画像として扱う。
図33に戻って、センサ信号処理部3002は、例えば、画像分割部2902で分割された領域毎に補完データを生成し、各画素に対応したRGBデータを生成するデモザイキング処理等を行い、センサ画像として出力する。センサ画像は必要に応じて記憶部2201に画像データを格納したり、差分処理部3003へ送出したりする。このように、センサ信号処理部3002は、画像センサ部103から出力された画像信号を受信する。
例えば、センサ信号処理部3002は、変調器2901の第1の格子パターン領域の画像信号を第1の画像信号を受信したり、第2の格子パターン領域の画像信号を第2の画像信号を受信したり、第3の格子パターン領域の時の画像信号を第3の画像信号を受信したり、第4の格子パターン領域の画像信号を第4の画像信号を受信したりする。
差分処理部3003は、図26で説明したように、第1の画像信号と第2の画像信号との差分を算出し、当該差分に基づく差分画像(第1の差分データ)を生成する。また、差分処理部3003は、第3の画像信号と、第4の画像信号との差分を算出し、当該差分に基づく差分画像(第2の差分データ)を生成する。
演算パラメータ生成部3806は、後述する制御部3802の指示に基づき、差分処理部3003で得られた差分画像の各画素データの最小値と最大値を求めて、求めた最大値、最小値を基にデータ変換処理部3804が差分画像から圧縮前画像に変換するための演算パラメータを生成して、記憶部に演算パラメータを格納する。例えば、圧縮前画像の各画素のとりうる値が8ビットとすると、演算パラメータは、最小値をビットシフト演算用のオフセット値、最大値と最小値の差分である最大振幅値を255で割った値をビット削減処理用の乗算係数とする。ここで、連続する動画像の場合、画像1枚毎に異なる演算パラメータを生成、適用すると、後段の圧縮処理部3805での圧縮効率が悪くなったり、最終的な映像のフリッカの原因となったりする。
図35にデータ変換処理部3804に入力する信号例を示す。横軸は画像の位置、縦軸は画素値を示す。4001はあるフレームの信号例の一部であり、4002はフレームの信号例4001とは異なるフレームの信号例の一部である。4003はフレームの信号例4001の最小値、4004はフレームの信号例4002の最小値、4005はフレームの信号例4001の最大値、4006はフレームの信号例4002の最大値である。図35に示すように、最大値と最小値はフレームごとに変化する。そこで、例えば、キー画像であるキーフレームの最大値、最小値を取得して演算パラメータを生成し、ある一定期間は同じオフセットとする。キーフレームとは、例えば、前後等の他のフレームの画像データに関係なく圧縮されるフレームで、圧縮処理部3805により数フレームから数百フレームに1回生成される。ある期間とは、例えば、キーフレームから次のキーフレームの間までの期間である。なお、キーフレームの差分画像の最小値、最大値からはずれる差分画像では、画質劣化の可能性はあるが、その影響は大きいものではない。また、キーフレームの最大値、最小値に各フレームの変動を見越した値を加減算した値を用いた演算パラメータを生成、設定してもよい。
データ変換処理部3804では、後段の圧縮処理部3805において、入力する画像の1画素当たりのビット数が予め決まっている場合や、圧縮効率を考慮して、オフセット減算した差分画像を、例えば、8ビットに割り当てる等の処理を行い、圧縮用画像データを生成する。また、後段の圧縮処理部3805において、入力する画像として、赤、緑、青のデータで表現するのではなく。輝度と色による表現が求められる場合は、合わせて変換を行う。
圧縮処理部3805は、図26の3005と同様に静止画像や動画像、さらに図示はしていないが音声入力がある場合は音声のデータ量を削減する圧縮処理する。
圧縮処理部3805は、例えば、変調器2901が4位相であり、圧縮処理部3805が複数フレームの画像の相関性を用いて高い圧縮率を実現する圧縮方式で動画像を圧縮し、撮像装置3800が、例えば、第1の差分データの差分画像と第2の差分データの差分画像を圧縮して出力する場合、各々の連続した差分画像を圧縮するため、第1の差分画像データの差分画像用と第2の差分画像データの差分画像用の2系統の入力と2系統の出力を持つ。
図36に圧縮処理部3805の構成例を示す。図33と同じものには同じ番号を付し、説明は省略する。4201は第1の圧縮器、4202は第2の圧縮器であり、圧縮処理部3805は圧縮器4201と圧縮器4202を含む。4203はデータ変換処理部3804が記憶部2201に格納する第1の差分画像データ、4204はデータ変換処理部3804が記憶部2201に格納する第2の差分画像データ、4205は圧縮器4201が記憶部2201に格納する第1の差分圧縮画像、4206は圧縮器4202が記憶部2201に格納する第2の差分画像データである。図36に示すように、第1の差分画像データの差分画像用と第2の差分画像データとは個々に圧縮処理を行うことで,連続する画像を関連するものとし、圧縮率を高くすることができる。
なお、変調器2901が2位相の場合、差分画像は一枚となるので、圧縮処理部3805は1系統の入出力があればよい。
撮像装置3800は、圧縮処理部3805で圧縮したデータを順次出力処理部3007から出力する。
以上説明したように、キーフレームから連続するフレームで同じオフセット値を使うことにより、連続する画像の相関性が失われることがなく圧縮時に高い圧縮効果が得られ、画像の輝度のゆらぎによりフリッカを防げる。
図37に圧縮前処理部3801における1フレーム分の画像処理の概略例を示すフローチャートを示す。図31と同じ処理には同じ番号を付し説明は省略する。最初に、圧縮前処理部3801は、変調器2901の格子パターン(ゾーンプレート)数である領域数を設定する(S4301)。圧縮前処理部3801は、例えば、4パターンに空間分割する場合、4を設定する。なお、圧縮前処理部3801において予め設定されてもよい。続いて、圧縮前処理部3801は、センサ信号処理を実行する(S500)。
続いて、圧縮前処理部3801は、領域判定処理を行う。センサ画像データが第1の領域あるいは第3の領域の画像データであると判断した場合は(S4302:Yes)、記憶部2201に画素データを記憶させる(S3105)。
ステップS4302で第1の領域の画像データあるいは第3の領域の画像データではないと判断した場合は、ステップS3106では、ステップS3105で格納した同じ座標の画素値を減算し、記憶部2201に格納する。また、ステップS3107で最大値及び最小値と画素値とを比較し、最大値より大きい場合は画素値を最大値に設定し、最小値より小さい場合は画素値を最小値に設定する。次に、ステップS3108のフレーム終了判定を行い、フレーム終了ではない場合は、センサ信号処理を実行し(S500)する。
フレーム終了の場合は、演算パラメータの設定をするか否かの判定を、例えば、キーフレームであるか否かで行う。処理するフレームが、例えば、キーフレームである場合は(S4303:Yes)は、ステップS3107で最大値、最小値を取得し、フレーム処理判定3108をする。ステップS4303でキーフレームではないと判定した場合は、続いてステップS3108でフレーム終了判定をする。
ステップS3108では、フレーム終了と判断されるまで、領域判定処理を繰り返す。ステップS3108で、フレーム終了と判定し、処理フレームがキーフレームと判定した場合(S4304:Yes)、最小値、最大値の情報から圧縮する画像データ生成のためのパラメータの設定を行い(S4305)、最小値、最大値のリセット(S3103)を行う。キーフレームとは、例えば、前後等の他のフレームの画像データに関係なく圧縮されるフレームで、圧縮処理部3805により数フレームから数百フレームに1回生成される。なお、ここでは1フレーム分の処理フローであり、記述はしてはいないが、全体の処理開始時にも最大値、最小値のリセットを行う。以降、ステップS3111からS3113は、図31と同じなので説明は省略する。
以上説明したように、キーフレームの最大値および最小値を用いて連続する複数のフレームの容量を低減する圧縮前処理により、効率よく圧縮することができる。
なお、本実施例では最大値および最小値を取得するフレームをキーフレームとした例で説明したが、他のフレームで取得した最大値および最小値を用いてもよい。
以上のように、本実施例によれば、変調器は、第1の格子パターンと、第1の格子パターンと位相がずれた第2の格子パターンとを有し、センサ信号処理部は、第1の格子パターンにより出力される第1の画像信号と、第2の格子パターンにより出力される第2の画像信号とを受信し、差分処理部は、第1の画像信号と、第2の画像信号との差分を算出し、圧縮処理部は、第1の圧縮用画像データに差分の範囲を示す情報を含める。これにより、後からフォーカス調整等が可能な画像のデータ量を削減することが可能であり、また、記憶装置のコスト低減につながる。すなわち、レンズレスの撮像装置で撮像した画像の容量を低減して管理することができる撮像装置、撮像システム、及び撮像方法を提供できる。