JP2019092088A - 撮像装置 - Google Patents

Abstract

【課題】視程障害現象の一因である大気中の浮遊粒子による散乱光ノイズの低減と測定時間の短縮を可能とする物体撮像装置を提供する。【解決手段】対象物に向けて光ビームを発射する光源と、照明パターンの空間変動を示す情報信号と、空間変動を示す情報信号に基づいて、照明パターンの所定のパラメータの変動を示す情報信号と、を生成する照明パターン生成器と、光源からの光ビームを、照明パターン生成器からの空間変動を示す情報信号と所定のパラメータの変動を示す情報信号に基づきを変調し、対象物に照射する照明パターンを生成する光変調部と、対象物からの光の光量を一以上の受光面で検出し、検出光量に関する情報信号を出力する光検出器と、照明パターン生成器から出力された空間変動を示す情報信号と、検出光量に関する情報信号に基づいて対象物の特性に対してフィルタリング処理を行い、対象物の画像の特性を算出する画像生成器を備える。【選択図】図１

Description

本発明は、観測対象物に向けて所定の照明光を照射し、当該対象物からの透過光、反射光、または散乱光を捉えることによって、当該対象物の投影面における２次元画像情報を取得する物体撮像装置に関するものである。

車載用カメラや監視カメラ、レーダーのような撮像装置は屋外での使用が想定される。そのため、霧や雨などに起因する視程障害現象や逆光・環境光などの照明による外乱の影響を受けにくく、周辺状況を認識可能とする撮像装置の実現が望まれる。特許文献１では、屋外用途の物体撮像方式として、観測対象物を所定の複数の照度分布をもつ光ビームを時分割で照明し、各々の光ビームによる前記対象物からの透過光、反射光、または散乱光を単一ピクセルの受光面をもつ光検出器で受光した信号から、所定の計算処理を行うことにより、画像情報を生成することができるパターン照明型のアクティブイメージングについて開示されている。また、特許文献２では、取得した画像に対し空間差分フィルタを作用させることにより、所望の対象物の輪郭線のみを強調する画像補正技術が開示されている。特許文献２の開示技術は散乱光ノイズを低減し対象物の信号情報のみを抽出できるという特徴を備えている。

米国特許第８２７９２８５号公報 特開平９−１３８４７１号公報

しかしながら、散乱光ノイズを低減させ、観測対象物を高解像度で撮像するためには、特許文献１のように複数のパターンを照射する必要がある。そのため、照射する全パターンの照射時間が均等である場合は撮像に時間がかかってしまう。また、特許文献２ではフィルタリング処理を行うのに計算時間が余分にかかるため、測定時間の短縮と散乱光ノイズの低減とはトレードオフの関係となるという課題がある。以上のような背景の下、本願発明の目的は、測定時間の短縮と散乱光ノイズの低減を可能とする物体撮像装置を提供することにある。

上記目的は、特許請求の範囲に開示された光学手段により実現される。一例として、以下の構成が挙げられる。複数の照明パターンを対象物に照射し、得られた複数の画像情報から前記対象物の画像の特性を画像生成器で算出する撮像装置において、対象物に向けて光ビームを発射する光源と、照明パターンの空間変動を示す情報信号と、空間変動を示す情報信号に基づいており、照明パターンの所定のパラメータの変動を示す情報信号と、を生成し、光変調部に出力する照明パターン生成器と、光源からの光ビームを、照明パターン生成器からの空間変動を示す情報信号と所定のパラメータの変動を示す情報信号に基づきを変調し、対象物に照射する照明パターンを生成する光変調部と、対象物からの光の光量を一以上の受光面で検出し、検出光量に関する情報信号を出力する光検出器とを備え、照明パターン生成器は、画像生成器に前記空間変動を示す情報信号を出力し、画像生成器は、空間変動を示す情報信号と、検出光量に関する情報信号に基づいて対象物の画像の特性に対してフィルタリング処理を行う。

本願発明を用いることにより、画像に重畳した散乱光ノイズを低減するとともに測定時間が短縮された物体撮像装置を提供することができる。

本発明の第１、第２、第３、第４、第８、第９の実施形態において、物体撮像装置の全体構成を示すブロック図。 光送信部１１からの照明光を対象物１５に照明する光学系を示す図。 本発明の第１の実施形態において、照明パターン生成器１２で生成する２次元パターンの例を示す図。 画像生成器１４の構成の一例を示すブロック図。 照明パターン生成器１２で生成するフィルタリング関数の例を示す図。 対象物１５の反射率分布の一例を示す図。 図６（ａ）の分布に対し、本発明の第１の実施形態で示した計算処理を行って得られる対象物１５の差分処理画像Ｇ（ｎ，ｍ）を示す図。 図６（ｂ）のｍ＝１６でのｎ方向の断面強度分布を示す図。 本発明の第１の実施形態における空間周波数フィルタリング画像を生成する処理過程を示すフロー図。 画像生成器１４の構成の一例を示すブロック図。 本発明の第２の実施形態における空間周波数フィルタリング画像を生成する処理過程を示すフロー図。 本発明の第３の実施形態における空間周波数フィルタリング画像を生成する処理過程を示すフロー図。 本発明の第３の実施形態における２次元パターンの照明順序を示す図。 本発明の第４の実施形態において、照明パターン生成器１２で生成する２次元パターンの例を示す図。 本発明の第５の実施形態において、物体撮像装置の全体構成を示すブロック図。 本発明の第６の実施形態において、物体撮像装置の全体構成を示すブロック図。 本発明の第７の実施形態において、物体撮像装置の全体構成を示すブロック図。 本発明の第１０の実施形態において、物体撮像装置の全体構成を示すブロック図。

以下、実施例を図面を用いて説明する。なお、本明細書において「光」とは、電磁波を指し、例えば、可視光であってもよく、マイクロ波、テラヘルツ波、赤外線、紫外線、Ｘ線等であってもよい。

図１は、本発明の第１の実施形態における物体撮像装置の全体構成を示す概略図である。物体撮像装置１は、図１に示すように、概略的に光送信部１１と、照明パターン生成器１２と、光検出器１３と、画像生成器１４と、図示しないが物体撮像装置全体の制御を行う全体制御部を備えている。なお図１では、説明をわかりやすくするため、光路を太い実線の矢印、電気信号の経路を細い実線の矢印で示している。

光送信部１１は光源１１１と光変調素子１１２を備え、対象物１５に向けて光ビームを発射する。光源１１１としては、例えばレーザー光源のような時間的かつ空間的にコヒーレントな光源を用いてもよく、あるいはＬＥＤやハロゲンランプのような時間的・空間的にインコヒーレントな光源を用いてもよい。光源１１１により生成した光を光変調素子１１２に入射させる。

光変調素子１１２は、例えばデジタル・マイクロミラー・デバイス（以下、ＤＭＤ）のように、制御信号によって光源１１１から入射した光を時間的かつ空間的に変動した光へと変調させて所定の照度分布を持つ光を出力することができる。なお、本実施例の光変調素子１１２では、ＤＭＤのような個々の規則的に配置されたマイクロミラーでの反射方向によって一画素ごとに光の明暗を切り替える素子を一例としてあげたが、光の明暗を時間的かつ空間的に変動する方法について制限するものではない。

照明パターン生成器１２は光変調素子１１２に入力して所定の照明パターンをもつ光を生成するための制御信号を生成する。当該制御信号は２種類の信号から構成され、各信号は光変調素子１１２からの出力光の空間変動と時間変動を定める。

第一演算部１２１では、照明パターン生成器１２では空間的な変動を特徴づける整数列（ｋ，ｌ）をパラメータとして、第一演算部１２１後述する所定の２次元パターンを生成する。例えば、２次元パターンが周期的なパターンで構成される場合には、整数列（ｋ，ｌ）はパターンの横方向と縦方向それぞれの空間周波数を用いる。この２次元パターンによって光変調素子１１２から出力される光に変調を与え、所定の照明パターンをもつ光を生成する。

第二演算部１２２では、後述する所定のフィルタリング関数により、２次元パターンごとに変動する照明時間δｔ（ｋ，ｌ）を定める。ここで、照明時間とは２次元パターンによって変調された光変調素子１１２からの出力光を、対象物１５へ照明する時間を意味する。フィルタリング関数および照明時間は、２次元パターンの空間的な変動を特徴づける整数列（ｋ，ｌ）を変数とする。

なお、図１では照明パターン生成器１２の第一演算部１２１と第二演算部１２２を別の構成として記載したがこの構成に限定されるものではなく、物理的に同じプロセッサの中に第一演算部と第二演算部が含まれている構成でももちろん構わない。

光変調素子１１２からの出力光は対象物１５に照射される。光変調素子１１２と対象物１５の間にレンズのような結像光学系が配置されていてもよく、あるいは出力光が霧、雨、雪、砂塵のような大気中の浮遊粒子の間を通過してもよく、光変調素子１１２と対象物１５の間の構成については限定しない。

なお、本実施例では、光送信部１１、照明パターン生成器１２、画像生成器１４でそれぞれ制御部を持ち、それぞれの制御部が全体制御部と連携して光送信部１１、照明パターン生成器１２、画像生成器１４での処理を制御していることを前提とする。また別の構成として、光送信部１１、照明パターン生成器１２、画像生成器１４のそれぞれが制御部を持たず、全体制御部が一括してそれぞれの処理を制御しても良い。

図２は光送信部１１からの照明光を対象物１５に照明する結像光学系の具体例を示す。光変調素子１１２で生成された照明パターンは、画像生成処理１４が生成する画像のピクセル数と同数だけ照明パターンを変更し対象物に照明される。なお、圧縮センシングの手法を適用し、ピクセル数よりも少ない観測データで画像生成処理を行ってもよい。また、照明パターンは、レンズや凹面鏡のような光を屈折または反射させて集束させる光学素子を組み合わせることにより、照明パターンを生成した面と共役な関係にある投影面に結像される。なお、投影面から光軸方向にずれた点に入射するとカメラのようにピントがずれ、ぼけた照明パターンが対象物上に結像されるが、車載用カメラや監視カメラのような屋外撮像装置のように長距離に照明パターンを結像する場合を無限遠に像を結ぶ状況に近似でき、対象物の奥行き方向のぼけは小さく無視することができる。

対象物１５は１個の物体である必要はなく、空間的に離れた複数の物体であってもよい。また、対象物１５は個体である必要はなく、液体や気体等であってもよい。さらに、対象物１５からの透過光、反射光、または散乱光を光検出器１３で受光するための集光光学系が、対象物１５と光検出器１３の間に配置されていてもよく、対象物１５と光検出器１３の間の構成については限定しない。

光検出器１３は対象物１５からの透過光、反射光または散乱光を検出する。本実施形態では、対象物１５からの反射光を検出するように構成されている。この光検出器１３としては、例えば、光電子増倍管やシリコンフォトダイオードやシリコンアバランシェダイオード等の単一ピクセルまたはピクセル数が１桁程度の少数の受光面をもつ光検出器があげられる。また、光検出器１３としては、ＣＣＤイメージセンサ（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の多ピクセル検出器で受光した信号を、画像生成器１４上で加算あるいは平均してピクセル数を減らした信号を出力するような、実効的なピクセル数が１桁程度とみなせる光検出器であってもよい。

画像生成器１４は、光検出器１３の出力信号および照明パターン生成器１２の出力信号を用い、光検出器１３の空間分解能よりも高い空間分解能で対象物１５の特性に対してフィルタリング処理した２次元の画像情報をフィルタリング画像として算出する。

次に、上述した物体撮像装置１を構成する照明パターン生成器１２、画像生成器１４等について、さらに詳述する。
まず、照明パターン生成器１２における第一演算部１２１に関し、生成される２次元パターンについて詳述する。図３は照明パターン生成器１２にある第一演算部１２１から出力される２次元パターンの一例である。画像生成器１４によって生成する画像のピクセル数をＮ×Ｎとする。図３に示した２次元コサイン型周期パターン２１１は左からｎ番目（１＜＝ｎ＜＝Ｎ）、上からｍ番目（１＜＝ｍ＜＝Ｎ）のピクセルの強度が、２次元離散コサイン変換の変換行列式（１）に比例する変調を与えた余弦波型の２次元パターンである。

図３ではＮ＝３２、ｋ＝２、ｌ＝４の場合を示した。時系列ごとに順次照射する２次元周期パターンは横方向の空間周波数を表す整数ｋ、縦方向の空間周波数を表す整数ｌによって特徴づけられており、ｋ＝０，１，…，Ｎ−１；ｌ＝０，１，…，Ｎ−１である。

式（１）では合計Ｎ＾２種類の２次元周期パターンを表現している。当該の２次元離散コサイン変換は、三角関数を正規直交基底関数としたユニタリ変換である。したがって、式（１）の変調を持つ２次元パターンで光照射を行った場合、対象物１５からの透過光、反射光または散乱光には、対象物１５の空間周波数（ｋ，ｌ）の成分が含まれている。なお、本実施例では照明パターン生成器１２から出力される２次元パターンとして、式（１）で与える余弦波型の２次元周期パターンを例示したが、他の正規直交基底関数となるパターンを選ぶことも可能である。

次に、照明パターン生成器１２における第二演算部１２２に関し、２次元パターンI（ｋ，ｌ；ｎ，ｍ）に対する照明時間δｔ(ｋ，ｌ)について詳述する。従来のパターン照明型のアクティブイメージングでは照明パターンごとに照明時間を変動することについては検討されていない。一方、本実施例では、第二演算部１２２において各２次元パターンでの照明時間にある所定の関係δｔ(ｋ，ｌ)＝ｆ（ｋ，ｌ）×δｔ_０を与えている。δｔ_０はある時定数であり、ｆ（ｋ，ｌ）は２次元パターンごとに行うフィルタリング関数である。このフィルタリング関数によって、対象物１５の２次元画像に所望のフィルタリング処理を実施することを可能とする。フィルタリング関数の例と、本手続きにより所望のフィルタリング処理が実施される正当性は後述する。

次に、画像生成器１４について詳述する。図４は画像生成器１４の構成の一例を示すブロック図である。画像生成器１４では、まず光検出器１３からの検出信号がＡＤＣ１４１（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ、アナログディジタル変換部）により、アナログ信号からディジタル信号に変換される。ＡＤＣ１４１からの出力信号と、照明パターン生成器１２から出力された２次元パターンI（ｋ，ｌ；ｎ，ｍ）、あるいは当該２次元パターンの空間変動を特徴づけるパラメータ（ｋ，ｌ）を計算機１４２に入力し、所定の計算処理を行う。当該計算処理により光検出器１３の空間分解能よりも高い空間分解能で対象物１５の特性を示す１組の２次元画像情報を算出する。すなわち、画像生成器１４で生成する画像のピクセル数がＮ×Ｎの場合、全部でＮ^２種類の２次元パターンを照明し、Ｎ^２の２次元画像情報が１組となる。

所定の計算処理方法の一例として、前記に示した余弦波型の２次元パターンを照明する場合を考える。このとき、ＡＤＣ１４１から出力されるディジタル信号は対象物１５の２次元画像情報を離散コサイン変換して得られる周波数成分g（ｋ，ｌ）に比例する。さらに、照明時間δｔ(ｋ，ｌ)＝ｆ（ｋ，ｌ）×δｔ_０の間、周波数成分g（ｋ，ｌ）は積算されるので、ＡＤＣ１４１から出力されるディジタル信号はg（ｋ，ｌ）×ｆ（ｋ，ｌ）に比例する。当該ディジタル信号g（ｋ，ｌ）×ｆ（ｋ，ｌ）に対し、計算器１４２により式（２）で表す２次元逆離散コサイン変換を実行する。

式（２）の２次元逆離散コサイン変換を実行することにより、対象物１５の特性を示す２次元画像に対して、フィルタリング関数ｆ（ｋ、ｌ）で与えられる周波数成分ごとのフィルタリング処理を行うことが可能である。ただし、ｗ（ｋ，ｌ）は逆離散コサイン変換に由来する周波数成分ごとの重みであり、式（３）で与えられる。

すなわち、式（２）の２次元逆離散コサイン変換は一種の重みづけ相関処理である。

フィルタリング関数ｆ（ｋ、ｌ）の一例として、前記に示した余弦波型の２次元パターンを照明し、空間２階差分の画像を取得する場合を考える。従来例では、本実施形態で示した手続きではなく、まず式（４）で表す２次元逆離散コサイン変換を行ってフィルタリング処理前の画像を取得し、横方向・縦方向のピクセルを表す（ｎ，ｍ）に対する空間２階差分の演算が当該の画像に対し行われている。

しかし、式（４）によると、照明パターンI（ｋ，ｌ；ｎ，ｍ）の（ｎ，ｍ）に対する、式（５）で表す差分パターンを用いて、取得信号との重みづけ相関処理を行うのと等価である。

例えば、
前述した余弦波型の２次元パターンの場合、差分パターンは式（６）となり、I（ｋ，ｌ；ｎ，ｍ）に空間周波数（ｋ，ｌ）のみの関数である式（７）を乗じたものに等しい。

したがって、式（７）によりフィルタリング関数を定義し、式（２）で与えられた計算処理を行えば、差分処理前の画像を得ることなしに直接空間２階差分処理画像を得ることが可能である。図５はＮ＝３２、ｌ＝０と３１の場合における、式（７）で与えるフィルタリング関数ｆ（ｋ、ｌ）のｋに対する依存性を示すグラフである。対象物の輪郭情報を得るうえで、ｋ、ｌが小さい低周波数の照明パターンに対する応答は不要であるとし、式（７）では低周波数の照明パターンの照明時間を選択的に短くしている。したがって、式（７）で与えられる計算処理はハイパスフィルタリング処理である。輪郭情報を得るうえで不要となる周波数成分の照明時間を選択的に短縮した結果、Ｎ＾２種類のすべての２次元周期パターンを照射するのに必要な時間Ｔが式（８）となり、フィルタリング処理を行わない完全な画像を得るのに必要な時間Ｎ＾２×δｔ_０の半分に短縮することが可能である。

なお、フィルタリング関数として式（７）のような低周波成分を抑えるハイパスフィルタリング関数のみならず、別のフィルタリング関数を選択することも可能である。本発明ではフィルタリング関数の関数形を限定しない。

式（７）で与えたハイパスフィルタリング関数を用いると、対象物１５の特性を示す２次元画像に空間２階差分を行った画像を得ることが可能となる。例えば、対象物１５の特性を示す２次元画像が図６（ａ）は対象物１５の反射率分布の一例を示す図である。反射率分布が矩形型分布の場合に、式（７）で与えられるハイパスフィルタリング関数を用いて本実施形態で示した計算処理を行う。図６（ｂ）に示すのは、図６（ａ）の分布に対して当該の計算処理により得られたＧ（ｎ，ｍ）（Ｎ＝３２）を２次元画像で描いた図である。図６（ｃ）に示すのは、図６（ｂ）に示した２次元画像のｍ＝１６でのｎ方向の断面強度分布である。本実施形態で示す処理により、矩形型分布の輪郭線のみを強調することが可能となる。

図７は本実施形態における撮像装置での画像再構築、すなわち、空間周波数フィルタリング画像を生成する過程のフローチャートである本フローチャートでは、Ｓ７０１で、画像生成器１４は画像Ｇ（ｎ，ｍ）を初期化し「Ｇ（ｎ，ｍ）＝０」をすべての画素（ｎ，ｍ）に対し代入しておく。Ｓ７０２で、照明パターン生成器１２は２次元周期パターンを情報信号として生成し、光変調素子１１２と画像生成器１４に送信する。Ｓ７０３では、受信した情報信号に基づき光変調素子１１２において光源１１１からの出力光の照明パターンを変調し、光送信部１１が変調された光で対象物１５を照明する。

なお、照明パターン生成器１２は１組の２次元画像情報を生成するために２次元周期パターンを逐次生成し、光送信部１１は２次元周期パターンごとに所定の照明時間だけ対象物１５に照射する。

Ｓ７０４では、光検出器１３が対象物からの透過光、反射光または散乱光を計測し、画像生成器１４に送信する。

画像生成器１４は、Ｓ７０５では、Ｓ７０２で受信した情報信号I（ｋ，ｌ；ｎ，ｍ）と光検出器１３からの情報信号g（ｋ，ｌ）×ｆ（ｋ，ｌ）とを乗算し、その乗算結果に重みｗ（ｋ，ｌ）をつける。そして、Ｓ７０５とＳ７０６のループで、Ｓ７０５の計算結果を画素（ｎ，ｍ）ごとに画像Ｇ（ｎ，ｍ）に逐次加算していく。すなわち、上述の式（２）の計算処理を行う。
このＳ７０２からＳ７０６までのステップが、１枚の照明パターンを照明する際のフローとなる。

この一連のステップをＳ７０７において全ての２次元パターン（ｋ，ｌ）に対して行うことにより、Ｓ７０８において対象物１５の特性に対しフィルタリング処理を行ったフィルタリング画像Ｇ（ｎ，ｍ）を得る。

本実施形態では、以下では、照明パターン生成器１２と画像生成器１４の他の実施形態を開示する。図８は本発明の第２の実施形態である物体撮像装置１の画像生成器１４の構成のブロック図である。本図において図５に示す第１の実施形態と同じ構成要素には同じ番号を付している。図９は本発明の第２の実施形態である物体撮像装置１の画像再構築処理、すなわち空間周波数フィルタリング画像を生成する処理過程を示すフロー図である。

第１の実施形態では、各照明パターン（ｋ，ｌ）に対しディジタル信号g（ｋ，ｌ）×ｆ（ｋ，ｌ）を２次元の周期パターンI（ｋ，ｌ；ｎ，ｍ）に乗算し、測定のたびに逐次加算演算を行うことにより、式（２）の２次元逆離散コサイン変換を実施した。本実施形態は、ディジタル信号g（ｋ，ｌ）×ｆ（ｋ，ｌ）をすべての照明パターン（ｋ，ｌ）に対し、一旦メモリ１４３に格納する。本フローチャートでは、第１の実施形態におけるＳ７０４とＳ７０５の間に、Ｓ９０１とループＳ９０２を追加した。画像生成器１４は、Ｓ９０１において光検出器１３からのアナログ信号をディジタル信号g（ｋ，ｌ）×ｆ（ｋ，ｌ）に変換し、メモリ１４３に格納する。この処理を、Ｓ９０２のループで全パターン（ｋ，ｌ）に対し繰り返す。

また、Ｓ７０２で照明パターン生成器１２から出力された周期パターンをメモリ１４４に格納する。メモリ１４３からの全検出強度の集合｛g（ｋ，ｌ）×ｆ（ｋ，ｌ）｝と、メモリ１４４からの全周期パターンの集合｛Ｉ（ｋ，ｌ；ｎ，ｍ）｝を計算機１４２に入力し、計算機１４２において一括で２次元画像構築に必要な計算処理を実施する。

本実施形態では、光検出器１３からの検出信号を取得する過程Ｓ７０２〜Ｓ９０２と計算機上での２次元画像生成過程Ｓ７０５〜Ｓ７０７とを分離することにより、計算機１４２で１組の対象物１５の特性を示す２次元画像を生成する間に、次の組の空間周波数フィルタリング画像に必要な検出強度の列｛g（ｋ，ｌ）×ｆ（ｋ，ｌ）｝を検出器１３で取得することが可能である。その結果、ループ処理を並列化できるので、計算処理にかかる時間をさらに短縮することが可能となる。

図１０は本発明の第３の実施形態である物体撮像装置１の空間周波数フィルタリング画像を生成する処理過程を示すフロー図である。物体撮像装置１の画像生成器１４の構成は第２の実施例と同じ構成である。

本実施形態は、第１の実施形態で示した余弦波型の２次元パターンを照明する場合に、第２の実施形態で示したループ処理の並列化を行うと同時に、式（２）の２次元逆離散コサイン変換を実施する代わりとして、取得した検出強度の列｛g（ｋ，ｌ）×ｆ（ｋ，ｌ）｝を計算機１４２において高速逆離散フーリエ変換のアルゴリズムで、対象物１５の特性を示す２次元画像を構築する。本フローチャート図では、第２の実施形態におけるＳ７０５〜Ｓ７０７の代わりにＳ１００１において、画像生成器１４の計算機１４２で高速逆離散フーリエ変換を実施する。

これは式（２）の演算が逆フーリエ変換と原理的に等価な式となっているので、フーリエ変換で用いられる高速化処理が適用できるためである。ただし、ピクセル数Ｎが制限され、Ｎを２のべき乗（Ｎ＝２＾ｉ）とする。式（２）の２次元逆離散コサイン変換の演算数がＮ＾４であるのに対し、２次元高速逆離散フーリエ変換のアルゴリズムで処理した場合の演算数がＮ＾２×ｌｏｇ(Ｎ＾２)と、演算数を縮小することができる。したがって、計算処理時間をさらに短縮することが可能となる。

当該高速逆離散フーリエ変換のアルゴリズム内のビット反転を計算機１４２で行うことも可能であるが、２次元周期パターンI（ｋ，ｌ；ｎ，ｍ）の照明順序を変更することにより予めビット反転を行うことも可能である。

図１１に示すのは、ビット反転を予め行った場合の（ｋ，ｌ）の照明順序を示した図である。ビット反転ではまず、０からＮ−１（＝２＾ｉ−１）まで順に並べたうえで、その２進表現を左右反転させる操作（ビット反転）を行う。従来例の高速フーリエ変換のアルゴリズムでは、このビット反転操作を利用して、Ｎ（＝２＾ｉ）個の要素の離散フーリエ変換を、Ｎ／２個→Ｎ／４個→…→２個の離散フーリエ変換へと分解して計算する。

したがって、２次元逆離散フーリエ変換を本アルゴリズムで高速化する場合、２次元周期パターンを対象物１５に照明する段階で、予めこのビット反転を予め行った順序で照明を行い、その順に光検出器１３からの検出信号をメモリ１４３に格納することにより、計算機１４２で行う２次元高速逆離散フーリエ変換での情報信号の読み出しをスムーズに実行し、さらに計算処理時間を短縮することを可能とする。

本実施形態は、照明パターン生成器１２から出力される２次元パターンとして、第１、第２、第３の実施形態で用いた２次元離散コサイン変換の変換行列（１）の代わりに、Ｎ次のアダマール行列Ｈ（ｋ，ｎ）によって定められるＨ（ｋ，ｎ）×Ｈ（ｌ，ｍ）を用いる。ただし、Ｎを２のべき乗（Ｎ＝２＾ｉ）とし、ｋ＝０，１，…，Ｎ−１；ｌ＝０，１，…，Ｎ−１とする。

図１２に、Ｎ＝３２、ｋ＝１２、ｌ＝２４の場合のアダマール行列によって定められた周期パターンI（ｋ，ｌ；ｎ，ｍ）を示す。第１、第２、第３の実施形態で示した２次元離散コサイン変換は、三角関数を基底関数とした場合の対象物１５の２次元画像の各成分が、検出信号として出力される。一方で、アダマール行列によって定められる２次元パターンを照明した場合は、基底関数として１と−１のみで表現される矩形型の関数で２次元画像を展開した場合の、各成分が検出信号として出力される。

フィルタリング関数を定義する変数として、本実施形態においては、整数列（ｋ，ｌ）が必ずしも空間周波数を表さない。しかし、アダマール行列を用いた照明パターン２２１の場合、空間周波数を特徴づけるパラメータとしてシーケンシと呼ばれる画像の特徴量を用いることができる。シーケンシは、要素を順に見ていったときに、１から−１、または−１から１へ反転する回数として定義される。本実施形態においては、フィルタリング関数の変数をシーケンシに定めることにより、第１、第２、第３の実施形態で示したフィルタリング処理を行うことができる。

さらに、照明光の照度分布は検出信号の並列処理方法には影響を与えないため、第２、第３の実施形態で示したような並列処理も実行することができる。さらに、光検出器１３から出力される検出信号列に対し、高速アダマール変換を実行することにより、第３の実施形態で示したように計算処理に必要な演算数を低減することも可能である。

アダマール型の２次元周期パターンは、１と−１のみで表現される矩形型の関数であるため、光変調素子１１２で光を変調するときに、ＤＭＤにおけるミラーのオンとオフのみで容易に照明パターンを生成できるという利点がある。照明パターン生成器１２から光変調素子１１２に出力される信号量も低減できるため、伝送速度を高めることも可能である。

なお、本実施例では照明パターン生成器１２から出力される２次元パターンとして、式（１）で与えるアダマール行列によって定められる２次元周期パターンを例示したが、実施形態１の説明で述べたとおり、２次元パターンとして他の正規直交基底関数となるパターンを選ぶことも可能である。

図１３は本発明の第５の実施形態である物体撮像装置２１の全体構成を示す概略図である。なお本図において図１に示す実施形態と同じ構成要素には同じ番号を付している。説明をわかりやすくするため、光路を太い実線の矢印、電気信号の経路を細い実線の矢印で示している。

本実施形態においては、照明パターン生成器１２から出力された２次元パターンによって変調を受けた光変調素子１１２からの出力光を、ビームスプリッタ１７により分割する。一方の光ビームを前記第１の実施形態と同様に対象物１５に照明し、光検出器１３で対象物からの検出信号を取得する。他方の光ビームは、光検出器１３の空間分解能よりも高い空間分解能を有する検出器を用いて、対象物１５に照射せずに検出する。なお、ビームスプリッタ１７により分割され、対象物１５に照射せずに検出器１８で検出された光を以下では「参照光」と称し、検出器１８を参照光検出器１８と称する。

参照光検出器１８の例として、照明パターンを空間分解するのに十分なピクセル数をもつ検出器であり、例えば、ＣＣＤイメージセンサやマルチピクセルフォトンカウンタ、複数個のアバランシェフォトダイオード、複数個の光電子増倍管を採用することができる。参照光検出器１８からの検出信号は検出信号がＡＤＣ１９により、アナログ信号からディジタル信号に変換される。

画像生成器１４は、光検出器１３の出力信号および参照光検出器１８からの出力信号を受信する。第１、第２、第３、第４の実施例では画像生成器１４への入力として、照明パターン生成器１２から出力された周期パターンが用いられていたが、その代わりにＡＤＣ１９からの出力信号を用いる。当該出力信号と光検出器１３の出力信号とを組み合わせることによって、第１、第２、第３、第４の実施例と同様に光検出器１３の空間分解能よりも高い空間分解能で対象物１５の特性を２次元の画像情報として算出する。

光送信部１１で発生する振動等のノイズにより、照明パターン生成器１２で作成した所望の２次元パターンと実際に光変調素子１１２で実際に変調される光ビームの２次元パターンとに乖離がある。信号情報として光変調素子１１２に送信したものを直接画像生成処理に用いた第１、第２、第３、第４の実施例では、このような乖離は検知されない。一方で、本実施形態は光変調素子１１２からの出力を参照光信号として実際に取得するため、光送信部１１でのノイズに対する耐性を高めることが可能である。さらに、本実施形態と第１、第２、第３、第４の実施形態とを組み合わせ、照明パターン生成器１２とＡＤＣ１９からの出力をどちらも取得し、その差分から光送信部１１でのノイズに対する耐性をさらに高めることも可能となる。

図１４は本発明の第６の実施形態である物体撮像装置３１の全体構成を示す概略図である。なお本図において図１に示す実施形態と同じ構成要素には同じ番号を付している。説明をわかりやすくするため、光路を太い実線の矢印、電気信号の経路を細い実線の矢印で示している。

本実施形態では、第１の実施形態では対象物１５からの透過光、反射光、または散乱光を実効的なピクセル数が１桁程度とみなせる光検出器１３によって受光していたが、その代わりに当該の透過光、反射光、または散乱光を波長あるいは周波数ごとにスペクトル分解可能とする分光器２０を配置する。分光器２０としては、プリズムや回折格子などを用いた分散型分光器でもよく、干渉計を用いた干渉分光器でもよい。分光器２０によりスペクトル分解された光は、第１の実施形態同様に実効的なピクセル数が１桁程度とみなせる光検出器によって検出してもよい。あるいは、図１４における光検出器２３のように、ＣＣＤイメージセンサ等の多ピクセル検出器を用いて、同時に全スペクトル強度を取得することも可能である。

本実施形態により、２次元画像情報に加えて、波長または周波数のスペクトル情報も同時に取得することが可能である。あるいは、分光器２０としてモノクロメーターを使用し、照明光の波長とは異なる波長成分を除去し、外光や環境光の影響を低減することも可能である。その際、モノクロメーター以外にも、所望の波長を透過あるいは反射する光学フィルタを用いて、所望の波長成分のみを分離することも可能である。なお、分光器２０として、連続的なスペクトル情報が得られる分散型分光器や干渉型分光器を例として挙げたが、赤色光と緑色光と青色光の３色に分離する１組のダイクロイックミラーを用い、各色の光強度をそれぞれ実効的なピクセル数が１桁程度とみなせる光検出器によって検出してもよい。得られた３色の画像情報を組み合わせて、カラー画像を得ることが可能となる。

図１５は本発明の第７の実施形態である物体撮像装置４１の全体構成を示す概略図である。なお本図において図１に示す実施形態と同じ構成要素には同じ番号を付している。説明をわかりやすくするため、光路を太い実線の矢印、電気信号の経路を細い実線の矢印で示している。

本実施形態では、画像生成器１４において光検出器１３で取得した検出信号を解析し、その出力信号を照明パターン生成器１２にフィードバックを行う。例えば、対象物１５を連続して撮像するときに、画像の構築においてほとんど寄与していない周波数成分がある場合、その情報を照明パターン生成器１２にフィードバックし、その周波数成分に対応する２次元パターンの照明時間を選択的に短縮する。

新しい照明時間をｆ’(ｋ，ｌ)とすると、照明時間を選択的に短縮したことにより、ＡＤＣ１４１から出力されるディジタル信号はg（ｋ，ｌ）×ｆ’（ｋ，ｌ）に比例し、所望のフィルタリング関数とは異なる。しかし、画像生成器１４での演算処理を式（９）とし、２次元逆離散コサイン変換の重みづけにｆ（ｋ，ｌ）／ｆ’（ｋ，ｌ）を乗じることにより、所望のフィルタリング処理を行うことができる。

。なお、フィルタリングを行わない対象物１５の画像を直接取得したい場合にもｆ（ｋ，ｌ）＝１とすることにより本実施形態は適用可能である。

本実施形態は、第1の実施形態に比べて、不要な２次元パターンの照明時間を減らした分、測定時間をさらに短縮することが可能である。他のフィードバック例として、強調したい周波数成分がある場合に、対応する２次元パターンの照明時間を長くすることによって、相対的に検出ディジタル信号g（ｋ，ｌ）×ｆ’（ｋ，ｌ）に重畳するノイズの割合を下げることも可能である。さらに、フィードバックを行うときに、機械学習のアルゴリズムを適用することによって、対象物１５の特徴量を得るのに必要な信号のみを取得し、不要な情報を排除することも可能となり、測定時間のさらなる短縮につながる。

本実施形態ではフィルタリング関数ｆ（ｋ，ｌ）を照明時間δｔ（ｋ，ｌ）における変動として取り入れる代わりに、光送信部１１において光源１１１と光変調素子１１２の間、あるいは光変調素子と対象物１５の間に、照明光の総光量を調整する光学フィルタを挿入する。当該のフィルタの透過率は第二演算部１２２からの情報信号により制御できるものとし、対象物に照明される２次元パターンの空間周波数（ｋ，ｌ）に応じて、その照射積分強度が変動する。検出されるディジタル信号は第１の実施形態と同様に、g（ｋ，ｌ）×ｆ（ｋ，ｌ）に比例するため、第１、第２、第３、第４、第５の実施形態で示したのと同様の演算処理で所望のフィルタリング処理を行った画像を再構築することが可能となる。

１パターンあたりの照明光の総光量を下げることができるので、より弱い強度で対象物１５を照明し、照明光による対象物１５の損傷を避けることが可能である。例えば、高強度の光照射を避けるべき対象物１５の例として、感光性材料や生体サンプル、食品、薬品などがあげられる。なお、光学フィルタによる光量の制御を例として挙げたが、その代わりに光源１１１の出力を電気的に制御することも可能である。電気的に光量を制御することにより、光源１１１の消費電力を下げたり、フィラメント劣化などの光源における負荷を減らすことにより光源の寿命を延ばしたりすることも可能である。

第１の実施形態では光送信部からの照明光の照明時間、第８の実施形態では当該の照明光の総光量を制御することによってフィルタリング関数を導入したが、その代わりに本実施形態では光検出器１３と画像生成器１４の間に、増幅回路を構成することにより、ｆ（ｋ，ｌ）に比例した増幅率で電気的に検出信号を増幅し、画像生成器１４においてg（ｋ，ｌ）×ｆ（ｋ，ｌ）に比例したディジタル信号を得る。得られたディジタル信号から所望のフィルタリング処理を行った画像を得るための、画像生成器１４における演算処理は第１、第２、第３、第４、第５の実施形態で示した処理方法と同様である。

本実施形態では、光送信部１１に２次元パターンの照明時間に変動を与える制御機構や総光量を制御する光学フィルタあるいは光源出力調整の機構を与えなくて済むため、光送信部１１の構成を単純化できる。一方で、増幅回路は比較的単純に構成することが可能なので、物体撮像装置全体のメカレス化、コストダウンをすることが可能である。なお、本実施形態では光検出器１３から出力されたアナログ信号を増幅回路によって増幅する例を挙げたが、画像生成器１４内部のＡＤＣ１４１から出力されたディジタル信号をソフトウェア的に増幅することも可能である。

図１６は本発明の第１０の実施形態である物体撮像装置５１の全体構成を示す概略図である。なお本図において図１に示す実施形態と同じ構成要素には同じ番号を付している。説明をわかりやすくするため、光路を太い実線の矢印、電気信号の経路を細い実線の矢印で示している。

本実施形態では、第１の実施形態において、さらに照明時間に周期的な時間変動を加える第三演算部１２３を加えた。この時間変動の周期は第二演算部１２２から出力される照明時間に比べて十分短いものとする。第三演算部１２３の周期的時間変動と第二演算部１２２からの照明時間とを乗算処理し、その出力信号を光変調素子１１２に入力する。光変調素子１１２から、２次元パターンの照明光が高周波に時間変調されて出力される。

光検出器１３からの出力信号をロックイン増幅器２４に入力し、当該のロックイン増幅器２４に演算部１２３から周期的な時間変動を特徴づける時間周波数を参照信号として入力する。ロックイン増幅器２４では、光検出器１３からの出力信号のうち、この時間周波数と同期した時間周波数成分のみを出力し、画像生成器１４に入力する。

なお、光変調素子１１２への入力信号として、第三演算部１２３の周期時間変動と第二演算部１２２からの照明時間とを乗算した信号を用いたが、第１の実施形態と同様に第二演算部１２２からの照明時間のみを入力し、周期的な時間変動を別の変調素子を用いて照明光に与えることも可能である。当該の変調素子は光源１１１と光変調素子１１２の間、あるいは光変調素子１１２と対象物１５の間に配置される。変調素子の例として、光チョッパや音響光学変調器などがあげられる。

本実施形態のように、光検出器１３からの出力信号をロックイン検出することにより、外光などの光ノイズや、光検出器１３からの電気ノイズを大幅に低減することが可能である。

以上述べた各実施例は、本発明を分かりやすく説明するためのものであり、本発明の範囲を限定するものではない。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD（Solid State Drive）等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。

１、２１、３１、４１、５１…物体撮像装置
１１…光送信部
１２…照明パターン生成器
１３、２３…光検出器
１４…画像生成器
１５…対象物
１７…ビームスプリッタ
１８…参照光検出器
１９、１４１…アナログディジタル変換部
２０…分光器
２１１、２２１…照明パターン
１１１…光源
１１２…光変調素子
１２１…第一演算部
１２２…第二演算部
１２３…第三演算部
１４２…計算機
１４３、１４４…メモリ

Claims (12)

1. 複数の照明パターンを対象物に照射し、得られた複数の画像情報から前記対象物の画像の特性を画像生成器で算出する撮像装置において、
   対象物に向けて光ビームを発射する光源と、
   前記照明パターンの空間変動を示す情報信号と、前記空間変動を示す情報信号に基づいており、前記照明パターンの所定のパラメータの変動を示す情報信号と、を生成し、光変調部に出力する照明パターン生成器と、
   前記光源からの光ビームを、前記照明パターン生成器からの前記空間変動を示す情報信号と前記所定のパラメータの変動を示す情報信号に基づき変調し、前記対象物に照射する照明パターンを生成する光変調部と、
   前記対象物からの光の光量を一以上の受光面で検出し、検出光量に関する情報信号を出力する光検出器とを備え、
   前記照明パターン生成器は、前記画像生成器に前記空間変動を示す情報信号を出力し、
   前記画像生成器は、前記空間変動を示す情報信号と、前記検出光量に関する情報信号に基づいて前記対象物の特性に対してフィルタリング処理を行う、
   撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記所定のパラメータに基づく変動を示す情報信号とは、時間変動を示す情報信号であり、
   前記光変調部は、前記光ビームを前記対象物に照明する時間を照明パターンごとに変動させることを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   前記照明パターン生成器は、複数の照明パターンのそれぞれを逐次生成し、
   前記光変調部は、前記生成されたそれぞれの照明パターンを、前記対象物に逐次照明し、
   前記画像生成器は、前記光検出器から前記検出光量に関する情報信号を受信するごとに、前記対象物の画像の特性を算出処理する撮像装置。
4. 請求項１に記載の物体撮像装置において
   前記画像生成器は、すべての照明パターンに関する前記所定のパラメータの変動を示す情報信号と、すべての照明パターンに対する前記検出光量に関する情報信号と、を格納する記憶装置を備え、
   前記画像生成器は、前記記憶装置に格納されたすべての照明パターンに関する前記所定のパラメータの変動を示す情報信号とすべての画素に対する前記検出光量に関する情報信号から前記対象物の画像の特性を算出処理する
   撮像装置。
5. 請求項４記載の撮像装置において
   前記画像生成器は、前記フィルタリング処理を高速フーリエ変換のアルゴリズムで実施し、
   前記照明パターン生成器は、高速フーリエ変換におけるビット反転演算処理を行う順序で前記空間変動を示す情報信号を光変調部に出力し、
   前記記憶装置は、前記高速フーリエ変換におけるビット反転演算処理を行う順序で前記光検出器から出力される前記所定のパラメータの変動を示す情報信号を格納する、
   ことを特徴とする撮像装置。
6. 請求項１に記載の撮像装置であって、
   前記画像生成器は、前記算出した前記対象物の画像特性を含む情報信号を前記照明パターン生成器に出力し、
   前記照明パターン生成器は、前記画像特性を含む情報信号に基づいて前記対象物に照射した照明パターンを分類し、前記分類した照明パターンに基づいて前記所定のパラメータの変動を示す情報信号を再生成する
   ことを特徴とする撮像装置。
7. 請求項１乃至６のいずれか一項に記載の撮像装置において、
   前記対象物と前記光検出器の間に前記対象物からの光を波長ごとに分光する分光器（２０）を備えたことを特徴とする撮像装置。
   
8. 請求項２に記載の撮像装置において、
   前記光検出器と前記画像生成器の間に配置されるロックイン増幅器をさらに備え、
   前記照明パターン生成器は、前記時間変動よりも速い周期的時間変動を与える周期的時間変動に関する情報信号を生成し、前記光変調部に出力し、
   前記光変調部は、前記周期的時間変動に関する情報信号と同期して前記光ビームの照明強度を変調し、
   前記ロックイン増幅器は、前記周期的時間変動に関する情報信号を参照信号、前記時間変動を示す情報信号を入力信号として受信し、前記時間変動を示す情報信号のうち、前記周期的時間変動に関する情報信号と同期した周波数成分信号のみを前記画像生成器に出力する、
   ことを特徴とする撮像装置。
9. 請求項１に記載の撮像装置であって、
   前記所定のパラメータに基づく変動を示す情報信号とは、前記対象物を照明する光量または前記検出器における増幅率を示す情報信号であり、
   前記光変調部は、前記光ビームを前記対象物を照明する光量または前記検出器における増幅率を照明パターンごとに変動させることを特徴とする撮像装置。
10. 複数の照明パターンを対象物に照射し、得られた複数の画像情報から前記対象物の投影面内の特性を画像生成器で算出する撮像装置において、
    対象物に向けて光ビームを発射する光源と、
    前記照明パターンの空間変動を示す情報信号と、前記空間変動を示す情報信号に基づいており、前記照明パターンの所定のパラメータの変動を示す情報信号と、を生成し、光変調部に出力する照明パターン生成器と、
    前記光源からの光ビームを、前記照明パターン生成器からの前記空間変動を示す情報信号と前記所定のパラメータの変動を示す情報信号に基づきを変調し、前記変調した光ビームを照明パターンとして対象物を照明する光変調部と、
    前記対象物からの光の光量を一以上の受光面で検出し、検出光量に関する情報信号を出力する光検出器と、
    前記光変調部からの光ビームを前記対象物を照明する第一の光ビームと、前記第一の光ビームとは異なる第二の光ビームに分割するビームスプリッタと
    ビームスプリッタで分割された前記第二の光ビームを空間分解受光し、二次元画像信号を取得する第二の光検出器と、を備え、
    前記画像生成器は、前記光検出器から出力された前記検出光量に関する情報信号と、前記第二の検出器から出力された前記二次元画像信号と、に基づき、前記対象物の特性に対してフィルタリング処理を行う、
    撮像装置。
11. 請求項１０に記載の撮像装置であって、
    前記所定のパラメータに基づく変動を示す情報信号とは、時間変動を示す情報信号であり、
    前記光変調部は、前記光ビームを前記対象物に照明する時間を照明パターンごとに変動させることを特徴とする撮像装置。
12. 請求項１０に記載の撮像装置であって、
    前記所定のパラメータに基づく変動を示す情報信号とは、前記対象物を照明する光量または前記検出器における増幅率を示す情報信号であり、
    前記光変調部は、前記光ビームを前記対象物を照明する光量または前記検出器における増幅率を照明パターンごとに変動させることを特徴とする撮像装置。

Images