JP2019128318A - レンズ装置、撮像装置、および画像処理装置 - Google Patents

Abstract

【課題】符号化撮像の際に、任意の位置に存在する物体に対してオートフォーカスを実現することが可能なレンズ装置を提供する。【解決手段】レンズ装置（１０１）は、フォーカスレンズ（１０１ｂ）と、符号化領域（１０１ｃ１）および非符号化領域（１０１ｃ２）を有する符号化素子（１０１ｃ）と、符号化素子を通過する光の光路の状態を制御する制御素子（１０１ｄ）とを有する。【選択図】図１

Description

本発明は、符号化撮像の際に任意の被写体にフォーカス可能な撮像装置に関する。

非特許文献１には、光学系の絞りに二次元のスパースかつランダムなＰＳＦを発生させる波面を形成するための回折格子を配置して、撮像を行う撮像装置が開示されている。特許文献１には、被写体からの光を符号化を行う光と符号化を行わない光に分岐させてそれぞれの光路において撮像を行い、取得した第１及び第２の撮像画像を用いてハイパースペクトル画像を復元する撮像装置が開示されている。

特開２０１６−９０５７６号公報

Ｄｉｅｇｏ Ｍａｒｃｏｓ Ｃｏｍｐｒｅｓｓｅｄ ｉｍａｇｉｎｇ ｂｙ ｓｐａｒｓｅ ｒａｎｄｏｍ ｃｏｎｖｏｌｕｔｉｏｎ Ｄｉｅｇｏ Ｍａｒｃｏｓ， ２５ Ｊａｎ ２０１６ ｜ Ｖｏｌ． ２４， Ｎｏ． ２ ｜ ＤＯＩ：１０．１３６４／ＯＥ．２４．００１２６９ ｜ ＯＰＴＩＣＳ ＥＸＰＲＥＳＳ １２６９ ＭＩＣＨＡＥＬ Ａ． ＧＯＬＵＢ Ｃｏｍｐｒｅｓｓｅｄ ｓｅｎｓｉｎｇ ｓｎａｐｓｈｏｔ ｓｐｅｃｔｒａｌ ｉｍａｇｉｎｇ ｂｙ ａ ｒｅｇｕｌａｒ ｄｉｇｉｔａｌ ｃａｍｅｒａ ｗｉｔｈ ａｎ ａｄｄｅｄ ｏｐｔｉｃａｌ ｄｉｆｆｕｓｅｒ Ｖｏｌ． ５５， Ｎｏ． ３ ／ Ｊａｎｕａｒｙ ２０ ２０１６ ／ Ａｐｐｌｉｅｄ Ｏｐｔｉｃｓ 田中利幸 圧縮センシングの数理 ＩＥＩＣＥ Ｆｕｎｄａｍｅｎｔａｌｓ Ｒｅｖｉｅｗ Ｖｏｌ．４ Ｎｏ．１ Ｊｏｓe Ｍ． Ｂｉｏｕｃａｓ−Ｄｉａｓ "Ａ Ｎｅｗ ＴｗＩＳＴ： Ｔｗｏ−Ｓｔｅｐ Ｉｔｅｒａｔｉｖｅ Ｓｈｒｉｎｋａｇｅ／Ｔｈｒｅｓｈｏｌｄｉｎｇ Ａｌｇｏｒｉｔｈｍｓ ｆｏｒ Ｉｍａｇｅ Ｒｅｓｔｏｒａｔｉｏｎ" ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ， ＶＯＬ． １６， ＮＯ． １２， ＤＥＣＥＭＢＥＲ ２００７

しかしながら、非特許文献１に開示された撮像装置では、物体面、レンズ、絞り、および、像面の関係が所謂４ｆ光学系にセットアップされている必要があり、任意の位置に存在する物体（被写体）に対して用いることは困難である。特許文献１に開示された撮像装置では、それぞれの光路における撮像は独立して行われるため、符号化撮像の際に、任意の位置に存在する被写体に対してオートフォーカスを実現することができない。

そこで本発明は、符号化撮像の際に、任意の位置に存在する被写体に対してオートフォーカスを実現することが可能なレンズ装置、撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することを目的とする。

本発明の一側面としてのレンズ装置は、フォーカスレンズと、符号化領域および非符号化領域を有する符号化素子と、前記符号化素子を通過する光の光路の状態を制御する光路制御素子とを有する。

本発明の他の側面としての撮像装置は、前記レンズ装置と、前記符号化領域を通過した光に基づく第１の画像データと、前記非符号化領域を通過した光に基づく第２の画像データとを取得する撮像素子とを有する。

本発明の他の側面としての画像処理装置は、符号化素子の符号化領域を通過した光に基づく符号化画像データを入力する入力部と、前記符号化画像データの撮影条件に基づいて、前記符号化素子の前記符号化領域を通過した前記光に対応する符号化ＰＳＦを取得する取得部と、前記符号化ＰＳＦを用いて前記符号化画像データから復元画像データを生成する復元部とを有する。

本発明の他の側面としての画像処理方法は、符号化素子を通過した光に基づく符号化画像データを入力するステップと、前記符号化画像データの撮影条件に基づいて、前記符号化素子を通過した前記光に対応する符号化ＰＳＦを取得するステップと、前記符号化ＰＳＦを用いて前記符号化画像データから復元画像データを生成するステップとを有する。

本発明の他の側面としての画像処理プログラムは、コンピュータに前記画像処理方法を実行させる。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、符号化撮像の際に、任意の位置に存在する被写体に対してオートフォーカスを実現することが可能なレンズ装置、撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

実施例１における撮像装置のブロック図である。 実施例１における光路制御素子の動作の説明図である。 実施例２における光路制御素子の動作（回転動作）の説明図である。 実施例２における光路制御素子の動作（挿抜動作）の説明図である。 実施例３における符号化素子の説明図である。 実施例３における光路制御素子の光の透過率の説明図である。 実施例３におけるＰＳＦの説明図である。 実施例３における符号化ＰＳＦの説明図である。 実施例４における画像処理方法のフローチャートである。 実施例４、５における観測行列の説明図である。 実施例４における画像処理方法の説明図である。 実施例５における画像処理方法のフローチャートである。 実施例５における画像処理方法の説明図である。 実施例５における顔の皮膚のスペクトル分布の推定結果の説明図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

スパース表現が可能なデータを物理的に符号化したセンシングデータから復元する圧縮センシングと呼ばれる手法が注目されている。圧縮センシングを用いたアプリケーションの例として、単画素カメラ、レンズレスイメージング、ハイパースペクトラルイメージングなどの様々な提案がなされている。圧縮センシングの利点の一つは観測されたデータよりも大きなデータを復元することが可能である点が挙げられる。

しかしながら、圧縮センシングで取得したデータは計算機で復元処理を実行するまで最終結果を得ることが出来ない。そして圧縮センシングのデータ復元処理は計算コストが大きい場合が多く、リアルタイム処理を行うことは困難である。すなわち、撮像時に取得した画像を見ることは困難である。従って、実際に取得した画像は、復元まで知ることができず、正確に調整されたセットアップ以外で使用することは難しい。このような課題を解決するための構成について、以下の各実施例において具体的に説明する。

まず、図１を参照して、本発明の実施例１における撮像装置について説明する。図１は、撮像装置１００のブロック図である。

撮像光学系１０１は、レンズ１０１ｅ、絞り１０１ａ、フォーカシングに際して移動するフォーカスレンズ１０１ｂ、符号化素子１０１ｃ、および、光路制御素子（制御素子）１０１ｄを有する。符号化素子１０１ｃは、符号化領域１０１ｃ１および非符号化領域１０１ｃ２を有する。本実施例において、符号化素子１０１ｃの符号化領域１０１ｃ１はランダム位相が付加された領域であり、非符号化領域１０１ｃ２はランダム位相が付加されていない領域である。ただし符号化素子１０１ｃは、これに限定されるものではなく、光の符号化（圧縮化）を実現することが可能な他の構成を採用してもよい。

なお本実施例において、撮像光学系１０１の各要素（絞り１０１ａ、フォーカスレンズ１０１ｂ、符号化素子１０１ｃ、および、光路制御素子１０１ｄ）の配置順序は、図１に示される配置に限定されるものではなく、各要素を異なる順に配置してもよい。また本実施例において、符号化素子１０１ｃは、撮像光学系１０１の瞳（入射瞳または射出瞳）を符号化することが可能な位置に配置される。好ましくは、符号化素子１０１ｃは、撮像光学系１０１の全ての像高（または画角）においてケラレが生じない（または、ケラレ量が所定量よりも小さい）位置に配置される。

光路制御素子１０１ｄは、フォーカシング時と撮像時とで、符号化素子１０１ｃを通過する光の光路の状態を変化させる（光路の状態を制御する）。具体的には、光路制御素子１０１ｄは、フォーカシングの際に、符号化素子１０１ｃの符号化領域１０１ｃ１を通過する光の光路を遮断（遮光）するように動作する。また光路制御素子１０１ｄは、撮影時において、符号化領域１０１ｃ１を通過する光の光路のみを開放し、非符号化領域１０１ｃ２を通過する光の光路を遮断（遮光）するように動作する。なお、光路制御素子１０１ｄの動作方法は、前述の動作方法に限定されるものではなく、符号化素子１０１ｃの符号化領域１０１ｃ１と非符号化領域１０１ｃ２と通過する光の光路の状態を制御することが可能でれば、他の動作方法を採用してもよい。撮像光学系制御部１０６は、光路制御素子１０１ｄを含む撮像光学系１０１の各要素を制御する。状態検知部１０７は、撮像光学系制御部１０６により得られた情報から撮像光学系１０１の状態を検知する。システムコントローラ（制御部）１１０は、画像処理部１０４、表示部１０５、撮像光学系制御部１０６、状態検知部１０７、および、画像記録媒体１０９を制御する。

画像処理部１０４は、入力部１０４ａ、取得部１０４ｂ、および、復元部１０４ｃを有する。入力部１０４ａは、符号化素子１０１ｃの符号化領域１０１ｃ１を通過した光に基づく符号化画像データ（第１の画像データ）を入力する。取得部１０４ｂは、符号化画像データの撮影条件に基づいて、符号化素子１０１ｃの符号化領域１０１ｃ１を通過した光に対応する符号化ＰＳＦを取得する。復元部１０４ｃｈ、符号化ＰＳＦを用いて符号化画像データから復元画像データを生成する。好ましくは、入力部１０４ａは、符号化素子１０１ｃの非符号化領域１０１ｃ２を通過した光に基づく非符号化画像データ（第２の画像データ）を更に入力する。取得部１０４ｂは、非符号化画像データの撮影条件に基づいて、符号化素子１０１ｃの非符号化領域１０１ｃ２を通過した光に対応する非符号化ＰＳＦを更に取得する。復元部１０４ｃは、符号化ＰＳＦと非符号化ＰＳＦとを用いて符号化画像データから復元画像データを生成する。より好ましくは、取得部１０４ｂは、符号化素子１０１ｃの非符号化領域１０１ｃ２を通過した光に基づいて合焦された撮像光学系１０１の状態に対応する撮影条件に基づいて、符号化ＰＳＦおよび非符号化ＰＳＦを取得する。

撮像光学系１０１を通過した光は、撮像素子１０２、Ａ／Ｄ変換部１０３、および、画像処理部１０４を経て、表示部１０５に表示され観察することができる。撮像装置１００は、位相差ＡＦやコントラストＡＦなどの公知のオートフォーカス機能を用いて、フォーカシング（焦点検出）を実行することができる。このためユーザは、表示部１０５を観察しながら所望の（任意の）対象物に対するフォーカシングを実現することが可能である。

本実施例において、撮像素子１０２には２回光学像（被写体像）を取得する機会がある。１度目はフォーカス時の鮮鋭な光学像であり、２度目は符号化された光学像である。すなわち撮像素子１０２は、後述のように、符号化領域１０１ｃ１を通過した光に基づく第１の画像データと非符号化領域１０１ｃ２を通過した光に基づく第２の画像データとを取得する。システムコントローラ１１０は、第２の画像データに基づいてフォーカス制御を行い、フォーカス位置を決定する。そして撮像素子１０２は、決定されたフォーカス位置で撮像された第１の画像データを取得する。これら２つの光学像（第１の画像データ、第２の画像データ）をそれぞれ画像として画像記録媒体１０９に記録することができ、または、符号化された光学像（第１の画像データ）のみを画像として画像記録媒体１０９に記録してもよい。また、いずれの記録方式を採用するかを、システムコントローラ１１０で記憶モードを設定することにより選択可能に構成してもよい。

符号化の特性を表す観測行列に関する情報は、予め記憶部１０８に記憶されている。元画像の復元処理（回復処理）は、システムコントローラ１１０からの指示に基づいて実行可能である。システムコントローラ１１０が画像処理部１０４に復元処理の実行を命令すると、画像処理部１０４は、撮像時の条件（撮影条件）に合致する観測行列を記憶部１０８から取得し、符号化画像から元画像を復元する。ここで撮影時の条件とは、オートフォーカス時のフォーカス位置（フォーカスが合っている被写体の位置）などである。また、符号化画像、元画像、観測行列、および、ノイズをそれぞれｙ、Ａ、ｘ、ｎとすると、符号化撮像は以下の式（１）としてモデル化することができる。

ここで、符号化画像から元画像を復元するとは、式（１）より観測行列ｘを推定する処理を実行することである。なお、符号化画像ｙおよび元画像Ａは既知であるとする。また、符号化画像とともにフォーカス時の鮮鋭な画像を用いて復元処理を行ってもよい。画像処理部１０４は、観測行列ｘを推定し、復元された元画像を画像記録媒体１０９に記録する。なお、画像の復元処理は、画像処理部１０４で実行される場合に限定されるものではなく、撮像装置１００の外部のコンピュータ等で実行してもよい。

次に、本発明の実施例２について説明する。図２は本実施例における撮像装置１００の動作の説明図であり、図２（ａ）はフォーカス時、図２（ｂ）は撮像時における撮像装置１００の動作を示している。

図２（ａ）に示されるように、フォーカシングの際に、光路制御素子１０１ｄは、符号化素子１０１ｃの符号化領域１０１ｃ１を遮光し、符号化素子１０１ｃの非符号化領域１０１ｃ２を開放するように移動する。符号化素子１０１ｃは、光学系（撮像光学系１０１）の瞳を制御する。このため符号化素子１０１ｃは、撮像光学系１０１の絞り１０１ａの近傍に配置されることが好ましい。本実施例の撮像光学系１０１として、低収差かつ全ての像高で瞳のケラレが小さい光学系が用いられる。本実施例の撮像装置１００は、共軸光学系としての撮像光学系１０１の瞳を半分に分割し、非符号化領域１０１ｃ２の瞳を通過する光に基づいてフォーカシングを行う。そして撮像装置１００は、フォーカス位置を固定して符号化領域１０１ｃ１の瞳を通過する光を用いて撮像（符号化撮像）を行う。従って、撮像光学系１０１の観測行列を、撮像光学系１０１の設計値に基づいて予め正確に算出しておくことにより、様々な撮影条件に対して高速に元画像の復元処理が可能となる。

図３は本実施例の光路制御素子１０１ｄの動作（回転動作）の説明図であり、図３（ａ）はフォーカス時、図３（ｂ）は光路制御素子１０１ｄの回転時、図３（ｃ）は撮像時のそれぞれにおける光路制御素子１０１ｄの動作を示している。本実施例において、光路制御素子１０１ｄは、例えば光軸ＯＡを中心として回転する遮光板（遮光マスク）である。

図３（ａ）に示されるように、光路制御素子１０１ｄ（すなわち、回転可能な遮光板）は、初期状態において、符号化領域１０１ｃ１を通過する光を遮光するように、符号化領域１０１ｃ１の前面（または後面）に位置している。図３（ｂ）に示されるように、撮像装置１００がオートフォーカスを開始すると、光路制御素子１０１ｄ（遮光板）は、光軸ＯＡを中心として回転を開始する。図３（ｃ）に示されるように、オートフォーカスの実行後にフォーカスレンズ１０１ｂが停止すると、光路制御素子１０１ｄ（遮光板）は、図３（ａ）の状態から半回転した位置で停止する。このとき光路制御素子１０１ｄは、非符号化領域１０１ｃ２を通過する光を遮光するように、非符号化領域１０１ｃ２の前面（または後面）に位置している。光路制御素子１０１ｄが停止して固定されると、撮像装置１００は符号化された光学像（符号化画像）を撮像する。撮像後、光路制御素子１０１ｄが半回転して、図３（ａ）に示される初期状態に戻る。

図４は本実施例の変形例としての光路制御素子１０１ｄの動作（挿抜動作）の説明図であり、図４（ａ）はフォーカス時、図４（ｂ）は光路制御素子１０１ｄの移動時、図４（ｃ）は撮像時のそれぞれにおける光路制御素子１０１ｄの動作を示している。本変形例において、光路制御素子１０１ｄは、光軸ＯＡと垂直な方向に移動する遮光板（遮光マスク）である。

図４（ａ）に示されるように、光路制御素子１０１ｄ（すなわち、移動可能な遮光板）は、初期状態において、符号化領域１０１ｃ１を通過する光を遮光するように、符号化領域１０１ｃ１の前面（または後面）に位置している。図４（ｂ）に示されるように、撮像装置１００がオートフォーカスを開始すると、光路制御素子１０１ｄ（遮光板）は、光軸ＯＡと垂直な方向に移動を開始する。図４（ｃ）に示されるように、オートフォーカスの実行後にフォーカスレンズ１０１ｂが停止すると、光路制御素子１０１ｄ（遮光板）は、非符号化領域１０１ｃ２の前面（または後面）で停止する。このとき光路制御素子１０１ｄは、非符号化領域１０１ｃ２を通過する光を遮光するように、非符号化領域１０１ｃ２の前面（または後面）に位置している。光路制御素子１０１ｄが停止して固定されると、撮像装置１００は符号化された光学像（符号化画像）を撮像する。撮像後、光路制御素子１０１ｄが逆方向に移動して、図４（ａ）に示される初期状態に戻る。

このように本実施例において、光路制御素子１０１ｄは、光軸ＯＡを中心として回転可能な遮光板や、光軸ＯＡと垂直な方向に移動可能な遮光板であるが、これらに限定されるものではない。光路制御素子１０１ｄは、例えば、偏光板と液晶素子とを用いたシャッタなどの電気的な制御で遮光可能な素子であってもよく、領域ごとに光の透過および遮断を制御可能な様々な構成で実現することができる。

次に、本発明の実施例３について説明する。本実施例において、符号化素子１０１ｃとして、光の位相を変調する符号化領域１０１ｃ１を有する位相素子（位相変調素子）が用いられる。符号化素子１０１ｃを用いて撮像光学系１０１の瞳面に対して（瞳座標において）ランダムな位相を与えることにより、波長の変化に応じて変化する点像分布関数（ＰＳＦ）を発生させることができる。このような位相変調素子（符号化素子１０１ｃ）は、例えば、瞳面（瞳座標）において高さ方向がランダムな回折格子（ランダム回折格子）で実現可能である。ランダム回折格子を用いることにより、圧縮センシングによるハイパースペクトラルイメージングが可能となる。一例として、非特許文献２が挙げられる。非特許文献２の方法によれば、特定の位置に配置された物体のスナップショットスペクトラルイメージングが可能である。しかしながら、非特許文献２の方法では、所定のセットアップから物体の位置がずれると、復元画像に大きくアーティファクトが発生してしまう。

図５は、本実施例における符号化素子１０１ｃの説明図である。図５（ａ）は、符号化領域１０１ｃ１にランダム位相を与えるランダム回折格子（符号化素子１０１ｃ）である。なお非符号化領域１０１ｃ２には、ランダム位相が与えられない（フラットな位相が与えられる）。図５（ａ）は、光軸方向から見たランダム回折格子を示しており、図５（ａ）中の値は格子の高さ（格子高さ）をマイクロメートル単位で記したものである。格子高さは、材料と分光しようとする波長帯域とに基づいて決定される。すなわち、分光しようとするスペクトル分布の波長帯域中の最長波長で２πの位相変調をかけることができるように、格子高さが決定される。例えば空気中（ｎ＝１）で使用する場合、格子高さは、以下の式（２）を満足するように設定される。

式（２）において、ｈ，λ，ｎ_λはそれぞれ最大格子高さ、最長波長、最長波長における屈折率である。例えばλ＝７７０ｎｍ、ｎ_λ＝１．５とすると、ｈ＝１．５４μｍとなる。格子ピッチは均等でも不均等でもよいが、撮像光学系１０１のＦ値（絞り値）に応じて決定されることが好ましい。具体的には、Ｆ値が大きくなるにつれて格子ピッチも大きくすればよい。また、図５に示される回折格子に対して、基板などで一律に高さのオフセットを付加してもよい。

本実施例の符号化素子１０１ｃでは、Ｆ３．０の瞳を半分に分割して符号化領域１０１ｃ１とし、符号化領域１０１ｃ１を９１分割している。実際の光学系（撮像光学系１０１）の絞り１０１ａの大きさは、Ｆ値が同じでも様々であるため、本実施例ではＦ値を基準として記載する。図５（ｂ）は、ランダム回折格子の形状を３次元で示している。瞳の半分にのみ回折格子が設けられている。このようなランダム回折格子は、石英、ガラス、または、樹脂などで作成することができる。

図６は、図５に示される符号化素子（ランダム回折格子）１０１ｃに対する光路制御素子（遮光板）１０１ｄの光の透過率である。図６（ａ）はフォーカス時（ＡＦ時）の透過率、図６（ｂ）は撮像時の透過率をそれぞれ示している。図６（ａ）に示されるように、フォーカス時において、符号化素子１０１ｃの符号化領域１０１ｃ１の透過率は低く（黒色）、非符号化領域１０１ｃ２の透過率は高い（白色）。一方、図６（ｂ）に示されるように、撮像時において、符号化領域１０１ｃ１の透過率は高く（白色）、非符号化領域１０１ｃ２の透過率は低い（黒色）。

図７は、コンピュータシミュレーションで計算した撮像時の符号化されたＰＳＦである。個々のＰＳＦはそれぞれ波長４００〜８００ｎｍを３１分割して得られている。図７（ａ）は非符号化領域１０１ｃ２のみを通過した光の非符号化ＰＳＦ、図７（ｂ）は符号化領域１０１ｃ１のみを通過した光の符号化ＰＳＦをそれぞれ示している。

図８は、図７（ｂ）に示される符号化ＰＳＦから取り出された所定の波長のＰＳＦである。図８に示されるように、各波長におけるＰＳＦの空間分布の相互相関が低くなるように符号化されている。この相関が後の復元処理の波長分解能を決定する要因となるため、図８のＰＳＦのスパイク形状を取得することが可能な画素ピッチの撮像素子１０２を用いる必要がある。本実施例において、撮像素子１０２の画素ピッチは３．５μｍである。

本実施例では、符号化素子１０１ｃとして位相変調素子を一例に挙げているが、光の振幅を変調する符号化領域１０１ｃ１を有する振幅変調素子を用いることも可能である。振幅変調素子の符号化領域１０１ｃ１は、光の波長に応じて、撮像光学系１０１の瞳面（瞳座標）においてランダムな振幅透過率を与える。また、位相差ＡＦを使用する領域のみが非符号化領域１０１ｃ２であるように構成された符号化素子１０１ｃを用いてもよい。なお、本実施例におけるパラメータは一例に過ぎず、本発明を限定するものではない。

次に、本発明の実施例４について説明する。まず、図９を参照して、本実施例における画像処理方法について説明する。図９は、画像処理方法のフローチャートである。図９の各ステップは、主に、システムコントローラ１１０の指令に基づいて、画像処理部（画像処理装置）１０４の各部により実行される。なお本実施例の画像処理装置は、撮像装置１００とは異なる外部装置（ＰＣなどのコンピュータ）であってもよい。本実施例は、例えば、画像処理部１０４が記憶部１０８に記憶された画像処理プログラムに従って実現可能である。

まず、ステップＳ１１において、画像処理装置（入力部１０４ａ）は、符号化画像を入力（取得）する。符号化画像には、ヘッダー情報として、画像撮像時の種々の撮影条件を保持しておくことが可能である。本実施例では、撮影条件として、撮像光学系１０１を認識可能なレンズＩＤ、撮影時にフォーカスを合わせた物体距離、撮像光学系１０１の状態であるＦ値、符号化素子１０１ｃの素子ＩＤ、および、撮像素子１０２の情報である画素ピッチ等に関する情報を含む。ただし、これらに限定されるものではない。なお、撮影時にフォーカスを合わせた物体距離は、例えば、撮像光学系１０１のフォーカスレンズ１０１ｂの位置から算出可能である。

続いてステップＳ１２において、画像処理装置（取得部１０４ｂ）は、符号化ＰＳＦを取得する。符号化ＰＳＦは予め準備して記憶部１０８などのメモリに保持してことが好ましい。符号化ＰＳＦを準備する方法は、主に２つある。第１の方法は、符号化ＰＳＦを実際に計測する方法である。特に、実際に使用する符号化素子１０１ｃを含む撮像光学系１０１および撮像素子１０２の状態に適した符号化ＰＳＦを計測してデータ化する。これは、撮像光学系１０１の光学特性が不明な場合に有効な手法である。第２の方法は、設計値から符号化ＰＳＦを計算により求める方法である。これは、符号化素子１０１ｃを含む撮像光学系１０１および撮像素子１０２の設計値が入手可能である場合に有効な方法である。この場合、予め様々なパラメータ（前述のレンズＩＤ、物体距離、Ｆ値、素子ＩＤ、および、画素ピッチ等のパラメータ）の複数の組み合わせについて符号化ＰＳＦを算出しておくことができる。

続いてステップＳ１３において、画像処理装置（復元部１０４ｃ）は、復号化画像からスペクトルキューブを復元する。符号化画像からスペクトルキューブを復元するには、符号化画像が撮影された際の撮影条件に合致する符号化ＰＳＦを用いる必要がある。従って、予め準備された符号化ＰＳＦは、撮影条件と関連付けられている。画像処理装置（取得部１０４ｂ）は、符号化画像のヘッダー情報に格納されている撮影条件と、符号化ＰＳＦに関連付けされた撮影条件とが合致するように、符号化ＰＳＦを取得する。符号化画像、符号化ＰＳＦ、および、スペクトルキューブは、以下の式（３）で表されるような線形の行列演算で記述することができる。

式（３）において、ｙ_ｃ、Ａ_ｃ、ｘはそれぞれ、符号化画像、符号化ＰＳＦによる観測行列、および、スペクトルキューブである。本実施例では、圧縮センシングを用いてスペクトルキューブｘを復元する。圧縮センシングは、データのスパース性を仮定することで、不良設定問題に対して良好な解得るセンシング方法および復元アルゴリズムである。圧縮センシングの理論は、非特許文献３に開示されている。

図１０は、本実施例における観測行列の説明図である。図１０（ａ）は、符号化素子１０１ｃの非符号化領域１０１ｃ２を透過したＰＳＦを行列形式で示したものであり、図１０（ｂ）は符号化素子１０１ｃの符号化領域１０１ｃ１を透過したＰＳＦを行列形式で示したものである。すなわち、図１０（ａ）は前述の撮影時にフォーカスを合わせた際の観測行列、図１０（ｂ）は撮像装置１００がフォーカス時の撮影条件を保ちながら光路制御素子１０１ｄを動作させて符号化素子１０１ｃの符号化領域１０１ｃ１を開放した際の観測行列である。また図１０（ｂ）は、本実施例のスペクトルキューブ復元に用いられる符号化ＰＳＦによる観測行列に相当する。

データのスパース性とは、適当な基底を表すΦを用いてｘがｋ−スパースな要素を持つｓ（ｓの非０要素数がｋ個であるベクトル）から生成できると仮定することであり、例えばフーリエ変換行列やウェーブレット変換行列である。これらを使用すると、復元対象のスペクトルキューブをスパースに変換することが可能であると想定される。このとき、式（３）を変形して以下の式（４）、（５）を導出することができる。

式（４）に対してｓのＬ０ノルム最小解を得ることができれば、スパース解としては最良の解である。しかしながら、一般的に、Ｌ０ノルム最小解はＮＰ困難な離散最適化問題である。ところが実際には、Ｌ０ノルム最小化問題をＬ１ノルム最小化問題に緩和してもｓのスパース解を得ることが可能であると知られている。本実施例では、以下の式（６）で表されるように、ｓを求めるｌａｓｓｏと呼ばれる回帰問題に帰着してＬ１ノルム最小化問題を解く。

式（６）で求められたｓを式（５）に代入することで、スペクトルキューブｘが得られる。なお、Ｌａｓｓｏを高速に解く最適化アルゴリズムは、非特許文献４に開示されている。

図１１は、本実施例における画像処理方法の説明図であり、撮像処理に関する部分と画像処理に関する部分とを具体的に示している。本実施例で説明した内容は、図１１中の画像処理に関する部分に相当する。なお、本実施例における画像処理方法は、ＰＣ上で動作するソフトウエアまたはプログラムとして実行されることができ、または、撮像装置１００に組み込まれた画像処理エンジンの中で実行されるハードウエアとして実装されてもよい。

次に、本発明の実施例５について説明する。本実施例では、符号化画像に加えて非符号化画像を用いることにより、復元画像の品質を空間および波長に関して向上させることができる。

まず、図１２を参照して、本実施例における画像処理方法について説明する。図１２は、画像処理方法のフローチャートである。図１２の各ステップは、主に、システムコントローラ１１０の指令に基づいて、画像処理部（画像処理装置）１０４の各部により実行される。なお本実施例の画像処理装置は、撮像装置１００とは異なる外部装置（ＰＣなどのコンピュータ）であってもよい。本実施例は、例えば、画像処理部１０４が記憶部１０８に記憶された画像処理プログラムに従って実現可能である。

まず、ステップＳ２１において、画像処理装置（入力部１０４ａ）は、符号化画像および非符号化画像を入力（取得）する。符号化画像および非符号化画像には、ヘッダー情報として、画像撮像時の種々の撮影条件を保持しておくことが可能である。本実施例では、撮影条件として、撮像光学系１０１を認識可能なレンズＩＤ、撮影時にフォーカスを合わせた物体距離、撮像光学系１０１の状態であるＦ値、符号化素子１０１ｃの素子ＩＤ、および、撮像素子１０２の情報である画素ピッチ等に関する情報を含む。ただし、これらに限定されるものではない。なお、符号化画像および非符号化画像の撮影条件に関する情報は、個々の画像にヘッダー情報として付加してもよいし、または、まとめて一つのヘッダー情報としてもよい。

続いてステップＳ２２において、画像処理装置（取得部１０４ｂ）は、符号化ＰＳＦおよび非符号化ＰＳＦを取得する。符号化ＰＳＦおよび非符号化ＰＳＦは予め準備して記憶部１０８などのメモリに保持してことが好ましい。符号化ＰＳＦおよび非符号化ＰＳＦを準備する方法は、主に２つある。第１の方法は、符号化ＰＳＦを実際に計測する方法である。特に、実際に使用する符号化素子１０１ｃを含む撮像光学系１０１および撮像素子１０２の状態に適した符号化ＰＳＦおよび非符号化ＰＳＦを計測してデータ化する。これは、撮像光学系１０１の光学特性が不明な場合に有効な手法である。第２の方法は、設計値から符号化ＰＳＦおよび非符号化ＰＳＦを計算により求める方法である。これは、符号化素子１０１ｃを含む撮像光学系１０１および撮像素子１０２の設計値が入手可能である場合に有効な方法である。この場合、予め様々なパラメータ（前述のレンズＩＤ、物体距離、Ｆ値、素子ＩＤ、および、画素ピッチ等のパラメータ）の複数の組み合わせについて符号化ＰＳＦおよび非符号化ＰＳＦを算出しておくことができる。

続いてステップＳ２３において、画像処理装置（復元部１０４ｃ）は、符号化画像および非符号化画像からスペクトルキューブを復元する。符号化画像および非符号化画像からスペクトルキューブを復元するには、符号化画像および非符号化画像が撮影された際の撮影条件に合致する符号化ＰＳＦおよび非符号化ＰＳＦを用いる必要がある。従って、予め準備された符号化ＰＳＦおよび非符号化ＰＳＦは、撮影条件と関連付けられている。画像処理装置（取得部１０４ｂ）は、符号化画像および非符号化画像のヘッダー情報に格納されている撮影条件と、符号化ＰＳＦおよび非符号化ＰＳＦに関連付けされた撮影条件とが合致するように、符号化ＰＳＦおよび非符号化ＰＳＦを取得する。符号化画像、非符号化画像、符号化ＰＳＦ、非符号化ＰＳＦ、および、スペクトルキューブは、以下の式（７）〜（９）で表されるような線形の行列演算で記述することができる。

式（７）〜（９）において、ｙ_ｎｃ、Ａ_ｎｃ、ｘはそれぞれ、符号化画像（ｙ_ｃ）と非符号化画像（ｙ_ｎ）を部分行列にもつ画像行列、符号化ＰＳＦ（Ａ_ｃ）と非符号化ＰＳＦ（Ａ_ｎ）を部分行列にもつ観測行列、および、スペクトルキューブである。

本実施例のスペクトルキューブｘの復元に用いられる非符号化ＰＳＦによる観測行列Ａ_ｎの一例は図１０（ａ）に相当し、符号化ＰＳＦによる観測行列Ａ_ｃの一例は図１０（ｂ）に相当する。本実施例では、これらの観測行列Ａ_ｎ、Ａ_ｃを式（９）のように部分行列として用い、観測行列Ａ_ｎｃを生成することができる。

本実施例では、実施例４で説明したデータのスパース性に基づき、式（７）〜（９）を変形して以下の式（１０）、（１１）を導出することができる。

本実施例では、以下の式（１２）で表されるｓを求め、式（１１）に代入することにより、スペクトルキューブｘを得ることができる。

図１３は、本実施例における画像処理方法の説明図であり、撮像処理に関する部分と画像処理に関する部分とを具体的に示している。本実施例で説明した内容は、図１３中の画像処理に関する部分に相当する。なお、本実施例における画像処理方法は、ＰＣ上で動作するソフトウエアまたはプログラムとして実行されることができ、または、撮像装置１００に組み込まれた画像処理エンジンの中で実行されるハードウエアとして実装されてもよい。

図１４は、顔の頬近辺の皮膚のスペクトル分布の推定結果の説明図であり、顔の頬近辺の皮膚のスペクトルを復元した例を示している。図１４において、横軸は波長（ｎｍ）、縦軸はスペクトル値をそれぞれ示している。推定データのラインは、本実施例の符号化素子１０１ｃおよび前述の式（１２）を用いて復元したスペクトルキューブｘから、顔の頬近辺の画素位置のスペクトルを波長方向にプロットしたデータである。測定データのラインは、実際に分光計測により測定されたデータである。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、符号化撮像の際に、任意の位置に存在する被写体（物体）に対してオートフォーカスを実現することが可能なレンズ装置、撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０１ 撮像光学系（レンズ装置）
１０１ｂ フォーカスレンズ
１０１ｃ 符号化素子
１０１ｄ 光路制御素子

Claims (20)

1. フォーカシングに際して移動するフォーカスレンズと、
   符号化領域および非符号化領域を有する符号化素子と、
   前記符号化素子を通過する光の光路の状態を制御する制御素子と、を有することを特徴とするレンズ装置。
2. 前記符号化領域は、光の位相を変調することを特徴とする請求項１に記載のレンズ装置。
3. 前記符号化領域は、前記光の波長に応じて、瞳面に対してランダムな位相を与えることを特徴とする請求項２に記載のレンズ装置。
4. 前記符号化領域は、光の振幅を変調することを特徴とする請求項１に記載のレンズ装置。
5. 前記符号化領域は、前記光の波長に応じて、瞳面においてランダムな振幅透過率を与えることを特徴とする請求項４に記載のレンズ装置。
6. 前記制御素子は、フォーカシングの際に前記符号化領域を遮光することを特徴とする請求項１乃至５のいずれか１項に記載のレンズ装置。
7. 前記制御素子は、前記レンズ装置を用いた撮像が行われる際に前記非符号化領域を遮光することを特徴とする請求項１乃至６のいずれか１項に記載のレンズ装置。
8. 前記制御素子は、光軸を中心として回転可能な遮光板であることを特徴とする請求項１乃至７のいずれか１項に記載のレンズ装置。
9. 前記制御素子は、光軸と垂直な方向に移動可能な遮光板であることを特徴とする請求項１乃至７のいずれか１項に記載のレンズ装置。
10. 前記制御素子は、液晶素子を含み、該液晶素子を電気的に制御することにより前記符号化領域または前記非符号化領域を遮光可能であることを特徴とする請求項１乃至７のいずれか１項に記載のレンズ装置。
11. 前記レンズ装置は、共軸光学系であることを特徴とする請求項１乃至１０のいずれか１項に記載のレンズ装置。
12. 請求項１乃至１０のいずれか１項に記載のレンズ装置と、
    前記符号化領域を通過した光に基づく第１の画像データと、前記非符号化領域を通過した光に基づく第２の画像データとを取得する撮像素子と、を有することを特徴とする撮像装置。
13. 前記第２の画像データに基づいてフォーカス制御を行い、フォーカス位置を決定する制御部を更に有し、
    前記撮像素子は、前記フォーカス位置で撮像された前記第１の画像データを取得することを特徴とする請求項１２に記載の撮像装置。
14. 符号化素子の符号化領域を通過した光に基づく符号化画像データを入力する入力部と、
    前記符号化画像データの撮影条件に基づいて、前記符号化素子の前記符号化領域を通過した前記光に対応する符号化ＰＳＦを取得する取得部と、
    前記符号化ＰＳＦを用いて前記符号化画像データから復元画像データを生成する復元部と、を有することを特徴とする画像処理装置。
15. 前記入力部は、前記符号化素子の非符号化領域を通過した光に基づく非符号化画像データを入力し、
    前記取得部は、前記非符号化画像データの撮影条件に基づいて、前記符号化素子の前記非符号化領域を通過した前記光に対応する非符号化ＰＳＦを取得し、
    前記復元部は、前記符号化ＰＳＦと前記非符号化ＰＳＦとを用いて前記符号化画像データから前記復元画像データを生成することを特徴とする請求項１４に記載の画像処理装置。
16. 前記取得部は、前記符号化素子の非符号化領域を通過した光に基づいて合焦された撮像光学系の状態に対応する前記撮影条件に基づいて、前記符号化ＰＳＦを取得することを特徴とする請求項１４または１５に記載の画像処理装置。
17. 前記取得部は、前記符号化素子の非符号化領域を通過した光に基づいて合焦された撮像光学系の状態に対応する前記撮影条件に基づいて、前記非符号化ＰＳＦを取得することを特徴とする請求項１５に記載の画像処理装置。
18. 符号化素子を通過した光に基づく符号化画像データを入力するステップと、
    前記符号化画像データの撮影条件に基づいて、前記符号化素子を通過した前記光に対応する符号化ＰＳＦを取得するステップと、
    前記符号化ＰＳＦを用いて前記符号化画像データから復元画像データを生成するステップと、を有することを特徴とする画像処理方法。
19. コンピュータに、請求項１８に記載の画像処理方法を実行させることを特徴とする画像処理プログラム。
20. 請求項１９に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。