JP2015165610A - 撮像装置、撮像システムおよび撮像方法 - Google Patents

Abstract

【課題】所定の大きさを有する被写体を、焦点を合わせて撮像することができる撮像装置、撮像システムおよび撮像方法を提供する。【解決手段】シャインプルーフの原理に基づき、撮像素子１２のセンサ面をレンズユニットの主面に対して傾けて配置させることにより、合焦位置がレンズユニットの光軸方向に延伸した合焦面が形成され、フィルタ処理部１４３は、周波数特性Ｒに基づく逆変換フィルタによる逆変換処理を実行することによって、レンズユニットの光軸方向に延伸した合焦面の各位置において、レンズユニットの光軸方向に被写界深度を拡張させる。【選択図】図９

Description

本発明は、撮像装置、撮像システムおよび撮像方法に関する。

近年、情報のデジタル化の発展に伴い、撮像装置に分野においてもデジタル化の発展が著しい。特に、デジタルカメラに代表される撮像装置において、撮像面は従来のフィルムに置き換わって固体撮像素子が使用されている。固体撮像素子（以下、単に撮像素子という）として、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等が使用されている。

このように、撮像素子を使用した撮像装置は、被写体からの光を光学系によって取り込み、固体撮像素子によって光を電気信号に変換して抽出するものである。このような撮像装置として、デジタルカメラの他、ビデオカメラ、コードリーダ（バーコードリーダ、二次元コードリーダ等）、携帯電話機、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）および産業用カメラ等が挙げられる。

このような、ＣＣＤまたはＣＭＯＳ等の撮像素子を備えた撮像装置として、多焦点の光学系を利用し、焦点が合う被写体側の位置（以下、合焦位置という）を光学系の光軸方向に延伸させ、被写体（バーコード等）の読み取り可能範囲を広げる撮像装置が提案されている（特許文献１参照）。特許文献１に記載された撮像装置は、動作が遅いオートフォーカス機構を用いずに、多焦点の光学系を用いることで、高速に被写体（バーコード等）の読み取りを行っている。

しかしながら、特許文献１に記載された撮像装置は、光学系によって合焦位置を光学系の光軸方向に延伸させているが、各合焦位置における被写界深度の制限により、その合焦位置において、サイズの大きい被写体の全体に焦点を合わせて撮像することができないという問題点があった。

本発明は、上記に鑑みてなされたものであって、所定の大きさを有する被写体を、焦点を合わせて撮像することができる撮像装置、撮像システムおよび撮像方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、入射した光に収差を与える光学系と、前記光学系を通過した前記光を画素に変換して画像を撮像する撮像手段と、前記光学系の光軸上の所定範囲において前記撮像手段により撮像された撮像画像に対して、前記収差を復元する逆変換フィルタにより逆変換処理を実行して被写界深度を拡張する逆変換手段と、を備え、前記光学系および前記撮像手段は、合焦位置が前記光軸の方向に延伸した合焦面を形成するように配置され、前記逆変換手段は、前記合焦面の各位置において前記被写界深度を拡張することを特徴とする。

本発明によれば、所定の大きさを有する被写体を、焦点を合わせて撮像することができる。

図１は、第１の実施の形態の撮像システムの全体構成の一例を示す図である。 図２は、第１の実施の形態の情報処理装置のハードウェア構成の一例を示す図である。 図３は、第１の実施の形態の撮像装置の構成の一例を示す図である。 図４は、被写体の距離によって焦点が合うか否かの説明をする図である。 図５は、シャインプルーフの原理を説明する図である。 図６は、シャインプルーフの原理によりレンズユニットの光軸方向に延伸させた合焦面を説明する図である。 図７は、撮像画像の位置によって焦点が合うか否かを説明する図である。 図８は、第１の実施の形態の撮像装置における光学系周辺の要部構成の一例を示す図である。 図９は、第１の実施の形態の撮像装置の画像処理部の構成の一例を示す図である。 図１０は、第１の実施の形態の撮像装置の撮像素子により撮像される撮像画像の一例を示す図である。 図１１は、第１の実施の形態の画像処理部の画像バッファ部の構成の一例を示す図である。 図１２は、撮像素子から出力される画素が画像バッファ部に入力される動作を示すタイミングチャートである。 図１３は、第１の実施の形態の画像処理部のフィルタ処理部の構成の一例を示す図である。 図１４は、逆変換フィルタの構成の一例を示す図である。 図１５は、画像を逆変換フィルタによってフィルタ処理することを説明する図である。 図１６は、画像において逆変換フィルタのフィルタ処理の対象となる対象部分画像をスキャンする動作を説明する図である。 図１７は、第１の実施の形態の画像処理部のフィルタ処理部の逆変換フィルタを決定するための周波数特性を演算する流れを示すフローチャートである。 図１８は、光学系を通過した光による撮像画像の空間周波数特性を示す図である。 図１９は、逆変換処理が行われた画像の空間周波数特性を示す図である。 図２０は、合焦面の各位置において被写界深度が拡張された場合に形成される合焦領域を説明する図である。 図２１は、撮像素子上でピントの合う領域が拡大されることを説明する図である。 図２２は、第１の実施の形態の変形例に係る撮像装置における光学系周辺の要部構成の一例を示す図である。 図２３は、撮像画像における各エリアによってパワースペクトルが異なることを説明する図である。 図２４は、撮像画像全体のパワースペクトルと最適フィルタとを説明する図である。 図２５は、撮像画像の平坦部のエリアのパワースペクトルと最適フィルタとを説明する図である。 図２６は、撮像画像のテクスチャ部のエリアのパワースペクトルと最適フィルタとを説明する図である。 図２７は、第２の実施の形態の画像処理部のフィルタ処理部の構成の一例と動作を説明する図である。 図２８は、第２の実施の形態の変形例の画像処理部のフィルタ処理部の構成の一例と動作を説明する図である。 図２９は、第３の実施の形態のコードリーダの外観構成の一例を示す図である。 図３０は、第３の実施の形態のコードリーダの合焦面の位置および動作を説明する図である。

以下に、図面を参照しながら、本発明に係る撮像装置、撮像システムおよび撮像方法の実施の形態を詳細に説明する。また、以下の実施の形態によって本発明が限定されるものではなく、以下の実施の形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。

（第１の実施の形態）
＜撮像システムの全体構成＞
図１は、第１の実施の形態の撮像システムの全体構成の一例を示す図である。図１を参照しながら、本実施の形態の撮像システム５００の構成について説明する。

図１に示すように、本実施の形態の撮像システム５００は、撮像装置１と、ＰＣ２と、を備えている。撮像装置１とＰＣ２とは、Ｅｔｈｅｒｎｅｔ（登録商標）ケーブル等の通信ケーブル３によって通信可能に接続されている。

撮像装置１は、被写体４からの光を電気信号に変換することによって被写体４を撮像し、撮像画像の情報（以下、単に撮像画像という）から画像処理を実行し、画像処理後の画像を、通信ケーブル３を介してＰＣ２へ送信する。ＰＣ２は、撮像装置１から受信した画像に対して所定の処理を実行する。

例えば、撮像装置１は、生産ラインを流れる製品に添付されたバーコードを撮像して、バーコードの画像をＰＣ２に送信する。ＰＣ２は、受信した画像からバーコードの情報を読み出して解析する。

なお、図１に示すように、撮像システム５００は、撮像装置１とＰＣ２とが通信ケーブル３を介してデータを通信する有線通信方式のシステムとしているが、これに限定されるものではない。例えば、撮像装置１とＰＣ２とは、Ｗｉ−Ｆｉ（登録商標）（ＷｉｒｅｌｅｓｓＦｉｄｅｌｉｔｙ）等の無線通信方式によって互いにデータが通信可能であってもよい。

また、撮像装置１およびＰＣ２が生産ラインにおいて使用される場合、撮像システム５００は、ＰＣ２がＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）等に通信可能に接続されている構成としてもよい。この場合、撮像システム５００の動作として、以下の動作が一例として挙げられる。撮像装置１は、生産ラインを流れる製品に添付されたバーコードを撮像して、バーコードの画像をＰＣ２に送信する。ＰＣ２は、受信したバーコードの画像から、生産ラインを流れている製品の品番を判定する。ＰＣ２は、判定した品番が、生産ラインにおいて段替えされている品番と不一致である場合、判定した品番に対応する製品は異なる品番の製品であることを示す信号をＰＬＣに送信する。ＰＬＣは、ＰＣ２から異なる品番の製品であることを示す信号を受信した場合、その製品を生産ラインから除去するように生産ラインの動作を制御する。

＜情報処理装置の構成＞
図２は、第１の実施の形態の情報処理装置のハードウェア構成の一例を示す図である。図２を参照しながら、情報処理装置の一例であるＰＣ２のハードウェア構成について説明する。

図２に示すように、情報処理装置の一例であるＰＣ２は、通信部２１（通信手段）と、操作部２２と、表示部２３（表示手段）と、記憶部２４と、外部記憶装置２５と、制御部２６と、を備えている。上記の各部は、バス２７によって接続され、互いにデータの送受信が可能となっている。

通信部２１は、通信ケーブル３を介して、撮像装置１と通信する装置である。通信部２１は、例えば、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等の通信装置によって実現される。通信部２１の通信プロトコルは、例えば、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）／ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）またはＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）／ＩＰ等によって実現される。

操作部２２は、ユーザによって制御部２６に対して所定の処理を実行させるための操作入力を行う装置である。操作部２２は、例えば、マウス、キーボード、テンキー、タッチパッドまたはタッチパネルにおける操作入力機能によって実現される。

表示部２３は、制御部２６により実行されているアプリケーション画像等を表示する装置である。表示部２３は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ、液晶ディスプレイ、プラズマディスプレイまたは有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等によって実現される。

記憶部２４は、ＰＣ２で実行される各種プログラムおよびＰＣ２で行われる各種処理に使用されるデータ等を記憶する装置である。記憶部２４は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶装置によって実現される。

外部記憶装置２５は、画像、プログラムおよびフォントデータ等を蓄積して記憶する記憶装置である。外部記憶装置２５は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、光ディスク、または光磁気ディスク（ＭＯ：Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｄｉｓｋ）等の記憶装置によって実現される。

制御部２６は、ＰＣ２の各部の動作を制御する装置である。制御部２６は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等で実現される。

＜撮像装置の構成＞
図３は、第１の実施の形態の撮像装置の構成の一例を示す図である。図３を参照しながら、本実施の形態の撮像装置１の構成について説明する。

図３に示すように、撮像装置１は、レンズユニット１１（光学系）と、撮像素子１２（撮像手段）と、画像処理部１４と、認識処理部１５（認識処理手段）と、通信部１６と、光源１７と、を備えている。

レンズユニット１１は、被写体４からの光を集光し、撮像素子１２に対して結像させるユニットである。レンズユニット１１は、１枚以上のレンズで構成された光学系によって実現される。レンズユニット１１は、位相板１１ａと、絞り１１ｂとを備えている。被写体４は、例えば、人物、被監視物、バーコード、２次元コードまたは文字列等である。

位相板１１ａは、レンズユニット１１に入射する光に対して収差を与える作用を有する。その結果、位相板１１ａは、撮像素子１２に入射される光に対して点像分布関数を付加する作用を奏し、撮像素子１２で撮像される画像がぼけた状態とする代わりに広い被写界深度でそのぼけが一定となるようにする。なお、レンズユニット１１に入射する光に対して収差を与えるのは、位相板１１ａに限定されるものではなく、レンズユニット１１に含まれるレンズによって収差が与えられるものとしてもよい。

絞り１１ｂは、レンズユニット１１に入射する光の量を自在に調整する部材であり、位相板１１ａの近傍に配置されている。

撮像素子１２は、レンズユニット１１に入射する被写体からの光を電気信号に変換することによって被写体４を撮像して画像を生成する固体撮像素子である。撮像素子１２は、固体撮像素子を構成する各検出単位によって撮像した画像を構成する画素を出力する。撮像素子１２は、例えば、ＣＣＤセンサまたはＣＭＯＳセンサ等によって実現される。

画像処理部１４は、撮像素子１２から出力される撮像画像から、フィルタ処理を施した画像（出力画像）を生成する。

認識処理部１５は、画像処理部１４によりフィルタ処理が実行された画像に基づいて、所定の対象物を認識する認識処理を実行する。所定の対象物とは、例えば、人物、被監視物、バーコード、２次元コードまたは文字列等である。

通信部１６は、通信ケーブル３を介して、ＰＣ２と通信する装置である。通信部１６は、例えば、認識処理部１５から出力される画像をＰＣ２に対して送信する。通信部１６は、例えば、ＮＩＣ等の通信装置によって実現される。通信部１６の通信プロトコルは、例えば、ＴＣＰ／ＩＰまたはＵＤＰ／ＩＰ等によって実現される。

光源１７は、後述するように、発光した光線が、センサ面（検出面）がチルトした（傾いた）撮像素子１２によりレンズユニット１１の光軸方向に延伸した合焦面に沿うように設置された光源である。光源１７は、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）またはレーザ等の発光装置である。

なお、認識処理部１５は、撮像装置１に含まれる構成としているが、撮像装置１に接続される外部機器の機能によって実現されるものとしてもよい。例えば、認識処理部１５は、撮像装置１ではなくＰＣ２において実現されるものとしてもよい。

また、画像処理部１４および認識処理部１５は、ソフトウェアであるプログラムが実行されることによって実現されてもよく、または、ハードウェア回路によって実現されてもよい。ただし、以下の説明において、特に画像処理部１４はハードウェア回路で構成されている場合を例に説明する。

＜シャインプルーフの原理について＞
図４は、被写体の距離によって焦点が合うか否かの説明をする図である。図５は、シャインプルーフの原理を説明する図である。図６は、シャインプルーフの原理によりレンズユニットの光軸方向に延伸させた合焦面を説明する図である。図７は、撮像画像の位置によって焦点が合うか否かを説明する図である。図４〜７を参照しながら、本実施の形態に係る撮像装置１が採用するシャインプルーフの原理について説明する。

図４に示すように、通常、撮像装置のレンズユニット１１における光軸に垂直な面（主面）と、撮像素子１２のセンサ面とは略平行に配置されている。光学系であるレンズユニット１１には、所定の被写界深度があり、被写界深度に含まれる焦点以外の点において、被写体は焦点が合わない（合焦しない）。ここで、被写界深度とは、撮像装置の光学系からある距離にある被写体に対して、焦点が合っていると許容できる光学系の光軸方向の距離範囲のことをいう。図４に示す３つの被写体４ａ〜４ｃのうち、焦点が合う合焦位置にあるのは、被写体４ｂのみで、被写体４ａ、４ｃは合焦位置にない。したがって、撮像素子１２で結像されるのは、被写体４ｂのみであり、被写体４ａ、被写体４ｃは、撮像素子１２で結像しない。

そのため、一般的には、このような広い範囲の合焦位置（フォーカス位置）をサポートするために、機械的にレンズの位置を変更するオートフォーカス等の方法が用いられている。しかしながら、オートフォーカス機構はサイズが大きくなる上に高価であり、かつ合焦させるために、レンズを移動させて合焦位置を探索する必要があり、被写体に焦点の合った画像を得るまでに時間がかかるという問題点がある。

これを解決する方法の一例として、図５に示すように、撮像素子１２のセンサ面を、レンズユニット１１の主面に対して傾けたシャインプルーフの原理を用いる方法がある。シャインプルーフの原理とは、図５に示すように、撮像素子１２のセンサ面と、レンズユニット１１の主面とが１つの直線で交わる場合、合焦する被写体側の面（以下、合焦面５０と称する）も同じ直線で交わるという原理である。すなわち、撮像素子１２の位置によって被写体側の合焦位置が変わることになり、被写体との距離に応じた適切な場所、すなわち、合焦面５０上に被写体を配置することによって、レンズユニット１１の光軸方向の広い範囲において合焦した撮像画像を得ることができる。

このようにシャインプルーフの原理を用い、撮像素子１２のセンサ面を、レンズユニット１１の主面に対して傾けることによって、合焦位置がレンズユニット１１の光軸方向に延伸した合焦面５０を形成することができる。この場合、図６に示すように、被写体４ａ〜４ｃを合焦面５０上に配置した状態で、撮像素子１２により撮像すると、被写体４ａ〜４ｃのいずれにも焦点が合った撮像画像を得ることができる。

しかしながら、図６に示すシャインプルーフの原理を用いて合焦位置をレンズユニット１１の光軸方向に延伸させる場合、被写体との距離に応じて、撮像画像上での合焦した状態で表示される適切な撮像位置が変わる。したがって、ユーザは、被写体の距離に応じて、適切な撮像位置となるように撮像装置１を移動させる必要があり、容易に被写体の撮像位置を決定することができないという問題点が出てくる。例えば、図７に示すように、撮像画像１００に含まれている大きさおよび形状が全て同一の被写体４ａ〜４ｄのうち、被写体４ａ〜４ｃは、合焦面５０上に配置されているため、焦点が合った状態で撮像されている。この場合、被写体４ａは、合焦面５０上の撮像装置１に近い位置に配置されており、被写体４ｃは、合焦面５０上の撮像装置１から遠い位置に配置されており、被写体４ｂは、被写体４ａと被写体４ｃとの中間に位置する合焦面５０上に配置されている。しかし、被写体４ｄは、撮像装置１からの距離が被写体４ａと同じ距離に配置されているが、合焦面５０上に配置されていないために、焦点が合っていない状態で撮像されている。したがって、被写体４ｄを焦点が合った状態で撮像するために、ユーザは、被写体４ｄの撮像位置が、図７における被写体４ａの撮像位置となるように撮像装置１を移動させなければならないが、これは容易にできることではない。以下、図８を参照しながら、この問題を解決するための本実施の形態のレンズユニット１１周辺の要部構成について説明する。

＜レンズユニット周辺の要部構成＞
図８は、第１の実施の形態の撮像装置における光学系周辺の要部構成の一例を示す図である。図８を参照しながら、撮像装置１のレンズユニット１１周辺の要部構成について説明する。

図８に示すように、撮像素子１２は、センサ面がレンズユニット１１の主面に対して傾けて配置されており、シャインプルーフの原理によって、合焦位置がレンズユニット１１の光軸方向に延伸した合焦面５０が形成されている。すなわち、合焦面５０は、レンズユニット１１の光学特性、およびレンズユニット１１と撮像素子１２のセンサ面（結像面）との位置関係に基づいて、形成される。また、光源１７は、撮像素子１２のセンサ面と、レンズユニット１１の主面とが交わる直線の位置に配置されている。そして、光源１７は、照射する光線６０の方向をレンズユニット１１の画角の中心軸方向からずらし、光線６０を合焦面５０上に位置するように照射する。光線６０は、被写体に照射した場合に、円形のポインタが形成されるものとしてもよいし、矩形状のポインタが形成されるものとしてもよい。

以上のように光源１７を配置することによって、光源１７が照射する光線６０は、合焦面５０上に配置された被写体を照射することになる。図８に示すように、被写体４ａ〜４ｃは、いずれも、合焦面５０上に配置されているので、光線６０によって照射されることになる。逆に、被写体が光線６０により照射されるように、被写体または撮像装置１を移動させることによって、被写体を焦点が合う撮像位置に配置させることができる。すなわち、ユーザは、光源１７が照射する光線６０が示す位置に被写体（例えば、二次元コード等）が配置されるように、撮像装置１を移動させることによって、容易に被写体の距離に応じた適切な撮像位置とすることができ、被写体の焦点が合った撮像画像を得ることができる。

なお、光源１７が照射する光線６０は、被写体における撮像装置１に対する面がレンズユニット１１の主面と略平行等に配置されている場合、被写体の面に対して斜めから照射することになる。したがって、被写体に照射された光線６０のポインタは、歪んだ形状を呈することになる。よって、光源１７は、元から断面形状が歪んだ状態の光線６０を照射し、被写体の面に対して斜めから照射されたときに正規の形状（円形、矩形等）となるようにしてもよい。

また、通常、撮像素子１２におけるセンサ面は、長方形の形状となっている。例えば、撮像素子１２が、６４０×４８０のマトリックス状に配置された検出素子で構成された場合等である。この場合、撮像素子１２を、センサ面の長手方向が、レンズユニット１１の主面に対して傾けて配置させることが望ましい。これによって、合焦面５０をレンズユニット１１の光軸方向により大きく延伸させることができる。

また、光源１７は、撮像素子１２のセンサ面と、レンズユニット１１の主面とが交わる直線の位置に配置されているものとしたが、これに限定されるものではない。すなわち、光源１７から照射される光線６０が、合焦面５０上に位置するように照射されるものとすれば、光源１７はどの位置に配置されてもよい。

ここで、上述のように、シャインプルーフの原理を用いて、合焦位置がレンズユニット１１の光軸方向に延伸した合焦面５０を形成させたとしても、上述のようにレンズユニット１１が有する所定の被写界深度の制限により、レンズユニット１１の主面に平行な方向については焦点が合う範囲が狭い。したがって、レンズユニット１１の主面に平行な方向において焦点が合う範囲を超える大きさの被写体については、被写体の全体に対して焦点を合わせて撮像することができないことになる。

ここで、合焦面５０上の各位置において、上述のレンズユニット１１の光軸方向の被写界深度の拡張をすることができれば、焦点が合う領域が広くなり、大きな被写体の全体に対して焦点の合った状態で撮像することが可能となる。ここで、被写界深度拡張（ＥＤｏＦ：Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ）の概略について説明する。レンズユニット１１に含まれるレンズおよび位相板１１ａは、撮像素子１２に入射される被写体の光に収差を与えて点像分布関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を付加する働きをする。例えば、レンズは、収差として、撮像素子１２に入射される被写体の光に球面収差を与える。レンズユニット１１は、収差によって撮像素子で撮像する画像がぼけた状態にする代わりに広い被写界深度でそのぼけが一定となるようにする。したがって、レンズユニット１１によってぼけた画像は、所定のＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）の値が得られるように補正する必要がある。ＭＴＦは、被写体の持つコントラストを、どれくらい忠実に再現できるかを数値化した値、すなわちコントラストの再現率を示す。このような、レンズユニット１１によってぼけた画像に対して、ぼけを補正する撮像装置として、点像分布関数の逆変換処理を施すことによって、ＭＴＦを向上させ、高解像度の画像に補正することができる。逆変換処理は、光学系によってぼけた画像を形成する各画素に対して、逆変換フィルタによるフィルタ処理を施すことにより画像のぼけ（収差）を復元することによって実現される。以下、画像処理部１４の構成の詳細を説明すると共に、逆変換処理による被写界深度拡張（ＥＤｏＦ：Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ）の方法の一例について説明する。

＜画像処理部の構成および動作＞
図９は、第１の実施の形態の撮像装置の画像処理部の構成の一例を示す図である。図１０は、第１の実施の形態の撮像装置の撮像素子により撮像される撮像画像の一例を示す図である。図９を参照しながら、本実施の形態の撮像装置１の画像処理部１４の構成について説明する。

撮像素子１２は、上述のように、レンズユニット１１に入射する被写体からの光を電気信号に変換することにより被写体４を撮像し、画像を生成する固体撮像素子である。以下、撮像素子１２は、ＶＧＡの画像を形成して出力するものとして説明する。具体的には、撮像素子１２は、図１０に示すように、例えば、Ｘ方向に６４０個、Ｙ方向に４８０個の検出素子によって、６４０×４８０のマトリックス状に配列された画素で構成される画像である撮像画像１０１を撮像する。

なお、撮像素子１２が撮像する画像の大きさは６４０×４８０のＶＧＡの画像であるものとしたが、これに限定されるものではなく、異なる大きさの画像であってもよい。

図９に示すように、本実施の形態の画像処理部１４は、画像バッファ部１４１と、フィルタ処理部１４３（逆変換処理手段）とを備えている。

画像バッファ部１４１は、撮像素子１２から出力される画素を順に入力してバッファリングする装置である。画像バッファ部１４１の具体的な構成および動作については、図１１および１２において後述する。

フィルタ処理部１４３は、画像バッファ部１４１から出力される画素に対して、フィルタ回路によって、所定のフィルタ処理を行う。本実施の形態においては、フィルタ処理に使用するフィルタとして、位相板１１ａの作用によって点像分布関数を与えられたぼけた画像に対して、ぼけ（収差）を補正（復元）する逆変換処理をするための逆変換フィルタを例に説明する。フィルタ処理部１４３の具体的な構成および動作については、図１３〜１６において後述する。

＜＜画像バッファ部１４１の構成および動作＞＞
図１１は、第１の実施の形態の画像処理部の画像バッファ部の構成の一例を示す図である。図１２は、撮像素子から出力される画素が画像バッファ部に入力される動作を示すタイミングチャートである。図１１および１２を参照しながら、画像処理部１４の画像バッファ部１４１の構成および動作について説明する。

画像バッファ部１４１は、図１１に示すように、レジスタ１４１１ａ〜１４１１ｄと、ラインバッファ１４１２ａ〜１４１２ｄと、を備えている。画像バッファ部１４１は、撮像素子１２から出力される画素を入力部１４１０から入力し、バッファリングした画素を出力部１４１３ａ〜１４１３ｅから出力する。撮像素子１２によって検出される画像の６４０×４８０の各画素について、Ｘ方向のＸ番目およびＹ方向のＹ番目の画素を（Ｘ，Ｙ）の画素というものとする。

図１１に示すように、レジスタ１４１１ａの入力側は、入力部１４１０および出力部１４１３ａに接続されている。レジスタ１４１１ａ〜１４１１ｄの出力側は、それぞれラインバッファ１４１２ａ〜１４１２ｄの入力側に接続されている。ラインバッファ１４１２ａ〜１４１２ｃの出力側は、それぞれレジスタ１４１１ｂ〜１４１１ｄの入力側に接続されている。そして、ラインバッファ１４１２ａ〜１４１２ｄの出力側は、それぞれ出力部１４１３ｂ〜１４１３ｅに接続されている。

次に、図１２を参照しながら、撮像素子１２によって検出された画像の出力動作について説明する。撮像素子１２は、検出した画素をＸ方向の１水平ラインずつ走査しながら、その１水平ラインに含まれる画素を出力する。具体的には、撮像素子１２は、Ｙ方向の１番目の水平ラインに含まれる画素を、Ｘ方向の１番目の画素から６４０番目の画素まで順に出力する。撮像素子１２は、上記の動作を、Ｙ方向の４８０番目までの水平ラインに含まれる画素の出力をそれぞれ行う。

上記の動作を図１２に示すタイミングチャートに基づいて説明する。図１２に示すように、撮像素子１２は、有効フレーム信号がオン状態のとき、１フレーム分、すなわち１画像分の画素を出力する。撮像素子１２において、有効フレーム信号がオン状態になってからフレーム開始期間Ａを経て、Ｙ方向の１番目の水平ラインの画素の出力許可を示す有効ライン信号Ｌ１がオン状態になる。撮像素子１２は、有効ライン信号Ｌ１がオン状態になっている有効データ期間Ｔの間に、Ｙ方向の１番目の水平ラインを走査し、その水平ラインに含まれるＸ方向の１〜６４０番目の画素（（１，１）〜（６４０，１）の画素）を順に出力する。撮像素子１２によってＹ方向の１番目の水平ラインの画素が出力された後、有効ライン信号Ｌ１がオフ状態になる。

撮像素子１２において、有効ライン信号Ｌ１がオフ状態になってから水平ブランキング期間Ｂを経て、Ｙ方向の２番目の水平ラインの画素の出力許可を示す有効ライン信号Ｌ２がオン状態になる。撮像素子１２は、有効ライン信号Ｌ２がオン状態になっている有効データ期間Ｔの間に、Ｙ方向の２番目の水平ラインを走査し、その水平ラインに含まれるＸ方向の１〜６４０番目の画素（（１，２）〜（６４０，２）の画素）を順に出力する。撮像素子１２によってＹ方向の２番目の水平ラインの画素が出力された後、有効ライン信号Ｌ２がオフ状態になる。

撮像素子１２は、以上の動作について、有効ライン信号Ｌ４８０がオン状態になっている有効データ期間Ｔの間に、Ｙ方向の４８０番目の水平ラインに含まれるＸ方向の１〜６４０番目の画素を出力するまで行う。撮像素子１２において、有効ライン信号Ｌ４８０がオフ状態になってからフレーム終了期間Ｃを経て、有効フレーム信号がオフ状態になる。以上の動作によって、撮像素子１２による１フレーム分の画素の出力が終了する。また、撮像素子１２において、有効フレーム信号がオフ状態になってから垂直ブランキング期間Ｄを経て、再び有効フレーム信号がオン状態になり、次の１フレーム分の画素の出力が開始される。

次に、図１１を参照しながら、画像バッファ部１４１における撮像素子１２から出力される画素のバッファリング処理について説明する。画像バッファ部１４１は、撮像素子１２から出力される画素を入力部１４１０から入力する。具体的には、画像バッファ部１４１は、まず、Ｙ方向の１番目の水平ラインについて、撮像素子１２から入力した（１，１）の画素を、出力部１４１３ａから出力すると共に、レジスタ１４１１ａに格納する。

画像バッファ部１４１は、次のタイミングで、レジスタ１４１１ａに格納した画素をラインバッファ１４１２ａの記憶領域１ａに格納する。そして、画像バッファ部１４１は、撮像素子１２から次に入力した（２，１）の画素を出力部１４１３ａから出力すると共に、レジスタ１４１１ａに格納する。

画像バッファ部１４１は、次のタイミングで、記憶領域１ａに格納した画素をラインバッファ１４１２ａの記憶領域２ａにシフトして格納し、レジスタ１４１１ａに格納した画素を記憶領域１ａに格納する。そして、画像バッファ部１４１は、撮像素子１２から次に入力した（３，１）の画素を出力部１４１３ａから出力すると共に、レジスタ１４１１ａに格納する。

以上の動作を繰り返すことにより、画像バッファ部１４１は、撮像素子１２から入力したＹ方向の１番目の水平ラインの画素を出力部１４１３ａから出力する。それと共に、画像バッファ部１４１は、Ｙ方向の１番目の水平ラインの１〜６３９番目の画素をラインバッファ１４１２ａの記憶領域６３９ａ〜１ａにそれぞれ格納し、６４０番目の画素をレジスタ１４１１ａに格納する。

次に、画像バッファ部１４１は、ラインバッファ１４１２ａの記憶領域１ａ〜６３９ａに格納した画素を記憶領域２ａ〜６４０ａにシフトして格納し、レジスタ１４１１ａに格納した画素を記憶領域１ａに格納する。画像バッファ部１４１は、記憶領域６４０ａに格納した（１，１）の画素を出力部１４１３ｂから出力すると共に、レジスタ１４１１ｂに格納する。そして、画像バッファ部１４１は、Ｙ方向の２番目の水平ラインについて、撮像素子１２から入力した（１，２）の画素を出力部１４１３ａから出力すると共に、レジスタ１４１１ａに格納する。すなわち、画像バッファ部１４１は、Ｘ方向の値が同一の画素である（１，１）および（１，２）の画素を、出力部１４１３ｂおよび１４１３ａからそれぞれ出力する。

画像バッファ部１４１は、次のタイミングで、レジスタ１４１１ｂに格納した画素をラインバッファ１４１２ｂの記憶領域１ｂに格納する。画像バッファ部１４１は、ラインバッファ１４１２ａの記憶領域１ａ〜６３９ａに格納した画素を記憶領域２ａ〜６４０ａにシフトして格納し、レジスタ１４１１ａに格納した画素を記憶領域１ａに格納する。画像バッファ部１４１は、記憶領域６４０ａに格納した（２，１）の画素を出力部１４１３ｂから出力すると共に、レジスタ１４１１ｂに格納する。そして、画像バッファ部１４１は、撮像素子１２から次に入力した（２，２）の画素を出力部１４１３ａから出力すると共に、レジスタ１４１１ａに格納する。

画像バッファ部１４１は、次のタイミングで、記憶領域１ｂに格納した画素をラインバッファ１４１２ｂの記憶領域２ｂにシフトして格納し、レジスタ１４１１ｂに格納した画素を記憶領域１ｂに格納する。画像バッファ部１４１は、ラインバッファ１４１２ａの記憶領域１ａ〜６３９ａに格納した画素を記憶領域２ａ〜６４０ａにシフトして格納し、レジスタ１４１１ａに格納した画素を記憶領域１ａに格納する。画像バッファ部１４１は、記憶領域６４０ａに格納した（３，１）の画素を出力部１４１３ｂから出力すると共に、レジスタ１４１１ｂに格納する。そして、画像バッファ部１４１は、撮像素子１２から次に入力した（３，２）の画素を出力部１４１３ａから出力すると共に、レジスタ１４１１ａに格納する。

以上の動作を繰り返すことにより、画像バッファ部１４１は、撮像素子１２から入力したＹ方向の１および２番目の水平ラインの画素についてＸ方向の値が同一の画素を、出力部１４１３ａおよび１４１３ｂからそれぞれ同一のタイミングで出力する。それと共に、画像バッファ部１４１は、Ｙ方向の１番目の水平ラインの１〜６３９番目の画素をラインバッファ１４１２ｂの記憶領域１ｂ〜６３９ｂにそれぞれ格納し、６４０番目の画素をレジスタ１４１１ｂに格納する。さらに、画像バッファ部１４１は、Ｙ方向の２番目の水平ラインの１〜６３９番目の画素をラインバッファ１４１２ａの記憶領域１ａ〜６３９ａにそれぞれ格納し、６４０番目の画素をレジスタ１４１１ａに格納する。

以上の動作のように、画像バッファ部１４１は、撮像素子１２から入力した各水平ラインの画素をラインバッファ１４１２ａ〜１４１２ｄにバッファリングする。それと共に、画像バッファ部１４１は、Ｘ方向の値が同一の画素、すなわち、（Ｘ，Ｙ−４）、（Ｘ，Ｙ−３）、（Ｘ，Ｙ−２），（Ｘ，Ｙ−１）および（Ｘ，Ｙ）の画素を、出力部１４１３ａ〜１４１３ｅからそれぞれ同一のタイミングで出力する。

なお、図１１は画像バッファ部１４１の構成の一例を示すものであり、この構成に限定されるものではなく、上述した画像バッファ部１４１のバッファリング処理と同様の作用を奏する構成であればよい。

＜＜フィルタ処理部１４３の構成および動作＞＞
図１３は、第１の実施の形態の画像処理部のフィルタ処理部の構成の一例を示す図である。図１４は、逆変換フィルタの構成の一例を示す図である。図１５は、画像を逆変換フィルタによってフィルタ処理することを説明する図である。図１６は、画像において逆変換フィルタのフィルタ処理の対象となる対象部分画像をスキャンする動作を説明する図である。図１３〜１６を参照しながら、画像処理部１４のフィルタ処理部１４３の構成および動作について説明する。

フィルタ処理部１４３は、図１３に示すように、レジスタ１４３２ａ〜１４３２ｅ、１４３３ａ〜１４３３ｅ、１４３４ａ〜１４３４ｅ、１４３５ａ〜１４３５ｅ、１４３６ａ〜１４３６ｅおよび１４３７ａ〜１４３７ｅを備えている。フィルタ処理部１４３は、乗算器１４３８ａ〜１４３８ｅ、１４３９ａ〜１４３９ｅ、１４４０ａ〜１４４０ｅ、１４４１ａ〜１４４１ｅおよび１４４２ａ〜１４４２ｅを備えている。フィルタ処理部１４３は、加算器１４４３ａ〜１４４３ｅ、１４４４ａ〜１４４４ｅ、１４４５ａ〜１４４５ｅ、１４４６ａ〜１４４６ｅおよび１４４７ａ〜１４４７ｃを備えている。フィルタ処理部１４３は、画像バッファ部１４１から出力される画素を入力部１４３１ａ〜１４３１ｅから入力する。そして、フィルタ処理部１４３は、入力した画素について、導出方法を後述するフィルタ係数を有する逆変換フィルタによってコンボリューション演算（畳み込み演算）を行い、演算値を出力部１４４８から出力する。

乗算器１４３８ａ〜１４３８ｅ、１４３９ａ〜１４３９ｅ、１４４０ａ〜１４４０ｅ、１４４１ａ〜１４４１ｅおよび１４４２ａ〜１４４２ｅは、入力側から入力される画素の値とフィルタ係数との乗算値を出力する回路である。具体的には、乗算器１４３８ａ〜１４４２ａは、それぞれフィルタ係数ａ５５〜ａ５１と画素との乗算値を出力する。乗算器１４３８ｂ〜１４４２ｂは、それぞれフィルタ係数ａ４５〜ａ４１と画素との乗算値を出力する。乗算器１４３８ｃ〜１４４２ｃは、それぞれフィルタ係数ａ３５〜ａ３１と画素との乗算値を出力する。乗算器１４３８ｄ〜１４４２ｄは、それぞれフィルタ係数ａ２５〜ａ２１と画素との乗算値を出力する。乗算器１４３８ｅ〜１４４２ｅは、それぞれフィルタ係数ａ１５〜ａ１１と画素との乗算値を出力する。加算器１４４３ａ〜１４４３ｅ、１４４４ａ〜１４４４ｅ、１４４５ａ〜１４４５ｅ、１４４６ａ〜１４４６ｅ、ならびに１４４７ａおよび１４４７ｃは、入力側から入力される２つのデータの値の加算値を出力する回路である。加算器１４４７ｂは、入力側から入力される３つのデータの値の加算値を出力する回路である。

図１３に示すように、入力部１４３１ａ〜１４３１ｅは、それぞれレジスタ１４３２ａ〜１４３２ｅの入力側に接続されている。レジスタ１４３２ａ〜１４３７ａは、直列に接続している。レジスタ１４３２ｂ〜１４３７ｂ、１４３２ｃ〜１４３７ｃ、１４３２ｄ〜１４３７ｄおよび１４３２ｅ〜１４３７ｅのそれぞれについても同様である。

入力部１４３１ａ〜１４３１ｅは、それぞれ乗算器１４３８ａ〜１４３８ｅの入力側に接続されている。レジスタ１４３２ａ〜１４３５ａの出力側は、それぞれ乗算器１４３９ａ〜１４４２ａの入力側に接続されている。レジスタ１４３２ｂ〜１４３５ｂと乗算器１４３９ｂ〜１４４２ｂとの接続関係、レジスタ１４３２ｃ〜１４３５ｃと乗算器１４３９ｃ〜１４４２ｃとの接続関係、レジスタ１４３２ｄ〜１４３５ｄと乗算器１４３９ｄ〜１４４２ｄとの接続関係、およびレジスタ１４３２ｅ〜１４３５ｅと乗算器１４３９ｅ〜１４４２ｅとの接続関係もそれぞれ同様である。

乗算器１４３８ａ〜１４３８ｅの出力側は、それぞれ加算器１４４３ａ〜１４４３ｅの入力側に接続されている。加算器１４４３ａ〜１４４６ａは、直列に接続している。加算器１４４３ｂ〜１４４６ｂ、１４４３ｃ〜１４４６ｃ、１４４３ｄ〜１４４６ｄおよび１４４３ｅ〜１４４６ｅのそれぞれについても同様である。

乗算器１４３９ａ〜１４４２ａの出力側は、それぞれ加算器１４４３ａ〜１４４６ａの入力側に接続されている。乗算器１４３９ｂ〜１４４２ｂと加算器１４４３ｂ〜１４４６ｂとの接続関係、乗算器１４３９ｃ〜１４４２ｃと加算器１４４３ｃ〜１４４６ｃとの接続関係、乗算器１４３９ｄ〜１４４２ｄと加算器１４４３ｄ〜１４４６ｄとの接続関係、および乗算器１４３９ｅ〜１４４２ｅと加算器１４４３ｅ〜１４４６ｅとの接続関係もそれぞれ同様である。

加算器１４４６ａおよび１４４６ｂの出力側は、加算器１４４７ａの入力側に接続されている。加算器１４４６ｄおよび１４４６ｅの出力側は、加算器１４４７ｃの入力側に接続されている。加算器１４４６ｃ、１４４７ａおよび１４４７ｃの出力側は、加算器１４４７ｂの入力側に接続されている。加算器１４４７ｂの出力側は、出力部１４４８に接続されている。

次に、図１３〜１６を参照しながら、フィルタ処理部１４３における逆変換処理について説明する。逆変換処理に使用されるフィルタは、図１４に示すように、上述したフィルタ係数ａ１１〜ａ１５、ａ２１〜ａ２５、ａ３１〜ａ３５、ａ４１〜ａ４５およびａ５１〜ａ５５によって構成されるタップ数が５×５の線形フィルタである逆変換フィルタ１２１である。逆変換フィルタ１２１による逆変換処理の対象となる画像の部分を、図１５に示す対象部分画像１３１であるものとする。対象部分画像１３１は、画素Ａ１１〜Ａ１５、Ａ２１〜Ａ２５、Ａ３１〜Ａ３５、Ａ４１〜Ａ４５およびＡ５１〜Ａ５５によって構成された５×５の部分画像である。

レジスタ１４３２ａ〜１４３２ｅ、１４３３ａ〜１４３３ｅ、１４３４ａ〜１４３４ｅ、１４３５ａ〜１４３５ｅ、１４３６ａ〜１４３６ｅおよび１４３７ａ〜１４３７ｅには、データが格納されていない状態、すなわち、０の値が格納された状態であるものとする。フィルタ処理部１４３は、入力部１４３１ａ〜１４３１ｅから対象部分画像１３１の画素Ａ５１、Ａ４１、Ａ３１、Ａ２１およびＡ１１を入力し、それぞれレジスタ１４３２ａ〜１４３２ｅに格納すると共に、乗算器１４３８ａ〜１４３８ｅに入力させる。乗算器１４３８ａ〜１４３８ｅは、それぞれのフィルタ係数であるａ５５、ａ４５、ａ３５、ａ２５およびａ１５と、それぞれ入力した画素Ａ５１、Ａ４１、Ａ３１、Ａ２１およびＡ１１との乗算値を出力する。乗算器１４３８ａ〜１４３８ｅによって演算された乗算値は、加算器１４４７ａ〜１４４７ｃによって加算される。加算値は、加算器１４４７ｂから出力され、出力部１４４８からフィルタ処理部１４３の外部に出力される。

フィルタ処理部１４３は、次のタイミングで、レジスタ１４３２ａ〜１４３２ｅに格納した画素Ａ５１、Ａ４１、Ａ３１、Ａ２１およびＡ１１を、それぞれレジスタ１４３３ａ〜１４３３ｅにシフトして格納し、乗算器１４３９ａ〜１４３９ｅに入力させる。フィルタ処理部１４３は、入力部１４３１ａ〜１４３１ｅから対象部分画像１３１の画素Ａ５２、Ａ４２、Ａ３２、Ａ２２およびＡ１２を入力し、それぞれレジスタ１４３２ａ〜１４３２ｅに格納すると共に、乗算器１４３８ａ〜１４３８ｅに入力させる。乗算器１４３９ａ〜１４３９ｅは、それぞれのフィルタ係数であるａ５４、ａ４４、ａ３４、ａ２４およびａ１４と、それぞれ入力した画素Ａ５１、Ａ４１、Ａ３１、Ａ２１およびＡ１１との乗算値を出力する。乗算器１４３８ａ〜１４３８ｅは、それぞれのフィルタ係数であるａ５５、ａ４５、ａ３５、ａ２５およびａ１５と、それぞれ入力した画素Ａ５２、Ａ４２、Ａ３２、Ａ２２およびＡ１２との乗算値を出力する。乗算器１４３９ａ〜１４３９ｅによって演算された乗算値、および乗算器１４３８ａ〜１４３８ｅによって演算された乗算値は、加算器１４４３ａ〜１４４３ｅおよび１４４７ａ〜１４４７ｃによって加算される。加算値は、加算器１４４７ｂから出力され、出力部１４４８からフィルタ処理部１４３の外部に出力される。

そして、以上の動作が繰り返された結果、レジスタ１４３２ａ〜１４３６ａ、１４３２ｂ〜１４３６ｂ、１４３２ｃ〜１４３６ｃ、１４３２ｄ〜１４３６ｄおよび１４３２ｅ〜１４３６ｅに、それぞれ画素Ａ５５〜Ａ５１、Ａ４５〜Ａ４１、Ａ３５〜Ａ３１、Ａ２５〜Ａ２１およびＡ１５〜Ａ１１が格納されたものとする。また、乗算器１４３８ａ〜１４４２ａ、１４３８ｂ〜１４４２ｂ、１４３８ｃ〜１４４２ｃ、１４３８ｄ〜１４４２ｄおよび１４３８ｅ〜１４４２ｅに、それぞれ画素Ａ５５〜Ａ５１、Ａ４５〜Ａ４１、Ａ３５〜Ａ３１、Ａ２５〜Ａ２１およびＡ１５〜Ａ１１が入力されたものとする。乗算器１４４２ａ〜１４４２ｅは、それぞれのフィルタ係数であるａ５１、ａ４１、ａ３１、ａ２１およびａ１１と、それぞれ入力した画素Ａ５１、Ａ４１、Ａ３１、Ａ２１およびＡ１１との乗算値を出力する。乗算器１４４１ａ〜１４４１ｅは、それぞれのフィルタ係数であるａ５２、ａ４２、ａ３２、ａ２２およびａ１２と、それぞれ入力した画素Ａ５２、Ａ４２、Ａ３２、Ａ２２およびＡ１２との乗算値を出力する。乗算器１４４０ａ〜１４４０ｅは、それぞれのフィルタ係数であるａ５３、ａ４３、ａ３３、ａ２３およびａ１３と、それぞれ入力した画素Ａ５３、Ａ４３、Ａ３３、Ａ２３およびＡ１３との乗算値を出力する。乗算器１４３９ａ〜１４３９ｅは、それぞれのフィルタ係数であるａ５４、ａ４４、ａ３４、ａ２４およびａ１４と、それぞれ入力した画素Ａ５４、Ａ４４、Ａ３４、Ａ２４およびＡ１４との乗算値を出力する。乗算器１４３８ａ〜１４３８ｅは、それぞれのフィルタ係数であるａ５５、ａ４５、ａ３５、ａ２５およびａ１５と、それぞれ入力した画素Ａ５５、Ａ４５、Ａ３５、Ａ２５およびＡ１５との乗算値を出力する。

乗算器１４３８ａ〜１４３８ｅ、１４３９ａ〜１４３９ｅ、１４４０ａ〜１４４０ｅ、１４４１ａ〜１４４１ｅおよび１４４２ａ〜１４４２ｅによって演算された乗算値は、図１３に示す全ての加算器によって加算される。加算値は、加算器１４４７ｂから出力され、出力部１４４８からフィルタ処理部１４３の外部に出力される。この加算値は、図１５に示すように、対象部分画像１３１に対して逆変換フィルタ１２１によってコンボリューション演算した値、すなわち、図１５の式（１）で表される演算値と同一である。コンボリューション演算の演算値は、対象部分画像１３１の中央に位置する画素である中央データに対して逆変換処理を実行した値となる。すなわち、コンボリューションの演算値は、逆変換処理後の画像において、逆変換処理前の画像の中央データに相当する位置の画素となる。

次に、フィルタ処理部１４３の逆変換処理について、図１６を参照しながら、画像１０５においてＸ方向の水平ラインを走査しながら逆変換処理をする動作の概略を説明する。図１６（ａ）は、フィルタ処理部１４３が、画像１０５における（１，１）の画素に対して逆変換フィルタ１２１によって逆変換処理をする状態を示している。図１６（ａ）に示すように、（１，１）の画素を中央データ１３５ａとしてコンボリューション演算するためには、（１，１）の画素を中央データとする対象部分画像１３１ａと、画像１０５とが重複している部分の画素が必要になる。すなわち、対象部分画像１３１ａのうち、図１５に示す対象部分画像１３１の画素Ａ３３〜Ａ３５、Ａ４３〜Ａ４５およびＡ５３〜Ａ５５に相当する画素が必要である。

そのためは、画素Ａ３３〜Ａ３５、Ａ４３〜Ａ４５およびＡ５３〜Ａ５５に相当する画素が、画像バッファ部１４１の出力部１４１３ａ〜１４１３ｃから出力されている必要がある。さらに、画素Ａ３５〜Ａ３３、Ａ４５〜Ａ４３およびＡ５５〜Ａ５３に相当する画素が、フィルタ処理部１４３のレジスタ１４３２ｃ〜１４３４ｃ、１４３２ｂ〜１４３４ｂおよび１４３２ａ〜１４３４ａに格納されている必要がある。そして、対象部分画像１３１ａにおいて、画像１０５と重複していない部分の画素は「０」として取り扱うものとする。

以上の状態において、フィルタ処理部１４３は、図１５に示したコンボリューション演算と同様に、対象部分画像１３１ａに対して逆変換フィルタ１２１によってコンボリューション演算を行う。フィルタ処理部１４３は、画像１０５の対象部分画像１３１ａの中央データ１３５ａである（１，１）の画素に対してコンボリューション演算した値を、逆変換処理後の画像の（１，１）の画素として出力する。

次に、フィルタ処理部１４３は、図１６（ｂ）に示すように、コンボリューション演算の対象となる画素をＸ方向にひとつシフトし、対象部分画像１３１ｂの中央データ１３５ｂである（２，１）の画素に対して逆変換処理をする。そして、フィルタ処理部１４３は、Ｘ方向の水平ラインをシフトしながらコンボリューション演算を繰り返し、図１６（ｃ）に示すように、Ｘ方向の水平ラインの最後の画素である（６４０，１）の画素に対して逆変換処理をする。（６４０，１）の画素は、図１６（ｃ）に示すように、対象部分画像１３１ｃの中央データ１３５ｃである。

以上のように、フィルタ処理部１４３は、Ｘ方向の水平ラインをシフトしながらコンボリューション演算を繰り返し、水平ラインの最後の画素に対する逆変換処理が終了すると、Ｙ方向の次の水平ラインに対して同様に逆変換処理を行う。

図１６（ｄ）〜１６（ｆ）は、フィルタ処理部１４３が、画像１０５におけるＹ方向の４番目の水平ラインの画素に対して逆変換処理を行う状態を示している。図１６（ｄ）は、フィルタ処理部１４３が、画像１０５における（１，４）の画素に対して逆変換フィルタ１２１によって逆変換処理をする状態を示している。図１６（ｄ）に示すように、（１，４）の画素を中央データ１３５ｄとしてコンボリューション演算するためには、（１，４）の画素を中央データとする対象部分画像１３１ｄと、画像１０５とが重複している部分の画素が必要になる。そして、対象部分画像１３１ｄにおいて、画像１０５と重複していない部分の画素は、上述と同様に「０」として取り扱うものとする。

図１６（ｅ）は、フィルタ処理部１４３が、画像１０５における（５，４）の画素に対して逆変換フィルタ１２１によって逆変換処理をする状態を示している。図１６（ｅ）に示すように、（５，４）の画素を中央データ１３５ｅとする対象部分画像１３１ｅは全体が画像１０５と重複しているので、フィルタ処理部１４３は、対象部分画像１３１ｅに含まれる画素をすべて利用した逆変換処理が可能となる。

そして、フィルタ処理部１４３は、Ｘ方向の水平ラインをシフトしながらコンボリューション演算を繰り返し、図１６（ｆ）に示すように、Ｘ方向の水平ラインの最後の画素である（６４０，４）の画素に対して逆変換処理をする。（６４０，４）の画素は、図１６（ｆ）に示すように、対象部分画像１３１ｆの中央データ１３５ｆである。

以上のように、フィルタ処理部１４３は、画像１０５を構成する各画素に対して逆変換フィルタ１２１によるコンボリューション演算を行って逆変換処理をするので、位相板１１ａによってぼけた画像を補正し、画像の解像度を向上させることができる。

なお、上述のように、画像１０５における逆変換フィルタ１２１によるコンボリューション演算の対象となる対象部分画像について、画像１０５と重複していない部分の画素は「０」としたが、これに限定されるものではない。例えば、対象部分画像の画像１０５と重複していない部分の画素は、対象部分画像の中央データを基準にして、対象部分画像の画像１０５と重複している部分の画素を折り返した場合の画素を用いるものとしてもよい。

具体的に、図１６（ａ）の対象部分画像１３１ａを例にして説明する。対象部分画像１３１ａのそれぞれの画素の名称を、仮に図１５に示す対象部分画像１３１の画素の名称と同様とする。この場合、対象部分画像１３１ａの画像１０５と重複していない部分の画素は、画素Ａ１１〜Ａ１５、Ａ２１〜Ａ２５、Ａ３１、Ａ３２、Ａ４１、Ａ４２、Ａ５１およびＡ５２である。また、対象部分画像１３１ａの画像１０５と重複している部分の画素は、画素Ａ３３〜Ａ３５、Ａ４３〜Ａ４５およびＡ５３〜Ａ５５である。

このとき、画素Ａ３１、Ａ３２、Ａ４１、Ａ４２、Ａ５１およびＡ５２は、中央データを基準にして、対象部分画像１３１ａの画像１０５と重複している部分の画素を折り返し、それぞれ画素Ａ３５、Ａ３４、Ａ４５、Ａ４４、Ａ５５およびＡ５４の値を用いる。また、画素Ａ１３〜Ａ１５およびＡ２３〜Ａ２５は、中央データを基準にして、対象部分画像１３１ａの画像１０５と重複している部分の画素を折り返し、それぞれ画素Ａ５３〜Ａ５５およびＡ４３〜Ａ４５の値を用いる。そして、画素Ａ１１、Ａ１２、Ａ２１およびＡ２２は、中央データを基準にして、対象部分画像１３１ａの画像１０５と重複している部分の画素のうち点対象の位置関係にある画素、すなわち、それぞれＡ５５、Ａ５４、Ａ４５およびＡ４４の値を用いる。以上のような方法によって、対象部分画像の各画素を決定するものとしてもよい。

また、図１４および１５に示すように、フィルタ処理部１４３が有する逆変換フィルタはタップ数が５×５のフィルタとしているが、これに限定されるものではない。すなわち、フィルタのタップ数は３×３、１５×１５または２１×２１等異なるタップ数としてもよい。この場合、フィルタのタップ数に合わせて、対象部分画像の大きさも一致させる必要がある。また、フィルタによる逆変換処理の対象となる中央データが存在するように、フィルタのタップ数は奇数である必要がある。

また、逆変換フィルタは、例えば１５×１５以上のタップ数であることが好ましい。逆変換フィルタは、タップ数が多いほど、位相板によって被写界深度が拡張されてぼけが加えられた画像に対して、ぼけを補正できる光軸上の幅を大きくすることができる。したがって、タップ数が多い逆変換フィルタを用いることによって、位相板およびレンズの被写界深度についての設計のバリエーションを増やすことができる。

＜逆変換フィルタの周波数特性の導出＞
まず、１箇所のフォーカス位置において光学系であるレンズユニット１１によって広がったスポットを一点に集まるように復元する逆変換処理に使用される逆変換フィルタの周波数特性の導出方法について説明する。上述の周波数特性を実現するフィルタとしては、２次元の線形フィルタかつＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタが好適である。

まず、撮像素子１２によって撮像された画像への光学系による影響のモデルを以下の式（２）に示す２次元のコンボリューション演算（畳み込み演算）の式によって表す。

ここで、ｉｍａｇｅ_{ｃａｐｔｕｒｅｄ}は光学系を通って検出された２次元の撮像画像の画素であり、ｉｍａｇｅ_{ｉｄｅａｌ}は被写体４そのものを示す理想画像の画素であり、ｈは光学系のＰＳＦを示す。

以下、画像処理系（撮像素子１２および画像処理部１４）に加わるノイズの影響を考慮して、逆変換処理後の画像の各画素と、理想画像の各画素との誤差についての平均二乗誤差を最小とする逆変換フィルタの周波数特性の導出を考える。平均二乗誤差は、以下の式（３）によって表される。

ここで、Ｅ［］は期待値（平均値）を示し、ｎは画像上の位置を示し、ｉｍａｇｅ_{ｐｒｏｃｅｓｓｅｄ}（ｎ）は、ｉｍａｇｅ_{ｃａｐｔｕｒｅｄ}（ｎ）に対して逆変換処理をした画像の画素を示す。なお、ｉｍａｇｅ_{ｃａｐｔｕｒｅｄ}は、ノイズが含まれていることを考慮する。

波形ｘ（ｎ）が持つ全エネルギーのｎの全領域についての総和と、波形ｘ（ｎ）のエネルギーのフーリエ変換Ｘ（ω）の全周波数成分についての総和とが等しいとするパーセバルの定理より、式（３）は、周波数領域における平均二乗誤差として以下の式（４）で表される。

ここで、ＩＭＡＧＥ_{ｉｄｅａｌ}（ω）はｉｍａｇｅ_{ｉｄｅａｌ}（ｎ）の周波数特性を示し、ＩＭＡＧＥ_{ｐｒｏｃｅｓｓｅｄ}（ω）はｉｍａｇｅ_{ｐｒｏｃｅｓｓｅｄ}（ｎ）の周波数特性を示し、ωは空間周波数を示す。

ここで、逆変換フィルタの周波数特性をＲ（ω）とすると、以下の式（５）の最小値を与える周波数特性Ｒ（ω）が最適の逆変換フィルタとなる。

ここで、ＩＭＡＧＥ_{ｃａｐｔｕｒｅｄ}（ω）は、ｉｍａｇｅ_{ｃａｐｔｕｒｅｄ}（ｎ）の周波数特性である。

式（５）において、ＩＭＡＧＥ_{ｉｄｅａｌ}（ω）＝Ｓ（ω）、およびＩＭＡＧＥ_{ｃａｐｔｕｒｅｄ}（ω）＝Ｘ（ω）とし、式（５）の最小値をもとめるため、式（５）をＲ^＊によって微分すると、下記の式（６）が得られる。

ここで、Ｅ［｜Ｘ（ω）｜^２］は、ノイズを含んだ撮像画像のパワースペクトルの平均値であり、Ｅ［Ｓ（ω）・Ｘ（ω）^＊］は、ノイズを含んだ撮像画像と理想画像との相互パワースペクトルの平均値である。

式（５）の最小値をもとめるため式（６）の最右辺を０とすると下記の式（７）が得られる。

式（７）から下記の式（８）が得られる。

この式（８）に示す周波数特性Ｒ（ω）に基づく逆変換フィルタが、上述の式（３）に示す平均二乗誤差を最小とする最適のフィルタとなる。

ここで、ノイズの周波数特性をＷ（ω）とし、光学系のＰＳＦであるｈの周波数特性をＨ（ω）として、上述の式（２）を周波数空間で示すと下記の式（９）で示される。

ノイズの周波数特性Ｗ（ω）と、周波数特性Ｓ（ω）とが無相関であるとすると、Ｅ［Ｓ（ω）・Ｗ（ω）^＊］＝０であるので、上述の式（８）の右辺の分母に、式（９）を代入すると、下記の式（１０）が得られる。

同じくノイズの周波数特性Ｗ（ω）と、周波数特性Ｓ（ω）とが無相関であるとすると、Ｅ［Ｗ（ω）・Ｓ（ω）^＊］＝０およびＥ［Ｓ（ω）^＊・Ｗ（ω）］＝０であるので、上述の式（８）の右辺の分母に、式（９）を代入すると、下記の式（１１）が得られる。

上述の式（８）、（１０）および（１１）から、下記の式（１２）に示す周波数特性Ｒ（ω）が得られる。

この式（１２）に示す周波数特性Ｒ（ω）に基づく逆変換フィルタが、画像処理系のノイズを考慮した場合の上述の式（３）に示す平均二乗誤差を最小とする最適なフィルタとなる。ここで、Ｅ［｜Ｓ（ω）｜^２］は理想画像のパワースペクトルの平均値であり、Ｅ［｜Ｗ（ω）｜^２］はノイズのパワースペクトルの平均値であり、｜Ｈ（ω）｜^２は光学系の周波数特性のパワースペクトルである。

また、上述の式（１２）に示す周波数特性Ｒ（ω）を適用した場合において、逆変換処理後の画像の各画素と、理想画像の各画素との二乗誤差についての周波数領域における積分を取ると、下記の式（１３）が得られる。

上記の式（１３）の演算においては、上述のように、ノイズの周波数特性Ｗ（ω）と、周波数特性Ｓ（ω）とが無相関であることを利用している式（１３）の最右辺の第１項は、逆変換処理後の画像の復元しきれなかった誤差量を示している。第２項は、ノイズによる誤差量を示している。

式（１３）の積分値が最小となるように、光学系の周波数特性Ｈ（ω）を設計することによって、上述の式（５）に示す周波数領域においての平均二乗誤差が最小となる光学系および逆変換フィルタの組み合わせを得ることができる。また、パーセバルの定理より、上述の式（３）に示す実空間における平均二乗誤差が最小となる光学系および逆変換フィルタの組み合わせを得ることができる。

ただし、上述の式（１２）に示す周波数特性Ｒ（ω）に基づく逆変換フィルタは、レンズユニット１１の光軸方向の１箇所のフォーカス位置（すなわち１箇所の周波数特性Ｈ）において、光学系によって広がったスポットを復元することができるものである。したがって、式（１２）に示す周波数特性Ｒ（ω）に基づく逆変換フィルタは、スポットの形状が異なるその他のデフォーカス位置においては、スポットを復元するための最適なフィルタにはならない。

次に、レンズユニット１１の光軸方向のあるデフォーカス位置範囲内において光学系であるレンズユニット１１によって広がったスポットを復元する逆変換処理に使用される逆変換フィルタの周波数特性の導出方法について説明する。これによって、１箇所のフォーカス位置における最適な逆変換フィルタではなく、複数の位置において最適な逆変換フィルタをもとめることができる。

まず、２箇所のデフォーカス位置を想定し、上述の式（５）を変形して、２つの画像についての周波数領域における平均二乗誤差の和は、下記の式（１４）で表される。

２つの画像は、それぞれＩＭＡＧＥ１およびＩＭＡＧＥ２に対応する。

式（１４）において、ＩＭＡＧＥ１_{ｉｄｅａｌ}（ω）＝Ｓ１（ω）、ＩＭＡＧＥ１_{ｃａｐｔｕｒｅｄ}（ω）＝Ｘ１（ω）、ＩＭＡＧＥ２_{ｉｄｅａｌ}（ω）＝Ｓ２（ω）およびＩＭＡＧＥ２_{ｃａｐｔｕｒｅｄ}（ω）＝Ｘ２（ω）とする。そして、式（１４）の最小値をもとめるため、式（１４）をＲ^＊によって微分すると、下記の式（１５）が得られる。

式（１５）の最小値をもとめるため式（１５）の最右辺を０として、周波数特性Ｒ（ω）について解くと、下記の式（１６）が得られる。

撮像装置１によって同一の画像を撮像しているものと仮定すると、Ｓ１（ω）＝Ｓ２（ω）となり、これをＳ（ω）とおき、さらに、上述の式（９）の関係式から下記の式（１７）が得られる。

この式（１７）に示す周波数特性Ｒ（ω）に基づく逆変換フィルタが、上述の式（１４）に示す周波数領域の平均二乗誤差を最小とする最適なフィルタとなる。

以上は２つの画像の場合であったが、Ｎ個の画像、すなわち、Ｎ箇所のデフォーカス位置に一般化した周波数特性Ｒ（ω）は、下記の式（１８）で表される。

この式（１８）に示す周波数特性Ｒ（ω）に基づく逆変換フィルタが、画像処理系のノイズを考慮し、式（１４）に基づく複数のデフォーカス位置に対応する周波数領域の平均二乗誤差を最小とする最適なフィルタとなる。なお、できるだけ多くのデフォーカス位置、すなわち、できるだけ大きなＮの値によって周波数特性Ｒを導出するのが好ましい。

また、上述の式（１７）に示す周波数特性Ｒ（ω）を適用した場合において、逆変換処理後の画像の各画素と、理想画像の各画素との二乗誤差についての周波数領域における積分を取ると、下記の式（１９）が得られる。

上記の式（１９）の演算においては、上述のように、ノイズの周波数特性Ｗ（ω）と、周波数特性Ｓ（ω）とが無相関であることを利用している。

上述の式（１９）について、Ｎ個の画像、すなわち、Ｎ箇所のデフォーカス位置に一般化すると、下記の式（２０）が得られる。

式（２０）に示す値をＮで割った値である下記の式（２１）で示される値をＮ箇所のデフォーカス位置に一般化した場合の周波数領域における平均二乗誤差ＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）であると定義する。

式（２１）に示すＭＳＥが最小となるように、光学系の周波数特性Ｈ（ω）を設計することによって、上述の式（１４）に示す周波数領域においての平均二乗誤差が最小となる光学系および逆変換フィルタの組み合わせを得ることができる。また、パーセバルの定理により、実空間においての平均二乗誤差が最小となる光学系および逆変換フィルタの組み合わせを得ることができる。したがって、式（１８）に示す周波数特性Ｒ（ω）に基づいて、例えば、画像処理部１４の画像バッファ部１４１が有する逆変換フィルタ１２１を導出するものとすればよい。

以上のように、Ｎ箇所のデフォーカス位置、すなわち、複数のデフォーカス位置について、式（１８）に示す周波数特性Ｒ（ω）から最適な逆変換フィルタをもとめることができる。これによって、デフォーカス位置によってスポットの形状が変わっても、同一の逆変換フィルタによって復元することができるので、より広い範囲にまで被写界深度を拡張することができる。

図１７は、第１の実施の形態の画像処理部のフィルタ処理部の逆変換フィルタを決定するための周波数特性を演算する流れを示すフローチャートである。図１７を参照しながら、式（１８）に示す周波数特性Ｒを具体的に演算する流れについて説明する。

＜＜ステップＳ１＞＞
まず、レンズユニット１１における面曲率および面間隔等、ならびに位相板１１ａの特性等の光学系パラメータに基づいて、レンズユニット１１に対する光線追跡演算によりＰＳＦを導出する。ここで、複数のデフォーカス位置における光学系パラメータによって光線追跡演算を行い、ＰＳＦを導出する。そして、ステップＳ２へ進む。

＜＜ステップＳ２＞＞
ステップＳ１で導出したＰＳＦをフーリエ変換することによって、光学系の周波数特性Ｈを導出する。そして、ステップＳ５へ進む。

＜＜ステップＳ３＞＞
画像処理系（撮像素子１２および画像処理部１４）に加わるノイズ特性を測定する。そして、ノイズ特性をフーリエ変換することによって、ノイズの周波数特性Ｗを導出する。なお、ノイズ特性の測定が困難である場合は、空間周波数によらず、撮像素子１２のＳ／Ｎ比の値を定数としてノイズの周波数特性Ｗを導出するものとしてもよい。そして、ステップＳ５へ進む。

＜＜ステップＳ４＞＞
撮像装置１により、自然風景またはバーコード等を様々な大きさおよび撮影条件によって撮像された画像を理想画像とする。理想画像を構成する画素の値をフーリエ変換し、空間周波数ωについての平均値を被写体の周波数特性Ｓとして導出する。なお、被写体の周波数特性Ｓは、被写体から出る光に収差を与えない光学系を通過した光に基づく撮像画像の画素の周波数特性としてもよい。また、被写体の周波数特性Ｓは、定数としてもよい。そして、ステップＳ５へ進む。

＜＜ステップＳ５＞＞
ステップＳ２で導出した光学系の周波数特性Ｈ、ステップＳ３で導出したノイズの周波数特性Ｗ、およびステップＳ４で導出した被写体の周波数特性Ｓから、上述の式（１８）を使用して、逆変換フィルタの周波数特性Ｒを演算する。

＜ＭＴＦの空間周波数特性＞
図１８は、光学系を通過した光による撮像画像の空間周波数特性を示す図である。図１９は、逆変換処理が行われた画像の空間周波数特性を示す図である。図１８および１９を参照しながら、画像の空間周波数特性について説明する。

まず、図１８を参照しながら、レンズユニット１１（光学系）を通過した光が撮像素子１２によって撮像された画像についての空間周波数ωに対するＭＴＦについて説明する。図１８に示される目標空間周波数特性２０１は、被写体の撮像画像のコントラストが完全に再現された場合のＭＴＦの空間周波数ωについての特性（ＭＴＦ＝１）を示す。

上述したように、レンズユニット１１を通過した光は、収差を与えるレンズおよび位相板１１ａの作用によって点像分布関数（ＰＳＦ）が付加される。図１８における空間周波数特性２０２は、レンズユニット１１を通過した光に基づいて、撮像素子１２によりフォーカス位置において撮像された撮像画像のＭＴＦの空間周波数ωについての特性を示す。図１８における空間周波数特性２０３は、レンズユニット１１を通過した光に基づいて撮像素子１２によってあるデフォーカス位置において撮像された撮像画像のＭＴＦの空間周波数ωについての特性を示す。レンズユニット１１を通過した光はＰＳＦが付加されているので、フォーカス位置における空間周波数特性２０２、およびデフォーカス位置における空間周波数特性２０３は、図１８に示すように、何れも目標空間周波数特性２０１よりも低い値となる。

次に、図１９（ａ）を参照しながら、図１３に示すフィルタ処理部１４３が有する逆変換フィルタが、上述の式（１２）に示す周波数特性Ｒによってもとめられた場合を考える。この場合において、撮像素子１２によって撮像された画像がフィルタ処理部１４３によって逆変換処理が行われた画像についての空間周波数ωに対するＭＴＦについて説明する。

図１９（ａ）における空間周波数特性２０２ａは、撮像素子１２によりフォーカス位置において撮像された撮像画像について、フィルタ処理部１４３により逆変換処理された画像のＭＴＦの空間周波数ωについての特性を示す。図１９（ａ）における空間周波数特性２０３ａは、撮像素子１２によりあるデフォーカス位置において撮像された撮像画像について、フィルタ処理部１４３により逆変換処理された画像のＭＴＦの空間周波数ωについての特性を示す。上述のように、式（１２）は、１箇所のフォーカス位置において、レンズユニット１１によってＰＳＦが付加された画像を復元する逆変換フィルタの周波数特性Ｒを示すので、空間周波数特性２０２ａは、ＭＴＦ＝１となり、目標空間周波数特性２０１と一致する。しかし、式（１２）に示す周波数特性Ｒから導出された逆変換フィルタは、フォーカス位置におけるスポットとは形状の異なるデフォーカス位置には対応していないので、空間周波数特性２０３ａのＭＴＦは、空間周波数特性２０２ａのＭＴＦよりも低くなる。

次に、図１９（ｂ）を参照しながら、図１３に示すフィルタ処理部１４３が有する逆変換フィルタが、上述の式（１８）に示す周波数特性Ｒに基づいてもとめられた場合を考える。この場合において、撮像素子１２によって撮像された画像がフィルタ処理部１４３によって逆変換処理が行われた画像についての空間周波数ωに対するＭＴＦについて説明する。

図１９（ｂ）における空間周波数特性２０２ｂは、撮像素子１２によりデフォーカス位置Ｐ１において撮像された撮像画像について、フィルタ処理部１４３により逆変換処理された画像のＭＴＦの空間周波数ωについての特性を示す。図１９（ｂ）における空間周波数特性２０３ｂは、撮像素子１２によりデフォーカス位置Ｐ２において撮像された撮像画像について、フィルタ処理部１４３により逆変換処理された画像のＭＴＦの空間周波数ωについての特性を示す。上述のように、式（１８）は、複数のデフォーカス位置において、すなわち、レンズユニット１１の光軸方向の所定の位置範囲（被写界深度）において、レンズユニット１１によってＰＳＦが付加された画像を復元する逆変換フィルタの周波数特性Ｒを示す。したがって、被写界深度に含まれる何れのデフォーカス位置においても、撮像素子１２により撮像され、かつ、フィルタ処理部１４３により逆変換処理された画像の空間周波数特性におけるＭＴＦは、目標空間周波数特性２０１のＭＴＦに近接することになる。すなわち、上述の逆変換フィルタによって複数のデフォーカス位置における画像が逆変換処理された画像の周波数特性は、図１９（ｂ）に示すように、目標空間周波数特性２０１よりも大きい値であったり、小さい値であったりする。いずれにしても、上述の逆変換フィルタによって逆変換処理された画像の周波数特性は、図１９（ｂ）に示すように、目標空間周波数特性２０１に近接する。

このように、フィルタ処理部１４３は、式（１８）に示す周波数特性Ｒ（ω）に基づいてもとめられた逆変換フィルタによる逆変換処理によって、所定の位置範囲において、レンズユニット１１によってＰＳＦが付加された画像を復元することができる。したがって、所定の位置範囲においてスポットの形状が変わっても、同一の逆変換フィルタによって復元することができるので、より広い範囲にまで被写界深度を拡張することができる。

＜合焦領域の形成＞
図２０は、合焦面の各位置において被写界深度が拡張された場合に形成される合焦領域を説明する図である。図２１は、撮像素子上でピントの合う領域が拡大されることを説明する図である。図２０および２１を参照しながら、合焦面５０の各位置において被写界深度が拡張されることによって形成される合焦領域５１について説明する。

上述のように、フィルタ処理部１４３が、上述の式（１８）に示す周波数特性Ｒ（ω）に基づく逆変換フィルタによる逆変換処理を実行することによって、図２０（ａ）に示すように、合焦面５０の各位置において、矢印の方向（レンズユニット１１の光軸方向）に被写界深度が拡張する。したがって、逆変換処理をしない場合、被写体が合焦面５０上に位置しないと焦点が合った状態で撮像されないのに対して、上述の逆変換処理を実行することによって、焦点が合う領域がレンズユニット１１の光軸方向に拡張され、合焦領域５１が形成される。すなわち、被写体がこの合焦領域５１内に含まれていれば、被写体の全体に対して焦点が合った状態で撮像することが可能となる。例えば、図２０（ｂ）に示すように、様々な角度で配置された被写体４ｅ〜４ｇは、いずれも全体が合焦領域５１に含まれているので、全体に対して焦点が合った状態で撮像されることができる。この場合、光源１７から照射される光線６０は、少なくとも合焦領域５１内に含まれるように照射すればよい。

また、例えば、上述の図８に示す合焦面５０上の被写体４ｃが配置された位置（合焦面５０の奥側）における合焦範囲を、撮像素子１２のセンサ面において考えると、フィルタ処理部１４３によって逆変換処理がされない場合、図２１（ａ）に示すように、合焦範囲は狭い。これに対して、フィルタ処理部１４３によって逆変換処理が実行される場合、図２１（ｂ）に示すように、撮像素子１２のセンサ面において合焦面５０の奥側に対応する合焦範囲は広くなる。

以上のように、本実施の形態に係る撮像装置１は、シャインプルーフの原理に基づき、撮像素子１２のセンサ面をレンズユニット１１の主面に対して傾けて配置させ、合焦位置がレンズユニット１１の光軸方向に延伸した合焦面５０を形成させている。さらに、光源１７を、照射する光線６０の方向をレンズユニット１１の画角の中心軸方向からずらし、光線６０を合焦面５０上に位置するように照射するように配置するものとしている。これによって、レンズユニット１１の光軸方向の広い範囲において合焦した撮像画像を得ることができると共に、ユーザは、光源１７が照射する光線６０が示す位置に被写体が配置されるように、撮像装置１を移動させることによって、容易に被写体の距離に応じた適切な撮像位置とすることができ、被写体に焦点が合った撮像画像を得ることができる。なお、光源１７は、光線６０を厳密に合焦面５０上に位置するように照射することは、必ずしも必要ではなく、少なくとも、光線６０を、合焦面５０と少しずれた位置、かつ合焦面５０と平行となるように照射する等のように、合焦面５０の近傍に照射するようにしても、上述の効果を得ることはできる。

また、フィルタ処理部１４３が、上述の式（１８）に示す周波数特性Ｒ（ω）に基づく逆変換フィルタによる逆変換処理を実行することによって、レンズユニット１１の光軸方向に延伸した合焦面５０の各位置において、レンズユニット１１の光軸方向に被写界深度が拡張する。これによって、焦点が合う領域がレンズユニット１１の光軸方向に拡張され、合焦領域５１が形成される。そして、被写体が合焦領域５１内に含まれていれば、所定の大きさを有する被写体でも、被写体の全体に対して焦点が合った状態で撮像することが可能となる。また、レンズユニット１１の光軸方向の広い範囲において、被写体の全体に対して合焦した撮像画像を得ることができる。

なお、本実施の形態に係る撮像装置１は、光源１７を備えるものとし、ユーザは、光源１７が照射する光線６０が示す位置に被写体が配置されるように、撮像装置１を移動させることによって、容易に被写体の焦点が合った撮像画像を得ることができるものとしている。しかし、例えば、撮像装置１が生産ライン等において固定して使用される場合、被写体（例えば、生産ラインを流れるワークに貼付された二次元コード等）が、通常、合焦面５０または合焦領域５１を必ず通過するように撮像装置１は固定される。この場合は、必ずしも光源１７は必要がなく、被写体が合焦領域５１内に含まれていれば、所定の大きさを有する被写体でも、被写体の全体に対して焦点が合った状態で撮像することができるという効果は得られる。

また、上述のように、シャインプルーフの原理を用いて、合焦位置がレンズユニット１１の光軸方向に延伸した合焦面５０を形成させ、レンズユニット１１が有する被写界深度の制限による狭い合焦範囲において撮像可能な小さな被写体を扱う場合は、必ずしも、フィルタ処理部１４３の逆変換処理による被写界深度の拡張は必要がない。この場合においても、光源１７を備えた撮像装置１は、レンズユニット１１の光軸方向の広い範囲において合焦した撮像画像を得ることができると共に、ユーザは光源１７が照射する光線６０が示す位置に被写体が配置されるように、撮像装置１を移動させることによって、容易に被写体の距離に応じた適切な撮像位置とすることができ、被写体の焦点が合った撮像画像を得ることができるという効果が得られる。

また、被写界深度拡張のために、上述の式（１８）に示す周波数特性Ｒ（ω）に基づく逆変換フィルタによる逆変換処理を例に挙げたが、被写界深度拡張の方法はこれに限定されるものではない。すなわち、異なる逆変換フィルタによる逆変換処理、または、異なるその他の処理によって被写界深度の拡張が実現されるものとしてもよい。

＜第１の実施の形態の変形例＞
本実施の形態の変形例に係る撮像装置について、上述の本実施の形態に係る撮像装置１と相違する点を中心に説明する。

図２２は、第１の実施の形態の変形例に係る撮像装置における光学系周辺の要部構成の一例を示す図である。図２２を参照しながら、本実施の形態の変形例に係る撮像装置の光学系周辺の要部構成について説明する。

本変形例に係る撮像装置は、第１の実施の形態に係る撮像装置１におけるレンズユニット１１を、多焦点レンズ１１ｃ（光学系）に置換した構成を有する。このような多焦点レンズ１１ｃを用いることによって、図２２に示すように、第１の実施の形態における合焦面５０と同様に、合焦位置が光軸方向に延伸した合焦面５０ａを形成することができる。また、多焦点レンズ１１ｃを用いることによって、撮像素子１２ａは、センサ面が多焦点レンズ１１ｃの主面に対して傾けて配置する必要がなく、撮像素子１２ａのセンサ面と、多焦点レンズ１１ｃの主面とは平行の状態となっている。なお、平行の状態とは、厳密に平行である状態に限定するものではなく、略平行である状態を含むものとする。このような本変形例に係る撮像装置の構成を採用することによって、図２２に示す合焦面５０ａ上に存在する３つの被写体４ａ〜４ｃは、いずれも撮像素子１２ａ上で結像する。すなわち、合焦面５０ａは、多焦点レンズ１１ｃの光学特性、および多焦点レンズ１１ｃと撮像素子１２ａのセンサ面（結像面）との位置関係に基づいて、形成される。そして、光源１７は、照射する光線６０の方向を多焦点レンズ１１ｃの画角の中心軸方向からずらし、光線６０を合焦面５０ａ上に位置するように照射する。

以上のように、撮像装置の光学系として多焦点レンズ１１ｃを用いることにより、合焦位置が光軸方向に延伸した合焦面５０ａを形成することができると共に、撮像素子１２ａのセンサ面を多焦点レンズ１１ｃの主面に対して傾けて配置する必要のない構成とすることができる。したがって、撮像装置の全体のサイズをコンパクトにすることが可能となる。

（第２の実施の形態）
第２の実施の形態に係る撮像装置について、第１の実施の形態に係る撮像装置と相違する点を中心に説明する。第１の実施の形態においては、被写界深度拡張のためのフィルタ処理部１４３における逆変換処理として、所定の位置範囲（複数のデフォーカス位置）においてスポットの形状が変わっても、同一の逆変換フィルタによって復元することができる処理について説明した。本実施の形態においては、ノイズを抑制しながら、光学的な収差であるぼけを復元する逆変換処理により被写界深度拡張を実現する動作について説明する。本実施の形態において、撮像システムの全体構成、撮像システムの構成、レンズユニット１１周辺の要部構成、および画像バッファ部１４１の構成については、第１の実施の形態における図１〜３、８および１１に示す構成と同様である。

＜局所的な逆変換フィルタの周波数特性Ｒ’について＞
図２３は、撮像画像における各エリアによってパワースペクトルが異なることを説明する図である。図２４は、撮像画像全体のパワースペクトルと最適フィルタとを説明する図である。図２５は、撮像画像の平坦部のエリアのパワースペクトルと最適フィルタとを説明する図である。図２６は、撮像画像のテクスチャ部のエリアのパワースペクトルと最適フィルタとを説明する図である。図２３〜２６を参照しながら、局所的な逆変換フィルタの周波数特性Ｒ’（ω）について説明する。

第１の実施の形態の逆変換フィルタの周波数特定Ｒ（ω）をもとめる式（１２）における周波数特性Ｓ（ω）は、既知であるものとし、すなわち、理想画像全体の周波数特性であるといえるものである。しかし、図２３に示すように、実際の撮像素子１２によって実際に撮像された画像である撮像画像１０２は、テクスチャ部１０２ａ、およびテクスチャ部１０２ａとは異なる平坦部を有するものである。第１の実施の形態においては、図２４（ａ）に示す既知である理想画像全体の周波数特性Ｓ（ω）に基づいて、上述の式（２１）に示すＭＳＥが最小となるような図２４（ｂ）に示す逆変換フィルタの周波数特性Ｒ（ω）を用いて逆変換処理を実行する動作を説明した。この周波数特性Ｒ（ω）に基づいてフィルタ処理を実行すると、撮像画像１０２全体では、確かに上述の式（２１）に示すＭＳＥを最小にすることができる。しかし、例えば、撮像画像１０２における平坦部であるエリア１０３においては、スペクトルがない部分の空間周波数ωの領域まで増幅されてしまい、不要なノイズが増加する。

ここで、図２５（ａ）に示すように、理想画像においてエリア１０３に相当する局所的なエリアの周波数特性をＳ’（ω）とする。そして、周波数特性Ｓ’（ω）のスペクトルが存在する空間周波数ωの領域（低周波数領域）のみを増幅し、エリア１０３において最小のＭＳＥを与えるような局所的な逆変換フィルタの周波数特性Ｒ’（ω）を考えることができる（図２５（ｂ）参照）。

また、テクスチャ部１０２ａを含むエリア１０４においては、図２６（ａ）に示すように、理想画像においてエリア１０４に相当する局所的なエリアの周波数特性Ｓ’（ω）は、空間周波数ωの高周波領域までスペクトルが存在する。したがって、エリア１０４の周波数特性Ｓ’（ω）については、高周波領域まで増幅し、エリア１０４において最小のＭＳＥを与えるような局所的な逆変換フィルタの周波数特性Ｒ’（ω）を考えることができる（図２６（ｂ）参照）。

このように、画像の逆変換処理として、局所的に逆変換フィルタをかける周波数特性Ｒ’（ω）を導出することによって、ノイズの増幅を抑制し、画像のテクスチャの再現性を向上することができる。以下に、局所的な逆変換フィルタの周波数特性Ｒ’（ω）、および、周波数特性Ｒ’（ω）による逆変換処理の演算を簡略化するために導出する周波数特性Ｋ（ω）について説明する。

まず、上述の式（１２）に示す周波数特性Ｒ（ω）をもとめる式の中の周波数特性Ｓ（ω）を、理想画像の局所的なエリアの周波数特性Ｓ’（ω）に置き換えると、下記の式（２２）で示される局所的なエリアの最小のＭＳＥを与える周波数特性Ｒ’（ω）が得られる。

この周波数特性Ｒ’（ω）を、撮像画像ごと、かつ、撮像画像の局所的なエリアごと（画素ごと）にもとめることによって、局所的なエリアの最小のＭＳＥが得られ、かつ、撮像画像全体に共通の周波数特性Ｒ（ω）に基づく逆変換フィルタによる逆変換処理を実行するよりもノイズの増加を抑制することができる。なお、周波数特性Ｒ’（ω）をもとめる局所的なエリアは、画素ごとに限らず、撮像画像の所定の画素群（所定部分）ごとであってもよい。

ここで、式（２２）の中の周波数特性Ｓ’（ω）は、撮像画像から直接得ることができないので、上述の式（９）を使用して、理想画像の局所的なパワースペクトルの平均値Ｅ［｜Ｓ’（ω）｜^２］を下記の式（２３）のように定義する。

ここで、Ｘ’（ω）は、撮像画像の局所的なエリア（画素）の周波数特性であり、式（２３）は、Ｘ’（ω）＞＞Ｗ（ω）の関係から近似をとっている。すなわち、撮像画像のノイズ成分は、画素よりも十分小さいと仮定している。また、ここで、平均値Ｅ［｜Ｓ’（ω）｜^２］は、より正確には、周波数特性Ｓ（ω）に対して周波数特性Ｘ（ω）についての最小のＭＳＥを与える逆変換フィルタの周波数特性Ｒ（ω）を用いた場合、下記の式（２４）によって表される。

次に、ノイズのモデルを下記のように考える。撮像画像のノイズは、画素によらず定常的な振幅を持つノイズと、その画素に比例する振幅を持つノイズとを有することを考慮し、下記の式（２５）のように定義する。

ここで、ｋは、撮像画像の画素に比例する振幅を持つノイズの比例定数であり、ｃは、撮像画像の各画素に依存しない定常的な振幅を持つノイズ成分である。パーセバルの定理により、式（２５）を周波数領域に変換すると、下記の式（２６）となる。

上述の式（２４）および（２６）を、式（２２）に代入すると、下記の式（２７）が得られる。

ｋとｃとは、グレースケールチャートの撮像画像の解析によって得ることができ、その値を用いることによって、最小のＭＳＥを与える局所的な逆変換フィルタの周波数特性Ｒ’（ω）が得られる。

実際の回路実装においては、上述の局所的な逆変換フィルタの周波数特性Ｒ’（ω）を画素ごとに直接演算することで実現は可能であるが、局所的な逆変換フィルタをもとめるのは演算負荷が大きいため、以下の方法を用いて、演算負荷を低減することができる。なお、以下においては、式（２５）に示す撮像画像の画素に比例する振幅を持つノイズであるｋ^２｜ｘ（ｎ）｜^２の成分は省略するが、導出する式のノイズのパワースペクトル｜Ｗ（ω）｜^２に、この項を追加することによって、その効果を得ることができる。

まず、式（２２）を下記の式（２８）のように変形する。

ここで、局所的な逆変換フィルタの周波数特性Ｒ’（ω）と、逆変換フィルタの周波数特性Ｒ（ω）との比をＫ（ω）とすると、Ｋ（ω）は下記の式（２９）で表される。

そして、予めもとめておいた周波数特性Ｒ（ω）と、式（２９）に示すＫ（ω）とによって、局所的な逆変換フィルタの周波数特性Ｒ’（ω）をもとめることを考えると、周波数特性Ｒ’（ω）は、下記の式（３０）によってもとめることができる。

すなわち、予めもとめておいた周波数特性Ｒ（ω）に基づく逆変換フィルタと直列に、Ｋ（ω）という特性に基づくフィルタ（以下、補正フィルタと称する）を作用させることによって、周波数特性Ｒ’（ω）に基づく局所的な逆変換フィルタと同等なフィルタ処理を行うことが可能となる。

ここで、式を簡略化するため、以下の式（３１）に示すようにＡ（ω）を定義する。

この式（３１）を上述の式（２９）に代入すると、補正フィルタの周波数特性Ｋ（ω）は、下記の式（３２）によってもとめることができる。

なお、ノイズが大きいものと仮定し、Ａ（ω）＜＜Ｅ［１／｜Ｓ’（ω）｜^２］かつＡ（ω）＜＜Ｅ［１／｜Ｓ（ω）｜^２］であるとすると、式（３２）は、下記の式（３３）のように簡略化されて表される。

さらに、被写体の典型的なスペクトルを一様分布とし、Ｅ［｜Ｓ（ω）｜^２］＝１とすると、式（３３）は、下記の式（３４）のようにさらに簡略化されて表される。

なお、実用上は、Ａ（ω）＜＜Ｅ［１／｜Ｓ’（ω）｜^２］かつＡ（ω）＜＜Ｅ［１／｜Ｓ（ω）｜^２］が成立しない場合を考慮して、以下の式（３５）に示すように比例係数ｔを導入して周波数特性Ｋ（ω）を表すこともできる。

また、補正フィルタの周波数特性Ｋ（ω）を演算するための式（３２）〜（３５）における理想画像の局所的なパワースペクトルの平均値Ｅ［｜Ｓ’（ω）｜^２］は、上述に示した式（２４）によってもとめることができる。

以上のように、局所的な逆変換フィルタの周波数特性Ｒ’（ω）は、予めもとめておいた逆変換フィルタの周波数特性Ｒ（ω）と、式（３２）〜（３５）によって算出される補正フィルタの周波数特性Ｋ（ω）とを乗算することによってもとめることができるので、演算負荷を低減することができる。

＜フィルタ処理部の構成および動作＞
図２７は、第２の実施の形態の画像処理部のフィルタ処理部の構成の一例と動作を説明する図である。図２７を参照しながら、画像処理部１４のフィルタ処理部１４３ａの構成をおよび動作について説明する。

フィルタ処理部１４３ａ（逆変換処理手段）は、図２７に示すように、ＦＴ（Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）部１４３１＿１と、乗算器１４３２＿１〜１４３２＿５０と、Ｋ演算部１４３３＿１と、乗算器１４３４＿１〜１４３４＿５０と、ＩＦＴ（Ｉｎｖｅｒｓｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）部１４３５＿１と、備えている。

ＦＴ部１４３１＿１は、例えば、５×５の画素を入力して、フーリエ変換を実行し、周波数領域に変換する。その結果、ＦＴ部１４３１＿１は、５×５の画素すなわち２５個のデータから、２５個の複素数に変換して、２５個の実部データおよび２５個の虚部データ（まとめてデータＸ’１〜Ｘ’５０と表すものとする）を出力する。

乗算器１４３２＿１〜１４３２＿５０は、入力される２つのデータを乗算して出力する。乗算器１４３４＿１〜１４３４＿５０についても同様である。

Ｋ演算部１４３３＿１は、上述の式（２４）、および式（３２）〜（３５）のいずれかに基づいて、入力される周波数特性Ｒ（ω）とＸ’（ω）との乗算値から補正フィルタの周波数特性Ｋ（ω）を出力する。なお、Ｋ演算部１４３３＿１は、周波数特性Ｋ（ω）の値と、周波数特性Ｒ（ω）とＸ’（ω）との乗算値、すなわち、周波数特性Ｓ’（ω）とが関連付けられたルックアップテーブルを参照して、周波数特性Ｋ（ω）をもとめるものとしてもよい。

ＩＦＴ部１４３５＿１は、乗算器１４３４＿１〜１４３４＿５０から出力される乗算値（周波数領域の値）から実空間の値に変換する逆フーリエ変換を実行して、１×１の画素を出力する。このＩＦＴ部１４３５＿１から出力される画素が、撮像画像の５×５の画素に対して、周波数特性Ｒ’（ω）に基づく逆変換フィルタによって逆変換処理が実行された画素となる。

次に、フィルタ処理部１４３ａの動作の一連の流れについて説明する。まず、撮像素子１２によって撮像された撮像画像は、上述のように画像バッファ部１４１によってバッファリングされ、画像バッファ部１４１から５つの画素が出力される。したがって、フィルタ処理部１４３ａのＦＴ部１４３１＿１は、画像バッファ部１４１から５×５の画素を単位として入力するものとする。ＦＴ部１４３１＿１は、入力した５×５の画素に基づいてフーリエ変換を実行して周波数領域に変換し、２５個の複素数に変換して、２５個の実部データおよび２５個の虚部データであるデータＸ’１〜Ｘ’５０を出力する。

次に、乗算器１４３２＿１は、ＦＴ部１４３１＿１から出力されたデータＸ’１、および逆変換フィルタの周波数特性Ｒ（ω）から導出され、データＸ’１に対応するフィルタ係数Ｒ１を入力する。乗算器１４３２＿１は、データＸ’１とフィルタ係数Ｒ１とを乗算して、乗算値Ｒ１・Ｘ’１を出力する。同様に、乗算器１４３２＿２〜１４３２＿５０は、それぞれ、ＦＴ部１４３１＿１から出力されたデータＸ’２〜Ｘ’５０、およびフィルタ係数Ｒ２〜Ｒ５０を入力し、それらの乗算値Ｒ２・Ｘ’２〜Ｒ５０・Ｘ’５０を出力する。

次に、Ｋ演算部１４３３＿１は、上述の式（２４）、および式（３２）〜（３５）のいずれかに基づいて、入力した乗算値Ｒ１・Ｘ’１〜Ｒ５０・Ｘ’５０から、それぞれ周波数特性Ｋ（ω）に基づく補正フィルタの係数であるフィルタ係数Ｋ１〜Ｋ５０を演算する。

次に、乗算器１４３４＿１は、乗算器１４３２＿１から出力された乗算値Ｒ１・Ｘ’１と、Ｋ演算部１４３３＿１から出力されたフィルタ係数Ｋ１とを乗算して、データＲ１・Ｋ１・Ｘ’１を出力する。同様に、乗算器１４３４＿２〜１４３４＿５０は、それぞれ乗算器１４３２＿２〜１４３２＿５０から出力された乗算値Ｒ２・Ｘ’２〜Ｒ５０・Ｘ’５０と、Ｋ演算部１４３３＿１から出力されたフィルタ係数Ｋ２〜Ｋ５０とを乗算して、それぞれデータＲ２・Ｋ２・Ｘ’２〜Ｒ５０・Ｋ５０・Ｘ’５０を出力する。

そして、ＩＦＴ部１４３５＿１は、乗算器１４３４＿１〜１４３４＿５０からそれぞれ出力されたデータＲ１・Ｋ１・Ｘ’１〜Ｒ５０・Ｋ５０・Ｘ’５０に基づいて、実空間の値に変換する逆フーリエ変換を実行し、１×１の画素を出力する。上述のように、ＩＦＴ部１４３５＿１から出力される画素が、撮像画像の５×５の部分画像の画素に対して、その５×５の画素のうち中央の画素に対応した周波数特性Ｒ’（ω）に基づく逆変換フィルタによって逆変換処理が実行された画素となる。

以上のように、フィルタ処理部１４３ａが、上述のように、局所的な逆変換フィルタの周波数特性Ｒ’（ω）に基づく逆変換フィルタにより逆変換処理を実行することによっても、レンズユニット１１の光軸方向に延伸した合焦面５０の各位置において、レンズユニット１１の光軸方向に被写界深度を拡張させる。これによって、焦点が合う領域がレンズユニット１１の光軸方向に拡張され、合焦領域５１（図２０参照）が形成される。そして、被写体が合焦領域５１内に含まれていれば、所定の大きさを有する被写体でも、被写体の全体に対して焦点が合った状態で撮像することが可能となる。また、レンズユニット１１の光軸方向の広い範囲において、被写体の全体に対して合焦した撮像画像を得ることができる。

また、撮像素子１２によって撮像された撮像画像ごと、かつ、撮像画像の局所的なエリアごと（画素ごと）に、逆変換フィルタの周波数特性Ｒ’（ω）をもとめるものとしている。この周波数特性Ｒ’（ω）に基づく逆変換フィルタによって局所的なエリアごと（画素ごと）に逆変換処理を実行することによって、局所的なエリアについて最小のＭＳＥ（平均二乗誤差）が得られると共に、撮像画像全体に共通の周波数特性Ｒ（ω）に基づく逆変換フィルタによる逆変換処理を実行するよりもノイズの増加を抑制することができる。

また、局所的な逆変換フィルタの周波数特性Ｒ’（ω）を、上述の式（３０）に示すようにＫ（ω）・Ｒ（ω）と定義し、周波数特性Ｒ（ω）に基づく逆変換フィルタの処理と、周波数特性Ｋ（ω）に基づく補正フィルタの処理とを分けてフィルタ回路を構成するものとしている。さらに、周波数特性Ｋ（ω）の導出する回路は、上述の式（３２）〜（３５）に示す計算式に基づいて構成するものとしている。これによって、周波数特性Ｒ’（ω）を画素ごとに直接導出する場合と比較して、演算負荷を低減することができ、実装するフィルタ回路を簡略化することができる。

なお、図１１および２７で説明したように、画像バッファ部１４１は、５つの画素を出力して、フィルタ処理部１４３ａは、５×５の画素を入力してタップ数が５×５である逆変換処理を実行するものとしたが、これに限定されるものではない。すなわち、逆変換処理のタップ数は３×３、１１×１１または２１×２１等異なるタップ数としてもよい。この場合、フィルタによる逆変換処理の対象となるフィルタ処理部１４３ａに入力する画素群において、中央の画素が存在するように、フィルタのタップ数は奇数である必要がある。

＜第２の実施の形態の変形例＞
本実施の形態の変形例に係る撮像装置について、上述の本実施の形態に係る撮像装置の構成および動作と相違する点を中心に説明する。本変形例においては、図２７に示す画像処理部１４のフィルタ処理部１４３ａは、後述する図２８に示すフィルタ処理部１４３ｂに置き換えられている。

図２８は、第２の実施の形態の変形例の画像処理部のフィルタ処理部の構成の一例と動作を説明する図である。図２８および図１４〜１６を参照しながら、画像処理部１４のフィルタ処理部１４３ｂの構成および動作について説明する。

フィルタ処理部１４３ｂ（逆変換処理手段）は、図２８に示すように、逆フィルタ処理部１４３６＿１と、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）部１４３１ａ＿１と、Ｋ演算部１４３３ａ＿１と、ビットダウン部１４３７＿１〜１４３７＿９と、乗算器１４３４ａ＿１〜１４３４ａ＿９と、ＩＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：逆離散コサイン変換）部１４３５ａ＿１と、を備えている。

逆フィルタ処理部１４３６＿１は、例えば、５×５の画素を入力して、上述の式（１２）によって導出される周波数特性Ｒ（ω）に基づく逆変換フィルタによって逆変換処理を実行する。

ＤＣＴ部１４３１ａ＿１は、逆フィルタ処理部１４３６＿１によって逆変換処理された画像において、例えば、３×３の画素を入力し、離散コサイン変換を実行し、周波数領域に変換する。その結果、ＤＣＴ部１４３１ａ＿１は、３×３の画素すなわち９個のデータから、９個の周波数領域の値に変換して出力する。ここで、ＤＣＴ部１４３１ａ＿１に入力される３×３の画素は、逆フィルタ処理部１４３６＿１により周波数特性Ｒ（ω）に基づく逆変換フィルタによって逆変換処理されている画素なので、ＤＣＴ部１４３１ａ＿１が出力する９個の周波数領域の値を、本変形例において、それぞれ乗算値Ｒ１・Ｘ’１〜Ｒ９・Ｘ’９と表すものとする。

Ｋ演算部１４３３ａ＿１は、上述の式（２４）、および式（３２）〜（３５）のいずれかに基づいて、入力される周波数特性Ｒ（ω）とＸ’（ω）との乗算値から補正フィルタの周波数特性Ｋ（ω）を出力する。具体的には、Ｋ演算部１４３３ａ＿１は、上述の式（２４）、および式（３２）〜（３５）のいずれかに基づいて、入力した乗算値Ｒ１・Ｘ’１〜Ｒ９・Ｘ’９から、それぞれ周波数特性Ｋ（ω）に基づく補正フィルタの係数であるフィルタ係数Ｋ１〜Ｋ９を演算する。なお、Ｋ演算部１４３３ａ＿１は、周波数特性Ｋ（ω）の値と、周波数特性Ｒ（ω）およびＸ’（ω）の値とが関連付けられたルックアップテーブルを参照して、周波数特性Ｋ（ω）をもとめるものとしてもよい。

ビットダウン部１４３７＿１〜１４３７＿９は、Ｋ演算部１４３３ａ＿１から出力されるフィルタ係数Ｋ１〜Ｋ９に対して、それぞれ量子化ビット数を減少させる。これは、フィルタ係数Ｋ１〜Ｋ９は、量子化ビット数を減少させて、補正フィルタによるフィルタ処理を実行しても、画像の劣化にはほとんど影響がないためである。したがって、ビットダウン部１４３７＿１〜１４３７＿９によりフィルタ係数Ｋ１〜Ｋ９の量子化ビット数を減少させることによって、後段の乗算器１４３４ａ＿１〜１４３４ａ＿９による演算負荷を低減することができる。

乗算器１４３４ａ＿１〜１４３４ａ＿９は、入力される２つのデータを乗算して出力する。

ＩＤＣＴ部１４３５ａ＿１は、乗算器１４３４ａ＿１〜１４３４ａ＿９から出力される乗算値（周波数領域の値）から実空間の値に変換する逆離散コサイン変換を実行して、１×１の画素を出力する。このＩＤＣＴ部１４３５ａ＿１から出力される画素が、撮像画像の５×５の画素に対して、周波数特性Ｒ’（ω）に基づく逆変換フィルタによって逆変換処理が実行された画素となる。

次に、フィルタ処理部１４３ｂの動作の一連の流れについて説明する。まず、撮像素子１２によって撮像された撮像画像は、上述のように画像バッファ部１４１によってバッファリングされ、画像バッファ部１４１から５つの画素が出力される。したがって、フィルタ処理部１４３ｂの逆フィルタ処理部１４３６＿１は、画像バッファ部１４１から５×５の画素を単位として入力するものとする。この逆フィルタ処理部１４３６＿１における周波数特性Ｒ（ω）に基づく逆変換フィルタによる逆変換処理の動作の詳細を、図１４〜１６を参照しながら説明する。

逆変換処理に使用されるフィルタは、図１４に示すように、フィルタ係数ａ１１〜ａ１５、ａ２１〜ａ２５、ａ３１〜ａ３５、ａ４１〜ａ４５およびａ５１〜ａ５５によって構成されるタップ数が５×５の線形フィルタである逆変換フィルタ１２１であるとする。また、逆変換フィルタ１２１による逆変換処理の対象となる画像の部分を、図１５に示す対象部分画像１３１であるものとする。対象部分画像１３１は、画素Ａ１１〜Ａ１５、Ａ２１〜Ａ２５、Ａ３１〜Ａ３５、Ａ４１〜Ａ４５およびＡ５１〜Ａ５５によって構成された５×５の部分画像である。

逆変換フィルタによる逆変換処理は、図１５に示すように、対象部分画像１３１に対して逆変換フィルタ１２１によってコンボリューション演算した値、すなわち、式（１）で表される演算値となる。コンボリューション演算の演算値は、対象部分画像１３１の中央に位置する画素である中央データに対して逆変換処理を実行した値となる。すなわち、コンボリューションの演算値は、逆変換処理後の画像において、逆変換処理前の画像の中央データに相当する位置の画素となる。

次に、逆フィルタ処理部１４３６＿１の逆変換処理について、図１６を参照しながら、画像１０５においてＸ方向の水平ラインを走査しながら逆変換処理をする動作の概略を説明する。図１６（ａ）は、逆フィルタ処理部１４３６＿１が、画像１０５における（１，１）の画素に対して逆変換フィルタ１２１によって逆変換処理をする状態を示している。図１６（ａ）に示すように、（１，１）の画素を中央データ１３５ａとしてコンボリューション演算するためには、（１，１）の画素を中央データとする対象部分画像１３１ａと、画像１０５とが重複している部分の画素が必要になる。すなわち、対象部分画像１３１ａのうち、図１５に示す対象部分画像１３１の画素Ａ３３〜Ａ３５、Ａ４３〜Ａ４５およびＡ５３〜Ａ５５に相当する画素が必要である。

そのためは、画素Ａ３３〜Ａ３５、Ａ４３〜Ａ４５およびＡ５３〜Ａ５５に相当する画素が、画像バッファ部１４１の出力部１４１３ａ〜１４１３ｃから出力されている必要がある。そして、対象部分画像１３１ａにおいて、画像１０５と重複していない部分の画素は「０」として取り扱うものとする。

以上の状態において、逆フィルタ処理部１４３６＿１は、図１５に示したコンボリューション演算と同様に、対象部分画像１３１ａに対して逆変換フィルタ１２１によってコンボリューション演算を行う。逆フィルタ処理部１４３６＿１は、画像１０５の対象部分画像１３１ａの中央データ１３５ａである（１，１）の画素に対してコンボリューション演算した値を、逆変換処理後の画像の（１，１）の画素として出力する。

次に、逆フィルタ処理部１４３６＿１は、図１６（ｂ）に示すように、コンボリューション演算の対象となる画素をＸ方向にひとつシフトし、対象部分画像１３１ｂの中央データ１３５ｂである（２，１）の画素に対して逆変換処理をする。そして、逆フィルタ処理部１４３６＿１は、Ｘ方向の水平ラインをシフトしながらコンボリューション演算を繰り返し、図１６（ｃ）に示すように、Ｘ方向の水平ラインの最後の画素である（６４０，１）の画素に対して逆変換処理をする。（６４０，１）の画素は、図１６（ｃ）に示すように、対象部分画像１３１ｃの中央データ１３５ｃである。

以上のように、逆フィルタ処理部１４３６＿１は、Ｘ方向の水平ラインをシフトしながらコンボリューション演算を繰り返し、水平ラインの最後の画素に対する逆変換処理が終了すると、Ｙ方向の次の水平ラインに対して同様に逆変換処理を行う。

図１６（ｄ）〜１６（ｆ）は、逆フィルタ処理部１４３６＿１が、画像１０５におけるＹ方向の４番目の水平ラインの画素に対して逆変換処理を行う状態を示している。図１６（ｄ）は、逆フィルタ処理部１４３６＿１が、画像１０５における（１，４）の画素に対して逆変換フィルタ１２１によって逆変換処理をする状態を示している。図１６（ｄ）に示すように、（１，４）の画素を中央データ１３５ｄとしてコンボリューション演算するためには、（１，４）の画素を中央データとする対象部分画像１３１ｄと、画像１０５とが重複している部分の画素が必要になる。そして、対象部分画像１３１ｄにおいて、画像１０５と重複していない部分の画素は、上述と同様に「０」として取り扱うものとする。

図１６（ｅ）は、逆フィルタ処理部１４３６＿１が、画像１０５における（５，４）の画素に対して逆変換フィルタ１２１によって逆変換処理をする状態を示している。図１６（ｅ）に示すように、（５，４）の画素を中央データ１３５ｅとする対象部分画像１３１ｅは全体が画像１０５と重複しているので、逆フィルタ処理部１４３６＿１は、対象部分画像１３１ｅに含まれる画素をすべて利用した逆変換処理が可能となる。

そして、逆フィルタ処理部１４３６＿１は、Ｘ方向の水平ラインをシフトしながらコンボリューション演算を繰り返し、図１６（ｆ）に示すように、Ｘ方向の水平ラインの最後の画素である（６４０，４）の画素に対して逆変換処理をする。（６４０，４）の画素は、図１６（ｆ）に示すように、対象部分画像１３１ｆの中央データ１３５ｆである。

次に、ＤＣＴ部１４３１ａ＿１は、上述のように逆フィルタ処理部１４３６＿１によって逆変換処理された画像に対して、例えば、３×３の画素を入力し、離散コサイン変換を実行して周波数領域に変換し、９個の周波数領域の値である乗算値Ｒ１・Ｘ’１〜Ｒ９・Ｘ’９を出力する。このように、ＤＣＴ部１４３１ａ＿１による周波数領域への変換は、第２の実施の形態における図２７に示すＦＴ部１４３１＿１による周波数領域への変換後に出力するデータ数が入力データ数の２倍の数になるのに対し、出力するデータ数が入力データ数と同一となる。したがって、ＤＣＴ部１４３１ａ＿１の後段の回路を簡略化することができる。もちろん、ＤＣＴ部１４３１ａ＿１およびＩＤＣＴ部１４３５ａ＿１ではなく、代わりに第２の実施の形態で示したものと同じくそれぞれＦＴ部およびＩＦＴ部を用いてもよい。

次に、Ｋ演算部１４３３ａ＿１は、上述の式（２４）、および式（３２）〜（３５）のいずれかに基づいて、入力した乗算値Ｒ１・Ｘ’１〜Ｒ９・Ｘ’９から、それぞれ周波数特性Ｋ（ω）に基づく補正フィルタの係数であるフィルタ係数Ｋ１〜Ｋ９を演算する。

次に、ビットダウン部１４３７＿１〜１４３７＿９は、Ｋ演算部１４３３ａ＿１から出力されるフィルタ係数Ｋ１〜Ｋ９に対して、それぞれ量子化ビット数を減少させ、量子化ビット数が減少したフィルタ係数Ｋ１〜Ｋ９をそれぞれ出力する。

次に、乗算器１４３４ａ＿１〜１４３４ａ＿９は、ＤＣＴ部１４３１ａ＿１から出力された乗算値Ｒ１・Ｘ’１〜Ｒ９・Ｘ’９と、ビットダウン部１４３７＿１〜１４３７＿９からそれぞれ出力されたフィルタ係数Ｋ１〜Ｋ９とを乗算して、それぞれデータＲ１・Ｋ１・Ｘ’１〜Ｒ９・Ｋ９・Ｘ’９を出力する。

そして、ＩＤＣＴ部１４３５ａ＿１は、乗算器１４３４ａ＿１〜１４３４ａ＿９からそれぞれ出力されたデータＲ１・Ｋ１・Ｘ’１〜Ｒ９・Ｋ９・Ｘ’９に基づいて、実空間の値に変換する逆離散コサイン変換を実行し、１×１の画素を出力する。上述のように、ＩＤＣＴ部１４３５ａ＿１から出力される画素が、撮像画像の５×５の部分画像の画素に対して、その５×５の画素のうち中央の画素に対応した周波数特性Ｒ’（ω）に基づく逆変換フィルタによって逆変換処理が実行された画素となる。

以上のように、画像処理部１４のフィルタ処理部１４３ｂの構成を、図２８に示される構成とすることによって、第２の実施の形態の同様の効果を有する。

また、図２８に示すフィルタ処理部１４３ｂにおいては、撮像画像の５×５の画素を逆フィルタ処理部１４３６＿１による周波数特性Ｒ（ω）に基づく逆変換フィルタによって逆変換処理を実行した後、その逆変換処理をした画像から、画素数を減少させた３×３の画素に対して、ＤＣＴ部１４３１ａ＿１以降の補正フィルタによるフィルタ処理を実行している。すなわち、補正フィルタのタップ数は、周波数特性Ｒ（ω）に基づく逆変換フィルタのタップ数よりも小さいものとしている。これは、Ｋ演算部１４３３ａ＿１による補正フィルタのフィルタ係数を演算するためにＫ演算部１４３３ａ＿１に入力されるデータの数を減少させても、画像の劣化にはほとんど影響がないためである。これによって、実装するフィルタ回路をさらに簡略化することができる。

なお、Ｋ演算部１４３３ａ＿１によって出力されたフィルタ係数を、ビットダウン部１４３７＿１〜１４３７＿９によって、量子化ビット数を減少させているが、これは必須ではなく、ビットダウン部１４３７＿１〜１４３７＿９を必ずしも設ける必要はない。また、このビットダウン部を、第２の実施の形態のフィルタ処理部１４３ａに適用し、フィルタ処理部１４３ａにおけるＫ演算部１４３３＿１の後段側に設置することも可能である。

（第３の実施の形態）
第３の実施の形態においては、第１または第２の実施の形態に係る撮像装置をコードリーダに適用した場合について説明する。したがって、第３の実施の形態のコードリーダは、第１または第２の実施の形態に係る撮像装置の構成および動作と同様である。

＜コードリーダの構成および動作＞
図２９は、第３の実施の形態のコードリーダの外観構成の一例を示す図である。図３０は、第３の実施の形態のコードリーダの合焦面の位置および動作を説明する図である。図２９および３０を参照しながら、本実施の形態に係る撮像装置としてのコードリーダ１＿１の構成および動作について説明する。図２９のうち、図２９（ａ）は、コードリーダ１＿１の側面図を示し、図２９（ｂ）は、コードリーダ１＿１の平面図を示す。

コードリーダ１＿１は、バーコードまたは二次元コード等を被写体として撮像（読み取り）するハンディタイプの装置である。図２９（ａ）に示すように、コードリーダ１＿１は、ヘッド３１と、取っ手３２と、を備えている。ヘッド３１は、図２９（ｂ）に示すように、被写体からの光を集光し、撮像素子１２（図示せず）に対して結像させるレンズユニット１１と、光線６０を照射する光源１７と、を備えている。取っ手３２は、ユーザが把持する部分であり、情報を所定の方式により記号化したバーコードまたは二次元コード等（コード）の被写体を撮像するトリガとなる操作ボタン（図示せず）が備えられている。

撮像素子１２は、図示しないが、センサ面がレンズユニット１１の主面に対して傾けて配置されており、シャインプルーフの原理によって、合焦位置がレンズユニット１１の光軸方向に延伸した合焦面５０ｂ（図３０参照）が形成されている。光源１７は、図３０に示すように、照射する光線６０の方向をレンズユニット１１の画角の中心軸方向からずらし、光線６０を合焦面５０ｂ上に位置するように照射する。認識処理部１５（図示せず）は、撮像素子１２によって撮像されたバーコードまたは二次元コード等の撮像画像であって、画像処理部１４によりフィルタ処理が実行された画像に基づいて、バーコードまたは二次元コード等を認識する処理を実行する。

以上の構成によって、レンズユニット１１の光軸方向の広い範囲において合焦した撮像画像を得ることができると共に、ユーザは、光源１７が照射する光線６０が示す位置にバーコードまたは二次元コード等の被写体が配置されるように、コードリーダ１＿１を移動させることによって、容易に被写体の距離に応じた適切な撮像位置とすることができ、被写体に焦点が合った撮像画像を得ることができる。

また、図示しないフィルタ処理部１４３（１４３ａ、１４３ｂ）によって、逆変換フィルタによる逆変換処理を実行することによって、レンズユニット１１の光軸方向に延伸した合焦面５０ｂの各位置において、レンズユニット１１の光軸方向に被写界深度が拡張する。これによって、焦点が合う領域がレンズユニット１１の光軸方向に拡張され、合焦領域が形成される。そして、バーコードまたは二次元コード等の被写体が合焦領域内に含まれていれば、所定の大きさを有する被写体でも、被写体の全体に対して焦点が合った状態で撮像することが可能となる。また、レンズユニット１１の光軸方向の広い範囲において、バーコードまたは二次元コード等の全体に対して合焦した撮像画像を得ることができる。

なお、図２９に示すように、コードリーダ１＿１は、ハンディタイプの装置としているが、これに限定されるものではなく、固定式のコードリーダであってもよい。

１ 撮像装置
１＿１ コードリーダ
２ ＰＣ
３ 通信ケーブル
４、４ａ〜４ｇ 被写体
１１ レンズユニット
１１ａ 位相板
１１ｂ 絞り
１１ｃ 多焦点レンズ
１２、１２ａ 撮像素子
１４ 画像処理部
１５ 認識処理部
１６ 通信部
１７ 光源
２１ 通信部
２２ 操作部
２３ 表示部
２４ 記憶部
２５ 外部記憶装置
２６ 制御部
２７ バス
３１ ヘッド
３２ 取っ手
５０、５０ａ、５０ｂ 合焦面
５１ 合焦領域
６０ 光線
１００〜１０２ 撮像画像
１０２ａ テクスチャ部
１０３、１０４ エリア
１０５ 画像
１２１ 逆変換フィルタ
１３１、１３１ａ〜１３１ｆ 対象部分画像
１３５ａ〜１３５ｆ 中央データ
１４１ 画像バッファ部
１４３、１４３ａ、１４３ｂ フィルタ処理部
２０１ 目標空間周波数特性
２０２、２０２ａ、２０２ｂ 空間周波数特性
２０３、２０３ａ、２０３ｂ 空間周波数特性
５００ 撮像システム
１４１０ 入力部
１４１１ａ〜１４１１ｄ レジスタ
１４１２ａ〜１４１２ｄ ラインバッファ
１４１３ａ〜１４１３ｅ 出力部
１４３１ａ〜１４３１ｅ 入力部
１４３１＿１ ＦＴ部
１４３１ａ＿１ ＤＣＴ部
１４３２ａ〜１４３２ｅ レジスタ
１４３２＿１〜１４３２＿５０ 乗算器
１４３３ａ〜１４３３ｅ レジスタ
１４３３＿１、１４３３ａ＿１ Ｋ演算部
１４３４ａ〜１４３４ｅ レジスタ
１４３４＿１〜１４３４＿５０ 乗算器
１４３４ａ＿１〜１４３４ａ＿９ 乗算器
１４３５ａ〜１４３５ｅ レジスタ
１４３５＿１ ＩＦＴ部
１４３５ａ＿１ ＩＤＣＴ部
１４３６ａ〜１４３６ｅ レジスタ
１４３６＿１ 逆フィルタ処理部
１４３７ａ〜１４３７ｅ レジスタ
１４３７＿１〜１４３７＿９ ビットダウン部
１４３８ａ〜１４３８ｅ 乗算器
１４３９ａ〜１４３９ｅ 乗算器
１４４０ａ〜１４４０ｅ 乗算器
１４４１ａ〜１４４１ｅ 乗算器
１４４２ａ〜１４４２ｅ 乗算器
１４４３ａ〜１４４３ｅ 加算器
１４４４ａ〜１４４４ｅ 加算器
１４４５ａ〜１４４５ｅ 加算器
１４４６ａ〜１４４６ｅ 加算器
１４４７ａ〜１４４７ｃ 加算器
１４４８ 出力部
Ａ フレーム開始期間
Ｂ 水平ブランキング期間
Ｃ フレーム終了期間
Ｄ 垂直ブランキング期間
Ｔ 有効データ期間

特開２０１０−１５２８８１号公報

Claims (13)

1. 入射した光に収差を与える光学系と、
   前記光学系を通過した前記光を画素に変換して画像を撮像する撮像手段と、
   前記光学系の光軸上の所定範囲において前記撮像手段により撮像された撮像画像に対して、前記収差を復元する逆変換フィルタにより逆変換処理を実行して被写界深度を拡張する逆変換手段と、
   を備え、
   前記光学系および前記撮像手段は、合焦位置が前記光軸の方向に延伸した合焦面を形成するように配置され、
   前記逆変換手段は、前記合焦面の各位置において前記被写界深度を拡張する撮像装置。
2. 前記合焦面は、前記撮像手段の検出面が前記光学系の主面に対して傾いて配置されたことにより形成された請求項１に記載の撮像装置。
3. 前記検出面の長手方向が前記主面に対して傾いて配置された請求項２に記載の撮像装置。
4. 前記光学系は、多焦点レンズを含み、
   前記撮像手段の検出面は、前記光学系の前記主面に対して平行に配置された請求項１に記載の撮像装置。
5. 前記合焦面の各位置において前記被写界深度が拡張された合焦領域に含まれるように光線を照射する光源をさらに備えた請求項１〜４のいずれか一項に記載の撮像装置。
6. 前記光源は、前記光線が被写体に照射された場合に該被写体に形成される該光線のポインタの形状が正規の形状となるように、該光線の断面形状を歪ませた状態で該光線を照射する請求項５に記載の撮像装置。
7. 前記逆変換フィルタは、被写体の理想画像の画素の周波数特性と、前記逆変換手段により前記逆変換処理がなされた出力画像の画素の周波数特性との平均二乗誤差を最小にするフィルタである請求項１〜６のいずれか一項に記載の撮像装置。
8. 前記逆変換フィルタは、被写体の理想画像の所定部分の画素の周波数特性と、前記逆変換手段によって前記逆変換処理がなされた出力画像の所定部分の画素の周波数特性との平均二乗誤差を最小にするフィルタである請求項１〜６のいずれか一項に記載の撮像装置。
9. 前記逆変換フィルタの周波数特性は、前記撮像画像全体に対して前記収差を復元するためのフィルタの周波数特性と、該フィルタの周波数特性を補正する補正フィルタの周波数特性との積である請求項８に記載の撮像装置。
10. 前記逆変換手段により前記逆変換処理がなされた出力画像に基づいて、情報を所定の方式により記号化したコードを認識する認識処理手段をさらに備えた請求項１〜９のいずれか一項に記載の撮像装置。
11. 請求項１〜１０のいずれか一項に記載の撮像装置と、
    前記撮像装置から前記逆変換処理がなされた出力画像を受信する通信手段と、該出力画像を表示する表示手段とを備える情報処理装置と、
    を備えた撮像システム。
12. 請求項１〜９のいずれか一項に記載の撮像装置と、
    前記逆変換手段により前記逆変換処理がなされた出力画像に基づいて、情報を所定の方式により記号化したコードを認識する認識処理手段と、
    を備えた撮像システム。
13. 光学系および撮像手段が、合焦位置が前記光学系の光軸の方向に延伸した合焦面を形成するように配置された撮像装置の撮像方法であって、
    前記光学系により入射した光に収差を与える光学処理ステップと、
    前記撮像手段により前記光学系を通過した前記光を画素に変換して画像を撮像する撮像ステップと、
    前記光学系の光軸上の所定範囲において撮像した撮像画像に対して、前記収差を復元する逆変換フィルタにより逆変換処理を実行して、前記合焦面の各位置において被写界深度を拡張する逆変換ステップと、
    を有する撮像方法。

Images