JP2009124567A - 撮像システム、この撮像システムを備えた撮像装置、携帯端末機器、車載機器、および医療機器、並びに撮像システムの製造方法 - Google Patents

Abstract

【課題】撮像システムにおいて、受光面上に投影された光学像を撮像して得られる画像データの品質を容易に高めることができるようにする。
【解決手段】撮像レンズ１０を通して撮像素子２０の受光面２１上へ投影される点像Ｐ１の有効領域の最大径が３画素以上に亘る大きさであるときに、撮像素子２０から出力される第１の画像データＧ１で表される点像Ｐ１の状態に応じた復元係数Ｋを係数記憶部３０に記憶せしめる。信号処理部４０において、撮像素子２０から出力される第１の画像データＧ１に対し、撮像レンズ１０の解像力が高いときに撮像素子２０から出力される第１の画像データと同等の第２の画像データＧ２を生成するような復元処理Ｆを、係数記憶部３０に記憶せしめられる復元係数Ｋを用いて実施する。
【選択図】図１

Description

本発明は、被写体の光学像を撮像して得られる画像データの品質を高めることができる撮像システム、この撮像システムを備えた撮像装置、携帯端末機器、車載機器、および医療機器、並びに撮像システムの製造方法に関するものである。

多数の受光画素を２次元状に配置してなる受光面を有するＣＣＤ素子やＣＭＯＳ素子等の撮像素子を用い、撮像レンズを通して受光面上に結像させた被写体の光学像を撮影する撮像システムが知られている。

また、このような撮像システムの１例として、被写界深度が深くなるように設計した撮像レンズを有する撮像システムを回路基板上に直接取り付けてなる車載用カメラや携帯電話用カメラ等が実用化されている（特許文献１参照）。さらに、撮像素子の受光画素数を増大させるとともに撮像レンズの解像力を高めた撮像システムを搭載してなる高性能の車載用カメラや携帯電話用カメラも知られている。このような解像度の高い画像の得られる高性能の車載用カメラや携帯電話用カメラにおいては、撮像レンズの解像力が回折限界に近い性能を持つものも知られている。
特表２００７−１４７９５１号公報

ところで、このような解像度の高い画像を形成可能な撮像レンズを備えた撮像システムの製造においては、製造の困難性から歩留まりを高くすることが難しい。すなわち、所定の解像度を有する画像を形成可能な画像データを生成できないために製造ラインから外されて再調整、あるいは再組立てに回される撮像システムが多く発生する虞がある。なお、製造ラインから外された撮像システムは、その原因が特定され修正が施されて所定解像度の画像を形成可能な画像データを生成できるように再生される。

しかしながら、撮像システムから出力される画像データの表す画像の解像度を低下させる原因は様々であり、例えば、撮像レンズを構成する個々のレンズの形状誤差（レンズの表面形状誤差、肉厚誤差、偏心誤差）、撮像レンズの組立・調整誤差（レンズのシフト誤差、チルト誤差、レンズ間の空気間隔誤差）、撮像レンズに対する撮像素子の位置決め誤差等、種々の原因が考えられる。そのため、解像度の低下原因を特定し再調整や再組立を行って、所定解像度の画像形成を可能とする高品質の画像データを生成できる撮像システムに再生するためには多大な費用が発生するという問題がある。

本発明は、上記事情に鑑みてなされたものであり、受光面上に投影された光学像を撮像して得られる画像データの品質を容易に高めることができる撮像システム、この撮像システムを備えた撮像装置、携帯端末機器、車載機器、および医療機器、並びに撮像システムの製造方法を提供することを目的とするものである。

本発明の第１の撮像システムは、撮像レンズと、多数の受光画素を２次元状に配列してなる受光面を有し、撮像レンズを通して前記受光面上に投影された被写体の光学像を撮像してこの被写体を表す第１の画像データを出力する撮像素子と、撮像レンズを通して受光面上へ投影される点像の有効領域の最大径がこの受光面上の受光画素の３画素以上に亘る大きさであるときに、撮像素子から出力される第１の画像データで表される点像の状態に応じた復元係数を記憶せしめられる係数記憶手段と、撮像素子から出力される第１の画像データに対し、撮像レンズの解像力が高いときに撮像素子から出力される第１の画像データと同等の第２の画像データを生成するような復元処理を係数記憶手段に記憶された復元係数を用いて実施する信号処理手段とを備え、信号処理手段が、受光面上における縦方向３画素以上および横方向３画素以上からなる合計９画素以上に亘る画素領域を最小単位として復元処理を行うものであることを特徴とするものである。

前記係数記憶手段は、各撮像システム毎に該撮像システムに対して個別に求められた復元係数を記憶せしめられるものとすることができる。

また、前記係数記憶手段は、複数種類に分類された点像の状態それぞれに対応する各復元係数の候補のうち、第１の画像データの表す点像の状態に応じて選択された復元係数が記憶されるものとすることもできる。

さらに、前記係数記憶手段は、複数種類に分類された点像の状態それぞれに対応する複数種類の復元係数の候補のうち、第１の画像データの表す点像の状態に応じて選択された復元係数を、この点像の状態に応じてさらに補正してなる補正済の復元係数が記憶されるものとすることもできる。

前記撮像システムは、復元係数を取得し係数記憶手段に記憶させる復元係数取得手段を備えたものとすることができる。

前記信号処理手段は、受光面上に投影された点像の有効領域の全てを含む最小の画素領域を最小単位として復元処理を実行するものとしてもよい。

前記信号処理手段は、第１の画像データの表す画像中の点像の有効領域の大きさよりも、第２の画像データの表す画像中における点像の有効領域の大きさの方を小さくするように復元処理を実行するものとすることが望ましい。

本発明の撮像装置は、前記撮像システムを備えたことを特徴とするものである。

本発明の携帯端末機器は、前記撮像システムを備えたことを特徴とするものである。

本発明の車載機器は、前記撮像システムを備えたことを特徴とするものである。

本発明の医療機器は、前記撮像システムを備えたことを特徴とするものである。

本発明の第２の撮像システムは、撮像レンズと、多数の受光画素を２次元状に配列してなる受光面を有し、撮像レンズを通して受光面上に投影された被写体の光学像を撮像してこの被写体を表す第１の画像データを出力する撮像素子と、撮像レンズを通して受光面上へ投影される点像の有効領域の最大径が３画素以上に亘る大きさであるときに、撮像素子から出力される第１の画像データで表される点像の状態に応じた復元係数を記憶せしめられた係数記憶手段と、第１の画像データに対し、撮像レンズの解像力が高いときに撮像素子から出力される第１の画像データと同等の第２の画像データを生成するような復元処理を復元係数を用いて実施する信号処理手段とを備え、信号処理手段が、受光面上における縦方向３画素以上および横方向３画素以上からなる合計９画素以上に亘る画素領域を最小単位として復元処理を行うものであることを特徴とするものである。

本発明の撮像システムの製造方法は、第２の撮像システムの製造において、撮像レンズを通して撮像素子の受光面上へ点像を投影し、その撮像素子から出力される第１の画像データで表される点像の状態に応じた復元係数を係数記憶手段に記憶させることを特徴とするものである。

前記復元係数は、各撮像システム毎に、その撮像システムに対して個別に求めたものとすることができる。

前記復元係数は、複数種類に分類された点像の状態それぞれに対応する各復元係数の候補のうち、第１の画像データの表す点像の状態に応じて選択したものとすることができる。

また、前記復元係数は、複数種類に分類された点像の状態それぞれに対応する複数種類の復元係数の候補のうち、第１の画像データの表す点像の状態に応じて選択した復元係数を、その点像の状態に応じてさらに補正したものとすることができる。

さらに、前記復元係数は、各撮像システム毎に、その撮像システムに対して個別に求めたものとすることができる。

前記受光面上へ投影される点像の有効領域の最大径は、受光面上へ投影される点像の有効領域が最も多くの受光画素を含む方向におけるこの有効領域の径とすることができ、前記「受光面上へ投影される点像の有効領域の最大径が３画素以上に亘る大きさであるとき」は、「受光面上へ投影される点像の有効領域が最も多くの受光画素を含む方向において、この有効領域が受光画素の３画素以上に亘る大きさであるとき」とすることができる。

前記「点像の有効領域」は、点像を表す光強度分布におけるピーク強度の１／ｅ^２（約１３．５％）以上の光強度を有する領域を意味するものである。

また、前記「復元処理」には、特開２０００-１２３１６８号公報、段落０００２〜００１６に紹介されている画像復元処理等を採用することができる。なお、復元処理の実施においては、後述する非特許文献〔鷲沢嘉一・山下幸彦著、題名「Kernel Wiener Filter」、2003 Workshop on Information-Based Induction Sciences、(IBIS2003)、Kyoto, Japan, Nov 11 -12, 2003〕の技術等を適用することができる。

本発明の第１撮像システムは、撮像レンズを通して受光面上へ投影される点像の有効領域の最大径が３画素以上に亘る大きさであるときに、撮像素子から出力される第１の画像データで表される点像の状態（以後、点像のボケ状態ともいう）に応じた復元係数を記憶せしめられる係数記憶手段と、第１の画像データに対し、撮像レンズの解像力が高いときに撮像素子から出力される第１の画像データと同等の第２の画像データを生成するような復元処理を前記復元係数を用いて実施する信号処理手段とを備え、信号処理手段が、受光面上における縦方向３画素以上および横方向３画素以上からなる合計９画素以上に亘る画素領域を最小単位として復元処理を行うものとしたので、係数記憶手段に復元係数を記憶せしめれば、この復元係数を用いた復元処理を実施することができ、これにより、受光面に投影される光学像を撮像して得られる画像データの品質を容易に高めることができる。

すなわち、従来のように、撮像システムから出力された第１の画像データの表す画像の解像度が所定のレベルに至らないときにその原因を特定し撮像レンズを再調整したり再組立する等の必要なく、単に、撮像システムで撮像された点像のボケ状態に応じた復元係数を係数記憶手段に記憶させ、この第１の画像データに対し復元処理（画像処理）を施すだけで、所定の解像度を有する画像を表す第２の画像データを得ることができるので、受光面に投影された光学像を撮像して得られる画像データの品質を容易に高めることができる。

なお、「点像の状態」を「点像のボケ状態」ともいう理由は、撮像レンズを通して受光面上に投影された点像、およびこの点像を撮像して得られる第１の画像データの表す点像は、レンズ収差の影響等によりその点像に対応する物点となる被写体に比して多少なりとも画質が劣化しているからである。すなわち、例えば被写体が解像力チャートであるとすると、撮像レンズを通して受光面上に投影される解像力チャートの像、およびこの解像力チャートの像を撮像して得られる第１の画像データの表す解像力チャートの画像の解像度は、被写体となる解像力チャートの解像度よりも低下したものとなる。なお、この「点像の状態」あるいは「点像のボケ状態」は主に点像の解像度の劣化状態を示すものである。

また、係数記憶手段を、各撮像システム毎にその撮像システムに対して個別に求められた復元係数が記憶されるものとすれば、より正確に復元係数を求めることができ復元処理をより正確に実行することができるので、受光面に投影された光学像を撮像して得られる画像データの品質をより確実に高めることができる。

なお、係数記憶手段を、複数種類に分類された点像のボケ状態それぞれに対応する各復元係数の候補のうち、第１の画像データの表す点像のボケ状態に応じて選択された復元係数が記憶されるものとすれば、各撮像システム毎に復元係数を個別に求める場合に比してより容易に復元係数を定めることができる。

ここで、係数記憶手段を、複数種類に分類された点像のボケ状態それぞれに対応する複数種類の復元係数の候補のうち、第１の画像データの表す点像のボケ状態に応じて選択された復元係数を、この点像のボケ状態に応じてさらに補正してなる補正済の復元係数が記憶されるものとすれば、各撮像システム毎に復元係数を個別に求める場合に比して、復元係数を求める際の精度低下を抑制しつつこの復元係数をより容易に取得することができる。

さらに、撮像システムを、復元係数を取得し係数記憶手段に記憶させる復元係数取得手段を備えたものとすれば、より確実に復元係数を取得することができる。

また、信号処理手段を、受光面上に投影された点像の有効領域の全てを含む最小の画素領域を最小単位として復元処理を実行するものとすれば、復元処理を実行するための演算量の増大を抑制することができ、復元処理を効率良く実施することができる。

また、信号処理手段を、第１の画像データの表す画像中の点像の有効領域の大きさよりも、第２の画像データの表す画像中における点像の有効領域の大きさの方を小さくするように復元処理を実行するものとすれば、受光面に投影された光学像を撮像して得られる画像データの品質をより確実に高めることができる。

本発明の撮像装置、携帯端末機器、車載機器、医療機器それぞれは、前記撮像システムを備えているので、上記のように、受光面に投影された光学像を撮像して得られる画像データの品質を容易に高めることができる。

本発明の第２の撮像システムは、撮像レンズを通して受光面上へ投影される点像の有効領域の最大径が３画素以上に亘る大きさであるときに、撮像素子から出力される第１の画像データで表される点像の状態に応じた復元係数を記憶せしめられた係数記憶手段と、第１の画像データに対し、撮像レンズの解像力が高いときに前記撮像素子から出力される第１の画像データと同等の第２の画像データを生成するような復元処理を前記復元係数を用いて実施する信号処理手段とを備え、信号処理手段が、受光面上における縦方向３画素以上および横方向３画素以上からなる合計９画素以上に亘る画素領域を最小単位として復元処理を行うものとしたので、上記第１の撮像システムと同様に、復元係数を用いた復元処理の実施により、受光面に投影される光学像を撮像して得られる画像データの品質を容易に高めることができる。

本発明の撮像システムの製造方法は、第２の撮像システムの製造において、撮像レンズを通して撮像素子の受光面上へ点像を投影し、撮像素子から出力される第１の画像データで表される点像の状態に応じた復元係数を係数記憶手段に記憶させるようにしたので、第２の撮像システムを効率良く製造することができる。

例えば、撮像システムから出力される画像データの表す画像の解像力が製造上の都合等により所定のレベルに達しない場合であっても、画像の解像力を高める撮像システムの再生処理を従来に比して容易に実施することができる。すなわち、復元係数を係数記憶手段に記憶させた撮像システムにより、この撮像システムから出力される画像データの品質を高める復元処理を容易に実施することができるので、画像の解像力が所定レベルに達しない撮像システムを容易に所定レベルの画像の解像力が得られるものに再生することができ、これにより撮像システムを効率良く製造することができる。

さらに、撮像システムを大量生産するものとすれば、上記撮像システムを効率良く製造するさらに大きな効果を享受することができる。

以下、本発明の実施の形態について、図面を用いて説明する。図１は本発明の撮像システムの概略構成および本発明の撮像システムの製造方法を示すブロック図である。

＜撮像システムの構成について＞
以下、撮像システムの構成について説明する。

図１に示す本発明の撮像システム１００は、撮像レンズ１０と、多数の受光画素を２次元状に配列してなる受光面２１を有する撮像素子２０であって、撮像レンズ１０を通して受光面２１上に投影された被写体の光学像Ｐ１を撮像してこの被写体を表す第１の画像データＧ１を出力する撮像素子２０と、撮像レンズ１０を通して受光面２１上へ投影される点像の有効領域の最大径が３画素以上に亘る大きさであるときに、撮像素子２０から出力される第１の画像データＧ１で表される点像Ｐ１のボケ状態に応じた復元係数Ｋを記憶せしめられる係数記憶部３０と、第１の画像データＧ１に対し、撮像レンズ１０の解像力が高いときに撮像素子２０から出力される第１の画像データＧ１と同等の第２の画像データＧ２を生成するような復元処理Ｆを係数記憶部３０に記憶せしめられる復元係数Ｋを用いて実施する信号処理部４０とを備えている。

この信号処理部４０は、受光面２１上における縦方向３画素以上および横方向３画素以上からなる合計９画素以上に亘る画素領域を最小単位として復元処理Ｆを実行するものである。

ここでは、受光面２１上へ投影される点像Ｐ１の有効領域の最大径は、受光面２１上へ投影される点像Ｐ１の有効領域が最も多くの受光画素を含む方向におけるこの有効領域の径とする。

なお、図１中に矢印Ｚで示す方向は撮像レンズ１０の光軸方向であり、矢印Ｘ，Ｙで示す方向が受光面２１に対して平行な方向である。

ここで、撮像システム１００の外部に設けられた復元係数取得装置７０Ａが、撮像素子２０から出力された第１の画像データＧ１で表される点像Ｐ１のボケ状態に応じた復元係数Ｋを取得して、この復元係数Ｋを係数記憶部３０に記憶させる。

この復元係数取得装置７０Ａは、撮像レンズ１０を含む光学系に全く誤差がないときの点像に関する設計データ、もしくはそれを上回る理想点像状態に関する理想点像状態データのいずれかであるデータＤｒを予め記憶させた理想点像記憶部７２と、撮像素子２０から出力される第１の画像データＧ１の表す点像のボケ状態を解析しその解析結果を示すボケ点像状態データＤｂを取得する点像ボケ状態取得部７３と、撮像レンズ１０を通して受光面２１上に投影された点像Ｐ１の有効領域の最大径を取得するための点像径取得部７４と、点像径取得部７４で得られた上記最大径が受光面２１上の３画素以上に亘る大きさであるか否かを判定する判定部７６と、判定部７６により上記最大径が受光面２１上の３画素以上に亘る大きさであると判定されたときに、点像ボケ状態取得部７３から出力されるボケ点像状態データＤｂ、および理想点像記憶部７２に記憶された設計データまたは理想点像状態データであるデータＤｒを入力し両者を用いた演算により上記第１の画像データＧ１の表す点像Ｐ１のボケ状態に応じた復元係数Ｋを表す係数データＤｋを取得し、この係数データＤｋが表す復元係数Ｋを係数記憶部３０に記憶させる復元係数取得部７８Ａを備えている。

なお、本発明の撮像システムに用いられる撮像レンズは、必ずしもこの撮像レンズを通して受光面上に光学像が正しく「結像される」ものに限らず、撮像レンズを通して受光面上に光学像が正しく「結像されない」ものであっても採用できるので、本発明においては撮像レンズを通して受光面上に光学像が「投影される」ものとして説明する。「結像されない」状態とは、いわゆるボケた像と解釈されるが、例えば製造誤差に起因して本来の点像よりも広がった点像を生成される状態や、設計的な制約条件（光学系の大きさやコスト）から設計値自体が本来得たい点像よりも大きい点像しか提供できないような状況も含む。

また、上記のように主に点像の解像度の劣化状態を示すボケ点像状態データＤｂは、例えば、点像Ｐ１の有効領域の大きさや点像Ｐ１の受光面上における輝度分布（画像中における濃度分布）等を表すものとすることができる。

＜撮像システムの作用について＞
次に、上記撮像システムの作用について説明する。

はじめに、復元係数取得装置により復元係数を求めてこの復元係数を係数記憶部に記憶させる場合の１例について説明する。

撮像レンズ１０を通して受光面２１上へ投影された被写体の光学像を撮像素子２０により撮像し、撮像素子２０から出力された上記被写体を表す第１の画像データＧ１が点像ボケ状態取得部７３および点像径取得部７４へ入力される。

第１の画像データＧ１が入力された点像ボケ状態取得部７３は、第１の画像データＧ１の表す点像のボケ状態を解析しその解析結果を示すボケ点像状態データＤｂを出力する。

また、第１の画像データＧ１が入力された点像径取得部７４は、受光面２１上へ投影された点像Ｐ１の有効領域の最大径を求めこの最大径を示す径データＤｍを出力する。上記最大径を示す径データＤｍが入力された判定部７６は点像Ｐ１の有効領域の最大径が受光面２１上の３画素以上に亘る大きさであるか否かを判定し、最大径が３画素以上に亘る大きさであると判定したときに信号Ｔｅを出力する。

この信号Ｔｅが入力された復元係数取得部７８Ａは、点像ボケ状態取得部７３から出力されたボケ点像状態データＤｂ、および予め理想点像記憶部７２に記憶された設計データまたは理想点像状態データであるデータＤｒを入力し両者を用いた演算により点像Ｐ１のボケ状態に応じた復元係数Ｋを取得して、この復元係数Ｋを示す係数データＤｋを出力する。

復元係数取得部７８Ａから出力された係数データＤｋは係数記憶部３０に入力されこの係数記憶部３０に係数データＤｋの表す復元係数Ｋが記憶される。

なお、点像ボケ状態取得部７３および点像径取得部７４の機能を実現する例としては、後述するＤｘＯ Ｌａｂｓ社（フランス）製のＤｘＯアナライザが挙げられる。このＤｘＯアナライザによれば、撮像素子２０から出力された第１の画像データＧ１を解析することにより受光面２１上へ投影された点像Ｐ１のボケ状態（解像度の劣化状態）や有効領域の最大径を求めることができる。

上記のようにして係数記憶部３０に復元係数Ｋが記憶され、これにより撮像システム１００が復元処理を実行可能な状態となる。

＜復元処理について＞
次に、係数記憶部３０に記憶された復元係数Ｋを用い、撮像素子２０から出力された第１の画像データに対して復元処理Ｆを実行し、第１の画像データの表す画像よりも解像度の高い画像を表す第２の画像データを取得する場合について説明する。なお、以下の説明においては、主に、点像を表す第１の画像データに対して復元処理Ｆを施す場合について説明する。

図２（ａ）は、縦軸に光強度Ｅ、横軸に受光面上におけるＸ方向の位置を示す座標上に点像の光強度分布を示す図である。図２（ｂ）は、縦軸に受光面上のＹ方向の位置、横軸に受光面上のＸ方向の位置を示す座標上に、受光面を構成する受光画素の各画素領域（図中符号Ｒｇで示す）とこの受光面に投影された点像とを示す図、図３（ａ）は第１の画像データの表す画像中に表示される点像の画像を示す図、図３（ｂ）は第２の画像データの表す画像中に表示される点像の画像を示す図である。なお、図３（ａ）と図３（ｂ）それぞれに示す画像中の画素領域（図中符号Ｒｇ′で示す）それぞれの大きさは互に一致する。なお、受光面２１を構成する受光画素の各画素領域Ｒｇと、第１の画像データＧ１や第２の画像データＧ２が表す画像中の画素領域Ｒｇ′とが互いに対応する領域となる。

また、図４（ａ）は、縦軸に光強度Ｅ、横軸に受光面上におけるＸ方向の位置を示す座標上に、撮像レンズ１０の解像力が高いときに受光面２１上に投影されるであろう点像の光強度分布を示す図である。また、これは光学系如何にかかわらず理想的な点像状態を表すものとも考えて良い。図４（ｂ）は、縦軸に受光面上のＹ方向の位置、横軸に受光面上のＸ方向の位置を示す座標上に、受光面を構成する受光画素の各画素領域（図中符号Ｒｇで示す）および撮像レンズ１０の解像力が高いときに受光面２１上に投影されるであろう点像Ｐ２を示す図である。

撮像レンズ１０を通して受光面２１上に投影された光学像である点像Ｐ１の有効領域Ｒ１の最大径Ｍ１は、図２（ｂ）に示すように、受光面２１を構成する受光画素の連続する３画素に亘る大きさである。また、その有効領域Ｒ１は、受光面２１上における縦方向３画素および横方向３画素からなる合計９画素に亘る領域である。すなわち、有効領域Ｒ１は、受光面２１を構成する受光画素の９画素分（３画素×３画素）を占める領域である。

また、図２（ａ）に示すように、点像Ｐ１の有効領域Ｒ１は、点像Ｐ１を表す光強度分布Ｈ１におけるピーク強度Ｅｐ１の１／ｅ^２以上の光強度を有する領域である。

上記受光面２１上に投影された点像Ｐ１は撮像素子２０により撮像され、この点像Ｐ１を表す第１の画像データＧ１が撮像素子２０から出力される。

図３（ａ）に示すように、この第１の画像データＧ１が表す画像Ｚｇ１中に表示される上記点像Ｐ１に対応する画像Ｐ１′は、相変わらずその有効領域Ｒ１′が画像中において９画素分（３画素×３画素）に亘るものとして表示される。

次に、この画像データＧ１を入力した信号処理部４０が、第１の画像データＧ１に対し復元係数Ｋ１を用いた復元処理Ｆを実行して第２の画像データＧ２を得る。

図３（ａ）、（ｂ）に示すように、上記第１の画像データＧ１が表す点像の画像Ｐ１′に対応する第２の画像データＧ２が表す画像Ｚｇ２中の点像の画像Ｐ２′は、その画像Ｐ２′の有効領域Ｒ２´が上記第１の画像データＧ１の表す画像Ｚｇ１中の点像の画像Ｐ１′の有効領域Ｒ１′に比して小さくなる。したがって、画像Ｚｇ２中に表される点像の画像Ｐ２′の最大径Ｍ２′（画素領域Ｒｇ′の３画素分の領域）も画像Ｚｇ１中に表される点像の画像Ｐ１′の最大径Ｍ１′（画素領域Ｒｇ′の１画素分の領域）より小さくなる。

すなわち、この図３（ｂ）に示す第２の画像データＧ２の表す点像の画像Ｐ２′と、撮像レンズ１０の解像力が高いときに受光面２１上に投影されるであろう点像Ｐ２（図４参照）を撮像した撮像素子２０から出力される第１の画像データによって表される点像の画像とは同等の画像となる。

より具体的には、撮像レンズ１０を通して受光面２１上に投影された有効領域Ｒ１が９画素分に亘る点像Ｐ１（図２（ａ）、（ｂ）参照）を撮像した撮像素子２０から出力される第１の画像データＧ１に上記復元係数Ｋを用いた復元処理Ｆを施して得られる第２の画像データＧ２の表す点像の画像Ｐ２′（図３（ｂ）参照）と、撮像レンズ１０の解像力を高くしたときに受光面２１上に投影されると予想される点像Ｐ２（有効領域Ｒ２の最大径Ｍ２が１つの画素領域Ｒｇに含まれる、図４（ａ）、（ｂ）参照）を撮像した撮像素子２０から出力される第１の画像データＧ１の表す点像の画像とは同等の画像となる。

なお、図４（ａ）、（ｂ）に示す受光面２１上の１つの画素領域Ｒｇに含まれる点像Ｐ２の有効領域Ｒ２は、上記点像Ｐ１の場合と同様に、点像Ｐ２を表す光強度分布Ｈ２におけるピーク強度Ｅｐ２の１／ｅ^２以上の光強度を有する領域である。ここで、点像Ｐ２の有効領域Ｒ２は１つの画素領域Ｒｇに含まれる大きさである。

このように、第１の画像データに復元処理を施して得られた第２の画像データの表す画像の解像度は、第１の画像データの表す画像の解像度よりも高くすることができる。

また、この復元処理Ｆにより、撮像レンズ１０の被写界深度を拡大したときに得られる画像と同様の画像を得ることができるので、上記復元処理は、実質的に撮像レンズ１０の被写界深度を拡大するものともいえる。

なお、信号処理部４０による、第１の画像データＧ１の表す点像Ｐ１の状態に応じた復元係数Ｋを用いた復元処理Ｆには、上述の特開２０００-１２３１６８号公報、段落０００２〜００１６に紹介されている画像復元処理等を採用することができる。

上記説明では点像を撮像する場合について説明したが、撮像レンズ１０を通して受光面２１上に投影される被写体の光学像は、被写体を表す点像の集まりであると考えられるので、撮像する被写体がどのようなものであっても、上記第１の画像データに復元処理を施してこの第１の画像データの表す画像よりも高い解像度で画像を表す第２の画像データを生成することができる。

＜復元係数取得装置の変形例について＞
以下、復元係数取得装置の変形例について説明する。

撮像素子から出力された第１の画像データで表される点像のボケ状態に応じた復元係数Ｋ１を係数記憶部３０に記憶させる復元係数取得装置は、上記第１例の復元係数取得装置７０Ａとは異なる以下に説明する第２例の復元係数取得装置７０Ｂや第３例の復元係数取得装置７０Ｃのように構成してもよい。

図５は第２例の復元係数取得装置７０Ｂを示す図、図６は第３例の復元係数取得装置７０Ｃを示す図である。図７は復元係数取得装置を備えた撮像システムを示す図、図８は復元係数取得装置および係数記憶部を信号処理部に備えた撮像システムを示す図である。なお、図５〜図８において上記第１例の復元係数取得装置７０Ａと同様の機能を有する構成要素については、この第１例の復元係数取得装置７０Ａの場合と同じ符号を用いて示す。

第２例の復元係数取得装置７０Ｂは、図５に示すように、予め複数種類に分類された点像のボケ状態それぞれに対応する各復元係数の候補Ｋ１、Ｋ２・・・を記憶させた候補係数記憶部７９と、撮像素子２０から出力される第１の画像データＧ１の表す点像のボケ状態を解析しその解析結果を示すボケ点像状態データＤｂを取得し後述の復元係数取得部７８Ｂへ出力する点像ボケ状態取得部７３と、撮像レンズ１０を通して受光面２１上に投影された点像Ｐ１の有効領域の最大径を取得するための点像径取得部７４と、点像径取得部７４で得られた上記最大径が受光面２１上の３画素以上に亘る大きさであるか否かを判定する判定部７６と、判定部７６により上記最大径が受光面２１上の３画素以上に亘る大きさであると判定されたときに、上記復元係数の候補Ｋ１、Ｋ２・・・のうち上記ボケ点像状態データＤｂの表す点像Ｐ１のボケ状態に応じた復元係数（例えばＫ１）を選択し、この復元係数Ｋ１を係数記憶部３０に記憶させる復元係数取得部７８Ｂとを備えている。

この復元係数取得装置７０Ｂは、点像径取得部７４により撮像レンズ１０を通して受光面２１上に投影された点像Ｐ１の有効領域の最大径を取得し、この最大径を示す径データＤｍを判定部７６へ出力する。径データＤｍが入力された判定部７６は、上記最大径が受光面２１上の３画素以上に亘る大きさであるか否かを判定し、３画素以上に亘る大きさであると判定したときに、そのことを示す信号Ｔｅを復元係数取得部７８Ｂへ出力する。信号Ｔｅが入力された復元係数取得部７８Ｂは、候補係数記憶部７９に記憶された復元係数の候補Ｋ１、Ｋ２・・・のうち上記ボケ点像状態データＤｂの表す点像Ｐ１のボケ状態に応じた復元係数（例えばＫ１）を選択し、この復元係数Ｋ１を示す係数データＤｋを係数記憶部３０に出力し記憶させる。

すなわち、係数記憶部３０には、複数種類に分類された点像のボケ状態それぞれに対応する各復元係数の候補Ｋ１，Ｋ２・・・のうちから第１の画像データＧ１の表す点像のボケ状態に応じて選択された復元係数（例えばＫ１）が記憶される。

一方、第３例の復元係数取得装置７０Ｃは、図６に示すように、予め複数種類に分類された点像のボケ状態それぞれに対応する各復元係数の候補Ｋ１、Ｋ２・・・を記憶させた候補係数記憶部７９と、撮像レンズ１０の解像力が高いときに、この解像力の高い撮像レンズを通して受光面２１上に投影される理想的な点像についての設計データまたは理想点像状態データであるデータＤｒを予め記憶させた理想点像記憶部７２と、撮像素子２０から出力される第１の画像データＧ１の表す点像のボケ状態を解析しその解析結果を示すボケ点像状態データＤｂを取得し後述する復元係数取得部７８Ｃへ出力する点像ボケ状態取得部７３と、撮像レンズ１０を通して受光面２１上に投影された点像Ｐ１の有効領域の最大径を取得するための点像径取得部７４と、点像径取得部７４で得られた上記最大径が受光面２１上の３画素以上に亘る大きさであるか否かを判定する判定部７６とを備えている。

さらに、この復元係数取得装置７０Ｃは、判定部７６により上記最大径が受光面２１上の３画素以上に亘る大きさであると判定されたときに、上記復元係数の候補Ｋ１、Ｋ２・・・のうち上記点像ボケ状態取得部７３から出力されたボケ点像状態データＤｂの表す点像Ｐ１のボケ状態に応じた復元係数（例えばＫ１）を選択し、この復元係数Ｋ１を上記ボケ点像状態データＤｂ、および予め理想点像記憶部７２に記憶された点像の設計データまたは理想点像状態データであるデータＤｒを用いた演算により補正してなる補正済の復元係数Ｋ１′を示す係数データＤｋ（Ｋ１′）を取得して、この係数データＤｋ（Ｋ１′）が表す補正済の復元係数Ｋ１′を係数記憶部３０に記憶させる復元係数取得部７８Ｃを備えている。

この復元係数取得装置７０Ｃは、点像径取得部７４により撮像レンズ１０を通して受光面２１上に投影された点像Ｐ１の有効領域の最大径を取得し、この最大径を示す径データＤｍを判定部７６へ出力する。径データＤｍが入力された判定部７６は、上記最大径が受光面２１上の３画素以上に亘る大きさであるか否かを判定し、３画素以上に亘る大きさであると判定したときに、そのことを示す信号Ｔｅを復元係数取得部７８Ｂへ出力する。信号Ｔｅが入力された復元係数取得部７８Ｂは、候補係数記憶部７９に記憶された復元係数の候補Ｋ１、Ｋ２・・・のうち上記ボケ点像状態データＤｂの表す点像Ｐ１のボケ状態に応じた復元係数（例えばＫ１）を選択し、この復元係数Ｋ１を上記ボケ点像状態データＤｂ、および予め理想点像記憶部７２に記憶された点像の設計データまたは理想点像状態データであるデータＤｒを用いた演算によりさらに補正してなる補正済の復元係数Ｋ１′を取得しこの補正済の復元係数Ｋ１′を係数記憶部３０に記憶させる。

すなわち、係数記憶部３０には、複数種類に分類された点像のボケ状態それぞれに対応する複数種類の復元係数の候補のうち、第１の画像データＧ１の表す点像Ｐ１のボケ状態に応じて選択された復元係数（例えばＫ１）を、上記点像のボケ状態に応じてさらに補正してなる補正済の復元係数Ｋ１´が記憶される。

なお、撮像システム１００は、復元係数取得装置７０Ａ、７０Ｂ、あるいは７０Ｃをその一部として備えたものとしてもよいし、復元係数取得装置７０Ａ、７０Ｂ、および７０Ｃのいずれをも備えていないものとしてもよい。

また、図７に示す撮像システム１００′は、復元係数取得装置７０Ａ、７０Ｂ、あるいは７０Ｃ等と同様の機能を有する復元係数取得装置７０を上記撮像システムの筐体に内蔵したものである。撮像システムをこのように構成されたものとしてもよい。

さらに、図８に示す撮像システム１００″は、上記のような復元係数取得装置７０および係数記憶部３０を信号処理部４０′に内蔵したものである。撮像システムをこのように構成されたものとしてもよい。

＜撮像系の性能について＞
次に、上記撮像システム１００に用いられる撮像レンズ１０と撮像素子２０とから構成される撮像系の性能について説明する。

図９は、横軸に撮像レンズから物点までの光軸方向の距離Ｕを対数目盛り（ｍ）で示し、縦軸に受光面上に連続して並ぶ画素領域の数（Ｎ）に対応させた長さを示す座標上に、物点を光軸方向に移動させたときに受光面上に投影されるこの物点に対応する点像の有効領域の最大径の変化を模式的に示す図である。

ここでは、物点を、撮像レンズに略接する近点の位置（約０．０１ｍまで接近した位置）から撮像レンズに対して略無限大離れた遠点の位置（約１０ｍ離れた位置）まで移動させた。

図９中の系列Ａ-１、Ａ-２、Ａ-３によって示される３種類の曲線（実線）は、本発明の撮像システムの撮像レンズ１０を通して受光面２１上の互に異なる特定の領域（互に像高の異なる受光面上の特定の領域）に投影される各点像の有効領域の最大径の変化を模式的に示している。また、図９中の系列Ａｗによって示される曲線（破線）は、従来の撮像システム（例えば車載用カメラ、携帯電話用カメラ、医療機器用カメラ等）に用いられる撮像レンズを通して受光面上に投影された点像の有効領域の最大径の一般的な変化を示している。

図９からわかるように、従来の撮像システムにおいては、受光面２１上に物点を投影してなる点像の有効領域の最大径は、物点の光軸方向への移動にともない１画素分の大きさから３０画素分に亘る大きさまで大きく変化する。

一方、本発明の撮像システム１００が備える撮像レンズ１０を通して受光面２１上に物点を投影してなる点像の有効領域の最大径は、系列Ａ-１、Ａ-２、Ａ-３のいずれについても３画素分以上、１０画素分以下に亘る大きさである。すなわち、撮像レンズ１０から物点までの距離にかかわらず、かつ、投影される点像の受光面上における位置（例えば、受光面上の像高）にかかわらず、この受光面上における点像の有効領域の大きさの変動は少ない。さらに、Ｘ、Ｙ、Ｚ方向のいずれの位置から撮像レンズ１０を通して受光面上へ投影された点像についても、この点像の有効領域の大きさの変動は少ないとも言える。

図１０は、横軸に撮像レンズから物点までの光軸方向の距離Ｕを対数目盛（ｍ）で示し、縦軸にＭＴＦ特性の値（％）を示した座標上に、物点を光軸方向に移動させたときに受光面上に投影される上記物点の光学像に関するＭＴＦ特性の値（％）の変化を模式的に示す図である。

ここでは、物点を、撮像レンズに略接する近点の位置（約０．０１ｍまで接近した位置）から撮像レンズに対して略無限大離れた遠点の位置（約１０ｍ離れた位置）まで移動させた。

図１０中の系列Ｂ-１、Ｂ-２、Ｂ-３によって示される本発明の撮像システムに関する３種類の曲線（実線）は、撮像レンズ１０を通して受光面上の互に異なる特定の領域（互に像高の異なる特定の領域）に投影された光学像に関するＭＴＦ特性の値（％）の変化を模式的に示している。また、図１０中の系列Ｂｗによって示される曲線（破線）は、従来の撮像システムについて、受光面上に投影された光学像に関するＭＴＦ特性の値（％）の一般的な変化を示している。

図１０からわかるように、従来の撮像システムでは、受光面２１上に投影される光学像に関するＭＴＦ特性の値（％）は、０％から８０％を超える値まで大きく変化する。なお、撮像レンズ１０と物点とが接近した近点においてＭＴＦ特性の値が０％となる位置よりも撮像レンズ１０に近い領域（ＭＴＦ特性の値が０％から折り返した領域）に位置する物点については偽解像が生じている。また、撮像レンズ１０と物点とが離れた遠点においてＭＴＦ特性の値が０％となる位置よりも遠い領域（ＭＴＦ特性の値が０％から折り返した領域）に位置する物点についても偽解像が生じている。

一方、本発明の撮像システム１００の備える撮像レンズ１０を通して受光面２１上に投影される光学像に関するＭＴＦ特性の値（％）は、系列Ｂ-１、Ｂ-２、Ｂ-３のいずれについても１０％以上６０％以下の大きさであり偽解像は生じない。すなわち、撮像レンズ１０から物点までの距離にかかわらず、かつ、投影された光学像の受光面上における位置（像高）にかかわらず、受光面上に投影された光学像に関するＭＴＦ特性の値の変動が少なく偽解像も生じない。さらに、Ｘ，Ｙ、Ｚ方向のいずれの位置、すなわち３次元空間におけるいずれの位置から撮像レンズ１０を通して受光面上へ投影された光学像に関するＭＴＦ特性の値についても変動が少ないとも言える。

上記のように、本発明の撮像システムによれば、従来のように、撮像システムから出力される第１の画像データの表す画像の解像度が所定のレベルに至らないときにその原因を特定し撮像レンズを再調整したり再組立する等のことなく、単に、点像のボケ状態に応じた復元係数を係数記憶部に記憶させてこの第１の画像データに対し復元処理を施すだけで、所定の解像度を有する画像を表す第２の画像データを得ることができるので、受光面に投影される光学像を撮像して得られる画像データの品質を容易に高めることができる。また、撮像システムにおける解像力の不足を容易に回復させることができるともいえる。

＜撮像システムの製造方法について＞
以下、本発明の撮像システムの製造方法、すなわち、所定の復元係数が記憶されていない撮像システムに対し所定の復元係数を記憶せしめて、復元係数記憶済みの撮像システムを製造する方法について図１、５、６等を参照して説明する。

この撮像システムの製造方法は、係数記憶部３０に復元係数を記憶せしめて、復元処理を実行可能な復元係数記憶済みの撮像システム１００Ａ、１００Ｂ・・・を製造するものである。

なお、撮像システム１００Ａ、１００Ｂ・・・は、既に図１〜図１０等を参照して説明した撮像システム１００と同等のものである。

上記撮像システムの製造方法は、撮像レンズ１０と、多数の受光画素を２次元状に配列してなる受光面２１を有し、撮像レンズ１０を通して受光面２１上に投影された被写体の光学像を撮像してその被写体を表す第１の画像データＧ１を出力する撮像素子２０と、第１の画像データＧ１に対し、撮像レンズ１０の解像力が高いときに撮像素子２０から出力される第１の画像データＧ１と同等の第２の画像データＧ２を生成するような復元処理Ｆを受光面２１上における縦方向３画素以上および横方向３画素以上からなる合計９画素以上に亘る画素領域を最小単位として実施する信号処理部４０と、復元処理に用いる復元係数Ｋが記憶せしめられた係数記憶部３０とを備え、係数記憶部３０に記憶せしめられた復元係数Ｋを用いて復元処理を実行する撮像システム１００Ａ、１００Ｂ・・・の製造方法である。

この製造方法は、撮像レンズ１０を通して受光面２１上へ点像Ｐ１を投影し、撮像素子２０から出力される第１の画像データＧ１で表される点像Ｐ１の状態に応じた復元係数Ｋを係数記憶部３０に記憶させるものである。

この撮像システムの製造方法には、上記第１例の復元係数取得装置７０Ａ、第２例の復元係数取得装置７０Ｂ、あるいは第３例の復元係数取得装置７０Ｃを用いて復元係数を求めその復元係数を各撮像システム１００Ａ、１００Ｂ・・・の係数記憶部に記憶させる方法を採用することができる。

以下、第１例の復元係数取得装置７０Ａ、第２例の復元係数取得装置７０Ｂ、および第３例の復元係数取得装置７０Ｃを用いた撮像システムの製造方法について具体的に説明する。なお、撮像システム１００Ａ、１００Ｂ・・・および上記第１例の復元係数取得装置７０Ａ、第２例の復元係数取得装置７０Ｂ、および第３例の復元係数取得装置Ｃの構成および作用等については上述の撮像システム１００に関する内容と同様なので重複する説明は省略し、上述の撮像システム１００の説明と重複しない撮像システムの製造方法の内容について説明する。

《第１例の復元係数取得装置７０Ａに対応する撮像システムの製造方法について》
各撮像システム毎に個別に求めた復元係数を撮像システムそれぞれに記憶させる「１対１」対応の製造工程においては、
(1)点像測定・画面内均一性判定、
(2)最適な復元処理を与える係数群（復元係数）の導出、
(3)最適な係数群の記録
が必要である。それぞれの機能をより詳しく解説する。

(1)は各撮像レンズと撮像素子の組み合わせに於いて、結像性能（解像力）を実際に測定・判定する機能である。撮像素子から得られる電気信号（第１の画像データ）をもとにして光学点像を測定する手段としては、仏ＤｘＯ社のＤｘＯアナライザが市販されている。これは、ＤｘＯ社が提唱するＢｘＵというぼけを表現する概念を用いたもので、デジタルカメラからの出力信号から点像（光学点像、画像処理後点像いずれも）を求める事が可能である。

具体的には、このＤｘＯアナライザは、ある指定されたチャート（白地に黒丸が無数に配列したチャート）を撮影して得られた画像データ（第１の画像データ）を解析することによって撮像素子の受光面上の任意の点での点像大きさを計算するものである（http://www.dxo.com/jp/image_quality/dxo_analyzer）。

なお、光学点像を測定する手段は、デジタルカメラ（すなわちセンサ）からの出力信号から点像を計算できる測定手段であれば形式は問わない。

一方、光学設計値通りであった場合の点像の大きさはその光学系を設計したツールにて計算できるので、この計算で得られた「設計値点像」とＤｘＯアナライザ等の測定器で測定された「測定点像」の大きさを比較することで、測定点像がどの程度設計値からずれているのかを判定することが出来る。例えば、光学部品に組み立て誤差があった場合の測定点像の大きさは、設計値点像に比べて大きくなってしまうことが大半である。また、撮像素子の受光面上に投影される点像の有効領域の形状や輝度分布は、本来、点対称な形状や分布をなすが、撮像レンズが傾いていたりその軸がずれていたりすると部分的に前ぼけ、後ぼけが生じてしまい、いわゆる「片ぼけ状態」となる。このような設計値からの逸脱を、前記「設計値点像」と「測定点像」を比較することによって求め、更に設計値通りと言えるかどうかの判定をすることが可能である。また、設計値点像にこだわらなくとも、任意に理想状態を定義して、その理想状態（「理想点像」）と「測定点像」を比較しその差異を判定することも可能である。

(2)はカーネルウィーナーフィルタを基本とした復元処理を実行し、前記「測定点像」を「設計値点像」あるいは「理想点像」に近づける係数群（復元係数）を計算によって求める段階である。カーネルウィーナフィルタとは、文献（鷲沢嘉一・山下幸彦著、題名「Kernel Wiener Filter」、2003 Workshop on Information-Based Induction Sciences、(IBIS2003)、Kyoto, Japan, Nov 11 -12, 2003）で示される様に、原信号が何らかのフィルタリングを経てノイズとともに観測された場合に、ノイズの含まれた観測信号から原信号を推定する手法として広く用いられている。ここで、原信号を「撮影される物体」、フィルタリングとして「撮像レンズ＋撮像素子」、観測信号を「画像信号（第１の画像データ）」、そしてノイズを「設計値点像（あるいは理想点像）と測定点像の差異」とすると、カーネルウィーナーフィルタを適用して「撮影される物体」を推定することが出来る。

実物の「撮像レンズ＋撮像素子」に一切の誤差要因がなければ撮影される物体がすなわち画像信号となっているはずであり、この復元処理を経た後では原理的には理想的な「画像信号（第２の画像データ）」が得られる。実際には、元々の(1)による測定誤差等も存在し、ノイズ成分が全て除去されずに一部が残存するが、測定点像が設計値点像あるいは理想的な点像に近づくことは確実であり、最終的な画像としての品位は向上する。

具体的には何らかの誤差要因によって光学的な点像が設計値よりも大きい、あるいは結像面内で均一でないとしても復元処理によってその点像を小さく補正、あるいは結像面内で均一化することで、実用に耐えうる性能を確保することが出来る。また製造による誤差要因のみならず、設計的に低い性能（光学点像が素子ピッチに比較して大きい）を余儀なくされている光学系であるとしても、点像を補正することによって見かけ上光学性能を向上させることが出来る。この見かけ上の光学性能向上を追求すると、理論的に示される限界解像度を越えることも可能となるため、近年の画素サイズの小型化の傾向を考えると誠に有用である。

ここで、限界解像度はエアリーディスクの大きさで与えられ、無収差レンズの点像強度の有効領域（ピーク強度×（１／ｅ^２））の半径Ｒｅ、及び強度ゼロとなる半径Ｒｃは以下の式で規定される。撮像素子として用いられる最近のＣＭＯＳ素子の画素ピッチが２．２ミクロン、１．７５ミクロンであり、今後１．４ミクロン、１．０ミクロンが主流になると予想される。例として、Ｆ２．８、波長５５０ｎｍでＲｅおよびＲｃを計算するとそれぞれ、
Ｒｅ（点像強度の有効領域の半径）＝０．８２λＦ＝０．８２×２．８×５５０×０．００１＝１．２６ミクロン（点像強度の有効領域の直径２．５２ミクロン）
Ｒｃ（点像強度ゼロとなる半径）＝１．２２λＦ＝１．２２×２．８×５５０×０．００１＝１．８８ミクロン（点像強度ゼロとなる直径３．７６ミクロン）
であり、既に画素ピッチが回折限界を越えている。

回折限界は無収差を前提としているが、現実の光学系は無収差である事は無く、特に小型化・低コスト化の要請を鑑みると収差はむしろ残存しており、妥協された性能を余儀なくされている。カーネルウィーナーフィルタによる復元処理はこのような状況でも、最終的な画像としての品位を実用的な程度にまで高めることが出来る。

上記の復元処理はある特定の像面上もしくはその極近傍（前ぼけ後ぼけの範囲）で実行することを想定しているが、撮影距離の変動に対応するデフォーカス方向の無数の像面群において測定点像と設計値点像の差をなくすような復元処理を考えれば焦点深度を拡大することも可能である。

復元処理の実行にあたっては、キャンセルすべきノイズ成分が個々の「撮像レンズ＋撮像素子」によってまちまちであり、各「撮像レンズ＋撮像素子」の組み合わせ毎に最適な復元処理を行うことが望ましい。ただし、復元処理自体のアルゴリズムは同一で良く、そこで参照される「係数群」が最適であればよい。

(3)は実際に「撮像レンズ＋撮像素子」の組に「最適な係数群」を組み合わせる段階である。その為には、何らかの記録媒体に最適な復元処理を実行するための係数群を記憶させてそれを「撮像レンズ＋撮像素子」の組に加えねばならない。従って、記録過程が必要である。

このようにして、撮像系が「撮像レンズ＋撮像素子＋記録媒体」の組として用いられる事で光学的な点像が用途に適した形で補正され、最終的には良好な品位の画像を得ることが出来る。具体的には、解像力が何らかの理由（製造公差・元々の設計値が低い）によって不満足であったとしても処理後の画像としては満足のいく解像力を達成しうる手段を提供する。また、各撮像レンズと撮像素子の組の特性に合致したような焦点深度拡大手段も提供しうる。

《第２例の復元係数取得装置７０Ｂに対応する撮像システムの製造方法について》
撮像レンズ、撮像素子、信号処理回路からなる上記点像補正光学システムを製造する第二の好適な方法を記述するが、その位置づけとしては大量のデジタルカメラを安価に生産する場合を想定したものである。その製造工程においては、
(1)復元処理に用いる係数（復元係数）群のライブラリの構築
(2)点像測定・画面内均一性判定
(3)グループ単位の最適な復元処理を与える係数群のライブラリからの抽出
(4)グループ単位の最適な係数群の記録
が必要である。それぞれの機能をより詳しく解説する。

(1)は予め全体の傾向を網羅できるぐらいの数量の撮像レンズ（例えば全ロットの１０分の１）を測定し、その解像度傾向（不具合傾向）をグループ分けしておく。その各々のグループに対する最適な復元処理を演算し、各グループ単位での最適な係数群を求めてライブラリを構築しておく。理想的には第１例のように「１対１」対応で係数群を当てはめれば理想的ではあるが、大量に生産をする場合やコストを抑制すべき時には適さない。そこで、本実施例のように全体をある程度グループに層別しそのグループ単位での最適解を求めたライブラリを作る。

(2)は第１例の(1)と同様であるが、測定点像から上記第２例の(1)で求めたグループのどこに属するかの判定を行う。実際には上記グループ分けをするときに予め測定されたもの以外についてもグループに当てはめる（例えば全ロットの１０分の９）。

(3)は上記(2)で判定されたグループの最適な係数群をライブラリから抽出する段階であり、選択された係数群が当該「撮像レンズ＋撮像素子」の組に適用される。この時、逐一個々の「撮像レンズ＋撮像素子」の組に対しての最適な係数群を求めることはしない。これによって、第１例で必要であった演算時間を短縮することが出来、大量生産を安価になし得る。

(4)は第１例の(3)と同様である。

《第３例の復元係数取得装置７０Ｃに対応する撮像システムの製造方法について》
撮像レンズ、撮像素子、信号処理回路からなる上記点像補正光学システムを製造する第三の好適な方法を記述するが、その位置づけとしては大量のデジタルカメラを安価に生産する場合を想定したものである。その製造工程においては、
(1)復元処理に用いる係数（復元係数）群のライブラリの構築
(2)点像測定・画面内均一性判定
(3)最適な復元処理を与える係数群のライブラリからの抽出
(4)当該係数群を部分的に修正
(5)修正された係数群の記録
が必要である。それぞれの機能をより詳しく解説する。

(1)(2)(3)は第２例の(1)(2)(3)と同一。

(4)は抽出された係数群を部分的に修正する過程である。係数群はある数値の配列となっているが、その一部分のみを直してある「撮像レンズ＋撮像素子」に対して必要とされる修正を加える。全ての係数群を最適化する上記第１例とは異なり、部分的に係数を修正するだけなので時間的に短くて済む。

(5)は修正された補正済みの係数群を記録する段階であり、これによって「撮像レンズ＋撮像素子＋記録媒体」の組が構成される。

上記のように、本発明の撮像システムの製造方法によって製造された撮像システムは、受光面に投影された光学像を撮像して得られる画像データの品質を容易に高めることができる。

＜各構成要素の変形例について＞
以下、撮像システムおよび撮像システムの製造方法における構成要素の変形例について説明する。

また、信号処理部は、受光面上に投影された点像の有効領域の全てを含む最小の画素領域を最小単位として復元処理を実行する場合に限らず、有効領域の全てを含むが最小ではない画素領域を最小単位として復元処理を実行してもよい。

さらに、信号処理部は、第１の画像データの表す画像中の点像の有効領域の大きさよりも、第２の画像データの表す画像中における点像の有効領域の大きさの方を小さくするように復元処理を実行する場合に限らず、第１の画像データの表す画像中の点像の有効領域の大きさを、第２の画像データの表す画像中における点像の有効領域の大きさ以上とするように復元処理を実行するようにしてもよい。

また、この撮像システムは、撮像レンズと撮像素子とが、例えばＺ方向に関しては１０ｆ以上に制限され、Ｘ、Ｙ方向に関してもある物体高までに制限された範囲内において物体空間のＸ，Ｙ，Ｚ方向のいずれの位置から受光面上に投影された点像についても、この点像の有効領域の最大径が撮像素子の受光面を形成する受光画素の３画素以上に亘る大きさとなるように構成されたものとしてもよい。

また、撮像レンズは、この撮像レンズの焦点距離の１０倍以上離れたＸ，Ｙ，Ｚ方向のいずれの位置からこの撮像レンズを通して受光面上へ投影された被写体の光学像についてもこの光学像に関するＭＴＦ特性の値が正となるように構成されたものであることが望ましい。なお、「撮像レンズの焦点距離の１０倍以上離れた位置」は、「撮像レンズを構成するレンズ面のうち最も被写体側（物体側）の面とこの撮像レンズの光軸とが交わる位置を基準位置とし、この基準位置から、その撮像レンズの光軸方向（Ｚ軸方向）に沿って焦点距離の１０倍以上、被写体の側へ離れた位置」を意味する。

なお、上記撮像システムを備えた本発明の撮像装置、携帯端末機器、車載機器、および医療機器等の被写界深度の深いことが要請される装置は、各装置に備えられた撮像システムの受光面に投影された光学像を撮像して得られる画像データの品質を上記と同様に容易に高めることができる。

図１１は、撮像システムを備えた車載機器が搭載されている自動車を示す図である。

図１１に示すように、本発明の撮像システムを備えた車載機器５０２〜５０４は、自動車５０１等に搭載して使用することができる。この自動車５０１は、助手席側の側面の死角範囲を撮像するための車外カメラである車載機器５０２と、自動車１の後側の死角範囲を撮像するための車外カメラである車載機器５０３と、ルームミラーの背面に取り付けられ、ドライバーと同じ視野範囲を撮影するための車内カメラである車載機器５０４とを備えている。

図１２は、撮像システムを備えた携帯端末機器である携帯電話機を示す図である。

図示のように、この携帯電話機５１０は、携帯電話機の筐体５１１中に撮像システム５１２が配されたものである。

図１３は、撮像システムを備えた医療機器である内視鏡装置を示す図である。

図示のように、生体組織５２５を観察するこの内視鏡装置５２０は、照明光Ｌａで照明された生体組織５２５を撮像するための撮像システム５２２を内視鏡装置５２０の先端部５２１に配したものである。

このように、上記のような撮像システムを備えた本発明の撮像装置、携帯端末機器、車載機器、および医療機器は、従来より知られている撮像装置、携帯端末機器、車載機器、および医療機器が備えている従来の撮像システムとの置き換えが容易である。すなわち、従来より知られている撮像装置、携帯端末機器、車載機器、および医療機器の装置サイズや形状等を変更することなく、これらの装置が備える従来の撮像システムを本発明の撮像システムに置き換えて、本願発明の撮像装置、携帯端末機器、車載機器、および医療機器を構成することもできる。

なお、本発明の撮像システムは、撮像レンズと撮像素子とが、Ｘ，Ｙ，Ｚ方向の少なくともいずれかの方向について限定された位置から撮像レンズを通して受光面上へ投影された点像についてのみ、この点像の有効領域の最大径が受光面を形成する受光画素の３画素以上に亘る大きさとなるように構成されたものとしてもよい。このような場合には、受光面上へ投影された点像の有効領域の最大径が受光画素の３画素以上に亘る大きさとなる領域を表す第１の画像データに対してのみ復元処理を実施して第２の画像データを得るようにすることができる。

また、この撮像システムは、軸対称形状からなる光学部材のみを通して受光面上に被写体の光学像が投影されるように構成したものであってもよいし、あるいは、非軸対称形状からなる光学部材を通して受光面上に被写体の光学像が投影されるように構成したものであってもよい。さらに、上記撮像レンズは、被写界深度の深いものとすることが望ましい。すなわち、被写体の移動、あるいは撮像レンズのフォーカス調整等により、被写体の光学像が受光面上に投影される状態に変化が生じても、受光面上に投影される点像のボケ状態の変化が少なくなるように撮像レンズと撮像素子とを構成することが望ましい。より具体的には、受光面上に投影される点像の有効領域の大きさ、およびコントラストの変化を少なくなるように撮像レンズと撮像素子とを構成することが望ましい。しかしながら、撮像システムは、被写界深度の深い撮像レンズを備える場合に限らず、被写界深度の浅い撮像レンズを備えるようにしてもよい。

また、上記撮像システムに用いる撮像素子は、ＣＣＤ素子、あるいはＣＭＯＳ素子とすることができる。

本発明の撮像システムの概略構成および撮像システムの製造方法を示すブロック図 図２（ａ）は点像の光強度分布を示す図、図２（ｂ）は受光面に投影された点像を示す図 図３（ａ）は第１の画像データの表す画像中に表示される点像の画像を示す図、図３（ｂ）は第２の画像データの表す画像中に表示される点像の画像を示す図 図４（ａ）は撮像レンズの解像力が高いときに受光面上に投影されるであろう点像の光強度分布を示す図、図４（ｂ）は受光面を構成する受光画素の各画素領域および撮像レンズの解像力が高いときに受光面に投影されるであろう点像を示す図 第２例の復元係数取得装置を示す図 第３例の復元係数取得装置を示す図 復元係数取得装置を備えた撮像システムを示す図 復元係数取得装置および係数記憶部を信号処理部に備えた撮像システムを示す図 物点を光軸方向に移動させたときに受光面上に投影されるその物点の光学像である点像の有効領域の最大径の変化を示す図 物点を光軸方向に移動させたときに受光面上に投影されるその物点の光学像に関するＭＴＦ特性の値（％）の変化を示す図 撮像システムを備えた車載機器が搭載されている自動車を示す図 撮像システムを備えた携帯端末機器である携帯電話機を示す図 撮像システムを備えた医療機器である内視鏡装置を示す図

符号の説明

１０ 撮像レンズ
２０ 撮像素子
２１ 受光面
３０ 係数記憶部
４０ 信号処理部
７０Ａ 第１例の復元係数取得装置
７０Ｂ 第２例の復元係数取得装置
７０Ｃ 第３例の復元係数取得装置
７２ 理想点像記憶部
７４ 点像径取得部
７６ 判定部
７８ 復元係数取得部
７９ 候補係数記憶部
１００ 撮像システム
Ｇ１ 第１の画像データ
Ｇ２ 第２の画像データ
Ｆ 復元処理
Ｐ１ 点像
Ｋ 復元係数
Ｄｒ 設計データ、理想点像状態データ
Ｄｂ ボケ点像状態データ
Ｄｋ 係数データ

Claims (16)

1. 撮像レンズと、
   多数の受光画素を２次元状に配列してなる受光面を有し、前記撮像レンズを通して前記受光面上に投影された被写体の光学像を撮像して該被写体を表す第１の画像データを出力する撮像素子と、
   前記撮像レンズを通して前記受光面上へ投影される点像の有効領域の最大径が３画素以上に亘る大きさであるときに、前記撮像素子から出力される第１の画像データで表される前記点像の状態に応じた復元係数を記憶せしめられる係数記憶手段と、
   前記第１の画像データに対し、前記撮像レンズの解像力が高いときに前記撮像素子から出力される第１の画像データと同等の第２の画像データを生成するような復元処理を前記復元係数を用いて実施する信号処理手段とを備え、
   前記信号処理手段が、前記受光面上における縦方向３画素以上および横方向３画素以上からなる合計９画素以上に亘る画素領域を最小単位として前記復元処理を行うものであることを特徴とする撮像システム。
2. 前記係数記憶手段が、各撮像システム毎に、該撮像システムに対して個別に求められた復元係数が記憶されるものであることを特徴とする請求項１記載の撮像システム。
3. 前記係数記憶手段が、複数種類に分類された点像の状態それぞれに対応する各復元係数の候補のうち、前記第１の画像データの表す点像の状態に応じて選択された復元係数が記憶されるものであることを特徴とする請求項１記載の撮像システム。
4. 前記係数記憶手段が、複数種類に分類された点像の状態それぞれに対応する複数種類の復元係数の候補のうち、前記第１の画像データの表す点像の状態に応じて選択された復元係数を、該点像の状態に応じてさらに補正してなる補正済の復元係数が記憶されるものであることを特徴とする請求項１記載の撮像システム。
5. 前記復元係数を取得し前記係数記憶手段に記憶させる復元係数取得手段をさらに備えたことを特徴とする請求項１からから４のいずれか１項記載の撮像システム。
6. 前記信号処理手段が、前記受光面上に投影された点像の有効領域の全てを含む最小の画素領域を最小単位として前記復元処理を実行するものであることを特徴とする請求項１から５のいずれか１項記載の撮像システム。
7. 前記信号処理手段が、前記第１の画像データの表す画像中の点像の有効領域の大きさよりも、前記第２の画像データの表す画像中における前記点像の有効領域の大きさの方を小さくするように前記復元処理を実行するものであることを特徴とする請求項１から６のいずれか１項記載の撮像システム。
8. 請求項１から７のいずれか１項記載の撮像システムを備えた撮像装置。
9. 請求項１から７のいずれか１項記載の撮像システムを備えた携帯端末機器。
10. 請求項１から７のいずれか１項記載の撮像システムを備えた車載機器。
11. 請求項１から７のいずれか１項記載の撮像システムを備えた医療機器。
12. 撮像レンズと、
    多数の受光画素を２次元状に配列してなる受光面を有し、前記撮像レンズを通して前記受光面上に投影された被写体の光学像を撮像して該被写体を表す第１の画像データを出力する撮像素子と、
    前記撮像レンズを通して前記受光面上へ投影される点像の有効領域の最大径が３画素以上に亘る大きさであるときに、前記撮像素子から出力される第１の画像データで表される前記点像の状態に応じた復元係数を記憶せしめられた係数記憶手段と、
    前記第１の画像データに対し、前記撮像レンズの解像力が高いときに前記撮像素子から出力される第１の画像データと同等の第２の画像データを生成するような復元処理を前記復元係数を用いて実施する信号処理手段とを備え、
    前記信号処理手段が、前記受光面上における縦方向３画素以上および横方向３画素以上からなる合計９画素以上に亘る画素領域を最小単位として前記復元処理を行うものであることを特徴とする撮像システム。
13. 前記撮像レンズを通して前記撮像素子の受光面上へ点像を投影し、前記撮像素子から出力される第１の画像データで表される前記点像の状態に応じた復元係数を前記係数記憶手段に記憶させることを特徴とする請求項１２記載の撮像システムの製造方法。
14. 前記復元係数は、各撮像システム毎に、該撮像システムに対して個別に求めたものであることを特徴とする請求項１３記載の撮像システムの製造方法。
15. 前記復元係数は、複数種類に分類された点像の状態それぞれに対応する各復元係数の候補のうち、前記第１の画像データの表す点像の状態に応じて選択したものであることを特徴とする請求項１３記載の撮像システムの製造方法。
16. 前記復元係数は、複数種類に分類された点像の状態それぞれに対応する複数種類の復元係数の候補のうち、前記第１の画像データの表す点像の状態に応じて選択した復元係数を、該点像の状態に応じてさらに補正したものであることを特徴とする請求項１３記載の撮像システムの製造方法。