JP2008516299A - 撮像装置及び画像改質処理方法 - Google Patents
撮像装置及び画像改質処理方法 Download PDFInfo
- Publication number
- JP2008516299A JP2008516299A JP2007516709A JP2007516709A JP2008516299A JP 2008516299 A JP2008516299 A JP 2008516299A JP 2007516709 A JP2007516709 A JP 2007516709A JP 2007516709 A JP2007516709 A JP 2007516709A JP 2008516299 A JP2008516299 A JP 2008516299A
- Authority
- JP
- Japan
- Prior art keywords
- lens
- image
- multifocal lens
- multifocal
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003384 imaging method Methods 0.000 title claims description 163
- 238000012986 modification Methods 0.000 title claims description 49
- 230000004048 modification Effects 0.000 title claims description 49
- 238000003672 processing method Methods 0.000 title claims description 33
- 230000003287 optical effect Effects 0.000 claims abstract description 79
- 238000012545 processing Methods 0.000 claims abstract description 61
- 238000012937 correction Methods 0.000 claims abstract description 21
- 230000006870 function Effects 0.000 claims description 120
- 238000004364 calculation method Methods 0.000 claims description 40
- 238000000034 method Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 21
- 239000003086 colorant Substances 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 abstract description 14
- 238000002407 reforming Methods 0.000 description 64
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 40
- 238000010586 diagram Methods 0.000 description 30
- 238000012546 transfer Methods 0.000 description 13
- 238000012634 optical imaging Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000012905 input function Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101150007692 DOA4 gene Proteins 0.000 description 1
- 101100010147 Oryza sativa subsp. japonica DOF1 gene Proteins 0.000 description 1
- 101100224344 Oryza sativa subsp. japonica DOF2 gene Proteins 0.000 description 1
- 101100387924 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) DOS2 gene Proteins 0.000 description 1
- 101100523544 Schizosaccharomyces pombe (strain 972 / ATCC 24843) raf1 gene Proteins 0.000 description 1
- 101100467517 Schizosaccharomyces pombe (strain 972 / ATCC 24843) raf2 gene Proteins 0.000 description 1
- 125000002015 acyclic group Chemical group 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Image Input (AREA)
Abstract
【課題】大規模な処理を必要とせず、ピント合せ機構を用いることなく、標準的な距離にある通常の被写体、およびこれよりも近距離にある近距離被写体のいずれについても容易にかつ精度よく鮮明な画像を得ることができる。
【解決手段】焦点距離の異なる複数のレンズ部を有した多焦点レンズ(210)と、多焦点レンズ(210)により形成された像を電気的信号に変換し、撮像信号として出力する撮像素子(29)と、撮像素子(29)からの撮像信号に荷重加算演算処理を施し、出力する演算処理部(33)とを備え、補正関数は、多焦点レンズ(210)で構成される光学系から所定距離の被写体に対するポイントスプレッド関数に基づいて取得された逆関数である。
【解決手段】焦点距離の異なる複数のレンズ部を有した多焦点レンズ(210)と、多焦点レンズ(210)により形成された像を電気的信号に変換し、撮像信号として出力する撮像素子(29)と、撮像素子(29)からの撮像信号に荷重加算演算処理を施し、出力する演算処理部(33)とを備え、補正関数は、多焦点レンズ(210)で構成される光学系から所定距離の被写体に対するポイントスプレッド関数に基づいて取得された逆関数である。
Description
本発明は、被写体を撮像し、電子画像に変換する電子カメラなどの撮像装置及びその電子画像を改質する画像改質処理方法に関し、詳しくは、バーコードなどの近接の被写体を撮像し、その像を電子画像に変換することが可能な撮像装置及びその電子画像を改質する画像改質処理方法に関する。
画像入力機能を有する電子機器の一例として、近接の被写体の像を読み取るバーコード読取装置が知られている。ここでの被写体は、例えば、商品の表面に記載のバーコードである。従来のバーコード読取装置は、複数のバーとスペースで構成されたバーコードなどの被写体の像をCCD(charge coupled device)などの撮像素子上に形成し、その像を電子画像に変換し、例えば、文字情報に復号し、バーコードを読み取るようになっている。この他にも、遠距離のバーコードでも高精度で読み取るバーコード読取装置が提案されており、例えば、特開平05‐217012に開示されている。
図14Aに示された従来のバーコード読取装置は、バーコードなどの被写体からの光を取り込む先端部98と、先端部98を通して取り込まれた光を収束させる多焦点レンズ91で構成される収束光学系と、多焦点レンズ91で収束させ、結像した像を取り込み、画像信号に変換する撮像素子99と、画像信号から直流成分を除去する高域通過フィルタ97とを備えている。多焦点レンズ91は、光学軸10を有し、この光学軸10を共有する遠レンズ部92と近レンズ部93で構成され、遠レンズ部92は、近レンズ部93よりも焦点距離が長い。
図14Bは、多焦点レンズ91の光学軸10の延長線上からの正面図である。図14Bから明らかなように、遠レンズ92及び近レンズ93は、夫々円形及び円環形であり、遠レンズ92の周辺部の外側に近レンズ93が放射状に広がっている。遠レンズ92及び近レンズ93は、夫々光学軸10上に焦点11及び焦点13を有している。また、従来のバーコード読取装置では、バーコードの最大読取可能範囲を示す被写界深度(以下単に「DOF」という)がそのレンズの焦点を中心に決定される。すなわち、遠レンズ92の被写界深度DOF1が焦点11を中心に決定され、近レンズ93の被写界深度DOF2が焦点13を中心に決定される。
撮像素子99は、撮像素子99上の像を読み取り、この像を電気信号に変換し、高域通過フィルタ97に画像信号として出力するようになっている。高域通過フィルタ97は、画像信号の直流成分を除去し、画像信号として出力するようになっている。画像信号は、図14には示されないが、信号処理部で復号され、例えば文字情報に変換される。よって、従来のバーコード読取装置は、バーコードを読み取ることができる。
従来のバーコード読取装置の多焦点レンズ91は、遠距離に焦点11を有する遠レンズ92と、近距離に焦点13を有する近レンズ部93とにより構成される。このため、近距離の被写体の撮影における撮像素子99上の像は、近レンズ部93によるピントのあった像と遠レンズ部92によるピントのボケた像の合成となり、その合成像は不鮮明である。逆に、遠距離の被写体の撮影における撮像素子99上の像は、近レンズ部93によるピントのボケた像と遠レンズ部92によるピントのあった像の合成となり、その合成像も不鮮明である。
図15は、点光源が遠レンズ部92の焦点11に位置する場合及び点光源が近レンズ部93の焦点13に位置する場合における撮像素子99上に像の形成について示している。
図15Aは、点光源が遠レンズ部92の焦点11に位置する場合の撮像素子99上の像の形成について説明する図である。図15Bは、多焦点レンズ91の光学軸10の延長線上から見た撮像素子99上の像991aの正面図である。点光源が遠レンズ部92の焦点11にあるとき、撮像素子99上の像991aは、遠レンズ部92によるピントのあった像a1と近レンズ部93によるピントのボケた像a2との合成である。ピントのボケた像a2は、ピントのあった像a1の外側に環状に広がっている。
同様に、図15Cは、点光源が近レンズ部93の焦点13に位置する場合の撮像素子99上の像を説明する図である。図15Dは、多焦点レンズ91の光学軸10の延長線上から見た撮像素子99上の像991bの正面図である。点光源が近レンズ部93の焦点13にあるとき、撮像素子99上の像991bは、近レンズ部93によるピントのあった像b1と遠レンズ部92によるピントのボケた像b2との合成である。ピントのボケた像b2は、ピントのあった像a1の外側に環状に広がっている。
このように、多焦点レンズ91は、異なった位置に焦点を持つ2つのレンズ部により構成されるため、対処物が一方の被写界深度(DOF)内にあっても、撮像素子99上の像は、遠レンズ部92と近レンズ部93の一方によるピントのあった像と遠レンズ部92と近レンズ部93の他方によるピントのボケた像の合成であり、ピントのボケた像が撮像素子99上の投射像をある程度浮き上がらせるので、不鮮明である。
撮像素子99は、遠レンズ部92と近レンズ部93の内の他方で形成されるピントのボケた画像成分、例えば、近レンズ部93による図15Bに示された環状のピントのボケた画像a2又は遠レンズ部92による図15Dに示された円形のピントのボケた画像b2を撮像信号に含まれる直流成分に変換している。
ハイパスフィルタ97は、投射像からピントのボケた像を除去するよう、撮像信号から直流成分を除去している。例えば、対象物としてのバーコードがDOF1内にある場合、ハイパスフィルタ97は、近レンズ部93によるボケた投射像成分である直流成分を除去するようになっている。逆に、対象物としてのバーコードがDOF2内にある場合、ハイパスフィルタ97は、遠レンズ部92によるボケた投射像成分である直流成分を除去するようになっている。このように、従来のバーコード読取装置は、ボケた像を除去するよう直流成分を除去するハイパスフィルタ97を備えているので、被写界深度が改善される。すなわち、従来のバーコード読取装置の被写界深度は、図14Aから明らかなように、近距離のDOS2に加えて遠距離のDOS1をも有することとなり、焦点深度の拡大を図ることができ、これによりバーコードからある程度離れた距離であっても精度のよい読み取りが可能となる。
しかしながら、上述の従来のバーコード読取装置では、バーコードのような図式的な対象の光学的読取に対しては効果があるが、例えば、人物や風景を撮影するような通常のカメラに適用するには十分満足できるよな画質が得られないという、画像品質上の課題があった。すなわち、通常、カメラで撮影するような風景などには、ゆるやかに輝度や色が変化するような直流成分を含む低周波成分も撮像信号には含まれており、単に直流成分を除去するのみでは画質劣化を招くため、このような多焦点レンズを利用して風景などを撮影する場合には精度よくボケ像の修正を行わなければならないという課題があった。
とりわけ、近年、例えば携帯電話で代表されるように、情報端末装置には、画像入力機能を備えることが一般的となっている。さらに、この画像入力機能を利用して人物や風景を撮影するようなカメラ機能とともに、上述したようなバーコードなどの近接画像をも取り込み可能とすることで、このような情報端末装置の利用性をさらに向上させることができる。例えば、このようなバーコードを利用して、メールアドレス、ホームページアドレス、電話番号など多くの情報を表すことができるので、これらのバーコードを上記所望の画像と組み合わせて使用することにより、きわめて有用なコミュニケーションが実現できる。このように、近距離、および遠距離の被写体双方に対して精度良く画像を取り込むような情報端末装置の実現が強く望まれている。
ボケた画像を精度よく鮮明な画像に補正する方法として、インバースフィルタを利用してボケた画像を補正する画像処理方法が知られている。このようなインバースフィルタは、例えば、ディジタルフィルタにより構成され、ボケた画像にフィルタ処理を施し、レンズの光学的伝達特性を補正するようになっている。光学系では、このような伝達特性は、ポイントスプレッド関数(以下単に、PSFという)で表され、実験的に、あるいは、計算で取得される。例えば、図15に示した従来のバーコード読取装置では、点光源に対し撮像素子99上に投射される像を示しており、図15Bの投射像991aや図15Dの投射像991bが多焦点レンズ91のPSFに相当する。よって、例えば、投射像991aにおけるボケた像a2や、投射像991bにおけるボケた像b2の画像成分を実験等で求めることで、ボケた像を生成する伝達関数Hが求まる。さらに、このような伝達関数Hの逆関数1/Hを求め、撮像素子99からの撮像信号に対して、その逆伝達特性を有したインバースフィルタによるフィルタリングを行うことで精度よくボケた画像の修復を行うことができる。
しかしながら、図15から明らかなように、PSFは、点光源の位置に応じて変化するため、ボケた画像を精度よく鮮明な画像に補正するためには、対象物の位置に応じた逆伝達特性1/Hを予め計算又は備えておく必要があり、その結果、大規模な処理が必要であるという課題があった。また、対象物の位置に応じた逆伝達特性を得るため、オートフォーカスのようなピント調整機能も必要となり、処理規模が増加するという課題があった。
すなわち、従来のバーコード読取装置に利用されたレンズ91の形状の場合、遠距離の対象物に対するPSFは、図15Bの投射像991aのような形状になり、近距離の対象物に対するPSFは、図15Dの投射像991bのような形状になる。更に、対象物の位置に応じて投射像の大きさが変化する。このように、従来のバーコード読取装置は、ボケた画像を精度よく鮮明な画像に補正するために、対象物の位置に応じた逆伝達特性1/Hを予め計算又は備えておく必要があった。
本発明は、上記課題を課題を解決するためになされたもので、多焦点レンズで撮像された画像に対し、大規模な処理を必要とせず、ピント合せ機能を用いることなく、被写体が基準距離よりも短距離か否かに関係なく、容易にかつ精度よく鮮明な画像を得ることができる撮像装置、および画像改質処理方法を提供することを目的とする。
本発明の撮像装置は、焦点距離の異なる複数のレンズ部を有した多焦点レンズと、前記多焦点レンズにより結像された画像を電気信号に変換し、撮像信号として出力する撮像素子と、所定の補正関数に基づいて前記撮像素子からの撮像信号に荷重加算演算処理を施し、補正した撮像信号を出力する演算処理部とを備え、前記補正関数は、前記多焦点レンズの光学系から所定距離の被写体に対するポイントスプレッド関数に基づいた逆関数である。
この構成により、本発明の撮像装置は、被写体が基準距離よりも短距離か否かに関係なく、容易にかつ精度よく鮮明な画像を得ることができる。
本発明の撮像装置において、前記多焦点レンズは、代表レンズ部を有してもよい。前記光学系から所定距離の被写体に対するポイントスプレッド関数は、前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数でもよい。また、前記多焦点レンズのポイントスプレッド関数は、前記多焦点レンズの光学軸上における前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数でもよい。更に、前記多焦点レンズのポイントスプレッド関数は、前記多焦点レンズの光学軸から所定距離の焦点面における前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数でもよい。
この構成により、本発明の撮像装置は、容易にかつ精度よくポイントスプレッド関数を得ることができ、その結果、被写体が基準距離よりも短距離か否かに関係なく、容易にかつ精度よく鮮明な画像を得ることができる。
本発明の撮像装置において、前記光学系から所定距離の被写体に対する前記ポイントスプレッド関数は、前記多焦点レンズのレンズ部夫々のポイントスプレッド関数を所定の比率で合成したポイントスプレッド関数でもよい。また、前記光学系から所定距離の被写体に対する前記ポイントスプレッド関数は、前記多焦点レンズの光学軸上における前記多焦点レンズのレンズ部夫々のポイントスプレッド関数を所定の比率で合成したポイントスプレッド関数でもよい。更に、前記光学系から所定距離の被写体に対する前記ポイントスプレッド関数は、前記多焦点レンズの光学軸から所定距離だけ離れた焦点面における前記多焦点レンズのレンズ部夫々のポイントスプレッド関数を所定の比率で合成したポイントスプレッド関数でもよい。
この構成により、本発明の撮像装置は、容易にかつ精度よくポイントスプレッド関数を算出することができ、その結果、被写体が基準距離よりも短距離か否かに関係なく、容易にかつ精度よく鮮明な画像を得ることができる。
本発明の撮像装置において、前記多焦点レンズは、第1の焦点距離を有する第1のレンズ部と、前記第1の焦点距離とは異なった第2の焦点距離を有する第2のレンズ部とにより構成され、前記第1及び第2のレンズ部は、一体的に形成され、前記第1及び第2のレンズ部は、前記多焦点レンズの平面を集合的に形成し、前記多焦点レンズの光学軸の延長線上から見たときの前記平面の形状は、円形、楕円形又は多角形で、前記第1及び第2のレンズ部は、前記多焦点レンズの中心を通る直線に沿って隣接するように配置されてもよい。
更に、本発明の撮像装置において、前記多焦点レンズは、第1の焦点距離を有する第1のレンズ部と、前記第1の焦点距離とは異なった第2の焦点距離を有する第2のレンズ部とによりに構成され、前記第1及び第2のレンズ部は、一体的に形成され、前記第1及び第2のレンズ部は、同心関係で隣接し、前記多焦点レンズの平面を集合的に形成し、前記多焦点レンズの光学軸の延長線上から見たときの前記平面の形状は、円形、楕円形、多角形の何れでもよい。また、本発明の撮像装置において、前記多焦点レンズの光学軸の延長線上から見たときの前記第1及び第2レンズ部の占める面積が実質的に等しくてもよい。
この構成により、本発明の撮像装置は、容易にかつ精度よく撮像素子上に像を結像することができる。
更に、本発明の撮像装置において、前記多焦点レンズは、第1のレンズ部から第N(Nは、2以上の整数)のレンズ部までの複数のレンズ部により構成され、前記複数のレンズ部は、相互に異なる焦点距離を有し、前記第1のレンズ部から第Nのレンズ部までを含む複数のレンズ部は、一体的に形成され、前記第1のレンズ部から第Nのレンズ部までを含む複数のレンズ部は、交互に隣接し、同心関係で配置され、前記多焦点レンズの平面を集合的に形成し、前記多焦点レンズの光学軸の延長線上から見たときの前記平面の形状は、円形、楕円形、多角形の何れでもよい。本発明の撮像装置において、前記多焦点レンズは、第1のレンズ群から第M(Mは、2以上の整数)のレンズ群により構成され、i番目(iは、Mと同じかそれ以下の整数)のレンズ群は、第1のレンズ部から第N(Nは、2以上の整数)のレンズ部までの複数のレンズ部により構成され、前記i番目のレンズ群の第1のレンズ部から第Nのレンズ部までの複数のレンズ部は、i−1番目のレンズ群の第Nのレンズ部の外側に放射状に延在し、交互に隣接し、同心関係で配置され、前記第1のレンズ群の第1のレンズ部から第Mのレンズの第Nのレンズ部までの複数のレンズ部は、一体的に形成され、前記第1のレンズ群の第1のレンズ部から第Mのレンズの第Nのレンズ部までの複数のレンズ部は、同心関係で隣接し、前記多焦点レンズの平面を集合的に形成し、前記多焦点レンズの光学軸の延長線上から見たときの前記平面の形状は、円形、楕円形、多角形の何れでもよい。本発明の撮像装置において、前記多焦点レンズは、相互に隣接のレンズ部が接続される部分である1つ又は複数の接合部を有し、前記接合部での迷光を低減するために前記接合部に遮光処理が施されてもよい。本発明の撮像装置において、前記多焦点レンズの光学軸の延長線上から見たときのN個のレンズ部夫々の占める面積が実質的に等しくてもよい。
この構成により、本発明の撮像装置は、撮像素子上に容易にかつ精度よく撮像素子上に像を結像することができ、その結果、被写体が基準距離よりも短距離か否かに関係なく、容易にかつ精度よく鮮明な画像を得ることができる。
本発明の撮像装置において、前記演算処理部は、前記所定の補正関数に基づいて取得された係数列を記憶するディジタルフィルタを有し、前記ディジタルフィルタは、前記撮像素子の撮像信号からアナログデジタル変換されたディジタル撮像データを入力し、前記撮像データに演算処理を施し、前記撮像データと前記係数との積を算出してもよい。前記撮像素子から出力される前記撮像信号は、垂直及び水平方向にマトリクス状に並んだ複数のデータからなり、前記ディジタルフィルタは、前記所定の補正関数に基づいて算出した複数の係数を記憶する二次元フィルタであり、前記係数は、垂直及び水平方向にマトリクス状に並び、かつ前記データと夫々対応し、前記ディジタルフィルタは、前記撮像信号に対する前記荷重加算演算処理を実行し、前記データに前記係数を掛け、前記係数が掛けられたデータを加算してもよい。前記撮像素子は、水平及び垂直方向にマトリクス状に並んだ画素と対応し、かつ前記データと対応する複数の光電素子により構成されてもよい。前記撮像素子から出力される撮像信号は、三原色を示すR、G、Bのデータを含み、前記演算処理部は、前記R、G、Bのデータに対する荷重加算演算処理を実行してもよい。
この構成により、本発明の撮像装置は、容易にかつ精度よく荷重加算演算処理を実行することができる。
本発明の撮像装置は、前記光電素子は、前記三原色を示す各画素に対応し、市松模様状に並び、並んだ順序で前記三原色を示すデータを撮像信号として出力してもよい。前記演算処理部は、前記光電素子からの前記データを入力し、前記ディジタルフィルタは、並んだ順序で三原色を示すデータに対して順次前記係数を用いて前記データに前記荷重加算演算処理を施してもよい。
この構成により、本発明の撮像装置は、容易にかつ精度よく荷重加算演算処理を実行することができる。
本発明の撮像装置は、前記係数は、画素に対応する有効係数を含み、前記有効係数は、前記画素に対応する係数とその近傍にある複数の係数に所定の加重値を掛け、前記加重値が掛けられた係数とその近傍にある複数の係数を画素毎に加算し、算出されてもよい。また、前記光電素子は、ベイヤー配列で配置され、前記ベイヤー配列の順序で前記原色信号であるR、G、B、およびGbのデータを出力してもよい。
この構成により、本発明の撮像装置は、容易にかつ精度よく荷重加算演算処理を実行することができ、その結果、被写体が基準距離よりも短距離か否かに関係なく、容易にかつ精度よく鮮明な画像を得ることができる。
本発明の撮像装置は、焦点距離の異なる複数のレンズ部を有した多焦点レンズと、前記多焦点レンズにより結像された画像を電気信号に変換し、撮像信号として出力する撮像素子とを備えた撮像装置における前記撮像信号の画像処理方法であって、前記撮像信号を入力する入力ステップと、前記撮像信号をディジタル信号である撮像データに変換する変換ステップと、所定の補正関数に基づいて前記撮像データに対する荷重加算演算処理を実行し、補正された撮像データを取得する演算ステップと、前記補正された撮像データを撮像信号として出力する出力ステップとを備え、前記補正関数が、前記多焦点レンズの光学系から所定距離の被写体に対するポイントスプレッド関数に基づいた逆関数である。
この構成により、本発明の画像改質処理方法は、容易にかつ精度よく荷重加算演算処理を実行することができ、その結果、被写体が基準距離よりも短距離か否かに関係なく、容易にかつ精度よく鮮明な画像を得ることができる。
本発明の改質処理方法は、前記多焦点レンズは、代表レンズ部を有し、前記光学系から所定距離の被写体に対するポイントスプレッド関数は、前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数でもよい。更に、前記多焦点レンズのポイントスプレッド関数は、前記多焦点レンズの光学軸上における前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数でもよい。更に、前記多焦点レンズのポイントスプレッド関数は、前記多焦点レンズの光学軸から所定距離の焦点面における前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数でもよい。
この構成により、本発明の改質処理方法は、容易にかつ精度よくポイントスプレッド関数を得ることができる。
本発明の画像改質処理方法は、前記光学系から所定距離の被写体に対するポイントスプレッド関数は、前記多焦点レンズのレンズ部夫々のポイントスプレッド関数に所定の比率を掛け、前記所定の比率が掛けられたポイントスプレッド関数を合計して取得されてもよい。更に、前記光学系から所定距離の被写体に対するポイントスプレッド関数は、前記多焦点レンズの光学軸上の焦点における前記多焦点レンズのレンズ部夫々のポイントスプレッド関数に所定の比率を掛け、前記所定の比率が掛けられたポイントスプレッド関数を合計して取得されてもよい。更に、前記光学系から所定距離の被写体に対するポイントスプレッド関数は、前記多焦点レンズの光学軸から所定距離の焦点面における前記多焦点レンズのレンズ部夫々のポイントスプレッド関数に所定の比率を掛け、前記所定の比率が掛けられたポイントスプレッド関数を合計して取得されてもよい。
この構成により、容易にかつ精度よくポイントスプレッド関数を得ることができ、その結果、被写体が基準距離よりも短距離か否かに関係なく、容易にかつ精度よく鮮明な画像を得ることができる。
本発明の画像改質処理方法において、記演算ステップは、前記所定の補正関数に基づいて取得された係数列と前記撮像データとの畳込み演算を実行するステップを有してもよい。前記撮像素子から出力される前記撮像信号は、垂直及び水平方向にマトリクス状に並んだ複数のデータからなり、前記係数は、垂直及び水平方向にマトリクス状に並び、かつ前記データと夫々対応し、前記演算ステップは、前記データと前記係数との畳込み演算を実行するステップを有してもよい。前記撮像素子は、水平及び垂直方向にマトリクス状に並んだ画素と対応し、かつ前記データと対応する複数の光電素子により構成され、前記三原色を示す各画素に対応し、市松模様状に並び、並んだ順序で前記三原色を示すデータを撮像信号として出力し、前記演算ステップは、前記データと前記係数との畳込み演算を実行するステップを有してもよい。本発明の画像改質処理方法は、前記係数が、前記画素に対応する有効係数を含み、前記有効係数は、前記画素に対応する係数とその近傍にある複数の係数に所定の加重値を掛け、前記加重値が掛けられた係数とその近傍にある複数の係数を画素毎に加算し、算出されてもよい。
この構成により、容易にかつ精度よくポイントスプレッド関数を算出することができる。
本発明の画像改質処理方法において、前記光電素子は、ベイヤー配列で配置され、前記ベイヤー配列の順序で前記原色信号であるR、G、B、及びGbのデータを出力し、前記演算処理ステップは、前記R、G、B、及びGbのデータと前記マトリクスの位置と夫々対応する係数との畳込み演算を実行するステップを有してもよい。
この構成により、容易にかつ精度よく荷重加算演算処理を実行することができ、その結果、被写体が基準距離よりも短距離か否かに関係なく、容易にかつ精度よく鮮明な画像を得ることができる。
以下、図面を参照し、本発明の実施の形態の撮像装置について説明する。
(第1の実施の形態)
(第1の実施の形態)
図1は、本発明の第1の実施の形態の撮像装置の構成を示すブロック図である。
図1に示すように、本実施の形態の撮像装置は、被写体を撮像するための光学系である撮像機構部20と、撮像機構部20からの撮像信号に対して画像処理を施し、画像処理を施した信号を出力画像信号として出力する画像処理部30とにより構成される。
撮像機構部20は、被写体を撮像する多焦点レンズ210と、この多焦点レンズ210により結像された像を取り込む撮像素子29とを含んでいる。多焦点レンズ210は、焦点距離の異なる複数のレンズ部により構成される。また、撮像素子29は、多焦点レンズ210により結像された像を電気的信号に変換し、撮像信号として出力する。
また、画像処理部30は、撮像機構部20からの撮像信号の増幅するアナログフロントエンド(以下、AFEと呼ぶ)31と、このAFE31で増幅された撮像信号をディジタル形式の撮像信号に変換するAD変換器32とを含んでいる。
画像処理部30は、AD変換器32からの画像データに画像改質処理を施す改質フィルタ部33により構成された演算部を含んでいる。すなわち、改質フィルタ部33は、所定の補正関数に基づいて取得した係数列を記憶しており、供給された撮像データ列と記憶した係数列との荷重加算演算処理を実行する。すなわち、改質フィルタ部33は、所定の補正関数に基づく係数列をフィルタ係数とする非巡回型ディジタルフィルタにより実現される。また、改質フィルタ部33における各フィルタ係数は、多焦点レンズ210の光学系における所定の被写距離に対するポイントスプレッド関数の逆関数に基づき予め求められた係数である。以上説明したように、改質フィルタ部33は、撮像素子29からの撮像信号に応じた撮像データに対し、所定の補正関数に基づく荷重加算演算処理を施し、荷重加算演算処理により得られた画像データを出力する演算処理部として機能する。
画像処理部30は、改質フィルタ部33により改質処理された画像データを入力し、画像データに非線形処理であるガンマ補正処理を施し、ガンマ補正した画像データを出力するガンマ補正部34を備えている。
画像処理部30は、更に、信号処理部35と、ディジタル‐アナログ変換部(以下単にDA変換部)36と、制御部39とを含んでいる。
信号処理部35は、画像データに対し、ユーザからの指示に応じた各種処理を行う処理部であり、例えば、画像データを電子的な写真として記憶し、記憶した画像データの編集処理などを行う。また、バーコードなどを撮像した場合には、そのバーコートの画像データから文字情報などに復元するような処理も行う。DA変換器36は、画像データを表示する場合などに、デジタル形式の画像データをアナログ画像信号に変換する。DA変換器36は、アナログ画像信号を表示部等に出力する。一方、表示部は、画像処理部からの撮像信号に基づいて静止画又は動画を表示する。制御部39は、例えば、マイクロコンピュータにより構成され、画像処理部30の各構成要素を制御し、最適な撮像信号を生成する。
また、本実施の形態1では、撮像機構部20に設けた多焦点レンズ210が、直線の境界で分離される二焦点レンズであることを特徴とする。図2は、本実施の形態1における多焦点レンズ210の形状の詳細を示した図である。図2Aは、多焦点レンズ210の側面図であり、図2Bは、多焦点レンズ210の正面図である。図2に示すように、本多焦点レンズ210は、二焦点光学系として、長い焦点距離で収束する遠レンズ部22と、遠レンズ部22よりも短い焦点距離で収束する近レンズ部23とで構成されている。図2Bに示すように、多焦点レンズ210は、正面から見たときそれぞれのレンズ部が半円形であり、中心を通る直線を境界として、上部には第1のレンズ部としての遠レンズ部22が、下部には第2のレンズ部としての近レンズ部23が配置される。なお、本実施の形態1では、半円形のレンズ部を二つ組み合わせた円形の多焦点レンズ210を例に挙げて説明するが、例えば、半楕円形、もしくは、多角形の第1及び第2のレンズ部を直線部分がお互いに接するように配置し、構成した多焦点レンズであってもよい。
図3は、図2に示した多焦点レンズ210における光学結像系を示した図である。図3Aは、遠レンズ部22の焦点11に点光源を配置した場合の光学結像系を示す図である。図3Bは、多焦点レンズ210の光学軸10の延長線上から見た撮像素子29上に形成される投射像の正面図である。図3Aの場合、撮像素子29上には、正面から見ると図3Bに示すような投射像291aが得られる。図3Bから明らかなように、撮像素子29上の像291aは、遠レンズ部22によるピントのあった像a1と近レンズ部23によるピントのボケた像a2の合成であり、遠レンズ部22によるピントのあった状態の点状の像a1を中心に、その外周部の上部半分には近レンズ部23により、半円形の像a2、すなわちピントのボケた像が投射される。
同様に、図3Cは、近レンズ部23の焦点13に点光源を配置した場合の光学結像系を示す図である。図3Dは、多焦点レンズ210の光学軸10の延長線上から見た撮像素子29上に形成される投射像の正面図である。図3Cの場合、撮像素子29上には、正面から見ると図3Dに示すような投射像291bが得られる。図Dから明らかなように、撮像素子29上の像291bは、近レンズ部23によるピントのあった像b1と遠レンズ部22によるピントのボケた像b2の合成であり、近レンズ部23によるピントのあった状態の点状の像b1を中心に、その外周部の上部半分には遠レンズ部22により、半円形の像b2、すなわちピントのボケた像が投射される。
このように、撮像機構部20に設けた多焦点レンズ210において、図2に示すように、遠レンズ部22と近レンズ部23との正面形状を半円形とし、それぞれの焦点に点光源を配置した場合、撮像素子29上には、それぞれが同様の形状となる像が投射される。そなわち、本実施の形態1の多焦点レンズ210は、遠レンズ部22、および近レンズ部23の焦点位置に対するPSFが近似した関数となる。本発明の撮像装置、および画像改質処理方法は、このような多焦点レンズを構成する各レンズ部の焦点におけるPSFが同一、あるいは近似した多焦点レンズと、それによる代表PSFを1つ定め、代表PSFに基づき生成したフィルタ係数による改質フィルタ部33とで構成したことを特徴としている。
次に、このように構成された本実施の形態1の撮像装置による画像改質の原理、および撮像装置による画像改質処理の動作について説明する。
図4は、多焦点レンズ210によりボケた画像成分を補正する原理を説明するブロック図である。図4に示すように、一般に、多焦点レンズを含めた光学系は、結像系の特性がPSFにより決定される。このPSFは、レンズに対して水平方向x、垂直方向y、およびレンズから被写体までの距離zの変数を有するスペースバリアントな関数である。ここで、多焦点レンズのPSFをh(x,y,z)とし、被写体をiとすると、撮像素子29上に投射される撮像画像p(x,y)は、被写体iと多焦点レンズのPSFであるh(x,y,z)との畳み込みで表現される。
p(x,y)=i*h(x,y,z)
ここで、記号*は畳み込み演算を示している。
p(x,y)=i*h(x,y,z)
ここで、記号*は畳み込み演算を示している。
また、空間座標軸で表現される多焦点レンズのPSFh(x,y,z)をフーリエ変換やZ変換等により座標変換することにより多焦点レンズのPSFの伝達関数H(x,y,z)を求めることができる。すなわち、撮像素子29上に投射される撮像画像p(x,y)は、入力画像を被写体i(x,y)としたとき、伝達関数H(x,y,z)の応答出力となる。上述したように、多焦点レンズを用いた場合、ボケた成分も含めて撮像素子29上に投影される。
以上説明したように、撮像素子29上に形成される像は、ピントのあった像成分とピントのボケた像成分を含んでおり、改質フィルタ部33は、ピントのボケた像成分を補正するようになっている。
改質フィルタ部33は、多焦点レンズ210の伝達関数H(x,y,z)の逆関数1/H(x,y,z)に対応する係数列を記憶し、多焦点レンズ210と改質フィルタ部33との縦続接続による伝達特性は1となる。その結果、出力画像o(x,y)は、被写体像i(x,y)と等しくなり、多焦点レンズ210により生じたピントのボケた画像成分を除去したことと等しくなる。
図4から明らかなように、改質フィルタ部33は、改質フィルタ部33に記憶される係数列を算出する改質フィルタ係数算出部330を含んでいる。改質フィルタ部33に記憶される係数列は、改質フィルタ部33の伝達関数W(x,y,z)である。本実施例では、多焦点レンズ210からの所定の被写距離を代表被写距離cとし、改質フィルタ部33は、その代表被写距離cに配置された被写体に対する多焦点レンズ210のPSFh(0,0,c)に対応する係数列を記憶している。すなわち、PSFh(0,0,c)が予め計測され、算出されている。改質フィルタ係数算出部330は、PSFh(0,0,c)に基づいて伝達関数H(0,0,c)を算出し、この伝達関数H(0,0,c)の逆関数1/H(0,0,c)に対し逆フーリエ変換、あるいは逆FFT等を実行し、逆関数1/H(0,0,c)の係数列、すなわち、改質フィルタ係数列wを算出する。以上説明したように、改質フィルタ係数算出部330は、多焦点レンズ210により構成される光学系と被写体との間の代表被写距離、すなわち、予め測定された多焦点レンズ210のPSFを代表するPSFh(0,0,c)に基づいてフィルタ係数w(x,y)を算出するようになっている。
次に、図5を参照し、撮像装置の改質フィルタ部33の構成について説明する。
改質フィルタ部33は、撮像素子29からの撮像信号を入力するようになっている。この撮像信号は、光の三原色であるR、G、Bの各成分のディジタル化されたRGBデータである。改質フィルタ部33は、撮像素子29からの撮像信号をRGBの各成分に分離するRGB分離部228と、Rデータを濾波する第1の改質フィルタ331と、Gデータを濾波する第2の改質フィルタ332と、Bデータを濾波する第3の改質フィルタ333とを含んでいる。第1乃至第3の改質フィルタ331、332、333の各々は、2次元デジタルフィルタにより構成される。
図5から明らかなように、第1の改質フィルタ331は、複数のタップを有し、これらのタップは全体としてマトリクスを形成し、すなわち、縦方向Xにv個、横方向Yにh個のタップが並んでいる。第1の改質フィルタ331の各タップは、改質フィルタ係数算出手段330で算出された係数K00,K01,K02,・・・,K10,K11,・・・,Kvhを記憶している。このように構成された第1の改質フィルタ331は、マトリクス状に整列したRデータを入力し、対応する係数を掛け、係数が掛けられたデータを合計し、補正されたRデータを生成する。
第2及び第3の改質フィルタ332、333の構成は、第1の改質フィルタ331と類似しており、詳細な説明は省略する。第1の改質フィルタ331と同様に、第2の改質フィルタ332は、Gデータに係数を掛け、係数が掛けられたGデータを合計し、補正されたGデータを生成する。第3の改質フィルタ333は、Bデータに係数を掛け、係数が掛けられたBデータを合計し、補正されたBデータを生成する。改質フィルタ部33は、補正されたR、G、Bデータを合成するRGB再合成部339を含んでいる。
なお、改質フィルタ部33は、デジタルフィルタ等で構成される機能ブロックとして説明したが、これらの機能を手順に応じて実行するような画像改質処理方法によっても実現可能である。すなわち、AD変換器32からの撮像RGBデータを入力するステップと、各データに対して改質フィルタ係数算出手段330により算出した各係数を用いて荷重加算演算処理を行うステップと、荷重加算演算により得られた画像データを出力画像データとして出力するステップとを有するような画像改質処理方法によっても同様の効果がえられる。具体例として、これらの機能を実現するプログラムをメモリ等の記憶媒体に記憶させ、このプログラムに従ってプロセッサなどを実行させることで同様の効果を得ることができる。また、画像処理部30は、例えば、制御部39や信号処理部35等の機能も含めて、プログラムに従ってプロセッサなどを実行させる構成であってもよい。
以上説明したように、本発明の実施の形態1の撮像装置は、多焦点レンズ210による撮像画像に対して、多焦点レンズ210における所定の被写距離cに対するPSFの逆関数であるフィルタ特性を有した改質フィルタ部33で撮像信号を補正、改質しているため、標準的な距離にある通常の被写体、およびこれよりも近距離にある近接被写体のいずれについても精度よく鮮明な画像を得ることができる。特に、本実施の形態1での多焦点レンズ210は、遠レンズ部22と近レンズ部23との正面形状をそれぞれが半円形となるような形状としているため、遠距離、および近距離に点光源を配置したとき、図3に示したように、それぞれが同様の形状となる像が投射される。すなわち、本実施の形態1での多焦点レンズ210は、遠距離、及び近距離において近似したPSFが得られる。このため、被写体までの距離に応じた改質フィルタ部33のフィルタ係数を準備しておく必要はなく、例えば、1つの代表的なフィルタ係数列を準備しておくのみでよい。このように、本発明の撮像装置によれば、多焦点レンズで撮像された画像に対し、大規模な処理を必要とせず、ピント合わせ機構を用いることなく、容易に鮮明な画像を得ることができる。
なお、本実施の形態1では、遠レンズ部22が多焦点レンズ210の上部を形成し、近レンズ部23が多焦点レンズ210の下部を形成しているが、本発明の撮像装置では、遠レンズ部22と近レンズ部23が半円形で、多焦点レンズ210の中心を通る線にそって隣接し、多焦点レンズ20の光学軸10の延長線上から見たときの多焦点レンズ210の形状が円形であるならば、遠レンズ部22と近レンズ部23が多焦点レンズ210のどの部分を形成してもよい。言うまでもなく、遠レンズ部22が多焦点レンズ210の下半分を形成し、近レンズ部23が多焦点レンズ210の上半分を形成してもよい。
本実施の形態1では、多焦点レンズ210が半円形の第1及び第2のレンズ部22、23で構成され、第1及び第2のレンズ部22、23が相互に隣接し、円形の多焦点レンズ210を形成しているが、多焦点レンズ210が半楕円形又は半多角形の第1及び第2のレンズ部で構成され、相互に隣接し、多焦点レンズ210の光学軸の延長線上からの形状が楕円形又は多角形の多焦点レンズ210を形成してもよい。
(第2の実施の形態)
図6は、本実施の形態2における撮像装置の構成図である。図1で説明した実施の形態1と同一の構成要素については同一の符号を付しており、詳細な説明は省略する。
図6は、本実施の形態2における撮像装置の構成図である。図1で説明した実施の形態1と同一の構成要素については同一の符号を付しており、詳細な説明は省略する。
図6に示すように、本実施の形態2の撮像装置は、被写体を撮像するための光学系である撮像機構部20と、撮像機構部20からの撮像信号に対して画像処理を施し、画像処理を施した信号を出力画像信号として出力する画像処理部30とにより構成
本実施の形態2において、撮像機構部20は、第1の実施の形態の多焦点レンズ210とは異なる被写体を撮像する多焦点レンズ211を含んでいる。図7は、本実施の形態2における多焦点レンズ211の一例示したブロック図である。図7Aは、多焦点レンズ211の光学軸の垂直な方向から見た多焦点レンズ211の側面図であり、図7Bは、多焦点レンズ211の光学軸の延長線上の位置から見た多焦点レンズ211の正面図である。図7に示すように、多焦点レンズ211は、多焦点光学系として、平面形状が円形である円形レンズ部240を中心に、各レンズ部が交互に同心状に配置される形状である。すなわち、本多焦点レンズ240は、第1の焦点距離を持つ複数の第1レンズ部としての円形レンズ部240、および環状レンズ部241と、第1の焦点距離とは異なった焦点距離である第2の焦点距離を持つ複数の第2レンズ部としての環状レンズ部251、および252とにより同一の面に一体化されて構成され、円形レンズ部240を中心に、第1のレンズ部と第2のレンズ部とがそれぞれ交互に同心状に配置される形状である。図7では、円形レンズ部240、および環状レンズ部241が長い焦点距離で収束する遠レンズ部24を構成し、環状レンズ部251、および252が遠レンズ部24よりも短い焦点距離で収束する近レンズ部25を構成した一例を挙げている。なお、本実施の形態2では、円形である円形レンズ部240を中心に、各環状レンズ部が交互に同心状に配置される多焦点レンズを例に挙げて説明するが、例えば、楕円形、もしくは多角形のレンズ部を中心に、楕円形、もしくは多角形の各環状レンズ部が交互に同心状に配置される形状の多焦点レンズであってもよい。
図8は、図7に示した多焦点レンズ211における光学結像系を示した図である。図8Aは、遠距離の焦点距離を持つ遠レンズ部24の焦点11に点光源を配置した場合の光学結像系を示している。図8Aの場合、撮像素子29上には、正面から見ると図8Bに示すような投射像292aが得られる。すなわち、遠レンズ部24の焦点11に点光源を配置した場合、円形レンズ部240、および環状レンズ部241によるピントのあった点状の像a1を中心に、その外周部には環状のレンズ部241による円形の像a2、さらに円形の像a2の外側にも環状レンズ部252による円形の像a3のようなピントのボケた像が投射される。
一方、図8Cは、遠レンズ部24よりも近距離の焦点距離を持つ近レンズ部25の焦点13に点光源を配置した場合の光学系を示している。図8Cの場合には、撮像素子29上には、正面から見ると図8Dに示すような投射像292bが得られる。すなわち、近レンズ部25の焦点13に点光源を配置した場合には、環状レンズ部251、および、環状レンズ部252によるピントのあった点状の像b1を中心に、その外周部には円形レンズ部240による円形の像b2、さらに円形の像b2の外周部には、環状レンズ部241による環状の像B2のようなピントのボケた像が投射される。
図9は、本実施の形態2における多焦点レンズの他の例としての多焦点レンズ212の形状の詳細を示した図である。図9Aは、多焦点レンズ212の側面図であり、図9Bは、多焦点レンズ212の正面図である。図9に示すように、本多焦点レンズ212は、多焦点光学系として、平面形状が円形である円形レンズ部240を中心に、各レンズ部が交互に同心状に配置される形状である。すなわち、本多焦点レンズ212は、第1の焦点距離を持つ複数の第1レンズ部としての円形レンズ部240、および環状レンズ部241、242、243と、第1の焦点距離とは異なった焦点距離である第2の焦点距離を持つ複数の第2のレンズ部としての環状レンズ部251、252、253、254とにより、同一の面に一体化されて構成され、円形レンズ部240を中心に、第1のレンズ部と第2のレンズ部とがそれぞれ交互に同心状に配置される形状である。図9では、円形レンズ部240、および環状レンズ部241、242、243が長い焦点距離で収束する遠レンズ部240を構成し、環状レンズ部251、252、253、254が遠レンズ部よりも焦点距離が短い焦点距離で収束する近レンズ部25を構成した一例を挙げている。
図10は、図9に示した多焦点レンズ212における光学結像系を示した図である。図10Aは、遠距離の焦点距離を持つ遠レンズ部24の焦点11に点光源を配置した場合の光学結像系を示している。図10Aの場合、撮像素子上には、正面から見ると図10Bに示すような投射像292aが得られる。すなわち、遠レンズ部24の焦点11に点光源を配置した場合、遠レンズ部24によるピントのあった点状の像a1を中心に、その外周部には近レンズ部25である環状レンズ部251、252、253、254による環状の像が外周方向に像a1、a2、a3、a4と順番にピントのボケた像が投射される。
一方、図10Cは、遠レンズ部24よりも近距離の焦点距離を持つ近レンズ部25の焦点13に点光源を配置した場合の光学結像系を示している。図10Cの場合、撮像素子29上には、正面から見ると図10Dに示すような投射像292bが得られる。すなわち、近レンズ部25の焦点13に点光源を配置した場合、近レンズ部25によるピントのあった点状の像b1を中心に、その外周部には円形レンズ部240による円形の像b2と、さらに円形の像b2の外周部には環状レンズ部241、242、243による環状の像b3、b4、b5のようなピントのボケた像が投射される。
遠レンズ部92および近レンズ部93により構成される二焦点レンズ91の光学軸10上に被写体がある場合、従来のバーコード読取装置において図14B、14Dを参照して説明したように、撮像装置99上のピントのボケた像は、円形および環状である。ここでの遠レンズ部92の形は円形、近レンズ部93の形は環状で、遠レンズ部92の外側に放射状に延在している。一方、本発明の撮像装置では、多焦点レンズ211が円形の第1レンズ部240と環状の複数の環状の第1レンズ部241、250、251により構成され、各環状の第1レンズが円形の第1レンズと同心関係にある場合、図8B、8Dから明らかなように、撮像装置99上のピンのボケた像は、複数の環が同心関係で配置された形状である。ここでの円形の第1レンズ部240と環状の第1レンズ部241は第1の焦点距離を有し、環状の第1レンズ部241、250、251は、第1の焦点距離より短いだい2の焦点距離を有している。図10B、10D、8B、8Dから明らかなように、多焦点レンズ212における撮像素子20上のピントのボケた像の数は、多焦点レンズ211における撮像素子20上のピントのボケた像の数より多い。また、多焦点レンズ211と多焦点レンズ212のピントのボケた像を比較すると、撮像素子20上のピントのボケた環状像の数は、撮像素子20上にピントのボケた像を形成している多焦点レンズのレンズ部の数に応じて増えると結論できる。ここでの遠焦点距離を有する環状の遠レンズ部と、その遠焦点距離よりも短い近焦点距離を有する近レンズ部とが交互に隣接する関係にある。多焦点レンズ211、212の何れであるかに関係なく、遠レンズ部の焦点11に被写体がある場合の撮像素子29上の多焦点レンズによるピントのボケた像と近レンズ部の焦点13に被写体がある場合の撮像素子29上の多焦点レンズによるピントのボケた像は、実質的に似ている。
本実施の形態2における多焦点レンズの遠レンズ部24のPSFと近レンズ部のPSFは、環状の近レンズ部25と環状の遠レンズの数が増加とともに、次第に似てくる。本実施の形態2の撮像装置および画像改質処理方法において、多焦点レンズが多焦点レンズ211又は212で構成されるが、夫々のレンズ部のPSFが1つの代表レンズ部のPSFで近似できる限り、多焦点レンズはどのような多焦点レンズで構成されてもよい。本実施の形態において、画像処理部30の改質フィルタ部33は、代表PSFに対応するフィルタ係数を格納している。
以上説明したように、本実施の形態2の撮像装置は、多焦点レンズ211、あるいは212による撮像画像に対して、多焦点レンズ211、あるいは212における所定の被写距離cに対するPSFの逆関数であるフィルタ特性を有した改質フィルタ33で撮像信号を補正、改質しているため、標準的な距離にある通常の被写体、およびこれよりも近距離にある近距離被写体のいずれについても精度よく鮮明な画像をえることができる。特に、本実施の形態2での多焦点レンズ211は、第2のレンズ部としての近レンズ部25とにおいて、平面形状が円形のレンズ部240を第2のレンズ部としての近レンズ部25とにおいて、平面形状が円形のレンズ部240と中心に、近レンズ部25と遠レンズ部24とをそれぞれ交互に同心状に配置される形状としているため、遠距離、および近距離に点光源を配置したとき、例えば、図10B、10Dに示すように、それぞれが近似した円形状の形状となる像が投射される。すなわち、本実施の形態2での多焦点レンズ211、あるいは212は、遠距離、および近距離において近似したPSFが得られる。このため、被写体までの距離に応じた改質フィルタ部33のフィルタ係数を準備しておく必要はなく、例えば、1つの代表的なフィルタ係数列を準備しておくのみでよい。このように、本発明の撮像装置は、多焦点レンズで撮像された画像に対し、大規模な処理を必要とせず、ピント合わせ機構を用いることなく、容易に鮮明な画像をえることができる。
本実施の形態2では、図7および図9に示した多焦点レンズの構成例を挙げて説明したが、第1のレンズ部と第2のレンズ部との同心状の繰り返し数は、複数回であれば良く、繰り返し回数が限定されるものではない。特に、上述したように、同心状の繰り返し数の増加とともに各焦点に対するPSFが近似するため、同心上の繰り返し数を増加することで、改質フィルタ部33の精度の向上を図ることができる。また、中心の円形レンズ部240を遠レンズ部として、近レンズ部と遠レンズ部とを同心状に交互に配置した構成例を挙げて説明したが、中心の円形レンズ部240を近レンズ部として、遠レンズ部と近レンズ部とを同心状に交互に配置した構成であってもよい。
また、本実施の形態2では、遠レンズ部と近レンズ部との幅を同一として同心状に交互に配置した構成例を挙げて説明したが、これに限定するものではない。例えば、各レンズ部を同一の面積として、同心状に交互に配置することで、遠レンズ部と近レンズ部との光の利用率が均一となり、遠距離、および近距離の被写体それぞれに対して均等なコントラストの撮像画像を得ることができる。
また、本実施の形態2では、多焦点レンズとして遠レンズ部と近レンズ部との二つの焦点距離に対応したレンズ部で構成される二焦点レンズの例を挙げて説明したが、二つの焦点距離に限定されるものではない。すなわち、多焦点レンズは、1つの円形の第1レンズ部と複数の環状の第1レンズ部とにより構成され、複数の環状の第1レンズ部が円形の第1レンズ部と同心関係にあり、環状の第1レンズ部は、第1の焦点距離を有する複数の第1レンズ部から、それぞれの焦点距離の異なる第N(Nは、2以上の整数)の焦点距離を持つ複数の第Nのレンズ部までのレンズ部を有し、円形等の第1レンズ部を中心に、第Nのレンズ部までが同心状に配置され、さらに、同心状に配置された第Nのレンズ部の外周部に、第1のレンズ部から第Nのレンズ部が同心状に複数回繰り返して配置されるような形状であってもよい。このように、第1、第2の焦点距離に加えて、第3、第4などの焦点距離を持つレンズ部を配置することで、各焦点に対応した被写界深度を有することとなり、結果的に本多焦点レンズの被写界深度をより深くすることができる。
本実施の形態において、多焦点レンズは、遠レンズ部と近レンズ部とを有する二焦点レンズにより構成される。しかしながら、二焦点レンズに限定するものではない。多焦点レンズは、焦点距離の異なる2つ以上のレンズ部により構成されてもよい。すなわち、多焦点レンズは、例えば、円形レンズ部と、第1の環状レンズ部と、第2の環状レンズ部と、・・・、第N(Nは2以上の整数)の環状レンズ部により構成され、第1から第Nまでの環状レンズ部が円形レンズ部と同心関係にあり、第1から第Nまでの環状レンズ部の焦点距離が異なる。多焦点レンズは、更に、第2のレンズ群を含み、第2のレンズ群は、第1の環状レンズ部と、第2の環状レンズ部と、・・・、第Nの環状レンズ部により構成され、第1から第Nまでの環状レンズ部が円形レンズ部と同心関係にあり、第1のレンズ群の第Nの環状レンズ部の外側に放射状に形成される。多焦点レンズは、更に、第i(iは、2以上の整数)のレンズ群を含み、第iのレンズ群は、第1の環状レンズ部と、第2の環状レンズ部と、・・・、第Nの環状レンズ部により構成され、第1から第Nまでの環状レンズ部が円形レンズ部と同心関係にあり、第i−1のレンズ群の第Nの環状レンズ部の外側に放射状に形成される。第1レンズ群の第j(jは1からNまでの整数)レンズ部の焦点距離と、第2レンズ群の第jレンズ部の焦点距離と、・・・、第iレンズ群の第jレンズ部の焦点距離は同じである。多焦点レンズが焦点距離が異なる複数のレンズ部を備えているので、多焦点レンズは、複数のレンズ部の被写界深度を有している。その結果、多焦点レンズの被写界深度を深くなる。
本実施の形態2では、図7および図9に示すように、多焦点レンズ211又は212が1つの円形レンズ部と複数の環状レンズ部により構成され、環状レンズ部は、円形レンズ部と同心関係にある。また、多焦点レンズの複数のレンズ部が同心関係で配置されるならば、多焦点レンズがどのようなレンズ部で構成されてもよい。多焦点レンズは、例えば、多焦点レンズ211又は212の光学軸の延長線上から眺めた形状が楕円形又は多角形のレンズ部と楕円形又は多角形の環状レンズにより構成され、楕円形又は多角形の環状レンズは、前記楕円形又は多角形のレンズ部と同心関係にある。
(第3の実施の形態)
図11は、本実施の形態3における撮像装置の改質フィルタ部33の構成を示すブロック図である。改質フィルタ部33は、画像改質処理を実行し、多焦点レンズ211又は212による撮像素子29上のボケた画像成分の補正を行う。以下、改質フィルタ部33により実行される画像改質処理について説明する。
図11は、本実施の形態3における撮像装置の改質フィルタ部33の構成を示すブロック図である。改質フィルタ部33は、画像改質処理を実行し、多焦点レンズ211又は212による撮像素子29上のボケた画像成分の補正を行う。以下、改質フィルタ部33により実行される画像改質処理について説明する。
本実施の形態の改質フィルタ部33は、図11に示すように、例えば、改質フィルタ334を含むことを除いて、図5に示された改質フィルタ部33と類似している。本実施の形態の改質フィルタ部33は、改質フィルタ334が複数のタップを含み、これらのタップが集合的にマトリクスを形成し、例えば、x方向(水平)に7タップで、y方向(垂直)に7タップのマトリクスを形成し、改質フィルタ224の各タップは、撮像素子29上の投射像の各原色と対応している。
撮像素子29は、各画素と対応し、ベイヤー配列の順序で垂直及び水平方向にマトリクス状に配置された複数の光電素子により構成され、三原色のデータ、例えば、ベイヤー配列の順序で垂直及び水平方向にマトリクス状に配置されたR、Gr、B、Gbからなる画像データの形で、撮像信号を出力する。図12は、本発明の第3の実施の形態の撮像装置の光電素子におけるベイヤー配列の一例を示した図である。図12から明らかなように、撮像素子29は、市松模様上に配置された複数の原色検出素子により構成され、データ、すなわち、R、Gr、B、Gbの各データを原色検出素子に対応するベイヤー配列の順序で順次出力する。本実施の形態3の改質フィルタ33は、第2の実施の形態の改質フィルタ部33の改質フィルタ331、332、333の代わりに、所定の関数に対応する係数列をフィルタ係数として格納する記憶する非循環型のデジタルフィルタで構成される一つの改質フィルタ334を備え、荷重加算演算処理することを特徴とする。
図11に示された改質フィルタ部33は、係数が掛けられたRデータを合計し、補正されたRデータを生成し、係数が掛けられたGrデータを合計し、補正されたGrデータを生成し、係数が掛けられたBデータを合計し、補正されたBデータを生成し、係数が掛けられたGbデータを合計し、補正されたGbデータを生成するようになっている。したがって、本実施の形態3の改質フィルタ部33は、所定期間に1つのデータを処理することができる。一方、1つの色のデータを処理しながら他の色のデータを処理することができない。すなわち、改質フィルタ部33は、例えば、Rデータを処理しているとき、Gr、B、Gbの各データを処理することができない。
本実施の形態3の改質フィルタ334は、図11に示すように、注目画素の位置を含めた注目画素と同一の色データが配置されている位置にのみ、その位置に対応する係数を設定している。すなわち、図11に示すように、ベイヤー配列に対応した本改質フィルタ334の場合、各色データが市松模様状に配置されることとなるため、同一の色データが配置されることとなる位置に対応するk11, k13, k15, k31, k33, k35, k51, k53, k55を荷重加算演算処理に利用し、その他の位置に対応する係数は間引きして処理している。すなわち、改質フィルタ334は係数k11, k13, k15, k31, k33, k35, k51, k53, 及びk55等を格納し、例えば、係数K00, K01, K02, K10, K12, K20, K21, K22, …がその時間間隔で間引かれる。ここで、Rデータの位置に対応し、改質フィルタ334に格納された係数列、すなわち、k11, k13, k15, k31, k33, k35, k51, k53, 及びk55を以下単に有効係数、間引かれた係数、すなわち、K00, K01, K02, K10, K12, K20, K21, K22, …を以下単に無効係数という。
更に、本実施の形態3において、改質フィルタ係数算出手段330は、間引かれた無効フィルタ係数が原因で有効フィルタ係数の精度が下がるのを防止するため、所定の重みを掛けた有効フィルタ係数と無効フィルタ係数との合計に基づいて有効フィルタ係数を算出するようになっている。すなわち、改質フィルタ係数算出手段330は、例えば、有効係数k11を以下のステップで算出している。図11に示すように、マトリクス内のRデータに対応する有効フィルタ係数候補K11とこの有効フィルタ係数候補K11の近傍の無効フィルタ係数K00, K01, K02, K10, K12, K20, K21, K22を所定の補正関数に基づいて算出し、有効フィルタ係数候補K11と所定の重みが掛けられた無効フィルタ係数K00, K01, K02, K10, K12, K20, K21, K22を合計する。改質フィルタ係数算出手段330は、これ以外の有効フィルタ係数k13, k15, k31, k33, k35, k51, k53, k55も上述の同じ方法で算出する。
以上説明したように、本実施の形態3の撮像装置および画像改質処理方法は、改質フィルタ部33の改質フィルタ334が有効フィルタ係数を掛けたデータを合計するので、大規模な処理が不要でかつフィルタ規模を抑えられるというだけでなく、ピント合せ機構が不要で、基準距離よりも短い近距離の被写体か否かに関係なく、容易にかつ精度よく鮮明な画像を得ることができる。
本実施の形態3では、改質フィルタ部33が、デジタルフィルタ等を含む機能ブロックで構成されているが、画像改質処理方法を実行し、上述のプロセスを実施可能な手段であれば、どのような手段で構成されてもよい。更に、改質フィルタ部33が、例えば、メモリ等に格納され、プロセッサ等で実行されるプログラムで少なくとも部分的に構成されるとき、同じ効果が得られる。更に、改質フィルタ部33の信号処理部35及び制御部39は、上述の処理が実行可能な手段であれば、どのような手段で構成されてもよい。更に、改質フィルタ部33の信号処理部35及び制御部39が、メモリ等に格納され、プロセッサ等で実行されるプログラムで少なくとも部分的に構成されるとき、同じ効果が得られる。
更に、改質フィルタ部33は、ベイヤー配列の順序で供給されるデータ、すなわち、R、Gr、B、Gbの各データからなる画像データに画像改質処理を施すようになっているが、改質フィルタ部33は、規則的に繰り返される方法で供給されるデータからなる画像データだけでなく、どのような画像データにも適用可能である。例えば、撮像素子が、市松模様状に配列され、各補色データを規則的に出力する複数の補色検出素子からなり、改質フィルタ部33が、その撮像素子から出力される補色画像の画像改質処理に適用されてもよい。
第1乃至第3の実施の形態では、改質フィルタ部33が、多焦点レンズの代表レンズ部に対する代表PSFに基づいて決定されたフィルタ係数を用いて画像改質処理を実行しているが、代表PSFは、多焦点レンズの各レンズ部のPSFを近似できるのであれば、どのような方法で算出されてもよい。代表PSFは、例えば、多焦点レンズの各レンズ部のPSFを算出し、算出したPSFに所定の係数を掛け、所定の係数を掛けたPSFを合計し、合成PSFを生成し、合成PSFを平均することにより生成されてもよい。例えば、図13に示すよう、多焦点レンズの光学軸から所定距離hだけ離れた焦点面に被写体がある場合、代表PSFは、例えば、光学軸から所定距離hだけ離れた複数の焦点面上の位置に対する多焦点レンズの各レンズ部のPSFを算出し、算出したPSFに所定の係数を掛け、所定の係数を掛けたPSFを合計し、合成PSFを生成し、合成PSFを平均することにより生成されてもよい。ここでの各係数は、例えば、点光源から各レンズ部に入射する光線の角度で決定されてもよい。
また、第1乃至第3の実施の形態の撮像装置は、多焦点レンズの各レンズ部の隣接レンズ部との接合部において迷光が生じるので、接合部での迷光を低減するための遮光処理を施すことにより、さらに精度の向上を図ることが可能となる。
本発明は、大規模な処理を必要とせず、ピント合せ機構を用いることなく、標準的な距離にある通常の被写体、およびこれよりも近距離にある近距離被写体のいずれについても容易にかつ精度よく鮮明な画像を得ることができるため、撮像装置としてのカメラやビデオカメラとして利用できるとともに、撮影機能を有した携帯電話などの携帯情報端末、その他にも利用することができる。
Claims (34)
- 焦点距離の異なる複数のレンズ部を有した多焦点レンズと、
前記多焦点レンズにより結像された画像を電気信号に変換し、撮像信号として出力する撮像素子と、
所定の補正関数に基づいて前記撮像素子からの撮像信号に荷重加算演算処理を施し、補正した撮像信号を出力する演算処理部とを備え、
前記補正関数は、前記多焦点レンズの光学系から所定距離の被写体に対するポイントスプレッド関数に基づいた逆関数であることを特徴とする撮像装置。 - 前記多焦点レンズは、代表レンズ部を有し、
前記光学系から所定距離の被写体に対するポイントスプレッド関数は、前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数であることを特徴とする請求項1に記載の撮像装置。 - 前記多焦点レンズのポイントスプレッド関数は、前記多焦点レンズの光学軸上における前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数であることを特徴とする請求項2に記載の撮像装置。
- 前記多焦点レンズのポイントスプレッド関数は、前記多焦点レンズの光学軸から所定距離の焦点面における前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数であることを特徴とする請求項2に記載の撮像装置。
- 前記光学系から所定距離の被写体に対する前記ポイントスプレッド関数は、前記多焦点レンズのレンズ部夫々のポイントスプレッド関数を所定の比率で合成したポイントスプレッド関数であることを特徴とする請求項1に記載の撮像装置。
- 前記光学系から所定距離の被写体に対する前記ポイントスプレッド関数は、前記多焦点レンズの光学軸上における前記多焦点レンズのレンズ部夫々のポイントスプレッド関数を所定の比率で合成したポイントスプレッド関数であることを特徴とする請求項5に記載の撮像装置。
- 前記光学系から所定距離の被写体に対する前記ポイントスプレッド関数は、前記多焦点レンズの光学軸から所定距離だけ離れた焦点面における前記多焦点レンズのレンズ部夫々のポイントスプレッド関数を所定の比率で合成したポイントスプレッド関数であることを特徴とする請求項5に記載の撮像装置。
- 前記多焦点レンズは、第1の焦点距離を有する第1のレンズ部と、前記第1の焦点距離とは異なった第2の焦点距離を有する第2のレンズ部とにより構成され、
前記第1及び第2のレンズ部は、一体的に形成され、
前記第1及び第2のレンズ部は、前記多焦点レンズの平面を集合的に形成し、前記多焦点レンズの光学軸の延長線上から見たときの前記平面の形状は、円形、楕円形又は多角形で、
前記第1及び第2のレンズ部は、前記多焦点レンズの中心を通る直線に沿って隣接するように配置されていることを特徴とする請求項1に記載の撮像装置。 - 前記多焦点レンズは、第1の焦点距離を有する第1のレンズ部と、前記第1の焦点距離とは異なった第2の焦点距離を有する第2のレンズ部とによりに構成され、
前記第1及び第2のレンズ部は、一体的に形成され、
前記第1及び第2のレンズ部は、同心関係で隣接し、前記多焦点レンズの平面を集合的に形成し、前記多焦点レンズの光学軸の延長線上から見たときの前記平面の形状は、円形、楕円形、多角形の何れかであることを特徴とする請求項1に記載の撮像装置。 - 前記多焦点レンズは、第1のレンズ部から第N(Nは、2以上の整数)のレンズ部までの複数のレンズ部により構成され、前記複数のレンズ部は、相互に異なる焦点距離を有し、
前記第1のレンズ部から第Nのレンズ部までを含む複数のレンズ部は、一体的に形成され、
前記第1のレンズ部から第Nのレンズ部までを含む複数のレンズ部は、交互に隣接し、同心関係で配置され、前記多焦点レンズの平面を集合的に形成し、前記多焦点レンズの光学軸の延長線上から見たときの前記平面の形状は、円形、楕円形、多角形の何れかであることを特徴とする請求項1に記載の撮像装置。 - 前記多焦点レンズは、第1のレンズ群から第M(Mは、2以上の整数)のレンズ群により構成され、i番目(iは、Mと同じかそれ以下の整数)のレンズ群は、第1のレンズ部から第N(Nは、2以上の整数)のレンズ部までの複数のレンズ部により構成され、
前記i番目のレンズ群の第1のレンズ部から第Nのレンズ部までの複数のレンズ部は、i−1番目のレンズ群の第Nのレンズ部の外側に放射状に延在し、交互に隣接し、同心関係で配置され、
前記第1のレンズ群の第1のレンズ部から第Mのレンズの第Nのレンズ部までの複数のレンズ部は、一体的に形成され、
前記第1のレンズ群の第1のレンズ部から第Mのレンズの第Nのレンズ部までの複数のレンズ部は、同心関係で隣接し、前記多焦点レンズの平面を集合的に形成し、前記多焦点レンズの光学軸の延長線上から見たときの前記平面の形状は、円形、楕円形、多角形の何れかであることを特徴とする請求項10に記載の撮像装置。 - 前記多焦点レンズは、相互に隣接のレンズ部が接続される部分である1つ又は複数の接合部を有し、前記接合部での迷光を低減するために前記接合部に遮光処理が施されることを特徴とする請求項1に記載の撮像装置。
- 前記多焦点レンズの光学軸の延長線上から見たときの前記第1及び第2レンズ部の占める面積が実質的に等しいことを特徴とする請求項8又は請求項9に記載の撮像装置。
- 前記多焦点レンズの光学軸の延長線上から見たときのN個のレンズ部夫々の占める面積が実質的に等しいことを特徴とする請求項10に記載の撮像装置。
- 前記演算処理部は、前記所定の補正関数に基づいて取得された係数列を記憶するディジタルフィルタを有し、
前記ディジタルフィルタは、前記撮像素子の撮像信号からアナログデジタル変換されたディジタル撮像データを入力し、前記撮像データに演算処理を施し、前記撮像データと前記係数との積を算出することを特徴とする請求項1に記載の撮像装置。 - 前記撮像素子から出力される前記撮像信号は、垂直及び水平方向にマトリクス状に並んだ複数のデータからなり、
前記ディジタルフィルタは、前記所定の補正関数に基づいて算出した複数の係数を記憶する二次元フィルタであり、
前記係数は、垂直及び水平方向にマトリクス状に並び、かつ前記データと夫々対応し、
前記ディジタルフィルタは、前記撮像信号に対する前記荷重加算演算処理を実行し、前記データに前記係数を掛け、前記係数が掛けられたデータを加算することを特徴とする請求項15に記載の撮像装置。 - 前記撮像素子は、水平及び垂直方向にマトリクス状に並んだ画素と対応し、かつ前記データと対応する複数の光電素子により構成されることを特徴とする請求項16に記載の撮像装置。
- 前記撮像素子から出力される撮像信号は、三原色を示すR、G、Bのデータを含み、
前記演算処理部は、前記R、G、Bのデータに対する荷重加算演算処理を実行することを特徴とする請求項17に記載の撮像装置。 - 前記光電素子は、前記三原色を示す各画素に対応し、市松模様状に並び、並んだ順序で前記三原色を示すデータを撮像信号として出力することを特徴とする請求項17に記載の撮像装置。
- 前記演算処理部は、前記光電素子からの前記データを入力し、
前記ディジタルフィルタは、並んだ順序で三原色を示すデータに対して順次前記係数を用いて前記データに前記荷重加算演算処理を施すことを特徴とする請求項19に記載の撮像装置。 - 前記係数は、画素に対応する有効係数を含み、
前記有効係数は、前記画素に対応する係数とその近傍にある複数の係数に所定の加重値を掛け、前記加重値が掛けられた係数とその近傍にある複数の係数を画素毎に加算し、算出されることを特徴とする請求項20に記載の撮像装置。 - 前記光電素子は、ベイヤー配列で配置され、前記ベイヤー配列の順序で前記原色信号であるR、G、B、及びGbのデータを出力することを特徴とする請求項19に記載の撮像装置。
- 焦点距離の異なる複数のレンズ部を有した多焦点レンズと、前記多焦点レンズにより結像された画像を電気信号に変換し、撮像信号として出力する撮像素子とを備えた撮像装置における前記撮像信号の画像処理方法であって、
前記撮像信号を入力する入力ステップと、
前記撮像信号をディジタル信号である撮像データに変換する変換ステップと、
所定の補正関数に基づいて前記撮像データに対する荷重加算演算処理を実行し、補正された撮像データを取得する演算ステップと、
前記補正された撮像データを撮像信号として出力する出力ステップとを備え、
前記補正関数が、前記多焦点レンズの光学系から所定距離の被写体に対するポイントスプレッド関数に基づいた逆関数であることを特徴とする画像改質処理方法。 - 前記多焦点レンズは、代表レンズ部を有し、
前記光学系から所定距離の被写体に対するポイントスプレッド関数は、前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数であることを特徴とする請求項23に記載の画像改質処理方法。 - 前記多焦点レンズのポイントスプレッド関数は、前記多焦点レンズの光学軸上における前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数であることを特徴とする請求項24に記載の画像改質処理方法。
- 前記多焦点レンズのポイントスプレッド関数は、前記多焦点レンズの光学軸から所定距離の焦点面における前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数であることを特徴とする請求項24に記載の画像改質処理方法。
- 前記光学系から所定距離の被写体に対するポイントスプレッド関数は、前記多焦点レンズのレンズ部夫々のポイントスプレッド関数に所定の比率を掛け、前記所定の比率が掛けられたポイントスプレッド関数を合計して取得されることを特徴とする請求項23に記載の画像改質処理方法。
- 前記光学系から所定距離の被写体に対するポイントスプレッド関数は、前記多焦点レンズの光学軸上の焦点における前記多焦点レンズのレンズ部夫々のポイントスプレッド関数に所定の比率を掛け、前記所定の比率が掛けられたポイントスプレッド関数を合計して取得されることを特徴とする請求項27に記載の画像改質処理方法。
- 前記光学系から所定距離の被写体に対するポイントスプレッド関数は、前記多焦点レンズの光学軸から所定距離の焦点面における前記多焦点レンズのレンズ部夫々のポイントスプレッド関数に所定の比率を掛け、前記所定の比率が掛けられたポイントスプレッド関数を合計して取得されることを特徴とする請求項27に記載の画像改質処理方法。
- 前記演算ステップは、前記所定の補正関数に基づいて取得された係数列と前記撮像データとの畳込み演算を実行するステップを有することを特徴とする請求項23に記載の画像改質処理方法。
- 前記撮像素子から出力される前記撮像信号は、垂直及び水平方向にマトリクス状に並んだ複数のデータからなり、
前記係数は、垂直及び水平方向にマトリクス状に並び、かつ前記データと夫々対応し、
前記演算ステップは、前記データと前記係数との畳込み演算を実行するステップを有する請求項30に記載の画像改質処理方法。 - 前記撮像素子は、水平及び垂直方向にマトリクス状に並んだ画素と対応し、かつ前記データと対応する複数の光電素子により構成され、前記三原色を示す各画素に対応し、市松模様状に並び、並んだ順序で前記三原色を示すデータを撮像信号として出力し、
前記演算ステップは、前記データと前記係数との畳込み演算を実行するステップを有することを特徴とする請求項31に記載の画像改質処理方法。 - 前記係数が、前記画素に対応する有効係数を含み、
前記有効係数は、前記画素に対応する係数とその近傍にある複数の係数に所定の加重値を掛け、前記加重値が掛けられた係数とその近傍にある複数の係数を画素毎に加算し、算出されることを特徴とする請求項32に記載の画像改質処理方法。 - 前記光電素子は、ベイヤー配列で配置され、前記ベイヤー配列の順序で前記原色信号であるR、G、B、及びGbの各成分データを出力し、
前記演算処理ステップは、前記R、G、B、及びGbの各成分データと前記マトリクスの位置と夫々対応する係数との畳込み演算を実行するステップを有することを特徴とすることを特徴とする請求項32に記載の画像改質処理方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004301198 | 2004-10-15 | ||
PCT/JP2005/019348 WO2006041219A2 (en) | 2004-10-15 | 2005-10-14 | Enhancement of an image acquired with a multifocal lens |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008516299A true JP2008516299A (ja) | 2008-05-15 |
Family
ID=35732073
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007516709A Withdrawn JP2008516299A (ja) | 2004-10-15 | 2005-10-14 | 撮像装置及び画像改質処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20070279618A1 (ja) |
JP (1) | JP2008516299A (ja) |
CN (1) | CN101080742A (ja) |
WO (1) | WO2006041219A2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008244982A (ja) * | 2007-03-28 | 2008-10-09 | Konica Minolta Opto Inc | 超深度画像生成装置 |
JP2011023823A (ja) * | 2009-07-13 | 2011-02-03 | Canon Inc | 画像処理装置及び画像処理方法 |
WO2011102281A1 (ja) * | 2010-02-22 | 2011-08-25 | ソニー株式会社 | 画像信号処理回路、撮像装置、画像信号処理方法、およびプログラム |
WO2013061947A1 (ja) | 2011-10-28 | 2013-05-02 | 富士フイルム株式会社 | 撮像方法及び画像処理方法並びにそれらのプログラム、記録媒体、及び撮像装置 |
JP2013085291A (ja) * | 2012-12-28 | 2013-05-09 | Canon Inc | 画像処理装置及び画像処理方法 |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7237721B2 (en) * | 2005-05-24 | 2007-07-03 | Nokia Corporation | Image processing for pattern detection |
JP4813447B2 (ja) * | 2007-11-16 | 2011-11-09 | 富士フイルム株式会社 | 撮像システム、並びにこの撮像システムを備えた撮像装置、携帯端末機器、車載機器、および医療機器 |
JP2009134023A (ja) * | 2007-11-29 | 2009-06-18 | Kyocera Corp | 撮像装置および情報コード読取装置 |
JP2009134024A (ja) * | 2007-11-29 | 2009-06-18 | Kyocera Corp | 撮像装置および情報コード読取装置 |
WO2010017694A1 (zh) * | 2008-08-15 | 2010-02-18 | 北京泰邦天地科技有限公司 | 一种等模糊中间像获取装置 |
CN102396216B (zh) * | 2010-02-08 | 2014-12-24 | 松下电器产业株式会社 | 摄像装置 |
US8210437B2 (en) * | 2010-03-04 | 2012-07-03 | Symbol Technologies, Inc. | Data capture terminal with automatic focusing over a limited range of working distances |
US9319578B2 (en) * | 2012-10-24 | 2016-04-19 | Alcatel Lucent | Resolution and focus enhancement |
US9344736B2 (en) | 2010-09-30 | 2016-05-17 | Alcatel Lucent | Systems and methods for compressive sense imaging |
US8657198B2 (en) * | 2011-03-30 | 2014-02-25 | Symbol Technologies, Inc. | End user-customizable data capture terminal for and method of imaging and processing target data |
WO2012147245A1 (ja) * | 2011-04-27 | 2012-11-01 | パナソニック株式会社 | 撮像装置、撮像装置を備える撮像システム、及び撮像方法 |
JP5414752B2 (ja) * | 2011-08-08 | 2014-02-12 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、および、画像処理プログラム |
WO2013024636A1 (ja) | 2011-08-16 | 2013-02-21 | 富士フイルム株式会社 | 撮像装置 |
US8950672B2 (en) * | 2011-09-28 | 2015-02-10 | Ncr Corporation | Methods and apparatus for control of an imaging scanner |
WO2013080821A1 (ja) * | 2011-11-30 | 2013-06-06 | 富士フイルム株式会社 | 撮像装置 |
JP6344236B2 (ja) * | 2012-07-12 | 2018-06-20 | 株式会社ニコン | 画像処理装置および撮像装置 |
JP6396638B2 (ja) | 2013-03-29 | 2018-09-26 | マクセル株式会社 | 位相フィルタ、撮像光学系、及び撮像システム |
JP5953270B2 (ja) * | 2013-07-04 | 2016-07-20 | オリンパス株式会社 | 撮像装置 |
US9300769B2 (en) | 2013-11-01 | 2016-03-29 | Symbol Technologies, Llc | System for and method of adapting a mobile device having a camera to a reader for electro-optically reading targets |
US9444990B2 (en) * | 2014-07-16 | 2016-09-13 | Sony Mobile Communications Inc. | System and method for setting focus of digital image based on social relationship |
JP6071974B2 (ja) * | 2014-10-21 | 2017-02-01 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
CN104933384A (zh) * | 2015-05-27 | 2015-09-23 | 福建新大陆自动识别技术有限公司 | 一种无线条码识读设备 |
JP6608763B2 (ja) | 2015-08-20 | 2019-11-20 | 株式会社東芝 | 画像処理装置及び撮影装置 |
US10382684B2 (en) * | 2015-08-20 | 2019-08-13 | Kabushiki Kaisha Toshiba | Image processing apparatus and image capturing apparatus |
CN106791293B (zh) * | 2016-11-23 | 2023-08-18 | 嘉兴中润光学科技股份有限公司 | 一种光学系统 |
US10282822B2 (en) | 2016-12-01 | 2019-05-07 | Almalence Inc. | Digital correction of optical system aberrations |
US11172192B2 (en) | 2018-12-27 | 2021-11-09 | Waymo Llc | Identifying defects in optical detector systems based on extent of stray light |
CN110441311B (zh) * | 2019-07-22 | 2021-10-08 | 中国科学院上海光学精密机械研究所 | 用于多物面成像的多轴多焦镜头 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IL100657A0 (en) * | 1992-01-14 | 1992-09-06 | Ziv Soferman | Multifocal optical apparatus |
JP3554703B2 (ja) * | 2000-10-12 | 2004-08-18 | リバーベル株式会社 | 情報端末装置 |
EP1468314A4 (en) * | 2001-12-18 | 2006-12-13 | Univ Rochester | ILLUSTRATION USING AN ASPHARIAN MULTI-FUNGI CASE FOR MAINTAINING AN ADVANCED SHARPNESS |
-
2005
- 2005-10-14 CN CN200580043145.9A patent/CN101080742A/zh not_active Withdrawn
- 2005-10-14 WO PCT/JP2005/019348 patent/WO2006041219A2/en active Application Filing
- 2005-10-14 JP JP2007516709A patent/JP2008516299A/ja not_active Withdrawn
- 2005-10-14 US US11/576,989 patent/US20070279618A1/en not_active Abandoned
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008244982A (ja) * | 2007-03-28 | 2008-10-09 | Konica Minolta Opto Inc | 超深度画像生成装置 |
JP2011023823A (ja) * | 2009-07-13 | 2011-02-03 | Canon Inc | 画像処理装置及び画像処理方法 |
US8350954B2 (en) | 2009-07-13 | 2013-01-08 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method with deconvolution processing for image blur correction |
WO2011102281A1 (ja) * | 2010-02-22 | 2011-08-25 | ソニー株式会社 | 画像信号処理回路、撮像装置、画像信号処理方法、およびプログラム |
JP2011170777A (ja) * | 2010-02-22 | 2011-09-01 | Sony Corp | 画像信号処理回路、撮像装置、画像信号処理方法、およびプログラム |
CN102754107A (zh) * | 2010-02-22 | 2012-10-24 | 索尼公司 | 图像信号处理电路、图像捕获装置、图像信号处理方法及程序 |
TWI452898B (zh) * | 2010-02-22 | 2014-09-11 | Sony Corp | An image signal processing circuit, an image pickup apparatus, an image signal processing method, and a program |
US9041830B2 (en) | 2010-02-22 | 2015-05-26 | Sony Corporation | Image signal processing circuit, image capture device, image signal processing method, and program |
WO2013061947A1 (ja) | 2011-10-28 | 2013-05-02 | 富士フイルム株式会社 | 撮像方法及び画像処理方法並びにそれらのプログラム、記録媒体、及び撮像装置 |
US9270878B2 (en) | 2011-10-28 | 2016-02-23 | Fujifilm Corporation | Imaging method using multifocal lens |
JP2013085291A (ja) * | 2012-12-28 | 2013-05-09 | Canon Inc | 画像処理装置及び画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2006041219A3 (en) | 2006-11-16 |
WO2006041219A2 (en) | 2006-04-20 |
CN101080742A (zh) | 2007-11-28 |
US20070279618A1 (en) | 2007-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008516299A (ja) | 撮像装置及び画像改質処理方法 | |
US8659672B2 (en) | Image processing apparatus and image pickup apparatus using same | |
US8350948B2 (en) | Image device which bypasses blurring restoration during a through image | |
JP5837463B2 (ja) | 画像処理装置および画像処理システム | |
WO2014125659A1 (ja) | 画像処理装置、撮像装置、フィルタ生成装置、画像復元方法及びプログラム | |
KR101536162B1 (ko) | 화상처리장치 및 방법 | |
JP4818957B2 (ja) | 撮像装置およびその方法 | |
JP5830186B2 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
WO2014155755A1 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム並びに記録媒体 | |
JP2008245157A (ja) | 撮像装置およびその方法 | |
JP2011211669A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2011215707A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP2012049773A (ja) | 撮像装置および方法、並びにプログラム | |
JP5933129B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
US8860845B2 (en) | Imaging apparatus and imaging method | |
JP5159715B2 (ja) | 画像処理装置 | |
JP2012256118A (ja) | 画像復元装置およびその方法 | |
JP2009047734A (ja) | 撮像装置及び画像処理プログラム | |
JP5173883B2 (ja) | 撮像装置 | |
JP4818956B2 (ja) | 撮像装置およびその方法 | |
US8736722B2 (en) | Enhanced image capture sharpening | |
JP2008011491A (ja) | カメラシステム、監視カメラ、および撮像方法 | |
JP4916853B2 (ja) | 撮像装置およびその方法 | |
JP2009033607A (ja) | 撮像装置および画像処理方法 | |
JP6436840B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080905 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20090716 |