JP2009134023A - Imaging device and information code reading device - Google Patents
Imaging device and information code reading device Download PDFInfo
- Publication number
- JP2009134023A JP2009134023A JP2007309543A JP2007309543A JP2009134023A JP 2009134023 A JP2009134023 A JP 2009134023A JP 2007309543 A JP2007309543 A JP 2007309543A JP 2007309543 A JP2007309543 A JP 2007309543A JP 2009134023 A JP2009134023 A JP 2009134023A
- Authority
- JP
- Japan
- Prior art keywords
- image
- optical system
- wavefront modulation
- light wavefront
- modulation element
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、撮像素子を用い、光学系を備えた撮像装置および情報コード読取装置に関するものである。 The present invention relates to an image pickup apparatus and an information code reading apparatus using an image pickup element and including an optical system.
近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもその対応が著しい。
特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに変わって固体撮像素子であるCCD(Charge Coupled Device),CMOS(Complementary Metal Oxide Semiconductor)センサが使用されているのが大半である。
In response to the digitization of information, which has been rapidly developing in recent years, the response in the video field is also remarkable.
In particular, as symbolized by a digital camera, a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor) sensor, which is a solid-state image sensor, is used in most cases instead of a conventional film.
このように、撮像素子にCCDやCMOSセンサを使った撮像レンズ装置は、被写体の映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出するものであり、デジタルスチルカメラの他、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、携帯情報端末(PDA:Personal DigitalAssistant)、画像検査装置、自動制御用産業カメラ等に用いられている。 As described above, an imaging lens device using a CCD or CMOS sensor as an imaging element is for taking an image of a subject optically by an optical system and extracting it as an electrical signal by the imaging element. In addition to a digital still camera, It is used in video cameras, digital video units, personal computers, mobile phones, personal digital assistants (PDAs), image inspection devices, industrial cameras for automatic control, and the like.
図27は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
この撮像レンズ装置1は、光学系2とCCDやCMOSセンサ等の撮像素子3とを有する。
光学系は、物体側レンズ21,22、絞り23、および結像レンズ24を物体側(OBJS)から撮像素子3側に向かって順に配置されている。
FIG. 27 is a diagram schematically illustrating a configuration and a light flux state of a general imaging lens device.
The
In the optical system, the
撮像レンズ装置1においては、図27に示すように、ベストフォーカス面を撮像素子面上に合致させている。
図28(A)〜(C)は、撮像レンズ装置1の撮像素子3の受光面でのスポット像を示している。
In the
FIGS. 28A to 28C show spot images on the light receiving surface of the
また、位相板により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする等の撮像装置が提案されている(たとえば非特許文献1,2、特許文献1〜5参照)。
また、伝達関数を用いたフィルタ処理を行うデジタルカメラの自動露出制御システムが提案されている(たとえば特許文献6参照)。
In addition, imaging devices have been proposed in which light beams are regularly dispersed by a phase plate and restored by digital processing to enable imaging with a deep depth of field (for example,
In addition, an automatic exposure control system for a digital camera that performs filter processing using a transfer function has been proposed (see, for example, Patent Document 6).
また、CCD、CMOSなどの画像入力機能を持った装置においては、たとえば風景など、所望の映像とともに、バーコード等の近接静止画像を読み取ることが、極めて有用であることが多い。
バーコードの読み取りは、たとえば第一の例としてレンズを繰り出すオートフォーカスでピントを合わせる技術や、第二の例として深度拡張技術としては、たとえばカメラにおいてF値を絞ることで被写界深度を広げて固定ピントとしているものがある。
In addition, in an apparatus having an image input function such as a CCD or CMOS, it is often very useful to read a close still image such as a barcode together with a desired image such as a landscape.
For barcode reading, for example, as a first example, a technique for focusing by auto-focusing that extends a lens, and as a second example as a depth expansion technique, the depth of field is expanded by, for example, reducing the F value in a camera. Some have fixed focus.
上述した各文献にて提案された撮像装置においては、その全ては通常光学系に上述の位相板を挿入した場合のPSF(Point−Spread−Function)が一定になっていることが前提であり、PSFが変化した場合は、その後のカーネルを用いたコンボリューションにより、被写界深度の深い画像を実現することは極めて難しい。
したがって、単焦点でのレンズではともかく、ズーム系やAF系などのレンズでは、その光学設計の精度の高さやそれに伴うコストアップが原因となり採用するには大きな問題を抱えている。
換言すれば、従来の撮像装置においては、適正なコンボリューション演算を行うことができず、ワイド(Wide)時やテレ(Tele)時のスポット(SPOT)像のズレを引き起こす非点収差、コマ収差、ズーム色収差等の各収差を無くす光学設計が要求される。
しかしながら、これらの収差を無くす光学設計は光学設計の難易度を増し、設計工数の増大、コスト増大、レンズの大型化の問題を引き起こす。
In the imaging devices proposed in the above-mentioned documents, all of them are based on the assumption that the PSF (Point-Spread-Function) when the above-described phase plate is inserted into a normal optical system is constant, When the PSF changes, it is extremely difficult to realize an image with a deep depth of field by convolution using a subsequent kernel.
Therefore, apart from a single-focus lens, a zoom system, an AF system, or the like has a great problem in adopting due to the high accuracy of the optical design and the associated cost increase.
In other words, in the conventional imaging apparatus, proper convolution calculation cannot be performed, and astigmatism and coma that cause a shift of a spot (SPOT) image at the time of wide or tele (Tele). Therefore, an optical design that eliminates various aberrations such as zoom chromatic aberration is required.
However, the optical design that eliminates these aberrations increases the difficulty of optical design, causing problems such as an increase in design man-hours, an increase in cost, and an increase in size of the lens.
また、上記技術では、画像復元処理後の画像はアウトフォーカスとなるに伴い、復元結果が良好ではなくなる。
これはアウトフォーカス時のOTFが一定であれば良好な復元結果となるのであるが、現実問題OTFは劣化してくる。そして、復元処理を行ってもボカして復元するという工程上、完全には復元しない。
そのため、良好な復元画を得ることが困難である。
Also, with the above technique, the restored result is not good as the image after the image restoration process is out of focus.
This is a good restoration result if the OTF during out-focus is constant, but the actual problem OTF deteriorates. Even if the restoration process is performed, the restoration is not complete due to the process of being out of focus.
Therefore, it is difficult to obtain a good restored image.
また、深度拡張光学系において、位相変調素子は、特許文献5等に開示されているように3次や5次の多項式で表され、光軸に対して回転非対称な形状の提案がなされている。
しかしながら、回転非対称な形状の位相変調素子は、製造の難易度が高い、固体撮像素子に対して回転方向の取り付け精度が必要である、位相変調素子による反射の影響がでる、画像の方向によりコントラストが異なる、といった問題がある。
Further, in the depth extension optical system, the phase modulation element is expressed by a third-order or fifth-order polynomial as disclosed in Patent Document 5 and the like, and a proposal of a rotationally asymmetric shape with respect to the optical axis has been made. .
However, the rotationally asymmetrical shape of the phase modulation element is difficult to manufacture, requires a mounting accuracy in the rotational direction with respect to the solid-state image sensor, is affected by reflection by the phase modulation element, and has a contrast depending on the image direction. There is a problem that is different.
本発明は、光学系を簡単化でき、コスト低減を図ることができることはもとより、適切な画質の、ノイズの影響が小さい良好な復元画像を得ることが可能なことはもとより、製造が容易で、取り付け精度を必要とせず、反射の影響も抑止でき、画像の方向によりコントラストが異なることがない撮像装置および情報コード読取装置を提供することにある。 In addition to being able to simplify the optical system and reduce costs, the present invention is capable of obtaining a good restored image with an appropriate image quality and a small influence of noise, and is easy to manufacture. An object of the present invention is to provide an imaging apparatus and an information code reading apparatus that do not require mounting accuracy, can suppress the influence of reflection, and do not vary in contrast depending on the direction of an image.
本発明の第1の観点の撮像装置は、レンズと光波面変調素子を含む光学系と、前記光学系を通過した被写体像を撮像する撮像素子と、を有し、前記光学系は、前記光波面変調素子の変調面が光軸に対して回転対称な形状であり、かつ前記光波面変調素子において光波面変調機能を持つ場合と持たない場合との形状の差分である位相形状が光軸中心部分から周辺部分に向かって単調増加もしくは単調減少となっている。 An imaging apparatus according to a first aspect of the present invention includes an optical system including a lens and a light wavefront modulation element, and an imaging element that captures a subject image that has passed through the optical system, and the optical system includes the light wave The phase shape, which is the difference in shape between the case where the modulation surface of the surface modulation element is rotationally symmetric with respect to the optical axis and the optical wavefront modulation element has and does not have the optical wavefront modulation function, is the optical axis center It is monotonically increasing or decreasing monotonically from the part toward the peripheral part.
好適には、前記光波面変調素子の変調面の焦点距離が、光学系全体の焦点距離の絶対値に対して大きい。 Preferably, the focal length of the modulation surface of the light wavefront modulation element is larger than the absolute value of the focal length of the entire optical system.
好適には、前記変調面を含む光波面変調素子の焦点距離が、光学系全体の焦点距離の絶対値に対して大きい。 Preferably, the focal length of the light wavefront modulation element including the modulation surface is larger than the absolute value of the focal length of the entire optical system.
好適には、前記光学系は、絞りを含み、当該絞りは前記光波面変調素子の近傍に配置されている。 Preferably, the optical system includes a stop, and the stop is disposed in the vicinity of the light wavefront modulation element.
好適には、前記光波面変調素子により、被写体分散画像が形成され、前記撮像素子からの被写体分散画像信号より分散のない画像信号を生成する画像処理部を有する。 Preferably, the light wavefront modulation element includes an image processing unit that forms a subject dispersion image and generates an image signal having no dispersion from the subject dispersion image signal from the imaging element.
本発明の第2の観点の情報コード読取装置は、情報コードを光学的に読み取る情報コード読取装置であって、レンズと光波面変調素子を含む光学系と、前記光学系を通過した被写体像を撮像する撮像素子と、を有し、前記光学系は、前記光波面変調素子の変調面が光軸に対して回転対称な形状であり、かつ位相形状が光軸中心部分から周辺部分に向かって単調増加もしくは単調減少となっている。 An information code reader according to a second aspect of the present invention is an information code reader that optically reads an information code, and includes an optical system including a lens and a light wavefront modulation element, and a subject image that has passed through the optical system. The optical system has a shape in which the modulation surface of the light wavefront modulation element is rotationally symmetric with respect to the optical axis, and the phase shape is from the central portion of the optical axis toward the peripheral portion. Monotonically increasing or decreasing.
本発明によれば、光学系を簡単化でき、コスト低減を図ることができことはもとより、適切な画質の、ノイズの影響が小さい復元画像を得ることができることはもとより、製造が容易で、取り付け精度を必要とせず、反射の影響も抑止でき、画像の方向によりコントラストが異なることがない。 According to the present invention, not only can the optical system be simplified and the cost can be reduced, but also a restored image with an appropriate image quality and a small influence of noise can be obtained, and it is easy to manufacture and attach. The accuracy is not required, the influence of reflection can be suppressed, and the contrast does not differ depending on the direction of the image.
以下、本発明の実施形態を添付図面に関連付けて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
図1は、本発明の実施形態に係る情報コード読取装置の一例を示す外観図である。
図2(A)〜(C)は、情報コードの例を示す図である。
図3は、図1の情報コード読取装置に適用可能な撮像装置の構成例を示すブロックである。
なおここでは、本実施形態の撮像装置が適用可能な装置として、情報コード読取装置を例示している。
FIG. 1 is an external view showing an example of an information code reading apparatus according to an embodiment of the present invention.
2A to 2C are diagrams illustrating examples of information codes.
FIG. 3 is a block diagram illustrating a configuration example of an imaging apparatus applicable to the information code reading apparatus of FIG.
Here, an information code reader is illustrated as an apparatus to which the imaging apparatus of the present embodiment is applicable.
本実施形態に係る情報コード読取装置100は、図1に示すように、本体110がケーブル111を介して図示しない電子レジスタ等の処理装置と接続され、たとえば読み取り対象物120に印刷された反射率の異なるシンボル、コード等の情報コード121を読み取り可能な装置である。
読み取り対象の情報コードとしては、たとえば図2(A)に示すような、JANコードのような1次元のバーコード122と、図2(B)および(C)に示すようなスタック式のCODE49、あるいはマトリックス方式のQRコードのような2次元のバーコード123が挙げられる。
As shown in FIG. 1, the
As an information code to be read, for example, a one-
本実施形態に係る情報コード読取装置100は、本体110内に、図示しない照明光源と、図3に示すような撮像装置200とが配置されている。
撮像装置200は、後で詳述するように、光学系に光波面変調素子を適用し、光波面変調素子により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする波面収差制御光学系システム、あるいは深度拡張光学系システム(DEOS:Depth Expantion Optical System)というシステムを採用し、JANコードのような1次元のバーコードとQRコードのような2次元のバーコードのような情報コードを的確に高精度で読み取ることが可能に構成されている。
In the information
As will be described in detail later, the
情報コード読取装置100の撮像装置200は、図3に示すように、光学系210、撮像素子220、アナログフロントエンド部(AFE)230、画像処理装置240、カメラ信号処理部250、画像表示メモリ260、画像モニタリング装置270、操作部280、および制御装置290を有している。
As shown in FIG. 3, the
図4は、本実施形態に係る光学系を形成する撮像レンズユニットの基本構成を示す図である。
光学系210Aは、被写体物体OBJを撮影した像を撮像素子220に供給する。また、光学系210Aは、物体側から順に、第1レンズ211、第2レンズ212、第3レンズ213、絞り214、第4レンズ215、第5レンズ216が配置されている。
本実施形態の光学系210Aは、第4レンズ215と第5レンズ216が接続されている。すなわち、本実施形態の光学系210Aのレンズユニットは、接合レンズを含んで構成されている。
FIG. 4 is a diagram showing a basic configuration of the imaging lens unit forming the optical system according to the present embodiment.
The
In the
そして、本実施形態の光学系210Aは、光波面変調素子を適用した光学系として構成されている。
本実施形態においては、光波面変調素子(たとえば位相変調素子)を用いることにより物体距離に応じたOTFの変化を、光波面変調素子を持たない光学系よりも小さくする深度拡張光学系に対し、光波面変調素子の最適化を行う。
The
In the present embodiment, a depth-expanding optical system that uses a light wavefront modulation element (for example, a phase modulation element) to make the change in OTF according to the object distance smaller than that of an optical system that does not have a light wavefront modulation element. The light wavefront modulation element is optimized.
本実施形態においては、光波面変調素子の光波面変調面は、光波面変調機能を持つ場合と持たない場合の形状の差分である位相形状が、光軸に対して回転対称で、かつ光軸中心部分から周辺部分に向かって単調増加もしくは単調減少するように形成されている。
位相形状を、光軸に対して回転対称とすることで、製造が容易で、回転方向の取り付け精度も厳しくなく、さらには反射の影響が少なくて、画像の方向によるコントラストの違いも無くなる。位相形状を光軸中心部分から周辺部分に向かって単調増加もしくは単調減少とすることで、物体距離に応じたOTFの変化を極めて小さくすることができる。
以下、この位相形状を光軸中心部分から周辺部分に向かって変曲点を持つことなく、単調増加もしくは単調減少とする光波面変調面(たとえば位相変調面)について説明する。
In the present embodiment, the optical wavefront modulation surface of the optical wavefront modulation element has a phase shape that is a difference between shapes with and without the optical wavefront modulation function, rotationally symmetric with respect to the optical axis, and the optical axis It is formed so as to monotonously increase or decrease monotonously from the central portion toward the peripheral portion.
By making the phase shape rotationally symmetric with respect to the optical axis, it is easy to manufacture, the mounting accuracy in the rotating direction is not strict, the influence of reflection is small, and there is no difference in contrast depending on the image direction. By making the phase shape monotonically increase or monotonously decrease from the optical axis central portion toward the peripheral portion, the change in OTF according to the object distance can be extremely small.
Hereinafter, an optical wavefront modulation surface (for example, a phase modulation surface) that makes the phase shape monotonously increase or monotonously decrease without having an inflection point from the optical axis center portion toward the peripheral portion will be described.
この場合、基本的に上述したように、光波面変調面を光軸に対して回転対称な形状とする。光波面変調素子を持たない一般的な光学系よりも球面収差を大きく発生させることにより、光波面変調素子を持たない一般的な光学系よりも物体距離に応じたOTFの変化を小さくすることが可能となる。
そして、光波面変調面(位相変調面)の位相形状は、中心部分から周辺部分にかけて、変曲点を持たず、単調増加もしくは単調減少するように形成されている。
また、図4の下方に光波面変調面を形成する前と後の球面収差の変化を示しているが、光波面変調面を絞り214の近傍に、あるいは光波面変調面自身に絞り機能を持たせることにより、光波面変調面のみを最適化することで、撮像装置の最終出力画像信号として性能の高い固定焦点レンズとすることができる。
In this case, basically, as described above, the light wavefront modulation surface has a rotationally symmetric shape with respect to the optical axis. By generating a larger spherical aberration than in a general optical system having no light wavefront modulation element, it is possible to reduce the change in OTF according to the object distance as compared with a general optical system without a light wavefront modulation element. It becomes possible.
The phase shape of the light wavefront modulation surface (phase modulation surface) is formed so as not to have an inflection point and to monotonously increase or monotonously decrease from the central portion to the peripheral portion.
4 shows changes in spherical aberration before and after the formation of the light wavefront modulation surface, the light wavefront modulation surface is provided in the vicinity of the
図5は、各光学系の光波面変調面の位相形状を示す図である。また、図6は、面形状を示す図である。
図5および図6において、Aで示す線が光波面変調素子を持たない形状を、Bで示す線が光波面変調素子を持ちかつ変曲点がある場合の形状を、Cで示す線が光波面変調素子を持つが変曲点がなく、単調増加する場合の形状を示している。
図6は面形状そのものを示している。
図5は光波面変調素子及び変曲点を持つ場合と持たない場合との差分、すなわち図6において、横軸方向にB−AおよびC−Aを行った状態を示している。
FIG. 5 is a diagram showing the phase shape of the light wavefront modulation surface of each optical system. FIG. 6 is a diagram showing the surface shape.
5 and 6, the line indicated by A has a shape without an optical wavefront modulation element, the line indicated by B has a lightwavefront modulation element and has an inflection point, and the line indicated by C indicates an optical wave. A shape is shown in the case of having a surface modulation element but no inflection point and monotonously increasing.
FIG. 6 shows the surface shape itself.
FIG. 5 shows the difference between the case with and without the light wavefront modulation element and the inflection point, that is, the state where B-A and C-A are performed in the horizontal axis direction in FIG.
なお、図5および図6の縦軸の数値は、像面での対角像高を1としたスポット位置を示す。具体的には、図7に示すように、中心スポット位置が(0,0)となり、垂直上方の端部が(0,1)となる。なお、図7のAは撮像素子、Bはイメージサイクルを示す。 The numerical values on the vertical axis in FIG. 5 and FIG. 6 indicate the spot positions where the diagonal image height on the image plane is 1. Specifically, as shown in FIG. 7, the center spot position is (0, 0), and the vertically upper end is (0, 1). 7A shows an image sensor, and B shows an image cycle.
また、本実施形態においては、光波面変調素子の光波面変調面の焦点距離が、光学系210全体の焦点距離に対して大きい。
あるいは、光波面変調面を含む光波面変調素子の焦点距離が、光学系全体の焦点距離に対して大きい。
換言すれば、光波面変調素子の光波面変調面におけるパワーを光学系210の全体のパワーよりも弱くする。
あるいは、光波面変調面を備えたパワーを、光学系210全体のパワーよりも弱くする。
これにより、画像の中心部から周辺部にかけて均一なOTFとすることが可能となる。
In this embodiment, the focal length of the optical wavefront modulation surface of the optical wavefront modulation element is larger than the focal length of the entire
Alternatively, the focal length of the optical wavefront modulation element including the optical wavefront modulation surface is larger than the focal length of the entire optical system.
In other words, the power at the optical wavefront modulation surface of the optical wavefront modulation element is made weaker than the overall power of the
Alternatively, the power provided with the light wavefront modulation surface is made weaker than the power of the entire
This makes it possible to obtain a uniform OTF from the center to the periphery of the image.
また、光波面変調面(位相変調面)の焦点距離の絶対値が、光学系全体の焦点距離に対して次の関係を持つことが望ましい。 Further, it is desirable that the absolute value of the focal length of the light wavefront modulation surface (phase modulation surface) has the following relationship with the focal length of the entire optical system.
(数1)
|fphase|/ftotal ≧ 2
ただし、fphaseは光波面変調面の焦点距離を、ftotalは光学系全体の焦点距離を示している。
(Equation 1)
| f phase | / f total ≧ 2
Here, f phase represents the focal length of the light wavefront modulation surface, and f total represents the focal length of the entire optical system.
なお、本実施形態において、光波面変調素子の焦点距離の絶対値とは、光波面変調面または光波面変調面を有するレンズの焦点距離を意味するものとする。 In the present embodiment, the absolute value of the focal length of the light wavefront modulation element means the focal length of a light wavefront modulation surface or a lens having a light wavefront modulation surface.
光波面変調面の位相形状が中心から周辺にかけて、変曲点を持たずに、単調増加または単調減少することで、物体距離に応じたOTFの変化を極めて小さくすることができる。
つまり、図6においてはBよりもCで示す線の様な面形状を持ったもののほうがOTFの変化を小さくすることができるようになる。
また、光学系210全体の焦点距離に対して、光波面変調面の焦点距離の絶対値を大きくすることで、画像の中心部から周辺部にかけて均一なOTFとすることが可能となる。
また、光学系210全体の焦点距離に対して、光波面変調面を備えた光波面変調素子(レンズ)の焦点距離の絶対値を大きくすることで、画像の中心部から周辺部にかけて均一なOTFとすることが可能となる。
また、本発明の光波面変調面を回転対称な形状にすることにより、鏡筒に光波面変調素子を組み込む際に、光軸方向を中心に回転させて調整させる必要がなく、レンズと同様に配設することができ、製造工程が容易になる。
また、偽像を抑えて、自然なボケ味のまま深度を拡張することができる。
By changing the phase shape of the light wavefront modulation surface from the center to the periphery without increasing the inflection point and monotonously increasing or decreasing, the change in OTF according to the object distance can be made extremely small.
That is, in FIG. 6, the change in OTF can be made smaller with a surface shape like a line indicated by C than with B.
Further, by increasing the absolute value of the focal length of the light wavefront modulation surface with respect to the focal length of the entire
Further, by increasing the absolute value of the focal length of the light wavefront modulation element (lens) having the light wavefront modulation surface with respect to the focal length of the entire
In addition, since the light wavefront modulation surface of the present invention has a rotationally symmetric shape, when the light wavefront modulation element is incorporated into the lens barrel, there is no need to rotate and adjust the optical axis direction as the center. The manufacturing process can be facilitated.
In addition, it is possible to suppress the false image and extend the depth while maintaining a natural blur.
ここで、光学系における光波面変調素子の有無、位相形状の変曲点の有無に応じたスポット像について図8〜図11に関連付けて考察する。
これらの図において縦軸はディフォーカス量、横軸は像高を示している。
Here, the spot images according to the presence or absence of the light wavefront modulation element and the presence or absence of the inflection point of the phase shape in the optical system will be considered in association with FIGS.
In these figures, the vertical axis represents the defocus amount, and the horizontal axis represents the image height.
図8は、光波面変調素子を持たない一般的な光学系のスポット像のディフォーカス変化を示す図である。
この光学系は、光波面変調素子を持たないため物体距離に応じてスポット像が大きく変化する。
FIG. 8 is a diagram showing a defocus change of a spot image of a general optical system that does not have an optical wavefront modulation element.
Since this optical system does not have a light wavefront modulation element, the spot image changes greatly according to the object distance.
図9は、位相形状で変曲点を持たない光波面変調素子を備えた光学系のスポット像のディフォーカス変化を示す図である。
この光学系においては、光波面変調素子の作用で物体距離に応じたスポット像の変化は小さい。
FIG. 9 is a diagram showing a defocus change of a spot image of an optical system including an optical wavefront modulation element having a phase shape and no inflection point.
In this optical system, the change of the spot image according to the object distance is small due to the action of the light wavefront modulation element.
図10は、光波面変調素子の焦点距離が小さい光学系のスポット像のディフォーカス変化を示す図である。
この光学系においては、光波面変調素子の焦点距離の絶対値が小さいため、画面中心と周辺でスポット像の大きさの差が大きい。
FIG. 10 is a diagram illustrating a defocus change of a spot image of an optical system having a small focal length of the light wavefront modulation element.
In this optical system, since the absolute value of the focal length of the light wavefront modulation element is small, the difference in the size of the spot image between the center and the periphery of the screen is large.
図11は、光波面変調素子の焦点距離の絶対値が大きい光学系のスポット像のディフォーカス変化を示す図である。
この光学系においては、光波面変調素子の焦点距離が大きいため、画面中心と周辺でスポット像の大きさの差が小さい。
FIG. 11 is a diagram illustrating a defocus change of a spot image of an optical system in which the absolute value of the focal length of the light wavefront modulation element is large.
In this optical system, since the focal length of the light wavefront modulation element is large, the difference in spot image size between the center and the periphery of the screen is small.
以上、本実施形態に係る光学系の特徴的な構成、機能、効果について説明した。
以下に、撮像素子、画像処理部等の他の構成部分の構成、機能について説明する。
The characteristic configuration, function, and effect of the optical system according to the present embodiment have been described above.
Hereinafter, the configuration and functions of other components such as the image sensor and the image processing unit will be described.
撮像素子220は、例えば、図4に示すように、第5レンズ216側から、ガラス製の平行平面板(カバーガラス)221と、CCDあるいはCMOSセンサ等からなる撮像素子の撮像面222が順に配置されている。
撮像光学系210Aを介した被写体OBJからの光が、撮像素子220の撮像面222上に結像される。
なお、撮像素子220で撮像される被写体分散像は、光波面変調面213aにより撮像素子220上ではピントが合わず、深度の深い光束とボケ部分が形成された像である。
そして、本実施形態においては、画像処理装置240にてフィルタ処理を加えることにより物体間の距離の解像を補完することができるように構成されている。
この光学系210Aについては、後でさらに詳述する。
For example, as shown in FIG. 4, the
Light from the subject OBJ via the imaging
Note that the subject dispersion image picked up by the
And in this embodiment, it is comprised so that the resolution of the distance between objects can be complemented by adding a filter process in the
The
そして、図3に示すように撮像素子220は、光学系210で取り込んだ像が結像され、結像1次画像情報を電気信号の1次画像信号FIMとして、アナログフロントエンド部230を介して画像処理装置240に出力するCCDやCMOSセンサからなる。
図3においては、撮像素子220を一例としてCCDとして記載している。
As shown in FIG. 3, the
In FIG. 3, the
アナログフロントエンド部230は、タイミングジェネレータ231、アナログ/デジタル(A/D)コンバータ232と、を有する。
タイミングジェネレータ231では、撮像素子220のCCDの駆動タイミングを生成しており、A/Dコンバータ232は、CCDから入力されるアナログ信号をデジタル信号に変換し、画像処理装置240に出力する。
The analog
The
信号処理部の一部を構成する画像処理装置(二次元コンボリューション手段)240は、前段のAFE230からくる撮像画像のデジタル信号を入力し、二次元のコンボリューション処理を施し、後段のカメラ信号処理部(DSP)250に渡す。
画像処理装置240、制御装置290の露出情報に応じて、光学的伝達関数(OTF)に対してフィルタ処理を行う。なお、露出情報として絞り情報を含む。
画像処理装置240は、撮像素子220による複数の画像に対して、光学的伝達関数(OTF)のレスポンスを向上させ、物体距離に応じた光学的伝達関数(OTF)の変化をなくすようにフィルタ処理(たとえばコンボリューションフィルタ処理)を行う機能を有し、複数の物体距離に依存しながらも、深い被写界深度を得る。また、画像処理装置240は、最初のステップでノイズ低減フィルタリングを施す機能を有する。
画像処理装置240は、光学的伝達関数(OTF)に対してフィルタ処理を行いコントラストを改善する処理を施す機能を有する。
画像処理装置240の処理については後でさらに詳述する。
An image processing apparatus (two-dimensional convolution means) 240 constituting a part of the signal processing unit inputs a digital signal of a captured image coming from the
Filter processing is performed on the optical transfer function (OTF) according to the exposure information of the
The
The
The processing of the
カメラ信号処理部(DSP)250は、カラー補間、ホワイトバランス、YCbCr変換処理、圧縮、ファイリング等の処理を行い、メモリ260への格納や画像モニタリング装置270への画像表示等を行う。
The camera signal processing unit (DSP) 250 performs processing such as color interpolation, white balance, YCbCr conversion processing, compression, and filing, and stores in the
制御装置290は、露出制御を行うとともに、操作部280などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、AFE230、画像処理装置240、DSP250、絞り213等を制御し、システム全体の調停制御を司るものである。
The
以下、本実施形態の光学系、画像処理装置の構成および機能について具体的には説明する。 Hereinafter, the configuration and function of the optical system and the image processing apparatus according to the present embodiment will be specifically described.
次に、画像処理装置240のフィルタ処理について説明する。
本実施形態においては、光学系210により収束される光束を規則正しく分散する。このように光波面変調素子を挿入することにより、撮像素子220上ではピントのどこにも合わない画像を実現する。
換言すれば、光学系210によって深度の深い光束(像形成の中心的役割を成す)とフレアー(ボケ部分)を形成している。
前述したように、この規則的に分散した画像をデジタル処理により、光学系210を移動させずにピントの合った画像に復元する手段を波面収差制御光学系システム、あるいは深度拡張光学系システム(DEOS:Depth Expantion Optical System)といい、この処理を画像処理装置240において行う。
Next, filter processing of the
In the present embodiment, the light beam converged by the
In other words, the
As described above, means for restoring the regularly dispersed image to a focused image without moving the
ここで、DEOSの基本原理について説明する。
図12に示すように、被写体の画像fがDEOS光学系Hに入ることにより、g画像が生成される。
これは、次のような式で表される。
Here, the basic principle of DEOS will be described.
As shown in FIG. 12, when the subject image f enters the DEOS optical system H, a g image is generated.
This is expressed by the following equation.
(数2)
g=H*f
ただし、*はコンボリューションを表す。
(Equation 2)
g = H * f
However, * represents convolution.
生成された画像から被写体を求めるためには、次の処理を要する。 In order to obtain the subject from the generated image, the following processing is required.
(数3)
f=H-1*g
(Equation 3)
f = H -1 * g
ここで、Hに関するカーネルサイズと演算係数について説明する。
ズームポジションをZPn,ZPn−1・・・とする。また、それぞれのH関数をHn,Hn−1、・・・・とする。
各々のスポット像が異なるため、各々のH関数は、次のようになる。
Here, the kernel size and calculation coefficient regarding H will be described.
Let the zoom positions be ZPn, ZPn-1,. In addition, each H function is defined as Hn, Hn-1,.
Since each spot image is different, each H function is as follows.
この行列の行数および/または列数の違いをカーネルサイズ、各々の数字を演算係数とする。
ここで、各々のH関数はメモリに格納しておいても構わないし、PSFを物体距離の関数としておき、物体距離によって計算し、H関数を算出することによって任意の物体距離に対して最適なフィルタを作るように設定できるようにしても構わない。また、H関数を物体距離の関数として、物体距離によってH関数を直接求めても構わない。
The difference in the number of rows and / or the number of columns in this matrix is the kernel size, and each number is the operation coefficient.
Here, each H function may be stored in a memory, and the PSF is set as a function of the object distance, and is calculated based on the object distance. By calculating the H function, an optimum object distance is obtained. It may be possible to set so as to create a filter. Alternatively, the H function may be directly obtained from the object distance using the H function as a function of the object distance.
本実施形態においては、図3に示すように、光学系210からの像を撮像素子220で受像して、絞り開放時には画像処理装置240に入力させ、光学系に応じた変換係数を取得して、取得した変換係数をもって撮像素子220からの分散画像信号より分散のない画像信号を生成するように構成している。
In this embodiment, as shown in FIG. 3, an image from the
本実施形態においては、DEOSを採用し、高精細な画質を得ることが可能で、しかも、光学系を簡単化でき、コスト低減を図ることが可能となっている。 In the present embodiment, DEOS can be employed to obtain high-definition image quality, and the optical system can be simplified and the cost can be reduced.
画像処理装置240は、上述したように、撮像素子220による1次画像FIMを受けて、フィルタによるコンボリューション処理によって被写界深度を拡張する処理等を施して高精細な最終画像FNLIMを形成する。
As described above, the
画像処理装置140のMTF補正処理は、たとえば図13の曲線Aで示すように、本質的に低い値になっている1次画像のMTFを、空間周波数をパラメータとしてエッジ強調、クロマ強調等の後処理にて、図13中曲線Bで示す特性に近づく(達する)ような補正を行う。
図13中曲線Bで示す特性は、たとえば本実施形態のように、波面形成用光学素子を用いずに波面を変形させない場合に得られる特性である。
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。
The MTF correction processing of the image processing apparatus 140 is performed after edge enhancement, chroma enhancement, etc., using the MTF of the primary image, which is essentially a low value, as shown by a curve A in FIG. In the process, correction is performed so as to approach (reach) the characteristics indicated by the curve B in FIG.
A characteristic indicated by a curve B in FIG. 13 is a characteristic obtained when the wavefront is not deformed without using the wavefront forming optical element as in the present embodiment, for example.
It should be noted that all corrections in the present embodiment are based on spatial frequency parameters.
本実施形態においては、図13に示すように、光学的に得られる空間周波数に対するMTF特性曲線Aに対して、最終的に実現したいMTF特性曲線Bを達成するためには、それぞれの空間周波数に対し、図14に示すようにエッジ強調等の強弱を付け、元の画像(1次画像)に対して補正をかける。
たとえば、図13のMTF特性の場合、空間周波数に対するエッジ強調の曲線は、図14に示すようになる。
In the present embodiment, as shown in FIG. 13, in order to achieve the MTF characteristic curve B that is finally realized with respect to the MTF characteristic curve A with respect to the spatial frequency obtained optically, each spatial frequency is changed to each spatial frequency. On the other hand, as shown in FIG. 14, strength such as edge enhancement is added, and the original image (primary image) is corrected.
For example, in the case of the MTF characteristic shown in FIG. 13, the edge enhancement curve with respect to the spatial frequency is as shown in FIG.
すなわち、空間周波数の所定帯域内における低周波数側および高周波数側でエッジ強調を弱くし、中間周波数領域においてエッジ強調を強くして補正を行うことにより、所望のMTF特性曲線Bを仮想的に実現する。 That is, a desired MTF characteristic curve B is virtually realized by performing correction by weakening edge enhancement on the low frequency side and high frequency side within a predetermined spatial frequency band and strengthening edge enhancement in the intermediate frequency region. To do.
このように、実施形態に係る撮像装置200は、基本的に、1次画像を形成する光学系210および撮像素子220と、1次画像を高精細な最終画像に形成する画像処理装置140からなり、光学系システムの中に、波面成形用の光学素子を新たに設けるか、またはガラス、プラスチックなどのような光学素子の面を波面成形用に成形したものを設けることにより、結像の波面を変形(変調)し、そのような波面をCCDやCMOSセンサからなる撮像素子220の撮像面(受光面)に結像させ、その結像1次画像を、画像処理装置240を通して高精細画像を得る画像形成システムである。
本実施形態では、撮像素子220による1次画像は深度が非常に深い光束条件にしている。そのために、1次画像のMTFは本質的に低い値になっており、そのMTFの補正を画像処理装置240で行う。
As described above, the
In the present embodiment, the primary image from the
ここで、本実施形態における撮像装置200における結像のプロセスを、波動光学的に考察する。
物点の1点から発散された球面波は結像光学系を通過後、収斂波となる。そのとき、結像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な形状となる。幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便利である。
結像面における波動光学的MTFを扱うとき、結像光学系の射出瞳位置における波面情報が重要となる。
MTFの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。その波動光学的強度分布は波動光学的振幅分布を2乗して得られるが、その波動光学的振幅分布は射出瞳における瞳関数のフーリエ変換から求まる。
さらにその瞳関数はまさに射出瞳位置における波面情報(波面収差)そのものからであることから、その光学系210を通して波面収差が厳密に数値計算できればMTFが計算できることになる。
Here, the imaging process in the
A spherical wave diverging from one of the object points becomes a convergent wave after passing through the imaging optical system. At that time, aberration occurs if the imaging optical system is not an ideal optical system. The wavefront is not a spherical surface but a complicated shape. Wavefront optics lies between geometric optics and wave optics, which is convenient when dealing with wavefront phenomena.
When dealing with the wave optical MTF on the imaging plane, the wavefront information at the exit pupil position of the imaging optical system is important.
The MTF is calculated by Fourier transform of the wave optical intensity distribution at the imaging point. The wave optical intensity distribution is obtained by squaring the wave optical amplitude distribution, and the wave optical amplitude distribution is obtained from the Fourier transform of the pupil function in the exit pupil.
Further, since the pupil function is exactly from the wavefront information (wavefront aberration) at the exit pupil position itself, if the wavefront aberration can be strictly numerically calculated through the
したがって、所定の手法によって射出瞳位置での波面情報に手を加えれば、任意に結像面におけるMTF値は変更可能である。
本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主であるが、まさにphase(位相、光線に沿った光路長)に増減を設けて目的の波面形成を行っている。
そして、目的の波面形成を行えば、射出瞳からの射出光束は、幾何光学的なスポット像からわかるように、光線の密な部分と疎の部分から形成される。
この光束状態のMTFは空間周波数の低いところでは低い値を示し、空間周波数の高いところまでは何とか解像力は維持している特徴を示している。
すなわち、この低いMTF値(または、幾何光学的にはこのようなスポット像の状態)であれば、エリアジングの現象を発生させないことになる。
つまり、ローパスフィルタが必要ないのである。
そして、画像処理装置240でMTF値を低くしている原因のフレアー的画像を除去すれば良いのである。それによってMTF値は著しく向上する。
Accordingly, if the wavefront information at the exit pupil position is modified by a predetermined method, the MTF value on the imaging plane can be arbitrarily changed.
In this embodiment, the wavefront shape is mainly changed by the wavefront forming optical element, but the target wavefront is formed by increasing or decreasing the phase (phase, optical path length along the light beam). .
Then, if the target wavefront is formed, the exiting light flux from the exit pupil is formed from a dense portion and a sparse portion of the light, as can be seen from the geometric optical spot image.
The MTF in the luminous flux state shows a low value at a low spatial frequency and a characteristic that the resolving power is managed up to a high spatial frequency.
That is, if this MTF value is low (or such a spot image state in terms of geometrical optics), the phenomenon of aliasing will not occur.
That is, a low-pass filter is not necessary.
Then, the flare-like image that causes the MTF value to be lowered by the
次に、本実施形態および従来光学系のMTFのレスポンスについて考察する。 Next, the response of the MTF of this embodiment and the conventional optical system will be considered.
図15は、従来の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのMTFのレスポンス(応答)を示す図である。
図16は、光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのMTFのレスポンスを示す図である。
また、図17は、本実施形態に係る撮像装置のデータ復元後のMTFのレスポンスを示す図である。
FIG. 15 is a diagram illustrating the MTF response when the object is at the focal position and when the object is out of the focal position in the case of the conventional optical system.
FIG. 16 is a diagram showing the response of the MTF when the object is at the focal position and when the object is out of the focal position in the optical system of the present embodiment having the light wavefront modulation element.
FIG. 17 is a diagram illustrating a response of the MTF after data restoration of the imaging apparatus according to the present embodiment.
図からもわかるように、光波面変調素子を有する光学系の場合、物体が焦点位置から外れた場合でもMTFのレスポンスの変化が光波面変調素子を挿入してない光学系よりも少なくなる。
この光学系によって結像された画像を、コンボリューションフィルタによる処理によって、MTFのレスポンスが向上する。
As can be seen from the figure, in the case of an optical system having a light wavefront modulation element, the change in the response of the MTF is less than that in an optical system in which no light wavefront modulation element is inserted even when the object deviates from the focal position.
The response of the MTF is improved by processing the image formed by this optical system using a convolution filter.
図16に示した、光波面変調素子を持つ光学系のOTFの絶対値(MTF)はナイキスト周波数において0.1以上であることが好ましい。
なぜなら、図17に示した復元後のOTFを達成するためには復元フィルタでゲインを上げることになるが、センサのノイズも同時に上げることになる。そのため、ナイキスト周波数付近の高周波ではできるたけゲインを上げずに復元を行うことが好ましい。
通常の光学系の場合、ナイキスト周波数でのMTFが0.1以上あれば解像する。
したがって、復元前のMTFが0.1以上あれば復元フィルタでナイキスト周波数でのゲインを上げずに済む。復元前のMTFが0.1未満であると、復元画像がノイズの影響を大きく受けた画像になるため好ましくない。
The absolute value (MTF) of the OTF of the optical system having the light wavefront modulation element shown in FIG. 16 is preferably 0.1 or more at the Nyquist frequency.
This is because, in order to achieve the OTF after restoration shown in FIG. 17, the gain is increased by the restoration filter, but the noise of the sensor is also raised at the same time. For this reason, it is preferable to perform restoration without increasing the gain as much as possible at high frequencies near the Nyquist frequency.
In the case of a normal optical system, resolution is achieved if the MTF at the Nyquist frequency is 0.1 or more.
Therefore, if the MTF before restoration is 0.1 or more, the restoration filter does not need to increase the gain at the Nyquist frequency. If the MTF before restoration is less than 0.1, the restored image becomes an image greatly affected by noise, which is not preferable.
画像処理装置240の構成および処理について説明する。
The configuration and processing of the
画像処理装置240は、図3に示すように、生(RAW)バッファメモリ241、二次元コンボリューション演算部242、記憶手段としてのカーネルデータ格納ROM243、およびコンボリューション制御部244を有する。
As shown in FIG. 3, the
コンボリューション制御部244は、コンボリューション処理のオンオフ、画面サイズ、カーネルデータの入れ替え等の制御を行い、制御装置290により制御される。
The
また、カーネルデータ格納ROM243には、図18、図19、または図20に示すように予め用意されたそれぞれの光学系の点像強度分布(PSF)により算出されたコンボリューション用のカーネルデータが格納されており、制御装置290によって露出設定時に決まる露出情報を取得し、コンボリューション制御部244を通じてカーネルデータを選択制御する。
なお、露出情報には、絞り情報が含まれる。
The kernel
The exposure information includes aperture information.
図18の例では、カーネルデータAは光学倍率(×1.5)、カーネルデータBは光学倍率(×5)、カーネルデータCは光学倍率(×10)に対応したデータとなっている。 In the example of FIG. 18, the kernel data A is data corresponding to the optical magnification (× 1.5), the kernel data B is data corresponding to the optical magnification (× 5), and the kernel data C is data corresponding to the optical magnification (× 10).
また、図19の例では、カーネルデータAは絞り情報としてのFナンバ(2.8)、カーネルデータBはFナンバ(4)に対応したデータとなっている。 In the example of FIG. 19, kernel data A is data corresponding to F number (2.8) as aperture information, and kernel data B is data corresponding to F number (4).
また、図20の例では、カーネルデータAは物体距離情報が100mm、カーネルデータBは物体距離が500mm、カーネルデータCは物体距離が4mに対応したデータとなっている。 In the example of FIG. 20, the kernel data A is data corresponding to an object distance information of 100 mm, the kernel data B is data corresponding to an object distance of 500 mm, and the kernel data C is data corresponding to an object distance of 4 m.
図21は、制御装置290の露出情報(絞り情報を含む)により切り替え処理のフローチャートである。
まず、露出情報(RP)が検出されコンボリューション制御部244に供給される(ST101)。
コンボリューション制御部244においては、露出情報RPから、カーネルサイズ、数値演係数がレジスタにセットされる(ST102)。
そして、撮像素子220で撮像され、AFE230を介して二次元コンボリューション演算部242に入力された画像データに対して、レジスタに格納されたデータに基づいてコンボリューション演算が行われ、演算され変換されたデータがカメラ信号処理部250に転送される(ST103)。
FIG. 21 is a flowchart of a switching process based on exposure information (including aperture information) of the
First, exposure information (RP) is detected and supplied to the convolution control unit 244 (ST101).
In the
The image data captured by the
以下に画像処理装置240の信号処理部とカーネルデータ格納ROMについてさらに具体的な例について説明する。
A more specific example of the signal processing unit and kernel data storage ROM of the
図22は、信号処理部とカーネルデータ格納ROMについての第1の構成例を示す図である。なお、簡単化のためにAFE等は省略している。
図22の例は露出情報に応じたフィルタカーネルを予め用意した場合のブロック図である。
FIG. 22 is a diagram illustrating a first configuration example of the signal processing unit and the kernel data storage ROM. For simplification, AFE and the like are omitted.
The example of FIG. 22 is a block diagram when a filter kernel corresponding to the exposure information is prepared in advance.
画像処理装置240が露出情報検出部253から露出設定時に決まる露出情報を取得し、コンボリューション制御部244を通じてカーネルデータを選択制御する。二次元コンボリューション演算部242においては、カーネルデータを用いてコンボリューション処理を施す。
The
図23は、信号処理部とカーネルデータ格納ROMについての第2の構成例を示す図である。なお、簡単化のためにAFE等は省略している。
図23の例は、画像処理装置240の最初にノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタ処理ST1を予め用意した場合のブロック図である。
FIG. 23 is a diagram illustrating a second configuration example of the signal processing unit and the kernel data storage ROM. For simplification, AFE and the like are omitted.
The example of FIG. 23 is a block diagram in the case where the
露出設定時に決まる露出情報を露出情報検出部253より取得し、コンボリューション制御部244を通じてカーネルデータを選択制御する。
二次元コンボリューション演算部242においては、前記ノイズ低減フィルタ処理1ST1を施した後、カラーコンバージョン処理ST2によって色空間を変換、その後カーネルデータを用いてコンボリューション処理(OTF復元フィルタ処理)ST3を施す。
再度ノイズ低減フィルタ処理2ST4を行い、カラーコンバージョン処理ST5によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、再度のノイズ処理ST4は省略することも可能である。
Exposure information determined at the time of exposure setting is acquired from the exposure
In the two-dimensional
The noise reduction filter process 2ST4 is performed again, and the original color space is restored by the color conversion process ST5. The color conversion process includes, for example, YCbCr conversion, but other conversions may be used.
Note that the second noise processing ST4 can be omitted.
図24は、信号処理部とカーネルデータ格納ROMについての第3の構成例を示す図である。なお、簡単化のためにAFE等は省略している。
図24の例は、露出情報に応じたOTF復元フィルタを予め用意した場合のブロック図である。
FIG. 24 is a diagram illustrating a third configuration example of the signal processing unit and the kernel data storage ROM. For simplification, AFE and the like are omitted.
The example of FIG. 24 is a block diagram when an OTF restoration filter corresponding to exposure information is prepared in advance.
露出設定時に決まる露出情報を露出情報検出部253より取得し、コンボリューション制御部244を通じてカーネルデータを選択制御する。
二次元コンボリューション演算部242は、ノイズ低減フィルタ処理1ST11、カラーコンバージョン処理ST12の後に、前記OTF復元フィルタを用いてコンボリューション処理ST13を施す。
再度ノイズ低減フィルタ処理2ST14を行い、カラーコンバージョン処理ST15によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減フィルタ処理ST11、ST14は、いずれか一方のみでもよい。
Exposure information determined at the time of exposure setting is acquired from the exposure
The two-dimensional
The noise reduction filter process 2ST14 is performed again, and the original color space is restored by the color conversion process ST15. The color conversion process includes, for example, YCbCr conversion, but other conversions may be used.
Note that only one of the noise reduction filter processes ST11 and ST14 may be used.
図25は、信号処理部とカーネルデータ格納ROMについての第4の構成例を示す図である。なお、簡単化のためにAFE等は省略している。
図25の例は、ノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタを予め用意した場合のブロック図である。
なお、再度のノイズ処理ST4は省略することも可能である。
露出設定時に決まる露出情報を露出情報検出部253より取得し、コンボリューション制御部244を通じてカーネルデータを選択制御する。
二次元コンボリューション演算部242においては、ノイズ低減フィルタ処理1ST21を施した後、カラーコンバージョン処理ST22によって色空間を変換、その後カーネルデータを用いてコンボリューション処理ST23を施す。
再度、露出情報に応じたノイズ低減フィルタ処理2ST24を行い、カラーコンバージョン処理ST25によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減フィルタ処理ST21は省略することも可能である。
FIG. 25 is a diagram illustrating a fourth configuration example of the signal processing unit and the kernel data storage ROM. For simplification, AFE and the like are omitted.
The example of FIG. 25 is a block diagram in the case where a noise reduction filter processing step is included and a noise reduction filter corresponding to exposure information is prepared in advance as filter kernel data.
Note that the second noise processing ST4 can be omitted.
Exposure information determined at the time of exposure setting is acquired from the exposure
In the two-dimensional
The noise reduction filter process 2ST24 corresponding to the exposure information is performed again, and the original color space is restored by the color conversion process ST25. The color conversion process includes, for example, YCbCr conversion, but other conversions may be used.
The noise reduction filter process ST21 can be omitted.
以上は露出情報のみに応じて二次元コンボリューション演算部242においてフィルタ処理を行う例を説明したが、たとえば被写体距離情報、ズーム情報、あるいは撮影モード情報と露出情報とを組み合わせることにより適した演算係数の抽出、あるいは演算を行うことが可能となる。
The example in which the filter processing is performed in the two-dimensional
図26は、被写体距離情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。 FIG. 26 is a diagram illustrating a configuration example of an image processing apparatus that combines subject distance information and exposure information.
撮像装置200Aは、図26に示すように、コンボリューション装置401、カーネル・数値演算係数格納レジスタ402、および画像処理演算プロセッサ403を有する。
As illustrated in FIG. 26, the
この撮像装置200Aにおいては、物体概略距離情報検出装置500から読み出した被写体の物体距離の概略距離に関する情報および露出情報を得た画像処理演算プロセッサ403では、その物体離位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル・数値演算係数格納レジスタ402に格納し、その値を用いて演算するコンボリューション装置401にて適正な演算を行い、画像を復元する。
本例においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出装置500により検出し、検出した距離に応じて異なる画像補正の処理を行うことにように構成されている。
In this
In this example, the distance to the main subject is detected by the object approximate distance
上記の画像処理はコンボリューション演算により行うが、これを実現するには、たとえばコンボリューション演算の演算係数を共通で1種類記憶しておき、焦点距離に応じて補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適正なコンボリューション演算を行う構成をとることができる。
この構成の他にも、以下の構成を採用することが可能である。
The above image processing is performed by convolution calculation. To realize this, for example, one type of convolution calculation coefficient is stored in common, and a correction coefficient is stored in advance according to the focal length, The correction coefficient is used to correct the calculation coefficient, and an appropriate convolution calculation can be performed using the corrected calculation coefficient.
In addition to this configuration, the following configuration can be employed.
焦点距離に応じて、カーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算を行う構成、焦点距離に応じた演算係数を関数として予め記憶しておき、焦点距離によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成等、を採用することが可能である。 The kernel size and the convolution calculation coefficient itself are stored in advance according to the focal length, the convolution calculation is performed using the stored kernel size and calculation coefficient, and the calculation coefficient according to the focal length is stored in advance as a function. In addition, it is possible to employ a configuration in which a calculation coefficient is obtained from this function based on the focal length and a convolution calculation is performed using the calculated calculation coefficient.
図26の構成に対応付けると次のような構成をとることができる。 Corresponding to the configuration of FIG. 26, the following configuration can be taken.
変換係数記憶手段としてのカーネル・数値演算係数格納レジスタ402に被写体距離に応じて少なくとも位相板に相当する樹脂レンズに起因する収差に対応した変換係数を少なくとも2以上予め記憶する。画像処理演算プロセッサ403が、被写体距離情報生成手段としての物体概略距離情報検出装置500により生成された情報に基づき、カーネル・数値演算係数格納レジスタ402から被写体までの距離に応じた変換係数を選択する係数選択手段として機能する。
そして、変換手段としてのコンボリューション装置401が、係数選択手段としての画像処理演算プロセッサ403で選択された変換係数によって、画像信号の変換を行う。
At least two or more conversion coefficients corresponding to the aberration caused by the resin lens corresponding to the phase plate are stored in advance in the kernel / numerical calculation
Then, the
または、前述したように、変換係数演算手段としての画像処理演算プロセッサ403が、被写体距離情報生成手段としての物体概略距離情報検出装置500により生成された情報に基づき変換係数を演算し、カーネル・数値演算係数格納レジスタ402に格納する。
そして、変換手段としてのコンボリューション装置401が、変換係数演算手段としての画像処理演算プロセッサ403で得られカーネル・数値演算係数格納レジスタ402に格納された変換係数によって、画像信号の変換を行う。
Alternatively, as described above, the image
Then, the
または、補正値記憶手段としてのカーネル・数値演算係数格納レジスタ402にズーム光学系210のズーム位置またはズーム量に応じた少なくとも1以上の補正値を予め記憶する。この補正値には、被写体収差像のカーネルサイズを含まれる。
そして、被写体距離情報生成手段としての物体概略距離情報検出装置500により生成された距離情報に基づき、補正値選択手段としての画像処理演算プロセッサ403が、補正値記憶手段としてのカーネル・数値演算係数格納レジスタ402から被写体までの距離に応じた補正値を選択する。
変換手段としてのコンボリューション装置401が、第2変換係数記憶手段としてのカーネル・数値演算係数格納レジスタ402から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ403により選択された補正値とに基づいて画像信号の変換を行う。
Alternatively, at least one correction value corresponding to the zoom position or zoom amount of the zoom
Then, based on the distance information generated by the object approximate distance
The
以上説明したように、本実施形態によれば、1次画像を形成する光学系210および撮像素子220と、1次画像を高精細な最終画像に形成する画像処理装置240とを含み、光学系210は、光波面変調素子の光波面変調面が光軸に対して回転対称な形状であり、かつ位相形状が中心部から周辺部にかけて単調増加もしくは単調減少するように形成されていることから、以下の効果を得ることができる。
光波面変調面を光軸に対して回転対称な形状とし、光波面変調素子を持たない一般的な光学系よりも球面収差を大きく発生させることにより、光波面変調素子を持たない一般的な光学系よりも物体距離に応じたOTFの変化を極めて小さくすることが可能となる。
As described above, according to the present embodiment, the
A general optical system that does not have a light wavefront modulation element by making the light wavefront modulation surface rotationally symmetric with respect to the optical axis and generating a larger spherical aberration than a general optical system that does not have a light wavefront modulation element. It becomes possible to make the change of OTF according to the object distance much smaller than that of the system.
また、中央部分から周辺部分にかけて、位相形状が単調増加もしくは単調減少するように形成することにより、物体距離に応じたOTFの変化を小さくする作用を持ちつつ、スポット像を小さくすることが可能となる。
また、本実施形態においては、光学系210全体の焦点距離に対して、光波面変調面の焦点距離を大きくすることで、画像の中心部から周辺部にかけて均一なOTFとすることが可能となる。
また、光学系210全体の焦点距離に対して、光波面変調面を備えた光波面変調素子(レンズ)の焦点距離を大きくすることで、画像の中心部から周辺部にかけて均一なOTFとすることが可能となる。
そして、光学系を簡単化でき、コスト低減を図ることができることはもとより、適切な画質の、ノイズの影響が小さい良好な復元画像を得ることが可能なことはもとより、製造が容易で、取り付け精度を必要とせず、反射の影響も抑止でき、画像の方向によりコントラストが異なることがない撮像装置を実現することができる。
In addition, by forming the phase shape so as to monotonously increase or decrease monotonously from the central portion to the peripheral portion, it is possible to reduce the spot image while having the effect of reducing the change in OTF according to the object distance. Become.
Further, in the present embodiment, it is possible to obtain a uniform OTF from the center portion to the peripheral portion of the image by increasing the focal length of the light wavefront modulation surface with respect to the focal length of the entire
Further, by increasing the focal length of the light wavefront modulation element (lens) having the light wavefront modulation surface with respect to the focal length of the entire
In addition to simplifying the optical system and reducing costs, it is possible to obtain a good restored image with appropriate image quality and low noise, as well as easy manufacturing and mounting accuracy. Therefore, it is possible to suppress the influence of reflection and to realize an imaging device in which the contrast does not vary depending on the image direction.
また、コンボリューション演算時に用いるカーネルサイズやその数値演算で用いられる係数を可変とし、図3に示す操作部280等の入力により知り、適性となるカーネルサイズや上述した係数を対応させることにより、倍率やディフォーカス範囲を気にすることなくレンズ設計ができ、かつ精度の高いコンボリュ−ションによる画像復元が可能となる利点がある。
また、難度が高く、高価でかつ大型化した光学レンズを必要とせずに、かつ、レンズを駆動させること無く、自然な画像を得ることができる利点がある。
そして、本実施形態に係る撮像装置200は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたDEOSの光学システムに使用することが可能である。
また、光学系210の構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。
In addition, the kernel size used in the convolution calculation and the coefficient used in the numerical calculation are made variable, know by the input of the operation unit 280 shown in FIG. There is an advantage that the lens can be designed without worrying about the defocus range and that the image can be restored by convolution with high accuracy.
Further, there is an advantage that a natural image can be obtained without requiring an optical lens that is difficult, expensive, and large in size, and without driving the lens.
The
Further, the configuration of the
ところで、CCDやCMOSセンサを撮像素子として用いた場合、画素ピッチから決まる解像力限界が存在し、光学系の解像力がその限界解像力以上であるとエリアジングのような現象が発生し、最終画像に悪影響を及ぼすことは周知の事実である。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。
By the way, when a CCD or CMOS sensor is used as an image sensor, there is a resolution limit determined by the pixel pitch, and if the resolution of the optical system exceeds the limit resolution, a phenomenon such as aliasing occurs, which adversely affects the final image. It is a well-known fact that
In order to improve image quality, it is desirable to increase the contrast as much as possible, but this requires a high-performance lens system.
しかし、上述したように、CCDやCMOSセンサを撮像素子として用いた場合、エリアジングが発生する。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。
このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用することは光学系をより複雑にしているという不利益がある。
However, as described above, aliasing occurs when a CCD or CMOS sensor is used as an image sensor.
Currently, in order to avoid the occurrence of aliasing, the imaging lens apparatus uses a low-pass filter made of a uniaxial crystal system to avoid the occurrence of aliasing.
The use of a low-pass filter in this way is correct in principle, but the low-pass filter itself is made of crystal, so it is expensive and difficult to manage. Moreover, there is a disadvantage that the use of the optical system makes the optical system more complicated.
以上のように、時代の趨勢でますます高精細の画質が求められているにもかかわらず、高精細な画像を形成するためには、従来の撮像レンズ装置では光学系を複雑にしなければならない。複雑にすれば、製造が困難になったりし、また高価なローパスフィルタを利用したりするとコストアップにつながる。
しかし、本実施形態によれば、ローパスフィルタを用いなくとも、エリアジングの現象の発生を避けることができ、高精細な画質を得ることができる。
As described above, in order to form a high-definition image, the optical system must be complicated in the conventional imaging lens apparatus in spite of the demand for higher-definition image due to the trend of the times. . If it is complicated, manufacturing becomes difficult, and if an expensive low-pass filter is used, the cost increases.
However, according to this embodiment, the occurrence of aliasing can be avoided without using a low-pass filter, and high-definition image quality can be obtained.
また、図18、図19、および図20のカーネルデータ格納ROMに関しても、光学倍率、Fナンバやそれぞれのカーネルのサイズ、物体距離の値に対して用いられるものとは限らない。また用意するカーネルデータの数についても3個とは限らない。 Also, the kernel data storage ROMs of FIGS. 18, 19, and 20 are not necessarily used for the values of optical magnification, F number, size of each kernel, and object distance. Also, the number of kernel data to be prepared is not limited to three.
200・・・撮像装置、210・・・光学系、211・・・第1レンズ、212・・・第2レンズ、213・・・第3レンズ、214・・・絞り、215・・・第4レンズ、220・・・撮像素子、230・・・アナログフロントエンド部(AFE)、240・・・画像処理装置、250・・・カメラ信号処理部、280・・・操作部、290・・・制御装置、242・・・二次元コンボリューション演算部、243・・・カーネルデータ格納ROM、244・・・コンボリューション制御部。
DESCRIPTION OF
Claims (6)
前記光学系を通過した被写体像を撮像する撮像素子と、を有し、
前記光学系は、
前記光波面変調素子の変調面が光軸に対して回転対称な形状であり、かつ前記光波面変調素子において光波面変調機能を持つ場合と持たない場合との形状の差分である位相形状が光軸中心部分から周辺部分に向かって単調増加もしくは単調減少となっている
撮像装置。 An optical system including a lens and a light wavefront modulation element;
An image sensor that images a subject image that has passed through the optical system,
The optical system is
The phase shape, which is the difference in shape between the case where the light wavefront modulation element has a light wavefront modulation function and the case where the light wavefront modulation element does not have a light wavefront modulation function, is a light wave shape. An imaging device that monotonously increases or decreases monotonously from the axial center toward the peripheral.
請求項1記載の撮像装置。 The imaging device according to claim 1, wherein a focal length of a modulation surface of the light wavefront modulation element is larger than an absolute value of a focal length of the entire optical system.
請求項1または2に記載の撮像装置。 The imaging apparatus according to claim 1, wherein a focal length of the light wavefront modulation element including the modulation surface is larger than an absolute value of a focal length of the entire optical system.
絞りを含み、当該絞りは前記光波面変調素子の近傍に配置されている
請求項1から3のいずれか一に記載の撮像装置。 The imaging apparatus according to claim 1, wherein the optical system includes a diaphragm, and the diaphragm is disposed in the vicinity of the light wavefront modulation element.
前記撮像素子からの被写体分散画像信号より分散のない画像信号を生成する画像処理部を有する
請求項1から4のいずれか一に記載の撮像装置。 A subject dispersion image is formed by the light wavefront modulation element,
The imaging apparatus according to claim 1, further comprising: an image processing unit that generates an image signal having no dispersion from a subject dispersion image signal from the imaging element.
レンズと光波面変調素子を含む光学系と、
前記光学系を通過した被写体像を撮像する撮像素子と、を有し、
前記光学系は、
前記光波面変調素子の変調面が光軸に対して回転対称な形状であり、かつ位相形状が光軸中心部分から周辺部分に向かって単調増加もしくは単調減少となっている
情報コード読取装置。 An information code reader for optically reading an information code,
An optical system including a lens and a light wavefront modulation element;
An image sensor that images a subject image that has passed through the optical system,
The optical system is
The information code reading device, wherein the modulation surface of the light wavefront modulation element has a rotationally symmetric shape with respect to the optical axis, and the phase shape monotonously increases or decreases monotonously from the optical axis central portion toward the peripheral portion.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007309543A JP2009134023A (en) | 2007-11-29 | 2007-11-29 | Imaging device and information code reading device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007309543A JP2009134023A (en) | 2007-11-29 | 2007-11-29 | Imaging device and information code reading device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009134023A true JP2009134023A (en) | 2009-06-18 |
Family
ID=40865951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007309543A Pending JP2009134023A (en) | 2007-11-29 | 2007-11-29 | Imaging device and information code reading device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009134023A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011052770A1 (en) | 2009-10-30 | 2011-05-05 | 株式会社オプトエレクトロニクス | Optical information reader |
JP2013518474A (en) * | 2010-01-22 | 2013-05-20 | ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク | System, method, and media for recording an image using an optical diffuser |
JP2014515206A (en) * | 2011-03-22 | 2014-06-26 | コーニンクレッカ フィリップス エヌ ヴェ | Camera system having camera, camera, method of operating camera, and method of analyzing recorded image |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS581402B2 (en) * | 1974-05-04 | 1983-01-11 | ミノルタ株式会社 | Tenzokiyoudobumpu no kahenna kogakukei |
WO2006041219A2 (en) * | 2004-10-15 | 2006-04-20 | Matsushita Electric Industrial Co., Ltd. | Enhancement of an image acquired with a multifocal lens |
JP2006309000A (en) * | 2005-04-28 | 2006-11-09 | Ricoh Co Ltd | Imaging optical system and imaging apparatus |
-
2007
- 2007-11-29 JP JP2007309543A patent/JP2009134023A/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS581402B2 (en) * | 1974-05-04 | 1983-01-11 | ミノルタ株式会社 | Tenzokiyoudobumpu no kahenna kogakukei |
WO2006041219A2 (en) * | 2004-10-15 | 2006-04-20 | Matsushita Electric Industrial Co., Ltd. | Enhancement of an image acquired with a multifocal lens |
JP2006309000A (en) * | 2005-04-28 | 2006-11-09 | Ricoh Co Ltd | Imaging optical system and imaging apparatus |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011052770A1 (en) | 2009-10-30 | 2011-05-05 | 株式会社オプトエレクトロニクス | Optical information reader |
US8439266B2 (en) | 2009-10-30 | 2013-05-14 | Optoelectronics Co. Ltd. | Optical-information-reading apparatus |
JP2013518474A (en) * | 2010-01-22 | 2013-05-20 | ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク | System, method, and media for recording an image using an optical diffuser |
JP2014222893A (en) * | 2010-01-22 | 2014-11-27 | ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク | System, method, and medium for recording image using optical diffuser |
US9407833B2 (en) | 2010-01-22 | 2016-08-02 | The Trustees Of Columbia University In The City Of New York | Systems, methods, and media for recording an image using an optical diffuser |
JP2014515206A (en) * | 2011-03-22 | 2014-06-26 | コーニンクレッカ フィリップス エヌ ヴェ | Camera system having camera, camera, method of operating camera, and method of analyzing recorded image |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4712631B2 (en) | Imaging device | |
JP4663737B2 (en) | Imaging apparatus and image processing method thereof | |
US8462213B2 (en) | Optical system, image pickup apparatus and information code reading device | |
JP4818957B2 (en) | Imaging apparatus and method thereof | |
JP2008268937A (en) | Imaging device and imaging method | |
JP2007322560A (en) | Imaging apparatus, and apparatus and method of manufacturing the same | |
JP2008048293A (en) | Imaging device and method for manufacturing same | |
JP2008017157A (en) | Imaging device, and its manufacturing device and method | |
JP2007300208A (en) | Imaging apparatus | |
JP2008085387A (en) | Imaging apparatus, and its manufacturing device and manufacturing method | |
JPWO2009069752A1 (en) | Imaging apparatus and electronic apparatus | |
JP2007206738A (en) | Imaging device and method | |
JP4658162B2 (en) | Imaging apparatus and electronic apparatus | |
JP2008245266A (en) | Imaging apparatus and method | |
JP2006311473A (en) | Imaging device and imaging method | |
JP2009086017A (en) | Imaging device and imaging method | |
JP4818956B2 (en) | Imaging apparatus and method thereof | |
JP2009134023A (en) | Imaging device and information code reading device | |
JP2008245265A (en) | Imaging apparatus and its manufacturing apparatus and method | |
JP5479123B2 (en) | Imaging apparatus and electronic apparatus | |
JP2009008935A (en) | Imaging apparatus | |
JP2008167040A (en) | Imaging apparatus, manufacturing apparatus and manufacturing method therefor, and information code reader | |
JP4722748B2 (en) | Imaging apparatus and image generation method thereof | |
JP2009010783A (en) | Imaging apparatus | |
JP5809387B2 (en) | Imaging apparatus and electronic apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101027 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120608 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120710 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120907 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20121009 |