JP2006094469A - Imaging device and imaging method - Google Patents
Imaging device and imaging method Download PDFInfo
- Publication number
- JP2006094469A JP2006094469A JP2005217800A JP2005217800A JP2006094469A JP 2006094469 A JP2006094469 A JP 2006094469A JP 2005217800 A JP2005217800 A JP 2005217800A JP 2005217800 A JP2005217800 A JP 2005217800A JP 2006094469 A JP2006094469 A JP 2006094469A
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- subject
- image signal
- conversion coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、撮像素子を用い、光学系、光波面変調素子(位相板)を備えたデジタルスチルカメラや携帯電話搭載カメラ、携帯情報端末搭載カメラ等の撮像装置およびその方法に関するものである。 The present invention relates to an imaging apparatus such as a digital still camera, a camera mounted on a mobile phone, a camera mounted on a portable information terminal, and the like using an imaging element and including an optical system and a light wavefront modulation element (phase plate).
近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもその対応が著しい。
特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに変わって固体撮像素子であるCCD(Charge Coupled Device),CMOS(Complementary Metal Oxide Semiconductor)センサが使用されているのが大半である。
In response to the digitization of information, which has been rapidly developing in recent years, the response in the video field is also remarkable.
In particular, as symbolized by a digital camera, a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor) sensor, which is a solid-state image sensor, is used in most cases instead of a conventional film.
このように、撮像素子にCCDやCMOSセンサを使った撮像レンズ装置は、被写体の映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出するものであり、デジタルスチルカメラの他、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、携帯情報端末(PDA:Personal DigitalAssistant)等に用いられている。 As described above, an imaging lens device using a CCD or CMOS sensor as an imaging element is for taking an image of a subject optically by an optical system and extracting it as an electrical signal by the imaging element. In addition to a digital still camera, It is used for a video camera, a digital video unit, a personal computer, a mobile phone, a personal digital assistant (PDA) and the like.
図14は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
この撮像レンズ装置1は、光学系2とCCDやCMOSセンサ等の撮像素子3とを有する。
光学系は、物体側レンズ21,22、絞り23、および結像レンズ24を物体側(OBJS)から撮像素子3側に向かって順に配置されている。
FIG. 14 is a diagram schematically illustrating a configuration and a light flux state of a general imaging lens device.
The
In the optical system, the
撮像レンズ装置1においては、図14に示すように、ベストフォーカス面を撮像素子面上に合致させている。
図15(A)〜(C)は、撮像レンズ装置1の撮像素子3の受光面でのスポット像を示している。
In the
FIGS. 15A to 15C show spot images on the light receiving surface of the imaging element 3 of the
また、位相板(Wavefront Coding optical element)により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする等の撮像装置が提案されている(たとえば非特許文献1,2、特許文献1〜5参照)。
上述した各文献にて提案された撮像装置においては、その全ては通常光学系に上述の位相板を挿入した場合のPSF(Point−Spread−Function)が一定になっていることが前提であり、PSFが変化した場合は、その後のカーネルを用いたコンボリューションにより、被写界深度の深い画像を実現することは極めて難しい。
したがって、単焦点でのレンズであっても、その物体距離によってそのスポット像が変化する通常の光学系では、一定の(変化しない)PSFは実現できず、それを解決するには、レンズの光学設計の精度の高さやそれに伴うコストアップが原因となり採用するには大きな問題を抱えている。
In the imaging devices proposed in the above-mentioned documents, all of them are based on the assumption that the PSF (Point-Spread-Function) when the above-described phase plate is inserted into a normal optical system is constant, When the PSF changes, it is extremely difficult to realize an image with a deep depth of field by convolution using a subsequent kernel.
Therefore, even with a single focal point lens, a regular (non-changing) PSF cannot be realized with a normal optical system in which the spot image changes depending on the object distance. There is a big problem in adopting due to the high accuracy of design and the accompanying cost increase.
本発明の目的は、光学系を簡単化でき、コスト低減を図ることができ、物体距離やデフォーカス範囲を気にすることなく、レンズ設計を行うことができ、かつ精度の高い演算による画像復元が可能な撮像装置およびその方法を提供することにある。 An object of the present invention is to simplify an optical system, reduce costs, perform lens design without worrying about an object distance and a defocus range, and perform image restoration by highly accurate calculation. It is an object of the present invention to provide an imaging apparatus and method capable of performing the above.
上記目的を達成するため、本発明の第1の観点の撮像装置は、少なくとも光学系および光波面変調素子とを通過した被写体分散像を撮像する撮像素子と、上記撮像素子からの分散画像信号より分散のない画像信号を生成する変換手段と、被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、を備え、上記変換手段は、上記被写体距離情報生成手段により生成される情報に基づいて上記分散画像信号より分散のない画像信号を生成する。 In order to achieve the above object, an image pickup apparatus according to a first aspect of the present invention includes an image pickup element that picks up a subject dispersion image that has passed through at least an optical system and a light wavefront modulation element, and a distributed image signal from the image pickup element. Conversion means for generating a non-dispersed image signal, and subject distance information generation means for generating information corresponding to the distance to the subject, wherein the conversion means includes information generated by the subject distance information generation means. Based on this, a non-dispersed image signal is generated from the dispersed image signal.
好適には、被写体距離に応じて少なくとも上記光波面変調素子に起因する分散に対応した変換係数を少なくとも2以上予め記憶する変換係数記憶手段と、上記被写体距離情報生成手段により生成された情報に基づき、上記変換係数記憶手段から被写体までの距離に応じた変換係数を選択する係数選択手段と、を備え、上記変換手段は、上記係数選択手段で選択された変換係数によって、画像信号の変換を行う。 Preferably, at least two conversion coefficients corresponding to dispersion caused by the light wavefront modulation element according to the subject distance are stored in advance, and based on information generated by the subject distance information generation unit. Coefficient conversion means for selecting a conversion coefficient corresponding to the distance from the conversion coefficient storage means to the subject, and the conversion means converts the image signal by the conversion coefficient selected by the coefficient selection means. .
好適には、上記被写体距離情報生成手段により生成された情報に基づき変換係数を演算する変換係数演算手段、を備え、上記変換手段は、上記変換係数演算手段から得られた変換係数によって、画像信号の変換を行う。 Preferably, the image processing apparatus includes conversion coefficient calculation means for calculating a conversion coefficient based on the information generated by the subject distance information generation means, and the conversion means uses the conversion coefficient obtained from the conversion coefficient calculation means to generate an image signal. Perform the conversion.
好適には、上記光学系はズーム光学系を含み、上記ズーム光学系のズーム位置またはズーム量に応じた少なくとも1以上の補正値を予め記憶する補正値記憶手段と、少なくとも上記光波面変調素子に起因する分散に対応した変換係数を予め記憶する第2変換係数記憶手段と、上記被写体距離情報生成手段により生成された情報に基づき、上記補正値記憶手段から被写体までの距離に応じた補正値を選択する補正値選択手段と、を備え、上記変換手段は、上記第2変換係数記憶手段から得られた変換係数と、上記補正値選択手段から選択された上記補正値とによって、画像信号の変換を行う。 Preferably, the optical system includes a zoom optical system, at least one correction value storage means for storing in advance at least one correction value corresponding to the zoom position or zoom amount of the zoom optical system, and at least the light wavefront modulation element. Based on the information generated by the second conversion coefficient storage means that stores in advance the conversion coefficient corresponding to the resulting variance and the subject distance information generation means, a correction value corresponding to the distance from the correction value storage means to the subject is obtained. Correction value selection means for selecting, and the conversion means converts an image signal based on the conversion coefficient obtained from the second conversion coefficient storage means and the correction value selected from the correction value selection means. I do.
好適には、上記補正値記憶手段で記憶する補正値が上記被写体分散像のカーネルサイズを含む。 Preferably, the correction value stored in the correction value storage means includes the kernel size of the subject dispersion image.
本発明の第2の観点の撮像方法は、少なくとも光学系および光波面変調素子とを通過した被写体分散像を撮像素子で撮像するステップと、被写体までの距離に相当する情報を生成する被写体距離情報生成ステップと、上記被写体距離情報生成ステップにより生成される情報に基づいて上記分散画像信号を変換して分散のない画像信号を生成するステップとを有する。 An imaging method according to a second aspect of the present invention includes a step of imaging a subject dispersion image that has passed through at least an optical system and a light wavefront modulation element, and subject distance information for generating information corresponding to a distance to the subject. A generating step, and a step of converting the dispersed image signal based on the information generated by the subject distance information generating step to generate an image signal having no dispersion.
本発明によれば、物体距離やデフォーカス範囲を気にすることなく、レンズ設計を行うことができ、かつ精度の良いコンボリューション等の演算による画像復元が可能となる利点がある。
また、本発明によれば、光学系を簡単化でき、コスト低減を図ることができる。
According to the present invention, there is an advantage that lens design can be performed without worrying about an object distance and a defocus range, and that an image can be restored by calculation such as accurate convolution.
Further, according to the present invention, the optical system can be simplified and the cost can be reduced.
以下、本発明の実施形態を添付図面に関連付けて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
図1は、本発明に係る撮像装置の一実施形態を示すブロック構成図である。 FIG. 1 is a block diagram illustrating an embodiment of an imaging apparatus according to the present invention.
本実施形態に係る撮像装置100は、ズーム光学系を有する撮像レンズ装置200と画像処理装置300と物体概略距離情報検出装置400とを主構成要素として有している。
The
撮像レンズ装置200は、撮像対象物体(被写体)OBJの映像を光学的に取り込むズーム光学系210と、ズーム光学系210で取り込んだ像が結像され、結像1次画像情報を電気信号の1次画像信号FIMとして画像処理装置300に出力するCCDやCMOSセンサからなる撮像素子220とを有する。図1においては、撮像素子220を一例としてCCDとして記載している。
The
図2は、本実施形態に係るズーム光学系210の光学系の構成例を模式的に示す図である。
FIG. 2 is a diagram schematically illustrating a configuration example of the optical system of the zoom
図2のズーム光学系210は、物体側OBJSに配置された物体側レンズ211と、撮像素子220に結像させるための結像レンズ212と、物体側レンズ211と結像レンズ212間に配置され、結像レンズ212による撮像素子220の受光面への結像の波面を変形させる、たとえば3次元的曲面を有する位相板(Cubic Phase Plate)からなる光波面変調素子(波面形成用光学素子:Wavefront Coding Optical Element)群213を有する。また、物体側レンズ211と結像レンズ212間には図示しない絞りが配置される。
なお、本実施形態においては、位相板を用いた場合について説明したが、本発明の光波面変調素子としては、波面を変形させるものであればどのようなものでもよく、厚みが変化する光学素子(たとえば、上述の3次の位相板)、屈折率が変化する光学素子(たとえば屈折率分布型波面変調レンズ)、レンズ表面へのコーディングにより厚み、屈折率が変化する光学素子(たとえば、波面変調ハイブリッドレンズ)、光の位相分布を変調可能な液晶素子(たとえば、液晶空間位相変調素子)等の光波面変調素子であればよい。
The zoom
In the present embodiment, the case where the phase plate is used has been described. However, the optical wavefront modulation element of the present invention may be any element that deforms the wavefront, and an optical element whose thickness changes. (For example, the above-described third-order phase plate), an optical element whose refractive index changes (for example, a gradient index wavefront modulation lens), an optical element whose thickness and refractive index change by coding on the lens surface (for example, wavefront modulation) A light wavefront modulation element such as a hybrid lens) or a liquid crystal element capable of modulating the phase distribution of light (for example, a liquid crystal spatial phase modulation element) may be used.
図2のズーム光学系210は、デジタルカメラに用いられる3倍ズームに光学位相板213aを挿入した例である。
図で示された位相板213aは、光学系により収束される光束を規則正しく分光する光学レンズである。この位相板を挿入することにより、撮像素子220上ではピントのどこにも合わない画像を実現する。
換言すれば、位相板213aによって深度の深い光束(像形成の中心的役割を成す)とフレアー(ボケ部分)を形成している。
この規則的に分光した画像をデジタル処理により、ピントの合った画像に復元する手段を波面収差制御光学系システム(WFCO:Wavefront Coding Optical system)といい、この処理を画像処理装置300において行う。
The zoom
The
In other words, the
Means for restoring the regularly dispersed image to a focused image by digital processing is called a wavefront aberration controlling optical system (WFCO), and this processing is performed in the
図3は、位相板を含まないズーム光学系210の無限側のスポット像を示す図である。図4は、位相板を含まないズーム光学系210の至近側のスポット像を示す図である。図5は、位相板を含むズーム光学系210の無限側のスポット像を示す図である。図6は、位相板を含むズーム光学系210の至近側のスポット像を示す図である。
FIG. 3 is a diagram showing a spot image on the infinite side of the zoom
基本的に、位相板を含まない光学レンズ系を通った光のスポット像は図3および図4に示されるように、その物体距離が至近側にある場合と無限側にある場合では、異なったスポット像を示す。
このように、物体距離で異なるスポット像を持つ光学系においては、後で説明するH関数が異なる。
当然、図5および図6に示すように、このスポット像に影響される位相板を通したスポット像もその物体距離が至近側と無限側では異なったスポット像となる。
Basically, the spot image of the light passing through the optical lens system not including the phase plate is different depending on whether the object distance is on the close side or on the infinite side, as shown in FIGS. A spot image is shown.
As described above, in an optical system having spot images different in object distance, the H function described later is different.
Naturally, as shown in FIGS. 5 and 6, the spot image passing through the phase plate influenced by the spot image also becomes a different spot image on the near side and the infinite side.
このような、物体位置で異なるスポット像を持つ光学系においては、従来の装置では適正なコンボリューション演算を行うことができず、このスポット像のズレを引き起こす非点、コマ収差、球面収差等の各収差を無くす光学設計が要求される。しかしながら、これらの収差を無くす光学設計は光学設計の難易度を増し、設計工数の増大、コスト増大、レンズの大型化の問題を引き起こす。
そこで、本実施形態においては、図1に示すように、撮像装置(カメラ)100が撮影状態に入った時点で、その被写体の物体距離の概略距離を物体概略距離情報検出装置400から読み出し、画像処理装置300に供給する。
In such an optical system having different spot images at the object position, the conventional apparatus cannot perform an appropriate convolution operation, and astigmatism, coma aberration, spherical aberration, etc. that cause this spot image shift. An optical design that eliminates each aberration is required. However, the optical design that eliminates these aberrations increases the difficulty of optical design, causing problems such as an increase in design man-hours, an increase in cost, and an increase in the size of the lens.
Therefore, in the present embodiment, as shown in FIG. 1, when the imaging apparatus (camera) 100 enters the shooting state, the approximate distance of the object distance of the subject is read from the object approximate distance
画像処理装置300は、物体概略距離情報検出装置400から読み出した被写体の物体距離の概略距離情報に基づいて、撮像素子220からの分散画像信号より分散のない画像信号を生成する。
物体概略距離情報検出装置400は、外部アクティブのようなAFセンサでも構わない。
The
The object approximate distance
なお、本実施形態において、分散とは、上述したように、位相板213aを挿入することにより、撮像素子220上ではピントのどこにも合わない画像を形成し、位相板213aによって深度の深い光束(像形成の中心的役割を成す)とフレアー(ボケ部分)を形成する現象をいい、像が分散してボケ部分を形成する振る舞いから収差と同様の意味合いが含まれる。したがって、本実施形態においては、収差として説明する場合もある。
In the present embodiment, as described above, dispersion means that, by inserting the
図7は、撮像素子220からの分散画像信号より分散のない画像信号を生成するが画像処理装置300の構成例を示すブロック図である。
FIG. 7 is a block diagram illustrating a configuration example of the
画像処理装置300は、図7に示すように、コンボリューション装置301、カーネル・数値演算係数格納レジスタ302、および画像処理演算プロセッサ303を有する。
As illustrated in FIG. 7, the
この画像処理装置300においては、物体概略距離情報検出装置400から読み出した被写体の物体距離の概略距離に関する情報を得た画像処理演算プロセッサ303では、その物体離位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル、数値算係数格納レジスタ302に格納し、その値を用いて演算するコンボリューション装置301にて適正な演算を行い、画像を復元する。
In this
ここで、WFCOの基本原理について説明する。
図8に示すように、被写体の画像fがWFCO光学系Hに入ることにより、g画像が生成される。
これは、次のような式で表すことができる。
Here, the basic principle of WFCO will be described.
As shown in FIG. 8, when the subject image f enters the WFCO optical system H, a g image is generated.
This can be expressed by the following equation.
(数1)
g=H*f
ここで、*はコンボリューションを表す。
(Equation 1)
g = H * f
Here, * represents convolution.
生成された、画像から被写体を求めるためには、次の処理を要する。 In order to obtain a subject from the generated image, the following processing is required.
(数2)
f=H-1*g
(Equation 2)
f = H -1 * g
ここで、関数Hに関するカーネルサイズと演算係数について説明する。
個々の物体概略距離をAFPn、AFPn−1、・・・とし、個々のズームポジション(ズーム位置)をZpn、Zpn−1・・・とする。
そのH関数をHn、Hn−1、・・・・とする。
各々のスポットが異なるため、各々のH関数は、次のようになる。
Here, the kernel size and calculation coefficient regarding the function H will be described.
The individual object approximate distances are AFPn, AFPn-1,..., And the individual zoom positions (zoom positions) are Zpn, Zpn-1,.
The H function is defined as Hn, Hn-1,.
Since each spot is different, each H function is as follows.
この行列の行数および/または列数の違いをカーネイレサイズ、各々の数字を演算係数とする。 The difference in the number of rows and / or the number of columns in this matrix is the Carney size, and each number is the calculation coefficient.
上述のように、光波面変調素子としての位相板(Wavefront Coding optical element)を備えた撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
本実施形態においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出装置400により検出し、検出した距離に応じて異なる画像補正の処理を行うことにように構成されている。
As described above, in the case of an imaging device including a phase plate (Wavefront Coding optical element) as an optical wavefront modulation element, an image signal without proper aberrations by image processing within the predetermined focal length range However, if it is outside the predetermined focal length range, there is a limit to the correction of the image processing, so that only an object outside the above range has an image signal with aberration.
On the other hand, by performing image processing in which no aberration occurs within a predetermined narrow range, it is possible to bring out a blur to an image outside the predetermined narrow range.
In this embodiment, the distance to the main subject is detected by the object approximate distance
上記の画像処理はコンボリューション演算により行うが、これを実現するには、たとえばコンボリューション演算の演算係数を共通で1種類記憶しておき、焦点距離に応じて補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適性なコンボリューション演算を行う構成をとることができる。
この構成の他にも、以下の構成を採用することが可能である。
The above image processing is performed by convolution calculation. To realize this, for example, one type of convolution calculation coefficient is stored in common, and a correction coefficient is stored in advance according to the focal length, The correction coefficient is used to correct the calculation coefficient, and an appropriate convolution calculation can be performed using the corrected calculation coefficient.
In addition to this configuration, the following configuration can be employed.
焦点距離に応じて、カーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算を行う構成、焦点距離に応じた演算係数を関数として予め記憶しておき、焦点距離によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成等、を採用することが可能である。 The kernel size and the convolution calculation coefficient itself are stored in advance according to the focal length, the convolution calculation is performed using the stored kernel size and calculation coefficient, and the calculation coefficient according to the focal length is stored in advance as a function. In addition, it is possible to employ a configuration in which a calculation coefficient is obtained from this function based on the focal length and a convolution calculation is performed using the calculated calculation coefficient.
図7の構成に対応付けると次のような構成をとることができる。 When associated with the configuration of FIG. 7, the following configuration can be adopted.
変換係数記憶手段としてのレジスタ302に被写体距離に応じて少なくとも位相板213aに起因する収差に対応した変換係数を少なくとも2以上予め記憶する。画像処理演算プロセッサ303が、被写体距離情報生成手段としての物体概略距離情報検出装置400により生成された情報に基づき、レジスタ302から被写体までの距離に応じた変換係数を選択する係数選択手段として機能する。
そして、変換手段としてのコンボリューション装置301が、係数選択手段としての画像処理演算プロセッサ303で選択された変換係数によって、画像信号の変換を行う。
At least two or more conversion coefficients corresponding to the aberration caused by the
Then, a
または、前述したように、変換係数演算手段としての画像処理演算プロセッサ303が、被写体距離情報生成手段としての物体概略距離情報検出装置400により生成された情報に基づき変換係数を演算し、レジスタ302に格納する。
そして、変換手段としてのコンボリューション装置301が、変換係数演算手段としての画像処理演算プロセッサ303で得られレジスタ302に格納された変換係数によって、画像信号の変換を行う。
Alternatively, as described above, the image
Then, a
または、補正値記憶手段としてのレジスタ302にズーム光学系210のズーム位置またはズーム量に応じた少なくとも1以上の補正値を予め記憶する。この補正値には、被写体収差像のカーネルサイズを含まれる。
第2変換係数記憶手段としても機能するレジスタ302に、位相板213aに起因する収差に対応した変換係数を予め記憶する。
そして、被写体距離情報生成手段としての物体概略距離情報検出装置400により生成された距離情報に基づき、補正値選択手段としての画像処理演算プロセッサ303が、補正値記憶手段としてのレジスタ302から被写体までの距離に応じた補正値を選択する。
変換手段としてのコンボリューション装置301が、第2変換係数記憶手段としてのレジスタ302から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ303により選択された補正値とに基づいて画像信号の変換を行う。
Alternatively, at least one correction value corresponding to the zoom position or zoom amount of the zoom
A conversion coefficient corresponding to the aberration caused by the
Then, based on the distance information generated by the object approximate distance
The
次に、画像処理演算プロセッサ303が変換係数演算手段として機能する場合の具体的な処理について、図9のフローチャートに関連付けて説明する。
Next, specific processing when the image
物体概略距離情報検出装置400において、物体概略距離(AFP)が検出され、検出情報が画像処理演算プロセッサ303に供給される(ST1)。
画像処理演算プロセッサ303においては、物体概略距離AFPがnであるか否かの判定を行う(ST2)。
ステップST1において、物体概略距離AFPがnであると判定すると、AFP=nのカーネルサイズ、演算係数を求めてレジスタに格納する(ST3)。
In the approximate object distance
The image
If it is determined in step ST1 that the object approximate distance AFP is n, the kernel size and calculation coefficient of AFP = n are obtained and stored in the register (ST3).
ステップST2において、物体概略距離AFPがnでないと判定すると、物体概略距離AFPがn−1であるか否かの判定を行う(ST4)。
ステップST4において、物体概略距離AFPがn−1であると判定すると、AFP=n−1のカーネルサイズ、演算係数を求めてレジスタに格納する(ST5)。
以下、性能的に分割しなければならない物体概略距離AFPの数だけステップST2ST4の判断処理を行い、カーネルサイズ、演算係数をレジスタに格納する。
If it is determined in step ST2 that the approximate object distance AFP is not n, it is determined whether or not the approximate object distance AFP is n-1 (ST4).
If it is determined in step ST4 that the approximate object distance AFP is n-1, the kernel size and calculation coefficient of AFP = n-1 are obtained and stored in the register (ST5).
Thereafter, the determination process of step ST2ST4 is performed by the number of the object approximate distances AFP that must be divided in terms of performance, and the kernel size and calculation coefficient are stored in the register.
画像処理演算プロセッサ303においては、カーネル、数値演算係数格納レジスタ302に設定値が転送される(ST6)。
そして、撮像レンズ装置200で撮像され、コンボリューション装置301に入力された画像データに対して、レジスタ302に格納されたデータに基づいてコンボリューション演算が行われ、演算され変換されたデータS302が画像処理演算プロセッサ303に転送される。
In the image
Then, a convolution operation is performed on the image data captured by the
本実施形態においては、WFCOを採用し、高精細な画質を得ることが可能で、しかも、光学系を簡単化でき、コスト低減を図ることが可能となっている。
以下、この特徴について説明する。
In the present embodiment, WFCO is employed to obtain high-definition image quality, and the optical system can be simplified and the cost can be reduced.
Hereinafter, this feature will be described.
図10(A)〜(C)は、撮像レンズ装置200の撮像素子220の受光面でのスポット像を示している。
図10(A)は焦点が0.2mmずれた場合(Defocus=0.2mm)、図10(B)が合焦点の場合(Best focus)、図10(C)が焦点が−0.2mmずれた場合(Defocus=−0.2mm)の各スポット像を示している。
図10(A)〜(C)からもわかるように、本実施形態に係る撮像レンズ装置200においては、位相板213aを含む波面形成用光学素子群213によって深度の深い光束(像形成の中心的役割を成す)とフレアー(ボケ部分)が形成される。
10A to 10C show spot images on the light receiving surface of the
10A shows a case where the focal point is shifted by 0.2 mm (Defocus = 0.2 mm), FIG. 10B shows a case where the focal point is a focal point (Best focus), and FIG. 10C shows a case where the focal point is shifted by −0.2 mm. In this case, each spot image is shown (Defocus = −0.2 mm).
As can be seen from FIGS. 10A to 10C, in the
このように、本実施形態の撮像レンズ装置200において形成された1次画像FIMは、深度が非常に深い光束条件にしている。
As described above, the primary image FIM formed in the
図11(A),(B)は、本実施形態に係る撮像レンズ装置により形成される1次画像の変調伝達関数(MTF:Modulation Transfer Function)について説明するための図であって、図11(A)は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、図11(B)が空間周波数に対するMTF特性を示している。
本実施形態においては、高精細な最終画像は後段の、たとえばデジタルシグナルプロセッサ(Digital Signal Processor)からなる画像処理装置300の補正処理に任せるため、図11(A),(B)に示すように、1次画像のMTFは本質的に低い値になっている。
FIGS. 11A and 11B are diagrams for explaining a modulation transfer function (MTF) of a primary image formed by the imaging lens device according to the present embodiment. FIG. 11A is a diagram showing a spot image on the light receiving surface of the imaging element of the imaging lens device, and FIG. 11B shows the MTF characteristics with respect to the spatial frequency.
In the present embodiment, the high-definition final image is left to the correction processing of the
画像処理装置300は、たとえばDSPにより構成され、上述したように、撮像レンズ装置200による1次画像FIMを受けて、1次画像の空間周波数におけるMTFをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像FNLIMを形成する。
The
画像処理装置300のMTF補正処理は、たとえば図12の曲線Aで示すように、本質的に低い値になっている1次画像のMTFを、空間周波数をパラメータとしてエッジ強調、クロマ強調等の後処理にて、図12中曲線Bで示す特性に近づく(達する)ような補正を行う。
図12中曲線Bで示す特性は、たとえば本実施形態のように、波面形成用光学素子を用いずに波面を変形させない場合に得られる特性である。
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。
The MTF correction processing of the
The characteristic indicated by the curve B in FIG. 12 is a characteristic obtained when the wavefront is not deformed without using the wavefront forming optical element as in the present embodiment, for example.
It should be noted that all corrections in the present embodiment are based on spatial frequency parameters.
本実施形態においては、図12に示すように、光学的に得られる空間周波数に対するMTF特性曲線Aに対して、最終的に実現したいMTF特性曲線Bを達成するためには、それぞれの空間周波数に対し、エッジ強調等の強弱を付け、元の画像(1次画像)に対して補正をかける。
たとえば、図12のMTF特性の場合、空間周波数に対するエッジ強調の曲線は、図13に示すようになる。
In this embodiment, as shown in FIG. 12, in order to achieve the MTF characteristic curve B to be finally realized with respect to the MTF characteristic curve A with respect to the optically obtained spatial frequency, each spatial frequency is changed to each spatial frequency. On the other hand, the original image (primary image) is corrected by applying strength such as edge enhancement.
For example, in the case of the MTF characteristic of FIG. 12, the curve of edge enhancement with respect to the spatial frequency is as shown in FIG.
すなわち、空間周波数の所定帯域内における低周波数側および高周波数側でエッジ強調を弱くし、中間周波数領域においてエッジ強調を強くして補正を行うことにより、所望のMTF特性曲線Bを仮想的に実現する。 That is, a desired MTF characteristic curve B is virtually realized by performing correction by weakening edge enhancement on the low frequency side and high frequency side within a predetermined spatial frequency band and strengthening edge enhancement in the intermediate frequency region. To do.
このように、実施形態に係る撮像装置100は、1次画像を形成する光学系210を含む撮像レンズ装置200と、1次画像を高精細な最終画像に形成する画像処理装置300からなり、光学系システムの中に、波面成形用の光学素子を新たに設けるか、またはガラス、プラスチックなどのような光学素子の面を波面成形用に成形したものを設けることにより、結像の波面を変形し、そのような波面をCCDやCMOSセンサからなる撮像素子220の撮像面(受光面)に結像させ、その結像1次画像を、画像処理装置300を通して高精細画像を得る画像形成システムである。
本実施形態では、撮像レンズ装置200による1次画像は深度が非常に深い光束条件にしている。そのために、1次画像のMTFは本質的に低い値になっており、そのMTFの補正を画像処理装置300で行う。
As described above, the
In the present embodiment, the primary image obtained by the
ここで、本実施形態における撮像レンズ装置200における結像のプロセスを、波動光学的に考察する。
物点の1点から発散された球面波は結像光学系を通過後、収斂波となる。そのとき、結像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な形状となる。幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便利である。
結像面における波動光学的MTFを扱うとき、結像光学系の射出瞳位置における波面情報が重要となる。
MTFの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。その波動光学的強度分布は波動光学的振幅分布を2乗して得られるが、その波動光学的振幅分布は射出瞳における瞳関数のフーリエ変換から求まる。
さらにその瞳関数はまさに射出瞳位置における波面情報(波面収差)そのものからであることから、その光学系210を通して波面収差が厳密に数値計算できればMTFが計算できることになる。
Here, the imaging process in the
A spherical wave diverging from one of the object points becomes a convergent wave after passing through the imaging optical system. At that time, aberration occurs if the imaging optical system is not an ideal optical system. The wavefront is not a spherical surface but a complicated shape. Wavefront optics lies between geometric optics and wave optics, which is convenient when dealing with wavefront phenomena.
When dealing with the wave optical MTF on the imaging plane, the wavefront information at the exit pupil position of the imaging optical system is important.
The MTF is calculated by Fourier transform of the wave optical intensity distribution at the imaging point. The wave optical intensity distribution is obtained by squaring the wave optical amplitude distribution, and the wave optical amplitude distribution is obtained from the Fourier transform of the pupil function in the exit pupil.
Further, since the pupil function is exactly from the wavefront information (wavefront aberration) at the exit pupil position itself, if the wavefront aberration can be strictly numerically calculated through the
したがって、所定の手法によって射出瞳位置での波面情報に手を加えれば、任意に結像面におけるMTF値は変更可能である。
本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主であるが、まさにphase(位相、光線に沿った光路長)に増減を設けて目的の波面形成を行っている。
そして、目的の波面形成を行えば、射出瞳からの射出光束は、図10(A)〜(C)に示す幾何光学的なスポット像からわかるように、光線の密な部分と疎の部分から形成される。
この光束状態のMTFは空間周波数の低いところでは低い値を示し、空間周波数の高いところまでは何とか解像力は維持している特徴を示している。
すなわち、この低いMTF値(または、幾何光学的にはこのようなスポット像の状態)であれば、エリアジングの現象を発生させないことになる。
つまり、ローパスフィルタが必要ないのである。
そして、後段のDSP等からなる画像処理装置300でMTF値を低くしている原因のフレアー的画像を除去すれば良いのである。それによってMTF値は著しく向上する。
Accordingly, if the wavefront information at the exit pupil position is modified by a predetermined method, the MTF value on the imaging plane can be arbitrarily changed.
In this embodiment, the wavefront shape is mainly changed by the wavefront forming optical element, but the target wavefront is formed by increasing or decreasing the phase (phase, optical path length along the light beam). .
Then, if the target wavefront is formed, the light flux emitted from the exit pupil is from the dense and sparse portions of the light, as can be seen from the geometric optical spot images shown in FIGS. It is formed.
The MTF in the luminous flux state shows a low value at a low spatial frequency and a characteristic that the resolving power is managed up to a high spatial frequency.
That is, if this MTF value is low (or such a spot image state in terms of geometrical optics), the phenomenon of aliasing will not occur.
That is, a low-pass filter is not necessary.
Then, the flare-like image that causes the MTF value to be lowered may be removed by the
以上説明したように、本実施形態によれば、光学系および位相板(光波面変調素子)とを通過した被写体分散像を撮像する撮像レンズ装置200と、撮像素子200からの分散画像信号より分散のない画像信号を生成する画像処理装置300と、被写体までの距離に相当する情報を生成する物体概略距離情報検出装置400と、を備え、画像処理装置300は、物体概略距離情報検出装置400により生成される情報に基づいて分散画像信号より分散のない画像信号を生成することから、コンボリューション演算時に用いるカーネルサイズやその数値演算で用いられる係数を可変とし、物体距離の概略距離を測定し、その物体距離に応じた適性となるカーネルサイズや上述した係数を対応させることにより、物体距離やデフォーカス範囲を気にすることなくレンズ設計ができ、かつ精度の高いコンボリュ−ションによる画像復元が可能となる利点がある。
そして、本実施形態に係る撮像装置100は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたズームレンズのWFCOに使用することが可能である。
As described above, according to the present embodiment, the
The
また、本実施形態においては、結像レンズ212による撮像素子220の受光面への結像の波面を変形させる波面形成用光学素子を有する撮像レンズ装置200と、撮像レンズ装置200による1次画像FIMを受けて、1次画像の空間周波数におけるMTFをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像FNLIMを形成する画像処理装置300とを有することから、高精細な画質を得ることが可能となるという利点がある。
また、撮像レンズ装置200の光学系210の構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。
In the present embodiment, the
In addition, the configuration of the
ところで、CCDやCMOSセンサを撮像素子として用いた場合、画素ピッチから決まる解像力限界が存在し、光学系の解像力がその限界解像力以上であるとエリアジングのような現象が発生し、最終画像に悪影響を及ぼすことは周知の事実である。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。
By the way, when a CCD or CMOS sensor is used as an image sensor, there is a resolution limit determined by the pixel pitch, and if the resolution of the optical system exceeds the limit resolution, a phenomenon such as aliasing occurs, which adversely affects the final image. It is a well-known fact that
In order to improve image quality, it is desirable to increase the contrast as much as possible, but this requires a high-performance lens system.
しかし、上述したように、CCDやCMOSセンサを撮像素子として用いた場合、エリアジングが発生する。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。
このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用することは光学系をより複雑にしているという不利益がある。
However, as described above, aliasing occurs when a CCD or CMOS sensor is used as an image sensor.
Currently, in order to avoid the occurrence of aliasing, the imaging lens apparatus uses a low-pass filter made of a uniaxial crystal system to avoid the occurrence of aliasing.
The use of a low-pass filter in this way is correct in principle, but the low-pass filter itself is made of crystal, so it is expensive and difficult to manage. Moreover, there is a disadvantage that the use of the optical system makes the optical system more complicated.
以上のように、時代の趨勢でますます高精細の画質が求められているにもかかわらず、高精細な画像を形成するためには、従来の撮像レンズ装置では光学系を複雑にしなければならない。複雑にすれば、製造が困難になったりし、また高価なローパスフィルタを利用したりするとコストアップにつながる。
しかし、本実施形態によれば、ローパスフィルタを用いることなく、エリアジングの現象の発生を避けることができ、高精細な画質を得ることが可能となる。
As described above, in order to form a high-definition image, the optical system must be complicated in the conventional imaging lens apparatus in spite of the demand for higher-definition image due to the trend of the times. . If it is complicated, manufacturing becomes difficult, and if an expensive low-pass filter is used, the cost increases.
However, according to the present embodiment, the occurrence of aliasing can be avoided without using a low-pass filter, and high-definition image quality can be obtained.
なお、本実施形態において、光学系210の波面形成用光学素子を絞りより物体側レンズよりに配置した例を示したが、絞りと同一あるいは絞りより結像レンズ側に配置しても上記と同様の作用効果を得ることができる。
In the present embodiment, the example in which the wavefront forming optical element of the
また、光学系210を構成するレンズは、図2の例に限定されることはなく、本発明は、種々の態様が可能である。
Moreover, the lens which comprises the
100…画像形成装置、200…撮像レンズ装置、211…物体側レンズ、212…結像レンズ、213…波面形成用光学素子、213a…位相板(光波面変調素子)、300…画像処理装置、301…コンボリューション装置、302…カーネル、数値演算係数格納レジスタ、303…画像処理演算プロセッサ、400…物体概略距離情報検出装置。
DESCRIPTION OF
Claims (6)
上記撮像素子からの分散画像信号より分散のない画像信号を生成する変換手段と、
被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、を備え、
上記変換手段は、上記被写体距離情報生成手段により生成される情報に基づいて上記分散画像信号より分散のない画像信号を生成する
撮像装置。 An imaging device that captures a subject dispersion image that has passed through at least the optical system and the light wavefront modulation device;
Conversion means for generating a non-dispersed image signal from the dispersed image signal from the imaging element;
Subject distance information generating means for generating information corresponding to the distance to the subject,
The conversion unit generates an image signal having less dispersion than the dispersion image signal based on information generated by the subject distance information generation unit.
上記被写体距離情報生成手段により生成された情報に基づき、上記変換係数記憶手段から被写体までの距離に応じた変換係数を選択する係数選択手段と、を備え、
上記変換手段は、上記係数選択手段で選択された変換係数によって、画像信号の変換を行う
請求項1に記載の撮像装置。 Conversion coefficient storage means for preliminarily storing at least two conversion coefficients corresponding to dispersion caused by the light wavefront modulation element according to the subject distance;
Coefficient selection means for selecting a conversion coefficient according to the distance from the conversion coefficient storage means to the subject based on the information generated by the subject distance information generation means,
The imaging apparatus according to claim 1, wherein the conversion unit converts an image signal using the conversion coefficient selected by the coefficient selection unit.
上記変換手段は、上記変換係数演算手段から得られた変換係数によって、画像信号の変換を行う
請求項1に記載の撮像装置。 Conversion coefficient calculation means for calculating a conversion coefficient based on the information generated by the subject distance information generation means,
The imaging apparatus according to claim 1, wherein the conversion unit converts an image signal using a conversion coefficient obtained from the conversion coefficient calculation unit.
上記ズーム光学系のズーム位置またはズーム量に応じた少なくとも1以上の補正値を予め記憶する補正値記憶手段と、
少なくとも上記光波面変調素子に起因する分散に対応した変換係数を予め記憶する第2変換係数記憶手段と、
上記被写体距離情報生成手段により生成された情報に基づき、上記補正値記憶手段から被写体までの距離に応じた補正値を選択する補正値選択手段と、を備え
上記変換手段は、上記第2変換係数記憶手段から得られた変換係数と、上記補正値選択手段から選択された上記補正値とによって、画像信号の変換を行う
請求項1に記載の撮像装置。 The optical system includes a zoom optical system,
Correction value storage means for storing in advance at least one correction value corresponding to the zoom position or zoom amount of the zoom optical system;
Second conversion coefficient storage means for storing in advance a conversion coefficient corresponding to dispersion caused by at least the light wavefront modulation element;
Correction value selection means for selecting a correction value according to the distance from the correction value storage means to the subject based on the information generated by the subject distance information generation means, the conversion means comprising the second conversion coefficient The imaging apparatus according to claim 1, wherein the image signal is converted by the conversion coefficient obtained from the storage unit and the correction value selected from the correction value selection unit.
請求項4に記載の撮像装置。 The imaging apparatus according to claim 4, wherein the correction value stored in the correction value storage unit includes a kernel size of the subject dispersion image.
被写体までの距離に相当する情報を生成する被写体距離情報生成ステップと、
上記被写体距離情報生成ステップにより生成される情報に基づいて上記分散画像信号を変換して分散のない画像信号を生成するステップと
を有する撮像方法。 Capturing an object dispersion image that has passed through at least the optical system and the light wavefront modulation element with an imaging element;
A subject distance information generation step for generating information corresponding to the distance to the subject;
An imaging method comprising: converting the dispersed image signal based on information generated by the subject distance information generating step to generate an image signal having no dispersion.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005217800A JP2006094469A (en) | 2004-08-26 | 2005-07-27 | Imaging device and imaging method |
US11/574,127 US20070268376A1 (en) | 2004-08-26 | 2005-08-26 | Imaging Apparatus and Imaging Method |
PCT/JP2005/015542 WO2006022373A1 (en) | 2004-08-26 | 2005-08-26 | Imaging device and imaging method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004247445 | 2004-08-26 | ||
JP2005217800A JP2006094469A (en) | 2004-08-26 | 2005-07-27 | Imaging device and imaging method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006094469A true JP2006094469A (en) | 2006-04-06 |
Family
ID=36234946
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005217800A Pending JP2006094469A (en) | 2004-08-26 | 2005-07-27 | Imaging device and imaging method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006094469A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009010944A (en) * | 2007-05-30 | 2009-01-15 | Fujifilm Corp | Image capturing apparatus, image-capturing method, and program |
JP2010087856A (en) * | 2008-09-30 | 2010-04-15 | Fujifilm Corp | Imaging apparatus, imaging method, and program |
JP2010087862A (en) * | 2008-09-30 | 2010-04-15 | Fujifilm Corp | Image processing apparatus, image processing method, image capturing apparatus, image capturing method, and program |
US8199246B2 (en) | 2007-05-30 | 2012-06-12 | Fujifilm Corporation | Image capturing apparatus, image capturing method, and computer readable media |
KR101233013B1 (en) | 2008-08-08 | 2013-02-13 | 캐논 가부시끼가이샤 | Image photographing device, distance computing method for the device, and focused image acquiring method |
-
2005
- 2005-07-27 JP JP2005217800A patent/JP2006094469A/en active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009010944A (en) * | 2007-05-30 | 2009-01-15 | Fujifilm Corp | Image capturing apparatus, image-capturing method, and program |
US8199246B2 (en) | 2007-05-30 | 2012-06-12 | Fujifilm Corporation | Image capturing apparatus, image capturing method, and computer readable media |
KR101233013B1 (en) | 2008-08-08 | 2013-02-13 | 캐논 가부시끼가이샤 | Image photographing device, distance computing method for the device, and focused image acquiring method |
JP2010087856A (en) * | 2008-09-30 | 2010-04-15 | Fujifilm Corp | Imaging apparatus, imaging method, and program |
JP2010087862A (en) * | 2008-09-30 | 2010-04-15 | Fujifilm Corp | Image processing apparatus, image processing method, image capturing apparatus, image capturing method, and program |
US8248513B2 (en) | 2008-09-30 | 2012-08-21 | Fujifilm Corporation | Image processing apparatus, image processing method, image capturing apparatus, image capturing method, and computer readable medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4712631B2 (en) | Imaging device | |
JP4777177B2 (en) | Imaging apparatus and imaging method | |
JP4818957B2 (en) | Imaging apparatus and method thereof | |
US8462213B2 (en) | Optical system, image pickup apparatus and information code reading device | |
JP2007322560A (en) | Imaging apparatus, and apparatus and method of manufacturing the same | |
JP2008048293A (en) | Imaging device and method for manufacturing same | |
JP2008268937A (en) | Imaging device and imaging method | |
JP2008017157A (en) | Imaging device, and its manufacturing device and method | |
JP2007300208A (en) | Imaging apparatus | |
JP2008085387A (en) | Imaging apparatus, and its manufacturing device and manufacturing method | |
JP2008085697A (en) | Image pickup device and its manufacturing device and method | |
JPWO2007074649A1 (en) | Imaging apparatus and image processing method thereof | |
JP2008245157A (en) | Imaging device and method therefor | |
JP4364847B2 (en) | Imaging apparatus and image conversion method | |
JP2006094468A (en) | Imaging device and imaging method | |
JP2006311473A (en) | Imaging device and imaging method | |
JP2010008794A (en) | Image pickup apparatus and electronic device | |
JP2006094469A (en) | Imaging device and imaging method | |
JP2008245266A (en) | Imaging apparatus and method | |
JP2009086017A (en) | Imaging device and imaging method | |
JP2006094470A (en) | Imaging device and imaging method | |
JP4818956B2 (en) | Imaging apparatus and method thereof | |
JP2009033607A (en) | Imaging apparatus and image processing method | |
JP2008245265A (en) | Imaging apparatus and its manufacturing apparatus and method | |
JP5197784B2 (en) | Imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060123 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060616 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060705 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20060804 |