JP2015084089A - Microlens array for solid state image pickup element, solid state image pickup element, imaging device and lens unit - Google Patents
Microlens array for solid state image pickup element, solid state image pickup element, imaging device and lens unit Download PDFInfo
- Publication number
- JP2015084089A JP2015084089A JP2014181543A JP2014181543A JP2015084089A JP 2015084089 A JP2015084089 A JP 2015084089A JP 2014181543 A JP2014181543 A JP 2014181543A JP 2014181543 A JP2014181543 A JP 2014181543A JP 2015084089 A JP2015084089 A JP 2015084089A
- Authority
- JP
- Japan
- Prior art keywords
- microlens
- image
- imaging device
- microlens array
- solid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/0006—Arrays
- G02B3/0037—Arrays characterized by the distribution or form of lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Automatic Focus Adjustment (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
Description
本発明は、固体撮像素子用のマイクロレンズアレイ、固体撮像素子、撮像装置およびレンズユニットに関する。 The present invention relates to a microlens array for a solid-state imaging device, a solid-state imaging device, an imaging apparatus, and a lens unit.
撮像光学系の構造として、マイクロレンズアレイを画素上方に配置し、各マイクロレンズ下部には複数の画素を配置し、メインレンズの像をさらにマイクロレンズアレイを用いて画素上に結像する構造が提案されている。この構造により、画素ブロック単位で視差を有する画像群を取得することが可能であり、この視差により、被写体の距離推定や距離情報を元にしたリフォーカス処理等が可能となる。この、メインレンズの像をさらにマイクロレンズアレイを用いて結像する光学構成を、リフォーカス光学系と呼ぶ。 As a structure of the imaging optical system, a microlens array is arranged above the pixels, a plurality of pixels are arranged below each microlens, and a main lens image is further formed on the pixels using the microlens array. Proposed. With this structure, it is possible to acquire a group of images having parallax in units of pixel blocks, and this parallax enables subject distance estimation, refocus processing based on distance information, and the like. This optical configuration that forms an image of the main lens using a microlens array is called a refocus optical system.
リフォーカス光学系を用いた構成によれば、各マイクロレンズの画像は、隣接する画像に同一の被写体が位置をずらされて撮像された画像となる。そのため、各マクロとレンズの画像をずらして重ね合わせることで、画像内に指定した任意の距離に焦点を合わせたリフォーカス画像を再構成することができる。 According to the configuration using the refocus optical system, the image of each microlens is an image obtained by shifting the position of the same subject to the adjacent image. Therefore, a refocus image focused on an arbitrary distance designated in the image can be reconstructed by shifting and superimposing the macro and lens images.
リフォーカス光学系においては、画像処理において各マイクロレンズの画像をずらして重ね合わせることから、マイクロレンズの中心座標の精度が重要である。中心座標の誤差が大きい場合、再構成画像における解像度や距離精度の劣化などが生じる原因となる。 In the refocus optical system, the image of each microlens is shifted and overlapped in image processing, so the accuracy of the center coordinates of the microlens is important. When the error of the center coordinates is large, it causes deterioration of resolution and distance accuracy in the reconstructed image.
本発明が解決しようとする課題は、マイクロレンズの中心座標をより高精度に検出可能な固体撮像素子用のマイクロレンズアレイ、固体撮像素子、撮像装置およびレンズユニットを提供することにある。 The problem to be solved by the present invention is to provide a microlens array, a solid-state imaging device, an imaging apparatus, and a lens unit for a solid-state imaging device capable of detecting the center coordinates of the microlens with higher accuracy.
実施形態の固体撮像素子用のマイクロレンズアレイは、撮像マイクロレンズ領域に設けられ、２次元像を結像する複数のマイクロレンズと、状態検出部とを備える。状態検出部は、撮像マイクロレンズ領域の外周部に設けられ、マイクロレンズの結像面においてマイクロレンズが結像する像よりも小さい径の像を生成する。 The microlens array for the solid-state imaging device of the embodiment includes a plurality of microlenses that are provided in the imaging microlens region and form a two-dimensional image, and a state detection unit. The state detection unit is provided on the outer peripheral portion of the imaging microlens region, and generates an image having a smaller diameter than the image formed by the microlens on the imaging surface of the microlens.
（第１の実施形態）
以下、実施形態に係る固体撮像素子用のマイクロレンズアレイ、固体撮像素子、撮像装置およびレンズユニットについて説明する。図１は、第１の実施形態に適用可能な撮像装置の一例の構成を示す。図１において、撮像装置１は、レンズユニットとしてのカメラモジュール１０と、ＩＳＰ(Image Signal Processor)とを有する。
(First embodiment)
Hereinafter, a microlens array, a solid-state imaging device, an imaging apparatus, and a lens unit for a solid-state imaging device according to embodiments will be described. FIG. 1 shows an exemplary configuration of an imaging apparatus applicable to the first embodiment. In FIG. 1, an imaging apparatus 1 includes a camera module 10 as a lens unit and an ISP (Image Signal Processor).
カメラモジュール１０は、メインレンズ１１を含む結像光学系と、マイクロレンズアレイ１２および撮像素子１３を含む固体撮像素子と、撮像部１４と、信号処理部１５とを有する。結像光学系は、１以上のレンズを含み、被写体からの光をマイクロレンズアレイ１２および撮像素子１３に導く。結像光学系に含まれるレンズが複数存在する場合は、それぞれのレンズを合成した仮想レンズをメインレンズ１１と考える。すなわち、２枚以上のレンズが存在する光学系の場合、光学系全体の焦点距離は、全てのレンズの光の屈折を反映した値となる。この値を合成焦点距離と呼ぶ。例えばレンズが２枚であり、それぞれのレンズの焦点距離がｆ1、ｆ2で表され間隔ｄの距離で配置されている場合、合成焦点距離ｆは、１／ｆ＝(１／ｆ1)＋(１／ｆ2)−(ｄ／(ｆ1×ｆ2))と表すことができる。このように、複数のレンズで構成された光学系は１つの仮想レンズで置き換えることができる。従って、以降の説明では、結像光学系に含まれるレンズが１つの場合は、当該レンズがメインレンズ１１となり、結像光学系に含まれるレンズが２つ以上の場合は、上述のように求めた仮想レンズがメインレンズ１１となる。 The camera module 10 includes an imaging optical system that includes a main lens 11, a solid-state imaging device that includes a microlens array 12 and an imaging device 13, an imaging unit 14, and a signal processing unit 15. The imaging optical system includes one or more lenses and guides light from the subject to the microlens array 12 and the image sensor 13. When there are a plurality of lenses included in the imaging optical system, a virtual lens obtained by combining the respective lenses is considered as the main lens 11. That is, in the case of an optical system having two or more lenses, the focal length of the entire optical system is a value reflecting the refraction of light of all the lenses. This value is called a composite focal length. For example, when there are two lenses, and the focal lengths of the respective lenses are represented by f 1 and f 2 and arranged at a distance d, the combined focal length f is 1 / f = (1 / f 1 ). + (1 / f 2 ) − (d / (f 1 × f 2 )). Thus, an optical system composed of a plurality of lenses can be replaced with one virtual lens. Therefore, in the following description, when there is one lens included in the imaging optical system, the lens is the main lens 11, and when there are two or more lenses included in the imaging optical system, it is obtained as described above. The virtual lens becomes the main lens 11.
撮像素子１３は、例えばＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージャを用い、それぞれ受光した光を光電変換により電気信号に変換して出力する複数の画素からなる画素アレイを含む。 The imaging element 13 includes, for example, a pixel array including a plurality of pixels that use a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) imager to convert the received light into an electrical signal by photoelectric conversion and output it.
マイクロレンズアレイ１２は、所定の規則で配列された複数のマイクロレンズ１２０、１２０、…を含む。この、マイクロレンズアレイ１２に含まれる複数のマイクロレンズ１２０、１２０、…による領域を、撮像マイクロレンズ領域と呼ぶ。マイクロレンズアレイ１２は、メインレンズ１１によって結像面に結像する光線群を、各マイクロレンズ１２０、１２０、…に対応する撮像素子１３上の複数の画素を含む画素ブロックに対して縮小最結像させる。 The microlens array 12 includes a plurality of microlenses 120, 120,... Arranged in a predetermined rule. The area formed by the plurality of microlenses 120, 120,... Included in the microlens array 12 is referred to as an imaging microlens area. The microlens array 12 reduces the group of rays focused on the imaging plane by the main lens 11 with respect to a pixel block including a plurality of pixels on the image sensor 13 corresponding to each microlens 120, 120,. Let me image.
また、詳細は後述するが、第１の実施形態では、マイクロレンズアレイ１２は、複数のマイクロレンズ１２０、１２０、…によるマイクロレンズ領域の外周部に、マイクロレンズアレイ１２の状態を検出するための状態検出部が設けられる。第１の実施形態では、この状態検出部により取得された情報に基づき、各マイクロレンズ１２０、１２０、…からの光により撮像素子１３で撮像された各マイクロレンズ像の中心座標の補正を行う。 Although details will be described later, in the first embodiment, the microlens array 12 is for detecting the state of the microlens array 12 at the outer periphery of the microlens region formed by the plurality of microlenses 120, 120,. A state detection unit is provided. In the first embodiment, based on the information acquired by the state detection unit, the center coordinates of each microlens image captured by the image sensor 13 with light from each microlens 120, 120,... Are corrected.
なお、カメラモジュール１０は、例えばメインレンズ１１を含む撮像光学系と、その他の部分とを分離して構成し、メインレンズ１１を交換可能とすることができる。これに限らず、カメラモジュール１０は、メインレンズ１１を含む撮像光学系とマイクロレンズアレイ１２とを１の筐体に収めたユニットとして構成することも可能である。この場合には、撮像光学系とマイクロレンズアレイ１２とを含むユニットが交換可能とされる。 Note that the camera module 10 can be configured such that, for example, the imaging optical system including the main lens 11 and other parts are separated, and the main lens 11 can be replaced. Not limited to this, the camera module 10 can be configured as a unit in which the imaging optical system including the main lens 11 and the microlens array 12 are housed in one housing. In this case, the unit including the imaging optical system and the microlens array 12 can be replaced.
撮像部１４は、撮像素子１３の各画素を駆動するための駆動回路を含む。駆動回路は、例えば駆動する画素を垂直方向に、水平ライン（行）単位で順次選択する垂直選択回路と、列単位で順次選択する水平選択回路と、これら垂直選択回路および水平選択回路を各種パルスにて駆動するタイミングジェネレータとを含む。撮像部１４は、垂直選択回路および水平選択回路で選択された画素から、受光した光を光電変換した電荷を読み出し、読み出した電荷を電気信号に変換して出力する。 The imaging unit 14 includes a drive circuit for driving each pixel of the image sensor 13. The driving circuit, for example, a vertical selection circuit that sequentially selects pixels to be driven in the vertical direction in units of horizontal lines (rows), a horizontal selection circuit that sequentially selects in units of columns, and the vertical selection circuit and the horizontal selection circuit are subjected to various pulses. And a timing generator driven by The imaging unit 14 reads the charge obtained by photoelectrically converting the received light from the pixels selected by the vertical selection circuit and the horizontal selection circuit, converts the read charge into an electrical signal, and outputs the electrical signal.
信号処理部１５は、撮像部１４から出力されたアナログ信号による電気信号に対してゲイン調整処理、ノイズ除去処理および増幅処理などを施す。また、信号処理部１５は、Ａ／Ｄ変換回路を有し、これら各処理を施された信号をディジタル信号に変換し、ＲＡＷ画像の画像信号として出力する。 The signal processing unit 15 performs gain adjustment processing, noise removal processing, amplification processing, and the like on the electrical signal that is an analog signal output from the imaging unit 14. Further, the signal processing unit 15 includes an A / D conversion circuit, converts the signal subjected to these processes into a digital signal, and outputs the digital signal as an image signal of a RAW image.
ＩＳＰ２０は、カメラモジュールＩ／Ｆ２１と、メモリ２２と、画像処理部２３と、出力Ｉ／Ｆ２４と、補正処理部２５と、ＲＯＭ(Read Only Memory)２６とを有する。カメラモジュールＩ／Ｆ２１は、カメラモジュール１０に対する信号のインターフェイスである。カメラモジュール１０の信号処理部１５から出力されたＲＡＷ画像の画像信号（以下、ＲＡＷ画像と呼ぶ）は、カメラモジュールＩ／Ｆ２１を介して、例えばフレームメモリであるメモリ２２に格納される。 The ISP 20 includes a camera module I / F 21, a memory 22, an image processing unit 23, an output I / F 24, a correction processing unit 25, and a ROM (Read Only Memory) 26. The camera module I / F 21 is a signal interface to the camera module 10. The image signal of the RAW image (hereinafter referred to as RAW image) output from the signal processing unit 15 of the camera module 10 is stored in the memory 22 that is a frame memory, for example, via the camera module I / F 21.
画像処理部２３は、メモリ２２に格納されたＲＡＷ画像のうち、マイクロレンズアレイ１２の撮像マイクロレンズ領域に含まれる各マイクロレンズからの光に基づくＲＡＷ画像に基づき、後述するようにして、各マイクロレンズに対応する領域の画像を拡大し、位置をずらして重ね合わせるリフォーカス処理を行うことにより、再構成したリフォーカス画像を得る。このリフォーカス画像は、出力Ｉ／Ｆ２４から出力され、図示されない表示デバイスに表示したり、外部の記憶媒体に記憶したりする。 As will be described later, the image processing unit 23 selects each micro image based on the RAW image based on the light from each micro lens included in the imaging micro lens region of the micro lens array 12 among the RAW images stored in the memory 22. A refocused image is obtained by enlarging an image corresponding to the lens and performing a refocusing process in which the positions are shifted and superimposed. This refocus image is output from the output I / F 24 and displayed on a display device (not shown) or stored in an external storage medium.
なお、メモリ２２に格納されたＲＡＷ画像を外部の記憶媒体に記憶させることもできる。この場合には、外部の記憶媒体から読み出したＲＡＷ画像を、例えばカメラモジュールＩ／Ｆ２１を介してメモリ２２に格納し、画像処理部２３でリフォーカス処理を行うことで、所望のタイミングでリフォーカス画像を得ることができる。 Note that the RAW image stored in the memory 22 can be stored in an external storage medium. In this case, a RAW image read from an external storage medium is stored in the memory 22 via, for example, the camera module I / F 21, and refocus processing is performed by the image processing unit 23, thereby refocusing at a desired timing. An image can be obtained.
補正処理部２５は、メモリ２２に格納されたＲＡＷ画像に基づき、マイクロレンズアレイ１２における各マイクロレンズ１２０、１２０、…による各マイクロレンズ像の中心位置を補正するための補正係数を算出する。例えば、補正処理部２５は、当該ＲＡＷ画像に含まれる、マイクロレンズアレイ１２の状態検出部からの光による画像に基づき、この補正係数を算出する。補正処理部２５は、マイクロレンズアレイ１２の撮像マイクロレンズ領域に含まれる各マイクロレンズからの光に基づくＲＡＷ画像をさらに用いて、この補正係数を算出してもよい。 Based on the RAW image stored in the memory 22, the correction processing unit 25 calculates a correction coefficient for correcting the center position of each microlens image by each microlens 120, 120,. For example, the correction processing unit 25 calculates the correction coefficient based on the image by the light from the state detection unit of the microlens array 12 included in the RAW image. The correction processing unit 25 may further calculate this correction coefficient by further using a RAW image based on the light from each microlens included in the imaging microlens region of the microlens array 12.
補正処理部２５は、算出した補正係数を用いて各マイクロレンズ１２０、１２０、…による像の中心位置の座標を補正し、補正された中心位置座標群をＲＯＭ２６に格納する。画像処理部２３は、上述したリフォーカス処理を、このＲＯＭ２６に格納される、補正された中心位置座標群を用いて実行する。 The correction processing unit 25 corrects the coordinates of the center position of the image by each of the microlenses 120, 120,... Using the calculated correction coefficient, and stores the corrected center position coordinate group in the ROM 26. The image processing unit 23 executes the above-described refocus processing using the corrected center position coordinate group stored in the ROM 26.
（第１の実施形態に適用可能な光学系）
次に、第１の実施形態に適用可能な光学系について説明する。ここで、光学系は、メインレンズ１１、マイクロレンズアレイ１２および撮像素子１３を含む。図２は、第１の実施形態に適用可能な光学系の一例の構成を示す。図２において、距離Ａは、メインレンズ１１と被写体との間の距離、距離Ｂは、メインレンズ１１による結像距離をそれぞれ示す。また、距離Ｃは、メインレンズ１１の結像面とマイクロレンズアレイ１２の各マイクロレンズ１２０との間の最短距離、距離Ｄは、マイクロレンズアレイ１２と撮像素子１３との間の距離をそれぞれ示す。メインレンズ１１は、焦点距離ｆを有し、各マイクロレンズ１２０、１２０、…は、焦点距離ｇを有する。以下、説明のため、光軸に対して被写体側を前方、撮像素子１３側を後方と定義する。
(Optical system applicable to the first embodiment)
Next, an optical system applicable to the first embodiment will be described. Here, the optical system includes a main lens 11, a microlens array 12, and an image sensor 13. FIG. 2 shows an example of the configuration of an optical system applicable to the first embodiment. In FIG. 2, the distance A indicates the distance between the main lens 11 and the subject, and the distance B indicates the imaging distance by the main lens 11. Further, the distance C indicates the shortest distance between the imaging surface of the main lens 11 and each microlens 120 of the microlens array 12, and the distance D indicates the distance between the microlens array 12 and the image sensor 13. . The main lens 11 has a focal length f, and each microlens 120, 120,... Has a focal length g. Hereinafter, for the sake of explanation, the subject side is defined as the front side and the imaging element 13 side as the rear side with respect to the optical axis.
光学系内において、マイクロレンズアレイ１２は、メインレンズ１１からの光線を各マイクロレンズ１２０、１２０、…により各視点の像として撮像素子１３上に結像させる。 In the optical system, the microlens array 12 forms a light beam from the main lens 11 on the image sensor 13 as an image of each viewpoint by each microlens 120, 120,.
図３は、第１の実施形態に係る、メインレンズ１１による結像面を撮像素子１３の後方側に位置させた場合の、撮像素子１３の出力に基づくＲＡＷ画像の例を模式的に示す。マイクロレンズアレイ１２の各マイクロレンズ１２０、１２０、…により撮像素子１３の受光面に結像されたマイクロレンズ像３０、３０、…がマイクロレンズの配列に対応して配置された画像３００が、ＲＡＷ画像として信号処理部１５から出力される。図３によれば、同一の被写体（例えば数字の「３」）が、各マイクロレンズ１２０、１２０、…の配列に応じて、各マイクロレンズ像３０において所定量ずつずれて撮像されていることが分かる。 FIG. 3 schematically illustrates an example of a RAW image based on the output of the image sensor 13 when the imaging plane formed by the main lens 11 is positioned on the rear side of the image sensor 13 according to the first embodiment. An image 300 in which the microlens images 30, 30,... Formed on the light receiving surface of the image sensor 13 by the microlenses 120, 120,. The image is output from the signal processing unit 15 as an image. According to FIG. 3, the same subject (for example, the number “3”) is captured with a predetermined amount shifted in each microlens image 30 according to the arrangement of the microlenses 120, 120,. I understand.
ここで、各マイクロレンズ１２０、１２０、…による各マイクロレンズ像３０、３０、…は、撮像素子１３上に重なり無く結像されることが望ましい。また、図３では、マイクロレンズアレイ１２において各マイクロレンズ１２０、１２０、…が六方格子点上に配置されているが、各マイクロレンズ１２０、１２０、…の配列は、この例に限定されず、他の配列でもよい。例えば、各マイクロレンズ１２０、１２０、…は、正方格子上に配置されていてもよい。 Here, it is desirable that the micro lens images 30, 30,... By the micro lenses 120, 120,. 3, the microlenses 120, 120,... Are arranged on hexagonal lattice points in the microlens array 12, but the arrangement of the microlenses 120, 120,... Is not limited to this example. Other arrangements are possible. For example, each microlens 120, 120,... May be arranged on a square lattice.
なお、図２の例では、マイクロレンズアレイ１２がメインレンズ１１の結像面より後方に設置されている。これはこの例に限定されず、例えば図４に例示されるように、マイクロレンズアレイ１２がメインレンズ１１の結像面より前方に設置されていてもよい。以下では、光学系は、図２に示す、マイクロレンズアレイ１２がメインレンズ１１の結像面より後方に設置されているものとする。 In the example of FIG. 2, the microlens array 12 is installed behind the image plane of the main lens 11. This is not limited to this example. For example, as illustrated in FIG. 4, the microlens array 12 may be installed in front of the imaging surface of the main lens 11. In the following description, it is assumed that in the optical system, the microlens array 12 shown in FIG. 2 is installed behind the image plane of the main lens 11.
次に、リフォーカス画像作成の原理について、上述した図２を参照しながら説明する。図２において、距離Ｂ＋距離Ｃを距離Ｅとする。距離Ｅは、メインレンズ１１の位置が固定であれば、定数となる。ここでは、距離Ｅおよび距離Ｄがそれぞれ定数であるものとして説明する。 Next, the principle of creating a refocus image will be described with reference to FIG. In FIG. 2, distance B + distance C is distance E. The distance E is a constant if the position of the main lens 11 is fixed. Here, description will be made assuming that the distance E and the distance D are constants.
メインレンズ１１において、被写体までの距離Ａと、被写体からの光が結像する距離Ｂと、焦点距離ｆとの間には、レンズの公式に従い式（１）に示す関係が成り立つ。同様に、マイクロレンズアレイ１２の各マイクロレンズ１２０、１２０、…についても、レンズの公式に従い式（２）に示す関係が成り立つ。
メインレンズ１１と被写体との間の距離Ａが変化した場合、式（１）のレンズの公式における距離Ｂの値が変化する。光学系の位置関係から、上述したように距離Ｂ＋距離Ｃ＝距離Ｅであり、距離Ｅが固定であるため、距離Ｂの変化に伴い距離Ｃの値も変化する。各マイクロレンズ１２０、１２０、…について、上述の式（２）のレンズの公式を用いると、距離Ｃの変化に伴って、さらに距離Ｄの値も変化することが分かる。 When the distance A between the main lens 11 and the subject changes, the value of the distance B in the lens formula of Expression (1) changes. From the positional relationship of the optical system, as described above, distance B + distance C = distance E, and distance E is fixed, so that the value of distance C changes as distance B changes. For each of the microlenses 120, 120,..., It can be seen that the value of the distance D also changes with the change of the distance C when the lens formula of the above formula (2) is used.
この結果、各マイクロレンズ１２０、１２０、…を通って結像する像は、メインレンズ１１の仮想イメージである結像面を倍率Ｎ（Ｎ＝Ｄ／Ｃ）に縮小した画像が得られる。この倍率Ｎは、次式（３）のように表すことができる。
式（３）により、各マイクロレンズ１２０、１２０、…による撮像素子１３上の像の縮小率は、メインレンズ１１から被写体までの距離Ａに依存することが分かる。したがって、元の２次元画像を再構成するためには、図５（ａ）に示される、例えば各マイクロレンズ１２０、１２０、…による、それぞれ中心座標が座標３１1、３１2および３１3であるマイクロレンズ像３０1、３０2および３０3を、図５（ｂ）に示すようにそれぞれ倍率１／Ｎで拡大して拡大マイクロレンズ像３０1’、３０2’および３０3’を作成する。そして、各拡大マイクロレンズ像３０1’、３０2’および３０3’の重ね合わせ合成を行うことで、距離Ａにピントが合った再構成画像を得ることができる。 From equation (3), it can be seen that the reduction ratio of the image on the image sensor 13 by the microlenses 120, 120,... Depends on the distance A from the main lens 11 to the subject. Therefore, in order to reconstruct the original two-dimensional image, the center coordinates of the microlenses 120, 120,... Shown in FIG. 5A are coordinates 31 1 , 31 2 and 31 3 , respectively. The microlens images 30 1 , 30 2, and 30 3 are enlarged at a magnification of 1 / N as shown in FIG. 5B to create enlarged microlens images 30 1 ′, 30 2 ′, and 30 3 ′. A reconstructed image in which the distance A is in focus can be obtained by superimposing and combining the magnified microlens images 30 1 ′, 30 2 ′, and 30 3 ′.
重ね合わせ時には、距離Ａ以外の部分については各拡大マイクロレンズ像３０1’、３０2’および３０3’がずれながら重なることになり、ぼけの様な効果を得ることができる。このように撮影したマイクロレンズ像から任意の位置にピントを合わせる処理をリフォーカス処理と呼ぶ。 At the time of superimposing, the enlarged microlens images 30 1 ′, 30 2 ′ and 30 3 ′ are overlapped with each other except for the distance A, and a blur-like effect can be obtained. The process of focusing on an arbitrary position from the photographed microlens image is called a refocus process.
図５に例示するように、マイクロレンズアレイ１２からの画像を撮像して得られたＲＡＷ画像をリフォーカス処理により再構成して２次元画像を得る過程では、例えば各マイクロレンズ像３０1、３０2および３０3を、それぞれの中心座標３１1、３１2および３１3を基準に拡大する。そのため、例えば各中心座標３１1、３１2および３１3の精度が重要となる。 As illustrated in FIG. 5, in the process of obtaining a two-dimensional image by reconstructing a RAW image obtained by capturing an image from the microlens array 12 by refocusing, for example, each microlens image 30 1 , 30. 2 and 30 3 are enlarged with reference to the respective center coordinates 31 1 , 31 2 and 31 3 . Therefore, for example, the accuracy of each of the center coordinates 31 1 , 31 2 and 31 3 is important.
各マイクロレンズ像３０の中心座標を検出する方法としては、撮像素子１３で撮像したＲＡＷ画像からマイクロレンズ像３０を画像マッチングなどで抽出し、抽出された各マイクロレンズ像３０について、中心座標を求める方法がある。この画像マッチングを用いる方法では、マイクロレンズ像３０の画質により、検出される中心座標に誤差が生じてしまう可能性がある。例えば、図６に例示されるように、マイクロレンズ１２０上にキズや汚れ、塵などの異常部分４０が存在する場合、そのマイクロレンズ１２０によるマイクロレンズ像３０が不鮮明になったり、変形してしまったりする。この場合は、そのマイクロレンズ１２０のマイクロレンズ像３０による画像マッチングが難しくなり、結果として得られる中心座標の検出誤差が大きくなる。 As a method of detecting the center coordinate of each microlens image 30, the microlens image 30 is extracted from the RAW image captured by the image sensor 13 by image matching or the like, and the center coordinate is obtained for each extracted microlens image 30. There is a way. In this method using image matching, an error may occur in the detected center coordinates depending on the image quality of the microlens image 30. For example, as illustrated in FIG. 6, when an abnormal portion 40 such as a scratch, dirt, or dust exists on the microlens 120, the microlens image 30 by the microlens 120 becomes unclear or deformed. I'll be relaxed. In this case, image matching by the microlens image 30 of the microlens 120 becomes difficult, and the resultant center coordinate detection error becomes large.
さらに、マイクロレンズアレイ１２において、メインレンズ１１の光軸から離れた、像高の高い領域においては、ケラレなどの影響により、図７に例示されるように、各マイクロレンズ像３０、３０、…自体が変形してしまう可能性がある。そのため、ケラレにより変形したマイクロレンズ像３０”の中心座標の検出位置と、設計上のマイクロレンズ１２０の中心位置とがずれてしまい、検出誤差が大きくなってしまうおそれがある。また、像高の高い領域では、像高の低い領域に対して、マイクロレンズアレイ１２０に対するメインレンズ１１からの光の入射角がより大きくなり、マイクロレンズアレイ１２０の基盤が持つ屈折率の影響を受け易くなる。 Further, in the microlens array 12, in a region with a high image height away from the optical axis of the main lens 11, each microlens image 30, 30,... It may be deformed itself. For this reason, the detection position of the center coordinate of the microlens image 30 ″ deformed by the vignetting is shifted from the designed center position of the microlens 120, and the detection error may be increased. In the high region, the incident angle of the light from the main lens 11 with respect to the microlens array 120 is larger than the region with a low image height, and is easily affected by the refractive index of the base of the microlens array 120.
これらの、マイクロレンズ像３０の中心座標の誤差の増大要因を回避するため、第１の実施形態においては、マイクロレンズアレイ１２の外周部に、マイクロレンズアレイ１２の状態を検出する状態検出部を設ける。そして、この状態検出部を用いて取得できる情報に基づき、各マイクロレンズ像３０、３０、…の中心座標を生成する。 In order to avoid these factors that increase the error in the center coordinates of the microlens image 30, in the first embodiment, a state detection unit that detects the state of the microlens array 12 is provided on the outer periphery of the microlens array 12. Provide. And the center coordinate of each microlens image 30,30, ... is produced | generated based on the information which can be acquired using this state detection part.
図８を用いて、各マイクロレンズ像３０、３０、…の中心座標について説明する。マイクロレンズアレイ１２において、各マイクロレンズ１２０、１２０、…が六方格子の格子点に配置されているものとする。この場合、各マイクロレンズ１２０、１２０、…による各マイクロレンズ像３０、３０、…の配列は、例えばマイクロレンズアレイ１２の中心のマイクロレンズ像３０0を基準として、六方格子点に周期的に各マイクロレンズ像３０、３０、…を配置したものとなる。 The center coordinates of each microlens image 30, 30,... Will be described with reference to FIG. In the microlens array 12, each microlens 120, 120,... Is arranged at a lattice point of a hexagonal lattice. In this case, the microlenses 120, 120, ... each microlens images 30, 30 by, ... sequences, for example on the basis of the micro-lens image 30 0 of the center of the microlens array 12, periodically each in a hexagonal lattice point The microlens images 30, 30,... Are arranged.
各マイクロレンズ像３０の配列に関するパラメータは、基準となるマイクロレンズ像３０0の中心座標と、互いに隣接するマイクロレンズ像３０の中心座標間の距離Ｌと、初期配列角θとを少なくとも含む。初期配列角θは、各マイクロレンズ１２０が六方格子の格子点に配置される場合、例えばあるマイクロレンズ像３０を含む互いに隣接する３のマイクロレンズ像３０において、当該あるマイクロレンズ像３０の中心座標（例えば点Ｐ）から、他の２のマイクロレンズ像３０の中心座標（例えば点Ｑおよび点Ｒ）を見込む角∠ＱＰＲである。 Parameters relating to the arrangement of the micro-lens image 30 includes a central coordinate of the microlens image 30 0 as a reference, the distance L between the center coordinates of the microlens image 30 adjacent to each other, and an initial sequence angle θ least. When each microlens 120 is arranged at a lattice point of a hexagonal lattice, for example, in the three adjacent microlens images 30 including a certain microlens image 30, the initial array angle θ is the center coordinate of the certain microlens image 30. It is an angle QPR that anticipates the center coordinates (for example, point Q and point R) of the other two microlens images 30 from (for example, point P).
後述するマイクロレンズアレイ１２が構成されるマイクロレンズアレイ基盤の屈折率や、マイクロレンズアレイ１２の撮像素子１３の受光面に対する傾きなどを考慮しない、理想的な状態による理想モデルを考える。この場合、マイクロレンズアレイ１２上の各マイクロレンズ像３０、３０、…の中心座標は、上述の各パラメータ（基準となるマイクロレンズ像３０0の中心座標、距離Ｌおよび初期配列角θ）により計算できる。 Consider an ideal model in an ideal state that does not take into account the refractive index of a microlens array substrate constituting a microlens array 12 to be described later, the inclination of the microlens array 12 with respect to the light receiving surface of the image sensor 13, and the like. Calculating this case, each microlens images 30, 30 on the microlens array 12, ... are center coordinates, the parameters mentioned above (the center coordinates of the microlens image 30 0 as a reference, the distance L and the initial sequence angle theta) it can.
ここで、マイクロレンズアレイ１２は、製造時の誤差などにより、撮像素子１３の受光面に対して傾いている場合がある。このような場合、ＲＡＷ画像上の各マイクロレンズ像３０、３０、…の各中心座標を精度良く求めるためには、理想モデルに基づき求めた各マイクロレンズ像３０、３０、…の中心座標に対し、このマイクロレンズアレイ１２の傾きに対応した補正を行うことが必要となる。 Here, the microlens array 12 may be inclined with respect to the light receiving surface of the image sensor 13 due to an error in manufacturing. In such a case, in order to accurately obtain the center coordinates of the microlens images 30, 30,... On the RAW image, the center coordinates of the microlens images 30, 30,. It is necessary to perform correction corresponding to the inclination of the microlens array 12.
図９を用いて、マイクロレンズアレイ１２の傾きについて説明する。図９に示されるような、ｘｙｚ軸で表現される３次元空間において、ｘｙ平面が撮像素子１３の受光面に対応するものとする。この場合、マイクロレンズアレイ１２の傾きは、ｘｙ平面上の回転を示す角度φと、ｚ軸方向の回転を示す角度ψとを用いて記述できる。 The inclination of the microlens array 12 will be described with reference to FIG. In the three-dimensional space represented by the xyz axis as shown in FIG. 9, the xy plane corresponds to the light receiving surface of the image sensor 13. In this case, the inclination of the microlens array 12 can be described using an angle φ indicating rotation on the xy plane and an angle ψ indicating rotation in the z-axis direction.
図１０は、マイクロレンズアレイ１２に傾きが無い（φ＝０°，ψ＝０°）場合の、メインレンズ１１の光軸に対する各マイクロレンズ像３０、３０、…の中心座標の例を示す。また、図１１は、マイクロレンズアレイ１２にｚ軸方向に傾きがある場合の、メインレンズ１１の光軸に対する各マイクロレンズ像３０、３０、…の中心座標の例を示す。なお、図１０および図１１において、マイクロレンズアレイ１２の基盤による屈折は無視している。また、以下では、マイクロレンズアレイ１２は、対角線が交わる点を中心座標として、基準となるマイクロレンズ１２０が配置されるものとする。 FIG. 10 shows an example of the center coordinates of the microlens images 30, 30,... With respect to the optical axis of the main lens 11 when the microlens array 12 has no inclination (φ = 0 °, ψ = 0 °). 11 shows an example of the center coordinates of each microlens image 30, 30,... With respect to the optical axis of the main lens 11 when the microlens array 12 is inclined in the z-axis direction. In FIGS. 10 and 11, refraction by the base of the microlens array 12 is ignored. In the following description, it is assumed that the microlens array 12 is provided with a reference microlens 120 with the point where the diagonal lines intersect as the center coordinates.
また、図１０（ｂ）および図１１は、上述した図２に対応する図１０（ａ）の部分１００を拡大して示す。図１０（ｂ）および図１１において、メインレンズ１１の光軸がマイクロレンズアレイ１２の中央のマイクロレンズ１２０ｃを通って撮像素子１３の受光面に到達するものとする。 FIGS. 10B and 11 show an enlarged portion 100 of FIG. 10A corresponding to FIG. 2 described above. 10B and 11, it is assumed that the optical axis of the main lens 11 reaches the light receiving surface of the image sensor 13 through the micro lens 120 c at the center of the micro lens array 12.
図１０（ｂ）において、マイクロレンズ１２０ｃの座標を座標ｃ(０，０)とする。また、マイクロレンズ１２０ｃに対して図１０（ｂ）上で３つ右のマイクロレンズ１２０ｂ1の中心座標を座標ｂ1(Ｌx，０)とし、３つ左のマイクロレンズ１２０ａ1の中心座標を座標ａ1(−Ｌx，０)とする。なお、値Ｌxは、上述のマイクロレンズ間距離Ｌの整数倍の値である。図１０（ｂ）の例では、値Ｌx＝３×Ｌとなる。 In FIG. 10B, the coordinates of the microlens 120c are set as coordinates c (0, 0). Further, FIG. 10 (b) on the three right center coordinates of the microlens 120b 1 and the coordinate b 1 (L x, 0) with respect to the micro lens 120c, the three left center coordinates of the microlens 120a 1 of The coordinates are a 1 (−L x , 0). The value L x is a value that is an integral multiple of the distance L between the microlenses described above. In the example of FIG. 10B, the value L x = 3 × L.
節点(０，Ｃ)は、被写体までの距離が距離Ａである場合の、メインレンズ１１の結像点であり、メインレンズ１１を通った光束が集まる節点である。節点(０，Ｃ)から見た座標ａ1(−Ｌx，０)および座標ｂ1(Ｌx，０)の光軸に対する角度が、それぞれ角度αおよびβとする。マイクロレンズアレイ１２に傾きが無いこの例では、角度α＝角度βとなる。 The node (0, C) is an image forming point of the main lens 11 when the distance to the subject is the distance A, and is a node where the light fluxes passing through the main lens 11 gather. Assume that the angles of the coordinates a 1 (−L x , 0) and the coordinates b 1 (L x , 0) viewed from the node (0, C) with respect to the optical axis are angles α and β, respectively. In this example in which the microlens array 12 has no inclination, the angle α = the angle β.
この場合において、マイクロレンズ１２０ａ1による撮像素子１３上でのマイクロレンズ像３０の中心座標は、座標ａ2(−(Ｃ＋Ｄ)Ｌx／Ｃ，−Ｄ)であり、マイクロレンズ１２０ｂ1による撮像素子１３上でのマイクロレンズ像３０の中心座標は、座標ｂ2((Ｃ＋Ｄ)Ｌx／Ｃ，−Ｄ)である。したがって、光軸から各マイクロレンズ１２０ａ1および１２０ｂ1までの距離ｐおよびｑが等しく、また、各マイクロレンズ１２０による各マイクロレンズ像３０間の距離ｒも、互いに等しい。 In this case, the center coordinates of the microlens image 30 on the image sensor 13 by the microlens 120a 1 are coordinates a 2 (− (C + D) L x / C, −D), and the image sensor by the microlens 120b 1 is used. The center coordinates of the microlens image 30 on 13 are coordinates b 2 ((C + D) L x / C, −D). Therefore, the distances p and q from the optical axis to the microlenses 120a 1 and 120b 1 are equal, and the distances r between the microlens images 30 by the microlenses 120 are also equal to each other.
一方、図１１に例示されるように、マイクロレンズアレイ１２が角度ψだけ傾いている場合には、光軸から各マイクロレンズ１２０ａ1および１２０ｂ1までの距離ｐおよびｑは、ｑ＞ｐとなり等距離ではなくなる。したがって、各マイクロレンズ１２０による撮像素子１３上での各マイクロレンズ像３０間の距離ｒは、光軸の左右で異なったものとなる。 On the other hand, as illustrated in FIG. 11, when the microlens array 12 is inclined by an angle ψ, the distances p and q from the optical axis to the microlenses 120a 1 and 120b 1 are q> p, etc. It is no longer a distance. Therefore, the distance r between each microlens image 30 on the image sensor 13 by each microlens 120 differs depending on the right and left of the optical axis.
このときの、傾いてない場合のマイクロレンズアレイ１２の平面上に投影した、各マイクロレンズ１２０ａ1および１２０ｂ1の座標は、それぞれ座標ａ1(−Ｌxcosψ，−Ｌxsinψ)および座標ｂ1(Ｌxcosψ，Ｌxsinψ)となる。また、各マイクロレンズ１２０ａ1および１２０ｂ1によるマイクロレンズ像３０の中心座標は、それぞれ座標ａ2((−Ｌxcosψ×(Ｃ＋Ｄ)／(Ｃ＋Ｌxsinψ)，−Ｄ)および座標ｂ2((Ｌxcosψ×(Ｃ＋Ｄ)／(Ｃ−Ｌxsinψ)，−Ｄ)となる。 In this case, projected on the plane of the microlens array 12 when not tilted, the coordinates each microlens 120a 1 and 120b 1, respectively coordinates a 1 (-L x cosψ, -L x sinψ) and coordinates b 1 (L x cosψ, L x sinψ). The center coordinates of the microlens images 30 by each microlens 120a 1 and 120b 1, respectively coordinates a 2 ((-L x cosψ × (C + D) / (C + L x sinψ), - D) and the coordinates b 2 (( L x cos ψ × (C + D) / (CL × sin ψ), −D).
なお、ここでは、図２の光学系を例にとって説明したが、図４の光学系の場合は、節点の代わりにメインレンズ像側の主点を用いて同様の計算を行う。 Here, the optical system of FIG. 2 has been described as an example, but in the case of the optical system of FIG. 4, the same calculation is performed using the principal point on the main lens image side instead of the node.
これまで述べてきた様に、各マイクロレンズ１２０、１２０、…による撮像素子１３上での各マイクロレンズ像３０、３０、…の中心座標を生成するためには、基準となるマイクロレンズ像３０0の座標や、マイクロレンズアレイ１２の傾きなど様々なパラメータを、精度良く求める必要がある。リフォーカス処理で用いるマイクロレンズ像３０、３０、…では、図６および図７を用いて説明したように、像歪みなどの影響により、画像マッチングなどにおいて検出誤差が生じる可能性がある。そのため、第１の実施形態では、マイクロレンズアレイ１２上に、マイクロレンズアレイ１２の状態（３次元位置と傾き）を検出可能な状態検出部を設ける。 As described so far, each of the microlenses 120, 120, ... in order to generate the respective micro lens image 30, 30, ... center coordinates on the image pickup element 13 by the microlens images 30 0 as a reference It is necessary to accurately obtain various parameters such as the coordinates of and the inclination of the microlens array 12. In the microlens images 30, 30,... Used in the refocus processing, as described with reference to FIGS. 6 and 7, a detection error may occur in image matching due to the influence of image distortion or the like. Therefore, in the first embodiment, a state detection unit that can detect the state (three-dimensional position and inclination) of the microlens array 12 is provided on the microlens array 12.
図１２は、第１の実施形態による、状態検出部が設けられたマイクロレンズアレイ１２の一例の構成を示す。図１２において、マイクロレンズアレイ１２の中心から所定範囲までの領域に、マイクロレンズ１２０、１２０、…が設けられる。このマイクロレンズ１２０、１２０、…が設けられる領域を、撮像マイクロレンズ領域１３０と呼ぶ。 FIG. 12 shows a configuration of an example of the microlens array 12 provided with the state detection unit according to the first embodiment. 12, microlenses 120, 120,... Are provided in a region from the center of the microlens array 12 to a predetermined range. A region where the microlenses 120, 120,... Are provided is referred to as an imaging microlens region 130.
また、第１の実施形態では、マイクロレンズアレイ１２において、撮像マイクロレンズ領域１３０の外周部に、マイクロレンズアレイ１２の状態を検出する状態検出用の領域を設ける。第１の実施形態では、この状態検出用の領域に対して、状態検出用マイクロレンズ１２１、１２１、…を設ける。なお、状態検出マイクロレンズ用１２１、１２１、…は、撮像マイクロレンズ領域１３０の外側であって、且つ、メインレンズ１１からの光が各状態検出マイクロレンズ用１２１、１２１、…を通って撮像素子１３に受光される位置に設けられる。 In the first embodiment, in the microlens array 12, a state detection region for detecting the state of the microlens array 12 is provided on the outer periphery of the imaging microlens region 130. In the first embodiment, state detection microlenses 121, 121,... Are provided for the state detection region. The state detection microlenses 121, 121,... Are outside the imaging microlens region 130, and light from the main lens 11 passes through the state detection microlenses 121, 121,. 13 is provided at a position where light is received.
マイクロレンズアレイ１２の外周部の領域は、メインレンズ１１の光軸から遠く、像高が高い領域である。すなわち、第１の実施形態では、この像高が高く、メインレンズ１１のシェーディングにより画質が悪化してしまう領域を、マイクロレンズアレイ１２の状態検出用の領域として用いる。 The area of the outer periphery of the microlens array 12 is an area that is far from the optical axis of the main lens 11 and has a high image height. That is, in the first embodiment, an area where the image height is high and the image quality is deteriorated due to the shading of the main lens 11 is used as an area for detecting the state of the microlens array 12.
このように、第１の実施形態によれば、像高の高い領域を状態検出用の領域として使用し、メインレンズ１１の光軸により近く、像高の低い領域を、リフォーカス処理による画像再構成用のマイクロレンズ像３０、３０、…を取得する構成としている。そのため、各マイクロレンズ像３０、３０、…の中心座標を補正する補正係数を求めるためのパラメータを、再構成画像への影響を抑えて高精度に検出可能である。 As described above, according to the first embodiment, a region with a high image height is used as a region for state detection, and a region close to the optical axis of the main lens 11 and a region with a low image height is re-imaged by refocus processing. It is set as the structure which acquires the micro lens image 30, 30, ... for a structure. Therefore, it is possible to detect a parameter for obtaining a correction coefficient for correcting the center coordinates of each microlens image 30, 30,... With high accuracy while suppressing the influence on the reconstructed image.
なお、状態検出用マイクロレンズ１２１、１２１、…は、像高が高い領域に設けられるため撮像素子１３上での像が歪んでしまう。そのため、状態検出用マイクロレンズ１２１、１２１、…は、撮像素子１３上で点像に結像するようにレンズを形成すると、好ましい。 In addition, since the state detection microlenses 121, 121,... Are provided in a region where the image height is high, the image on the image sensor 13 is distorted. Therefore, it is preferable that the state detection microlenses 121, 121,... Are formed so as to form a point image on the image sensor 13.
なお、状態検出用マイクロレンズ１２１、１２１、…は、図１３に示されるように、マイクロレンズアレイ１２において撮像用の各マイクロレンズ１２０、１２０、…と同じ側の面に設けることができる。これに限らず、図１４に例示されるように、状態検出用マイクロレンズ１２１、１２１、…を、マイクロレンズアレイ１２において撮像用の各マイクロレンズ１２０、１２０、…と反対側の面に設けてもよい。 As shown in FIG. 13, the state detection microlenses 121, 121,... Can be provided on the same side of the microlens array 12 as the imaging microlenses 120, 120,. 14, the state detection microlenses 121, 121,... Are provided on the opposite surface of the microlens array 12 to the imaging microlenses 120, 120,. Also good.
図１５は、第１の実施形態に係る状態検出用マイクロレンズ１２１、１２１、…を設けたマイクロレンズアレイ１２によって撮像素子１３で得られる像の例を示す。図１５に例示されるように、撮像素子１３の出力により、撮像用のマイクロレンズ像３０、３０、…の外周部に、点像の状態検出用マイクロレンズ像３２、３２、…が並ぶＲＡＷ画像３２０が得られる。 FIG. 15 shows an example of an image obtained by the imaging element 13 by the microlens array 12 provided with the state detection microlenses 121, 121,... According to the first embodiment. As illustrated in FIG. 15, a RAW image in which dot image state detection microlens images 32, 32,... Are arranged on the outer periphery of the imaging microlens images 30, 30,. 320 is obtained.
（マイクロレンズ像の中心座標群の生成処理）
次に、第１の実施形態に係る、マイクロレンズ像３０、３０、…の中心座標群の生成処理の例について説明する。図１６は、この第１の実施形態に係るマイクロレンズ像の中心画像群の生成処理の例を示すフローチャートである。図１６のフローチャートにおける各処理は、ＩＳＰ２０内の補正処理部２５にて実行される。また、図１６のフローチャートによる処理の開始に先立って、マイクロレンズアレイ１２からの光が撮像素子１３に受光されて得られたＲＡＷ画像がカメラモジュール１０から出力されてＩＳＰ２０に供給され、メモリ２２に格納されるものとする。
(Process for generating the center coordinate group of the microlens image)
Next, an example of processing for generating the central coordinate group of the microlens images 30, 30,... According to the first embodiment will be described. FIG. 16 is a flowchart showing an example of the generation processing of the central image group of the microlens image according to the first embodiment. Each process in the flowchart of FIG. 16 is executed by the correction processing unit 25 in the ISP 20. Prior to the start of the processing according to the flowchart of FIG. 16, the RAW image obtained by receiving the light from the microlens array 12 by the image sensor 13 is output from the camera module 10 and supplied to the ISP 20 to the memory 22. Shall be stored.
ステップＳ１００で、補正処理部２５は、輝度値フィッティングによりメインレンズ１１の光軸中心の、ＲＡＷ画像３２０上での座標(Ｘmx，Ｙmx)を決定する。より具体的には、補正処理部２５は、メモリ２２に格納されたＲＡＷ画像３２０の各画素の輝度値から、各マイクロレンズ像３０、３０、…の輝度値カーブの頂点の輝度値を抽出する。そして、図１７に例示されるように、各マイクロレンズ像３０、３０、…における当該頂点の各輝度値３３０に対して多項式曲面を用いてフィッティング処理を行いて輝度値がピークとなる座標を計算する。この計算された座標が、メインレンズ１１の光軸中心の座標(Ｘmx，Ｙmx)となる。なお、座標は、例えばＲＡＷ画像３２０上の画素位置を示す値を用いることができる。 In step S100, the correction processing unit 25 determines the coordinates (X mx , Y mx ) on the RAW image 320 of the optical axis center of the main lens 11 by luminance value fitting. More specifically, the correction processing unit 25 extracts the luminance value at the vertex of the luminance value curve of each microlens image 30, 30,... From the luminance value of each pixel of the RAW image 320 stored in the memory 22. . Then, as illustrated in FIG. 17, a fitting process is performed using a polynomial curved surface for each luminance value 330 of the vertex in each microlens image 30, 30,. To do. The calculated coordinates are the coordinates (X mx , Y mx ) of the optical axis center of the main lens 11. For the coordinates, for example, a value indicating a pixel position on the RAW image 320 can be used.
なお、多項式曲面によるフィッティング処理は、例えば次式（４）を用いて実行することができる。フィッティング処理に用いる数式は、式（４）に限られず、例えばフィッティング処理を行う対象のＲＡＷ画像３２０の状態に応じて適宜、選択することができる。
次に、ステップＳ１０１で、補正処理部２５は、メモリ２２に格納されたＲＡＷ画像３２０から、状態検出領域に含まれる状態検出用マイクロレンズ像３２、３２、…を検出し、各状態検出用マイクロレンズ像３２、３２、…の位置（座標）を求める。補正処理部２５は、ＲＡＷ画像３２０に対して画像マッチング処理や特徴点抽出処理などを施すことで、状態検出用マイクロレンズ像３２、３２、…を検出することができる。 Next, in step S101, the correction processing unit 25 detects the state detection microlens images 32, 32,... Included in the state detection region from the RAW image 320 stored in the memory 22, and each state detection microlens. The positions (coordinates) of the lens images 32, 32,. The correction processing unit 25 can detect the state detection microlens images 32, 32,... By performing image matching processing, feature point extraction processing, and the like on the RAW image 320.
次のステップＳ１０２で、補正処理部２５は、以下に説明するようにして、各状態検出用マイクロレンズ像３２、３２、…の位置から、各パラメータＬ’、θ’、Ａ’、ｄ、Ｄ、φおよびψを求める。 In the next step S102, the correction processing unit 25 determines each parameter L ′, θ ′, A ′, d, D from the position of each state detection microlens image 32, 32,. , Φ and ψ are obtained.
ステップＳ１０１で抽出された状態検出用マイクロレンズ像３２、３２、…の位置は、マイクロレンズアレイ１２の状態に関する値をパラメータとして含む。このパラメータは、例えば、マイクロレンズアレイ１２の中心位置の座標(Ｘc，Ｙc)とメインレンズ１１の光軸中心の座標(Ｘmx，Ｙmx)との差分を含む。また、このパラメータは、メインレンズ１１の光束の節点とマイクロレンズアレイ１２の表面との間の距離Ａ’を含む。さらに、このパラメータは、マイクロレンズアレイ１２の基盤の厚みｄと、マイクロレンズアレイ１２の裏面から撮像素子１３の受光面までの距離Ｄとを含む。さらにまた、マイクロレンズアレイ１２に傾きが存在する場合、パラメータは、上述した角度ψおよびφを含む。 The position of the state detection microlens images 32, 32,... Extracted in step S101 includes a value related to the state of the microlens array 12 as a parameter. This parameter includes, for example, a difference between the coordinates (X c , Y c ) of the center position of the microlens array 12 and the coordinates (X mx , Y mx ) of the optical axis center of the main lens 11. This parameter includes the distance A ′ between the node of the light beam of the main lens 11 and the surface of the microlens array 12. Furthermore, this parameter includes the thickness d of the substrate of the microlens array 12 and the distance D from the back surface of the microlens array 12 to the light receiving surface of the image sensor 13. Furthermore, when the microlens array 12 has an inclination, the parameters include the angles ψ and φ described above.
補正処理部２５は、マイクロレンズアレイ１２の傾きが無く（ψ＝０°、φ＝０°）、マイクロレンズアレイ１２の中心座標と、メインレンズ１１の光軸中心とが撮像素子１３の中央と一致する、理想モデルを想定する。そして、補正処理部２５は、ＲＡＷ画像３２０上の実際の各状態検出用マイクロレンズ像３２、３２、…、および、撮像マイクロレンズ領域１３０内の各マイクロレンズ１２０、１２０、…による各マイクロレンズ像３０、３０、…の座標の、この理想モデルに対する差分に基づき、最急降下法などの方法により、上述した、マイクロレンズアレイ１２の状態に関する各パラメータを求める。 The correction processing unit 25 has no inclination of the microlens array 12 (ψ = 0 °, φ = 0 °), and the center coordinates of the microlens array 12 and the optical axis center of the main lens 11 are the center of the image sensor 13. A matching ideal model is assumed. Then, the correction processing unit 25 performs actual micro lens images 32, 32,... On the RAW image 320, and micro lens images obtained by the micro lenses 120, 120,. Each parameter related to the state of the microlens array 12 described above is obtained by a method such as the steepest descent method based on the difference between the coordinates of 30, 30,.
図１８は、理想モデルにおけるマイクロレンズ像３０の結像位置ｘi’の例を示す。図１８に例示される理想モデルは、光学系の例として、マイクロレンズアレイ１２が撮像素子１３の受光面に対して平行であり（ψ＝０°）、マイクロレンズアレイ１２の基盤の屈折を無視できるモデルである。なお、理想モデルにおいては、マイクロレンズアレイ１２の基盤中心の座標(ｘc，ｙc)がメインレンズ１１の光軸中心の座標(Ｘmx，Ｙmx)と一致している。 FIG. 18 shows an example of the imaging position x i ′ of the microlens image 30 in the ideal model. In the ideal model illustrated in FIG. 18, as an example of an optical system, the microlens array 12 is parallel to the light receiving surface of the image sensor 13 (ψ = 0 °), and the refraction of the base of the microlens array 12 is ignored. It is a model that can. In the ideal model, the coordinates (x c , y c ) of the base center of the microlens array 12 coincide with the coordinates (X mx , Y mx ) of the optical axis center of the main lens 11.
図１８より、メインレンズ１１の光軸中心から距離ｘiの位置に存在するマイクロレンズ１２０（または状態検出用マイクロレンズ１２１）による像は、撮像素子１３上で、次式（５）で示される、距離ｘi’の位置に結像する。式（５）で明らかなように、マイクロレンズ１２０、１２０、…が基盤上に等間隔で並んでいる場合に、これらマイクロレンズ１２０、１２０、…により撮像素子１３上に結像されるマイクロレンズ像３０、３０、…も、等間隔で並ぶことになる。
図１９は、マイクロレンズアレイ１２が撮像素子１３の受光面に対して角度ψで傾いている場合のマイクロレンズ像３０の結像位置ｘi”の例を示す。図１９により、マイクロレンズアレイ１２が傾いている場合、メインレンズ１１の光軸中心から距離ｘiの位置に存在するマイクロレンズ１２０（または状態検出用マイクロレンズ１２１）による像は、撮像素子１３上で、次式（６）で示される、距離ｘi”の位置に結像する。式（６）から分かるように、マイクロレンズアレイ１２が傾いている場合は、マイクロレンズ１２０、１２０、…が等間隔で並んでいる状態であっても、撮像素子１３上のマイクロレンズ像３０、３０、…は、等間隔に並ばない。
実際の光学系を模擬できるモデルとして、マイクロレンズアレイ１２の全マイクロレンズ（マイクロレンズ１２０、１２０、…、および、状態検出用マイクロレンズ１２１、１２１、…）の結像位置が（６）で表わされるものとする。最急降下法の評価関数を、次式（７）で表す。式（７）において、変数Ｘiは、撮像素子１３の出力に基づくＲＡＷ画像３２０から検出された状態検出用マイクロレンズ像３２、３２、…の結像位置である。また、変数ＮMLは、マイクロレンズアレイ１２に設けられた状態検出用マイクロレンズ１２１の数を表す。
式（７）において、値Ｔが最小となる各パラメータＡ’、ｄ、Ｄ、ψを最急降下法により求めることで、実際の光学系に近似された各パラメータＡ’、ｄ、Ｄ、ψを得ることができる。この式（７）により得られた各パラメータＡ’、ｄ、Ｄ、ψを用いて、各マイクロレンズ像３０、３０、…の中心座標を生成するために必要な、マイクロレンズ間距離Ｌ’と、初期配列角θ’とを決定することができる。 In equation (7), each parameter A ′, d, D, ψ that minimizes the value T is obtained by the steepest descent method, so that each parameter A ′, d, D, ψ approximated to the actual optical system is obtained. Can be obtained. Using the parameters A ′, d, D, and ψ obtained by the equation (7), the distance L ′ between the microlenses necessary for generating the center coordinates of the microlens images 30, 30,. The initial array angle θ ′ can be determined.
式（７）により得られた各パラメータＡ’、ｄ、Ｄ、ψのうち、マイクロレンズアレイ１２の傾き成分である角度ψ＝０°として各結像位置を再計算する。すなわち、式（７）で得られた各パラメータＡ’、ｄ、Ｄを式（５）に適用して、各結像位置ｘiを再計算することになる。この再計算により、図２０に例示されるように、マイクロレンズアレイ１２の傾き成分を取り除いた状態の、各状態検出用マイクロレンズ像３２’、３２’、…の結像位置が得られる。 Of the parameters A ′, d, D, and ψ obtained by Expression (7), each imaging position is recalculated with an angle ψ = 0 ° that is a tilt component of the microlens array 12. That is, each image formation position x i is recalculated by applying each parameter A ′, d, D obtained in Expression (7) to Expression (5). By this recalculation, as illustrated in FIG. 20, the imaging positions of the respective state detection microlens images 32 ′, 32 ′,...
例えば、マイクロレンズアレイ１２の設計時に、各状態検出用マイクロレンズ１２１間の距離を、マイクロレンズ１２０間の距離Ｌと同一または整数倍としておく。これにより、再計算して得られた各状態検出用マイクロレンズ像３２’間の距離から、各マイクロレンズ１２０、１２０、…により実際に撮像素子１３に結像する各マイクロレンズ１２０による像の間の距離Ｌ’をより容易に求めることができる。例えば、距離Ｌ’は、上述した距離ｘi’と距離ｘi”との比を補正係数として用い、この補正係数と元の距離Ｌとに基づき求めることができる。距離Ｌ’は、距離ｘi’と距離ｘi”との差分と、距離Ｌとを用いて求めることも可能である。 For example, when designing the microlens array 12, the distance between the state detection microlenses 121 is set equal to or an integral multiple of the distance L between the microlenses 120. Thereby, from the distance between each state detection microlens image 32 ′ obtained by recalculation, between the images by the microlenses 120 that are actually imaged on the image sensor 13 by the microlenses 120, 120,... Can be obtained more easily. For example, the distance L ′ can be obtained based on the correction coefficient and the original distance L using the ratio between the distance x i ′ and the distance x i ″ described above as a correction coefficient. It is also possible to obtain using the difference between i ′ and the distance x i ″ and the distance L.
また例えば、マイクロレンズ１２０の初期配列角θを、状態検出用マイクロレンズ１２１の対角方向を基準とした値として設計時などに予め決めておく。これにより、再計算で得られた各状態検出用マイクロレンズ像３２’の対角ペアの結像位置を補正係数として用いて、実際に撮像素子１３に結像する各マイクロレンズ像の初期配列角θ’をより容易に求めることができる。 Further, for example, the initial array angle θ of the microlens 120 is determined in advance at the time of design or the like as a value based on the diagonal direction of the state detection microlens 121. Thus, the initial array angle of each microlens image that is actually imaged on the image sensor 13 using the imaging position of the diagonal pair of each state detection microlens image 32 ′ obtained by recalculation as a correction coefficient. θ ′ can be obtained more easily.
次に、撮像素子１３の受光面に平行な面における回転角となる角度φを考慮した、各マイクロレンズ１２０、１２０、…による実際の撮像素子１３上でのマイクロレンズ像３０、３０、…の座標(Ｘn，Ｙn)について説明する。理想モデルに対する回転軸のズレを、メインレンズ１１の光軸中心の座標(Ｘmx，Ｙmx)とする。上述したマイクロレンズアレイ１２の傾き成分を取り除いた状態において、座標(Ｘn，Ｙn)は、例えば次式（８）で表すことができる。
(Ｘn，Ｙn)＝(Ｘmx＋Ｘncosφ，Ｙmx＋Ｙnsinφ) …（８）
Next, the microlens images 30, 30,... On the actual image sensor 13 by the microlenses 120, 120,... The coordinates (X n , Y n ) will be described. The shift of the rotation axis with respect to the ideal model is defined as the coordinates (X mx , Y mx ) of the optical axis center of the main lens 11. In a state where the tilt component of the microlens array 12 is removed, the coordinates (X n , Y n ) can be expressed by the following equation (8), for example.
(X n , Y n ) = (X mx + X n cos φ, Y mx + Y n sin φ) (8)
この式（８）に基づき、各状態検出用マイクロレンズ像３２’、３２’、…の位置を用いて、例えは上述の式（７）と同様の手法により補正係数を求め、この補正係数に基づき角度φを求めることができる。 Based on this equation (8), using the position of each state detection microlens image 32 ′, 32 ′,..., For example, a correction coefficient is obtained by the same method as the above-described equation (7), Based on this, the angle φ can be obtained.
説明は、図１６のフローチャートに戻り、ステップＳ１０３で、補正処理部２５は、上述のように求められた各パラメータに従い、実際の撮像素子１３の撮像により得られたＲＡＷ画像３２０における、各マイクロレンズ像３０、３０、…の中心座標群を生成する。より具体的には、補正処理部２５は、パラメータＡ’、ｄ、Ｄ、ψから求めた距離Ｌ’および初期配列角θ’と、メインレンズ１１の光軸中心の座標(Ｘmx，Ｙmx)と、回転角φとを用いて、各マイクロレンズ像３０、３０、…の中心座標群を生成する。 Returning to the flowchart of FIG. 16, in step S <b> 103, the correction processing unit 25 determines each microlens in the RAW image 320 obtained by actual imaging by the imaging device 13 according to each parameter obtained as described above. A central coordinate group of the images 30, 30,... Is generated. More specifically, the correction processing unit 25 calculates the distance L ′ and the initial array angle θ ′ obtained from the parameters A ′, d, D, and ψ, and the coordinates (X mx , Y mx) of the optical axis center of the main lens 11. ) And the rotation angle φ, a central coordinate group of each microlens image 30, 30,... Is generated.
補正処理部２５は、生成した中心座標群を、ＲＯＭ２６に格納する。画像処理部２３は、メモリ２２から読み出したＲＡＷ画像３２０に対してリフォーカス処理を行う際に、各マイクロレンズ像３０、３０、…のＲＡＷ画像３２０に対して、ＲＯＭ２６に格納される中心座標群を適用する。これにより、画像処理部２３は、マイクロレンズアレイ１２の傾きなどに対応した、より高精度に生成された各マイクロレンズ像３０、３０、…の中心座標を、リフォーカス処理に用いることができる。 The correction processing unit 25 stores the generated central coordinate group in the ROM 26. When the image processing unit 23 performs refocus processing on the RAW image 320 read from the memory 22, the central coordinate group stored in the ROM 26 for the RAW image 320 of each of the microlens images 30, 30,. Apply. As a result, the image processing unit 23 can use the center coordinates of each of the microlens images 30, 30,... Corresponding to the inclination of the microlens array 12 and the like for the refocusing process.
なお、上述した図１６のフローチャートによる第１の実施形態に係る中心座標群生成処理は、例えば、撮像装置１の工場出荷時などにおいて、撮像装置１の調整処理の一環として実行することが考えられる。これに限らず、例えば撮像装置１３において、カメラモジュール１０など、マイクロレンズアレイ１２と撮像素子１３とを含むユニットが交換可能とされている場合、当該ユニットを交換した直後などに中心座標群生成処理を実行することが考えられる。この場合、中心座標群生成処理は、ユーザの撮像装置１に対する所定の操作に応じて実行されてもよいし、撮像装置１がユニットの装着を検知して自動的に実行してもよい。 The central coordinate group generation process according to the first embodiment according to the flowchart of FIG. 16 described above may be executed as part of the adjustment process of the imaging apparatus 1 at the time of factory shipment of the imaging apparatus 1, for example. . For example, when the unit including the microlens array 12 and the imaging element 13 such as the camera module 10 is replaceable in the imaging device 13, for example, immediately after the unit is replaced, the central coordinate group generation process is performed. Can be considered. In this case, the center coordinate group generation process may be executed in response to a predetermined operation performed by the user on the imaging device 1 or may be automatically executed when the imaging device 1 detects the unit mounting.
（第１の実施形態の第１の変形例）
次に、第１の実施形態の第１の変形例について説明する。撮像素子１３の受光面は、一般的には、被写体からの光をＲ（赤色）、Ｇ（緑色）およびＢ（青色）の３原色に分離するため、ＲＧＢ各色によるカラーフィルタが画素毎に設けられている。本第１の変形例では、撮像素子１３において状態検出用マイクロレンズ１２１、１２１、…からの光を受光する領域を、白色を検知する領域として構成する。
(First modification of the first embodiment)
Next, a first modification of the first embodiment will be described. In general, the light receiving surface of the image sensor 13 separates light from a subject into three primary colors of R (red), G (green), and B (blue), so that color filters for each color of RGB are provided for each pixel. It has been. In the first modification, an area that receives light from the state detection microlenses 121, 121,... In the image sensor 13 is configured as an area that detects white.
図２１は、本第１の変形例に係る撮像素子１３の受光面と、受光面上の各マイクロレンズ像３０，３０、…および状態検出用マイクロレンズ像３２、３２、…の例を示す。なお、この例では、各マイクロレンズ像３０および各状態検出用マイクロレンズ像３２を生成するために、図１２を用いて説明したマイクロレンズアレイ１２を用いている。 FIG. 21 shows an example of the light receiving surface of the image sensor 13 according to the first modification, the microlens images 30, 30,... And the state detection microlens images 32, 32,. In this example, in order to generate each microlens image 30 and each state detection microlens image 32, the microlens array 12 described with reference to FIG. 12 is used.
図２１において、状態検出用マイクロレンズ像３２、３２、…の受光位置と、当該受光位置を含む所定範囲が、白色を検知する白色検知領域１２３として構成されている。白色検知領域１２３は、例えば、撮像素子１３の白色検知領域１２３に対応する画素にカラーフィルタを設けないことで構成することができる。 In FIG. 21, a light receiving position of the state detection microlens images 32, 32,... And a predetermined range including the light receiving position are configured as a white color detection region 123 for detecting white color. For example, the white color detection region 123 can be configured by not providing a color filter in a pixel corresponding to the white color detection region 123 of the image sensor 13.
撮像素子１３の状態検出用マイクロレンズ像３２、３２、…の受光位置を白色検知領域１３１とすることで、より低光量の環境においても高精度な中心座標群の生成が可能となる。 By setting the light receiving position of the state detection microlens images 32, 32,... Of the image pickup device 13 as the white detection region 131, it is possible to generate a center coordinate group with high accuracy even in a lower light quantity environment.
（第１の実施形態の第２の変形例）
次に、第１の実施形態の第２の変形例について説明する。上述の第１の実施形態では、マイクロレンズアレイ１２の状態検出用に、マイクロレンズアレイ１２に対して状態検出用マイクロレンズ１２１、１２１、…を設けたが、これはこの例に限定されない。すなわち、撮像素子１３においてマイクロレンズ像３０、３０、…が形成される領域の外周部に所定の像を形成可能であれば、マイクロレンズアレイ１２における撮像マイクロレンズ領域１３０の外周部の構成は、他の構成であってもよい。
(Second modification of the first embodiment)
Next, a second modification of the first embodiment will be described. In the first embodiment described above, the state detection microlenses 121, 121,... Are provided for the microlens array 12 for state detection of the microlens array 12, but this is not limited to this example. That is, if a predetermined image can be formed on the outer periphery of the region where the microlens images 30, 30,... Are formed in the image sensor 13, the configuration of the outer periphery of the imaging microlens region 130 in the microlens array 12 is Other configurations may be used.
図２２は、本第２の変形例によるマイクロレンズアレイ１２’の一例の構成を示す。図２２に例示されるように、本第２の変形例では、撮像マイクロレンズ領域１３０の外周部に対し、状態検出用マイクロレンズ１２１、１２１、…の代わりに、アパーチャ１２２、１２２、…を設ける。アパーチャ１２２は、アパーチャ１２２を通過した光が撮像素子１３に形成する像の径が、マイクロレンズ１２０の径よりも小さくなるように構成する。また、アパーチャ１２２、１２２、…が設けられる領域は、蒸着や鍍金、塗布などの手法を用いて遮光した遮光領域１３２とする。 FIG. 22 shows an exemplary configuration of the microlens array 12 ′ according to the second modification. As illustrated in FIG. 22, in the second modification, apertures 122, 122,... Are provided on the outer periphery of the imaging microlens region 130 instead of the state detection microlenses 121, 121,. . The aperture 122 is configured such that the diameter of the image formed on the image sensor 13 by the light that has passed through the aperture 122 is smaller than the diameter of the microlens 120. In addition, a region where the apertures 122, 122,... Are provided is a light shielding region 132 that is shielded by using a method such as vapor deposition, plating, coating, or the like.
このように、撮像マイクロレンズ領域１３０の外周部に、内径が適切に設計されたアパーチャ１２２、１２２、…を設けることで、撮像素子１３におけるマイクロレンズ像３０、３０、…の形成領域の外周部に、状態検出用マイクロレンズ像３２、３２、…に対応する所定の像を形成できる。補正処理部２５は、アパーチャ１２２、１２２、…により形成された像に基づき、上述した図１６のフローチャートによる処理を実行する。 As described above, by providing the apertures 122, 122,... With appropriately designed inner diameters in the outer peripheral portion of the imaging microlens region 130, the outer peripheral portion of the formation region of the microlens images 30, 30,. In addition, a predetermined image corresponding to the state detection microlens images 32, 32,... Can be formed. The correction processing unit 25 executes the processing according to the flowchart of FIG. 16 described above based on the image formed by the apertures 122, 122,.
マイクロレンズアレイ１２の状態検出用にアパーチャ１２２、１２２、…を用いることで、状態検出用マイクロレンズ１２１、１２１、…を設けた場合に比べてマイクロレンズアレイ１２のコストを低減することが可能である。 By using the apertures 122, 122,... For detecting the state of the microlens array 12, it is possible to reduce the cost of the microlens array 12 compared to the case where the state detecting microlenses 121, 121,. is there.
（第１の実施形態の第３の変形例）
次に、第１の実施形態の第３の変形例について説明する。図２３は、本第３の変形例によるマイクロレンズアレイ１２”の一例の構成を示す。図２３に例示されるように、本第３の変形例では、状態検出用マイクロレンズ１２１、１２１、…の一部を直線状のレンチキュラーレンズ１２３に置き換えて、マイクロレンズアレイ１２”を構成する。図２３の例では、レンチキュラーレンズ１２４は、撮像マイクロレンズ領域１３０の長辺側の外周に平行に設けられている。また、レンチキュラーレンズ１２４は、短辺方向の幅をマイクロレンズ１２０の径よりも狭く構成する。
(Third Modification of First Embodiment)
Next, a third modification of the first embodiment will be described. FIG. 23 shows an example of the configuration of a microlens array 12 ″ according to the third modification. As illustrated in FIG. 23, in the third modification, state detection microlenses 121, 121,. Is replaced with a linear lenticular lens 123 to form a microlens array 12 ″. In the example of FIG. 23, the lenticular lens 124 is provided in parallel to the outer periphery on the long side of the imaging microlens region 130. Further, the lenticular lens 124 is configured such that the width in the short side direction is narrower than the diameter of the microlens 120.
図２３の構成によれば、レンチキュラーレンズ１２４は、撮像素子１３上に、理想的なモデルにおいては直線状に結像する。補正処理部２５は、この理想モデルにおけるレンチキュラーレンズ１２４の像と、実際に撮像素子１３上に結像されるレンチキュラーレンズ１２４による像との差分に基づき、中心座標群を求めるための補正係数を決定する。 According to the configuration of FIG. 23, the lenticular lens 124 forms an image on the image sensor 13 in a straight line in an ideal model. The correction processing unit 25 determines a correction coefficient for obtaining a central coordinate group based on the difference between the image of the lenticular lens 124 in this ideal model and the image of the lenticular lens 124 that is actually imaged on the image sensor 13. To do.
（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態は、上述の第１の実施形態による構成に対して、マイクロレンズアレイ１２の基盤における光の屈折を考慮した例である。すなわち、各マイクロレンズ１２０、１２０、…を通過する主光線は、マイクロレンズアレイ１２が構成されるマイクロレンズアレイ基盤の屈折率により屈折される。そのため、各マイクロレンズ像３０、３０、…は、メインレンズ１１の光軸からの距離に応じて等間隔からずれていくことになる。したがって、実際には、各マイクロレンズ像３０、３０、…の中心座標は、上述した各パラメータにより計算される各座標に対して、メインレンズ１１の光軸からの距離に依存した多項式などにより求めた補正係数により補正して求める。
(Second Embodiment)
Next, a second embodiment will be described. The second embodiment is an example in which light refraction at the base of the microlens array 12 is taken into consideration with respect to the configuration according to the first embodiment described above. In other words, the chief ray passing through each of the microlenses 120, 120,... Is refracted by the refractive index of the microlens array base on which the microlens array 12 is configured. Therefore, the microlens images 30, 30,... Deviate from equal intervals according to the distance from the optical axis of the main lens 11. Therefore, in practice, the center coordinates of the microlens images 30, 30,... Are obtained by a polynomial or the like depending on the distance from the optical axis of the main lens 11 with respect to the coordinates calculated by the parameters described above. It is obtained by correcting with the correction coefficient.
なお、第２の実施形態では、上述の第１の実施形態において図１を用いて説明した撮像装置１の構成をそのまま適用できるため、ここでの詳細な説明は省略する。 In the second embodiment, since the configuration of the imaging device 1 described with reference to FIG. 1 in the first embodiment can be applied as it is, detailed description thereof is omitted here.
図２４を用いて、マイクロレンズアレイ１２の基盤における光の屈折による作用について、より具体的に説明する。マイクロレンズアレイ１２の基盤の屈折率ｎを無視した場合において、メインレンズ１１による節点ｚ0からの光が、各マイクロレンズ１２０0、１２０1、１２０2および１２０3を通って撮像素子１３上の位置ｘ0、ｘ1、ｘ2およびｘ3にそれぞれ照射されるものとする。 The action of light refraction at the base of the microlens array 12 will be described more specifically with reference to FIG. When the refractive index n of the base of the microlens array 12 is ignored, light from the node z 0 by the main lens 11 passes through the microlenses 120 0 , 120 1 , 120 2, and 120 3 on the image sensor 13. Assume that the positions x 0 , x 1 , x 2 and x 3 are respectively irradiated.
実際には、マイクロレンズアレイ１２の基盤は所定の屈折率ｎを持つため、マイクロレンズアレイ１２に入射角が０°を超えて照射された光は、マイクロレンズアレイ１２内で屈折率ｎに従い進行方向が変化する。すなわち、各マイクロレンズ１２０0、１２０1、１２０2および１２０3のうち、入射角が略０°となるマイクロレンズ１２０0を除く、各マイクロレンズ１２０1、１２０2および１２０3から出射される光は、それぞれ光路５０1、５０2および５０3として例示されるように、屈折率ｎを無視した場合の光路よりも内側（メインレンズ１１の光軸側）に光路が変更される。 Actually, since the base of the microlens array 12 has a predetermined refractive index n, the light irradiated to the microlens array 12 with an incident angle exceeding 0 ° proceeds in the microlens array 12 according to the refractive index n. The direction changes. In other words, each microlens 120 0, 120 1, 120 of the two and 120 3, except the micro lenses 120 0 the incident angle is substantially 0 °, the light emitted from each micro-lens 120 1, 120 2 and 120 3 As shown as optical paths 50 1 , 50 2, and 50 3 , respectively, the optical path is changed to the inner side (the optical axis side of the main lens 11) than the optical path when the refractive index n is ignored.
したがって、各マイクロレンズ１２０1、１２０2および１２０3から出射される光は、屈折率ｎを無視した場合の各光の照射位置ｘ1、ｘ2およびｘ3に対して、それぞれ差分Δｘ1、Δｘ2およびΔｘ3だけ、位置ｘ0側にずれて、撮像素子１３に照射される。これら、差分Δｘ1、Δｘ2およびΔｘ3は、入射角０°を原点とする、撮像素子１３における位置ｘに関する多項式（例えば３次式）で表すことができる。この位置ｘに関する多項式が、像高依存性に対する補正係数となる。以下、この位置ｘに関する多項式を、関数ｆ(ｘ)と表す。 Therefore, the light emitted from each of the microlenses 120 1 , 120 2, and 120 3 has a difference Δx 1 with respect to the irradiation positions x 1 , x 2, and x 3 of each light when the refractive index n is ignored, The image sensor 13 is irradiated with a shift of Δx 2 and Δx 3 to the position x 0 side. These differences Δx 1 , Δx 2, and Δx 3 can be expressed by a polynomial (for example, a cubic equation) related to the position x in the image sensor 13 with the incident angle being 0 °. The polynomial for this position x is a correction coefficient for the image height dependency. Hereinafter, a polynomial related to the position x is represented as a function f (x).
図２５は、この第２の実施形態に係るマイクロレンズ像の中心画像群の生成処理の例を示すフローチャートである。図２５のフローチャートによる各処理は、図１６を用いて説明した処理と同様に、ＩＳＰ２０内の補正処理部２５にて実行される。また、図２５のフローチャートによる処理の開始に先立って、マイクロレンズアレイ１２からの光が撮像素子１３に受光されて得られたＲＡＷ画像３２０がカメラモジュール１０から出力されてＩＳＰ２０に供給され、メモリ２２に格納されるものとする。 FIG. 25 is a flowchart showing an example of the generation processing of the central image group of the microlens image according to the second embodiment. Each process according to the flowchart of FIG. 25 is executed by the correction processing unit 25 in the ISP 20 in the same manner as the process described with reference to FIG. Prior to the start of the processing according to the flowchart of FIG. 25, the RAW image 320 obtained by receiving the light from the microlens array 12 by the imaging device 13 is output from the camera module 10 and supplied to the ISP 20, and the memory 22. Shall be stored in
図２５のフローチャートにおいて、ステップＳ２００〜ステップＳ２０２は、上述した図１６のフローチャートのステップＳ１００〜ステップＳ１０２と同様である。すなわち、ステップＳ２００で、補正処理部２５は、輝度値フィッティングによりメインレンズ１１の光軸中心の、ＲＡＷ画像３２０上での座標(Ｘmx，Ｙmx)を決定する。次のステップＳ２０１で、補正処理部２５は、メモリ２２に格納されたＲＡＷ画像３２０から状態検出用マイクロレンズ像１２１、１２１、…を検出し、各状態検出用マイクロレンズ像１２１、１２１、…の位置（座標）を求める。そして、ステップＳ２０２で、補正処理部２５は、上述したようにして、式（５）〜式（８）に基づき、各状態検出用マイクロレンズ像１２１、１２１、…の位置から、各パラメータＬ’、θ’、Ａ’、ｄ、Ｄ、φおよびψを求める。そして、図１６のステップＳ１０３の処理に従い、各マイクロレンズ像３０、３０、…の中心座標群を生成する。 In the flowchart of FIG. 25, steps S200 to S202 are the same as steps S100 to S102 of the flowchart of FIG. That is, in step S200, the correction processing unit 25 determines the coordinates (X mx , Y mx ) on the RAW image 320 of the optical axis center of the main lens 11 by luminance value fitting. In the next step S201, the correction processing unit 25 detects the state detection microlens images 121, 121,... From the RAW image 320 stored in the memory 22, and the state detection microlens images 121, 121,. Find the position (coordinates). In step S202, the correction processing unit 25 determines each parameter L ′ from the position of each state detection microlens image 121, 121,... Based on the equations (5) to (8) as described above. , Θ ′, A ′, d, D, φ, and ψ. Then, according to the processing of step S103 in FIG. 16, a central coordinate group of each microlens image 30, 30,.
次に、補正処理部２５は、ステップＳ２０３で、像高依存性に対する補正係数を決定する。すなわち、ステップＳ２０３では、補正処理部２５は、マイクロレンズアレイ１２の基盤の既知の屈折率ｎを考慮した場合の、基盤の各位置における補正係数を求める。 Next, the correction | amendment process part 25 determines the correction coefficient with respect to image height dependence by step S203. That is, in step S203, the correction processing unit 25 obtains a correction coefficient at each position of the substrate when the known refractive index n of the substrate of the microlens array 12 is considered.
より具体的には、補正処理部２５は、像高の比較的低い領域、例えば、撮像マイクロレンズ領域１３０内において、中心から所定範囲内の各マイクロレンズ１２０、１２０、…による各マイクロレンズ像３０、３０、…における中心座標の撮像素子１３上での位置を、ＲＡＷ画像３２０から取得する。このように、像高の比較的低い領域のマイクロレンズ像３０は、像高の高い領域のマイクロレンズ像と比較して、像の歪みが小さいことが期待できる。そのため、マイクロレンズ像３０が状態検出用マイクロレンズ像３２のように点像ではなくても、高い精度で中心座標を得ることができると考えられる。 More specifically, the correction processing unit 25 in each of the microlens images 30 by the microlenses 120, 120,... Within a predetermined range from the center in a relatively low image height area, for example, the imaging microlens area 130. , 30,... Are acquired from the RAW image 320. As described above, it can be expected that the microlens image 30 in the region having a relatively low image height has a smaller image distortion than the microlens image in the region having a high image height. Therefore, even if the microlens image 30 is not a point image like the state detection microlens image 32, it is considered that the center coordinates can be obtained with high accuracy.
補正処理部２５は、ステップＳ２０２までで生成された各パラメータＬ’、θ’、Ａ’、ｄ、Ｄ、φおよびψに従い生成された各マイクロレンズ像３０、３０、…の中心座標群と、ＲＡＷ画像３２０から取得した中心座標群との差分に基づき、像高依存性に対する補正係数である関数ｆ(ｘ)を求める。 The correction processing unit 25 includes a central coordinate group of the microlens images 30, 30,... Generated according to the parameters L ′, θ ′, A ′, d, D, φ, and ψ generated up to step S202, Based on the difference from the central coordinate group acquired from the RAW image 320, a function f (x) that is a correction coefficient for image height dependency is obtained.
次のステップＳ２０４で、補正処理部２５は、ステップＳ２０３で求めた補正係数を用いて、ステップＳ２０２で生成された中央座標群に含まれる各マイクロレンズ像３０、３０、…の各中心座標を補正する。 In the next step S204, the correction processing unit 25 corrects the central coordinates of the microlens images 30, 30,... Included in the central coordinate group generated in step S202, using the correction coefficient obtained in step S203. To do.
補正処理部２５は、補正した中心座標群を、ＲＯＭ２６に格納する。画像処理部２３は、マイクロレンズアレイ１２の傾きなどに対応し、且つ、像高依存性による影響が抑制された各マイクロレンズ像３０、３０、…の中心座標を用いて、より高精度なリフォーカス処理を実行することができる。 The correction processing unit 25 stores the corrected center coordinate group in the ROM 26. The image processing unit 23 uses a center coordinate of each microlens image 30, 30,... Corresponding to the inclination of the microlens array 12 and the influence of the image height dependency is suppressed. Focus processing can be executed.
（第３の実施形態）
上述では、補正処理部２５が撮像装置１に内蔵されるように説明したが、これはこの例に限定されない。本第３の実施形態は、補正処理部２５を撮像装置１に対する外部装置として構成した例である。この場合、補正処理部２５は、専用のハードウェアによって構成してもよいし、コンピュータなどの汎用の情報処理装置上で動作する中心座標群生成プログラムとして構成することもできる。
(Third embodiment)
In the above description, the correction processing unit 25 has been described as being built in the imaging apparatus 1, but this is not limited to this example. The third embodiment is an example in which the correction processing unit 25 is configured as an external device for the imaging device 1. In this case, the correction processing unit 25 may be configured by dedicated hardware, or may be configured as a central coordinate group generation program that operates on a general-purpose information processing device such as a computer.
補正処理部２５を中心座標群生成プログラムとして構成する場合、当該プログラムは、ＣＤ(Compact Disk)やＤＶＤ(Digital Versatile Disk)といった記録媒体に記録した状態で提供してもよいし、インターネットなどのネットワークを介して提供してもよい。中心座標群生成プログラムは、情報処理装置に供給されると、当該情報処理装置が有するハードディスクドライブや不揮発性メモリといったストレージ装置に所定の手順で格納され、情報処理装置にインストールされる。中心座標群生成プログラムは、実行時には、当該情報処理装置が有するＣＰＵ(Central Processing Unit)によりストレージ装置から読み出され、ＲＡＭ(Random Access Memory)などによる主記憶装置上に展開され、ＣＰＵにより実行される。 When the correction processing unit 25 is configured as a central coordinate group generation program, the program may be provided in a state of being recorded on a recording medium such as a CD (Compact Disk) or a DVD (Digital Versatile Disk), or a network such as the Internet. May be provided via. When the central coordinate group generation program is supplied to the information processing apparatus, the central coordinate group generation program is stored in a predetermined procedure in a storage apparatus such as a hard disk drive or a nonvolatile memory included in the information processing apparatus, and is installed in the information processing apparatus. At the time of execution, the central coordinate group generation program is read from the storage device by a CPU (Central Processing Unit) included in the information processing device, expanded on a main storage device such as a RAM (Random Access Memory), and executed by the CPU. The
撮像装置１は、状態検出用マイクロレンズ像３２を含むＲＡＷ画像３２０をメモリ２２から読み出し、当該ＲＡＷ画像３２０を、着脱可能な不揮発性メモリや図示されないデータＩ／Ｆを介して、中心座標群生成プログラムが搭載される情報処理装置に渡す。情報処理装置において、中心座標群生成プログラムが実行され、渡されたＲＡＷ画像３２０に基づき図１６または図２５のフローチャートによる中心座標群生成処理が実行され、中心座標群が生成される。生成された中心座標群は、着脱可能な不揮発性メモリやデータＩ／Ｆを介して撮像装置１に渡され、ＲＯＭ２６に格納される。 The imaging apparatus 1 reads out the RAW image 320 including the state detection microlens image 32 from the memory 22, and generates the center coordinate group using the detachable nonvolatile memory and the data I / F (not shown). The program is passed to the information processing device. In the information processing apparatus, a center coordinate group generation program is executed, and a center coordinate group generation process according to the flowchart of FIG. 16 or FIG. 25 is executed based on the passed RAW image 320, thereby generating a center coordinate group. The generated central coordinate group is transferred to the imaging device 1 via a removable nonvolatile memory or data I / F and stored in the ROM 26.
このように、補正処理部２５を撮像装置１の外部の装置上に構成することで、撮像装置１の構成が簡略化でき、例えば撮像装置１自体のコストを低減させることができる。 In this way, by configuring the correction processing unit 25 on an apparatus outside the imaging apparatus 1, the configuration of the imaging apparatus 1 can be simplified, and for example, the cost of the imaging apparatus 1 itself can be reduced.
（第３の実施形態の変形例）
次に、第３の実施形態の変形例について説明する。本変形例では、補正処理部２５を、インターネットなどのネットワーク上に接続されるサーバ装置上に構成する。この場合、撮像装置１がインターネットに接続可能に構成してもよいし、撮像装置１で撮像されて得られたＲＡＷ画像３２０をインターネットに接続可能に構成された情報処理装置に転送するようにしてもよい。
(Modification of the third embodiment)
Next, a modification of the third embodiment will be described. In this modification, the correction processing unit 25 is configured on a server device connected to a network such as the Internet. In this case, the imaging apparatus 1 may be configured to be connectable to the Internet, or the RAW image 320 obtained by capturing with the imaging apparatus 1 may be transferred to an information processing apparatus configured to be connectable to the Internet. Also good.
サーバ装置は、撮像装置１や情報処理装置から送信されたＲＡＷ画像３２０をネットワークを介して受信し、受信したＲＡＷ画像３２０に基づき図１６または図２５のフローチャートによる中心座標群生成処理を実行する。サーバ装置は、中心座標群生成処理により生成された中心画像群をネットワークを介して撮像装置１や情報処理装置に転送する。 The server device receives the RAW image 320 transmitted from the imaging device 1 or the information processing device via the network, and executes center coordinate group generation processing according to the flowchart of FIG. 16 or 25 based on the received RAW image 320. The server device transfers the central image group generated by the central coordinate group generation process to the imaging device 1 and the information processing device via the network.
このように、補正処理部２５をインターネットなどネットワークに接続されるサーバ装置上に構成することで、撮像装置１の構成が簡略化でき、例えば撮像装置１自体のコストを低減させることができる。さらに、コンピュータなどの情報処理装置に対して中心座標群生成プログラムをインストールする手間も省かれる。 As described above, by configuring the correction processing unit 25 on a server device connected to a network such as the Internet, the configuration of the imaging device 1 can be simplified, and for example, the cost of the imaging device 1 itself can be reduced. Furthermore, the trouble of installing the central coordinate group generation program in an information processing apparatus such as a computer is saved.
なお、本発明は上述した各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 Note that the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the components without departing from the scope of the invention in the implementation stage. Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiments. For example, some components may be deleted from all the components shown in each embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
１ 撮像装置
１０ カメラモジュール
１１ メインレンズ
１２，１２’，１２” マイクロレンズアレイ
１３ 撮像素子
２０ ＩＳＰ
２１ カメラモジュールＩ／Ｆ
２２ メモリ
２３ 画像処理部
２５ 補正処理部
２６ ＲＯＭ
３０，３０”，３０0，３０1，３０2，３０3， マイクロレンズ像
３２ 状態検出用マイクロレンズ像
１２０，１２０ａ1，１２０ｂ1，１２０ｃ マイクロレンズ
１２１ 状態検出用マイクロレンズ
１２２ アパーチャ
１２３ レンチキュラーレンズ
３００ 画像
３２０ ＲＡＷ画像
DESCRIPTION OF SYMBOLS 1 Imaging device 10 Camera module 11 Main lens 12, 12 ', 12 "Micro lens array 13 Imaging element 20 ISP
21 Camera module I / F
22 Memory 23 Image processing unit 25 Correction processing unit 26 ROM
30, 30 ″, 30 0 , 30 1 , 30 2 , 30 3 , micro lens image 32 micro lens image for state detection 120, 120 a 1 , 120 b 1 , 120 c micro lens 121 micro lens for state detection 122 aperture 123 lenticular lens 300 Image 320 RAW image
Claims (10)
前記撮像マイクロレンズ領域の外周部に設けられ、前記マイクロレンズの結像面において該マイクロレンズが結像する像よりも小さい径の像を生成する状態検出部と
を備える固体撮像素子用のマイクロレンズアレイ。 A plurality of microlenses provided in the imaging microlens region to form a two-dimensional image;
A microlens for a solid-state imaging device, which is provided on an outer peripheral portion of the imaging microlens region, and includes a state detection unit that generates an image having a smaller diameter than an image formed by the microlens on the imaging surface of the microlens array.
ことを特徴とする請求項１に記載の固体撮像素子用のマイクロレンズアレイ。 The microlens array for a solid-state imaging device according to claim 1, wherein the state detection unit includes a microlens.
ことを特徴とする請求項１または請求項２に記載の固体撮像素子用のマイクロレンズアレイ。 The micro lens array for a solid-state imaging device according to claim 1, wherein the state detection unit includes a lenticular lens.
ことを特徴とする請求項１乃至請求項３の何れか１項に記載の固体撮像素子用のマイクロレンズアレイ。 The micro lens array for a solid-state imaging device according to any one of claims 1 to 3, wherein the state detection unit includes an aperture.
前記固体撮像素子用のマイクロレンズアレイからの光を受光し、受光された光を画素毎に電気信号に変換して出力する撮像素子と
を有する
ことを特徴とする固体撮像素子。 A microlens array for a solid-state imaging device according to any one of claims 1 to 4,
A solid-state imaging device comprising: an imaging device that receives light from the microlens array for the solid-state imaging device, converts the received light into an electrical signal for each pixel, and outputs the electrical signal.
前記固体撮像素子用のマイクロレンズアレイのうち前記状態検出部からの光が受光される領域の画素にはカラーフィルタを設けない
ことを特徴とする請求項５に記載の固体撮像素子。 The image sensor is
6. The solid-state image pickup device according to claim 5, wherein a color filter is not provided in a pixel in a region where light from the state detection unit is received in the microlens array for the solid-state image pickup device.
前記状態検出部からの光を用いて前記複数のマイクロレンズそれぞれの中心座標を補正するための補正係数を算出する補正部と
を有する
ことを特徴とする撮像装置。 A solid-state imaging device according to claim 5 or 6,
An image pickup apparatus comprising: a correction unit that calculates a correction coefficient for correcting center coordinates of each of the plurality of microlenses using light from the state detection unit.
前記撮像素子の出力に基づき、前記撮像マイクロレンズ領域に対する光軸の中心位置と、前記状態検出部からの光が前記撮像素子に受光される受光位置とを取得し、取得した前記中心位置と前記受光位置と、理想モデルにおける前記中心位置と前記受光位置との差分に基づき、前記撮像素子上での前記複数のマイクロレンズそれぞれの位置情報を補正する
ことを特徴とする請求項７に記載の撮像装置。 The correction unit is
Based on the output of the imaging device, the center position of the optical axis with respect to the imaging microlens region and the light receiving position at which the light from the state detection unit is received by the imaging device are acquired. 8. The imaging according to claim 7, wherein position information of each of the plurality of microlenses on the imaging element is corrected based on a light receiving position and a difference between the center position and the light receiving position in an ideal model. apparatus.
さらに、前記撮像素子の、前記撮像マイクロレンズ領域からの光を受光した出力に基づき像高依存性の補正係数を求め、前記差分と前記補正係数とに基づき、前記撮像素子上での前記複数のマイクロレンズそれぞれの位置情報を補正する
ことを特徴とする請求項８に記載の撮像装置。 The correction unit is
Further, an image height-dependent correction coefficient is obtained based on an output of the image sensor that receives light from the imaging microlens region, and the plurality of the image sensors on the image sensor are obtained based on the difference and the correction coefficient. The image pickup apparatus according to claim 8, wherein position information of each microlens is corrected.
被写体からの光を前記固体撮像素子に導くメインレンズと
を有し、
前記固体撮像素子用のマイクロレンズアレイは、前記メインレンズと前記撮像素子との間に設けられる
ことを特徴とするレンズユニット。 A solid-state imaging device according to claim 5 or 6,
A main lens that guides light from the subject to the solid-state image sensor,
The lens unit, wherein the microlens array for the solid-state imaging device is provided between the main lens and the imaging device.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014181543A JP2015084089A (en) | 2013-09-19 | 2014-09-05 | Microlens array for solid state image pickup element, solid state image pickup element, imaging device and lens unit |
| US14/481,999 US9596402B2 (en) | 2013-09-19 | 2014-09-10 | Microlens array for solid-state image sensing device, solid-state image sensing device, imaging device, and lens unit |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013194666 | 2013-09-19 | ||
| JP2013194666 | 2013-09-19 | ||
| JP2014181543A JP2015084089A (en) | 2013-09-19 | 2014-09-05 | Microlens array for solid state image pickup element, solid state image pickup element, imaging device and lens unit |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015084089A true JP2015084089A (en) | 2015-04-30 |
Family
ID=52667618
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014181543A Pending JP2015084089A (en) | 2013-09-19 | 2014-09-05 | Microlens array for solid state image pickup element, solid state image pickup element, imaging device and lens unit |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9596402B2 (en) |
| JP (1) | JP2015084089A (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11037277B2 (en) * | 2017-08-25 | 2021-06-15 | Canon Kabushiki Kaisha | Image processing apparatus, imaging apparatus, lens apparatus, and image processing method |
| EP3988893A4 (en) | 2019-06-21 | 2023-01-11 | Sony Interactive Entertainment Inc. | Position detection system, image processing device, position detection method, and position detection program |
| DE102019007311B3 (en) * | 2019-10-21 | 2020-09-24 | SEW-EURODRlVE GmbH & Co. KG | Receiver for a system for light transmission, system for light transmission and method for operating a system for light transmission |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101147392B (en) * | 2005-03-24 | 2012-05-09 | 松下电器产业株式会社 | Imaging device and lens array used therein |
| JP4706882B2 (en) | 2009-02-05 | 2011-06-22 | ソニー株式会社 | Imaging device |
| EP2244484B1 (en) | 2009-04-22 | 2012-03-28 | Raytrix GmbH | Digital imaging method for synthesizing an image using data recorded with a plenoptic camera |
| JP5351195B2 (en) * | 2011-03-08 | 2013-11-27 | 株式会社東芝 | Solid-state imaging device and portable information terminal |
| JP2012205014A (en) | 2011-03-24 | 2012-10-22 | Casio Comput Co Ltd | Manufacturing device and manufacturing method of imaging apparatus, and imaging apparatus |
-
2014
- 2014-09-05 JP JP2014181543A patent/JP2015084089A/en active Pending
- 2014-09-10 US US14/481,999 patent/US9596402B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20150077585A1 (en) | 2015-03-19 |
| US9596402B2 (en) | 2017-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11856291B2 (en) | Thin multi-aperture imaging system with auto-focus and methods for using same | |
| JP6091176B2 (en) | Image processing method, image processing program, image processing apparatus, and imaging apparatus | |
| KR101627087B1 (en) | Image processing apparatus, image processing method and storage medium, and image pickup apparatus including image processing apparatus | |
| JP5984493B2 (en) | Image processing apparatus, image processing method, imaging apparatus, and program | |
| JP5591851B2 (en) | Solid-state imaging device and portable information terminal | |
| KR101725045B1 (en) | Image processing apparatus and control method thereof | |
| JP6189061B2 (en) | Solid-state imaging device | |
| JP5826901B2 (en) | Imaging apparatus and optical axis position calculation method | |
| JP2015084089A (en) | Microlens array for solid state image pickup element, solid state image pickup element, imaging device and lens unit | |
| US9143762B2 (en) | Camera module and image recording method | |
| JP2009047734A (en) | Imaging apparatus and image processing program | |
| JP6362070B2 (en) | Image processing apparatus, imaging apparatus, image processing method, program, and storage medium | |
| WO2019202984A1 (en) | Image capturing device, distance measuring method, distance measuring program, and recording medium | |
| JP2015060121A (en) | Color filter array and solid-state imaging element | |
| JP2009047735A (en) | Imaging apparatus and image processing program | |
| JP2019219594A (en) | Processing apparatus, imaging apparatus, interchangeable lens, processing method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20151102 |