JP6569769B2 - Arbitrary viewpoint image composition method and image processing apparatus - Google Patents

Arbitrary viewpoint image composition method and image processing apparatus Download PDF

Info

Publication number
JP6569769B2
JP6569769B2 JP2018084081A JP2018084081A JP6569769B2 JP 6569769 B2 JP6569769 B2 JP 6569769B2 JP 2018084081 A JP2018084081 A JP 2018084081A JP 2018084081 A JP2018084081 A JP 2018084081A JP 6569769 B2 JP6569769 B2 JP 6569769B2
Authority
JP
Japan
Prior art keywords
blur
image
lens
pupil
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018084081A
Other languages
Japanese (ja)
Other versions
JP2018157573A (en
Inventor
萩原 恒幸
恒幸 萩原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2018084081A priority Critical patent/JP6569769B2/en
Publication of JP2018157573A publication Critical patent/JP2018157573A/en
Application granted granted Critical
Publication of JP6569769B2 publication Critical patent/JP6569769B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Cameras In General (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、任意視点画像合成方法及び画像処理装置に関するものである。   The present invention relates to an arbitrary viewpoint image composition method and an image processing apparatus.

従来、物体を撮像した画像を、焦点位置が異なる複数の画像(多焦点画像)を重ね合わせモデルに基づく恒等式に代入することで、奥行き毎に鮮鋭度の調整(焦点の調整)を行った任意焦点画像等を生成する技術が提案されている(特許文献1)。特許文献1に記載の発明では、ボケ状態を変換するために、多焦点画像ごとにボケ状態を変換してから、これらの複数のボケ状態を変換したボケ画像の強度和を得ている。   Conventionally, an image obtained by picking up an image of an object is arbitrarily adjusted by adjusting sharpness (focus adjustment) for each depth by substituting multiple images with different focal positions (multifocal images) into an identity based on a superposition model. A technique for generating a focus image or the like has been proposed (Patent Document 1). In the invention described in Patent Document 1, in order to convert the blur state, the blur state is converted for each multifocal image, and then the intensity sum of the blur image obtained by converting the plurality of blur states is obtained.

米国特許第6571023号明細書US Pat. No. 6,571,023

しかしながら、この方法では、多焦点画像群の画像ごとにボケ状態を変更する時に、大きな変換ノイズを発生するため、ピントの合っていない領域が汚いボケになり、良好な画像が得られなかった。それを改善するため、反復計算をすることも提案されているが、不十分であった。   However, in this method, when the blur state is changed for each image in the multifocal image group, a large conversion noise is generated. Therefore, an out-of-focus area becomes dirty and a good image cannot be obtained. In order to improve it, it has also been proposed to perform iterative calculation, but it was insufficient.

本発明は上記事情に鑑みてなされたものであり、ピントの合っていない領域が美しいボケになるよう任意のボケ画像を生成することができる任意視点画像合成方法及び画像処理装置を提供することを目的とする。   The present invention has been made in view of the above circumstances, and provides an arbitrary viewpoint image composition method and an image processing apparatus capable of generating an arbitrary blurred image so that an out-of-focus area is beautifully blurred. Objective.

本発明の一態様では、任意視点画像合成方法は、撮像装置が有するレンズの光軸方向に応じたシフト量を有する第1ボケ関数で表されるボケをそれぞれ含む複数のフォーカス画像に対して、任意の大きさのボケを表す第2ボケ関数をコンボリューションすることによるボケ処理を実行しボケ処理が実行された複数のフォーカス画像の積分結果に対して先鋭化処理を実行することにより、任意のボケが付与された画像を生成するIn this onset bright aspect, the arbitrary viewpoint image synthesizing method for a plurality of focused image including blurring represented by the first blur function having a shift amount corresponding to the optical axis of the lens imaging apparatus having respectively By executing a blur process by convolving a second blur function representing a blur of an arbitrary size, and executing a sharpening process on the integration results of a plurality of focus images subjected to the blur process , An image with an arbitrary blur is generated .

本発明の別の態様では画像処理装置は、撮像装置が有するレンズの光軸方向に応じたシフト量を有する第1ボケ関数で表されるボケをそれぞれ含む複数のフォーカス画像に対して、任意の大きさのボケを表す第2ボケ関数をコンボリューションすることによるボケ処理を実行するボケ処理部と、ボケ処理が実行された複数のフォーカス画像の積分結果に対して先鋭化処理を実行することにより、任意のボケが付与された画像を生成する先鋭化処理部とを有する。 In another aspect of the present invention, the image processing apparatus is arbitrarily configured for a plurality of focus images each including a blur represented by a first blur function having a shift amount corresponding to the optical axis direction of a lens included in the imaging apparatus. a blur processing unit for executing blur processing by the second blur function to convolution which represents the magnitude of the blurring of, performing sharpening processing on the integration results of the plurality of focus images blur process is performed And a sharpening processing unit for generating an image with an arbitrary blur .

本発明によれば、瞳面もしくはその共役面上で視点を取り囲むように配置された複数の瞳領域は同一面上の視点から発する動径によりスライスしたとき、該動径の偏角の80%以上で存在し、複数の瞳領域を通過する光束を光学系により結像させ被写体像を瞳領域ごとに個別に撮像する多眼撮像部から取得する複数の合焦状態の画像に対して、予め任意のピント位置に設定したボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、算出したフォーカススタック像に画像先鋭化処理を行って任意のボケを付与した画像を生成するため、ノイズの発生を抑えてピント領域外が美しいボケとなる良好なボケを付与した画像を得ることができる。   According to the present invention, when a plurality of pupil regions arranged so as to surround the viewpoint on the pupil plane or its conjugate plane are sliced by a radius emitted from the viewpoint on the same plane, 80% of the deflection angle of the radius With respect to a plurality of in-focus images acquired from a multi-view imaging unit that forms a light beam that passes through a plurality of pupil regions and forms an image of a subject individually for each pupil region. Each blur process set at an arbitrary focus position is performed, a focus stack image that is an intensity sum image of a plurality of images subjected to the blur process is calculated, an image sharpening process is performed on the calculated focus stack image, and an arbitrary sharpness process is performed. Since an image with blur is generated, it is possible to obtain an image with good blur that suppresses the generation of noise and becomes a blur that is beautiful outside the focus area.

撮影開口を円周上に配置した多眼カメラを示す正面側斜視図である。It is a front side perspective view which shows the multi-lens camera which has arrange | positioned imaging | photography opening on the circumference. 図1で説明した多眼カメラを示す背面側斜視図である。It is a back side perspective view which shows the multi-lens camera demonstrated in FIG. 撮影開口をマトリクス状に配置した多眼カメラを示す正面側斜視図である。It is a front side perspective view which shows the multi-lens camera which has arrange | positioned imaging | photography opening in matrix form. M系列の疑似ランダム系列の数列を示す説明図である。It is explanatory drawing which shows the numerical sequence of a pseudorandom series of M series. M系列疑似ランダム数列「110100」に基づいた撮影開口の二次元配列をx,y方向点列で示す説明図であり、撮影開口の位置を「○」で示している。It is explanatory drawing which shows the two-dimensional arrangement | sequence of the imaging opening based on M series pseudo-random number sequence "110100" by a x, y direction point sequence, and has shown the position of the imaging opening by "(circle)". 多眼カメラの電気的構成を説明するブロック図である。It is a block diagram explaining the electrical structure of a multi-view camera. フォーカス画像fを生成する他の実施形態を示すブロック図である。It is a block diagram which shows other embodiment which produces | generates the focus image f. 像点p1,p2をそれぞれPSFでコンボリューションした状態を説明する説明図である。It is explanatory drawing explaining the state which convolved image point p1, p2 with PSF, respectively. 焦点距離5.34mm、F1.4、像高×2=3.17mmの場合、近距離の530mmから無限遠までを結像した時の像空間x,y,zの光軸方向zの結像位置を説明する説明図である。When the focal length is 5.34 mm, F1.4, and the image height × 2 = 3.17 mm, the image is formed in the optical axis direction z of the image space x, y, z when the image is formed from a short distance of 530 mm to infinity. It is explanatory drawing explaining a position. 複数のカメラ(cam)を用いた合成開口法でのフォーカシングの概略を説明する説明図である。It is explanatory drawing explaining the outline of focusing by the synthetic aperture method using a some camera (cam). 図10で説明したx又はy方向に並んだcam1〜cam5の配置によって発生する視差量を4つの直線で説明した説明図である。It is explanatory drawing explaining the parallax amount which generate | occur | produces by arrangement | positioning of cam1-cam5 arranged in the x or y direction demonstrated in FIG. 10 with four straight lines. 5×5眼のカメラ配置に対して、視差z=4でフォーカスが合っている物体にボケカーネルがコンボリューションされている状態を説明する説明図である。It is explanatory drawing explaining the state by which the bokeh kernel is convolved with the object which has a focus with parallax z = 4 with respect to 5x5 eye camera arrangement | positioning. 任f意のボケ量のボケカーネルz=4でフォーカスが合っている物体にボケカーネルがコンボリューションされている状態を説明する説明図である。It is explanatory drawing explaining the state in which the blur kernel is convolved with the object in focus by the blur kernel z = 4 of arbitrary blur amount. 図12で説明したボケカーネルをx,y面内で表した説明図である。It is explanatory drawing which represented the blur kernel demonstrated in FIG. 12 in x, y plane. M系列のカメラ配置の場合、図12で説明したボケカーネル(視差z=0〜z=4)をx,y面内で表した説明図である。FIG. 13 is an explanatory diagram illustrating the blur kernel (parallax z = 0 to z = 4) described in FIG. 12 in the x and y planes in the case of an M-series camera arrangement. M系列のカメラ配置の場合、図12で説明したボケカーネル(視差z=4〜z=8)をx,y面内で表した説明図である。FIG. 13 is an explanatory diagram illustrating the blur kernel (parallax z = 4 to z = 8) described in FIG. 12 in the x and y planes in the case of an M-series camera arrangement. 焦点位置でボケンカーネルを視差方向(z方向)で積分したフォーカススタックカーネルを示す説明図である。It is explanatory drawing which shows the focus stack kernel which integrated the blur kernel in the parallax direction (z direction) in the focus position. 多眼カメラの画像取り込みから画像処理の流れを説明する説明図である。It is explanatory drawing explaining the flow of an image process from the image capture of a multi-lens camera. 画像処理が実行する任意ボケアルゴリズムを説明する説明図である。It is explanatory drawing explaining the arbitrary blur algorithm which an image process performs. ピントを変えて取り込んだ複数の画像を示す説明図である。It is explanatory drawing which shows the several image taken in changing focus. ピントを変えて取り込んだ複数の画像を示すものであり、物体と光学系とのコンボリュージョン結果が得られることを説明([数15]に記載の式を説明)する説明図である。It is an explanatory view showing a plurality of images captured by changing the focus and explaining that a convolution result between an object and an optical system can be obtained (explaining the equation described in [Equation 15]). [数16]に記載の式を説明する説明図である。It is explanatory drawing explaining the formula as described in [Formula 16]. ピントを変えて取り込んだ複数の画像(複数フォーカスによって得られた画像)に任意のデフォーカスカーネルを各x,y面内でコンボリューションした説明図である。FIG. 10 is an explanatory diagram in which an arbitrary defocus kernel is convolved in each x, y plane with a plurality of images (images obtained by a plurality of focuses) captured by changing the focus. 任意ボケアルゴリズムを実行する画像処理部の構成を示すブロック図である。It is a block diagram which shows the structure of the image process part which performs an arbitrary blurring algorithm. 疑似ランダム系列であるM系列に従った所定の周期パターンで撮影レンズを配列した多眼カメラの場合のフォーカススタックカーネルを示す説明図である。It is explanatory drawing which shows the focus stack kernel in the case of the multi-lens camera which arranged the imaging lens with the predetermined | prescribed periodic pattern according to the M series which is a pseudorandom series. 多眼カメラの動作手順を説明するフローチャートである。It is a flowchart explaining the operation | movement procedure of a multiview camera. 任意ボケアルゴリズムの一部を説明しており、[数16]に記載の式に対して[数12]及び[数19]に記載の式の積分範囲を説明する説明図である。FIG. 10 is a diagram illustrating a part of the arbitrary blur algorithm, and is an explanatory diagram illustrating the integration range of the expressions described in [Expression 12] and [Expression 19] with respect to the expression described in [Expression 16]. ボケを付与した画像を生成する他の実施形態を示すブロック図である。It is a block diagram which shows other embodiment which produces | generates the image which provided the blur. [数19]に記載の式の積分範囲を説明する説明図である。It is explanatory drawing explaining the integration range of the formula as described in [Equation 19]. 点像強度分布の3次分布(PSF)の光のコーンの概略を示す説明図である。It is explanatory drawing which shows the outline of the cone of the light of the third order distribution (PSF) of point image intensity distribution. ガウス分布のボケカーネルの半径と標準偏差との関係を示すグラフである。It is a graph which shows the relationship between the radius of the blur kernel of a Gaussian distribution, and a standard deviation. 合成ボケ半径と標準偏差との関係を示すグラフである。It is a graph which shows the relationship between a synthetic | combination blur radius and a standard deviation. ボケアルゴリズムに輪帯瞳のレンズを用いた場合であり、二つのガウス分布の差分の強度分布を有する輪帯瞳のPSFを示すグラフである。It is a case where the lens of an annular zone is used for a blur algorithm, and is a graph which shows the PSF of the annular zone pupil which has the intensity distribution of the difference of two Gaussian distributions. ボケアルゴリズムに輪帯瞳のレンズを用いた場合であり、合成ボケ半径と標準偏差との関係を示すグラフである。It is a case where the lens of an annular zone is used for a blur algorithm, and is a graph which shows the relationship between a synthetic | combination blur radius and a standard deviation. 二つのガウス関数とその差分の輪帯強度分布を示す斜視図であり、外側のガウス分布を示している。It is a perspective view which shows two Gaussian functions and the ring zone intensity distribution of the difference, and has shown the outer Gaussian distribution. 二つのガウス関数とその差分の輪帯強度分布を示す斜視図であり、内側のガウス分布を示している。It is a perspective view which shows two Gaussian functions and the ring zone intensity distribution of the difference, and has shown the inner Gaussian distribution. 二つのガウス関数とその差分の輪帯強度分布を示す斜視図であり、輪帯ガウス分布を示している。It is a perspective view which shows two Gaussian functions and the annular intensity distribution of the difference, and has shown the annular Gaussian distribution. 輪帯光学系のボケカーネルを示す。The blur kernel of the annular optical system is shown. 輪帯光学系を用いた時のボケ画像を示し、左側は光学系のピント位置にチャートを置いたボケアルゴリズム使用無しのボケ画像(以下、「光学ボケ画像」と称す)を示し、右側はボケカーネルのピント位置をチャート位置としたボケ無しの状態のボケアルゴリズムによるボケを付与した画像(以下、「ボケアルゴリズム画像」と称す)を示す。ボケアルゴリズムのボケカーネルのサイズを瞳面上で48mmとしている。A blur image when using an annular optical system is shown, the left side is a blur image without using a blur algorithm with a chart placed at the focus position of the optical system (hereinafter referred to as an “optical blur image”), and the right side is a blur image. An image (hereinafter referred to as a “blurring algorithm image”) to which blur is applied by a blur algorithm in a no-blur state with the kernel focus position as a chart position is shown. The size of the blur kernel of the blur algorithm is 48 mm on the pupil plane. 輪帯光学系を用いた時のボケ画像を示し、左側は光学系のピント位置にチャートを置いたボケアルゴリズム使用無しの光学ボケ画像を示し、右側はボケカーネルのピント位置をチャート位置としたボケ無しの状態のボケアルゴリズムによるボケアルゴリズム画像を示す。ボケアルゴリズムのボケカーネルのサイズを瞳面上で36mmとしている。The blur image when using the annular optical system is shown. The left side shows the optical blur image without using the blur algorithm with the chart placed at the focus position of the optical system. The right side shows the blur image with the focus position of the blur kernel as the chart position. The blur algorithm image by the blur algorithm of the state of nothing is shown. The size of the blur kernel of the blur algorithm is set to 36 mm on the pupil plane. 輪帯光学系を用いた時のボケ画像を示し、左側は光学系のピント位置にチャートを置いたボケアルゴリズム使用無しの光学ボケ画像を示し、右側はボケカーネルのピント位置をチャート位置としたボケ無しの状態のボケアルゴリズムによるボケアルゴリズム画像を示す。ボケアルゴリズムのボケカーネルのサイズを瞳面上で24mmとしている。The blur image when using the annular optical system is shown. The left side shows the optical blur image without using the blur algorithm with the chart placed at the focus position of the optical system. The right side shows the blur image with the focus position of the blur kernel as the chart position. The blur algorithm image by the blur algorithm of the state of nothing is shown. The size of the blur kernel of the blur algorithm is 24 mm on the pupil plane. 輪帯光学系を用いた時のボケ画像を示し、左側は光学系のピント位置にチャートを置いたボケアルゴリズム使用無しの光学ボケ画像を示し、右側はボケカーネルのピント位置をチャート位置としたボケ無しの状態のボケアルゴリズムによるボケアルゴリズム画像を示す。ボケアルゴリズムのボケカーネルのサイズを瞳面上で12mmとしている。The blur image when using the annular optical system is shown. The left side shows the optical blur image without using the blur algorithm with the chart placed at the focus position of the optical system. The right side shows the blur image with the focus position of the blur kernel as the chart position. The blur algorithm image by the blur algorithm of the state of nothing is shown. The size of the blur kernel of the blur algorithm is 12 mm on the pupil plane. 輪帯光学系を用いた時のボケ画像を示し、左側は光学系のピント位置にチャートを置いたボケアルゴリズム使用無しの光学ボケ画像を示し、右側はボケカーネルのピント位置をチャート位置としたボケ無しの状態のボケアルゴリズムによるボケアルゴリズム画像を示す。ボケアルゴリズムのボケカーネルのサイズを瞳面上で6mmとしている。The blur image when using the annular optical system is shown. The left side shows the optical blur image without using the blur algorithm with the chart placed at the focus position of the optical system. The right side shows the blur image with the focus position of the blur kernel as the chart position. The blur algorithm image by the blur algorithm of the state of nothing is shown. The size of the blur kernel of the blur algorithm is 6 mm on the pupil plane. 輪帯光学系を用いた時のボケ画像を示し、左側は光学系のピント位置にチャートを置いたボケアルゴリズム使用無しの光学ボケ画像を示し、右側はボケカーネルのピント位置をチャート位置としたボケ無しの状態のボケアルゴリズムによるボケアルゴリズム画像を示す。ボケアルゴリズムのボケカーネルのサイズを瞳面上で1.2mmとしている。The blur image when using the annular optical system is shown. The left side shows the optical blur image without using the blur algorithm with the chart placed at the focus position of the optical system. The right side shows the blur image with the focus position of the blur kernel as the chart position. The blur algorithm image by the blur algorithm of the state of nothing is shown. The size of the blur kernel of the blur algorithm is 1.2 mm on the pupil plane. 輪帯光学系を用いた時のボケ画像を示し、左側は光学系のピント位置(Z=10.7m)にチャートを置いたボケアルゴリズム使用無しの光学ボケ画像を示し、右側はボケカーネルのピント位置をチャート位置としたボケ無しの状態のボケアルゴリズムによるボケアルゴリズム画像を示す。The blur image when using the annular optical system is shown, the left side shows the optical blur image without using the blur algorithm with the chart placed at the focus position (Z = 10.7 m) of the optical system, and the right side shows the focus of the blur kernel The blur algorithm image by the blur algorithm in the state of no blur with the position as the chart position is shown. 多眼カメラのカメラ(個眼撮像部)の配置を示す正面図であり、(1)は矩形瞳を矩形状に密に、(2)は矩形瞳を矩形状に飛び飛びに配置した構成を、(3)はボケカーネルの大きさを瞳面s,t面上での円形の半径rで示し、(4)は円形瞳を矩形状に密に、(5)は円形瞳を矩形状に飛び飛びに配置した構成を示している。It is a front view which shows arrangement | positioning of the camera (single-eye imaging part) of a multi-lens camera, (1) is a rectangular pupil densely arranged in a rectangular shape, (2) is a configuration in which rectangular pupils are arranged in a rectangular shape. (3) shows the size of the blur kernel with a circular radius r on the pupil planes s and t, (4) shows the circular pupil densely in a rectangular shape, and (5) shows the circular pupil flying in a rectangular shape. The configuration arranged in FIG. 多眼カメラのカメラ(個眼撮像部)の配置を示す正面図であり、(1)は矩形瞳を縦長矩形状に密に、(2)は矩形瞳を縦長矩形状に飛び飛びに配置した構成を、(3)はボケカーネルの大きさを瞳面s,t面上での円形の半径rで示し、(4)は矩形瞳を菱形状に密に、(5)は矩形瞳を菱形状に飛び飛びに配置した構成を示している。It is a front view which shows arrangement | positioning of the camera (single-eye imaging part) of a multi-lens camera, (1) is a structure which arrange | positioned the rectangular pupil densely in the vertically long rectangle shape, and (2) is arranged in the shape of the vertically elongated rectangle. (3) shows the size of the blur kernel by the circular radius r on the pupil planes s and t, (4) shows the rectangular pupil densely in a diamond shape, and (5) shows the rectangular pupil in a diamond shape. Fig. 2 shows a configuration arranged in a jump. 多眼カメラのカメラ(個眼撮像部)の配置を示す正面図であり、(1)は円形瞳を菱形状に間隔を狭く、(2)は円形瞳を菱形状に間隔を広く配置した構成を示している。It is a front view which shows arrangement | positioning of the camera (single-eye imaging part) of a multi-lens camera, (1) is a structure which arrange | positioned the circular pupil to the rhombus shape, and narrowed the space | interval to the rhombus shape (2). Is shown. 左側の画像は、図46(4)に示すように、各光学系の瞳を正方形の線上に隙間無く配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像(合成開口法によってピント合わせを行った際のデフォーカスによるボケ画像)を示す。瞳は、ピッチ(p)が12mmの方眼配置で、直径(k)12mmの円形になっている。右側に示す画像は、同光学系で、図46(3)に示すように、ボケカーネルの大きさが瞳面st面上で18mmの半径(r)にした円形のボケアルゴリズム画像である。As shown in FIG. 46 (4), the image on the left side is a synthetic aperture blur image (using a synthetic aperture method) generated using an image captured by a multi-lens camera in which the pupils of each optical system are arranged on a square line without any gaps. A defocused image at the time of focusing is shown. The pupil has a square arrangement with a pitch (p) of 12 mm and a circular shape with a diameter (k) of 12 mm. The image shown on the right side is a circular blur algorithm image in which the size of the blur kernel is a radius (r) of 18 mm on the pupil plane st plane, as shown in FIG. 左側の画像は、図46(4)に示すように、各光学系の瞳を正方形の線上に隙間無く配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像を示す。瞳は、ピッチ(p)が12mmの方眼配置で、直径(k)10.8mmの円形になっている。右側に示す画像は、同光学系で、図46(3)に示すように、ボケカーネルの大きさが瞳面st面上で18mmの半径(r)にした円形のボケアルゴリズム画像である。As shown in FIG. 46 (4), the image on the left side shows a synthetic aperture blurred image generated using an image captured by a multi-lens camera in which the pupils of each optical system are arranged on a square line without a gap. The pupil has a square arrangement with a pitch (p) of 12 mm and a circular shape with a diameter (k) of 10.8 mm. The image shown on the right side is a circular blur algorithm image in which the size of the blur kernel is a radius (r) of 18 mm on the pupil plane st plane, as shown in FIG. 左側の画像は、図46(4)に示すように、各光学系の瞳を正方形の線上に隙間無く配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像を示す。瞳は、ピッチ(p)が12mmの方眼配置で、直径(k)9.6mmの円形になっている。右側に示す画像は、同光学系で、図46(3)に示すように、ボケカーネルの大きさが瞳面st面上で18mmの半径(r)にした円形のボケアルゴリズム画像である。As shown in FIG. 46 (4), the image on the left side shows a synthetic aperture blurred image generated using an image captured by a multi-lens camera in which the pupils of each optical system are arranged on a square line without a gap. The pupil has a square arrangement with a pitch (p) of 12 mm and has a circular shape with a diameter (k) of 9.6 mm. The image shown on the right side is a circular blur algorithm image in which the size of the blur kernel is a radius (r) of 18 mm on the pupil plane st plane, as shown in FIG. 左側の画像は、図46(1)に示すように、各光学系の瞳を正方形の線上に隙間無く配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像を示す。瞳は、ピッチ(p)が12mmの方眼配置で、一辺の長さ(l)が12mmの方形になっている。右側に示す画像は、同光学系で、図46(3)に示すように、ボケカーネルの大きさが瞳面st面上で24mmの半径(r)にした円形のボケアルゴリズム画像である。As shown in FIG. 46 (1), the image on the left side shows a synthetic aperture blurred image generated using an image captured by a multi-lens camera in which the pupils of each optical system are arranged on a square line without a gap. The pupil has a square arrangement with a pitch (p) of 12 mm and a square with a side length (l) of 12 mm. The image shown on the right side is a circular blur algorithm image in which the size of the blur kernel is a radius (r) of 24 mm on the pupil plane st plane, as shown in FIG. 46 (3). 左側の画像は、図46(1)に示すように、各光学系の瞳を正方形の線上に隙間無く配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像を示す。瞳は、ピッチ(p)が12mmの方眼配置で、一辺の長さ(l)が12mmの方形になっている。右側に示す画像は、同光学系で、図46(3)に示すように、ボケカーネルの大きさが瞳面st面上で18mmの半径(r)にした円形のボケアルゴリズム画像である。As shown in FIG. 46 (1), the image on the left side shows a synthetic aperture blurred image generated using an image captured by a multi-lens camera in which the pupils of each optical system are arranged on a square line without a gap. The pupil has a square arrangement with a pitch (p) of 12 mm and a square with a side length (l) of 12 mm. The image shown on the right side is a circular blur algorithm image in which the size of the blur kernel is a radius (r) of 18 mm on the pupil plane st plane, as shown in FIG. 左側の画像は、図46(1)に示すように、各光学系の瞳を正方形の線上に隙間無く配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像を示す。瞳は、ピッチ(p)が12mmの方眼配置で、一辺の長さ(l)が12mmの方形になっている。右側に示す画像は、同光学系で、図46(3)に示すように、ボケカーネルの大きさが瞳面st面上で12mmの半径(r)にした円形のボケアルゴリズム画像である。As shown in FIG. 46 (1), the image on the left side shows a synthetic aperture blurred image generated using an image captured by a multi-lens camera in which the pupils of each optical system are arranged on a square line without a gap. The pupil has a square arrangement with a pitch (p) of 12 mm and a square with a side length (l) of 12 mm. The image shown on the right side is a circular blur algorithm image in which the size of the blur kernel is a radius (r) of 12 mm on the pupil plane st plane, as shown in FIG. 46 (3). 左側の画像は、図46(1)に示すように、各光学系の瞳を正方形の線上に隙間無く配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像を示す。瞳は、ピッチ(p)が12mmの方眼配置で、一辺の長さ(l)が12mmの方形になっている。右側に示す画像は、同光学系で、図46(3)に示すように、ボケカーネルの大きさが瞳面st面上で6mmの半径(r)にした円形のボケアルゴリズム画像である。As shown in FIG. 46 (1), the image on the left side shows a synthetic aperture blurred image generated using an image captured by a multi-lens camera in which the pupils of each optical system are arranged on a square line without a gap. The pupil has a square arrangement with a pitch (p) of 12 mm and a square with a side length (l) of 12 mm. The image shown on the right side is a circular blur algorithm image in which the size of the blur kernel is a radius (r) of 6 mm on the pupil plane st plane, as shown in FIG. 左側の画像は、図46(2)に示すように、各光学系の瞳を正方形の線上に隙間無く配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像を示す。瞳は、ピッチ(p)が12mmの方眼配置で、一辺の長さ(l)が10.8mmの方形になっている。右側に示す画像は、同光学系で、図46(3)に示すように、ボケカーネルの大きさが瞳面st面上で18mmの半径(r)にした円形のボケアルゴリズム画像である。As shown in FIG. 46 (2), the image on the left side shows a synthetic aperture blurred image generated using an image picked up by a multi-lens camera in which the pupils of each optical system are arranged on a square line without a gap. The pupil has a square arrangement with a pitch (p) of 12 mm and a square with a side length (l) of 10.8 mm. The image shown on the right side is a circular blur algorithm image in which the size of the blur kernel is a radius (r) of 18 mm on the pupil plane st plane, as shown in FIG. 左側の画像は、図46(1)に示すように、各光学系の瞳を正方形の線上に隙間無く配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像を示す。瞳は、ピッチ(p)が12mmの方眼配置で、一辺の長さ(l)が9.6mmの方形になっている。右側に示す画像は、同光学系で、図46(3)に示すように、ボケカーネルの大きさが瞳面st面上で18mmの半径(r)にした円形のボケアルゴリズム画像である。As shown in FIG. 46 (1), the image on the left side shows a synthetic aperture blurred image generated using an image captured by a multi-lens camera in which the pupils of each optical system are arranged on a square line without a gap. The pupil has a square arrangement with a pitch (p) of 12 mm and a square with a side length (l) of 9.6 mm. The image shown on the right side is a circular blur algorithm image in which the size of the blur kernel is a radius (r) of 18 mm on the pupil plane st plane, as shown in FIG. 左側の画像は、図46(1)に示すように、各光学系の瞳を正方形の線上に隙間無く配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像を示す。瞳は、ピッチ(p)が12mmの方眼配置で、一辺の長さ(l)が8.4mmの方形になっている。右側に示す画像は、同光学系で、図46(3)に示すように、ボケカーネルの大きさが瞳面st面上で18mmの半径(r)にした円形のボケアルゴリズム画像である。As shown in FIG. 46 (1), the image on the left side shows a synthetic aperture blurred image generated using an image captured by a multi-lens camera in which the pupils of each optical system are arranged on a square line without a gap. The pupil has a square arrangement with a pitch (p) of 12 mm and a square with a side length (l) of 8.4 mm. The image shown on the right side is a circular blur algorithm image in which the size of the blur kernel is a radius (r) of 18 mm on the pupil plane st plane, as shown in FIG. 左側の画像は、図47(1)に示すように、各光学系の瞳を正方形の線上に隙間無く配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像を示す。瞳は、ピッチ(p)が12mmの方眼配置で、一辺の長さ(l)が12mmの方形になっている。右側に示す画像は、同光学系で、図47(3)に示すように、ボケカーネルの大きさが瞳面st面上で4.8mmの半径(r)にした円形のボケアルゴリズム画像である。As shown in FIG. 47 (1), the image on the left side shows a synthetic aperture blurred image generated using an image captured by a multi-lens camera in which the pupils of each optical system are arranged on a square line without any gap. The pupil has a square arrangement with a pitch (p) of 12 mm and a square with a side length (l) of 12 mm. The image shown on the right side is the same optical system as shown in FIG. 47 (3), and is a circular blur algorithm image in which the size of the blur kernel is a radius (r) of 4.8 mm on the pupil plane st plane. . 左側の画像は、図47(1)に示すように、各光学系の瞳を正方形の線上に隙間無く配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像を示す。瞳は、ピッチ(p)が12mmの方眼配置で、一辺の長さ(l)が12mmの方形になっている。右側に示す画像は、同光学系で、図47(3)に示すように、ボケカーネルの大きさが瞳面st面上で6mmの半径(r)にした円形のボケアルゴリズム画像である。As shown in FIG. 47 (1), the image on the left side shows a synthetic aperture blurred image generated using an image captured by a multi-lens camera in which the pupils of each optical system are arranged on a square line without any gap. The pupil has a square arrangement with a pitch (p) of 12 mm and a square with a side length (l) of 12 mm. The image shown on the right side is a circular blur algorithm image in which the size of the blur kernel is a radius (r) of 6 mm on the pupil plane st plane, as shown in FIG. 47 (3), in the same optical system. 左側の画像は、図47(1)に示すように、各光学系の瞳を正方形の線上に隙間無く配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像を示す。瞳は、ピッチ(p)が12mmの方眼配置で、一辺の長さ(l)が12mmの方形になっている。右側に示す画像は、同光学系で、図47(3)に示すように、ボケカーネルの大きさが瞳面st面上で7.2mmの半径(r)にした円形のボケアルゴリズム画像である。As shown in FIG. 47 (1), the image on the left side shows a synthetic aperture blurred image generated using an image captured by a multi-lens camera in which the pupils of each optical system are arranged on a square line without any gap. The pupil has a square arrangement with a pitch (p) of 12 mm and a square with a side length (l) of 12 mm. The image shown on the right side is a circular blur algorithm image in which the size of the blur kernel is a radius (r) of 7.2 mm on the pupil plane st plane as shown in FIG. 47 (3). . 左側の画像は、図47(4)に示すように、各光学系の瞳を菱形状に密に配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像を示す。瞳は、ピッチ(p)が12mmで、一辺の長さ(l)が12mmの方形になっている。右側に示す画像は、同光学系で、図47(3)に示すように、ボケカーネルの大きさが瞳面st面上で5.4mmの半径(r)にした円形のボケアルゴリズム画像である。As shown in FIG. 47 (4), the image on the left side shows a synthetic aperture blurred image generated using an image captured by a multi-lens camera in which the pupils of each optical system are densely arranged in a diamond shape. The pupil has a square shape with a pitch (p) of 12 mm and a side length (l) of 12 mm. The image shown on the right side is a circular blur algorithm image in which the size of the blur kernel is a radius (r) of 5.4 mm on the pupil plane st plane, as shown in FIG. 47 (3), in the same optical system. . 左側の画像は、図47(4)に示すように、各光学系の瞳を菱形状に密に配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像を示す。瞳は、ピッチ(p)が12mmで、一辺の長さ(l)が12mmの方形になっている。右側に示す画像は、同光学系で、図47(3)に示すように、ボケカーネルの大きさが瞳面st面上で6mmの半径(r)にした円形のボケアルゴリズム画像である。As shown in FIG. 47 (4), the image on the left side shows a synthetic aperture blurred image generated using an image captured by a multi-lens camera in which the pupils of each optical system are densely arranged in a diamond shape. The pupil has a square shape with a pitch (p) of 12 mm and a side length (l) of 12 mm. The image shown on the right side is a circular blur algorithm image in which the size of the blur kernel is a radius (r) of 6 mm on the pupil plane st plane, as shown in FIG. 47 (3), in the same optical system. 左側の画像は、図48(1)に示すように、各光学系の瞳を菱形状に密に配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像を示す。瞳は、ピッチ(p)が12mmで、直径(k)が12×√(2)mmの円形になっている。右側に示す画像は、同光学系で、図47(3)に示すように、ボケカーネルの大きさが瞳面st面上で6×√(2)mmの半径(r)にした円形のボケアルゴリズム画像である。As shown in FIG. 48 (1), the image on the left side shows a synthetic aperture blurred image generated using an image captured by a multi-lens camera in which the pupils of each optical system are densely arranged in a diamond shape. The pupil has a circular shape with a pitch (p) of 12 mm and a diameter (k) of 12 × √ (2) mm. The image shown on the right side is the same optical system, as shown in FIG. 47 (3), and a circular blur with a blur kernel having a radius (r) of 6 × √ (2) mm on the pupil plane st plane. It is an algorithm image. 左側の画像は、図46(1)に示すように、一辺の長さ(l)が12mmの正方で、かつ12mmピッチ(p)で正方形の線上に配置した各光学系の瞳を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。右側の画像は、同光学系で、図46(3)に示すように、ボケカーネルの大きさを瞳面st面上で36mmの半径(r)にした円形のボケアルゴリズム画像である。As shown in FIG. 46 (1), the image on the left side is a multi-lens having a pupil of each optical system arranged on a square line with a side length (l) of 12 mm and a 12 mm pitch (p). It is a synthetic | combination aperture blur image produced | generated using the image imaged with the camera. The right-side image is a circular blur algorithm image in which the size of the blur kernel is a radius (r) of 36 mm on the pupil plane st plane, as shown in FIG. 左側の画像は、図46(1)に示すように、一辺の長さ(l)が12mmの正方で、かつ12mmピッチ(p)で正方形の線上にランダムで配置した各光学系の瞳を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。右側の画像は、同光学系で、図46(3)に示すように、ボケカーネルの大きさを瞳面st面上で36mmの半径(r)にした円形のボケアルゴリズム画像である。As shown in FIG. 46 (1), the image on the left has a pupil of each optical system that is randomly arranged on a square line with a length (l) of one side of 12 mm and a 12 mm pitch (p). It is a synthetic | combination aperture blur image produced | generated using the image imaged with the multi-view camera. The right-side image is a circular blur algorithm image in which the size of the blur kernel is a radius (r) of 36 mm on the pupil plane st plane, as shown in FIG. 左側の画像は、図46(5)に示すように、直径(k)が6mmの円形で、かつ12mmピッチ(p)で正方形の線上に配置した各光学系の瞳を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。右側の画像は、同光学系で、図46(3)に示すように、ボケカーネルの大きさを瞳面st面上で36mmの半径(r)にした円形のボケアルゴリズム画像である。As shown in FIG. 46 (5), the image on the left is taken by a multi-lens camera having a circular shape with a diameter (k) of 6 mm and a pupil of each optical system arranged on a square line at a pitch of 12 mm (p). It is a synthetic aperture blurred image generated using the obtained image. The right-side image is a circular blur algorithm image in which the size of the blur kernel is a radius (r) of 36 mm on the pupil plane st plane, as shown in FIG. 左側の画像は、図46(4)に示すように、直径(k)が12mmの円形で、かつ12mmピッチ(p)で正方形の線上に配置した各光学系の瞳を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。右側の画像は、同光学系で、図46(3)に示すように、ボケカーネルの大きさを瞳面st面上で36mmの半径(r)にした円形のボケアルゴリズム画像である。As shown in FIG. 46 (4), the image on the left is taken by a multi-lens camera having a circular shape with a diameter (k) of 12 mm and a pupil of each optical system arranged on a square line at a pitch of 12 mm (p). It is a synthetic aperture blurred image generated using the obtained image. The right-side image is a circular blur algorithm image in which the size of the blur kernel is a radius (r) of 36 mm on the pupil plane st plane, as shown in FIG. 対物レンズの前方の光学系による開口絞りの像である入射瞳を示す説明図である。It is explanatory drawing which shows the entrance pupil which is an image of the aperture stop by the optical system ahead of an objective lens. 複数の対物レンズを配置する場合の合成光軸を説明する説明図である。It is explanatory drawing explaining the synthetic | combination optical axis in the case of arrange | positioning a some objective lens. 対物レンズを対称と非対象とに配置した多眼カメラでのボケカーネルの変化を説明する説明図である。It is explanatory drawing explaining the change of a blur kernel in the multi-lens camera which has arrange | positioned the objective lens to symmetry and non-object. 半径rの円周上に密に輪帯瞳を配置した構成を示す説明図である。It is explanatory drawing which shows the structure which has arrange | positioned the annular pupil densely on the periphery of the radius r. 半径の異なる二重の円周上に密に輪帯瞳を配置した輪帯状の構成を示す説明図である。It is explanatory drawing which shows the zone-shaped structure which has closely arranged the zone pupil on the double circumference from which a radius differs. 円弧方向に切れ目が無く、かつ回転方向に対称性が高い状態の輪帯瞳の構成を示す説明図である。It is explanatory drawing which shows the structure of the annular zone pupil in the state where there is no cut | interruption in an arc direction and a symmetry is high in a rotation direction. 概ね均一かつ密になる状態の輪帯瞳の動径によるスライスの概略を示す説明図である。It is explanatory drawing which shows the outline of the slice by the radial radius of the annular pupil of the state which becomes substantially uniform and dense. 24個の方形開口を輪帯状に配置した構成を示す説明図である。It is explanatory drawing which shows the structure which has arrange | positioned 24 square openings in the shape of a ring zone. 図76で説明した方形開口の要部を示す説明図である。FIG. 77 is an explanatory diagram showing a main part of the rectangular opening described in FIG. 76. 対物レンズから入射する被写体光を振幅分割して複数のフォーカス位置に同時に導く別の実施形態を示す説明図である。It is explanatory drawing which shows another embodiment which carries out the amplitude division | segmentation of the to-be-photographed object light which injects from an objective lens, and is simultaneously guide | induced to several focus positions. 輪帯瞳光学系で瞳を多重化して波面分割する他の実施形態を示す説明図である。It is explanatory drawing which shows other embodiment which multiplexes a pupil by an annular pupil optical system, and divides | segments a wave front. 図79で説明した波面分割する別の例として、空間光変調素子を用いて撮像センサを一つにした例を示す説明図である。FIG. 80 is an explanatory diagram showing an example in which a single image sensor is used using a spatial light modulator as another example of the wavefront division described in FIG. 79; マイクロレンズアレイを用いて瞳分割してボケアルゴリズムを使用する例示す説明図である。It is explanatory drawing which shows the example which uses a blur algorithm by pupil-dividing using a microlens array. 図81で説明したマイクロレンズに対応する受光素子群(セグメント)を示し、(1)は受光素子群のうち輪帯上に位置する受光素子を示し、(2)は、輪帯上にのみ受光素子を設けた例を示す、(3)は同心円上に配置される受光素子を増やした例を示す。(4)は、ボケカーネルをピント位置の前後で非対称として前ボケと後ボケとの大きさを調整するようにした例を示す説明図である。81 shows a light receiving element group (segment) corresponding to the microlens described in FIG. 81, (1) shows a light receiving element located on the annular zone in the light receiving element group, and (2) receives light only on the annular zone. (3) shows an example in which light receiving elements arranged on concentric circles are increased. (4) is an explanatory diagram showing an example in which the blur kernel is asymmetric before and after the focus position and the sizes of the front blur and the rear blur are adjusted. マイクロレンズ付き合成開口可能なカメラを複数配したカメラ群を輪帯状に密に並べた例を示す説明図である。It is explanatory drawing which shows the example which arranged closely the camera group which arranged multiple cameras with a synthetic aperture with a micro lens in the shape of a ring zone. 光学瞳を輪帯状に配置した時のピント位置と撮像面の位置との関係を示す説明図である。It is explanatory drawing which shows the relationship between a focus position when an optical pupil is arrange | positioned at annular | circular shape, and the position of an imaging surface. 回転対称収差を有する撮影レンズを含む輪帯瞳光学系を用いた構成の被写体距離と撮像面との関係を示す説明図である。It is explanatory drawing which shows the relationship between the to-be-photographed object distance of a structure using the annular pupil optical system containing the imaging lens which has a rotationally symmetric aberration, and an imaging surface. ボケカーネルをピント位置の前後で非対称として前ボケと後ボケとの大きさを調整するようにした例を示す説明図である。It is explanatory drawing which shows the example which made the blur kernel asymmetric before and behind a focus position, and adjusted the magnitude | size of front blur and back blur. 外形が4角形をしたレンズを円周上に密に配列した例を示す説明図である。It is explanatory drawing which shows the example which arranged the lens whose external shape was a quadrangle densely on the circumference. 図87で説明したレンズの要部を示す要部説明図である。FIG. 88 is a main part explanatory view showing the main parts of the lens described in FIG. 87; 三日月状をしたレンズを円周上に密に配列した例を示す説明図である。It is explanatory drawing which shows the example which arranged the crescent-shaped lens densely on the circumference. ガラス基板に光学素子を接着して、図87で説明した複数の対物レンズを構成した例を示す説明図である。It is explanatory drawing which shows the example which adhere | attached the optical element on the glass substrate and comprised the several objective lens demonstrated in FIG. 像面を傾けてアオリ撮影を行った時に得られる画像を、合成開口法を利用して仮想的に生成する実施形態を示す説明図である。It is explanatory drawing which shows embodiment which virtually produces | generates the image obtained when tilting an image surface and performing a tilt photography using a synthetic aperture method.

多眼カメラ10は、図1に示すように、円形状の撮影開口11がカメラボディ12の前面に円周状に並べて複数設けられている。各撮影開口11の奥には、撮影レンズ(結像光学系)23、及び撮像素子(図示なし)が配されている。この例では、撮影開口11、撮影レンズ23、及び撮像素子を含む個眼撮像部を構成し、複数の個眼撮像部を一纏めにした構成を多眼撮像部としている。そして、複数の個眼撮像部は、各個眼撮像部の撮影レンズ23により形成される光学瞳が撮影光軸に直交する面内で円周上に密になるように、配設されている。なお、絞りは、図示していないが、結像光学系内に設けても良いし、結像光学系の外に設けても良い。   As shown in FIG. 1, the multi-lens camera 10 is provided with a plurality of circular shooting openings 11 arranged circumferentially on the front surface of the camera body 12. A photographing lens (imaging optical system) 23 and an image sensor (not shown) are disposed in the back of each photographing aperture 11. In this example, a single-eye imaging unit including the imaging aperture 11, the imaging lens 23, and the imaging element is configured, and a configuration in which a plurality of single-eye imaging units are integrated is a multi-eye imaging unit. The plurality of single-eye imaging units are arranged so that the optical pupil formed by the photographing lens 23 of each single-eye imaging unit is dense on the circumference in a plane orthogonal to the photographing optical axis. Although not shown, the stop may be provided in the imaging optical system or outside the imaging optical system.

各撮像素子は、例えば低画素で、かつ消費電力の少ない撮像素子が用いられている。また、各撮影レンズの光軸は、略平行になっている。各撮像素子は、撮影レンズの光軸に対して撮像面が垂直になるように配されている。   As each image sensor, for example, an image sensor having low pixels and low power consumption is used. Further, the optical axes of the photographing lenses are substantially parallel. Each imaging element is arranged so that the imaging surface is perpendicular to the optical axis of the imaging lens.

多眼カメラは、カメラボディ12の上面にシャッタボタン13、及び電源スイッチ14が配されており、1回のシャッタレリーズにより、視点の異なる複数の画像データを同時に取得し、これら画像データをパラメータに応じて画像処理をすることで、奥行き毎に鮮鋭度の調整(焦点の調整)、すなわち画面内の特定の被写体を意図的にぼかす処理を行って生成する任意焦点画像、ボケの強さや配置(ボケの大きさや形状、重み付け)を調節処理して生成するボケ生成画像、及びこれらボケ生成画像と任意焦点画像との処理を組み合わせて生成する視点を付与した立体視用任意視点の任意焦点、任意ボケ生成画像を生成することも可能である。すなわち(1)「光軸方向の焦点位置」、(2)「ボケの大きさ」、(3)「
視点」の3つのパラメータを自由に選択可能なカメラを構成可能である。また、複数のカメラを用いることにより多画素化が可能で、高解像度画像データ、すなわち多画素化の画像データを生成することもできる。
The multi-lens camera is provided with a shutter button 13 and a power switch 14 on the upper surface of the camera body 12, and simultaneously acquires a plurality of image data with different viewpoints by one shutter release, and uses these image data as parameters. By performing image processing accordingly, sharpness adjustment (focus adjustment) for each depth, that is, an arbitrary focus image generated by intentionally blurring a specific subject in the screen, the intensity and arrangement of blur ( Blur generation image generated by adjusting blur size, shape, and weight), and arbitrary focal point of arbitrary viewpoint for stereoscopic viewing with a viewpoint generated by combining the process of blur generated image and arbitrary focus image, arbitrary It is also possible to generate a blur generation image. That is, (1) `` Focus position in the optical axis direction '', (2) `` Bokeh size '', (3) ``
A camera capable of freely selecting three parameters of “viewpoint” can be configured. Further, by using a plurality of cameras, it is possible to increase the number of pixels, and it is also possible to generate high-resolution image data, that is, image data with multiple pixels.

カメラボディ12の背後には、図2に示すように、LCD15が配されている。LCD15は、透明なタブレット34とともにタッチパネルを構成する。タッチパネルには、スルー画像(もしくは後述する合成開口法によりピント合わせを行った画像や、ボケアルゴリズムによってボケを付与させた画像)に重ねてメニューの文字や操作ボタン等の絵柄が表示され、タッチ操作により変倍操作、焦点面の指定、ボケパラメータ(仮想口径の大きさ、形状、重み付け)の選択等のパラメータ入力をする。   An LCD 15 is arranged behind the camera body 12 as shown in FIG. The LCD 15 forms a touch panel together with the transparent tablet 34. The touch panel displays images such as menu characters and operation buttons over a through image (or an image that has been focused using the synthetic aperture method described below, or an image that has been blurred by the blur algorithm), and touch operations. The input of parameters such as zooming operation, designation of focal plane, selection of blur parameters (virtual aperture size, shape, weight) is performed.

本発明は後述のボケアルゴリズムを用いるカメラで特に光学瞳の分布が円周状もしくは矩形状になっているカメラに関するものであり、このような光学瞳の分布とすることで光学瞳が方眼配置された図3のような多眼カメラよりもさらに美しいボケを与えることができるようにしたものである。まず図3のように光学瞳が方眼配置された通常の多眼カメラを例に、ボケアルゴリズムの説明を行い、より美しいボケを与える光学瞳の配置については図1などを用いて後述する。
図3に示す多眼カメラ9は、光学瞳が二次元状に並ぶように、つまり撮影開口11がマトリクス状に配列されている。これらの開口ひとつずつに2次元の撮像素子が装着されており、文字通り多眼カメラとなっている。撮影開口11のx方向、及びy方向の間隔は、疑似ランダム系列であるM系列に従った所定の周期パターンに設定される。この場合、M
系列の自己相関関数は、デルタ(δ)関数に近く、ピーク以外では相関関数値が一定となる特徴を備えている。自己相関関数がデルタ関数的であるので、パワースペクトルがフラット(周波数に依存せずに一定)になる。このことはボケを生成する際に特定の周波数成分を強調することがなくなるので望ましい性質である。
The present invention relates to a camera using a blur algorithm, which will be described later, and particularly relates to a camera in which the optical pupil distribution is a circle or a rectangle. By using such an optical pupil distribution, the optical pupil is arranged in a grid. Further, it is possible to give a more beautiful blur than the multi-lens camera as shown in FIG. First, the blur algorithm will be described with reference to an example of a normal multi-lens camera in which the optical pupil is arranged in a grid as shown in FIG. 3, and the arrangement of the optical pupil that gives more beautiful blur will be described later with reference to FIG.
The multi-view camera 9 shown in FIG. 3 has the optical apertures arranged in a two-dimensional manner, that is, the photographing apertures 11 are arranged in a matrix. Each of these apertures is equipped with a two-dimensional image sensor, which is literally a multi-lens camera. The intervals in the x direction and the y direction of the imaging aperture 11 are set to a predetermined periodic pattern according to the M sequence that is a pseudo-random sequence. In this case, M
The autocorrelation function of the series is close to the delta (δ) function, and has a feature that the correlation function value is constant except for the peak. Since the autocorrelation function is a delta function, the power spectrum is flat (constant without depending on frequency). This is a desirable property because a specific frequency component is not emphasized when generating blur.

5×5の25眼の方眼配置のカメラの場合は、[数6]により合成開口出力を計算する際に例えば[数1]、[数2]、[数3]に記載された重みを乗じてから合成開口出力としてもよい(なお、図46以降のカメラ配置で合成開口法により合成開口出力を計算する際には、各カメラの撮像素子の重みを1として[数6]により計算する)。図3で説明したM系列配置で選択した16眼の場合にはそれぞれの重みを「1」として[数6]に記載の式により合成開口出力を計算する。この場合の合成光軸は、例えば図5で説明したX=3、Y=3のカメラとする。   In the case of a 5 × 5 25-eye grid camera, the weights described in, for example, [Equation 1], [Equation 2], and [Equation 3] are multiplied when calculating the synthetic aperture output by [Equation 6]. (The calculation of the synthetic aperture output by the synthetic aperture method with the camera arrangements in FIG. 46 and thereafter is calculated by [Equation 6] with the weight of the image sensor of each camera as 1.) . In the case of 16 eyes selected with the M-sequence arrangement described with reference to FIG. 3, the respective apertures are set to “1”, and the synthetic aperture output is calculated by the equation described in [Equation 6]. The combined optical axis in this case is, for example, the camera with X = 3 and Y = 3 described in FIG.

数列Xi(i=1〜m、(mは周期))のM系列疑似ランダム数列は、一般的に、「1」以上の整数nに対して「2n−1」の周期mを持つ「0」と「1」の2値の数列であって、1つの周期mの中の数列の数は奇数で、「0」の数と「1」の数の差が「1」となる。よって、整数nと周期mとの組み合わせ(n,m)としては、(3,7)、(4,15)、(5,31)、(6,63)等がある。   The M-sequence pseudorandom number sequence of the sequence Xi (i = 1 to m, where m is a cycle) is generally “0” having a cycle m of “2n−1” for an integer n of “1” or more. And “1” in a binary number sequence, the number of the number sequences in one period m is an odd number, and the difference between the number of “0” and the number of “1” is “1”. Therefore, combinations (n, m) of the integer n and the period m include (3, 7), (4, 15), (5, 31), (6, 63), and the like.

図4に示すように、例えば整数nが「2」で周期mが「3」の数列では、「1,0,1」となり、また、例えば整数nが「3」で周期mが「7」の数列では、「1,1,1,0,1,0,0」となり、さらに、例えば整数nが「4」で周期mが「15」の数列では、「1,1,1,1,0,1,0,1,1,0,0,1,0,0,0」となる。本実施形態では、例えば整数nが「3」で周期mが「7」の数列「1,1,1,0,1,0,0」を採用している。この場合には、図5に示すような二次元の配列パターンになる。このパターンは、「○」で示す位置が撮影開口11を配する位置になる。   As shown in FIG. 4, for example, in a sequence where the integer n is “2” and the period m is “3”, it is “1, 0, 1”, and for example, the integer n is “3” and the period m is “7”. In the numerical sequence of “1, 1, 1, 0, 1, 0, 0”, for example, in the numerical sequence in which the integer n is “4” and the period m is “15”, “1, 1, 1, 1, 0, 1, 0, 1, 1, 0, 0, 1, 0, 0, 0 ". In the present embodiment, for example, a numerical sequence “1, 1, 1, 0, 1, 0, 0” having an integer n of “3” and a period of “7” is employed. In this case, a two-dimensional array pattern as shown in FIG. 5 is obtained. In this pattern, the position indicated by “◯” is the position where the photographing aperture 11 is arranged.

なお、この数列の作り方は、例えば著者が磯部隆で東京大学出版会から1968年2月初版発行、1971年1月第2刷が発行された「相関関数とスペクトル−その測定と応用−」の170頁〜175頁に記載されている。   In addition, the method of making this number sequence is, for example, “Correlation Function and Spectrum-Its Measurement and Application” published by Takashi Isobe, published by the University of Tokyo in February 1968 and the second edition in January 1971. 170-175.

ところで、撮影開口11の二次元配列の間隔は、M系列以外に、Q系列(平方剰余系列)、Gold系列、Walsh符号等、2値の疑似ランダム系列である所定の周期パターンに設定することもできる。また、撮影開口11の2次元方向の間隔を等間隔にしてもよい。しかし、詳しくは後述するフォーカススタック前の瞳サンプリング点にゼロ点が無い方が望ましいため、二次元方向の間隔がM系列の所定の周期パターンに設定するのが望ましい。撮影開口11の個数としては、16個(16眼)に限ることはない。   By the way, the interval of the two-dimensional array of the photographing apertures 11 may be set to a predetermined periodic pattern which is a binary pseudo-random sequence such as a Q sequence (square residue sequence), a Gold sequence, a Walsh code, etc. in addition to the M sequence. it can. Further, the intervals in the two-dimensional direction of the imaging openings 11 may be equal. However, since it is desirable that there is no zero point in the pupil sampling points before the focus stack, which will be described in detail later, it is desirable to set the interval in the two-dimensional direction to a predetermined periodic pattern of M series. The number of imaging apertures 11 is not limited to 16 (16 eyes).

各撮像素子20には、図6に示すように、AFE21、及びフレームメモリ22がそれぞれ接続されており、撮影レンズ23により結像する被写体像を撮像して画像信号をAFE21に出力する。ここで、符号40は個眼撮像部40を示す。   As shown in FIG. 6, each image sensor 20 is connected to an AFE 21 and a frame memory 22, and captures a subject image formed by the photographing lens 23 and outputs an image signal to the AFE 21. Here, reference numeral 40 indicates the single-eye imaging unit 40.

AFE21は、周知のCDS(相関二重サンプリング)/AGC(ゲイン・コントロール・アンプ回路)、A/D、及び信号処理回路で構成されており、CPU24とともにTGから供給されるパルスに同期して動作する(図示なし)。信号処理回路は、デジタルの画像データを取り込み、画素欠陥補正やホワイトバランス補正、ガンマ補正などの補正を行う。   The AFE 21 includes a well-known CDS (correlated double sampling) / AGC (gain control amplifier circuit), A / D, and a signal processing circuit, and operates in synchronization with a pulse supplied from the TG together with the CPU 24. (Not shown). The signal processing circuit captures digital image data and performs corrections such as pixel defect correction, white balance correction, and gamma correction.

CPU24は、撮像素子20の電荷蓄積時間(電子シャッタ)を各々制御し、また、特定の撮像素子20から得られる画像データに基づいて被写体の輝度を測定し、この測定結果に基づいて全撮像素子20の電子シャッタの値を一定になるように変えて露出を制御する。   The CPU 24 controls the charge accumulation time (electronic shutter) of the image sensor 20 and measures the luminance of the subject based on the image data obtained from the specific image sensor 20, and all the image sensors based on the measurement result. The exposure is controlled by changing the value of 20 electronic shutters to be constant.

AF部26は、シャッタボタンの半押し操作に応答して複数の画像データのうち少なくとも2つの画像データを取り込み、これら2つの画像データに基づいて両画像の相対的なずれ量を求め、求めたずれ量から複数の被写体に対する被写体距離を各々算出し、一つの合焦ドライバ27を制御して、被写体距離に応じた合焦位置に撮影レンズ23を移動させるとともに、残りの合焦ドライバ27を制御して、前記被写体距離に応じた合焦位置を基準として、残りの撮像レンズ23の合焦位置を、均一なボケ量でずれるように順々にずらしていく。なお、撮像素子20を移動させるか、もしくは、撮影レンズ23と撮像素子20との両方を移動させてピントをずらしても良い。   The AF unit 26 fetches at least two of the plurality of image data in response to the half-pressing operation of the shutter button, and obtains the relative shift amount between the two images based on the two image data. Subject distances for a plurality of subjects are calculated from the shift amounts, and one focusing driver 27 is controlled to move the photographing lens 23 to a focusing position corresponding to the subject distance, and the remaining focusing drivers 27 are controlled. Then, with the in-focus position corresponding to the subject distance as a reference, the in-focus positions of the remaining imaging lenses 23 are sequentially shifted so as to be shifted with a uniform blur amount. Note that the image pickup device 20 may be moved, or both the photographing lens 23 and the image pickup device 20 may be moved to shift the focus.

AFの必要性について見積もったところ、厚さ3mmの薄型カメラを実現するには1/8インチ以下の光学サイズの撮像センサ(撮像素子及びドライバ回路を含む)を用いることが望ましい。これは、撮像センサの撮像面の対角長を「Dg」、光路全長を「Lp」とし、十分な収差特性のレンズ設計をすると、Lp>0.9Dgとなるからである。   As a result of estimating the necessity of AF, it is desirable to use an image sensor (including an image sensor and a driver circuit) having an optical size of 1/8 inch or less in order to realize a thin camera with a thickness of 3 mm. This is because if the diagonal length of the imaging surface of the imaging sensor is “Dg”, the total optical path length is “Lp”, and a lens design with sufficient aberration characteristics is satisfied, Lp> 0.9 Dg.

多眼カメラの場合、最大でカメラ数倍の多画素化が行えるので、一つ一つのカメラモジュールは、最終的なカメラとしての出力画素よりも少なくてよい。多画素化のアルゴリズムにもよるが、最寄の撮像センサの画素のデータを用いるなどのアルゴリズムを用いた場合、カメラ数の0.56倍以下の多画素化にとどめると生成画像に破綻がない。例えば6M(メガ、100万)画素出力のカメラの場合、16眼を使った場合9倍程度の多画素化は容易である。その場合6Mの1/(16×0.6)=1/9より6M×1/9=0.6
7M画素以上の画素数のカメラモジュールであれば良い。
In the case of a multi-lens camera, the number of pixels can be increased up to several times as many as the camera, so each camera module may have fewer output pixels than the final camera. Depending on the algorithm for increasing the number of pixels, if an algorithm such as the pixel data of the nearest imaging sensor is used, the generated image will not fail if the number of pixels is reduced to 0.56 times the number of cameras or less. . For example, in the case of a camera with 6M (mega, 1 million) pixel output, it is easy to increase the number of pixels by about 9 times when 16 eyes are used. In that case, 6M × 1/9 = 0.6 from 1 / (16 × 0.6) = 1/9 of 6M
Any camera module having a pixel number of 7M pixels or more may be used.

1/8インチの像高の撮像センサのサイズで6Mを解像する光学系が必要である。具体的にはナイキスト波長でのMTFは最低10%以上必要である。ナイキスト波長は、この場合1.169μmとなる。このためレンズのFナンバーは、1.4以下が必要である。6M出力のカメラの厚さを5mmにおさえる場合、撮像センサの呼び寸法は1/4インチで可能でレンズのFナンバーは2.8以下でよい。   An optical system for resolving 6M with an image sensor size of 1/8 inch image height is required. Specifically, the MTF at the Nyquist wavelength must be at least 10%. In this case, the Nyquist wavelength is 1.169 μm. For this reason, the F number of a lens needs to be 1.4 or less. When the thickness of the 6M output camera is 5 mm, the nominal size of the image sensor can be 1/4 inch, and the F number of the lens may be 2.8 or less.

AFの有無を上記の3mm厚さ、5mm厚さのカードカメラについてレンズの収差を含めて検討したところ、カメラのピント位置を被写体までの距離2m程度に設定しておけば、被写体までの距離1mから無限遠までMTFの変化はナイキスト周波数で50%以下の変化であり、パンフォーカスとみなせることが分かった。また、フォーカス位置に応じてMTFの変化分(同時にPSFも変化する。)を補うようにデコンボリューションすることも可能である。リフォーカス(撮影後に任意の被写体距離にフォーカスすること)する際に、距離に応じてMTFの劣化を補うことが可能である。すなわち、図7に示すように、フォーカス位置ごとのPSF又はMTFを予め記憶する記憶部49と、合成開口法によりフォーカス画像を生成する時にフォーカス位置によるPSF又はMTFの変化を相殺するように画像処理を行う画像処理部41と、を備えればよい。これら記憶部49及び画像処理部41はCPU42とともにバス43で接続されており、CPU42により統括的に制御される。なお、符号44は、多眼カメラ、スキャナ、及び外部入力部等、複数の画像を取り込むための画像取得部である。このように構成しても本発明によりピントはずれの像はぼけているので、ピントはずれの像が過補正になり、像が不自然になることはない。   The presence or absence of AF was examined for the above-mentioned 3 mm and 5 mm thick card cameras including lens aberrations. If the camera focus position was set to about 2 m to the subject, the distance to the subject was 1 m. It was found that the change in MTF from infinity to infinity is a change of 50% or less at the Nyquist frequency and can be regarded as pan focus. It is also possible to perform deconvolution so as to compensate for the change in MTF (PSF also changes at the same time) according to the focus position. When refocusing (focusing on an arbitrary subject distance after shooting), it is possible to compensate for the degradation of MTF according to the distance. That is, as shown in FIG. 7, a storage unit 49 that stores PSF or MTF for each focus position in advance, and image processing so as to cancel PSF or MTF changes due to the focus position when generating a focus image by the synthetic aperture method. And an image processing unit 41 that performs the above. The storage unit 49 and the image processing unit 41 are connected together with the CPU 42 by a bus 43 and are controlled by the CPU 42 in an integrated manner. Reference numeral 44 denotes an image acquisition unit for capturing a plurality of images, such as a multi-lens camera, a scanner, and an external input unit. Even with this configuration, the out-of-focus image is blurred according to the present invention, so that the out-of-focus image is overcorrected and the image does not become unnatural.

カメラモジュールのAF用アクチュエータは、被写体までの距離2mにフォーカスを設定する際に用いてもよい。これは1/8インチの撮像センサのサイズの像側の焦点調整がシビアでコンマ数ミクロンレベルの調整と安定性を求めるためである。   The AF actuator of the camera module may be used when setting the focus at a distance of 2 m to the subject. This is because the focus adjustment on the image side of the size of the image sensor of 1/8 inch is severe, and the adjustment and stability at the level of several microns are required.

ところで、一つの撮影レンズ23のピントを測距した基準の被写体距離に合わせるとともに、残りの撮影レンズ23に対しては前記合焦位置を基準にして均一なボケ量になるようピントを順にずらしていくピントずらし制御は難しい。そこで、AF部26としては、最短撮影距離から無限遠までの撮影距離域を個眼撮像部40の数で分割し、各分割位置に応じた撮影距離にピントが各々合うように各合焦ドライバ27を制御して、各撮影レンズ23を個別に移動させるのが好適である。なお、フォーカスを撮影事後に行わない場合には、絞りと撮影レンズ23とでパンフォーカスを構成してもよい。この場合には、AF部26等を省略することができる。   By the way, the focus of one photographing lens 23 is adjusted to the reference subject distance measured, and the remaining photographing lenses 23 are sequentially shifted in focus so that the amount of blur is uniform with respect to the in-focus position. Going out of focus is difficult to control. Therefore, the AF unit 26 divides the shooting distance range from the shortest shooting distance to infinity by the number of the single-eye imaging units 40, and each focusing driver so that the shooting distance corresponding to each division position is in focus. It is preferable to move each photographic lens 23 individually by controlling 27. In addition, when the focus is not performed after the photographing, the pan focus may be configured by the diaphragm and the photographing lens 23. In this case, the AF unit 26 and the like can be omitted.

ROM28は、各種プログラムやプログラムの実行に必要な設定値を予め記憶している。RAM29は、CPU24のワークメモリとして、また、各部の一時的なメモリとして使用される。これらCPU24、ROM28、RAM29、LCDドライバ33、I/F30、及び画像処理部25はバス32により接続されている。   The ROM 28 stores various programs and setting values necessary for executing the programs in advance. The RAM 29 is used as a work memory for the CPU 24 and as a temporary memory for each unit. The CPU 24, ROM 28, RAM 29, LCD driver 33, I / F 30, and image processing unit 25 are connected by a bus 32.

なお、撮影レンズ23をズームレンズ、又は焦点距離切り替えタイプのレンズとしてもよい。この場合には、変倍操作に同期して全ての撮影レンズ23を同じに変倍するように構成すればよい。   The photographing lens 23 may be a zoom lens or a focal length switching type lens. In this case, all the photographing lenses 23 may be configured to be zoomed in the same manner in synchronization with the zooming operation.

CPU24には、タブレット34から各種の操作信号が入力される(図示なし)。CPU24は、1回のレリーズ操作に応答して焦点の異なる複数の画像データ(多焦点画像データ)を各フレームメモリ22に同時に取り込む。多焦点画像データは、各フレームメモリ22に個別に取り込まれた後、画像処理部25に出力される。   Various operation signals are input to the CPU 24 from the tablet 34 (not shown). The CPU 24 simultaneously loads a plurality of image data (multifocal image data) having different focal points into each frame memory 22 in response to one release operation. The multifocal image data is individually taken into each frame memory 22 and then output to the image processing unit 25.

<3次元シフト・インバリアントな結像>
光学系による結像の点像PSFを光軸方向のデフォーカスによるボケも考慮すると、3次元のPSFを考える必要がある。物体も3次元で、アイソプラナティックな範囲ではシフト・インバリアントな結像と見なせ、物体面のどこでも同じPSFで結像を表すことができる。例えば像空間x,y,zに像点p1,p2が存在する場合、これらの点に対して、P
SFがコンボリューションされた状態が結像状態となる。一般に物体は凹凸があり、図8に示すように、結像ではカメラから見える表面上の物点に対応する像点がそれぞれPSFでコンボリューションされた状態となる。同図に示す3次元のPSFは、3次元のボケカ
ーネルと呼んでも良い。このような3次元結像状態を得る場合、通常のレンズの結像の場合、例えば図9に示すように、焦点距離5.34mm、F1.4、対角撮像範囲=像高×2=3.17mmの場合、近距離の530mmから無限遠までを結像したとしても像空間x,y,zの光軸方向zの結像位置は5.34mmと5.39mmで高々50μmの変化しか起こらず、この範囲をz方向にアイソプラナティックな範囲と見なすことができる。
<Three-dimensional shift invariant imaging>
Considering the blur due to defocusing in the optical axis direction of the point image PSF formed by the optical system, it is necessary to consider a three-dimensional PSF. An object is also three-dimensional, and can be regarded as shift-invariant imaging within an isoplanatic range, and imaging can be expressed with the same PSF anywhere on the object surface. For example, when there are image points p1 and p2 in the image space x, y, z, P
The state in which the SF is convolved is the image formation state. In general, an object has irregularities, and as shown in FIG. 8, image points corresponding to object points on the surface visible from the camera are convolved with PSFs as shown in FIG. The three-dimensional PSF shown in the figure may be called a three-dimensional blur kernel. When obtaining such a three-dimensional imaging state, in the case of normal lens imaging, for example, as shown in FIG. 9, focal length 5.34 mm, F1.4, diagonal imaging range = image height × 2 = 3 In the case of .17 mm, even if an image is formed from a short distance of 530 mm to infinity, the imaging position in the optical axis direction z of the image space x, y, z is 5.34 mm and 5.39 mm, and only a change of 50 μm occurs at most. However, this range can be regarded as an isoplanatic range in the z direction.

x,yについても通常PSFは大きく変化することはないので、通常のレンズの結像状態で、2次元の撮像素子を像面Iに平行に移動、位置させて撮像することにより、3次元結像状態のデータを取得すること可能である。2次元撮像素子の光軸z方向のデータ取得の間隔は、等間隔とすることが信号処理の上で望ましい。なお、z minは、無限遠位置に
相当する。z maxは、被写体のレンズから最近の位置を十分に含むことが望ましいが、実
用的にはリフォーカスを行う可能性のある範囲で問題ない。またz minも近景のみフォー
カスさせる場合は必ずしも無限遠までの2次元撮像素子のデータが必要というわけではなく、リフォーカスする範囲の奥行き方向で最も遠い点をz minとすればよい。特にマクロ
撮影では、z方向のデータが増加しがちなので、適当な範囲をz min, z maxに設定することが必要となる。結像倍率は、レンズから被写体までの距離を「Z」、レンズから像点までの距離を「b」とすると、レンズの結像公式「1/f=1/Z+1/b」の式から求まる。
Since the PSF does not change significantly with respect to x and y as well, a three-dimensional image is obtained by moving and positioning a two-dimensional image sensor in parallel with the image plane I in the normal lens imaging state. It is possible to acquire image state data. It is desirable in terms of signal processing that the data acquisition intervals in the optical axis z direction of the two-dimensional imaging device are equal intervals. Note that z min corresponds to the infinity position. Although it is desirable that z max sufficiently include the latest position from the lens of the subject, there is no problem in a range where refocusing may be practically performed. When z min is focused only in the near view, the data of the two-dimensional image sensor up to infinity is not necessarily required, and the point farthest in the depth direction of the refocus range may be set as z min. Particularly in macro photography, since data in the z direction tends to increase, it is necessary to set appropriate ranges to z min and z max. The imaging magnification is obtained from the formula of the lens imaging formula “1 / f = 1 / Z + 1 / b” where “Z” is the distance from the lens to the subject and “b” is the distance from the lens to the image point. .

<合成開口法によるフォーカシング(焦点合わせ)について>
合成開口法でのフォーカス合わせ(焦点合わせ)は、図10に示すように、距離Zにフォーカスする場合、中央のカメラからの距離を「s」とすれば、視差量=カメラ間隔×結像倍率=s×b/Zだけ像をシフトさせて、中央のカメラの像とフォーカス位置にある像点が重なるように行う。
<About Focusing by Synthetic Aperture Method>
As shown in FIG. 10, the focusing (focusing) by the synthetic aperture method is as follows. When focusing on the distance Z, if the distance from the center camera is “s”, the amount of parallax = camera interval × imaging magnification The image is shifted by = s × b / Z so that the center camera image and the image point at the focus position overlap.

レンズの代わりにピンホールを使う場合、結像倍率は「f/Z」の式から求まる。パンフォーカスのレンズを使用する場合、レンズのピント位置はMTFの変化を計算し、最短撮影距離と無限遠のMTFの劣化が同程度になるような固定ピント設定距離を決める。例えば最短撮影距離が1mの場合、2mにピント位置を設定する。bの値はレンズの結像公式から求める。([数8])   When a pinhole is used instead of a lens, the imaging magnification is obtained from the formula “f / Z”. When a pan focus lens is used, the focus position of the lens calculates the change in MTF, and the fixed focus setting distance is determined so that the degradation of the shortest shooting distance and the MTF at infinity is comparable. For example, when the shortest shooting distance is 1 m, the focus position is set to 2 m. The value of b is obtained from the lens imaging formula. ([Equation 8])

以下の説明では視差の単位をピクセルで表現する場合が多いが、これは本発明では視差量が撮像素子のピクセルピッチの整数倍となる被写体距離での合成開口法でフォーカス画像を合成し、画像処理をおこなうことが効率的で、かつ、処理した結果も画質が良好であるためである。ピクセルピッチは撮像素子の本来の値を用いても良いし、多画素化された後の撮像素子のピッチを用いても良い。また、マクロ撮影時などフォーカス点があまりに多くなる場合は、視差量を1ピクセルずつに対応させて合成開口画像を生成する必要は無く、適宜間引きすることが可能である。間引きの割合は画像を見ながら判断する必要がある。   In the following description, the unit of parallax is often expressed in pixels, but in the present invention, the focus image is synthesized by a synthetic aperture method at a subject distance in which the parallax amount is an integral multiple of the pixel pitch of the image sensor. This is because it is efficient to perform the processing, and the processing result also has good image quality. As the pixel pitch, the original value of the image sensor may be used, or the pitch of the image sensor after the number of pixels is increased may be used. In addition, when there are too many focus points, such as during macro shooting, it is not necessary to generate a synthetic aperture image with the parallax amount corresponding to each pixel, and thinning can be performed as appropriate. It is necessary to judge the thinning ratio while viewing the image.

合成開口法でシフト・インバリアントな3次元結像状態のデータを取得することを考える。そのためには、像空間の光軸方向zを視差量で表現することが望ましい。理由は以下の説明による。   Consider acquiring shift-invariant three-dimensional imaging state data using the synthetic aperture method. For that purpose, it is desirable to express the optical axis direction z of the image space by the amount of parallax. The reason is as follows.

物体の座標系をX,Y,Zのリニア(等間隔)スケールで考える。光軸をZ軸方向にとる。多眼カメラの合成開口法によるフォーカス合わせ(焦点合わせ)の像空間の座標系(x,y,z)とする。多眼カメラの各カメラはピンホールカメラと同様に焦点深度が深いカメラ
を用い、リフォーカシング可能にするのが普通である。まず、図10に示すようにピンホールカメラを考える。
Consider the coordinate system of an object on an X, Y, Z linear (equally spaced) scale. The optical axis is taken in the Z-axis direction. A coordinate system (x, y, z) of an image space for focusing (focusing) by a synthetic aperture method of a multi-lens camera is used. As in the case of a pinhole camera, each camera of a multi-lens camera usually uses a camera with a deep focal depth and can be refocused. First, consider a pinhole camera as shown in FIG.

ピンホールカメラは一つ一つはZ方向の情報を持たず、いずれの距離の物体もピンホールから焦点距離fのところに位置する結像面に結像する。ところが合成開口法によって焦点合わせを行うと、カメラ配置に起因する視差=ボケを発生する。多眼カメラによるピント合わせを、図10を参照しながら説明する。   Each pinhole camera does not have information in the Z direction, and an object at any distance is imaged on an imaging plane located at a focal length f from the pinhole. However, when focusing is performed by the synthetic aperture method, parallax = blurring due to camera arrangement occurs. Focusing with a multi-lens camera will be described with reference to FIG.

カメラは、X,Y方向に5×5の配置である。ピンホールカメラによる25眼の画像を撮影し、そこから合成開口法でフォーカシングを行うので、被写体の結像倍率は撮影時に決定し、フォーカシングに依存しない。結像倍率は被写体までの距離をZとすればピンホールカメラの倍率:f/Zである。   The camera has a 5 × 5 arrangement in the X and Y directions. Since a 25-eye image is taken with a pinhole camera and focusing is performed by the synthetic aperture method, the imaging magnification of the subject is determined at the time of shooting and does not depend on the focusing. The imaging magnification is the magnification of the pinhole camera: f / Z, where Z is the distance to the subject.

図10は、多眼カメラを複数のピンホールカメラとして表現しており、各カメラの視点つまりピンホールの位置は、カメラ面(瞳共役面)(s−t平面)に位置しており、瞳位置(視点位置、ピンホール位置と等価)(s,t)のカメラをD(s,t)で示す。X軸とs軸とx軸は平行。Y軸とt軸とy軸は平行とする。物体面とカメラ面は平行で、合成開口法によりカ
メラ面から任意の距離Zにある、物体面に合焦させる状態を表している。同図ではピンホールカメラのピンホールは3角形の頂点で表されている。また、ピンホールを表す頂点に対向する辺が撮像面を表す。
FIG. 10 represents a multi-view camera as a plurality of pinhole cameras, and the viewpoint of each camera, that is, the position of the pinhole, is located on the camera plane (pupil conjugate plane) (s-t plane). The camera at the position (equivalent to the viewpoint position and pinhole position) (s, t) is denoted by D (s, t). The X, s, and x axes are parallel. The Y axis, t axis, and y axis are parallel. The object plane and the camera plane are parallel and represent a state in which the object plane is in focus at an arbitrary distance Z from the camera plane by the synthetic aperture method. In the figure, the pinhole of the pinhole camera is represented by a triangular apex. Further, the side facing the apex representing the pinhole represents the imaging surface.

各カメラの撮像センサの撮像面の座標をxD(s,t),yD(s,t)とする。各カメラのセンサ
ー座標の原点とピンホールは各カメラの光軸上にあり、各カメラの光軸はZ軸に平行とす
る。カメラ面と撮像面は平行で各カメラの光軸はこれらと直交している。この座標xD(s,t),yD(s,t)はキャリブレーション済みの誤差なしの値とする。物体面(X,Y)上の点P(X,Y,Z)はカメラ面からZの距離にあり、各カメラD(s,t)のx’D(s,t),y’D(s,t)に結像す
る。これは[数4]及び[数5]に記載の式で示される。またZ軸上にcam3があるとすれ
ば、xD(0,0)=X×f/Z,yD(0,0)=Y×f/Zとなる。
Assume that the coordinates of the imaging surface of the imaging sensor of each camera are xD (s, t) and yD (s, t). The origin and pinhole of the sensor coordinates of each camera are on the optical axis of each camera, and the optical axis of each camera is parallel to the Z axis. The camera surface and the imaging surface are parallel, and the optical axis of each camera is orthogonal to them. The coordinates xD (s, t) and yD (s, t) are values without error after calibration. The point P (X, Y, Z) on the object plane (X, Y) is at a distance Z from the camera plane, and x′D (s, t), y′D (of each camera D (s, t). s, t). This is shown by the equations described in [Equation 4] and [Equation 5]. If there is cam3 on the Z axis, xD (0,0) = X × f / Z, yD (0,0) = Y × f / Z.

ここで、[数4][数5]に記載のfD(s,t)は実測焦点距離、const_xD(s,t),const_yD(s,t)はキャリブレーション誤差追い込み用の定数である。   Here, fD (s, t) described in [Equation 4] and [Equation 5] are measured focal lengths, and const_xD (s, t) and const_yD (s, t) are constants for tracking calibration errors.

撮像面の画像ピクセルの出力をC(x’D(s,t),y’D(s,t))とする。距離Zにフォーカ
スが合った合成開口出力I(x,y,Z)は[数6]に示す式から算出することができる。合成開口法によって得られた画像、合成開口像の実質的な視点を合成視点と呼ぶことにする。合成視点は[数4]、[数5]よりs,t座標の原点となる。
Let C (x′D (s, t), y′D (s, t)) be the output of the image pixels on the imaging surface. The synthetic aperture output I (x, y, Z) focused on the distance Z can be calculated from the equation shown in [Equation 6]. The substantial viewpoint of the image obtained by the synthetic aperture method and the synthetic aperture image is called a synthetic viewpoint. The composite viewpoint is the origin of s and t coordinates from [Equation 4] and [Equation 5].

ただし、合成開口出力は、任意の選択したカメラの合成出力とする。例えば25台中の
16台。模式的には合成開口法による画像の合成の状況は、ピント位置に応じて画像を相対的に移動させてピント合わせ(フォーカス合わせ(焦点合わせ))を行う。
However, the synthetic aperture output is the synthetic output of any selected camera. For example, 16 of 25 units. Schematically, the state of image synthesis by the synthetic aperture method is to perform focusing (focusing (focusing)) by relatively moving the image according to the focus position.

[数4]、[数5]、及び[数6]は、ピンホールカメラの例で説明した式である。しか
しながら、実際にはカメラレンズ付きの多眼カメラを用いる。その場合の視差量は、[数7]、または[数8]に記載の式で示される。
[Expression 4], [Expression 5], and [Expression 6] are the expressions described in the example of the pinhole camera. However, a multi-lens camera with a camera lens is actually used. In this case, the parallax amount is expressed by the equation described in [Equation 7] or [Equation 8].

視差量zが等間隔となる物体距離Zで画像を取得することが効率的であり、視差量zが決まれば被写体までの距離Zは、[数7]、または[数8]に記載の式により一義的に決まる。ピンホールカメラの場合の視差量zは、カメラ間隔(瞳面上の任意の2視点間の距離):s0と撮像倍率:b/Zの積に比例し、[数7]に記載の式で示される。従って、カメラ間隔が大きいほど視差の被写体距離に対する変化量は大きくなる。多眼配置のカメラではカメラ間の距離が最も離れた2視点の間隔:s maxで、視差の被写体距離に対する変化量は最大になる。従って、視差量のサンプリングピッチはもっとも細かく取得する場合においては、[数7]でs0=s maxとした視差量が撮像素子のピクセルピッチの整数倍に相当する視差量zにて、複数のフォーカス画像をサンプリングまたは合成してゆけばよい。   It is efficient to acquire an image at an object distance Z at which the parallax amount z is equally spaced, and if the parallax amount z is determined, the distance Z to the subject is expressed by the equation described in [Equation 7] or [Equation 8]. Is uniquely determined by The amount of parallax z in the case of a pinhole camera is proportional to the product of camera interval (distance between any two viewpoints on the pupil plane): s0 and imaging magnification: b / Z, and is given by the equation shown in [Equation 7]. Indicated. Therefore, the larger the camera interval, the greater the amount of change in parallax with respect to the subject distance. In a multi-lens arrangement camera, the amount of change in parallax with respect to the subject distance is maximized at the interval of two viewpoints: s max where the distance between the cameras is the farthest. Therefore, in the case where the sampling pitch of the parallax amount is acquired most finely, the parallax amount z in which s0 = smax in [Equation 7] is equal to an integer multiple of the pixel pitch of the image sensor, and a plurality of focus points are obtained. You can sample or combine images.

[数7]
視差量(z)=カメラ間隔(s0)×結像倍率=s0×b/Z
[Equation 7]
Parallax amount (z) = camera interval (s0) × imaging magnification = s0 × b / Z

<視差量について>
以上見たように、視差量は、ピンホールカメラまたは、パンフォーカスレンズの場合、[数7]に記載の式で示される。一方、図9に示すように単眼レンズでピント合わせをする場合を考える。この場合、レンズの入射瞳はある程度面積を持ち、レンズの瞳面(sp)内の任意の2点間の距離:s0とする。任意の2点間の距離:s0の最大は瞳径Apである。視差量z2は、物点までの距離をZ、焦点距離をfとすると[数8]に記載の式になる。また、多眼カメラの構成で各撮影レンズのピント合わせを行う場合も、[数8]に記載の
式で示される。
<About the amount of parallax>
As seen above, the amount of parallax is expressed by the equation described in [Formula 7] in the case of a pinhole camera or a pan focus lens. On the other hand, consider the case of focusing with a monocular lens as shown in FIG. In this case, the entrance pupil of the lens has a certain area, and the distance between any two points in the pupil plane (sp) of the lens is s0. The maximum distance between any two points: s0 is the pupil diameter Ap. The parallax amount z2 is given by the equation shown in [Equation 8] where Z is the distance to the object point and f is the focal length. Also, when focusing on each photographic lens in the configuration of a multi-lens camera, it is expressed by the equation described in [Equation 8].

[数8]
視差量(z2)=結像倍率(m)×瞳面上の任意の2視点間の距離(s0)=f×s0/(Z−f)
[Equation 8]
Parallax amount (z2) = imaging magnification (m) × distance between any two viewpoints on the pupil plane (s0) = f × s0 / (Z−f)

なお、図9に示す瞳面と図10に示すカメラ面は、双方とも入射する光束を規定する入射瞳であって、等価な役割を果している。また、合成開口法の多眼カメラのレンズを被写体のピント位置ごとにレンズを繰り出してピント合わせを行う場合は、結像面とレンズの距離:bはZの関数となるので、視差は、[数8]に記載の式になる。一般的に多眼カメラを用いた合成開口法は、固定フォーカス、パンフォーカスのレンズを用いるので、視差量zは[数7]に記載の式から導く。   The pupil plane shown in FIG. 9 and the camera plane shown in FIG. 10 are both entrance pupils that define the incident light flux, and play an equivalent role. In addition, when a lens of a multi-lens camera with a synthetic aperture method is extended for each focus position of a subject to perform focusing, the distance between the image plane and the lens: b is a function of Z, so that the parallax is [ Equation 8] is obtained. In general, a synthetic aperture method using a multi-lens camera uses fixed focus and pan focus lenses, and thus the parallax amount z is derived from the equation described in [Equation 7].

2つのカメラの間の視差量zはレンズを相対的に平行シフトさせたときの像の移動量であるので、ピントの合った状態からの視差量の増大はボケ量と等しい。たとえば、無限遠にピントを合わせた状態では、視差1ピクセルに相当する被写体距離にある被写体は1ピクセルのボケ半径でぼけて撮影されるということになり、視差1ピクセルの距離の被写体にピントを合わせれば無限遠の被写体は1ピクセルのボケ半径でぼけるということになる。合成開口法によるピント合わせをおこなわず、単レンズで撮像面の位置を変化させてピント合わせを行う場合の視差量zの計算は、[数8]に記載の式を用いた方が、特に近距離の視差量zの計算で誤差が少なくなるが、[数7]に記載の式で代用することができる場合もある。   Since the parallax amount z between the two cameras is the amount of image movement when the lens is relatively shifted in parallel, the increase in the parallax amount from the in-focus state is equal to the blur amount. For example, in a state where the focus is set to infinity, a subject at a subject distance corresponding to one pixel of parallax is photographed with a blur radius of one pixel, and a subject at a distance of one pixel of parallax is focused. In total, an object at infinity is blurred with a blur radius of 1 pixel. When calculating the parallax amount z when focusing is performed by changing the position of the imaging surface with a single lens without performing the focusing by the synthetic aperture method, it is particularly closer to use the formula described in [Equation 8]. Although the error is reduced in the calculation of the distance parallax amount z, the equation described in [Expression 7] may be substituted.

任意の距離での視差量zをゼロにするという行為がピント合わせ(フォーカス合わせ(
焦点合わせ))といえる。ピント合わせの行為は通常のレンズでは像面をピント位置に一致させることになる。合成開口法では複数のカメラの画像間の視差量がゼロになるように複数の画像を視差量だけシフトさせてたし合わせるという行為になる。
The act of setting the parallax amount z at any distance to zero is the focus (focus adjustment (
Focus))). The action of focusing is to make the image plane coincide with the focus position in a normal lens. In the synthetic aperture method, a plurality of images are shifted by the amount of parallax so that the amount of parallax between the images of a plurality of cameras becomes zero.

本発明では、光軸の奥行き方向を視差で置き換えているので、ボケを表す関数は、ボケの大きさが視差量に比例する。例えば円形開口では円錐状(コーン状)となる。   In the present invention, since the depth direction of the optical axis is replaced with parallax, in the function representing blur, the magnitude of blur is proportional to the amount of parallax. For example, a circular opening has a conical shape (cone shape).

<データの取得間隔について>
x、y方向を等間隔に配したカメラから画像を取得する。これは2次元状に等間隔に配置した撮像センサによってサンプリングすることにより達成される。一方、視差量zは、2つのカメラ間に生じる視差のピクセルカウント(視差量/ピクセルピッチ(P))がリ
ニア(等間隔)になるように分割して取得する。いいかえれば、視差量zがピクセルピッチの整数倍になるようにフォーカス位置を設定して複数の焦点状態の画像を合成開口法により合成する。これにより、計算誤差を低減することができる。ピクセルピッチは、撮像センサのピクセルピッチでも良いし、各カメラ(個眼撮像部)から出力される出力画像の画素ピッチでも良い。後者の場合、多画素化処理に本来の撮像センサの画素ピッチの整数分の「1」になっている。
<About the data acquisition interval>
An image is acquired from a camera in which x and y directions are arranged at equal intervals. This is achieved by sampling with imaging sensors arranged in two dimensions at equal intervals. On the other hand, the parallax amount z is obtained by being divided so that the pixel count (parallax amount / pixel pitch (P)) of parallax generated between the two cameras is linear (equal intervals). In other words, the focus position is set so that the parallax amount z is an integer multiple of the pixel pitch, and images in a plurality of focus states are synthesized by the synthetic aperture method. Thereby, a calculation error can be reduced. The pixel pitch may be the pixel pitch of the image sensor, or the pixel pitch of the output image output from each camera (single-eye imaging unit). In the latter case, it is “1” corresponding to an integer of the pixel pitch of the original image sensor for the multi-pixel processing.

<瞳面上の2点間の距離s0について>
ここで、合成開口法によるフォーカス合わせを行う回数、つまりフォーカス方向の分解能を決定する。瞳面上の2点間の距離s0を如何に決定するかを説明する。
<About the distance s0 between two points on the pupil plane>
Here, the number of times of focusing by the synthetic aperture method, that is, the resolution in the focus direction is determined. How to determine the distance s0 between two points on the pupil plane will be described.

フォーカス方向のデータ数(合成開口法により合成するフォーカス画像の枚数)を増やすには、[数7]、及び[数8]に記載の式でs0=s maxまたはs0=APとした視差量を計算し、
視差量が撮像素子のピクセルピッチの整数倍となる被写体までの距離:Zにおいて得られ
たフォーカス画像を合成開口法によって合成してゆけばよい。この方法がもっとも多くの異なる被写体距離Zにおいてフォーカス画像を生成する方法である。しかしながら、実用
的には数分の1程度に間引きを行っても支障が無いことが分かった。とくに、多眼カメラが等間隔に並んでいる場合(M系列配置を含む。)、視差量zは[数7]に記載の式でs0=
隣接カメラ間の間隔とすることで、合成開口法によるフォーカス合わせ(焦点合わせ)の際にサブピクセルの画像の横ずらし(一画素以下のずらし量の横ずらし)をする必要が無くなり、画素ピッチに起因する量子化誤差を発生しないので、画素ピッチに起因するボケの発生を防止することができる。これによりデータ数が間引きされるが、例えばs×t=5×5程度のカメラ数であれば、最大データ数の1/4程度に間引きされるものの、実用上
十分であることが分かった。マクロ撮影ではさらにデータ数を半分程度に間引きしてもまったく問題ないことが分かった。
In order to increase the number of data in the focus direction (the number of focus images to be synthesized by the synthetic aperture method), the parallax amount with s0 = smax or s0 = AP in the equations described in [Equation 7] and [Equation 8] is used. Calculate
A focus image obtained at a distance Z, where the parallax amount is an integral multiple of the pixel pitch of the image sensor, may be synthesized by the synthetic aperture method. This method is a method of generating a focus image at the most different subject distances Z. However, practically, it has been found that there is no problem even if thinning is performed to about a fraction. In particular, when the multi-lens cameras are arranged at equal intervals (including the M-sequence arrangement), the parallax amount z is s0 =
By setting the distance between adjacent cameras, it is not necessary to shift the subpixel image laterally (shifting by a shift amount of one pixel or less) at the time of focusing (focusing) by the synthetic aperture method. Since the resulting quantization error does not occur, it is possible to prevent the occurrence of blur due to the pixel pitch. As a result, the number of data is thinned out. For example, if the number of cameras is about s × t = 5 × 5, the number of data is thinned out to about 1/4 of the maximum number of data, but it has been found that the number is practically sufficient. In macro photography, it was found that there is no problem even if the number of data is reduced to about half.

<単眼レンズにおける視差量について>
単眼レンズで[数8]に記載の式で視差を決め、複数のフォーカスでの画像データを取得
する際も任意の瞳上の2点間の距離:s0をAp/4程度にしてデータの間引きを行っても実用上問題ない。
<Parallax amount in monocular lens>
When using a monocular lens to determine the parallax according to the equation described in [Equation 8] and acquiring image data with multiple focus, the distance between two points on any pupil: s0 is set to about Ap / 4, and the data is thinned out. There is no practical problem even if it is performed.

視差量zの値は、距離:Z=無限遠で視差:z=0であるので視差の座標は、図11に示すようにとることが望ましい。x,yは撮像面内の2次元座標、zは視差量である。図11では2次元の方眼状に等間隔に並んだ多眼カメラを想定し、視差量zは[数7]に記載の式でs0=隣接カメラ間の間隔とした。図11に示す4つの斜めの直線は、図10で説明した
カメラD(s,t)がs,t面内で等間隔かつs,t軸に平行に5×5の方眼は位置で並んでいるも
のとする。s=0のカメラ5つをcam1〜cam5と命名する。s,t面内に5×5の方眼配置で等間隔並んだ内の一列のcam1〜cam5のカメラの中心(s,t座標の原点)にあ
るcam3の上下のcam1、cam5、cam2、cam4の配置によってx,y面内で
発生する視差またはボケの大きさ(3次元PSFカーネルのx,y断面の大きさ)を示して
いる。視差量z=4においてピクセル(P)の±4倍および±8の視差をx又はyに発生することを示している。このように奥行き方向(光軸方向)の分割を視差量zが等間隔になるように分割することで、カメラ配置によるボケを表す3次元PSFカーネル(図12参
照)や任意の3次元ボケカーネル(図13参照)の大きさの変化が視差量にリニアに変化することになり、3次元ボケカーネルの形状が光軸に沿った視差z軸の位置に依存して変化するというような不都合が無くなる。これにより、シフト・インバリアント、つまり、3次元のコンボリューションで表せるような3次元結像状態のデータを取得できることになる([数17]に記載の式)。
Since the value of the parallax amount z is distance: Z = infinity and parallax: z = 0, the coordinates of the parallax are preferably taken as shown in FIG. x and y are two-dimensional coordinates in the imaging surface, and z is a parallax amount. In FIG. 11, a multi-lens camera arranged in a two-dimensional grid at equal intervals is assumed, and the parallax amount z is set as s0 = interval between adjacent cameras in the equation shown in [Expression 7]. The four diagonal straight lines shown in FIG. 11 indicate that the cameras D (s, t) described in FIG. 10 are arranged at equal intervals in the s, t plane and 5 × 5 grids parallel to the s, t axes. It shall be. The five cameras with s = 0 are named cam1 to cam5. Cam1, cam5, cam2, cam4 above and below cam3 at the center of the camera (cam, origin of s, t coordinates) in a row of cam1 to cam5 in a 5 × 5 grid arrangement in the s, t plane. The size of parallax or blur occurring in the x, y plane depending on the arrangement (the size of the x, y cross section of the three-dimensional PSF kernel) is shown. It is shown that a parallax of ± 4 times and ± 8 of the pixel (P) is generated in x or y when the parallax amount z = 4. In this way, by dividing the depth direction (optical axis direction) so that the parallax amount z is equally spaced, a three-dimensional PSF kernel (see FIG. 12) representing blur due to camera arrangement or an arbitrary three-dimensional blur kernel The change in size (see FIG. 13) changes linearly to the amount of parallax, and the shape of the three-dimensional blur kernel changes depending on the position of the parallax z-axis along the optical axis. Disappear. Thereby, shift invariant, that is, data of a three-dimensional imaging state that can be expressed by a three-dimensional convolution can be acquired (formula described in [Equation 17]).

瞳面(カメラ面)上のs,t方向の任意の2点間の最大距離は、図7に示すように、ca
m1,cam5の距離になっており、図12、及び図13に示す視差量zは、隣接カメラ間の距離の4倍ある。つまり、3次元結像状態のデータは、s0を隣接カメラ間に設定しているので、最大のデータ数から1/4に間引きされた数になる。この数は、実用上十分なデータ数であるので問題はない。
As shown in FIG. 7, the maximum distance between any two points in the s and t directions on the pupil plane (camera plane) is ca.
The distance is m1 and cam5, and the parallax amount z shown in FIGS. 12 and 13 is four times the distance between adjacent cameras. That is, since the data in the three-dimensional imaging state has s0 set between adjacent cameras, the number is thinned to ¼ from the maximum number of data. Since this number is sufficient for practical use, there is no problem.

図12は、図11の3次元PSFカーネルをz=4でフォーカスがあっている状態で書き
直したものである。3次元PSFカーネルはカメラの光学ハードウェアにより決定するボケ
カーネルで、カメラ入射瞳形状と合成視点位置(カメラ面s-t面(入射瞳面)内の瞳面
の配置を含む形状および合成視点配置)により決定する。図12はボケを表す3次元PSF
カーネルの3次元的形状とx,y断面でのボケカーネルの大きさを示している。x,yは撮
像面内の2次元座標、zは視差量である。図12では、図10,図11同様に2次元の方
眼状に等間隔に並んだ多眼カメラを想定し、視差量zは、[数7]でs0=隣接カメラ間の間
隔とした。ボケカーネルの大きさは、視差量に応じて線形に変化する。同図は、視差z=4(ピクセル)でフォーカスが合っている物体に3次元PSFカーネルBcがコンボリュー
ションされている状態を示している。ボケカーネルのx,y断面は、x,y面内(撮像面)でボケを表す2次元の分布関数のことで、本発明では視差zの関数でもある。これを例えば[数9]に記載したように、f(x,y,z)と置けば、[数10]に記載のように、面積が1で規格化された関数になる。ピント位置でボケないような関数にするには、デルタ関数、つまり大きさゼロで面積1の関数とする。任意のボケカーネルを撮像面(x−y面)の画像にコンボリューションして2次元画像をぼかすことができる。
FIG. 12 is a rewrite of the three-dimensional PSF kernel of FIG. 11 with z = 4 and in focus. The 3D PSF kernel is a blur kernel that is determined by the camera's optical hardware. The camera entrance pupil shape and the combined viewpoint position (including the pupil plane arrangement in the camera plane st plane (incident pupil plane) and the combined viewpoint arrangement) ) Figure 12 shows a 3D PSF representing blur
The three-dimensional shape of the kernel and the size of the blur kernel in the x and y sections are shown. x and y are two-dimensional coordinates in the imaging surface, and z is a parallax amount. In FIG. 12, similarly to FIGS. 10 and 11, a multi-view camera arranged in a two-dimensional grid at equal intervals is assumed, and the parallax amount z is set as [Equation 7] and s0 = interval between adjacent cameras. The size of the blur kernel changes linearly according to the amount of parallax. This figure shows a state in which the three-dimensional PSF kernel Bc is convolved with an object in focus with parallax z = 4 (pixels). The x, y cross section of the blur kernel is a two-dimensional distribution function representing blur in the x, y plane (imaging plane), and is also a function of parallax z in the present invention. For example, as described in [Equation 9], if f (x, y, z) is set, the function is normalized with an area of 1 as described in [Equation 10]. To obtain a function that does not blur at the focus position, a delta function, that is, a function of area 1 with a size of zero is used. A two-dimensional image can be blurred by convolving an arbitrary blur kernel with an image on the imaging plane (xy plane).

このように視差zに応じて(多くの場合比例)広がりが変化する分布関数を以下では3次元ボケカーネルのx、y断面または単にボケカーネル、ボケ関数、3次元PSFカーネル
などと呼ぶ。
A distribution function whose spread changes in accordance with the parallax z in this case (proportionally in many cases) is hereinafter referred to as an x- and y-section of a three-dimensional blur kernel or simply a blur kernel, a blur function, a three-dimensional PSF kernel, and the like.

図13は、任意のボケ量のボケカーネルz=4(ピクセル)でフォーカスが合っている物体にボケカーネルBがコンボリューションされている状態を示す。図11、図12との比較から、図13は入射瞳面での半径がs0の円形開口のレンズによるボケを表す3次元ボケカーネルということが分かる。x,yは撮像面内の2次元座標、zは視差量である。ボケカーネルの半径をゼロにすると全焦点画像が生成される。なお、ボケ生成アルゴリズムの詳
しい説明は後述する。
FIG. 13 shows a state where the blur kernel B is convoluted with an object that is in focus with an arbitrary blur amount of blur kernel z = 4 (pixels). From comparison with FIG. 11 and FIG. 12, it can be seen that FIG. 13 is a three-dimensional blur kernel representing blur due to a lens having a circular aperture with a radius s0 on the entrance pupil plane. x and y are two-dimensional coordinates in the imaging surface, and z is a parallax amount. When the radius of the blur kernel is set to zero, an omnifocal image is generated. A detailed description of the blur generation algorithm will be described later.

カメラ面内に2次元の方眼状に等間隔に並んだ多眼カメラを想定し、視差量zは[数7]に記載の式でs0=隣接カメラ間の間隔とし、隣接カメラ間隔12mm、焦点距離5.34
mm、ピクセルピッチP=6μmのときの視差量zと被写体までの距離Zと像面とレンズの距離bを表1に示す。レンズと像面の距離bは、レンズの結像公式1/f=1/Z+1/bにより求めた。このようにカメラが等間隔の場合、隣接カメラ間隔から視差を求め、視差がピクセルの整数倍となるような間隔で画像処理に用いる視差の値を決定すると、合成開口法によるフォーカス合わせ(焦点合わせ)の際の画像シフト量がいずれのカメラにおいても、ピクセルピッチの整数倍とすることができ、量子化誤差の発生が防止できる。bはレンズの結像作用による結像位置を示し、レンズから像までの距離である。dbはbの変化量を示す。dbは、厳密には等間隔になっていない。そこで、本発明のボケ処理を単眼カメラの画像に対して行う時も、像空間で光軸方向に等間隔に撮像センサを移動させてデータを取得する従来の方法よりも、視差量が等間隔になる被写体距離を[数7]または[数8]の式から求めて撮影することが望ましい。
Assuming multi-lens cameras arranged in a two-dimensional grid at equal intervals in the camera plane, the parallax amount z is the equation described in [Equation 7], where s0 = interval between adjacent cameras, adjacent camera interval 12 mm, focus Distance 5.34
Table 1 shows the parallax amount z, the distance Z to the subject, and the distance b between the image plane and the lens when mm and the pixel pitch P = 6 μm. The distance b between the lens and the image plane was determined by the lens imaging formula 1 / f = 1 / Z + 1 / b. In this way, when the cameras are equally spaced, the parallax is obtained from the interval between adjacent cameras, and when the parallax value used for image processing is determined at an interval such that the parallax is an integer multiple of the pixels, focusing by the synthetic aperture method (focusing) ) Can be set to an integral multiple of the pixel pitch in any camera, and the occurrence of quantization errors can be prevented. “b” indicates an image forming position by the image forming action of the lens and is a distance from the lens to the image. db represents the amount of change of b. Strictly speaking, db is not equally spaced. Therefore, even when the blur processing of the present invention is performed on an image of a monocular camera, the amount of parallax is more equal than in the conventional method of acquiring data by moving the imaging sensor at equal intervals in the optical axis direction in the image space. It is desirable to obtain the subject distance to be obtained from the equation [Equation 7] or [Equation 8].

一方、合成開口によるレンズの結像は、一般に、パンフォーカスレンズを用いた撮影であり、先に述べたように、結像公式と関係なくなる。ピンホールの代わりにレンズを用いると、厳密には像面の位置も被写体の位置に応じて変化する。焦点距離5.34mm、F2.8のカメラのレンズのピントを、被写体までの距離を2m程度に設定してその被写体距離に合焦するように調整し、その状態で無限遠から近距離まであまりMTFの変化は大きくない(10〜20%程度の変化)。この状態をパンフォーカスとみなして問題ない。またMTFの変化は既知であるので、予め撮影距離ごとのMTFのデータをカメラに記憶し、撮影距離ごとにMTFデータからの像ボケを補正することも可能である。   On the other hand, imaging of a lens by a synthetic aperture is generally photography using a pan focus lens, and is irrelevant to an imaging formula as described above. Strictly speaking, when a lens is used instead of a pinhole, the position of the image plane also changes according to the position of the subject. The focal length of the camera lens with a focal length of 5.34 mm and F2.8 is adjusted so that the distance to the subject is about 2 m and focused on the subject distance. The change of is not large (change of about 10 to 20%). There is no problem considering this state as pan focus. Since the change in MTF is known, it is possible to store MTF data for each shooting distance in the camera in advance and correct image blur from the MTF data for each shooting distance.

視差(z)に応じた距離Zでのフォーカス画像を合成開口法によってフォーカスする。例えば[表1]に示す20箇所(視差z=1〜20(ピクセル))での合成開口像を生成する。図11では、視差量zは[数7]でs0=隣接カメラ間の間隔とし、視差z=0〜8ピ
クセルの9つの視差に相当する被写体距離にフォーカスを合わせた画像を合成開口法によって合成することを表している。ピクセル以下の分解能で視差を分割することはボケ像生成の観点からは意味はない。また、間引きする場合は視差の間隔が等間隔になるように間引くことが重要である。多画素化する場合はそのピクセルピッチを用いる。
The focus image at the distance Z corresponding to the parallax (z) is focused by the synthetic aperture method. For example, synthetic aperture images at 20 locations (parallax z = 1 to 20 (pixels)) shown in [Table 1] are generated. In FIG. 11, the parallax amount z is [Equation 7], s0 = interval between adjacent cameras, and an image focused on subject distance corresponding to nine parallaxes with parallax z = 0 to 8 pixels is synthesized by the synthetic aperture method. Represents what to do. Dividing the parallax with a resolution of less than a pixel is meaningless from the viewpoint of generating a blurred image. Further, when thinning out, it is important to thin out so that the parallax intervals are equal. When the number of pixels is increased, the pixel pitch is used.

合成開口でフォーカスする場合、中央(s,t面の中心)のカメラの画像に対して周囲
のカメラの画像を視差量分だけ平行にxy面内でシフトさせる。その量と[表1]の視差の量は一致する。視差がゼロの場合は無限遠であって1ピクセルのときは10.68m前方にフォーカスが合っていることになる。カメラが25個ある場合、25枚の画像を一度取り込めば、任意の視差を[表1]から選んで任意のフォーカス画像が得られる。そのようにして得られた画像を図11に示す複数の縦線で模式的に現している。
When focusing with the synthetic aperture, the image of the surrounding camera is shifted in the xy plane in parallel with the amount of parallax with respect to the image of the camera at the center (center of s, t plane). The amount and the amount of parallax in [Table 1] match. When the parallax is zero, it is at infinity, and when it is 1 pixel, the focus is in front of 10.68 m. When there are 25 cameras, once 25 images are captured, an arbitrary focus image can be obtained by selecting an arbitrary parallax from [Table 1]. The image thus obtained is schematically shown by a plurality of vertical lines shown in FIG.

図13は、通常レンズの円形瞳によるボケの説明図である。まず、カメラ面内に2次元の方眼状に等間隔に並んだ多眼カメラを想定する。視差量zは[数7]でs0=隣接カメラ間
の間隔とした。隣接レンズ間隔12mmで配置された3つのカメラcam2〜cam4によって発生するボケは、例えばz=4(ピクセル)で合成開口によりフォーカスする場合、z=4(ピクセル)で交わる光軸方向の視差量1の増減に対して、それに直交する方向に横ずれ±1ピクセルを発生する二つの直線で表される。これが3つのカメラ配置に起因する視差=ボケ量である。カメラがcam2〜cam4を直径とする円内に無数に分布していると仮定すれば、円形の通常のレンズのボケも同様に扱えることになる。すなわち、z=4(ピクセル)で交わる直線を母線とする円錐(コーン)がレンズ瞳直径24mmのレンズのボケに相当する。カメラ間隔をレンズ瞳半径に置き換えれば円形瞳のレンズのボケを
考えることができる。それより大きなレンズ直径のボケ、小さなレンズ直径のボケも同様にピント位置を頂点とするコーンで与えることができる。ボケのブラーカーネルは、このコーンの各視差での直径の円で与えられる。なお、詳しくは後述するように、円形開口内の重みを均一分布、ガウス分布など任意に変更することができる。
FIG. 13 is an explanatory diagram of blur due to the circular pupil of the normal lens. First, assume a multi-lens camera arranged in a two-dimensional grid at equal intervals in the camera plane. The parallax amount z is [Equation 7] and s0 = interval between adjacent cameras. The blur generated by the three cameras cam2 to cam4 arranged with the adjacent lens interval of 12 mm is, for example, when the focus is made by the synthetic aperture at z = 4 (pixel), and the parallax amount 1 in the optical axis direction intersecting at z = 4 (pixel) Is represented by two straight lines that generate a lateral shift of ± 1 pixel in a direction perpendicular to the increase / decrease. This is the parallax due to the three camera arrangements = the amount of blur. If it is assumed that the cameras are distributed innumerably in a circle having a diameter of cam2 to cam4, it is possible to handle a circular ordinary lens blur similarly. That is, a cone having a straight line intersecting at z = 4 (pixels) as a generating line corresponds to a blur of a lens having a lens pupil diameter of 24 mm. If the camera interval is replaced with the lens pupil radius, the lens blur of the circular pupil can be considered. Larger lens diameter blur and smaller lens diameter blur can also be given by a cone with the focus position at the apex. The blur blur kernel is given by a circle of diameter at each parallax of this cone. As will be described in detail later, the weight in the circular aperture can be arbitrarily changed, such as a uniform distribution or a Gaussian distribution.

<カメラ配置のボケ形状>
図12は、2次元の方眼状に等間隔に並んだ多眼カメラを想定し、視差量zは[数7]でs0=隣接カメラ間の間隔としたときの、カメラの配置によるボケカーネルの形状を表して
いる。図10で表されるような等間隔の5×5の配置の場合の視差に対するボケ形状を表している。フォーカス方向は、視差が等間隔になるようにデータがあればよいので、図の黒丸がぼけ形状、又はボケカーネルを表すことになる。これをxy面内で表すと、図14に示すようになる。M系列では、図15、図16に示すようになる。これらを3次元PSF
カーネルと呼ぶ。矢印は、デルタ関数的な重みを表す。焦点位置では矢印の強度は本数倍に大きくなる。これらのボケカーネルを視差方向(方向は物体の奥行き方向のZ(ラージゼット)方向と同じ。)で積分すると図17に示すようになる。これをフォーカススタックPSFカーネルと呼ぶ。
<Bokeh shape of camera placement>
FIG. 12 assumes a multi-lens camera arranged in a two-dimensional grid at equal intervals, and the amount of parallax z is expressed by [Equation 7] and s0 = interval between adjacent cameras. Represents the shape. The blur shape with respect to the parallax in the case of a 5 × 5 arrangement with equal intervals as shown in FIG. 10 is shown. Since the focus direction needs only to have data so that the parallax is equally spaced, the black circle in the figure represents a blurred shape or a blur kernel. When this is expressed in the xy plane, it is as shown in FIG. The M series is as shown in FIGS. These are 3D PSF
Called the kernel. Arrows represent delta function weights. At the focal position, the strength of the arrow increases by a factor of several. When these blur kernels are integrated in the parallax direction (the direction is the same as the Z (large jet) direction in the depth direction of the object), the result is as shown in FIG. This is called the focus stack PSF kernel.

図18は、画像の取り込みから処理の流れを示す。合成開口法によりえら得られた複数枚のフォーカス像を任意ボケアルゴリズムに渡す。任意ボケアルゴリズムの中身は、図19に記載されており、複数の画像に対し、視差に比例した半径のボケカーネルをコンボリューションする。これらを加算し、光学系のPSF(カメラ配置のボケ形状)の視差に関
する積分。ボケカーネルの視差に関する積分した結果でデコンボリューションを行う。
FIG. 18 shows the flow of processing from image capture. A plurality of focus images obtained by the synthetic aperture method are passed to an arbitrary blur algorithm. The contents of the arbitrary blur algorithm are described in FIG. 19, and a plurality of images are convolved with a blur kernel having a radius proportional to the parallax. These are added together to integrate the parallax of the optical system PSF (camera placement blur shape). Deconvolution is performed based on the result of integrating the parallax of the bokeh kernel.

図19と式の関係を図23に示した。図20と図21は、ピント(視差)を変えて得られる画像を表している。図22、図23は、[数18]に記載の式を導くための説明図である。図22は、[数18]の式のように近似することで計算時間を短縮することが可能であることを説明している。本発明では[数18]の近似式に基づいた説明を「ボケ生成
アルゴリズム」または「ボケアルゴリズム」と称す。
The relationship between FIG. 19 and the equation is shown in FIG. 20 and 21 show images obtained by changing the focus (parallax). 22 and 23 are explanatory diagrams for deriving the equation described in [Equation 18]. FIG. 22 explains that the calculation time can be shortened by approximating the equation [Equation 18]. In the present invention, the description based on the approximate expression of [Equation 18] is referred to as “blur generation algorithm” or “blur algorithm”.

任意のボケを生成するボケアルゴリズムを構成するボケ処理部36は、図24に示すように、複数の多焦点画像データに対して、所望のピント位置から視差に比例したボケ半径の円形開口、又はガウシアン等の任意のボケカーネルの2次元断面(ボケを表す2次元分
布関数)を用いてコンボリューション処理を行う。ここで、ピント位置から視差に比例す
るとは、例えば所望のピント位置からの視差に比例してボケカーネルの2次元断面の半径を大きくしてコンボリューション処理を行うということである。これは、図13に示すような3次元ボケカーネルを用いるということである。
As shown in FIG. 24, the blur processing unit 36 constituting the blur algorithm for generating an arbitrary blur has a circular opening having a blur radius proportional to the parallax from a desired focus position, or a plurality of multi-focus image data, or Convolution processing is performed using a two-dimensional section (two-dimensional distribution function representing blur) of an arbitrary blur kernel such as Gaussian. Here, “proportional to the parallax from the focus position” means, for example, that the convolution process is performed by increasing the radius of the two-dimensional section of the blur kernel in proportion to the parallax from the desired focus position. This means that a three-dimensional blur kernel as shown in FIG. 13 is used.

フォーカススタック像算出部37は、ボケ処理部36で処理を行った複数の画像データの強度和画像であるフォーカススタック像を求める。なお、強度平均を求めてもよい。PSFカーネル算出部38は、合成開口の瞳サンプリング点のフォーカススタックに相当するフォーカススタックPSFカーネルを算出する(図14〜図17を参照)。   The focus stack image calculation unit 37 obtains a focus stack image that is an intensity sum image of a plurality of image data processed by the blur processing unit 36. In addition, you may obtain | require an intensity | strength average. The PSF kernel calculation unit 38 calculates a focus stack PSF kernel corresponding to the focus stack of the pupil sampling point of the synthetic aperture (see FIGS. 14 to 17).

瞳サンプリング点は、多眼カメラ10の撮影レンズ23の配置を表す。ここでは、撮影レンズ23の配置は、予め決まっているので、フォーカススタックPSFカーネルを算出する必要はない。フォーカススタックPSFカーネルは、RAM29に予め記憶されており、読み出して用いる。16個の撮影レンズ23の擬似ランダム配置がM系列に従った所定の周期パターンの場合のフォーカススタックPSFカーネルを図17及び図25に示す。   The pupil sampling point represents the arrangement of the photographing lens 23 of the multiview camera 10. Here, since the arrangement of the photographing lens 23 is determined in advance, it is not necessary to calculate the focus stack PSF kernel. The focus stack PSF kernel is stored in advance in the RAM 29 and is read and used. FIGS. 17 and 25 show focus stack PSF kernels when the pseudo-random arrangement of the 16 photographing lenses 23 is a predetermined periodic pattern according to the M series.

画像先鋭化処理部39は、フォーカススタック像に対して予め決めたカーネルを用いたデコンボリューション処理を行う。前記デコンボリューション処理としては、フォーカススタック像算出部37で算出したフォーカススタック像に対して、RAM29から読み出したフォーカススタックPSFカーネルを用いたデコンボリューション処理を行ってインフォーカスの(フォーカスの合った)物体は先鋭な画像を保ったまま、任意のボケをアウトフォーカスの(フォーカスの合わない)物体に付与したボケアルゴリズム画像を生成する。   The image sharpening processing unit 39 performs deconvolution processing using a predetermined kernel on the focus stack image. As the deconvolution process, an in-focus (focused) object is obtained by performing a deconvolution process using the focus stack PSF kernel read from the RAM 29 on the focus stack image calculated by the focus stack image calculation unit 37. Generates a blur algorithm image in which an arbitrary blur is added to an out-of-focus (out-of-focus) object while maintaining a sharp image.

前記フォーカススタックPSFカーネルを用いたデコンボリューション処理は、個眼撮像部の3次元のボケ関数である3次元PSFの個眼撮像部の光軸方向の積分結果を表す、2次元分布関数であるフォーカススタックPSFカーネルと、ボケ処理部36でコンボリューション処理を行う時に用いる任意のボケカーネルのフォーカススタックに相当する、フォーカススタックボケカーネルとの2つのカーネルを用いたデコンボリューション処理となっている。   The deconvolution process using the focus stack PSF kernel is a focus that is a two-dimensional distribution function that represents an integration result in the optical axis direction of the three-dimensional PSF that is a three-dimensional blur function of the single-eye imaging unit. This is a deconvolution process using two kernels: a stack PSF kernel and a focus stack blur kernel corresponding to a focus stack of an arbitrary blur kernel used when the blur processing unit 36 performs the convolution process.

図6のCPU24は、任意のボケを付与した画像データを、I/F30を介して記録部31に記録する。なお、圧縮部を設け、任意のボケを付与した画像データを、例えばJPEG方式等の圧縮形式で記録してもよい。また、各フレームメモリ22から得られる複数の多焦点画像データを記録部31に記憶してもよい。この場合、複数の多焦点画像データを、ボケ画像を付与して生成した画像データに関連付けして記憶するのが好適である。本実施例の様に多眼構成の場合には各撮像素子20の出力した画像を保存しておけば合成開口以降の画像処理はいつ行っても良い。つまり、多眼画像の生データを保存しておく機能がカメラとしては最低限必要で、画像処理はオフラインでも可能である。また撮像した画像をクラウドコンピュータに保存してもよく、保存する画像は動画であっても静止画であっても良い。   The CPU 24 in FIG. 6 records the image data with an arbitrary blur on the recording unit 31 via the I / F 30. Note that a compression unit may be provided, and image data with arbitrary blurring may be recorded in a compression format such as the JPEG method. A plurality of multifocal image data obtained from each frame memory 22 may be stored in the recording unit 31. In this case, it is preferable to store a plurality of multifocal image data in association with image data generated by adding a blurred image. In the case of a multi-lens configuration as in the present embodiment, image processing after the synthetic aperture may be performed at any time if the images output from the image pickup devices 20 are stored. That is, the function of saving the raw data of the multi-view image is at least necessary for the camera, and the image processing can be performed offline. The captured image may be stored in the cloud computer, and the stored image may be a moving image or a still image.

ここで、図1に示す撮影開口11を二次元状に配置した多眼カメラ9の構成の作用を、図26を参照しながら簡単に説明する。電源スイッチ14をオンすると、いずれか一つの
個眼撮像部40から得られる画像データに基づいてスルー画像を生成してLCD15に表示する。(または複数の撮像部40の画像の合成開口画像をLCD15に表示させてこれを見ながら構図とフォーカスを決めるようにしても良いし、ボケアルゴリズム画像の生成の時間が無視できるようであればボケアルゴリズム画像を用いて構図とフォーカスを決めるようにしても良い。)スルー画像を見ながら構図を決めてシャッタボタン13を半押し操作する。この半押し操作に応答してCPU24は、AE・AFを制御する。AE制御は、各個眼撮像部40で同じ露出になるように制御する。AF制御は、ピントずらし制御である。この制御は、CPU24がAF部26を制御して、各撮影レンズ23のピントが全てでずれるよう撮影レンズ23を合焦位置に各々移動させる。
Here, the operation of the configuration of the multi-view camera 9 in which the photographing apertures 11 shown in FIG. 1 are two-dimensionally arranged will be briefly described with reference to FIG. When the power switch 14 is turned on, a through image is generated based on the image data obtained from any one single-eye imaging unit 40 and displayed on the LCD 15. (Alternatively, a synthetic aperture image of the images of the plurality of imaging units 40 may be displayed on the LCD 15 and the composition and focus may be determined while viewing this, or if the generation time of the blur algorithm image can be ignored, the blur is generated. The composition and focus may be determined using an algorithm image.) The composition is determined while viewing the through image, and the shutter button 13 is half-pressed. In response to this half-press operation, the CPU 24 controls AE / AF. The AE control is performed so that each single-eye imaging unit 40 has the same exposure. AF control is focus shift control. In this control, the CPU 24 controls the AF unit 26 to move the photographic lens 23 to the in-focus position so that each photographic lens 23 is completely out of focus.

そのままシャッタボタン13の全押し操作がなされると、CPU24(図6)は、各個眼撮像部40を制御して、多眼カメラの複数の画像を撮影し、合成開口法により多焦点画像を生成し、多焦点画像データ群を各フレームメモリ22に取り込み、取り込んだ複数の多焦点画像データを画像処理部25に送る。   When the shutter button 13 is fully pressed as it is, the CPU 24 (FIG. 6) controls each single-eye imaging unit 40 to capture a plurality of images from a multi-eye camera, and generates a multi-focus image by the synthetic aperture method. Then, the multifocal image data group is taken into each frame memory 22, and the plurality of taken multifocal image data is sent to the image processing unit 25.

図6、図24の画像処理部25のボケ処理部36は、多焦点画像データに対して、所望のピント位置から比例したボケ半径の円形開口、又はガウシアン等の任意の3次元ボケカーネルを用いて2次元コンボリューション処理を行う。フォーカススタック像算出部37は、ボケ処理部36でボケ処理を行った複数の画像データ毎に画素の強度和画像であるフォーカススタック像を算出する。   The blur processing unit 36 of the image processing unit 25 in FIGS. 6 and 24 uses, for multi-focus image data, a circular aperture having a blur radius proportional to a desired focus position, or an arbitrary three-dimensional blur kernel such as Gaussian. To perform two-dimensional convolution processing. The focus stack image calculation unit 37 calculates a focus stack image, which is a pixel intensity sum image, for each of a plurality of image data subjected to the blur processing by the blur processing unit 36.

フォーカススタックカーネル算出部38は、RAM29から予め決められているフォーカススタックPSFカーネルとフォーカススタックボケカーネルを読み出す(またはいちいち算出しても良い)。画像先鋭化処理部39は、RAM29から読み出したフォーカススタックPSFカーネルとフォーカススタックボケカーネルを用いてフォーカススタック像算出部37で算出したフォーカススタック像をデコンボリューション処理して任意のボケを付与した画像データを生成する(図19に記載の内容の画像処理)。生成されたボケを付与した画像データは、記録部31で記録される。   The focus stack kernel calculation unit 38 reads a predetermined focus stack PSF kernel and focus stack blur kernel from the RAM 29 (or may calculate them one by one). The image sharpening processing unit 39 uses the focus stack PSF kernel read from the RAM 29 and the focus stack blur kernel to deconvolute the focus stack image calculated by the focus stack image calculation unit 37 and give image data with arbitrary blurring. (Image processing of the contents described in FIG. 19). The generated image data with blur is recorded by the recording unit 31.

ここで、本発明の画像処理の特徴を簡単に説明する。まず、複数のフォーカス状態の画像に任意のボケ処理を行ってからこれらの画像の強度和(平均)を求め強度和(平均)像とする。この段階では何のノイズの発生も無い。次に、求めた強度和(平均)像に画像先鋭化処理を行い、任意のボケを付与した画像を生成するが、画像先鋭化は合成開口の瞳サンプリング点のフォーカススタックに相当する、「フォーカススタックPSFカーネル」のデコンボリューションにより行う。このデコンボリューションカーネルには、そのフーリエ変換にゼロ点がないものを用い、復元ノイズが発生することを抑制する。これにより、写真画質の良好なボケを付与した画像を形成可能となる。フォーカススタックは、合成開口法、又は撮像素子の光軸方向の移動によりフォーカス状態を変化させながら行ってもよい。   Here, the features of the image processing of the present invention will be briefly described. First, an arbitrary blur process is performed on a plurality of focused images, and then the intensity sum (average) of these images is obtained to obtain an intensity sum (average) image. There is no noise at this stage. Next, an image sharpening process is performed on the obtained intensity sum (average) image to generate an image with arbitrary blurring. The image sharpening corresponds to the focus stack of the pupil sampling point of the synthetic aperture. This is done by deconvolution of the “stack PSF kernel”. As this deconvolution kernel, a Fourier transform having no zero point is used to suppress the occurrence of restoration noise. As a result, it is possible to form an image to which blur with good photographic image quality is imparted. The focus stack may be performed while changing the focus state by the synthetic aperture method or the movement of the image sensor in the optical axis direction.

<ボケアルゴリズム>
具体的なボケ生成の方法を多眼カメラによる合成開口法を用いる例で説明する。具体的には、撮影対象物体の3次元の強度分布をIo(X,Y,Z)とする。Z軸を撮影レンズ23の光
軸方向、x,y方向を撮像素子20の横、縦方向とする。z軸は視差量(視差=カメラ間隔×焦点距離/Z、Zはレンズ瞳位置から被写体までの距離。)である。撮像センサの撮
像面内の方向xyは、前述のように「x=X×f/Z,y=Y×f/Z」の式から分かるように倍率がかかって撮影される。レンズのボケ具合を表す点像強度分布の3次分布がPSFc(x,y,z)で表されるカメラで、ピント位置をカメラの光軸にそった視差zrにピントを合わせて撮影した像Ic(x,y,zr)は[数11]に記載の式に示すIc(x,y,z,zr)のx,y平面へ
の投影で、式としては[数12]に記載の式で示される。[数11]の式にあるPSFc(x,y
,z)は、例えば円形開口の場合光軸にそって円錐状の関数で円錐の頂点のピント位置が視
差zr相当に来るような関数で表すことができる。ピント位置を撮影対象シーンの奥行き
方向で積分した像は[数6]の式で示される。積分範囲(zmin〜zmax)は、物体の存在する領域と概ね一致させる。Io(x,y)は、シーンをボケのない理想ピンホールカメ
ラで像面に投影された絵(全焦点画像)と等価である。
<Bokeh algorithm>
A specific blur generation method will be described using an example of a synthetic aperture method using a multi-lens camera. Specifically, the three-dimensional intensity distribution of the object to be imaged is Io (X, Y, Z). The Z axis is the optical axis direction of the photographing lens 23, and the x and y directions are the horizontal and vertical directions of the image sensor 20. The z-axis is the amount of parallax (parallax = camera interval × focal length / Z, Z is the distance from the lens pupil position to the subject). The direction xy in the imaging plane of the imaging sensor is photographed at a magnification as can be understood from the formula “x = X × f / Z, y = Y × f / Z” as described above. An image taken with a camera in which the third-order distribution of the point image intensity distribution representing the degree of lens blur is represented by PSFc (x, y, z), with the focus position set to the parallax zr along the optical axis of the camera. Ic (x, y, zr) is a projection of Ic (x, y, z, zr) shown in the equation described in [Equation 11] onto the x, y plane, and the equation is an equation described in [Equation 12]. Indicated by PSFc (x, y in the equation of [Equation 11]
, z) can be expressed by a function that has a conical function along the optical axis in the case of a circular aperture, for example, so that the focal position of the apex of the cone is equivalent to the parallax zr. An image obtained by integrating the focus position in the depth direction of the scene to be photographed is expressed by the equation [Equation 6]. The integration range (zmin to zmax) is approximately matched with the region where the object exists. Io (x, y) is equivalent to a picture (omnifocal image) in which the scene is projected onto the image plane by an ideal pinhole camera without blur.

[数11]に記載の式にあるPSFc(x,y,z)は、例えば円形開口の場合、光軸にそって円
錐状の関数で円錐の頂点がピント位置zrに来るような関数で表すことができる。ピント位置を撮影対象シーンの奥行き方向で積分した像は[数13]に記載の式で示される。積分範囲(z min~z max)は物体の存在する領域と概ね一致させる。Io(x,y)はシーンをボケのない理想ピンホールカメラで像面に投影された絵(全焦点画像)と等価である。
For example, in the case of a circular aperture, PSFc (x, y, z) in the equation described in [Equation 11] is represented by a function that has a conical function along the optical axis so that the apex of the cone is at the focus position zr. be able to. An image obtained by integrating the focus position in the depth direction of the scene to be photographed is expressed by the equation described in [Equation 13]. The integration range (z min to z max) is generally matched with the region where the object exists. Io (x, y) is equivalent to a picture (omnifocal image) projected on the image plane by an ideal pinhole camera without blur.

[数13]に記載の式よりIc_pn(x,y)はPSFc_pnとIo(x,y)のコンボリューションであるので、[数15]に記載の式によりIo(x,y)が求まる(Io(x,y)は本発明のボケ生成には使わないが参考のため算出している)。ここでPSFc_pnは、[数14]に記載の式で示され
、PSFc(x,y,z)の視差z方向の積分されたものである。これをフォーカススタックPSFカーネルと呼ぶ。なお、添え字cはカメラの状態を示す。pnはパンフォーカスを示す。
Since Ic_pn (x, y) is a convolution of PSFc_pn and Io (x, y) from the equation described in [Equation 13], Io (x, y) is obtained from the equation described in [Equation 15] (Io (x, y) is not used for blur generation according to the present invention but is calculated for reference). Here, PSFc_pn is expressed by the equation described in [Equation 14], and is an integral of PSFc (x, y, z) in the parallax z direction. This is called the focus stack PSF kernel. Note that the subscript c indicates the state of the camera. pn indicates pan focus.

[数14]の式に記載の積分範囲を考える。PSFcは、ピントを結ぶ位置をz軸の原点とする(例えば図27参照)。物体の範囲は、無限遠=zmin〜至近距離=z ma
xであるので、コンボリューションされたPSFcは、図27に示すPSFc(x,y,z)〜PSFc(x,y,z−z max)の範囲で存在しうる。フォーカススタックの
積分範囲は図から無限遠の物体に対し「−z max〜0」、至近距離の物体に対して「
0〜z max」となる。これらの積分の結果は、前ピンと後ピンでPSFの形が非対称
な場合、例えば図15、及び図16で説明した例の場合は、これらの平均とすることが望ましく、したがって、一般のPSFに対しても[数14]の式に記載の積分範囲としておけば十分であることが実写映像によって確認された。この積分範囲は、至近距離と無限遠
の中間の部分に関しては「−z max/2〜+z max/2程度が最適となるので、被写体までの距離に応じて積分範囲を可変としてもよい。また前述のように近距離撮影ではz max は被写体のうちリフォーカスの可能性のある範囲内でカメラからもっとも遠い位置としても差し支えない。
Consider the integration range described in the equation [14]. PSFc uses the z-axis origin as the z-axis origin (see FIG. 27, for example). The range of the object is infinity = zmin to close distance = z ma
Since x, the convolved PSFc may exist in the range of PSFc (x, y, z) to PSFc (x, y, z−z max) illustrated in FIG. 27. The integration range of the focus stack is “−z max˜0” for an object at infinity, and “
0 to z max ”. The results of these integrations are preferably averaged when the PSF shape is asymmetrical at the front and rear pins, for example, in the case of the examples described in FIGS. On the other hand, it was confirmed by a live-action video that the integration range described in the equation [Equation 14] is sufficient. This integration range is optimally about “−z max / 2 to + z max / 2” for the intermediate portion between the close distance and infinity, so the integration range may be variable according to the distance to the subject. As described above, in short-distance shooting, z max may be the farthest position from the camera within the range where refocusing is possible in the subject.

[数11]に記載の式と同様にボケ関数PSFc(x,y,z)をPSFa(x,y,z)に変更して任意のフォーカス位置に相当する視差z1にピントを合わせて撮影した像は、[数16]に記載の
式で示される。[数17]に記載の式は、PSFを3次元にコンボリューションして得られる3次元の像であり、PSFcの光学条件でピント位置をシフトしながら取得できる輝度分布を示す。これは3次元のデータとなる。
In the same way as the equation described in [Equation 11], the blur function PSFc (x, y, z) is changed to PSFa (x, y, z) and the parallax z1 corresponding to an arbitrary focus position is focused and photographed. The image is shown by the equation described in [Equation 16]. The equation described in [Equation 17] is a three-dimensional image obtained by convolving PSF three-dimensionally, and indicates a luminance distribution that can be acquired while shifting the focus position under the optical condition of PSFc. This is three-dimensional data.

[数17]の式から[数18]の式を得る。[数18]の式のうちPSFc_pn(x,y)によりデコンボリューションされる部分、つまり[数19]の式の「A」は、視差zrにピントを合わせて得られた画像にPSFa(x,y,z-zr)をコンボリューションし、さらに視差zに関して積分することを示している。これは、前述した実施例のボケ処理部36、フォーカススタック像算出部37の処理に相当する。   The equation of [Equation 18] is obtained from the equation of [Equation 17]. The part deconvoluted by PSFc_pn (x, y) in the equation [18], that is, “A” in the equation [19] is obtained by applying PSFa (x, It is shown that y, z-zr) is convolved and further integrated with respect to parallax z. This corresponds to the processing of the blur processing unit 36 and the focus stack image calculation unit 37 of the above-described embodiment.

なお、[数18]に記載の式から[数20]に記載の式を得ることができる。このため、複数のフォーカス位置の画像Ic_p(x,y,z)を合成開口法などで撮像し、これをPSFc(x,y,z)により3次元デコンボリューションを行うことでIo(x,y,z)物体の強度分布を求め、こ
れに任意のピント位置に相当する視差zrに設定したPSFa(x,y,z-zr)(任意の3次元ボケカーネル)を2次元コンボリューションし、その結果を視差zで積分し、x,y平面に投影することで任意のボケ像、及び任意のフォーカス位置にリフォーカスされた像を得てもよい。
この場合、ボケを付与した画像の生成手段としては、図28に示すように、3次元デコンボリューション処理部45、2次元コンボリューション処理部46、及び画像生成部47とで構成すればよい。3次元デコンボリューション処理部45は、画像取得部48から取得した、視差が等間隔になっている多焦点画像(焦点を複数の位置に合わせて撮影した画像)を3次元データとみなし、3次元デコンボリューション処理を行って物体の強度分布を求める。2次元コンボリューション処理部46は、3次元デコンボリューション処理済みの画像に対して任意の3次元ボケカーネルによる2次元コンボリューション処理を行う。画像生成部47は、2次元コンボリューション処理済みの画像に対して平面に投影して任意のボケを付与した画像を生成する。
It should be noted that the equation described in [Equation 20] can be obtained from the equation described in [Equation 18]. For this reason, images Ic_p (x, y, z) at a plurality of focus positions are picked up by a synthetic aperture method or the like, and this is subjected to three-dimensional deconvolution by PSFc (x, y, z) to obtain Io (x, y , z) Obtain the intensity distribution of the object, and perform two-dimensional convolution of PSFa (x, y, z-zr) (arbitrary three-dimensional blur kernel) set to the parallax zr corresponding to the arbitrary focus position. The result may be integrated with the parallax z and projected onto the x and y planes to obtain an arbitrary blurred image and an image refocused at an arbitrary focus position.
In this case, as a means for generating a blurred image, a three-dimensional deconvolution processing unit 45, a two-dimensional convolution processing unit 46, and an image generation unit 47 may be configured as shown in FIG. The three-dimensional deconvolution processing unit 45 regards a multifocal image (an image obtained by focusing at a plurality of positions) acquired from the image acquisition unit 48 and having parallaxes at equal intervals as three-dimensional data. Deconvolution processing is performed to obtain the intensity distribution of the object. The two-dimensional convolution processing unit 46 performs two-dimensional convolution processing using an arbitrary three-dimensional blur kernel on an image that has been subjected to three-dimensional deconvolution processing. The image generation unit 47 projects an image that has been subjected to the two-dimensional convolution process onto a plane and generates an image with arbitrary blurring.

なお、[数18]に記載の式の右辺は、計測値Ic_p(x,y,z)と装置固有のフォーカス設
定値に相当する視差zrにピントが合ったときの所望の3次元ボケカーネル:PSFa(x,y,z-zr)、フォーカススタックPSFカーネル:PSFc_pn(x,y)となる。添え字のaは、カメラの
状態を示す。また以下では、定数は省略している。
Note that the right side of the equation described in [Equation 18] is a desired three-dimensional blur kernel when the measured value Ic_p (x, y, z) and the parallax zr corresponding to the device-specific focus setting value are in focus: PSFa (x, y, z-zr), focus stack PSF kernel: PSFc_pn (x, y). The subscript a indicates the state of the camera. In the following, constants are omitted.

[数18]の式のPSFa_stk(x,y)は、[数21]の式で示される(図27参照)。[数
21]記載の式の積分範囲もPSFcと同様に、図29に示す関係となり、フォーカススタックの積分範囲は、同図から「−z max〜z max」とする。これも至近距離と無限遠の中間的な距離の物体にフォーカスをあわせる際に「−z max/2〜z max/
2」など、最適な範囲に変更させても良いが、一般的には「−zmax〜zmax」で問題ない。
PSFa_stk (x, y) in the equation [Equation 18] is expressed by the equation [Equation 21] (see FIG. 27). Similarly to PSFc, the integration range of the equation described in [Equation 21] has the relationship shown in FIG. 29, and the integration range of the focus stack is “−z max to z max” from FIG. This also applies to “−z max / 2 to z max / when focusing on an object at an intermediate distance between the close distance and infinity.
It may be changed to an optimum range such as “2”, but generally “−zmax to zmax” is not a problem.

[数21]の式は、実験的には以下のように確かめられる。PSFをガウス分布で表す場合、カメラのPSFc(x,y,z)に対して新たにボケを生成するためのPSFa(x,y,z-zr)は、そ
れぞれ[数22][数23]の式で示される。C1(z),c2(z)は、ガウス分布の標準偏差で
、[数24][数25]の式で示される。ガウス分布のボケカーネルの半径は、標準偏差に比例する。zrは任意のボケ像を生成する際の設定フォーカス位置を示し、任意の3次元ボケカーネルの光のコーンが収束する場所を示す。つまり、3次元ボケカーネルは、図30に示すように、ピントを合わせたい距離zrで光のコーン(円錐ボケ形状又はボケカーネル)が最も絞られた(収束した)点になる。
The equation of [Equation 21] can be confirmed experimentally as follows. When PSF is represented by a Gaussian distribution, PSFa (x, y, z-zr) for newly generating a blur with respect to PSFc (x, y, z) of the camera is [Equation 22] and [Equation 23], respectively. It is shown by the formula of C1 (z) and c2 (z) are standard deviations of the Gaussian distribution and are expressed by the equations [Equation 24] and [Equation 25]. The radius of a Gaussian blur kernel is proportional to the standard deviation. zr indicates a set focus position when an arbitrary blurred image is generated, and indicates a position where a light cone of an arbitrary three-dimensional blur kernel converges. That is, as shown in FIG. 30, the three-dimensional blur kernel is a point at which the cone of light (conical blur shape or blur kernel) is most narrowed (converged) at a distance zr to be focused.

図31に示すトレース2がPSFc(x,y,z)の標準偏差c1(z)、トレース3がPSFa(x,y,z-zr)の標準偏差c2(z-zr)を示している。ここではデフォーカスに相当する視差は5ピクセルとする(例えばzr=5(ピクセル)とする)。同図に示す横軸は、光軸の方向にとった視差
量zを示す。縦軸は標準偏差を示す。トレース1は、[数26]の式にあるPSFca(x,y,z,zr)の標準偏差cca(z,zr)を示す。標準偏差cca(z,zr)は、[数27]の式で与えられる。
この場合、物体はz=0にある。物体は凹凸に応じてzの任意の値をとるが、[数17]の式のコンボリューションの結果として観察されるIc_p(x,y,z)では、PSFc(x,y,z)の光のコーンの中心は常に物体表面に位置することになる(図30参照)。つまり、物体表面に作用するボケ分布は、[数19]の式のコンボリューションにより、PSFca(x,y,z,zr)と
なる。
The trace 2 shown in FIG. 31 shows the standard deviation c1 (z) of PSFc (x, y, z), and the trace 3 shows the standard deviation c2 (z-zr) of PSFa (x, y, z-zr). Here, the parallax corresponding to defocus is 5 pixels (for example, zr = 5 (pixels)). The horizontal axis shown in the figure indicates the amount of parallax z taken in the direction of the optical axis. The vertical axis shows the standard deviation. Trace 1 shows the standard deviation cca (z, zr) of PSFca (x, y, z, zr) in the equation [Equation 26]. The standard deviation cca (z, zr) is given by the equation [Equation 27].
In this case, the object is at z = 0. Although the object takes an arbitrary value of z according to the unevenness, the light of PSFc (x, y, z) is observed in Ic_p (x, y, z) observed as a result of the convolution of the equation [17] The center of the cone is always located on the object surface (see FIG. 30). That is, the blur distribution acting on the object surface is PSFca (x, y, z, zr) by the convolution of the formula [Equation 19].

一方、所望のデフォーカス位置でのボケ半径を[数29]の式のボケ関数PSF3(x,y,z)
とし、c3(z)=k3=一定とすると、合成ボケ半径PSFca3(x,y,z)の標準偏差は、図32のトレース4で示される。同図にPSFc(x,y,z)の標準偏差c1(z)、PSFa(x,y,z)の標準偏差c2(z)を記載した。合成ボケ半径PSFca3(x,y,z)は、[数28]に記載の式で示され、標準偏差
は、[数30]に示す式となる。また、ボケ半径c3(z)=k3をトレース6として示した。
On the other hand, the blur radius PSF3 (x, y, z) of the formula [Equation 29] is set as the blur radius at the desired defocus position.
Assuming that c3 (z) = k3 = constant, the standard deviation of the combined blur radius PSFca3 (x, y, z) is shown by trace 4 in FIG. The same figure shows the standard deviation c1 (z) of PSFc (x, y, z) and the standard deviation c2 (z) of PSFa (x, y, z). The synthetic blur radius PSFca3 (x, y, z) is expressed by the equation described in [Equation 28], and the standard deviation is expressed by the equation shown in [Equation 30]. Also, the blur radius c3 (z) = k3 is shown as a trace 6.

例えば、係数k1=2,k2=1,k3=5とする。図32に示すように、z=0でトレース1の値は5となる。図31のトレース3はk2=1でフォーカス5としたので、z=0での標準偏差は5である。この条件でのトレース1の最小値は約4.5で、5に対して約10%小さくなっているが、トレース1はトレース2のz方向の平行移動とみなせる。[数19]の式のz方向の積分を行った後はz方向の情報はなくなるので、トレース1とトレース2のz方向の積分結果は同じものとみなせる。これが、[数18]の式の近似を意味するものである。   For example, the coefficients k1 = 2, k2 = 1, and k3 = 5. As shown in FIG. 32, the value of trace 1 is 5 when z = 0. Since the trace 3 in FIG. 31 is k2 = 1 and the focus is 5, the standard deviation is 5 at z = 0. Under this condition, the minimum value of the trace 1 is about 4.5, which is about 10% smaller than 5, but the trace 1 can be regarded as a translation of the trace 2 in the z direction. Since the information in the z direction is lost after the integration in the z direction of the formula [19] is performed, the integration results in the z direction of the trace 1 and the trace 2 can be regarded as the same. This means an approximation of the equation of [Equation 18].

以上は、PSFを表す関数をガウス関数としたが、これを、円形開口を表す関数、合成開口法の瞳サンプリングポイントを表す関数としてシミュレーションした結果、ほぼ同等の効果が得られることが分かった。つまり、本手法はさまざまなボケ関数を持つハードウ
ェアに対して、さまざまなボケの形状の像を与えることが可能である。
As described above, the function representing the PSF is a Gaussian function. As a result of simulating the function representing the circular aperture and the function representing the pupil sampling point of the synthetic aperture method, it was found that substantially the same effect can be obtained. In other words, this method can give images of various blur shapes to hardware with various blur functions.

このように本発明では、所望の画像を取得画像から直接得ることができる。本発明では、[数17]に記載の式で示されるように、物体の3次元輝度分布と3次元ボケ関数に基づく3次元コンボリューションモデルで3次元結像状態を表している。そのため、結局[数18]の式の2次元画像のデコンボリューション計算で所望の2次元画像を求めることができる。   Thus, in the present invention, a desired image can be obtained directly from an acquired image. In the present invention, the three-dimensional imaging state is represented by a three-dimensional convolution model based on the three-dimensional luminance distribution of the object and the three-dimensional blur function, as shown by the equation described in [Equation 17]. Therefore, a desired two-dimensional image can be obtained by deconvolution calculation of the two-dimensional image of the formula [18].

多眼カメラ10は、6点法等でカメラキャリブレーションを行う。そして、レンズ中心のカメラ面内での位置(s,t)、及び各撮影レンズ23の焦点距離等の定数は、計測値を
用いる。なお、カメラの光軸の倒れ等の誤差量は、カメラキャリブレーションにより除去する。光軸の倒れはディストーション成分として補正される。
The multi-lens camera 10 performs camera calibration by a six-point method or the like. Measurement values are used for constants such as the position (s, t) of the lens center in the camera plane and the focal length of each photographing lens 23. Note that an error amount such as a tilt of the optical axis of the camera is removed by camera calibration. The tilt of the optical axis is corrected as a distortion component.

図10において、撮影レンズの中心はカメラ面(s,t)に位置しており、25個(5行
×5列)の個眼撮像部をD(s,t)で示す。物体面とカメラ面は平行で、合成開口法により結像面から任意の視差zに相当する距離Zにある、物体面に合焦させる。
In FIG. 10, the center of the photographing lens is located on the camera plane (s, t), and 25 (5 rows × 5 columns) single-eye imaging units are denoted by D (s, t). The object plane and the camera plane are parallel, and the object plane is focused at a distance Z corresponding to an arbitrary parallax z from the imaging plane by the synthetic aperture method.

本実施例の多眼カメラ10の撮影レンズ23の焦点深度は、深く、撮影レンズ23は、近距離から無限遠までパンフォーカスと考えてよい。撮影レンズ23が明るく焦点深度が浅く、撮影レンズ23毎のAF(通常のレンズの前後によるピント合わせ)が必要な場合は、予めピントを合わせたい被写体に撮影レンズ23毎にAFをかけてもよい。その場合にリフォーカスする際は既知のMTF、PSFデータから、MTFの劣化を補うことが望ましい。   The depth of focus of the photographing lens 23 of the multi-lens camera 10 of the present embodiment is deep, and the photographing lens 23 may be considered as pan focus from a short distance to infinity. When the photographing lens 23 is bright and the focal depth is shallow, and AF for each photographing lens 23 (ordinary focusing before and after a normal lens) is required, AF may be applied to the subject to be focused in advance for each photographing lens 23. . In this case, when refocusing, it is desirable to compensate for the degradation of MTF from known MTF and PSF data.

合成開口法によらず、通常の単眼の撮影レンズ23のフォーカス調整(像空間で空間像と撮像素子20の光軸方向の相対位置を変換させる等での調整)で複数のピント位置の画像を得る場合、多眼カメラの場合に視差量を求める際に用いるレンズ間隔の代わりに瞳半径から、[数7]または[数8]に記載の式からから視差量を求め、視差量が等間隔となるようにフォーカス距離を決める。例えば35mmフルサイズカメラの場合、f=50mmでは例えばFナンバーを2として、瞳半径は、50/(2)=25mmであるが、先に述べたように、この値「25」の1/4程度とすればよい。各フォーカス位置での画像を取得し、視差量が等間隔の画像群を得れば、そのあとのボケアルゴリズムの処理は多眼カメラの合成開口法を用いた場合と同様である。(フォーカス調整は、フォーカスごとにレンズを繰り出す以外に、撮像センサの光軸方向での位置を変える、レンズの収差を換えて像面を変化させて各フォーカス位置での画像を取得する等の方法がある。)   Regardless of the synthetic aperture method, the image of a plurality of focus positions can be obtained by adjusting the focus of the normal monocular photographing lens 23 (adjustment by converting the aerial image and the relative position of the image sensor 20 in the optical axis direction in the image space). In the case of obtaining the parallax amount, the parallax amount is obtained from the equation described in [Equation 7] or [Equation 8] from the pupil radius instead of the lens interval used when obtaining the parallax amount in the case of a multi-lens camera. Determine the focus distance so that For example, in the case of a 35 mm full-size camera, when f = 50 mm, for example, the F-number is 2, and the pupil radius is 50 / (2) = 25 mm. As described above, this value “25” is ¼. It should be about. If an image at each focus position is acquired and an image group with an equal interval of parallax is obtained, the subsequent blur algorithm processing is the same as when the multi-eye camera synthetic aperture method is used. (Focus adjustment is a method such as changing the position of the imaging sensor in the optical axis direction, changing the aberration of the lens, changing the image plane, and acquiring an image at each focus position, etc. There is.)

<任意ボケ生成>
合成開口法のフォーカシングにより、複数のピント位置に合わせた多焦点画像群を用いて処理を行う点について以下に説明する。
<Arbitrary blur generation>
The point that processing is performed using a multifocal image group adjusted to a plurality of focus positions by the focusing of the synthetic aperture method will be described below.

[ボケ生成カーネル:円形開口]
ボケ生成カーネルとして円形開口のデフォーカスボケを生じさせる場合、3次元ボケカーネルPSFa(x,y,z)は、[数31]に記載の式で示される。任意に設定されるボケカーネ
ルの半径ra(z)は、[数32]に記載の式で与えられる。定数Apaを任意に設定することで所望のボケの大きさが得られる。また、z方向にオフセット、例えばzrを与える(「z」を「z-zr」に置き換える)ことにより、任意のピント位置zrにピントを合わせることができる。
[Bokeh generation kernel: circular aperture]
When defocus blur of a circular aperture is generated as the blur generation kernel, the three-dimensional blur kernel PSFa (x, y, z) is expressed by the equation described in [Equation 31]. The radius ra (z) of the blur kernel that is arbitrarily set is given by the equation described in [Equation 32]. A desired blur size can be obtained by arbitrarily setting the constant Apa. Further, by giving an offset, for example, zr in the z direction (replace “z” with “z-zr”), it is possible to focus on an arbitrary focus position zr.

[ボケ生成カーネル:ガウス開口]
ガウスボケの場合は、[数33]に記載の式の3次元ボケカーネルPSFgss(x,y,z)を用い
る。Cは定数。ガウスボケの大きさは、[数34]に記載の式によりσaを任意に設定す
ることにより調整することができる。
[Bokeh generation kernel: Gaussian aperture]
In the case of Gaussian blur, the three-dimensional blur kernel PSFgss (x, y, z) expressed by [Equation 33] is used. C is a constant. The size of the Gaussian blur can be adjusted by arbitrarily setting σa according to the equation described in [Equation 34].

[任意視点]
任意視点の3次元PSFカーネルPSFshift(x,y,z)を用いれば、任意視点の像が得られる。ここで、定数axs,aysを任意に設定して視点を任意に設定する。(なお、s,t座標の原点が合成視点になるのでカメラ配置を任意のs,t座標の原点に設定しなおして視差量から3次元PSFカーネルを求めても同等の効果が得られる。図14、15、16の場合はs,t座標の原点が中心のカメラ位置に相当しているケースである。)
[Arbitrary viewpoint]
3D PSF kernel PSFshift any viewpoint (x, y, z) by using the image of the arbitrary viewpoint is obtained. Here, the constants axs and ays are arbitrarily set, and the viewpoint is arbitrarily set. (Note that since the origin of the s, t coordinates is the composite viewpoint, the same effect can be obtained even if the camera arrangement is reset to the origin of any s, t coordinates and the 3D PSF kernel is obtained from the amount of parallax. In the case of 14, 15, and 16, the s and t coordinate origins correspond to the center camera position.)

また、フォーカススキャンして計測される像Ic_shift_p(x,y,z)は、[数17]の式に代わって[数3]に記載の式で示される。 Further, an image Ic_shift_p (x, y, z) measured by focus scanning is represented by an equation described in [Equation 3 6 ] instead of the equation [Equation 17].

任意のボケを示すPSF、PSFa(x,y,z)のぼかしを含めた[数35]の式の視点の視差
z1にリフォーカスさせた像は、[数37]に記載の式で示される。視点をずらしたPSFのフォーカススタックは、[数38]に記載の式で示される。
An image refocused to the parallax z1 of the viewpoint of the formula [Expression 35] including the blur of PSF and PSFa (x, y, z) indicating an arbitrary blur is expressed by the expression described in [Expression 37]. . The focus stack of the PSF with the viewpoint shifted is expressed by the equation described in [Equation 38].

多眼カメラ10のレンズ配置は、瞳サンプリング点を表す。瞳サンプリング点は、フォーカススタックした際に、フォーカススタックPSFカーネルとして作用する。フォーカス
スタックPSFカーネルは、[数14]に記載の式のPSFc_pn(x,y)で表される。フォーカス
スタック前の瞳サンプリング点は、PSFc(x,y,z)である。所望の像を[数18]に記載の
式で得るので、フォーカススタックカーネルPSFc_pn(x.y)のデコンボリューションを正確に行うため、PSFc_pn(x,y)のフーリエ変換の振幅にゼロ点が無いことが望ましい。これはPSFc_pn(x,y)のフーリエ変換の逆数をかけてから逆フーリエ変換することでデコンボリューションを行えるようにするためである。[数18]に記載の式のデコンボリューションは、[数39]に記載の式で示される。
The lens arrangement of the multi-eye camera 10 represents a pupil sampling point. The pupil sampling point acts as a focus stack PSF kernel when focus stacking is performed. The focus stack PSF kernel is represented by PSFc_pn (x, y) in the equation described in [Equation 14]. The pupil sampling point before the focus stack is PSFc (x, y, z). Since the desired image is obtained by the equation described in [Equation 18], there is no zero point in the amplitude of the Fourier transform of PSFc_pn (x, y) in order to accurately perform the deconvolution of the focus stack kernel PSFc_pn (xy). desirable. This is because deconvolution can be performed by applying the inverse of the Fourier transform of PSFc_pn (x, y) and then performing the inverse Fourier transform. The deconvolution of the equation described in [Equation 18] is represented by the equation described in [Equation 39].

ところで、PSFa_stk(x,y),PSFc_pn(x,y)のフーリエ変換の振幅にゼロ点が無いことが望ましい。PSFa(x,y)は、円形開口やガウス関数が望ましい。PSFa(x,y)に円形開口を用いた場合、PSFa_stk(x,y)は[数41]、そのフーリエ変換は[数42]で示される。そして
、u,vは、[数43][数44]で示される。
By the way, it is desirable that the amplitude of the Fourier transform of PSFa_stk (x, y) and PSFc_pn (x, y) has no zero point. PSFa (x, y) is preferably a circular aperture or a Gaussian function. When a circular aperture is used for PSFa (x, y), PSFa_stk (x, y) is expressed by [Equation 41] and its Fourier transform is expressed by [Equation 42]. U and v are expressed by [Equation 43] and [Equation 44].

PSFc_pn(x,y)のフーリエ変換の振幅にゼロ点が無いことが必要で、撮影レンズ23の配置は、縦横M系列擬似ランダム数列を用いた所定パターンを含む多くの配置がある円周配置、矩形配置、方眼配置もこの条件を満たす。M系列ランダム配置のフォーカススタック
カーネルは、前述したように例えば図25に示したものとなる。このカーネルのフーリエ変換の振幅にゼロ点は無く、[数39]の式でゼロ割による発散などの不都合は生じない。また振幅の変化も20倍程度なので特定の周波数のノイズを拾うことも無い。
The amplitude of the Fourier transform of PSFc_pn (x, y) needs to have no zero point, and the arrangement of the taking lens 23 is a circumferential arrangement with many arrangements including a predetermined pattern using vertical and horizontal M-sequence pseudo-random number sequences, The rectangular layout and grid layout also satisfy this condition. The focus stack kernel with the M-sequence random arrangement is, for example, as shown in FIG. There is no zero point in the amplitude of the Fourier transform of this kernel, and there is no inconvenience such as divergence due to zero division in the equation [39]. Also, since the change in amplitude is about 20 times, noise of a specific frequency is not picked up.

[数19]に示す式の計算は、実際にはフーリエ変換を用いて[数40]に記載の式を用いる。ガウス関数のフーリエ変換は、ガウス関数、円形開口のフーリエ変換は、ベッセル関数で表せられる。   For the calculation of the equation shown in [Equation 19], the equation shown in [Equation 40] is actually used using Fourier transform. The Fourier transform of a Gaussian function is represented by a Gaussian function, and the Fourier transform of a circular aperture is represented by a Bessel function.

<第1実施形態>
[輪帯光学系のボケアルゴリズムへの適用]
以上、撮影開口11、及び撮影レンズ23等を二次元状に配置した多眼カメラ9に対してボケアルゴリズムを適用した例を説明したが、以下では、図1で説明したように、撮影開口11、及び撮影レンズ23等を円周状に配置した輪帯光学系を有する多眼カメラ10に対して、前述したボケアルゴリズムを適用する例を説明する。
<First Embodiment>
[Application to blurring algorithm of annular optical system]
The example in which the blur algorithm is applied to the multi-lens camera 9 in which the photographing aperture 11, the photographing lens 23, and the like are two-dimensionally described has been described above. However, as described with reference to FIG. An example in which the above-described blur algorithm is applied to the multi-lens camera 10 having an annular optical system in which the photographing lens 23 and the like are arranged circumferentially will be described.

本実施例では、ボケアルゴリズムで破綻の無いボケ、つまり、円形のボケを得る場合、対物レンズの仮想光軸を中心とした瞳の動径によるスライスが、その偏角の略80%以上でゼロ以外であれば良いことが実験的に分かった。   In this embodiment, when blur that does not fail by the blur algorithm, that is, circular blur, is obtained, the slice based on the radius of the pupil centered on the virtual optical axis of the objective lens is zero at approximately 80% or more of the declination angle. It has been experimentally found that it is not necessary.

図33、図34において、ボケアルゴリズムに輪帯瞳のレンズを用いる場合の説明をする。図33は、二つのガウス分布の差分の強度分布を有する輪帯瞳のPSF(レンズのボケ具合を表す点像強度分布の3次元分布)を示す。zは視差量を示す。x,yはボケの大き
さを示す。zは瞳上の2点間の距離に結像倍率を乗じた値で、物体までの距離の関数であ
る。ピンホールレンズでは焦点距離f、ピンホールから物体の距離Zとする。図35はガ
ウス分布の差分の強度分布の斜視図である。内側のガウス分布が[数45]に記載の式で表される。外側のガウス分布が[数46]に記載の式で表される。これらの差分は、輪帯状のガウス分布を示す[数47]に記載の式で表される。
In FIG. 33 and FIG. 34, a description will be given of a case where an annular pupil lens is used for the blur algorithm. FIG. 33 shows a PSF (three-dimensional distribution of a point image intensity distribution indicating the degree of lens blur) having an intensity distribution of a difference between two Gaussian distributions. z indicates the amount of parallax. x and y indicate the size of the blur. z is a value obtained by multiplying the distance between two points on the pupil by the imaging magnification, and is a function of the distance to the object. In a pinhole lens, the focal length is f, and the distance Z from the pinhole is an object. FIG. 35 is a perspective view of the difference intensity distribution of the Gaussian distribution. The inner Gaussian distribution is expressed by the equation described in [Equation 45]. The outer Gaussian distribution is expressed by the equation described in [Equation 46]. These differences are expressed by the equation shown in [Equation 47] indicating a zonal Gaussian distribution.

このように輪帯をガウス分布と捉えても良い理由として、ボケアルゴリズムでは円形カーネルやガウスカーネルをコンボリューションすることが挙げられる。これらをコンボリューションすることで均一分布の輪帯であってもガウス分布様になるので初めからガウス分布の輪帯として考えても差し支えない。なお、ガウス分布にガウス分布や均一分布をコンボリューションしてもガウス分布と見なせる。   The reason why the annular zone may be regarded as a Gaussian distribution in this way is to convolve a circular kernel or a Gaussian kernel in the blur algorithm. Convolution of these results in a Gaussian distribution even if it is a uniformly distributed ring zone, so it can be considered as a Gaussian ring zone from the beginning. Note that even if a Gaussian distribution or a uniform distribution is convolved with the Gaussian distribution, it can be regarded as a Gaussian distribution.

このように二つの分散の異なるガウス分布で輪体は構成されていると考えると、ぼけアルゴリズムの先願の時と同様に、任意のボケカーネルによるコンボリューションを容易に説明できる。   If it is assumed that the ring body is composed of two Gaussian distributions with different variances as described above, convolution by an arbitrary blur kernel can be easily explained as in the case of the prior application of the blur algorithm.

図33においてトレース(5)がガウス分布の輪体ボケの内側を示す、[数45]に記載の式に相当するプロファイル。トレース(6)がガウス分布の輪帯ボケの外側を示す、[数46]に記載の式に相当するプロファイルである。任意のボケ関数を示すプロファイルは、トレース(7)で視差zに比例してガウス分布の直径が変化するボケ関数である。任意のガウスボケは、[数33][数34]に記載の式で示される。x,y は、撮像面の2次元座標で、ここでは撮像されるボケの大きさを示す。視差zは、相対表示で、光学系のピント位置が視差=0とする。なお、光学系のピント位置が視差ゼロとは、距離Zの物体
に視差=0となるようにフォーカス合わせ(焦点合わせ)を多眼カメラまたは単眼カメラ
で行ったという意味である。視差量の単位は、例えば撮像素子のピクセルカウントである。
FIG. 33 is a profile corresponding to the equation described in [Equation 45], in which trace (5) indicates the inside of a gaussian blur of a Gaussian distribution. Trace (6) is a profile corresponding to the equation described in [Equation 46] indicating the outer side of the gaussian blur of the Gaussian distribution. A profile indicating an arbitrary blur function is a blur function in which the diameter of the Gaussian distribution changes in proportion to the parallax z in the trace (7). Arbitrary Gaussian blur is expressed by the equations described in [Equation 33] and [Equation 34]. x and y are two-dimensional coordinates on the imaging surface, and here indicate the size of the imaged blur. The parallax z is relative display, and the focus position of the optical system is parallax = 0. The focus position of the optical system being zero parallax means that focusing (focusing) is performed on an object at a distance Z so that parallax = 0 by a multi-lens camera or a monocular camera. The unit of the parallax amount is, for example, a pixel count of the image sensor.

図33のトレース(5),(6)に、トレース(7)をx、y面内で2次元のコンボリューションを行った結果がそれぞれトレース(3),(4)となる。トレース(1)と(2)については、図34で説明する。図34でトレース(5)は、ガウス分布の輪体ボケの内側を示す、[数46]に記載の式に相当するプロファイル。トレース(6)は、ガウス分布の輪帯ボケの外側を示す、[数46]に相当するプロファイルである。任意のボケ関数を示すプロファイルは、トレース(7)で視差zに比例してガウス分布の直径が変化
するボケ関数である。この場合、視差量=5だけずれたところで最小半径となるボケ関数となっている。従ってボケアルゴリズムを用いると視差量=5に相当するフォーカス位置でピントがあった絵を得られるようなボケ関数である。このトレース(7)とトレース(5)、(6)のx,y面内の2次元コンボリューションがトレース(1),(2)である。
The results of performing the two-dimensional convolution of the trace (7) in the x and y planes on the traces (5) and (6) in FIG. 33 are traces (3) and (4), respectively. Traces (1) and (2) will be described with reference to FIG. In FIG. 34, trace (5) is a profile corresponding to the equation described in [Equation 46], showing the inside of the gaussian blur of the Gaussian distribution. Trace (6) is a profile corresponding to [Equation 46] indicating the outside of the annular blur of the Gaussian distribution. A profile indicating an arbitrary blur function is a blur function in which the diameter of the Gaussian distribution changes in proportion to the parallax z in the trace (7). In this case, the blur function has a minimum radius when the amount of parallax is shifted by 5. Therefore, when the blur algorithm is used, the blur function is such that a picture in focus can be obtained at the focus position corresponding to the parallax amount = 5. The two-dimensional convolutions in the x and y planes of the trace (7) and the traces (5) and (6) are the traces (1) and (2).

一方トレース(3),(4)は、図33のトレース(3),(4)に図34の「z」によらず一定の半径を持つガウスボケを示すトレース(8)をx、y面内で2次元コンボリューションした結果である。図33のトレース(3),(4)はそれぞれトレース(1),(2)をz軸に若干シフトさせるとほぼ重なることから、トレース(3),(4)の視差zに関する積分結果は、トレース(1),(2)の視差zに冠する積分の結果とほぼ同等である。すなわちトレース(7)によるボケ関数の2次元コンボリューションにより、ベストフォーカスのプロファイルである図32のトレース(3),(4)に半径一定のガウスボケを2次元コンボリューションした結果と同等のボケをフォーカス位置、視差=0のトレース(1)付近に与えたことになる。   On the other hand, the traces (3) and (4) are traces (8) in the x and y planes indicating the Gaussian blur having a constant radius regardless of “z” in FIG. 34 in the traces (3) and (4) in FIG. It is the result of two-dimensional convolution with. Since the traces (3) and (4) in FIG. 33 almost overlap each other when the traces (1) and (2) are slightly shifted to the z-axis, the integration results regarding the parallax z of the traces (3) and (4) are as follows: This is almost the same as the result of integration on the parallax z of the traces (1) and (2). In other words, by the two-dimensional convolution of the blur function by the trace (7), the blur equivalent to the result of the two-dimensional convolution of the Gaussian blur having a constant radius is focused on the traces (3) and (4) of FIG. The position and parallax = 0 are given in the vicinity of the trace (1).

一方、図34のトレース(7)のボケ関数によるコンボリューションでは、視差=5の位置にピントを結ぶ距離の物体はボケることが無い。この効果により、任意の視差に相当する被写体位置の物体にフォーカスさせることができる。これは先に説明した、中実のガウスボケの光学系と同様である。なお、図33、図34の光学系のプロファイルのピント位置では輪体ボケではなく一点(デルタ関数)であることに注意されたい。このため、図34のトレース(7),(8)によるコンボリューション後、視差=0つまり光学系のベストフォーカス(多眼カメラの合成開口によるベストフォーカスを含む)のところでは円盤状のガウスボケが発生することである。もちろん他の、視差zがゼロ以外では輪帯ボケのままである(フォーカススタックする前の話。フォーカススタックした後については後述)。   On the other hand, in the convolution by the blur function of the trace (7) in FIG. 34, the object having a distance that focuses on the position of parallax = 5 does not blur. With this effect, it is possible to focus on an object at a subject position corresponding to an arbitrary parallax. This is similar to the solid Gaussian blur optical system described above. It should be noted that the focus position of the profile of the optical system in FIGS. 33 and 34 is one point (delta function), not a ring-shaped blur. For this reason, after convolution with traces (7) and (8) in FIG. 34, a disk-shaped Gaussian blur occurs at parallax = 0, that is, at the best focus of the optical system (including the best focus due to the synthetic aperture of the multi-lens camera). It is to be. Of course, in other cases where the parallax z is other than zero, the zonal blur remains (the story before focus stacking, which will be described later).

ここでは、輪帯光学系のボケの話であるが、基本的に輪帯のインナーとアウターの半径が二つのガウス分布で決まっていると考えれば中実と同様にボケアルゴリズムが効果を発揮することが分かる。   Here, we are talking about blurring of the zonal optical system, but if we consider that the radius of the inner and outer rims of the annular zone is basically determined by two Gaussian distributions, the blurring algorithm will be effective as in the case of solid. I understand that.

図35〜37は、二つのガウス関数とその差分による輪体強度分布の鳥瞰図である。ボケ関数のある視差zにおけるx,y断面強度を示す。それぞれ外側のガウス分布、内側のガウス分布、輪体ガウス分布を示す。   FIGS. 35 to 37 are bird's-eye views of the ring body strength distribution based on two Gaussian functions and their differences. The x and y cross-sectional intensities at a parallax z with a blur function are shown. The outer Gaussian distribution, inner Gaussian distribution, and ring Gaussian distribution are shown.

図38〜図44は、輪帯光学系を用いた際のボケアルゴリズムのシミュレーションである。[表2]は焦点距離を「5mm」、撮像素子のピクセルピッチを「6μm」、瞳面上の2点間の距離を「12mm」としたときの視差量z(pixel)と被写体までの距離Z(mm)の関係を示す(z=s*f/Z)。   38 to 44 are simulations of a blur algorithm when the annular optical system is used. [Table 2] shows the parallax amount z (pixel) and the distance to the subject when the focal length is “5 mm”, the pixel pitch of the image sensor is “6 μm”, and the distance between two points on the pupil plane is “12 mm”. The relationship of Z (mm) is shown (z = s * f / Z).

輪帯光学系の瞳の外側の直径を48mm、内側の直径を43.2mmとして、解像力チャートを970mmの距離に置き、10.7mにフォーカスさせたときの、光学系単体の
光学ボケ画像を左に、ボケアルゴリズムのボケアルゴリズム画像を右に配置している。図39は、ボケアルゴリズムのボケカーネルのサイズを瞳面上で48mm、図40は、ボケアルゴリズムのボケカーネルのサイズを瞳面上で直径36mm、図41は、ボケアルゴリズムのボケカーネルのサイズを瞳面上で直径24mm、図42は、ボケアルゴリズムのボケカーネルのサイズを瞳面上で直径12mm、図43は、ボケアルゴリズムのボケカーネルのサイズは瞳面上で直径6mmである。図44は、ボケアルゴリズムのボケカーネルのサイズを瞳面上で直径1.2mm。図45は、ボケカーネルのピント位置をチャートの位置としたボケ無しの状態のボケアルゴリズムによる像が右図である。光学系のピント位置(Z=10.7m)にチャートを置いたボケアルゴリズム使用無しの状態が左図である。これらを見て明らかなように、ボケアルゴリズムにより、円形開口特有のリングボケが完全に解消されている。ただし、図39は、ボケアルゴリズムのボケカーネルのサイズが瞳面上でφ48mmになっており、光学系と等しいのため、若干アーティファクトが出ている。しかし、それ以下であれば問題ない。このことは、光学系の設計に大きな自由度を与える。また、輪帯アパーチャの幅に制約はないので、大きなボケを得つつ、光学系を微小化することが可能となる。具体的な実施例は、後述する。図39以降の図で光学的またはアルゴリズムにより付与されたボケはシミュレーションにより計算されたボケであるが、これらはアウトフォーカスの物体に付与されたものであり、インフォーカスの物体はぼけていないことに注意されたい。シミュレーションの目的はボケ像のよしあしを判断することであるのでインフォーカスの物体のシミュレーションは省略している。
When the outer diameter of the annular optical system pupil is 48 mm, the inner diameter is 43.2 mm, the resolution chart is placed at a distance of 970 mm, and the focus is 10.7 m, the optical blur image of the optical system alone is left The blur algorithm image of the blur algorithm is arranged on the right. 39 shows the size of the blur kernel of the blur algorithm on the pupil plane of 48 mm, FIG. 40 shows the size of the blur kernel of the blur algorithm on the pupil plane with a diameter of 36 mm, and FIG. 41 shows the size of the blur kernel of the blur algorithm on the pupil. In FIG. 42, the size of the blur kernel of the blur algorithm is 12 mm on the pupil plane, and in FIG. 43, the size of the blur kernel of the blur algorithm is 6 mm on the pupil plane. In FIG. 44, the size of the blur kernel of the blur algorithm is 1.2 mm in diameter on the pupil plane. FIG. 45 is a right view of an image obtained by a blur algorithm in a state where there is no blur with the focus position of the blur kernel as the chart position. The left figure shows a state in which the blur algorithm is not used with the chart placed at the focus position (Z = 10.7 m) of the optical system. As is apparent from these figures, the ring algorithm peculiar to the circular opening is completely eliminated by the blur algorithm. However, in FIG. 39, the size of the blur kernel of the blur algorithm is φ48 mm on the pupil plane, which is equal to that of the optical system, and thus some artifacts are generated. However, there is no problem if it is less than that. This gives great freedom to the design of the optical system. In addition, since there is no restriction on the width of the annular zone aperture, the optical system can be miniaturized while obtaining a large blur. Specific examples will be described later. In the figures after FIG. 39, the blur given by the optical or algorithm is a blur calculated by simulation, but these are given to the out-of-focus object, and the in-focus object is not blurred. Please be careful. Since the purpose of the simulation is to determine whether the blurred image is good or bad, the simulation of the in-focus object is omitted.

これらのボケカーネルにより発生するボケ量はs=12mmに対する瞳面上でのボケカーネルサイズの比で比例させて考えればよい。つまり、s=12mmではZ=50000mmとZ=10000mmとで、視差(z)1pixelに対し、1pixelの平行移動のボケとなる。これに対し、瞳面上直径24mmのボケでは、Z=5000mmとZ=10000mmとで、視差(z)1pixelに対し、半径1pixelのボケが発生するコーンで表されるボケカーネルとなる。瞳面上直径48mmのボケでは、Z=5000mmとZ=10000mmとで、視差(z)1pixelに対し、半径2pixelのボケが発生するコーンで表されるボケカーネルとなる。本シミュレーションでは、光学系は輪帯アパーチャとし、アパーチャ内の強度分布は均一とした。また、任意のボケ量のボケカーネルのx,y断面も均一強度と
した。光学系のPSFと任意のボケカーネルを2次元コンボリューションした時点で、輪帯状の強度分布は山型になり、ガウシアンと見なせるので、これを視差zで積分した関数は、[数48]に記載の式になる。ここで、外側と内側の半径が近いとした場合の積分結果は、中実ガウンシアン開口の積分結果、フォーカススタックと同じと見なせる。つまり、レファレンスの図65〜68の円形開口ボケよりもやわらかい印象のガウスボケとなる。デコンボリューションは従来どおり光学系のPSFのフォーカス・スタック(フォーカス
スタックPSFカーネル)とボケカーネルのフォーカス・スタック(フォーカススタックボ
ケカーネル)でそれぞれ行えばよい。他のパターンも考えてみる。
The amount of blur generated by these blur kernels may be considered in proportion to the ratio of the blur kernel size on the pupil plane to s = 12 mm. That is, when s = 12 mm, Z = 50000 mm and Z = 10000 mm, resulting in a blur of translation of 1 pixel with respect to 1 pixel of parallax (z). On the other hand, with a blur of 24 mm in diameter on the pupil plane, Z = 5000 mm and Z = 10000 mm, and a blur kernel represented by a cone in which a blur with a radius of 1 pixel occurs with respect to 1 pixel of parallax (z). In a blur with a diameter of 48 mm on the pupil plane, Z = 5000 mm and Z = 10000 mm, and a blur kernel represented by a cone in which a blur with a radius of 2 pixels occurs with respect to 1 pixel of parallax (z). In this simulation, the optical system is an annular aperture, and the intensity distribution in the aperture is uniform. In addition, the x and y cross-sections of the blur kernel with an arbitrary blur amount were also made uniform. When the PSF of the optical system and an arbitrary blur kernel are two-dimensionally convolved, the zonal intensity distribution becomes a mountain shape and can be regarded as Gaussian. Therefore, a function obtained by integrating this with parallax z is described in [Equation 48]. It becomes the following formula. Here, the integration result when the outer and inner radii are close can be regarded as the same as the integration result of the solid Gauntian aperture and the focus stack. That is, the Gaussian blur is softer than the circular aperture blur of the reference FIGS. Deconvolution can be performed as usual with the focus stack (focus stack PSF kernel) of the optical system PSF and the focus stack (focus stack blur kernel) of the blur kernel. Consider other patterns.

[表3]
光学系 ボケカーネル コンボリューション結果
輪帯ガウス分布 均一分布 ≒ガウス分布
輪帯ガウス分布 ガウス分布 ≒ガウス分布
輪帯均一分布 均一分布 ≒ガウス分布
輪帯均一分布 ガウス分布 ≒ガウス分布
[Table 3]
Optical system Bokeh kernel Convolution result Ring Gaussian distribution Uniform distribution ≒ Gaussian distribution Gaussian distribution Gaussian distribution ≒ Gaussian distribution Uniform distribution Uniform distribution ≒ Gaussian distribution Uniform distribution Gaussian distribution ≒ Gaussian distribution

[表4]
光学系 ボケカーネル コンボリューション結果
中実ガウス分布 均一分布 ≒ガウス分布
中実ガウス分布 ガウス分布 ≒ガウス分布
中実均一分布 均一分布 ≒ガウス分布〜均一分布
中実均一分布 ガウス分布 ≒ガウス分布〜均一分布
[Table 4]
Optical system Bokeh kernel Convolution result Solid Gaussian distribution Uniform distribution ≒ Gaussian distribution Solid Gaussian distribution Gaussian distribution ≒ Gaussian distribution Solid uniform distribution Uniform distribution ≒ Gaussian distribution ~ Uniform solid distribution Uniform Gaussian distribution ≒ Gaussian distribution ~ Uniform distribution

[表4]に示すように、光学系が輪体でなく、中実の場合にも同様に処理しても大きな破綻はない。なお、周波数空間(上記ボケカーネルは中実)では、[数42]に記載の式を使用することは言うまでもない。   As shown in [Table 4], even when the optical system is not a ring body and is solid, even if the same processing is performed, there is no major failure. Needless to say, in the frequency space (the blurred kernel is solid), the equation described in [Equation 42] is used.

<環状配置または開口>
輪帯開口、輪帯カメラ配置は円形に限らず、仮想的な光軸または合成光軸を取り囲むような環状の開口、もしくは環状に配置されたカメラはボケアルゴリズムでボケを2次元コンボリューションした時点で必ず環状のガウス分布様になるという前提があるので、元から(2次元コンボリューション以前に)環状のガウス分布とみなして差し支えない。環状のガウス分布は上で見たように二つの大きさの近い中実のガウス分布の差と捉えられる。環状開口、または環状カメラ配置の光学系のPSFのフォーカススタックは元の中実のガウ
ス分布のPSFのフォーカススタックと本質的には変わらない。中実のガウス分布はボケア
ルゴリズムで任意のボケを生成可能であることがわかっており、結論として、任意形状の輪帯開口、輪帯カメラ配置にボケアルゴリズムを組み合わせることにより、任意のボケを生成できることがわかった。
<Annular arrangement or opening>
Annular aperture and annular camera arrangement is not limited to a circle, but an annular aperture surrounding a virtual optical axis or a synthetic optical axis, or when an annularly arranged camera is subjected to two-dimensional convolution with a blur algorithm Since there is a premise that it always has an annular Gaussian distribution, it can be regarded as an annular Gaussian distribution (before the two-dimensional convolution). An annular Gaussian distribution is seen as the difference between two closely spaced Gaussian distributions as seen above. The PSF focus stack of an optical system with an annular aperture or an annular camera arrangement is essentially the same as the original solid Gaussian PSF focus stack. The solid Gaussian distribution is known to be able to generate arbitrary blur with the blur algorithm, and as a result, arbitrary blur can be generated by combining the blur algorithm with the annular aperture of the arbitrary shape and the annular camera arrangement. I knew it was possible.

<輪帯光学系のボケ画像のシミュレーション>
輪帯ボケのシミュレーションは次のように行った。図38において光学系のPSFはカメラ間隔またはst面上の2点の距離s=12mmとしたときの視差量をピクセルで表示している。輪帯光学系の瞳の大きさは外側直径48mm、内側直径43.2mmであるので、視差量10pixelで外側輪帯のボケ量の半径はその2倍で20pixelとなる。これが同
図に示す光学系のPSFである。物体のチャートは、Z=10.7m、視差量19pixel
の距離にあり、任意のボケカーネルは、円形開口で瞳上の直径36mmとした。視差量10pixelで直径ゼロから直径30pixelとなるボケカーネルとなる。視差量z=20pixel
から0pixelまでに光学系のPSFのピント位置を位置させて、x,yの2次元コンボリューションを行う。実際には物体はz=19pixelにしかないので、この位置だけでコンボリ
ューションを行えばよい。このようにして複数のピント位置に合焦した、いわゆるフォーカススイープした画像が20枚得られる。これらに任意のボケ直径を有する、任意の3次元ボケカーネルを任意のピント位置にフォーカス位置を合わせてx,y2次元コンボリュー
ションを行う。今回は視差量z=9pixelにフォーカスさせてx,y2次元コンボリューションを行った。そのあとこれらをzで積分して。(x,y面への投影)いわゆるフォーカススタ
ック画像を得る。フォーカススタック画像をフーリエ変換した、周波数スペクトルに[数42]に記載の式のフィルターを用いてデコンボリューション処理を行っている(フィルタリング+逆フーリエ変換)。
<Simulation of blurred image of annular optical system>
Annular blur was simulated as follows. In FIG. 38, the PSF of the optical system displays the parallax amount in pixels when the camera interval or the distance between two points on the st plane is s = 12 mm. Since the pupil of the annular optical system has an outer diameter of 48 mm and an inner diameter of 43.2 mm, the radius of the blurring of the outer annular zone is 20 pixels when the parallax amount is 10 pixels. This is the PSF of the optical system shown in FIG. The chart of the object is Z = 10.7m, parallax amount 19pixel
The optional blur kernel was a circular aperture with a diameter of 36 mm on the pupil. A blur kernel having a parallax amount of 10 pixels and a diameter of zero to 30 pixels is obtained. Parallax amount z = 20pixel
The focus position of the PSF of the optical system is positioned from 0 to 0 pixel, and two-dimensional convolution of x and y is performed. Actually, since the object has only z = 19 pixels, it is sufficient to perform convolution only at this position. In this way, 20 so-called focus swept images that are focused on a plurality of focus positions are obtained. An x, y two-dimensional convolution is performed by aligning an arbitrary three-dimensional blur kernel having an arbitrary blur diameter with a focus position at an arbitrary focus position. This time, x, y two-dimensional convolution was performed focusing on the parallax amount z = 9 pixels. Then integrate these with z. (Projection on x, y plane) A so-called focus stack image is obtained. Deconvolution processing is performed on the frequency spectrum obtained by Fourier transform of the focus stack image using the filter of the formula described in [Equation 42] (filtering + inverse Fourier transform).

<多眼構成>
以下に、多眼化の可能性を検討する。図49〜図64は、方眼的配置の多眼カメラのボケ画像を示している。各図の左側の画像は、光学系のみの光学ボケ画像、右側の画像は、ボケアルゴリズムによる画像処理後のボケアルゴリズム画像を示す。各図に示すボケアルゴリズム画像を出力するカメラ配置について、以下に記載する。
<Multi-view configuration>
Below, the possibility of multi-viewing is examined. 49 to 64 show blurred images of a multi-lens camera with a square arrangement. The left image in each figure shows an optical blur image of only the optical system, and the right image shows a blur algorithm image after image processing by the blur algorithm. The camera arrangement for outputting the blur algorithm image shown in each figure will be described below.

[正方形の線上に瞳を配置する例]
(1)図49に示す左側の画像は、図46(4)に示すように、各光学系の瞳50を正方形
の線上に隙間無く配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。瞳50は、ピッチ(p)が12mmの方眼配置で、直径(k)12mmの円形になっている。同図に示す右側の画像は、同光学系で、図46(3)に示すように、ボケカーネル51の大きさを瞳面st面上で18mmの半径(r)にした円形のボケアルゴリズム画像である。右側の画像ではボケ味に対して問題無し。
[Example of placing a pupil on a square line]
(1) As shown in FIG. 46 (4), the left image shown in FIG. 49 is a composite generated using an image captured by a multi-lens camera in which the pupils 50 of the respective optical systems are arranged on a square line without any gap. It is an opening blurred image. The pupil 50 has a square arrangement with a pitch (p) of 12 mm and has a circular shape with a diameter (k) of 12 mm. The right image shown in the figure is the same optical system, and as shown in FIG. 46 (3), a circular blur algorithm image in which the size of the blur kernel 51 is set to a radius (r) of 18 mm on the pupil plane st plane. It is. There is no problem with the bokeh in the image on the right.

(2)図50に示す左側の画像は、図46(5)に示すように、各光学系の瞳52を直径(
k)10.8mmの円形にし、かつ12mmピッチ(p)で正方形の線上に配置(方眼配置)した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図46(3)に示すように、ボケカーネル51の大きさを瞳面st面上で18mmの半径(r)にした円形のボケアルゴリズム画像である。瞳52となる円形開口は、ピッチ(p)に対して90%の直径になっている。右側の画像のボケには、やや周期的なアーティファクトが表れている。
(2) As shown in FIG. 46 (5), the left image shown in FIG.
k) A synthetic aperture blurred image generated by using an image captured by a multi-lens camera having a circular shape of 10.8 mm and arranged on a square line at 12 mm pitch (p) (square arrangement). The right image shown in the figure is the same optical system, and as shown in FIG. 46 (3), a circular blur algorithm image in which the size of the blur kernel 51 is set to a radius (r) of 18 mm on the pupil plane st plane. It is. The circular opening that becomes the pupil 52 has a diameter of 90% with respect to the pitch (p). Some blurring artifacts appear in the blur on the right side of the image.

(3)図51に示す左側の画像は、図46(5)に示すように、各瞳52を直径(k)9.
6mmの円形にし、かつ12mmピッチ(p)で正方形の線上に配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、図46(3)に示すように、同光学系で、ボケカーネル51の大きさを瞳面st面上で18mmの半径(r)にした円形のボケアルゴリズム画像である。瞳52となる円形開口は、ピッチ(p)に対して80%の直径になっている。右側の画像のボケには、やや周期的なアーティファクトが表れており、限界となっている。
(3) As shown in FIG. 46 (5), the left image shown in FIG.
It is a synthetic aperture blurred image generated using an image captured by a multi-lens camera arranged in a 6 mm circle and 12 mm pitch (p) on a square line. As shown in FIG. 46 (3), the image on the right side shown in FIG. 46 is a circular blur algorithm image in which the size of the blur kernel 51 is set to a radius (r) of 18 mm on the pupil plane st plane. It is. The circular opening that becomes the pupil 52 has a diameter of 80% with respect to the pitch (p). Some blurring artifacts appear in the blur on the right side of the image, which is the limit.

以上、説明したように、正方形の線上に瞳を配置した円形開口では、図46(5)に示すように粗でなくて、同図(4)に示すように、偏角によらず密でボケ生成半径(r)が1.5p以下であればボケ生成半径が開口にかからないので破綻がない。   As described above, the circular aperture in which the pupils are arranged on the square line is not rough as shown in FIG. 46 (5), and is dense regardless of the declination as shown in FIG. 46 (4). If the blur generation radius (r) is 1.5 p or less, the blur generation radius does not reach the opening, so there is no failure.

次に、図52〜図55は、任意のボケ生成半径でのボケ生成の例である。
(4)図52に示す左側の画像は、図46(1)に示すように、一辺の長さ(l)が12m
mの正方で、かつ12mmピッチ(p)で正方形の線上に配置した各光学系の瞳53を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図46(3)に示すように、ボケカーネル51の大きさを瞳面st面上で24mmの半径(r)にした円形のボケアルゴリズム画像である。右側の画像は、ボケ味に対して問題なく、ボケ量変化のシミュレーション画像である。
Next, FIGS. 52 to 55 are examples of blur generation at an arbitrary blur generation radius.
(4) The left image shown in FIG. 52 has a side length (l) of 12 m as shown in FIG. 46 (1).
It is a synthetic aperture blurred image generated by using an image captured by a multi-lens camera having a pupil 53 of each optical system arranged on a square line with a square of m and a pitch of 12 mm (p). The right image shown in the figure is the same optical system, and as shown in FIG. 46 (3), a circular blur algorithm image in which the size of the blur kernel 51 is a radius (r) of 24 mm on the pupil plane st plane. It is. The image on the right side is a simulation image of a blur amount change without any problem with respect to the blur.

(5)図53に示す左側の画像は、図46(1)に示すように、一辺の長さ(l)が12m
mの正方で、かつ12mmピッチ(p)で正方形の線上に配置した各光学系の瞳53を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図46(3)に示すように、ボケカーネル51の大きさは瞳面st面上で18mmの半径(r)にした円形のボケアルゴリズム画像である。右側の画像は、ボケ味に対して問題なく、ボケ量変化のシミュレーション画像である。
(5) As shown in FIG. 46 (1), the left image shown in FIG. 53 has a side length (l) of 12 m.
It is a synthetic aperture blurred image generated by using an image captured by a multi-lens camera having a pupil 53 of each optical system arranged on a square line with a square of m and a pitch of 12 mm (p). The right image shown in the figure is the same optical system, and as shown in FIG. 46 (3), the size of the blur kernel 51 is a circular blur algorithm image with a radius (r) of 18 mm on the pupil plane st plane. It is. The image on the right side is a simulation image of a blur amount change without any problem with respect to the blur.

(6)図54に示す左側の画像は、図46(1)に示すように、一辺の長さ(l)が12m
mの正方で、かつ12mmピッチ(p)で正方形の線上に配置した各光学系の瞳53を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図46(3)に示すように、ボケカーネル51の大きさを瞳面st面上で12mmの半径(r)にした円形のボケアルゴリズム画像である。右側の画像は、ボケ味に対して問題なく、ボケ量変化のシミュレーション画像である。
(6) As shown in FIG. 46 (1), the left side image shown in FIG. 54 has a side length (l) of 12 m.
It is a synthetic aperture blurred image generated by using an image captured by a multi-lens camera having a pupil 53 of each optical system arranged on a square line with a square of m and a pitch of 12 mm (p). The right image shown in the figure is the same optical system, and as shown in FIG. 46 (3), a circular blur algorithm image in which the size of the blur kernel 51 is a radius (r) of 12 mm on the pupil plane st plane. It is. The image on the right side is a simulation image of a blur amount change without any problem with respect to the blur.

(7)図55に示す左側の画像は、図46(1)に示すように、一辺の長さ(l)が12m
mの正方で、かつ12mmピッチ(p)で正方形の線上に配置した各光学系の瞳53を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図46(3)に示すように、ボケカーネル51の大きさを瞳面st面上で6mmの半径(r)にした円形のボケアルゴリズム画像である。右側の画像は、ボケ味に対しては問題なく、ボケ量変化のシミュレーション画像である。
(7) As shown in FIG. 46 (1), the left image shown in FIG. 55 has a side length (l) of 12 m.
It is a synthetic aperture blurred image generated by using an image captured by a multi-lens camera having a pupil 53 of each optical system arranged on a square line with a square of m and a pitch of 12 mm (p). The right image shown in the figure is the same optical system, and as shown in FIG. 46 (3), a circular blur algorithm image in which the size of the blur kernel 51 is set to a radius (r) of 6 mm on the pupil plane st plane. It is. The image on the right side is a simulation image of a blur amount change without any problem with respect to the blur.

以下、図56〜図58は、正方形の線上に配置した正方開口の大きさの限界を見ている。瞳53となる矩形開口がピッチ(p)に対して80%の一辺長さまでは破綻が無い。ボケ生成半径は、矩形開口にかからない1.5pの半径(r)としている。瞳面の関係は、図46の(1)(2)(3)を参照。   In the following, FIGS. 56 to 58 see the limit of the size of a square opening arranged on a square line. There is no failure when the rectangular opening serving as the pupil 53 is 80% one side long with respect to the pitch (p). The blur generation radius is a radius (r) of 1.5p that does not cover the rectangular opening. See (1), (2), and (3) in FIG.

(8)図56に示す左側の画像は、図46(2)に示すように、一辺の長さ(l)が10.
8mmの正方で、かつ12mmピッチ(p)で正方形の線上に配置した各光学系の瞳54を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図46(3)に示すように、ボケカーネル51の大きさを瞳面st面上で18mmの半径(r)にした円形のボケアルゴリズム画像である。瞳54となる矩形開口は、ピッチ(p)に対して90%の一辺長さになっている。右側の画像に対しては問題なし。
(8) As shown in FIG. 46 (2), the left image shown in FIG.
It is a synthetic aperture blur image generated using an image captured by a multi-lens camera having a pupil 54 of each optical system arranged on a square line at a square of 8 mm and at a pitch of 12 mm (p). The right image shown in the figure is the same optical system, and as shown in FIG. 46 (3), a circular blur algorithm image in which the size of the blur kernel 51 is set to a radius (r) of 18 mm on the pupil plane st plane. It is. The rectangular opening serving as the pupil 54 has a side length of 90% with respect to the pitch (p). There is no problem for the right image.

(9)図57に示す左側の画像は、図46(2)に示すように、一辺の長さ(l)が9.6
9mmの正方で、かつ12mmピッチ(p)で正方形の線上に配置した各光学系の瞳54を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図46(3)に示すように、ボケカーネル51の大きさを瞳面st面上で18mmの半径(r)にした円形のボケアルゴリズム画像である。瞳54となる矩形開口は、ピッチ(p)に対して80%の一辺長さになっている。右側の画像ではボケ味に対して問題なし。
(9) The left image shown in FIG. 57 has a side length (l) of 9.6, as shown in FIG. 46 (2).
It is a synthetic aperture blurred image generated using an image captured by a multi-lens camera having a pupil 54 of each optical system arranged on a square line with a square of 9 mm and a pitch of 12 mm (p). The right image shown in the figure is the same optical system, and as shown in FIG. 46 (3), a circular blur algorithm image in which the size of the blur kernel 51 is set to a radius (r) of 18 mm on the pupil plane st plane. It is. The rectangular opening serving as the pupil 54 has a side length of 80% with respect to the pitch (p). There is no problem with the image on the right.

(10)図58に示す左側の画像は、図46(2)に示すように、一辺の長さ(l)が8.4mmの正方で、かつ12mmピッチ(p)で正方形の線上に配置した各光学系の瞳54を
有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図46(3)に示すように、ボケカーネル51の大きさを瞳面st面上で18mmの半径(r)にした円形のボケアルゴリズム画像である。瞳54となる矩形開口は、ピッチ(p)に対して70%の一辺長さになっている。右側の画像ではボケ味に対して問題有り。
(10) As shown in FIG. 46 (2), the left image shown in FIG. 58 is arranged on a square line with a side length (l) of 8.4 mm and a square of 12 mm pitch (p). It is a synthetic aperture blurred image produced | generated using the image imaged with the multiview camera which has the pupil 54 of each optical system. The right image shown in the figure is the same optical system, and as shown in FIG. 46 (3), a circular blur algorithm image in which the size of the blur kernel 51 is set to a radius (r) of 18 mm on the pupil plane st plane. It is. The rectangular opening serving as the pupil 54 has a side length of 70% with respect to the pitch (p). There is a problem with the blur in the image on the right.

以下、各光学系の瞳を矩形線上に配置した偏りのある多眼カメラの例を説明する。矩形開口にボケ生成半径がかからず、矩形開口が密であれば破綻が無いことがわかる。図47(2)に示すように粗でなく、同図(1)に示すように密であれば良い。ボケ生成半径は、図47に示す瞳配置の場合、0.5p以下の半径(r)とする。   Hereinafter, an example of a biased multi-lens camera in which the pupils of the optical systems are arranged on a rectangular line will be described. It can be seen that no blur generation radius is applied to the rectangular opening, and there is no failure if the rectangular opening is dense. As shown in FIG. 47 (2), it is not rough, and it is sufficient if it is dense as shown in FIG. 47 (1). In the case of the pupil arrangement shown in FIG. 47, the blur generation radius is a radius (r) of 0.5 p or less.

[各光学系の瞳を長方形の線上に配置する例]
(11)図59に示す左側の画像は、図47(1)に示すように、一辺の長さ(l)が12mmの正方で、かつ12mmピッチ(p)で縦長矩形線上に配置した各光学系の瞳55を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図47(3)に示すように、ボケカーネル56の大きさを瞳面st面上で4.8mmの半径(r)にした円形のボケアルゴリズム画像である。
[Example of placing the pupils of each optical system on a rectangular line]
(11) As shown in FIG. 47 (1), the image on the left side shown in FIG. 59 is a square with a side length (l) of 12 mm and is arranged on a vertically long rectangular line at a pitch of 12 mm (p). It is a synthetic aperture blurred image generated using an image captured by a multi-view camera having a pupil 55 of the system. The right image shown in the figure is the same optical system, and as shown in FIG. 47 (3), a circular blur with a blur kernel 56 having a radius (r) of 4.8 mm on the pupil plane st plane. It is an algorithm image.

(12)図60に示す左側の画像は、図47(1)に示すように、一辺の長さ(l)が9.69mmの正方で、かつ12mmピッチ(p)で縦長矩形線上に配置した各光学系の瞳55を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図47(3)に示すように、ボケカーネル56の大きさを瞳面st面上で6mmの半径(r)にした円形のボケアルゴリズム画像である。 (12) As shown in FIG. 47 (1), the left image shown in FIG. 60 is a square with a side length (l) of 9.69 mm and is arranged on a vertically long rectangular line at a pitch of 12 mm (p). It is a synthetic aperture blurred image produced | generated using the image imaged with the multi-eye camera which has the pupil 55 of each optical system. The right image shown in the figure is the same optical system, and as shown in FIG. 47 (3), a circular blur algorithm image in which the size of the blur kernel 56 is set to a radius (r) of 6 mm on the pupil plane st plane. It is.

(13)図61に示す左側の画像は、図47(1)に示すように、一辺の長さ(l)が9.69mmの正方で、かつ12mmピッチ(p)で縦長矩形線上に配置した各光学系の瞳55を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図47(3)に示すように、ボケカーネル56の大きさを瞳面st面上で7.2mmの半径(r)にした円形のボケアルゴリズム画像である。 (13) As shown in FIG. 47 (1), the left image shown in FIG. 61 is a square with a side length (l) of 9.69 mm and is arranged on a vertically long rectangular line at a pitch of 12 mm (p). It is a synthetic aperture blurred image produced | generated using the image imaged with the multi-eye camera which has the pupil 55 of each optical system. The right image shown in the figure is the same optical system, and as shown in FIG. 47 (3), a circular blur with the size of the blur kernel 56 set to a radius (r) of 7.2 mm on the pupil plane st plane. It is an algorithm image.

以下、各瞳を方形に対して45度傾けた菱形の線上に配置した45度配置(菱形配置)の矩形開口の場合には、図47(5)に示すように粗ではなく、同図(4)に示すように密であって、ボケ半径が矩形開口にかからない程度であれば破綻は少ないが、0度配置(方形配置)に比べて動径によるスライスした瞳の幅の変動が大きいので、ボケ味にアーティファクトが強めに生じる。   Hereinafter, in the case of a rectangular opening having a 45 degree arrangement (rhombic arrangement) in which each pupil is arranged on a rhombus line inclined by 45 degrees with respect to the square, it is not rough as shown in FIG. As shown in 4), there is little failure if the area is dense and the blur radius does not cover the rectangular opening, but the sliced pupil width varies greatly with the radius compared to the 0 degree arrangement (square arrangement). , Artifacts are strongly generated in the bokeh.

[正方開口、45度(菱形)配置]
(14)図62に示す左側の画像は、図47(4)に示すように、一辺の長さ(l)が12mmの正方で、かつ12mmピッチ(p)で菱形の線上に配置した各光学系の瞳58を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図47(3)に示すように、ボケカーネル56の大きさを瞳面st面上で5.4mmの半径(r)にした円形のボケアルゴリズム画像である。
[Square opening, 45 degree (diamond) arrangement]
(14) As shown in FIG. 47 (4), the left image shown in FIG. 62 is a square with a side length (l) of 12 mm and is arranged on a rhombus line at a pitch of 12 mm (p). It is a synthetic aperture blurred image generated using an image captured by a multi-lens camera having a pupil 58 of the system. The right image shown in the figure is the same optical system, and as shown in FIG. 47 (3), a circular blur having a blur kernel 56 with a radius (r) of 5.4 mm on the pupil plane st plane. It is an algorithm image.

(15)図63に示す左側の画像は、図47(4)に示すように、一辺の長さ(l)が12mmの正方で、かつ12mmピッチ(p)で菱形の線上に配置した各光学系の瞳59を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図47(3)に示すように、ボケカーネル56の大きさを瞳面st面上で6mmの半径(r)にした円形のボケアルゴリズム画像である。 (15) As shown in FIG. 47 (4), the image on the left side shown in FIG. 63 is a square with a side length (l) of 12 mm and is arranged on a rhombus line at a pitch of 12 mm (p). It is a synthetic aperture blurred image generated using an image captured by a multi-view camera having a pupil 59 of the system. The right image shown in the figure is the same optical system, and as shown in FIG. 47 (3), a circular blur algorithm image in which the size of the blur kernel 56 is set to a radius (r) of 6 mm on the pupil plane st plane. It is.

以下で説明する円形開口を45度配置にした例の場合も図48(1)に示す配置の例よ
りもさらに開口を大きくして密に配置することで正方形配置の円形開口と同等の性能が得られる。
In the case where the circular openings described below are arranged at 45 degrees, the openings are made larger and densely arranged than in the arrangement example shown in FIG. can get.

[円形開口、45度(菱形)配置]
(16)図64に示す左側の画像は、図48(1)に示すように、直径(k)が12×(√2)mmの円形で、かつ12mmピッチ(P)で菱形の線上に配置した各光学系の瞳60を有する多眼カメラで撮像した画像から得られる合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図47(3)に示すように、ボケカーネル56の大きさを瞳面st面上で6×(√2)mmの半径(r)にした円形のボケアルゴリズム画像である。
[Circular opening, 45 degree (diamond) arrangement]
(16) As shown in FIG. 48 (1), the left image shown in FIG. 64 is a circle with a diameter (k) of 12 × (√2) mm and is arranged on a rhombus line at a pitch of 12 mm (P). It is a synthetic aperture blurred image obtained from the image imaged with the multi-lens camera which has the pupil 60 of each optical system. The right image shown in the figure is the same optical system. As shown in FIG. 47 (3), the size of the blur kernel 56 is set to a radius (r) of 6 × (√2) mm on the pupil plane st plane. This is a circular blur algorithm image.

以上説明した各例のボケアルゴリズム画像から、円形開口の光学ボケ画像と同様なボケ画像を得るには、瞳共役面またはカメラ配置面(s,t平面)上のカメラ瞳形状が、回転方
向の対象性が高いほど良く、仮想光軸を中心とした動径によるスライスが、その偏角の80%以上でゼロ以外であればよいことが分かった。
In order to obtain a blur image similar to the optical blur image of the circular aperture from the blur algorithm image of each example described above, the camera pupil shape on the pupil conjugate plane or the camera placement plane (s, t plane) is It has been found that the higher the objectivity, the better, and the slice by the radius around the virtual optical axis may be non-zero at 80% or more of the declination.

図65〜図68に示す画像は、光学系が円形開口の場合の光学ボケ画像を示す。ボケアルゴリズムの処理は行っていない。物体は、z=19pixelに位置させ、ピントはz=9pixelに合わせている。ボケの瞳面上の直径の大きさは、それぞれ48mm、36mm、24mm、12mmである。いままで説明してきたボケアルゴリズムのボケアルゴリズム画像がそん色無いものであることがこれら画像との比較から分かる。   The images shown in FIGS. 65 to 68 show optical blur images when the optical system has a circular aperture. The blur algorithm is not processed. The object is positioned at z = 19 pixel, and the focus is set at z = 9 pixel. The diameters on the blurred pupil plane are 48 mm, 36 mm, 24 mm, and 12 mm, respectively. It can be seen from the comparison with these images that the blur algorithm images of the blur algorithm described so far have no color.

[リファレンスとなる円形開口ボケ](理想光学系による円形ボケの例)
(1)図65に示す左側の画像は、図46(1)に示すように、一辺の長さ(l)が12m
mの正方で、かつ12mmピッチ(p)で正方形の線上に配置した各光学系の瞳53を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図46(3)に示すように、ボケカーネル51の大きさを瞳面st面上で36mmの半径(r)にした円形のボケアルゴリズム画像である。
[Reference circular aperture blur] (Example of circular blur using an ideal optical system)
(1) As shown in FIG. 46 (1), the left image shown in FIG. 65 has a side length (l) of 12 m.
It is a synthetic aperture blurred image generated by using an image captured by a multi-lens camera having a pupil 53 of each optical system arranged on a square line with a square of m and a pitch of 12 mm (p). The right image shown in the figure is the same optical system, and as shown in FIG. 46 (3), a circular blur algorithm image in which the size of the blur kernel 51 is a radius (r) of 36 mm on the pupil plane st plane. It is.

(2)図66に示す左側の画像は、図46(1)に示すように、一辺の長さ(l)が12m
mの正方で、かつ12mmピッチ(p)で正方形の線上にランダムで配置した各光学系の瞳53を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図46(3)に示すように、ボケカーネル51の大きさを瞳面st面上で36mmの半径(r)にした円形のボケアルゴリズム画像である。
(2) The left image shown in FIG. 66 has a side length (l) of 12 m as shown in FIG. 46 (1).
It is a synthetic aperture blurred image generated by using an image captured by a multi-lens camera having pupils 53 of each optical system randomly arranged on a square line at a square of m and at a pitch of 12 mm (p). The right image shown in the figure is the same optical system, and as shown in FIG. 46 (3), a circular blur algorithm image in which the size of the blur kernel 51 is a radius (r) of 36 mm on the pupil plane st plane. It is.

(3)図67に示す左側の画像は、図46(5)に示すように、直径(k)が6mmの円形
で、かつ12mmピッチ(p)で正方形の線上に配置した各光学系の瞳52を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図46(3)に示すように、ボケカーネル51の大きさを瞳面st面上で36mmの半径(r)にした円形のボケアルゴリズム画像である。
(3) As shown in FIG. 46 (5), the left image shown in FIG. 67 is a pupil of each optical system arranged in a circle having a diameter (k) of 6 mm and a square line at a pitch of 12 mm (p). 5 is a synthetic aperture blurred image generated using an image captured by a multi-lens camera having 52. The right image shown in the figure is the same optical system, and as shown in FIG. 46 (3), a circular blur algorithm image in which the size of the blur kernel 51 is a radius (r) of 36 mm on the pupil plane st plane. It is.

(4)図68に示す左側の画像は、図46(4)に示すように、直径(k)が12mmの円
形で、かつ12mmピッチ(p)で正方形の線上に配置した各光学系の瞳50を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図46(3)に示すように、ボケカーネル51の大きさを瞳面st面上で36mmの半径(r)にした円形のボケアルゴリズム画像である。
(4) The left image shown in FIG. 68 is a pupil of each optical system arranged on a square line with a diameter (k) of 12 mm and a 12 mm pitch (p) as shown in FIG. 46 (4). 50 is a synthetic aperture blurred image generated using an image captured by a multi-lens camera 50. The right image shown in the figure is the same optical system, and as shown in FIG. 46 (3), a circular blur algorithm image in which the size of the blur kernel 51 is a radius (r) of 36 mm on the pupil plane st plane. It is.

[入射瞳]
図69に示すように、入射瞳(Ent_p)は、レンズの前方の光学系(FE)による開口絞り(AS)の像である。射出瞳(Ext_p)はレンズの光学系(RE)による開口絞り(AS)の像である。同図で物体OBが像IMとして結像し、光軸OA上にレンズ前方光学系FEと後方光学系REが位置して
いる。光軸はレンズの中心を通る光線とみなすこともでき、レンズの中心を通るため屈折されず直進する光線となる。物点が光軸上にある時、光軸が中心の光線になる。物点が有限の高さを持つときは,入射瞳の中心を通る光線が中心光線になる。これを主光線PL(principal ray またはchief ray) という。入射瞳と射出瞳は共役だから,主光線PLは像側では射出瞳の中心を通って,像面に到達する。瞳が円形である場合、光軸は瞳面の中心を通る。入射瞳の直径PDはFナンバーと焦点距離fよりPD=f/Fで求まる。入射瞳の位置は通常第1面からの距離LPで示される。入射瞳径PDは通常のカメラレンズのテッサータイプの場合、レンズ最大直径ODの80~90%程度になる。入射瞳の第1面からの距離LPは焦点距離45mmのテッサータイプのレンズの場合、LP=10mm程度となる。以下の実施例では複数のカメラレ
ンズを配置するが、その場合カメラ面(または瞳面)に入射瞳を投影する。カメラ面と入射瞳は物体から見て等倍なので設計などに都合が良い。
[Entrance pupil]
As shown in FIG. 69, the entrance pupil (Ent_p) is an image of the aperture stop (AS) by the optical system (FE) in front of the lens. The exit pupil (Ext_p) is an image of the aperture stop (AS) by the lens optical system (RE). In the figure, an object OB is formed as an image IM, and a lens front optical system FE and a rear optical system RE are positioned on the optical axis OA. The optical axis can be regarded as a light ray passing through the center of the lens, and is a light ray that goes straight without being refracted because it passes through the center of the lens. When the object point is on the optical axis, the optical axis becomes the central ray. When the object point has a finite height, the ray passing through the center of the entrance pupil becomes the central ray. This is called principal ray PL (principal ray or chief ray). Since the entrance pupil and the exit pupil are conjugate, the principal ray PL reaches the image plane through the center of the exit pupil on the image side. When the pupil is circular, the optical axis passes through the center of the pupil plane. The diameter PD of the entrance pupil is obtained by PD = f / F from the F number and the focal length f. The position of the entrance pupil is usually indicated by a distance LP from the first surface. The entrance pupil diameter PD is about 80 to 90% of the maximum lens diameter OD in the case of a normal camera lens tesser type. The distance LP from the first surface of the entrance pupil is about LP = 10 mm in the case of a Tesser type lens having a focal length of 45 mm. In the following embodiments, a plurality of camera lenses are arranged. In this case, the entrance pupil is projected onto the camera plane (or pupil plane). Since the camera surface and entrance pupil are the same size as seen from the object, it is convenient for design.

[カメラレンズの配置]
複数のカメラレンズを配置する場合、カメラ面(s-t平面)に入射瞳を投影する。カメラ
面と入射瞳は物体から見て等倍なので設計などに都合が良い。図70に示す例の場合、合成光軸がs-t平面の原点を通る。s-t面にカメラ1,2の入射瞳Ent_pを位置させる。各カメラの光軸は(s,t)=(0,t0)と(s,t)=(0,-t0)に位置している。原点(s,t)=(0,0)が合成視点である。
[Arrangement of camera lens]
When arranging a plurality of camera lenses, the entrance pupil is projected onto the camera plane (st plane). Since the camera surface and entrance pupil are the same size as seen from the object, it is convenient for design. In the case of the example shown in FIG. 70, the combined optical axis passes through the origin of the st plane. The entrance pupil Ent_p of the cameras 1 and 2 is positioned on the st plane. The optical axis of each camera is located at (s, t) = (0, t0) and (s, t) = (0, −t0). The origin (s, t) = (0, 0) is the composite viewpoint.

[多眼カメラの配置について]
複数のカメラを多眼配置する場合、カメラ面s−t平面の原点(0,0)を通り、s―t平面
に垂直な直線を合成開口法の光軸とみなし、合成光軸と呼ぶことにする。また原点(0,0)
を合成視点と呼ぶことにする。合成開口法では数式4,5,6によって合成画像を出力する。合成開口法でのボケ量はカメラ面s−t平面の原点(0,0)からのカメラ距離に比例する
。したがって、輪帯状にカメラを配置しても、合成開口法によるぼけのでき方はカメラ面s−t平面の原点(0,0)つまり合成視点の選択のしかたに依存する。合わせてカメラ配置
に依存して決まるボケカーネルの形状も変わる。合成視点が偏ることによってボケカーネルが変化する例を図71に示す。なお、図71に示すように、輪帯状に多眼カメラを配置する場合は、任意の合成視点を選ぶことが可能であるが、以下で説明する例の場合には、基本的な配置として、合成視点が輪帯の中心となる場合を示す。合成視点を輪帯の中心とすると、生成ボケの大きさを大きくできるというメリットがある。それは図47の(1),(2)のカメラ配置の例で顕著なように、生成ボケの大きさは光学系の輪帯瞳径と同等程度ま
でに限られるためである。生成ボケを光学系の輪帯瞳内に収まるように視点位置と生成ボケ量を調整しても良く、そうすることで輪帯瞳内での任意の視点で見た、ボケアルゴリズム像を生成しても良い。
先に説明した図10の例ではcam3がs-t平面の原点(0,0)に位置しており、合成視点となっている。
[About the arrangement of multi-lens cameras]
When multiple cameras are arranged in multiple eyes, a straight line that passes through the origin (0,0) of the camera plane st plane and is perpendicular to the st plane is regarded as the optical axis of the synthetic aperture method and is called the synthetic optical axis. To. Also origin (0,0)
Is called a composite viewpoint. In the synthetic aperture method, a synthetic image is output according to equations 4, 5, and 6. The amount of blur in the synthetic aperture method is proportional to the camera distance from the origin (0, 0) of the camera plane st plane. Therefore, even if the cameras are arranged in a ring shape, the way of blurring by the synthetic aperture method depends on the origin (0, 0) of the camera plane st plane, that is, the way of selecting the composite viewpoint. In addition, the shape of the blur kernel that depends on the camera arrangement also changes. FIG. 71 shows an example in which the blur kernel changes due to the bias of the composite viewpoint. As shown in FIG. 71, when arranging multi-lens cameras in an annular shape, it is possible to select an arbitrary composite viewpoint, but in the example described below, as a basic arrangement, The case where the composite viewpoint is the center of the annular zone is shown. If the synthetic viewpoint is the center of the annular zone, there is an advantage that the size of the generated blur can be increased. This is because the size of the generated blur is limited to the same level as the diameter of the annular zone of the optical system, as is noticeable in the example of the camera arrangement of (1) and (2) in FIG. The viewpoint position and the amount of generated blur may be adjusted so that the generated blur falls within the annular pupil of the optical system, thereby generating a blur algorithm image viewed from an arbitrary viewpoint within the annular pupil. May be.
In the example of FIG. 10 described above, cam3 is located at the origin (0, 0) of the st plane and is a composite viewpoint.

[多眼カメラの輪帯的配置]
輪帯状の瞳形状を多眼カメラによって構成する場合、図72に示すように、半径rの円周上にカメラ配置する。カメラの撮影レンズが配置された面、または入射瞳が並んだ面をs,t平面とする。同図で撮影レンズC1〜C12の円形は入射瞳の大きさを表すとする。それぞれの対物レンズ(撮影レンズ)に2次元の撮像素子が装着されておりそれぞれカメラユニットを構成しており、これらが複数配置され、多眼カメラを構成している。(多眼カメラによる合成開口法によるフォーカス合わせ(焦点合わせ)は図10を用いて説明したとおり。合成開口出力は[数6]により各カメラの重みを1として計算。)
カメラ配置は、入射瞳が並んだ面をs,t平面とすると、図74に示すように、半径rの円周上に輪帯をなすように並置された場合、レンズにより集光される光が半径rの円弧の方向に切れ目がない方(角度で20%以下の切れ目の方)が望ましい。このため、カメラのレンズにより集光される情報がレンズCの内側いっぱいに取れることが望ましい。図
73に示すように、2重にカメラレンズの入射瞳を同心円方向に配置しても良い。内外でレンズが千鳥状に配列にされている。円弧方向の切れ目が無く、均一性が高いほど良好である(詳細は、後述する図75で説明する)。実際にボケアルゴリズムによって再現するボケの大きさは任意であるが、瞳上でr(+開口幅の50%)程度の生成ボケ半径が大きい方が限界である。
[Multi-camera annular arrangement]
When the annular pupil shape is configured by a multi-view camera, as shown in FIG. 72, the camera is arranged on the circumference of the radius r. The surface on which the photographing lens of the camera is arranged or the surface on which the entrance pupil is arranged is defined as s and t planes. In the figure, the circular shape of the photographing lenses C1 to C12 represents the size of the entrance pupil. A two-dimensional image sensor is attached to each objective lens (photographing lens) to constitute a camera unit, and a plurality of these are arranged to constitute a multi-view camera. (Focus alignment (focusing) by a synthetic aperture method using a multi-lens camera is as described with reference to FIG. 10. The synthetic aperture output is calculated by using [Equation 6] with the weight of each camera as 1.)
As shown in FIG. 74, in the camera arrangement, when the planes where the entrance pupils are arranged are s and t planes, as shown in FIG. It is desirable that there is no cut in the direction of the arc having a radius r (a cut having an angle of 20% or less). For this reason, it is desirable that the information collected by the lens of the camera can be taken all the way inside the lens C. As shown in FIG. 73, the entrance pupils of the camera lens may be arranged in a concentric direction. Lenses are arranged in a staggered pattern inside and outside. There is no break in the arc direction and the higher the uniformity, the better (the details will be described later with reference to FIG. 75). The size of the blur that is actually reproduced by the blur algorithm is arbitrary, but the limit is that the generated blur radius of about r (+ 50% of the aperture width) is large on the pupil.

図75は、輪帯瞳の例である。合成視点がst座標の原点(0,0)にあるとする。内側半径
を「r2」、外側半径を「r1」とすると、光束の入射する瞳領域を「f(s,t)」とする。原点(0,0)から一方向に発し、s軸にθをなす直線s’(θ)によるスライスを考える(こ
れを動径s’(θ)によるスライスとよぶ)。スライスとは、直線上以外をゼロとすること
である。スライスした結果は、線分s”(θ)となる。この線分s”の長さを|s”(θ)|とす
る(受光領域が複数あり、スライスした結果が複数の線分となる場合には複数の線分合計を考える)。瞳領域内の各点の強度に関する重みが均一である場合、|s”(θ)|がθ=0
〜360度の間で一定(50〜100%)であることが望ましい。逆に瞳領域内の各点の強度に関する重みが強度フィルターなどで設定可能であれば、線分の長さ(|s”(θ)|)
*強度重みを一定(50〜100%)にすることで線分長さ、|s”(θ)|を設定しても良
い。実験によれば瞳の断続領域つまり|s”(θ)|=0となる領域がθの角度範囲で20%
以下(7.2度以下)であれば良いことがわかった。
FIG. 75 is an example of an annular pupil. Assume that the composite viewpoint is at the origin (0,0) of the st coordinate. If the inner radius is “r2” and the outer radius is “r1”, the pupil region where the light beam enters is “f (s, t)”. Consider a slice by a straight line s ′ (θ) that originates in one direction from the origin (0,0) and forms θ on the s-axis (this is called a slice by the radius s ′ (θ)). Slicing is to make zero except on a straight line. The sliced result is a line segment s ″ (θ). The length of the line segment s ″ is | s ″ (θ) | (there is a plurality of light receiving regions, and the sliced result is a plurality of line segments. In this case, a total of a plurality of line segments is considered.) When the weights relating to the intensity of each point in the pupil region are uniform, | s ”(θ) |
It is desirable to be constant (50 to 100%) between ˜360 degrees. Conversely, if the weight related to the intensity of each point in the pupil region can be set with an intensity filter, the length of the line segment (| s ”(θ) |)
* The line length, | s ”(θ) |, may be set by making the intensity weight constant (50 to 100%). According to the experiment, the intermittent region of the pupil, that is, | s” (θ) | = 0 is 20% in the angle range of θ
It was found that the following (7.2 degrees or less) is sufficient.

本実施形態では、ボケアルゴリズムで破綻の無いボケを得るために、円形のボケを得る場合で、かつ、瞳領域内の各点の強度に関する重みが均一である場合、瞳共役面またはカメラ配置面上の瞳領域の形状の、合成視点から発する半径方向の直線によるスライスが、緻密、かつなるべく均一であれば良いことが図39〜図45,図49〜図68で説明した画像により明らかである。瞳の断続領域は角度で20%未満であればよい。輪帯や回転対象の多眼カメラ配置では、カメラ配置の外側程度の瞳径に相当するぼけ量でも大きな破綻は無い。しかし、長方形配置など、偏りのあるカメラ配置の場合は、カメラの合成視点を中心に、カメラ群に内接する程度のぼけ量とする必要がある。この点を考慮すると円形配置が最も効率が良いことが明らかである。しかし、本発明の効果を得るためには合成視点を取り囲むようにカメラが配置されていれば、どのようなカメラ配置でも原理的には差し支えない。つまりハードウェアとしては、瞳面もしくはその共役面上で視点を取り囲むように配置された複数の瞳領域が、同一面上の視点から発する動径によりスライスしたとき、該動径の偏角の80%以上で存在し、複数の瞳領域を通過する光束を光学系により結像させ被写体像を瞳領域ごとに個別に撮像する多眼撮像部を有していれば良い。この瞳共役面は撮像面に位置するマイクロレンズアレーによって作られた複数の瞳共役面であってももちろん良く、いわゆるライトフィールドカメラと組み合わせても良い。そのような実施例を図81、図83を用いて後述する。マイクロレンズアレーを用いた場合、瞳分割数をあげることが容易で、それぞれのピンホールカメラのピンホール径が小さくなり、ピンホールカメラの幾何学的焦点深度を深く取れるというメリットがある。   In this embodiment, in order to obtain a blur without a failure by the blur algorithm, when obtaining a circular blur and when the weights regarding the intensity of each point in the pupil region are uniform, the pupil conjugate plane or the camera placement plane It is clear from the images described with reference to FIGS. 39 to 45 and FIGS. 49 to 68 that the slice of the shape of the upper pupil region by the straight line in the radial direction originating from the synthesis viewpoint should be dense and as uniform as possible. . The pupil intermittent region may be less than 20% in angle. In the multi-lens camera arrangement for the annular zone and the rotation target, there is no major failure even with the blur amount corresponding to the pupil diameter about the outside of the camera arrangement. However, in the case of a biased camera arrangement, such as a rectangular arrangement, it is necessary to set the amount of blurring enough to be inscribed in the camera group with the combined viewpoint of the cameras as the center. Considering this point, it is clear that the circular arrangement is most efficient. However, in order to obtain the effect of the present invention, any camera arrangement may be used in principle as long as the camera is arranged so as to surround the composite viewpoint. That is, as hardware, when a plurality of pupil regions arranged so as to surround the viewpoint on the pupil plane or its conjugate plane are sliced by a radius emitted from the viewpoint on the same plane, the deviation angle of the radius is 80. It is only necessary to have a multi-lens imaging unit that forms an image of a light flux that exists in% or more and passes through a plurality of pupil regions by an optical system and individually captures a subject image for each pupil region. The pupil conjugate plane may be a plurality of pupil conjugate planes formed by a microlens array positioned on the imaging plane, or may be combined with a so-called light field camera. Such an embodiment will be described later with reference to FIGS. When a microlens array is used, it is easy to increase the number of pupil divisions, and the pinhole diameter of each pinhole camera is reduced, so that the geometrical depth of focus of the pinhole camera can be increased.

瞳面、もしくはカメラ配置面に効率よくレンズを配置するにはトリプレットタイプ、テッサータイプ、ガウスタイプなど古典的な対称形状のレンズ設計が望ましく、最近の携帯電話用の光学系は後群の径が大きく配置しにくい。これはバックフォーカスを短めに取った設計のためと思われる。しかし、入射瞳を第1面の直後に位置させたレンズ設計を行えば、瞳開口率(=入射瞳径/レンズ外形)を100%にすることも可能である。後群の直径が大きい場合、後群をミラーで折り返すような設計も可能である。   In order to efficiently place the lens on the pupil plane or the camera placement plane, a classic symmetrical lens design such as triplet type, tesser type, gauss type, etc. is desirable, and the optical system for recent mobile phones has a rear group diameter. Difficult to place large. This seems to be due to the design with short back focus. However, if a lens design is made in which the entrance pupil is positioned immediately after the first surface, the pupil aperture ratio (= incidence pupil diameter / lens outer shape) can be set to 100%. When the rear group has a large diameter, it is possible to design the rear group to be folded back by a mirror.

また、薄型のカメラを構成する場合、ミラーなどで適宜折り曲げて配置することも考えられる。そのほか、ロッドレンズ、イメージファイバー、セルフォックレンズ(登録商標)などを利用して瞳開口率(=入射瞳径/レンズ外形)を上げることも考えられる。多眼カメラのレンズ一つ一つの径が大きくなり、単体での焦点深度が不足する場合、キュービック
関数の瞳波面収差を与えて、焦点深度を増やした、EDOF(Extended Depth of Field
)レンズとして用いてもよい。しかし、後で述べるマイクロレンズの光学系を用いることが簡便である。合成開口法によりリフォーカス(撮影後に任意物体面にフォーカシングすること)することは重要な機能であるので、個々のカメラレンズは焦点深度が深い、パンフォーカスであることが望ましい。(もしくは単体のライトフィールドカメラ。)そのため個々のレンズの入射瞳を小さくするか、撮影倍率を小さくすることが望ましい。f=約4mm、F2.8、画角約50度、1/4インチセンサー用レンズの場合、2mにフォーカスさせて無限遠から1mまで5〜6Mピクセル相当のナイキスト周波数でのMTFの変化は20%程度である。この場合の入射瞳の直径は1.4mである。この程度のレンズを複数並べることになる。どちらかというと、ウェハレベルレンズでテッサータイプを構成することがよさそうである。図75のように合成視点を中心とした直線によりスライスした結果の瞳の幅を一定することが困難である場合には、瞳共役位置に濃度フィルターを設けて、瞳の光強度透過率を調整するようなフィルタリングを行っても良い。
MTFのピント位置による変化が問題となる場合、多少であれば画像先鋭化処理をピント位置に応じて適宜変えることで対応可能である。別の手段としては瞳を分割する多眼カメラの各々を無限遠から近距離までそれぞれピント位置を徐々に変えていくように初期調整しておいても良い。このように設定すると合成開口処理後の画像の合成PSFの特性がピ
ント位置によりあまり変化しなくなる。
When a thin camera is configured, it can be considered that the camera is appropriately bent with a mirror or the like. In addition, it is also possible to increase the pupil aperture ratio (= incidence pupil diameter / lens outer shape) using a rod lens, an image fiber, a Selfoc lens (registered trademark), or the like. EDOF (Extended Depth of Field) in which the diameter of each lens of a multi-lens camera becomes large and the focal depth of a single lens is insufficient, giving a cubic wave pupil aberration and increasing the depth of focus.
) It may be used as a lens. However, it is convenient to use a microlens optical system described later. Since refocusing (focusing on an arbitrary object surface after photographing) by the synthetic aperture method is an important function, it is desirable that each camera lens has a deep focal depth and pan focus. (Or a single light field camera.) Therefore, it is desirable to reduce the entrance pupil of each lens or to reduce the photographing magnification. In the case of f = about 4 mm, F2.8, angle of view of about 50 degrees, and 1/4 inch sensor lens, the MTF change at a Nyquist frequency equivalent to 5 to 6 M pixels from infinity to 1 m when focused on 2 m is 20% Degree. In this case, the diameter of the entrance pupil is 1.4 m. A plurality of such lenses are arranged. If anything, it seems to be good to construct a Tesser type with a wafer level lens. If it is difficult to make the pupil width as a result of slicing with a straight line centered on the composite viewpoint as shown in FIG. 75, a density filter is provided at the pupil conjugate position to adjust the light intensity transmittance of the pupil. Such filtering may be performed.
When the change due to the focus position of the MTF becomes a problem, it can be dealt with by appropriately changing the image sharpening process according to the focus position. As another means, each of the multi-lens cameras that divide the pupil may be initially adjusted so as to gradually change the focus position from infinity to a short distance. With this setting, the characteristics of the synthetic PSF of the image after synthetic aperture processing do not change much depending on the focus position.

[表5]に示すように、50mmの瞳サイズとすれば112個の対物レンズ(カメラ)の数が必要となる。超解像処理によりおおむねカメラ数を約0.5倍した値に相当する画素数まではレンズの解像力に余裕があれば多画素化が達成可能である。また、対物レンズのピント位置をレンズごとに近距離から遠距離まで徐々に設定を変えておいて、合成開口法によるピント合わせ後のフォーカス像がいずれの場合でも同じようなPSFとなるように設定しておいても良い。   As shown in [Table 5], if the pupil size is 50 mm, 112 objective lenses (cameras) are required. The number of pixels can be increased if the resolution of the lens has a margin up to the number of pixels corresponding to a value obtained by multiplying the number of cameras by about 0.5 times by super-resolution processing. In addition, the focus position of the objective lens is gradually changed from a short distance to a long distance for each lens, and the focus image after focusing by the synthetic aperture method is set to be the same PSF in any case. You can keep it.

[方形開口の輪帯配置]
図76に示すように、方形開口を輪帯配置してももちろん構成可能である。この場合撮影レンズはハエの目レンズ状に接近する。C1〜C24がレンズの瞳形状を示している。図77に示すように、テッサーレンズを四角に切り出した場合、レンズ外形70に対して80〜90%程度の有効領域となる入射瞳71を得ることができ、少ないレンズで多眼カメラを構成することができる。
[Rectangular arrangement of rectangular openings]
Of course, as shown in FIG. In this case, the photographic lens approaches a fly-eye lens. C1 to C24 indicate the pupil shape of the lens. As shown in FIG. 77, when the Tesser lens is cut into a square, an entrance pupil 71 that is about 80 to 90% effective area with respect to the lens outer shape 70 can be obtained, and a multi-lens camera is configured with a small number of lenses. be able to.

<第2実施形態>
第2実施形態では、多重輪帯瞳として、同時に複数のフォーカス像を得ようという発明である。光学系は屈折系、反射屈折系、反射系が考えられる。フォーカスごとに撮像センサを用意する。完全に同時に複数フォーカスの画像を取得するには、多眼配置のほか複数輪帯瞳光学系を提案する。そのほか振幅分割して複数のフォーカス位置にそれぞれ撮像センサを配置しても同時に複数のフォーカスの画像が取得可能であることはいうまでも無い。この例を図78に示す。物体Oから発する、撮影レンズObによって集光された光は、
ハーフミラーp1〜p5で振幅分割され、リレーレンズOr1〜Or5で撮像素子を含む撮像センサs1〜s5の受光面に結像する。撮像センサs1〜s5はそれぞれ所望のフォーカスオフセットが与えられている。このため同時に複数のフォーカス位置での像を取得可能である。なお、非同時であってもほぼ同時に取得するにはフォーカスセンサやレンズの一部を振動的にフォーカス方向に駆動し、撮像センサs1〜s5のフォーカス位置を連続的に変化させ、時間差をあけて複数のフォーカス画像をほぼ同時に取得してもよい。
<Second Embodiment>
The second embodiment is an invention for simultaneously obtaining a plurality of focus images as multiple annular pupils. The optical system may be a refractive system, a catadioptric system, or a reflective system. An imaging sensor is prepared for each focus. In order to acquire images with multiple focus completely simultaneously, we propose a multi-eye arrangement as well as a multi-zone pupil optical system. In addition, it goes without saying that images of a plurality of focus can be acquired at the same time even if the image sensors are arranged at a plurality of focus positions by dividing the amplitude. An example of this is shown in FIG. The light emitted from the object O and collected by the photographing lens Ob is
The amplitude is divided by the half mirrors p1 to p5, and images are formed on the light receiving surfaces of the imaging sensors s1 to s5 including the imaging elements by the relay lenses Or1 to Or5. Each of the image sensors s1 to s5 is given a desired focus offset. For this reason, images at a plurality of focus positions can be acquired simultaneously. In order to obtain almost the same time even if they are not simultaneous, the focus sensor and a part of the lens are driven in the focus direction in a vibrating manner, and the focus positions of the imaging sensors s1 to s5 are continuously changed, with a time difference. A plurality of focus images may be acquired almost simultaneously.

図79は、輪対瞳光学系で瞳を多重化して分割する別の実施形態である。この場合、瞳共役面近傍のミラーp1〜p3により瞳面を径の異なる輪帯で3分割し、それぞれ撮像センサs1〜s3で撮像する。この際、撮像センタs1〜s3はそれぞれ所定のフォーカスオフセットが与えられており、同時に複数のフォーカスの像を得ることができる。この実施形態では、ボケアルゴリズムでボケを形成できる上限が光学系の多重輪帯の内径APまでとなる。本実施形態のようにフォーカスごとに像側NAが変わるケースでも、PSFのフォーカス方向の積分IPSFが対象物体の深さの範囲内で事実上変化がないと見なせる範囲であれば問題ない。   FIG. 79 shows another embodiment in which the pupil is multiplexed and divided by the ring-to-pupil optical system. In this case, the pupil plane is divided into three zones with different diameters by the mirrors p1 to p3 in the vicinity of the pupil conjugate plane, and images are taken by the imaging sensors s1 to s3, respectively. At this time, each of the imaging centers s1 to s3 is given a predetermined focus offset, and a plurality of focus images can be obtained simultaneously. In this embodiment, the upper limit at which blur can be formed by the blur algorithm is up to the inner diameter AP of the multiple ring zone of the optical system. Even in the case where the image side NA changes for each focus as in the present embodiment, there is no problem as long as the integral IPSF in the focus direction of the PSF is within the range of the depth of the target object and can be regarded as virtually unchanged.

ハーフミラーP1〜P5までの瞳分割を振幅分割でなく、波面分割にする際に、輪帯状に分割することが有効であるが、その他の例としてランダムパターンで分割することが考えられる。その時も、先に説明したように、合成視点を中心とした動径によるスライスが360度のうち80%程度占めるように、かつ可能であればスライス後の線分長が均一(50〜100%)となるようにランダムパターンを決定する。ランダムパターンの生成には以上の拘束条件のもとに、遺伝的アルゴリズムなどで生成する。   When the pupil division of the half mirrors P1 to P5 is not the amplitude division but the wavefront division, it is effective to divide in a ring shape, but as another example, it is conceivable to divide in a random pattern. At that time as well, as described above, the radial segment centered on the synthetic viewpoint occupies about 80% of 360 degrees, and if possible, the segment length after slicing is uniform (50 to 100%) ) To determine a random pattern. A random pattern is generated by a genetic algorithm or the like under the above constraint conditions.

また、波面分割する別の実施例として、図80に示すように、撮像センサs1をひとつにして、ミラーをいわゆるDMD(デフォーマブル・ミラー・アレイ)等の空間光変調素子p1として、時分割で輪帯の選択領域をスイッチングして変化させ、輪帯の切り替えに同期して画像を取得しても良い。その場合は、撮影レンズObに球面収差等の回転対称収差を与えて、輪帯の径を選択することでフォーカスオフセットも同時に変化可能な構成とする。なお、レンズOr1は、リレーレンズである。符号「p2」はミラーである。収差は、レンズ間隔を変更して収差量を変えられるようにしておくと、球面収差をプラスにするかマイナスにするかで、前ボケを大きくしたり、後ろボケを大きくしたり等変化がつけられる。また、液晶等の空間光変調素子で収差量を変更してもよい。また球面収差量を被写体の奥行きに合わせて変化させてもよい。   As another example of wavefront division, as shown in FIG. 80, a single imaging sensor s1 is used, and a mirror is used as a spatial light modulation element p1 such as a so-called DMD (deformable mirror array). The selection area of the annular zone may be switched and changed, and an image may be acquired in synchronization with the switching of the annular zone. In this case, the focus offset can be changed at the same time by giving rotational symmetric aberration such as spherical aberration to the photographing lens Ob and selecting the diameter of the annular zone. The lens Or1 is a relay lens. The symbol “p2” is a mirror. If the aberration is changed by changing the lens interval, the aberration changes depending on whether the spherical aberration is positive or negative, such as increasing the front blur or increasing the rear blur. It is done. The amount of aberration may be changed by a spatial light modulation element such as a liquid crystal. Further, the spherical aberration amount may be changed in accordance with the depth of the subject.

[マイクロレンズアレイの利用]
次は、マイクロレンズアレイを用いる場合の実施形態を説明する。図81は、一般に知られているlight ray sensor(LLS)を有する撮像部を示す。LLSは、撮像センサsaの
前に、マイクロレンズアレイMを配置している。マイクロレンズアレイMは、複数のマイクロレンズ(正レンズ)M1〜Mnを二次元状に並べて一体化したものである。撮像センサsaは、撮像面に複数の受光素子を有する。受光素子は、マイクロレンズM1〜Mnの後側に所定個ずつ配置される。このような構成では、マイクロレンズM1〜Mnが通常の撮像素子の一画素に相当する。
[Use of micro lens array]
Next, an embodiment in which a microlens array is used will be described. FIG. 81 shows an imaging unit having a generally known light ray sensor (LLS). In the LLS, the microlens array M is arranged in front of the imaging sensor sa. The microlens array M is obtained by arranging a plurality of microlenses (positive lenses) M1 to Mn in a two-dimensional array. The imaging sensor sa has a plurality of light receiving elements on the imaging surface. A predetermined number of light receiving elements are arranged behind the microlenses M1 to Mn. In such a configuration, the microlenses M1 to Mn correspond to one pixel of a normal image sensor.

なお、ベイヤー配置のRGBGの4素子で一画素とする。マイクロレンズアレイMは、撮影レンズ(結像光学系)Obの瞳面を撮像センサsaの受光面上に結像させる。すなわち、撮像センサsaは、マイクロレンズM1〜Mnに相当する画素位置ごとの光強度を瞳分割して受光することになる。瞳面で分割して受光するため、これは多眼カメラと同様に、合成開口法によるフォーカスが行え、前述の多眼カメラによるボケアルゴリズムを使用できることは言うまでも無い。同図のマイクロレンズM2の画素に対応する受光素子群seg2は、s’,t‘面上でセグメントの中心にs’’,T’’座標とすると、図81(
1)に示すようになる。マイクロレンズの後ろ焦点面に瞳共役面が投影され、瞳分割数に応じた2次元の画素が配置される。つまり一画素に対して複数の瞳分割素子が配置されることになる。通常は撮像素子(=瞳分割素子)の配列とマイクロレンズの配列はそれぞれ正方方眼配置とし、s,t座標とx,y座標が平行となるように、撮像素子の配列とマイクロレンズの配列も平行とする。このように配置されたカメラシステムを一般的にライトフィールドカメラと呼ぶ。本発明にも応用でき、例えば瞳分割センサーの外周付近の領域のセンサーのみを用いて、合成開口法によりフォーカシングすると、光軸の周囲に輪帯状に配置した多眼カメラで合成開口法でフォーカシングした場合と等価の像を形成できる。ライトフィールドカメラの分割数が例えば8x8の場合、図82(1)のような瞳分割センサーを形成することになる。この外周28個の瞳分割センサーを用いれば矩形領域の瞳分割となる。このように中抜けの輪帯または矩形の瞳分割センサーを利用することは特に輪帯瞳を有する反射屈折光学系との相性が良い。
球面収差または像面での段差を用いてフォーカスオフセットをつける場合、瞳分割素子の輪帯光学系に対応する部分(マトリクス状に配した受光素子群seg2のうちの輪帯状になるように選択した受光素子群)は、同心円で分けられた領域の積分で十分なので、同図(2)に示すように、初めから同心円状に配置してもよい。その場合は、複数のフォーカスの像を同時に得るために合成開口法を行えなくなる。同心円状に配した受光素子の受光面に対してフォーカス方向に段差を与えておく。または、撮影レンズObに球面収差等の回転対称収差を与えておいて、この収差によってフォーカスオフセットをつけても良い。収差は、レンズ間隔を変更して収差量を変えられるようにしておくと、球面収差をプラスにするかマイナスにするかで、前ボケを大きくしたり、後ろボケを大きくしたりなど変化がつけられる。このように、受光素子をマイクロレンズM1〜Mnにより結像する像面に対応するセグメント毎に輪帯状に配置した撮像センサを用いる場合、受光素子の数を低減することが可能である。
Note that four pixels of RGBG arranged in a Bayer arrangement form one pixel. The microlens array M forms an image of the pupil plane of the photographing lens (imaging optical system) Ob on the light receiving surface of the imaging sensor sa. That is, the imaging sensor sa receives the light intensity at each pixel position corresponding to the microlenses M1 to Mn by dividing the pupil. Since the light is divided and received on the pupil plane, this can be focused by the synthetic aperture method as in the multi-lens camera, and it is needless to say that the above-described blur algorithm by the multi-lens camera can be used. If the light receiving element group seg2 corresponding to the pixel of the microlens M2 in the figure has the s ″ and T ″ coordinates at the center of the segment on the s ′ and t ′ plane, FIG.
As shown in 1). A pupil conjugate plane is projected onto the back focal plane of the microlens, and two-dimensional pixels are arranged according to the number of pupil divisions. That is, a plurality of pupil division elements are arranged for one pixel. Normally, the array of image sensors (= pupil splitting elements) and the array of microlenses are arranged in a square grid, and the array of image sensors and microlenses are arranged so that the s, t coordinates and x, y coordinates are parallel. Parallel. A camera system arranged in this way is generally called a light field camera. The present invention can also be applied. For example, when focusing is performed by the synthetic aperture method using only the sensor in the vicinity of the outer periphery of the pupil division sensor, the multi-camera camera arranged in a ring shape around the optical axis is focused by the synthetic aperture method. An image equivalent to the case can be formed. When the division number of the light field camera is, for example, 8 × 8, a pupil division sensor as shown in FIG. 82 (1) is formed. If the 28 pupil division sensors on the outer periphery are used, pupil division of a rectangular area is achieved. Utilizing such a hollow annular zone or rectangular pupil division sensor is particularly compatible with a catadioptric optical system having an annular pupil.
When applying a focus offset using a spherical aberration or a step on the image plane, the portion corresponding to the annular optical system of the pupil division element (selected to be in the annular shape of the light receiving element group seg2 arranged in a matrix shape) Since the integration of the regions divided by the concentric circles is sufficient, the light receiving element group may be arranged concentrically from the beginning as shown in FIG. In this case, the synthetic aperture method cannot be performed in order to obtain a plurality of focused images simultaneously. A step is provided in the focusing direction with respect to the light receiving surface of the light receiving elements arranged concentrically. Alternatively, rotational symmetric aberration such as spherical aberration may be given to the photographing lens Ob, and a focus offset may be given by this aberration. If you change the lens distance to change the amount of aberration, the aberration will change depending on whether the spherical aberration is positive or negative, such as increasing the front blur or increasing the rear blur. It is done. As described above, when the imaging sensor in which the light receiving elements are arranged in a ring shape for each segment corresponding to the image plane formed by the micro lenses M1 to Mn, the number of the light receiving elements can be reduced.

また、ボケ処理時に、ボケカーネルをピント位置の前後で非対称(同図(4)参照)とすることで、その非対称ボケカーネルを用いてコンボリューションをして前ボケと後ろボケとの大きさを調整(制御)してもよい。この効果と光学系の効果(球面収差をプラスにするかマイナスにするかで、前ボケを大きくしたり、後ろボケを大きくしたりなど変化がつけられる効果)を相補的に最適化しても良い。   Also, when blur processing is performed, the blur kernel is made asymmetric before and after the focus position (see (4) in the same figure), and convolution is performed using the asymmetric blur kernel so that the size of the front blur and the rear blur is reduced. You may adjust (control). This effect and the effect of the optical system (the effect of changing the front blur or back blur by changing the spherical aberration to plus or minus) may be complementarily optimized. .

図82(3)に示す例では、同心円状のセグメント数を増やして、ボケアルゴリズムによって付加するボケの大きさに応じて使用するセグメント数を増減させている。その場合、ボケを大きくする場合は「as1」等外側のセグメント群を用い、ボケが小さい場合は内側の「as3」を含む「as1〜as3」までのセグメントを使用する。そうすることによって感度の向上を図れる。これは、ボケが小さくてよい場合のみ有効である。また、被写体への距離に応じて、使用するセグメントを変えることもできる。その場合は像面の倍率が大きくなり、ボケが大きくなりがちな近距離撮影時に「as3」等のセグメントを使用することが望ましい。輪帯瞳の光学系は特に焦点距離が長い望遠レンズの場合、反射屈折光学系が適している。   In the example shown in FIG. 82 (3), the number of concentric segments is increased, and the number of segments to be used is increased or decreased according to the size of blur added by the blur algorithm. In this case, when increasing the blur, an outer segment group such as “as1” is used, and when the blur is small, the segments from “as1 to as3” including the inner “as3” are used. By doing so, the sensitivity can be improved. This is effective only when the blur may be small. Also, the segment to be used can be changed according to the distance to the subject. In such a case, it is desirable to use a segment such as “as3” at the time of short-distance shooting, in which the magnification of the image plane increases and blurring tends to increase. A catadioptric optical system is suitable as the optical system for the annular pupil, particularly in the case of a telephoto lens having a long focal length.

<第3実施形態>
第3実施形態は、図83(2’)に示すように、マイクロレンズ付きの合成開口可能なカメラを複数配置する形態である。同図(1’)は、カメラ面s-t平面状に入射瞳を投影
している図である。同図(1’)に示すように、センサーレンズアレイHを瞳共役位置に有する合成開口によるフォーカシングの可能なカメラCnを配置する。
<Third Embodiment>
In the third embodiment, as shown in FIG. 83 (2 ′), a plurality of cameras with a synthetic lens capable of synthetic aperture are arranged. FIG. 1 (1 ′) is a diagram in which the entrance pupil is projected onto the camera plane st plane. As shown in FIG. 1 (1 ′), a camera Cn capable of focusing by a synthetic aperture having a sensor lens array H at a pupil conjugate position is disposed.

このようにセンサーレンズアレイ付きのカメラを複数配置することでカメラ面s,t面内の瞳分割数を増加させることが可能である。本実施例では、カメラCn毎の瞳分割数Hは24個で、カメラCnを11個とすることで、都合264個の瞳分割カメラがあること
になる。これらをすべて用いて合成開口法によりフォーカシングを行い、ボケアルゴリズムを用いて任意のボケを付与したボケアルゴリズム画像を生成できる。ボケの大きさは、本実施形態では半径r2程度になる。半径r2は、合成開口可能なカメラを11個並べた半径程度である。本実施例でも中心(0,0)を合成視点とし、ここを中心とした動径によるスライスが偏角によって途切れることなく、均一となるように瞳分割カメラを選択することが望ましくその場合、半径r2に沿ったカメラを均一の幅、例えば2列分の幅を選択することがのぞましい。瞳分割方法に関してはさらに最適化の余地がある。例えば三角形の瞳分割素子、六角形の瞳分割素子、千鳥配置の瞳分割素子など。
例えば三角形の瞳分割素子、六角形の瞳分割素子、千鳥配置の瞳分割素子など。
同図(1),(2)は瞳分割の仕方を(s,t)座標に応じて変えている。この例では各カメラの撮像素子を(s,t)座標に応じて傾けている。一方マイクロレンズはs,t座標に平行なままとする。この場合は追加で画像処理する必要がある。追加の画像処理は撮像素子を斜めにして撮像した画素から補間処理によりサブピクセルの瞳分割素子出力を生成するといった処理である。
通常の方眼配置のセンサーとマイクロレンズを利用する場合、同図(1’)、(2’)の組み合わせとなる。C1〜C11は市販のライトフィールドカメラを用いても良い。
Thus, by arranging a plurality of cameras with sensor lens arrays, it is possible to increase the number of pupil divisions in the camera surfaces s and t. In this embodiment, the number of pupil divisions H for each camera Cn is 24, and the number of cameras Cn is 11, so that there are convenient 264 pupil division cameras. All of these can be used for focusing by the synthetic aperture method, and a blur algorithm image with arbitrary blur can be generated using the blur algorithm. The size of the blur is about a radius r2 in the present embodiment. The radius r2 is about the radius where 11 cameras capable of synthetic aperture are arranged. In this embodiment as well, it is desirable to select the pupil division camera so that the center (0, 0) is the synthesis viewpoint, and the slice based on the radial radius is uniform without being interrupted by the declination. It is desirable to select a uniform width for the camera along r2, for example, a width corresponding to two columns. There is room for further optimization regarding the pupil division method. For example, a triangular pupil dividing element, a hexagonal pupil dividing element, a staggered pupil dividing element, or the like.
For example, a triangular pupil dividing element, a hexagonal pupil dividing element, a staggered pupil dividing element, or the like.
In FIGS. 1A and 1B, the way of pupil division is changed according to the (s, t) coordinates. In this example, the image sensor of each camera is tilted according to the (s, t) coordinates. On the other hand, the microlens remains parallel to the s and t coordinates. In this case, it is necessary to perform additional image processing. The additional image processing is processing for generating a pupil dividing element output of a sub-pixel by interpolation processing from pixels imaged with the imaging element inclined.
In the case of using a normal grid-arranged sensor and a microlens, the combination shown in FIGS. C1-C11 may use a commercially available light field camera.

このようにライトフィールドカメラを応用することも可能で、その場合も瞳分割素子の形状及び配置は、カメラ配置面s-t面上に投影して設計、最適化する。また、焦点合わ
せは瞳共役位置のセンサーアレイを入射瞳に投影したときのs,t座標を用いて合成開口法
により焦点合わせを行う。合成視点、合成光軸は輪帯配置の中心Cとする。このような構成とすることで瞳分割カメラによる瞳分割サイズを小さくすることができ、各瞳分割素子の焦点深度を深くすることができる。
In this way, the light field camera can also be applied. In this case, the shape and arrangement of the pupil division element are designed and optimized by projecting onto the camera arrangement plane st plane. Focusing is performed by the synthetic aperture method using s, t coordinates when the sensor array at the pupil conjugate position is projected onto the entrance pupil. The composite viewpoint and the composite optical axis are the center C of the annular arrangement. With such a configuration, the pupil division size by the pupil division camera can be reduced, and the depth of focus of each pupil division element can be increased.

[球面収差の利用について]
図84では、U,V座標をカメラ座標とする。同図に示す例は、個眼撮像部を直径s1〜s5の輪帯状に配置した多眼カメラとなっている。これらを予め距離z1,z2,z3,z4,z5にフォーカスさせる。これらは、視差Z=s1*f/zが等間隔Z1になるように、例えばZ1=s1*f/z1,Z2=2*s1*f/z1、Z3=3*s1*f/z1、Z4=4*s1*f/z1、Z5=5*s1*f/z1の距離にフォーカスさせる。すなわちz2=z1/2,z3=z1/3、z4=z1/4,z5=z1/5とする。
[Use of spherical aberration]
In FIG. 84, U and V coordinates are camera coordinates. The example shown in the figure is a multi-lens camera in which single-eye imaging units are arranged in an annular shape with diameters s1 to s5. These are previously focused on distances z1, z2, z3, z4 and z5. For example, Z1 = s1 * f / z1, Z2 = 2 * s1 * f / z1, Z3 = 3 * s1 * f / z1, Z4 so that the parallax Z = s1 * f / z is equal to Z1. = 4 * s1 * f / z1, and Z5 = 5 * s1 * f / z1 are focused. That is, z2 = z1 / 2, z3 = z1 / 3, z4 = z1 / 4, z5 = z1 / 5.

以上は、多眼カメラの例であるが、輪帯s1〜s5のカメラは、ピント位置が異なる輪帯瞳の光学系であれば何でもよい。たとえば図85に示すように、球面収差等の対称収差を有するレンズや、輪帯状に分割されたフレネルレンズでもよい。このように瞳面を同心円状に分割する場合、分割された輪帯の幅は小さいほど好ましい。これはつまり、輪帯瞳を分割しないタイプに比べ、被写体距離によって、ボケ量が変わるためである。   The above is an example of a multi-lens camera, but the cameras of the annular zones s1 to s5 may be anything as long as they are optical systems of annular zones with different focus positions. For example, as shown in FIG. 85, a lens having a symmetric aberration such as a spherical aberration, or a Fresnel lens divided into an annular shape may be used. Thus, when dividing | segmenting a pupil surface into concentric form, it is so preferable that the width | variety of the divided | segmented ring zone is small. This is because the amount of blur varies depending on the subject distance as compared to the type in which the annular pupil is not divided.

他の例としては、ボケカーネルは、前ボケと後ボケで効果を変えることが可能で、図86に示すように、前ボケを大きくしたり、後ボケを小さくすることができる。また、既存のレンズの収差量をもとにボケカーネルを作ることで既存のレンズのボケをエミュレートすることができる。つまり、既存のレンズは球面収差の傾向によって前ボケの大きいレンズや後ぼけの大きいレンズがある。これをまねようというものである。本実施例は、多眼配置のカメラに任意のボケカーネルを併用する際などボケカーネルを用いるケースすべてで利用することができる。   As another example, the effect of the blur kernel can be changed between the front blur and the rear blur, and as shown in FIG. 86, the front blur can be increased or the rear blur can be decreased. Moreover, the blur of an existing lens can be emulated by creating a blur kernel based on the aberration amount of the existing lens. In other words, existing lenses include a lens having a large front blur and a lens having a large back blur depending on the tendency of spherical aberration. This is to imitate this. This embodiment can be used in all cases where a blur kernel is used, such as when an arbitrary blur kernel is used in combination with a multi-lens camera.

[カメラ分割方法]
図87は、例えば22個のカメラcam1〜cam22を円周上に配置した多眼カメラを示す。図88は、各カメラcam1〜cam4の要部を示す。各カメラcam1〜ca
m22は、対物レンズ(撮影レンズ)の外形を4角形に加工して、s,t座標の中心から
発する直線を考え、直線によるスライスした受光領域の幅(線分の長さ)(受光領域が複数あり、同一方向の線分が複数ある場合はその合計の値)の直線の偏角による変動を抑えるため(図75参照)、レンズ同士の接する辺を動径と平行にならないように分割した形態になっている。この場合、レンズ同士の接する辺と動径の方向は、常に45度程度の角度をなす。レンズ外形に対して入射瞳は、80〜90%の有効領域を有する。内径r1、外径r2の輪帯瞳の光学系に近い瞳形状となっている。図89は、同様な考えからレンズの外形を三日月状に加工してあり、s,t座標の中心から発する直線によるスライスした
受光領域の幅の直線の偏角による変動が抑えられる。このようにレンズを多角形や円以外の形状とすることで受光領域の幅の偏角による変動を抑えることが可能である。また、対物レンズを一枚の光学素子に加工することも可能である。例えば、図90に示すように、ガラス基板gkに光学素子gm1,gm2を接着しても良い。またgm1,gm2は、樹脂で成型し、ハイブリッドレンズとしても良い。また、これらを一体で射出成型したガラス、又は樹脂レンズとしても良い。
[Camera division method]
FIG. 87 shows a multi-lens camera in which, for example, 22 cameras cam1 to cam22 are arranged on the circumference. FIG. 88 shows a main part of each of the cameras cam1 to cam4. Each camera cam1-ca
m22 is the width of the light-receiving area sliced by a straight line (the length of the line segment) (the length of the line segment) (the light-receiving area is the length of the line segment) In order to suppress fluctuations due to the angle of deviation of the straight line (when there are multiple line segments in the same direction, the total value) (see FIG. 75), the sides where the lenses contact each other are divided so as not to be parallel to the moving radius It is in form. In this case, the side where the lenses are in contact with each other and the radial direction are always at an angle of about 45 degrees. The entrance pupil has an effective area of 80 to 90% with respect to the lens outer shape. The pupil shape is close to the optical system of the annular pupil with the inner diameter r1 and the outer diameter r2. In FIG. 89, the outer shape of the lens is processed into a crescent shape based on the same idea, and fluctuations due to the deviation of the straight line width of the sliced light receiving region due to the straight line originating from the center of the s and t coordinates are suppressed. Thus, by making the lens into a shape other than a polygon or a circle, it is possible to suppress fluctuations due to the deflection angle of the width of the light receiving region. It is also possible to process the objective lens into a single optical element. For example, as shown in FIG. 90, optical elements gm1 and gm2 may be bonded to a glass substrate gk. Also, gm1 and gm2 may be molded with resin to form a hybrid lens. Moreover, it is good also as the glass which carried out integral injection molding of these, or a resin lens.

以上、説明したように本実施形態では、大口径レンズと同様のボケを有する画像を、大口径レンズを用いずに小型化したカメラで撮影可能となる。また、撮影後に任意のボケ量に設定できる。さらに、輪帯瞳とマイクロレンズと輪帯状撮像セグメントを組み合わせた場合、従来のこの種のカメラより撮像素子を低減することが可能である。また、球面収差量でフォーカスオフセットをつける場合、前ボケ、後ボケの大きさを調整することが可能となる。さらに、ボケカーネルをピント位置の前後で非対称とすることで前ボケと後ろボケの大きさを調整できる。   As described above, in this embodiment, an image having the same blur as that of the large-diameter lens can be taken with a downsized camera without using the large-diameter lens. In addition, the amount of blur can be set after shooting. Furthermore, when an annular pupil, a microlens, and an annular imaging segment are combined, it is possible to reduce the number of image sensors compared to this type of conventional camera. In addition, when the focus offset is applied with the spherical aberration amount, it is possible to adjust the size of the front blur and the rear blur. Furthermore, the size of the front blur and the rear blur can be adjusted by making the blur kernel asymmetric before and after the focus position.

上記実施形態では、図1で説明した多眼カメラ10を用いて一枚のボケが付与された写真の取得に必要な多焦点画像を同時に取得しているが、一般的な一眼のカメラを用いて、ピントをずらしながら時系列的に複数回の撮影を行って複数の多焦点画像を取得してもよい。   In the above embodiment, a multifocal image necessary for obtaining a photograph with one blur is simultaneously obtained using the multi-lens camera 10 described in FIG. 1, but a general single-lens camera is used. Thus, a plurality of multifocal images may be acquired by performing shooting a plurality of times in time series while shifting the focus.

また、上記各実施形態では、電子カメラ9,10として説明しているが、本発明ではこれに限らず、図6で説明した撮影レンズ23、撮像素子20、AFE21、及びフレームメモリ22等を省略し、画像処理部のみを備えた画像処理装置又はその方法としてもよい。この場合には、予め撮像済みの複数の多焦点画像データまたは複数枚の多眼カメラ画像を取り込むための記憶部を設ければよい。   In the above embodiments, the electronic cameras 9 and 10 are described. However, the present invention is not limited to this, and the photographing lens 23, the image sensor 20, the AFE 21, the frame memory 22 and the like described with reference to FIG. 6 are omitted. However, an image processing apparatus or method having only an image processing unit may be used. In this case, a storage unit for capturing a plurality of multifocal image data that has been captured in advance or a plurality of multiview camera images may be provided.

画像処理部が実行するためのプログラムは、本発明によるプログラムを構成する。このプログラムを記録する記録媒体としては、半導体記憶部や光学的、磁気的な記憶部等を用いることができる。このようなプログラム及び記録媒体を、前述した各実施形態とは異なる構成のシステム等で用い、そこのCPUで上記プログラムを実行させることにより、本発明と実質的に同じ効果を得ることができる。そこで、本発明としては、コンピュータを、前述した画像処理装置として機能させるためのプログラムとしてもよい。また、そのプログラムを記録した記録媒体としてもよい。   The program to be executed by the image processing unit constitutes a program according to the present invention. As a recording medium for recording the program, a semiconductor storage unit, an optical or magnetic storage unit, or the like can be used. By using such a program and recording medium in a system having a configuration different from that of each of the above-described embodiments and causing the CPU to execute the program, substantially the same effects as those of the present invention can be obtained. Therefore, the present invention may be a program for causing a computer to function as the above-described image processing apparatus. Moreover, it is good also as a recording medium which recorded the program.

次に、アオリ撮影により得られる画像を、合成開口法を利用して仮想的に生成する実施形態について以下に説明する。
(1)[像面を傾けて撮影をした時に得られる画像を仮想的に生成する場合]
図91では、レンズLの光軸Zの原点がレンズにあるとして、物体空間を(X,Y,Z)で表す
。像面ImpとレンズLの距離a0とを任意に設定する。像面Impと物面Obpとは共役関係になる。同図は、アオリ光学系になっており、像面Impが傾いているので物面Obpも傾いている。像面Impを傾けた時のレンズLから距離a0,a1,a2の像点I1,I2,I0を考える。像点I0,I1,I2に共役な物点O0,O1,O2までの距離b0,b1,b2をレンズの結像公式(1/a+1/b=1/f)により像点
位置ごとに算出し、物点O0,O1,O2までの距離b0,b1,b2の最大値と最小値を求める。同図に示す例では距離b1が最大値、距離b2が最小値に相当する。物点O0,O1,O2までの距離の最小値b2と最大値b1の間がピントの合う範囲であるので、この間の距離を適当な間隔で分割し、分割した位置を複数のフォーカス距離として定める。なお、フォーカス距離としては、例えば前記ピントの合う範囲を等間隔に分割した位置に設定するのが好適である。次に、複数のフォーカス距離にピントを合わせた画像を、所望のボケ量でボケアルゴリズム処理を施して複数生成する。これらの画像はピントの合ったところに物体があるとボケが発生せず、ピントの合っていないところに物体があるとボケが発生した像になる。複数のフォーカス距離にピントの合った各画像から、前述した像面を傾けた時の像面Impの像点ごと
のデータ(RGBの強度値。実際にはR、G、Bに対して同じ処理を別々に行うことはいうまでもない。)に基づいて、物面Obp上の共役な物点O0,O1,O2ごとの距離b0,b1,b2に対応する
データを抽出していく。このようにして一枚のアオリ写真のデータを得ることができる(アオリ撮影の場合、通常は興味の対象の物体はインフォーカス(ピントの合った状態)で撮影される。)
Next, an embodiment in which an image obtained by tilt shooting is virtually generated using the synthetic aperture method will be described below.
(1) [When virtually creating an image obtained when shooting with the image surface tilted]
In FIG. 91, the object space is represented by (X, Y, Z) on the assumption that the origin of the optical axis Z of the lens L is in the lens. The image plane Imp and the distance a0 of the lens L are arbitrarily set. The image plane Imp and the object plane Obp are in a conjugate relationship. This figure shows a tilting optical system, and since the image plane Imp is tilted, the object plane Obp is also tilted. Consider image points I1, I2, and I0 at distances a0, a1, and a2 from the lens L when the image plane Imp is tilted. The distances b0, b1, b2 to the object points O0, O1, O2 conjugate to the image points I0, I1, I2 are determined for each image point position by the lens imaging formula (1 / a + 1 / b = 1 / f). The maximum and minimum values of the distances b0, b1, b2 to the object points O0, O1, O2 are calculated. In the example shown in the figure, the distance b1 corresponds to the maximum value, and the distance b2 corresponds to the minimum value. Since the range between the minimum value b2 and the maximum value b1 of the distance to the object points O0, O1, and O2 is in focus, the distance between them is divided at an appropriate interval, and the divided positions are determined as a plurality of focus distances. . As the focus distance, for example, it is preferable to set the focus range at a position divided at equal intervals. Next, a plurality of images in focus at a plurality of focus distances are generated by performing a blur algorithm process with a desired blur amount. In these images, if there is an object in focus, no blur occurs. If there is an object in focus, the image is blurred. Data for each image point on the image plane Imp when the above-mentioned image plane is tilted from each image focused on multiple focus distances (RGB intensity values. Actually, the same processing for R, G, and B Of course, the data corresponding to the distances b0, b1, b2 for the conjugate object points O0, O1, O2 on the object plane Obp are extracted. In this way, it is possible to obtain the data of a single tilt photograph (in the case of tilt photography, the object of interest is usually photographed in focus (in focus)).

(2)[物面を傾けて撮影をした時に得られる画像を仮想的に生成する場合]
この場合は、傾ける面を物面Obpに設定するが、物面Obpと像面Impは共役関係であるた
め、どちらの面を先に設定してもその後の処理は、前述した[像面を傾けて撮影をした時
に得られる画像を仮想的に生成する場合]と同じ処理を用いることで、一枚のアオリ写真
のデータを得ることができる。
(2) [In the case of virtually generating an image obtained when shooting with an object tilted]
In this case, the surface to be tilted is set to the object plane Obp, but the object plane Obp and the image plane Imp have a conjugate relationship. By using the same processing as in the case of virtually generating an image obtained when shooting at an angle, it is possible to obtain data for a single tilt photograph.

以上、本発明の実施形態に係る撮像装置及び撮像方法について詳細に説明したが、上述した構成は本発明の趣旨を逸脱しない範囲で、適宜変更が可能である。   The image capturing apparatus and the image capturing method according to the embodiment of the present invention have been described in detail above, but the above-described configuration can be appropriately changed without departing from the spirit of the present invention.

〔付記〕
上記に詳述した発明の実施形態についての記載から把握されるとおり、本明細書は少なくとも以下に示す発明を含む多様な技術思想の開示を含んでいる。
[Appendix]
As will be understood from the description of the embodiments of the invention described in detail above, the present specification includes disclosure of various technical ideas including at least the invention described below.

(発明1):複数の撮影レンズにより被写体像を個別に撮像する多眼撮像部から取得する複数の合焦状態の画像に対して、予め任意のピント位置に設定した二次元フィルタを用いてボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、前記フォーカススタック像を画像先鋭化処理して任意のボケを付与した画像を生成する画像生成方法において、前記撮影レンズの瞳の仮想光軸を中心とした動径によるスライスが、その偏角の略80%以上でゼロ以外となるように前記複数の撮影レンズが配置されていることを特徴とする画像生成方法。 (Invention 1): A plurality of in-focus images acquired from a multi-view imaging unit that individually captures subject images with a plurality of photographing lenses are blurred using a two-dimensional filter set in advance at an arbitrary focus position. Image generation that performs processing, calculates a focus stack image that is an intensity sum image of a plurality of images subjected to the blur processing, and generates an image with arbitrary blurring by sharpening the focus stack image In the method, the plurality of photographic lenses are arranged so that a slice by a radius of movement about the virtual optical axis of the pupil of the photographic lens is non-zero at about 80% or more of the deviation angle. An image generation method.

(発明2):発明1に記載の画像生成方法において、前記ボケ処理は、任意のボケカーネルを用いたコンボリューションをする処理を含むとともに、
前記画像先鋭化処理は、前記フォーカススタック像に対して予め決めたカーネルを用いたデコンボリューション処理を含むことを特徴とする画像生成方法。
(Invention 2): In the image generation method according to Invention 1, the blur process includes a process of performing a convolution using an arbitrary blur kernel,
The image sharpening process includes a deconvolution process using a predetermined kernel for the focus stack image.

(発明3):発明2に記載の画像生成方法において、前記任意のボケカーネルは、所望のピント位置から比例したボケ半径の円形開口、又はガウシアンを表す関数となっていることを特徴とする画像生成方法。 (Invention 3): In the image generation method according to Invention 2, the arbitrary blur kernel is a circular aperture having a blur radius proportional to a desired focus position or a function representing Gaussian. Generation method.

(発明4):発明2又は3に記載の画像生成方法において、前記カーネルを用いたデコンボリューション処理は、前記ボケ処理でコンボリューション処理を行う時に用いる前記任意のボケカーネルのフォーカススタックに相当する、フォーカススタックボケカーネルを用いたデコンボリューション処理を含むことを特徴とする画像生成方法。 (Invention 4): In the image generation method according to Invention 2 or 3, the deconvolution process using the kernel corresponds to a focus stack of the arbitrary blur kernel used when performing the convolution process in the blur process. An image generation method comprising a deconvolution process using a focus stack blur kernel.

(発明5):複数の撮影レンズにより被写体像を個別に撮像する多眼撮像部から取得する複数の合焦状態の画像に対して、予め任意のピント位置に設定した二次元フィルタを用いてボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、前記フォーカススタック像を画像先鋭化処理して任意のボケを付与した画像を生成する画像生成方法において、前記複数の撮影レンズの合成光軸を中心に任意方向に回転する動径による瞳領域のスライスが、その偏角の略80%以上でゼロ以外となるように前記複数の撮影レンズが配置されていることを特徴とする画像生成方法。 (Invention 5): A plurality of in-focus images acquired from a multi-view imaging unit that individually captures subject images with a plurality of photographing lenses are blurred using a two-dimensional filter set in advance at an arbitrary focus position. Image generation that performs processing, calculates a focus stack image that is an intensity sum image of a plurality of images subjected to the blur processing, and generates an image with arbitrary blurring by sharpening the focus stack image In the method, the plurality of photographic lenses may be configured such that a slice of a pupil region by a radius that rotates in an arbitrary direction around the combined optical axes of the plurality of photographic lenses is non-zero at about 80% or more of the declination. An image generation method characterized by being arranged.

(発明6):[図79で説明した輪帯光学系で瞳を分割する発明]
複数の撮影レンズにより結像する被写体像を個別に撮像する多眼撮像部から取得する複数の合焦状態の画像に対して、予め任意のピント位置に設定した二次元フィルタを用いてボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、前記フォーカススタック像を画像先鋭化処理して任意のボケを付与した画像を生成する画像生成方法において、前記多眼撮像部は、前記撮影レンズの瞳の仮想光軸を中心とした動径のスライスが、その偏角の略80%以上でゼロ以外となるような複数の領域に瞳分割したことを特徴とする画像生成方法。
(Invention 6): [Invention to divide the pupil by the annular optical system described in FIG. 79]
Blur processing using a two-dimensional filter set in advance at an arbitrary focus position for a plurality of in-focus images acquired from a multi-view imaging unit that individually captures subject images formed by a plurality of photographing lenses In an image generation method for performing each of these, calculating a focus stack image that is an intensity sum image of a plurality of images subjected to the blur processing, and generating an image with arbitrary blurring by image sharpening the focus stack image The multi-view imaging unit divides the pupil into a plurality of regions in which a radial slice centered on the virtual optical axis of the pupil of the photographing lens is non-zero at approximately 80% or more of the declination angle. An image generation method characterized by the above.

(発明7):[図81で説明したマイクロレンズを用いた発明]
被写体像を所定の結像面に結像させる撮影レンズと、前記結像面の近傍に二次元状に配列されたレンズアレイと、前記レンズアレイの各々に対応して前記レンズアレイの後側に所定個ずつ配置される複数の受光素子とを備え、前記各正レンズにより結像する像面に対応する領域に含まれる受光素子群のうち同心円上または矩形上の複数の受光素子から前記領域毎に取得する複数の合焦状態の画像に対して、予め任意のピント位置に設定したボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、前記フォーカススタック像を画像先鋭化処理して任意のボケを付与した画像を生成することを特徴とする画像生成方法。
(Invention 7): [Invention using the microlens described in FIG. 81]
A photographic lens that forms a subject image on a predetermined imaging plane, a lens array that is two-dimensionally arranged in the vicinity of the imaging plane, and a rear side of the lens array corresponding to each of the lens arrays A plurality of light receiving elements arranged in a predetermined number, and each region from a plurality of concentric or rectangular light receiving elements in a light receiving element group included in a region corresponding to an image plane formed by each positive lens. For each of a plurality of in-focus images acquired in advance, a blur process set in advance at an arbitrary focus position is performed, and a focus stack image that is an intensity sum image of the plurality of images subjected to the blur process is calculated. An image generation method comprising: generating an image with arbitrary blurring by performing an image sharpening process on the focus stack image.

(発明8):発明7に記載の画像生成方法において、前記撮影レンズは、回転対称収差を有することを特徴とする画像生成方法。 (Invention 8): The image generation method according to Invention 7, wherein the photographing lens has rotationally symmetric aberration.

(発明9):[図82(4)で説明した前ボケと後ろボケとの大きさを制御する発明]
複数の撮影レンズにより焦点を変えて結像する被写体像を個別に撮像する多眼撮像部から取得する複数の合焦状態の画像に対して、予め任意のピント位置に設定した二次元フィルタを用いてボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、前記フォーカススタック像を画像先鋭化処理して任意のボケを付与した画像を生成する画像生成方法において、前記ボケ処理は、前記ピント位置の前後で非対称にしたボケカーネルを用いてコンボリューションをすることを特徴とする画像生成方法。
(Invention 9): [Invention for controlling the size of front blur and rear blur explained in FIG. 82 (4)]
Using a two-dimensional filter that is set in advance at an arbitrary focus position for a plurality of in-focus images acquired from a multi-lens imaging unit that individually captures subject images that are focused with a plurality of photographing lenses. Each of the blur processing is performed, a focus stack image that is an intensity sum image of the plurality of images subjected to the blur processing is calculated, and the focus stack image is sharpened to generate an image with an arbitrary blur. In the image generation method, the blur processing includes convolution using a blur kernel that is asymmetric before and after the focus position.

9,10 多眼カメラ
11 撮影開口
20 撮像素子
23 撮影レンズ
25 画像処理部
36 ボケ処置部
39 画像鮮鋭化処理部
40 個眼撮像部
9, 10 Multi-lens camera 11 Imaging aperture 20 Imaging element 23 Imaging lens 25 Image processing unit 36 Blur treatment unit 39 Image sharpening processing unit 40 Single eye imaging unit

Claims (8)

撮像装置が有するレンズの光軸方向に応じたシフト量を有する第1ボケ関数で表されるボケをそれぞれ含む複数のフォーカス画像に対して、任意の大きさのボケを表す第2ボケ関数をコンボリューションすることによるボケ処理を実行し
前記ボケ処理が実行された前記複数のフォーカス画像の積分結果に対して先鋭化処理を実行することにより、任意のボケが付与された画像を生成する
任意視点画像合成方法。
For a plurality of focused image including blurring represented by the first blur function having a shift amount corresponding to the optical axis of the lens imaging apparatus having each configuration the second blur function representing the blur of any size Execute blur processing by volume,
By executing the sharpening process on the integration result of said plurality of focus images the blur process is performed, the arbitrary viewpoint image synthesizing method for generating an image any blur is granted.
前記シフト量は、前記複数のフォーカス画像を撮像した前記撮像装置が有するレンズの光軸に対して垂直な平面上のシフト量であり、
前記複数のフォーカス画像の各々は、前記平面上で前記シフト量に応じてシフトしたボケを有する
請求項1記載の任意視点画像合成方法。
The shift amount is a shift amount on a plane perpendicular to an optical axis of a lens included in the imaging device that has captured the plurality of focus images.
The arbitrary viewpoint image synthesis method according to claim 1, wherein each of the plurality of focus images has a blur shifted according to the shift amount on the plane.
前記ボケ処理を実行する処理は、前記光軸に対して垂直な平面において、前記複数のフォーカス画像に対して前記第2ボケ関数を2次元のコンボリューションし、
前記先鋭化処理を実行する処理は、前記ボケ処理が実行された前記複数のフォーカス画像の積分結果に対して、前記平面において2次元のデコンボリューションする
請求項1記載の任意視点画像合成方法。
The process of executing the blur process is a two-dimensional convolution of the second blur function with respect to the plurality of focus images in a plane perpendicular to the optical axis.
The arbitrary viewpoint image synthesis method according to claim 1, wherein the sharpening process performs two-dimensional deconvolution on the plane with respect to an integration result of the plurality of focus images subjected to the blur process .
前記複数のフォーカス画像は、前記シフト量を有する前記第1ボケ関数を、撮影対象物体の3次元の強度分布にコンボリューションすることにより得られる請求項1記載の任意視点画像合成方法。 The arbitrary viewpoint image synthesis method according to claim 1, wherein the plurality of focus images are obtained by convolving the first blur function having the shift amount into a three-dimensional intensity distribution of a photographing target object. 撮像装置が有するレンズの光軸方向に応じたシフト量を有する第1ボケ関数で表されるボケをそれぞれ含む複数のフォーカス画像に対して、任意の大きさのボケを表す第2ボケ関数をコンボリューションすることによるボケ処理を実行するボケ処理部と、
前記ボケ処理が実行された前記複数のフォーカス画像の積分結果に対して先鋭化処理を実行することにより、任意のボケが付与された画像を生成する先鋭化処理部と
を有する画像処理装置。
For a plurality of focused image including blurring represented by the first blur function having a shift amount corresponding to the optical axis of the lens imaging apparatus having each configuration the second blur function representing the blur of any size A blur processing unit for performing blur processing by the volume,
By executing the sharpening process on the integration result of said plurality of focus images the blur processing is executed, the image processing apparatus and a sharpening processing unit that generates an image any blur is granted.
前記シフト量は、前記複数のフォーカス画像を撮像した前記撮像装置が有するレンズの光軸に対して垂直な平面上のシフト量であり、
前記複数のフォーカス画像の各々は、前記平面上で前記シフト量に応じてシフトしたボケを有する
請求項5記載の画像処理装置。
The shift amount is a shift amount on a plane perpendicular to an optical axis of a lens included in the imaging device that has captured the plurality of focus images.
The image processing apparatus according to claim 5, wherein each of the plurality of focus images has a blur shifted according to the shift amount on the plane.
前記ボケ処理部は、前記光軸に対して垂直な平面において、前記複数のフォーカス画像に対して前記第2ボケ関数を2次元のコンボリューションし、
前記先鋭化処理部は、前記ボケ処理が実行された前記複数のフォーカス画像の積分結果に対して、前記平面において2次元のデコンボリューションする
請求項5記載の画像処理装置。
The blur processing unit performs a two-dimensional convolution of the second blur function with respect to the plurality of focus images in a plane perpendicular to the optical axis;
The image processing apparatus according to claim 5, wherein the sharpening processing unit performs two-dimensional deconvolution on the plane with respect to an integration result of the plurality of focus images on which the blur processing has been performed .
前記複数のフォーカス画像は、前記シフト量を有する前記第1ボケ関数を、撮影対象物体の3次元の強度分布にコンボリューションすることにより得られる請求項5記載の画像処理装置。 The image processing apparatus according to claim 5, wherein the plurality of focus images are obtained by convolving the first blur function having the shift amount into a three-dimensional intensity distribution of a photographing target object.
JP2018084081A 2018-04-25 2018-04-25 Arbitrary viewpoint image composition method and image processing apparatus Active JP6569769B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018084081A JP6569769B2 (en) 2018-04-25 2018-04-25 Arbitrary viewpoint image composition method and image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018084081A JP6569769B2 (en) 2018-04-25 2018-04-25 Arbitrary viewpoint image composition method and image processing apparatus

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017125343A Division JP6330955B2 (en) 2017-06-27 2017-06-27 Imaging apparatus and imaging method

Publications (2)

Publication Number Publication Date
JP2018157573A JP2018157573A (en) 2018-10-04
JP6569769B2 true JP6569769B2 (en) 2019-09-04

Family

ID=63718303

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018084081A Active JP6569769B2 (en) 2018-04-25 2018-04-25 Arbitrary viewpoint image composition method and image processing apparatus

Country Status (1)

Country Link
JP (1) JP6569769B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7238381B2 (en) * 2017-12-21 2023-03-14 株式会社ニコン Image processing device, image processing program, image processing method, and microscope

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3303128B2 (en) * 1998-04-15 2002-07-15 東京大学長 Image processing method using a plurality of images and camera device for simultaneous imaging of a plurality of images used therefor
JP3699921B2 (en) * 2001-11-02 2005-09-28 独立行政法人科学技術振興機構 Image reconstruction method and image reconstruction apparatus
JP2007312311A (en) * 2006-05-22 2007-11-29 Matsushita Electric Ind Co Ltd Image processor
JP4678603B2 (en) * 2007-04-20 2011-04-27 富士フイルム株式会社 Imaging apparatus and imaging method
EP2403234A1 (en) * 2010-06-29 2012-01-04 Koninklijke Philips Electronics N.V. Method and system for constructing a compound image from data obtained by an array of image capturing devices
JP2012133194A (en) * 2010-12-22 2012-07-12 Nikon Corp Imaging apparatus
JP2012147088A (en) * 2011-01-07 2012-08-02 Nikon Corp Imaging apparatus

Also Published As

Publication number Publication date
JP2018157573A (en) 2018-10-04

Similar Documents

Publication Publication Date Title
JP6003578B2 (en) Image generation method and apparatus
US9521316B2 (en) Image processing apparatus for reconstructing an image, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium
Green et al. Multi-aperture photography
JP5988790B2 (en) Image processing apparatus, imaging apparatus, image processing method, and image processing program
JP2013026844A (en) Image generation method and device, program, recording medium, and electronic camera
JP2013065280A (en) Image processing method, image processing system and program
US9911183B2 (en) Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium
JP2014103475A (en) Image processing method, image processing program, image processing apparatus and imaging apparatus
US9473700B2 (en) Camera systems and methods for gigapixel computational imaging
CN107431755B (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
JP2011166588A (en) Imaging apparatus and imaging method, and image processing method for the imaging apparatus
JP6095266B2 (en) Image processing apparatus and control method thereof
US20150287208A1 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium
US10574906B2 (en) Image processing apparatus and image processing method
JP6168220B2 (en) Image generation apparatus, image processing apparatus, image generation method, and image processing program
JP5348258B2 (en) Imaging device
JP6516510B2 (en) Image processing apparatus, imaging apparatus, image processing method, image processing program, and storage medium
US10291899B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for generating restored image
JP2014026051A (en) Image capturing device and image processing device
JP6330955B2 (en) Imaging apparatus and imaging method
JP6569769B2 (en) Arbitrary viewpoint image composition method and image processing apparatus
JP7014175B2 (en) Image processing device, image processing method, and program
JP7107224B2 (en) Image processing device, image processing method, and program
JP2013162369A (en) Imaging device
Oberdörster et al. Digital focusing and refocusing with thin multi-aperture cameras

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190722

R150 Certificate of patent or registration of utility model

Ref document number: 6569769

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250