JP2023112239A - Processing device, imaging apparatus, lens device, processing method, and program - Google Patents

Processing device, imaging apparatus, lens device, processing method, and program Download PDF

Info

Publication number
JP2023112239A
JP2023112239A JP2022013879A JP2022013879A JP2023112239A JP 2023112239 A JP2023112239 A JP 2023112239A JP 2022013879 A JP2022013879 A JP 2022013879A JP 2022013879 A JP2022013879 A JP 2022013879A JP 2023112239 A JP2023112239 A JP 2023112239A
Authority
JP
Japan
Prior art keywords
information
pixel
polarization
polarization component
component information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022013879A
Other languages
Japanese (ja)
Inventor
圭太 中村
Keita Nakamura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2022013879A priority Critical patent/JP2023112239A/en
Publication of JP2023112239A publication Critical patent/JP2023112239A/en
Pending legal-status Critical Current

Links

Landscapes

  • Polarising Elements (AREA)
  • Color Television Image Signal Generators (AREA)
  • Optical Filters (AREA)

Abstract

To provide a processing device capable of acquiring highly accurate polarization information.SOLUTION: The processing device has an acquisition unit for acquiring a plurality of pieces of interpolated polarization component information at a first pixel based on first to fourth polarization component information acquired from each of first to fourth pixels having primary sensitivity to each of different polarization components and a calculating unit for calculating the polarization information at the first pixel using the plurality of pieces of post-interpolated polarization component information. The calculating unit calculates the polarization information by assigning a greater weight to the information estimated to have a high accuracy among the plurality of pieces of post-interpolated polarization component information than to the information estimated to have a low accuracy.SELECTED DRAWING: Figure 1

Description

本発明は、偏光成分情報から偏光情報を取得する処理装置に関する。 The present invention relates to a processing device for obtaining polarization information from polarization component information.

被写体からの反射光の偏光状態を観察することによって、被写体の特徴を強調して検出することが可能になる。例えば、撮像レンズの前面に偏光フィルタを装着して被写体を撮像することで、該被写体の色やコントラスト等の質感を際立たせたり、水面等での反射光の写り込みを強調又は軽減したりした画像を取得することができる。また、被写体からの互いに異なる偏光方向の偏光成分情報を取得することで、被写体のエッジや欠陥部を検出することも可能である。 By observing the polarization state of the reflected light from the subject, it becomes possible to emphasize and detect the features of the subject. For example, by attaching a polarizing filter to the front surface of the imaging lens and capturing an image of the subject, the texture of the subject such as color and contrast can be emphasized, or reflection of reflected light on the surface of water, etc., can be emphasized or reduced. Images can be acquired. In addition, by acquiring polarization component information in mutually different polarization directions from the subject, it is possible to detect edges and defective portions of the subject.

特許文献１には、４種類の偏光フィルタが配置された撮像素子からの偏光成分情報を補間し、得られた補間情報から偏光度や偏光方位等の偏光情報を算出する方法が開示されている。 Patent Literature 1 discloses a method of interpolating polarization component information from an imaging device in which four types of polarizing filters are arranged, and calculating polarization information such as the degree of polarization and the polarization direction from the obtained interpolated information. .

特許第４９６５６１５号公報Japanese Patent No. 4965615

しかしながら、特許文献１の方法では、補間精度の高い偏光成分情報と補間精度の低い偏光成分情報とを同等に扱って偏光情報を算出するため、補間精度の低い偏光成分情報により偏光情報の算出精度が低下してしまう。 However, in the method of Patent Document 1, polarization information is calculated by equally treating polarization component information with high interpolation accuracy and polarization component information with low interpolation accuracy. decreases.

本発明は、高精度な偏光情報を取得可能な処理装置を提供することを目的とする。 An object of the present invention is to provide a processing apparatus capable of acquiring highly accurate polarization information.

本発明の一側面としての処理装置は、互いに異なる偏光成分の夫々に主感度を持つ第１から第４の画素の夫々から取得される第１から第４の偏光成分情報に基づく第１の画素における複数の補間後の偏光成分情報を取得する取得部と、複数の補間後の偏光成分情報を用いて第１の画素における偏光情報を算出する算出部とを有し、算出部は、複数の補間後の偏光成分情報のうち精度が高いと推定された情報に精度が低いと推定された情報よりも大きな重みを付けて偏光情報を算出することを特徴とする。 A processing device according to one aspect of the present invention provides a first pixel based on first to fourth polarization component information obtained from first to fourth pixels having main sensitivities to polarization components different from each other, respectively. and a calculating unit for calculating the polarization information at the first pixel using the plurality of interpolated polarization component information, and the calculating unit includes a plurality of The polarization information is calculated by assigning a greater weight to information estimated to be highly accurate among the polarization component information after interpolation than to information estimated to be less accurate.

本発明によれば、高精度な偏光情報を取得可能な処理装置を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the processing apparatus which can acquire highly accurate polarization information can be provided.

本発明の実施形態に係る撮像装置の構成を示す図である。It is a figure which shows the structure of the imaging device which concerns on embodiment of this invention. 偏光撮像素子の構成を示す図である。It is a figure which shows the structure of a polarization imaging device. 偏光フィルタ配列の一例を示す図である。It is a figure which shows an example of a polarizing filter arrangement|sequence. 入射光の偏光状態と入射角度に対する光強度とを示す図である。It is a figure which shows the polarization state of incident light, and the light intensity with respect to an incident angle. 偏光情報の算出例を示す図である。It is a figure which shows the calculation example of polarization information. 重みを付けない偏光情報の算出例を示す図である。It is a figure which shows the calculation example of the polarization information which does not assign a weight. 重みを付けた偏光情報の算出例を示す図である。FIG. 10 is a diagram showing an example of calculation of weighted polarization information; 実施例１の偏光撮像素子における偏光画素配列を示す図である。4 is a diagram showing a polarization pixel array in the polarization imaging device of Example 1. FIG. 実施例２の偏光撮像素子における偏光カラー画素配列を示す図である。FIG. 10 is a diagram showing a polarization color pixel array in the polarization imaging device of Example 2; 実施例３のＢの非偏光成分情報の値を示す図である。FIG. 10 is a diagram showing values of non-polarization component information of B in Example 3; 実施例４の偏光撮像素子における偏光カラー画素配列を示す図である。FIG. 10 is a diagram showing a polarization color pixel array in the polarization imaging device of Example 4; 実施例４の近傍領域の一例を示す図である。FIG. 14 is a diagram showing an example of a neighboring area in Example 4;

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In each figure, the same reference numerals are given to the same members, and overlapping descriptions are omitted.

図１は、本発明の実施形態に係る撮像装置１の構成を示す図である。撮像装置１は、撮影光学系１１、偏光撮像素子１２、補間処理部（取得部）１３、偏光情報算出部（算出部）１４、及び記録部１５を有する。撮影光学系１１は、光学像としての被写体像を偏光撮像素子１２の撮像面上に形成する。なお、撮像装置１は、本実施形態では撮影光学系１１を有するが、交換式レンズが着脱可能に装着されるように構成されていてもよい。また、撮像装置１は、補間処理部１３、偏光情報算出部１４、及び記録部１５を有する必要はなく、これらと同等の機能を有する外部装置で代用してもよい。例えば、補間処理部１３から出力される画像情報や偏光情報算出部１４で算出された偏光情報を外部記録装置に記録してもよい。また、デモザイク処理や偏光情報の算出を、補間処理部１３や偏光情報算出部１４と同等の機能を有するパーソナルコンピュータ（ＰＣ）等の処理装置で行うようにしてもよい。 FIG. 1 is a diagram showing the configuration of an imaging device 1 according to an embodiment of the present invention. The imaging apparatus 1 includes an imaging optical system 11 , a polarization imaging device 12 , an interpolation processing section (acquisition section) 13 , a polarization information calculation section (calculation section) 14 , and a recording section 15 . The imaging optical system 11 forms a subject image as an optical image on the imaging surface of the polarizing imaging element 12 . Although the imaging device 1 has the imaging optical system 11 in this embodiment, it may be configured such that an interchangeable lens is detachably attached. Further, the imaging apparatus 1 does not need to have the interpolation processing unit 13, the polarization information calculation unit 14, and the recording unit 15, and an external device having functions equivalent to these may be substituted. For example, the image information output from the interpolation processing unit 13 and the polarization information calculated by the polarization information calculation unit 14 may be recorded in an external recording device. Further, the demosaic processing and the calculation of the polarization information may be performed by a processing device such as a personal computer (PC) having functions equivalent to those of the interpolation processing unit 13 and the polarization information calculation unit 14 .

図２は、偏光撮像素子１２の構成を示す図である。偏光撮像素子１２は、その撮像面に水平方向及び垂直方向へ２次元配列された複数の画素を含む画素配列１２１を備える。ここで、水平方向及び垂直方向は、互いに直交する２方向である。偏光撮像素子１２としては、ＣＣＤ型素子やＣＭＯＳ型素子等を用いることができる。また、偏光撮像素子１２は、画素配列１２１の受光面側に、２次元配列された複数の偏光フィルタを含む偏光フィルタ配列１２２を備える。これにより、偏光撮像素子１２は、偏光フィルタ機能を備える偏光画素配列を備える。偏光画素配列は、画素配列１２１と偏光フィルタ配列１２２を一体とみなした画素配列である。 FIG. 2 is a diagram showing the configuration of the polarization imaging device 12. As shown in FIG. The polarization imaging element 12 has a pixel array 121 including a plurality of pixels arranged two-dimensionally in the horizontal and vertical directions on its imaging surface. Here, the horizontal direction and the vertical direction are two directions orthogonal to each other. A CCD-type element, a CMOS-type element, or the like can be used as the polarization imaging element 12 . The polarizing imaging element 12 also includes a polarizing filter array 122 including a plurality of polarizing filters arranged two-dimensionally on the light receiving surface side of the pixel array 121 . Thereby, the polarizing image sensor 12 has a polarizing pixel array with a polarizing filter function. The polarizing pixel array is a pixel array in which the pixel array 121 and the polarizing filter array 122 are considered to be integrated.

図３は、偏光フィルタ配列１２２の一例を示す図である。ｘ軸とｙ軸は、画素配列１２１に平行で互いに直交する２軸である。ｘ軸とｙ軸の方向は、上記条件を満たせば図３に示される方向と異なる方向であってもよい。図３では、偏光フィルタ配列１２２は、６×６フィルタがｘ軸方向（水平方向）及びｙ軸方向（垂直方向）へ２次元配列されたフィルタ配列である。 FIG. 3 is a diagram showing an example of the polarizing filter array 122. As shown in FIG. The x-axis and the y-axis are two axes that are parallel to the pixel array 121 and orthogonal to each other. The directions of the x-axis and the y-axis may be directions different from those shown in FIG. 3 as long as the above conditions are satisfied. In FIG. 3, the polarizing filter array 122 is a filter array in which 6×6 filters are two-dimensionally arranged in the x-axis direction (horizontal direction) and y-axis direction (vertical direction).

偏光フィルタ配列１２２中の各偏光フィルタは、特定の偏光成分が他の偏光成分に対して高い透過率を有するように構成される。偏光フィルタは特定の偏光方位の偏光成分の透過率が高い直線偏光フィルタでもよく、透過率が最大となる偏光成分の偏光方位とｘ軸とのなす角θ（０度≦θ＜１８０度）を直線偏光フィルタの偏光方位とする。また、右回り円偏光と左回り円偏光の一方に対して高い透過率を有する円偏光フィルタでもよい。 Each polarizing filter in polarizing filter array 122 is configured such that a particular polarization component has a high transmission with respect to other polarization components. The polarizing filter may be a linear polarizing filter having a high transmittance of the polarized component of a specific polarization orientation, and the angle θ (0°≦θ<180°) formed between the polarization direction of the polarized component with the maximum transmittance and the x-axis. This is the polarization direction of the linear polarizing filter. Alternatively, a circularly polarizing filter having a high transmittance for either right-handed circularly polarized light or left-handed circularly polarized light may be used.

図３において、偏光フィルタ配列１２２は、互いに異なる４つの偏光方位θ１,θ２，θ３，θ４（図中には夫々１，２，３，４で示す）の偏光フィルタ（以下夫々、θ１フィルタ，θ２フィルタ，θ３フィルタ、θ４フィルタ）により構成されている。θ１フィルタ，θ２フィルタ，θ３フィルタ、θ４フィルタは夫々、画素配列１２１に含まれるいずれかの画素に対して設けられる。これにより、θ１フィルタ、θ２フィルタ、θ３フィルタ、θ４フィルタのいずれかが設けられた複数の画素は夫々、互いに異なる偏光方位の偏光成分に主感度を有する。すなわち、偏光画素配列は、互いに異なる偏光感度特性を有する。なお、本実施例では、４つのフィルタが設けられているが、５つ以上のフィルタが設けられていてもよい。 In FIG. 3, the polarizing filter array 122 includes polarizing filters (hereinafter referred to as θ1 filters, θ2 filter, .theta.3 filter, .theta.4 filter). The .theta.1 filter, .theta.2 filter, .theta.3 filter, and .theta.4 filter are provided for any pixel included in the pixel array 121, respectively. Accordingly, the plurality of pixels provided with any one of the .theta.1 filter, .theta.2 filter, .theta.3 filter, and .theta.4 filter have main sensitivities to polarization components of different polarization orientations. That is, the polarization pixel arrays have different polarization sensitivity characteristics. Although four filters are provided in this embodiment, five or more filters may be provided.

以下の説明において、画素配列１２１内の全画素のうちθ１フィルタが配置された画素を「θ１画素」という。同様に、θ２フィルタが配置された画素を「θ２画素」、θ３フィルタが配置された画素を「θ３画素」、θ４フィルタが配置された画素を「θ４画素」という。また、各偏光成分を取得できる画素を偏光画素という。 In the following description, among all the pixels in the pixel array 121, the pixels on which the θ1 filters are arranged are called "θ1 pixels". Similarly, a pixel with a θ2 filter is called a “θ2 pixel”, a pixel with a θ3 filter is called a “θ3 pixel”, and a pixel with a θ4 filter is called a “θ4 pixel”. A pixel that can acquire each polarization component is called a polarization pixel.

なお、偏光フィルタ配列１２２は、偏光フィルタが設けられていない領域又はいずれの偏光方位の偏光成分も透過させるフィルタが設けられた領域を含んでいてもよい。これらの領域に対応する画素（非偏光画素）で取得できる偏光成分を非偏光成分とする。 It should be noted that the polarizing filter array 122 may include an area with no polarizing filter or an area with a filter that transmits polarized components of any polarization orientation. Polarized components that can be acquired by pixels (non-polarized pixels) corresponding to these regions are defined as non-polarized components.

偏光撮像素子１２は、特定の波長成分が他の波長成分に対して高い透過率を有するカラーフィルタを含むカラーフィルタ配列を備える偏光カラー撮像素子であってもよい。カラーフィルタ配列として例えば、３原色のＲ（赤）、Ｇ（緑）、Ｂ（青）の光を夫々透過するカラーフィルタがベイヤー配置で配列された配列がある。また、ＲＧＢのカラーフィルタに代えて、補色のシアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）のカラーフィルタでもよいし、赤外（ＩＲ）や紫外（ＵＶ）のカラーフィルタでもよい。また、各色の波長成分を取得できる画素を色画素という。 The polarizing color imaging device 12 may be a polarizing color imaging device having a color filter array including color filters having high transmittance for specific wavelength components with respect to other wavelength components. As the color filter array, for example, there is an array in which color filters that transmit the three primary colors of R (red), G (green), and B (blue) are arranged in a Bayer arrangement. Further, instead of RGB color filters, complementary color filters of cyan (C), magenta (M) and yellow (Y) may be used, or infrared (IR) and ultraviolet (UV) color filters may be used. A pixel that can acquire a wavelength component of each color is called a color pixel.

偏光撮像素子１２が複数種類の色画素群からなる偏光カラー撮像素子であるとき、偏光撮像素子１２の全画素数に対する画素の割合（画素割合）が最も多い色画素群を第１の色画素群とする。第１の色画素群の画素割合は、０．５以上であることが望ましい。この場合、解像感の高い情報を取得することができる。また、第１の色画素群が主感度を有する波長成分は、緑の波長成分を含むことが望ましい。緑の波長成分に対して人の目の感度が高いため、緑の波長成分を含む色情報を取得できる画素が多いと、解像感の高い情報を取得することができる。なお、緑の波長成分を含む色情報を取得できる画素として、緑の波長成分に対して高い感度を有するＧ画素や可視光全域の波長成分に対して高い感度を有するＷ画素等がある。 When the polarization imaging element 12 is a polarization color imaging element composed of a plurality of types of color pixel groups, the color pixel group having the largest pixel ratio (pixel ratio) with respect to the total number of pixels of the polarization imaging element 12 is referred to as the first color pixel group. and It is desirable that the pixel ratio of the first color pixel group is 0.5 or more. In this case, information with high resolution can be obtained. Moreover, it is preferable that the wavelength component to which the first color pixel group has the main sensitivity includes a green wavelength component. Since the sensitivity of the human eye to green wavelength components is high, if there are many pixels that can acquire color information including green wavelength components, information with a high sense of resolution can be acquired. Pixels that can acquire color information including green wavelength components include G pixels that have high sensitivity to green wavelength components and W pixels that have high sensitivity to wavelength components in the entire visible light range.

また、後述する実施例における偏光画素配列では、２×２画素や８×８画素等の基本配列パターンとしての正方配列パターンが水平方向及び垂直方向に繰り返し配置されている。なお、基本配列パターンは、正方配列パターンに限らず、Ｎ１×Ｎ２画素（Ｎ１，Ｎ２は互いに異なる自然数）の四角形配列パターンであってもよいし、他の多角形配列パターンであってもよい。また、偏光画素配列は、基本配列パターンを持たないランダムな画素配列であってもよい。 Further, in the polarization pixel array in the embodiments described later, a square array pattern as a basic array pattern such as 2×2 pixels or 8×8 pixels is repeatedly arranged in the horizontal direction and the vertical direction. The basic array pattern is not limited to the square array pattern, and may be a square array pattern of N1×N2 pixels (N1 and N2 are different natural numbers) or other polygonal array pattern. Also, the polarization pixel array may be a random pixel array that does not have a basic array pattern.

以下、偏光撮像素子１２で取得した情報の補間処理及び偏光情報算出処理について説明する。上述したように、偏光撮像素子１２の撮像面上に形成された被写体像は偏光撮像素子１２の各画素によって入射光の強度に応じた電荷に変換され、電荷は電気信号（画素信号）として偏光撮像素子１２から読み出される。偏光撮像素子１２から読み出された画素信号は、各画素の輝度情報として補間処理部１３に入力される。各画素の輝度情報は、画素の種類に応じた偏光成分情報を含む。 Interpolation processing of information acquired by the polarization imaging device 12 and polarization information calculation processing will be described below. As described above, the subject image formed on the imaging surface of the polarizing imaging element 12 is converted by each pixel of the polarizing imaging element 12 into charges corresponding to the intensity of incident light, and the charges are polarized as electric signals (pixel signals). It is read out from the imaging device 12 . A pixel signal read out from the polarization imaging device 12 is input to the interpolation processing section 13 as luminance information of each pixel. The luminance information of each pixel includes polarization component information corresponding to the type of pixel.

複数種類の画素のうち特定種類の画素から輝度情報を抜き出すと、画素の種類に応じた偏光成分や波長成分の情報のみからなるモザイク画像が得られる。補間処理部１３は、モザイク画像にデモザイク（補間）処理を施すことにより各画素で取得されていない情報を算出し、各画素において複数の偏光成分の補間情報（複数の補間後の偏光成分情報）を生成する（第１ステップ）。なお、補間処理部１３は、各画素において、偏光撮像素子１２で取得される全ての偏光方向の補間情報を生成してもよいし、一部の偏光方向の補間情報を生成してもよい。また、補間処理部１３は、１つの偏光方向に対して異なる補間方法で算出した複数の補間情報を生成してもよい。また、補間処理部１３は、補間処理の際には算出する情報以外の情報を利用してもよい。 By extracting luminance information from a specific type of pixel among a plurality of types of pixels, a mosaic image consisting of only information on polarization components and wavelength components corresponding to the type of pixel is obtained. The interpolation processing unit 13 performs demosaicing (interpolation) processing on the mosaic image to calculate information that is not obtained in each pixel, and obtains interpolation information of a plurality of polarization components (a plurality of polarization component information after interpolation) in each pixel. is generated (first step). In each pixel, the interpolation processing unit 13 may generate interpolation information for all polarization directions acquired by the polarization imaging element 12, or may generate interpolation information for a portion of the polarization directions. Further, the interpolation processing unit 13 may generate a plurality of pieces of interpolation information calculated by different interpolation methods for one polarization direction. Further, the interpolation processing unit 13 may use information other than the information to be calculated during the interpolation processing.

補間処理部１３で生成された補間情報は、偏光情報算出部１４に入力される。また、補間情報は、記録部１５に記録されてもよい。偏光情報算出部１４は、入射光の偏光状態を表す偏光情報（α，Ｉｍａｘ，Ｉｍｉｎ）を算出する（第２ステップ）。αは光強度が最大となる偏光方位であり、Ｉｍａｘは光強度の最大値、Ｉｍｉｎは光強度の最小値である。 The interpolation information generated by the interpolation processor 13 is input to the polarization information calculator 14 . Also, the interpolation information may be recorded in the recording unit 15 . The polarization information calculator 14 calculates polarization information (α, Imax, Imin) representing the polarization state of incident light (second step). α is the polarization direction with the maximum light intensity, Imax is the maximum value of light intensity, and Imin is the minimum value of light intensity.

ここで、偏光情報（α，Ｉｍａｘ，Ｉｍｉｎ）の算出方法について説明する。偏光撮像素子１２への入射光が図４に示されるように表現できる場合を考える。図４は、入射光の偏光状態と入射角度に対する光強度とを示す図である。図４（ａ）の楕円は、入射光の振幅の方位依存性を示している。図４（ａ）の破線は楕円の長軸と短軸を表しており、偏光方位αは長軸とｘ軸とがなす角度である。また、図４（ａ）の矢印は、長軸の方向と短軸の方向での振幅を表している。振幅の２乗が光強度であり、図４（ｂ）はｘ軸に対して角度θをなす入射光の光強度に応じた輝度情報、すなわち入射光の偏光方位θの偏光成分情報Ｉ（θ）を示している。Ｉｍａｘ，Ｉｍｉｎは夫々、長軸の方向と短軸の方向の偏光成分に対応した偏光成分情報である。偏光成分情報Ｉ（θ）は、以下の式（１）で表される。 Here, a method for calculating the polarization information (α, Imax, Imin) will be described. Consider the case where the incident light to the polarization imaging device 12 can be expressed as shown in FIG. FIG. 4 is a diagram showing the polarization state of incident light and the light intensity with respect to the incident angle. The ellipse in FIG. 4(a) indicates the azimuth dependence of the amplitude of incident light. The dashed line in FIG. 4(a) represents the long axis and short axis of the ellipse, and the polarization direction α is the angle between the long axis and the x-axis. The arrows in FIG. 4(a) represent the amplitude in the direction of the major axis and the direction of the minor axis. The square of the amplitude is the light intensity, and FIG. 4(b) shows luminance information according to the light intensity of incident light forming an angle θ with respect to the x-axis, that is, polarization component information I(θ ). Imax and Imin are polarization component information corresponding to the polarization components in the long axis direction and the short axis direction, respectively. Polarization component information I(θ) is represented by the following equation (1).

なお、Ｉ（θ；α，Ｉｍａｘ，Ｉｍｉｎ）は、偏光情報（α，Ｉｍａｘ，Ｉｍｉｎ）を明示した偏光成分情報Ｉ（θ）の表現である。 Note that I(θ; α, Imax, Imin) is an expression of polarization component information I(θ) that specifies polarization information (α, Imax, Imin).

式（１）より偏光成分情報Ｉ（θ）は、１８０度周期で変化し、３つの係数（α，Ｉｍａｘ，Ｉｍｉｎ）で決定される。このため、偏光情報を算出するためには、０度以上１８０度未満の角度θで表現したときに、少なくとも３以上の偏光成分情報Ｉ（θ）を取得する必要がある。図５には、一例として、白丸で示されるθ＝０度，４５度，９０度の３つの偏光成分情報と、それらから算出される偏光成分情報Ｉ（θ）とが示されている。 From Equation (1), the polarization component information I(θ) changes at a cycle of 180 degrees and is determined by three coefficients (α, Imax, Imin). Therefore, in order to calculate the polarization information, it is necessary to obtain at least three pieces of polarization component information I(θ) when expressed by an angle θ of 0 degrees or more and less than 180 degrees. FIG. 5 shows, as an example, three pieces of polarization component information of θ=0 degrees, 45 degrees, and 90 degrees indicated by white circles, and the polarization component information I(θ) calculated therefrom.

一方、上記条件を満足すれば、取得する偏光成分の偏光方位に特に制限はない。このため、任意の３以上の偏光成分情報Ｉ（θ）を取得すれば、偏光情報（α，Ｉｍａｘ，Ｉｍｉｎ）を求めることができる。なお、非偏光成分情報は、全偏光の光強度の平均値Ｉａｖｅに相当する。 On the other hand, as long as the above conditions are satisfied, there is no particular limitation on the polarization direction of the obtained polarization component. Therefore, the polarization information (α, Imax, Imin) can be obtained by obtaining arbitrary three or more pieces of polarization component information I(θ). The non-polarized component information corresponds to the average value Iave of the light intensity of all polarized light.

式（２），（３）より、平均値Ｉａｖｅと偏光成分情報Ｉ（θ）から偏光方位θ＋９０度の光強度Ｉ（θ＋９０度）が求められるので、非偏光成分情報も偏光成分情報の１つと考えることができる。例えば、θ＝０度，４５度の偏光成分情報と非偏光成分情報が得られる場合、θ＝９０度やθ＝１３５度の偏光成分情報が算出できるので、４つの偏光成分情報が得られる。 From the equations (2) and (3), the light intensity I(θ+90 degrees) of the polarization direction θ+90 degrees can be obtained from the average value Iave and the polarization component information I(θ). can think. For example, when polarization component information and non-polarization component information are obtained at θ=0 degrees and 45 degrees, polarization component information at θ=90 degrees and θ=135 degrees can be calculated, so four pieces of polarization component information are obtained.

各画素における補間情報は、各画素における偏光成分情報の真の値との間に補間誤差が生じる。そのため、４以上の補間情報から偏光情報を算出する場合、各偏光成分情報が式（１）を満たす偏光情報を一意に定めることができない。したがって、４以上の補間情報から偏光情報を算出する場合、最小二乗法等の方法で近似的に偏光情報が算出される。 An interpolation error occurs between the interpolation information at each pixel and the true value of the polarization component information at each pixel. Therefore, when the polarization information is calculated from four or more pieces of interpolation information, it is impossible to uniquely determine the polarization information in which each piece of polarization component information satisfies Equation (1). Therefore, when the polarization information is calculated from four or more pieces of interpolation information, the polarization information is approximately calculated by a method such as the least-squares method.

第１から第Ｎ補間情報から最小二乗法で偏光情報を算出するには、以下の式（４）の総和Ｓを最小にする偏光情報（α，Ｉｍａｘ，Ｉｍｉｎ）を求める。 To calculate the polarization information from the first to N-th interpolation information by the method of least squares, obtain the polarization information (α, Imax, Imin) that minimizes the sum S of the following equation (4).

ここで、Ｄｊは第ｊ補間情報であり、φｊは第ｊ補間情報の偏光方位を表す。 Here, Dj is the j-th interpolation information, and φj represents the polarization direction of the j-th interpolation information.

なお、各補間情報に誤差がない場合、Ｓ＝０となる偏光情報（α，Ｉｍａｘ，Ｉｍｉｎ）が存在し、真の偏光情報（α’，Ｉｍａｘ’，Ｉｍｉｎ’）と一致する。 When there is no error in each piece of interpolation information, the polarization information (α, Imax, Imin) where S=0 exists and matches the true polarization information (α', Imax', Imin').

図６は、重みを付けない偏光情報の算出例を示す図である。図６には、θ＝０度，４５度，９０度，１３５度の４つの補間情報を示す。図６では、θ＝１３５度の補間情報が他の補間情報と比べて補間精度が低く、真の値との差が大きい。実線は、補間情報から最小二乗法により求めた偏光情報（α，Ｉｍａｘ，Ｉｍｉｎ）に対して式（１）から得られる偏光成分情報Ｉ（θ）（＝Ｉ（θ；α，Ｉｍａｘ，Ｉｍｉｎ）を示している。破線は、真の偏光情報（α’，Ｉｍａｘ’，Ｉｍｉｎ’）に対して式（１）から得られる偏光成分情報Ｉ’（θ）（＝Ｉ（θ；α’，Ｉｍａｘ’，Ｉｍｉｎ’））を示している。 FIG. 6 is a diagram showing an example of calculation of polarization information without weighting. FIG. 6 shows four pieces of interpolation information for θ=0 degrees, 45 degrees, 90 degrees, and 135 degrees. In FIG. 6, the interpolation information of θ=135 degrees has lower interpolation accuracy than other interpolation information, and the difference from the true value is large. The solid line represents the polarization component information I(θ) (=I(θ; α, Imax, Imin) obtained from Equation (1) for the polarization information (α, Imax, Imin) obtained by the least squares method from the interpolation information. The dashed line indicates the polarization component information I′(θ) (=I(θ;α′,Imax ', Imin')).

補間精度の低い、すなわち偏光成分情報Ｉ’（θ）の曲線との差が大きいθ＝１３５度の補間情報と偏光成分情報Ｉ（θ）の曲線との差が小さくなるように、偏光情報（α，Ｉｍａｘ，Ｉｍｉｎ）は求められる。そのため、偏光成分情報Ｉ（θ），Ｉ’（θ）の曲線には大きな差が生じている。すなわち、補間精度が低い補間情報によって偏光情報の算出精度が低下している。 Polarization information ( α, Imax, Imin) are obtained. Therefore, there is a large difference between the curves of the polarization component information I([theta]) and I'([theta]). That is, the interpolation information with low interpolation accuracy reduces the calculation accuracy of the polarization information.

本実施形態では、補間精度が高いと推定された補間情報に補間精度が低いと推定された補間情報よりも大きな重みを付けて偏光情報を算出する。例えば、第１から第Ｎ補間情報から重みを付けて最小二乗法で偏光情報を算出するには、以下の式（５）の総和Ｓを最小にする偏光情報（α，Ｉｍａｘ，Ｉｍｉｎ）を求める。 In the present embodiment, polarization information is calculated by giving greater weight to interpolation information estimated to have high interpolation accuracy than to interpolation information estimated to have low interpolation accuracy. For example, in order to calculate the polarization information by the method of least squares with weights from the first to Nth interpolation information, the polarization information (α, Imax, Imin) that minimizes the sum S of the following equation (5) is obtained. .

ここで、ｗｊは、第ｊ補間情報Ｄｊに対する重みである。重みが小さい第ｊ補間情報Ｄｊと偏光成分情報Ｉ（φｊ）との差の総和Ｓに対する寄与は、相対的に小さくなる。そのため、補間精度の低い補間情報によって偏光情報の算出精度が低下することを抑制することができる。 Here, wj is the weight for the j-th interpolation information Dj . The contribution to the total sum S of the difference between the j-th interpolation information D j having a small weight and the polarization component information I(φ j ) is relatively small. Therefore, it is possible to suppress the deterioration of the calculation accuracy of the polarization information due to the interpolation information with low interpolation accuracy.

図７は、重みを付けた偏光情報の算出例を示す図である。図７には、図６と同様に、θ＝０度，４５度，９０度，１３５度の４つの補間情報を示す。実線は、補間情報から重みを付けて最小二乗法により求めた偏光情報（α，Ｉｍａｘ，Ｉｍｉｎ）に対して式（１）から得られる偏光成分情報Ｉ（θ）（＝Ｉ（θ；α，Ｉｍａｘ，Ｉｍｉｎ）を示している。破線は、真の偏光情報（α’，Ｉｍａｘ’，Ｉｍｉｎ’）に対して式（１）から得られる偏光情報Ｉ’（θ）（＝Ｉ（θ；α’，Ｉｍａｘ’，Ｉｍｉｎ’））を示している。偏光成分情報Ｉ（θ）の曲線は、図６と比べてθ＝１３５度の偏光成分情報から外れているが、偏光成分情報Ｉ’（θ）の曲線に近づいており、偏光情報の算出精度が向上している。 FIG. 7 is a diagram illustrating a calculation example of weighted polarization information. As in FIG. 6, FIG. 7 shows four pieces of interpolation information for θ=0 degrees, 45 degrees, 90 degrees, and 135 degrees. The solid line represents the polarization component information I(θ) (=I(θ; α, Imax, Imin) The dashed line is the polarization information I′(θ) (=I(θ;α ', Imax', Imin')).The curve of the polarization component information I(θ) deviates from the polarization component information at θ=135 degrees compared to FIG. θ), and the accuracy of polarization information calculation is improved.

補間に用いる重みを決定するための補間精度は、例えば、補間に用いる偏光成分情報を取得した画素（補間元画素）と補間する画素（補間画素）との間の距離に基づいて推定すればよい。また、補間元画素近傍の偏光成分情報と補間画素近傍の偏光成分情報とを比較して推定してもよい。なお、補間精度は、偏光成分情報の取得ごとに推定されてもよいし、予め推定されていてもよい。 The interpolation accuracy for determining the weights used for interpolation may be estimated based on, for example, the distance between the pixel (interpolation source pixel) that acquires the polarization component information used for interpolation and the pixel to be interpolated (interpolation pixel). . Alternatively, the polarization component information near the interpolation source pixel may be compared with the polarization component information near the interpolation pixel for estimation. Note that the interpolation accuracy may be estimated each time polarization component information is acquired, or may be estimated in advance.

偏光情報算出部１４により算出され偏光情報は、記録部１５に記録される。偏光情報は、単独で記録されてもよいが、算出に用いた補間情報等と関連付けて記録されることが好ましい。 The polarization information calculated by the polarization information calculation unit 14 is recorded in the recording unit 15 . The polarization information may be recorded independently, but is preferably recorded in association with interpolation information or the like used for calculation.

図８は、本実施例の偏光撮像素子１２における偏光画素配列を示す図である。本実施例の偏光画素配列は、４つの画素群（θ１画素群、θ２画素群、θ３画素群、θ４画素群）を有する。図８において、太線で囲まれた２×２画素の領域は、本実施例の基本配列パターンである正方配列パターンを示している。本実施例の偏光画素配列では、正方配列パターンがｘ軸方向とｙ軸方向の夫々に繰り返し配置されている。図８では、左下の画素の座標が（０，０）となり、右上の画素の座標が（５，５）となるようにｘｙ座標を付している。（ｘ，ｙ）画素で取得された偏光成分情報をθｉ（ｘ，ｙ）と表し、（ｘ，ｙ）画素に補間して得られた第ｊ補間情報をＤｊ（ｘ，ｙ；φｊ）と表す。 FIG. 8 is a diagram showing a polarization pixel arrangement in the polarization imaging device 12 of this embodiment. The polarization pixel array of this embodiment has four pixel groups (.theta.1 pixel group, .theta.2 pixel group, .theta.3 pixel group, and .theta.4 pixel group). In FIG. 8, a 2×2 pixel area surrounded by a thick line indicates a square array pattern, which is the basic array pattern of this embodiment. In the polarization pixel array of this embodiment, the square array pattern is repeatedly arranged in the x-axis direction and the y-axis direction. In FIG. 8, xy coordinates are given such that the coordinates of the lower left pixel are (0, 0) and the coordinates of the upper right pixel are (5, 5). The polarization component information obtained at the (x, y) pixel is expressed as θi(x, y), and the j-th interpolation information obtained by interpolation at the (x, y) pixel is D j (x, y; φ j ).

本実施例では、各画素における補間情報を、最近傍の画素で取得された偏光成分情報の平均として算出する。本実施例における偏光情報算出の流れを、（２，２）画素における偏光情報算出を例にして説明する。各偏光成分情報を取得可能な（２，２）画素の最近傍画素と補間画素間距離を表１に示す。補間画素間距離は、補間に用いる偏光成分情報を取得した画素（補間元画素）と補間する画素（補間画素）との間の距離で、例えばｘ軸方向において隣接する画素間の距離を１とする。 In this embodiment, interpolation information for each pixel is calculated as an average of polarization component information obtained for the nearest pixels. The flow of polarization information calculation in this embodiment will be described by taking polarization information calculation for the (2,2) pixel as an example. Table 1 shows the distance between the closest neighboring pixels of the (2, 2) pixel that can acquire each polarization component information and the interpolated pixels. The interpolation pixel distance is the distance between a pixel (interpolation source pixel) that acquires polarization component information used for interpolation and a pixel (interpolation pixel) to be interpolated. do.

補間情報は、以下の式（６ａ）－（６ｄ）によって求められる。 The interpolation information is obtained by the following equations (6a)-(6d).

補間情報の算出精度（補間精度）は、一般に補間画素間距離が長いほど、小さくなると考えられる。そのため、本実施例では補間画素間距離の逆数を重みｗｊとして各補間情報に付して偏光情報の算出が行われる。すなわち、補間画素から第1の距離だけ離れた補間元画素に基づく補間情報の精度は、補間画素から第１の距離より長い第２の距離だけ離れた補間元画素に基づく補間後の偏光成分情報の精度よりも高く推定される。このとき、第２補間情報Ｄ２の重みが無限大となる。これは算出した偏光情報（α，Ｉｍａｘ，Ｉｍｉｎ）によって式（１）から求まる偏光成分情報Ｉ（θ２；α，Ｉｍａｘ，Ｉｍｉｎ）と第２補間情報Ｄ２（２，２；θ２）が等しくなるという条件を課して残りの補間情報から偏光情報を算出することと同義である。 It is generally considered that the calculation accuracy (interpolation accuracy) of interpolation information decreases as the distance between interpolation pixels increases. Therefore, in this embodiment, the reciprocal of the distance between interpolated pixels is used as a weight wj and attached to each piece of interpolation information to calculate the polarization information. That is, the accuracy of the interpolation information based on the interpolation source pixel separated from the interpolation pixel by the first distance is the polarization component information after interpolation based on the interpolation source pixel separated by the second distance longer than the first distance from the interpolation pixel. is estimated to be higher than the accuracy of At this time, the weight of the second interpolation information D2 becomes infinite. This is because the calculated polarization information (α, Imax, Imin) makes the polarization component information I (θ2; α, Imax, Imin) obtained from Equation (1) equal to the second interpolation information D 2 (2, 2; θ2). is synonymous with calculating the polarization information from the remaining interpolation information by imposing the condition.

本実施例では、偏光情報は、重み付き最小二乗法を用いて算出される。すなわち、以下の式（７）を満たし、以下の式（８）の総和Ｓを最小にする偏光情報（α，Ｉｍａｘ，Ｉｍｉｎ）を求める。 In this embodiment, the polarization information is calculated using the weighted least squares method. That is, polarization information (α, Imax, Imin) that satisfies the following equation (7) and minimizes the summation S of the following equation (8) is obtained.

θ１＝０°，θ２＝４５°，θ３＝９０°，θ４＝１３５°とし、第１、第３、及び第４補間情報には補間誤差が生じ、真の値との差がある場合における偏光情報の算出を例示する。本実施例の方法により求められた偏光情報と求められた偏光情報から算出された偏光成分情報を表２に示す。また、比較例として重み付けをしない（各補間情報に等しい重みを付ける）場合に算出される偏光情報と偏光成分情報を示す。 Polarization when θ1 = 0°, θ2 = 45°, θ3 = 90°, θ4 = 135°, interpolation errors occur in the first, third, and fourth interpolation information and there is a difference from the true value Calculation of information is illustrated. Table 2 shows the polarization information obtained by the method of this embodiment and the polarization component information calculated from the obtained polarization information. Also, as a comparative example, polarization information and polarization component information calculated when weighting is not performed (equally weighting each piece of interpolation information) are shown.

比較例の方法で算出された偏光成分情報Ｉ（θ２）は真の値との間に差が生じているが、本実施例の方法で算出された偏光成分情報Ｉ（θ２）は真の値との間に差が生じていない。また、本実施例の方法で算出された偏光情報は、比較例と比べて真の値との差が小さく、より高い精度で算出される。（２，２）画素以外の画素においても同様に重み付けをすることにより、高い精度で偏光情報を算出することができる。 Although there is a difference between the polarization component information I(θ2) calculated by the method of the comparative example and the true value, the polarization component information I(θ2) calculated by the method of the present embodiment is equal to the true value. there is no difference between In addition, the polarization information calculated by the method of the present embodiment has a smaller difference from the true value than that of the comparative example, and is calculated with higher accuracy. By similarly weighting pixels other than the (2, 2) pixel, the polarization information can be calculated with high accuracy.

図９は、本実施例の偏光撮像素子１２における偏光カラー画素配列を示す図である。各画素に記されたアルファベットと数字は夫々、各画素に配置されたカラーフィルタと偏光フィルタの種類を表している。数字の記されていない画素は、非偏光画素を表している。本実施例の偏光カラー画素配列は、５つの画素群（θ１画素群、θ２画素群、θ３画素群、θ４画素群、非偏光画素群）を有する。Ｒ画素群とＢ画素群は、全て非偏光画素群である。Ｇ画素群は、４つの画素群（θ１画素群、θ２画素群、θ３画素群、θ４画素群）を有する。以下の説明では、Ｒ画素群かつ非偏光画素群をＲの非偏光画素群、Ｇ画素群かつθ１画素群をＧのθ１画素群等という。また、Ｒの非偏光画素群で取得される情報をＲの非偏光成分情報、Ｇのθ１画素群で取得される情報をＧのθ１情報等という。 FIG. 9 is a diagram showing a polarization color pixel array in the polarization imaging device 12 of this embodiment. Alphabets and numbers written on each pixel respectively represent the types of color filters and polarizing filters placed on each pixel. Pixels with no number represent non-polarized pixels. The polarized color pixel array of this embodiment has five pixel groups (θ1 pixel group, θ2 pixel group, θ3 pixel group, θ4 pixel group, non-polarized pixel group). All of the R pixel group and the B pixel group are non-polarization pixel groups. The G pixel group has four pixel groups (.theta.1 pixel group, .theta.2 pixel group, .theta.3 pixel group, and .theta.4 pixel group). In the following description, the R pixel group and the non-polarization pixel group are referred to as the R non-polarization pixel group, the G pixel group and the θ1 pixel group are referred to as the G θ1 pixel group, and the like. Information obtained by the R non-polarized pixel group is referred to as R non-polarized component information, and information obtained by the G θ1 pixel group is referred to as G θ1 information.

図９において、太線で囲まれた８×８画素の領域は、本実施例の基本配列パターンである正方配列パターンを示している。本実施例の偏光画素配列では、正方配列パターンがｘ軸方向とｙ軸方向の夫々に繰り返し配置されている。図８では、左下の画素の座標が（０，０）となり、右上の画素の座標が（７，７）となるようにｘｙ座標を付している。（ｘ，ｙ）画素で取得された色Ｃの偏光方位θｉの偏光成分情報をＣｉ（ｘ，ｙ）と表し、（ｘ，ｙ）画素に補間して得られた第ｊ補間情報をＤｊ（ｘ，ｙ；φｊ，Ｃｊ）と表す。なお、Ｃｊは第ｊ補間情報の色情報を表す。 In FIG. 9, an 8×8 pixel area surrounded by a thick line indicates a square array pattern, which is the basic array pattern of this embodiment. In the polarization pixel array of this embodiment, the square array pattern is repeatedly arranged in the x-axis direction and the y-axis direction. In FIG. 8, xy coordinates are given such that the coordinates of the lower left pixel are (0, 0) and the coordinates of the upper right pixel are (7, 7). The polarization component information of the polarization orientation θi of the color C obtained at the (x, y) pixel is expressed as Ci(x, y), and the j-th interpolation information obtained by interpolation at the (x, y) pixel is D j (x, y; φ j , C j ). Note that Cj represents the color information of the j-th interpolation information.

本実施例では、各画素における補間情報を、最近傍の画素で取得された偏光成分情報として算出する。本実施例における偏光情報算出の流れを、（３，３）画素におけるＧの偏光情報算出を例にして説明する。各偏光成分情報を取得可能な（３，３）画素の最近傍画素と補間画素間距離を表３に示す。 In this embodiment, interpolation information for each pixel is calculated as polarization component information acquired by the nearest pixel. The flow of polarization information calculation in this embodiment will be described by taking G polarization information calculation at the (3, 3) pixel as an example. Table 3 shows the distances between the nearest neighboring pixels of the (3, 3) pixels that can acquire each polarization component information and the interpolated pixels.

補間情報は、以下の式（９ａ）－（９ｅ）によって求められる。θ３情報は最近傍画素が２つあるため、補間情報は２つ算出される。 Interpolated information is obtained by the following equations (9a)-(9e). Since the θ3 information has two nearest neighbor pixels, two pieces of interpolation information are calculated.

本実施例では、補間画素間距離の逆数を重みｗｊとして各補間情報に付して偏光情報の算出が行われる。偏光情報は、重み付き最小二乗法を用いて算出される。すなわち、以下の式（１０）を満たし、以下の式（１１）の総和Ｓを最小にする偏光情報（α，Ｉｍａｘ，Ｉｍｉｎ）を求める。 In the present embodiment, the reciprocal of the distance between interpolated pixels is used as a weight wj and attached to each piece of interpolation information to calculate the polarization information. Polarization information is calculated using the weighted least squares method. That is, the polarization information (α, Imax, Imin) that satisfies the following equation (10) and minimizes the summation S of the following equation (11) is obtained.

θ１＝０°、θ２＝４５°、θ３＝９０°、θ４＝１３５°とし、第１から第４補間情報には補間誤差が生じ、真の値との差がある場合における偏光情報の算出を例示する。本実施例の方法により求められた偏光情報と求められた偏光情報から算出された偏光成分情報を表４に示す。また、比較例として重み付けをしない（各補間情報に等しい重みを付ける）場合に算出される偏光情報と偏光成分情報を示す。 θ1 = 0°, θ2 = 45°, θ3 = 90°, θ4 = 135°, interpolation errors occur in the first to fourth interpolation information, and polarization information is calculated when there is a difference from the true value. Illustrate. Table 4 shows the polarization information obtained by the method of this embodiment and the polarization component information calculated from the obtained polarization information. Also, as a comparative example, polarization information and polarization component information calculated when weighting is not performed (equally weighting each piece of interpolation information) are shown.

本実施例の方法で算出された偏光情報は、比較例と比べて真の値との差が小さく、より高い精度で算出される。（２，２）画素以外のＧ画素においても同様に重み付けをすることにより、高い精度で偏光情報を算出可能である。また、Ｒ画素とＢ画素では、Ｇの各偏光成分情報を取得可能な最近傍画素の補間画素間距離が等しく、補間精度はＧの各偏光成分情報で等しいと考えられるため、重み付けなしで偏光情報が算出される。 The polarization information calculated by the method of the present embodiment has a smaller difference from the true value than that of the comparative example, and is calculated with higher accuracy. By similarly weighting the G pixels other than the (2, 2) pixel, the polarization information can be calculated with high accuracy. In addition, in the R pixel and the B pixel, the interpolated pixel distances of the nearest neighboring pixels that can acquire each G polarization component information are equal, and the interpolation accuracy is considered to be equal for each G polarization component information. Information is calculated.

Ｒ情報とＢ情報は夫々１つの偏光成分情報しか取得しないため、各色情報の偏光成分情報のみから偏光情報を算出することはできないが、Ｇの偏光情報を用いることで算出可能である。例えば、偏光方位αは色による変化が小さいと考えられるため、Ｒ情報とＢ情報の偏光方位αをＧ情報の偏光方位αと等しいとし、偏光成分情報Ｉｍａｘ，Ｉｍｉｎは非偏光成分情報と偏光成分情報Ｉｍａｘ，Ｉｍｉｎの比率が各色で一致するように決定される。 Since each of the R information and the B information obtains only one piece of polarization component information, the polarization information cannot be calculated from only the polarization component information of each color information, but can be calculated using the G polarization information. For example, since it is considered that the polarization orientation α changes little depending on the color, the polarization orientation α of the R information and the B information is assumed to be equal to the polarization orientation α of the G information, and the polarization component information Imax and Imin are the non-polarization component information and the polarization component information. The ratio of the information Imax and Imin is determined so as to match for each color.

本実施例の偏光撮像素子１２における偏光カラー画素配列は、実施例２の偏光カラー画素配列と同様である。実施例２では、Ｒ画素とＢ画素におけるＧの偏光情報の算出は重み付けなしで行われるが、本実施例では、Ｒ情報やＢ情報に基づいて補間精度を推定し、重み付けをして偏光情報が算出される。所定情報（画素値）の一致度が高い方向から補間した補間情報は一致度が低い方向から補間した補間情報より補間精度が高いと考えられる。すなわち、補間画素の画素値と第１差分だけ異なる画素値に対応する補間元画素に基づく補間情報の精度は、第１差分より大きい第２差分だけ異なる画素値に対応する補間元画素に基づく補間情報の精度よりも高く推定される。したがって、本実施例では、各補間方向のＲやＢの非偏光画素における非偏光成分情報の差が小さい（＝一致度が高い）ほど、Ｇの各偏光成分情報の補間精度が高いと推定する。ここで、補間方向は、補間画素から見た補間元画素の方向であり、規格化したベクトルで表現する。また、以下の式（１２）で表される座標（ｘ，ｙ）の画素を補間方向（ｖｘ，ｖｙ）にある画素とする。 The polarization color pixel array in the polarization imaging device 12 of this embodiment is the same as the polarization color pixel array of the second embodiment. In the second embodiment, the calculation of the G polarization information in the R pixel and the B pixel is performed without weighting. is calculated. Interpolation information obtained by interpolating from a direction in which the degree of matching of predetermined information (pixel values) is high is considered to have higher interpolation accuracy than interpolation information obtained by interpolating from a direction in which the degree of matching is low. That is, the accuracy of the interpolation information based on the interpolation source pixel corresponding to the pixel value different from the pixel value of the interpolation pixel by the first difference is the interpolation information based on the interpolation source pixel corresponding to the pixel value different by the second difference larger than the first difference. Estimated higher than the accuracy of the information. Therefore, in the present embodiment, it is estimated that the interpolation accuracy of each G polarization component information is higher as the difference in non-polarization component information between R and B non-polarization pixels in each interpolation direction is smaller (=higher degree of matching). . Here, the interpolation direction is the direction of the interpolation source pixel viewed from the interpolation pixel, and is represented by a normalized vector. Also, let the pixel at the coordinates (x, y) represented by the following equation (12) be the pixel in the interpolation direction (v x , v y ).

なお、（ｘ０，ｙ０）は補間画素の座標であり、ｋは任意の自然数をとる。 Note that (x 0 , y 0 ) are the coordinates of the interpolated pixel, and k is any natural number.

（３，２）画素におけるＧの偏光情報算出を例にして説明する。図１０は、Ｂ画素におけるＢの非偏光成分情報を示す図である。Ｇの各偏光成分情報を取得可能な（３，２）画素の最近傍画素、補間方向、各補間方向のＢの非偏光画素、及びＢの非偏光成分情報の差を表５に示す。 Calculation of G polarization information in the (3,2) pixel will be described as an example. FIG. 10 is a diagram showing B non-polarization component information in a B pixel. Table 5 shows the difference between the closest pixels of the (3, 2) pixels that can acquire each G polarization component information, the interpolation direction, the B non-polarization pixels in each interpolation direction, and the B non-polarization component information.

補間情報は、以下の式（１３ａ）－（１３ｄ）によって求められる。 Interpolation information is obtained by the following equations (13a)-(13d).

本実施例では、Ｂの非偏光成分情報の差の逆数を重みｗｊとして各補間情報に付して偏光情報の算出が行われる。偏光情報は、重み付き最小二乗法を用いて算出される。すなわち、以下の式（１４ａ）、（１４ｂ）を満たし、以下の式（１５）の総和Ｓを最小にする偏光情報（α，Ｉｍａｘ，Ｉｍｉｎ）を求める。 In this embodiment, the reciprocal of the difference between the non-polarized component information of B is used as the weight wj and attached to each piece of interpolation information to calculate the polarization information. Polarization information is calculated using the weighted least squares method. That is, polarization information (α, Imax, Imin) that satisfies the following equations (14a) and (14b) and minimizes the summation S of the following equation (15) is obtained.

θ１＝０°、θ２＝４５°、θ３＝９０°、θ４＝１３５°とし、第２と第３補間情報には補間誤差が生じ、真の値との差がある場合における偏光情報の算出を例示する。本実施例の方法により求められた偏光情報と求められた偏光情報から算出された偏光成分情報を表６に示す。また、比較例として重み付けをしない（各補間情報に等しい重みを付ける）場合に算出される偏光情報と偏光成分情報を示す。 θ1 = 0°, θ2 = 45°, θ3 = 90°, θ4 = 135°, interpolation errors occur in the second and third interpolation information, and polarization information is calculated when there is a difference from the true value. Illustrate. Table 6 shows the polarization information obtained by the method of this embodiment and the polarization component information calculated from the obtained polarization information. Also, as a comparative example, polarization information and polarization component information calculated when weighting is not performed (equally weighting each piece of interpolation information) are shown.

本実施例の方法で算出された偏光情報は、比較例と比べて真の値との差が小さく、より高い精度で算出される。 The polarization information calculated by the method of the present embodiment has a smaller difference from the true value than that of the comparative example, and is calculated with higher accuracy.

図１１は、本実施例の偏光撮像素子１２における偏光カラー画素配列を示す図である。Ｗが記された画素はＷ画素群の画素であり、Ｒ，Ｇ，Ｂの波長帯域全体に対して感度を有する。本実施例の偏光カラー画素配列は、４つの画素群（θ１画素群、θ２画素群、θ３画素群、θ４画素群）を有する。Ｒ画素群、Ｂ画素群、Ｇ画素群は、４つの画素群（θ１画素群、θ２画素群、θ３画素群、θ４画素群）を有する。Ｗ画素群は、３つの画素群（θ１画素群、θ２画素群、θ３画素群）を有する。 FIG. 11 is a diagram showing a polarization color pixel array in the polarization imaging device 12 of this embodiment. Pixels marked with W are pixels of the W pixel group, and have sensitivity to the entire R, G, and B wavelength bands. The polarization color pixel array of this embodiment has four pixel groups (.theta.1 pixel group, .theta.2 pixel group, .theta.3 pixel group, and .theta.4 pixel group). The R pixel group, B pixel group, and G pixel group have four pixel groups (θ1 pixel group, θ2 pixel group, θ3 pixel group, and θ4 pixel group). The W pixel group has three pixel groups (.theta.1 pixel group, .theta.2 pixel group, and .theta.3 pixel group).

図１１において、太線で囲まれた１２×１２画素の領域は、本実施例の基本配列パターンである正方配列パターンを示している。本実施例の偏光画素配列では、正方配列パターンがｘ軸方向とｙ軸方向の夫々に繰り返し配置されている。図１１では、左下の画素の座標が（０，０）となり、右上の画素の座標が（１１，１１）となるようにｘｙ座標を付している。 In FIG. 11, a region of 12×12 pixels surrounded by a thick line indicates a square array pattern, which is the basic array pattern of this embodiment. In the polarization pixel array of this embodiment, the square array pattern is repeatedly arranged in the x-axis direction and the y-axis direction. In FIG. 11, xy coordinates are given such that the coordinates of the lower left pixel are (0, 0) and the coordinates of the upper right pixel are (11, 11).

本実施例では、画素割合の多いＷ情報の補間と偏光情報の算出が行われ、Ｗの情報を用いてＲＧＢ情報の補間と偏光情報の算出が行われる。画素割合の多いＷ情報を用いることにより、ＲＧＢ情報の補間と偏光情報の算出の精度が向上する。 In this embodiment, interpolation of W information with a large pixel ratio and calculation of polarization information are performed, and interpolation of RGB information and calculation of polarization information are performed using W information. By using W information with a large pixel ratio, the accuracy of interpolation of RGB information and calculation of polarization information is improved.

Ｗ情報の補間は、最近傍の画素で取得されたＷの偏光成分情報を平均することで行われる。各画素で算出されるＷの補間情報は３つ（Ｗ１情報、Ｗ２情報、Ｗ３情報）であるので、偏光情報の算出は重みを付けずに行われる。 The W information is interpolated by averaging the W polarization component information obtained at the nearest neighboring pixels. Since there are three pieces of W interpolation information (W1 information, W2 information, and W3 information) calculated for each pixel, the polarization information is calculated without weighting.

ＲＧＢ情報の補間情報は、各画素でＷの偏光情報によって式（１）から得られるＷの偏光成分情報Ｉ（ｘ，ｙ，θ；Ｗ）と近傍画素で取得された情報とから以下の式（１６）の重み付け平均によって算出される。近傍画素は、補間画素を中心とする９×９画素の近傍領域に含まれる、補間する情報を取得するための画素である The interpolation information of the RGB information is obtained by the following equation from the polarization component information I(x, y, θ; W) of W obtained from Equation (1) by the polarization information of W at each pixel and the information obtained from the neighboring pixels. It is calculated by the weighted average of (16). A neighboring pixel is a pixel for obtaining information to be interpolated, which is included in a neighboring area of 9×9 pixels centered on the interpolation pixel.

ここで、ｌは、近傍画素に割り振られた番号で、全ての近傍画素に対して和を取る。また、重みｗｌは、補間画素間距離による重みと、補間画素と補間元画素の夫々を中心とする３×３画素の近傍領域におけるＷの偏光成分情報Ｉ（ｘ，ｙ，θ；Ｗ）の一致度Δによる重みとの積として、以下の式（１７）で与えられる。 Here, l is a number assigned to neighboring pixels, and the sum is calculated for all neighboring pixels. The weight wl is the weight based on the distance between the interpolated pixels, and the polarization component information I(x, y, θ; W) of W in the 3×3 pixel neighboring region centered on the interpolated pixel and the interpolation source pixel. is given by the following equation (17) as a product of the weight by the matching degree Δ.

なお、σ１，σ２は定数である。図１２は、（４，４）画素を中心とする９×９画素の近傍領域（破線）と３×３画素の近傍領域（鎖線）を示す図である。また、Ｒ１情報を補間する際の（４，４）画素の近傍画素である（４，３）画素と（８，７）画素の夫々を中心とする３×３画素の近傍領域（点線）を示す。なお、近傍領域は本実施例のような正方形に限らず、他の形状であってもよい。また、補間画素や補間元画素が中心でなくてもよい。本実施例では、一致度Δは、以下の式（１８）によって評価される。 Note that σ 1 and σ 2 are constants. FIG. 12 is a diagram showing a 9×9 pixel neighborhood area (dashed line) and a 3×3 pixel neighborhood area (chain line) centering on the (4, 4) pixel. In addition, neighboring regions (dotted lines) of 3×3 pixels around pixels (4, 3) and (8, 7), which are neighboring pixels of the (4, 4) pixel when interpolating the R1 information, are shown. show. It should be noted that the neighboring area is not limited to a square as in the present embodiment, and may have another shape. Also, the interpolation pixel and the interpolation source pixel may not be the center. In this embodiment, the matching degree Δ is evaluated by the following equation (18).

重みｗｌは補間画素間距離が小さく、一致度Δが小さい（一致度が高い）ほど大きくなるので、重みｗｌが大きい偏光成分情報から算出された補間情報は補間精度が高いと考えられる。したがって、本実施例では偏光情報の算出は、算出に用いる各補間情報を求めるのに用いた重みｗｌの平均を各補間情報の重みとして重み付き最小二乗法で行われる。これにより、重み付けをしない場合と比べてより高い精度で偏光情報の算出が可能になる。
［その他の実施例］
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 Since the weight wl increases as the distance between interpolation pixels decreases and the degree of matching Δ decreases (higher degree of matching), interpolation information calculated from polarization component information with a large weight wl is considered to have high interpolation accuracy. Therefore, in this embodiment, the calculation of the polarization information is performed by the weighted least-squares method using the average of the weights wl used to obtain the pieces of interpolation information used for calculation as the weights of the pieces of interpolation information. This makes it possible to calculate polarization information with higher accuracy than when weighting is not performed.
[Other Examples]
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in the computer of the system or apparatus reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 Although preferred embodiments of the present invention have been described above, the present invention is not limited to these embodiments, and various modifications and changes are possible within the scope of the gist.

１３ 補間処理部（取得部）
１４ 偏光情報算出部（算出部）
13 Interpolation processing unit (acquisition unit)
14 polarization information calculator (calculator)

Claims (17)

互いに異なる偏光成分の夫々に主感度を持つ第１から第４の画素の夫々から取得される第１から第４の偏光成分情報に基づく前記第１の画素における複数の補間後の偏光成分情報を取得する取得部と、
前記複数の補間後の偏光成分情報を用いて前記第１の画素における偏光情報を算出する算出部とを有し、
前記算出部は、前記複数の補間後の偏光成分情報のうち精度が高いと推定された情報に精度が低いと推定された情報よりも大きな重みを付けて前記偏光情報を算出することを特徴とする処理装置。 A plurality of pieces of interpolated polarization component information in the first pixel based on first to fourth polarization component information obtained from first to fourth pixels having main sensitivities to respective polarization components different from each other, an acquisition unit that acquires
a calculation unit that calculates polarization information in the first pixel using the plurality of interpolated polarization component information,
The calculation unit calculates the polarization information by assigning a greater weight to information estimated to be highly accurate among the plurality of pieces of polarization component information after interpolation than to information estimated to be less accurate. processing equipment. 前記算出部は、前記複数の補間後の偏光成分情報の夫々の精度を推定することを特徴とする請求項１に記載の処理装置。 2. The processing apparatus according to claim 1, wherein the calculation unit estimates the accuracy of each of the plurality of pieces of interpolated polarization component information. 前記算出部は、前記第１の画素から第１の距離だけ離れた画素から取得される偏光成分情報に基づく補間後の偏光成分情報の精度を、前記第１の画素から前記第１の距離より長い第２の距離だけ離れた画素から取得される偏光成分情報に基づく補間後の偏光成分情報の精度よりも高く推定することを特徴とする請求項２に記載の処理装置。 The calculation unit calculates accuracy of polarization component information after interpolation based on polarization component information acquired from a pixel separated from the first pixel by the first distance from the first pixel by the first distance from the first pixel. 3. The processing apparatus according to claim 2, wherein the estimation is performed with higher accuracy than the interpolated polarization component information based on the polarization component information obtained from pixels separated by a second long distance. 前記算出部は、前記第１の画素の画素値と第１差分だけ異なる画素値に対応する画素から取得される偏光成分情報に基づく補間後の偏光成分情報の精度を、前記第１の画素と前記第１差分より大きい第２差分だけ異なる画素値に対応する画素から取得される偏光成分情報に基づく補間後の偏光成分情報の精度よりも高く推定することを特徴とする請求項２に記載の処理装置。 The calculation unit calculates the accuracy of the polarization component information after interpolation based on the polarization component information obtained from the pixel corresponding to the pixel value that differs from the pixel value of the first pixel by a first difference with the accuracy of the polarization component information of the first pixel. 3. The method according to claim 2, wherein the estimation is performed with higher accuracy than the polarization component information after interpolation based on the polarization component information obtained from pixels corresponding to pixel values that differ by a second difference larger than the first difference. processing equipment. 前記算出部は、近傍領域の画素から取得される偏光成分情報の前記第１の画素の近傍領域の画素から取得される偏光成分情報との一致度が第１の一致度である画素から取得される偏光成分情報に基づく補間後の偏光成分情報の精度を、近傍領域の画素から取得される偏光成分情報の前記第１の画素の近傍領域の画素から取得される偏光成分情報との一致度が前記第１の一致度より小さい第２の一致度である画素から取得される偏光成分情報に基づく補間後の偏光成分情報の精度よりも高く推定することを特徴とする請求項２に記載の処理装置。 The calculating unit obtains the polarization component information obtained from the pixel in the neighboring region from the pixel having a first matching degree with the polarization component information obtained from the pixel in the neighboring region of the first pixel. The degree of matching between the accuracy of the polarization component information after interpolation based on the polarization component information obtained from the polarization component information obtained from the pixels in the neighboring region and the polarization component information obtained from the pixels in the neighboring region of the first pixel is 3. The process according to claim 2, wherein the estimation is performed with a higher precision than the polarization component information after interpolation based on the polarization component information acquired from the pixel having a second matching degree smaller than the first matching degree. Device. 前記近傍領域の画素は、中心となる画素に隣接する画素を含むことを特徴とする請求項５に記載の処理装置。 6. The processing device according to claim 5, wherein the pixels in the neighboring region include pixels adjacent to a central pixel. 前記近傍領域の画素は、中心となる画素に隣接しない画素を含むことを特徴とする請求項５又は６に記載の処理装置。 7. The processing device according to claim 5, wherein the pixels in the neighboring area include pixels that are not adjacent to the central pixel. 前記取得部は、互いに異なる波長帯域の夫々に主感度を持つ第１と第２の色画素に対応する第５と第６の偏光成分情報に基づく前記第１の画素における複数の補間後の偏光成分情報を取得し、
前記第６の偏光成分情報は、前記第１の色画素からの情報を用いて取得され、
前記算出部は、前記複数の補間後の偏光成分情報のうち前記第６の偏光成分情報に基づく情報の精度を推定することを特徴とする請求項１乃至７の何れか一項に記載の処理装置。 The obtaining unit obtains a plurality of interpolated polarizations of the first pixel based on fifth and sixth polarization component information corresponding to first and second color pixels having main sensitivities in wavelength bands different from each other. Get ingredient information,
the sixth polarization component information is obtained using information from the first color pixel;
8. The process according to any one of claims 1 to 7, wherein the calculation unit estimates accuracy of information based on the sixth polarization component information among the plurality of interpolated polarization component information. Device. 前記算出部は、前記第１の色画素の近傍領域の画素から取得される偏光成分情報と前記第２の色画素の近傍領域の画素から取得される偏光成分情報との一致度が高いほど前記精度が高いと推定することを特徴とする請求項８に記載の処理装置。 The calculation unit calculates the above-described 9. The processing apparatus according to claim 8, estimating with high accuracy. 前記算出部は、重み付き最小二乗法を用いて前記偏光情報を算出することを特徴とする請求項１乃至９の何れか一項に記載の処理装置。 10. The processing apparatus according to any one of claims 1 to 9, wherein the calculator calculates the polarization information using a weighted least squares method. 請求項１乃至１０の何れか一項に記載の処理装置と、
第１から第４の画素を備える撮像素子とを有することを特徴とする撮像装置。 A processing apparatus according to any one of claims 1 to 10;
An imaging device, comprising: an imaging element having first to fourth pixels. 前記撮像素子は、第１と第２の色画素群を備え、
前記撮像素子に含まれる全画素に対する前記第１の色画素群に含まれる画素の割合は、前記全画素に対する前記第２の色画素群に含まれる画素の割合より大きく、
前記第１の色画素群は、前記第１から第４の画素のうち３つを含み、
前記第２の色画素群は、前記第１から第４の画素を含むことを特徴とする請求項１１に記載の撮像装置。 The imaging element includes first and second color pixel groups,
a ratio of pixels included in the first color pixel group to all pixels included in the imaging element is larger than a ratio of pixels included in the second color pixel group to all pixels;
the first color pixel group includes three of the first to fourth pixels;
12. The imaging device according to claim 11, wherein the second color pixel group includes the first to fourth pixels. 前記全画素に対する前記第１の色画素群に含まれる画素の割合は、０．５以上であることを特徴とする請求項１２に記載の撮像装置。 13. The imaging apparatus according to claim 12, wherein a ratio of pixels included in said first color pixel group to said total pixels is 0.5 or more. 前記第１の色画素群が主感度を持つ波長成分は、緑の波長成分を含むことを特徴とする請求項１２又は１３に記載の撮像装置。 14. The image pickup apparatus according to claim 12, wherein the wavelength component to which the first color pixel group has primary sensitivity includes a green wavelength component. 請求項１乃至１０の何れか一項に記載の処理装置と、
光学系とを有することを特徴とするレンズ装置。 A processing apparatus according to any one of claims 1 to 10;
and an optical system. 互いに異なる偏光成分の夫々に主感度を持つ第１から第４の画素の夫々から取得される第１から第４の偏光成分情報に基づく前記第１の画素における複数の補間後の偏光成分情報を取得する第１ステップと、
前記複数の補間後の偏光成分情報を用いて前記第１の画素における偏光情報を算出する第２ステップとを有し、
前記第２ステップにおいて、前記複数の補間後の偏光成分情報のうち精度が高いと推定された情報に精度が低いと推定された情報よりも大きな重みを付けて前記偏光情報が算出されることを特徴とする処理方法。 A plurality of pieces of interpolated polarization component information in the first pixel based on first to fourth polarization component information obtained from first to fourth pixels having main sensitivities to respective polarization components different from each other, a first step of obtaining;
a second step of calculating polarization information in the first pixel using the plurality of interpolated polarization component information;
In the second step, the polarization information is calculated by giving greater weight to information estimated to be highly accurate among the plurality of polarization component information after interpolation than to information estimated to be less accurate. Characterized processing method. 請求項１６に記載の処理方法をコンピュータに実行させることを特徴とするプログラム。
A program that causes a computer to execute the processing method according to claim 16.
JP2022013879A 2022-02-01 2022-02-01 Processing device, imaging apparatus, lens device, processing method, and program Pending JP2023112239A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022013879A JP2023112239A (en) 2022-02-01 2022-02-01 Processing device, imaging apparatus, lens device, processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022013879A JP2023112239A (en) 2022-02-01 2022-02-01 Processing device, imaging apparatus, lens device, processing method, and program

Publications (1)

Publication Number Publication Date
JP2023112239A true JP2023112239A (en) 2023-08-14

Family

ID=87562301

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022013879A Pending JP2023112239A (en) 2022-02-01 2022-02-01 Processing device, imaging apparatus, lens device, processing method, and program

Country Status (1)

Country Link
JP (1) JP2023112239A (en)

Similar Documents

Publication Publication Date Title
US10638099B2 (en) Extended color processing on pelican array cameras
JP4235252B2 (en) Image processing device
KR101442313B1 (en) Camera sensor correction
US8259213B2 (en) Digital camera and digital camera system
US9691802B2 (en) Image-acquisition device
JP6422924B2 (en) Imaging apparatus and subject information acquisition method
CN109104599B (en) Distance information generating device and method, image pickup apparatus, mobile unit, and medium
JP5186517B2 (en) Imaging device
JP5927570B2 (en) Three-dimensional imaging device, light transmission unit, image processing device, and program
EP3678361A1 (en) Information processing device, information processing method, program, and interchangeable lens
JP2007006061A (en) Color filter and image pickup apparatus having the same
JP6843682B2 (en) Image sensor and image sensor
JP2023112239A (en) Processing device, imaging apparatus, lens device, processing method, and program
JP2015148498A (en) Distance measurement device and distance measurement method
JP7293020B2 (en) Imaging element and imaging device provided with the same
JP2010276469A (en) Image processor and image processing method of ranging apparatus
JP7057090B2 (en) Distance measuring device and distance measuring method
US20150077600A1 (en) Color filter array and solid-state image sensor
US20210142446A1 (en) Image processing device, image processing method, and non-transitory computer-readable medium
US11982899B2 (en) Image processing device, imaging device, image processing method, and image processing program
WO2024047944A1 (en) Member for calibration, housing device, calibration device, calibration method, and program
US20230090825A1 (en) Optical element assembly, optical apparatus, estimation method, and non-transitory storage medium storing estimation program
Wachira et al. A multi-variate weighted interpolation technique with local polling for bayer CFA demosaicking
Wachira et al. An ordinal direction driven gradient-based RGBW CFA demosaicking technique using a bayerisation process and polyomino theory
US20230410464A1 (en) Image processing device, image processing method, and program