JP2013057769A - Solid state imaging device, imaging device, focus control method and program - Google Patents

Solid state imaging device, imaging device, focus control method and program Download PDF

Info

Publication number
JP2013057769A
JP2013057769A JP2011195590A JP2011195590A JP2013057769A JP 2013057769 A JP2013057769 A JP 2013057769A JP 2011195590 A JP2011195590 A JP 2011195590A JP 2011195590 A JP2011195590 A JP 2011195590A JP 2013057769 A JP2013057769 A JP 2013057769A
Authority
JP
Japan
Prior art keywords
polarizer
pixel
pixels
imaging device
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011195590A
Other languages
Japanese (ja)
Inventor
Hisashi Akiyama
久志 秋山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011195590A priority Critical patent/JP2013057769A/en
Publication of JP2013057769A publication Critical patent/JP2013057769A/en
Withdrawn legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide a new type autofocus technique different from a phase difference autofocus in pixels.SOLUTION: A solid state imaging device has an imaging part with arranged pixels, and further a polarizer is disposed so as to overlap with the pixels of a predetermined number. An imaging device comprises: such a solid state imaging device; and a focusing information processing part for generating focusing information for focus control of an optical system for guiding an object image to the imaging part based on the information outputted from the pixels with the disposed polarizer. The imaging device may further include the optical system for guiding the object image to the imaging part, or may further include a focus control part for performing focus control of the optical system based on the focusing information generated by the focusing information processing part.

Description

本明細書で開示する技術は、固体撮像装置、撮像装置、合焦制御方法、及び、プログラムに関する。   The technology disclosed in this specification relates to a solid-state imaging device, an imaging device, a focus control method, and a program.

ビデオカメラ(ビデオムービー)やデジタルカメラ等の撮像装置において、オートフォーカス(AF:Auto Focus)といった自動焦点(自動合焦)機能を装備したものが知られている。このオートフォーカスについては、例えば、測距のために基準となる信号を自ら出すか出さないかで、アクティブ方式とパッシブ方式に分類される。パッシブ方式の一例として、例えば、特開2011−103335号公報には、固体撮像装置(撮像素子)を利用した位相差オートフォーカス(画素内位相差オートフォーカスと記す)が提案されている。   2. Description of the Related Art An image pickup apparatus such as a video camera (video movie) or a digital camera is known that is equipped with an automatic focus (auto focus) function such as auto focus (AF). This autofocus is classified into an active method and a passive method, for example, depending on whether or not a reference signal for distance measurement is output by itself. As an example of the passive method, for example, Japanese Patent Application Laid-Open No. 2011-103335 proposes phase difference autofocus (referred to as intra-pixel phase difference autofocus) using a solid-state imaging device (imaging device).

特開2011−103335号公報JP 2011-103335 A

画素内位相差オートフォーカスは、例えば撮像素子の開口面積を半分にそれぞれ偏らせて各検知用画素に光学像を入射させる。例えば検知用画素は2画素ペアで相互に半開口としている。ピントがジャスピン(perfect focus)からずれると像が分離し、さらに前ピン(被写体よりも前にピントが合っている状態)と後ピン(被写体よりも後ろにピントが合っている状態)とで、像の分離方向が逆になるという特質がある。集光状態と開口のサイドの関係から相対する画素群の輝度分布が逆方向となることに基づく。このことが予め分かっているため、合焦の方向が分かる。そこで、この合焦の方向が予め分かっていることに基づき、ずれ量を検出してオートフォーカスを行なうようにしている。そのため、画素内での情報のみを使用した処理が可能であるという特徴がある。   Intra-pixel phase difference autofocus, for example, deflects the aperture area of the image sensor in half and causes an optical image to enter each detection pixel. For example, the detection pixels have two pixel pairs that are mutually half-open. When the focus shifts from the perfect focus, the image is separated, and the front focus (in focus before the subject) and the back focus (in focus behind the subject) There is a characteristic that the image separation direction is reversed. This is based on the fact that the luminance distribution of the opposed pixel groups is in the opposite direction based on the relationship between the condensing state and the aperture side. Since this is known in advance, the in-focus direction is known. Therefore, based on the fact that the in-focus direction is known in advance, the shift amount is detected and autofocus is performed. Therefore, there is a feature that processing using only information in a pixel is possible.

しかしながら、画素内位相差オートフォーカスでは、その手法が撮像素子の開口面積を半分にそれぞれ偏らせての素子利用であるため、各検知用画素の出力が落ちてしまい、両者の信号差が小さくなり、誤検知を起こし易い難点がある。又、2枚の画像の比較が必要なため、それなりに高速処理が必須になる難点もある。   However, in the intra-pixel phase difference autofocus, the method is to use the element with the aperture area of the image sensor biased in half, so the output of each detection pixel drops and the signal difference between the two decreases. There is a drawback that false detection is likely to occur. In addition, since it is necessary to compare two images, there is a problem that high-speed processing is essential.

従って、本開示の目的は、画素内位相差オートフォーカスとは異なる新たな方式のオートフォーカスの技術を提供することにある。好適には、複数枚の画像を必要とすることなく、誤検知を起こし難いオートフォーカスの技術を提供することを目的とする。   Accordingly, an object of the present disclosure is to provide a new autofocus technique different from the in-pixel phase difference autofocus. Preferably, an object of the present invention is to provide an autofocus technique that does not require a plurality of images and is less prone to erroneous detection.

本開示の第1の態様に係る撮像装置は、画素が配列された撮像部を有し、更に、所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置と、偏光子が配置された画素から出力された情報に基づいて、被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報を生成する合焦情報処理部とを備えている。本開示の第1の態様に係る撮像装置の従属項に記載された各撮像装置は、本開示の第1の態様に係る撮像装置のさらなる有利な具体例を規定する。   An imaging device according to a first aspect of the present disclosure includes an imaging unit in which pixels are arranged, and further, a solid-state imaging device in which a polarizer is arranged so as to overlap a predetermined number of pixels as a target. And an in-focus information processing unit that generates in-focus information for focus control of the optical system that guides the subject image to the imaging unit based on information output from the pixel in which the polarizer is arranged. Each imaging device described in the dependent claims of the imaging device according to the first aspect of the present disclosure defines further advantageous specific examples of the imaging device according to the first aspect of the present disclosure.

本開示の第2の態様に係る固体撮像装置は、画素が配列された撮像部を有し、更に、撮像部の中央領域の所定数の画素を対象として、当該画素に重なるように偏光子が配置されており、撮像部の周辺領域の画素については、偏光子が配置されていないものである。   The solid-state imaging device according to the second aspect of the present disclosure includes an imaging unit in which pixels are arranged, and further, with a predetermined number of pixels in the central region of the imaging unit as targets, a polarizer is overlapped with the pixels. For the pixels in the peripheral area of the imaging unit that are arranged, no polarizer is arranged.

撮像装置や固体撮像装置はワンチップとして形成された形態であってもよいし、撮像部と、信号処理部又は光学系とが纏めてパッケージングされた、撮像機能を有するモジュール状の形態であってもよい。撮像装置は、例えば、カメラ(或いはカメラシステム)や携帯機器等の電子機器において撮像機能を実現するために使用される。また「撮像」は、通常のカメラ撮影時の像の撮り込みだけではなく、広義の意味として、指紋検出や、タッチパネル等の物理量分布検知半導体装置或いは物理情報取得装置(物理量分布検知装置)において物理量分布として圧力を利用して像情報を取得することも含む。   The imaging device or the solid-state imaging device may have a form formed as a single chip, or may be a modular form having an imaging function in which an imaging unit and a signal processing unit or an optical system are packaged together. May be. The imaging device is used, for example, to realize an imaging function in an electronic device such as a camera (or camera system) or a portable device. “Imaging” is not limited to capturing an image during normal camera shooting, but in a broad sense, it is a physical quantity in fingerprint detection, a physical quantity distribution detection semiconductor device such as a touch panel, or a physical information acquisition apparatus (physical quantity distribution detection apparatus). It also includes acquiring image information using pressure as a distribution.

本開示の第3の態様に係る撮像装置の合焦制御方法は、画素が配列された撮像部を有し、更に、所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置の偏光子が配置されている画素から出力された信号に基づいて、被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報を生成する工程と、合焦情報を用いて、光学系のオートフォーカス制御を行なう工程とを有する。   An in-focus control method for an imaging apparatus according to a third aspect of the present disclosure includes an imaging unit in which pixels are arranged, and a polarizer is disposed so as to overlap a predetermined number of pixels. Generating focus information for focus control of an optical system that guides an object image to an imaging unit based on a signal output from a pixel in which a polarizer of a solid-state imaging device is disposed; and focusing information And a step of performing autofocus control of the optical system.

本開示の第4の態様に係るプログラムは、画素が配列された撮像部を有し、更に、所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置の偏光子が配置されている画素から出力された信号に基づいて生成された、被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報に基づいて、光学系のフォーカス制御を行なうフォーカス制御部としてコンピュータを機能させるプログラムである。プログラムは、コンピュータ読取り可能な記憶媒体に格納されて提供されてもよいし、有線あるいは無線による通信手段を介した配信により提供されてもよい。   A program according to a fourth aspect of the present disclosure includes a solid-state imaging device that includes an imaging unit in which pixels are arranged, and further, for a predetermined number of pixels, a polarizer is disposed so as to overlap the pixels. Focus control that performs focus control of the optical system based on focus information for focus control of the optical system that guides the subject image to the imaging unit, generated based on the signal output from the pixel in which the polarizer is disposed A program that causes a computer to function as a unit. The program may be provided by being stored in a computer-readable storage medium, or may be provided by distribution via wired or wireless communication means.

本開示の第2の態様に係る固体撮像装置、本開示の第3の態様に係る合焦制御方法、本開示の第4の態様に係るプログラムのそれぞれにおいては、本開示の第1の態様に係る撮像装置の従属項に記載された各技術・手法が同様に適用可能であり、それが適用された構成は、本開示の第2の態様に係る固体撮像装置、本開示の第3の態様に係る合焦制御方法、本開示の第4の態様に係るプログラムのさらなる有利な具体例を規定する。   In each of the solid-state imaging device according to the second aspect of the present disclosure, the focus control method according to the third aspect of the present disclosure, and the program according to the fourth aspect of the present disclosure, the first aspect of the present disclosure The technologies and methods described in the dependent claims of the imaging device can be similarly applied, and the configuration to which the technology / method is applied is a solid-state imaging device according to the second aspect of the present disclosure, and a third aspect of the present disclosure. Further advantageous specific examples of the focus control method according to the present invention and the program according to the fourth aspect of the present disclosure are defined.

要するに、本明細書で開示する技術では、少なくとも撮像部の中央領域の所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置を使用する。そして、偏光子が配置されている画素から出力された信号に基づいて、被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報を生成し、この合焦情報を使用して光学系のフォーカス制御を行なう。一般的な固体撮像装置にあっては、画素(詳しくは光電変換部等)そのものは偏光に対して感度を有していないが、本開示の技術にあっては、偏光子を画素に配置して特定の方向の偏光成分を検知可能に構成し、偏光子が配置された画素(偏光画素)の検知情報をオートフォーカス制御に利用する。偏光画素から出力される検知情報は、従来から知られている種々のオートフォーカス制御(例えば山登り制御方式)用の情報として利用することができる。固体撮像装置に関しては偏光子を特定の画素に配置する必要性はあるが、その製造技術自体は公知の技術を利用することができ、又、オートフォーカス用の制御アルゴリズムを新たに開発しなくても既存の制御技術を利用できるので、本開示の技術の実現は容易である。   In short, the technique disclosed in the present specification uses a solid-state imaging device in which a predetermined number of pixels in at least the central region of the imaging unit are targeted and a polarizer is arranged so as to overlap the pixels. Then, based on the signal output from the pixel in which the polarizer is arranged, focusing information for focus control of the optical system that guides the subject image to the imaging unit is generated, and the optical system is used by using this focusing information. Focus control is performed. In a general solid-state imaging device, a pixel (specifically, a photoelectric conversion unit or the like) itself does not have sensitivity to polarized light. However, in the technique of the present disclosure, a polarizer is disposed in a pixel. Thus, a polarization component in a specific direction can be detected, and detection information of a pixel (polarization pixel) in which a polarizer is arranged is used for autofocus control. The detection information output from the polarization pixel can be used as information for various conventionally known autofocus controls (for example, hill climbing control methods). For solid-state imaging devices, there is a need to place a polarizer on a specific pixel, but the manufacturing technology itself can use a known technology, and a new control algorithm for autofocus has not been developed. In addition, since the existing control technology can be used, it is easy to realize the technology of the present disclosure.

本開示の第1の態様に係る撮像装置、本開示の第2の態様に係る固体撮像装置、本開示の第3の態様に係る合焦制御方法、本開示の第4の態様に係るプログラムによれば、画素内位相差オートフォーカスとは異なる新たな方式のオートフォーカスの技術を提供することができる。これにより、仕様や用途に合わせたオートフォーカス方式の選択の幅を広げることができる。画素内位相差オートフォーカスとは異なり、撮像素子の開口面積を半分にそれぞれ偏らせての素子利用ではないので、出力信号差が小さくなることに起因する誤検知の問題は起きない。   An imaging apparatus according to the first aspect of the present disclosure, a solid-state imaging apparatus according to the second aspect of the present disclosure, a focus control method according to the third aspect of the present disclosure, and a program according to the fourth aspect of the present disclosure. Accordingly, it is possible to provide a new autofocus technique different from the in-pixel phase difference autofocus. As a result, the range of selection of the autofocus method according to the specifications and applications can be expanded. Unlike the in-pixel phase difference autofocus, since the element is not used with the aperture area of the image sensor biased in half, there is no problem of false detection due to the small output signal difference.

図1は、コントラストオートフォーカスを説明する図である。FIG. 1 is a diagram for explaining contrast autofocus. 図2は、位相差検知オートフォーカスを説明する図である。FIG. 2 is a diagram for explaining phase difference detection autofocus. 図3は、画素内位相差オートフォーカスを説明する図である。FIG. 3 is a diagram for explaining intra-pixel phase difference autofocus. 図4は、偏光による反射率の角度依存の挙動を説明する図である。FIG. 4 is a diagram illustrating the angle-dependent behavior of the reflectance due to polarized light. 図5(A)〜図5(B)は、偏光状態によって反射率が変化することを説明する図である。FIG. 5A to FIG. 5B are diagrams for explaining that the reflectance changes depending on the polarization state. 図6(A)〜図6(B)は、電場と磁場の実振幅の違いを説明する図である。FIG. 6A to FIG. 6B are diagrams for explaining the difference between the actual amplitudes of the electric field and the magnetic field. 図7は、偏光画素の出力信号の合焦状態の依存性を説明する図である。FIG. 7 is a diagram for explaining the dependence of the output signal of the polarization pixel on the in-focus state. 図8(A)〜図8(B)は、TM波用の偏光子とTE波用の偏光子との対を、「オートフォーカス対象の領域」の4箇所に配置した場合の偏光画素の出力例を示す図である。FIG. 8A to FIG. 8B show the output of a polarization pixel when TM wave polarizers and TE wave polarizer pairs are arranged at four locations of “autofocus target regions”. It is a figure which shows an example. 図9(A)〜図9(B)は、オートフォーカス制御用の指標値の算出手法を説明する図(その1)である。FIGS. 9A to 9B are diagrams (part 1) for explaining a method for calculating an index value for autofocus control. 図10(A)〜図10(B)は、オートフォーカス制御用の指標値の算出手法を説明する図(その2)である。FIGS. 10A to 10B are diagrams (part 2) for explaining a method of calculating an index value for autofocus control. 図11は、比較例の偏光子の配置例を示す図である。FIG. 11 is a diagram illustrating an arrangement example of polarizers of a comparative example. 図12は、実施例1の偏光子の配置例を示す図である。FIG. 12 is a diagram illustrating an arrangement example of the polarizer according to the first embodiment. 図13(A)〜図13(B)は、偏光子画素の配置位置を説明する図である。FIG. 13A to FIG. 13B are diagrams for explaining the arrangement positions of the polarizer pixels. 図14は、感度補正非対象範囲の規定原理を説明する図である。FIG. 14 is a diagram for explaining the principle of defining the sensitivity correction non-target range. 図15は、感度補正処理に使用される2種類のパターン化偏光子の特性例を説明する図である。FIG. 15 is a diagram for explaining a characteristic example of two types of patterned polarizers used for sensitivity correction processing. 図16は、固体撮像装置に偏光子を積層する手法を説明する図である。FIG. 16 is a diagram illustrating a method of stacking a polarizer on a solid-state imaging device. 図17は、撮像装置の一実施形態を示す図である。FIG. 17 is a diagram illustrating an embodiment of an imaging apparatus. 図18は、撮像装置及び画像処理装置の信号処理系の構成例を説明する図である。FIG. 18 is a diagram illustrating a configuration example of a signal processing system of the imaging device and the image processing device. 図19は、撮像装置におけるオートフォーカス処理の処理手順の一例を示すフローチャートである。FIG. 19 is a flowchart illustrating an example of a processing procedure of autofocus processing in the imaging apparatus. 図20は、実施例2の偏光子の配置例を示す図である。FIG. 20 is a diagram illustrating an arrangement example of the polarizer according to the second embodiment. 図21は、実施例3の偏光子の配置例を示す図である。FIG. 21 is a diagram illustrating an arrangement example of the polarizer according to the third embodiment. 図22は、実施例4の偏光子の配置例を示す図である。FIG. 22 is a diagram illustrating an arrangement example of the polarizer according to the fourth embodiment. 図23は、本実施形態の画素内偏光オートフォーカスと従前の他のオートフォーカス方式とを対比した図表である。FIG. 23 is a chart comparing the in-pixel polarization autofocus according to the present embodiment and other conventional autofocus methods. 図24は、本実施形態の画素内偏光オートフォーカスと感度補正とを対比した図表である。FIG. 24 is a chart comparing in-pixel polarization autofocus and sensitivity correction according to the present embodiment.

以下、図面を参照して、本明細書で開示する技術の実施形態について詳細に説明する。各機能要素について形態別に区別する際にはアルファベット或いは“_n”(nは数字)或いはこれらの組合せの参照子を付して記載し、特に区別しないで説明する際にはこの参照子を割愛して記載する。図面においても同様である。   Hereinafter, embodiments of the technology disclosed in this specification will be described in detail with reference to the drawings. When distinguishing each functional element according to its form, an alphabet or “_n” (n is a number) or a combination of these is given as a reference, and this reference is omitted when it is not particularly distinguished. To be described. The same applies to the drawings.

説明は以下の順序で行なう。
1.全体概要
2.オートフォーカス方式の比較例
3.偏光による反射率の角度依存性について
4.斜め入射、偏光、反射率の関係
5.本実施形態のオートフォーカスの原理
6.実施例1:偏光子の配置位置、偏光子画素の配置位置
偏光子を周辺領域に配置する場合の感度補正、
固体撮像装置に偏光子を積層する手法、
撮像装置:全体概要
撮像装置及び画像処理装置、処理手順
7.実施例2:
8.実施例3
9.実施例4
10.本実施形態の纏め:オートフォーカス、感度補正
The description will be made in the following order.
1. Overall overview 2. Comparative example of auto focus method 3. Angle dependence of reflectivity due to polarized light 4. Relationship between oblique incidence, polarization, and reflectance 5. Principle of autofocus of this embodiment Example 1: Arrangement position of polarizer and arrangement position of polarizer pixel
Sensitivity correction when placing polarizers in the surrounding area,
A method of stacking a polarizer on a solid-state imaging device;
Imaging device: Overview
6. Imaging device, image processing device, processing procedure Example 2:
8). Example 3
9. Example 4
Ten. Summary of this embodiment: Autofocus, sensitivity correction

<全体概要>
先ず、基本的な事項について以下に説明する。本明細書で開示する撮像装置、固体撮像装置、合焦制御方法、プログラムにおいては、先ず、少なくとも撮像部の中央領域の所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置を使用する。偏光子の配置態様が如何様であっても、単純に偏光子を配した画素(偏光画素)から得られる偏光情報(いわゆる輝度情報)をオートフォーカス制御用に利用するので、高速処理が可能である。画素内位相差オートフォーカスでは検出不可能な、例えば全面赤の被写体や全面青の被写体、中央赤、中央青の被写体等でも合焦状態に依存した偏光情報が得られるため、これらの画像においても正確な合焦位置を検出することができる。
<Overview>
First, basic items will be described below. In the imaging device, the solid-state imaging device, the focus control method, and the program disclosed in this specification, first, a polarizer is disposed so as to overlap at least a predetermined number of pixels in the central region of the imaging unit. Use a solid-state imaging device. Regardless of the arrangement of polarizers, high-speed processing is possible because polarization information (so-called luminance information) obtained from pixels (polarization pixels) with a simple polarizer is used for autofocus control. is there. Polarization information that depends on the in-focus state can be obtained even for subjects such as full-color red subjects, full-color blue subjects, central red, and central blue subjects that cannot be detected with in-pixel phase difference autofocus. An accurate in-focus position can be detected.

偏光画素から出力される検知情報を使用した合焦位置の判定には、従来から知られている種々のオートフォーカス制御(例えば山登り制御方式)の技術を利用することができる。例えば、通常の山登りサーボ方式では、映像信号のコントラストが、できるだけ最大になるように光学焦点調整機構を制御して、コントラストのできるだけ高い位置を探索することにより、自動的に焦点調整を行なう。本明細書で開示する技術にあっては、コントラストに代えて、偏光画素から出力される検知情報を使い、その他は既存の山登りサーボ方式(もちろんこの方式には限らないが)の技術をそのまま流用することができる。固体撮像装置に関しては偏光子を特定の画素に配置する必要性はあるが、その他は既存の方式のまあでよく、装置規模をさほど増大させることなく応答の速いオートフォーカスを実現できる。   For the determination of the in-focus position using the detection information output from the polarization pixel, various conventionally known autofocus control (for example, mountain climbing control methods) techniques can be used. For example, in a normal hill-climbing servo system, the optical focus adjustment mechanism is controlled so that the contrast of the video signal is maximized, and the focus adjustment is automatically performed by searching for a position with the highest contrast. In the technology disclosed in this specification, detection information output from a polarization pixel is used in place of contrast, and the other hill-climbing servo method (although not limited to this method) is used as it is. can do. With respect to the solid-state imaging device, it is necessary to arrange a polarizer at a specific pixel, but the other methods can be used as they are, and an autofocus with a quick response can be realized without increasing the device scale.

撮像装置の製品形態としては、偏光画素(偏光子が配置されている画素)を撮像部に備える固体撮像装置と、偏光画素から出力された情報に基づいて被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報を生成する合焦情報処理部とを備えた構成を最小構成要素とする。そして、製品仕様に合わせて、この最小構成要素に対して、例えば、合焦情報処理部により生成された合焦情報に基づいて光学系のフォーカス制御を行なうフォーカス制御部を備えた構成や、被写体像を撮像部に導く光学系を備えた構成、或いは、光学系及びフォーカス制御部の双方を備えた構成等とすることができる。   As a product form of the imaging device, there are a solid-state imaging device including a polarization pixel (a pixel in which a polarizer is disposed) in an imaging unit, and an optical system that guides a subject image to the imaging unit based on information output from the polarization pixel. A configuration including a focus information processing unit that generates focus information for focus control is defined as a minimum component. In accordance with the product specifications, for example, a configuration including a focus control unit that performs focus control of the optical system based on the focus information generated by the focus information processing unit, or a subject, A configuration including an optical system that guides an image to the imaging unit, a configuration including both an optical system and a focus control unit, or the like can be employed.

偏光子は、撮像領域全体に配置する必要はなく、少なくとも「オートフォーカス対象の領域」に配置されていればよく、その領域内の全ての画素に偏光子が配置されていることも必須ではなく、例えば、所定数の画素を一単位とするブロックごとに、ブロック内の総画素数よりも少ない数(例えば1個〜数個)の画素を対象として、当該画素に重なるように偏光子が配置されていればよい。   The polarizer does not need to be disposed in the entire imaging region, and is only required to be disposed in at least the “autofocus target region”, and it is not essential that the polarizer is disposed in all pixels in the region. For example, for each block having a predetermined number of pixels as one unit, a number of pixels (for example, one to several) smaller than the total number of pixels in the block are targeted, and a polarizer is arranged so as to overlap the pixels. It only has to be done.

好適には、ブロック内に、それぞれ異なる角度の偏光主軸を有する複数種類の偏光子が配置されているのがよい。つまり、ブロック内の各偏光子の偏光角は異なっているのがよい。例えば、偏光子の偏光主軸の角度の種類をNとしたとき、それぞれの角度差は180/Nであるのがよい。典型的には(最も好適なシンプルな構成では)、2画素ペアで、相互に異なる偏光状態(典型的には偏光角の差が90度)を検出し、その検知情報を使用して予め定められた算術式に基づいて指標値を算出し、算出された指標値に基づいて合焦判定や光学系のフォーカス制御を行なう。もちろんこのことは必須でなく、ブロック相互間の各偏光子の偏光角はランダムに配置されたものであってもよい。   Preferably, a plurality of types of polarizers each having a polarization main axis at a different angle are arranged in the block. In other words, the polarization angles of the polarizers in the block should be different. For example, when the type of the angle of the polarization main axis of the polarizer is N, each angle difference is preferably 180 / N. Typically (in the most preferred simple configuration), two pixel pairs detect different polarization states (typically 90 degrees of polarization angle difference) and use that sensing information to determine in advance. An index value is calculated based on the calculated arithmetic expression, and focus determination and optical system focus control are performed based on the calculated index value. Of course, this is not essential, and the polarization angle of each polarizer between the blocks may be randomly arranged.

本開示に係る技術にあっては、好ましくは、複数種類の偏光子の1つはTE波相当のみを通す偏光子であり、複数種類の偏光子のもう1つはTM波相当のみを通す偏光子であるとよい。例えば、ブロック内にそれぞれ異なる偏光主軸を有する2種類の偏光子が配置されている構成をとることができる。この場合、その一方の偏光子はTE波相当のみを通す偏光子であり、他方の偏光子はTM波相当のみを通す偏光子であるのがよい。もちろん、TE波相当のみを通す偏光子とTM波相当のみを通す偏光子との組合せ(水平垂直の偏光子の組合せ)に限らず、45度の偏光波相当のみを通す偏光子と135度の偏光波相当のみを通す偏光子との組合せ(斜め方向の偏光子の組合せ)にしてもよいし、更には、水平垂直の偏光子及び斜め方向の偏光子の組合せにしてもよい。例えば、一般的な被写体像を考えた場合、横縞模様と縦縞模様の何れかに着目してオートフォーカス制御を行なえば十分であり、この場合、TE波相当のみを通す偏光子とTM波相当のみを通す偏光子との組合せとすればよい。又、斜め縞模様に着目してオートフォーカス制御を行なう必要がある場合であれば、45度の偏光波相当のみを通す偏光子と135度の偏光波相当のみを通す偏光子との組合せにすればよい。   In the technology according to the present disclosure, preferably, one of the plurality of types of polarizers is a polarizer that passes only the TE wave, and the other of the plurality of types of polarizers is a polarization that passes only the TM wave. It is good to be a child. For example, it is possible to adopt a configuration in which two types of polarizers having different polarization main axes are arranged in the block. In this case, one of the polarizers may be a polarizer that passes only the TE wave, and the other polarizer may be a polarizer that passes only the TM wave. Of course, not only the combination of a polarizer that passes only the TE wave equivalent and a polarizer that passes only the TM wave (a combination of horizontal and vertical polarizers), a polarizer that passes only the 45-degree polarized wave and a 135-degree polarizer It may be a combination with a polarizer that passes only the polarized wave (a combination of oblique polarizers), or a combination of a horizontal and vertical polarizer and an oblique polarizer. For example, when considering a general subject image, it is sufficient to perform autofocus control by paying attention to either a horizontal stripe pattern or a vertical stripe pattern. In this case, only a polarizer that passes only TE waves and a TM wave equivalent are used. What is necessary is just to set it as the combination with the polarizer which lets it pass. If it is necessary to perform autofocus control by paying attention to diagonal stripes, a combination of a polarizer that passes only 45-degree polarized waves and a polarizer that passes only 135-degree polarized waves is used. That's fine.

本開示に係る技術は、色分離を行なうカラーフィルタを有しているいわゆるカラー画像撮像用の固体撮像装置や撮像装置に適用することができる。この場合、ブロック内のカラーフィルタの一組の同色画素又は同色に準じる画素に重なるように偏光子が配置されているのが好ましい。例えば、カラーフィルタは、緑色又は緑色に準じる色の色フィルタを複数持つ場合、好ましくは、緑色又は緑色に準じる色の色フィルタと重なるように複数の偏光子が配置されているとよい。この場合、複数種類の偏光子の1つはTE波相当のみを通す偏光子であり、複数種類の偏光子のもう1つはTM波相当のみを通す偏光子であるとよい。   The technology according to the present disclosure can be applied to a so-called color image capturing solid-state imaging device or imaging device having a color filter for performing color separation. In this case, it is preferable that the polarizer is arranged so as to overlap with a set of the same color pixels in the block or pixels conforming to the same color. For example, when the color filter has a plurality of color filters of green or a color conforming to green, a plurality of polarizers are preferably arranged so as to overlap with a color filter of a color conforming to green or green. In this case, one of the plurality of types of polarizers may be a polarizer that passes only the TE wave, and the other of the plurality of types of polarizers may be a polarizer that passes only the TM wave.

「同色に準じる画素」或いは「緑色に準じる色」とは、完全に同じ色であることに限定されないことを意味し、実質的に同色と見なせる場合や、同色ではないが、同系統と云える色も含む意味である。例えば、緑に対して黄緑や青緑は「同色」に準じる色の関係にあると見做す。例えば、色再現を改善するために、赤(R)、緑(G)、青(B)の3色だったカラーフィルタに、エメラルド(青緑)を加え4色とする場合における緑とエメラルドとは「同色」に準じる色の関係にあると見做す。   “Pixels conforming to the same color” or “colors conforming to the green color” means that they are not limited to the same color, and can be regarded as substantially the same color, or can be said to be the same system although not the same color. It also includes color. For example, yellow-green and blue-green are considered to have a color relationship according to “same color” with respect to green. For example, in order to improve color reproduction, green and emerald in the case of four colors by adding emerald (blue green) to the color filter that was three colors of red (R), green (G), and blue (B) Is considered to have a color relationship according to “same color”.

本開示に係る技術において、カラーフィルタが例えば、2つの緑色と1つの赤色と1つの青色の各色フィルタがベイヤー配列されている場合は、緑色の色フィルタと重なるように2種類の偏光子が配置されているのがよく、この場合には、一方の偏光子はTE波相当のみを通す偏光子であり、他方の偏光子はTM波相当のみを通す偏光子であるのがよい。   In the technology according to the present disclosure, for example, when two color filters of green, one red, and one blue are arranged in a Bayer array, two types of polarizers are arranged so as to overlap with the green color filter. In this case, it is preferable that one polarizer is a polarizer that passes only the TE wave, and the other polarizer is a polarizer that passes only the TM wave.

本開示に係る技術においては、ブロック内には、1種類の偏光子が1つ配置されていてもよい。この場合、偏光子は、TE波相当のみを通す偏光子とTM波相当のみを通す偏光子の何れかであるとよい。或いは又、45度の偏光波相当のみを通す偏光子と135度の偏光波相当のみを通す偏光子の何れかとしてもよい。例えば、一般的な被写体像を考えた場合、横縞模様と縦縞模様の何れかに着目してオートフォーカス制御を行なえば十分であり、横縞模様に着目する場合であればTE波相当のみを通す偏光子を使用すればよいし、縦縞模様に着目する場合であればTM波相当のみを通す偏光子を使用すればよい。又、斜め縞模様に着目してオートフォーカス制御を行なう必要がある場合であれば、右斜め上方向の縞模様に着目する場合であれば45度の偏光波相当のみを通す偏光子を使用すればよいし、左斜め上方向の縞模様に着目する場合であれば135度の偏光波相当のみを通す偏光子を使用すればよい。   In the technology according to the present disclosure, one type of polarizer may be arranged in the block. In this case, the polarizer may be either a polarizer that passes only the TE wave or a polarizer that passes only the TM wave. Alternatively, either a polarizer that passes only a 45-degree polarized wave or a polarizer that passes only a 135-degree polarized wave may be used. For example, when considering a general subject image, it is sufficient to perform autofocus control by focusing on either horizontal stripes or vertical stripes. A polarizer may be used, and if attention is paid to a vertical stripe pattern, a polarizer that passes only the TM wave may be used. If it is necessary to focus on the diagonal stripe pattern and perform autofocus control, use a polarizer that passes only 45-degree polarized waves if the focus is on the upper right diagonal stripe pattern. In the case where attention is paid to the stripe pattern in the upper left direction, a polarizer that passes only a 135-degree polarized wave may be used.

例えば、色分離を行なうカラーフィルタを有し、カラーフィルタは、2つの緑色と1つの赤色と1つの青色の各色フィルタがベイヤー配列されている場合であれば、緑色の色フィルタと重なるように、TE波相当のみを通す偏光子とTM波相当のみを通す偏光子の何れかが配置されているとよい。或いは又、45度の偏光波相当のみを通す偏光子と135度の偏光波相当のみを通す偏光子の何れかが配置されていてもよい。   For example, a color filter that performs color separation is provided, and when the color filters are arranged in a Bayer arrangement of two green, one red, and one blue color, the color filter overlaps with the green color filter. Either a polarizer that passes only the TE wave or a polarizer that passes only the TM wave may be arranged. Alternatively, either a polarizer that passes only the 45-degree polarized wave or a polarizer that passes only the 135-degree polarized wave may be disposed.

本開示に係る技術においては、動画撮像時に信号が読み出されない画素に重なるように偏光子が配置されていてもよい。動画時の信号処理に負荷を掛けることはない。   In the technology according to the present disclosure, a polarizer may be arranged so as to overlap a pixel from which a signal is not read out during moving image capturing. There is no load on signal processing during video.

本開示に係る技術においては、撮像部の全領域に亘って偏光子が配置されていることに限らず、一部分に偏光子が配置されていてもよい。特に、オートフォーカス制御という点に着目した場合、主たる被写体(注目被写体)が通常、何処に配置されるかに応じて、偏光子を配置する「オートフォーカス対象の領域」を決めればよい。典型的には、オートフォーカスは通常被写体の中心位置で実現されることが望ましいので、偏光子は、少なくとも撮像部の中央領域に配置されていることが望ましい。   In the technology according to the present disclosure, the polarizer is not limited to being disposed over the entire area of the imaging unit, and the polarizer may be disposed in part. In particular, when focusing on the point of autofocus control, an “autofocus target area” in which a polarizer is disposed may be determined according to where the main subject (target subject) is usually disposed. Typically, it is desirable that the autofocus is usually realized at the center position of the subject. Therefore, it is desirable that the polarizer is disposed at least in the central region of the imaging unit.

本開示に係る技術においては、偏光子は、撮像部の周辺領域にも配置されていてもよい。この場合、周辺領域の偏光子が配置された画素から出力される検知情報は、オートフォーカス制御に利用されてもよいし、周辺領域において発生し得る固体撮像装置上と肉眼上で感じる明るさの大小関係の逆転現象を補正するための感度補正に利用されてもよい。因みに、中央領域と周辺領域の区分けは例えば、TE波成分とTE波成分との差が、画素の信号出力に対して1/50程度未満の差しかつかない領域を中央領域とし、その周辺部を周辺領域とすればよい。   In the technology according to the present disclosure, the polarizer may be disposed also in the peripheral region of the imaging unit. In this case, the detection information output from the pixels in which the polarizers in the peripheral area are arranged may be used for autofocus control, or the brightness that can be generated on the solid-state imaging device and the naked eye that may occur in the peripheral area. It may be used for sensitivity correction to correct the magnitude reversal phenomenon. By the way, for example, the central area and the peripheral area are divided into areas where the difference between the TE wave component and the TE wave component is less than about 1/50 of the signal output of the pixel as the central area, and the peripheral area is defined as the central area. The peripheral area may be used.

<オートフォーカス方式の比較例>
最初に、本開示のオートフォーカスの理解を容易にするべく、比較例のオートフォーカスについて説明する。図23も参照するとよい。
<Comparison example of autofocus method>
First, in order to facilitate understanding of the autofocus of the present disclosure, the autofocus of the comparative example will be described. Reference may also be made to FIG.

[コントラストオートフォーカス]
図1は、コントラストオートフォーカスを説明する図である。ここで、図1(A)は、ピントが合っている状態を示し、図1(C)は、ピントがずれている状態を示し、図1(B)は、それらの中間状態を示す。
[Contrast autofocus]
FIG. 1 is a diagram for explaining contrast autofocus. Here, FIG. 1 (A) shows a state in focus, FIG. 1 (C) shows a state out of focus, and FIG. 1 (B) shows an intermediate state thereof.

コントラストオートフォーカスは、画素信号の出力観察を行なって合焦状態を検出するものであり、コントラストオートフォーカスでは、ピントが合っている状態では、図1(A)に示すように、コントラストが高く、逆に、ピントがずれている状態では、図1(C)に示すように、コントラストが低くなる。そこで、全面スキャンをし、輝度コントラストが大となる状態を検出して、合焦検知を行なう、つまり、コントラストが大きければ合焦と判定する。このコントラストオートフォーカスは、画素信号の出力観察で対応可能であるため撮像用のセンサ(固体撮像装置)を活用できるが、焦点をずらして複数枚撮像する必要があるため(何度もスキャンするため)、応答(レスポンス)が遅く、オートフォーカススピードが遅いという欠点がある。つまり、被写体全面の周波数解析を判断材料とするため、かなりの枚数取得が必要でありその分時間を要する。又、周波数の高い画像の場合は、MTF(Modulation Transfer Function)等の関係で合焦状態でも輝度コントラストが小さくなるため、周波数の高い画像の検知が苦手である。つまり、手法が高周波・低周波の分析であることから、元々、高周波の被写体に対しては苦手とする面がある。   Contrast autofocus is an output observation of pixel signals to detect the in-focus state. In contrast autofocus, as shown in FIG. On the other hand, in a state where the focus is shifted, the contrast becomes low as shown in FIG. Therefore, the entire surface is scanned to detect a state where the luminance contrast is large, and focus detection is performed. In other words, if the contrast is large, it is determined that the focus is in focus. This contrast autofocus can be used for output observation of pixel signals, so an imaging sensor (solid-state imaging device) can be used. However, since it is necessary to take multiple images with different focal points (to scan many times) ), The response is slow, and the autofocus speed is slow. In other words, since the frequency analysis of the entire surface of the subject is used as a judgment material, it is necessary to acquire a considerable number of sheets, which takes time. Further, in the case of an image with a high frequency, the luminance contrast becomes small even in a focused state due to MTF (Modulation Transfer Function) or the like, so that it is difficult to detect an image with a high frequency. In other words, since the method is a high-frequency / low-frequency analysis, it is inherently not good for high-frequency subjects.

[位相差検知オートフォーカス]
図2は、位相差検知オートフォーカスを説明する図である。位相差検知オートフォーカスでは、レンズを通して取り込んだ光をセパレートレンズで分離して各別の位相差検出用のセンサ(通常4領域のリニアセンサ)に入射させる。この方式は、近い箇所は大きくずれ遠い箇所はほとんどずれないという視差を利用するものであり、4箇所のリニアセンサで取り込んだ画像を重ね合わせてずれ量を測定(検出)して 距離を算出する。この位相差検知オートフォーカスは、撮像用のセンサ(固体撮像装置)とは別途に位相差検出用のセンサ(4領域のリニアセンサ)を設けるため、オートフォーカススピードを高速化することができる(応答が速い)。しかしながら、そのセンサに像を結ぶためのレンズ系(位相差検出用のセンサへの結像レンズ、位相差を設けるためのセパレートレンズ等)が必要であり、装置の大型化や高コストの点で不利となる。例えば、デジタルスチルカメラへの搭載は、重量や体積等の点から、採用し難い。又、距離誤検知を起こし易い難点もある。
[Phase detection autofocus]
FIG. 2 is a diagram for explaining phase difference detection autofocus. In the phase difference detection autofocus, light taken through the lens is separated by a separate lens and is incident on each of other phase difference detection sensors (normally linear sensors in four regions). This method uses the parallax that a near part is greatly displaced and a far part is hardly displaced, and the distance is calculated by measuring (detecting) the amount of deviation by superimposing images captured by four linear sensors. . This phase difference detection autofocus is provided with a phase difference detection sensor (four-region linear sensor) separately from the imaging sensor (solid-state imaging device), so that the autofocus speed can be increased (response). Is fast). However, a lens system for forming an image on the sensor (an imaging lens for a sensor for detecting a phase difference, a separate lens for providing a phase difference, etc.) is necessary. It will be disadvantageous. For example, mounting on a digital still camera is difficult to adopt in terms of weight, volume, and the like. There is also a difficulty in causing erroneous distance detection.

[画素内位相差オートフォーカス]
図3は、画素内位相差オートフォーカスを説明する図である。画素内位相差オートフォーカスは、撮像素子の出力そのものを使うオートフォーカス方式の一例である。画素内位相差オートフォーカスは、例えば撮像素子の開口面積を半分にそれぞれ偏らせて各画素(画素A群(Phase Detectin Sensor A)と画素B群(Phase Detectin Sensor B))に像を入射させる。例えば検知用画素は2画素ペアで相互に半開口としている。ピントがずれると像が分離し、さらに前ピン(被写体よりも前にピントが合っている状態)と後ピン(被写体よりも後ろにピントが合っている状態)とで、画素A群と画素B群とでは像の分離方向が逆になるという特質がある。集光状態と開口のサイドの関係から相対する画素群の輝度分布が逆方向となることに基づく。このことが予め分かっているため、合焦の方向が分かる。
[Intra-pixel phase difference autofocus]
FIG. 3 is a diagram for explaining intra-pixel phase difference autofocus. In-pixel phase difference autofocus is an example of an autofocus method that uses the output of the image sensor itself. In the intra-pixel phase difference autofocus, for example, the aperture area of the image sensor is biased in half, and an image is incident on each pixel (pixel A group (Phase Detectin Sensor A) and pixel B group (Phase Detectin Sensor B)). For example, the detection pixels have two pixel pairs that are mutually half-open. When the image is out of focus, the images are separated, and the pixel A group and the pixel B are further divided into a front pin (a state in which the subject is in focus before the subject) and a rear pin (a state in which the subject is in focus behind the subject). A group has the characteristic that the image separation direction is reversed. This is based on the fact that the luminance distribution of the opposed pixel groups is in the opposite direction based on the relationship between the condensing state and the aperture side. Since this is known in advance, the in-focus direction is known.

この画素内位相差オートフォーカスでは、画素A群と画素B群の合焦方向のずれ量を検出してオートフォーカスを行なうため、画素内での情報のみを使用した処理が可能である。しかしながら、画素内位相差オートフォーカスでは、開口面積を半分にそれぞれ偏らせての素子利用であるため、出力が落ちてしまうため、信号差が小さくなり、距離誤検知を起こし易いし、2枚の画像の比較が必要なため、応答が遅く、応答を速くしようとすると、それなりの高速処理が必須になる。   In this intra-pixel phase difference autofocus, the amount of shift in the in-focus direction between the pixel A group and the pixel B group is detected to perform autofocus, and therefore processing using only information within the pixel is possible. However, in the intra-pixel phase difference autofocus, since the elements are used with the aperture area biased in half, the output drops. Therefore, the signal difference becomes small, and the erroneous detection of the distance tends to occur. Since comparison of images is required, if the response is slow and an attempt is made to speed up the response, a certain high-speed processing becomes essential.

[本実施形態のオートフォーカス]
このように、比較例の各オートフォーカスは、装置規模や応答の面で依然として難点がある。そこで、本明細書で開示する技術では、装置規模をさほど増大させることなく応答の速いオートフォーカスを提案する。その基本的な手法は、偏光子を配置した画素(偏光画素)から取得された情報(偏光情報、実態としては輝度情報)を利用するというものである。一般的な固体撮像装置にあっては、画素の電荷検出部(光電変換素子)そのものは、偏光に対して感度を有していない。即ち、光の有する偏光情報は用いられずに捨てられているのが実情である。太陽光は無偏光であるが、その光を反射・散乱した光には反射面の表面状態に起因した偏光成分が含まれており、特定の方向に偏った偏光成分が多く含まれる。そこで、本明細書で開示する技術では、偏光子を画素に配置して特定の方向の偏光成分を検知し、その検知情報をオートフォーカス制御に利用する。
[Autofocus of this embodiment]
Thus, each autofocus of the comparative example still has difficulties in terms of the device scale and response. Therefore, the technique disclosed in this specification proposes autofocus that has a quick response without increasing the size of the apparatus. The basic method is to use information (polarization information, actually luminance information) acquired from a pixel (polarization pixel) in which a polarizer is arranged. In a general solid-state imaging device, the charge detection unit (photoelectric conversion element) of the pixel itself does not have sensitivity to polarized light. That is, the fact is that the polarization information possessed by light is discarded without being used. Although sunlight is non-polarized light, the light reflected / scattered from the light contains a polarization component due to the surface state of the reflection surface, and includes a large amount of polarization components biased in a specific direction. Therefore, in the technique disclosed in this specification, a polarizer is arranged in a pixel to detect a polarization component in a specific direction, and the detection information is used for autofocus control.

偏光子は、詳細には後述するが、撮像領域全体に配置する必要はなく、少なくとも「オートフォーカス対象の領域」に配置されていればよい。更には、「オートフォーカス対象の領域」の全ての画素に偏光子が配置されていることも必須ではなく、所定数の画素を一単位とするブロックごとに、1個〜数個の偏光画素が配置されていればよい。好適には、ブロック内の各偏光子の偏光角は異なっているのがよく、偏光子の偏光主軸の角度の種類をNとしたとき、それぞれの角度差は180/Nであるのがよい。典型的には(最も好適なシンプルな構成では)、2画素ペアで、相互に異なる偏光状態(典型的には偏光角の差が90度)を検出し、その検知情報を使用して予め定められた算術式に基づいて指標値を算出し、算出された指標値に基づいて合焦判定や光学系のフォーカス制御を行なう。もちろんこのことは必須でなく、ブロック相互間の各偏光子の偏光角はランダムに配置されたものであってもよい。   Although the polarizer will be described later in detail, it is not necessary to arrange the polarizer in the entire imaging region, and it is sufficient that it is arranged at least in the “autofocus target region”. Furthermore, it is not essential that polarizers are arranged in all the pixels in the “autofocus target area”, and one to several polarizing pixels are provided for each block having a predetermined number of pixels as one unit. It only has to be arranged. Preferably, the polarization angles of the respective polarizers in the block are different, and when the type of the angle of the polarization main axis of the polarizer is N, the difference between the angles is preferably 180 / N. Typically (in the most preferred simple configuration), two pixel pairs detect different polarization states (typically 90 degrees of polarization angle difference) and use that sensing information to determine in advance. An index value is calculated based on the calculated arithmetic expression, and focus determination and optical system focus control are performed based on the calculated index value. Of course, this is not essential, and the polarization angle of each polarizer between the blocks may be randomly arranged.

偏光子の配置態様が如何様であっても、単純に偏光子を配した画素(偏光画素)から得られる検知情報(偏光情報、実質的にはいわゆる輝度情報である)を利用するので、高速処理が可能である。特に、ブロック内に偏光角の異なる複数種類の偏光子を配置する態様ではそれら偏光画素の出力差を利用することができる。コントラストオートフォーカスや画素内位相差オートフォーカスでは検出不可能な、例えば全面赤の被写体や全面青の被写体、中央赤、中央青の被写体等でも合焦状態に依存した偏光情報が得られるため、これらの画像においても正確な合焦位置を検出することができる。   No matter how the polarizer is arranged, it uses detection information (polarization information, which is essentially so-called luminance information) obtained from a pixel (polarization pixel) simply provided with a polarizer. Processing is possible. In particular, in an embodiment in which a plurality of types of polarizers having different polarization angles are arranged in the block, the output difference between these polarized pixels can be used. Polarization information that depends on the in-focus state can be obtained even for subjects such as full-color red subjects, full-blue subjects, central red, and central blue subjects that cannot be detected with contrast autofocus and intra-pixel phase difference autofocus. It is possible to detect an accurate in-focus position even in the above image.

合焦位置の判定には、いわゆる山登り制御の技術(山登りサーボ方式)をそのまま利用することができるので、公知の当該山登り制御の技術の利点を有効に活用できるという特徴がある。通常の山登りサーボ方式では、映像信号の鮮鋭度(コントラスト)、つまり高周波成分が、できるだけ最大になるように光学焦点調整機構を制御して、コントラストのピーク点(できるだけ高い位置)を探索することにより、自動的に焦点調整を行なう。山登りサーボ方式は大別すると、山の傾斜やピークを見つける試行法と、ピエゾ素子等を利用して固体撮像装置を微少変動させながら合焦位置を見つける摂動法(いわゆるピエゾオートフォーカス)の2通りがある。例えば、試行法では、試行動作により山の傾斜を見つけるモード、ピークを見つけるモード、ピークをいったん越えたことを判定し、必要に応じてフィルタを切り替える操作のモード、ピークから行き過ぎた量だけモータを逆回転してピークに戻すモード、合焦状態を示すモードの各モードからなる。摂動法では、大まかには試行法に準じた動作をするが、固体撮像装置を微少変動させるので、前ピン側或いは後ピン側の何れにあっても、そこからの焦点位置の方向をほぼ即時に判断できるため、ピークを見つける(つまり合焦状態にする)動作が試行法よりも高速である利点がある。本実施形態では、試行法・摂動法を問わず、通常の映像信号に基づく鮮鋭度(コントラスト)に代えて偏光子を配した画素から得られる情報を使用する。以下、具体的に説明する。   Since the so-called hill-climbing control technique (hill-climbing servo system) can be used as it is for the determination of the in-focus position, there is a feature that the advantages of the known hill-climbing control technique can be effectively utilized. In the normal hill-climbing servo system, the optical focus adjustment mechanism is controlled so that the sharpness (contrast) of the video signal, that is, the high-frequency component is maximized, and the peak point of the contrast (position as high as possible) is searched. Automatically adjust the focus. The hill-climbing servo system can be broadly divided into two methods: a trial method that finds the slope and peak of a mountain, and a perturbation method that finds the in-focus position while slightly changing the solid-state imaging device using a piezo element (so-called piezo autofocus). There is. For example, in the trial method, a mode for finding the slope of a mountain by trial operation, a mode for finding a peak, a mode for determining that a peak has been exceeded once, and switching a filter as necessary, and a motor that is overrun from the peak Each mode includes a mode that reversely rotates to return to a peak, and a mode that indicates a focused state. In the perturbation method, the operation roughly conforms to the trial method. However, since the solid-state imaging device is slightly changed, the direction of the focal position from the front pin side or the rear pin side is almost instantaneous. Therefore, there is an advantage that the operation of finding a peak (that is, bringing it into focus) is faster than the trial method. In this embodiment, regardless of the trial method or the perturbation method, information obtained from a pixel provided with a polarizer is used instead of sharpness (contrast) based on a normal video signal. This will be specifically described below.

<偏光による反射率の角度依存性について>
図4は、偏光による反射率の角度依存の挙動を説明する図である。完全にパッシブ(受動的)な被写体形状センシング方式として、偏光を利用する技術がある。これは非偏光の自然光を照射された被写体からの反射光(鏡面反射光又は拡散反射光)が、表面の向きや視点という幾何学的要因によって種々の部分偏光を呈することを利用する技術である。この情報の取得のためには、被写体各画素の部分偏光状態を偏光画像として取得する。人工光は通常偏光しているので、偏光画像を取得する場合、偏光の影響で反射率が高く透過率が低くなっている部分や、そうでない部分が現れる。
<Angle dependence of reflectance by polarized light>
FIG. 4 is a diagram illustrating the angle-dependent behavior of the reflectance due to polarized light. As a completely passive object shape sensing method, there is a technique using polarized light. This is a technology that utilizes the fact that reflected light (specular reflection light or diffuse reflection light) from a subject irradiated with non-polarized natural light exhibits various partial polarizations depending on geometrical factors such as surface orientation and viewpoint. . In order to acquire this information, the partial polarization state of each pixel of the subject is acquired as a polarization image. Since artificial light is usually polarized, when acquiring a polarized image, a portion where the reflectance is high and the transmittance is low due to the influence of the polarization, and a portion where it is not so appear.

誘電率の異なる一組の材質で形成される界面を3パターン用意する。次にその各々の界面にTM波(Transverse Magnetic Wave)、TE波(Transverse Electric Wave)を照射する。TM波は、p偏光とも呼ばれ、磁場成分が入射面に対して横向きの波であり、磁場の進行方向横(切るという意)の成分が0(ゼロ)である。TE波は、s偏光とも呼ばれ、電場成分が入射面に対して横向きの波であり、電場の進行方向(切るという意)の成分が0(ゼロ)である。そうすると、入射角度の大小によってTM波、TE波がそれぞれ示す反射率の値が大きく異なっていく。尚、TM波、TE波はいわゆる偏光の一種である。   Three patterns of interfaces formed of a set of materials having different dielectric constants are prepared. Next, TM waves (Transverse Magnetic Wave) and TE waves (Transverse Electric Wave) are irradiated to the respective interfaces. The TM wave is also called p-polarized light, and the magnetic field component is a wave transverse to the incident surface, and the component transverse to the traveling direction of the magnetic field (meaning to cut) is 0 (zero). The TE wave is also called s-polarized light, and the electric field component is a wave transverse to the incident surface, and the electric field traveling direction (meaning to cut) is 0 (zero). Then, the reflectance values indicated by the TM wave and the TE wave are greatly different depending on the incident angle. The TM wave and the TE wave are a kind of so-called polarized light.

その依存を示したものが図4であり、ある界面での偏光の入射角による反射率(縦軸)の違いを示している。詳しくは、図4では、誘電率或いは屈折率の異なるある材料が積層されている際に、TM波、TE波を入射した際の入射角度と反射率の関係が示されている。入射角度0度では、TM波、TE波の別はそもそもつかないことから、界面3パターンともに、TM波、TE波の各反射率は同値を示している。しかしながら、入射角度が大きくなるにつれて、TM波の反射率は下がり、TE波の反射率は上がる。TM波の反射率は界面3パターンともに、入射角度を大きくするにつれ、反射率0まで下がり続ける。その後、急激に反射率が上がり、入射角度90度の時点でTE波の反射率と同値をとる。90度ではもはやTM波、TE波の別は区別できない。一方、TE波は入射角度を大きくするにつれその反射率は一方的に増加する。これらの挙動の違いは、TM波、TE波の電場、磁場の振動方向が90度異なることに由来している。即ち、TM波は入射平面に対して、磁場が平行に振動する波であり、TE波は入射平面に対して、逆に電場が平行に振動する波であり、この両者の違いが入射平面に対する反射率の差を生む。このような関係は、界面での材料特性によって決まるものであり、感度にはよらない。   FIG. 4 shows the dependence, and shows the difference in reflectance (vertical axis) depending on the incident angle of polarized light at a certain interface. Specifically, FIG. 4 shows the relationship between the incident angle and the reflectance when a TM wave or a TE wave is incident when a material having a different dielectric constant or refractive index is laminated. At an incident angle of 0 degrees, the TM wave and TE wave do not have any difference, so the reflectivity of the TM wave and TE wave shows the same value for the three patterns of the interface. However, as the incident angle increases, the reflectivity of the TM wave decreases and the reflectivity of the TE wave increases. The reflectivity of the TM wave continues to decrease to reflectivity 0 as the incident angle increases for all three patterns of the interface. After that, the reflectance rapidly increases, and takes the same value as the TE wave reflectance at an incident angle of 90 degrees. At 90 degrees, it is no longer possible to distinguish between TM waves and TE waves. On the other hand, the reflectance of the TE wave unilaterally increases as the incident angle increases. These differences in behavior stem from the fact that the vibration directions of the TM wave and TE waves and the magnetic field differ by 90 degrees. That is, the TM wave is a wave in which the magnetic field vibrates in parallel with the incident plane, and the TE wave is a wave in which the electric field vibrates in parallel with respect to the incident plane. Creates a difference in reflectivity. Such a relationship is determined by the material properties at the interface and does not depend on the sensitivity.

<斜め入射、偏光、反射率の関係>
図5〜図6は、斜め入射と偏光と反射率の関係を説明する図である。ここで、図5は、偏光状態によって反射率が変化することを説明する図である。図6は、電場と磁場の実振幅の違いを説明する図である。
<Relationship between oblique incidence, polarization, and reflectance>
5 to 6 are diagrams illustrating the relationship between oblique incidence, polarization, and reflectance. Here, FIG. 5 is a diagram for explaining that the reflectance varies depending on the polarization state. FIG. 6 is a diagram for explaining the difference between the actual amplitudes of the electric field and the magnetic field.

一般的に偏光状態によって反射率は変化する。これは、図6(フレネルの公式に基づく)から導くことができる。図6(A)は、p偏光(TM波)の場合であり、その反射率は式(1−1)で表すことができる。図6(B)は、s偏光(TE波)の場合であり、その反射率は式(1−2)で表すことができる。因みに、式(1)(式(1−1)及び式(1−2))において、屈折率nがない理由は、出射角度θ2が入射上下の材質の屈折率と入射角度θ1によって一意に決まるからである。 In general, the reflectance varies depending on the polarization state. This can be derived from FIG. 6 (based on Fresnel formula). FIG. 6A shows the case of p-polarized light (TM wave), and the reflectance can be expressed by Expression (1-1). FIG. 6B shows the case of s-polarized light (TE wave), and the reflectance can be expressed by Expression (1-2). Incidentally, the reason for the absence of the refractive index n in the formula (1) (the formula (1-1) and the formula (1-2)) is that the exit angle θ 2 is uniquely determined by the refractive index of the upper and lower incident materials and the incident angle θ 1 . It is because it is decided.

図6に示すように、電場の実振幅Eと磁場の実振幅Mには大きな違いがある。具体的には、式(2)で示すように、「E:H≒400:1」の関係がある。これより、偏光方向による反射率の差異が起こるか否かを考えるときには、主に電場のみを考えておけばよいことが分かる。   As shown in FIG. 6, there is a large difference between the actual amplitude E of the electric field and the actual amplitude M of the magnetic field. Specifically, there is a relationship of “E: H≈400: 1” as shown in Expression (2). From this, it can be seen that when considering whether or not the difference in reflectance depending on the polarization direction occurs, it is only necessary to consider only the electric field.

<本実施形態のオートフォーカスの原理>
図7〜図9は、偏光子を配した画素から得られる情報(輝度情報)を利用する本実施形態のオートフォーカスの原理を説明する図である。ここで、図7は、偏光画素の出力信号の合焦状態の依存性を説明する図である。図8は、TM波用の偏光子(パターン化偏光子102TM)とTE波用の偏光子(パターン化偏光子102TE)との対を、「オートフォーカス対象の領域」の4箇所に配置した場合の偏光画素の出力例を示す図である。図9及び図10は、オートフォーカス制御用の指標値の算出手法を説明する図である。
<Principle of autofocus of this embodiment>
7 to 9 are diagrams for explaining the principle of autofocus according to the present embodiment using information (luminance information) obtained from a pixel provided with a polarizer. Here, FIG. 7 is a diagram for explaining the dependency of the output signal of the polarization pixel on the in-focus state. FIG. 8 shows a case where pairs of TM wave polarizers (patterned polarizer 102TM) and TE wave polarizers (patterned polarizer 102TE) are arranged in four areas of “autofocus target region”. It is a figure which shows the example of an output of this polarizing pixel. 9 and 10 are diagrams for explaining a method for calculating an index value for autofocus control.

本実施形態のオートフォーカスを画素内偏光オートフォーカスと称し、特に、複数種類の偏光角度を利用して、対の各偏光子を配した画素から得られる偏光情報(輝度情報)の差を利用する形態を画素内偏光輝度差オートフォーカスと称する。   The autofocus of the present embodiment is referred to as intra-pixel polarization autofocus, and in particular, the difference between polarization information (luminance information) obtained from a pixel in which each pair of polarizers is arranged using a plurality of types of polarization angles. The form is referred to as intra-pixel polarization luminance difference autofocus.

偏光子を配した画素から得られる情報(輝度情報)は、合焦状態(前ピンか、ジャスピンか後ピンか)によって変わり、更には被写体と偏光角度との関係にも依存する。例えば、図7(図8も参照)に示すように、被写体像が主にp偏光成分となるような(図示のように縦縞模様の)場合には、TM波用の偏光子を配した画素から得られる情報としては、フォーカスが合っていれば輝度情報が高くなり、フォーカスが合っていなければ輝度情報が低くなる。このとき、TE波用の偏光子を配した画素から得られる情報としては、フォーカスが合っているか否かに拘わらず、輝度情報の高低には殆ど変化がなく、輝度情報が低くなる。   Information (luminance information) obtained from a pixel provided with a polarizer varies depending on the in-focus state (front pin, jaspin or rear pin), and further depends on the relationship between the subject and the polarization angle. For example, as shown in FIG. 7 (see also FIG. 8), when the subject image mainly has a p-polarized component (vertical stripe pattern as shown), a pixel provided with a TM wave polarizer is arranged. As the information obtained from the above, the luminance information is high when the focus is on, and the luminance information is low when the focus is not on. At this time, as the information obtained from the pixel provided with the TE wave polarizer, there is almost no change in the level of the luminance information regardless of whether the focus is on or not, and the luminance information becomes low.

図示しないが、被写体像が主にs偏光成分となるような(横縞模様の)場合には、TE波用の偏光子を配した画素から得られる情報としては、フォーカスが合っていれば輝度情報が高くなり、フォーカスが合っていなければ輝度情報が低くなる。このとき、TM波用の偏光子を配した画素から得られる情報としては、フォーカスが合っているか否かに拘わらず、輝度情報の高低には殆ど変化がなく、輝度情報が低くなる。図示しないが、被写体像が主に斜め45度の偏光成分となるような(右上がりの縞模様の)場合には、45度偏光波用の偏光子(45度偏光子)から得られる情報としては、フォーカスが合っていれば輝度情報が高くなり、フォーカスが合っていなければ輝度情報が低くなる。このとき、135度偏光波用(或いはTM波用やTE波用)の偏光子を配した画素から得られる情報としては、フォーカスが合っているか否かに拘わらず、輝度情報の高低には殆ど変化がなく、輝度情報が低くなる。図示しないが、被写体像が主に斜め135度の偏光成分となるような(左上がりの縞模様の)場合には、135度偏光波用の偏光子(135度偏光子)から得られる情報としては、フォーカスが合っていれば輝度情報が高くなり、フォーカスが合っていなければ輝度情報が低くなる。このとき、45度偏光波用(或いはTM波用やTE波用)の偏光子を配した画素から得られる情報としては、フォーカスが合っているか否かに拘わらず、輝度情報の高低には殆ど変化がなく、輝度情報が低くなる。このように、偏光角度に関わらず、フォーカスが合っていれば偏光子を配した画素から得られる輝度情報が高くなる。尚、何れの場合も、フォーカスが合っている状態の方が情報量が増える(ヒストグラム上で分布量が増える)。   Although not shown, when the subject image mainly has an s-polarized component (horizontal stripe pattern), information obtained from a pixel provided with a TE wave polarizer is luminance information as long as focus is achieved. If the focus is not high, the luminance information is low. At this time, as information obtained from a pixel provided with a TM wave polarizer, there is almost no change in the level of the luminance information, regardless of whether the focus is on or not, and the luminance information becomes low. Although not shown in the figure, when the subject image mainly has a 45-degree oblique polarization component (upward stripe pattern), information obtained from a 45-degree polarized wave polarizer (45-degree polarizer) If the focus is correct, the brightness information is high. If the focus is not correct, the brightness information is low. At this time, as information obtained from a pixel provided with a 135-degree polarized wave (or TM wave or TE wave) polarizer, there is almost no difference in luminance information regardless of whether or not it is in focus. There is no change and the luminance information is low. Although not shown in the figure, when the subject image mainly has a polarization component having an oblique angle of 135 degrees (upward left stripe pattern), information obtained from a polarizer for a 135 degree polarized wave (135 degree polarizer) is used. If the focus is correct, the brightness information is high. If the focus is not correct, the brightness information is low. At this time, as information obtained from a pixel provided with a 45-degree polarized wave (or TM wave or TE wave) polarizer, there is almost no difference in luminance information regardless of whether or not focus is achieved. There is no change and the luminance information is low. As described above, regardless of the polarization angle, the luminance information obtained from the pixel provided with the polarizer increases if the focus is achieved. In any case, the amount of information increases in the focused state (the amount of distribution increases on the histogram).

これらの点を踏まえると、偏光子を配した画素から得られる情報を利用することにより、フォーカスが合っているか否かの判定が可能であることが推測される。本明細書で開示する技術は、この点に着目してなされている。更には、必要に応じて(特に撮像領域の周辺部において)、偏光による反射率の角度依存性を考慮した感度補正処理を行なうことで、固体撮像装置上と肉眼上での明るさの大小関係の逆転現象を防止することができることが推測される。本明細書で開示する技術は、これらの点に着目してなされている。   Considering these points, it is presumed that it is possible to determine whether or not the focus is achieved by using information obtained from a pixel provided with a polarizer. The technique disclosed in this specification has been made paying attention to this point. Furthermore, if necessary (especially at the periphery of the imaging region), sensitivity correction processing that takes into account the angular dependence of the reflectance due to polarization is performed, so that the magnitude relationship between the brightness on the solid-state imaging device and the naked eye It is estimated that the reversal phenomenon can be prevented. The technology disclosed in this specification is made paying attention to these points.

原理的には、偏光角度はオートフォーカス対象の全領域において1種類でもよい。この場合、偏光子を配した画素から得られた偏光情報(輝度情報)そのものを使用して予め定められた算術式に基づいて指標値を算出し、算出された指標値に基づいて合焦判定を行なう。そのため、例えば、図9(A)に示すように、オートフォーカス対象の全領域についての複数画素の情報の加算値を判定指標値とする場合には、判定指標値が飽和(オーバーフロー)し易い。   In principle, the polarization angle may be one type in the entire region to be autofocused. In this case, an index value is calculated based on a predetermined arithmetic expression using polarization information (luminance information) itself obtained from a pixel provided with a polarizer, and a focus determination is performed based on the calculated index value. To do. Therefore, for example, as shown in FIG. 9A, when the addition value of information of a plurality of pixels for all the areas to be autofocused is used as the determination index value, the determination index value is likely to be saturated (overflow).

しかしながら、この場合でも、ほとんどの被写体は偏光しているため、「(A+B)+(C+D)+…=輝度値の合計」が得られる。輝度値の合計が飽和しない限りは、山登りサーボの技術を適用して、前ピン状態、合焦近傍状態、後ピン状態と、焦点位置を振っていき、輝度値の合計ができるだけ高くなる位置を見つけることにより、合焦させることができる。例えば、図9(B)に示すように、前ピン範囲内でのある位置P1での輝度値の合計値をSUM1、合焦近傍範囲内のある位置P2での輝度値の合計値をSUM2、後ピン範囲内でのある位置P3での輝度値の合計値をSUM3としたときに、「SUM1<SUM3<SUM2」と仮になれば、位置P2と位置P3の間に(図9(B1)参照)、或いは、位置P2よりも少し位置P1より側に(図9(B2)参照)に、焦点位置(合焦点)があると推定することができる。   However, even in this case, since most subjects are polarized, “(A + B) + (C + D) +... = Total luminance value” is obtained. Unless the sum of the brightness values is saturated, apply the hill-climbing servo technology and move the focus position to the front pin state, the near focus state, the rear pin state, and the position where the sum of the brightness values becomes as high as possible. By finding it, it can be focused. For example, as shown in FIG. 9B, the sum of luminance values at a certain position P1 within the front pin range is SUM1, the sum of luminance values at a certain position P2 within the in-focus range is SUM2, If the sum of the luminance values at a position P3 within the rear pin range is SUM3, if “SUM1 <SUM3 <SUM2” is assumed, it is between the positions P2 and P3 (see FIG. 9B1). Alternatively, it can be estimated that the focal position (focusing point) is slightly closer to the position P1 than the position P2 (see FIG. 9B2).

尚、ここでは偏光子の角度が1種類であるので、偏光子を配した画素から得られた偏光情報(輝度情報)そのもののレベルを使用する場合で説明したが、これに限らず、例えば、偏光子を配した画素に隣接する他の色画素との差を利用することもできる。この場合、後述の複数種類の偏光情報を利用する場合と同様の信号処理を行なうことができる。   In addition, since the angle of the polarizer is one kind here, the case where the level of the polarization information (luminance information) itself obtained from the pixel in which the polarizer is arranged is described, but the present invention is not limited to this. It is also possible to use a difference from other color pixels adjacent to a pixel provided with a polarizer. In this case, the same signal processing can be performed as in the case of using a plurality of types of polarization information described later.

合焦状態と偏光子を配した画素から得られる情報との間には、被写体像がどのような状態であるかが関係するので、判定性能を高めるには、複数種類の偏光情報を利用することが好ましい。例えば、一般的には、縦縞と横縞とに着目した判定で十分と考えられるため、この場合には、TM波相当のみを通す偏光子とTE波相当のみを通す偏光子とを組み合わせて使用する(つまり、水平・垂直の組とする)。好適にはTM波用の偏光子とEM波用の偏光子とを隣接させて配置する。或いは斜め方向の縞模様に着目する場合であれば、45度偏光波相当のみを通す45度偏光波用の偏光子と135度偏光波相当のみを通す135度偏光波用の偏光子とを組み合わせて使用する(つまり、90度の偏光差を持つ斜め方向の組とする)。好適には45度偏光波用の偏光子と135度偏光波用の偏光子とを隣接させて配置する。或いは又、一組は水平・垂直とし、別の一組は斜め方向という置き方にしてもよい。もちろん、オートフォーカス対象の全領域において各組の向きを統一させる必然性はなく、各組の方向が異なるランダム配置にしてもよい。   Since the focus state and the information obtained from the pixel provided with the polarizer are related to the state of the subject image, a plurality of types of polarization information are used to improve the determination performance. It is preferable. For example, in general, since it is considered that the determination focusing on vertical stripes and horizontal stripes is sufficient, in this case, a polarizer that passes only TM waves and a polarizer that passes only TE waves are used in combination. (That is, it is a horizontal / vertical pair). Preferably, a TM wave polarizer and an EM wave polarizer are arranged adjacent to each other. Alternatively, if focusing on diagonal stripes, combine 45-degree polarized wave polarizers that pass only 45-degree polarized waves and 135-degree polarized wave polarizers that pass only 135-degree polarized waves. (That is, a pair in an oblique direction having a polarization difference of 90 degrees). Preferably, a 45-degree polarized wave polarizer and a 135-degree polarized wave polarizer are arranged adjacent to each other. Alternatively, one set may be horizontal and vertical, and the other set may be placed in an oblique direction. Of course, there is no necessity to unify the orientations of the respective groups in the entire autofocus target area, and random arrangements in which the directions of the respective groups are different may be employed.

複数種類の偏光角度の情報を利用する場合には、組ごとに各偏光子を配した画素から得られた偏光情報(輝度情報)そのものを使用して予め定められた算術式に基づいて第1の指標値を算出し、更に、オートフォーカス対象の全領域についての各組の第1の指標値を使用して予め定められた算術式に基づいて第2の指標値を算出し、算出された第2の指標値に基づいて合焦判定を行なう。このとき例えば、図10(A)に示すように、組ごとに偏光情報の差分をとり第1の指標値としての差分情報を求め、その差分情報に基づいて、オートフォーカス対象の全領域の複数画素の情報の加算値を第2の指標値として求めるとよい。例えば、TE波とTM波の輝度差の変化を利用してオートフォーカス機能を担わせる。差分情報の加算値であるので、判定指標値は飽和し難くなる利点がある。   In the case of using information on a plurality of types of polarization angles, the first information is obtained based on a predetermined arithmetic expression using polarization information (luminance information) itself obtained from a pixel in which each polarizer is arranged for each set. Further, the second index value is calculated based on a predetermined arithmetic expression using the first index value of each set for all the areas to be autofocused. Focus determination is performed based on the second index value. At this time, for example, as shown in FIG. 10A, a difference in polarization information is obtained for each group to obtain difference information as a first index value, and based on the difference information, a plurality of all areas to be autofocused are obtained. An addition value of pixel information may be obtained as the second index value. For example, the autofocus function is assigned by using a change in luminance difference between the TE wave and the TM wave. Since it is an addition value of difference information, there is an advantage that the determination index value is less likely to be saturated.

例えば、輝度A>輝度B、輝度C<輝度D、…とすると、「(A−B)+(D−C)+…=差の合計」が得られる。ほとんどの被写体は偏光しているが、どのように偏光しているかは分からないため、単に出力の大きい方から小さい方をひいて判断してよい。出力値の大小判定を割愛するべく、差分の絶対値を使用してもよい。この場合も、山登りサーボの技術を適用して、前ピン状態、合焦近傍状態、後ピン状態と、焦点位置を振っていき、輝度差の合計ができるだけ高くなる位置を見つけることにより、合焦させることができる。例えば、図10(B)に示すように、前ピン範囲内でのある位置P1での輝度差の合計値をDEF1、合焦近傍範囲内のある位置P2での輝度差の合計値をDEF2、後ピン範囲内でのある位置P3での輝度差の合計値をDEF3としたときに、「DEF1<DEF3<DEF2」と仮になれば、位置P2と位置P3の間に(図10(B1)参照)、或いは、位置P2よりも少し位置P1より側に(図10(B2)参照)に、焦点位置(合焦点)があると推定することができる。   For example, if luminance A> luminance B, luminance C <luminance D,..., “(A−B) + (D−C) +. Although most subjects are polarized, it is not known how they are polarized, so it may be determined by simply pulling the smaller output from the larger output. The absolute value of the difference may be used to omit the determination of the output value. In this case as well, by applying the hill-climbing servo technology, the focus position is swung from the front pin state, the in-focus state, and the rear pin state, and the focus position is found by finding the position where the total brightness difference is as high as possible. Can be made. For example, as shown in FIG. 10B, the total value of the luminance difference at a certain position P1 within the front pin range is DEF1, the total value of the luminance difference at a certain position P2 within the in-focus vicinity range is DEF2, If the total value of the luminance difference at a position P3 in the rear pin range is DEF3, if “DEF1 <DEF3 <DEF2” is assumed, it is between the position P2 and the position P3 (see FIG. 10B1). Alternatively, it can be estimated that there is a focal position (focused point) slightly closer to the position P1 than the position P2 (see FIG. 10B2).

ここでは、何れの場合も、オートフォーカス用の判定指標値としては、輝度情報に基づく加算値を利用する場合で説明したが、これには限らない。例えば、平均値や中央値(メジアン)等を利用することもできる。   Here, in any case, the case where the addition value based on the luminance information is used as the determination index value for autofocus has been described, but the present invention is not limited to this. For example, an average value, a median value (median), or the like can be used.

尚、偏光子或いは偏光子の組を所定間隔で撮像領域のオートフォーカス対象の領域に配置する。「所定間隔」とするのは、偏光子を配置する画素のために通常画像の撮像に悪影響を与えることを緩和するためである。通常画像撮像時における偏光子を配置した画素の扱いについては例えば、静止画、動画に関わらず偏光子を配置した画素の情報は無視する手法を適用してもよく、この場合は、「補正」ではなく、偏光子を有する画素と同じ検出波長帯を有し、偏光子を有していない隣接する画素の情報(輝度情報)によって「補間」により、偏光子が配置されている画素から得られる偏光情報(輝度情報)を算出する(見積もる)とよい。例えば、偏光子が配置されている画素から得られる偏光情報を、周辺画素の平均値で置き換える。或いは又、その周辺画素(好ましくは、偏光子を配置した画素は除く)の情報を使って補正により、より的確な画素情報を算出してもよい。例えば、偏光子が配置されている画素から得られる偏光情報(輝度情報)を、偏光子を有する画素と同じ検出波長帯を有し、偏光子を有していない隣接する画素の情報(輝度情報)によって補正する。何れの場合も、カラー撮像の場合には、同色のもの同士で対処するのがよい。   Note that a polarizer or a set of polarizers is arranged at a predetermined interval in an autofocus target area of the imaging area. The “predetermined interval” is used to alleviate adverse effects on normal image capturing due to the pixels on which the polarizers are arranged. Regarding the handling of pixels with a polarizer disposed during normal image capturing, for example, a method of ignoring the information of pixels with a polarizer disposed regardless of still images or moving images may be applied. Rather than having the same detection wavelength band as the pixel having the polarizer, and obtained from the pixel where the polarizer is arranged by “interpolation” based on information (luminance information) of an adjacent pixel not having the polarizer It is preferable to calculate (estimate) polarization information (luminance information). For example, the polarization information obtained from the pixel in which the polarizer is arranged is replaced with the average value of the peripheral pixels. Alternatively, more accurate pixel information may be calculated by correction using information on the peripheral pixels (preferably excluding pixels on which polarizers are arranged). For example, polarization information (brightness information) obtained from a pixel in which a polarizer is disposed is information (brightness information) of an adjacent pixel that has the same detection wavelength band as that of a pixel having a polarizer and does not have a polarizer. ) To correct. In any case, in the case of color imaging, it is better to deal with those of the same color.

又、動画撮像時(ファインダーモード時を含む)には、ビデオレートに近づけるために、表示装置に表示するために必要な信号ライン或いは画素以外を間引くような駆動方法がとられるので、この点を考慮した「所定間隔」とすることが好ましい。即ち、偏光子をオートフォーカス対象の領域の全面に配置するのではなく、一部の画素に周期的に配置することで、偏光子画素は動画時に読み出されないいわゆる間引き画素に選択的に配置することが好ましい。これにより、動画時の信号処理に負荷を掛けることがなく、フレームレートに支障を与えることもない。   In addition, when moving images are captured (including in the viewfinder mode), a driving method is used in which signals other than the signal lines or pixels necessary for display on the display device are thinned out in order to approach the video rate. It is preferable to set the “predetermined interval” in consideration. That is, the polarizer is not arranged on the entire surface of the autofocus target area, but is periodically arranged on some pixels, so that the polarizer pixels are selectively arranged on so-called thinned pixels that are not read out during moving images. It is preferable. As a result, no load is imposed on the signal processing during the moving image, and the frame rate is not hindered.

[偏光子の配置位置]
図11〜図12は、偏光子の配置例を説明する図である。ここで、図11は比較例の偏光子の配置例を示し、図12は、実施例1の偏光子の配置例を示す。
[Position of the polarizer]
FIGS. 11-12 is a figure explaining the example of arrangement | positioning of a polarizer. Here, FIG. 11 shows an arrangement example of the polarizer of the comparative example, and FIG. 12 shows an arrangement example of the polarizer of the first embodiment.

何れの色画素を偏光子画素とするかにおいては、例えば、M×Nブロック内において、カラーフィルタ100の一組の同色画素或いは同色に準じる1対の画素の組合せを選択して、それら選択した1対の画素上に偏光角度が異なる2種類のパターン化偏光子102を配置するのがよい。全画素領域に対してM×Nブロック周期で繰り返すことにより、全体的に偏光子画素を配置することもできるが、本実施形態においては、特に、後述する「オートフォーカス対象の領域」に配置すればよい。   In determining which color pixel is a polarizer pixel, for example, in a M × N block, a set of the same color pixels of a color filter 100 or a combination of a pair of pixels according to the same color is selected and selected. It is preferable to arrange two types of patterned polarizers 102 having different polarization angles on a pair of pixels. By repeating the M × N block cycle for all the pixel areas, it is possible to arrange the polarizer pixels as a whole. However, in this embodiment, in particular, it is arranged in an “autofocus target area” described later. That's fine.

図11に示す比較例の場合、カラーフィルタ100及びパターン化偏光子102が、固体撮像装置104(の撮像部)の撮像画素106の前面に重ねて配置されている。固体撮像装置104上にパターン化偏光子102を全面配置した典型例である。カラーフィルタ100とパターン化偏光子102の配置の順番は任意である。入射光は、カラーフィルタ100及びパターン化偏光子102を透過して固体撮像装置104に到達し、その撮像部の撮像画素106によって輝度が観測される。   In the case of the comparative example illustrated in FIG. 11, the color filter 100 and the patterned polarizer 102 are disposed so as to overlap the front surface of the imaging pixel 106 of the solid-state imaging device 104 (imaging unit thereof). This is a typical example in which the patterned polarizer 102 is disposed on the entire surface of the solid-state imaging device 104. The order of arrangement of the color filter 100 and the patterned polarizer 102 is arbitrary. The incident light passes through the color filter 100 and the patterned polarizer 102 and reaches the solid-state imaging device 104, and the luminance is observed by the imaging pixel 106 of the imaging unit.

一方、図12に示す実施例1では、カラーフィルタ100のM×Nブロック内において、特定色の部分にそれぞれ異なる偏光主軸を有する複数種類のパターン化偏光子102を各々配置する。パターン化偏光子102が配置される画素を偏光子画素と称する。パターン化偏光子102が配置されない画素を非偏光子画素と称する。複数種類のパターン化偏光子102とは、それぞれ異なる偏光主軸を有すればよいが、好ましくは、両者の偏光主軸の角度差を90度とするとよい。「偏光主軸」とは、パターン化偏光子102を透過する光の偏波面(透過偏波面)に平行な軸である。   On the other hand, in Example 1 shown in FIG. 12, in the M × N block of the color filter 100, a plurality of types of patterned polarizers 102 each having a different polarization main axis are arranged in a specific color portion. A pixel on which the patterned polarizer 102 is disposed is referred to as a polarizer pixel. A pixel in which the patterned polarizer 102 is not disposed is referred to as a non-polarizer pixel. The plurality of types of patterned polarizers 102 may have different polarization main axes, but preferably the angle difference between the two polarization main axes is 90 degrees. The “polarization main axis” is an axis parallel to the polarization plane (transmission polarization plane) of light transmitted through the patterned polarizer 102.

実施例1では、比較例とは異なり、パターン化偏光子102を全面配置するのではなく、一部の画素に周期的に配置する。この際には好ましくは、図12に示すように、偏光子画素は動画時に読み出されないいわゆる間引き画素に選択的に配置することができる。これにより、動画時の信号処理に負荷を掛けることはない。よって、フレームレートに支障を与えることもない。   In the first embodiment, unlike the comparative example, the patterned polarizer 102 is not disposed on the entire surface but is disposed periodically on some pixels. In this case, preferably, as shown in FIG. 12, the polarizer pixels can be selectively arranged in so-called thinned pixels that are not read out during moving images. As a result, no load is imposed on signal processing during moving images. Therefore, the frame rate is not hindered.

以下では、ベイヤー配列の固体撮像装置104を例にとって、2種類のパターン化偏光子102を配置する場合で説明する。図12に示す例は、ベイヤー配列のG画素(Gr画素及びGb画素)上に2種類のパターン化偏光子102を配置している。1つはTE波相当のパターン化偏光子102TE、もう1つはTM波相当のパターン化偏光子102TMである。TE波相当のパターン化偏光子102TEとTM波相当のパターン化偏光子102TMとは、それぞれ異なる偏光主軸を有し、両者の偏光主軸の角度差は90度である。その配置の頻度・間隔は、ベイヤー単位のGr、Gbへの配置を単位とし、一例として、横8×縦4を1ブロック(単位)に1つ位の間隔とする。図12は、動画時に読み出されない間引きラインであってGbライン(Gb画素の水平ライン)のGb画素にパターン化偏光子102TEを配置し、動画時に読み出されない間引きラインであってGrライン(Gr画素の水平ライン)のGr画素にパターン化偏光子102TMを配置した例で示している。TE波相当の偏光はTM波相当の偏光に対して反射率が高い。しかし、この差を肉眼では感じることができない。何故なら、肉眼の場合、視細胞の配置の影響でどんな光もほぼ入射角度がゼロで入射されるからである。   Hereinafter, a case where two types of patterned polarizers 102 are arranged will be described by taking the solid-state imaging device 104 having the Bayer arrangement as an example. In the example shown in FIG. 12, two types of patterned polarizers 102 are arranged on G pixels (Gr pixels and Gb pixels) in a Bayer array. One is a patterned polarizer 102TE corresponding to a TE wave, and the other is a patterned polarizer 102TM corresponding to a TM wave. The patterned polarizer 102TE corresponding to the TE wave and the patterned polarizer 102TM corresponding to the TM wave have different polarization main axes, and the angle difference between the two polarization main axes is 90 degrees. The frequency / interval of the arrangement is based on the arrangement of Bayer units on Gr and Gb, and as an example, the horizontal 8 × vertical 4 is set as one interval per block (unit). FIG. 12 shows a thinned line that is not read out during a moving image, and the patterned polarizer 102TE is arranged on the Gb pixel of the Gb line (horizontal line of the Gb pixel). This is an example in which the patterned polarizer 102TM is arranged on the Gr pixel of the pixel horizontal line. The polarized light equivalent to the TE wave has a higher reflectance than the polarized light equivalent to the TM wave. However, this difference cannot be felt with the naked eye. This is because, in the case of the naked eye, any light is incident with an incident angle of almost zero due to the arrangement of the photoreceptor cells.

2つの偏光子画素から得られる輝度情報そのもの或いは感度差(つまり輝度差)を利用してオートフォーカスを実現することができるし、2つの偏光子画素から得られる感度差(つまり輝度差)を利用して画角全体に感度補正を施し、肉眼上と固体撮像装置104上の感度を一致させることもできる。後者の場合、オートフォーカスだけでなく、固体撮像装置上と肉眼上での明るさの大小関係の逆転現象を防止することができることができる。   Autofocus can be realized by using luminance information itself or sensitivity difference (that is, luminance difference) obtained from two polarizer pixels, and sensitivity difference (that is, luminance difference) obtained from two polarizer pixels is used. Thus, sensitivity correction is performed on the entire angle of view, and the sensitivity on the naked eye and on the solid-state imaging device 104 can be matched. In the latter case, it is possible to prevent not only autofocus but also a reverse phenomenon of the magnitude relationship between the brightness on the solid-state imaging device and the naked eye.

配置間隔は、例えば1400万画素の固体撮像装置を対象として考えた場合には640画素×480画素以上、即ち、VGA相当以上となる。640画素×480画素以上即ちVGA相当以上であれば補正の意味は十分にあり、しかも、解像度の劣化が意識されるレベルでもない。   For example, when considering a 14 million pixel solid-state imaging device as an object, the arrangement interval is 640 pixels × 480 pixels or more, that is, a VGA equivalent or more. If it is 640 pixels × 480 pixels or more, that is, VGA or more, the meaning of the correction is sufficient, and the resolution is not at a level where deterioration in resolution is conscious.

例えば、Gr画素にはTE波相当のみを通すパターン化偏光子102TEを配置し、Gb画素にはTM波相当のみを通すパターン化偏光子102TMを配置する。或いは逆に、Gr画素にはTM波相当のみを通すパターン化偏光子102TMを配置し、Gb画素にはTE波相当のみを通すパターン化偏光子102TEを配置してもよい。パターン化偏光子102TMを配置する画素をTM画素と称し、パターン化偏光子102TEを配置する画素をTE画素と称する。   For example, a patterned polarizer 102TE that passes only the TE wave is arranged in the Gr pixel, and a patterned polarizer 102TM that passes only the TM wave is arranged in the Gb pixel. Alternatively, the patterned polarizer 102TM that passes only the TM wave may be disposed in the Gr pixel, and the patterned polarizer 102TE that passes only the TE wave may be disposed in the Gb pixel. A pixel on which the patterned polarizer 102TM is disposed is referred to as a TM pixel, and a pixel on which the patterned polarizer 102TE is disposed is referred to as a TE pixel.

つまり、ベイヤー配列のG画素上に一組の逆方向の偏光子画素を配置する。その配置の頻度・間隔は、ベイヤー単位のGr、Gbへの配置を単位とし、横8×縦4画素のブロックを単位に1つ位の間隔とする。GrにはTE波相当のみを通すパターン化偏光子102TEを配置し、GbにはTM波相当のみを通すパターン化偏光子102TEを配置する。或いは、GrにはTM波相当のみを通すパターン化偏光子102TMを配置し、GbにはTE波相当のみを通すパターン化偏光子102TMを配置する。これらの対の偏光子画素の輝度差の総和が最も最大の位置を合焦位置とする。   In other words, a pair of reverse polarizer pixels are arranged on the G pixels in the Bayer array. The frequency / interval of the arrangement is set to a unit of arrangement in Gr and Gb in Bayer units, and is set to one interval in units of blocks of horizontal 8 × vertical 4 pixels. A patterned polarizer 102TE that passes only the TE wave is arranged for Gr, and a patterned polarizer 102TE that passes only the TM wave is arranged for Gb. Alternatively, a patterned polarizer 102TM that passes only the TM wave is disposed in Gr, and a patterned polarizer 102TM that passes only the TE wave is disposed in Gb. The position where the sum of the luminance differences between these pairs of polarizer pixels is the maximum is taken as the in-focus position.

こうすることにより、TE波とTM波の輝度差の変化を利用してオートフォーカス機能を実現することができる。単純に輝度差を総和するだけのため、高速処理が可能であるし、32画素に一対の配置のため、補完がより精度を保持した状態で可能である。コントラストオートフォーカスや画素内位相差オートフォーカスでは検出不可能な、例えば全面赤の被写体や全面青の被写体、中央赤、中央青の被写体にも合焦位置を検出可能であるし、感度補正等の偏光情報も利用できる。   By doing so, an autofocus function can be realized by utilizing a change in luminance difference between the TE wave and the TM wave. Since the luminance differences are simply summed, high-speed processing is possible, and since a pair of 32 pixels is arranged, complementation is possible with more accuracy. For example, it is possible to detect the in-focus position for subjects that are red, blue, central red, and central blue, which cannot be detected by contrast autofocus or intra-pixel phase difference autofocus. Polarization information can also be used.

ここでは、ベイヤー配列のG画素(Gr画素及びGb画素)上に2種類のパターン化偏光子102を配置する例で説明したが、これには限定されない。偏光子画素(或いは非偏光子画素)の組合せ色は任意である。例えば、Gr画素及びGb画素の何れか一方とR画素及びB画素の何れか一方との組合せ、或いは、R画素とB画素の組合せとしてもよい。その組合せに応じて、感度補正処理において、色画素の感度の相違を「感度比」で補正すればよい。   Although an example in which two types of patterned polarizers 102 are arranged on G pixels (Gr pixels and Gb pixels) in a Bayer array has been described here, the present invention is not limited to this. The combination color of polarizer pixels (or non-polarizer pixels) is arbitrary. For example, a combination of any one of the Gr pixel and the Gb pixel and any one of the R pixel and the B pixel, or a combination of the R pixel and the B pixel may be used. According to the combination, in the sensitivity correction process, the difference in the sensitivity of the color pixels may be corrected by the “sensitivity ratio”.

[偏光子画素の配置位置]
図13は、偏光子画素の配置位置を説明する図である。図14は、感度補正非対象範囲の規定原理を説明する図である。図24も参照するとよい。
[Polarizer pixel location]
FIG. 13 is a diagram for explaining the arrangement positions of the polarizer pixels. FIG. 14 is a diagram for explaining the principle of defining the sensitivity correction non-target range. Reference may also be made to FIG.

偏光子画素を配置する「オートフォーカス対象の領域」としては、典型的には、図13(A)に示すように、撮像領域の中央寄りの位置である。例えば、撮像エリアの中心側は斜め入射の影響が少なく、感度補正を必要としないので、全画素領域に対して部分的に(詳しくは撮像エリアの中央側にのみ)偏光子画素を配置するのがよい。これは入射角度が小さい場合、固体撮像装置104上と肉眼上での明るさの大小関係の逆転現象が起こり得ないか若しくはその差が軽微であり、敢えて感度補正する必要がないと考えられるからである。例えば、全画素領域の1/20〜1/30程度の周辺領域を除く領域に偏光子を配置するとよい。画素領域(撮像エリア)の中央位置への配置が優先されることが望ましいのは、オートフォーカスは通常被写体の中心位置で実現されることが望ましいからである。但し、原理的には、その配置位置は画素領域の中央位置には限定されず、周辺領域であってもよいし、図13(B)に示すように全面でもよい。主たる被写体(注目被写体)が通常、何処に配置されるかに応じて、偏光子画素を配置する「オートフォーカス対象の領域」を決めればよい。尚、図13(B)に示す場合において、周辺部の感度補正対象領域は、オートフォーカス対象の領域としないようにしてもよい。つまり、偏光子画素の配置箇所は撮像エリアの全面を対象とするが、「オートフォーカス対象の領域」は図13(A)に示す撮像領域の中央寄りの領域のみであり、周辺部は感度補正対象領域専用とする形態である。図13(B)に示す場合において、周辺部の感度補正対象領域と中央部の感度補正不要領域との間に偏光子を配置しない緩衝領域を設けてもよい。   The “autofocus target area” in which the polarizer pixels are arranged is typically a position closer to the center of the imaging area as shown in FIG. For example, since the influence of oblique incidence is small on the center side of the imaging area and sensitivity correction is not required, a polarizer pixel is disposed partially (specifically, only on the center side of the imaging area) for all pixel regions. Is good. This is because when the incident angle is small, the reversal phenomenon of the brightness relationship between the solid-state imaging device 104 and the naked eye cannot occur or the difference is slight, and it is considered that there is no need to calibrate the sensitivity. It is. For example, a polarizer may be arranged in a region excluding the peripheral region of about 1/20 to 1/30 of the entire pixel region. The reason why priority is given to the arrangement of the pixel area (imaging area) at the center position is that the autofocus is preferably realized at the center position of the normal subject. However, in principle, the arrangement position is not limited to the center position of the pixel region, and may be a peripheral region or the entire surface as shown in FIG. The “autofocus target region” in which the polarizer pixels are arranged may be determined according to where the main subject (target subject) is usually arranged. In the case shown in FIG. 13B, the sensitivity correction target area in the peripheral portion may not be an auto focus target area. In other words, the location where the polarizer pixels are arranged covers the entire imaging area, but the “autofocus target area” is only the area closer to the center of the imaging area shown in FIG. This is a form dedicated to the target area. In the case shown in FIG. 13B, a buffer region in which no polarizer is arranged may be provided between the sensitivity correction target region in the peripheral portion and the sensitivity correction unnecessary region in the central portion.

因みに、前述のように、撮像領域の周辺部では、偏光による反射率の角度依存性により感度の逆転現象が見られるため、この点を考慮した感度補正処理を行なうことで、固体撮像装置上と肉眼上での明るさの大小関係の逆転現象を防止する技術を併用することが好ましい。この場合、感度補正用の偏光子を配した画素から得られる情報を合焦用にも使用することができる。つまり、同じ偏光子を感度補正用と合焦用とに兼用することができる。   Incidentally, as described above, in the peripheral part of the imaging region, a sensitivity reversal phenomenon is observed due to the angle dependence of the reflectance due to the polarization, so by performing sensitivity correction processing taking this point into consideration, It is preferable to use a technique for preventing the reversal phenomenon of the magnitude relation of brightness on the naked eye. In this case, information obtained from a pixel provided with a sensitivity correcting polarizer can be used for focusing. That is, the same polarizer can be used for both sensitivity correction and focusing.

例えば、TE波成分とTE波成分との差が、画素の信号出力に対して1/50程度未満の差しかつかない中央側の領域を感度補正不要領域とし、当該感度補正不要領域の周辺の領域を、感度補正対象領域とする。そして、図13(A)に示すように、「オートフォーカス対象の領域」を撮像領域の中央寄りの位置とする場合には、この感度補正不要領域(全体或いは一部)を「オートフォーカス対象の領域」に割り当てる。こうすることで、当該領域の偏光子画素は専らオートフォーカス用に使用すればよい。或いは、図13(B)に示すように、「オートフォーカス対象の領域」を撮像領域の周辺部にも割り当てる場合は、感度補正対象領域の偏光子画素は、オートフォーカス用と感度補正用とに兼用する。   For example, a region on the central side where the difference between the TE wave component and the TE wave component is less than about 1/50 with respect to the pixel signal output is set as a sensitivity correction unnecessary region, and a region around the sensitivity correction unnecessary region Is the sensitivity correction target area. Then, as shown in FIG. 13A, when the “autofocus target area” is set to a position closer to the center of the imaging area, this sensitivity correction unnecessary area (entire or part) is designated as “autofocus target area”. Assign to "Area". By doing so, the polarizer pixels in the region may be used exclusively for autofocus. Alternatively, as shown in FIG. 13B, when the “autofocus target area” is also assigned to the periphery of the imaging area, the polarizer pixels in the sensitivity correction target area are used for autofocus and sensitivity correction. Combined use.

例えば、信号出力が150ミリボルト(mV)に対して3ミリボルト未満の差しかつかない撮像エリア中心側の領域を感度補正不要領域とし、この感度補正不要領域を除いた撮像部の周辺領域を感度補正対象領域とする。前記条件の撮像エリア中心側の領域は、概ね入射角度10度程度以内の領域となるが、この領域は感度補正対象除外可能である。   For example, a region on the center side of the imaging area that has a signal output of less than 3 millivolts with respect to 150 millivolts (mV) is set as a sensitivity correction unnecessary region, and a peripheral region of the imaging unit excluding this sensitivity correction unnecessary region is subject to sensitivity correction. This is an area. The region on the center side of the imaging area under the above conditions is a region within an incident angle of about 10 degrees, but this region can be excluded from the sensitivity correction target.

入射角度10度以下の範囲を感度補正非対象範囲(感度補正不要領域)とすることができる理由について、図14を参照して説明する。固体撮像装置104の撮像画素106の検知部(いわゆるフォトダイオードが典型例)は、例えば、シリコン基板(Si:屈折率nは3.8)上にシリコンナイトライドSiN(屈折率nは2.1)が積層され、その上層にオンチップレンズ108及び保護層109が配置されている。   The reason why the range of the incident angle of 10 degrees or less can be set as the sensitivity correction non-target range (sensitivity correction unnecessary region) will be described with reference to FIG. The detection unit (the so-called photodiode is a typical example) of the imaging pixel 106 of the solid-state imaging device 104 is, for example, silicon nitride SiN (refractive index n is 2.1) on a silicon substrate (Si: refractive index n is 3.8). ) And an on-chip lens 108 and a protective layer 109 are disposed on the upper layer.

図14に示すような簡略化した撮像画素106で算出した場合、大気中からシリコン到達で単純計算では凡そ50パーセント程度の光が透過される。例えば、固体撮像装置104に、ある決まった光学条件を照射する際、“感度”と云われる出力量を比較すると、TM波/TE波の出力差は入射角度30度で、約10〜15ミリボルト程度となる。視感度として、認識できる光量の差異はおよそ10パーセント程度であるので、計算上は150ミリボルトの感度に対しては入射角度30度以下は非補正対象となる。但し、固体撮像装置104はガンマ(γ)カーブやゲイン等、様々な出力補正が可能であることから、差異の認識は範囲をもう少し小さいと仮定する。これを3〜5ミリボルトとした。その差異がつく入射角度は、図14に示す屈折率の積層組合せを例とすると、10度程度となる。これにより、10度程度以下の入射角度範囲を感度補正省略可能対象である理由とする。   When the calculation is performed with the simplified imaging pixel 106 as shown in FIG. 14, approximately 50% of light is transmitted by the simple calculation when the silicon reaches from the atmosphere. For example, when the output amount called “sensitivity” is compared when irradiating the solid-state imaging device 104 with a certain optical condition, the output difference of TM wave / TE wave is about 10 to 15 millivolts at an incident angle of 30 degrees. It will be about. As the visibility, the difference in the amount of light that can be recognized is about 10%, and therefore, for the sensitivity of 150 millivolts, the incident angle of 30 degrees or less is not subject to correction. However, since the solid-state imaging device 104 can perform various output corrections such as a gamma (γ) curve and a gain, it is assumed that the recognition of the difference has a slightly smaller range. This was 3-5 millivolts. The incident angle with the difference is approximately 10 degrees when the refractive index stacking combination shown in FIG. 14 is taken as an example. Accordingly, an incident angle range of about 10 degrees or less is set as a reason that sensitivity correction can be omitted.

尚、感度補正対象領域の偏光子の偏光角度(向き)は、統一されていることが望まし。その限りにおいて、斜め方向(45度や135度等)でもよいし、1種類に限らず複数種類の偏光角度の組合せでもよい。複数種類の偏光角度の組合せとすることにより、輝度差を感度補正に利用することができる。又、「偏光角度が統一」という点においては、一組の偏光角度の組合せは、別の一組の偏光角度の組合せと統一がとれていることが望ましい。これに対して、「オートフォーカス対象の領域」の偏光子の偏光角度(向き)は、ランダム配置可能である。ある一組は水平垂直、別の一組は斜め方向という置き方でもよい。換言すると、感度補正対象領域の偏光子により得られる偏光情報(輝度情報)は、必ずオートフォーカス制御用にも使えるのに対して、「オートフォーカス対象の領域」の偏光子により得られる偏光情報(輝度情報)は、必ずしも、感度補正にも使えるとは云えない。   In addition, it is desirable that the polarization angles (directions) of the polarizers in the sensitivity correction target region be unified. In that case, it may be an oblique direction (45 degrees, 135 degrees, etc.), and may be a combination of not only one type but also a plurality of types of polarization angles. By using a combination of a plurality of types of polarization angles, the luminance difference can be used for sensitivity correction. Further, in terms of “unification of polarization angles”, it is desirable that the combination of one set of polarization angles is unified with the combination of another set of polarization angles. On the other hand, the polarization angle (direction) of the polarizer in the “autofocus target region” can be randomly arranged. One set may be placed horizontally and vertically, and another set may be placed diagonally. In other words, the polarization information (luminance information) obtained by the polarizer in the sensitivity correction target region can be used for autofocus control, whereas the polarization information (automatic focus target region) polarization information ( Luminance information) cannot always be used for sensitivity correction.

[偏光子を周辺領域に配置する場合の感度補正]
図15は、感度補正処理に使用される2種類のパターン化偏光子102TE及びパターン化偏光子102TMの特性例を説明する図である。
[Sensitivity correction when polarizers are placed in the peripheral area]
FIG. 15 is a diagram for explaining an example of characteristics of the two types of patterned polarizer 102TE and patterned polarizer 102TM used in the sensitivity correction process.

固体撮像装置上と肉眼上での明るさの大小関係の逆転現象を防止するための感度補正処理に当たっては、偏光子が配された画素(偏光子画素と記す)から得られる情報に基づいて予め定められた条件に従って補正係数(補正量)を求め、この補正係数を使用して対象画素の輝度情報を補正するとよい。偏光子が配置される画素(偏光子画素と記す)はもちろんのこと、偏光子が配置されない画素(非偏光子画素と記す)も同様に補正する。この際には、入射角度と出力感度から求められる「感度差異による感度補正テーブル」を予め用意しておき、この感度差異による感度補正テーブルに従って1つ或いは1組の偏光子が網羅(担当)する領域の各画素の情報を一律に補正する。例えば、撮像画素106の「上層構造」と、「レンズ・固体撮像装置の位置関係」が決定すれば、画角(レンズ環境を含む)の位置による入射角度θが決定する。この画角位置(換言すると入射角度)と出力感度Sから求められる「感度差異による感度補正テーブル」に従って、どの程度補正するかを決定付ける補正量(補正係数)は、例えば、TE波とTM波の差や、輝度画素(カラー撮像の場合はG画素と対応)とTE波の差に基づく値を使用する。因みに、感度補正テーブルは、どの程度補正するかを決定付ける補正量(補正係数)を持つものであるが、例えば、TE波とTM波の差を単純に上乗せする、若しくは、輝度画素(カラー撮像の場合はG画素と対応)とTE波の差を単純に上乗せするということではなく、所定値の係数を掛けた値を使用する。係数値は0を採ってもよく、その場合は実態としては補正なしと等価である。係数の最大値は例えば0.5程度とすればよい。   In the sensitivity correction processing for preventing the reversal phenomenon of the magnitude relationship between the brightness on the solid-state imaging device and the naked eye, based on information obtained from a pixel provided with a polarizer (referred to as a polarizer pixel) in advance. It is preferable to obtain a correction coefficient (correction amount) according to a predetermined condition and correct the luminance information of the target pixel using this correction coefficient. In addition to the pixel in which the polarizer is disposed (denoted as a polarizer pixel), the pixel in which the polarizer is not disposed (denoted as a non-polarizer pixel) is similarly corrected. In this case, a “sensitivity correction table based on sensitivity difference” obtained from the incident angle and output sensitivity is prepared in advance, and one or one set of polarizers is covered (in charge) according to the sensitivity correction table based on this sensitivity difference. The information of each pixel in the area is uniformly corrected. For example, if the “upper layer structure” of the imaging pixel 106 and the “positional relationship between the lens and the solid-state imaging device” are determined, the incident angle θ according to the position of the angle of view (including the lens environment) is determined. The correction amount (correction coefficient) that determines how much to be corrected according to the “sensitivity correction table based on sensitivity difference” obtained from the angle of view position (in other words, the incident angle) and the output sensitivity S is, for example, a TE wave and a TM wave. Or a value based on a difference between a luminance pixel (corresponding to a G pixel in the case of color imaging) and a TE wave. Incidentally, the sensitivity correction table has a correction amount (correction coefficient) that determines how much correction is to be performed. For example, the difference between the TE wave and the TM wave is simply added, or luminance pixels (color imaging) are added. In this case, the difference between the G pixel and the TE wave is not simply added, but a value multiplied by a predetermined coefficient is used. The coefficient value may be 0. In this case, the actual value is equivalent to no correction. The maximum value of the coefficient may be about 0.5, for example.

又、カラー撮像の場合の感度補正に当たっては、色分離フィルタの色による感度の相違も考慮に入れる。例えば、TM画素やTE画素として選択したG画素に対するR画素やB画素の感度の違いを示す指標を感度比とする。R画素の感度比についてはR画素出力値/G画素出力値、B画素の感度比についてはB画素出力値/G画素出力値とする。各画素出力値は、無偏光・無彩色時の出力値である。   Further, in the sensitivity correction in the case of color imaging, the difference in sensitivity depending on the color of the color separation filter is also taken into consideration. For example, an index indicating a difference in sensitivity of the R pixel and the B pixel with respect to the G pixel selected as the TM pixel or the TE pixel is used as the sensitivity ratio. The sensitivity ratio of R pixel is R pixel output value / G pixel output value, and the sensitivity ratio of B pixel is B pixel output value / G pixel output value. Each pixel output value is an output value when there is no polarization or achromatic color.

尚、この感度補正の前提として、偏光子(つまり偏光子画素)の特性を予め知っておく必要がある。この「特性」は、例えば、予め定めた入射角度θにおける予め定めた出力相当光量の場合の出力値を使用することができる。この点について図15を参照して説明する。例えば、図15(A)に示すように、無偏光波をTM画素とTE画素のそれぞれで受光することにより、そのときの感度データが得られる。即ち、例えば、TM画素とTE画素のそれぞれで得られる出力値(TM画素出力値とTE画素出力値)の差分D(=TM画素出力値−TE画素出力値)の情報を、予め定めた入射角度θ(例えば40度)と予め定めた出力相当光量(例えば150ミリボルト相当光量)のそれぞれについて求めることにより、非偏光時の差異値D(=TM画素出力値−TE画素出力値)で構成されるテーブルデータを感度データとして取得することができる。そのデータベースを非偏光値感度データベースと記す。差分(差異値)Dは、入射角度θと、感度Sのパラメータであり、D(θ,S)と表すことができる。   As a precondition for this sensitivity correction, it is necessary to know the characteristics of the polarizer (that is, the polarizer pixel) in advance. As this “characteristic”, for example, an output value in the case of a predetermined output equivalent light amount at a predetermined incident angle θ can be used. This point will be described with reference to FIG. For example, as shown in FIG. 15A, sensitivity data at that time is obtained by receiving a non-polarized wave in each of the TM pixel and the TE pixel. That is, for example, information on the difference D (= TM pixel output value−TE pixel output value) between the output values (TM pixel output value and TE pixel output value) obtained from each of the TM pixel and the TE pixel is determined in advance. By calculating each of the angle θ (for example, 40 degrees) and a predetermined output-corresponding light amount (for example, 150 millivolt light amount), a difference value D (= TM pixel output value−TE pixel output value) at the time of non-polarization is formed. Table data can be acquired as sensitivity data. This database is referred to as a non-polarization value sensitivity database. The difference (difference value) D is a parameter of the incident angle θ and the sensitivity S, and can be expressed as D (θ, S).

又、図15(B)に示すように、100パーセントTM波をTM画素とTE画素のそれぞれで受光することにより、そのときの感度データが得られる。即ち、100パーセントTM波に偏光している際のTM画素出力値とTE画素出力値の差分(=TM画素出力値−TE画素出力値)の情報を、予め定めた入射角度θと予め定めた出力相当光量のそれぞれについて求めることにより、100パーセントTM波に偏光している際の差異値D’(=TM画素出力値−TE画素出力値)で構成されるテーブルデータを感度データとして取得することができる。そのデータベースを100パーセントTM波感度データベースと記す。差分(差異値)D’も、入射角度θと、感度Sのパラメータであり、D’(θ,S)と表すことができる。図の例では、TM波に対してTM画素は十分な感度を持っている。   Further, as shown in FIG. 15B, sensitivity data at that time is obtained by receiving 100% TM wave at each of the TM pixel and the TE pixel. That is, information on the difference between the TM pixel output value and the TE pixel output value (= TM pixel output value−TE pixel output value) when polarized to 100% TM wave is set to a predetermined incident angle θ. By obtaining each of the output equivalent light amounts, table data composed of a difference value D ′ (= TM pixel output value−TE pixel output value) when polarized to 100% TM wave is acquired as sensitivity data. Can do. The database is referred to as a 100 percent TM wave sensitivity database. The difference (difference value) D ′ is also a parameter of the incident angle θ and the sensitivity S, and can be expressed as D ′ (θ, S). In the example shown in the figure, the TM pixel has sufficient sensitivity to the TM wave.

更に、図15(C)に示すように、100パーセントTE波をTE画素とTE画素のそれぞれで受光することにより、そのときの感度データが得られる。即ち、100パーセントTE波に偏光している際のTM画素出力値とTE画素出力値の差分(=TM画素出力値−TE画素出力値)の情報を、予め定めた入射角度θと予め定めた出力相当光量のそれぞれについて求めることにより、100パーセントTE波に偏光している際の差異値D”(=TM画素出力値−TE画素出力値)で構成されるテーブルデータを感度データとして取得することができる。そのデータベースを100パーセントTE波感度データベースと記す。差分(差異値)D”も、入射角度θと、感度Sのパラメータであり、D”(θ,S)と表すことができる。図の例では、TE波に対してTE画素は感度が低下している。これは、TE波に対して余分に反射されたことが要因であり後述のように感度補正を要する。   Further, as shown in FIG. 15C, sensitivity data at that time is obtained by receiving 100% TE wave at each of the TE pixel and the TE pixel. That is, information on the difference between the TM pixel output value and the TE pixel output value (= TM pixel output value−TE pixel output value) when polarized to 100% TE wave is set to a predetermined incident angle θ. By obtaining each of the output equivalent light amounts, table data composed of a difference value D ″ (= TM pixel output value−TE pixel output value) when polarized to 100% TE wave is acquired as sensitivity data. The database is referred to as a 100% TE wave sensitivity database, and the difference (difference value) D ″ is also a parameter of the incident angle θ and sensitivity S and can be expressed as D ″ (θ, S). In this example, the sensitivity of the TE pixel is reduced with respect to the TE wave, which is caused by extra reflection with respect to the TE wave, and sensitivity correction is required as described later.

そして、実際の感度補正に当たっては、予め定めた条件で算出される補正量(補正係数)を、各感度データベースと同様にして、入射角度θ及び偏光子を使用しない場合の出力値に対応付けて規定した感度補正テーブルを使用する。例えば、入射角度40度程度の150ミリボルト相当光量の場合の補正係数を例に説明する。先ず、(TM成分+TE成分)=全電磁波100パーセントと定義する。通常状態(非偏光状態)では、TM画素とTE画素の画素出力値は概ね同じである(実際には図15(A)に示すように差分Dが存在する)。ここで、このような感度差のある画素(TE画素とTE画素)を100%補正しようとすると、ほぼ全画素を修正する必要があり、処理負担が大きくなる。その対策として、補正対象画素を減らすべく、どのような状態の画素を補正対象画素とするかに基づき、適度な補正係数を設定するのが好ましい。例えば、“TM成分<TE成分”を満たす際のみ補正することにする。例えば、“TM出力値<TE出力値”を示した際には、その差異値(=TM出力値−TE出力値)の絶対値分の5割程度を補正量としてRawデータに上乗せすることにより、TE波に対して余分に反射された出力の感度補正を行なう。例えば、ベイヤ配列のG画素を偏光子画素に割り当てる場合であれば、隣接G画素(の平均値)に前述の補正量を加えた値を、偏光子画素のGデータとして置き換えて、感度補正後の値とする。残りの通常のG画素やR画素やB画素については、自身のRawデータに前述の補正量を加えた値を、感度補正後の値とする。   In actual sensitivity correction, the correction amount (correction coefficient) calculated under a predetermined condition is associated with the incident angle θ and the output value when the polarizer is not used in the same manner as each sensitivity database. Use the specified sensitivity correction table. For example, the correction coefficient in the case of a light amount equivalent to 150 millivolts with an incident angle of about 40 degrees will be described as an example. First, (TM component + TE component) = total electromagnetic wave 100% is defined. In the normal state (non-polarized state), the pixel output values of the TM pixel and the TE pixel are substantially the same (in reality, there is a difference D as shown in FIG. 15A). Here, if 100% correction of pixels having such a sensitivity difference (TE pixel and TE pixel) is required, almost all the pixels need to be corrected, which increases the processing load. As a countermeasure, in order to reduce the correction target pixels, it is preferable to set an appropriate correction coefficient based on what kind of pixel is the correction target pixel. For example, correction is performed only when “TM component <TE component” is satisfied. For example, when “TM output value <TE output value” is indicated, about 50% of the absolute value of the difference value (= TM output value−TE output value) is added to the raw data as a correction amount. The sensitivity of the output reflected excessively with respect to the TE wave is corrected. For example, in the case of assigning G pixels in a Bayer array to polarizer pixels, a value obtained by adding the above correction amount to the adjacent G pixels (average value thereof) is replaced with G data of the polarizer pixels, and after sensitivity correction. The value of For the remaining normal G pixels, R pixels, and B pixels, a value obtained by adding the above-described correction amount to its own Raw data is a value after sensitivity correction.

[固体撮像装置に偏光子を積層する手法]
図16は、固体撮像装置に偏光子を積層する手法を説明する図である。ここでは、被写体の通常画像(輝度画像やカラー画像)と偏光画像を同時に取得する技術を利用する。この技術としては、例えば、「川嶋貴之、佐藤尚、川上彰二郎、長嶋聖、太田晋一、青木孝文:“パターン化偏光子を用いた偏光イメージングデバイスと利用技術の開発”、電子情報通信学会大会講演論文集、特殊号:情報・システム2、2006年03月08日発行、52頁(参考文献1と記す)」や「青山勉、“フォトニック結晶の光通信から光産業への展開”、[online]、[平成23年2月2日検索]、インターネット<URL:http://www.nbci.jp/file/060724-6.pdf>(参考文献2と記す)」には、輝度画像と被写体の部分偏光の画像を同時に取得するため、複数の異なる偏光主軸を有するパターン化偏光子を固体撮像装置に空間的に配置することが開示されている。パターン化偏光子としては、フォトニック結晶や構造複屈折波長板アレイが利用されている。或いは、特開2007−86720号公報(参考文献3と記す)に記載の製造技術を利用することもできる。当該製造技術は企業や大学から発表されており、実用化レベルとなっている。因みに、固体撮像装置104は、CCDのみならず、CMOSセンサでもよいし、その他のイメージデバイスを使用することができ、特に条件等はない。
[Method of stacking polarizers on solid-state imaging devices]
FIG. 16 is a diagram illustrating a method of stacking a polarizer on a solid-state imaging device. Here, a technique for simultaneously acquiring a normal image (luminance image or color image) and a polarization image of a subject is used. This technology includes, for example, “Takayuki Kawashima, Nao Sato, Shojiro Kawakami, Kiyoshi Nagashima, Junichi Ota, Takafumi Aoki:“ Development of Polarized Imaging Device and Utilization Technology Using Patterned Polarizer ”, IEICE Conference Proceedings of the Lecture, Special Issue: Information / System 2, published on March 08, 2006, p. 52 (referred to as Reference 1) ”,“ Taku Aoyama, “Development of Photonic Crystals from Optical Communication to Optical Industry”, [Online], [Search February 2, 2011], Internet <URL: http://www.nbci.jp/file/060724-6.pdf> (referred to as Reference 2) " In order to simultaneously acquire images of partially polarized light of a subject, a patterned polarizer having a plurality of different polarization main axes is spatially arranged in a solid-state imaging device. As the patterned polarizer, a photonic crystal or a structural birefringent wave plate array is used. Alternatively, the manufacturing technique described in JP 2007-86720 A (referred to as Reference 3) can also be used. The manufacturing technology has been announced by companies and universities, and is at a practical level. Incidentally, the solid-state imaging device 104 may be not only a CCD but also a CMOS sensor, and other image devices can be used, and there are no particular conditions.

例えば、パターン化偏光子102の偏光子パターンは溝形成技術と積層技術により、所望の領域ごとにあらゆる方向に、形成が可能である。溝形成技術としては、電子ビームリソグラフィ、フォトリソグラフィ、干渉露光法、ナノプリンティング等、従来のエッチング技術を使用でき、積層技術としては自己クローニング法やマルチパターン形成技術を使用する。溝深さは、例えば0.2マイクロメートル(200ナノメートル)程度とする。これは、むら発生を十分に抑制可能とするレベルである。溝幅は、波長の半分程度で効果を発揮することが確認されている。   For example, the polarizer pattern of the patterned polarizer 102 can be formed in any direction for each desired region by a groove formation technique and a lamination technique. As the groove forming technique, conventional etching techniques such as electron beam lithography, photolithography, interference exposure, and nanoprinting can be used, and as the stacking technique, a self-cloning method or a multi-pattern forming technique is used. The groove depth is, for example, about 0.2 micrometers (200 nanometers). This is a level at which unevenness generation can be sufficiently suppressed. It has been confirmed that the groove width is effective at about half the wavelength.

又、材質が透明かつ高屈折率の材料を選択して形成するとよい。溝パターン非形成、全面膜展開も当然許容されることから、本実施形態の構成(特定画素上にのみパターン化偏光子102のパターンを作成)は可能と判断できる。又、CCD等とこのマルチパターンの結合も例えば非特許文献1等おいて実用レベルとしての成功事例が報告されている。   In addition, it is preferable to select a transparent material having a high refractive index. Since the groove pattern non-formation and the entire surface film development are allowed as a matter of course, it can be judged that the configuration of this embodiment (the pattern of the patterned polarizer 102 is created only on a specific pixel) is possible. In addition, for example, Non-patent Document 1 discloses a successful case of a practical level of the combination of a CCD or the like and this multi-pattern.

例えば、図16(A)に示すように、透明膜120及び透明膜122の2層を交互に積層させることで実現でき、全体の層厚は100nm〜500nm程度の薄膜化が可能である。尚、パターン化偏光子102を作成したくない箇所には、図16(B)に示すように、単に透明膜を施すとよい(溝形成は行なわない)。   For example, as shown in FIG. 16A, it can be realized by alternately laminating two layers of a transparent film 120 and a transparent film 122, and the entire layer thickness can be reduced to about 100 nm to 500 nm. In addition, as shown in FIG. 16B, a transparent film may be simply applied to a portion where the patterned polarizer 102 is not desired (groove formation is not performed).

[撮像装置:全体概要]
図17は、撮像装置の一実施形態を示す図である。撮像装置は、例えば、デジタルスチルカメラとして提供される。このデジタルスチルカメラは、静止画撮像動作時にカラー画像を撮像し得るカメラとして適用されるようになっている。
[Imaging device: Overall overview]
FIG. 17 is a diagram illustrating an embodiment of an imaging apparatus. The imaging device is provided as a digital still camera, for example. This digital still camera is applied as a camera that can capture a color image during a still image capturing operation.

撮像装置200は、固体撮像装置104(CCD固体撮像素子)、撮像レンズ50、及び、固体撮像装置104を駆動制御する駆動装置の一例である駆動制御部296を有する撮像装置モジュール203と、撮像装置モジュール203により得られる撮像信号に基づいて映像信号を生成しモニタ出力したり所定の記憶メディアに画像を格納したりする本体ユニット204とを備えている。   The imaging device 200 includes an imaging device module 203 having a solid-state imaging device 104 (CCD solid-state imaging device), an imaging lens 50, and a drive control unit 296 that is an example of a driving device that drives and controls the solid-state imaging device 104, and an imaging device. A main unit 204 is provided that generates a video signal based on an imaging signal obtained by the module 203 and outputs the video signal to a monitor or stores an image in a predetermined storage medium.

撮像装置モジュール203内の駆動制御部296には、固体撮像装置104を駆動するための各種のパルス信号を生成するタイミング信号生成部240と、このタイミング信号生成部240からのパルス信号を受けて、固体撮像装置104を駆動するためのドライブパルスに変換するドライバ242(駆動部)と、固体撮像装置104やドライバ242等に電源供給する駆動電源246とが設けられている。   The drive control unit 296 in the imaging device module 203 receives the timing signal generation unit 240 that generates various pulse signals for driving the solid-state imaging device 104 and the pulse signal from the timing signal generation unit 240, A driver 242 (drive unit) that converts the drive pulse to drive the solid-state imaging device 104 and a drive power source 246 that supplies power to the solid-state imaging device 104, the driver 242 and the like are provided.

撮像装置200の処理系統は、大別して、光学系205、信号処理系206、記録系207、表示系208、及び、制御系209から構成されている。撮像装置モジュール203と本体ユニット204が、図示しない外装ケースに収容されて、実際の製品(完成品)が仕上がる。   The processing system of the imaging apparatus 200 is roughly divided into an optical system 205, a signal processing system 206, a recording system 207, a display system 208, and a control system 209. The imaging device module 203 and the main unit 204 are accommodated in an exterior case (not shown), and an actual product (finished product) is finished.

光学系205は、固体撮像装置104のセンサ部(電荷生成部)における信号電荷の蓄積を停止させる機能を持つ機構的なシャッタ252(メッカシャッタ)、撮像レンズ250と、集光された光画像を光電変換して電気信号に変換する固体撮像装置104とから構成されている。撮像レンズ250は、被写体の光画像を集光するレンズユニット(フォーカスレンズ253とズームレンズ254)、フォーカスレンズ253を駆動するフォーカスモータFMT、ズームレンズ254を駆動するズームモータZMT、光画像の光量を調整する絞り256を有する。   The optical system 205 includes a mechanical shutter 252 (Mecca shutter) having a function of stopping the accumulation of signal charges in the sensor unit (charge generation unit) of the solid-state imaging device 104, an imaging lens 250, and the collected optical image. It is comprised from the solid-state imaging device 104 which photoelectrically converts and converts it into an electrical signal. The imaging lens 250 includes a lens unit (focus lens 253 and zoom lens 254) that collects an optical image of a subject, a focus motor FMT that drives the focus lens 253, a zoom motor ZMT that drives the zoom lens 254, and a light amount of the optical image. A diaphragm 256 to be adjusted is provided.

信号処理系206は、プリアンプ部262とAD(Analog/Digital)変換部264と画像処理部266とから構成されている。プリアンプ部262とAD変換部264とを纏めてアナログフロントエンドとも称する。図示しないが、必要に応じて、固体撮像装置104とプリアンプ部262との間にバッファ部を設ける。バッファ部は、固体撮像装置104から出力されたCCD出力信号を、劣化することなく、アナログフロントエンドに供給するための受渡し機能を持つ部分であり、固体撮像装置104とは別の集積回路(IC)とされる。   The signal processing system 206 includes a preamplifier unit 262, an AD (Analog / Digital) conversion unit 264, and an image processing unit 266. The preamplifier unit 262 and the AD conversion unit 264 are collectively referred to as an analog front end. Although not shown, a buffer unit is provided between the solid-state imaging device 104 and the preamplifier unit 262 as necessary. The buffer unit is a part having a delivery function for supplying the CCD output signal output from the solid-state imaging device 104 to the analog front end without deterioration, and is an integrated circuit (IC) different from the solid-state imaging device 104. ).

プリアンプ部262は、例えば、固体撮像装置104からの撮像信号をサンプリングすることによってノイズを低減させるCDS(Correlated Double Sampling:相関2重サンプリング)回路や、撮像信号を増幅するゲインコントロール処理用の増幅アンプや、撮像信号をクランプ(CLAMP)するクランプ回路等を有する。AD変換部264プリアンプ部262が出力するアナログ信号をデジタル信号に変換する。   The preamplifier unit 262 is, for example, a CDS (Correlated Double Sampling) circuit that reduces noise by sampling an imaging signal from the solid-state imaging device 104, or an amplification amplifier for gain control processing that amplifies the imaging signal And a clamp circuit for clamping (CLAMP) the imaging signal. The analog signal output from the AD conversion unit 264 preamplifier unit 262 is converted into a digital signal.

画像処理部266は、DSP(Digital Signal Processor)で構成されており、AD変換部264から入力されるデジタル信号に所定の画像処理を施す。例えば、画像処理部266は、黒レベル補正処理部、画素欠陥補正部、ホワイトバランス処理部、補間処理部、信号分離部、色信号処理部(C-proc)、輝度信号処理部(Y-proc)等を有する。信号分離部は、例えばリニアマトリクス処理を利用して、色フィルタとして原色フィルタ以外のものが使用されているときにAD変換部264から供給されるデジタル撮像信号をR(赤)信号、G(緑)信号、B(青)信号(纏めて原色信号RGBとも記す)に分離する原色分離機能を具備する。色信号処理部は、信号分離部によって分離されたて原色信号RGBに基づいて色信号Cに関しての信号処理を行なう。例えば、ホワイトバランス補正、ガンマ補正、色差マトリクス処理等を行なう。輝度信号処理部は、信号分離部によって分離された原色信号RGBに基づいて輝度信号Yに関しての信号処理を行なう。例えば、高周波輝度信号生成処理と、低周波輝度信号生成処理と、輝度信号生成処理等を行なう。高周波輝度信号生成処理では、信号分離部から供給される原色信号RGBに基づいて比較的周波数が高い成分までをも含む輝度信号YHを生成する。低周波輝度信号生成処理では、ホワイトバランスが調整された原色信号RGBに基づいて比較的周波数が低い成分のみを含む輝度信号YLを生成する。輝度信号生成処理では、2種類の輝度信号YH及び輝度信号YLに基づいて輝度信号Yを生成する。輝度信号YLは露光制御にも利用される。   The image processing unit 266 is configured by a DSP (Digital Signal Processor), and performs predetermined image processing on the digital signal input from the AD conversion unit 264. For example, the image processing unit 266 includes a black level correction processing unit, a pixel defect correction unit, a white balance processing unit, an interpolation processing unit, a signal separation unit, a color signal processing unit (C-proc), and a luminance signal processing unit (Y-proc ) Etc. The signal separation unit uses, for example, linear matrix processing to convert the digital image pickup signal supplied from the AD conversion unit 264 into R (red) signal and G (green) when a color filter other than the primary color filter is used. ) Signal and B (blue) signal (collectively referred to as primary color signal RGB). The color signal processing unit performs signal processing on the color signal C based on the fresh primary color signal RGB separated by the signal separation unit. For example, white balance correction, gamma correction, color difference matrix processing, and the like are performed. The luminance signal processing unit performs signal processing on the luminance signal Y based on the primary color signals RGB separated by the signal separation unit. For example, high frequency luminance signal generation processing, low frequency luminance signal generation processing, luminance signal generation processing, and the like are performed. In the high-frequency luminance signal generation process, a luminance signal YH including even a component having a relatively high frequency is generated based on the primary color signal RGB supplied from the signal separation unit. In the low-frequency luminance signal generation process, a luminance signal YL including only a component having a relatively low frequency is generated based on the primary color signal RGB whose white balance has been adjusted. In the luminance signal generation process, the luminance signal Y is generated based on the two types of luminance signals YH and luminance signals YL. The luminance signal YL is also used for exposure control.

記録系207は、画像信号を記憶するフラッシュメモリ等のメモリ272(記録媒体)と、画像処理部266が処理した画像信号を符号化してメモリ272に記録し、又、読み出して復号し画像処理部266に供給するCODEC274(Code/Decode あるいはCompression/Decompression)とから構成されている。   The recording system 207 encodes the image signal processed by the image processing unit 266 by a memory 272 (recording medium) such as a flash memory that stores the image signal, records the encoded image signal in the memory 272, and reads and decodes the image signal. CODE 274 (Code / Decode or Compression / Decompression) supplied to H.266.

表示系208は、DA(Digital/Analog)変換部282とビデオエンコーダ284とビデオモニタ286とから構成されている。DA変換部282は、画像処理部266が処理した画像信号をアナログ化する。ビデオエンコーダ284は、アナログ化された画像信号を後段のビデオモニタ286に適合する形式のビデオ信号にエンコードする。ビデオモニタ286は、液晶(LCD;Liquid Crystal Display)や有機EL等の表示デバイスを具備し、入力されるビデオ信号に対応する画像を表示することにより電子ファインダとしても機能する。   The display system 208 includes a DA (Digital / Analog) converter 282, a video encoder 284, and a video monitor 286. The DA conversion unit 282 converts the image signal processed by the image processing unit 266 into analog. The video encoder 284 encodes the analog image signal into a video signal in a format compatible with the video monitor 286 at the subsequent stage. The video monitor 286 includes a display device such as a liquid crystal display (LCD) or an organic EL, and functions as an electronic viewfinder by displaying an image corresponding to an input video signal.

制御系209は、カメラ制御部292と、露出コントローラ294(露出制御部)と、駆動制御部296と、操作部298とを備える。カメラ制御部292は、CPU(Central Processing Unit)やマイクロプロセッサ(microprocessor)で構成された中央制御部292aと、読出専用の記憶部であるROM(Read Only Memory)、或いは随時読出し・書込みが可能なメモリであるRAM(Random Access Memory)等を具備する記憶部292bや、図示を割愛したその他の周辺部材を有している。中央制御部292aは、コンピュータが行なう演算と制御の機能を超小型の集積回路に集約させたCPUを代表例とする電子計算機の中枢をなすものと同様である。   The control system 209 includes a camera control unit 292, an exposure controller 294 (exposure control unit), a drive control unit 296, and an operation unit 298. The camera control unit 292 can be read and written as needed, and a central control unit 292a configured by a CPU (Central Processing Unit) or a microprocessor and a ROM (Read Only Memory) that is a read-only storage unit. The storage unit 292b includes a RAM (Random Access Memory) that is a memory, and other peripheral members that are not illustrated. The central control unit 292a is similar to the central control unit 292a that forms the center of an electronic computer whose representative example is a CPU in which the functions of computation and control performed by a computer are integrated into an ultra-small integrated circuit.

制御系209は、露出コントローラ294(露出制御部)、タイミング信号生成部240(タイミングジェネレータ;TG)を具備した駆動制御部296、操作部298を有する。中央制御部292aは、撮像装置200のバス299に接続された画像処理部266、CODEC274、メモリ272、露出コントローラ294(露出制御部)、タイミング信号生成部240を制御する。   The control system 209 includes an exposure controller 294 (exposure control unit), a drive control unit 296 including a timing signal generation unit 240 (timing generator; TG), and an operation unit 298. The central control unit 292a controls the image processing unit 266, the CODEC 274, the memory 272, the exposure controller 294 (exposure control unit), and the timing signal generation unit 240 connected to the bus 299 of the imaging device 200.

カメラ制御部292は、システム全体を制御するものであり、例えば、撮像装置200のバス299に接続された画像処理部266、CODEC274、メモリ272、露出コントローラ294、及び、タイミング信号生成部240を制御する。ROMにはカメラ制御部292の制御プログラム等が格納されている。RAMにはカメラ制御部292が各種処理を行なうためのデータ等が格納される。カメラ制御部292は、メモリカード等の記録媒体を挿脱可能に構成し、或いは又、インターネット等の通信網との接続が可能に構成するとよい。このためには、図示しないが例えば、カメラ制御部292は、中央制御部292aや記憶部292bの他に、メモリ読出部や通信I/F(インタフェース)を備えるようにする。   The camera control unit 292 controls the entire system. For example, the camera control unit 292 controls the image processing unit 266, the CODEC 274, the memory 272, the exposure controller 294, and the timing signal generation unit 240 connected to the bus 299 of the imaging apparatus 200. To do. The ROM stores a control program for the camera control unit 292 and the like. The RAM stores data for the camera control unit 292 to perform various processes. The camera control unit 292 may be configured to be able to insert and remove a recording medium such as a memory card, or to be connected to a communication network such as the Internet. For this purpose, although not shown, for example, the camera control unit 292 includes a memory reading unit and a communication I / F (interface) in addition to the central control unit 292a and the storage unit 292b.

露出コントローラ294は、画像処理部266に送られた画像の明るさが適度な明るさを保つようにシャッタ252や絞り256を制御する。駆動制御部296は、固体撮像装置10から画像処理部66までの各機能部の動作タイミングを制御するタイミング信号生成部240(タイミングジェネレータ;TG)、ドライバ242、駆動電源246を有する。アナログフロントエンド(プリアンプ部262とAD変換部264)、タイミング信号生成部240、ドライバ242を纏めて、CCDカメラフロントエンドとも称する。   The exposure controller 294 controls the shutter 252 and the diaphragm 256 so that the brightness of the image sent to the image processing unit 266 is maintained at an appropriate level. The drive control unit 296 includes a timing signal generation unit 240 (timing generator; TG) that controls the operation timing of each functional unit from the solid-state imaging device 10 to the image processing unit 66, a driver 242, and a drive power supply 246. The analog front end (preamplifier unit 262 and AD conversion unit 264), timing signal generation unit 240, and driver 242 are collectively referred to as a CCD camera front end.

操作部298は、ユーザがシャッタタイミングやその他のコマンドを入力するためのユーザインタフェースであり、ユーザによる操作の下に撮像装置200が持つ様々な機能について操作指令を発する。ビデオモニタ286は、撮像装置200のファインダの役割も担っている。ユーザが操作部298に含まれるシャッタボタンを押下した場合、カメラ制御部292は、タイミング信号生成部240に対し、シャッタボタンが押下された直後の画像信号を取り込み、その後は画像処理部266の図示しない画像メモリに画像信号が上書きされないように信号処理系206を制御させる。その後、画像処理部266の画像メモリに書き込まれた画像データは、CODEC274によって符号化されてメモリ272に記録される。以上のような撮像装置200の動作によって、1枚の画像データの取り込みが完了する。   The operation unit 298 is a user interface for the user to input shutter timing and other commands, and issues operation commands for various functions of the imaging apparatus 200 under operations by the user. The video monitor 286 also serves as a finder for the imaging apparatus 200. When the user presses the shutter button included in the operation unit 298, the camera control unit 292 captures the image signal immediately after the shutter button is pressed into the timing signal generation unit 240, and thereafter the image processing unit 266 is illustrated. The signal processing system 206 is controlled so that the image signal is not overwritten in the image memory not to be overwritten. Thereafter, the image data written in the image memory of the image processing unit 266 is encoded by the CODEC 274 and recorded in the memory 272. With the operation of the imaging apparatus 200 as described above, the acquisition of one piece of image data is completed.

撮像装置200では、オートフォーカス(AF)、オートホワイトバランス(AWB)、自動露光(AE)等の自動制御装置を備えている。これらの制御は、固体撮像装置104から得られる出力信号を使用して処理する。例えば、被写体からの光は、シャッタ252とレンズユニット(フォーカスレンズ253とズームレンズ254)を透過し、絞り256により調整されて、適度な明るさで固体撮像装置104に入射する。このとき、フォーカスレンズ253は中央制御部292aからの制御情報に基づいてフォーカスモータFMTにより駆動され、被写体からの光からなる映像が、固体撮像装置104上で結像されるように、試行法の山登りサーボ方式により焦点位置が調整される。摂動法の山登りサーボ方式によるオートフォーカスとする場合には、図中に破線で示すように、固体撮像装置104を光軸方向に微少変動させるピエゾ素子(PIEZO)等の摂動部材及びこれを駆動する駆動部PDRVを設け、この摂動部材を中央制御部292aからの制御情報に基づいて駆動部PDRVにより駆動する。露出コントローラ294は、画像処理部266に送られた画像の明るさが適度な明るさを保つようにその制御値が中央制御部292aにより設定され、その制御値に従って絞り256を制御する。具体的には、中央制御部292aが画像処理部266に保持されている画像から適当な個数の輝度値のサンプルを獲得し、その平均値が予め定められた適当とされる輝度の範囲に収まるように絞り256の制御値を設定する。   The imaging apparatus 200 includes automatic control devices such as auto focus (AF), auto white balance (AWB), and automatic exposure (AE). These controls are processed using an output signal obtained from the solid-state imaging device 104. For example, light from the subject passes through the shutter 252 and the lens unit (focus lens 253 and zoom lens 254), is adjusted by the diaphragm 256, and enters the solid-state imaging device 104 with appropriate brightness. At this time, the focus lens 253 is driven by the focus motor FMT based on the control information from the central control unit 292a, and an image of light from the subject is formed on the solid-state imaging device 104 in a trial method. The focus position is adjusted by the hill-climbing servo system. In the case of auto-focusing by the hill-climbing servo method of the perturbation method, as shown by a broken line in the figure, a perturbation member such as a piezo element (PIEZO) that slightly changes the solid-state imaging device 104 in the optical axis direction and this are driven. A driving unit PDRV is provided, and the perturbing member is driven by the driving unit PDRV based on control information from the central control unit 292a. The exposure controller 294 has its control value set by the central control unit 292a so that the brightness of the image sent to the image processing unit 266 is kept at an appropriate level, and controls the diaphragm 256 according to the control value. Specifically, the central control unit 292a obtains an appropriate number of luminance value samples from the image held in the image processing unit 266, and the average value falls within a predetermined appropriate luminance range. Thus, the control value of the diaphragm 256 is set.

タイミング信号生成部240は、中央制御部292aにより制御され、固体撮像装置104、プリアンプ部262、AD変換部264、画像処理部266の動作に必要とされるタイミングパルスを発生し、各部に供給する。操作部298は、ユーザが、撮像装置200を動作させるとき操作される。   The timing signal generation unit 240 is controlled by the central control unit 292a, generates timing pulses necessary for the operations of the solid-state imaging device 104, the preamplifier unit 262, the AD conversion unit 264, and the image processing unit 266, and supplies them to each unit. . The operation unit 298 is operated when the user operates the imaging apparatus 200.

図示した例は、信号処理系206のプリアンプ部262とAD変換部264を撮像装置モジュール203に内蔵しているが、このような構成に限らず、撮像装置モジュール203をどのような形態にするかは、販売形態や製品仕様に基づいて決めればよい。撮像装置モジュール203をどのような形態にするかに拘わらず、撮像装置モジュール203と本体ユニット204とは着脱可能な構成にするのがよい。例えば、プリアンプ部262やAD変換部264を本体ユニット204内に設ける構成を採ることもできる。D/A変換部を画像処理部266内に設ける構成を採ることもできる。又、画像処理部266の一部(或いは全部)の機能部を撮像装置モジュール203側に設ける構成を採ることもできる。更には、撮像装置モジュール203は、撮像レンズ250を備えない形態としてもよい。この場合、撮像装置モジュール203は、撮像レンズ250を着脱可能な構成にする。   In the illustrated example, the preamplifier unit 262 and the AD conversion unit 264 of the signal processing system 206 are incorporated in the imaging device module 203. However, the configuration is not limited to such a configuration, and the configuration of the imaging device module 203 is not limited. Can be determined based on the sales form and product specifications. Regardless of the form of the imaging device module 203, the imaging device module 203 and the main unit 204 are preferably detachable. For example, a configuration in which the preamplifier unit 262 and the AD conversion unit 264 are provided in the main unit 204 can be employed. A configuration in which the D / A conversion unit is provided in the image processing unit 266 can also be adopted. In addition, a configuration in which a part (or all) of functional units of the image processing unit 266 is provided on the imaging device module 203 side may be employed. Further, the imaging device module 203 may not include the imaging lens 250. In this case, the imaging device module 203 is configured so that the imaging lens 250 can be attached and detached.

タイミング信号生成部240を撮像装置モジュール203に内蔵しているが、このような構成に限らず、タイミング信号生成部240を本体ユニット204内に設ける構成を採ることもできる。タイミング信号生成部240とドライバ242とが別体のものとしているが、このような構成に限らず、両者を一体化させたもの(ドライバ内蔵のタイミングジェネレータ)としてもよい。こうすることで、よりコンパクトな(小型の)撮像装置200を構成できる。   Although the timing signal generation unit 240 is built in the imaging device module 203, the configuration is not limited to such a configuration, and a configuration in which the timing signal generation unit 240 is provided in the main unit 204 can also be adopted. Although the timing signal generation unit 240 and the driver 242 are separate components, the configuration is not limited to this, and the timing signal generation unit 240 and the driver 242 may be integrated (timing generator with built-in driver). By doing so, a more compact (small) imaging device 200 can be configured.

タイミング信号生成部240やドライバ242は、それぞれ個別のディスクリート部材で回路構成されたものでもよいが、1つの半導体基板上に回路形成されたIC(Integrated Circuit)として提供されるものであるのがよい。こうすることで、コンパクトにできるだけなく、部材の取扱いが容易になるし、両者を低コストで実現できる。撮像装置200の製造が容易になる。   The timing signal generation unit 240 and the driver 242 may be configured by individual discrete members, but may be provided as an IC (Integrated Circuit) formed on a single semiconductor substrate. . By doing so, not only can it be made compact, but the handling of the members becomes easy, and both can be realized at low cost. Manufacturing of the imaging device 200 is facilitated.

使用する固体撮像装置104との関わりの強い部分であるタイミング信号生成部240やドライバ242を固体撮像装置104と共通の基板に搭載することで一体化させる、或いは、撮像装置モジュール203内に搭載することで一体化させると、部材の取扱いや管理が簡易になる。これらがモジュールとして一体となっているので、撮像装置200(の完成品)の製造も容易になる。撮像装置モジュール203は、光学系205からのみ構成されていてもよい。   The timing signal generation unit 240 and the driver 242 which are strongly related to the solid-state imaging device 104 to be used are integrated by being mounted on the same substrate as the solid-state imaging device 104 or mounted in the imaging device module 203. If integrated, the handling and management of the members become simple. Since these are integrated as a module, the imaging device 200 (completed product) can be easily manufactured. The imaging device module 203 may be configured only from the optical system 205.

[撮像装置及び画像処理装置]
図18は、撮像装置及び画像処理装置の信号処理系の構成例を説明する図である。
[Imaging device and image processing device]
FIG. 18 is a diagram illustrating a configuration example of a signal processing system of the imaging device and the image processing device.

撮像装置200は、固体撮像装置104及びAD変換部264や図示しないプリアンプ部262で成るフロントエンド部302と、信号処理部304と、中央制御部292aとを備える。   The imaging device 200 includes a solid-state imaging device 104, an AD conversion unit 264, a front-end unit 302 including a preamplifier unit 262 (not shown), a signal processing unit 304, and a central control unit 292a.

固体撮像装置104(ここではCCDとする)は、図示しないカラーフィルタ100として、ベイヤー配列の4色カラーフィルタが設けられている。カラーフィルタ100は、赤色(R)の光のみを透過するRフィルタと、青色(B)の光のみを透過するBフィルタと、第1の波長帯域の緑色(G)の光のみを透過するGrフィルタと、第2の波長帯域の緑色(G)の光のみを透過するGbフィルタとの合計4個を最小単位とする構成を有する。固体撮像装置104からAD変換部264には、カラーフィルタ100の4色カラーフィルタの色と対応した4種類の色信号(R信号、Gr信号、Gb信号、B信号)が入力される。AD変換部264は、4種類の色信号をデジタルデータに変換する。   The solid-state imaging device 104 (CCD here) is provided with a four-color color filter in a Bayer array as a color filter 100 (not shown). The color filter 100 includes an R filter that transmits only red (R) light, a B filter that transmits only blue (B) light, and a Gr that transmits only green (G) light in the first wavelength band. A total of four filters, ie, a Gb filter that transmits only green (G) light in the second wavelength band, is used as a minimum unit. Four types of color signals (R signal, Gr signal, Gb signal, and B signal) corresponding to the colors of the four color filters of the color filter 100 are input from the solid-state imaging device 104 to the AD conversion unit 264. The AD conversion unit 264 converts four types of color signals into digital data.

信号処理部304は、フロントエンド部302の後段に設けられ、図示しないカラーフィルタ100及びパターン化偏光子102を有する固体撮像装置104により得られた撮像信号(画素からの偏光成分及び無偏光成分の各信号)に対して信号処理を施す。信号処理部304は、例えば、LSI(Large Scale Integrated Circuit:大規模集積回路)や信号処理用のプロセッサ(例えば、DSP:Digital Signal Processor)の構成とされている。信号処理部304は、フロントエンド部302と着脱可能な構成であってもよい。   The signal processing unit 304 is provided at the subsequent stage of the front end unit 302, and the imaging signal obtained by the solid-state imaging device 104 including the color filter 100 and the patterned polarizer 102 (not shown) (polarized component and non-polarized component from the pixel). Each signal) is subjected to signal processing. The signal processing unit 304 has a configuration of, for example, an LSI (Large Scale Integrated Circuit) or a signal processing processor (for example, DSP: Digital Signal Processor). The signal processing unit 304 may be configured to be detachable from the front end unit 302.

信号処理部304内の各機能部は、図示しないマイクロコンピュータインタフェースを介して、CPU(Central Processing Unit)或いはマイコン等で構成された中央制御部292aとバス接続されている。信号処理部304と中央制御部292aとで画像処理装置300が構成される。   Each functional unit in the signal processing unit 304 is bus-connected to a central control unit 292a configured by a CPU (Central Processing Unit) or a microcomputer via a microcomputer interface (not shown). The signal processing unit 304 and the central control unit 292a constitute the image processing apparatus 300.

中央制御部292aは、所定のプログラムにしたがって、例えば撮像装置200や画像処理装置300の全体の動作を制御する。更には、信号処理部304を構成する各機能部がマイクロコンピュータインタフェースを介して中央制御部292aによって制御される。中央制御部292aは、図示しないが、CPU等のプロセッサ及び各種設定値等のデータを保持するメモリからなる機能部である。画像データの輝度情報の解析や明るさ判別、各種の設定処理等、撮像装置200や画像処理装置300の全体の処理を制御する。又、本実施形態の特徴点として、オートフォーカス制御や、固体撮像装置上と肉眼上での明るさの大小関係の逆転現象を防止するための感度補正処理をソフトウェア処理で行なうこともできる。   The central control unit 292a controls the overall operation of the imaging apparatus 200 and the image processing apparatus 300, for example, according to a predetermined program. Furthermore, each functional unit constituting the signal processing unit 304 is controlled by the central control unit 292a via a microcomputer interface. Although not shown, the central control unit 292a is a functional unit including a processor such as a CPU and a memory that holds data such as various setting values. It controls overall processing of the imaging apparatus 200 and the image processing apparatus 300, such as analysis of brightness information of image data, brightness determination, and various setting processes. Further, as a feature point of the present embodiment, autofocus control and sensitivity correction processing for preventing a reversal phenomenon of the magnitude relationship between the brightness on the solid-state imaging device and the naked eye can be performed by software processing.

中央制御部292aは、プログラムの更新或いは新規インストールを、記憶媒体やネットワークを通じて行なうことを可能にする。例えば、メモリカード等の記録媒体を挿脱可能に構成し、又、インターネット等の通信網との接続が可能に構成する。記録媒体は、例えば、中央制御部292a(のマイクロプロセッサ)にソフトウェア処理をさせるためのプログラムデータや、信号処理部304からの輝度系信号に基づく測光データの収束範囲や露光制御処理(電子シャッタ制御を含む)等のための各種の制御情報の設定値等の様々なデータを登録する等のために利用される。通信網を介しての場合も同様である。   The central control unit 292a makes it possible to update or newly install a program through a storage medium or a network. For example, a recording medium such as a memory card can be inserted / removed, and can be connected to a communication network such as the Internet. The recording medium is, for example, program data for causing the central control unit 292a (microprocessor) to perform software processing, photometric data convergence range based on luminance system signals from the signal processing unit 304, and exposure control processing (electronic shutter control). This is used for registering various data such as setting values of various control information. The same applies to the case via a communication network.

信号処理部304は、フロントエンド部302から入力される4種類の色信号に対して、補間処理、フィルタリング処理、マトリクス演算処理、輝度信号生成処理、色差信号生成処理等を行なう。信号処理部304によって生成された画像信号が図示しないデスプレイに供給され、撮像画像が表示される。或いは又、信号処理部304からの画像データが圧縮されて内部記憶媒体や外部記憶媒体等に記憶される。以下、信号処理部304の各機能部について説明する。   The signal processing unit 304 performs interpolation processing, filtering processing, matrix calculation processing, luminance signal generation processing, color difference signal generation processing, and the like on the four types of color signals input from the front end unit 302. The image signal generated by the signal processing unit 304 is supplied to a display (not shown), and a captured image is displayed. Alternatively, the image data from the signal processing unit 304 is compressed and stored in an internal storage medium or an external storage medium. Hereinafter, each functional unit of the signal processing unit 304 will be described.

信号処理部304は、黒レベル処理部312、画素欠陥補正部314、ホワイトバランス処理部316、補間処理部322、リニアマトリクス処理部324、ガンマ処理部326、感度補正処理部330、合焦情報処理部332、輝度信号処理部342、エッジ強調処理部344、色信号処理部352(色差信号処理部)、色差マトリクス処理部354、画像圧縮処理部360を備える。   The signal processing unit 304 includes a black level processing unit 312, a pixel defect correction unit 314, a white balance processing unit 316, an interpolation processing unit 322, a linear matrix processing unit 324, a gamma processing unit 326, a sensitivity correction processing unit 330, and an in-focus information processing. A unit 332, a luminance signal processing unit 342, an edge enhancement processing unit 344, a color signal processing unit 352 (color difference signal processing unit), a color difference matrix processing unit 354, and an image compression processing unit 360.

黒レベル処理部312は、フロントエンド部302から供給されてきた4種類の色信号の基準レベルをクランプするとともに、必要に応じて、その信号に含まれるノイズ成分(オフセット成分)を除去する。黒レベル処理部312からの画像信号が画素欠陥補正部314を経由して画素欠陥が補正された後にホワイトバランス処理部316に出力され、ホワイトバランス補正がなされる。即ち、被写体の色温度環境の違いや固体撮像装置104上のカラーフィルタ100(R、Gr、Gb、B)による感度の違いによる各色間のアンバランスが補正される。例えば、ホワイトバランス処理部316は、RGB画像の各画素値に適切な係数をかけることにより、被写体の無彩色の部分の色バランスが実際に無彩色となるように、RGB画像のホワイトバランスを調整する。   The black level processing unit 312 clamps the reference levels of the four types of color signals supplied from the front end unit 302 and removes noise components (offset components) included in the signals as necessary. The image signal from the black level processing unit 312 is output to the white balance processing unit 316 after the pixel defect is corrected via the pixel defect correction unit 314, and white balance correction is performed. That is, the imbalance between the colors due to the difference in the color temperature environment of the subject and the difference in sensitivity due to the color filter 100 (R, Gr, Gb, B) on the solid-state imaging device 104 is corrected. For example, the white balance processing unit 316 adjusts the white balance of the RGB image so that the color balance of the achromatic portion of the subject actually becomes an achromatic color by applying an appropriate coefficient to each pixel value of the RGB image. To do.

感度補正処理部330は、必要に応じて、画素欠陥補正部314とホワイトバランス処理部316の間の信号パスに介在して、固体撮像装置上と肉眼上での明るさの大小関係の逆転現象を防止するための感度補正処理を行なう。つまり、感度補正処理部330は、パターン化偏光子102が配置された画素の信号に基づいて、ブロック内の各画素の信号強度を補正することにより、固体撮像装置上と肉眼上での明るさの大小関係の逆転現象を防止する。   The sensitivity correction processing unit 330 is interposed in the signal path between the pixel defect correction unit 314 and the white balance processing unit 316 as necessary, and reverses the magnitude relationship between the brightness on the solid-state imaging device and the naked eye. Sensitivity correction processing is performed to prevent this. That is, the sensitivity correction processing unit 330 corrects the signal intensity of each pixel in the block based on the signal of the pixel on which the patterned polarizer 102 is arranged, thereby improving the brightness on the solid-state imaging device and the naked eye. Prevents the reversal of the magnitude relationship.

合焦情報処理部332は、オートフォーカス対象の全領域の偏光子を配した画素から得られた偏光情報(実質的には輝度情報)に基づいて、オートフォーカス用の指標値(光学系のフォーカス制御用の合焦情報)を算出する。例えば、合焦情報処理部332は、オートフォーカス対象の全領域において偏光角度を1種類とする場合、偏光子を配した画素から得られた偏光情報のレベルそのものを使用して予め定められた算術式に基づいてオートフォーカス用の指標値(光学系のフォーカス制御用の合焦情報)を算出する。例えば、合焦情報処理部332は、オートフォーカス対象の全領域に配置された各偏光子により取得される偏光情報(つまり輝度情報)を合計し、この合計値を判定指標値として中央制御部292aに通知する。或いは、合焦情報処理部332は、オートフォーカス対象の全領域において偏光角度差が90度の2種類とする場合(例えば、TE偏光子とTM偏光子の組合せや、45度偏光子と135度偏光子との組合せ等)、先ず、オートフォーカス対象の全領域について、対の各偏光子を配した画素から得られる偏光情報(輝度情報)そのものを使用して予め定められた算術式に基づいて第1の指標値を算出する。例えば、合焦情報処理部332は、組ごとに、対の各偏光子により取得される偏光情報(つまり輝度情報)の差分の絶対値を第1の指標値として算出する。合焦情報処理部332は更に、オートフォーカス対象の全領域についての各組の第1の指標値を使用して予め定められた算術式に基づいて第2の指標値(判定指標値)を算出する。例えば、合焦情報処理部332は、オートフォーカス対象の全領域に配置された各偏光子の対ごとに算出された第2の指標値(つまり輝度差の絶対値)を合計し、この合計値(第2の指標値)を判定指標値として中央制御部292aに通知する。   The in-focus information processing unit 332 determines an index value for autofocus (focusing of the optical system) based on polarization information (substantially luminance information) obtained from pixels in which polarizers for all regions to be autofocused are arranged. Control focusing information) is calculated. For example, when the focusing information processing unit 332 uses only one type of polarization angle in the entire autofocus target area, it uses a level of polarization information obtained from a pixel provided with a polarizer to perform a predetermined arithmetic operation. An index value for autofocus (focusing information for focus control of the optical system) is calculated based on the formula. For example, the focusing information processing unit 332 sums the polarization information (that is, luminance information) acquired by each polarizer arranged in the entire region to be autofocused, and uses the total value as a determination index value, the central control unit 292a. Notify Alternatively, the focusing information processing unit 332 uses two types of polarization angle differences of 90 degrees in the entire autofocus target area (for example, a combination of a TE polarizer and a TM polarizer, or a 45 degree polarizer and 135 degrees). First, based on a predetermined arithmetic expression using polarization information (luminance information) itself obtained from a pixel in which each pair of polarizers is arranged for all regions to be autofocused, etc. A first index value is calculated. For example, the focusing information processing unit 332 calculates, as the first index value, the absolute value of the difference between polarization information (that is, luminance information) acquired by each pair of polarizers for each pair. The in-focus information processing unit 332 further calculates a second index value (determination index value) based on a predetermined arithmetic expression using each set of the first index values for the entire autofocus target area. To do. For example, the focusing information processing unit 332 adds up the second index value (that is, the absolute value of the luminance difference) calculated for each pair of polarizers arranged in the entire autofocus target area, and this total value The (second index value) is notified to the central control unit 292a as a determination index value.

何れの場合も、中央制御部292aは、合焦情報処理部332から通知されたオートフォーカス用の判定指標値に基づき、山登りサーボ方式を利用して、光学焦点調整機構を制御して、自動的に焦点調整を行なう。例えば、試行動作で(フォーカス位置を動かしながら)、通知された判定指標値の山の傾斜を見つけ、更に、ピークを見つける。そして、ピークをいったん越えたことを判定し、ピークから行き過ぎた量だけフォーカスモータFMTを逆回転してピークに戻す。   In any case, the central control unit 292a automatically controls the optical focus adjustment mechanism using the hill-climbing servo method based on the determination index value for autofocus notified from the focusing information processing unit 332. Adjust the focus. For example, in the trial operation (moving the focus position), the slope of the notified judgment index value peak is found, and further the peak is found. Then, it is determined that the peak has been exceeded once, and the focus motor FMT is reversely rotated by an amount exceeding the peak to return to the peak.

図示した感度補正処理部330や合焦情報処理部332の信号パス上の配置は一例であり、これには限定されない。例えば、黒レベル処理部312と画素欠陥補正部314との間の信号パスに介在して感度補正処理を行なってもよい。更には、ホワイトバランス処理部316より後段の何れかの信号パスに介在して感度補正処理を行なってもよい。また、この例では、感度補正処理部330と合焦情報処理部332は、何れも、画素欠陥補正部314の出力を使用しているが、互いに異なる機能部の出力信号を使用する構成にしてもよい。例えば、感度補正処理部330は、図示の通り黒レベル処理部312と画素欠陥補正部314との間の信号パスに介在する構成にし、一方、合焦情報処理部332は、例えば補間処理部322の出力信号を使用する構成にしてもよい。この場合、合焦情報処理部332は、感度補正処理がなされた情報を使うことができるため、より高精度のオートフォーカス制御用の判定指標値を算出することができる。   The arrangement of the sensitivity correction processing unit 330 and the focusing information processing unit 332 illustrated in the figure is an example, and the present invention is not limited to this. For example, sensitivity correction processing may be performed in a signal path between the black level processing unit 312 and the pixel defect correction unit 314. Furthermore, the sensitivity correction process may be performed by interposing in any signal path downstream from the white balance processing unit 316. In this example, the sensitivity correction processing unit 330 and the focusing information processing unit 332 both use the output of the pixel defect correction unit 314, but use the output signals of different functional units. Also good. For example, the sensitivity correction processing unit 330 is configured to intervene in the signal path between the black level processing unit 312 and the pixel defect correction unit 314 as shown, while the focusing information processing unit 332 is, for example, the interpolation processing unit 322. The output signal may be used. In this case, since the focus information processing unit 332 can use the information that has been subjected to the sensitivity correction process, it can calculate a determination index value for autofocus control with higher accuracy.

或いは又、合焦情報処理部332は、感度補正処理部330より前段に配置してもよい。例えば、感度補正処理部330は、図示の通り黒レベル処理部312と画素欠陥補正部314との間の信号パスに介在する構成にし、一方、合焦情報処理部332は、例えばAD変換部264の出力信号を使用する構成にしてもよい。この場合、合焦情報処理部332を、撮像装置モジュール側に配置した製品形態で撮像装置200のモジュール(撮像装置モジュール203)を提供することができる。   Alternatively, the in-focus information processing unit 332 may be arranged before the sensitivity correction processing unit 330. For example, the sensitivity correction processing unit 330 is configured to intervene in the signal path between the black level processing unit 312 and the pixel defect correction unit 314 as illustrated, while the focusing information processing unit 332 is, for example, the AD conversion unit 264. The output signal may be used. In this case, the module (imaging device module 203) of the imaging device 200 can be provided in a product form in which the focusing information processing unit 332 is arranged on the imaging device module side.

ホワイトバランス処理部316の出力が補間処理部322に供給される。補間処理部322は、垂直方向の補間処理やフィルタリング処理のために、遅延素子例えば小規模なメモリを使用して時間的に異なる垂直方向の画像データを同時化する。補間処理部322は、又、同時化された複数の画像信号を、補間処理、フィルタ処理、高域周波数補正処理、及び、ノイズ処理部等も行なう。例えば、補間処理部322は、色フィルタ(R、Gr、Gb、B)の最小単位の2×2画素の色信号を同一空間の位相に補間する補間処理と、適切に信号帯域を制限するフィルタ処理と、信号帯域の高域成分を補正する高域周波数補正処理と、信号のノイズ成分を除去するノイズ処理等を行なう。   The output of the white balance processing unit 316 is supplied to the interpolation processing unit 322. The interpolation processing unit 322 synchronizes temporally different vertical image data using a delay element such as a small memory for vertical interpolation processing and filtering processing. The interpolation processing unit 322 also performs interpolation processing, filter processing, high-frequency correction processing, noise processing unit, and the like on the plurality of synchronized image signals. For example, the interpolation processing unit 322 includes an interpolation process that interpolates the color signal of 2 × 2 pixels, which is the minimum unit of the color filter (R, Gr, Gb, B), into the phase of the same space, and a filter that appropriately limits the signal band Processing, high frequency correction processing for correcting the high frequency component of the signal band, noise processing for removing the noise component of the signal, and the like are performed.

補間処理部322で得られた画像信号(RGrGbBの4色の信号)がリニアマトリクス処理部324に供給される。リニアマトリクス処理部324では、4入力3出力のマトリクス演算がなされる。3×4の行列のマトリクス係数を与えると、入力されたRGrGbBの4色の画像情報からRGB色出力を求めることができる。この際には、色再現性を高めるようなマトリクス係数を用いてリニアマトリクス変換を施す。リニアマトリクス処理部324からのRGB出力がガンマ補正処理部326R、ガンマ補正処理部326G、ガンマ補正処理部326Bにそれぞれ色別に供給される。階調変換部によって、表示装置が有する非線形特性の逆補正を予め行なうことで、最終的にリニアな特性が実現される。   The image signal (four-color signal of RGrGbB) obtained by the interpolation processing unit 322 is supplied to the linear matrix processing unit 324. The linear matrix processing unit 324 performs 4-input / 3-output matrix calculation. When a matrix coefficient of a 3 × 4 matrix is given, an RGB color output can be obtained from input image information of four colors of RGrGbB. At this time, linear matrix conversion is performed using matrix coefficients that enhance color reproducibility. The RGB output from the linear matrix processing unit 324 is supplied to the gamma correction processing unit 326R, the gamma correction processing unit 326G, and the gamma correction processing unit 326B for each color. By performing reverse correction of the nonlinear characteristic of the display device in advance by the gradation conversion unit, a linear characteristic is finally realized.

ガンマ補正処理部326R、ガンマ処理部326G、ガンマ処理部326Bの出力信号が輝度信号処理部342及び色信号処理部352にそれぞれ供給される。輝度信号処理部342は、ガンマ補正されたRGB信号を所定の合成比で合成することによって輝度信号を生成し、エッジ強調処理部344に供給する。エッジ強調処理部344は、必要に応じてエッジ強調処理を行なうことで、画像をシャープにする。色信号処理部352は、ガンマ補正されたRGB信号を所定の合成比で合成することにより色差信号を生成し色差マトリクス処理部354に供給する。色差マトリクス処理部354は、色差画像の画素値に適切なゲイン係数を乗じて色相及び/又は彩度の調整処理(色相・彩度調整)を行なう。これにより、色差信号Cb及び色差信号Crが時分割多重化された色差信号が形成される。   Output signals of the gamma correction processing unit 326R, the gamma processing unit 326G, and the gamma processing unit 326B are supplied to the luminance signal processing unit 342 and the color signal processing unit 352, respectively. The luminance signal processing unit 342 generates a luminance signal by combining the gamma-corrected RGB signals with a predetermined combining ratio, and supplies the luminance signal to the edge enhancement processing unit 344. The edge enhancement processing unit 344 sharpens the image by performing edge enhancement processing as necessary. The color signal processing unit 352 generates a color difference signal by combining the gamma-corrected RGB signals at a predetermined combining ratio, and supplies the color difference signal to the color difference matrix processing unit 354. The color difference matrix processing unit 354 performs a hue and / or saturation adjustment process (hue / saturation adjustment) by multiplying the pixel value of the color difference image by an appropriate gain coefficient. Thereby, a color difference signal in which the color difference signal Cb and the color difference signal Cr are time-division multiplexed is formed.

画像圧縮処理部360は、エッジ強調処理部344や色差マトリクス処理部354から出力される画像データを、JPEG(Joint Photographic Experts Group)やMPEG(Moving Picture Experts Group)等所定の方式により符号化し、符号化した画像データを保存先の記録デバイスに保存する。符号化した画像データの保存先として、例えば、フラッシュメモリ等の半導体メモリ、ハードディスク、磁気記録媒体、光磁気記録媒体、光記録媒体等が利用される。   The image compression processing unit 360 encodes image data output from the edge enhancement processing unit 344 and the color difference matrix processing unit 354 by a predetermined method such as JPEG (Joint Photographic Experts Group) or MPEG (Moving Picture Experts Group). The converted image data is stored in a storage device. For example, a semiconductor memory such as a flash memory, a hard disk, a magnetic recording medium, a magneto-optical recording medium, or an optical recording medium is used as a storage destination of the encoded image data.

図示しないが、エッジ強調処理部344や色差マトリクス処理部354から出力される画像データは、画像表示部にも供給され、画像データに基づいて、例えばLCD(Liquid Crystal Display)等の表示デバイスの画面に表示される。   Although not shown, the image data output from the edge enhancement processing unit 344 and the color difference matrix processing unit 354 is also supplied to the image display unit, and a screen of a display device such as an LCD (Liquid Crystal Display), for example, based on the image data Is displayed.

[処理手順]
図19は、撮像装置200におけるオートフォーカス処理の処理手順の一例を示すフローチャートである。ここでは、固体撮像装置上と肉眼上での明るさの大小関係の逆転現象を防止するための感度補正処理との併用も考慮して、撮像エリア全体を「オートフォーカス対象の領域」とする場合で説明する。又、オートフォーカス制御用の判定指標値としては、一例として、TE画素出力値とTM画素出力値の差分(大小関係を不問とするべく、詳しくはその絶対値)を利用する形態で説明する。
[Processing procedure]
FIG. 19 is a flowchart illustrating an example of a processing procedure of autofocus processing in the imaging apparatus 200. In this case, the entire imaging area is set as the “autofocus target area” in consideration of combined use with sensitivity correction processing to prevent the reversal of the magnitude relationship between the brightness on the solid-state imaging device and the naked eye I will explain it. Further, as an example of the determination index value for autofocus control, a description will be given in the form of using a difference between the TE pixel output value and the TM pixel output value (specifically, an absolute value so as to make the magnitude relationship unquestioned).

中央制御部292aは、被写体撮像(撮像モード)前のオートフォーカス時であるのか否かを判定する(S310)。オートフォーカス時であれば、中央制御部292aは先ず、合焦情報処理部332に対して、オートフォーカス用の判定指標値の取得を指示する。   The central control unit 292a determines whether or not autofocusing is performed before subject imaging (imaging mode) (S310). When autofocusing is performed, the central control unit 292a first instructs the focusing information processing unit 332 to acquire a determination index value for autofocusing.

合焦情報処理部332は、偏光子配置画素座標が登録されているデータベースを参照して、オートフォーカス対象領域内の処理対象の対のTM偏光子とTE偏光子を特定する(S312)。そして、オートフォーカス対象の全領域について、対のTE偏光子とTM偏光子のそれぞれから得られる偏光情報(輝度情報)そのものを使用して、組ごとに、差分値=|TM画素出力値−TE画素出力値|を算出する(S314)。合焦情報処理部332は更に、オートフォーカス対象の全領域についての各組の差分値を合計し、この合計値を判定指標値として中央制御部292aに通知する(S316)。中央制御部292aは、フォーカスモータFMTを駆動しながら、通知された判定指標値を使って山登り方式によるオートフォーカス制御を行ない、判定指標値のピーク点(できるだけ高い位置)を探索する(ピークサーチ)(S318)。判定指標値がほぼピーク点であると判断するとオートフォーカス制御を完了させる。   The focusing information processing unit 332 refers to the database in which the polarizer arrangement pixel coordinates are registered, and identifies the pair of TM polarizers and TE polarizers to be processed in the autofocus target region (S312). Then, for all regions to be autofocused, using polarization information (luminance information) itself obtained from each of the pair of TE polarizers and TM polarizers, difference value = | TM pixel output value−TE The pixel output value | is calculated (S314). The in-focus information processing unit 332 further adds up the difference values of each set for all the areas to be autofocused, and notifies the central control unit 292a of the total value as a determination index value (S316). The central control unit 292a performs autofocus control by a hill-climbing method using the notified determination index value while driving the focus motor FMT, and searches for a peak point (position as high as possible) of the determination index value (peak search). (S318). When it is determined that the determination index value is almost the peak point, the autofocus control is completed.

撮像モード時であれば、中央制御部292aは先ず、感度補正処理部330に対して、感度補正用の情報取得を指示する。ここで、本実施形態の感度補正処理は、静止画モードのときに機能し、動画モードのときには機能しない。即ち、動画モードのときには(S350−動画モード)、間引き対象の画素に偏光子を配置しているため、感度補正処理部330は、偏光子画素のデータを読み出さない(S360)。   In the imaging mode, the central control unit 292a first instructs the sensitivity correction processing unit 330 to acquire information for sensitivity correction. Here, the sensitivity correction processing of the present embodiment functions in the still image mode and does not function in the moving image mode. That is, in the moving image mode (S350-moving image mode), the sensitivity correction processing unit 330 does not read out the data of the polarizer pixel because the polarizer is arranged in the thinning target pixel (S360).

静止画モードのとき(S350−静止画モード)、感度補正処理部330は、予め偏光子配置画素座標が登録されているデータベース(入射角度情報データベースと記す)に基づいて、対のTM偏光出力値とTE偏光出力値を比較する(S370、S372)。比較結果(TM画素出力値−TE画素出力値)が「負」の場合、感度補正処理部330は、その画素の入射角度情報データベースと隣接G画素の出力量(例えば周辺領域のG画素の平均値)から、所望の補正値を感度補正量データベースから抽出する(S372−負、S380)。そして、感度補正処理部330は、偏光子画素のGデータを、隣接G画素に補正値を加えた値で置き換えて、感度補正後の値とする(S382)。残りの通常の(非偏光子画素である)G画素やR画素やB画素については、自身のRawデータに所望の補正値を加えた値を、感度補正後の値とする。但し、R画素やB画素については、G画素に対する補正値に対してG画素との感度比分の修正を行なう。   When in the still image mode (S350-still image mode), the sensitivity correction processing unit 330 generates a pair of TM polarization output values based on a database in which polarizer arrangement pixel coordinates are registered in advance (referred to as an incident angle information database). And TE polarized light output values are compared (S370, S372). When the comparison result (TM pixel output value−TE pixel output value) is “negative”, the sensitivity correction processing unit 330 outputs the incident angle information database of the pixel and the output amount of the adjacent G pixel (for example, the average of the G pixels in the peripheral region). Value), a desired correction value is extracted from the sensitivity correction amount database (S372-negative, S380). Then, the sensitivity correction processing unit 330 replaces the G data of the polarizer pixel with a value obtained by adding a correction value to the adjacent G pixel to obtain a value after sensitivity correction (S382). For the remaining normal G pixels, R pixels, and B pixels (which are non-polarizer pixels), a value obtained by adding a desired correction value to its own Raw data is a value after sensitivity correction. However, for the R pixel and the B pixel, the correction value for the G pixel is corrected for the sensitivity ratio with the G pixel.

比較結果(TM画素出力値−TE画素出力値)が「負」でない、つまり「正」の場合或いは「等しい」場合、感度補正処理部330は、偏光子画素のGデータを隣接G画素の平均値で置き換える(S372≠「負」、S390)。   When the comparison result (TM pixel output value−TE pixel output value) is not “negative”, that is, “positive” or “equal”, the sensitivity correction processing unit 330 calculates the G data of the polarizer pixels as an average of adjacent G pixels. Replace with a value (S372 ≠ “negative”, S390).

図20は、実施例2の偏光子の配置例を示す図である。実施例1では、カラーフィルタ100のM×Nブロック(横8×縦4の32画素のブロック)内において、特定色の部分に複数種類(具体的には2種類)のパターン化偏光子102を配置し、且つ、同様の偏光子の組合せのブロックを周期的に配置していたが、実施例3では、更に、隣接ブロック間では、偏光子の組合せを異ならせる点に特徴がある。例えば、45度の偏光波相当のみを通すパターン化偏光子102_45と135度の偏光波相当のみを通すパターン化偏光子102_135の組合せを更に併用する。そして、このようなブロックを「オートフォーカス対象の領域」に鏤める。その際には、それぞれ異なる偏光角のパターン化偏光子102が周期的に配置されるようにしてもよいしランダムに配置されるようにしてもよい。図は、前者の場合であって、Gbラインにパターン化偏光子102TEとパターン化偏光子102_45とを周期的に(7画素おきに)配置し、Grラインにパターン化偏光子102TMとパターン化偏光子102_135とを周期的に(7画素おきに)配置した場合で示している。   FIG. 20 is a diagram illustrating an arrangement example of the polarizer according to the second embodiment. In the first embodiment, a plurality of types (specifically, two types) of patterned polarizers 102 are provided in a specific color portion in the M × N block of the color filter 100 (a block of 32 pixels of 8 × 4). However, the third embodiment is characterized in that the combination of the polarizers is different between adjacent blocks. For example, a combination of the patterned polarizer 102_45 that passes only the 45-degree polarized wave and the patterned polarizer 102_135 that passes only the 135-degree polarized wave is further used in combination. Then, such a block is given up as an “autofocus target area”. In that case, the patterned polarizers 102 having different polarization angles may be periodically arranged or randomly arranged. The figure shows the former case, in which the patterned polarizer 102TE and the patterned polarizer 102_45 are arranged periodically (every 7 pixels) on the Gb line, and the patterned polarizer 102TM and the patterned polarization are arranged on the Gr line. In this example, the children 102_135 are arranged periodically (every 7 pixels).

このような実施例2によれば、パターン化偏光子102TE、パターン化偏光子102TM、パターン化偏光子102_45、パターン化偏光子102_135が、「オートフォーカス対象の領域」に鏤められる。したがって、縦縞、横縞、斜め縞の全てに着目してオートフォーカス制御を行なうことができる。一般的な被写体であれば、あらゆる種類の偏光成分(偏光角)をほぼ網羅することができる。   According to the second embodiment, the patterned polarizer 102TE, the patterned polarizer 102TM, the patterned polarizer 102_45, and the patterned polarizer 102_135 are praised as “autofocus target areas”. Therefore, autofocus control can be performed by paying attention to all vertical stripes, horizontal stripes, and diagonal stripes. A general subject can cover almost all kinds of polarization components (polarization angles).

図21は、実施例3の偏光子の配置例を示す図である。実施例1では、カラーフィルタ100のM×Nブロック(横8×縦4の32画素のブロック)内において、特定色の部分に複数種類(具体的には2種類)のパターン化偏光子102を配置したが、実施例3では、1種類のパターン化偏光子102を配置する。パターン化偏光子102としては、例えば、パターン化偏光子102TMとパターン化偏光子102TEの何れか、或いは、45度の偏光波相当のみを通すパターン化偏光子102_45と135度の偏光波相当のみを通すパターン化偏光子102_135の何れかを使用する。カラーフィルタ100がベイヤー配列の場合、パターン化偏光子102を配置し得る色画素は4種類であり、何れを偏光子画素としてもよいし、原理的には、パターン化偏光子102に関してはパターン化偏光子102TMとパターン化偏光子102TEとパターン化偏光子102_45とパターン化偏光子102_135の何れを使用してもよい。したがって、選択し得る組合せとしては、4×4通りある。そして、このようなブロックを「オートフォーカス対象の領域」に鏤める。その際には、それぞれ異なる偏光角のパターン化偏光子102が周期的に配置されるようにしてもよいしランダムに配置されるようにしてもよい。図は、前者の場合であって、Gbラインにはパターン化偏光子102TEのみ或いはパターン化偏光子102_45のみを配置し、Grラインにはパターン化偏光子102TMのみ或いはパターン化偏光子102_135のみを配置した場合で示している。   FIG. 21 is a diagram illustrating an arrangement example of the polarizer according to the third embodiment. In the first embodiment, a plurality of types (specifically, two types) of patterned polarizers 102 are provided in a specific color portion in the M × N block of the color filter 100 (a block of 32 pixels of 8 × 4). Although arranged, in Example 3, one type of patterned polarizer 102 is arranged. As the patterned polarizer 102, for example, either the patterned polarizer 102TM or the patterned polarizer 102TE, or the patterned polarizer 102_45 that passes only 45-degree polarized waves and only the equivalent of 135-degree polarized waves are used. Use any of the patterned polarizers 102_135 through. When the color filter 100 is a Bayer array, there are four types of color pixels on which the patterned polarizer 102 can be arranged, and any of these may be a polarizer pixel. In principle, the patterned polarizer 102 is patterned. Any of the polarizer 102TM, the patterned polarizer 102TE, the patterned polarizer 102_45, and the patterned polarizer 102_135 may be used. Therefore, there are 4 × 4 combinations that can be selected. Then, such a block is given up as an “autofocus target area”. In that case, the patterned polarizers 102 having different polarization angles may be periodically arranged or randomly arranged. The figure shows the former case where only the patterned polarizer 102TE or only the patterned polarizer 102_45 is arranged on the Gb line, and only the patterned polarizer 102TM or only the patterned polarizer 102_135 is arranged on the Gr line. Shown in case.

このような実施例3によっても、実施例2と同様に、パターン化偏光子102TE、パターン化偏光子102TM、パターン化偏光子102_45、パターン化偏光子102_135が、「オートフォーカス対象の領域」に鏤められる。したがって、縦縞、横縞、斜め縞の全てに着目してオートフォーカス制御を行なうことができる。一般的な被写体であれば、あらゆる種類の偏光成分(偏光角)をほぼ網羅することができる。   Also in the third embodiment, similarly to the second embodiment, the patterned polarizer 102TE, the patterned polarizer 102TM, the patterned polarizer 102_45, and the patterned polarizer 102_135 are included in the “autofocus target region”. It is Therefore, autofocus control can be performed by paying attention to all vertical stripes, horizontal stripes, and diagonal stripes. A general subject can cover almost all kinds of polarization components (polarization angles).

図22は、実施例4の偏光子の配置例を示す図である。実施例2や実施例3では、パターン化偏光子102TE、パターン化偏光子102TM、パターン化偏光子102_45、パターン化偏光子102_135の配置されるラインを特定のラインに決めていた。これに対して、実施例4は、偏光子が配置される対象ライン(行)及び対象カラム(列)のそれぞれに、パターン化偏光子102TE、パターン化偏光子102TM、パターン化偏光子102_45、パターン化偏光子102_135を隈無く配置する点に点に特徴がある。図は、実施例3に対する変形例で示している。先ず、ライン方向において、パターン化偏光子102TE、パターン化偏光子102TM、パターン化偏光子102_45、パターン化偏光子102_135を交互且つGbラインとGrラインで交互に配置している。更に、カラム方向においても、パターン化偏光子102TE、パターン化偏光子102TM、パターン化偏光子102_45、パターン化偏光子102_135を交互且つGbカラムとGrカラムで交互に配置している。近傍の4ブロックに着目したとき、どのような組合せにおいても、パターン化偏光子102TE、パターン化偏光子102TM、パターン化偏光子102_45、パターン化偏光子102_135が配置されている。   FIG. 22 is a diagram illustrating an arrangement example of the polarizer according to the fourth embodiment. In the second and third embodiments, the line where the patterned polarizer 102TE, the patterned polarizer 102TM, the patterned polarizer 102_45, and the patterned polarizer 102_135 are arranged is determined as a specific line. On the other hand, in the fourth embodiment, the patterned polarizer 102TE, the patterned polarizer 102TM, the patterned polarizer 102_45, the pattern are arranged in each of the target line (row) and the target column (column) where the polarizer is arranged. There is a feature in that the polarizing polarizers 102_135 are arranged without any problem. The figure shows a modification to the third embodiment. First, in the line direction, the patterned polarizer 102TE, the patterned polarizer 102TM, the patterned polarizer 102_45, and the patterned polarizer 102_135 are alternately arranged in the Gb line and the Gr line. Further, also in the column direction, the patterned polarizer 102TE, the patterned polarizer 102TM, the patterned polarizer 102_45, and the patterned polarizer 102_135 are alternately arranged in the Gb column and the Gr column. When attention is paid to the four neighboring blocks, the patterned polarizer 102TE, the patterned polarizer 102TM, the patterned polarizer 102_45, and the patterned polarizer 102_135 are arranged in any combination.

このような実施例4によっても、実施例2や実施例3と同様に、パターン化偏光子102TE、パターン化偏光子102TM、パターン化偏光子102_45、パターン化偏光子102_135が、「オートフォーカス対象の領域」に鏤められる。したがって、縦縞、横縞、斜め縞の全てに着目してオートフォーカス制御を行なうことができる。一般的な被写体であれば、あらゆる種類の偏光成分(偏光角)をほぼ網羅することができる。   Also in the fourth embodiment, similarly to the second and third embodiments, the patterned polarizer 102TE, the patterned polarizer 102TM, the patterned polarizer 102_45, and the patterned polarizer 102_135 are “autofocus target”. It is complimented by "area". Therefore, autofocus control can be performed by paying attention to all vertical stripes, horizontal stripes, and diagonal stripes. A general subject can cover almost all kinds of polarization components (polarization angles).

<本実施形態の纏め>
図23は、本実施形態の画素内偏光オートフォーカスと従前の他のオートフォーカス方式とを対比した図表である。画素内偏光オートフォーカスに関しては、特に、画素内偏光輝度差オートフォーカスの場合で示す。又、偏光子としては、パターン化偏光子102TE(TE画素)とパターン化偏光子102TM(TM画素)の対を使用する場合で示す。図24は、本実施形態の画素内偏光オートフォーカスと感度補正とを対比した図表である。ここでは、32画素(横8×縦4)に一組のTE画素とTM画素をベイヤー配列のGr画素とGb画素に配置する場合をベース配置として示している。
<Summary of this embodiment>
FIG. 23 is a chart comparing the in-pixel polarization autofocus according to the present embodiment and other conventional autofocus methods. The intra-pixel polarization autofocus is particularly shown in the case of intra-pixel polarization luminance difference autofocus. As a polarizer, a pair of a patterned polarizer 102TE (TE pixel) and a patterned polarizer 102TM (TM pixel) is used. FIG. 24 is a chart comparing in-pixel polarization autofocus and sensitivity correction according to the present embodiment. Here, a case where a set of TE pixels and TM pixels is arranged in 32 pixels (horizontal 8 × vertical 4) in Gr pixels and Gb pixels in a Bayer array is shown as a base arrangement.

[オートフォーカス]
コントラストオートフォーカス、位相差検知オートフォーカス、及び、画素内位相差オートフォーカスのそれぞれの特徴、長所、短所については、図1〜図3を参照して説明した通りであり、図23には、それを纏めて記載してある。本実施形態の画素内偏光輝度差オートフォーカスは、偏光子を配した偏光画素を必要とする点で、他の方式とは全く異なった方式であるが、偏光画素から出力される情報(事実上の輝度情報)の確認のみでよく、単純かつ高速のオートフォーカス制御ができる。但し、偏光画素から出力される情報だけでは合焦の方向は不明であるので、山登りサーボ方式等を適用して合焦点をサーチすることが必要となる。
[auto focus]
The features, advantages, and disadvantages of contrast autofocus, phase difference detection autofocus, and in-pixel phase difference autofocus are as described with reference to FIGS. 1 to 3, and FIG. Is summarized. The intra-pixel polarization luminance difference autofocus of the present embodiment is a method that is completely different from other methods in that it requires a polarizing pixel provided with a polarizer, but the information output from the polarizing pixel (in fact, It is only necessary to check the luminance information), and simple and high-speed autofocus control can be performed. However, since the in-focus direction is unknown only by the information output from the polarization pixel, it is necessary to search for the in-focus point by applying a hill-climbing servo system or the like.

[感度補正]
本実施形態の画素内偏光オートフォーカスと感度補正のそれぞれの特徴や偏光子の角度配置等については、既に説明した通りであり、図24には、それを纏めて記載してある。ところで、従来技術は偏光による反射率の角度依存を考慮していない。そのため、極端な場合は、固体撮像装置上と肉眼上で感じる明るさの間に大小関係の逆転現象が有り得た。これに対して、本実施形態では、ブロックごとに、ベイヤー配列の色画素の一部に2種類の偏光子を配置し、これらの信号出力差に基づいて反射成分が多い領域を抽出し、感度補正により、ブロック内の各画素の信号レベルを補正する。肉眼で感じる感度と固体撮像装置上の感度が補正により一致する。これにより、感度の逆転現象が是正され、遠近感も同時に向上する。当該技術は、例えば広角レンズを用いる場合やその必要性が増す状況下で益々その有効性が高まっていくことが予想される。
[Sensitivity correction]
The features of the in-pixel polarization autofocus and sensitivity correction, the angle arrangement of the polarizer, and the like of this embodiment are as described above, and FIG. 24 collectively describes them. By the way, the prior art does not consider the angle dependence of the reflectance due to the polarized light. Therefore, in an extreme case, there can be a reversal phenomenon of magnitude relationship between the brightness felt on the solid-state imaging device and the naked eye. On the other hand, in this embodiment, for each block, two types of polarizers are arranged in a part of the color pixels of the Bayer array, and an area having a large amount of reflection components is extracted based on the difference between the signal outputs, and the sensitivity The signal level of each pixel in the block is corrected by the correction. The sensitivity perceived by the naked eye and the sensitivity on the solid-state imaging device are matched by the correction. This corrects the phenomenon of sensitivity reversal and improves perspective at the same time. For example, the effectiveness of the technology is expected to increase more and more in the case of using a wide-angle lens or in a situation where the necessity of the lens increases.

又、例えば、特開2010−163158号公報には、「偏光を利用」した撮像装置、及び偏光光データ処理方法の発明が開示されている。「偏光を利用」するという点では、本実施形態と共通する部分があるが、その利用形態は全く異なる。例えば、同公報(段落番号[0008]には、「偏光成分と無偏光成分とを分離することで、画像のコントラストを改善することができるし、不要な情報を削除することもできる。」と記載されており、同公報に開示の発明も基本的にはこのような思想を前提としたものである。これに対して、本実施形態の感度補正において「偏光を利用」する際には、「偏光成分と無偏光成分とを分離する」というものではなく、「偏光成分から得られる情報に基づいて感度補正を行なうことにより、広義のコントラストを改善すると云うものである。両者の偏光の利形態は全く異なる。「感度補正」を要するのは、主に撮像エリアの周辺部である点に着目して、感度補正用の偏光子は主に撮像エリアの周辺部にのみ存在してればよい。これに対して、同公報に記載の発明は、撮像エリアの全面に亘って所定間隔で配置するものであり、偏光子の配置形態においても相違がある。又、偏光角度に関しては、同公報の発明では、少なくとも3種類の偏光角度の組を必要としている(段落番号[0027]参照)。これに対して、本実施形態では、1種類でも構わない点において相違がある。   Also, for example, JP 2010-163158 discloses an invention of an imaging device “utilizing polarized light” and a polarized light data processing method. Although there is a common part with the present embodiment in that “use polarized light”, the form of use is completely different. For example, the same publication (paragraph [0008] states that “the separation of the polarization component and the non-polarization component can improve the contrast of the image and delete unnecessary information”). The invention disclosed in the publication is basically based on such a philosophy, but in contrast to the “correction of polarization” in the sensitivity correction of the present embodiment, This is not to “separate the polarization component from the non-polarization component” but to “improve the sensitivity based on the information obtained from the polarization component to improve the contrast in a broad sense. Focusing on the point that the “sensitivity correction” is mainly in the peripheral area of the imaging area, if the polarizer for sensitivity correction exists mainly only in the peripheral area of the imaging area On the other hand, the same The invention described in this report is arranged at predetermined intervals over the entire surface of the imaging area, and there is a difference in the arrangement form of the polarizers. (Refer to paragraph [0027]) In contrast, in the present embodiment, there is a difference in that one type may be used.

以上、本明細書で開示する技術について実施形態を用いて説明したが、請求項の記載内容の技術的範囲は前記実施形態に記載の範囲には限定されない。本明細書で開示する技術の要旨を逸脱しない範囲で前記実施形態に多様な変更又は改良を加えることができ、そのような変更又は改良を加えた形態も本明細書で開示する技術の技術的範囲に含まれる。前記の実施形態は、請求項に係る技術を限定するものではなく、実施形態の中で説明されている特徴の組合せの全てが、本明細書で開示する技術が対象とする課題の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の技術が含まれており、開示される複数の構成要件における適宜の組合せにより種々の技術を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、本明細書で開示する技術が対象とする課題と対応した効果が得られる限りにおいて、この幾つかの構成要件が削除された構成も、本明細書で開示する技術として抽出され得る。   As mentioned above, although the technique disclosed by this specification was demonstrated using embodiment, the technical scope of the content of a statement of a claim is not limited to the range as described in the said embodiment. Various modifications or improvements can be added to the above-described embodiment without departing from the gist of the technique disclosed in the present specification, and the form added with such a modification or improvement is also technical of the technology disclosed in the present specification. Included in the range. The embodiments described above do not limit the technology according to the claims, and all combinations of features described in the embodiments are the means for solving the problems to which the technology disclosed in the present specification is directed. It is not always essential. The above-described embodiments include technologies at various stages, and various technologies can be extracted by appropriately combining a plurality of disclosed constituent elements. Even if some configuration requirements are deleted from all the configuration requirements shown in the embodiment, these configuration requirements are deleted as long as the effect corresponding to the problem targeted by the technology disclosed in this specification can be obtained. The configured configuration can also be extracted as a technique disclosed in this specification.

前記実施形態の記載を踏まえれば、特許請求の範囲に記載の請求項に係る技術は一例であり、例えば、以下の技術が抽出される。以下列記する。
[付記1]
画素が配列された撮像部を有し、更に、所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置と、
偏光子が配置された画素から出力された情報に基づいて、被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報を生成する合焦情報処理部、
とを備えている撮像装置。
[付記2]
合焦情報処理部により生成された合焦情報に基づいて、光学系のフォーカス制御を行なうフォーカス制御部を備えた付記1に記載の撮像装置。
[付記3]
被写体像を撮像部に導く光学系を備えている付記1又は付記2に記載の撮像装置。
[付記4]
固体撮像装置は、所定数の画素を1単位とするブロックごとに、ブロック内の総画素数よりも少ない数の画素を対象として、当該画素に重なるように偏光子が配置されている付記1乃至付記3の何れか1項に記載の撮像装置。
[付記5]
ブロック内に、それぞれ異なる角度の偏光主軸を有する複数種類の偏光子が配置されている付記4に記載の撮像装置。
[付記6]
偏光子の偏光主軸の角度の種類をNとしたとき、それぞれの角度差は、180/Nである付記5に記載の撮像装置。
[付記7]
複数種類の偏光子の1つはTE波相当のみを通す偏光子であり、
複数種類の偏光子のもう1つはTM波相当のみを通す偏光子である付記5又は付記6に記載の撮像装置。
[付記8]
色分離を行なうカラーフィルタを有し、
ブロック内のカラーフィルタの一組の同色画素又は同色に準じる画素に重なるように偏光子が配置されている付記5乃至付記7の何れか1項に記載の撮像装置。
[付記9]
カラーフィルタは、緑色又は緑色に準じる色の色フィルタを複数持ち、
緑色又は緑色に準じる色の色フィルタと重なるように複数の偏光子が配置されており、
複数種類の偏光子の1つはTE波相当のみを通す偏光子であり、
複数種類の偏光子のもう1つはTM波相当のみを通す偏光子である付記8に記載の撮像装置。
[付記10]
カラーフィルタは、2つの緑色と1つの赤色と1つの青色の各色フィルタがベイヤー配列されており、
緑色の色フィルタと重なるように2種類の偏光子が配置されており、
一方の偏光子はTE波相当のみを通す偏光子であり、
他方の偏光子はTM波相当のみを通す偏光子である付記9に記載の撮像装置。
[付記11]
ブロック内には、1種類の偏光子が1つ配置されている付記1乃至付記4の何れか1項に記載の撮像装置。
[付記12]
偏光子は、TE波相当のみを通す偏光子とTM波相当のみを通す偏光子の何れかである付記11に記載の撮像装置。
[付記13]
色分離を行なうカラーフィルタを有し、
カラーフィルタは、2つの緑色と1つの赤色と1つの青色の各色フィルタがベイヤー配列されており、
緑色の色フィルタと重なるように、TE波相当のみを通す偏光子とTM波相当のみを通す偏光子の何れかが配置されている付記12に記載の撮像装置。
[付記14]
動画撮像時に信号が読み出されない画素に重なるように偏光子が配置されている付記1乃至付記13の何れか1項に記載の撮像装置。
[付記15]
偏光子は、少なくとも撮像部の中央領域に配置されている付記1乃至付記14の何れか1項に記載の撮像装置。
[付記16]
偏光子は、撮像部の周辺領域にも配置されている付記15に記載の撮像装置。
[付記17]
画素が配列された撮像部を有し、
更に、撮像部の中央領域の所定数の画素を対象として、当該画素に重なるように偏光子が配置されており、
撮像部の周辺領域の画素については、偏光子が配置されていない固体撮像装置。
[付記18]
画素が配列された撮像部を有し、更に、所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置の偏光子が配置されている画素から出力された信号に基づいて、被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報を生成する工程と、
合焦情報を用いて、光学系のオートフォーカス制御を行なう工程、
とを有する撮像装置の合焦制御方法。
[付記19]
オートフォーカス制御を行なう工程では、山登り方式のオートフォーカス制御を行なう付記18に記載の合焦制御方法。
[付記20]
画素が配列された撮像部を有し、更に、所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置の偏光子が配置されている画素から出力された信号に基づいて生成された、被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報に基づいて、光学系のフォーカス制御を行なうフォーカス制御部としてコンピュータを機能させるプログラム。
Considering the description of the embodiment, the technology according to the claims described in the claims is an example, and for example, the following technologies are extracted. The following is listed.
[Appendix 1]
A solid-state imaging device having an imaging unit in which pixels are arranged, and a polarizer arranged so as to overlap a predetermined number of pixels,
A focus information processing unit that generates focus information for focus control of an optical system that guides a subject image to an imaging unit based on information output from a pixel in which a polarizer is disposed;
And an imaging apparatus.
[Appendix 2]
The imaging apparatus according to attachment 1, further comprising a focus control unit that performs focus control of the optical system based on the focus information generated by the focus information processing unit.
[Appendix 3]
The imaging apparatus according to appendix 1 or appendix 2, comprising an optical system for guiding the subject image to the imaging unit.
[Appendix 4]
In the solid-state imaging device, for each block having a predetermined number of pixels as one unit, a number of pixels smaller than the total number of pixels in the block are targeted, and polarizers are arranged so as to overlap the pixels. 4. The imaging device according to any one of appendix 3.
[Appendix 5]
The imaging apparatus according to appendix 4, wherein a plurality of types of polarizers each having a polarization main axis at a different angle are arranged in the block.
[Appendix 6]
The imaging apparatus according to appendix 5, wherein each angle difference is 180 / N where N is the angle type of the polarization main axis of the polarizer.
[Appendix 7]
One of the multiple types of polarizers is a polarizer that passes only the TE wave equivalent,
The imaging apparatus according to appendix 5 or appendix 6, wherein the other of the plurality of types of polarizers is a polarizer that passes only the TM wave equivalent.
[Appendix 8]
A color filter for color separation;
The imaging apparatus according to any one of appendix 5 to appendix 7, wherein a polarizer is disposed so as to overlap a set of the same color pixels in the block or pixels conforming to the same color.
[Appendix 9]
The color filter has a plurality of color filters of green or a color similar to green,
A plurality of polarizers are arranged so as to overlap with a color filter of a color corresponding to green or green,
One of the multiple types of polarizers is a polarizer that passes only the TE wave equivalent,
The imaging apparatus according to appendix 8, wherein the other of the plurality of types of polarizers is a polarizer that passes only the TM wave equivalent.
[Appendix 10]
As for the color filter, each color filter of two green, one red, and one blue is arranged in a Bayer array,
Two types of polarizers are arranged to overlap the green color filter,
One polarizer is a polarizer that passes only the TE wave equivalent,
The imaging apparatus according to appendix 9, wherein the other polarizer is a polarizer that passes only the TM wave equivalent.
[Appendix 11]
The imaging apparatus according to any one of supplementary notes 1 to 4, wherein one type of polarizer is arranged in the block.
[Appendix 12]
The imaging device according to appendix 11, wherein the polarizer is one of a polarizer that passes only the TE wave and a polarizer that passes only the TM wave.
[Appendix 13]
A color filter for color separation;
As for the color filter, each color filter of two green, one red, and one blue is arranged in a Bayer array,
The imaging apparatus according to appendix 12, wherein either a polarizer that passes only the TE wave or a polarizer that passes only the TM wave is disposed so as to overlap with the green color filter.
[Appendix 14]
14. The imaging device according to any one of supplementary notes 1 to 13, wherein a polarizer is arranged so as to overlap a pixel from which a signal is not read out during moving image capturing.
[Appendix 15]
The imaging device according to any one of supplementary notes 1 to 14, wherein the polarizer is disposed at least in a central region of the imaging unit.
[Appendix 16]
The imaging device according to attachment 15, wherein the polarizer is also disposed in a peripheral region of the imaging unit.
[Appendix 17]
Having an imaging unit in which pixels are arranged;
Furthermore, for a predetermined number of pixels in the central region of the imaging unit, a polarizer is disposed so as to overlap the pixels,
A solid-state imaging device in which no polarizer is arranged for pixels in the peripheral region of the imaging unit.
[Appendix 18]
Output from a pixel in which a polarizer of a solid-state imaging device in which a polarizer is arranged so as to overlap with a predetermined number of pixels as an object, and having an imaging unit in which pixels are arranged Generating focus information for focus control of an optical system that guides the subject image to the imaging unit based on the signal;
A process of performing auto-focus control of the optical system using the focusing information;
A focus control method for an image pickup apparatus.
[Appendix 19]
The focus control method according to appendix 18, wherein in the step of performing autofocus control, hill-climbing autofocus control is performed.
[Appendix 20]
Output from a pixel in which a polarizer of a solid-state imaging device in which a polarizer is arranged so as to overlap with a predetermined number of pixels as an object, and having an imaging unit in which pixels are arranged A program that causes a computer to function as a focus control unit that performs focus control of an optical system based on focus information for focus control of an optical system that guides a subject image to an imaging unit, generated based on a signal.

100…カラーフィルタ、102…パターン化偏光子、104…固体撮像装置、200…撮像装置、203…撮像装置モジュール、204…本体ユニット、250…撮像レンズ、253…フォーカスレンズ、254…ズームレンズ、292a…中央制御部、300…画像処理装置、302…フロントエンド部、304…信号処理部、330…感度補正処理部、332…合焦情報処理部、FMT…フォーカスモータ、ZMT…ズームモータ   DESCRIPTION OF SYMBOLS 100 ... Color filter, 102 ... Patterned polarizer, 104 ... Solid-state imaging device, 200 ... Imaging device, 203 ... Imaging device module, 204 ... Main body unit, 250 ... Imaging lens, 253 ... Focus lens, 254 ... Zoom lens, 292a DESCRIPTION OF SYMBOLS Central control part 300 ... Image processing apparatus 302 ... Front end part 304 ... Signal processing part 330 ... Sensitivity correction processing part 332 ... Focusing information processing part, FMT ... Focus motor, ZMT ... Zoom motor

Claims (20)

画素が配列された撮像部を有し、更に、所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置と、
偏光子が配置された画素から出力された情報に基づいて、被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報を生成する合焦情報処理部、
とを備えている撮像装置。
A solid-state imaging device having an imaging unit in which pixels are arranged, and a polarizer arranged so as to overlap a predetermined number of pixels,
A focus information processing unit that generates focus information for focus control of an optical system that guides a subject image to an imaging unit based on information output from a pixel in which a polarizer is disposed;
And an imaging apparatus.
合焦情報処理部により生成された合焦情報に基づいて、光学系のフォーカス制御を行なうフォーカス制御部を備えた請求項1に記載の撮像装置。   The imaging apparatus according to claim 1, further comprising a focus control unit that performs focus control of the optical system based on the focus information generated by the focus information processing unit. 被写体像を撮像部に導く光学系を備えている請求項1に記載の撮像装置。   The imaging apparatus according to claim 1, further comprising an optical system that guides a subject image to an imaging unit. 固体撮像装置は、所定数の画素を1単位とするブロックごとに、ブロック内の総画素数よりも少ない数の画素を対象として、当該画素に重なるように偏光子が配置されている請求項1に記載の撮像装置。   The solid-state imaging device includes a polarizer arranged for each block having a predetermined number of pixels as one unit, with a number of pixels smaller than the total number of pixels in the block being overlapped with the pixels. The imaging device described in 1. ブロック内に、それぞれ異なる角度の偏光主軸を有する複数種類の偏光子が配置されている請求項4に記載の撮像装置。   The imaging device according to claim 4, wherein a plurality of types of polarizers each having a polarization main axis at a different angle are arranged in the block. 偏光子の偏光主軸の角度の種類をNとしたとき、それぞれの角度差は、180/Nである請求項5に記載の撮像装置。   The imaging apparatus according to claim 5, wherein each angle difference is 180 / N, where N is the angle type of the polarization main axis of the polarizer. 複数種類の偏光子の1つはTE波相当のみを通す偏光子であり、
複数種類の偏光子のもう1つはTM波相当のみを通す偏光子である請求項5に記載の撮像装置。
One of the multiple types of polarizers is a polarizer that passes only the TE wave equivalent,
The imaging apparatus according to claim 5, wherein the other of the plurality of types of polarizers is a polarizer that passes only the TM wave equivalent.
色分離を行なうカラーフィルタを有し、
ブロック内のカラーフィルタの一組の同色画素又は同色に準じる画素に重なるように偏光子が配置されている請求項5に記載の撮像装置。
A color filter for color separation;
The imaging device according to claim 5, wherein a polarizer is disposed so as to overlap a set of the same color pixels in the block or pixels conforming to the same color.
カラーフィルタは、緑色又は緑色に準じる色の色フィルタを複数持ち、
緑色又は緑色に準じる色の色フィルタと重なるように複数の偏光子が配置されており、
複数種類の偏光子の1つはTE波相当のみを通す偏光子であり、
複数種類の偏光子のもう1つはTM波相当のみを通す偏光子である請求項8に記載の撮像装置。
The color filter has a plurality of color filters of green or a color similar to green,
A plurality of polarizers are arranged so as to overlap with a color filter of a color corresponding to green or green,
One of the multiple types of polarizers is a polarizer that passes only the TE wave equivalent,
The imaging device according to claim 8, wherein the other of the plurality of types of polarizers is a polarizer that passes only the TM wave equivalent.
カラーフィルタは、2つの緑色と1つの赤色と1つの青色の各色フィルタがベイヤー配列されており、
緑色の色フィルタと重なるように2種類の偏光子が配置されており、
一方の偏光子はTE波相当のみを通す偏光子であり、
他方の偏光子はTM波相当のみを通す偏光子である請求項9に記載の撮像装置。
As for the color filter, each color filter of two green, one red, and one blue is arranged in a Bayer array,
Two types of polarizers are arranged to overlap the green color filter,
One polarizer is a polarizer that passes only the TE wave equivalent,
The imaging device according to claim 9, wherein the other polarizer is a polarizer that passes only the TM wave equivalent.
ブロック内には、1種類の偏光子が1つ配置されている請求項1に記載の撮像装置。   The imaging device according to claim 1, wherein one type of polarizer is arranged in the block. 偏光子は、TE波相当のみを通す偏光子とTM波相当のみを通す偏光子の何れかである請求項11に記載の撮像装置。   The imaging device according to claim 11, wherein the polarizer is one of a polarizer that passes only the TE wave and a polarizer that passes only the TM wave. 色分離を行なうカラーフィルタを有し、
カラーフィルタは、2つの緑色と1つの赤色と1つの青色の各色フィルタがベイヤー配列されており、
緑色の色フィルタと重なるように、TE波相当のみを通す偏光子とTM波相当のみを通す偏光子の何れかが配置されている請求項12に記載の撮像装置。
A color filter for color separation;
As for the color filter, each color filter of two green, one red, and one blue is arranged in a Bayer array,
The imaging apparatus according to claim 12, wherein one of a polarizer that passes only the TE wave and a polarizer that passes only the TM wave is disposed so as to overlap with the green color filter.
動画撮像時に信号が読み出されない画素に重なるように偏光子が配置されている請求項1に記載の撮像装置。   The imaging device according to claim 1, wherein a polarizer is disposed so as to overlap a pixel from which a signal is not read out during moving image capturing. 偏光子は、少なくとも撮像部の中央領域に配置されている請求項1に記載の撮像装置。   The imaging device according to claim 1, wherein the polarizer is disposed at least in a central region of the imaging unit. 偏光子は、撮像部の周辺領域にも配置されている請求項15に記載の撮像装置。   The imaging device according to claim 15, wherein the polarizer is also disposed in a peripheral region of the imaging unit. 画素が配列された撮像部を有し、
更に、撮像部の中央領域の所定数の画素を対象として、当該画素に重なるように偏光子が配置されており、
撮像部の周辺領域の画素については、偏光子が配置されていない固体撮像装置。
Having an imaging unit in which pixels are arranged;
Furthermore, for a predetermined number of pixels in the central region of the imaging unit, a polarizer is disposed so as to overlap the pixels,
A solid-state imaging device in which no polarizer is arranged for pixels in the peripheral region of the imaging unit.
画素が配列された撮像部を有し、更に、所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置の偏光子が配置されている画素から出力された信号に基づいて、被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報を生成する工程と、
合焦情報を用いて、光学系のオートフォーカス制御を行なう工程、
とを有する撮像装置の合焦制御方法。
Output from a pixel in which a polarizer of a solid-state imaging device in which a polarizer is arranged so as to overlap with a predetermined number of pixels as an object, and having an imaging unit in which pixels are arranged Generating focus information for focus control of an optical system that guides the subject image to the imaging unit based on the signal;
A process of performing auto-focus control of the optical system using the focusing information;
A focus control method for an image pickup apparatus.
オートフォーカス制御を行なう工程では、山登り方式のオートフォーカス制御を行なう請求項18に記載の合焦制御方法。   19. The focus control method according to claim 18, wherein in the step of performing autofocus control, hill-climbing autofocus control is performed. 画素が配列された撮像部を有し、更に、所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置の偏光子が配置されている画素から出力された信号に基づいて生成された、被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報に基づいて、光学系のフォーカス制御を行なうフォーカス制御部としてコンピュータを機能させるプログラム。   Output from a pixel in which a polarizer of a solid-state imaging device in which a polarizer is arranged so as to overlap with a predetermined number of pixels as an object, and having an imaging unit in which pixels are arranged A program that causes a computer to function as a focus control unit that performs focus control of an optical system based on focus information for focus control of an optical system that guides a subject image to an imaging unit, generated based on a signal.
JP2011195590A 2011-09-08 2011-09-08 Solid state imaging device, imaging device, focus control method and program Withdrawn JP2013057769A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011195590A JP2013057769A (en) 2011-09-08 2011-09-08 Solid state imaging device, imaging device, focus control method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011195590A JP2013057769A (en) 2011-09-08 2011-09-08 Solid state imaging device, imaging device, focus control method and program

Publications (1)

Publication Number Publication Date
JP2013057769A true JP2013057769A (en) 2013-03-28

Family

ID=48133708

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011195590A Withdrawn JP2013057769A (en) 2011-09-08 2011-09-08 Solid state imaging device, imaging device, focus control method and program

Country Status (1)

Country Link
JP (1) JP2013057769A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016110609A1 (en) * 2015-01-09 2016-07-14 Nokia Technologies Oy Method, apparatus and computer program for determining focusing information
WO2017002717A1 (en) * 2015-07-01 2017-01-05 株式会社ソニー・インタラクティブエンタテインメント Imaging element, image sensor, and information processing device
WO2017098779A1 (en) * 2015-12-07 2017-06-15 ソニー株式会社 Solid-state imaging element, imaging device, and method for producing solid-state imaging element
WO2018070269A1 (en) * 2016-10-14 2018-04-19 ソニーセミコンダクタソリューションズ株式会社 Optical device, optical sensor, and imaging device
WO2020213238A1 (en) * 2019-04-19 2020-10-22 ソニー株式会社 Image capturing device, image processing device, and image processing method

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016110609A1 (en) * 2015-01-09 2016-07-14 Nokia Technologies Oy Method, apparatus and computer program for determining focusing information
WO2017002717A1 (en) * 2015-07-01 2017-01-05 株式会社ソニー・インタラクティブエンタテインメント Imaging element, image sensor, and information processing device
US11770940B2 (en) 2015-07-01 2023-09-26 Sony Interactive Entertainment Inc. Imaging element, image sensor, and information processing apparatus
WO2017098779A1 (en) * 2015-12-07 2017-06-15 ソニー株式会社 Solid-state imaging element, imaging device, and method for producing solid-state imaging element
CN108369949A (en) * 2015-12-07 2018-08-03 索尼半导体解决方案公司 Solid-state imaging element, imaging device and the method for manufacturing solid-state imaging element
US10910504B2 (en) 2015-12-07 2021-02-02 Sony Semiconductor Solutions Corporation Solid-state imaging element, imaging device, and method for manufacturing solid-state imaging element
CN108369949B (en) * 2015-12-07 2023-11-17 索尼半导体解决方案公司 Solid-state imaging element, imaging apparatus, and method for manufacturing solid-state imaging element
WO2018070269A1 (en) * 2016-10-14 2018-04-19 ソニーセミコンダクタソリューションズ株式会社 Optical device, optical sensor, and imaging device
WO2020213238A1 (en) * 2019-04-19 2020-10-22 ソニー株式会社 Image capturing device, image processing device, and image processing method

Similar Documents

Publication Publication Date Title
US9615030B2 (en) Luminance source selection in a multi-lens camera
KR100875938B1 (en) Optics and Beam Splitters
US8634002B2 (en) Image processing device and method for image correction
JP4826507B2 (en) Focus detection apparatus and imaging apparatus
KR100739584B1 (en) Image capturing apparatus
US20070177004A1 (en) Image creating method and imaging device
CN103842877B (en) imaging device and focus parameter value calculation method
KR101265432B1 (en) Imaging element and imaging apparatus using the same
US20130278726A1 (en) Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating
US20100097503A1 (en) Image acquisition apparatus and program recording medium
JP2002125156A (en) Solid-state image pickup element and electronic camera
JP4983271B2 (en) Imaging device
WO2012039093A1 (en) Three-dimensional imaging device
JP5186517B2 (en) Imaging device
JP2013057769A (en) Solid state imaging device, imaging device, focus control method and program
JP4858179B2 (en) Focus detection apparatus and imaging apparatus
JP5475393B2 (en) Imaging system and correction method
US9425229B2 (en) Solid-state imaging element, imaging device, and signal processing method including a dispersing element array and microlens array
WO2018198693A1 (en) Image processing device, image capturing device, image processing method, and program
JP2013097154A (en) Distance measurement device, imaging apparatus, and distance measurement method
JP6740666B2 (en) Imaging device, focus detection device, and imaging device
JP5945338B2 (en) Imaging
KR20220072834A (en) Electronics
JP4208536B2 (en) Focus detection device, imaging device having the same, and photographing lens
JP7387265B2 (en) Imaging element, imaging device, control method, and program

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130215

A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20141202