JP2014060694A - Imaging element and imaging device - Google Patents
Imaging element and imaging device Download PDFInfo
- Publication number
- JP2014060694A JP2014060694A JP2013053770A JP2013053770A JP2014060694A JP 2014060694 A JP2014060694 A JP 2014060694A JP 2013053770 A JP2013053770 A JP 2013053770A JP 2013053770 A JP2013053770 A JP 2013053770A JP 2014060694 A JP2014060694 A JP 2014060694A
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- pixel
- pixels
- image
- opening
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像素子および撮像装置に関する。 The present invention relates to an imaging element and an imaging apparatus.
2つの撮影光学系を用いて、右目用の画像と左目用の画像とから成るステレオ画像を取得するステレオ撮像装置が知られている。このようなステレオ撮像装置は、2つの撮像光学系を一定の間隔で配置することにより、同一の被写体を撮像して得られる2つの画像に視差を生じさせる。
[先行技術文献]
[特許文献]
[特許文献1] 特開平8−47001号公報
There is known a stereo imaging device that acquires a stereo image composed of a right-eye image and a left-eye image using two photographing optical systems. Such a stereo imaging device causes parallax to occur in two images obtained by imaging the same subject by arranging two imaging optical systems at regular intervals.
[Prior art documents]
[Patent Literature]
[Patent Document 1] JP-A-8-47001
単板の撮像素子から出力される画像データから、2D画像データとカラーの視差画像データを共に生成しようとする場合、それぞれの画像において縦方向と横方向で解像感が異ならないようにしたい。 When both 2D image data and color parallax image data are to be generated from image data output from a single-plate image sensor, it is desired that the sense of resolution does not differ between the vertical and horizontal directions of each image.
本発明の第1の実施形態における撮像素子は、光電変換素子に、入射光束に対して互いに異なる部分光束を通過させるように位置づけられた開口をそれぞれ有する複数種類の開口マスクのいずれかが対応付けられた視差画素と、光電変換素子に、開口に制限されることなく入射光束を導く視差なし画素とを含み、視差画素は、対応付けられた開口マスクの種類ごとに、他の開口マスクが対応付けられた視差画素および視差なし画素に挟まれて、2次元方向のいずれに対しても、等間隔で配置されていると共に、異なる種類の前記開口マスクが対応付けられた前記視差画素同士の間の距離が互いに最も離れるように配置されている。 In the imaging device according to the first embodiment of the present invention, the photoelectric conversion device is associated with any of a plurality of types of aperture masks each having an aperture positioned so as to pass different partial light beams with respect to the incident light beam. Including a parallax pixel and a non-parallax pixel that guides an incident light beam to the photoelectric conversion element without being limited to the aperture, and the parallax pixel corresponds to another aperture mask for each type of associated aperture mask Between the parallax pixels, which are sandwiched between the attached parallax pixels and the non-parallax pixels and are arranged at equal intervals in any of the two-dimensional directions and associated with different types of the opening masks Are arranged so that their distances are farthest from each other.
本発明の第2の実施形態における撮像装置は、上記の撮像素子と、上記撮像素子の出力から、互いに視差を有する複数の視差画像データと2D画像データとを生成する画像処理部とを備える。 An imaging device according to a second embodiment of the present invention includes the above-described imaging device and an image processing unit that generates a plurality of parallax image data and 2D image data having parallax from the output of the imaging device.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.
画像処理装置および撮像装置の一形態である本実施形態に係るデジタルカメラは、1つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。 The digital camera according to the present embodiment, which is a form of the image processing apparatus and the imaging apparatus, is configured to be able to generate images with a plurality of viewpoints for one scene by one shooting. Each image having a different viewpoint is called a parallax image.
図1は、本発明の実施形態に係るデジタルカメラ10の構成を説明する図である。デジタルカメラ10は、撮影光学系としての撮影レンズ20を備え、光軸21に沿って入射する被写体光束を撮像素子100へ導く。撮影レンズ20は、デジタルカメラ10に対して着脱できる交換式レンズであっても構わない。デジタルカメラ10は、撮像素子100、制御部201、A/D変換回路202、メモリ203、駆動部204、画像処理部205、メモリカードIF207、操作部208、表示部209、LCD駆動回路210およびAFセンサ211を備える。 FIG. 1 is a diagram illustrating the configuration of a digital camera 10 according to an embodiment of the present invention. The digital camera 10 includes a photographic lens 20 as a photographic optical system, and guides a subject light beam incident along the optical axis 21 to the image sensor 100. The photographing lens 20 may be an interchangeable lens that can be attached to and detached from the digital camera 10. The digital camera 10 includes an image sensor 100, a control unit 201, an A / D conversion circuit 202, a memory 203, a drive unit 204, an image processing unit 205, a memory card IF 207, an operation unit 208, a display unit 209, an LCD drive circuit 210, and an AF. A sensor 211 is provided.
なお、図示するように、撮像素子100へ向かう光軸21に平行な方向をz軸プラス方向と定め、z軸と直交する平面において紙面手前へ向かう方向をx軸プラス方向、紙面上方向をy軸プラス方向と定める。以降のいくつかの図においては、図1の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。 As shown in the figure, the direction parallel to the optical axis 21 toward the image sensor 100 is defined as the z-axis plus direction, the direction toward the front of the drawing in the plane orthogonal to the z-axis is the x-axis plus direction, and the upward direction on the drawing is y. The axis is defined as the positive direction In the following several figures, the coordinate axes are displayed so that the orientation of each figure can be understood with reference to the coordinate axes of FIG.
撮影レンズ20は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図1では撮影レンズ20を説明の都合上、瞳近傍に配置された仮想的な1枚のレンズで代表して表している。撮像素子100は、撮影レンズ20の焦点面近傍に配置されている。撮像素子100は、二次元的に複数の光電変換素子が配列された、例えばCCD、CMOSセンサ等のイメージセンサである。撮像素子100は、駆動部204によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してA/D変換回路202へ出力する。 The taking lens 20 is composed of a plurality of optical lens groups, and forms an image of a subject light flux from the scene in the vicinity of its focal plane. In FIG. 1, for convenience of explanation, the photographic lens 20 is represented by a single virtual lens arranged in the vicinity of the pupil. The image sensor 100 is disposed near the focal plane of the photographic lens 20. The image sensor 100 is an image sensor such as a CCD or CMOS sensor in which a plurality of photoelectric conversion elements are two-dimensionally arranged. The image sensor 100 is controlled in timing by the drive unit 204, converts the subject image formed on the light receiving surface into an image signal, and outputs the image signal to the A / D conversion circuit 202.
A/D変換回路202は、撮像素子100が出力する画像信号をデジタル画像信号に変換してメモリ203へ出力する。画像処理部205は、メモリ203をワークスペースとして種々の画像処理を施し、画像データを生成する。 The A / D conversion circuit 202 converts the image signal output from the image sensor 100 into a digital image signal and outputs the digital image signal to the memory 203. The image processing unit 205 performs various image processing using the memory 203 as a work space, and generates image data.
画像処理部205は、他にも選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、LCD駆動回路210により表示信号に変換され、表示部209に表示される。また、メモリカードIF207に装着されているメモリカード220に記録される。 The image processing unit 205 also has general image processing functions such as adjusting image data according to the selected image format. The generated image data is converted into a display signal by the LCD drive circuit 210 and displayed on the display unit 209. The data is recorded on the memory card 220 attached to the memory card IF 207.
AFセンサ211は、被写体空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写体像のデフォーカス量を検出する。一連の撮影シーケンスは、操作部208がユーザの操作を受け付けて、制御部201へ操作信号を出力することにより開始される。撮影シーケンスに付随するAF,AE等の各種動作は、制御部201に制御されて実行される。例えば、制御部201は、AFセンサ211の検出信号を解析して、撮影レンズ20の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。 The AF sensor 211 is a phase difference sensor in which a plurality of distance measuring points are set for the subject space, and detects the defocus amount of the subject image at each distance measuring point. A series of shooting sequences is started when the operation unit 208 receives a user operation and outputs an operation signal to the control unit 201. Various operations such as AF and AE accompanying the imaging sequence are executed under the control of the control unit 201. For example, the control unit 201 analyzes the detection signal of the AF sensor 211 and executes focus control for moving a focus lens that constitutes a part of the photographing lens 20.
次に、撮像素子100の構成について詳細に説明する。図2は、本発明の実施形態に係る撮像素子100の断面を表す概略図である。 Next, the configuration of the image sensor 100 will be described in detail. FIG. 2 is a schematic diagram showing a cross section of the image sensor 100 according to the embodiment of the present invention.
撮像素子100は、被写体側から順に、マイクロレンズ101、カラーフィルタ102、開口マスク103、配線層105および光電変換素子108が配列されて構成されている。光電変換素子108は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子108は、基板109の表面に二次元的に複数配列されている。 The imaging element 100 is configured by arranging a microlens 101, a color filter 102, an aperture mask 103, a wiring layer 105, and a photoelectric conversion element 108 in order from the subject side. The photoelectric conversion element 108 is configured by a photodiode that converts incident light into an electrical signal. A plurality of photoelectric conversion elements 108 are two-dimensionally arranged on the surface of the substrate 109.
光電変換素子108により変換された画像信号、光電変換素子108を制御する制御信号等は、配線層105に設けられた配線106を介して送受信される。また、各光電変換素子108に一対一に対応して設けられた開口部104を有する開口マスク103が、配線層に接して設けられている。開口部104は、後述するように、対応する光電変換素子108ごとにシフトされて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部104を備える開口マスク103の作用により、光電変換素子108が受光する被写体光束に視差が生じる。 An image signal converted by the photoelectric conversion element 108, a control signal for controlling the photoelectric conversion element 108, and the like are transmitted and received through the wiring 106 provided in the wiring layer 105. In addition, an opening mask 103 having openings 104 provided in one-to-one correspondence with each photoelectric conversion element 108 is provided in contact with the wiring layer. As will be described later, the opening 104 is shifted for each corresponding photoelectric conversion element 108 so that the relative position is precisely determined. As will be described in detail later, parallax occurs in the subject light beam received by the photoelectric conversion element 108 by the action of the opening mask 103 including the opening 104.
一方、視差を生じさせない光電変換素子108上には、開口マスク103が存在しない。別言すれば、対応する光電変換素子108に対して入射する被写体光束を制限しない、つまり入射光束の全体を通過させる開口部104を有する開口マスク103が設けられているとも言える。視差を生じさせることはないが、実質的には配線106によって形成される開口107が入射する被写体光束を規定するので、配線106を、視差を生じさせない入射光束の全体を通過させる開口マスクと捉えることもできる。開口マスク103は、各光電変換素子108に対応して別個独立に配列しても良いし、カラーフィルタ102の製造プロセスと同様に複数の光電変換素子108に対して一括して形成しても良い。 On the other hand, the aperture mask 103 does not exist on the photoelectric conversion element 108 that does not generate parallax. In other words, it can be said that an aperture mask 103 having an aperture 104 that does not limit the subject luminous flux incident on the corresponding photoelectric conversion element 108, that is, allows the entire incident luminous flux to pass therethrough is provided. Although no parallax is generated, the aperture 107 formed by the wiring 106 defines the incident light flux that is incident, so the wiring 106 is regarded as an aperture mask that allows the entire incident light flux that does not cause parallax to pass. You can also. The opening mask 103 may be arranged separately and independently corresponding to each photoelectric conversion element 108, or may be formed collectively for a plurality of photoelectric conversion elements 108 in the same manner as the manufacturing process of the color filter 102. .
カラーフィルタ102は、開口マスク103上に設けられている。カラーフィルタ102は、各光電変換素子108に対して特定の波長帯域を透過させるように着色された、光電変換素子108のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも2種類のカラーフィルタが配列されれば良いが、より高画質のカラー画像を取得するには3種類以上のカラーフィルタを配列すると良い。例えば赤色波長帯を透過させる赤フィルタ(Rフィルタ)、緑色波長帯を透過させる緑フィルタ(Gフィルタ)、および青色波長帯を透過させる青フィルタ(Bフィルタ)を格子状に配列すると良い。具体的な配列については後述する。 The color filter 102 is provided on the opening mask 103. The color filter 102 is a filter provided in a one-to-one correspondence with each photoelectric conversion element 108, which is colored so as to transmit a specific wavelength band to each photoelectric conversion element 108. In order to output a color image, it is only necessary to arrange at least two types of color filters that are different from each other. However, in order to obtain a higher quality color image, it is preferable to arrange three or more types of color filters. For example, a red filter (R filter) that transmits the red wavelength band, a green filter (G filter) that transmits the green wavelength band, and a blue filter (B filter) that transmits the blue wavelength band may be arranged in a grid pattern. A specific arrangement will be described later.
マイクロレンズ101は、カラーフィルタ102上に設けられている。マイクロレンズ101は、入射する被写体光束のより多くを光電変換素子108へ導くための集光レンズである。マイクロレンズ101は、光電変換素子108のそれぞれに一対一に対応して設けられている。マイクロレンズ101は、撮影レンズ20の瞳中心と光電変換素子108の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子108に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク103の開口部104の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。 The microlens 101 is provided on the color filter 102. The microlens 101 is a condensing lens for guiding more incident subject light flux to the photoelectric conversion element 108. The microlenses 101 are provided in a one-to-one correspondence with the photoelectric conversion elements 108. In consideration of the relative positional relationship between the pupil center of the taking lens 20 and the photoelectric conversion element 108, the optical axis of the microlens 101 is shifted so that more subject light flux is guided to the photoelectric conversion element 108. It is preferable. Furthermore, the arrangement position may be adjusted so that more specific subject light beam, which will be described later, is incident along with the position of the opening 104 of the opening mask 103.
このように、各々の光電変換素子108に対応して一対一に設けられる開口マスク103、カラーフィルタ102およびマイクロレンズ101の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク103が設けられた画素を視差画素、視差を生じさせる開口マスク103が設けられていない画素を視差なし画素と呼ぶ。例えば、撮像素子100の有効画素領域が24mm×16mm程度の場合、画素数は1200万程度に及ぶ。 As described above, one unit of the aperture mask 103, the color filter 102, and the microlens 101 provided in one-to-one correspondence with each photoelectric conversion element 108 is referred to as a pixel. In particular, a pixel provided with the opening mask 103 that generates parallax is referred to as a parallax pixel, and a pixel that is not provided with the opening mask 103 that generates parallax is referred to as a non-parallax pixel. For example, when the effective pixel area of the image sensor 100 is about 24 mm × 16 mm, the number of pixels reaches about 12 million.
なお、集光効率、光電変換効率が良いイメージセンサの場合は、マイクロレンズ101を設けなくても良い。また、裏面照射型イメージセンサの場合は、配線層105が光電変換素子108とは反対側に設けられる。また、開口マスク103の開口部104に色成分を持たせれば、カラーフィルタ102と開口マスク103を一体的に形成することもできる。 Note that in the case of an image sensor with good light collection efficiency and photoelectric conversion efficiency, the microlens 101 may not be provided. In the case of a back-illuminated image sensor, the wiring layer 105 is provided on the side opposite to the photoelectric conversion element 108. Further, if the opening 104 of the opening mask 103 has a color component, the color filter 102 and the opening mask 103 can be formed integrally.
また、本実施形態においては、開口マスク103と配線106を別体として設けているが、視差画素における開口マスク103の機能を配線106が担っても良い。すなわち、規定される開口形状を配線106により形成し、当該開口形状により入射光束を制限して特定の部分光束のみを光電変換素子108へ導く。この場合、開口形状を形成する配線106は、配線層105のうち最も光電変換素子108側であることが好ましい。 In the present embodiment, the opening mask 103 and the wiring 106 are provided separately, but the wiring 106 may serve the function of the opening mask 103 in the parallax pixels. That is, a prescribed opening shape is formed by the wiring 106, and the incident light beam is limited by the opening shape to guide only a specific partial light beam to the photoelectric conversion element 108. In this case, the wiring 106 that forms the opening shape is preferably closest to the photoelectric conversion element 108 in the wiring layer 105.
また、開口マスク103は、光電変換素子108に重ねて設けられる透過阻止膜によって形成されても良い。この場合、開口マスク103は、例えば、SiN膜とSiO2膜を順次積層して透過阻止膜とし、開口部104に相当する領域をエッチングで除去して形成される。 Further, the opening mask 103 may be formed by a permeation blocking film provided to overlap the photoelectric conversion element 108. In this case, the opening mask 103 is formed, for example, by sequentially laminating a SiN film and a SiO 2 film to form a permeation blocking film and removing a region corresponding to the opening 104 by etching.
次に、開口マスク103の開口部104と、生じる視差の関係について説明する。図3は、撮像素子100の一部を拡大した様子を表す概略図である。ここでは、説明を簡単にすべく、カラーフィルタ102の配色については後に言及を再開するまで考慮しない。カラーフィルタ102の配色に言及しない以下の説明においては、同色のカラーフィルタ102を有する視差画素のみを寄せ集めたイメージセンサであると捉えることができる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ102における隣接画素として考えても良い。 Next, the relationship between the opening 104 of the opening mask 103 and the generated parallax will be described. FIG. 3 is a schematic diagram illustrating a state in which a part of the image sensor 100 is enlarged. Here, in order to simplify the explanation, the color arrangement of the color filter 102 is not considered until the reference is resumed later. In the following description that does not refer to the color arrangement of the color filter 102, it can be considered that the image sensor is a collection of only parallax pixels having the color filter 102 of the same color. Therefore, the repetitive pattern described below may be considered as an adjacent pixel in the color filter 102 of the same color.
図3に示すように、開口マスク103の開口部104は、それぞれの画素に対して相対的にシフトして設けられている。そして、隣接する画素同士においても、それぞれの開口部104は互いに変位した位置に設けられている。 As shown in FIG. 3, the opening 104 of the opening mask 103 is provided so as to be relatively shifted with respect to each pixel. In the adjacent pixels, the openings 104 are provided at positions displaced from each other.
図の例においては、それぞれの画素に対する開口部104の位置として、互いに左右方向にシフトした6種類の開口マスク103が用意されている。そして、撮像素子100の全体は、紙面左側から右側へ徐々にシフトする開口マスク103をそれぞれ有する6つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。 In the example shown in the drawing, six types of opening masks 103 that are shifted in the left-right direction are prepared as the positions of the openings 104 for the respective pixels. The entire image sensor 100 has a two-dimensional and periodic array of photoelectric conversion element groups each including a set of six parallax pixels each having an aperture mask 103 that gradually shifts from the left side to the right side of the drawing. .
図4は、視差画素と被写体の関係を説明する概念図である。特に図4(a)は撮像素子100のうち撮影光軸21と直交する中心に配列されている繰り返しパターン110tの光電変換素子群を示し、図4(b)は周辺部分に配列されている繰り返しパターン110uの光電変換素子群を模式的に示している。図4(a)、(b)における被写体30は、撮影レンズ20に対して合焦位置に存在する。図4(c)は、図4(a)に対応して、撮影レンズ20に対して非合焦位置に存在する被写体31を捉えた場合の関係を模式的に示している。 FIG. 4 is a conceptual diagram illustrating the relationship between the parallax pixels and the subject. In particular, FIG. 4A shows a photoelectric conversion element group of a repetitive pattern 110t arranged in the center orthogonal to the photographing optical axis 21 in the image pickup element 100, and FIG. 4B shows a repetitive arrangement arranged in the peripheral portion. The photoelectric conversion element group of the pattern 110u is typically shown. The subject 30 in FIGS. 4A and 4B is in the in-focus position with respect to the photographic lens 20. FIG. 4C schematically shows a relationship when the subject 31 existing at the out-of-focus position with respect to the photographing lens 20 is captured corresponding to FIG.
まず、撮影レンズ20が合焦状態に存在する被写体30を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ20の瞳を通過して撮像素子100へ導かれるが、被写体光束が通過する全体の断面領域に対して、6つの部分領域Pa〜Pfが規定されている。そして、例えば繰り返しパターン110t、110uを構成する光電変換素子群の紙面左端の画素は、拡大図からもわかるように、部分領域Pfから射出された被写体光束のみが光電変換素子108へ到達するように、開口マスク103の開口部104fの位置が定められている。同様に、右端の画素に向かって、部分領域Peに対応して開口部104eの位置が、部分領域Pdに対応して開口部104dの位置が、部分領域Pcに対応して開口部104cの位置が、部分領域Pbに対応して開口部104bの位置が、部分領域Paに対応して開口部104aの位置がそれぞれ定められている。 First, the relationship between the parallax pixels and the subject when the photographing lens 20 captures the subject 30 that is in focus will be described. The subject luminous flux passes through the pupil of the photographic lens 20 and is guided to the image sensor 100. Six partial areas Pa to Pf are defined for the entire cross-sectional area through which the subject luminous flux passes. For example, in the pixel at the left end of the sheet of the photoelectric conversion element group constituting the repetitive patterns 110t and 110u, only the subject luminous flux emitted from the partial region Pf reaches the photoelectric conversion element 108 as can be seen from the enlarged view. The position of the opening 104f of the opening mask 103 is determined. Similarly, toward the rightmost pixel, the position of the opening 104e corresponding to the partial area Pe, the position of the opening 104d corresponding to the partial area Pd, and the position of the opening 104c corresponding to the partial area Pc. However, the position of the opening 104b is determined corresponding to the partial area Pb, and the position of the opening 104a is determined corresponding to the partial area Pa.
別言すれば、例えば部分領域Pfと左端画素の相対的な位置関係によって定義される、部分領域Pfから射出される被写体光束(部分光束)の主光線Rfの傾きにより、開口部104fの位置が定められていると言っても良い。そして、合焦位置に存在する被写体30からの被写体光束を、開口部104fを介して光電変換素子108が受光する場合、その被写体光束は、点線で図示するように、光電変換素子108上で結像する。同様に、右端の画素に向かって、主光線Reの傾きにより開口部104eの位置が、主光線Rdの傾きにより開口部104dの位置が、主光線Rcの傾きにより開口部104cの位置が、主光線Rbの傾きにより開口部104bの位置が、主光線Raの傾きにより開口部104aの位置がそれぞれ定められていると言える。 In other words, the position of the opening 104f is determined by the inclination of the principal ray Rf of the subject light beam (partial light beam) emitted from the partial region Pf, which is defined by the relative positional relationship between the partial region Pf and the leftmost pixel, for example. It may be said that it is established. Then, when the photoelectric conversion element 108 receives the subject luminous flux from the subject 30 existing at the in-focus position via the opening 104f, the subject luminous flux is coupled on the photoelectric conversion element 108 as shown by the dotted line. Image. Similarly, toward the rightmost pixel, the position of the opening 104e is determined by the inclination of the principal ray Re, the position of the opening 104d is determined by the inclination of the principal ray Rd, and the position of the opening 104c is determined by the inclination of the principal ray Rc. It can be said that the position of the opening 104b is determined by the inclination of the light ray Rb, and the position of the opening 104a is determined by the inclination of the principal ray Ra.
図4(a)で示すように、合焦位置に存在する被写体30のうち、光軸21と交差する被写体30上の微小領域Otから放射される光束は、撮影レンズ20の瞳を通過して、繰り返しパターン110tを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン110tを構成する光電変換素子群の各画素は、それぞれ6つの部分領域Pa〜Pfを介して、一つの微小領域Otから放射される光束を受光している。微小領域Otは、繰り返しパターン110tを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。同様に、図4(b)で示すように、合焦位置に存在する被写体30のうち、光軸21から離間した被写体30上の微小領域Ouから放射される光束は、撮影レンズ20の瞳を通過して、繰り返しパターン110uを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン110uを構成する光電変換素子群の各画素は、それぞれ6つの部分領域Pa〜Pfを介して、一つの微小領域Ouから放射される光束を受光している。微小領域Ouも、微小領域Otと同様に、繰り返しパターン110uを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。 As shown in FIG. 4A, the light beam emitted from the minute region Ot on the subject 30 that intersects the optical axis 21 among the subject 30 existing at the in-focus position passes through the pupil of the photographing lens 20. Then, each pixel of the photoelectric conversion element group constituting the repetitive pattern 110t is reached. That is, each pixel of the photoelectric conversion element group constituting the repetitive pattern 110t receives a light beam emitted from one minute region Ot through each of the six partial regions Pa to Pf. Although the minute region Ot has an extent corresponding to the positional deviation of each pixel of the photoelectric conversion element group constituting the repetitive pattern 110t, it can be approximated to substantially the same object point. Similarly, as shown in FIG. 4B, the light beam emitted from the minute region Ou on the subject 30 that is separated from the optical axis 21 among the subject 30 that exists at the in-focus position passes through the pupil of the photographing lens 20. It passes through and reaches each pixel of the photoelectric conversion element group constituting the repetitive pattern 110u. That is, each pixel of the photoelectric conversion element group constituting the repetitive pattern 110u receives a light beam emitted from one minute region Ou through each of the six partial regions Pa to Pf. Similarly to the micro area Ot, the micro area Ou has an extent corresponding to the positional deviation of each pixel of the photoelectric conversion element group constituting the repetitive pattern 110u, but substantially the same object point. Can be approximated.
つまり、被写体30が合焦位置に存在する限りは、撮像素子100上における繰り返しパターン110の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン110において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン110t、110uのそれぞれの左端の画素は、同じ部分領域Pfからの部分光束を受光している。 In other words, as long as the subject 30 exists at the in-focus position, the minute area captured by the photoelectric conversion element group differs according to the position of the repetitive pattern 110 on the image sensor 100, and each pixel constituting the photoelectric conversion element group Captures the same minute region through different partial regions. In each repetitive pattern 110, corresponding pixels receive the subject luminous flux from the same partial area. That is, in the drawing, for example, the leftmost pixel of each of the repeated patterns 110t and 110u receives a partial light beam from the same partial region Pf.
撮影光軸21と直交する中心に配列されている繰り返しパターン110tにおいて左端画素が部分領域Pfからの被写体光束を受光する開口部104fの位置と、周辺部分に配列されている繰り返しパターン110uにおいて左端画素が部分領域Pfからの被写体光束を受光する開口部104fの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Pfからの被写体光束を受光するための開口マスクという点で、これらを同一種類の開口マスクとして扱うことができる。したがって、図4の例では、撮像素子100上に配列される視差画素のそれぞれは、6種類の開口マスクの一つを備えると言える。 In the repetitive pattern 110t arranged in the center orthogonal to the photographing optical axis 21, the left end pixel in the repetitive pattern 110u arranged in the peripheral portion and the position of the opening 104f where the left end pixel receives the subject light beam from the partial region Pf. However, the position of the opening 104f that receives the subject luminous flux from the partial region Pf is strictly different. However, from a functional point of view, these can be treated as the same type of aperture mask in terms of an aperture mask for receiving the subject light flux from the partial region Pf. Therefore, in the example of FIG. 4, it can be said that each of the parallax pixels arranged on the image sensor 100 includes one of six types of aperture masks.
次に、撮影レンズ20が非合焦状態に存在する被写体31を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体31からの被写体光束は、撮影レンズ20の瞳の6つの部分領域Pa〜Pfを通過して、撮像素子100へ到達する。ただし、非合焦位置に存在する被写体31からの被写体光束は、光電変換素子108上ではなく他の位置で結像する。例えば、図4(c)に示すように、被写体31が被写体30よりも撮像素子100に対して遠い位置に存在すると、被写体光束は、光電変換素子108よりも被写体31側で結像する。逆に、被写体31が被写体30よりも撮像素子100に対して近い位置に存在すると、被写体光束は、光電変換素子108よりも被写体31とは反対側で結像する。 Next, the relationship between the parallax pixels and the subject when the photographing lens 20 captures the subject 31 existing in the out-of-focus state will be described. Also in this case, the subject luminous flux from the subject 31 present at the out-of-focus position passes through the six partial areas Pa to Pf of the pupil of the photographing lens 20 and reaches the image sensor 100. However, the subject light flux from the subject 31 existing at the out-of-focus position forms an image at another position, not on the photoelectric conversion element 108. For example, as illustrated in FIG. 4C, when the subject 31 exists at a position farther from the imaging element 100 than the subject 30, the subject light flux forms an image on the subject 31 side with respect to the photoelectric conversion element 108. Conversely, when the subject 31 is present at a position closer to the image sensor 100 than the subject 30, the subject luminous flux forms an image on the opposite side of the subject 31 from the photoelectric conversion element 108.
したがって、非合焦位置に存在する被写体31のうち、微小領域Ot'から放射される被写体光束は、6つの部分領域Pa〜Pfのいずれを通過するかにより、異なる組の繰り返しパターン110における対応画素に到達する。例えば、部分領域Pdを通過した被写体光束は、図4(c)の拡大図に示すように、主光線Rd'として、繰り返しパターン110t'に含まれる、開口部104dを有する光電変換素子108へ入射する。そして、微小領域Ot'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン110t'に含まれる光電変換素子108へは入射せず、他の繰り返しパターンにおける対応する開口部を有する光電変換素子108へ入射する。換言すると、繰り返しパターン110t'を構成する各光電変換素子108へ到達する被写体光束は、被写体31の互いに異なる微小領域から放射された被写体光束である。すなわち、開口部104dに対応する108へは主光線をRd'とする被写体光束が入射し、他の開口部に対応する光電変換素子108へは主光線をRa+、Rb+、Rc+、Re+、Rf+とする被写体光束が入射するが、これらの被写体光束は、被写体31の互いに異なる微小領域から放射された被写体光束である。このような関係は、図4(b)における周辺部分に配列されている繰り返しパターン110uにおいても同様である。 Therefore, the subject luminous flux emitted from the minute region Ot ′ among the subjects 31 existing at the out-of-focus position depends on which of the six partial regions Pa to Pf, the corresponding pixels in the different sets of repetitive patterns 110. To reach. For example, as shown in the enlarged view of FIG. 4C, the subject luminous flux that has passed through the partial region Pd is incident on the photoelectric conversion element 108 having the opening 104d included in the repeated pattern 110t ′ as the principal ray Rd ′. To do. Even if the subject light beam is emitted from the minute region Ot ′, the subject light beam that has passed through another partial region does not enter the photoelectric conversion element 108 included in the repetitive pattern 110t ′, and the repetitive pattern in the other repetitive pattern. The light enters the photoelectric conversion element 108 having a corresponding opening. In other words, the subject luminous flux reaching each photoelectric conversion element 108 constituting the repetitive pattern 110t ′ is a subject luminous flux radiated from different minute areas of the subject 31. That is, a subject luminous flux having a principal ray as Rd ′ is incident on 108 corresponding to the opening 104d, and the principal rays are incident on Ra + , Rb + , Rc + , Re to the photoelectric conversion elements 108 corresponding to the other openings. +, although subject light flux to Rf + is incident, these object light is a subject light flux emitted from different micro region of the object 31. Such a relationship is the same in the repeated pattern 110u arranged in the peripheral portion in FIG.
すると、撮像素子100の全体で見た場合、例えば、開口部104aに対応する光電変換素子108で捉えた被写体像Aと、開口部104dに対応する光電変換素子108で捉えた被写体像Dは、合焦位置に存在する被写体に対する像であれば互いにずれが無く、非合焦位置に存在する被写体に対する像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Paと部分領域Pdの距離により、方向と量が定まる。つまり、被写体像Aと被写体像Dは、互いに視差像となる。この関係は、他の開口部に対しても同様であるので、開口部104aから104fに対応して、6つの視差像が形成されることになる。 Then, when viewed as a whole of the imaging element 100, for example, the subject image A captured by the photoelectric conversion element 108 corresponding to the opening 104a and the subject image D captured by the photoelectric conversion element 108 corresponding to the opening 104d are: If the image is for the subject present at the in-focus position, there is no shift, and if the image is for the subject present at the out-of-focus position, there is a shift. Then, the direction and amount of the shift are determined by how much the subject existing at the out-of-focus position is shifted from the focus position and by the distance between the partial area Pa and the partial area Pd. That is, the subject image A and the subject image D are parallax images. Since this relationship is the same for the other openings, six parallax images are formed corresponding to the openings 104a to 104f.
したがって、このように構成されたそれぞれの繰り返しパターン110において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、6つの部分領域Pa〜Pfうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、視差画像を形成する。 Therefore, when the outputs of the pixels corresponding to each other in each of the repetitive patterns 110 configured in this way are collected, a parallax image is obtained. That is, the output of the pixel that has received the subject light beam emitted from a specific partial area among the six partial areas Pa to Pf forms a parallax image.
図5は、視差画像を生成する処理を説明する概念図である。図は、左列から順に、開口部104fに対応する視差画素の出力を集めて生成される視差画像データIm_fの生成の様子、開口部104eの出力による視差画像データIm_eの生成の様子、開口部104dの出力による視差画像データIm_dの生成の様子、開口部104cの出力による視差画像データIm_cの生成の様子、開口部104bの出力による視差画像データIm_bの生成の様子、開口部104aの出力による視差画像データIm_aの生成の様子を表す。まず開口部104fの出力による視差画像データIm_fの生成の様子について説明する。 FIG. 5 is a conceptual diagram illustrating processing for generating a parallax image. The figure shows, in order from the left column, the generation of the parallax image data Im_f generated by collecting the outputs of the parallax pixels corresponding to the opening 104f, the generation of the parallax image data Im_e by the output of the opening 104e, the opening State of generation of parallax image data Im_d by output of 104d, state of generation of parallax image data Im_c by output of opening 104c, state of generation of parallax image data Im_b by output of opening 104b, parallax by output of opening 104a This represents how the image data Im_a is generated. First, how the parallax image data Im_f is generated by the output of the opening 104f will be described.
6つの視差画素を一組とする光電変換素子群から成る繰り返しパターン110は、横一列に配列されている。したがって、開口部104fを有する視差画素は、視差なし画素を除いた仮想的な撮像素子100上において、左右方向に6画素おき、かつ、上下方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、視差画像が得られる。 A repeating pattern 110 composed of a group of photoelectric conversion elements each including six parallax pixels is arranged in a horizontal row. Therefore, the parallax pixels having the opening 104f are present every six pixels in the left-right direction and continuously in the vertical direction on the virtual imaging element 100 excluding the pixels without parallax. Each of these pixels receives the subject luminous flux from different microregions as described above. Therefore, when the outputs of these parallax pixels are collected and arranged, a parallax image is obtained.
しかし、本実施形態における撮像素子100の各画素は正方画素であるので、単に寄せ集めただけでは、横方向の画素数が1/6に間引かれた結果となり、縦長の画像データが生成されてしまう。そこで、補間処理を施して横方向に6倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データIm_fを生成する。ただし、そもそも補間処理前の視差画像データが横方向に1/6に間引かれた画像であるので、横方向の解像度は、縦方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度の向上は相反関係にあると言える。なお、本実施形態に適用する具体的な補間処理については後述する。 However, since each pixel of the image sensor 100 according to the present embodiment is a square pixel, simply gathering results in the result that the number of pixels in the horizontal direction is reduced to 1/6, and vertically long image data is generated. End up. Therefore, by performing an interpolation process to obtain the number of pixels 6 times in the horizontal direction, the parallax image data Im_f is generated as an image with an original aspect ratio. However, since the parallax image data before the interpolation processing is an image that is thinned by 1/6 in the horizontal direction, the resolution in the horizontal direction is lower than the resolution in the vertical direction. That is, it can be said that the number of generated parallax image data and the improvement in resolution are in a conflicting relationship. A specific interpolation process applied to this embodiment will be described later.
同様にして、視差画像データIm_e〜視差画像データIm_aが得られる。すなわち、デジタルカメラ10は、横方向に視差を有する6視点の視差画像を生成することができる。 Similarly, parallax image data Im_e to parallax image data Im_a are obtained. That is, the digital camera 10 can generate a six-view parallax image having parallax in the horizontal direction.
上述のように開口部の画素中心からのずれを6種類持たせたときに、それぞれの視差画素が瞳分割光学系として働き、6つの視点の視差画素を生み出す例を説明してきた。ここで主に述べたのは各々の視差画素がそれぞれ異なる視点の被写体像を結像し、異なる種類の視差画素の間では、視点の異なる像の間の視差を生むということである。 As described above, an example has been described in which when there are six types of deviations from the pixel center of the opening, each parallax pixel functions as a pupil division optical system and generates parallax pixels of six viewpoints. The main point described here is that each parallax pixel forms a subject image of a different viewpoint, and a parallax between images of different viewpoints is generated between different types of parallax pixels.
視差画素による瞳分割光学系は単に視差を生み出すという事実だけでなく、視差が生み出されるのは合焦位置からずれた非合焦位置のボケた被写体像にのみ、その非合焦度に応じて視差を生み出すという重要な事実が存在する。この様子を通常の視差なし画素と2視差(左視差、右視差)の場合の説明図を図17、図18に示す。1つの光学系を通ってきた光は、右視差画素にとっては光学系の左側に仮想瞳があるような光学像を結像し、左視差画素にとっては光学系の右側に仮想瞳があるような光学像を結像する。したがって、ピント位置の被写体像の点像分布関数は鋭く結像し、どちらの仮想瞳を通っても同じように鋭い点像分布をもった視差のない被写体像を結像する。他方、ピント位置から前後にボケた被写体位置の点像分布関数は、ピント位置から離れるに従ってボケ幅の大きい広がりを示すとともに結像の中心位置は左右に分離してゆき、視差が生まれる。この2つに分離した点像分布関数を加算合成した1つの点像分布関数は、視差なし画素に結像される点像分布関数に一致し、そのピーク位置は、仮想瞳によって2つに分離した光学像の点像分布関数の真ん中に位置する。 Not only is the fact that the pupil division optical system using parallax pixels generates parallax, but parallax is generated only for the subject image that is out of focus and out of focus, and the subject is out of focus. There is an important fact of creating parallax. FIG. 17 and FIG. 18 are explanatory diagrams illustrating this state in the case of a normal non-parallax pixel and two parallaxes (left parallax, right parallax). Light that has passed through one optical system forms an optical image with a virtual pupil on the left side of the optical system for the right parallax pixel, and a virtual pupil on the right side of the optical system for the left parallax pixel. An optical image is formed. Accordingly, the point image distribution function of the subject image at the focus position is sharply formed, and a subject image having no parallax having the same sharp point image distribution is formed through either virtual pupil. On the other hand, the point spread function of the subject position blurred forward and backward from the focus position shows a widening of the blur width as the distance from the focus position increases, and the center position of the imaging is separated into left and right, and parallax is generated. One point image distribution function obtained by adding and synthesizing the two point image distribution functions coincides with the point image distribution function imaged on the pixel without parallax, and the peak position is separated into two by the virtual pupil. It is located in the middle of the point spread function of the optical image.
このボケの中にだけ視差が存在し、ボケ具合が大きくなるほど視差量が増大するという重要な事実に着目し本実施形態では、高解像な2D画像と3D画像を同時に取得するための色・視差配列について提案する。 Focusing on the important fact that there is parallax only in this blur and the amount of parallax increases as the degree of blur increases, in this embodiment, the color and color for acquiring a high-resolution 2D image and a 3D image at the same time A parallax array is proposed.
次に、カラーフィルタ102と視差画像について説明する。図6は、ベイヤー配列を説明する図である。図示するように、ベイヤー配列は、Gフィルタが左上(Gb)と右下(Gr)の2画素に、Rフィルタが左下の1画素に、Bフィルタが右上の1画素に割り当てられる配列である。 Next, the color filter 102 and the parallax image will be described. FIG. 6 is a diagram for explaining the Bayer arrangement. As shown in the figure, the Bayer array is an array in which the G filter is assigned to the upper left (Gb) and lower right (Gr) pixels, the R filter is assigned to the lower left pixel, and the B filter is assigned to the upper right pixel.
このようなカラーフィルタ102の配列に対して、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン110が設定され得る。視差なし画素の出力を集めれば、通常の撮影画像と同じく視差のない撮影画像データを生成することができる。したがって、相対的に視差なし画素の割合を増やせば、解像度の高い2D画像を出力させることができる。この場合、視差画素は相対的に少ない割合となるので、複数の視差画像からなる3D画像としては画質が低下する。逆に、視差画素の割合を増やせば、3D画像としては画質が向上するが、視差なし画素は相対的に減少するので、解像度の低い2D画像が出力される。RGBのいずれの画素に対しても視差画素を割り振れば、3D画像でありながら、色再現性の良い高品質のカラー画像データとなる。 With respect to such an arrangement of the color filters 102, an enormous number of repetitive patterns 110 can be set depending on what color pixels the parallax pixels and non-parallax pixels are allocated to. If the outputs of pixels without parallax are collected, photographic image data having no parallax can be generated in the same way as normal photographic images. Therefore, if the ratio of pixels without parallax is relatively increased, a 2D image with high resolution can be output. In this case, since the number of parallax pixels is relatively small, the image quality is degraded as a 3D image including a plurality of parallax images. Conversely, if the ratio of the parallax pixels is increased, the image quality is improved as a 3D image, but the non-parallax pixels are relatively reduced, so that a 2D image with low resolution is output. If parallax pixels are assigned to any pixel of RGB, high-quality color image data with good color reproducibility can be obtained while being a 3D image.
理想的には、2D画像であっても3D画像であっても、高解像度、高品質のカラー画像データが出力されることが望ましい。ところで、3D画像において観察者が視差を感じる画像領域は、図4、図17、図18を用いて説明した視差の発生原理からも理解されるように、同一の被写体像が互いにずれる非合焦領域である。したがって、観察者が視差を感じる画像領域は、ピントの合っている主要被写体に対して高周波成分が少ないと言える。すると、3D画像を生成するに当たっては、視差が生じている領域において、それほど高解像でない画像データが存在すれば足りることになる。 Ideally, it is desirable to output high-resolution and high-quality color image data for both 2D and 3D images. By the way, the image area in which the observer feels parallax in the 3D image is out-of-focus where the same subject images are shifted from each other as understood from the parallax generation principle described with reference to FIGS. 4, 17, and 18. It is an area. Therefore, it can be said that the image area where the observer feels parallax has less high-frequency components than the main subject in focus. Then, when generating a 3D image, it is sufficient that image data that is not so high resolution exists in a region where parallax occurs.
ピントの合っている画像領域については2D画像データから切り出し、ピントの合っていない画像領域については3D画像データを切り出して、それぞれの視差画像データを合成により生成することができる。あるいは、高解像データである2D画像データを基礎とし、3D画像データの各画素における相対的な比を掛け合わせて、高解像なそれぞれの視差画像データを生成することができる。このような画像処理を採用することを前提とすれば、撮像素子100においては、視差画素の数は、視差なし画素の数よりも少なくて良い。換言すれば、視差画素が相対的に少なくても、比較的解像度の高い3D画像を生成することができると言える。 The focused image area can be cut out from the 2D image data, and the out-of-focus image area can be cut out from the 3D image data, and the respective parallax image data can be generated by synthesis. Alternatively, the high-resolution parallax image data can be generated by multiplying the relative ratios of the pixels of the 3D image data based on the 2D image data that is high-resolution data. Assuming that such image processing is employed, in the image sensor 100, the number of parallax pixels may be smaller than the number of non-parallax pixels. In other words, it can be said that a relatively high-resolution 3D image can be generated even with relatively few parallax pixels.
この場合、3D画像をカラー画像として生成するには、互いに異なる少なくとも2種類のカラーフィルタが配列されれば良いが、本実施形態においては、図6を用いて説明したベイヤー配列のように、更なる高画質化のためにRGBの3種類のカラーフィルタを採用する。特に、視差画素の数が相対的に少ない本実施形態においては、視差画素は、それぞれの種類の開口部104に対して、RGBの3種類のカラーフィルタのいずれかが設けられたすべての組み合わせを含む。例えば、開口部104が中心よりも左側に偏心した視差Lt画素と、同じく右側に偏心した視差Rt画素を想定すると、視差Lt画素は、Rフィルタを備えた画素、Gフィルタを備えた画素、Bフィルタを備えた画素を含み、視差Rt画素は、Rフィルタを備えた画素、Gフィルタを備えた画素、Bフィルタを備えた画素を含む。すなわち撮像素子100は、6種類の視差画素を有する。このような撮像素子100から出力される画像データは、いわゆる立体視を実現する鮮やかなカラー視差画像データの基礎となる。なお、2種類の開口部に対して2種類のカラーフィルタを組み合わせる場合には、撮像素子100は、4種類の視差画素を有する。 In this case, in order to generate a 3D image as a color image, at least two types of color filters that are different from each other may be arranged, but in this embodiment, as in the Bayer arrangement described with reference to FIG. In order to achieve high image quality, three types of RGB color filters are employed. In particular, in the present embodiment where the number of parallax pixels is relatively small, the parallax pixels are all combinations in which any of the three types of RGB color filters is provided for each type of opening 104. Including. For example, assuming a parallax Lt pixel whose opening 104 is decentered to the left of the center and a parallax Rt pixel decentered to the right, the parallax Lt pixel is a pixel having an R filter, a pixel having a G filter, and B The parallax Rt pixel includes a pixel including a filter, a pixel including an R filter, a pixel including a G filter, and a pixel including a B filter. That is, the image sensor 100 has six types of parallax pixels. Such image data output from the image sensor 100 is the basis of vivid color parallax image data that realizes so-called stereoscopic vision. Note that when two types of color filters are combined with two types of openings, the image sensor 100 has four types of parallax pixels.
以下に画素配列のバリエーションについて説明する。図7は、第1実施例における繰り返しパターン110の配列を説明する図である。第1実施例における繰り返しパターン110は、4画素を基本単位とするベイヤー配列を、Y軸方向である縦方向に4つ、X軸方向である横方向に4つ含み、64画素から構成される。この繰り返しパターン110は、64画素から成る画素群を一組として、撮像素子100の有効画素領域を上下左右に周期的に配列されている。すなわち、撮像素子100は、図の太線で示す繰り返しパターン110を基本格子とする。なお、繰り返しパターン110内の画素をPIJで表す。例えば、左上画素はP11であり、右上画素はP81である。 Hereinafter, variations of the pixel arrangement will be described. FIG. 7 is a diagram for explaining the arrangement of the repeated patterns 110 in the first embodiment. The repetitive pattern 110 in the first embodiment is composed of 64 pixels, including four Bayer arrangements having 4 pixels as a basic unit in the vertical direction which is the Y axis direction and 4 in the horizontal direction which is the X axis direction. . In this repeating pattern 110, the effective pixel area of the image sensor 100 is periodically arranged vertically and horizontally with a group of 64 pixels as a set. In other words, the imaging device 100 uses a repetitive pattern 110 indicated by a thick line in the drawing as a basic lattice. Note that pixels in the repetitive pattern 110 are represented by PIJ . For example, the upper left pixel is P 11, the upper right pixel is P 81.
第1実施例における視差画素は、開口部104が中心よりも左側に偏心した視差Lt画素と、同じく右側に偏心した視差Rt画素の2種類の開口マスク103のいずれかを有する。図に示すように、視差画素は以下のように配列されている。 The parallax pixel in the first embodiment has either one of two types of aperture masks 103, that is, a parallax Lt pixel whose opening 104 is decentered to the left of the center and a parallax Rt pixel that is also decentered to the right. As shown in the figure, the parallax pixels are arranged as follows.
P11…視差Lt画素+Gフィルタ(=G(Lt))
P51…視差Rt画素+Gフィルタ(=G(Rt))
P32…視差Lt画素+Bフィルタ(=B(Lt))
P63…視差Rt画素+Rフィルタ(=R(Rt))
P15…視差Rt画素+Gフィルタ(=G(Rt))
P55…視差Lt画素+Gフィルタ(=G(Lt))
P76…視差Rt画素+Bフィルタ(=B(Rt))
P27…視差Lt画素+Rフィルタ(=R(Lt))
P 11 : Parallax Lt pixel + G filter (= G (Lt))
P 51 ... Parallax Rt pixel + G filter (= G (Rt))
P 32 ... Parallax Lt pixel + B filter (= B (Lt))
P 63 ... Parallax Rt pixel + R filter (= R (Rt))
P 15 ... Parallax Rt pixel + G filter (= G (Rt))
P 55 ... Parallax Lt pixel + G filter (= G (Lt))
P 76 ... Parallax Rt pixel + B filter (= B (Rt))
P 27 ... Parallax Lt pixel + R filter (= R (Lt))
他の画素は視差なし画素であり、視差無し画素+Rフィルタ(=R(N))、視差なし画素+Gフィルタ(=G(N))、視差無し画素+Bフィルタ(=B(N))のいずれかである。 The other pixels are non-parallax pixels, and any of non-parallax pixels + R filter (= R (N)), non-parallax pixels + G filter (= G (N)), non-parallax pixels + B filter (= B (N)) It is.
このように、基本格子の中に開口部とカラーフィルタのすべての組み合わせによる視差画素を含み、かつ視差画素よりも多い視差なし画素の中にランダム性を有して配置されている配列が好ましい。特に、各カラーフィルタ別にカウントした場合でも、視差なし画素の方が視差無し画素よりも多いことが好ましい。第1実施例の場合、G(N)=28個に対して、G(Lt)+G(Rt)=2+2=4個であり、R(N)=14個に対して、R(Lt)+R(Rt)=2個、B(N)=14個に対して、B(Lt)+B(Rt)=2個である。また、上記の通り、人間の視感特性を考慮して、Gフィルタを有する視差画素および視差なし画素は、他のカラーフィルタを有するそれぞれよりも多く配列されている。 As described above, an arrangement in which disparity pixels by all combinations of openings and color filters are included in the basic lattice, and is arranged with randomness among pixels without disparity more than the disparity pixels is preferable. In particular, even when counting is performed for each color filter, it is preferable that the number of pixels without parallax is larger than the number of pixels without parallax. In the first embodiment, G (Lt) + G (Rt) = 2 + 2 = 4 for G (N) = 28, and R (Lt) + R for R (N) = 14. For (Rt) = 2 and B (N) = 14, B (Lt) + B (Rt) = 2. In addition, as described above, in consideration of human visual characteristics, a larger number of parallax pixels having a G filter and non-parallax pixels are arranged than each having another color filter.
いいかえると、視差画素に対しても R、G、B全てのカラー情報を備えることにより、より高度で正確な立体用の色分布構造を捉えようとしている。 In other words, by providing all the R, G, and B color information for the parallax pixels, a more advanced and accurate three-dimensional color distribution structure is being captured.
そのRGB比率は、右視差画素についても、左視差画素についても視差なし画素についても全てBayer配列と同じR:G:B=1:2:1の構成をとる。更に視差なし画素が通常のBayer配列の空間分解能をできるだけ保つように視差画素を疎な密度でできるだけ相互に離して分布させる。すなわち、ある色成分の同じ右視差画素同士の間や同じ左視差画素同士の間では等間隔に等方性を保って並べると共に、ある色成分の右視差画素と左視差画素との間の距離も最も離れるように等間隔に並べる。そして色成分を無視した場合の右視差画素同士の間の距離や色成分を無視した場合の左視差画素同士の間の距離ができるだけ離れるように配置して、視差情報を均一に取得するようにする。 The RGB ratio of the right parallax pixel, the left parallax pixel, and the non-parallax pixel has the same R: G: B = 1: 2: 1 configuration as the Bayer array. Furthermore, the parallax pixels are distributed as far as possible from each other at a sparse density so that the pixels without parallax maintain the spatial resolution of the normal Bayer array as much as possible. In other words, between the same right parallax pixels of a certain color component or between the same left parallax pixels, they are arranged at equal intervals while maintaining isotropic, and the distance between the right parallax pixel and the left parallax pixel of a certain color component Are evenly spaced so that they are farthest away. The disparity information is uniformly acquired by arranging the distance between the right disparity pixels when the color component is ignored and the distance between the left disparity pixels when the color component is ignored as far as possible. To do.
なお、実施例1では視差なし画素と左視差画素と右視差画素の画素数比がN:Lt:Rt=14:1:1にあり、視差なし画素の空間解像度はBayer配列に極めて近い状態を保っている。更に、視差画素を互いに最も離れて配置したことにより、視差なし画素が隣接して同時に情報を失う心配がなくなり、ナイキスト周波数を含む高い周波数成分を解像する性能を保持する。 In the first embodiment, the pixel number ratio of the non-parallax pixel, the left parallax pixel, and the right parallax pixel is N: Lt: Rt = 14: 1: 1, and the spatial resolution of the non-parallax pixel is very close to the Bayer array. I keep it. Further, by disposing the parallax pixels farthest from each other, there is no fear that pixels without parallax are adjacent and lose information at the same time, and the performance of resolving high frequency components including the Nyquist frequency is maintained.
図8は、第1実施例における視差画素の画素間隔の関係を説明する図である。図においては、図7で示した繰り返しパターン110を9個(=3×3)並べて示す。 FIG. 8 is a diagram for explaining the relationship between the pixel intervals of the parallax pixels in the first embodiment. In the figure, nine repeating patterns 110 shown in FIG. 7 are arranged side by side (= 3 × 3).
図示する通り、G(Lt)画素のX方向における間隔もY方向における間隔も、GLtpで表される等間隔である。また、対となるG(Rt)画素についても、X方向における間隔もY方向における間隔も、GRtpで表される等間隔であり、かつ、GRtpはGLtpと等しい。更には、G(Lt)画素の位置からX、Yの一方向にだけGLtpの距離だけを進めたところにG(Rt)画素が存在する。 As shown, the interval in the even Y-direction spacing in the X direction G (Lt) pixel also have equal spacings represented by GLt p. As for the G (Rt) pixel forming a pair, the interval in the even Y-direction spacing in the X direction, are equally spaced represented by GRT p, and, GRT p is equal to GLt p. Furthermore, X, is G (Rt) pixels was advanced by a distance of only GLt p in one direction of the Y-existing position of the G (Lt) pixel.
同様に、R(Lt)画素のX方向における間隔もY方向における間隔も、RLtpで表される等間隔である。また、対となるR(Rt)画素についても、X方向における間隔もY方向における間隔も、RRtpで表される等間隔であり、かつ、RRtpはRLtpと等しい。更には、R(Lt)画素の位置からX、Yの両方向にRLtpの半分の距離だけ進めたところにR(Rt)画素が存在する。 Similarly, the interval in the X direction and the interval in the Y direction of R (Lt) pixels are equal intervals represented by RLt p . As for the R (Rt) pixel forming a pair, the interval in the even Y-direction spacing in the X direction, are equally spaced represented by RRT p, and, RRT p is equal to RLt p. Furthermore, there is R (Rt) pixel from the position of R (Lt) pixel X, where the advanced in both the Y only half the distance RLt p.
さらに、B(Lt)画素のX方向における間隔もY方向における間隔も、BLtpで表される等間隔である。また、対となるB(Rt)画素についても、X方向における間隔もY方向における間隔も、BRtpで表される等間隔であり、かつ、BRtpはBLtpと等しい。更には、B(Lt)画素の位置からX、Yの両方向にBLtpの半分の距離だけ進めたところにB(Rt)画素が存在する。 Further, the interval in the even Y-direction interval in B (Lt) X direction of the pixels also have equal spacings represented by BLt p. As for the B (Rt) pixel forming a pair, the interval in the even Y-direction spacing in the X direction, are equally spaced represented by BRt p, and, BRt p is equal to BLt p. Furthermore, X, is the B (Rt) pixel was promoted in both the Y only half the distance BLt p-existing position of B (Lt) pixel.
すなわち、カラーフィルタの種類ごとにみた場合、開口マスクの種類ごとに、他の開口マスクが対応付けられた視差画素および視差なし画素に挟まれて、2次元方向のいずれに対しても、等間隔で配置されている。換言すれば、2次元方向に、等方かつ均等に配置されている。このように視差画素が配置されることにより、視差画像の出力時に縦方向と横方向で解像感が異ならず、かつ、2D画像の解像感に対する悪影響も軽減できる。 That is, when viewed for each type of color filter, each aperture mask type is sandwiched between parallax pixels associated with other aperture masks and non-parallax pixels, and is equally spaced in both two-dimensional directions. Is arranged in. In other words, they are arranged isotropically and equally in the two-dimensional direction. By arranging the parallax pixels in this way, the resolution is not different between the vertical direction and the horizontal direction when the parallax image is output, and adverse effects on the resolution of the 2D image can be reduced.
こうして得られた色・視差画素配列の様子を図19にまとめるとともに、その実空間配列に対応する周波数空間における解像域すなわち分解能もk空間図として示す。波数kは周波数fとk=2πfの関係で結ばれる。実空間の格子間隔をaとすると、その逆格子空間を表わすのがk空間であり、解像域は逆格子空間の第1ブリルアンゾーンによって表わされる(たとえば、本出願人と同一発明者のUS2010/021853や日本特許第4239483号を参照)。 The state of the color / parallax pixel array thus obtained is summarized in FIG. 19, and the resolution area in the frequency space corresponding to the real space array, that is, the resolution is also shown as a k-space diagram. The wave number k is connected to the frequency f in a relationship of k = 2πf. When the lattice spacing of the real space is a, the reciprocal lattice space is represented by k space, and the resolution area is represented by the first Brillouin zone of the reciprocal lattice space (for example, US2010 of the same inventor as the present inventor). / 021853 and Japanese Patent No. 4,239,483).
図19を見ると撮像段階における疎な左視差画素と疎な右視差画素の解像力は密な視差なし画素に比べて低い。その分、密な視差なし画素はBayer配列に匹敵するような解像力を持っている。 Referring to FIG. 19, the resolving power of the sparse left parallax pixel and the sparse right parallax pixel in the imaging stage is lower than that of the dense non-parallax pixel. Accordingly, dense non-parallax pixels have a resolution comparable to the Bayer array.
したがって、後述するように一旦視差なし画素を補間して、2Dカラー画像R(N)、G(N)、B(N)を生成し、更に予め、疎な左視差画像R(Lt)、G(Lt)、B(Lt)と疎な右視差画像R(Rt)、G(Rt)、B(Rt)を生成しておく。そうして、これから視差なし画像を中間的に利用して、最終的に密な左視差画像R'(Lt)、G'(Lt)、B'(Lt)と密な右視差画像R'(Rt)、G'(Rt)、B'(Rt)を以下のように疎な視差画像で視差変調を加えることによって得ることができる。 Therefore, as will be described later, the non-parallax pixels are temporarily interpolated to generate 2D color images R (N), G (N), and B (N), and the sparse left parallax image R (Lt), G (Lt) and B (Lt) and sparse right parallax images R (Rt), G (Rt), and B (Rt) are generated. Then, from now on, an image without parallax is used in the middle, and finally a dense left parallax image R ′ (Lt), G ′ (Lt), B ′ (Lt) and a dense right parallax image R ′ ( Rt), G ′ (Rt), and B ′ (Rt) can be obtained by applying parallax modulation with a sparse parallax image as follows.
こうして、視差なし画素の高周波成分が新たに生成する視差あり画像に重畳されて、視差あり画像、すなわち3D画像も2D画像と同じ高解像な画像を得ることができる。いいかえると、合焦域近辺のわずかにピントがはずれて視差が少しだけ発生しているような画像領域では、視差なし画像の高解像な画像をゆるやかに変化する視差画像の状態を参照しながら左方向や右方向に少しだけずらす変位処理が視差変調によって行われる。 In this way, a high-frequency component of a pixel without parallax is superimposed on a newly generated image with parallax, and an image with parallax, that is, a 3D image can be obtained as a high-resolution image as the 2D image. In other words, in an image area where the focus is slightly out of focus and a slight amount of parallax occurs, while referring to the parallax image state that changes slowly the high resolution image of the image without parallax Displacement processing that is shifted slightly to the left or right is performed by parallax modulation.
また、非合焦域の大きくボケた領域の被写体像は視差なし画像の解像力を最大限に保持しながら、ゆるやかに変化する視差あり画像の横方向の空間分解能を最大限に活用して大規模に横ずらしが行われる。 In addition, the subject image in the out-of-focus area that is largely out of focus retains the resolution of a non-parallax image at the maximum while taking full advantage of the lateral resolution of the slowly changing parallax image. A horizontal shift is performed.
いいかえると、視差変調効果を最大限に発揮させるには視差あり画像が持つ空間分解能が水平方向に高いことが画素配列の条件として挙げられる。最初に6視差の例で示したように、左右の視差画素を水平方向に並べて水平解像を落としてしまうような構成はこのような観点からは望ましくなく、水平方向に高い分解能を持った視差画素配列が求められる。このような条件を満たすように配置したのが等方的な視差画素配列であり、図19のk空間図で等方的な解像を示している。以下、他に挙げる疎な視差画素配列の例は全て等方的な視差画素配列構造を持ち、k空間図と共に示していくことにする。 In other words, in order to maximize the parallax modulation effect, the spatial resolution of an image with parallax is high in the horizontal direction as a condition of the pixel arrangement. As shown in the example of 6 parallaxes, a configuration in which the left and right parallax pixels are arranged in the horizontal direction to reduce the horizontal resolution is not desirable from this point of view, and the parallax having high resolution in the horizontal direction. A pixel array is required. It is an isotropic parallax pixel array arranged so as to satisfy such conditions, and isotropic resolution is shown in the k-space diagram of FIG. Hereinafter, all other examples of the sparse parallax pixel arrangement have isotropic parallax pixel arrangement structures, which are shown together with the k-space diagram.
図9は、第2実施例における繰り返しパターン110の配列を説明する図である。第2実施例における繰り返しパターン110は、第1実施例と同様に、4画素を基本単位とするベイヤー配列を、Y軸方向である縦方向に4つ、X軸方向である横方向に4つ含み、64画素から構成される。この繰り返しパターン110は、64画素から成る画素群を一組として、撮像素子100の有効画素領域を上下左右に周期的に配列されている。すなわち、撮像素子100は、図の太線で示す繰り返しパターン110を基本格子とする。 FIG. 9 is a diagram for explaining the arrangement of the repeated patterns 110 in the second embodiment. Similar to the first embodiment, the repeated pattern 110 in the second embodiment has four Bayer arrangements having four pixels as a basic unit in the vertical direction that is the Y-axis direction and four in the horizontal direction that is the X-axis direction. Including 64 pixels. In this repeating pattern 110, the effective pixel area of the image sensor 100 is periodically arranged vertically and horizontally with a group of 64 pixels as a set. In other words, the imaging device 100 uses a repetitive pattern 110 indicated by a thick line in the drawing as a basic lattice.
第2実施例における視差画素は、開口部104が中心よりも左側に偏心した視差Lt画素と、同じく右側に偏心した視差Rt画素の2種類の開口マスク103のいずれかを有する。図に示すように、視差画素は以下のように配列されている。 The parallax pixel in the second embodiment has either one of two types of opening masks 103, that is, a parallax Lt pixel whose opening 104 is decentered to the left of the center and a parallax Rt pixel that is also decentered to the right. As shown in the figure, the parallax pixels are arranged as follows.
P11…視差Lt画素+Gフィルタ(=G(Lt))
P51…視差Rt画素+Gフィルタ(=G(Rt))
P32…視差Lt画素+Bフィルタ(=B(Lt))
P72…視差Rt画素+Bフィルタ(=B(Rt))
P23…視差Rt画素+Rフィルタ(=R(Rt))
P63…視差Lt画素+Rフィルタ(=R(Lt))
P15…視差Rt画素+Gフィルタ(=G(Rt))
P55…視差Lt画素+Gフィルタ(=G(Lt))
P36…視差Rt画素+Bフィルタ(=B(Rt))
P76…視差Lt画素+Bフィルタ(=B(Lt))
P27…視差Lt画素+Rフィルタ(=R(Lt))
P67…視差Rt画素+Rフィルタ(=R(Rt))
P 11 : Parallax Lt pixel + G filter (= G (Lt))
P 51 ... Parallax Rt pixel + G filter (= G (Rt))
P 32 ... Parallax Lt pixel + B filter (= B (Lt))
P 72 ... Parallax Rt pixel + B filter (= B (Rt))
P 23 ... Parallax Rt pixel + R filter (= R (Rt))
P 63 ... Parallax Lt pixel + R filter (= R (Lt))
P 15 ... Parallax Rt pixel + G filter (= G (Rt))
P 55 ... Parallax Lt pixel + G filter (= G (Lt))
P 36 ... Parallax Rt pixel + B filter (= B (Rt))
P 76 ... Parallax Lt pixel + B filter (= B (Lt))
P 27 ... Parallax Lt pixel + R filter (= R (Lt))
P 67 ... Parallax Rt pixel + R filter (= R (Rt))
他の画素は視差なし画素であり、視差無し画素+Rフィルタ(=R(N))、視差なし画素+Gフィルタ(=G(N))、視差無し画素+Bフィルタ(=B(N))のいずれかである。 The other pixels are non-parallax pixels, and any of non-parallax pixels + R filter (= R (N)), non-parallax pixels + G filter (= G (N)), non-parallax pixels + B filter (= B (N)) It is.
このように、基本格子の中に開口部とカラーフィルタのすべての組み合わせによる視差画素を含み、かつ視差画素よりも多い視差なし画素の中にランダム性を有して配置されている配列が好ましい。特に、各カラーフィルタ別にカウントした場合でも、視差なし画素の方が視差無し画素よりも多いことが好ましい。第2実施例の場合、G(N)=28個に対して、G(Lt)+G(Rt)=2+2=4個であり、R(N)=12個に対して、R(Lt)+R(Rt)=4個、B(N)=12個に対して、B(Lt)+B(Rt)=4個である。 As described above, an arrangement in which disparity pixels by all combinations of openings and color filters are included in the basic lattice, and is arranged with randomness among pixels without disparity more than the disparity pixels is preferable. In particular, even when counting is performed for each color filter, it is preferable that the number of pixels without parallax is larger than the number of pixels without parallax. In the second embodiment, G (Lt) + G (Rt) = 2 + 2 = 4 for G (N) = 28, and R (Lt) + R for R (N) = 12. For (Rt) = 4 and B (N) = 12, B (Lt) + B (Rt) = 4.
この配列は、第1実施例で視差画素配列のRGB比を1:2:1としていたところをRとBの視差画素をGと同じまで増加してR:G:B=1:1:1とした配列である。その分視差なし画素の空間分解能が落ちる。実空間図とk空間図を図20に示す。 In this arrangement, the RGB ratio of the parallax pixel arrangement in the first embodiment is 1: 2: 1, and the R and B parallax pixels are increased to the same as G, and R: G: B = 1: 1: 1. It is an array. Accordingly, the spatial resolution of pixels without parallax is reduced. A real space diagram and a k-space diagram are shown in FIG.
図10は、第3実施例における繰り返しパターン110の配列を説明する図である。第3実施例における繰り返しパターン110は、第1実施例、第2実施例と同様に、4画素を基本単位とするベイヤー配列を、Y軸方向である縦方向に4つ、X軸方向である横方向に4つ含み、64画素から構成される。この繰り返しパターン110は、64画素から成る画素群を一組として、撮像素子100の有効画素領域を上下左右に周期的に配列されている。すなわち、撮像素子100は、図の太線で示す繰り返しパターン110を基本格子とする。 FIG. 10 is a diagram for explaining the arrangement of the repeated patterns 110 in the third embodiment. Similar to the first and second embodiments, the repetitive pattern 110 in the third embodiment has four Bayer arrangements having four pixels as a basic unit in the vertical direction, which is the Y-axis direction, and in the X-axis direction. It includes 4 pixels in the horizontal direction and is composed of 64 pixels. In this repeating pattern 110, the effective pixel area of the image sensor 100 is periodically arranged vertically and horizontally with a group of 64 pixels as a set. In other words, the imaging device 100 uses a repetitive pattern 110 indicated by a thick line in the drawing as a basic lattice.
第3実施例における視差画素は、開口部104が中心よりも左側に偏心した視差Lt画素と、同じく右側に偏心した視差Rt画素の2種類の開口マスク103のいずれかを有する。図に示すように、視差画素は以下のように配列されている。 The parallax pixel in the third embodiment has one of two types of aperture masks 103, namely, a parallax Lt pixel whose opening 104 is decentered to the left of the center and a parallax Rt pixel that is also decentered to the right. As shown in the figure, the parallax pixels are arranged as follows.
P11…視差Lt画素+Gフィルタ(=G(Lt))
P32…視差Lt画素+Bフィルタ(=B(Lt))
P63…視差Rt画素+Rフィルタ(=R(Rt))
P55…視差Rt画素+Gフィルタ(=G(Rt))
P76…視差Rt画素+Bフィルタ(=B(Rt))
P27…視差Lt画素+Rフィルタ(=R(Lt))
P 11 : Parallax Lt pixel + G filter (= G (Lt))
P 32 ... Parallax Lt pixel + B filter (= B (Lt))
P 63 ... Parallax Rt pixel + R filter (= R (Rt))
P 55 ... Parallax Rt pixel + G filter (= G (Rt))
P 76 ... Parallax Rt pixel + B filter (= B (Rt))
P 27 ... Parallax Lt pixel + R filter (= R (Lt))
他の画素は視差なし画素であり、視差無し画素+Rフィルタ(=R(N))、視差なし画素+Gフィルタ(=G(N))、視差無し画素+Bフィルタ(=B(N))のいずれかである。 The other pixels are non-parallax pixels, and any of non-parallax pixels + R filter (= R (N)), non-parallax pixels + G filter (= G (N)), non-parallax pixels + B filter (= B (N)) It is.
このように、基本格子の中に開口部とカラーフィルタのすべての組み合わせによる視差画素を含み、かつ視差画素よりも多い視差なし画素の中にランダム性を有して配置されている配列が好ましい。特に、各カラーフィルタ別にカウントした場合でも、視差なし画素の方が視差無し画素よりも多いことが好ましい。第3実施例の場合、G(N)=30個に対して、G(Lt)+G(Rt)=2個であり、R(N)=14個に対して、R(Lt)+R(Rt)=2個、B(N)=14個に対して、B(Lt)+B(Rt)=2個である。 As described above, an arrangement in which disparity pixels by all combinations of openings and color filters are included in the basic lattice, and is arranged with randomness among pixels without disparity more than the disparity pixels is preferable. In particular, even when counting is performed for each color filter, it is preferable that the number of pixels without parallax is larger than the number of pixels without parallax. In the case of the third embodiment, G (Lt) + G (Rt) = 2 for G (N) = 30, and R (Lt) + R (Rt for R (N) = 14. ) = 2 and B (N) = 14, B (Lt) + B (Rt) = 2.
この配列は、第1実施例で視差画素配列のRGB比を1:2:1としていたところをGの視差画素をRとBと同じまで減らしてR:G:B=1:1:1とした配列である。その分視差なし画素の空間分解能が上がる。実空間図とk空間図を図21に示す。 In this arrangement, the RGB ratio of the parallax pixel arrangement in the first embodiment is 1: 2: 1, but the G parallax pixels are reduced to the same as R and B, and R: G: B = 1: 1: 1. It is an array. Accordingly, the spatial resolution of pixels without parallax is increased. A real space diagram and a k-space diagram are shown in FIG.
第3実施例の場合、視差画素は、開口マスクの種類ごとに2次元方向の行方向(X方向)および列方向(Y方向)のいずれに対してもずれて配置されている。すなわち、行方向においては、視差Lt画素は、1、2、7行目に配置されており、視差Rt画素は、3、5、6行目に配置されている。また、列方向においては、視差Lt画素は、1、2、3列目に配置されており、視差Rt画素は、5、6、7列目に配置されている。このように、カラーフィルタの種類別を考慮せずとも、開口マスクの種類ごとに2次元方向のいずれに対しても等間隔で配置されていれば、画素配列のランダム性がより向上し、高品質な視差画像を出力することができる。すなわち、視差情報を等方的に捉える。これは第1実施例で述べた配置の原則をそのまま踏襲して当てはめたものである。 In the case of the third embodiment, the parallax pixels are arranged so as to be shifted with respect to both the row direction (X direction) and the column direction (Y direction) in the two-dimensional direction for each type of opening mask. That is, in the row direction, the parallax Lt pixels are arranged in the first, second, and seventh rows, and the parallax Rt pixels are arranged in the third, fifth, and sixth rows. In the column direction, the parallax Lt pixels are arranged in the first, second, and third columns, and the parallax Rt pixels are arranged in the fifth, sixth, and seventh columns. In this way, even if the type of color filter is not considered, if the aperture masks are arranged at equal intervals in any of the two-dimensional directions, the randomness of the pixel arrangement is further improved, and high A quality parallax image can be output. That is, the parallax information is captured isotropically. This applies the principle of arrangement described in the first embodiment as it is.
図11は、第4実施例における繰り返しパターン110の配列を説明する図である。第4実施例における繰り返しパターン110は、4画素を基本単位とするベイヤー配列を、Y軸方向である縦方向に2つ、X軸方向である横方向に2つ組み合わせた上で、左上および右下のベイヤー配列におけるGb画素のGフィルタを、可視光波長帯域のいずれも通過させるWフィルタに置き換えた、16画素から構成される。この繰り返しパターン110は、16画素から成る画素群を一組として、撮像素子100の有効画素領域を上下左右に周期的に配列されている。すなわち、撮像素子100は、図の太線で示す繰り返しパターン110を基本格子とする。 FIG. 11 is a diagram for explaining the arrangement of the repeated patterns 110 in the fourth embodiment. The repetitive pattern 110 in the fourth embodiment is a combination of two Bayer arrays having four pixels as a basic unit in the vertical direction that is the Y-axis direction and two in the horizontal direction that is the X-axis direction. It is composed of 16 pixels in which the G filter of the Gb pixel in the lower Bayer array is replaced with a W filter that allows passage of any visible light wavelength band. The repetitive pattern 110 includes a group of 16 pixels as a set, and the effective pixel area of the image sensor 100 is periodically arranged vertically and horizontally. In other words, the imaging device 100 uses a repetitive pattern 110 indicated by a thick line in the drawing as a basic lattice.
第4実施例における視差画素は、開口部104が中心よりも左側に偏心した視差Lt画素をWフィルタが対応付けられたP11に、同じく右側に偏心した視差Rt画素のをWフィルタが対応付けられたP33に有する。 Parallax pixel in the fourth embodiment, the P 11 of the parallax Lt pixel W filter is associated with an opening 104 is eccentric to the left of the center, also correlated W filter parallax Rt pixel of which is eccentric to the right having to P 33 that is.
他の画素は視差なし画素であり、視差無し画素+Rフィルタ(=R(N))、視差なし画素+Gフィルタ(=G(N))、視差無し画素+Bフィルタ(=B(N))のいずれかである。 The other pixels are non-parallax pixels, and any of non-parallax pixels + R filter (= R (N)), non-parallax pixels + G filter (= G (N)), non-parallax pixels + B filter (= B (N)) It is.
このような配列であっても、開口マスクの種類ごとに、他の開口マスクが対応付けられた視差画素および視差なし画素に挟まれて、2次元方向のいずれに対しても、等間隔で配置されている。また、視差画素は、開口マスクの種類ごとに2次元方向の行方向(X方向)および列方向(Y方向)のいずれに対してもずれて配置されている。 Even in such an arrangement, each type of aperture mask is sandwiched between parallax pixels associated with other aperture masks and non-parallax pixels, and arranged at equal intervals in both two-dimensional directions. Has been. In addition, the parallax pixels are arranged so as to be shifted with respect to both the row direction (X direction) and the column direction (Y direction) in the two-dimensional direction for each type of aperture mask.
この配列の実空間図とk空間図を図22に示す。 A real space diagram and a k-space diagram of this arrangement are shown in FIG.
第4実施例における撮像素子100からは、視差画像データとして輝度情報を取得することができる。すなわち、画像データとしてモノクロの3D画像を出力させることができる他、被写体の距離を算出するための距離画像としても利用できる。また、高解像データである2D画像データを基礎として、輝度情報としての3D画像データの各画素における相対的な比を掛け合わせれば、高解像度のカラー視差画像データを生成することもできる。 Luminance information can be acquired as parallax image data from the image sensor 100 in the fourth embodiment. That is, a monochrome 3D image can be output as image data, and can also be used as a distance image for calculating the distance of a subject. Moreover, high-resolution color parallax image data can also be generated by multiplying the relative ratio of each pixel of 3D image data as luminance information based on 2D image data that is high-resolution data.
これまで第1〜第4実施例で述べてきたのは「疎な視差画素」と「等方的な視差画素」の配置の両方の原則を守りながら構成した例である。この原則に基づいてその他に考えられうる色・視差画素の配列構成を以下の図に示す。図23、図24、図25はカラーフィルタはBayer配列の構造をとり、視差画素としてG画素のみを採用した場合の構成であり、それぞれ視差画素の密度を少しずつ変えたものである、図26、図27、図28はモノクロのセンサーに対して、上記原則に基づいて構成した視差画素配列である。何れの図もk空間図で視差画素の周波数解像域は等方的で、かつ視差なし画素の解像域を広大に保ったままで、視差画素の情報もボケ領域に視差が発生するという観点から適切な範囲の分解能を備えている。 What has been described so far in the first to fourth embodiments is an example in which the principle of both the arrangement of “sparse parallax pixels” and “isotropic parallax pixels” is observed. Other possible arrangements of colors and parallax pixels based on this principle are shown in the following figure. 23, 24, and 25 are configurations in which the color filter has a Bayer array structure and only G pixels are used as the parallax pixels, and the density of the parallax pixels is changed little by little. 27 and 28 are parallax pixel arrays configured based on the above principle for a monochrome sensor. The viewpoint that the frequency resolution area of the parallax pixel is isotropic and the resolution area of the non-parallax pixel is kept wide, and the parallax pixel information also generates parallax in the blurred area in any figure. To have an appropriate range of resolution.
同様にして補色系の配列の例の場合を図29、図30、図31、図32に示す。なお、Cはシアン、Mはマゼンダ、Yはイエロー、Wはホワイトを意味する。 Similarly, FIGS. 29, 30, 31, and 32 show examples of complementary color arrangements. Note that C means cyan, M means magenta, Y means yellow, and W means white.
上述のように原色系、モノクロ系、補色系の場合の各視差画素配列について示してきたが、カラー配列の中でも特に優れる配列は実施例1にし示したものである。それは基本がBayer配列にあり、視差なし画素も視差あり画素もRGB比がR:G:B=1:2:1という視感度に近い分解能比を視差なし画素が通常のBayer配列とほぼ同じ性能を保って実現するからである。 As described above, the parallax pixel arrangement in the case of the primary color system, the monochrome system, and the complementary color system has been shown, but an arrangement that is particularly excellent among the color arrangements is that shown in the first embodiment. It is basically in the Bayer array, and the non-parallax pixel and the parallax pixel have a resolution ratio close to the visual sensitivity of RGB ratio R: G: B = 1: 2: 1. The non-parallax pixel has almost the same performance as the normal Bayer array. It is because it is realized while keeping.
次に、第5実施例として、第1実施例の視差画素の密度をR、G、B成分ともに2倍に増やした場合の例を示す。第2実施例では、第1実施例のRとB成分のみの視差画素のみを増やしたが、本実施形態ではG成分も増やし、視差なし画素間の色分配比R(N):G(N):B(N)=1:2:1も左視差画素間の色分配比R(Lt):G(Lt):B(Lt)=1:2:1も右視差画素間の色分配比R(Rt):G(Rt):B(Rt)=1:2:1も全てがBayer配列と同じ色分配比を保って、視差なし画素(N)と左視差画素(Lt)と右視差画素(Rt)の分配比率N:Lt:Rt=14:1:1からN:Lt:Rt=6:1:1に増やす。 Next, as a fifth example, an example in which the density of the parallax pixels of the first example is doubled for all of the R, G, and B components will be described. In the second embodiment, only the R and B component parallax pixels of the first embodiment are increased. However, in this embodiment, the G component is also increased, and the color distribution ratio R (N): G (N ): B (N) = 1: 2: 1 as well as the color distribution ratio R (Lt): G (Lt): B (Lt) = 1: 2: 1 between the right parallax pixels R (Rt): G (Rt): B (Rt) = 1: 2: 1 all maintain the same color distribution ratio as the Bayer array, and the non-parallax pixel (N), the left parallax pixel (Lt), and the right parallax The distribution ratio of pixels (Rt) is increased from N: Lt: Rt = 14: 1: 1 to N: Lt: Rt = 6: 1: 1.
図34にその配列図を示す。合わせてそのk空間図も示す。ただし、k空間図の視差なし画素の解像範囲は、視差画素が疎であるため、解像範囲がBayer配列と比べて落ちなかったと仮定したものである。G(Lt)とG(Rt)の解像範囲はおよその見積もりで記載している。 FIG. 34 shows the arrangement. The k-space diagram is also shown. However, the resolution range of the non-parallax pixels in the k-space diagram is based on the assumption that the resolution range does not drop compared to the Bayer array because the parallax pixels are sparse. The resolution range of G (Lt) and G (Rt) is described in an approximate estimate.
配列の並びについて説明を加えておくと、8×8の基本格子内の様子を見ると、全ての行で左視差画素と右視差画素が1つ1つ存在している。また、全ての列でも左視差画素と右視差画素が1つ1つ存在している。その距離は等間隔に、異なる視差画素同士の距離が最も離れるように配置されている。また、色を無視して左視差画素同士を直線で結ぶと、水平から約30度傾いた左斜め線が結ばれつつ、それと直交する方向にも右斜め線が結ばれる。これは右視差画素同士の間でも同様である。したがって、疎な視差画素が等方的に配置されている。 To explain the arrangement of the arrays, when looking at the state in the 8 × 8 basic lattice, there is one left parallax pixel and one right parallax pixel in every row. In all the columns, there are a left parallax pixel and a right parallax pixel one by one. The distances are arranged at equal intervals so that the distances between different parallax pixels are the longest. Further, when the left parallax pixels are connected with a straight line ignoring the color, a left diagonal line inclined by about 30 degrees from the horizontal is connected, and a right diagonal line is also connected in a direction orthogonal thereto. The same applies to the right parallax pixels. Therefore, sparse parallax pixels are arranged isotropically.
この配列は、2D解像と3D解像の空間解像バランスが非常によいという性能をもつ特徴がある。すなわち、視差なし画素が密な配列で2D画質を保ちつつ、視差画素が各々の行と列で捉えられるほどの密度で立体画像を生成できるということになる。ゆえに、第1実施例と第5実施例は、Bayer配列の色分配比率の概念を踏襲しながら、単眼瞳分割立体撮像に適した形で、発展させた視差画素配列ということができる。 This arrangement is characterized by the performance that the spatial resolution balance between 2D resolution and 3D resolution is very good. That is, it is possible to generate a stereoscopic image at a density that allows the parallax pixels to be captured in each row and column while maintaining the 2D image quality in a dense array of non-parallax pixels. Therefore, the first and fifth embodiments can be called parallax pixel arrays developed in a form suitable for monocular pupil division stereoscopic imaging while following the concept of the color distribution ratio of the Bayer array.
次に、2D画像データと複数の視差画像データを生成する画像処理の概念について説明する。繰り返しパターン110における視差画素および視差なし画素の配列からもわかるように、撮像素子100の出力をその画素配列に一致させてそのまま羅列しても、特定の像を表す画像データにはならない。撮像素子100の画素出力を、同一に特徴付けられた画素グループごとに分離して寄せ集めてはじめて、その特徴に即した一つの像を表す画像データが形成される。例えば、既に図5を用いて説明したように、視差画素の出力をその開口部の種類ごとに寄せ集めると、互いに視差を有する複数の視差画像データが得られる。このように、同一に特徴付けられた画素グループごとに分離して寄せ集められたそれぞれの画像データを、プレーンデータと呼ぶ。 Next, the concept of image processing for generating 2D image data and a plurality of parallax image data will be described. As can be seen from the arrangement of parallax pixels and non-parallax pixels in the repetitive pattern 110, image data representing a specific image is not obtained even if the output of the image sensor 100 is aligned with the pixel arrangement. Only when the pixel outputs of the image sensor 100 are separated and collected for each pixel group characterized in the same manner, image data representing one image in accordance with the characteristics is formed. For example, as already described with reference to FIG. 5, when the outputs of the parallax pixels are collected for each type of opening, a plurality of parallax image data having parallax can be obtained. In this way, each piece of image data separated and collected for each identically characterized pixel group is referred to as plane data.
画像処理部205は、撮像素子100の画素配列順にその出力値が羅列されたRAW元画像データを受け取り、複数のプレーンデータに分離するプレーン分離処理を実行する。以下に各プレーンデータの生成処理について、図7を用いて説明した第1実施例の撮像素子100からの出力を例に説明する。 The image processing unit 205 receives raw raw image data whose output values are arranged in the pixel arrangement order of the image sensor 100, and executes plane separation processing for separating the raw image data into a plurality of plane data. Hereinafter, the generation processing of each plane data will be described by taking the output from the image sensor 100 of the first embodiment described with reference to FIG. 7 as an example.
図12は、2D画像データとしての2D−RGBプレーンデータの生成処理の例を説明する図である。上段の図は、撮像素子100における一つの繰り返しパターン110およびその周囲の出力を、その画素配列に一致させてそのまま羅列した様子を示す。図においては、図7の例に則して画素の種類が理解されるように記載するが、実際には各画素に対応した出力値が並ぶ。 FIG. 12 is a diagram illustrating an example of processing for generating 2D-RGB plane data as 2D image data. The upper diagram shows a state in which one repetitive pattern 110 and its surrounding output in the image sensor 100 are arranged as they are in accordance with the pixel arrangement. In the figure, description is made so that the types of pixels can be understood in accordance with the example of FIG. 7, but actually output values corresponding to the respective pixels are arranged.
2D−RGBプレーンデータを生成するにあたり、画像処理部205は、まず視差画素の画素値を除去して、空格子とする。そして、空格子となった画素値を、同種のカラーフィルタを有する周辺画素の画素値を用いて補間処理により算出する。例えば、空格子P11の画素値は、斜め方向に隣接するGフィルタ画素の画素値である、P−1−1、P2−1、P−12、P22の画素値を平均化演算して算出する。また、例えば空格子P63の画素値は、上下左右に1画素飛ばして隣接するRフィルタの画素値である、P43、P43、P83、P65の画素値を平均化演算して算出する。同様に、例えば空格子P76の画素値は、上下左右に1画素飛ばして隣接するBフィルタの画素値である、P74、P56、P96、P78の画素値を平均化演算して算出する。 In generating the 2D-RGB plane data, the image processing unit 205 first removes the pixel values of the parallax pixels to form an empty grid. Then, the pixel value that has become an empty grid is calculated by interpolation processing using the pixel values of peripheral pixels having the same type of color filter. For example, the pixel values of the vacancy P 11 is the pixel value of the G filter pixels adjacent in an oblique direction, P -1-1, P 2-1, P -12, averages calculates the pixel values of P 22 To calculate. Further, for example, the pixel value of the empty grid P 63 is calculated by averaging the pixel values of P 43 , P 43 , P 83 , and P 65 that are adjacent R filter pixel values by skipping one pixel vertically and horizontally. To do. Similarly, for example, the pixel value of the empty lattice P 76 is obtained by averaging the pixel values of P 74 , P 56 , P 96 , and P 78 which are the pixel values of the adjacent B filter by skipping one pixel vertically and horizontally. calculate.
このように補間された2D−RGBプレーンデータは、ベイヤー配列を有する通常の撮像素子の出力と同様であるので、その後は2D画像データとして各種処理を行うことができる。すなわち、公知のベイヤー補間を行って、各画素にRGBデータの揃ったカラー画像データを生成する。画像処理部205は、静止画データを生成する場合にはJPEG等、動画データを生成する場合にはMPEG等の、予め定められたフォーマットに従って画像処理を行う。 Since the 2D-RGB plane data interpolated in this way is the same as the output of a normal imaging device having a Bayer array, various processes can be performed as 2D image data thereafter. That is, known Bayer interpolation is performed to generate color image data in which RGB data is aligned for each pixel. The image processing unit 205 performs image processing according to a predetermined format such as JPEG when generating still image data and MPEG when generating moving image data.
図13は、視差画像データとしての2つのGプレーンデータの生成処理の例を説明する図である。すなわち、左視差画像データとしてのGLtプレーンデータと右視差画像データとしてのGRtプレーンデータである。 FIG. 13 is a diagram illustrating an example of processing for generating two G plane data as parallax image data. That is, GLt plane data as left parallax image data and GRt plane data as right parallax image data.
GLtプレーンデータを生成するにあたり、画像処理部205は、撮像素子100の全出力値からG(Lt)画素の画素値以外の画素値を除去して空格子とする。すると、繰り返しパターン110には、P11とP55の2つの画素値が残る。そこで、繰り返しパターン110を縦横に4等分し、左上の16画素分をP11の出力値で代表させ、右下の16画素分をP55の出力値で代表させる。そして、右上の16画素分および左下の16画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、GLtプレーンデータは、16画素単位で一つの値を有する。 In generating the GLt plane data, the image processing unit 205 removes pixel values other than the pixel values of the G (Lt) pixels from all output values of the image sensor 100 to form a vacant lattice. Then, two pixel values P 11 and P 55 remain in the repeated pattern 110. Accordingly, the repeating pattern 110 4 equal parts horizontally and vertically, the 16 pixels of the top left is represented by an output value of the P 11, it is representative of the 16 pixels in the lower right in the output value of the P 55. Then, for the upper right 16 pixels and the lower left 16 pixels, average values of neighboring representative values adjacent in the vertical and horizontal directions are averaged and interpolated. That is, the GLt plane data has one value in units of 16 pixels.
同様に、GRtプレーンデータを生成するにあたり、画像処理部205は、撮像素子100の全出力値からG(Rt)画素の画素値以外の画素値を除去して空格子とする。すると、繰り返しパターン110には、P51とP15の2つの画素値が残る。そこで、繰り返しパターン110を縦横に4等分し、右上の16画素分をP51の出力値で代表させ、左下の16画素分をP15の出力値で代表させる。そして、左上の16画素分および右下の16画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、GRtプレーンデータは、16画素単位で一つの値を有する。 Similarly, when generating the GRt plane data, the image processing unit 205 removes pixel values other than the pixel value of the G (Rt) pixel from all the output values of the image sensor 100 to obtain an empty grid. Then, two pixel values P 51 and P 15 remain in the repeated pattern 110. Accordingly, the repeating pattern 110 4 equal parts horizontally and vertically, the 16 pixels in the upper right is represented by the output value of the P 51, to the 16 pixels in the lower left is represented by an output value of the P 15. The upper left 16 pixels and the lower right 16 pixels are interpolated by averaging the peripheral representative values adjacent vertically and horizontally. That is, the GRt plane data has one value in units of 16 pixels.
このようにして、2D−RGBプレーンデータよりは解像度の低いGLtプレーンデータとGRtプレーンデータを生成することができる。 In this way, it is possible to generate GLt plane data and GRt plane data having a resolution lower than that of 2D-RGB plane data.
図14は、視差画像データとしての2つのBプレーンデータの生成処理の例を説明する図である。すなわち、左視差画像データとしてのBLtプレーンデータと右視差画像データとしてのBRtプレーンデータである。 FIG. 14 is a diagram illustrating an example of processing for generating two B plane data as parallax image data. That is, BLt plane data as left parallax image data and BRt plane data as right parallax image data.
BLtプレーンデータを生成するにあたり、画像処理部205は、撮像素子100の全出力値からB(Lt)画素の画素値以外の画素値を除去して空格子とする。すると、繰り返しパターン110には、P32の画素値が残る。この画素値を繰り返しパターン110の64画素分の代表値とする。 In generating the BLt plane data, the image processing unit 205 removes pixel values other than the pixel values of the B (Lt) pixels from all output values of the image sensor 100 to form a vacant lattice. Then, the repeating pattern 110, the pixel values of P 32 remains. This pixel value is set as a representative value for 64 pixels of the repetitive pattern 110.
同様に、BRtプレーンデータを生成するにあたり、画像処理部205は、撮像素子100の全出力値からB(Rt)画素の画素値以外の画素値を除去して空格子とする。すると、繰り返しパターン110には、P76の画素値が残る。この画素値を繰り返しパターン110の64画素分の代表値とする。 Similarly, when generating the BRt plane data, the image processing unit 205 removes pixel values other than the pixel value of the B (Rt) pixel from all the output values of the image sensor 100 to obtain an empty grid. Then, the repeating pattern 110, the pixel values of P 76 remains. This pixel value is set as a representative value for 64 pixels of the repetitive pattern 110.
このようにして、2D−RGBプレーンデータよりは解像度の低いBLtプレーンデータとBRtプレーンデータが生成される。この場合、BLtプレーンデータとBRtプレーンデータの解像度は、GLtプレーンデータとGRtプレーンデータの解像度よりも低い。 In this way, BLt plane data and BRt plane data having a resolution lower than that of 2D-RGB plane data are generated. In this case, the resolution of the BLt plane data and the BRt plane data is lower than the resolution of the GLt plane data and the GRt plane data.
図15は、視差画像データとしての2つのRプレーンデータの生成処理の例を説明する図である。すなわち、左視差画像データとしてのRLtプレーンデータと右視差画像データとしてのRRtプレーンデータである。 FIG. 15 is a diagram illustrating an example of processing for generating two R plane data as parallax image data. That is, RLt plane data as left parallax image data and RRt plane data as right parallax image data.
RLtプレーンデータを生成するにあたり、画像処理部205は、撮像素子100の全出力値からR(Lt)画素の画素値以外の画素値を除去して空格子とする。すると、繰り返しパターン110には、P27の画素値が残る。この画素値を繰り返しパターン110の64画素分の代表値とする。 In generating the RLt plane data, the image processing unit 205 removes pixel values other than the pixel value of the R (Lt) pixel from all output values of the image sensor 100 to form a vacant lattice. Then, the repeating pattern 110, the pixel values of P 27 remains. This pixel value is set as a representative value for 64 pixels of the repetitive pattern 110.
同様に、RRtプレーンデータを生成するにあたり、画像処理部205は、撮像素子100の全出力値からR(Rt)画素の画素値以外の画素値を除去して空格子とする。すると、繰り返しパターン110には、P63の画素値が残る。この画素値を繰り返しパターン110の64画素分の代表値とする。 Similarly, when generating the RRt plane data, the image processing unit 205 removes pixel values other than the pixel value of the R (Rt) pixel from all output values of the image sensor 100 to form a vacant lattice. Then, the pixel value P 63 remains in the repeated pattern 110. This pixel value is set as a representative value for 64 pixels of the repetitive pattern 110.
このようにして、2D−RGBプレーンデータよりは解像度の低いRLtプレーンデータとRRtプレーンデータが生成される。この場合、RLtプレーンデータとRRtプレーンデータの解像度は、GLtプレーンデータとGRtプレーンデータの解像度よりも低く、BLtプレーンデータとBRtプレーンデータの解像度と同等である。 In this way, RLt plane data and RRt plane data having a resolution lower than that of 2D-RGB plane data are generated. In this case, the resolution of the RLt plane data and the RRt plane data is lower than the resolution of the GLt plane data and the GRt plane data, and is equal to the resolution of the BLt plane data and the BRt plane data.
各プレーンの解像度の関係を示す概念図を図16に示す。2D−RGBプレーンデータは、US2010/021853号公報の技術などを用いて補間処理が施されることにより、実質的に撮像素子100の有効画素と同じ画素数分の出力値を有する。GLtプレーンデータおよびGRtプレーンデータは、補間処理が施されることにより、2D−RGBプレーンデータの画素数に対して1/16(=1/4×1/4)の画素数分の出力値を有する。BLtプレーンデータ、BRtプレーンデータ、RLtプレーンデータおよびRRtプレーンデータは、2D−RGBプレーンデータの画素数に対して1/64(=1/8×1/8)の画素数分の出力値を有する。これら解像度の低い各プレーンデータをバイリニア補間することによって拡大変倍し、撮像素子の有効画素数と同じ画素数の解像度をもつプレーンデータに変換する。しかしながら、これらのプレーンデータは実質的に元の変倍前のプレーンデータが持っていた分解能しか解像力は有しない。すなわち、変倍拡大されたプレーンデータは緩やかに変化する画像データである。これらは既にk空間を用いて説明したことと同じことを実空間でもう一度説明したに過ぎない。 FIG. 16 is a conceptual diagram showing the relationship between the resolutions of the planes. The 2D-RGB plane data has an output value corresponding to the number of pixels that is substantially the same as the effective pixels of the image sensor 100 by performing an interpolation process using the technology of US2010 / 021853. The GLt plane data and the GRt plane data are subjected to an interpolation process so that output values corresponding to 1/16 (= 1/4 × 1/4) of the number of pixels of the 2D-RGB plane data are obtained. Have. BLt plane data, BRt plane data, RLt plane data, and RRt plane data have output values corresponding to the number of pixels of 1/64 (= 1/8 × 1/8) with respect to the number of pixels of 2D-RGB plane data. . Each plane data having a low resolution is enlarged and scaled by bilinear interpolation, and converted to plane data having a resolution of the same number of pixels as the number of effective pixels of the image sensor. However, these plane data have resolution only with the resolution that the original plane data before scaling has. That is, the scaled and enlarged plane data is image data that changes gradually. These are just the same explanations that have already been explained using the k-space in the real space.
このような各プレーンデータ間における解像度のバランスによれば、まず、解像度の高い2D画像を出力させることができる。そして、2D画像の情報を利用しつつ、前述の式の視差変調を行うことによって視差画像データを用いて合成処理を施せば、3D画像についても解像感のある画像として出力させることができる。 According to such a balance of resolution between the plane data, first, a high-resolution 2D image can be output. Then, by using the parallax modulation of the above formula while performing the parallax modulation of the above formula while using the information of the 2D image, it is possible to output the 3D image as an image with a sense of resolution.
なお、第1実施例および第2実施例のように視差画素の種類を2つにすれば2視点の視差画像が得られるが、もちろん視差画素の種類は、出力させたい視差画像数に合わせて様々な数を採用し得る。視点数が増えていっても、仕様、目的等に応じた、さまざまな繰り返しパターン110を形成することができる。この場合、2D画像の出力と3D画像の出力に対して共に解像感を持たせるためには、撮像素子100の基本格子の中に開口部とカラーフィルタのすべての組み合わせによる視差画素を含みつつ、視差画素よりも視差なし画素を多くすることが肝要である。更には、視差画素を等方的に、かつ均等に配置するのが肝要である。 Note that if the number of types of parallax pixels is two as in the first and second embodiments, a parallax image of two viewpoints can be obtained. Of course, the type of parallax pixels is matched to the number of parallax images to be output. Various numbers can be employed. Even if the number of viewpoints is increased, various repetitive patterns 110 can be formed according to specifications, purposes, and the like. In this case, in order to give a sense of resolution to both the output of the 2D image and the output of the 3D image, the basic lattice of the image sensor 100 includes parallax pixels by all combinations of the aperture and the color filter. Therefore, it is important to increase the number of pixels without parallax than the number of parallax pixels. Furthermore, it is important to dispose the parallax pixels isotropically and evenly.
以上、発明の本質を要約すると次の3つの重要点を挙げることができる。第1番目に、視差画素による単眼瞳分割撮像方式は、視差が非合焦部のぼけた被写体像の領域で発生するだけであるから、左右の視差画像として取得すべき空間的な分解能は低くてよく、視差画素を疎な配置することができる。その分、合焦位置の高周波成分を備えた被写体像では視差が消滅するので、視差なし画像を密に配置することができ、単眼瞳分割方式に極めて相性の良い色・視差画素配列を提供することができる。 As mentioned above, the following three important points can be given to summarize the essence of the invention. First, in the monocular pupil division imaging method using parallax pixels, since the parallax only occurs in the blurred subject image area of the out-of-focus portion, the spatial resolution to be acquired as the left and right parallax images is low. The parallax pixels may be sparsely arranged. Accordingly, since the parallax disappears in the subject image having the high-frequency component at the in-focus position, it is possible to densely arrange the images without parallax, and provide a color / parallax pixel array extremely compatible with the monocular pupil division method. be able to.
第2番目に左右の視差画像は、視差なし画像を水平方向に変調させて最終的な高解像なカラー視差画像を生成する役割を担う。そのときに、水平方向の視差変調を最も効果的に高解像に行うためには、視差画像が各々水平方向に高い分解能をもっている必要がある。その解決策を与えるのが、各視差画素を等方的に配置する色・視差画素配列である。 Secondly, the left and right parallax images play a role of generating a final high-resolution color parallax image by modulating a non-parallax image in the horizontal direction. At that time, in order to perform the parallax modulation in the horizontal direction most effectively with high resolution, the parallax images need to have high resolution in the horizontal direction. The solution is given by the color / parallax pixel array in which the parallax pixels are arranged isotropically.
第3番目に、視差なし画素の間に視差画素を埋め込んだときに、視差なし画素の空間分解能を埋め込む前の状態をできるだけ保って、視差画素による損傷を極力抑える必要がある。そのための解決手段が視差画素同士を極力等方的に均質に配置して分布させる方法である。以上の理由により、「疎な視差画素配置」と「等方的な視差画素配置」が極めて有効な単眼瞳分割撮像方式の撮像素子の構成を与える。 Third, when the parallax pixels are embedded between the non-parallax pixels, it is necessary to keep the state before embedding the spatial resolution of the non-parallax pixels as much as possible to suppress damage caused by the parallax pixels as much as possible. A solution for this is a method in which parallax pixels are arranged and distributed as isotropically as possible. For the above reasons, a configuration of an image sensor of a monocular pupil division imaging system in which “sparse parallax pixel arrangement” and “isotropic parallax pixel arrangement” are extremely effective is given.
上述の例では、カラーフィルタ配列としてベイヤー配列を採用した場合について説明したが、もちろん他のカラーフィルタ配列であっても差し支えない。また、上述の例では、カラーフィルタを構成する原色として、赤色、緑色および青色の3つを用いた。しかし、翠色などを加えた4つ以上を原色としても良い。また、赤色、緑色および青色に代えて、イエロー、マゼンタ、シアンの組み合わせによる3原色を採用することもできる。 In the above-described example, the case where the Bayer array is adopted as the color filter array has been described. Of course, other color filter arrays may be used. In the above example, three primary colors, red, green, and blue, are used as the color filters. However, four or more colors including amber color may be used as primary colors. Further, in place of red, green, and blue, three primary colors by a combination of yellow, magenta, and cyan can be employed.
なお、視差なし画素として全開口の例を示したが、視差なし画素としては図33に示すように、視差画素と同じ半開口の面積のマスクを画素の中心に配置することによっても実現することができる。 In addition, although the example of a full aperture was shown as a pixel without parallax, the non-parallax pixel can also be realized by arranging a mask with the same half-opening area as the parallax pixel at the center of the pixel as shown in FIG. Can do.
これまで説明してきた視差なし画素(N画素)と視差画素(Lt画素、Rt画素)が共存する配列は、N画素のみから成る通常のBayer配列に比べて、視差画素はおよそ2倍の露光量まで信号量が飽和しないという特性を持つため、ワイドダイナミックレンジ配列を実現するという利点を有する。すなわち、視差画素の半分の開口が遮光されている特性自体が、視差を生み出す立体撮像効果と飽和レベルを拡張する高ダイナミックレンジ化の2つの効果を同時に実現する。したがって、実施形態に示してきた配列を用いて、2D画像や3D画像を生成すると、高ダイナミックレンジまで解像する性能を備えた画像を得ることができる。 In the arrangement in which the non-parallax pixels (N pixels) and the parallax pixels (Lt pixels, Rt pixels) described above coexist so far, the exposure amount of the parallax pixels is approximately twice that of the normal Bayer arrangement including only N pixels. This has the advantage of realizing a wide dynamic range arrangement because the signal amount does not saturate. That is, the characteristic itself that the half opening of the parallax pixel is shielded simultaneously realizes two effects of a stereoscopic imaging effect that produces parallax and a high dynamic range that extends the saturation level. Therefore, when a 2D image or a 3D image is generated using the arrangement shown in the embodiment, an image having a capability of resolving to a high dynamic range can be obtained.
以上の説明では、一つの画素に視差Lt画素および視差Rt画素のいずれかを割り当てていたが、視差Lt画素および視差Rt画素の両方を割り当てることもできる。例えば、一つの画素を構成する光電変換素子を左右に分割し、分割された左側を視差Lt画素、分割された右側を視差Rt画素として扱うことができる。このような画素配列においては、視差Lt画素および視差Rt画素の密度が高くなるので、視差Lt画素および視差Rt画素の空間解像度を高くすることができる。なお、視差画素の光電変換素子については、視差なし画素の光電変換素子の専有面積の略半分の専有面積を1画素として扱う。すなわち、N画素の正方画素と、視差Lt画素と視差Rt画素の矩形画素とが混在することになる。視差Lt画素とRt画素を合わせると略正方領域となる。 In the above description, one of the parallax Lt pixel and the parallax Rt pixel is assigned to one pixel, but both the parallax Lt pixel and the parallax Rt pixel can also be assigned. For example, a photoelectric conversion element constituting one pixel can be divided into left and right, and the divided left side can be treated as a parallax Lt pixel and the divided right side can be treated as a parallax Rt pixel. In such a pixel arrangement, the density of the parallax Lt pixel and the parallax Rt pixel is increased, and thus the spatial resolution of the parallax Lt pixel and the parallax Rt pixel can be increased. In addition, regarding the photoelectric conversion element of the parallax pixel, an exclusive area that is approximately half of the exclusive area of the photoelectric conversion element of the non-parallax pixel is treated as one pixel. That is, square pixels of N pixels and rectangular pixels of parallax Lt pixels and parallax Rt pixels are mixed. When the parallax Lt pixel and the Rt pixel are combined, a substantially square area is obtained.
図35は、一例としての実空間の配列とk空間を示す図である。図35に示す配列では、視差なし画素と視差Lt画素と視差Rt画素の画素数比がN:Lt:Rt=14:2:2となっている。図19に示した配列に比べて、視差Lt画素と視差Rt画素の密度が高くなっている。その結果、図35のk空間図に示すように、R,G,Bのそれぞれにおいて、視差Lt画素と視差Rt画素の空間解像度が高くなっている。 FIG. 35 is a diagram illustrating an arrangement of real space and k space as an example. In the arrangement shown in FIG. 35, the pixel number ratio of the non-parallax pixel, the parallax Lt pixel, and the parallax Rt pixel is N: Lt: Rt = 14: 2: 2. Compared to the arrangement shown in FIG. 19, the density of the parallax Lt pixels and the parallax Rt pixels is higher. As a result, as shown in the k-space diagram of FIG. 35, the spatial resolution of the parallax Lt pixel and the parallax Rt pixel is high in each of R, G, and B.
図36は、一例としての実空間の配列とk空間を示す図である。図36に示す配列では、視差なし画素と視差Lt画素と視差Rt画素の画素数比がN:Lt:Rt=6:2:2となっている。図34に示した配列に比べて、視差Lt画素と視差Rt画素の密度が高くなっている。その結果、図36のk空間図に示すように、R,G,Bのそれぞれにおいて、視差Lt画素と視差Rt画素の空間解像度が高くなっている。 FIG. 36 is a diagram illustrating an arrangement of real space and k space as an example. In the arrangement shown in FIG. 36, the pixel number ratio of the non-parallax pixel, the parallax Lt pixel, and the parallax Rt pixel is N: Lt: Rt = 6: 2: 2. Compared with the arrangement shown in FIG. 34, the density of the parallax Lt pixels and the parallax Rt pixels is higher. As a result, as shown in the k-space diagram of FIG. 36, the spatial resolution of the parallax Lt pixel and the parallax Rt pixel is high in each of R, G, and B.
以上、説明した画素配列の中の特別な条件を満たすものにおいて、水平方向に複数の画素を加算するとともに、垂直方向の複数の画素を間引くことにより、動画読み出しを行うことができる。図37は図34に示した配列で、動画読み出しを説明する図である。ここでは、水平方向に隣接する同色の3画素を加算するとともに、垂直方向に3画素間引く場合について説明する。図37は、その様子を目で追いやすくするため、図34に示した画素配列が縦方向および横方向のそれぞれに四つずつ並べて示している。また、画素の位置を(i、j)で表す。例えば、左上端の画素の位置は、(1、1)であり、右下端の画素の位置は、(32、32)である。 As described above, in the pixel array that satisfies the special conditions described above, moving image reading can be performed by adding a plurality of pixels in the horizontal direction and thinning out the plurality of pixels in the vertical direction. FIG. 37 is a diagram for explaining moving image reading in the arrangement shown in FIG. Here, a case will be described in which three pixels of the same color adjacent in the horizontal direction are added and three pixels are thinned out in the vertical direction. FIG. 37 shows the pixel arrangement shown in FIG. 34 arranged in a row in each of the vertical direction and the horizontal direction in order to make it easier to follow the situation. The pixel position is represented by (i, j). For example, the position of the upper left pixel is (1, 1), and the position of the lower right pixel is (32, 32).
例えば、(1、1)に位置するGLt画素の画素値と、(1、3)に位置するG画素の画素値と、(1、5)に位置するGRt画素の画素値とを加算すことにより、加算後のGの画素値を得ることができる。同様に、(1、7)に位置するG画素の画素値と、(1、9)に位置するGLt画素の画素値と、(1、11)に位置するG画素の画素値とを加算すことにより、加算後のGLtの画素値を得ることができる。加算および間引き後のGLt画素における視差量は、視差画素1つとN画素2つの平均をとるので、1/3に減衰する。したがって、視差変調のときに視差量を3倍に増幅するとよい。すなわち、差を一定に保つ視差変調のときは変調項全体を3倍すればよく、比を一定に保つ視差変調のときは変調項全体を3乗すればよい。 For example, the pixel value of the GLt pixel located at (1, 1), the pixel value of the G pixel located at (1, 3), and the pixel value of the GRt pixel located at (1, 5) are added. Thus, the G pixel value after addition can be obtained. Similarly, the pixel value of the G pixel located at (1, 7), the pixel value of the GLt pixel located at (1, 9), and the pixel value of the G pixel located at (1, 11) are added. As a result, the pixel value of GLt after the addition can be obtained. The amount of parallax in the GLt pixel after addition and thinning is attenuated to 1/3 because it takes the average of one parallax pixel and two N pixels. Therefore, it is preferable to amplify the amount of parallax three times during parallax modulation. That is, for parallax modulation that keeps the difference constant, the entire modulation term may be tripled, and for parallax modulation that keeps the ratio constant, the entire modulation term may be raised to the third power.
以上のように動画読み出しを行った場合と、全画素読み出しを行った場合とにおいて、視差なし画素と視差Lt画素と視差Rt画素の画素数比はともにN:Lt:Rt=6:1:1となる。また、配列構造もR成分とB成分の役割を入れ替えれば、全画素読出しのときと全く同じ配列になる。このように、視差なし画素と視差Lt画素と視差Rt画素の画素数比がN:Lt:Rt=6:1:1の画素配列は、動画読み出しを行ってもN:Lt:Rt=6:1:1のまま配列構造の位置関係も変わらないという優れた特性を持つ。 As described above, the pixel number ratio of the non-parallax pixel, the parallax Lt pixel, and the parallax Rt pixel is N: Lt: Rt = 6: 1: 1 when the moving image is read and when all the pixels are read. It becomes. Also, if the roles of the R component and the B component are interchanged, the arrangement structure is exactly the same as that for all pixel readout. As described above, the pixel arrangement in which the number ratio of the non-parallax pixel, the parallax Lt pixel, and the parallax Rt pixel is N: Lt: Rt = 6: 1: 1 is N: Lt: Rt = 6: It has an excellent characteristic that the positional relationship of the array structure remains unchanged at 1: 1.
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
10 デジタルカメラ、20 撮影レンズ、21 光軸、30、31 被写体、100 撮像素子、101 マイクロレンズ、102 カラーフィルタ、103 開口マスク、104 開口部、105 配線層、106 配線、107 開口、108 光電変換素子、109 基板、110 繰り返しパターン、201 制御部、202 A/D変換回路、203 メモリ、204 駆動部、205 画像処理部、207 メモリカードIF、208 操作部、209 表示部、210 LCD駆動回路、211 AFセンサ、220 メモリカード DESCRIPTION OF SYMBOLS 10 Digital camera, 20 Shooting lens, 21 Optical axis, 30, 31 Subject, 100 Image sensor, 101 Micro lens, 102 Color filter, 103 Aperture mask, 104 Aperture, 105 Wiring layer, 106 Wiring, 107 aperture, 108 Photoelectric conversion Element, 109 substrate, 110 repetitive pattern, 201 control unit, 202 A / D conversion circuit, 203 memory, 204 drive unit, 205 image processing unit, 207 memory card IF, 208 operation unit, 209 display unit, 210 LCD drive circuit, 211 AF sensor, 220 memory card
Claims (10)
前記光電変換素子に、前記開口に制限されることなく前記入射光束を導く視差なし画素と
を含み、
前記視差画素は、対応付けられた前記開口マスクの種類ごとに、他の前記開口マスクが対応付けられた前記視差画素および前記視差なし画素に挟まれて、2次元方向のいずれに対しても、等間隔で配置されていると共に、異なる種類の前記開口マスクが対応付けられた前記視差画素同士の間の距離が互いに最も離れるように配置されている撮像素子。 A parallax pixel associated with any one of a plurality of types of aperture masks each having an aperture positioned so as to pass different partial light fluxes relative to the incident light flux on the photoelectric conversion element;
The photoelectric conversion element includes a non-parallax pixel that guides the incident light flux without being limited to the opening,
The parallax pixel is sandwiched between the parallax pixel and the non-parallax pixel associated with the other aperture mask for each type of the aperture mask associated with each other, and in any of the two-dimensional directions. An image sensor that is arranged at equal intervals and arranged such that the distance between the parallax pixels associated with the different types of aperture masks is the most distant from each other.
前記視差画素は、対応付けられた前記カラーフィルタの種類ごとに、前記2次元方向のいずれに対しても、等間隔で配置されていると共に、前記カラーフィルタの種類ごとに異なる種類の前記開口マスクが対応付けられた前記視差画素同士の間の距離が互いに最も離れるように配置されている請求項1に記載の撮像素子。 The parallax pixel and the non-parallax pixel are associated with any of a plurality of types of color filters that pass different wavelength bands,
The parallax pixels are arranged at equal intervals in each of the two-dimensional directions for each type of the associated color filter, and different types of the opening masks for each type of the color filter The image sensor according to claim 1, wherein the disparity pixels are arranged such that a distance between the parallax pixels associated with each other is the farthest from each other.
前記撮像素子の出力から、互いに視差を有する複数の視差画像データと視差無しの2D画像データとを生成する画像処理部と
を備える撮像装置。 The image sensor according to any one of claims 1 to 3,
An imaging apparatus comprising: an image processing unit that generates a plurality of parallax image data having parallax and 2D image data having no parallax from an output of the imaging element.
前記画素のそれぞれに一対一に対応して、基準方向、及び基準方向とは異なる第1視差方向と第2視差方向の少なくとも3種類の開口マスクが設けられ、
前記第1視差方向の開口マスクを備えた画素を、x方向とy方向の2つの方向の間で等間隔に並べて等方的に配置するとともに、前記第2視差方向の開口マスクを備えた画素を、x方向とy方向の2つの方向の間で等間隔に並べて等方的に配置した画素配列からなる撮像素子。 Pixels composed of photoelectric conversion elements that photoelectrically convert incident light into electrical signals are periodically arranged on the xy plane,
Each of the pixels has a one-to-one correspondence with a reference direction, and at least three types of opening masks of a first parallax direction and a second parallax direction different from the reference direction,
Pixels having the opening mask in the first parallax direction are arranged isotropically arranged at equal intervals between the two directions of the x direction and the y direction, and the pixels having the opening mask in the second parallax direction Is a pixel array in which is arranged isotropically arranged at equal intervals between two directions of the x direction and the y direction.
前記1つの色成分のカラーフィルタが配された画素の間で、前記第1視差方向の開口マスクを備えた画素を、x方向とy方向の2つの方向の間で等間隔に並べて等方的に配置するとともに、前記第2視差方向の開口マスクを備えた画素を、x方向とy方向の2つの方向の間で等間隔に並べて等方的に配置した画素配列からなる請求項5に記載の撮像素子。 A color filter composed of two or more color components is provided corresponding to each of the pixels on a one-to-one basis, and an opening mask in the reference direction is provided for a pixel provided with a color filter of at least one color component. Each of the provided pixel, the pixel provided with the opening mask in the first parallax direction, and the pixel provided with the opening mask in the second parallax direction are arranged,
Isotropically arranging pixels having an aperture mask in the first parallax direction between the pixels in which the color filter of one color component is arranged between the two directions of the x direction and the y direction. 6. The pixel array according to claim 5, wherein the pixels having the aperture mask in the second parallax direction are arranged in an isotropic manner and arranged at equal intervals between two directions of the x direction and the y direction. Image sensor.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013053770A JP6197316B2 (en) | 2012-03-16 | 2013-03-15 | Imaging device and imaging apparatus |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012060738 | 2012-03-16 | ||
JP2012060738 | 2012-03-16 | ||
JP2012182420 | 2012-08-21 | ||
JP2012182420 | 2012-08-21 | ||
JP2013053770A JP6197316B2 (en) | 2012-03-16 | 2013-03-15 | Imaging device and imaging apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014060694A true JP2014060694A (en) | 2014-04-03 |
JP6197316B2 JP6197316B2 (en) | 2017-09-20 |
Family
ID=50616760
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013053770A Active JP6197316B2 (en) | 2012-03-16 | 2013-03-15 | Imaging device and imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6197316B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015152423A1 (en) * | 2014-04-04 | 2015-10-08 | 株式会社ニコン | Image pickup element, image pickup device, and image processing device |
CN107529046A (en) * | 2017-02-23 | 2017-12-29 | 深圳安芯微电子有限公司 | A kind of colour filter array and imaging sensor |
US10084978B2 (en) | 2015-02-27 | 2018-09-25 | Canon Kabushiki Kaisha | Image capturing apparatus and image processing apparatus |
WO2018193552A1 (en) * | 2017-04-19 | 2018-10-25 | オリンパス株式会社 | Image capture device and endoscope device |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009217252A (en) * | 2008-02-13 | 2009-09-24 | Canon Inc | Imaging apparatus and focus control method |
-
2013
- 2013-03-15 JP JP2013053770A patent/JP6197316B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009217252A (en) * | 2008-02-13 | 2009-09-24 | Canon Inc | Imaging apparatus and focus control method |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015152423A1 (en) * | 2014-04-04 | 2015-10-08 | 株式会社ニコン | Image pickup element, image pickup device, and image processing device |
CN106165398A (en) * | 2014-04-04 | 2016-11-23 | 株式会社尼康 | Imaging apparatus, camera head and image processing apparatus |
JPWO2015152423A1 (en) * | 2014-04-04 | 2017-04-13 | 株式会社ニコン | Image pickup device, image pickup apparatus, and image processing apparatus |
US10291901B2 (en) | 2014-04-04 | 2019-05-14 | Nikon Corporation | Image sensor, imaging device and image processing device that generate parallax images in both visible and invisible wavelength bands |
CN106165398B (en) * | 2014-04-04 | 2019-07-02 | 株式会社尼康 | Photographing element, photographic device and image processing apparatus |
US10084978B2 (en) | 2015-02-27 | 2018-09-25 | Canon Kabushiki Kaisha | Image capturing apparatus and image processing apparatus |
CN107529046A (en) * | 2017-02-23 | 2017-12-29 | 深圳安芯微电子有限公司 | A kind of colour filter array and imaging sensor |
CN107529046B (en) * | 2017-02-23 | 2024-03-08 | 思特威(深圳)电子科技有限公司 | Color filter array and image sensor |
WO2018193552A1 (en) * | 2017-04-19 | 2018-10-25 | オリンパス株式会社 | Image capture device and endoscope device |
Also Published As
Publication number | Publication date |
---|---|
JP6197316B2 (en) | 2017-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5915537B2 (en) | IMAGING ELEMENT AND IMAGING DEVICE | |
WO2013136819A1 (en) | Image sensor, imaging device and imaging system | |
JP5804055B2 (en) | Image processing apparatus, image processing method, and program | |
JP6131545B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
JP5979134B2 (en) | Image processing apparatus and image processing program | |
JP6197316B2 (en) | Imaging device and imaging apparatus | |
JP6288088B2 (en) | Imaging device | |
JP5942984B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
JPWO2013057859A1 (en) | Image sensor | |
JP5874729B2 (en) | Imaging device | |
JP5979137B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL PROGRAM | |
JP5978736B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
JP5887845B2 (en) | Image processing method and image processing program | |
JP6205770B2 (en) | Imaging device and imaging system | |
JP6476630B2 (en) | Imaging device | |
JP5978737B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
JP5978738B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
JP6051568B2 (en) | Imaging device and imaging apparatus | |
JP5978735B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
JP2013090265A (en) | Image processing apparatus and image processing program | |
JP2013219180A (en) | Image sensor and image pick-up device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170725 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170807 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6197316 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |