JP2013201723A - On-chip color filter alignment for image pick-up device - Google Patents
On-chip color filter alignment for image pick-up device Download PDFInfo
- Publication number
- JP2013201723A JP2013201723A JP2012070309A JP2012070309A JP2013201723A JP 2013201723 A JP2013201723 A JP 2013201723A JP 2012070309 A JP2012070309 A JP 2012070309A JP 2012070309 A JP2012070309 A JP 2012070309A JP 2013201723 A JP2013201723 A JP 2013201723A
- Authority
- JP
- Japan
- Prior art keywords
- filter
- degrees
- filter array
- basic
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003491 array Methods 0.000 claims abstract description 18
- 238000003384 imaging method Methods 0.000 claims description 10
- 239000003086 colorant Substances 0.000 description 10
- 238000000034 method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Landscapes
- Endoscopes (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
Description
本発明は、例えば単板式のカラー撮像素子に搭載されるオンチップカラーフィルタの配列方法に関する。 The present invention relates to a method for arranging on-chip color filters mounted on, for example, a single-plate color image sensor.
1枚の撮像素子を用いてカラー画像を取得する方法としては、撮像素子の各画素を単位としたカラーフィルタアレイを用いる方法が一般的である。カラーフィルタアレイには、RGBのカラーフィルタを市松模様状に配置したベイヤ配列が広く用いられている(特許文献1)。ベイヤ配列は、格子状の2×2画素のフィルタアレイをユニットとし、これを縦横方向に繰り返し配置したものである。1つのユニット(2×2画素)は、2枚のGフィルタと、1枚のRフィルタ、1枚のBフィルタから構成され、Gフィルタは一方の対角線に沿って、R、Bフィルタは他方の対角線に沿って配置される。 As a method for acquiring a color image using one image sensor, a method using a color filter array with each pixel of the image sensor as a unit is common. As the color filter array, a Bayer array in which RGB color filters are arranged in a checkered pattern is widely used (Patent Document 1). In the Bayer array, a grid-like 2 × 2 pixel filter array is used as a unit, which is repeatedly arranged in the vertical and horizontal directions. One unit (2 × 2 pixels) is composed of two G filters, one R filter, and one B filter. The G filter is along one diagonal, and the R and B filters are the other. Arranged along a diagonal.
しかし、ベイヤ配列で構成したフィルタアレイでは、RGBフィルタ各々の空間配置における周期性が高いため、周波数の高い規則的パターンを含む画像を撮影すると、モアレを生じたり、エッジ部に偽色を生じたりといった問題がある。このような問題を解決するために撮像素子の前に光学ローパスフィルタを配置する構成が一般的に採用されるが、光学ローパスフィルタを用いると、必然的に解像度や鮮鋭度が低下する。また、ベイヤ配列では、各行および各列にRGB全てのフィルタが含まれる訳ではなく、これは偽色の原因となる。 However, the filter array configured with the Bayer array has high periodicity in the spatial arrangement of each of the RGB filters, so when an image including a regular pattern with a high frequency is captured, moire is generated or a false color is generated at the edge portion. There is a problem. In order to solve such a problem, a configuration in which an optical low-pass filter is disposed in front of the image sensor is generally employed. However, when an optical low-pass filter is used, the resolution and sharpness are inevitably lowered. Further, in the Bayer array, not all the RGB filters are included in each row and each column, which causes a false color.
一方、RGBフィルタの配列に、ベイヤ配列とは異なる配列、例えば、図12のYamanaka配列、図13のLukac配列などを採用することでこの問題に対処する試みや(特許文献2、非特許文献1参照)、RGBフィルタを撮像素子全面にわたってランダムに配置することでフィルタ配列の周期性を壊す試みもなされている(特許文献3)。また、更にRGB以外の色を加える方法も提案されている(特許文献4)。 On the other hand, an attempt to deal with this problem by adopting an RGB filter array different from the Bayer array, for example, the Yamanaka array in FIG. 12 and the Lukac array in FIG. 13 (Patent Document 2, Non-Patent Document 1) An attempt has been made to break the periodicity of the filter array by randomly arranging RGB filters over the entire surface of the image sensor (Patent Document 3). Further, a method for adding a color other than RGB has also been proposed (Patent Document 4).
特許文献2、非特許文献1の配列によれば周期性の問題はある程度解決される。しかし図12のYamanaka配列では、Gフィルタしか含まれない列、RフィルタおよびBフィルタしか含まない列が交互に生まれるため、偽色が発生する(非特許文献1のFig. 9 (b))。また、図13のLukac配列では、Yamanaka配列に比べて偽色の発生は少ない。しかし、GフィルタおよびRフィルタしか含まない行、GフィルタおよびBフィルタしか含まない行が交互に生まれる。偽色の抑制の観点からは、全ての行および列にRGB全ての成分が含まれているのが望ましい。また、RGBフィルタをランダムに配置する特許文献3の構成では、RGBの成分を補間し、フルカラーの画像を構成するための計算が複雑となり、フィルタの色を増やした特許文献4の構成では製造コストが嵩み、かつRGBフィルタのみからなる場合に比べ、色が増えたぶん画像を構成する際の計算も複雑となる。 According to the arrangements of Patent Document 2 and Non-Patent Document 1, the problem of periodicity is solved to some extent. However, in the Yamanaka arrangement of FIG. 12, since a column including only the G filter and a column including only the R filter and the B filter are alternately generated, a false color is generated (FIG. 9 (b) of Non-Patent Document 1). Further, in the Lukac array in FIG. 13, the occurrence of false colors is less than that in the Yamanaka array. However, rows including only the G filter and the R filter and rows including only the G filter and the B filter are alternately generated. From the viewpoint of suppressing false colors, it is desirable that all the components of RGB are included in all rows and columns. Further, in the configuration of Patent Document 3 in which RGB filters are arranged at random, the calculation for constructing a full-color image by interpolating RGB components becomes complicated, and in the configuration of Patent Document 4 in which the color of the filter is increased, the manufacturing cost is increased. Compared with the case where only the RGB filter is used, the calculation for constructing the image with the increased number of colors is more complicated.
本発明は、上述のような問題に鑑みてなされたものであり、モアレや偽色の少ないフィルタ配列を簡略な構成で提供することを課題としている。 The present invention has been made in view of the above-described problems, and an object of the present invention is to provide a filter arrangement with less moiré and false colors with a simple configuration.
本発明の撮像素子のオンチップカラーフィルタは、4行4列のフィルタからなる基本フィルタアレイパターンを縦横に繰り返し配置したフィルタアレイを含み、基本フィルタアレイパターンが、左上および右下にGフィルタ、右上にRフィルタ、左下にBフィルタが配置される2行2列の単位フィルタアレイを時計周りに0度、90度、180度、270度回転した4枚の単位フィルタアレイの組合せから構成され、基本フィルタアレイパターンの左上、右上、右下、左下に、単位フィルタアレイを0度、90度、270度、180度回転したもの、または0度、180度、90度、270度回転したもの、あるいは0度、90度、180度、270度回転したものをこの順で配置したことを特徴としている。 The on-chip color filter of the image pickup device of the present invention includes a filter array in which a basic filter array pattern composed of 4 × 4 filters is vertically and horizontally arranged. The basic filter array pattern includes a G filter on the upper left and a lower right, and an upper right The unit filter array of 2 rows and 2 columns in which the R filter is arranged in the lower left and the B filter in the lower left is composed of a combination of four unit filter arrays rotated clockwise by 0 degrees, 90 degrees, 180 degrees and 270 degrees. In the upper left, upper right, lower right, and lower left of the filter array pattern, the unit filter array is rotated by 0, 90, 270, and 180 degrees, or rotated by 0, 180, 90, and 270 degrees, or It is characterized in that those rotated by 0 degrees, 90 degrees, 180 degrees, and 270 degrees are arranged in this order.
基本フィルタアレイパターンの左上、右上、右下、左下に、単位フィルタアレイを0度、90度、270度、180度回転したもの、または0度、180度、90度、270度回転したものをこの順で配置することで、Gフィルタがより均等に分散され、解像度がより向上する。 In the upper left, upper right, lower right, and lower left of the basic filter array pattern, the unit filter array is rotated by 0, 90, 270, and 180 degrees, or rotated by 0, 180, 90, and 270 degrees. By arranging in this order, the G filters are more evenly distributed and the resolution is further improved.
本発明の撮像素子は上記オンチップカラーフィルタを搭載したことを特徴としている。また本発明の電子内視鏡は、上記撮像素子を搭載したことを特徴としている。 The imaging device of the present invention is characterized by mounting the above-described on-chip color filter. In addition, an electronic endoscope according to the present invention is characterized in that the image pickup device is mounted.
本発明によれば、モアレや偽色の少ないフィルタ配列を簡略な構成で提供することができる。 According to the present invention, it is possible to provide a filter arrangement with less moiré and false colors with a simple configuration.
以下、本発明の実施の形態を、図面を参照して説明する。図1は、本発明の一実施形態であるオンチップカラーフィルタを用いた撮像素子を搭載する撮像装置の概観図である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a schematic view of an imaging apparatus equipped with an imaging device using an on-chip color filter according to an embodiment of the present invention.
撮像装置は、例えば電子内視鏡装置10であり、電子スコープ11、プロセッサ装置12、モニタ装置13などから構成される。スコープ11の挿入部先端には、CCDやCMOSなどの撮像素子14が配置され、撮像素子14には本実施形態のオンチップカラーフィルタ15が搭載される。
The imaging device is, for example, an
図2は、本実施形態のオンチップカラーフィルタ15のフィルタアレイを構成する単位フィルタアレイの配列(図2(a))と、それを時計回りに90度(図2(b))、180度(図2(c))、270度(図2(d))回転した配置を示す平面図である。なお、本明細書においては、図2(a)に示される単位フィルタアレイを0度回転されたものとし20Aで示し、90度、180度、270度回転された単位フィルタアレイをそれぞれ20B、20C、20Dで示す。
FIG. 2 shows an array of unit filter arrays (FIG. 2 (a)) constituting the filter array of the on-
図2(a)に示されるように、本実施形態の単位フィルタアレイ20Aはベイヤ配列を構成し、2行2列、計4枚のRGBフィルタから構成される。すなわち一方の対角線方向に2枚のGフィルタが配列され、もう一方の対角線方向にRフィルタ、Bフィルタがそれぞれ1枚ずつ配列される。図2(a)の例では、Gフィルタが左上および右下に配置され、Rフィルタが右上、Bフィルタが左下に配置されている。
As shown in FIG. 2A, the
本実施形態では、図2(a)〜(d)に示される0度、90度、180度、270度方向にそれぞれ回転された4枚の単位フィルタアレイ20A〜20Dを、重複することなく縦横2×2の正方格子状に配置したものを基本パターン(基本フィルタアレイパターン)とし、この基本パターンを縦横に繰り返し配列してオンチップカラーフィルタ15のフィルタアレイ全体を構築する。
In the present embodiment, the four
単位フィルタアレイ20A〜20Dの1つを基準(例えば20A)に定め、その単位フィルタアレイの上記基本パターンにおける位置を固定するとき、得られる基本パターンの種類は6(=(4−1)P(4−1))通りとなる。なお、その他のパターン(4P4−6=18種類)は、後述するように、これら6種類のパターンの何れかで代表されるので、その説明は省略する。また、以下の説明では、単位フィルタアレイ20Aを基準に定め、これを基本パターンの左上に配置したときに得られる6種類の基本パターンについて図3〜図9を参照して説明する。
When one of the
図3は、本発明の第1実施形態の基本フィルタアレイパターン21Aにおける単位フィルタアレイ20A〜20Dの配置を示す。図3では、単位フィルタアレイ20Aを0度、90度、270度、180度回転したものが基本フィルタアレイパターン21Aの左上、右上、右下、左下にこの順で配置されている。また、図4は図3に示される基本フィルタアレイパターン21Aを縦横に2枚ずつ配列したときのフィルタアレイの様子を示す。なお図4の矢印は、単位フィルタアレイ20Aでの上向き方向を示しており、上向き矢印が20A(0度)、右向き矢印が20B(90度)、下向き矢印が20C(180度)、左向き矢印が20D(270度)に対応する。
FIG. 3 shows the arrangement of the
図4に示されるように、第1実施形態の配列では、ベイヤ配列の周期性が低減され、かつ全ての行および列にRフィルタ、Gフィルタ、Bフィルタの全てが含まれるのでモアレや偽色の発生が抑えられる。また、Gフィルタも比較的均等に分散して配置される。 As shown in FIG. 4, in the array of the first embodiment, the periodicity of the Bayer array is reduced, and all rows, columns, and R filters, G filters, and B filters are all included, so moire and false colors are included. Occurrence is suppressed. Also, the G filters are arranged relatively evenly distributed.
図5は、本発明の第2実施形態の基本フィルタアレイパターン21Bにおける単位フィルタアレイ20A〜20Dの配置を示し、図5では、単位フィルタアレイ20Aを0度、180度、90度、270度回転したものが基本フィルタアレイパターン21Aの左上、右上、右下、左下にこの順で配置されている。また、図6は図5に示される基本フィルタアレイパターン21Bを縦横2枚ずつ配列したときのフィルタアレイの様子を示す。なお、図の記載方式は図3、4と同様である。図6に示されるように、第2実施形態の配列においても、ベイヤ配列の周期性が低減され、かつ全ての行および列にRフィルタ、Gフィルタ、Bフィルタが含まれ、モアレや偽色の発生が抑えられる。また、Gフィルタも比較的均等に分散して配置される。
FIG. 5 shows the arrangement of the
図7は、本発明の第3実施形態の基本フィルタアレイパターン21Cにおける単位フィルタアレイ20A〜20Dの配置を示し、図7では、単位フィルタアレイ20Aを0度、90度、180度、270度回転したものが基本フィルタアレイパターン21Aの左上、右上、右下、左下にこの順で配置されている。また、図8は図7に示される基本フィルタアレイパターン21Cを縦横2枚ずつ配列したときのフィルタアレイの様子を示す。なお、図の記載方式も図3、4と同様である。図8に示されるように、第3実施形態の配列においても、ベイヤ配列の周期性が低減され、かつ全ての行および列にRフィルタ、Gフィルタ、Bフィルタが含まれ、モアレや偽色の発生が抑えられる。
FIG. 7 shows the arrangement of the
次に、図9(a)〜(c)に、単位フィルタアレイ20A〜20Dを残る3パターンで配列したときの基本フィルタアレイパターン21D、21E、21Fの配置を示す。なお、図9は、図3、図5、図7と同様の方式で描かれている。図示されるように、図9(a)の配列(21D)では、各行および各列がRGBの中の2色しか含まない。また、図9(b)の配列(21E)では各行がRGBの中の2色しか含まず、図9(c)の配列(21F)では各列がRGBの中の2色しか含まない。したがって、これら図9(a)〜(c)の配列では、実施形態1〜3に比べ偽色の抑制の観点からは劣る。
Next, FIGS. 9A to 9C show the arrangement of the basic
なお、図10、11を参照して、単位フィルタアレイ20Aの代わりに90度回転された単位フィルタアレイ20Bを基準に定めたときの基本パターンが、単位フィルタアレイ20Aを基準とした6種類のパターンの1つに該当することを示す一例を示す。
10 and 11, six basic patterns based on the
図10では、単位フィルタアレイ20Bを基準に定め、基本パターンの左上に配置するとともに、20Aを右上、20Dを右下、20Cを左下に配置したときの基本パターンのフィルタ配列が示される。また、図11には図10の基本パターンを縦横2枚ずつ4枚並べたときのフィルタ配列が示される。ここで図11において破線で囲まれた領域を参照すると、これは単位フィルタアレイ20Aを基準に定め、20B(90度回転)を右上、20C(180度回転)を右下、20D(270度回転)を左下に配置したものに対応する。すなわち図11のフィルタ配列は、図7の基本パターン21Cを縦横に繰り返し配列したものに対応する。このように、図3〜図9を参照して説明された単位フィルタアレイ20Aを基準とした6種類のパターン以外のパターンは、この6種類のパターンの何れかによって代表される。
FIG. 10 shows a filter arrangement of the basic pattern when the
以上のように本実施形態によれば、極めて簡略な構成で、撮像素子においてモアレや偽色を防止しながらも、光学ローパスフィルタの省略を通して高解像度化を図ることができる。また本実施形態のオンチップカラーフィルタを用いた電子内視鏡装置では、解像度の向上により、例えばローパスフィルタを省略しても、偽色やモアレの発生が少ないので、例えばローパスフィルタを省略することができ、その先端をより小型化することができる。また、本実施形態ではRGBの比率がベイヤ配列と同じであることから、ベイヤ配列と同等の色再現も実現できる。 As described above, according to the present embodiment, it is possible to achieve high resolution through the omission of the optical low-pass filter while preventing moiré and false color in the image sensor with a very simple configuration. Further, in the electronic endoscope apparatus using the on-chip color filter of the present embodiment, due to the improvement in resolution, even if the low-pass filter is omitted, for example, the generation of false color and moire is small, so the low-pass filter is omitted, for example. And the tip can be further reduced in size. In the present embodiment, since the RGB ratio is the same as that of the Bayer array, color reproduction equivalent to that of the Bayer array can also be realized.
なお、本実施形態のオンチップカラーフィルタは、本実施形態の基本パターン(基本フィルタアレイパターン)の繰り返しを含んでいればよく、m×n枚(m、nは整数)の上記基本パターンのみから構成されるとは限らない。例えばカラーフィルタの周縁部は、上記基本パターンの一部で構成されるかもしれない。 The on-chip color filter of the present embodiment only needs to include the repetition of the basic pattern (basic filter array pattern) of the present embodiment, and only m × n (m and n are integers) of the above basic patterns. Not necessarily configured. For example, the peripheral edge of the color filter may be constituted by a part of the basic pattern.
また、本実施形態では電子内視鏡装置を例に説明を行ったが、本実施形態のオンチップカラーフィルタは、他の撮像装置に用いてもよく、例えばカメラや携帯電話などの撮像素子にも適用してもよい。 In the present embodiment, the electronic endoscope apparatus has been described as an example. However, the on-chip color filter of the present embodiment may be used in other imaging apparatuses, for example, in an imaging element such as a camera or a mobile phone. May also be applied.
10 電子内視鏡装置
11 電子スコープ
12 プロセッサ装置
13 モニタ装置
14 撮像素子
15 オンチップカラーフィルタ
20A〜20D 単位フィルタアレイ
21A〜21F 基本フィルタアレイパターン
DESCRIPTION OF
Claims (4)
An electronic endoscope equipped with the imaging device according to claim 3.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012070309A JP2013201723A (en) | 2012-03-26 | 2012-03-26 | On-chip color filter alignment for image pick-up device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012070309A JP2013201723A (en) | 2012-03-26 | 2012-03-26 | On-chip color filter alignment for image pick-up device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013201723A true JP2013201723A (en) | 2013-10-03 |
Family
ID=49521582
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012070309A Pending JP2013201723A (en) | 2012-03-26 | 2012-03-26 | On-chip color filter alignment for image pick-up device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013201723A (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62118686A (en) * | 1985-11-19 | 1987-05-30 | Toshiba Corp | Single board type solid-state image pickup device |
JP5054857B1 (en) * | 2011-02-28 | 2012-10-24 | 富士フイルム株式会社 | Color imaging device |
JP5095040B1 (en) * | 2011-03-09 | 2012-12-12 | 富士フイルム株式会社 | Color image sensor |
JP5621057B2 (en) * | 2011-12-27 | 2014-11-05 | 富士フイルム株式会社 | Color image sensor |
-
2012
- 2012-03-26 JP JP2012070309A patent/JP2013201723A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62118686A (en) * | 1985-11-19 | 1987-05-30 | Toshiba Corp | Single board type solid-state image pickup device |
JP5054857B1 (en) * | 2011-02-28 | 2012-10-24 | 富士フイルム株式会社 | Color imaging device |
JP5095040B1 (en) * | 2011-03-09 | 2012-12-12 | 富士フイルム株式会社 | Color image sensor |
JP5621057B2 (en) * | 2011-12-27 | 2014-11-05 | 富士フイルム株式会社 | Color image sensor |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10425624B2 (en) | Solid-state image capturing device and electronic device | |
JP6308760B2 (en) | Photoelectric conversion device and imaging device having photoelectric conversion device | |
JP5702894B2 (en) | Color imaging device and imaging apparatus | |
JP5589146B2 (en) | Imaging device and imaging apparatus | |
JP6595804B2 (en) | Solid-state imaging device and imaging apparatus | |
JP5702893B2 (en) | Color imaging device and imaging apparatus | |
JP6389685B2 (en) | Imaging apparatus and imaging system | |
JPWO2017018258A1 (en) | Solid-state imaging device and electronic apparatus | |
JP2006033493A (en) | Imaging apparatus | |
KR20160065464A (en) | Color filter array, image sensor having the same and infrared data acquisition method using the same | |
WO2013099637A1 (en) | Color imaging element and imaging device | |
JP2013219082A (en) | Solid state image pickup device and electronic apparatus | |
JP2013048428A5 (en) | ||
JP5380629B2 (en) | Color image sensor | |
JPWO2011043051A1 (en) | Imaging apparatus and solid-state imaging device | |
JP6473350B2 (en) | Color image sensor | |
TWI709340B (en) | Solid-state imaging device and electronic equipment | |
JPWO2013100035A1 (en) | Color image sensor | |
JP2017055260A (en) | On-chip color filter | |
JP2011243851A (en) | Solid state image pickup device | |
JP2013201723A (en) | On-chip color filter alignment for image pick-up device | |
CN104349146A (en) | Solid-state imaging device, driving method for the same, and electronic apparatus | |
WO2016147901A1 (en) | Solid-state image-capturing element, image-capturing device, and electronic instrument | |
JP2012244495A (en) | Color filter for single-plate multiband imaging element, single-plate multiband imaging element, and multiband imaging element | |
JP6461868B2 (en) | Color filter array with low density blue |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151201 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160329 |