JP2007251392A - カラー撮像素子の製造方法およびその装置 - Google Patents
カラー撮像素子の製造方法およびその装置 Download PDFInfo
- Publication number
- JP2007251392A JP2007251392A JP2006069540A JP2006069540A JP2007251392A JP 2007251392 A JP2007251392 A JP 2007251392A JP 2006069540 A JP2006069540 A JP 2006069540A JP 2006069540 A JP2006069540 A JP 2006069540A JP 2007251392 A JP2007251392 A JP 2007251392A
- Authority
- JP
- Japan
- Prior art keywords
- color
- random
- array
- pattern
- pixel position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 title claims description 91
- 230000008569 process Effects 0.000 claims description 63
- 239000003086 colorant Substances 0.000 claims description 31
- 238000003384 imaging method Methods 0.000 claims description 15
- 230000002194 synthesizing effect Effects 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000013139 quantization Methods 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 abstract 3
- 239000002131 composite material Substances 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 16
- 230000015572 biosynthetic process Effects 0.000 description 11
- 238000003786 synthesis reaction Methods 0.000 description 11
- 238000009792 diffusion process Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 3
- 241001589086 Bellapiscis medius Species 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14683—Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
- H01L27/14685—Process for coatings or optical elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Power Engineering (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
【課題】偽色を低減させ、且つ高解像度のカラー撮像素子を製造できるカラー撮像素子の製造方法を提供する。
【解決手段】配列合成部２０４は、ＲＲ´ランダム配列パターンＳ２１が示す各画素の間に一画素分の間隔が開くように並べ替え、ＢＢ´ランダム配列パターンＳ２２の各画素の間に一画素分の間隔が開くように並べ替え、ＧＧ´規則配列パターンＳ２３の規則的配列を市松の配列に並べ替て、これらを合成することで一部ランダム配列パターンである色フィルタパターンＳ１０を生成する。
【選択図】図１
【解決手段】配列合成部２０４は、ＲＲ´ランダム配列パターンＳ２１が示す各画素の間に一画素分の間隔が開くように並べ替え、ＢＢ´ランダム配列パターンＳ２２の各画素の間に一画素分の間隔が開くように並べ替え、ＧＧ´規則配列パターンＳ２３の規則的配列を市松の配列に並べ替て、これらを合成することで一部ランダム配列パターンである色フィルタパターンＳ１０を生成する。
【選択図】図１
Description
本発明は、デジタルカメラをはじめとする、固体撮像素子及び固体撮像素子を利用したカラー撮像素子の製造方法およびその装置に関するものである。
例えば、単板式の固体撮像素子を用いた撮影装置では、そのまま撮影しても単一の分光感度しか得られない。このため、多数の画素に対してそれぞれ異なる色フィルタを貼り、それらを特定のパターンで配置してカラー撮影を行なう方法が一般的となっている。撮像された画像は、画素毎には1つの色しか得ることができず、色に関してモザイク状になった画像が生成される。しかし、周囲の画素から得られる色情報を利用して補間を行なうことにより、全画素で全ての色がそろった画像を生成することができる。このような補間処理は色分離処理と呼ばれる。
しかし、離散的に各色がサンプリングされているため撮影画像にナイキスト周波数を超える高周波成分が含まれている場合、エイリアシング(高周波成分の低周波領域への折り返し)が起き、本来と異なる色を推定してしまうという問題があった。
しかし、離散的に各色がサンプリングされているため撮影画像にナイキスト周波数を超える高周波成分が含まれている場合、エイリアシング(高周波成分の低周波領域への折り返し)が起き、本来と異なる色を推定してしまうという問題があった。
以上の問題に対して、色フィルタ配列の規則性を減らし、偽色の発生を抑制しようとする発明がなされてきた。FillFactory社の提案するpseudo-random Bayer（擬似ランダム・ベイヤー）配列(http://www.fillfactory.com/htm/technology/htm/rgbfaq.htm)では、Gが市松状に配置され、残った画素位置にR,Bが擬似ランダムに配置される、3色G市松擬似ランダム配列が示されている。
特開2000-316169号公報「吉田英明.“カラー撮像素子及びカラー撮像装置”」では、注目画素位置の４辺又は４角で6色の色フィルタと隣接するという条件の6色ランダム配列が示されている。
ＥＰ公告公報、第0,804,037号,(A2)「Mutze, Ulrich, Dr. “Process and system for generating a full color image or multispectral image from the image data of a CCD image sensor with a mosaic color filter.”」では5色で3x3の繰り返しパターンを持つ配列と、擬似ランダムなパターンを持つ配列が示されている。
FillFactory社のpseudo-random Bayer配列ではR,Bの配列が擬似ランダムとはいえ繰り返し周期が短いため、空間周波数領域における偽色の発生位置がBayerと多少異なるだけで、実質的には偽色低減の効果は見られず、後者２つは前者よりもランダム性を強めているので偽色低減の効果は期待できるが、全色を区別無くランダムに並べているため解像度の面ではＧが市松に存在し、特許第2931520号公報に見られる相関処理が使えるBayer配列やpseudo-random Bayer配列に比べて不利になるという問題があった。
偽色を低減させるためには、配列の一部の色がランダムに配置されている必要があり、
解像度の再現性を上げるためには、配列の一部の色が規則的に配置されている必要がある。
また、注目画素に存在しない色を周りの画素から補間するためには、たとえ一部の色がランダムに配置されていても、全ての色が必ず近傍に存在していなければならない。
以上の条件を全て満たす配列を生成する方法はこれまで知られていなかった。
特開2000-316169号公報
ＥＰ公告公報第0,804,037号(A2)
偽色を低減させるためには、配列の一部の色がランダムに配置されている必要があり、
解像度の再現性を上げるためには、配列の一部の色が規則的に配置されている必要がある。
また、注目画素に存在しない色を周りの画素から補間するためには、たとえ一部の色がランダムに配置されていても、全ての色が必ず近傍に存在していなければならない。
以上の条件を全て満たす配列を生成する方法はこれまで知られていなかった。
従来、単板カラー撮像素子に使用される色フィルタ（フィルタ）をランダムに配置する発明がなされてきたが、偽色の低減効果が得られる配列であっても、代わりに解像度の低下を招くものであった。
本発明は偽色を低減させ、且つ高解像度のカラー撮像素子を製造できるカラー撮像素子の製造方法およびその装置を提供することを目的とする。
本発明は偽色を低減させ、且つ高解像度のカラー撮像素子を製造できるカラー撮像素子の製造方法およびその装置を提供することを目的とする。
上述した従来技術の問題点を解決し、上述した目的を達成するため、第１の観点の発明のカラー撮像素子の製造方法は、光電変換素子からなる画素を複数個配列した画素群を有するカラー撮像素子の製造方法であって、任意の画素位置について、当該画素位置を含む規定された大きさの領域内における色の存在頻度が所望の誤差範囲に収まるように、一部の色の画素をランダムに配列したランダム配列パターンを生成するランダム配列生成工程と、残りの色の画素を規則的に配置した規則配列パターンを生成する規則配列生成工程と、前記ランダム配列生成工程で生成した前記ランダム配列パターンと、前記規則配列生成工程で生成した規則配列パターンとを規則的に合成して色フィルタパターンを生成する色フィルタ生成工程とを有する。
また、カラー撮像素子の製造装置は、光電変換素子からなる画素を複数個配列した画素群を有するカラー撮像素子の製造装置であって、任意の画素位置について、当該画素位置を含む規定された大きさの領域内における色の存在頻度が所望の誤差範囲に収まるように、一部の色の画素をランダムに配列したランダム配列パターンを生成するランダム配列生成手段と、残りの色の画素を規則的に配置した規則配列パターンを生成する規則配列生成手段と、前記ランダム配列生成手段で生成した前記ランダム配列パターンと、前記規則配列生成手段で生成した規則配列パターンとを規則的に合成して色フィルタパターンを生成する色フィルタ生成手段とを有する。
本発明で述べるランダムという言葉は、完全なランダムを意味するものではない。
完全にランダムな色配列を生成した場合、局所における色の存在頻度は必ずしも安定しない。
本発明では、注目画素位置を含む規定された大きさの領域内における色の存在頻度が所望の誤差範囲に収まり、かつ十分に規則性が失われた色フィルタ配置になっている色フィルタ配列のことをランダム配列と呼び、規則的に色が配置されている色フィルタ配列のことを規則的配列と呼ぶ。
さらに、ランダム配列と規則的配列を合成して作られた配列を一部ランダム配列と呼ぶ。
また、規定された大きさの領域のことを局所領域と呼ぶ。
局所領域に関しては、簡単には単一の矩形領域を指定しても構わないし、矩形、非矩形を問わず複数の領域を指定しても構わない。
複数の領域を指定する場合には、それぞれの領域で異なる存在頻度の許容誤差範囲を定めてもよい。
完全にランダムな色配列を生成した場合、局所における色の存在頻度は必ずしも安定しない。
本発明では、注目画素位置を含む規定された大きさの領域内における色の存在頻度が所望の誤差範囲に収まり、かつ十分に規則性が失われた色フィルタ配置になっている色フィルタ配列のことをランダム配列と呼び、規則的に色が配置されている色フィルタ配列のことを規則的配列と呼ぶ。
さらに、ランダム配列と規則的配列を合成して作られた配列を一部ランダム配列と呼ぶ。
また、規定された大きさの領域のことを局所領域と呼ぶ。
局所領域に関しては、簡単には単一の矩形領域を指定しても構わないし、矩形、非矩形を問わず複数の領域を指定しても構わない。
複数の領域を指定する場合には、それぞれの領域で異なる存在頻度の許容誤差範囲を定めてもよい。
本発明により得られた一部ランダム配列もまた、注目画素位置を含む局所領域における色の存在頻度が所望の誤差範囲に収まる。
ただし、一部ランダム配列における局所領域と、ランダム配列における局所領域とは別物であり、それぞれの領域内において期待される色の存在頻度もまた別物である。
一部ランダム配列はランダム配列と規則的配列を規則的に合成したものである。
そのため、一部ランダム配列に関して局所領域と期待される色の存在頻度を規定すると、合成手順を考慮することによって、逆にランダム配列に関する局所領域と期待される色の存在頻度を規定することができる。
つまり、一部ランダム配列に対して色分離処理を行うのに十分な局所領域の大きさと色の存在頻度を規定することで、ランダム配列に要求される条件を定めることができる。
一部ランダム配列が持つ特徴として、配列の一部の色がランダムに配置されることで、偽色の低減効果が得られる点と、配列の一部の色が規則的に配置されることで、解像度の再現性向上が望める点が挙げられる。
ただし、一部ランダム配列における局所領域と、ランダム配列における局所領域とは別物であり、それぞれの領域内において期待される色の存在頻度もまた別物である。
一部ランダム配列はランダム配列と規則的配列を規則的に合成したものである。
そのため、一部ランダム配列に関して局所領域と期待される色の存在頻度を規定すると、合成手順を考慮することによって、逆にランダム配列に関する局所領域と期待される色の存在頻度を規定することができる。
つまり、一部ランダム配列に対して色分離処理を行うのに十分な局所領域の大きさと色の存在頻度を規定することで、ランダム配列に要求される条件を定めることができる。
一部ランダム配列が持つ特徴として、配列の一部の色がランダムに配置されることで、偽色の低減効果が得られる点と、配列の一部の色が規則的に配置されることで、解像度の再現性向上が望める点が挙げられる。
また、本発明は、好ましくは、ランダムに色フィルタが配置された色フィルタ配列の生成方法が、任意の注目画素位置について、注目画素位置を含む規定された大きさの領域内における色の存在頻度が所望の誤差範囲に収まるように規則的に色が並べられた色フィルタ配列に対し、ランダムに注目画素位置を選び、注目画素位置の色C1を別の色C2に置き換え、注目画素位置を含む規定された大きさの領域内に存在する色の存在頻度を調べ、存在頻度が所望の誤差範囲に収まらない場合には、注目画素位置の色をC1に戻す処理を繰り返し行うことを特徴とする。
このようなランダム色フィルタ配列の生成方法を用いることにより、注目画素位置を含む規定された大きさの領域内における色の存在頻度が所望の誤差範囲に収まるようにランダムに色フィルタが配置されたランダム色フィルタ配列を生成することができる。
このようなランダム色フィルタ配列の生成方法を用いることにより、注目画素位置を含む規定された大きさの領域内における色の存在頻度が所望の誤差範囲に収まるようにランダムに色フィルタが配置されたランダム色フィルタ配列を生成することができる。
また、本発明は、好ましくは、ランダムに色フィルタが配置された色フィルタ配列の生成方法が、連続値、もしくは十分に大きな量子化ビット数で表された離散値を画素値として持つホワイトノイズ画像に対し、十分に低周波成分を抑制できるハイパスフィルタを適用して得られた画像の画素値を量子化し、一つの画素値に一つの色を対応させることを特徴とする。
このようなランダム色フィルタ配列の生成方法を用いることにより、注目画素位置を含む規定された大きさの領域内における色の存在頻度が所望の誤差範囲に収まるようにランダムに色フィルタが配置されたランダム色フィルタ配列を生成することができる。
このようなランダム色フィルタ配列の生成方法を用いることにより、注目画素位置を含む規定された大きさの領域内における色の存在頻度が所望の誤差範囲に収まるようにランダムに色フィルタが配置されたランダム色フィルタ配列を生成することができる。
本発明によれば、偽色を低減させ、且つ高解像度のカラー撮像素子を製造できるカラー撮像素子の製造方法およびその装置を提供することができる。
以下、本発明の実施形態に係わるカラー撮像素子の製造方法およびその装置について説明する。
＜第１実施形態＞
図１は、本発明の第１実施形態に係わる画像処理装置１の全体構成図である。
図１に示すように、画像処理装置１は、例えば、ＲＲ´ランダム配列生成部２０１、ＢＢ´ランダム配列生成部２０２、ＧＧ´規則的配列生成部２０３および配列合成部２０４を有する。
画像処理装置１は、図２に示すような色フィルタパターンＳ１０を生成する。
色フィルタパターンＳ１０は、Gが水平及び垂直に1ラインおきに配置され、G´が水平及び垂直に1ラインおき、且つGとは異なるラインに配置されている。
また、R,R´がG,G´の存在しない画素位置で水平及び垂直に1ラインおきの画素位置にランダムに配置されている。
また、B,B´がR,R´,G,G´の存在しない画素位置でランダムに配置されている。
なお、上記R,R´B,B´G,G´はそれぞれ異なる色の画素（光電変換素子）、あるいはフィルタパターン上での位置を示す。
また、R´は、B,B´,G,G´に比べてRに近い色に対応付けれている。
B´は、R,R´,G,G´に比べてBに近い色に対応付けられている。
G´は、R,R´B,B´に比べてGに近い色に対応付けられている。
なお、本実施形態において、R,R´は赤色を示し、B,B´は青色を示し、G,G´は緑色を示す。
＜第１実施形態＞
図１は、本発明の第１実施形態に係わる画像処理装置１の全体構成図である。
図１に示すように、画像処理装置１は、例えば、ＲＲ´ランダム配列生成部２０１、ＢＢ´ランダム配列生成部２０２、ＧＧ´規則的配列生成部２０３および配列合成部２０４を有する。
画像処理装置１は、図２に示すような色フィルタパターンＳ１０を生成する。
色フィルタパターンＳ１０は、Gが水平及び垂直に1ラインおきに配置され、G´が水平及び垂直に1ラインおき、且つGとは異なるラインに配置されている。
また、R,R´がG,G´の存在しない画素位置で水平及び垂直に1ラインおきの画素位置にランダムに配置されている。
また、B,B´がR,R´,G,G´の存在しない画素位置でランダムに配置されている。
なお、上記R,R´B,B´G,G´はそれぞれ異なる色の画素（光電変換素子）、あるいはフィルタパターン上での位置を示す。
また、R´は、B,B´,G,G´に比べてRに近い色に対応付けれている。
B´は、R,R´,G,G´に比べてBに近い色に対応付けられている。
G´は、R,R´B,B´に比べてGに近い色に対応付けられている。
なお、本実施形態において、R,R´は赤色を示し、B,B´は青色を示し、G,G´は緑色を示す。
図１に示す画像処理装置１では、ＲＲ´ランダム配列生成部２０１が、図３に示すように配列内にR,R´が含まれるＲＲ´ランダム配列パターンＳ２１を生成する。
ＢＢ´ランダム配列生成部２０２は、図４に示すように、配列内にB,B´が含まれるＢＢ´ランダム配列パターンＳ２２を生成する。
ＧＧ´規則的配列生成部２０３は、図５に示すように、配列内にG,G´のみが含まれるＧＧ´規則配列パターンＳ２３を生成する。
ＢＢ´ランダム配列生成部２０２は、図４に示すように、配列内にB,B´が含まれるＢＢ´ランダム配列パターンＳ２２を生成する。
ＧＧ´規則的配列生成部２０３は、図５に示すように、配列内にG,G´のみが含まれるＧＧ´規則配列パターンＳ２３を生成する。
配列合成部２０４は、ＲＲ´ランダム配列パターンＳ２１が示す各画素の間に一画素分の間隔が開くように並べ替え、ＢＢ´ランダム配列パターンＳ２２の各画素の間に一画素分の間隔が開くように並べ替え、ＧＧ´規則配列パターンＳ２３の規則的配列を市松の配列に並べ替えて、これらを合成することで一部ランダム配列パターンである色フィルタパターンＳ１０を生成する。
以下、図１に示す画像処理装置１の各構成要素の詳細について説明する。
［ＲＲ´ランダム配列生成部２０１］
ＲＲ´ランダム配列生成部２０１は、先ず、図６に示すRとR´が規則的に配列されたn×n画素の規則配列パターンＳ３０を生成する。
図７は、ＲＲ´ランダム配列生成部２０１が規則配列パターンＳ３０を生成する手順を説明するための図である。
ＲＲ´ランダム配列生成部２０１は、ステップST301 において処理を実行する画素位置を示す変数iを1に初期化し、ステップST302 において処理を実行する画素位置を示す変数jを1に初期化する。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST303 においてi+jを2で除算した剰余が0であるかどうかを判定し、剰余が0であればステップST304 において画素位置(i,j)の色をRとし、剰余が0でなければステップST305 において画素位置(i,j)の色をR´とする。
図７中で用いられているColRR´(i,j)は画素位置(i,j)の色を表す。
以下、ColZ (x,y)は画素位置(x,y)の色を表すものとし、添え字Zの部分は配列を区別するために適宜、適当な文字列を付けることとする。
ColRR´(x,y)はRとR´からなる配列の色を示し、ColBB´(x,y)はBとB´からなる配列の色を示す。また、ColGG´(x,y)はGとG´からなる配列の色を示し、ColComp(x,y)は前記3つの配列を合成して得られる配列の色を示す。
［ＲＲ´ランダム配列生成部２０１］
ＲＲ´ランダム配列生成部２０１は、先ず、図６に示すRとR´が規則的に配列されたn×n画素の規則配列パターンＳ３０を生成する。
図７は、ＲＲ´ランダム配列生成部２０１が規則配列パターンＳ３０を生成する手順を説明するための図である。
ＲＲ´ランダム配列生成部２０１は、ステップST301 において処理を実行する画素位置を示す変数iを1に初期化し、ステップST302 において処理を実行する画素位置を示す変数jを1に初期化する。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST303 においてi+jを2で除算した剰余が0であるかどうかを判定し、剰余が0であればステップST304 において画素位置(i,j)の色をRとし、剰余が0でなければステップST305 において画素位置(i,j)の色をR´とする。
図７中で用いられているColRR´(i,j)は画素位置(i,j)の色を表す。
以下、ColZ (x,y)は画素位置(x,y)の色を表すものとし、添え字Zの部分は配列を区別するために適宜、適当な文字列を付けることとする。
ColRR´(x,y)はRとR´からなる配列の色を示し、ColBB´(x,y)はBとB´からなる配列の色を示す。また、ColGG´(x,y)はGとG´からなる配列の色を示し、ColComp(x,y)は前記3つの配列を合成して得られる配列の色を示す。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST306 においてj=nであるかどうかを判定し、j=nでなければステップST308 においてjをj+1に更新し、ステップST303 の処理に戻り、j=nであればステップST307 に進む。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST307 においてi=nであるかどうかを判定し、i=nでなければステップST309 においてiをi+1に更新し、ステップST302 の処理に戻り、i=nであればステップST310 に進み、Ｒ，Ｒ´が規則的に配列されたn×n画素の規則配列パターンＳ３０を生成する。
図８は、ＲＲ´ランダム配列生成部２０１が図７に示す手順で生成した規則配列パターンＳ３０を基に、ＲＲ´ランダム配列パターンＳ２１を生成する手順を説明するためのフローチャートである。
ＲＲ´ランダム配列生成部２０１は、ステップST401 において図７の手順で生成した規則配列パターンＳ３０を取得する。
ＲＲ´ランダム配列生成部２０１は、ステップST402 においてループ回数を示す変数kを1に初期化する。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST403 において処理を実行する画素位置を示す変数xをn未満の正の整数値の乱数とし、ステップST404 において処理を実行する画素位置を示す変数yをn未満の正の整数値の乱数とする。
このとき、乱数の生成方法は各種存在するが、生成された乱数の分布に偏りがないことが望ましく、例えば、M. Matsumoto and T. Nishimura, “Mersenne Twister: A 623-dimensionally equidistributed uniform pseudorandom number generator”, ACM Trans. on Modeling and Computer Simulation Vol. 8, No. 1, January pp.3-30に示されるMersenne Twister法による乱数を用いるとよい。
ＲＲ´ランダム配列生成部２０１は、ステップST401 において図７の手順で生成した規則配列パターンＳ３０を取得する。
ＲＲ´ランダム配列生成部２０１は、ステップST402 においてループ回数を示す変数kを1に初期化する。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST403 において処理を実行する画素位置を示す変数xをn未満の正の整数値の乱数とし、ステップST404 において処理を実行する画素位置を示す変数yをn未満の正の整数値の乱数とする。
このとき、乱数の生成方法は各種存在するが、生成された乱数の分布に偏りがないことが望ましく、例えば、M. Matsumoto and T. Nishimura, “Mersenne Twister: A 623-dimensionally equidistributed uniform pseudorandom number generator”, ACM Trans. on Modeling and Computer Simulation Vol. 8, No. 1, January pp.3-30に示されるMersenne Twister法による乱数を用いるとよい。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST405 においてColRR´(x,y)を一時的に変数Cに記憶する。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST406 においてColRR´(x,y)をランダムでRかR´にする。ランダムでRかR´を選ぶには、例えば十分に大きな正の整数値の乱数に対して2で除算した剰余が0である時にRを選び、剰余が1である時にR´を選ぶようにすればよい。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST406 においてColRR´(x,y)をランダムでRかR´にする。ランダムでRかR´を選ぶには、例えば十分に大きな正の整数値の乱数に対して2で除算した剰余が0である時にRを選び、剰余が1である時にR´を選ぶようにすればよい。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST407 において注目画素位置(x,y)を含む局所領域内に存在するR,R´の存在頻度が所望の誤差範囲に収まっているかどうかを調べる。
そして、ＲＲ´ランダム配列生成部２０１は、誤差範囲内に収まっていなければステップST410 に進み、ColRR´(x,y)を元の色であるCにし、ステップST411 においてkをk+1に更新してステップST403 に戻る。一方、ＲＲ´ランダム配列生成部２０１は、誤差範囲内に収まっていればステップST408 に進む。
そして、ＲＲ´ランダム配列生成部２０１は、誤差範囲内に収まっていなければステップST410 に進み、ColRR´(x,y)を元の色であるCにし、ステップST411 においてkをk+1に更新してステップST403 に戻る。一方、ＲＲ´ランダム配列生成部２０１は、誤差範囲内に収まっていればステップST408 に進む。
ＲＲ´ランダム配列生成部２０１は、ステップST408 において、kが最大ループ回数を示す定数MAXLOOP以下であればステップST411 においてkをk+1に更新してステップST403 に戻る。ｋが最大ループ回数を示す定数MAXLOOPより大きければ、ステップST409 に進み、n×n画素のRR´のＲＲ´ランダム配列パターンＳ２１を出力して処理を終了する。
図９は、以下、ＲＲ´ランダム配列生成部２０１による図８のステップST407 を詳細に表したフローチャートである。
本実施例では存在頻度を調べる際の局所領域を、注目画素位置(x,y)を含むm×m画素の単一の矩形領域とし、この矩形領域内に存在するRとR´の存在頻度が、定数const1より大きく、かつ定数const2より小さいかどうかを調べる。
本実施例では存在頻度を調べる際の局所領域を、注目画素位置(x,y)を含むm×m画素の単一の矩形領域とし、この矩形領域内に存在するRとR´の存在頻度が、定数const1より大きく、かつ定数const2より小さいかどうかを調べる。
ＲＲ´ランダム配列生成部２０１は、ステップST501 において局所領域の位置を示す変数iをi=-m+1に初期化し、ステップST502 において局所領域の位置を示す変数jをj=-m+1に初期化する。
また、ＲＲ´ランダム配列生成部２０１は、ステップST503 において局所領域内に含まれているRの個数を示す変数aを0に初期化し、ステップST504 において局所領域内に含まれているR´の個数を示す変数bを0に初期化する。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST505 において局所領域内で処理を実行する画素位置を示す変数sを0に初期化し、ステップST506 において局所領域内で処理を実行する画素位置を示す変数tを0に初期化する。
また、ＲＲ´ランダム配列生成部２０１は、ステップST503 において局所領域内に含まれているRの個数を示す変数aを0に初期化し、ステップST504 において局所領域内に含まれているR´の個数を示す変数bを0に初期化する。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST505 において局所領域内で処理を実行する画素位置を示す変数sを0に初期化し、ステップST506 において局所領域内で処理を実行する画素位置を示す変数tを0に初期化する。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST507 においてColRR´(x+i+s,y+j+t)がRであるかどうかを調べる。ここで用いられる変数x,yは図８で用いられているものである。
ＲＲ´ランダム配列生成部２０１は、ColRR´(x+i+s,y+j+t)がRであれば、ステップST508 においてaをa+1に更新し、ステップST510 に進む。
一方、ＲＲ´ランダム配列生成部２０１は、ColRR´(x+i+s,y+j+t)がRでなければ、ステップST509 においてbをb+1に更新し、ステップST510 に進む。
ＲＲ´ランダム配列生成部２０１は、ColRR´(x+i+s,y+j+t)がRであれば、ステップST508 においてaをa+1に更新し、ステップST510 に進む。
一方、ＲＲ´ランダム配列生成部２０１は、ColRR´(x+i+s,y+j+t)がRでなければ、ステップST509 においてbをb+1に更新し、ステップST510 に進む。
ＲＲ´ランダム配列生成部２０１は、ステップST510 においてt=m-1であるかどうかを判定し、t=m-1でなければステップST512 においてtをt+1に更新し、ステップST507 の処理に戻り、t=m-1であればステップST511 に進む。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST511 においてs=m-1であるかどうかを判定し、s=m-1でなければステップST513 においてsをs+1に更新し、ステップST506 の処理に戻り、s=m-1であればステップST514 に進む。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST511 においてs=m-1であるかどうかを判定し、s=m-1でなければステップST513 においてsをs+1に更新し、ステップST506 の処理に戻り、s=m-1であればステップST514 に進む。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST514 においてconst1<a/(a+b)<const2かつconst1<b/(a+b)<const2 であるかを調べ、上記条件を満たしていない場合は、注目画素位置(x,y)を含む局所領域でのRとR´の存在頻度が所望の誤差範囲内に収まっていないと判定する。
ＲＲ´ランダム配列生成部２０１は、上記条件を満たしている場合は、ステップST515 に進む。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST515 においてj=0であるかどうかを判定し、j=0でなければステップST517 においてjをj+1に更新し、ステップST503 の処理に戻り、j=0であればステップST516 に進む。
ＲＲ´ランダム配列生成部２０１は、上記条件を満たしている場合は、ステップST515 に進む。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST515 においてj=0であるかどうかを判定し、j=0でなければステップST517 においてjをj+1に更新し、ステップST503 の処理に戻り、j=0であればステップST516 に進む。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST516 においてi=0であるかどうかを判定し、i=0でなければステップST518 においてiをi+1に更新し、ステップST502 の処理に戻り、i=0であれば注目画素位置(x,y)を含む局所領域でのRとR´の存在頻度が所望の誤差範囲内に収まっていると判定する。
［ＢＢ´ランダム配列生成部２０２］
ＢＢ´ランダム配列生成部２０２の処理は、ＲＲ´ランダム配列生成部２０１によるR,R´に対しての処理と同じ処理（図７、図８および図９の処理）を、BとB´に対して行う。
ＢＢ´ランダム配列生成部２０２の処理は、ＲＲ´ランダム配列生成部２０１によるR,R´に対しての処理と同じ処理（図７、図８および図９の処理）を、BとB´に対して行う。
［ＧＧ´規則的配列生成部２０３］
ＧＧ´規則的配列生成部２０３は、GとG´が規則的に配列されたn×2n画素の配列を示す、一部ランダム配列パターンである色フィルタパターンＳ１０を生成する。
図１０は、ＧＧ´規則的配列生成部２０３の処理を説明するためのフローチャートである。
ＧＧ´規則的配列生成部２０３は、ステップST601 において処理を実行する画素位置を示す変数iを1に初期化し、ステップST602 において処理を実行する画素位置を示す変数jを1に初期化する。
次に、ＧＧ´規則的配列生成部２０３は、ステップST603 においてiを2で除算した剰余が0であるかどうかを判定し、剰余が0であればステップST604 においてColGG´(i,j)をGとし、剰余が0でなければステップST605 においてColGG´(i,j)をG´とする。
ＧＧ´規則的配列生成部２０３は、GとG´が規則的に配列されたn×2n画素の配列を示す、一部ランダム配列パターンである色フィルタパターンＳ１０を生成する。
図１０は、ＧＧ´規則的配列生成部２０３の処理を説明するためのフローチャートである。
ＧＧ´規則的配列生成部２０３は、ステップST601 において処理を実行する画素位置を示す変数iを1に初期化し、ステップST602 において処理を実行する画素位置を示す変数jを1に初期化する。
次に、ＧＧ´規則的配列生成部２０３は、ステップST603 においてiを2で除算した剰余が0であるかどうかを判定し、剰余が0であればステップST604 においてColGG´(i,j)をGとし、剰余が0でなければステップST605 においてColGG´(i,j)をG´とする。
次に、ＧＧ´規則的配列生成部２０３は、ステップST606 においてj=nであるかどうかを判定し、j=nでなければステップST608 においてjをj+1に更新し、ステップST603 の処理に戻り、j=nであればステップST607 に進む。
次に、ＧＧ´規則的配列生成部２０３は、ステップST607 においてi=2nであるかどうかを判定し、i=2nでなければステップST609 においてiをi+1に更新し、ステップST602 の処理に戻り、i=2nであればステップST610 に進み、n×2n画素のGG´規則的配列であるＧＧ´規則配列パターンＳ２３を出力して処理を終了する。
次に、ＧＧ´規則的配列生成部２０３は、ステップST607 においてi=2nであるかどうかを判定し、i=2nでなければステップST609 においてiをi+1に更新し、ステップST602 の処理に戻り、i=2nであればステップST610 に進み、n×2n画素のGG´規則的配列であるＧＧ´規則配列パターンＳ２３を出力して処理を終了する。
［配列合成部２０４］
配列合成部２０４は、ＲＲ´ランダム配列生成部２０１からのＲＲ´ランダム配列パターンＳ２１と、ＢＢ´ランダム配列生成部２０２からのＢＢ´ランダム配列パターンＳ２２と、ＧＧ´規則的配列生成部２０３からのＧＧ´規則配列パターンＳ２３とを基に、R、R´、B、B´、G、G´の6色からなる2n×2n画素の一部ランダム配列の図２に示す色フィルタパターンＳ１０を生成する。
配列合成部２０４は、ＲＲ´ランダム配列生成部２０１からのＲＲ´ランダム配列パターンＳ２１と、ＢＢ´ランダム配列生成部２０２からのＢＢ´ランダム配列パターンＳ２２と、ＧＧ´規則的配列生成部２０３からのＧＧ´規則配列パターンＳ２３とを基に、R、R´、B、B´、G、G´の6色からなる2n×2n画素の一部ランダム配列の図２に示す色フィルタパターンＳ１０を生成する。
図１１は、配列合成部２０４の処理を説明するためのフローチャートである。
配列合成部２０４は、ステップST701 においてRR´ランダム配列生成手段で生成されたn×n画素のRR´ランダム配列を取得し、ステップST702 においてBB´ランダム配列生成手段で生成されたn×n画素のRR´ランダム配列を取得する。
また、配列合成部２０４は、ステップST703 においてGG´規則的配列生成手段で生成されたn×2n画素のGG´規則的配列を取得する。
配列合成部２０４は、ステップST701 においてRR´ランダム配列生成手段で生成されたn×n画素のRR´ランダム配列を取得し、ステップST702 においてBB´ランダム配列生成手段で生成されたn×n画素のRR´ランダム配列を取得する。
また、配列合成部２０４は、ステップST703 においてGG´規則的配列生成手段で生成されたn×2n画素のGG´規則的配列を取得する。
次に、配列合成部２０４は、ステップST704 において処理を実行する画素位置を示す変数iを1に初期化し、ステップST705 において処理を実行する画素位置を示す変数jを1に初期化する。
次に、配列合成部２０４は、ステップST706 においてi+jを2で除算した剰余が0であるかどうかを判定し、剰余が0であればステップST707 に進み、剰余が0でなければステップST708 に進む。
配列合成部２０４は、ステップST707 ではjを2で除算した剰余が0であるかどうかを判定し、剰余が0であればステップST709 においてColComp(i,j)をColBB´(i/2,j/2)とし、ステップST713 に進み、剰余が0でなければステップST710 においてColComp(i,j)をColRR´((i+1)/2,(j+1)/2)とし、ステップST713 に進む。
配列合成部２０４は、ステップST708 ではjを2で除算した剰余が0であるかどうかを判定し、剰余が0であればステップST711 においてColComp(i,j)をColGG´(i,j/2)とし、ステップST713 に進み、剰余が0でなければステップST712 においてColComp(i,j)をColGG´(i,(j+1)/2)とし、ステップST713 に進む。
次に、配列合成部２０４は、ステップST706 においてi+jを2で除算した剰余が0であるかどうかを判定し、剰余が0であればステップST707 に進み、剰余が0でなければステップST708 に進む。
配列合成部２０４は、ステップST707 ではjを2で除算した剰余が0であるかどうかを判定し、剰余が0であればステップST709 においてColComp(i,j)をColBB´(i/2,j/2)とし、ステップST713 に進み、剰余が0でなければステップST710 においてColComp(i,j)をColRR´((i+1)/2,(j+1)/2)とし、ステップST713 に進む。
配列合成部２０４は、ステップST708 ではjを2で除算した剰余が0であるかどうかを判定し、剰余が0であればステップST711 においてColComp(i,j)をColGG´(i,j/2)とし、ステップST713 に進み、剰余が0でなければステップST712 においてColComp(i,j)をColGG´(i,(j+1)/2)とし、ステップST713 に進む。
次に、配列合成部２０４は、ステップST713 においてj=2nであるかどうかを判定し、
j=2nでなければステップST716 においてjをj+1に更新し、ステップST706 の処理に戻り、j=2nであればステップST714 に進む。
次に、配列合成部２０４は、ステップST714 においてi=2nであるかどうかを判定し、i=2nでなければステップST717 においてiをi+1に更新し、ステップST705 の処理に戻り、i=2nであればステップST715 に進み、2n×2n画素の一部ランダム配列の色フィルタパターンＳ１０を出力して処理を終了する。
j=2nでなければステップST716 においてjをj+1に更新し、ステップST706 の処理に戻り、j=2nであればステップST714 に進む。
次に、配列合成部２０４は、ステップST714 においてi=2nであるかどうかを判定し、i=2nでなければステップST717 においてiをi+1に更新し、ステップST705 の処理に戻り、i=2nであればステップST715 に進み、2n×2n画素の一部ランダム配列の色フィルタパターンＳ１０を出力して処理を終了する。
以上説明したように、画像処理装置１によれば、一部の色がランダムに配列された単板カラー撮像素子に使用される色フィルタ配列を持つ色フィルタパターンＳ１０を生成できる。
色フィルタパターンＳ１０を撮像素子の配列として用いた撮像装置では、配列の一部の色がランダムに配置されているので、偽色が低減され、配列の一部の色が規則的に配置されているので、解像度の再現性を上げることができる。さらに、画像処理装置１では、ランダムに配置されていると同時に、任意の注目画素位置について、注目画素位置を含む規定された大きさの領域内における色の存在頻度が所望の誤差範囲に収まるような配列が決められるため、注目画素近傍に必ず全ての色が存在し、色分離処理を行うことで色フィルタパターンＳ１０を生成できる。
色フィルタパターンＳ１０を撮像素子の配列として用いた撮像装置では、配列の一部の色がランダムに配置されているので、偽色が低減され、配列の一部の色が規則的に配置されているので、解像度の再現性を上げることができる。さらに、画像処理装置１では、ランダムに配置されていると同時に、任意の注目画素位置について、注目画素位置を含む規定された大きさの領域内における色の存在頻度が所望の誤差範囲に収まるような配列が決められるため、注目画素近傍に必ず全ての色が存在し、色分離処理を行うことで色フィルタパターンＳ１０を生成できる。
＜第２実施形態＞
本実施形態では、図１に示すＲＲ´ランダム配列生成部２０１およびＢＢ´ランダム配列生成部２０２において、ホワイトノイズ画像からランダム配列を生成する場合を説明するする。
この場合、ホワイトノイズ画像生成部によって生成されたホワイトノイズ画像に対し、ブルーノイズ画像生成手段によってハイパスフィルタを適用し、ブルーノイズ画像を生成する。
ＲＲ´ランダム配列生成部２０１は、ブルーノイズ画像に誤差拡散法による2値化を行い、2つの値にRとR´を対応させて、ＲＲ´ランダム配列パターンＳ２１を生成する。
本実施形態では、図１に示すＲＲ´ランダム配列生成部２０１およびＢＢ´ランダム配列生成部２０２において、ホワイトノイズ画像からランダム配列を生成する場合を説明するする。
この場合、ホワイトノイズ画像生成部によって生成されたホワイトノイズ画像に対し、ブルーノイズ画像生成手段によってハイパスフィルタを適用し、ブルーノイズ画像を生成する。
ＲＲ´ランダム配列生成部２０１は、ブルーノイズ画像に誤差拡散法による2値化を行い、2つの値にRとR´を対応させて、ＲＲ´ランダム配列パターンＳ２１を生成する。
先ず、ホワイトノイズ画像生成部について説明する。
ホワイトノイズ画像生成部は、区間[0,1]の実数値を画素値として持つ、n×n画素のホワイトノイズ画像を生成する。
図１２は、本実施形態におけるホワイトノイズ画像生成方法を説明するための図である。
ホワイトノイズ画像生成部は、ステップST801 において処理を実行する画素位置を示す変数iを1に初期化し、ステップST802 において処理を実行する画素位置を示す変数jを1に初期化する。
次に、ホワイトノイズ画像生成部は、ステップST803 において画素位置(i,j)の画素値を区間[0,1]の実数値の乱数とする。
図１２中で用いられているPRR´(i,j)は、ホワイトノイズ画像の画素位置(i,j)での画素値を表す。
ホワイトノイズ画像生成部は、区間[0,1]の実数値を画素値として持つ、n×n画素のホワイトノイズ画像を生成する。
図１２は、本実施形態におけるホワイトノイズ画像生成方法を説明するための図である。
ホワイトノイズ画像生成部は、ステップST801 において処理を実行する画素位置を示す変数iを1に初期化し、ステップST802 において処理を実行する画素位置を示す変数jを1に初期化する。
次に、ホワイトノイズ画像生成部は、ステップST803 において画素位置(i,j)の画素値を区間[0,1]の実数値の乱数とする。
図１２中で用いられているPRR´(i,j)は、ホワイトノイズ画像の画素位置(i,j)での画素値を表す。
次に、ホワイトノイズ画像生成部は、ステップST804 においてj=nであるかどうかを判定し、j=nでなければステップST806 においてjをj+1に更新し、ステップST803 の処理に戻り、j=nであればステップST805 に進む。
次に、ホワイトノイズ画像生成部は、ステップST805 においてi=nであるかどうかを判定し、i=nでなければステップST807 においてiをi+1に更新し、ステップST802 の処理に戻り、i=nであればステップST808 に進み、n×n画素のホワイトノイズ画像を出力して処理を終了する。
次に、ホワイトノイズ画像生成部は、ステップST805 においてi=nであるかどうかを判定し、i=nでなければステップST807 においてiをi+1に更新し、ステップST802 の処理に戻り、i=nであればステップST808 に進み、n×n画素のホワイトノイズ画像を出力して処理を終了する。
次に、ブルーノイズ画像生成部について説明する。
ブルーノイズ画像生成部は、ホワイトノイズ画像に対してハイパスフィルタを適用し、
区間[0,1]の実数値を画素値として持つ、n×n画素のブルーノイズ画像を生成する手段である。
本実施例では2m+1×2m+1画素の大きさを持つコンボリューションフィルタを用いてハイパスフィルタを実現している。
ブルーノイズ画像生成部は、ホワイトノイズ画像に対してハイパスフィルタを適用し、
区間[0,1]の実数値を画素値として持つ、n×n画素のブルーノイズ画像を生成する手段である。
本実施例では2m+1×2m+1画素の大きさを持つコンボリューションフィルタを用いてハイパスフィルタを実現している。
図１３に、m=2の時のコンボリューションフィルタの係数の例を示す。
別の実施例として、フーリエ変換を用いて、周波数空間上でハイパスフィルタを適用する構成にしても構わない。
別の実施例として、フーリエ変換を用いて、周波数空間上でハイパスフィルタを適用する構成にしても構わない。
図１４は、ブルーノイズ画像生成部の処理を説明するためのフローチャートである。
ブルーノイズ画像生成部は、ステップST901 においてホワイトノイズ画像生成手段で生成されたn×n画素のホワイトノイズ画像を取得する。
次に、ブルーノイズ画像生成部は、ステップST902 において処理を実行する画素位置を示す変数iを1に初期化し、ステップST903 において処理を実行する画素位置を示す変数jを1に初期化する。
次に、ブルーノイズ画像生成部は、ステップST904 において画素位置(i,j)の画素値を0に初期化する。
ブルーノイズ画像生成部は、ステップST901 においてホワイトノイズ画像生成手段で生成されたn×n画素のホワイトノイズ画像を取得する。
次に、ブルーノイズ画像生成部は、ステップST902 において処理を実行する画素位置を示す変数iを1に初期化し、ステップST903 において処理を実行する画素位置を示す変数jを1に初期化する。
次に、ブルーノイズ画像生成部は、ステップST904 において画素位置(i,j)の画素値を0に初期化する。
図１４中で用いられているP´RR´(i,j)はブルーノイズ画像の画素位置(i,j)での画素値を表す。
次に、ブルーノイズ画像生成部は、ステップST905 においてコンボリューションフィルタ内での画素位置を示す変数sを-mに初期化し、ステップST906 においてコンボリューションフィルタ内での画素位置を示す変数tを-mに初期化する。
次に、ブルーノイズ画像生成部は、ステップST907 においてPRR´(i+s,j+t)にコンボリューションフィルタの係数w(s+m,t+m)を乗算して、P´RR´(i,j)を加算したものを新たなP´RR´(i,j)とする。
次に、ブルーノイズ画像生成部は、ステップST908 においてt=mであるかどうかを判定し、t=mでなければステップST913 においてtをt+1に更新し、ステップST907 の処理に戻り、t=mであればステップST909 に進む。
次に、ブルーノイズ画像生成部は、ステップST905 においてコンボリューションフィルタ内での画素位置を示す変数sを-mに初期化し、ステップST906 においてコンボリューションフィルタ内での画素位置を示す変数tを-mに初期化する。
次に、ブルーノイズ画像生成部は、ステップST907 においてPRR´(i+s,j+t)にコンボリューションフィルタの係数w(s+m,t+m)を乗算して、P´RR´(i,j)を加算したものを新たなP´RR´(i,j)とする。
次に、ブルーノイズ画像生成部は、ステップST908 においてt=mであるかどうかを判定し、t=mでなければステップST913 においてtをt+1に更新し、ステップST907 の処理に戻り、t=mであればステップST909 に進む。
次に、ブルーノイズ画像生成部は、ステップST909 においてs=mであるかどうかを判定し、s=mでなければステップST914 においてsをs+1に更新し、ステップST906 の処理に戻り、s=mであればステップST910 に進む。
次に、ブルーノイズ画像生成部は、ステップST910 においてj=nであるかどうかを判定し、j=nでなければステップST915 においてjをj+1に更新し、ステップST905 の処理に戻り、j=nであればステップST911 に進む。
次に、ブルーノイズ画像生成部は、ステップST911 においてi=nであるかどうかを判定し、i=nでなければステップST916 においてiをi+1に更新し、ステップST903 の処理に戻り、i=nであればステップST912 に進み、n×n画素のブルーノイズ画像を出力して処理を終了する。
次に、ブルーノイズ画像生成部は、ステップST910 においてj=nであるかどうかを判定し、j=nでなければステップST915 においてjをj+1に更新し、ステップST905 の処理に戻り、j=nであればステップST911 に進む。
次に、ブルーノイズ画像生成部は、ステップST911 においてi=nであるかどうかを判定し、i=nでなければステップST916 においてiをi+1に更新し、ステップST903 の処理に戻り、i=nであればステップST912 に進み、n×n画素のブルーノイズ画像を出力して処理を終了する。
以下、本実施形態におけるＲＲ´ランダム配列生成部２０１の処理を説明する。
ＲＲ´ランダム配列生成部２０１は、ブルーノイズ画像生成部が生成したブルーノイズ画像に対して誤差拡散法による2値化を適用し、2つの値にRとR´を対応させて、ＲＲ´ランダム配列パターンＳ２１を生成する。
本実施例ではFloyd-Steinberg型の誤差拡散法を用いているが、他の誤差拡散法を用いても良い。
また、本実施例で誤差拡散法を用いているのは、量子化を行う際に低域信号成分を良く保存するからであり、他の量子化方法で同様の効果が得られるなら、それを用いても良い。
ＲＲ´ランダム配列生成部２０１は、ブルーノイズ画像生成部が生成したブルーノイズ画像に対して誤差拡散法による2値化を適用し、2つの値にRとR´を対応させて、ＲＲ´ランダム配列パターンＳ２１を生成する。
本実施例ではFloyd-Steinberg型の誤差拡散法を用いているが、他の誤差拡散法を用いても良い。
また、本実施例で誤差拡散法を用いているのは、量子化を行う際に低域信号成分を良く保存するからであり、他の量子化方法で同様の効果が得られるなら、それを用いても良い。
図１５は、本実施形態のＲＲ´ランダム配列生成部２０１の動作例を説明するためのフローチャートである。
本実施形態におけるＲＲ´ランダム配列生成部２０１は、ステップST1001 においてブルーノイズ画像生成部で生成されたn×n画素のブルーノイズ画像を取得する。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST1002 において処理を実行する画素位置を示す変数iを1に初期化し、ステップST1003 において処理を実行する画素位置を示す変数jを1に初期化する。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST1004 においてP´RR´(i,j)>0.5であるかどうかを判定し、P´RR´(i,j)>0.5であればステップST1005 においてeを1- P´RR´(i,j)とし、ステップST1006 においてColRR´(i,j)をRにして、ステップST1009 に進む。
ＲＲ´ランダム配列生成部２０１は、P´RR´(i,j)>0.5でなければステップST1007 においてeをP´RR´(i,j)とし、ステップST1008 においてColRR´(i,j)をR´にして、ステップST1009 に進む。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST1009 においてP´RR´(i+1,j)をP´RR´(i+1,j)+e×7/16に更新し、ステップST1010 においてP´RR´(i-1,j+1)をP´RR´(i-1,j+1)+e×3/16に更新し、ステップST1011 においてP´RR´(i,j+1)をP´RR´(i,j+1)+e×5/16に更新し、ステップST1012 においてP´RR´(i+1,j+1)をP´RR´(i+1,j+1)+e×1/16に更新し、ステップST1013 に進む。
本実施形態におけるＲＲ´ランダム配列生成部２０１は、ステップST1001 においてブルーノイズ画像生成部で生成されたn×n画素のブルーノイズ画像を取得する。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST1002 において処理を実行する画素位置を示す変数iを1に初期化し、ステップST1003 において処理を実行する画素位置を示す変数jを1に初期化する。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST1004 においてP´RR´(i,j)>0.5であるかどうかを判定し、P´RR´(i,j)>0.5であればステップST1005 においてeを1- P´RR´(i,j)とし、ステップST1006 においてColRR´(i,j)をRにして、ステップST1009 に進む。
ＲＲ´ランダム配列生成部２０１は、P´RR´(i,j)>0.5でなければステップST1007 においてeをP´RR´(i,j)とし、ステップST1008 においてColRR´(i,j)をR´にして、ステップST1009 に進む。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST1009 においてP´RR´(i+1,j)をP´RR´(i+1,j)+e×7/16に更新し、ステップST1010 においてP´RR´(i-1,j+1)をP´RR´(i-1,j+1)+e×3/16に更新し、ステップST1011 においてP´RR´(i,j+1)をP´RR´(i,j+1)+e×5/16に更新し、ステップST1012 においてP´RR´(i+1,j+1)をP´RR´(i+1,j+1)+e×1/16に更新し、ステップST1013 に進む。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST1013 においてj=nであるかどうかを判定し、j=nでなければステップST1016 においてjをj+1に更新し、ステップST1004 の処理に戻り、j=nであればステップST1014 に進む。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST1014 においてi=nであるかどうかを判定し、i=nでなければステップST1017 においてiをi+1に更新し、ステップST1003 の処理に戻り、i=nであればステップST1015 に進み、n×n画素のRR´ランダム配列を出力して処理を終了する。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST1014 においてi=nであるかどうかを判定し、i=nでなければステップST1017 においてiをi+1に更新し、ステップST1003 の処理に戻り、i=nであればステップST1015 に進み、n×n画素のRR´ランダム配列を出力して処理を終了する。
＜第３実施形態＞
本実施形態では、図１６に示す色フィルタパターンＳ３１０を、図１７に示す画像処理装置３００を用いて生成する。
図１７に示すように、画像処理装置３００は、例えば、ランダム配列生成部３０１、規則的配列生成部３０３および配列合成部３０４を有する。
図１７に示す画像処理装置３００では、ランダム配列生成部３０１が、図１８に示すように配列内にR, B,が含まれるＲＢランダム配列パターンＳ３０１を生成する。
規則的配列生成部３０３は、図１９に示すように、配列内にGのみが含まれるＧ規則配列パターンＳ３０２を生成する。
本実施形態では、図１６に示す色フィルタパターンＳ３１０を、図１７に示す画像処理装置３００を用いて生成する。
図１７に示すように、画像処理装置３００は、例えば、ランダム配列生成部３０１、規則的配列生成部３０３および配列合成部３０４を有する。
図１７に示す画像処理装置３００では、ランダム配列生成部３０１が、図１８に示すように配列内にR, B,が含まれるＲＢランダム配列パターンＳ３０１を生成する。
規則的配列生成部３０３は、図１９に示すように、配列内にGのみが含まれるＧ規則配列パターンＳ３０２を生成する。
配列合成部３０４は、ランダム配列生成部３０１が生成したＲＢランダム配列パターンＳ３０１を市松の配列に並べ替え、規則的配列生成部３０３が生成したＧ規則配列パターンＳ３０２を市松の配列に並べ替えて、両者を合成することで一部ランダム配列である図１６に示す色フィルタパターンＳ３１０を生成する。
本実施形態では、ランダム配列生成部３０１と規則的配列生成部３０３とを一つずつ用いる場合を例示したが、これらは複数でもよい。
本実施形態では、ランダム配列生成部３０１と規則的配列生成部３０３とを一つずつ用いる場合を例示したが、これらは複数でもよい。
本発明は上述した実施形態には限定されない。
すなわち、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、並びに代替を行っても本発明は適用される。
すなわち、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、並びに代替を行っても本発明は適用される。
１…画像処理装置、２０１…ＲＲ´ランダム配列生成部、２０２…ＢＢ´ランダム配列生成部、２０３…ＧＧ´規則的配列生成部、２０４…配列合成部、３００…画像処理装置、３０１…ランダム配列生成部、３０３…規則的配列生成部、３０４…配列合成部
Claims (8)
- 光電変換素子からなる画素を複数個配列した画素群を有するカラー撮像素子の製造方法であって、
任意の画素位置について、当該画素位置を含む規定された大きさの領域内における色の存在頻度が所望の誤差範囲に収まるように、一部の色の画素をランダムに配列したランダム配列パターンを生成するランダム配列生成工程と、
残りの色の画素を規則的に配置した規則配列パターンを生成する規則配列生成工程と、
前記ランダム配列生成工程で生成した前記ランダム配列パターンと、前記規則配列生成工程で生成した規則配列パターンとを規則的に合成して色フィルタパターンを生成する色フィルタ生成工程と
を有するカラー撮像素子の製造方法。 - 前記ランダム配列生成工程は、
規則的に並べられた色フィルタパターンに対し、ランダムに注目画素位置を選び、
前記注目画素位置に割り当てる色を他の色に置き換え、
前記注目画素位置を含む規定された大きさの領域内に割り当てられた色の存在頻度が所望の誤差範囲に収まらない場合には、前記注目画素位置に割り当てる色を前記置き換え前の色に戻す
請求項１に記載のカラー撮像素子の製造方法。 - 前記ランダム配列生成工程は、
連続値、もしくは所定の量子化ビット数で表された離散値を画素値として持つホワイトノイズ画像に対し、ハイパスフィルタ処理を施して得た画像の画素値を量子化して、一つの画素値に一つの色を対応させる処理を行う
請求項１に記載のカラー撮像素子の製造方法。 - 第１の赤色、第１の青色および第１の緑色を含む６色のうち、前記第１の赤色に最も近い第２の赤色と、前記第１の青色に最も近い第２の青色と、前記第１の緑色に最も近い第２の緑色とを規定した場合において、
前記ランダム配列生成工程は、前記第１の赤色と前記第２の赤色とをランダムに配列した第１のランダム配列パターンを生成し、前記第１の青色と前記第２の青色とをランダムに配列した第２のランダム配列パターンを生成し、
前記規則配列生成手段は、前記第１の緑色と前記第２の緑色とを規則的に配列した規則配列パターンを生成し、
前記色フィルタ生成工程は、前記第１のランダム配列パターンと、前記第２のランダム配列パターンと、前記規則配列パターンとを規則的に合成して前記色フィルタパターンを生成する
請求項１に記載のカラー撮像素子の製造方法。 - 第１の赤色、第１の青色、第１の緑色を含む６色のうち、前記第１の赤色に最も近い第２の赤色と、前記第１の青色に最も近い第２の青色と、前記第１の緑色に最も近い第２の緑色とを規定した場合において、
前記ランダム配列生成工程は、前記第１の赤色と、前記第２の赤色と、前記第１の青色と、前記第２の青色とをランダムに配列したランダム配列パターンを生成し、
前記規則配列生成手段は、前記第１の緑色と前記第２の緑色とを規則的に配列した規則配列パターンを生成し、
前記色フィルタ生成工程は、前記ランダム配列パターンと、前記規則配列パターンとを規則的に合成して前記色フィルタパターンを生成する
請求項１に記載のカラー撮像素子の製造方法。 - 光電変換素子からなる画素を複数個配列した画素群を有するカラー撮像素子の製造装置であって、
任意の画素位置について、当該画素位置を含む規定された大きさの領域内における色の存在頻度が所望の誤差範囲に収まるように、一部の色の画素をランダムに配列したランダム配列パターンを生成するランダム配列生成手段と、
残りの色の画素を規則的に配置した規則配列パターンを生成する規則配列生成手段と、
前記ランダム配列生成手段で生成した前記ランダム配列パターンと、前記規則配列生成手段で生成した規則配列パターンとを規則的に合成して色フィルタパターンを生成する色フィルタ生成手段と
を有するカラー撮像素子の製造装置。 - 前記ランダム配列生成手段は、
規則的に並べられた色フィルタパターンに対し、ランダムに注目画素位置を選び、
前記注目画素位置に割り当てる色を他の色に置き換え、
前記注目画素位置を含む規定された大きさの領域内に割り当てられた色の存在頻度が所望の誤差範囲に収まらない場合には、前記注目画素位置に割り当てる色を前記置き換え前の色に戻す
請求項６に記載のカラー撮像素子の製造装置。 - 前記ランダム配列生成手段は、
連続値、もしくは所定の量子化ビット数で表された離散値を画素値として持つホワイトノイズ画像に対し、ハイパスフィルタ処理を施して得た画像の画素値を量子化して、一つの画素値に一つの色を対応させる処理を行う
請求項６に記載のカラー撮像素子の製造装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006069540A JP4752550B2 (ja) | 2006-03-14 | 2006-03-14 | カラー撮像素子の製造方法およびその装置 |
| US11/713,640 US7750959B2 (en) | 2006-03-14 | 2007-03-05 | Method and apparatus for manufacturing color image pickup device including a random array pattern and a regular array pattern |
| US12/801,018 US8350938B2 (en) | 2006-03-14 | 2010-05-17 | Method and apparatus for manufacturing color image pickup device including a random array pattern and a regular array pattern |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006069540A JP4752550B2 (ja) | 2006-03-14 | 2006-03-14 | カラー撮像素子の製造方法およびその装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011086406A Division JP5263328B2 (ja) | 2011-04-08 | 2011-04-08 | カラー撮像素子 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2007251392A true JP2007251392A (ja) | 2007-09-27 |
| JP2007251392A5 JP2007251392A5 (ja) | 2009-04-23 |
| JP4752550B2 JP4752550B2 (ja) | 2011-08-17 |
Family
ID=38595254
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006069540A Expired - Fee Related JP4752550B2 (ja) | 2006-03-14 | 2006-03-14 | カラー撮像素子の製造方法およびその装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US7750959B2 (ja) |
| JP (1) | JP4752550B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008306702A (ja) * | 2007-05-08 | 2008-12-18 | Canon Inc | 撮像素子、データ処理装置、及び制御方法 |
| JP2010531560A (ja) * | 2007-06-12 | 2010-09-24 | サントル ナシオナル ドゥ ラ ルシェルシェサイアンティフィク（セエヌエールエス） | デジタル画像センサ、画像獲得方法及び画像再構成方法並びにその実行システム |
| JP2011142689A (ja) * | 2011-04-08 | 2011-07-21 | Sony Corp | カラー撮像素子 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5183880B2 (ja) * | 2006-03-14 | 2013-04-17 | ソニー株式会社 | カラーフィルタおよび撮像素子 |
| US8049797B2 (en) * | 2007-05-08 | 2011-11-01 | Canon Kabushiki Kaisha | Image sensor and color imaging apparatus |
| US8452082B2 (en) * | 2007-09-27 | 2013-05-28 | Eastman Kodak Company | Pattern conversion for interpolation |
| DE112015006176T5 (de) * | 2015-03-19 | 2017-10-26 | Olympus Corporation | Endoskopvorrichtung |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6324765A (ja) * | 1986-07-16 | 1988-02-02 | Sony Corp | 撮像装置 |
| JP2000316168A (ja) * | 1999-05-06 | 2000-11-14 | Olympus Optical Co Ltd | カラー撮像素子及びカラー撮像装置 |
| JP2005136766A (ja) * | 2003-10-31 | 2005-05-26 | Sony Corp | 画像処理装置および画像処理方法 |
| JP2005354610A (ja) * | 2004-06-14 | 2005-12-22 | Canon Inc | 画像処理装置、画像処理方法および画像処理プログラム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19616440A1 (de) * | 1996-04-25 | 1997-10-30 | Eastman Kodak Co | Verfahren und Vorrichtung zur Gewinnung eines vollen Farbbildes oder Multispektralbildes aus Bilddaten eines CCD-Bildsensors mit Mosaik-Farbfilter |
| US6803955B1 (en) * | 1999-03-03 | 2004-10-12 | Olympus Corporation | Imaging device and imaging apparatus |
| US7123299B1 (en) * | 1999-04-15 | 2006-10-17 | Olympus Optical Co., Ltd. | Color image pickup device and color image pickup apparatus including a randomized color coding array |
| JP4119566B2 (ja) | 1999-05-06 | 2008-07-16 | オリンパス株式会社 | カラー撮像素子及びカラー撮像装置 |
| GB0006942D0 (en) * | 2000-03-23 | 2000-05-10 | Eastman Kodak Co | Random colour filter array |
| US7769229B2 (en) * | 2006-11-30 | 2010-08-03 | Eastman Kodak Company | Processing images having color and panchromatic pixels |
-
2006
- 2006-03-14 JP JP2006069540A patent/JP4752550B2/ja not_active Expired - Fee Related
-
2007
- 2007-03-05 US US11/713,640 patent/US7750959B2/en not_active Expired - Fee Related
-
2010
- 2010-05-17 US US12/801,018 patent/US8350938B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6324765A (ja) * | 1986-07-16 | 1988-02-02 | Sony Corp | 撮像装置 |
| JP2000316168A (ja) * | 1999-05-06 | 2000-11-14 | Olympus Optical Co Ltd | カラー撮像素子及びカラー撮像装置 |
| JP2005136766A (ja) * | 2003-10-31 | 2005-05-26 | Sony Corp | 画像処理装置および画像処理方法 |
| JP2005354610A (ja) * | 2004-06-14 | 2005-12-22 | Canon Inc | 画像処理装置、画像処理方法および画像処理プログラム |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008306702A (ja) * | 2007-05-08 | 2008-12-18 | Canon Inc | 撮像素子、データ処理装置、及び制御方法 |
| JP2010531560A (ja) * | 2007-06-12 | 2010-09-24 | サントル ナシオナル ドゥ ラ ルシェルシェサイアンティフィク（セエヌエールエス） | デジタル画像センサ、画像獲得方法及び画像再構成方法並びにその実行システム |
| JP2011142689A (ja) * | 2011-04-08 | 2011-07-21 | Sony Corp | カラー撮像素子 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20100227428A1 (en) | 2010-09-09 |
| US20070296841A1 (en) | 2007-12-27 |
| US7750959B2 (en) | 2010-07-06 |
| US8350938B2 (en) | 2013-01-08 |
| JP4752550B2 (ja) | 2011-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4752550B2 (ja) | カラー撮像素子の製造方法およびその装置 | |
| JP5183880B2 (ja) | カラーフィルタおよび撮像素子 | |
| JP6914001B2 (ja) | 撮像素子、イメージセンサ、撮像装置、および情報処理装置 | |
| JP2007251393A5 (ja) | ||
| Li et al. | Designing optical 3D images encryption and reconstruction using monospectral synthetic aperture integral imaging | |
| EP2731334A1 (en) | Image pickup apparatus and image generating method | |
| JP2007019641A (ja) | 固体撮像素子の信号読み出し方法及び画像信号処理方法 | |
| US20060146153A1 (en) | Method and apparatus for processing Bayer image data | |
| TW201020975A (en) | Image data processing method, image sensor, and integrated circuit | |
| CN108873565B (zh) | 摄像装置 | |
| JP5263328B2 (ja) | カラー撮像素子 | |
| JP2009010847A (ja) | 色成分補間装置及びその方法 | |
| US7558442B2 (en) | System and method for anti-moire' imaging in a one dimensional sensor array | |
| JP2014158267A (ja) | カラーフィルタ、撮像素子、画像処理装置および画像処理方法 | |
| JP2011151794A5 (ja) | ||
| JP6596760B1 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
| CN107240135B (zh) | 基于DeBruijn序列的三维图像重建方法及装置 | |
| JP2015060121A (ja) | カラーフィルタアレイおよび固体撮像素子 | |
| JP5305992B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2007049301A (ja) | 画像処理装置及び画像処理方法 | |
| JP4541213B2 (ja) | 電子透かし挿入方法及び電子透かし検出方法並びに電子透かし挿入装置及び電子透かし検出装置 | |
| JP2004023384A (ja) | 単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法 | |
| JP5574608B2 (ja) | カラーイメージセンサ | |
| JP4059837B2 (ja) | 静止画カラーカメラ装置 | |
| US7173659B2 (en) | System and method for anti-moire imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090306 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090306 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110208 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110408 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110426 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110509 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140603 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4752550 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140603 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |