JP2007202107A - Imaging apparatus - Google Patents

Imaging apparatus Download PDF

Info

Publication number
JP2007202107A
JP2007202107A JP2006300694A JP2006300694A JP2007202107A JP 2007202107 A JP2007202107 A JP 2007202107A JP 2006300694 A JP2006300694 A JP 2006300694A JP 2006300694 A JP2006300694 A JP 2006300694A JP 2007202107 A JP2007202107 A JP 2007202107A
Authority
JP
Japan
Prior art keywords
pixel
infrared
filter
component
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006300694A
Other languages
Japanese (ja)
Inventor
Yoshifumi Kato
桂史 加藤
Kazuhiro Suzuki
和博 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2006300694A priority Critical patent/JP2007202107A/en
Priority to US11/643,697 priority patent/US7821552B2/en
Priority to CN2006101711519A priority patent/CN1992910B/en
Publication of JP2007202107A publication Critical patent/JP2007202107A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging apparatus which is capable of obtaining a color image with high color reproducibility. <P>SOLUTION: An imaging apparatus 100 includes: a first pixel which receives both visible light and infrared light, and a second pixel which receives infrared light, both pixels being formed on an imaging device 10; an infrared light component estimation unit 16 which estimates, based on spectral characteristics of light received by the first pixel and spectral characteristics of light received by the second pixel, a magnitude of an infrared light component contained in a signal outputted from the first pixel from a signal output from the second pixel; and a subtraction unit 14 which subtracts the estimated infrared light component from the signal output from the first pixel. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、可視光及び赤外線領域に感度を有する撮像素子を備えた撮像装置に関する。   The present invention relates to an image pickup apparatus including an image pickup element having sensitivity in visible light and infrared light regions.

ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementally Metal Oxide Semiconductor）センサといった撮像素子は、一般的に可視光だけでなく赤外線にも感度を持つ。
このような撮像素子を用いて暗い環境下で撮像した場合、この赤外線成分を利用して輝度成分を得ることにより、高感度なモノクロ画像を実現することができる。一方、良好な色再現性を実現したカラー画像を得るためには、赤外線成分を除去する必要がある。 Imaging devices such as CCD (Charge Coupled Device) and CMOS (Complementally Metal Oxide Semiconductor) sensors generally have sensitivity not only to visible light but also to infrared rays.
When an image is captured in a dark environment using such an image sensor, a high-sensitivity monochrome image can be realized by obtaining a luminance component using this infrared component. On the other hand, in order to obtain a color image realizing good color reproducibility, it is necessary to remove the infrared component.

特許文献１には、撮像素子と赤外線受光素子とを備え、撮像素子の出力信号（可視光成分と赤外線成分の和）から赤外線受光素子の出力信号（赤外線成分）を減算する方法が開示されている。
特開平６−１０５３１９号公報 Patent Document 1 discloses a method including an imaging device and an infrared light receiving device, and subtracting the output signal (infrared component) of the infrared light receiving device from the output signal (sum of visible light component and infrared component) of the imaging device. Yes.
JP-A-6-105319

しかしながら、特許文献１に開示された方法によれば、撮像素子に設けられた可視光フィルタと赤外線受光素子に設けられた赤外線フィルタの赤外線領域における分光特性が一致していない場合、撮像素子の出力信号から十分に赤外線成分を除去することができず、良好な色再現性を得られない、といった問題があった。   However, according to the method disclosed in Patent Document 1, when the spectral characteristics in the infrared region of the visible light filter provided in the imaging device and the infrared filter provided in the infrared light receiving device do not match, the output of the imaging device There was a problem that the infrared component could not be sufficiently removed from the signal, and good color reproducibility could not be obtained.

本発明はこうした状況に鑑みてなされたものであり、その目的は、色再現性のよいカラー画像を得ることが可能な撮像装置を提供することである。   The present invention has been made in view of such circumstances, and an object thereof is to provide an imaging apparatus capable of obtaining a color image with good color reproducibility.

本発明のある態様は、撮像装置に関する。この装置は、可視光と赤外線の両方を受光する第１の画素と、赤外線を受光する第２の画素と、前記第１の画素が受光した光の分光特性と前記第２の画素が受光した光の分光特性とに基づいて、前記第２の画素より出力された信号から前記第１の画素より出力された信号に含まれる赤外線成分の大きさを予測する予測部と、前記第１の画素より出力された信号から前記予測された赤外線成分を減算する減算部と、を具備する。   One embodiment of the present invention relates to an imaging device. This device includes a first pixel that receives both visible light and infrared light, a second pixel that receives infrared light, a spectral characteristic of light received by the first pixel, and the second pixel receiving light. A prediction unit that predicts a magnitude of an infrared component included in a signal output from the first pixel from a signal output from the second pixel based on a spectral characteristic of light; and the first pixel And a subtracting unit that subtracts the predicted infrared component from the signal output from the control unit.

この態様によれば、可視光と赤外線の両方を受光する第１の画素で受光した光の分光特性と、赤外線を受光する第２の撮像素子が受光した光の分光特性とが異なっている場合でも、それぞれの分光特性に基づいて、第２の画素より出力された信号から第１の画素より出力された信号に含まれる赤外線成分をほぼ正確に予測することができるので、第１の撮像素子より出力された信号から赤外線成分を十分に除去することができる。これにより、この撮像装置によって、色再現性のよいカラー画像を得ることが可能となる。   According to this aspect, when the spectral characteristics of the light received by the first pixel that receives both visible light and infrared light are different from the spectral characteristics of the light received by the second imaging element that receives infrared light However, since the infrared component contained in the signal output from the first pixel can be predicted almost accurately from the signal output from the second pixel based on the respective spectral characteristics, the first image sensor The infrared component can be sufficiently removed from the more output signal. As a result, a color image with good color reproducibility can be obtained by this imaging apparatus.

なお、第１及び第２の画素で受光した光の分光特性は、例えば、それぞれの画素に備えられた色フィルタの分光特性や、それぞれの画素に備えられた光電変換素子の分光特性によって決定されてもよい。これにより、色フィルタの分光特性や光電変換素子の分光特性が第１の画素と第２の画素で異なる場合であっても、第１の画素より出力された信号に含まれる赤外線成分をほぼ正確に予測することができる。   Note that the spectral characteristics of the light received by the first and second pixels are determined by, for example, the spectral characteristics of the color filter provided in each pixel and the spectral characteristics of the photoelectric conversion element provided in each pixel. May be. As a result, even when the spectral characteristics of the color filter and the photoelectric conversion element are different between the first pixel and the second pixel, the infrared component contained in the signal output from the first pixel is substantially accurate. Can be predicted.

また、第１及び第２の画素で受光した光の分光特性は、それぞれの画素に入射された光
の分光特性によって決定されてもよい。これにより、光源や被写体が変化した場合であっても、第１の画素より出力された信号に含まれる赤外線成分をほぼ正確に予測することができる。 Further, the spectral characteristics of the light received by the first and second pixels may be determined by the spectral characteristics of the light incident on the respective pixels. Thereby, even when the light source or the subject changes, the infrared component included in the signal output from the first pixel can be predicted almost accurately.

この態様において、前記第１の画素と前記第２の画素は、同一の撮像素子に形成されていてもよい。これにより、撮像素子を１つ備えればよく、また赤外線成分を取り出すための光学素子も不要になることから、撮像装置の小型化をはかることができる。   In this aspect, the first pixel and the second pixel may be formed on the same image sensor. Accordingly, it is sufficient to provide one image sensor, and an optical element for extracting an infrared component is not necessary, so that the image pickup apparatus can be reduced in size.

なお、以上の構成要素の任意の組合せや、本発明の構成要素や表現を方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。   Note that any combination of the above-described constituent elements, and those in which the constituent elements and expressions of the present invention are mutually replaced between methods, apparatuses, systems, and the like are also effective as an aspect of the present invention.

本発明によれば、色再現性のよいカラー画像を得ることが可能な撮像装置を得ることができる。   According to the present invention, an imaging device capable of obtaining a color image with good color reproducibility can be obtained.

以下、本発明を実施するための最良の形態について説明する。   Hereinafter, the best mode for carrying out the present invention will be described.

図１は、本発明の実施の形態に係る撮像装置１００の構成を示した図である。この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。   FIG. 1 is a diagram illustrating a configuration of an imaging apparatus 100 according to an embodiment of the present invention. This configuration can be realized in terms of hardware by a CPU, memory, or other LSI of any computer, and in terms of software, it can be realized by a program loaded in the memory, but here it is realized by their cooperation. Draw functional blocks. Accordingly, those skilled in the art will understand that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.

撮像装置１００は、撮像素子１０、アナログ／デジタル変換部１２、減算部１４、赤外線成分予測部１６、信号処理部１８を備えている。被写体からの光は撮像素子１０に入射される。   The imaging apparatus 100 includes an imaging device 10, an analog / digital conversion unit 12, a subtraction unit 14, an infrared component prediction unit 16, and a signal processing unit 18. Light from the subject enters the image sensor 10.

撮像素子１０は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどによって構成されたもので、マトリクス状に配置されたフォトダイオードを備えており、各々のフォトダイオードによって画素が構成される。   The image sensor 10 is configured by, for example, a CCD (Charge Coupled Devices), a CMOS (Complementary Metal Oxide Semiconductor) sensor, or the like, and includes photodiodes arranged in a matrix, and each photodiode includes a pixel. Is done.

また、撮像素子１０は画素毎に異なる色のフィルタを備えており、この色フィルタによって色分解を行う。撮像素子１０に備えられた色フィルタは可視光及び赤外線を透過する可視光フィルタと、主として赤外線を透過する赤外線フィルタとを含む。さらに、可視光フィルタは、透過する色に対応して、赤色フィルタ、緑色フィルタ、及び青色フィルタに分類される。   In addition, the image sensor 10 includes filters of different colors for each pixel, and color separation is performed by the color filters. The color filter provided in the image sensor 10 includes a visible light filter that transmits visible light and infrared light, and an infrared filter that mainly transmits infrared light. Further, the visible light filter is classified into a red filter, a green filter, and a blue filter corresponding to the color to be transmitted.

図２は、撮像素子１０が備えた色フィルタの配列を示した図である。撮像素子１０の画素２０には緑色光を透過する緑色フィルタが、画素２２には赤色光を透過する赤色フィルタが、画素２４には青色光を透過する青色フィルタが配置されている。これら緑色フィルタ、赤色フィルタ、青色フィルタは、赤外線も透過する特性を持っている。また、画素２６には主として赤外線を透過する赤外線フィルタが配置されている。そして、これら緑色フィルタ、赤色フィルタ、青色フィルタ、及び赤外線フィルタは、縦２画素、横２画素単位で繰り返し配列されている。   FIG. 2 is a diagram illustrating an arrangement of color filters provided in the image sensor 10. The pixel 20 of the image sensor 10 is provided with a green filter that transmits green light, the pixel 22 is provided with a red filter that transmits red light, and the pixel 24 is provided with a blue filter that transmits blue light. These green filter, red filter, and blue filter have characteristics of transmitting infrared rays. The pixel 26 is provided with an infrared filter that mainly transmits infrared rays. The green filter, red filter, blue filter, and infrared filter are repeatedly arranged in units of 2 vertical pixels and 2 horizontal pixels.

撮像素子１０は、画素毎に対応した色フィルタを透過した光をその強度に応じた電気信号に変換し、これを画像信号として１画素ずつ順番に出力する。すなわち、画素２０から出力される画像信号は緑色光及び赤外線の成分を合わせた大きさとなり、画素２２から出力された画像信号は赤色光及び赤外線の成分を合わせた大きさとなる。また、画素２４から出力された画像信号は青色光及び赤外線の成分を合わせた大きさとなる。一方、画素２６から出力された画像信号は、赤外線の成分に応じた大きさとなる。   The image sensor 10 converts the light transmitted through the color filter corresponding to each pixel into an electrical signal corresponding to the intensity, and sequentially outputs this as an image signal pixel by pixel. That is, the image signal output from the pixel 20 has a combined size of green light and infrared components, and the image signal output from the pixel 22 has a combined size of red light and infrared components. In addition, the image signal output from the pixel 24 has a combined size of blue light and infrared components. On the other hand, the image signal output from the pixel 26 has a magnitude corresponding to the infrared component.

アナログ／デジタル変換部１２は、撮像素子１０から出力された画像信号を、例えば１０ビットのデジタル信号に変換する。変換後のデジタル信号は、減算部１４及び赤外線成分予測部１６に入力される。   The analog / digital conversion unit 12 converts the image signal output from the image sensor 10 into, for example, a 10-bit digital signal. The converted digital signal is input to the subtraction unit 14 and the infrared component prediction unit 16.

減算部１４は、撮像素子１０の画素２０、２２、及び２４より出力された画像信号、すなわち緑色光成分＋赤外線成分（Ｇ＋ＩＲ）、赤色光成分＋赤外線成分（Ｒ＋ＩＲ）、青色光成分＋赤外線成分（Ｂ＋ＩＲ）から、画素２６より出力され画像信号である赤外線成分ＩＲを除去する。このとき、画素２６より出力された赤外線成分ＩＲをそのまま減算するのではなく、緑色光成分＋赤外線成分（Ｇ＋ＩＲ）、赤外線成分予測部１６で赤色光成分＋赤外線成分（Ｒ＋ＩＲ）、及び青色光成分＋赤外線成分（Ｂ＋ＩＲ）毎に、それぞれ別個に赤外線成分ＩＲを補正したうえで減算を行う。 The subtracting unit 14 outputs image signals output from the pixels 20, 22, and 24 of the image sensor 10, that is, a green light component + infrared component (G + IR ), a red light component + infrared component (R + IR ), and a blue light component + The infrared component IR which is the image signal output from the pixel 26 is removed from the infrared component (B + IR ). At this time, the infrared component IR output from the pixel 26 is not subtracted as it is, but the green light component + infrared component (G + IR ), the red component + infrared component (R + IR ) in the infrared component prediction unit 16, and the blue color For each light component + infrared component (B + IR ), subtraction is performed after the infrared component IR is corrected separately.

赤外線成分予測部１６は、撮像素子１０の各画素で受光した光の分光特性に基づき画素２６より出力された赤外線成分ＩＲを補正することによって、各色成分Ｇ＋ＩＲ、Ｒ＋ＩＲ、Ｂ＋ＩＲに重畳されている赤外線成分を予測する。例えば、画素２０で受光した光の赤外線領域と画素２６で受光した光の分光特性の比を求め、この比を画素２６の出力画像信号である赤外線成分ＩＲに乗ずることにより、色成分Ｇ＋ＩＲに重畳されている赤外線成分を予測する。 The infrared component prediction unit 16 corrects the infrared component IR output from the pixel 26 based on the spectral characteristics of the light received by each pixel of the image sensor 10, thereby superimposing it on each color component G + IR , R + IR , B + IR. Predict the infrared component. For example, the ratio of the spectral characteristics of the infrared region of the light received by the pixel 20 and the light received by the pixel 26 is obtained, and this ratio is multiplied by the infrared component IR, which is the output image signal of the pixel 26, whereby the color component G + IR is obtained. Predict the superimposed infrared component.

同様に、赤外線成分予測部１６は、画素２２で受光した光の赤外線領域と画素２６で受光した光、及び、画素２４で受光した光の赤外線領域と画素２６で受光した光の分光特性の比を求め、この比を赤外線成分ＩＲに乗ずることにより、色成分Ｒ＋ＩＲ及びＢ＋ＩＲに重畳されている赤外線成分を予測する。 Similarly, the infrared component prediction unit 16 compares the spectral characteristics of the infrared region received by the pixel 22 and the light received by the pixel 26 and the infrared region received by the pixel 24 and the light received by the pixel 26. And the infrared component superimposed on the color components R + IR and B + IR is predicted by multiplying this ratio by the infrared component IR.

それぞれの画素で受光した光の分光特性は、それぞれの画素に備えられた色フィルタの分光特性や、フォトダイオードの分光特性、及びそれぞれの画素に入射された光の分光特性などによって決定する。色フィルタの分光特性やフォトダイオードの分光特性は撮像素子１０の各画素の形状やプロセスによって定まり、赤外線成分予測部１６は、それぞれの画素の色フィルタ及びフォトダイオードの分光特性を記憶している。一方、それぞれの画素の入射された光の分光特性は、赤外線成分予測部１６で、撮像素子１０から出力された画像信号を積分することによって求める。なお、受光した光の分光特性を、図示しない制御装置によって決定するようにしてもよい。   The spectral characteristics of the light received by each pixel are determined by the spectral characteristics of the color filter provided in each pixel, the spectral characteristics of the photodiode, the spectral characteristics of the light incident on each pixel, and the like. The spectral characteristics of the color filter and the spectral characteristics of the photodiode are determined by the shape and process of each pixel of the image sensor 10, and the infrared component prediction unit 16 stores the spectral characteristics of the color filter and photodiode of each pixel. On the other hand, the spectral characteristic of the light incident on each pixel is obtained by integrating the image signal output from the image sensor 10 by the infrared component prediction unit 16. Note that the spectral characteristics of the received light may be determined by a control device (not shown).

赤外線成分予測部１６は、予測された赤外線成分の大きさを減算部１４に伝達する。減算部１４は、赤外線成分予測部１６から伝達された色成分毎に補正された赤外線成分を用いて、各色成分Ｇ＋ＩＲ、Ｒ＋ＩＲ、Ｂ＋ＩＲから赤外線成分を除去する。 The infrared component prediction unit 16 transmits the predicted size of the infrared component to the subtraction unit 14. The subtracting unit 14 removes the infrared component from each color component G + IR , R + IR , B + IR using the infrared component corrected for each color component transmitted from the infrared component prediction unit 16.

減算部１４から出力された信号は、信号処理部１８で輝度信号及び色信号の抽出や、様々な画像処理が施され、信号処理部１８で得られた信号は、図示しない表示装置や画像圧縮装置などに送られる。   The signal output from the subtracting unit 14 is subjected to extraction of luminance and color signals and various image processing by the signal processing unit 18, and the signal obtained by the signal processing unit 18 is displayed on a display device or an image compression unit (not shown). Sent to devices.

斯かる構成に基づき、図１に示した撮像装置１００の動作を以下に説明する。
撮像素子１０に入力された光は、図２に示した色フィルタによって画素毎に緑色光成分＋赤外線成分（Ｇ＋ＩＲ）、赤色光成分＋赤外線成分（Ｒ＋ＩＲ）、青色光成分＋赤外線成分（Ｂ＋ＩＲ）、及び赤外線成分ＩＲに色分解され、電気信号に変換される。この電気信号は、撮像素子１０から１画素ずつ画像信号として出力され、アナログ／デジタル変換部１２によってデジタル信号に変換される。 Based on such a configuration, the operation of the imaging apparatus 100 shown in FIG. 1 will be described below.
The light input to the image sensor 10 is green light component + infrared component (G + IR ), red light component + infrared component (R + IR ), blue light component + infrared component (for each pixel by the color filter shown in FIG. B + IR ) and the infrared component IR are color-separated and converted into an electrical signal. This electrical signal is output as an image signal pixel by pixel from the image sensor 10, and is converted into a digital signal by the analog / digital converter 12.

アナログ／デジタル変換部１２でデジタル信号に変換された画像信号は、減算部１４と赤外線成分予測部１６に入力される。赤外線成分予測部１６は、緑色フィルタ、赤色フィルタ及び青色フィルタを備えた画素がそれぞれ受光した光の赤外線領域の分光特性と、赤外線フィルタを備えた画素が受光した光の分光特性の比を、赤外線フィルタを備えた画素から出力された赤外線成分ＩＲに乗ずることにより、緑色光成分＋赤外線成分（Ｇ＋ＩＲ）、赤色光成分＋赤外線成分（Ｒ＋ＩＲ）、及び青色光成分＋赤外線成分（Ｂ＋ＩＲ）に含まれる赤外線成分の大きさをそれぞれ別個に予測する。 The image signal converted into a digital signal by the analog / digital conversion unit 12 is input to the subtraction unit 14 and the infrared component prediction unit 16. The infrared component prediction unit 16 calculates the ratio of the spectral characteristics of the infrared region of the light received by the pixels including the green filter, the red filter, and the blue filter, and the spectral characteristics of the light received by the pixel including the infrared filter, to the infrared By multiplying the infrared component IR output from the pixel provided with the filter, the green light component + infrared component (G + IR ), the red light component + infrared component (R + IR ), and the blue light component + infrared component (B + IR ). The size of the infrared component contained in each is predicted separately.

赤外線成分予測部１６で予測された各色成分に重畳された赤外線成分の大きさは、減算部１４に伝達される。そして、減算部１４によって、緑色光成分＋赤外線成分（Ｇ＋ＩＲ）、赤色光成分＋赤外線成分（Ｒ＋ＩＲ）、及び青色光成分＋赤外線成分（Ｂ＋ＩＲ）から、それぞれ別個に予測された赤外線成分を減算される。 The size of the infrared component superimposed on each color component predicted by the infrared component prediction unit 16 is transmitted to the subtraction unit 14. The subtracting unit 14 separately predicts the infrared component from the green light component + infrared component (G + IR ), the red light component + infrared component (R + IR ), and the blue light component + infrared component (B + IR ). Is subtracted.

以下、これらの処理をより具体的に説明する。
赤外線成分予測部１６は、色フィルタを備える画素と赤外線フィルタを備える画素間の分光特性の違いを調整するための係数（ＬＲ, ＬＧ, ＬＢ）の値を決定し、減算部１４に伝達する。減算部１４は、撮像素子１０の画素２０、２２、及び２４より出力された画像信号、すなわち緑色光成分＋赤外線成分（Ｇ＋ＩＲ）、赤色光成分＋赤外線成分（Ｒ＋ＩＲ）、青色光成分＋赤外線成分（Ｂ＋ＩＲ）から、画素２６より出力され画像信号である赤外線成分ＩＲを除去する。このとき、画素２６より出力された赤外線成分ＩＲをそのまま減算するのではなく、係数（ＬＲ， ＬＧ， ＬＢ）を乗じた値を減算する。すなわち、減算部１４は、赤色光成分Ｒ、緑色光成分Ｇ、及び青色光成分Ｂを以下の式（１）〜（３）によって算出する。
Ｒ ＝ Ｒ＋ＩＲ−ＬＲ・ＩＲ ・・・（１）
Ｇ ＝ Ｇ＋ＩＲ−ＬＧ・ＩＲ ・・・（２）
Ｂ ＝ Ｂ＋ＩＲ−ＬＢ・ＩＲ ・・・（３） Hereinafter, these processes will be described more specifically.
The infrared component prediction unit 16 determines the values of coefficients (L R , L G , L B ) for adjusting the difference in spectral characteristics between the pixels having the color filter and the pixels having the infrared filter, and sends the values to the subtraction unit 14. introduce. The subtracting unit 14 outputs image signals output from the pixels 20, 22, and 24 of the image sensor 10, that is, a green light component + infrared component (G + IR ), a red light component + infrared component (R + IR ), and a blue light component + The infrared component IR which is the image signal output from the pixel 26 is removed from the infrared component (B + IR ). At this time, the infrared component IR output from the pixel 26 is not subtracted as it is, but the value multiplied by the coefficients (L R , L G , L B ) is subtracted. That is, the subtraction unit 14 calculates the red light component R, the green light component G, and the blue light component B by the following formulas (1) to (3).
R = R + IR- LR / IR (1)
G = G + IR -L G · IR ··· (2)
B = B + IR− L B · IR (3)

図３は、赤色フィルタ、緑色フィルタ、青色フィルタ及び赤外線フィルタを備える各画素の分光特性の一例を示す図である。図３は、横軸に波長、縦軸に感度をとる。境界線ａより高い波長の領域は、赤外線領域を示し、境界線ａより低い波長の領域は、可視光領域を示す。   FIG. 3 is a diagram illustrating an example of spectral characteristics of each pixel including a red filter, a green filter, a blue filter, and an infrared filter. In FIG. 3, the horizontal axis represents wavelength and the vertical axis represents sensitivity. A region having a wavelength higher than the boundary line a indicates an infrared region, and a region having a wavelength lower than the boundary line a indicates a visible light region.

赤色フィルタを備える画素の赤外線波長領域における感度は、赤外線フィルタを備える画素の感度よりかなり大きくなる。図３の特性例では、赤外線フィルタを備える画素は、赤外線波長領域にて、赤色フィルタを備える画素の１．５倍程度の感度を持つ。よって、赤色フィルタを備える画素の係数ＬＲの値を１．５に設定する。赤外線フィルタを備える画素から出力された赤外線成分ＩＲをそのまま減算しただけでは、赤色フィルタを備える画素の出力信号から赤外線成分を除去しきれない。この点、赤外線フィルタを備える画素から出力された赤外線成分ＩＲに係数ＬＲを乗じて補正することにより、赤色フィルタを備える画素の出力信号に含まれる赤外線成分を完全に除去することができる。 The sensitivity of the pixel including the red filter in the infrared wavelength region is considerably larger than the sensitivity of the pixel including the infrared filter. In the characteristic example of FIG. 3, the pixel including the infrared filter has a sensitivity of about 1.5 times that of the pixel including the red filter in the infrared wavelength region. Therefore, setting the value of the coefficient L R of the pixel with a red filter to 1.5. By simply subtracting the infrared component IR output from the pixel including the infrared filter as it is, the infrared component cannot be completely removed from the output signal of the pixel including the red filter. In this regard, by correcting by multiplying the coefficient L R on the output infrared light component IR from the pixels includes an infrared filter, it can be completely removed infrared component contained in the output signal of a pixel with a red filter.

青色フィルタを備える画素の赤外線波長領域における感度は、赤外線フィルタを備える画素の感度と同程度となる。緑色フィルタを備える画素の赤外線波長領域における感度は、赤外線フィルタを備える画素の感度より１割程度、小さくなる。そこで、青色フィルタを備える画素の係数ＬＲの値を１に設定し、緑色フィルタを備える画素の係数ＬＲの値を０．９に設定する。よって、図３の特性例を持つ撮像素子１０における係数（ＬＲ， ＬＧ， ＬＢ）の値は、（１．５，０．９，１．０）程度となる。 The sensitivity of the pixel including the blue filter in the infrared wavelength region is approximately the same as the sensitivity of the pixel including the infrared filter. The sensitivity in the infrared wavelength region of the pixel including the green filter is about 10% smaller than the sensitivity of the pixel including the infrared filter. Therefore, it sets the value of the coefficient L R of the pixel having the blue color filter 1 and sets the value of the coefficient L R of the pixel with a green filter to 0.9. Therefore, the values of the coefficients (L R , L G , L B ) in the image sensor 10 having the characteristic example of FIG. 3 are about (1.5, 0.9, 1.0).

上述した分光特性は、フィルタの分光特性やフォトダイオードの分光特性だけでなく、光源の分光特性や被写体の分光特性にも影響を受ける。これらの特性は、光源や撮影対象によって様々であり、感度が一致しない波長の光の強度が強いこともあれば弱いこともある。よって、係数（ＬＲ， ＬＧ， ＬＢ）の値も、光源や被写体ごとに切り替えることが望ましい。 The spectral characteristics described above are affected not only by the spectral characteristics of the filter and the photodiode but also by the spectral characteristics of the light source and the spectral characteristics of the subject. These characteristics vary depending on the light source and the object to be photographed, and the intensity of the light having a wavelength that does not match the sensitivity may be strong or weak. Accordingly, the coefficient (L R, L G, L B) value also, it is desirable to switch for each light source and the subject.

赤外線成分予測部１６は、光源の種類ごとに予め算出された係数（ＬＲ， ＬＧ， ＬＢ）の値を保持していてもよい。例えば、太陽光向け、蛍光灯向け、白熱灯向けごとに異なる係数（ＬＲ， ＬＧ， ＬＢ）の値を保持する。これらの値は、設計者により実験やシミュレーションにより求められる。赤外線成分予測部１６は、ユーザにより光源のモードが選択されると、選択されたモードに対応する係数（ＬＲ， ＬＧ， ＬＢ）を使用する。 Infrared component prediction unit 16, previously calculated coefficients for each type of light source (L R, L G, L B) may hold a value of. For example, sunlight for a fluorescent lamp for different coefficients for each incandescent lamp for (L R, L G, L B) to hold the value of. These values are determined by the designer through experiments and simulations. When the light source mode is selected by the user, the infrared component prediction unit 16 uses coefficients (L R , L G , L B ) corresponding to the selected mode.

また、赤外線成分予測部１６は、被写体の種類ごとに予め算出された係数（ＬＲ， ＬＧ， ＬＢ）の値を保持していてもよい。例えば、人間向け、植物向け、建造物向けごとに異なる係数（ＬＲ， ＬＧ， ＬＢ）の値を保持する。ユーザにより撮影対象のモードが選択されると、赤外線成分予測部１６は、選択されたモードに対応する係数（ＬＲ， ＬＧ， ＬＢ）を使用する。また、光源と被写体の組合せごとに異なる係数（ＬＲ， ＬＧ， ＬＢ）の値を保持していてもよい。 The infrared component prediction unit 16, the coefficient calculated in advance for each type of object (L R, L G, L B) may hold a value of. For example, different coefficients (L R , L G , L B ) are stored for humans, plants, and buildings. When the user selects a shooting target mode, the infrared component prediction unit 16 uses coefficients (L R , L G , L B ) corresponding to the selected mode. Furthermore, different coefficient for each combination of light source and the object (L R, L G, L B) may hold a value of.

また、光源や被写体の分光特性に対応した係数（ＬＲ， ＬＧ， ＬＢ）を赤外線成分予測部１６に予め登録しておくのではなく、撮影ごとに係数（ＬＲ， ＬＧ， ＬＢ）を適宜、算出してもよい。例えば、赤外線成分予測部１６は、各画素に入射された光の分光特性を、撮像素子１０から出力された画像信号を積分することによって、撮影時に求めてもよい。また、撮像装置３００に分光特性センサを設け、撮影時の分光特性を測定し、係数（ＬＲ， ＬＧ， ＬＢ）を決定してもよい。 Also, the coefficients (L R , L G , L B ) corresponding to the spectral characteristics of the light source and the subject are not registered in the infrared component prediction unit 16 in advance, but the coefficients (L R , L G , L for each photographing). B ) may be calculated as appropriate. For example, the infrared component prediction unit 16 may obtain the spectral characteristics of the light incident on each pixel at the time of shooting by integrating the image signal output from the image sensor 10. Further, a spectral characteristic sensor may be provided in the imaging apparatus 300, the spectral characteristic at the time of photographing may be measured, and the coefficients (L R , L G , L B ) may be determined.

信号処理部１８は、減算部１４の出力信号に基づき、各種画像処理を施して、外部に出力する。   The signal processing unit 18 performs various image processing based on the output signal of the subtraction unit 14 and outputs the processed image to the outside.

以上、本実施の形態に係る撮像装置によれば、可視光フィルタを備えた画素より出力された赤外線成分を含む色成分から赤外線成分を減算するときに、可視光フィルタを備えた画素で受光した光の赤外線領域の分光特性と赤外線フィルタを備えた画素で受光した光の分光特性の比を、赤外線フィルタを備えた画素より出力された赤外線成分に乗ずることによって、可視光フィルタを備えた画素より出力された色成分に含まれる赤外線成分を予測する。これにより、可視光フィルタを備えた画素が受光した光の赤外線領域の分光特性と、赤外線フィルタを備えた画素が受光した光の分光特性とが異なっている場合でも、可視光フィルタを備えた画素より出力された色成分に含まれる赤外線成分をほぼ正確に予測することができ、この色成分から赤外線成分を十分に除去することができる。したがって、この撮像装置によって、色再現性のよいカラー画像を得ることが可能となる。   As described above, according to the imaging apparatus according to the present embodiment, when the infrared component is subtracted from the color component including the infrared component output from the pixel including the visible light filter, the light is received by the pixel including the visible light filter. By multiplying the infrared component output from the pixel with the infrared filter by the ratio of the spectral characteristic of the infrared region of the light to the spectral characteristic of the light received by the pixel with the infrared filter, the pixel with the visible light filter The infrared component contained in the output color component is predicted. Thereby, even if the spectral characteristics of the infrared region of the light received by the pixel with the visible light filter and the spectral characteristics of the light received by the pixel with the infrared filter are different, the pixel with the visible light filter The infrared component contained in the more outputted color component can be predicted almost accurately, and the infrared component can be sufficiently removed from this color component. Therefore, a color image with good color reproducibility can be obtained with this imaging apparatus.

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。   The present invention has been described based on the embodiments. The embodiments are exemplifications, and it will be understood by those skilled in the art that various modifications can be made to combinations of the respective constituent elements and processing processes, and such modifications are within the scope of the present invention. .

例えば、上記実施の形態において、赤外線成分予測部１６は、可視光フィルタを備えた画素が受光した光の赤外線領域の分光特性と、赤外線フィルタを備えた画素が受光した光の分光特性との比を、赤外線フィルタを備えた画素から出力された赤外線成分ＩＲに乗ずることにより、赤外線成分を補正する例を示したが、可視光フィルタを備えた画素が受光した光の赤外線領域の分光特性と、赤外線フィルタを備えた画素が受光した光の分光特性の差をオフセット量とみなし、赤外線フィルタを備えた画素から出力された赤外線成分ＩＲにこのオフセット量を加算することにより、赤外線成分を予測してもよい。この方法は、フィルタの特性が重畳される赤外線成分がオフセット量としてあらわれる場合に有効である。   For example, in the above-described embodiment, the infrared component prediction unit 16 compares the spectral characteristics of the infrared region of light received by the pixel including the visible light filter and the spectral characteristics of light received by the pixel including the infrared filter. In the above example, the infrared component is corrected by multiplying the infrared component IR output from the pixel including the infrared filter, but the spectral characteristics of the infrared region of the light received by the pixel including the visible light filter, The difference between the spectral characteristics of the light received by the pixel with the infrared filter is regarded as an offset amount, and the infrared component is predicted by adding this offset amount to the infrared component IR output from the pixel with the infrared filter. Also good. This method is effective when an infrared component on which the filter characteristics are superimposed appears as an offset amount.

また、上記の実施の形態において、赤外線成分予測部１６は、可視光フィルタを備えた画素が受光した光の赤外線領域の分光特性と、赤外線フィルタを備えた画素が受光した光の分光特性とに基づいて、可視光フィルタを備えた画素から出力された信号に含まれる赤外線成分を予測したが、可視光フィルタを備えた画素が受光した光の赤外線領域だけでなく、他の波長の光の一部も含めた分光特性と、赤外線フィルタを備えた画素が受光した光の分光特性とに基づいて、可視光フィルタを備えた画素から出力された信号に含まれる赤外線成分を予測してもよい。この方法は、赤外線フィルタが可視光の一部を透過するような特性を持っている場合に有効である。   In the above embodiment, the infrared component prediction unit 16 converts the spectral characteristics of the infrared region of light received by the pixel including the visible light filter and the spectral characteristics of the light received by the pixel including the infrared filter. Based on this, the infrared component contained in the signal output from the pixel provided with the visible light filter was predicted, but not only the infrared region of the light received by the pixel provided with the visible light filter but also one of the light of other wavelengths. The infrared component included in the signal output from the pixel having the visible light filter may be predicted based on the spectral characteristic including the portion and the spectral characteristic of the light received by the pixel having the infrared filter. This method is effective when the infrared filter has a characteristic of transmitting a part of visible light.

また、上記実施の形態において、撮像素子１０が可視光と赤外線の両方を透過する可視光フィルタを備えた画素と、主として赤外線を透過する赤外線フィルタを備えた画素を具備している例を示したが、これに限るものではなく、可視光フィルタを備えた撮像素子と、赤外線フィルタを備えた撮像素子の２つを具備して、それぞれから出力された画像信号を用いても、本発明の撮像装置に含まれる。   Moreover, in the said embodiment, the image pick-up element 10 showed the example provided with the pixel provided with the visible light filter which permeate | transmits both visible light and infrared rays, and the pixel provided with the infrared filter which mainly permeate | transmits infrared rays. However, the present invention is not limited to this, and the image pickup device according to the present invention can be realized by using two image pickup devices including a visible light filter and an image pickup device including an infrared filter, and using image signals output from the two image pickup devices. Included in the device.

また、上記実施の形態において、３原色フィルタと赤外線フィルタを用いた撮像素子１０について説明した。この点、本実施の形態は、補色フィルタと赤外線フィルタを用いた撮像素子１０に適用可能である。補色フィルタは、イエローＹｅ、シアンＣｙおよびマゼンダＭｇに色分解する。または、イエローＹｅ、シアンＣｙおよびグリーンＧｒに、もしくはイエローＹｅ、シアンＣｙ、マゼンダＭｇおよびグリーンＧｒに色分解する。それぞれの色成分を透過するフィルタは、上述した３原色フィルタと同様に、赤外線成分も透過する。   In the above embodiment, the image sensor 10 using the three primary color filters and the infrared filter has been described. In this regard, the present embodiment can be applied to the image sensor 10 using a complementary color filter and an infrared filter. The complementary color filter performs color separation into yellow Ye, cyan Cy, and magenta Mg. Alternatively, color separation is performed on yellow Ye, cyan Cy, and green Gr, or on yellow Ye, cyan Cy, magenta Mg, and green Gr. A filter that transmits each color component also transmits an infrared component, similar to the three primary color filters described above.

本発明の実施の形態に係る撮像装置の構成図である。It is a block diagram of the imaging device which concerns on embodiment of this invention. 図１の撮像素子の色フィルタの配列を示した図である。It is the figure which showed the arrangement | sequence of the color filter of the image pick-up element of FIG. 本発明の実施の形態に係る赤色フィルタ、緑色フィルタ、青色フィルタ及び赤外線フィルタを備える各画素の分光特性の一例を示す図である。It is a figure which shows an example of the spectral characteristic of each pixel provided with the red filter, green filter, blue filter, and infrared filter which concern on embodiment of this invention.

符号の説明Explanation of symbols

１０ 撮像素子
１４ 減算部
１６ 赤外線成分予測部
１００ 撮像装置 DESCRIPTION OF SYMBOLS 10 Image sensor 14 Subtraction part 16 Infrared component prediction part 100 Imaging device

Claims (2)

可視光と赤外線の両方を受光する第１の画素と、
赤外線を受光する第２の画素と、
前記第１の画素が受光した光の分光特性と前記第２の画素が受光した光の分光特性とに基づいて、前記第２の画素より出力された信号から前記第１の画素より出力された信号に含まれる赤外線成分の大きさを予測する予測部と、
前記第１の画素より出力された信号から前記予測された赤外線成分を減算する減算部と、
を具備することを特徴とする撮像装置。 A first pixel that receives both visible and infrared light;
A second pixel for receiving infrared light;
Based on the spectral characteristic of the light received by the first pixel and the spectral characteristic of the light received by the second pixel, the signal output from the second pixel is output from the first pixel. A prediction unit for predicting the size of the infrared component included in the signal;
A subtractor for subtracting the predicted infrared component from the signal output from the first pixel;
An imaging apparatus comprising: 前記第１の画素と前記第２の画素は、同一の撮像素子に形成されていることを特徴とする請求項１に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the first pixel and the second pixel are formed in the same imaging device.
JP2006300694A 2005-12-27 2006-11-06 Imaging apparatus Pending JP2007202107A (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006300694A JP2007202107A (en) 2005-12-27 2006-11-06 Imaging apparatus
US11/643,697 US7821552B2 (en) 2005-12-27 2006-12-22 Imaging apparatus provided with imaging device having sensitivity in visible and infrared regions
CN2006101711519A CN1992910B (en) 2005-12-27 2006-12-25 Imaging apparatus provided with imaging device having sensitivity in visible and infrared regions

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005375520 2005-12-27
JP2006300694A JP2007202107A (en) 2005-12-27 2006-11-06 Imaging apparatus

Publications (1)

Publication Number Publication Date
JP2007202107A true JP2007202107A (en) 2007-08-09

Family

ID=38456185

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006300694A Pending JP2007202107A (en) 2005-12-27 2006-11-06 Imaging apparatus

Country Status (1)

Country Link
JP (1) JP2007202107A (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009133931A1 (en) * 2008-04-30 2009-11-05 コニカミノルタオプト株式会社 Image pickup apparatus and image pickup element
WO2010004683A1 (en) * 2008-07-11 2010-01-14 パナソニック株式会社 Solid-state imaging device
WO2010044185A1 (en) * 2008-10-14 2010-04-22 パナソニック株式会社 Imaging element and imaging device
JP2014017468A (en) * 2012-06-14 2014-01-30 Sony Corp Solid state imaging device, calibration method of solid state imaging device, shutter device and electronic apparatus
RU2512074C1 (en) * 2010-06-01 2014-04-10 Боли Медиа Коммуникейшнз (Шэньчжэнь) Ко., Лтд. Multispectral light-sensitive device and method of making said device
WO2015104870A1 (en) * 2014-01-08 2015-07-16 三菱電機株式会社 Image generation device
WO2016063727A1 (en) * 2014-10-20 2016-04-28 ソニー株式会社 Solid-state image pickup element and electronic device
JP2016219767A (en) * 2015-05-20 2016-12-22 采▲ぎょく▼科技股▲ふん▼有限公司ＶｉｓＥｒａ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏｍｐａｎｙ Ｌｉｍｉｔｅｄ Imaging sensor using infrared transmission filter for green subtraction
KR101767093B1 (en) 2012-12-14 2017-08-17 한화테크윈 주식회사 Apparatus and Method for color restoration
WO2017203936A1 (en) * 2016-05-25 2017-11-30 パナソニック・タワージャズセミコンダクター株式会社 Solid-state imaging element
JP2019168423A (en) * 2018-03-26 2019-10-03 浜松ホトニクス株式会社 Image acquisition device and image acquisition method
JP2019205018A (en) * 2018-05-22 2019-11-28 クラリオン株式会社 Imaging device and imaging method

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2009133931A1 (en) * 2008-04-30 2011-09-01 コニカミノルタオプト株式会社 Imaging device and imaging device
JP5168353B2 (en) * 2008-04-30 2013-03-21 コニカミノルタアドバンストレイヤー株式会社 Imaging device and imaging device
US8723958B2 (en) 2008-04-30 2014-05-13 Konica Minolta Opto, Inc. Image pickup apparatus and image pickup element
WO2009133931A1 (en) * 2008-04-30 2009-11-05 コニカミノルタオプト株式会社 Image pickup apparatus and image pickup element
WO2010004683A1 (en) * 2008-07-11 2010-01-14 パナソニック株式会社 Solid-state imaging device
JP2010041031A (en) * 2008-07-11 2010-02-18 Panasonic Corp Solid-state imaging device
US8243176B2 (en) 2008-07-11 2012-08-14 Panasonic Corporation Solid-state image sensor
WO2010044185A1 (en) * 2008-10-14 2010-04-22 パナソニック株式会社 Imaging element and imaging device
RU2512074C1 (en) * 2010-06-01 2014-04-10 Боли Медиа Коммуникейшнз (Шэньчжэнь) Ко., Лтд. Multispectral light-sensitive device and method of making said device
JP2014017468A (en) * 2012-06-14 2014-01-30 Sony Corp Solid state imaging device, calibration method of solid state imaging device, shutter device and electronic apparatus
KR101767093B1 (en) 2012-12-14 2017-08-17 한화테크윈 주식회사 Apparatus and Method for color restoration
WO2015104870A1 (en) * 2014-01-08 2015-07-16 三菱電機株式会社 Image generation device
JP5992116B2 (en) * 2014-01-08 2016-09-14 三菱電機株式会社 Image generation device
US9900485B2 (en) 2014-01-08 2018-02-20 Mitsubishi Electric Corporation Image generation device
WO2016063727A1 (en) * 2014-10-20 2016-04-28 ソニー株式会社 Solid-state image pickup element and electronic device
US10236311B2 (en) 2014-10-20 2019-03-19 Sony Semiconductor Solutions Corporation Solid-state imaging element and electronic device to improve quality of an image
JP2016219767A (en) * 2015-05-20 2016-12-22 采▲ぎょく▼科技股▲ふん▼有限公司ＶｉｓＥｒａ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏｍｐａｎｙ Ｌｉｍｉｔｅｄ Imaging sensor using infrared transmission filter for green subtraction
WO2017203936A1 (en) * 2016-05-25 2017-11-30 パナソニック・タワージャズセミコンダクター株式会社 Solid-state imaging element
JPWO2017203936A1 (en) * 2016-05-25 2019-03-28 パナソニック・タワージャズセミコンダクター株式会社 Solid-state image sensor
US10825847B2 (en) 2016-05-25 2020-11-03 Tower Partners Semiconductor Co., Ltd. Solid-state imaging element
JP2019168423A (en) * 2018-03-26 2019-10-03 浜松ホトニクス株式会社 Image acquisition device and image acquisition method
JP2019205018A (en) * 2018-05-22 2019-11-28 クラリオン株式会社 Imaging device and imaging method
JP7121538B2 (en) 2018-05-22 2022-08-18 フォルシアクラリオン・エレクトロニクス株式会社 Imaging device and imaging method

Similar Documents

Publication Publication Date Title
JP4420917B2 (en) Imaging device
JP2007202107A (en) Imaging apparatus
US7821552B2 (en) Imaging apparatus provided with imaging device having sensitivity in visible and infrared regions
JP4999494B2 (en) Imaging device
JP5168353B2 (en) Imaging device and imaging device
JP4286123B2 (en) Color image sensor and color signal processing circuit
JP4346634B2 (en) Target detection device
US9148633B2 (en) Imaging apparatus and method of calculating color temperature
WO2010053029A1 (en) Image inputting apparatus
US8411176B2 (en) Image input device
US9936172B2 (en) Signal processing device, signal processing method, and signal processing program for performing color reproduction of an image
JP6441771B2 (en) Imaging device
KR100785596B1 (en) Color signal processing method
JP2008289000A (en) Image input processing device, and method thereof
WO2016098641A1 (en) Image pickup device, image pickup method, and program
JP4892909B2 (en) Signal processing method, signal processing circuit, and camera system using the same
JP4312222B2 (en) Imaging device
WO2018116972A1 (en) Image processing method, image processing device, and recording medium
JP5228717B2 (en) Image input device
JP5098908B2 (en) Image input device
JP5464008B2 (en) Image input device
JP2012095223A (en) Imaging device, imaging method, and program
JP2010171950A (en) Imaging apparatus and color correcting method of imaging apparatus
JP5182518B2 (en) Imaging apparatus and imaging method
JP2010252077A (en) Imaging apparatus

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090624

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100105