JP2010098436A - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP2010098436A JP2010098436A JP2008266382A JP2008266382A JP2010098436A JP 2010098436 A JP2010098436 A JP 2010098436A JP 2008266382 A JP2008266382 A JP 2008266382A JP 2008266382 A JP2008266382 A JP 2008266382A JP 2010098436 A JP2010098436 A JP 2010098436A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- signal
- image signal
- delay
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
本発明は、撮像装置に関し、特に、画像信号取り込み自動調整技術に特徴のある撮像装置に関する。 The present invention relates to an imaging apparatus, and more particularly, to an imaging apparatus that is characterized by an automatic adjustment technique for capturing an image signal.
近年、入力デバイスの多画素化、記録媒体の高容量化により民生用ビデオカメラ(撮像装置)の高性能化が進み、高精細な動画及び静止画を手軽に取り扱える環境が普及した。 In recent years, consumer video cameras (imaging devices) have improved in performance due to the increase in the number of pixels of input devices and the increase in capacity of recording media, and the environment in which high-definition moving images and still images can be easily handled has become widespread.
この種の製品として、200万画素以上の多画素撮像素子を搭載し、高精細静止画像をメモリに記録し、この高精細画像の一部を読み出して動画像として記録するような、静止画及び動画双方を撮影可能なビデオカメラが開発されている(例えば、特許文献1参照)。 This kind of product is equipped with a multi-pixel imaging device having 2 million pixels or more, records a high-definition still image in a memory, reads out a part of this high-definition image and records it as a moving image, and Video cameras capable of shooting both moving images have been developed (see, for example, Patent Document 1).
高精細な画像の取り込みは、400Mbps程度のビットレートで行われており、非常に高速であるため、画像取り込み部でのタイミング調整が非常に厳しく重要となっている。 Acquisition of high-definition images is performed at a bit rate of about 400 Mbps and is very fast. Therefore, timing adjustment at the image acquisition unit is very strict and important.
図10は、従来例に係る撮像装置の簡略ブロック図である。 FIG. 10 is a simplified block diagram of an imaging apparatus according to a conventional example.
撮像装置は、レンズ101、撮像素子102、A/D変換部103、取り込み部105、信号処理部108を備える。
The imaging apparatus includes a
このような回路構成で、静止画及び動画の画像信号を取り込み、ビデオ信号への信号処理を行っている。画像信号と画像信号に同期した信号が回路に入力され、同期信号のタイミングにて画像信号を回路に取り込む。 With such a circuit configuration, image signals of still images and moving images are captured and signal processing is performed on the video signals. An image signal and a signal synchronized with the image signal are input to the circuit, and the image signal is taken into the circuit at the timing of the synchronization signal.
また、撮像素子102には、不良画素、即ち、欠陥画素が存在する。撮像素子102の欠陥画素の要因は複数あり、例えば、受光素子の欠陥の場合と、信号電荷を転送する転送路の欠陥がある。さらに、近年、撮像素子102として、CMOSセンサが使用されることが増えているが、CMOSセンサ特有の欠陥要因が複数存在する。
図11は、図10の撮像装置における画像信号の取り込みタイミングを示す図である。 FIG. 11 is a diagram illustrating image signal capture timing in the imaging apparatus of FIG.
図11に示すように、画像信号と画像信号を取り込む同期信号には、規定の間隔内に画像信号を取り込まなくてはならないタイミングの関係がある。 As shown in FIG. 11, the image signal and the synchronization signal for capturing the image signal have a timing relationship in which the image signal must be captured within a predetermined interval.
現在よりも高精細な静止画及び動画撮影を可能とするような需要が今後期待されてくるにつれて、取り込み部105でのタイミング調整が更に厳しいもとのなり、必ず対応していかなくてはいけない課題である。
As demand for higher-definition still images and moving images is expected in the future, timing adjustment at the capturing
更に、画像信号は、伝送路の遅延による影響を受け、遅延量は温度等の使用環境で大きく変動するため、環境による取り込みタイミングの調整も考慮しなくてはいけないという課題がある。 Furthermore, since the image signal is affected by the delay of the transmission path, and the delay amount varies greatly depending on the usage environment such as temperature, there is a problem that the adjustment of the capture timing depending on the environment must be taken into consideration.
本発明の目的は、高速に画像信号を取り込む際に必要な調整の困難さを軽減し、温度等の動作環境による取り込み位置のばらつきを無くして、画像品質の保持を図ることができる撮像装置を提供することにある。 An object of the present invention is to provide an imaging apparatus capable of reducing the difficulty of adjustment required when capturing an image signal at high speed, eliminating variations in the capturing position due to an operating environment such as temperature, and maintaining image quality. It is to provide.
上記目的を達成するために、請求項1記載の撮像装置は、撮像素子と、前記撮像素子から入力される画像信号に複数の遅延量を持たせる遅延手段と、前記遅延手段により遅延された前記画像信号を取り込む取り込み手段と、前記撮像素子の欠陥画素の位置または試験信号の位置を期待値として格納する格納手段と、前記取り込み手段により取り込まれた前記画像信号と、前記格納手段に格納された前記期待値とを用いて適正な遅延量を判定する判定手段と、前記判定手段の判定結果より前記適正な遅延量を選択する選択手段と、前記選択手段により選択された後の前記画像信号を処理する信号処理手段と、前記信号処理手段と前記撮像素子の同期を取るための基準信号を生成する基準信号生成手段とを備えることを特徴とする。 In order to achieve the above object, the imaging apparatus according to claim 1, the imaging device, a delay unit that gives a plurality of delay amounts to an image signal input from the imaging device, and the delay unit delayed by the delay unit. Capture means for capturing an image signal, storage means for storing the position of a defective pixel of the image sensor or the position of a test signal as an expected value, the image signal captured by the capture means, and stored in the storage means A determination unit that determines an appropriate delay amount using the expected value; a selection unit that selects the appropriate delay amount based on a determination result of the determination unit; and the image signal selected by the selection unit. Signal processing means for processing, and reference signal generation means for generating a reference signal for synchronizing the signal processing means and the image sensor are provided.
本発明の撮像装置によれば、高速に画像信号を取り込む際に必要な調整の困難さを軽減し、温度等の動作環境による取り込み位置のばらつきを無くして、画像品質の保持を図ることができる。 According to the imaging apparatus of the present invention, it is possible to reduce the difficulty of adjustment required when capturing an image signal at high speed, and to maintain the image quality by eliminating variation in the capturing position due to the operating environment such as temperature. .
以下、本発明を図面を参照しながら詳細に説明する。 Hereinafter, the present invention will be described in detail with reference to the drawings.
図1は、本発明の第1の実施の形態に係る撮像装置のブロック図である。 FIG. 1 is a block diagram of an imaging apparatus according to the first embodiment of the present invention.
図1において、レンズ101は、被写体像を入力する。撮像素子102は、レンズ101からの入力を画像信号に変換する。A/D変換部103は、撮像素子102からのアナログ信号をデジタル信号に変換する。
In FIG. 1, a
遅延部104は、撮像素子102からの画像信号に種々の遅延量を持たせる。取り込み部105は、遅延部104にて種々の遅延量を持った画像信号を取り込む。判定部106は、取り込み部105にて取り込んだ遅延量が異なる画像信号より適正な取り込みの判定を行う。選択部107は、判定部106にて判定した結果より適正な取り込みを選択する。
The
信号処理部108は、選択部107で選択された画像信号の処理を行う。メモリ109は、判定部106の判定に使用する期待値(期待値信号)を格納する。基準信号生成部110は、撮像素子102と判定部106の基準信号を生成する。
The
(第1の動作例)
次に、第1の実施の形態における第1の動作例について説明する。
(First operation example)
Next, a first operation example in the first embodiment will be described.
図1において、レンズ101から被写体像を入力し、撮像素子102にて画像信号に変換する。
In FIG. 1, a subject image is input from a
図2は、図1の撮像素子における欠陥画素の分布イメージを示す図である。 FIG. 2 is a diagram showing a distribution image of defective pixels in the image sensor of FIG.
撮像素子102には、欠陥画素201が存在する。撮像素子102からの画像信号は、ある一定レベルの信号として、A/D変換部103にてデジタル信号に変換される。
A
図3は、図1の撮像装置における、遅延差を有する画像信号のタイミングを示す図である。また、図3は、図1の取り込み部105における画像信号の取り込みタイミングを示している。
FIG. 3 is a diagram illustrating the timing of an image signal having a delay difference in the imaging apparatus of FIG. FIG. 3 shows the image signal capture timing in the
遅延部104にて種々の遅延を持たせた画像信号は、図3に示すような遅延差を持ち、取り込み部105にて順次取り込む。欠陥画素の位置は事前に判っており、その位置を期待値としてメモリ109に格納しておく。
The image signal given various delays by the
取り込み部105にて取り込んである画像信号とメモリ109に格納されている期待値とを判定部106にて判定し、判定結果を選択部107の選択に使用する。
The
図4は、図1の撮像装置における、遅延差を有する画像信号のタイミングと期待値を示す図である。また、図4は、図1の判定部106での判定方法を示している。
FIG. 4 is a diagram illustrating the timing and expected value of an image signal having a delay difference in the imaging apparatus of FIG. FIG. 4 shows a determination method in the
遅延差を持つ画像信号は、任意の周期で取り込み部105に取り込まれ、判定部106は、その際に取り込まれるべき期待値と比較し、判定を行う。画像信号と期待値の判定は、基準信号生成部110で生成する信号を元に同期を取って行っている。
An image signal having a delay difference is captured by the capturing
図4において、画像信号bが欠陥画素の位置だとすると、正しく画像信号が取り込まれているのは、遅延量2、遅延量3及び遅延量4となる。 In FIG. 4, if the image signal b is the position of the defective pixel, it is the delay amount 2, the delay amount 3, and the delay amount 4 that are correctly captured.
図5は、図1の判定部における判定時の判定表を示す図である。 FIG. 5 is a diagram illustrating a determination table at the time of determination in the determination unit of FIG.
欠陥画素は複数存在し、それぞれに対する判定結果が得られる。また、各判定時における遅延量は一定ではなく、ばらつきが存在する。 There are a plurality of defective pixels, and a determination result for each is obtained. In addition, the delay amount at each determination is not constant and varies.
図6は、図1の判定部における複数の欠陥画素に対する判定時の判定表を示す図である。 FIG. 6 is a diagram illustrating a determination table when determining a plurality of defective pixels in the determination unit of FIG.
判定部106は、複数の欠陥画素位置の画像信号b,e,h,j,o,s,wにおいて、期待値と照合し一致しているか判定を行い、選択部107は、安定して期待値と一致している遅延量を選択する。
The
図6においては、遅延量3、遅延量4が安定的に期待値と一致しているため、選択部107で選択される。更に、温度や環境の変化によって遅延量やばらつきは変動するため、その都度、判定部106及び選択部107は、適正な遅延量を適応的に判定し、選択する。
In FIG. 6, since the delay amount 3 and the delay amount 4 stably match the expected value, the
取り込み部105を駆動する期間は、欠陥画素の読み込み期間である。
The period for driving the capturing
(第2の動作例)
次に、第1の実施の形態における第2の動作例について説明する。
(Second operation example)
Next, a second operation example in the first embodiment will be described.
図1において、レンズ101から被写体像を入力し、撮像素子102にて画像信号に変換する。撮像素子102からの画像信号はある一定レベルの信号として、A/D変換部103にてデジタル信号に変換される。
In FIG. 1, a subject image is input from a
遅延部104にて種々の遅延を持たせた画像信号は、図3に示すような遅延差を持ち、取り込み部105にて順次取り込む。画像信号には無効画像領域と有効画像領域が存在し、判定部106は、無効画像領域と有効画像領域の切り替りタイミングを用いて、適正な遅延量を判定する。
The image signal given various delays by the
図7は、図1の撮像装置の画像信号における有効画像と無効画像の境界を示す図である。 FIG. 7 is a diagram illustrating a boundary between an effective image and an invalid image in the image signal of the imaging apparatus of FIG.
境界の前後では、画像信号のレベルが極端に異なるため、その信号レベルを用いて判定部106にて適正な遅延量を判定する。
Since the level of the image signal is extremely different before and after the boundary, the
このとき、メモリ109には期待値を置く必然性は無い。基準信号生成部110により生成される、撮像素子102から入力される画像信号を取り込み部105で取り込む際の有効画像領域及び無効画像領域の切り替わりタイミングが期待値として使用可能である。
At this time, there is no necessity to place an expected value in the
図8は、図1の判定部における画像信号1ラインに対する判定時の判定表を示す図である。 FIG. 8 is a diagram showing a determination table at the time of determination for one line of the image signal in the determination unit of FIG.
判定部106は、複数ライン毎の有効画像領域から無効画像領域への切り替えタイミングにおいて、期待値と照合し一致しているか判定を行い、選択部107は、安定して期待値と一致している遅延量を選択する。
The
図8においては、遅延量4、遅延量5が安定的に期待値と一致しているため、選択部107で選択される。このように、判定部106、選択部107は、画像信号の領域と有効画像領域の境界を用いて適正な遅延量を適応的に判定し、選択する。
In FIG. 8, since the delay amount 4 and the delay amount 5 stably match the expected value, the
取り込み部105を駆動する期間は、画像信号の有効画像領域から無効画像領域への切り替り期間である。あるいは、取り込み部105を駆動する期間は、画像信号の無効画像領域から有効画像領域への切り替り期間である。
The period for driving the
図9は、本発明の第2の実施の形態に係る撮像装置のブロック図である。 FIG. 9 is a block diagram of an imaging apparatus according to the second embodiment of the present invention.
図9に示す第2の実施の形態に係る撮像装置は、図1に示す第1の実施の形態に係る撮像装置の構成に111を付加したものである。 The imaging apparatus according to the second embodiment shown in FIG. 9 is obtained by adding 111 to the configuration of the imaging apparatus according to the first embodiment shown in FIG.
(第2の実施の形態の動作例)
図9において、レンズ101から被写体像を入力し、撮像素子102にて画像信号に変換する。撮像素子102からの画像信号に対して、試験信号生成部111にて生成した試験信号を付加し、画像信号内に試験信号を混入させる。
(Operation example of the second embodiment)
In FIG. 9, a subject image is input from the
試験信号が混入した画像信号はA/D変換部103にてデジタル信号に変換される。遅延部114にて種々の遅延を持たせた試験信号が混入した画像信号は、図3に示すような遅延差を持ち、取り込み部115にて順次取り込む。
The image signal mixed with the test signal is converted into a digital signal by the A /
試験信号位置は、事前に判っており、その位置を期待値としてメモリ109に格納しておく。取り込み部105にて取り込んである画像信号とメモリ109に格納されている期待値とを判定部106にて判定し、判定結果を選択部107の選択に使用する。
The test signal position is known in advance, and the position is stored in the
前述したように、図4に判定部106での判定方法を示す。遅延差を持つ画像信号は、任意の周期で取り込み部105に取り込まれ、判定部106は、その際に取り込まれるべき期待値信号と比較し判定を行う。
As described above, the determination method in the
画像信号と期待値の判定は、基準信号生成部110で生成する信号を元に同期を取って行っている。
The determination of the image signal and the expected value is performed in synchronization with the signal generated by the reference
図4において、画像信号bが試験信号の位置だとすると、正しく画像信号が取り込まれているのは、遅延量2、遅延量3及び遅延量4となる。 In FIG. 4, assuming that the image signal b is the position of the test signal, it is the delay amount 2, the delay amount 3, and the delay amount 4 that are correctly captured.
前述したように、図5に取り込み時の判定表を示す。試験信号は複数存在し、それぞれに対しする判定結果が得られる。また、各判定時における遅延量は一定ではなく、ばらつきが存在する。 As described above, FIG. 5 shows a determination table at the time of capture. There are a plurality of test signals, and a determination result for each is obtained. In addition, the delay amount at each determination is not constant and varies.
複数の欠陥画素に対して判定した際の判定結果について、前述したように、図6に示す。判定部106は、複数の試験信号位置の画像信号b,e,h,j,o,s,wにおいて、期待値と照合し一致しているか判定を行い、選択部107は、安定して期待値と一致している遅延量を選択する。
As described above, the determination result when determining a plurality of defective pixels is shown in FIG. The
図6においては、遅延量3が安定的に期待値と一致しているため、選択部107で選択される。更に、温度や環境の変化によって遅延量やばらつきは変動するため、判定部106、選択部107は、その都度、適正な遅延量を適応的に判定し、選択する。
In FIG. 6, since the delay amount 3 stably matches the expected value, it is selected by the
取り込み部105を駆動する期間は、試験信号の入力期間である。
The period during which the
101 レンズ
102 撮像素子
103 A/D変換部
104 遅延部
105 取り込み部
106 判定部
107 選択部
108 信号処理部
109 メモリ
110 基準信号生成部
111 試験信号生成部
DESCRIPTION OF
Claims (5)
前記撮像素子から入力される画像信号に複数の遅延量を持たせる遅延手段と、
前記遅延手段により遅延された前記画像信号を取り込む取り込み手段と、
前記撮像素子の欠陥画素の位置または試験信号の位置を期待値として格納する格納手段と、
前記取り込み手段により取り込まれた前記画像信号と、前記格納手段に格納された前記期待値とを用いて適正な遅延量を判定する判定手段と、
前記判定手段の判定結果より前記適正な遅延量を選択する選択手段と、
前記選択手段により選択された後の前記画像信号を処理する信号処理手段と、
前記信号処理手段と前記撮像素子の同期を取るための基準信号を生成する基準信号生成手段と、
を備えることを特徴とする撮像装置。 An image sensor;
Delay means for giving a plurality of delay amounts to the image signal input from the image sensor;
Capture means for capturing the image signal delayed by the delay means;
Storage means for storing the position of the defective pixel of the image sensor or the position of the test signal as an expected value;
A determination unit that determines an appropriate delay amount using the image signal captured by the capture unit and the expected value stored in the storage unit;
Selection means for selecting the appropriate delay amount from the determination result of the determination means;
Signal processing means for processing the image signal after being selected by the selection means;
A reference signal generating means for generating a reference signal for synchronizing the signal processing means and the image sensor;
An imaging apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008266382A JP5335360B2 (en) | 2008-10-15 | 2008-10-15 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008266382A JP5335360B2 (en) | 2008-10-15 | 2008-10-15 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010098436A true JP2010098436A (en) | 2010-04-30 |
JP5335360B2 JP5335360B2 (en) | 2013-11-06 |
Family
ID=42259826
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008266382A Expired - Fee Related JP5335360B2 (en) | 2008-10-15 | 2008-10-15 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5335360B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011129050A1 (en) * | 2010-04-12 | 2011-10-20 | パナソニック株式会社 | Semiconductor integrated circuit and image capture system including same |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02196576A (en) * | 1989-01-26 | 1990-08-03 | Toshiba Corp | Solid-state image pickup device |
JPH09181936A (en) * | 1995-12-26 | 1997-07-11 | Toshiba Corp | Head separation type video camera equipment |
JP2002208916A (en) * | 2001-01-11 | 2002-07-26 | Fujitsu Ltd | Automatic phasing circuit and data communication system |
JP2003143493A (en) * | 2001-11-07 | 2003-05-16 | Sony Corp | Electronic camera, adjusting method therefor, and adjusting value setting program thereof |
JP2005311535A (en) * | 2004-04-19 | 2005-11-04 | Canon Inc | Imaging apparatus and phase compensation method thereof, and control program |
JP2007194963A (en) * | 2006-01-19 | 2007-08-02 | Sony Corp | Camera device, imaging device, signal processor, and signal acquisition timing control method of signal processor |
JP2009188454A (en) * | 2008-02-01 | 2009-08-20 | Nikon Corp | Data transfer device and electronic camera |
JP2009290345A (en) * | 2008-05-27 | 2009-12-10 | Sony Corp | Solid state imaging device, data transfer circuit, and camera system |
-
2008
- 2008-10-15 JP JP2008266382A patent/JP5335360B2/en not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02196576A (en) * | 1989-01-26 | 1990-08-03 | Toshiba Corp | Solid-state image pickup device |
JPH09181936A (en) * | 1995-12-26 | 1997-07-11 | Toshiba Corp | Head separation type video camera equipment |
JP2002208916A (en) * | 2001-01-11 | 2002-07-26 | Fujitsu Ltd | Automatic phasing circuit and data communication system |
JP2003143493A (en) * | 2001-11-07 | 2003-05-16 | Sony Corp | Electronic camera, adjusting method therefor, and adjusting value setting program thereof |
JP2005311535A (en) * | 2004-04-19 | 2005-11-04 | Canon Inc | Imaging apparatus and phase compensation method thereof, and control program |
JP2007194963A (en) * | 2006-01-19 | 2007-08-02 | Sony Corp | Camera device, imaging device, signal processor, and signal acquisition timing control method of signal processor |
JP2009188454A (en) * | 2008-02-01 | 2009-08-20 | Nikon Corp | Data transfer device and electronic camera |
JP2009290345A (en) * | 2008-05-27 | 2009-12-10 | Sony Corp | Solid state imaging device, data transfer circuit, and camera system |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011129050A1 (en) * | 2010-04-12 | 2011-10-20 | パナソニック株式会社 | Semiconductor integrated circuit and image capture system including same |
Also Published As
Publication number | Publication date |
---|---|
JP5335360B2 (en) | 2013-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4948090B2 (en) | Imaging apparatus and drive control method | |
JP6019692B2 (en) | Image pickup device, image pickup device control method, and image pickup apparatus | |
US20060262193A1 (en) | Image processing apparatus and method and program | |
US7262793B2 (en) | Imager and image quality correcting method performing correction based on the output of different readout modes | |
JP2010056795A (en) | Imaging apparatus and method of controlling the same | |
JP2006148861A (en) | Image signal processing device and method | |
JP5105843B2 (en) | Imaging apparatus and determination method | |
JP2007150439A (en) | Imaging apparatus, imaging method, and program | |
JP2007300368A (en) | Solid-state imaging device | |
JP2008118239A (en) | Imaging apparatus and control method of imaging apparatus | |
JP5268539B2 (en) | Imaging apparatus and signal control method | |
JP5335360B2 (en) | Imaging device | |
CN103024283A (en) | Photographing apparatus and method of detecting distortion thereof | |
JP2006098736A (en) | Imaging apparatus and lens device | |
JP2007142693A (en) | Device and method for image pickup | |
JP4634953B2 (en) | Solid-state imaging device and driving method | |
JP4227596B2 (en) | Pulse generation circuit, imaging device and camera | |
JP2007228269A (en) | Image signal processing device and method | |
JP2008295007A (en) | Imaging device and control method therefor | |
JP4555642B2 (en) | Signal processing circuit | |
JP2020057844A (en) | Imaging apparatus, control method of the same, program, and storage medium | |
JP4785445B2 (en) | Imaging device | |
JP2012124800A (en) | Imaging apparatus | |
JP2010219638A (en) | Data transfer device and imager | |
JP2005102314A (en) | Pixel defect detecting method for solid-state image sensor, and imaging device using the method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111007 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130702 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130731 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5335360 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |