JP2011101073A - 撮像装置、ホワイトバランス設定方法、及び、プログラム - Google Patents

撮像装置、ホワイトバランス設定方法、及び、プログラム Download PDF

Info

Publication number
JP2011101073A
JP2011101073A JP2009252555A JP2009252555A JP2011101073A JP 2011101073 A JP2011101073 A JP 2011101073A JP 2009252555 A JP2009252555 A JP 2009252555A JP 2009252555 A JP2009252555 A JP 2009252555A JP 2011101073 A JP2011101073 A JP 2011101073A
Authority
JP
Japan
Prior art keywords
imaging
white balance
image
unit
setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009252555A
Other languages
English (en)
Other versions
JP5045731B2 (ja
Inventor
Takefumi Tsukagoshi
丈史 塚越
Noriyasu Murata
憲保 村田
Hiroyasu Kitagawa
博康 北川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2009252555A priority Critical patent/JP5045731B2/ja
Priority to CN2010105343673A priority patent/CN102065217A/zh
Priority to US12/917,632 priority patent/US8502882B2/en
Publication of JP2011101073A publication Critical patent/JP2011101073A/ja
Application granted granted Critical
Publication of JP5045731B2 publication Critical patent/JP5045731B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Image Communication Systems (AREA)
  • Studio Devices (AREA)

Abstract

【課題】ユーザーの知識レベルに左右されることなくホワイトバランスを簡単に、且つ最適なものに設定することができるようにする。
【解決手段】撮像装置1において、MWB設定の指示の後、逐次撮像処理させ出力された画像データを所定サイズに対応する画素数に間引いて縮小する。そして、中央領域を設定して所定数の領域に分割し、この分割された各領域における色の分散度合いから、撮像領域の中心付近に対象物を置いてホワイトバランスを設定しているか、そうでないかを判断する。中心付近に対象物を置いてホワイトバランスを設定していると判断すると、分割された各領域の色成分のゲイン値を調整してホワイトバランスを設定する一方、そうでないと判断すると、画像データ全体についてゲイン値の平均を取得してホワイトバランスを設定する。
【選択図】図2

Description

本発明はホワイトバランスの設定機能を有する撮像装置、ホワイトバランス設定方法、及び、プログラムに関する。
従来より、デジタルカメラ等の撮像装置においては、撮影環境や光源によって変わる撮像画像の色味をより自然にすることができるように、撮像素子から出力されるRGBの各ゲインの増幅率(以下ゲイン値という)を調整することにより、ホワイトバランスを設定する機能が備えられている。
このホワイトバランスを設定する機能については様々な手法が存在する。従来より知られている方法としては、ユーザーが白−グレーレベルの基準となる対象物(カラーパターン)を選び、これを中心(若しくは撮像領域のほぼ全域)に置いて撮像させるとこにより、マニュアルでホワイトバランスを設定する方法であり、主に撮像に精通するユーザーが行う方法として知られている。
また、一方、上述の設定方法を知らないユーザーであっても簡単に最適なホワイトバランスを設定できるよう、例えば、撮像装置側で入力された画像を分割し、これら複数の分割領域に夫々についてその領域が白領域か否かを判別し、白領域があればその領域を基準にしてホワイトバランスを設定する方法が知られている(例えば、特許文献1参照)。
特開2003−244723号公報
上記の如く、ホワイトバランスの設定方法については、比較的撮像することに精通したユーザーが使用する方法と、それ以外の方法が用意されている。
しかしながら、撮像装置は、操作するユーザが撮像に精通しているのか、それともそうでないのかを事前に知る方法は無く、あらゆる知識レベルのユーザーにとって使い勝手の良いホワイトバランスの設定方法が提供できていないという問題があった。
本発明はこのような問題点に鑑みて成されたものであり、ユーザーの知識レベルに左右されることなくホワイトバランスを簡単に、且つ最適なものに設定することができるようにすることを目的とする。
上記課題を解決するため、本願の請求項1記載の発明は、撮像手段と、この撮像手段の撮像範囲の中心領域を所定数の領域に分割する分割手段と、この分割手段によって分割された各領域における前記撮像手段による撮像画像の色の分散度合いから、前記撮像領域の中心付近にホワイトバランスを調整するための対象物の画像が存在するか否かを判断する判断手段と、この判断手段により前記対象物の画像が存在すると判断すると、前記分割された各領域の色成分のゲイン値を調整し、前記撮像範囲のホワイトバランスを設定する第1の設定手段と、を備えることを特徴とする。
また、請求項2記載の発明は、上記請求項1の発明において、前記判断手段により前記対象物の画像が存在しないと判断すると、前記撮像範囲全体の色成分のゲイン値を調整し、前記撮像範囲のホワイトバランスを設定する第2の設定手段を更に備えることを特徴とする。
また、請求項3記載の発明は、上記請求項1又は2に記載の発明において、前記ゲイン値の調整とは、前記各色成分のうちR成分とB成分のゲイン値の平均値を算出することであることを特徴とする。
また、請求項4記載の発明は、上記請求項1乃至3の何れかに記載の発明において、前記撮像手段によって撮像されている画角を所定サイズまで間引き縮小する縮小処理手段を更に備え、前記撮像範囲とはこの縮小処理手段によって間引き縮小された範囲であることを特徴とする。
また、上記課題を解決するため、本願の請求項5記載の発明は、撮像部における撮像範囲の中心領域を所定数の領域に分割する分割ステップと、この分割ステップにて分割された各領域における前記撮像部による撮像画像の色の分散度合いから、前記撮像領域の中心付近にホワイトバランスを調整するための対象物の画像が存在するか否かを判断する判断ステップと、この判断ステップにて前記対象物の画像が存在すると判断すると、前記分割された各領域の色成分のゲイン値を調整し、前記撮像範囲のホワイトバランスを設定する設定ステップと、を含むことを特徴とする。
また、上記課題を解決するため、本願の請求項6記載の発明は、撮像部を制御する電子機器が備えるコンピュータを、前記撮像部における撮像範囲の中心領域を所定数の領域に分割する分割手段、この分割手段によって分割された各領域における前記撮像部による撮像画像の色の分散度合いから、前記撮像領域の中心付近にホワイトバランスを調整するための対象物の画像が存在するか否かを判断する判断手段、この判断手段によって前記対象物の画像が存在すると判断すると、前記分割された各領域の色成分のゲイン値を調整し、前記撮像範囲のホワイトバランスを設定する設定手段、として機能させることを特徴とする。
本発明によれば、ユーザーの知識レベルに左右されることなくホワイトバランスを簡単に、且つ最適なものに設定することができる。
本発明の実施の形態に係る撮像装置の回路構成図である。 本発明の実施形態に係るフローチャートを示す図である。 本発明のフローチャートにて処理される際の画像データの設定内容を示す図であり、(a)は中央領域の設定状態を示す図、(b)は各中央領域にて特定される各領域を示す図である。
以下、本発明を実施する形態の一例として、本発明を撮像装置に適用した場合について詳述する。
図1は本発明の実施形態に係る撮像装置1の回路構成を図示したものである。図示するように撮像装置1は、レンズ2、撮像部3、CDS/ADC4、制御部5、画像処理部6、ドライバ7、表示部8、ワークメモリ9、プログラムメモリ10、画像格納部11、及び、入力部12を備える。
レンズ2は、ズームレンズ群、フォーカスレンズ群を含み、図示しないレンズモータによりその位置が制御される。撮像部3は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子を含む。撮像部3から出力されたRGB成分よりなる画像信号は、CDS/ADC4にてデジタルのYUV(輝度色差)情報からなる画像データに変換される。またこの時、入力されたRGB成分はゲイン調整部41より出力される各色のゲイン値に基づいて増幅される。すなわち、ゲイン調整部41による調整により、ホワイトバランスが設定された画像データが出力される。
制御部5は、プログラマブルなプロセッサを含む。制御部5は、撮像装置1全体を制御する。撮像装置1は、CDS/ADC4から出力された画像データを受け取り、表示部8で表示可能な形式に変換して、スルー画像として表示部8に出力するようドライバ7を駆動制御する。また、制御部5は、画像データの記録時にはこの画像データを画像処理部6に送る。画像処理部6はこの画像データに各種の画像処理や圧縮等を施してファイル化し、ファイル化された画像データは画像格納部11へ格納される。
ワークメモリ9は、撮像された画像データを一時的に記憶する。また、プログラムメモリ10は、制御部5のプログラムや各種の設定等を記憶する。
画像格納部6は、制御部5の指示に従って、ファイル化された画像データを記録する。
入力部12は、シャッターボタンや上下左右カーソルキーのような各種の操作キーやスイッチを含む。
表示部8は液晶等のデバイスで構成されたディスプレイを含み、制御部5は、各種のメッセージや撮像部3で撮像された画像が縮小されたスルー画像を表示する。スルー画像のサイズは、例えば320画素×240画素(QVGA)である。ユーザーは、ディスプレイのスルー画像を見ながらシャッターボタンを押下する等の操作を行う。
次に、本実施の形態における具体的な処理について図2、図3を用いて説明する。
撮像装置1は電源が投入されているときに、先ずユーザーによるMWB設定(マニュアル(手動)操作によるホワイトバランスの設定)の指示を検出すると、制御部5は撮像部3に対し逐次撮像処理を行わせてその撮像範囲に対応する画像データを出力させるとともに、出力された画像データを所定サイズに対応する画素数に間引いて縮小する(ステップS1)。
次にこの縮小された画像データについて、中央領域を設定し(ステップ2)、更にこの設定された中央領域を複数の領域に分割した各分割領域を設定する(ステップS3)。
図3(a)は上記ステップS2、S3の時の分割状態を図示したものであり、間引かれた画像データ100は横a(画素数)、縦b(画素数)からなるサイズを有するものとする。そして、ステップS2で設定される中央領域とは、縦横共に4等分された中の画像データ100における中央寄りの分割領域101、102、103、及び、104で構成される。
次いで、撮像部3から出力される画像信号における分割領域101〜104に対応する画像信号のRGB成分を取得し、G成分と等しくなるゲイン値が得られるようR成分、及び、B成分のゲイン値を取得する(ステップS4)。
ステップS4で各ゲイン値を取得すると、図3(b)に図示するように分割領域101〜104で画像データ100の中央寄りの領域1011、1021、1031、及び、1041を夫々特定し、これら特定された領域間の色(ゲイン値)の分散を取得し(ステップS5)、この分散と予め設定された閾値とを比較する(ステップS6)。そしてこの比較の結果、上記分散が閾値以下であるか否かを判断し(ステップS7)、閾値以下であると判断した場合には(ステップS7→Yes)、ユーザーが白−グレーレベルの基準となる対象物(カラーパターン)を選び、これを中心に置いて撮像していると判断し、領域1011、1021、1031、及び、1041に設定された各ゲイン値について平均値を算出し(ステップS8)、この平均値を画像信号にかけるべきゲイン値として出力するようゲイン調整部41に出力し(ステップS10)本処理を終了する。
一方、閾値以下でないと判断した場合には(ステップS7→No)、ユーザーが基準となる対象物(カラーパターン)を中心に置くことなく撮像していると判断し、間引かれた画像データ100についてゲイン値の平均を算出し(ステップS9)、この平均値を画像信号にかけるべきゲイン値として出力するようゲイン調整部41に出力し(ステップS10)本処理を終了する。
このように本実施の形態によれば、撮像範囲の中心領域を所定数の領域に分割し、その分割された各領域における色の分散度合いから、前記撮像領域の中心付近に対象物(カラーパターン)置いてホワイトバランスを設定しているか、そうでないのかを判断するので、ユーザーの知識レベルに左右されることなくホワイトバランスを簡単に、且つ最適なものに設定することができる。
尚、本実施の形態では本発明を撮像装置に適用させた場合について述べたが、これに限ることなく、撮像素子を備えた電子機器や、そのような電子機器を制御するコンピュータのプログラムとして記述されたものであっても良い。
また、上記説明において、設計上の都合やその他の要因によって必要となる様々な修正や組み合わせは、請求項に記載されている発明や発明の実施形態に記載されている具体例に対応する発明の範囲に含まれると理解されるべきである。
1…撮像装置
3…撮像部
4…CDS/ADC
5…制御部
10…プログラムメモリ
41…ゲイン調整部
100…(間引きされた)画像データ
101、102、103、104…分割領域

Claims (6)

  1. 撮像手段と、
    この撮像手段の撮像範囲の中心領域を所定数の領域に分割する分割手段と、
    この分割手段によって分割された各領域における前記撮像手段による撮像画像の分散度合いから、前記撮像領域の中心付近にホワイトバランスを調整するための対象物の画像が存在するか否かを判断する判断手段と、
    この判断手段により前記対象物の画像が存在すると判断すると、前記分割された各領域の色成分のゲイン値を調整し、前記撮像範囲のホワイトバランスを設定する第1の設定手段と、
    を備えることを特徴とする撮像装置。
  2. 前記判断手段により前記対象物の画像が存在しないと判断すると、前記撮像範囲全体の色成分のゲイン値を調整し、前記撮像範囲のホワイトバランスを設定する第2の設定手段を更に備えることを特徴とする請求項1記載の撮像装置。
  3. 前記ゲイン値の調整とは、前記各色成分のうちR成分とB成分のゲイン値の平均値を算出することであることを特徴とする請求項1又は2に記載の撮像装置。
  4. 前記撮像手段によって撮像されている画角を所定サイズまで間引き縮小する縮小処理手段を更に備え、
    前記撮像範囲とはこの縮小処理手段によって間引き縮小された範囲であることを特徴とする請求項1乃至3の何れかに記載の撮像装置。
  5. 撮像部における撮像範囲の中心領域を所定数の領域に分割する分割ステップと、
    この分割ステップにて分割された各領域における前記撮像部による撮像画像の色の分散度合いから、前記撮像領域の中心付近にホワイトバランスを調整するための対象物の画像が存在するか否かを判断する判断ステップと、
    この判断ステップにて前記対象物の画像が存在すると判断すると、前記分割された各領域の色成分のゲイン値を調整し、前記撮像範囲のホワイトバランスを設定する設定ステップと、
    を含むことを特徴とするホワイトバランス設定方法。
  6. 撮像部を制御する電子機器が備えるコンピュータを、
    前記撮像部における撮像範囲の中心領域を所定数の領域に分割する分割手段、
    この分割手段によって分割された各領域における前記撮像部による撮像画像の色の分散度合いから、前記撮像領域の中心付近にホワイトバランスを調整するための対象物の画像が存在するか否かを判断する判断手段、
    この判断手段によって前記対象物の画像が存在すると判断すると、前記分割された各領域の色成分のゲイン値を調整し、前記撮像範囲のホワイトバランスを設定する設定手段、
    として機能させることを特徴とするプログラム。
JP2009252555A 2009-11-04 2009-11-04 撮像装置、ホワイトバランス設定方法、及び、プログラム Expired - Fee Related JP5045731B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009252555A JP5045731B2 (ja) 2009-11-04 2009-11-04 撮像装置、ホワイトバランス設定方法、及び、プログラム
CN2010105343673A CN102065217A (zh) 2009-11-04 2010-11-02 拍摄装置、白平衡设定方法
US12/917,632 US8502882B2 (en) 2009-11-04 2010-11-02 Image pick-up apparatus, white balance setting method and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009252555A JP5045731B2 (ja) 2009-11-04 2009-11-04 撮像装置、ホワイトバランス設定方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2011101073A true JP2011101073A (ja) 2011-05-19
JP5045731B2 JP5045731B2 (ja) 2012-10-10

Family

ID=43925047

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009252555A Expired - Fee Related JP5045731B2 (ja) 2009-11-04 2009-11-04 撮像装置、ホワイトバランス設定方法、及び、プログラム

Country Status (3)

Country Link
US (1) US8502882B2 (ja)
JP (1) JP5045731B2 (ja)
CN (1) CN102065217A (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI465115B (zh) * 2011-08-23 2014-12-11 Novatek Microelectronics Corp 顯示影像的白平衡方法
US10217438B2 (en) * 2014-05-30 2019-02-26 Apple Inc. User interface and method for directly setting display white point
KR102346522B1 (ko) * 2015-09-10 2022-01-03 삼성전자주식회사 영상 처리 장치 및 그것의 자동 화이트 밸런싱 방법
CN112492191B (zh) * 2020-12-18 2022-02-18 浙江大华技术股份有限公司 一种图像采集方法、装置、设备及介质
CN113596426B (zh) * 2021-08-17 2023-04-07 浙江大华技术股份有限公司 图像的白平衡值的确定方法及装置、存储介质、电子装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11289548A (ja) * 1998-02-09 1999-10-19 Ricoh Co Ltd ホワイトバランス制御方法及び装置
JP2000350232A (ja) * 1999-06-04 2000-12-15 Canon Inc ホワイトバランス装置及びホワイトバランスの補正方法及び記憶媒体
JP2001169307A (ja) * 1999-12-10 2001-06-22 Matsushita Electric Ind Co Ltd ホワイトバランス調整機能付き撮像装置及びホワイトバランス調整方法
JP2002271810A (ja) * 2001-03-09 2002-09-20 Ricoh Co Ltd ホワイトバランス調整装置
JP2007067815A (ja) * 2005-08-31 2007-03-15 Olympus Imaging Corp 画像処理装置及び画像処理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7253836B1 (en) * 1998-06-30 2007-08-07 Nikon Corporation Digital camera, storage medium for image signal processing, carrier wave and electronic camera
US6738510B2 (en) * 2000-02-22 2004-05-18 Olympus Optical Co., Ltd. Image processing apparatus
JP3513506B2 (ja) 2002-02-20 2004-03-31 キヤノン株式会社 ホワイトバランス補正装置およびそれを搭載した撮像装置、及びホワイトバランス補正方法
JP4424216B2 (ja) * 2004-03-30 2010-03-03 セイコーエプソン株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
JP2006020055A (ja) * 2004-07-01 2006-01-19 Konica Minolta Holdings Inc 撮像装置
JP4325552B2 (ja) * 2004-12-24 2009-09-02 セイコーエプソン株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP4217698B2 (ja) * 2005-06-20 2009-02-04 キヤノン株式会社 撮像装置及び画像処理方法
US8023736B2 (en) * 2005-07-13 2011-09-20 Nec Corporation Color correction method and color correction apparatus
US7808531B2 (en) * 2005-12-14 2010-10-05 Samsung Electronics Co., Ltd. Method and apparatus for auto white controlling
JP5250996B2 (ja) * 2007-04-25 2013-07-31 株式会社ニコン ホワイトバランス調整装置、撮像装置、およびホワイトバランス調整プログラム
KR100936862B1 (ko) * 2007-12-31 2010-01-15 삼성에스디아이 주식회사 디스플레이 계조 표현 장치 및 계조 표현 방법
JP5669489B2 (ja) * 2009-10-15 2015-02-12 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP4894907B2 (ja) * 2009-11-17 2012-03-14 カシオ計算機株式会社 撮像装置、撮像処理方法及びプログラム
JP2012019293A (ja) * 2010-07-06 2012-01-26 Sony Corp 画像処理装置、撮影方法、撮影プログラム、画像処理方法及び画像処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11289548A (ja) * 1998-02-09 1999-10-19 Ricoh Co Ltd ホワイトバランス制御方法及び装置
JP2000350232A (ja) * 1999-06-04 2000-12-15 Canon Inc ホワイトバランス装置及びホワイトバランスの補正方法及び記憶媒体
JP2001169307A (ja) * 1999-12-10 2001-06-22 Matsushita Electric Ind Co Ltd ホワイトバランス調整機能付き撮像装置及びホワイトバランス調整方法
JP2002271810A (ja) * 2001-03-09 2002-09-20 Ricoh Co Ltd ホワイトバランス調整装置
JP2007067815A (ja) * 2005-08-31 2007-03-15 Olympus Imaging Corp 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
CN102065217A (zh) 2011-05-18
JP5045731B2 (ja) 2012-10-10
US8502882B2 (en) 2013-08-06
US20110102632A1 (en) 2011-05-05

Similar Documents

Publication Publication Date Title
US9648245B2 (en) Low-light image capture method and image capture apparatus
JP4760742B2 (ja) デジタルカメラ、及び情報表示方法、情報表示制御プログラム
JP5553230B2 (ja) 撮像装置および撮像処理方法
JP5817131B2 (ja) 撮像装置と撮像方法並びに撮像プログラム
JP2008109629A (ja) 画像補正装置及び画像補正方法とプログラム
JP2009147463A (ja) 撮像装置及びその制御方法
JP5045731B2 (ja) 撮像装置、ホワイトバランス設定方法、及び、プログラム
JP6253007B2 (ja) 表示装置
JP2008278354A (ja) 撮像装置
JP2007199311A (ja) 画像表示装置及び撮像装置
KR20110027118A (ko) 디지털 촬영장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체
US11165970B2 (en) Image processing apparatus, imaging apparatus, image processing method, and non-transitory computer readable medium
JP2012049841A (ja) 撮像装置およびプログラム
JP2007043329A (ja) 撮像装置及びホワイトバランス調整方法
JP2006186931A (ja) カメラ装置、ホワイトバランスブラケティング撮影方法
JP2008124793A (ja) 撮像装置、撮像方法
JP5799550B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP2014103450A (ja) 画像処理装置、方法及びプログラム
JP2013211757A (ja) 撮像装置、撮像方法、及び画像処理装置
JP5915242B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび該画像処理プログラムをコンピュータに実行可能に記録した記録媒体
JP5659574B2 (ja) 画像処理装置、撮像装置、及び画像処理プログラム
JP4735649B2 (ja) 撮影画像投影装置
JP2009118247A (ja) 撮影装置
JP6601062B2 (ja) 撮像制御装置、撮像制御方法及びプログラム
US20120154617A1 (en) Image capturing device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120619

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120702

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150727

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5045731

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees