JP2010208451A - 車両用撮像装置 - Google Patents

車両用撮像装置 Download PDF

Info

Publication number
JP2010208451A
JP2010208451A JP2009056012A JP2009056012A JP2010208451A JP 2010208451 A JP2010208451 A JP 2010208451A JP 2009056012 A JP2009056012 A JP 2009056012A JP 2009056012 A JP2009056012 A JP 2009056012A JP 2010208451 A JP2010208451 A JP 2010208451A
Authority
JP
Japan
Prior art keywords
light
imaging
vehicle
area
raindrops
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009056012A
Other languages
English (en)
Other versions
JP5436892B2 (ja
Inventor
Hiroshi Ogawa
洋 小川
Takashi Nose
隆 能勢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2009056012A priority Critical patent/JP5436892B2/ja
Publication of JP2010208451A publication Critical patent/JP2010208451A/ja
Application granted granted Critical
Publication of JP5436892B2 publication Critical patent/JP5436892B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Devices (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Abstract

【課題】雨滴センサとオートライトセンサを1つの撮像装置で兼用しながらも、高精度に雨滴の有無および明暗判定を行うことができる車両用撮像装置を提供する。
【解決手段】カメラ11の撮像領域は、車両前方に向けられている。カメラ11の撮像領域の下半分が雨滴付着判定領域(本発明の第1撮像領域)となり、カメラ11の撮像領域の上半分が明暗判定領域(本発明の第2撮像領域)となる。レンズ12の前方には、雨滴付着判定領域と明暗判定領域の境界に遮光手段である仕切り14が設けられている。仕切り14により、LED16の発する光が明暗判定領域に照射されず、明暗判定領域からの外光等が雨滴付着判定領域に照射されないため、1つの撮像素子で雨滴付着判定と明暗判定を高精度に実現することができる。
【選択図】図1

Description

この発明は、撮像素子を使用して雨滴の有無および車両周囲の明暗を判定する車両用撮像装置に関する。
従来、フロントガラスに付着した雨滴を検出する装置が複数提案されている(例えば特許文献1、2を参照)。特許文献1の装置は、フロントガラス下側から照明を照射し、雨滴によるフロントガラスの反射率の変化をカメラで検出するものである。特許文献2の装置は、フロントガラスに半透明のスクリーンを取り付け、スクリーン近傍の画像を撮像し、雨滴の有無を判断するものである。
また、特許文献3には、雨滴検出用のセンサを用いて明暗判定を行い、オートライト制御を行う装置が記載されている。明暗判定用の装置としては、例えば特許文献4に記載されているように、撮像素子を用いる例が提案されている。
また、オートライト制御は、夜間だけでなく、トンネルの出入り口においても行う必要がある。トンネルの有無を判定してオートライト制御を行うものとしては、特許文献5や特許文献6のような装置がある。特許文献5の装置は、プリズムを使用して異なる方向から光を入射させ、車両前方と車両周囲の照度をそれぞれ別のフォトダイオードで検出することで、トンネルの有無を判定するものである。また、特許文献6には、通常のオートライト制御用照度センサとは別に、トンネル検出用の照度センサを設けた例が記載されている。
特開2006−284555号公報 特開平10−90188号公報 特開2001−206201号公報 特開平5−185871号公報 実公平4−48504号公報 特開2005−199974号公報
この発明は、雨滴センサとオートライトセンサを1つの撮像装置で兼用しながらも、高精度に雨滴の有無および明暗判定を行うことができる車両用撮像装置を提供することを目的とする。
この発明の車両用撮像装置は、フロントガラスに向けて車室内に設置される第1撮像領域および第2撮像領域を有する撮像手段と、前記フロントガラスを介して前記第1撮像領域に光を照射する照明手段と、前記第1撮像領域と前記第2撮像領域との境界に設けた遮光手段と、を備えた車両用撮像装置において、前記第1撮像領域から入力された撮像情報に基づいて、前記フロントガラスの雨滴の有無を判定する雨滴判定手段と、前記第2撮像領域から入力された撮像情報に基づいて、車両周囲の明暗を判定する明暗判定手段と、を備えたことを特徴とする。
このように、車両用撮像装置は、撮像手段の撮像領域を雨滴判定用の第1撮像領域と明暗判定用の第2撮像領域に分け、1つの撮像手段で雨滴の有無および明暗判定を行う。この際、第1撮像領域と第2撮像領域の境界に遮光手段を設けたことで、照明手段の光が第2撮像領域に進入することを防ぐとともに、太陽等の外光が第1撮像領域に進入することを防ぐ。
また、上記発明において、前記フロントガラスの反射面に拡散板を設けてもよい。拡散板を設けることにより、第1撮像領域において車両前方の背景が雨滴判定に影響する度合いを低減することができる。
また、上記発明において、前記第2撮像領域は、前記第1撮像領域より上側に設けられていることを特徴とする。
また、上記発明において、前記第2撮像領域の前面に光学案内板を設け、前記第2撮像領域のうち、一部の撮像領域に対して、上下方向に異なる方向の光を入力させるようにしてもよい。
この発明によれば、雨滴センサとオートライトセンサを1つの撮像装置で兼用しながらも、高精度に雨滴の有無および明暗判定を行うことができる。
車両用撮像装置の構成を示す図である。 カメラ11が撮像した昼間の画像を示す図である。 カメラ11が撮像した夕刻の画像を示す図である。 カメラ11が撮像した夜間の画像を示す図である。 明暗を判定し、その結果に基づいて点灯・消灯の制御を示すフローチャートである。 カメラ11が撮像したトンネル入り口付近の画像を示す図である。 カメラ11が撮像した画像(雨滴の有無)を示す図である。 雨滴の付着を判定し、その結果に基づいて、ワイパーを使用した払拭の制御を示すフローチャートである。 閾値判定を説明する図である。 導光体を備えた車両用撮像装置を示す図である。 導光体を説明する図である。 導光体を説明する図である。
以下、図面を参照してこの発明の車両用撮像装置に係る実施形態について説明する。図1は、車両用撮像装置の構成を示す図である。同図(A)は、車両用撮像装置を側面から見た図であり、同図(B)は、正面から見た図である。車両用撮像装置は、フロントガラスの雨滴付着判定および車両周囲の明暗判定を行い、ワイパー制御や前照灯の点灯制御(オートライト制御)を行う。
図1(A)、および同図(B)に車両用撮像装置1が示されている。図1(A)は車両用撮像装置1の側面図を示す。図1(B)は車両用撮像装置1の正面図を示す。図1に、車両用撮像装置1は、撮像手段であるカメラ11、車両前方からの光をカメラ11に入射するレンズ12、車両前方からの入射光を拡散する拡散板13、遮光手段である仕切り14、照明手段であるLED16、および制御部17を備えている。カメラ11およびLED16は、制御部17に接続されている。
車両用撮像装置1は、車室内において、フロントガラス2の近傍(例えばルームミラーの裏側等)に取り付けられている。カメラ11の撮像領域は、車両前方に向けられている。拡散板13は、カメラ11の撮像領域の一部(本実施形態では下半分)を覆うようにフロントガラス2に沿って取り付けられている。拡散板13は、フロントガラス2の反射面に接着させてもよいし、反射面付近のフロントガラス内に埋め込んでもよい。また、レンズ12の焦点は、フロントガラス2付近に合わせられている。
カメラ11の撮像領域の下半分(拡散板で覆われる領域)が雨滴付着判定領域(本発明の第1撮像領域)となる。また、カメラ11の撮像領域の上半分が明暗判定領域(本発明の第2撮像領域)となる。なお、雨滴付着判定領域と明暗判定領域は同じ面積であってもよいし、いずれか一方が広くてもよい。
また、仕切り14は、フロントガラス2からレンズ12にかけて、雨滴付着判定領域と明暗判定領域の境界上に沿って設置されている。LED16は、フロントガラス2に付着した雨滴を照らすための光を照射するものであり、主に夜間の雨滴付着判定用に用いられる。本実施形態の車両用撮像装置1は、仕切り14により、LED16の光が明暗判定領域に進入することを防ぐとともに、太陽等の外光が雨滴付着判定領域に進入することを防ぐようになっている。
図2は、カメラ11が撮像した昼間の画像を示す図である。図3は、カメラ11が撮像した夕刻の画像を示す図であり、図4は、カメラ11が撮像した夜間の画像を示す図である。図2〜図4に示すように、カメラ11の撮像領域の下半分は、拡散板13により車両前方からの入射光が拡散透過するため、車両前方の画像が撮像されない。また、レンズ12の焦点がフロントガラス2の付近に合わせられているため、フロントガラス2に付着する雨滴がくっきりと撮像されるようになっている(図7(B)を参照)。よって、本実施形態の車両用撮像装置1は、雨滴付着判定を精度良く行うことができる。
また、カメラ11の撮像領域の上半分は、レンズ12の焦点がフロントガラス2の付近に合わせられているため、車両前方の画像がぼやけて撮像される。制御部17は、後述するように明暗判定領域において明るさについての画像処理のみ行うものである。レンズ12の焦点が車両前方から外れていても、明るさの画像処理には影響せず、明暗判定を精度良く行うことができる。
カメラ11が撮像した画像(撮像情報)は、制御部17に入力される。制御部17は、入力された画像から雨滴付着判定および明暗判定を行う。まず、明暗判定について説明する。図5は、明暗を判定し、その結果に基づいて、車幅灯・前照灯の点灯・消灯の制御を示すフローチャートである。
まず、制御部17は、カメラ11から画像を取得する(s11)。そして、制御部17は、入力された画像の上半分(明暗判定領域)を切り出し、画像平均処理を行う(s12)。画像平均処理は、複数の画素からなる所定領域毎(最大では撮像素子の画素単位毎)に明度を求め、求めた明度の平均値を算出する処理である。その後、制御部17は、算出した平均値から昼間、夕刻、夜間の判定を行い、オートライト制御を行う。
すなわち、制御部17は、画像平均処理において算出した平均値が閾値Aより大きいか否かを判定する(s13)。制御部17は、平均値が閾値Aより大きい場合、昼間であると判定して車両のライト(車幅灯および前照灯)をオフする(s14)。
一方、制御部17は、平均値が閾値A以下であると判定した場合、さらに平均値が閾値Bより大きいか否か(ただし、A>Bとする。)を判定する(s15)。制御部17は、平均値が閾値Bよりも大きい場合、夕刻であると判定して車両の車幅灯を点灯する(s16)。また、制御部17は、平均値が閾値B以下であると判定した場合、夜間であると判定して前照灯を点灯する(s17)。
なお、明暗判定の手法は、上記例に限るものではない。例えば、各所定領域の明度がしきい値以上の場合に「明」と判定し、しきい値未満の場合に「暗」と判定し、「明」と判定された画素の数や「暗」と判定された画素の数から明暗判定を行ってもよい。
また、制御部17は、トンネル有無の判定を行うこともできる。図6は、カメラ11が撮像したトンネル入り口付近の画像を示す図である。車両前方にトンネルが存在すると、一部が「明」と判定され、一部が「暗」と判定される画像が撮像される。そこで、制御部17は、例えば「明」と「暗」が交互に存在するような画像が入力された場合、前方にトンネルが存在すると判定し、前照灯を点灯する。この場合、トンネルに入る前に前照灯を点灯させることができる。
次に、雨滴付着判定について説明する。図7は、カメラ11が撮像した画像(雨滴の有無)を示す図である。同図(A)は、晴天時にカメラ11が撮像した画像であり、フロントガラス2に雨滴が付着していない場合を示している。同図(B)は、雨天時にカメラ11が撮像した画像であり、フロントガラス2に雨滴が付着した場合を示している。同図(B)に示すように、レンズ12の焦点はフロントガラス2の付近に合わせられているため、付着した雨滴がくっきりと撮像される。
図8は、雨滴の付着を判定し、その結果に基づいて、ワイパー使用した払拭の制御を示すフローチャートである。まず、制御部17は、カメラ11から画像を取得する(s21)。そして、制御部17は、入力された画像の下半分(雨滴付着判定領域)を切り出し、エッジ強調などのフィルタ処理を行う(s22)。制御部17は、フィルタ処理の後、閾値処理を行う(s23)。
図9は、閾値処理を説明する図である。同図(A)、および同図(B)に示すヒストグラムの横軸は画素値(中間値を0とし、−128〜127の256階調とする。)である。同図(A)は、晴天時のヒストグラムを示し、同図(B)は、雨天時のヒストグラムを示している。
晴天時の場合、雨滴付着判定領域には何も撮像されないため、画素値が±0付近に集中する。一方で、雨天時の場合、LED16の光が乱反射し、閾値を超える(閾値Th1より大きいまたは閾値Th2より小さい)画素値が複数現れる。そこで、制御部17は、閾値処理において、複数の画素からなる所定の領域毎(最大では撮像素子の画素単位毎)に画素値を求め、閾値を超える領域数を数える。
次に、図8において、制御部17は、数えた領域数が閾値Cより小さいか否かを判断する(s24)。制御部17は、数えた領域数が閾値Cより小さければ、フロントガラス2に雨滴が付着していないと判断してワイパーをオフする(s25)。制御部17は、数えた領域数が閾値C以上と判断した場合、さらに閾値Dより小さいか否か(ただし、C<Dとする。)を判断する(s26)。制御部17は、閾値Dより小さい場合、雨滴が付着し、雨の量が少ない時であると判断して、ワイパーを間欠動作とする(s27)。また、制御部17は、数えた領域数が閾値D以上と判断した場合、さらに閾値Eより小さいか否か(ただし、D<Eとする。)を判断する(s28)。制御部17は、閾値Eより小さい場合、雨滴が付着し、雨の量が多い時であると判断して、ワイパーを連続動作とする(s29)。制御部17は、数えた領域数が閾値E以上であれば、雨滴が付着し、かつ雨が激しい時であると判断してワイパーを高速動作とする(s30)。
以上のようにして、本実施形態の車両用撮像装置1は、1つの撮像素子で雨滴付着判定と明暗判定を行う。車両前方(太陽光等)とLEDの明るさは大きく異なり、従来は、LEDの発光とカメラの撮像素子の調整が困難であった。しかし、本発明の車両用撮像装置では、LEDの発する光が明暗判定領域に照射されず、明暗判定領域からの外光等が雨滴付着判定領域に照射されないため、1つの撮像素子で雨滴付着判定と明暗判定を高精度に実現することができる。
なお、拡散板13は、本発明において必須ではないが、拡散板13が車両前方の背景を遮断するハードウェアのフィルタとして機能することにより、制御部17における雨滴付着判定の処理負荷が低くなる。
次に、図10は、光学案内板である導光体15を備えた車両用撮像装置を示す図である。図1と共通する構成については同一の符号を付し、その説明を省略する。
図10において、車両用撮像装置1は、導光体15がレンズ12の前方に設置されている。導光体15は、外部からの光をレンズ12に導く機能を有する。同図において、導光体15は、レンズ状の断面形状を示しているが、この形状に限るものではなく、プリズム(台形)状の断面形状であってもよい。
図11は、導光体15の機能について説明する図である。図11(A)に示すように、この例においては、明暗判定領域を中央、左側、および右側の3領域に分割し、左側および右側に導光体15からの光が入射されるように構成している。この場合、明暗判定領域の左側および右側には、車両上方向の光が入射される。すなわち、同図(B)に示すように、導光体15は下方向に凸形状となっているため、レンズ12に対しては車両前方上方向の光が入射される。その結果、カメラ11においては、車両前方上方向の画像が撮像される(上下逆さまの像となる)。よって、制御部17は、車両前方正面と上方向を同時に明暗判定することができ、さらに高精度にオートライト制御を行うことができる。
次に、図12は、導光体15の形状が異なる場合の例を示す図である。この例においても明暗判定領域を中央、左側、および右側の3領域に分割し、中央に導光体15からの光が入射されるように構成している。この場合、明暗判定領域の中央には、車両前方下方向の光が入射される。すなわち、同図(B)に示すように、導光体15が上方向に凸形状となっているため、レンズ12に対しては車両前方下方向の光が入射される。その結果、カメラ11においては、車両前方下方向の画像が撮像される(上下逆さまの像となる)。この場合、拡散板13を避けて下方向(路面)の画像を撮像することができる。よって、制御部17は、車両前方正面および路面の明暗判定を同時に行うことができ、さらに高精度にオートライト制御を行うことができる。
また、図11や図12に示した導光体を用いると、トンネルの入り口付近における明暗判定(トンネル有無の判定)をさらに高精度に実現することができる。すなわち、車両前方の正面、上方向、および路面付近の明暗判定を同時に行うことができるため、例えば車両前方の正面が暗く、上方向および路面付近が明るい場合、トンネルに入る直前であると判断することができる。
なお、図11および図12に示した導光体を用いる場合、遮光手段は、仕切り14の形状に限らず、導光体の下部を遮光する程度のものであってもよい。
1−レーザレーダ
11−カメラ
12−レンズ
13−拡散板
14−仕切り
15−導光体
16−LED
17−制御部

Claims (4)

  1. フロントガラスに向けて車室内に設置される第1撮像領域および第2撮像領域を有する撮像手段と、
    前記フロントガラスを介して前記第1撮像領域に光を照射する照明手段と、
    前記第1撮像領域と前記第2撮像領域との境界に設けた遮光手段と、
    を備えた車両用撮像装置において、
    前記第1撮像領域から入力された撮像情報に基づいて、前記フロントガラスの雨滴の有無を判定する雨滴判定手段と、
    前記第2撮像領域から入力された撮像情報に基づいて、車両周囲の明暗を判定する明暗判定手段と、
    を備えたことを特徴とする車両用撮像装置。
  2. 前記フロントガラスの反射面に拡散板を設けたことを特徴とする請求項1に記載の車両用撮像装置。
  3. 前記第2撮像領域は、前記第1撮像領域より上方向に設けられていることを特徴とする請求項1または請求項2に記載の車両用撮像装置。
  4. 前記第2撮像領域の前面に光学案内板を設け、前記第2撮像領域のうち、一部の撮像領域に対して、上下方向に異なる方向の光を入力させることを特徴とする請求項1、請求項2、または請求項3に記載の車両用撮像装置。
JP2009056012A 2009-03-10 2009-03-10 車両用撮像装置 Active JP5436892B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009056012A JP5436892B2 (ja) 2009-03-10 2009-03-10 車両用撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009056012A JP5436892B2 (ja) 2009-03-10 2009-03-10 車両用撮像装置

Publications (2)

Publication Number Publication Date
JP2010208451A true JP2010208451A (ja) 2010-09-24
JP5436892B2 JP5436892B2 (ja) 2014-03-05

Family

ID=42969125

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009056012A Active JP5436892B2 (ja) 2009-03-10 2009-03-10 車両用撮像装置

Country Status (1)

Country Link
JP (1) JP5436892B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014153110A (ja) * 2013-02-06 2014-08-25 Ricoh Co Ltd 付着量算出装置、移動体機器制御システム及び付着量算出用プログラム
JP2018515746A (ja) * 2015-03-05 2018-06-14 ケーピーアイティ テクノロジーズ リミテッド 周囲光を検出する方法及びシステム
JP2019004254A (ja) * 2017-06-13 2019-01-10 株式会社デンソー 車両用撮影装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0332175A (ja) * 1989-06-28 1991-02-12 Sanyo Electric Co Ltd 自動露出調整装置
JPH05185871A (ja) * 1992-01-10 1993-07-27 Nippondenso Co Ltd 自動点消灯制御装置
JPH05281032A (ja) * 1992-03-31 1993-10-29 Niles Parts Co Ltd 光学的検出装置
JP2005504963A (ja) * 2001-10-04 2005-02-17 ジェンテックス コーポレイション イメージ・センサによるステレオイメージ形成を利用した湿気センサ
JP2005233728A (ja) * 2004-02-18 2005-09-02 Denso Corp 光センサ装置
JP2009018804A (ja) * 2008-08-25 2009-01-29 Hitachi Ltd 自動車用補助機器制御装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0332175A (ja) * 1989-06-28 1991-02-12 Sanyo Electric Co Ltd 自動露出調整装置
JPH05185871A (ja) * 1992-01-10 1993-07-27 Nippondenso Co Ltd 自動点消灯制御装置
JPH05281032A (ja) * 1992-03-31 1993-10-29 Niles Parts Co Ltd 光学的検出装置
JP2005504963A (ja) * 2001-10-04 2005-02-17 ジェンテックス コーポレイション イメージ・センサによるステレオイメージ形成を利用した湿気センサ
JP2005233728A (ja) * 2004-02-18 2005-09-02 Denso Corp 光センサ装置
JP2009018804A (ja) * 2008-08-25 2009-01-29 Hitachi Ltd 自動車用補助機器制御装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014153110A (ja) * 2013-02-06 2014-08-25 Ricoh Co Ltd 付着量算出装置、移動体機器制御システム及び付着量算出用プログラム
JP2018515746A (ja) * 2015-03-05 2018-06-14 ケーピーアイティ テクノロジーズ リミテッド 周囲光を検出する方法及びシステム
JP2019004254A (ja) * 2017-06-13 2019-01-10 株式会社デンソー 車両用撮影装置

Also Published As

Publication number Publication date
JP5436892B2 (ja) 2014-03-05

Similar Documents

Publication Publication Date Title
JP5441462B2 (ja) 車両用撮像装置
JP5441450B2 (ja) 車両用撮像装置
JP4668838B2 (ja) 雨滴検出装置およびワイパー制御装置
JP4326999B2 (ja) 画像処理システム
JP5846485B2 (ja) 付着物検出装置及び付着物検出方法
JP5999483B2 (ja) 付着物検出装置および車載機器制御装置
JP4327024B2 (ja) 画像処理システム
JP5561333B2 (ja) 画像処理装置、撮像方法、プログラムおよび車両
KR100874461B1 (ko) 차량의 외부 조명 제어 장치 및 차량의 자동 제어 장치
JP4262072B2 (ja) 自動車用補助機器制御装置
EP3021109A1 (en) Adhering detection apparatus, adhering substance detection method, carrier medium, and device control system for controlling vehicle-mounted devices
WO2015194200A1 (ja) 撮像装置
JP4927647B2 (ja) 車両周辺監視装置
JP4950967B2 (ja) 自動車用補助機器制御装置
JP6555569B2 (ja) 画像処理装置、移動体機器制御システム及び画像処理用プログラム
JP5436892B2 (ja) 車両用撮像装置
JP2016146583A (ja) 撮像装置、移動体機器制御システム及びプログラム
JP2014170014A (ja) 画像処理装置、撮像方法、プログラムおよび車両
JP2014013452A (ja) 画像処理装置
JP2014041106A (ja) 撮像装置、車載用監視装置および対象物検知方法
JP2008252784A (ja) 夜間視界支援装置
JP2014232026A (ja) 付着物検出装置、移動体機器制御システム及び移動体
JP3929420B2 (ja) 車両用光量検出装置及び車両用照明制御装置
JP5891723B2 (ja) 撮像方法および撮像ユニット
JP6566308B2 (ja) 付着物検出装置、移動体機器制御システム、付着物検出用プログラム及び付着物検出方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20100802

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131211

R150 Certificate of patent or registration of utility model

Ref document number: 5436892

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250