JP2013067229A - ライト検出装置、ライト検出プログラム、およびライト制御装置 - Google Patents
ライト検出装置、ライト検出プログラム、およびライト制御装置 Download PDFInfo
- Publication number
- JP2013067229A JP2013067229A JP2011205946A JP2011205946A JP2013067229A JP 2013067229 A JP2013067229 A JP 2013067229A JP 2011205946 A JP2011205946 A JP 2011205946A JP 2011205946 A JP2011205946 A JP 2011205946A JP 2013067229 A JP2013067229 A JP 2013067229A
- Authority
- JP
- Japan
- Prior art keywords
- light
- light source
- target area
- vehicle
- detection device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims description 48
- 230000003287 optical effect Effects 0.000 claims description 13
- 239000003086 colorant Substances 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 description 80
- 230000008569 process Effects 0.000 description 80
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
- B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
- B60Q1/06—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle
- B60Q1/076—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle by electrical means including means to transmit the movements, e.g. shafts or joints
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
- B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
- B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
- B60Q1/1415—Dimming circuits
- B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
- B60Q1/143—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
- B60Q2300/40—Indexing codes relating to other road users or special conditions
- B60Q2300/41—Indexing codes relating to other road users or special conditions preceding vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
- B60Q2300/40—Indexing codes relating to other road users or special conditions
- B60Q2300/42—Indexing codes relating to other road users or special conditions oncoming vehicle
Abstract
【解決手段】ライト制御システムにおいては、各光源を表す領域のうちの一部であり予め設定された部位を表す対象領域において、光源の色および光源の形状のうちの少なくとも一方を含む光源特徴量が、車両のライトが有する特徴量として対象領域の位置に対応して準備された対象領域特徴量と一致する確度に応じて、対象領域における光源が他車両のライトである確度を表す対象領域確度を演算し(S140,S150,S180)、対象領域確度が予め設定された閾値以上となる光源について、他車両のライトである旨を出力する(S190)。
【選択図】図2
Description
このようなライト検出装置によれば、色を検出することが難しく、また、形状を検出する際に不要な領域となりがちな光源中心の領域を除いた領域を対象領域とするので、効率的に対象領域確度を演算することができる。
このようなライト検出装置によれば、光源となりうる信号機、テールライト、ヘッドライト、看板等には、横長のものが多いことを鑑みて、対象領域を右端部または左端部を含む領域に設定しているので、より狭い対象領域から効率的に車両のライトを検出することができる。
ここで、画像処理の際には、最上段の左端の画素から右端の画素まで連続してデータを読み込み、その後、次の段の左端の画素から右端の画素まで連続してデータを読み込むのが一般的である。この際、右端の画素から次の段の左端の画素を検索する際に若干多くの時間を要するため、データの段数が少ないほうがデータの読み込み時間を短縮できる。
また、上記目的を達成するために成された第8の構成としてのライト制御装置は、自車両の周囲に存在する他車両を検出する他車両検出手段と、自車両の周囲の他車両が検出されるとヘッドライトの光軸の向きを下向きに変更する光軸方向変更手段と、を備え、他車両検出手段は、上記ライト検出装置として構成されていることを特徴としている。
[本実施形態の構成]
図1は本発明が適用されたライト制御システム1の概略構成を示すブロック図である。ライト制御システム1は、例えば乗用車等の車両に搭載され、自車両の周囲に他車両が存在する場合(詳細には、自車両のヘッドライトが眩惑を発生させる可能性がある範囲内に他車両が存在する場合)に、自車両のヘッドライトの光軸の向きを下向きに変更し、眩惑を防止する機能を有する。
次に、撮像画像中から車両のライトを示す光源を識別して検出し、ヘッドライトの光軸の向きを制御する処理について図2を用いて説明する。図2は処理部10が実行するライト制御処理を示すフローチャートである。なお、ライト制御処理でのS110〜S180の処理は、本発明でいう他車両検出手段に相当し、ライト制御処理でのS140,S150,S180の処理は、本発明でいう対象領域確度演算手段に相当する。
色計算処理では、まず、色計算を行う対象となる対象領域を選択する(S210)。ここで、対象領域は予め設定されており、本処理では例えば、ライト候補を表す領域の中心を除いた領域に設定されている。
そして、抽出したライト候補についての探索が終了したか否か(全ての画素について、後述するS250の処理が実施されたか否か)を判定する(S240)。抽出したライト候補についての探索が終了していなければ(S240:NO)、選択した座標(画素)が選択中の対象領域内であるか否かを判定する(S250)。
そして、抽出したライト候補についての探索が終了したか否か(全ての画素について、後述するS450の処理が実施されたか否か)を判定する(S440)。抽出したライト候補についての探索が終了していなければ(S440:NO)、選択した座標(画素)が選択中の対象領域内であるか否かを判定する(S450)。
以上のように詳述したライト制御システム1において処理部10は、自車両の周囲に存在する他車両を検出し、自車両の周囲の他車両が検出されるとライト制御部30は、ヘッドライトの光軸の向きを下向きに変更する。特に他車両を検出する処理において、処理部10は自車両の周囲を撮像した撮像画像を取得し、撮像画像中の光源を抽出する。そして、各光源を表す領域のうちの一部であり予め設定された部位を表す対象領域において、光源の色および光源の形状のうちの少なくとも一方を含む光源特徴量が、車両のライトが有する特徴量として対象領域の位置に対応して準備された対象領域特徴量と一致する確度に応じて、対象領域における光源が他車両のライトである確度を表す対象領域確度を演算する。また、処理部10は、対象領域確度が予め設定された閾値以上となる光源について、他車両のライトである旨を出力する。
このようなライト制御システム1によれば、色を検出することが難しく、また、形状を検出する際に不要な領域となりがちな光源中心の領域を除いた領域を対象領域とするので、効率的に対象領域確度を演算することができる。
このようなライト制御システム1によれば、光源となりうる信号機、テールライト、ヘッドライト、看板等には、横長のものが多いことを鑑みて、対象領域を右端部または左端部を含む領域に設定しているので、より狭い対象領域から効率的に車両のライトを検出することができる。
ここで、画像処理の際には、最上段の左端の画素から右端の画素まで連続してデータを読み込み、その後、次の段の左端の画素から右端の画素まで連続してデータを読み込むのが一般的である。この際、右端の画素から次の段の左端の画素を検索する際に若干の時間を要するため、データの段数が少ないほうがデータの読み込み時間を短縮できる。
本発明の実施の形態は、上記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
また、色による判定(色計算処理)と形による判定(形計算処理)との両方を行う場合においては、色による数値が車両のライトとしての数値と一致する程度と、形による数値が車両のライトとしての数値と一致する程度と、をそれぞれ点数化し、これらの点数の加重平均に応じて車両のライトであるか否かを決定するようにしてもよい。
Claims (8)
- 車両に搭載され、撮像画像中から他車両のライトを検出するライト検出装置であって、
自車両の周囲を撮像した撮像画像を取得する撮像画像取得手段と、
撮像画像中の光源を抽出する光源抽出手段と、
各光源を表す領域のうちの一部であり予め設定された部位を表す対象領域において、光源の色および光源の形状のうちの少なくとも一方を含む光源特徴量が、車両のライトが有する特徴量として対象領域の位置に対応して準備された対象領域特徴量と一致する確度に応じて、前記対象領域における光源が他車両のライトである確度を表す対象領域確度を演算する対象領域確度演算手段と
前記対象領域確度が予め設定された閾値以上となる光源について、他車両のライトである旨を出力するライト出力手段と、
を備えたことを特徴とするライト検出装置。 - 請求項1に記載のライト検出装置において、
前記対象領域確度演算手段は、前記光源特徴量として対象領域を構成する各画素の色の平均値を検出し、該平均値と前記対象領域特徴量として準備された車両のライトの色とを比較することで前記対象領域確度を演算すること
を特徴とするライト検出装置。 - 請求項1または請求項2に記載のライト検出装置において、
前記光源抽出手段は、光源領域を矩形で抽出し、
前記対象領域確度演算手段は、前記光源特徴量として光源領域を構成する画素数に対する所定輝度以上の画素数の割合を演算し、該割合と前記対象領域特徴量として準備された車両のライトを表す割合とを比較することで前記対象領域確度を演算すること
を特徴とするライト検出装置。 - 請求項1〜請求項3の何れか1項に記載のライト検出装置において、
前記対象領域は、光源を表す領域の中心を除いた領域に設定されていること
を特徴とするライト検出装置。 - 請求項1〜請求項4の何れか1項に記載のライト検出装置において、
前記対象領域は、光源を表す領域のうちの右端部または左端部を含む領域に設定されていること
を特徴とするライト検出装置。 - 請求項1〜請求項4の何れか1項に記載のライト検出装置において、
前記対象領域は、光源を表す領域のうちの上端部または下端部を含む領域に設定されていること
を特徴とするライト検出装置。 - コンピュータを、請求項1〜請求項6の何れか1項に記載のライト検出装置を構成する各手段として機能させるためのライト検出プログラム。
- 車両に搭載され、自車両のヘッドライトにおける光軸の向きを制御するライト制御装置であって、
自車両の周囲に存在する他車両を検出する他車両検出手段と、
自車両の周囲の他車両が検出されるとヘッドライトの光軸の向きを下向きに変更する光軸方向変更手段と、を備え、
前記他車両検出手段は、請求項1〜請求項6の何れか1項に記載のライト検出装置として構成されていること
を特徴とするライト制御装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011205946A JP5573803B2 (ja) | 2011-09-21 | 2011-09-21 | ライト検出装置、ライト検出プログラム、およびライト制御装置 |
PCT/JP2012/073884 WO2013042675A1 (ja) | 2011-09-21 | 2012-09-19 | 他の車両のライトを検出する装置及びその検出を行うコンピュータ用プログラム、並びに、車両用ライト制御装置 |
DE112012003930.0T DE112012003930T5 (de) | 2011-09-21 | 2012-09-19 | Vorrichtung zur Erfassung anderen Fahrzeuglichts, Programm für einen Computer, der das Licht erfasst, und Lichtsteuervorrichtung für Fahrzeuge |
US14/346,099 US9493108B2 (en) | 2011-09-21 | 2012-09-19 | Apparatus for detecting other vehicle lights and light control apparatus for vehicles |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011205946A JP5573803B2 (ja) | 2011-09-21 | 2011-09-21 | ライト検出装置、ライト検出プログラム、およびライト制御装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013067229A true JP2013067229A (ja) | 2013-04-18 |
JP5573803B2 JP5573803B2 (ja) | 2014-08-20 |
Family
ID=47914438
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011205946A Expired - Fee Related JP5573803B2 (ja) | 2011-09-21 | 2011-09-21 | ライト検出装置、ライト検出プログラム、およびライト制御装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9493108B2 (ja) |
JP (1) | JP5573803B2 (ja) |
DE (1) | DE112012003930T5 (ja) |
WO (1) | WO2013042675A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019176418A1 (ja) * | 2018-03-15 | 2019-09-19 | 株式会社小糸製作所 | 車両用ランプ、車両検出方法及び車両検出装置 |
JPWO2018225462A1 (ja) * | 2017-06-05 | 2020-02-06 | 日立オートモティブシステムズ株式会社 | 画像処理装置および配光制御システム |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9164511B1 (en) * | 2013-04-17 | 2015-10-20 | Google Inc. | Use of detected objects for image processing |
KR102233391B1 (ko) * | 2014-06-16 | 2021-03-29 | 팅크웨어(주) | 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체 |
US9779314B1 (en) | 2014-08-21 | 2017-10-03 | Waymo Llc | Vision-based detection and classification of traffic lights |
CN106529411B (zh) | 2016-10-11 | 2020-07-28 | 北京小米移动软件有限公司 | 车辆提示方法及装置 |
US10040390B2 (en) * | 2016-10-11 | 2018-08-07 | Ford Global Technologies, Llc | Vehicle light diagnostic |
JP6816679B2 (ja) * | 2017-09-05 | 2021-01-20 | トヨタ自動車株式会社 | 車両の制御装置 |
US10369923B1 (en) * | 2018-04-30 | 2019-08-06 | Automotive Research & Testing Center | Operation method of adaptive driving beam headlamp system |
KR102220950B1 (ko) * | 2019-07-31 | 2021-02-26 | 엘지전자 주식회사 | 자율 주행 시스템에서 차량을 제어하기 위한 방법 및 장치 |
DE102019213318A1 (de) * | 2019-09-03 | 2021-03-04 | Robert Bosch Gmbh | Verfahren zum Erstellen einer Karte sowie Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007238090A (ja) * | 2006-03-10 | 2007-09-20 | Valeo Vision | 車載投光器の自動切換え制御方法 |
JP2008040615A (ja) * | 2006-08-02 | 2008-02-21 | Denso Corp | 車両検出装置及びヘッドランプ制御装置 |
JP2010096668A (ja) * | 2008-10-17 | 2010-04-30 | Denso Corp | 光源識別装置、光源識別プログラム、車両検出装置、およびライト制御装置 |
JP2010221756A (ja) * | 2009-03-19 | 2010-10-07 | Toyota Central R&D Labs Inc | 車両灯火判定装置 |
JP2011103070A (ja) * | 2009-11-11 | 2011-05-26 | Toyota Motor Corp | 夜間車両検知装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60255537A (ja) | 1984-05-31 | 1985-12-17 | Mitsubishi Electric Corp | 自動車の前照灯の自動切替装置 |
JPH0655581B2 (ja) | 1985-12-05 | 1994-07-27 | 日本電装株式会社 | 車両のヘッドライト制御装置 |
JPH0593981U (ja) | 1992-05-27 | 1993-12-21 | 株式会社小糸製作所 | グレアセンサ |
JP4544233B2 (ja) * | 2006-10-11 | 2010-09-15 | 株式会社デンソー | 車両検出装置及びヘッドランプ制御装置 |
JP4702426B2 (ja) * | 2008-10-10 | 2011-06-15 | 株式会社デンソー | 車両検出装置、車両検出プログラム、およびライト制御装置 |
WO2010088465A1 (en) * | 2009-02-02 | 2010-08-05 | Gentex Corporation | Improved digital image processing and systems incorporating the same |
-
2011
- 2011-09-21 JP JP2011205946A patent/JP5573803B2/ja not_active Expired - Fee Related
-
2012
- 2012-09-19 WO PCT/JP2012/073884 patent/WO2013042675A1/ja active Application Filing
- 2012-09-19 US US14/346,099 patent/US9493108B2/en active Active
- 2012-09-19 DE DE112012003930.0T patent/DE112012003930T5/de not_active Ceased
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007238090A (ja) * | 2006-03-10 | 2007-09-20 | Valeo Vision | 車載投光器の自動切換え制御方法 |
JP2008040615A (ja) * | 2006-08-02 | 2008-02-21 | Denso Corp | 車両検出装置及びヘッドランプ制御装置 |
JP2010096668A (ja) * | 2008-10-17 | 2010-04-30 | Denso Corp | 光源識別装置、光源識別プログラム、車両検出装置、およびライト制御装置 |
JP2010221756A (ja) * | 2009-03-19 | 2010-10-07 | Toyota Central R&D Labs Inc | 車両灯火判定装置 |
JP2011103070A (ja) * | 2009-11-11 | 2011-05-26 | Toyota Motor Corp | 夜間車両検知装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2018225462A1 (ja) * | 2017-06-05 | 2020-02-06 | 日立オートモティブシステムズ株式会社 | 画像処理装置および配光制御システム |
WO2019176418A1 (ja) * | 2018-03-15 | 2019-09-19 | 株式会社小糸製作所 | 車両用ランプ、車両検出方法及び車両検出装置 |
Also Published As
Publication number | Publication date |
---|---|
US20140226349A1 (en) | 2014-08-14 |
JP5573803B2 (ja) | 2014-08-20 |
WO2013042675A1 (ja) | 2013-03-28 |
US9493108B2 (en) | 2016-11-15 |
DE112012003930T5 (de) | 2014-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5573803B2 (ja) | ライト検出装置、ライト検出プログラム、およびライト制御装置 | |
JP4853160B2 (ja) | 車両検出装置及びヘッドランプ制御装置 | |
JP4544233B2 (ja) | 車両検出装置及びヘッドランプ制御装置 | |
JP4253271B2 (ja) | 画像処理システム及び車両制御システム | |
JP4702426B2 (ja) | 車両検出装置、車両検出プログラム、およびライト制御装置 | |
US20170144587A1 (en) | Vehicle exterior environment recognition apparatus | |
US8848980B2 (en) | Front vehicle detecting method and front vehicle detecting apparatus | |
JP6132412B2 (ja) | 車外環境認識装置 | |
RU2017135414A (ru) | Способ, система и машиночитаемые носители хранения данных для обнаружения стоп-сигналов | |
JP5884635B2 (ja) | 走行環境検出装置、走行環境検出プログラム、およびライト制御装置 | |
JP6612135B2 (ja) | 車両検出装置および配光制御装置 | |
JP5065172B2 (ja) | 車両灯火判定装置及びプログラム | |
JP2005092861A (ja) | 車両制御システム | |
JP2008211410A (ja) | 車載用画像認識装置及び配光制御装置、並びに配光制御方法 | |
US10839235B2 (en) | Method and apparatus for detecting light source of vehicle | |
JP6420650B2 (ja) | 車外環境認識装置 | |
JP6335065B2 (ja) | 車外環境認識装置 | |
JP2013028239A (ja) | ライト検出装置、ライト検出プログラム、およびライト制御装置 | |
JP2023007604A (ja) | 信号認識装置 | |
JP7035339B2 (ja) | ブレーキ判定方法及びブレーキ判定装置 | |
JP2017097497A (ja) | 車外環境認識装置 | |
JP7058753B2 (ja) | カメラ装置 | |
JP5821780B2 (ja) | 車両光源検出装置および車両光源検出プログラム | |
JP5831362B2 (ja) | 車両光源検出装置および車両光源検出プログラム | |
JP2021111122A (ja) | レーンマーク認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131022 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140603 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140616 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5573803 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |