JP2013084130A - 画像認識システムおよび画像認識方法 - Google Patents
画像認識システムおよび画像認識方法 Download PDFInfo
- Publication number
- JP2013084130A JP2013084130A JP2011223744A JP2011223744A JP2013084130A JP 2013084130 A JP2013084130 A JP 2013084130A JP 2011223744 A JP2011223744 A JP 2011223744A JP 2011223744 A JP2011223744 A JP 2011223744A JP 2013084130 A JP2013084130 A JP 2013084130A
- Authority
- JP
- Japan
- Prior art keywords
- image
- recognition
- server
- terminal device
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 170
- 230000006854 communication Effects 0.000 claims abstract description 31
- 230000004044 response Effects 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims description 113
- 230000007812 deficiency Effects 0.000 claims description 5
- 230000002950 deficient Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 description 26
- 230000005540 biological transmission Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
【解決手段】端末装置が取得した画像をサーバにおいて認識する画像認識システムであって、端末装置は、入力画像から加工画像を生成する画像処理部と、画像処理部によって生成される加工画像を前記サーバへ送信する通信部と、を有する。サーバは、端末装置から受信する加工画像に対して認識処理を行う認識部と、認識部による認識処理において不足している情報を判断する不足情報判断部と、端末装置に対して不足情報判断部による判断結果に対応する画像を要求する要求部と、を有する。画像処理部は、サーバからの要求に基づいて、入力画像から加工画像を生成する。
【選択図】図1
Description
サーバ2は、目標とする物体を認識または特定するために不足している情報(または、画像)を判断し、端末装置1にその情報(または、画像)の抽出および伝送を要求する。端末装置1は、サーバ2からの要求に基づいて不足情報(特徴量)を生成または抽出し、生成または抽出した情報のみをサーバ2へ送信する。この対話的なやり取りにより、認識処理に不要な情報の伝送が抑制される。
端末装置1は、入力画像を高次特徴量へ変換してサーバ2へ送信する。これにより、1回あたりのデータ伝送の情報量が削減される。この結果、サーバ2からのレスポンスの高速化が実現され、帯域の狭い上り回線の通信負荷が軽減される。
要求情報は、サーバ2から端末情報1へ送信される。そうすると、端末装置1の画像処理部13は、その要求情報に応じて加工画像を生成する。
ステップS12〜S13において、認識部22は、端末装置1から受信する画像に対して認識処理を実行する。このとき、認識部22は、必要に応じてデータベース23との照合を行ってもよい。そして、認識処理が完了していなければ、サーバ2の処理はステップS14へ移行する。一方、認識処理が完了したときは、サーバ2の処理はステップS16へ移行する。例えば、図3に示す実施例では、画像認識処理は、画像内に映っている車両の車種および車名を特定することを目的としている。この場合、画像内に映っている車両の車種および車名が特定されたときに、認識処理が完了したと判定される。
以下の実施例では、画像認識システムは、カメラで撮影した車両の車名を特定してCG画像に置き換えるアプリケーションにおいて使用される。具体的には、自車両の前後左右に広角カメラをそれぞれ取り付け、それら4台のカメラの画像を1枚の画像に合成して表示することで、360度の全周囲の状況を把握できる駐車支援システムを想定する。ここで、360度の全周囲の状況を提供するために、例えば、合成した画像は、自車両の真上から見た画像(俯瞰映像)に変換される。このとき、俯瞰映像は、4台のカメラの画像を2次元平面上に画像変換・合成することで作成されるため、自車両の周辺にある物体は引き伸ばされてしまう。このため、そのような画像をそのまま表示すると、他車両の存在が視覚的に分かりにくくなり、自車両に対する他車両の位置関係の把握が困難になる。そこで、この実施例の駐車支援システムにおいては、画像変換によって引き伸ばされた車両の画像が、CG画像に置き換えられる(または、重畳して表示される)。
ナンバープレートの表示において、地名の右側に表記されている分類番号は、車両の用途(貨物、乗用、特種、大型特殊)および車両の大きさ(普通、小型)を意味する。たとえば、1シリーズは普通貨物車、3シリーズは普通乗用車、5シリーズは小型乗用車、8シリーズは特殊用途自動車を表す。よって、認識部22は、ナンバープレート上の数字を認識することで車種を特定できる。
ナンバープレートの下地、文字は、車種に応じて色が決められている。例えば、軽車両のナンバープレートは黄地に黒字、もしくは黒地に黄字と決められている。また、自動車のナンバープレートは白地に緑字、もしくは緑地、白字と決められている。よって、認識部22は、色情報(黄、黒、緑、白)に基づいて自動車と軽車両を識別できる。
ナンバープレートの大きさは、大型標板、中型標板、小型標板に区別される。例えば、大型標板を有する車両は、大型トラック、大型バス、特殊車両などである。よって、ナンバープレートを検出し、その大きさを算出することで車種を推定することができる。
図18は、端末装置1およびサーバ2を実現するためのコンピュータシステムのハードウェア構成を示す図である。端末装置1を実現するためのコンピュータシステムおよびサーバ2を実現するためのコンピュータシステムのハードウェア構成は、互いにほぼ同じである。よって、以下では、端末装置1を実現するためのコンピュータシステムおよびサーバ2を実現するためのコンピュータシステムを、コンピュータシステム100と呼ぶことにする。ただし、CPUの能力、メモリ/記憶装置の容量などは、端末装置1およびサーバ2において互いに異なっている。
(1)記憶装置103に予めインストールされている。
(2)着脱可能記録媒体105により提供される。
(3)プログラムサーバ110から提供される。
(付記1)
端末装置が取得した画像をサーバにおいて認識する画像認識システムであって、
前記端末装置は、
入力画像から加工画像を生成する画像処理部と、
前記画像処理部によって生成される加工画像を前記サーバへ送信する通信部と、を有し、
前記サーバは、
前記端末装置から受信する加工画像に対して認識処理を行う認識部と、
前記認識部による認識処理において不足している情報を判断する不足情報判断部と、
前記端末装置に対して、前記不足情報判断部による判断結果に対応する画像を要求する要求部と、を有し、
前記画像処理部は、前記サーバからの要求に基づいて、前記入力画像から前記加工画像を生成する
ことを特徴とする画像認識システム。
(付記2)
前記画像処理部は、前記端末装置が前記サーバからの要求を受け取る前に、前記入力画像から前記入力画像よりも情報量の少ない第1の加工画像を生成し、
前記認識部は、前記第1の加工画像に対して認識処理を行い、
前記不足情報判断部は、前記認識部による前記第1の加工画像に対する認識処理において不足している情報を判断し、
前記要求部は、前記第1の加工画像に対する認識処理において不足している情報に対応する画像を前記端末装置に要求する
ことを特徴とする付記1に記載の画像認識システム。
(付記3)
前記第1の加工画像は、前記入力画像のエッジ画像である
ことを特徴とする付記2に記載の画像認識システム。
(付記4)
前記第1の加工画像は、前記入力画像の縮小画像である
ことを特徴とする付記2に記載の画像認識システム。
(付記5)
前記要求部は、前記不足情報判断部による判断結果に対応する範囲の画像を前記端末装置に要求する
ことを特徴とする付記1に記載の画像認識システム。
(付記6)
前記要求部は、前記不足情報判断部による判断結果に対応する画像タイプの画像を前記端末装置に要求する
ことを特徴とする付記1に記載の画像認識システム。
(付記7)
前記要求部は、前記不足情報判断部による判断結果に対応する縮小率の画像を前記端末装置に要求する
ことを特徴とする付記1に記載の画像認識システム。
(付記8)
前記画像処理部は、前記サーバからの要求に基づいて、前記入力画像から第2の加工画像を生成し、
前記認識部は、前記第2の加工画像に対して認識処理を行い、
前記不足情報判断部は、前記認識部による前記第2の加工画像に対する認識処理において不足している情報を判断し、
前記要求部は、前記第2の加工画像に対する認識処理において不足している情報に対応する画像を前記端末装置に要求する
ことを特徴とする付記1〜付記7のいずれか1つに記載の画像認識システム。
(付記9)
前記端末装置および前記サーバは、前記認識部による認識処理が終了するまで、前記サーバから前記端末装置へ画像を要求する手順、前記端末装置が前記サーバからの要求に基づいて加工画像を生成して前記サーバへ送信する手順、前記サーバが前記端末装置から受信する加工画像に対して認識処理を行う手順を含む対話処理を行う
ことを特徴とする付記1〜付記8のいずれか1つに記載の画像認識システム。
(付記10)
前記サーバは、前記認識部による認識結果を前記端末装置へ送信する
ことを特徴とする付記1〜9のいずれか1つに記載の画像認識システム。
(付記11)
入力画像から加工画像を生成する端末装置から前記加工画像を受信して認識する画像認識装置であって、
前記端末装置から受信する加工画像に対して認識処理を行う認識部と、
前記認識部による認識処理において不足している情報を判断する不足情報判断部と、
前記端末装置に対して、前記不足情報判断部による判断結果に対応する画像を要求する要求部と、
を有することを特徴とする画像認識装置。
(付記12)
端末装置が取得した画像をサーバにおいて認識する画像認識方法であって、
前記端末装置において入力画像から生成された、前記入力画像よりも情報量の少ない初期画像を前記端末装置から受信し、
前記初期画像に対して認識処理を行い、
前記初期画像に対する認識処理において不足している情報に対応する画像を前記端末装置へ要求し、
前記端末装置において前記サーバからの要求に応じて生成された画像を前記端末装置から受信し、
前記端末装置が前記サーバからの要求に応じて生成した画像に対して認識処理を行う
ことを特徴とする画像認識方法。
2 サーバ
13 画像処理部
14 通信部
15 要求処理部
22 認識部
25 不足情報判断部
26 要求部
31 カメラ
Claims (6)
- 端末装置が取得した画像をサーバにおいて認識する画像認識システムであって、
前記端末装置は、
入力画像から加工画像を生成する画像処理部と、
前記画像処理部によって生成される加工画像を前記サーバへ送信する通信部と、を有し、
前記サーバは、
前記端末装置から受信する加工画像に対して認識処理を行う認識部と、
前記認識部による認識処理において不足している情報を判断する不足情報判断部と、
前記端末装置に対して、前記不足情報判断部による判断結果に対応する画像を要求する要求部と、を有し、
前記画像処理部は、前記サーバからの要求に基づいて、前記入力画像から前記加工画像を生成する
ことを特徴とする画像認識システム。 - 前記画像処理部は、前記端末装置が前記サーバからの要求を受け取る前に、前記入力画像から前記入力画像よりも情報量の少ない第1の加工画像を生成し、
前記認識部は、前記第1の加工画像に対して認識処理を行い、
前記不足情報判断部は、前記認識部による前記第1の加工画像に対する認識処理において不足している情報を判断し、
前記要求部は、前記第1の加工画像に対する認識処理において不足している情報に対応する画像を前記端末装置に要求する
ことを特徴とする請求項1に記載の画像認識システム。 - 前記画像処理部は、前記サーバからの要求に基づいて、前記入力画像から第2の加工画像を生成し、
前記認識部は、前記第2の加工画像に対して認識処理を行い、
前記不足情報判断部は、前記認識部による前記第2の加工画像に対する認識処理において不足している情報を判断し、
前記要求部は、前記第2の加工画像に対する認識処理において不足している情報に対応する画像を前記端末装置に要求する
ことを特徴とする請求項1または請求項2に記載の画像認識システム。 - 前記端末装置および前記サーバは、前記認識部による認識処理が終了するまで、前記サーバから前記端末装置へ画像を要求する手順、前記端末装置が前記サーバからの要求に基づいて加工画像を生成して前記サーバへ送信する手順、前記サーバが前記端末装置から受信する加工画像に対して認識処理を行う手順を含む対話処理を行う
ことを特徴とする請求項1乃至請求項3のいずれか一項に記載の画像認識システム。 - 入力画像から加工画像を生成する端末装置から前記加工画像を受信して認識する画像認識装置であって、
前記端末装置から受信する加工画像に対して認識処理を行う認識部と、
前記認識部による認識処理において不足している情報を判断する不足情報判断部と、
前記端末装置に対して、前記不足情報判断部による判断結果に対応する画像を要求する要求部と、
を有することを特徴とする画像認識装置。 - 端末装置が取得した画像をサーバにおいて認識する画像認識方法であって、
前記端末装置において入力画像から生成された、前記入力画像よりも情報量の少ない初期画像を前記端末装置から受信し、
前記初期画像に対して認識処理を行い、
前記初期画像に対する認識処理において不足している情報に対応する画像を前記端末装置へ要求し、
前記端末装置において前記サーバからの要求に応じて生成された画像を前記端末装置から受信し、
前記端末装置が前記サーバからの要求に応じて生成した画像に対して認識処理を行う
ことを特徴とする画像認識方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011223744A JP5768647B2 (ja) | 2011-10-11 | 2011-10-11 | 画像認識システムおよび画像認識方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011223744A JP5768647B2 (ja) | 2011-10-11 | 2011-10-11 | 画像認識システムおよび画像認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013084130A true JP2013084130A (ja) | 2013-05-09 |
JP5768647B2 JP5768647B2 (ja) | 2015-08-26 |
Family
ID=48529261
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011223744A Expired - Fee Related JP5768647B2 (ja) | 2011-10-11 | 2011-10-11 | 画像認識システムおよび画像認識方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5768647B2 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016018422A (ja) * | 2014-07-09 | 2016-02-01 | キヤノン株式会社 | 画像処理方法、画像処理装置、プログラム、記録媒体、生産装置、及び組立部品の製造方法 |
JP2016110578A (ja) * | 2014-12-10 | 2016-06-20 | 株式会社リコー | 画像認識システム、サーバ装置及び画像認識方法 |
JP2017054491A (ja) * | 2015-09-11 | 2017-03-16 | インテル・コーポレーション | モノのインターネットエッジデバイスのためのオブジェクト認識技術 |
WO2017159680A1 (ja) * | 2016-03-17 | 2017-09-21 | 日本電気株式会社 | 捜索支援装置、捜索支援システム、捜索支援方法及びプログラム記録媒体 |
JP2017212680A (ja) * | 2016-05-27 | 2017-11-30 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP2019095855A (ja) * | 2017-11-17 | 2019-06-20 | パナソニックIpマネジメント株式会社 | 照合装置、照合方法、及びプログラム |
JP2019175107A (ja) * | 2018-03-28 | 2019-10-10 | 沖電気工業株式会社 | 認識装置、認識方法、プログラムおよびデータ生成装置 |
WO2020138120A1 (ja) * | 2018-12-26 | 2020-07-02 | 日本電気株式会社 | 情報処理装置、情報処理方法及び記録媒体 |
JP2020113940A (ja) * | 2019-01-16 | 2020-07-27 | パナソニックi−PROセンシングソリューションズ株式会社 | 撮影装置、撮影方法、識別装置、識別方法、および識別プログラム |
JPWO2021070215A1 (ja) * | 2019-10-07 | 2021-04-15 | ||
JP2022522449A (ja) * | 2019-04-02 | 2022-04-19 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング | 駐車アシストシステム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008310446A (ja) * | 2007-06-12 | 2008-12-25 | Panasonic Corp | 画像検索システム |
JP2011170711A (ja) * | 2010-02-19 | 2011-09-01 | Toshiba Corp | 移動物体追跡システムおよび移動物体追跡方法 |
-
2011
- 2011-10-11 JP JP2011223744A patent/JP5768647B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008310446A (ja) * | 2007-06-12 | 2008-12-25 | Panasonic Corp | 画像検索システム |
JP2011170711A (ja) * | 2010-02-19 | 2011-09-01 | Toshiba Corp | 移動物体追跡システムおよび移動物体追跡方法 |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016018422A (ja) * | 2014-07-09 | 2016-02-01 | キヤノン株式会社 | 画像処理方法、画像処理装置、プログラム、記録媒体、生産装置、及び組立部品の製造方法 |
JP2016110578A (ja) * | 2014-12-10 | 2016-06-20 | 株式会社リコー | 画像認識システム、サーバ装置及び画像認識方法 |
JP2017054491A (ja) * | 2015-09-11 | 2017-03-16 | インテル・コーポレーション | モノのインターネットエッジデバイスのためのオブジェクト認識技術 |
WO2017159680A1 (ja) * | 2016-03-17 | 2017-09-21 | 日本電気株式会社 | 捜索支援装置、捜索支援システム、捜索支援方法及びプログラム記録媒体 |
JPWO2017159680A1 (ja) * | 2016-03-17 | 2019-02-14 | 日本電気株式会社 | 捜索支援装置、捜索支援システム、捜索支援方法及びプログラム |
EP3249919B1 (en) * | 2016-05-27 | 2022-02-02 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program |
JP2017212680A (ja) * | 2016-05-27 | 2017-11-30 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP2019095855A (ja) * | 2017-11-17 | 2019-06-20 | パナソニックIpマネジメント株式会社 | 照合装置、照合方法、及びプログラム |
JP7113217B2 (ja) | 2017-11-17 | 2022-08-05 | パナソニックIpマネジメント株式会社 | 照合装置、照合方法、及びプログラム |
JP2019175107A (ja) * | 2018-03-28 | 2019-10-10 | 沖電気工業株式会社 | 認識装置、認識方法、プログラムおよびデータ生成装置 |
JP7119493B2 (ja) | 2018-03-28 | 2022-08-17 | 沖電気工業株式会社 | 認識装置、認識方法およびプログラム |
WO2020138120A1 (ja) * | 2018-12-26 | 2020-07-02 | 日本電気株式会社 | 情報処理装置、情報処理方法及び記録媒体 |
CN113454978A (zh) * | 2018-12-26 | 2021-09-28 | 日本电气株式会社 | 信息处理设备、信息处理方法和记录介质 |
JPWO2020138120A1 (ja) * | 2018-12-26 | 2021-10-28 | 日本電気株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP7248039B2 (ja) | 2018-12-26 | 2023-03-29 | 日本電気株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN113454978B (zh) * | 2018-12-26 | 2023-08-18 | 日本电气株式会社 | 信息处理设备、信息处理方法和存储介质 |
JP7193355B2 (ja) | 2019-01-16 | 2022-12-20 | i-PRO株式会社 | 撮影装置、撮影方法、識別装置、識別方法、および識別プログラム |
JP2020113940A (ja) * | 2019-01-16 | 2020-07-27 | パナソニックi−PROセンシングソリューションズ株式会社 | 撮影装置、撮影方法、識別装置、識別方法、および識別プログラム |
JP2022522449A (ja) * | 2019-04-02 | 2022-04-19 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング | 駐車アシストシステム |
JP7393432B2 (ja) | 2019-04-02 | 2023-12-06 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング | 駐車支援システム |
JP7103530B2 (ja) | 2019-10-07 | 2022-07-20 | 日本電気株式会社 | 映像分析方法、映像分析システム及び情報処理装置 |
WO2021070215A1 (ja) * | 2019-10-07 | 2021-04-15 | 日本電気株式会社 | 映像分析方法、映像分析システム及び情報処理装置 |
JPWO2021070215A1 (ja) * | 2019-10-07 | 2021-04-15 |
Also Published As
Publication number | Publication date |
---|---|
JP5768647B2 (ja) | 2015-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5768647B2 (ja) | 画像認識システムおよび画像認識方法 | |
US11606516B2 (en) | Image processing device, image processing method, and image processing system | |
KR102407664B1 (ko) | 물체 검출을 위한 방법, 장치 및 기기 | |
CN107341454B (zh) | 一种场景中障碍物的检测方法及装置、电子设备 | |
CN107392103B (zh) | 路面车道线的检测方法及装置、电子设备 | |
JP4967666B2 (ja) | 画像処理装置および方法、並びに、プログラム | |
US11527077B2 (en) | Advanced driver assist system, method of calibrating the same, and method of detecting object in the same | |
JP2019096072A (ja) | 物体検出装置、物体検出方法およびプログラム | |
CN112987759A (zh) | 基于自动驾驶的图像处理方法、装置、设备及存储介质 | |
JP5223675B2 (ja) | 車両検知装置,車両検知方法並びに車両検知プログラム | |
JP5959073B2 (ja) | 検出装置、検出方法、及び、プログラム | |
JP2019500602A (ja) | 画像ベースの車両位置特定のためのシステム及び方法 | |
JP4416039B2 (ja) | 縞模様検知システム、縞模様検知方法および縞模様検知用プログラム | |
JP2015007953A (ja) | 車両乗車人数の監視装置及び車両乗車人数の監視方法並びにコンピュータ可読記憶媒体 | |
KR101239718B1 (ko) | 차량 주변 물체 검출 시스템 및 방법 | |
KR101178508B1 (ko) | 차량 충돌 경보 시스템 및 방법 | |
KR101374653B1 (ko) | 차량의 움직임을 검출하는 장치 및 방법 | |
US11860627B2 (en) | Image processing apparatus, vehicle, control method for information processing apparatus, storage medium, information processing server, and information processing method for recognizing a target within a captured image | |
JP2019003343A (ja) | 運転支援装置および運転支援方法 | |
JP6983334B2 (ja) | 画像認識装置 | |
CN110834582B (zh) | 转向灯自动关闭方法、装置、氢能汽车及存储介质 | |
Lin et al. | Design a support vector machine-based intelligent system for vehicle driving safety warning | |
JP4855342B2 (ja) | オブジェクト分類装置、駐車スペース検出装置、オブジェクト分類方法、駐車スペース検出方法、及びプログラム | |
WO2020261333A1 (ja) | 学習装置、交通事象予測システム及び学習方法 | |
JP2021051348A (ja) | 物体距離推定装置及び物体距離推定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140603 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150310 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150501 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150526 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150608 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5768647 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |