JP2015201166A - 評価結果表示方法、評価結果表示装置及び評価結果表示プログラム - Google Patents
評価結果表示方法、評価結果表示装置及び評価結果表示プログラム Download PDFInfo
- Publication number
- JP2015201166A JP2015201166A JP2014243108A JP2014243108A JP2015201166A JP 2015201166 A JP2015201166 A JP 2015201166A JP 2014243108 A JP2014243108 A JP 2014243108A JP 2014243108 A JP2014243108 A JP 2014243108A JP 2015201166 A JP2015201166 A JP 2015201166A
- Authority
- JP
- Japan
- Prior art keywords
- records
- unit
- evaluation result
- extractions
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Economics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Entrepreneurship & Innovation (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Game Theory and Decision Science (AREA)
- Human Resources & Organizations (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明者らは、上述の評価方法に関し、以下の問題が生じることを見出した。
以下、本発明の実施の形態に係る評価結果表示方法、評価結果表示装置、及び評価結果表示方法を実施するためのシステムについて、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置、構成要素の接続形態、ステップ、及びステップの順序等は、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
図1は、本発明の実施の形態1に係る評価結果表示方法を実施するためのシステム全体の構成を示す図である。図1は、評価結果表示方法を実施するためのシステムが1つの装置である場合を示す。評価結果表示装置100は、入力部110と処理部120と表示部130とを備えている。
図3は、本発明の実施の形態1に係る評価結果表示方法を実施する情報処理装置のハードウェア構成の一例を示す図である。
図4は、本発明の実施の形態1に係る入力データの一例を示す図である。入力データは、予測モデルに対する評価結果を表示するための元となるデータである。ここでの予測モデルは、ユーザがある広告を閲覧するかどうかを予測する。
図5は、本発明の実施の形態1に係る評価結果表示方法を実施するためのシステムの機能的構成を示すブロック図である。図5では、評価結果表示方法を実施するためのシステムが1つの装置である場合を示す。
図7は、本発明の実施の形態1に係る評価結果表示方法で出力する表示結果の一例を示す図である。
次に、図8を参照しながら、評価結果表示方法について説明する。
次に、図を参照しながら、総抽出数と正解数とを計算する処理について説明する。この処理は、図8のステップS4の処理の詳細である。
以上、本発明の実施の形態1によれば、総抽出数及び正解数のみを算出することで、適切に予測結果の評価をグラフで表示することができる。これにより、データを全て確認して順番にTP率及びFP率の両方を算出する従来の評価結果表示方法と比べて、評価結果を計算するために必要なメモリ使用量を削減することができる。
実施の形態1では、メモリ使用量を削減しつつ、予測モデルの評価結果を表示する方法を説明した。つまり、実施の形態1で表示される予測モデルの評価結果では、計算された正解数と総抽出数との関係を示すグラフが、入力データを無作為に抽出した時の総抽出数及び正解数を表す直線よりも、より上にある程、良い予測モデルであることを示している。しかしながら、複数の予測モデルの評価結果を示す複数のグラフが表示され、これらの複数のグラフが類似している場合、どの予測モデルがよいかを判断することは困難である。
図12は、本発明の実施の形態2に係る評価結果表示方法を実施するためのシステムの機能的構成を示すブロック図である。図12では、評価結果表示方法を実施するためのシステムが1つの装置である場合を示す。
図13は、本発明の実施の形態2に係る評価結果表示方法によって描画されたグラフ及び面積比の一例を示す図である。表示部130Aは、図13に示すグラフ11及び面積比13を表示する。グラフ11は、計算部124によって計算された正解数と総抽出数とを、縦軸(Y軸)が正解数であり横軸(X軸)が総抽出数である座標系上に描画したグラフである。また、表示部130Aは、原点(0、0)と、総抽出数が最大値であり正解数が最大値である点とを結んだ直線12を表示する。
次に、図14を参照しながら、評価結果表示方法について説明する。
以上、本発明の実施の形態2によれば、総抽出数及び正解数のみを算出することで、適切に予測結果の評価をグラフで表示することができる。これにより、データを全て確認して順番にTP率及びFP率の両方を算出する従来の評価結果表示方法と比べて、評価結果を計算するために必要なメモリ使用量を削減することができる。
実施の形態2では、メモリ使用量を削減し、予測モデルの評価結果を表示し、予測モデルを客観的に評価する指標(面積比)を表示する方法を説明した。しかしながら、最終的には、対象がどちらのグループ(ここでは、広告を閲覧するグループ及び広告を閲覧しないグループ)に属するのかを決めることが好ましい。
図15は、本発明の実施の形態3に係る評価結果表示方法を実施するためのシステムの機能的構成を示すブロック図である。図15では、評価結果表示方法を実施するためのシステムが1つの装置である場合を示す。
続いて、図16を用いて、本発明の実施の形態3に係る最適値の計算方法について説明する。
次に、図17を参照しながら、評価結果表示方法について説明する。
以上、本発明の実施の形態3によれば、総抽出数及び正解数のみを算出することで、適切に予測結果の評価をグラフで表示することができる。これにより、データを全て確認して順番にTP率及びFP率の両方を算出する従来の評価結果表示方法と比べて、評価結果を計算するために必要なメモリ使用量を削減することができる。
110 入力部
120,120A,120B 処理部
121 取得部
122 記憶部
123 並べ替え部
124 計算部
125,126,127 描画部
128 面積計算部
129 最適値計算部
130,130A,130B 表示部
200 入力装置
300 処理装置
400 表示装置
500 ネットワーク
Claims (9)
- 複数の対象のそれぞれが複数のグループのうちのどのグループに属するかを予測する予測モデルに対する評価結果を表示する評価結果表示方法であって、
前記予測モデルによって予測された予測値と、前記複数の対象のそれぞれが実際に属するグループを示すグループ情報とを含むレコードの集合である複数のレコードを取得する取得ステップと、
前記予測値に基づいて、前記複数のレコードを並べ替える並べ替えステップと、
前記並べ替えステップにおいて並べ替えられた前記複数のレコードに対して、並べ変えられた順番でレコードを順に抽出し、抽出した前記レコードの数を示す抽出数と、抽出した前記レコードに含まれる前記グループ情報が前記複数のグループのうちの正解とするグループに属していると判断された数を示す正解数とを計算し、前記抽出数と前記正解数とを対応付けて出力する計算ステップと、
前記計算ステップにおいて出力された前記抽出数及び前記正解数を、横軸を前記抽出数とし縦軸を前記正解数とする座標系上に描画したグラフを生成する生成ステップと、
前記生成ステップにおいて生成された前記グラフを表示する表示ステップと、
を含む評価結果表示方法。 - 前記予測値は、前記複数のグループのうちの前記正解とするグループに属している確率を示す予測確率を含み、
前記並べ替えステップは、前記予測確率が高い順番又は前記予測確率が低い順番に前記複数のレコードを並べ替える、
請求項1記載の評価結果表示方法。 - 前記生成ステップは、前記座標系上に、前記抽出数が0でありかつ前記正解数が0である点と、前記抽出数が最大値でありかつ前記正解数が最大値である点とを結んだ直線を描画する、
請求項1又は2記載の評価結果表示方法。 - 前記計算ステップは、予め決められた所定の数ずつ前記レコードを抽出し、抽出した前記所定の数のレコードの抽出数と、抽出した前記所定の数のレコードの正解数とを計算する、
請求項1〜3のいずれか1項に記載の評価結果表示方法。 - 前記計算ステップは、前記並べ替えステップにおいて並べ替えられた複数のレコードのうち、前記予測値が同じである前記レコードを並べ変えられた順番で全て抽出し、抽出した前記予測値が同じレコードの抽出数と、抽出した前記予測値が同じレコードの正解数とを計算する、
請求項1〜3のいずれか1項に記載の評価結果表示方法。 - 前記生成ステップにおいて生成された前記グラフの下側の面積と、前記抽出数の最大値と前記正解数の最大値とを乗算することにより算出される全体の面積との面積比を計算し、計算した前記面積比の値を出力する面積計算ステップをさらに含む、
請求項1〜5のいずれか1項に記載の評価結果表示方法。 - 前記抽出数が0でありかつ前記正解数が0である点と、前記抽出数が最大値でありかつ前記正解数が最大値である点とを結んだ直線の傾きと、生成した前記グラフの傾きとが一致する前記グラフ上の点における前記抽出数を最適値として、前記計算ステップにおいて出力された前記抽出数及び前記正解数を用いて計算し、計算した前記最適値を出力する最適値計算ステップをさらに含む、
請求項1〜6のいずれか1項に記載の評価結果表示方法。 - 複数の対象のそれぞれが複数のグループのうちのどのグループに属するかを予測する予測モデルに対する評価結果を表示する評価結果表示装置であって、
前記予測モデルによって予測された予測値と、前記複数の対象のそれぞれが実際に属するグループを示すグループ情報とを含むレコードの集合である複数のレコードを取得する取得部と、
前記取得部によって取得された前記複数のレコードを記憶する記憶部と、
前記記憶部に記憶された前記複数のレコードを読み出し、前記予測値に基づいて、読み出した前記複数のレコードを並べ替える並べ替え部と、
前記並べ替え部によって並べ替えられた前記複数のレコードに対して、並べ変えられた順番でレコードを順に抽出し、抽出した前記レコードの数を示す抽出数と、抽出した前記レコードに含まれる前記グループ情報が前記複数のグループのうちの正解とするグループに属していると判断された数を示す正解数とを計算し、前記抽出数と前記正解数とを対応付けて出力する計算部と、
前記計算部によって出力された前記抽出数及び前記正解数を、横軸を前記抽出数とし縦軸を前記正解数とする座標系上に描画したグラフを生成する生成部と、
前記生成部によって生成された前記グラフを出力する出力部と、
を備える評価結果表示装置。 - 複数の対象のそれぞれが複数のグループのうちのどのグループに属するかを予測する予測モデルに対する評価結果を表示する評価結果表示プログラムであって、
前記予測モデルによって予測された予測値と、前記複数の対象のそれぞれが実際に属するグループを示すグループ情報とを含むレコードの集合である複数のレコードを取得する取得部と、
前記取得部によって取得された前記複数のレコードを記憶する記憶部と、
前記記憶部に記憶された前記複数のレコードを読み出し、前記予測値に基づいて、読み出した前記複数のレコードを並べ替える並べ替え部と、
前記並べ替え部によって並べ替えられた前記複数のレコードに対して、並べ変えられた順番でレコードを順に抽出し、抽出した前記レコードの数を示す抽出数と、抽出した前記レコードに含まれる前記グループ情報が前記複数のグループのうちの正解とするグループに属していると判断された数を示す正解数とを計算し、前記抽出数と前記正解数とを対応付けて出力する計算部と、
前記計算部によって出力された前記抽出数及び前記正解数を、横軸を前記抽出数とし縦軸を前記正解数とする座標系上に描画したグラフを生成する生成部と、
前記生成部によって生成された前記グラフを出力する出力部としてコンピュータを機能させる評価結果表示プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014243108A JP6352165B2 (ja) | 2014-04-04 | 2014-12-01 | 評価結果表示方法、評価結果表示装置及び評価結果表示プログラム |
US14/671,691 US11093517B2 (en) | 2014-04-04 | 2015-03-27 | Evaluation result display method, evaluation result display apparatus, and non-transitory computer-readable recording medium storing evaluation result display program |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014077994 | 2014-04-04 | ||
JP2014077994 | 2014-04-04 | ||
JP2014243108A JP6352165B2 (ja) | 2014-04-04 | 2014-12-01 | 評価結果表示方法、評価結果表示装置及び評価結果表示プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015201166A true JP2015201166A (ja) | 2015-11-12 |
JP6352165B2 JP6352165B2 (ja) | 2018-07-04 |
Family
ID=54209928
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014243108A Active JP6352165B2 (ja) | 2014-04-04 | 2014-12-01 | 評価結果表示方法、評価結果表示装置及び評価結果表示プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11093517B2 (ja) |
JP (1) | JP6352165B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11119472B2 (en) * | 2018-09-28 | 2021-09-14 | Uptake Technologies, Inc. | Computer system and method for evaluating an event prediction model |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001117904A (ja) * | 1999-10-18 | 2001-04-27 | Fujitsu Ltd | 予測装置の予測診断装置 |
JP2006092478A (ja) * | 2004-09-27 | 2006-04-06 | National Institute Of Advanced Industrial & Technology | 遺伝子発現プロファイル検索装置、遺伝子発現プロファイル検索方法およびプログラム |
JP2010277567A (ja) * | 2008-10-07 | 2010-12-09 | Giken Shoji International Co Ltd | Dm配布エリア分析装置 |
JP2011117904A (ja) * | 2009-12-07 | 2011-06-16 | Toshiba Corp | 二次監視レーダ |
JP2012014619A (ja) * | 2010-07-05 | 2012-01-19 | Hitachi Ltd | 計算機システム及びリスク診断方法 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6085226A (en) * | 1998-01-15 | 2000-07-04 | Microsoft Corporation | Method and apparatus for utility-directed prefetching of web pages into local cache using continual computation and user models |
US8805339B2 (en) * | 2005-09-14 | 2014-08-12 | Millennial Media, Inc. | Categorization of a mobile user profile based on browse and viewing behavior |
US9058406B2 (en) * | 2005-09-14 | 2015-06-16 | Millennial Media, Inc. | Management of multiple advertising inventories using a monetization platform |
US20070244589A1 (en) * | 2006-04-18 | 2007-10-18 | Takenori Oku | Demand prediction method, demand prediction apparatus, and computer-readable recording medium |
US8775237B2 (en) * | 2006-08-02 | 2014-07-08 | Opinionlab, Inc. | System and method for measuring and reporting user reactions to advertisements on a web page |
US20080313117A1 (en) * | 2007-06-12 | 2008-12-18 | Brian Galvin | Methods and Systems for Creating a Behavioral WEB Graph |
US9195743B2 (en) * | 2007-10-04 | 2015-11-24 | Yahoo! Inc. | System and method for creating and applying predictive user click models to predict a target page associated with a search query |
US20110131652A1 (en) * | 2009-05-29 | 2011-06-02 | Autotrader.Com, Inc. | Trained predictive services to interdict undesired website accesses |
US20110173068A1 (en) * | 2010-01-12 | 2011-07-14 | David Joseph O'Hanlon | Unified data burst internet advertising and em alert methods |
US8589228B2 (en) * | 2010-06-07 | 2013-11-19 | Microsoft Corporation | Click modeling for URL placements in query response pages |
CN102314450B (zh) * | 2010-06-30 | 2014-11-26 | 国际商业机器公司 | 用于增强网页浏览的方法和设备 |
US8533224B2 (en) * | 2011-05-04 | 2013-09-10 | Google Inc. | Assessing accuracy of trained predictive models |
US8229864B1 (en) * | 2011-05-06 | 2012-07-24 | Google Inc. | Predictive model application programming interface |
US8209274B1 (en) * | 2011-05-09 | 2012-06-26 | Google Inc. | Predictive model importation |
US8843427B1 (en) * | 2011-07-01 | 2014-09-23 | Google Inc. | Predictive modeling accuracy |
US20130138507A1 (en) * | 2011-11-30 | 2013-05-30 | Amit Kumar | Predictive modeling for e-commerce advertising systems and methods |
IL221685A0 (en) * | 2012-08-29 | 2012-12-31 | Google Inc | Predicting content performance with interest data |
US10452992B2 (en) * | 2014-06-30 | 2019-10-22 | Amazon Technologies, Inc. | Interactive interfaces for machine learning model evaluations |
US9690933B1 (en) * | 2014-12-22 | 2017-06-27 | Fireeye, Inc. | Framework for classifying an object as malicious with machine learning for deploying updated predictive models |
-
2014
- 2014-12-01 JP JP2014243108A patent/JP6352165B2/ja active Active
-
2015
- 2015-03-27 US US14/671,691 patent/US11093517B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001117904A (ja) * | 1999-10-18 | 2001-04-27 | Fujitsu Ltd | 予測装置の予測診断装置 |
JP2006092478A (ja) * | 2004-09-27 | 2006-04-06 | National Institute Of Advanced Industrial & Technology | 遺伝子発現プロファイル検索装置、遺伝子発現プロファイル検索方法およびプログラム |
US20070172833A1 (en) * | 2004-09-27 | 2007-07-26 | Wataru Fujibuchi | Gene expression profile retrieving apparatus, gene expression profile retrieving method, and program |
JP2010277567A (ja) * | 2008-10-07 | 2010-12-09 | Giken Shoji International Co Ltd | Dm配布エリア分析装置 |
JP2011117904A (ja) * | 2009-12-07 | 2011-06-16 | Toshiba Corp | 二次監視レーダ |
JP2012014619A (ja) * | 2010-07-05 | 2012-01-19 | Hitachi Ltd | 計算機システム及びリスク診断方法 |
Also Published As
Publication number | Publication date |
---|---|
US20150286692A1 (en) | 2015-10-08 |
US11093517B2 (en) | 2021-08-17 |
JP6352165B2 (ja) | 2018-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI478558B (zh) | 用以提供內容項目關聯性之分析與視覺化的方法、裝置與電腦程式產品 | |
US20130080245A1 (en) | Advertising management system | |
JP6975692B2 (ja) | 計算機システム及び予測器が出力した予測値の根拠に関連する情報の提示方法 | |
KR101519879B1 (ko) | 계층적 컨텍스트 모델을 이용하여 컨텐츠를 추천하기 위한 장치 및 그 방법 | |
JP2019148897A (ja) | 行動パターン探索システム、および行動パターン探索方法 | |
JP2010176288A (ja) | 業務プロセス類似度評価装置およびその方法 | |
EP3408752B1 (en) | Object management and visualization using a computing device | |
US8943012B2 (en) | Information processing device, information processing method, and program | |
CN103703436A (zh) | 数据处理装置、数据处理方法、数据处理程序、以及记录该程序的计算机可读取的记录介质 | |
KR20230014802A (ko) | 지정 항목 추천 방법 | |
WO2017203672A1 (ja) | アイテム推奨方法、アイテム推奨プログラムおよびアイテム推奨装置 | |
JP5749676B2 (ja) | レコメンド情報生成装置およびレコメンド情報生成方法 | |
US9323643B1 (en) | Method and system for analyzing mobile apps | |
JP5504220B2 (ja) | 提供情報選択装置、方法及びプログラム | |
JP6352165B2 (ja) | 評価結果表示方法、評価結果表示装置及び評価結果表示プログラム | |
JP6921598B2 (ja) | 計算装置、影響出力システム | |
JP6154491B2 (ja) | 計算機及びグラフデータ生成方法 | |
JP5718866B2 (ja) | Ictサービス環境影響評価システムおよび方法 | |
US20180217005A1 (en) | Device and components overheating evaluation | |
JP6562276B2 (ja) | 情報抽出装置、情報抽出方法、及び情報抽出プログラム | |
JP2009230452A (ja) | 属性情報入力支援装置及びプログラム | |
JP2014215633A (ja) | インテント分類装置、方法及びプログラム、サービス選択支援装置、方法及びプログラム | |
JP7458302B2 (ja) | 理解難易度算出装置及び理解難易度算出方法。 | |
CN108132946B (zh) | 序列化数据的展示方法及装置 | |
JP2017211756A (ja) | 予測不可データ判定システム及び予測不可データ判定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170616 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180508 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180523 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180605 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180606 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6352165 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |