JP2016095677A - 設定装置、情報分類装置、設定装置の分類面設定方法、情報分類装置の情報分類方法及びプログラム - Google Patents
設定装置、情報分類装置、設定装置の分類面設定方法、情報分類装置の情報分類方法及びプログラム Download PDFInfo
- Publication number
- JP2016095677A JP2016095677A JP2014231395A JP2014231395A JP2016095677A JP 2016095677 A JP2016095677 A JP 2016095677A JP 2014231395 A JP2014231395 A JP 2014231395A JP 2014231395 A JP2014231395 A JP 2014231395A JP 2016095677 A JP2016095677 A JP 2016095677A
- Authority
- JP
- Japan
- Prior art keywords
- classification
- information
- learning
- setting
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】学習用情報から特徴ベクトルを抽出し、どのように分類すべきかが既知である学習用情報が正しく分類可能な分類面を構築する。分類面を構築するために使用する非線形サポートベクトルマシンに用いるカーネルとして、特徴ベクトル間の類似度を求める計算の計算値をべき乗する関数式を用いる。この分類面を、誤分類の許容度を示す正則化パラメータとカーネルのべき乗パラメータの組み合わせを変えて、複数構築する。この構築した複数の分類面を用いて、どのように分類すべきかが既知の試験用情報を分類し、試験用情報を最も正確に分類できる分類面を選択して、情報分類装置に設定する。
【選択図】図7
Description
本発明は、上記問題点に鑑みてなされたもので、情報から取得した特徴ベクトルの要素の数が増加してもカーネルのべき乗計算の処理負荷が小さい設定装置、情報分類装置、設定装置の分類面設定方法、情報分類装置の情報分類方法及びプログラムを提供することを目的とする。
また、上記目的を達成するために、本発明に係る情報分類装置は、前記設定装置が構築した分類面にしたがって、学習用情報と試験用情報とは異なる未知の情報を分類する情報分類手段、を備えることを特徴とする。
本発明の実施形態1に係る情報分類装置のハードウエア構成について、図1を参照しながら説明する。本実施形態1に係る情報分類装置11は、入力部12、表示部13、入出力インタフェース(入出力I/F)部14、記憶部15、ROM(Read Only Memory)16、RAM(Random Access Memory)17、制御部18とを備える。
入力部12は、ユーザによる学習用画像や試験用画像や分類対象画像を特定する指示や情報分類処理に必要なパラメータ等の情報を入力し、キーボード等から構成される。
表示部13は、入力したパラメータ値や後述する識別率、分類された画像等の各種情報を表示し、液晶ディスプレイ等で構成される。
入出力I/F部14は、外部メモリやパーソナルコンピュータ等とのインタフェース機能を有し、USB(Universal Serial Bus)インタフェース、コンパクトディスクドライブ等から構成される。
記憶部15は、学習用画像、試験用画像、分類対象画像、過去に解析した画像と後述する画像の特徴ベクトル及び特徴ベクトルの分類に使用した分類面の情報等を記憶し、ハードディスク等で構成される。
ROM16は、画像から特徴ベクトルを抽出するBof(Bag-of-Features)プログラムを含む制御部18が実行する非線形SVM処理プログラムを記憶する。
RAM17は、制御部18のワークエリアとして使用される。
理解を容易にするために、(桃色、赤、青、白、黒)の5色にについて、図3(a)に示す縦5マス、横5マスのブロックに分割し、どの色が何ブロックに存在するかという頻度を特徴ベクトルの要素として抽出する。図3(a)で例示する顔の画像では、(桃色)が25個のブロック中の10個のブロックに存在し、(赤)が2個のブロックに存在し、(青)は1個のブロックに、(白)は7個のブロックに、(黒)は5個のブロックに存在しているとする。この色の頻度を特徴ベクトルの要素として抽出したものを図3(b)の2行目に示す。
図3(b)の2行目に記載されている特徴ベクトルの各要素の2乗和は(179)であり、その平方根は(13.38)である。そして、図3(b)の3行目に、2行目に記載されている特徴ベクトルの各要素を特徴ベクトルの各要素の2乗和の平方根で正規化した特徴ベクトルの各要素を記載している。
例えば、A氏の試験用画像が100枚ある場合、100枚の試験用画像中の何枚がA氏として正しく分類されたかを調べて識別率を求める。100枚中99枚をA氏として分類していれば、識別率は99%であり、95枚をA氏として分類していれば、識別率は95%である。試験部24は、学習部23で構築した分類面が100個であれば、100個の分類面の各々に対して、識別率を求める。
設定部26は、選択部25で選択した識別率が最も高い分類面を非線形SVMに設定する。
ラグランジュ関数LpをF(λ)と書き換えて、式(11)及び式(12)を代入すると、式(13)となる。
式(16)に、図6(b)に示す分類マージンを決める特徴ベクトルxA1,xB1を代入することにより、バイアス項bが決まる。
学習部23では、式(15)(16)の中のカーネルk(xi,xj)は関数式(17)で表されている。
式(17)は、i番目の画像の特徴ベクトルをxi,j番目の画像の特徴ベクトルをxjとし、xiとxjの対応するk番目の要素を比較して、小さい方の要素を選択して累算し、そして、累算結果をα乗することを示している。
このように、学習部23は、カーネルに式(17)を用いて、5次元の特徴ベクトルxiと5次元の特徴ベクトルxjとから、k(xi、xj)という2つの特徴ベクトル間の類似度を求めている。
ホクロがある顔について類似分類をする場合で説明すると、べき乗パラメータαを小さくすると、顔全体としては些細な要素であるホクロの存在が強調されて評価することになる。このため、ホクロの有無に関しては正確な分類ができていても、顔全体としてはそっくりな画像でありながらホクロが無い画像は非類似として分類される恐れもある。
学習部23は、5次元の特徴ベクトルからカーネルに式(17)を用いて2つの特徴ベクトルxiとxjとの類似度を求めている。そして、この各特徴ベクトル間の類似度を用いて次元拡張することすることによって特徴ベクトルを容易に分類できるようにしている。
以上で、学習部23の機能説明を終了する。
以下に、情報分類装置11に分類面を設定するまでの処理の詳細について、図2に示す機能構成図と図7に示すフローチャート図を用いて説明する。図7に示す分類面の設定処理は、ROM16から非線形SVM処理プログラムを読み出して、該プログラムの学習用機能をスタートすることにより開始する。
学習部23は、入力部12から入力された各パラメータ値をRAM17に格納する。あるいは、情報分類装置11が保有する初期値として、ROM16もしくは記憶部15に格納しておいてもよい。
学習部23は、学習用画像に対応する正規化された特徴ベクトルを、正則化パラメータCで指定される分類誤りの許容範囲内で分類する分類面を構築する(ステップS7)。具体的には、学習部23は、この分類面を構築する非線形SVM処理プログラムの中でカーネルとして式(17)を使用し、2つの学習用画像の正規化された5次元の特徴ベクトルから類似度を求めて式(15)に代入する。学習用画像100枚の中からA氏を分類するための分類面を構築する場合には、100C2=4950回この処理をおこなって、制約条件を満たしながら分類マージンを最大化する重みベクトルmとバイアス項bを求め、A氏を分類する分類面を表す式(2)を構築する。
次に、学習部23は、べき乗パラメータαが最大値αn以下であるかを判別する(ステップS10)。ここでは、まだα=0.3(<20)であるので(ステップS10:Yes)、ステップS7の処理およびステップS8の処理を行い、2つ目の分類面と識別率とをRAM17に格納する。
そして、正則化パラメータCが最大値Cm以下(C≦10)であるかを判別する(ステップS12)。ここでは、まだ、C=0.01であるので、ステップS6に戻る(ステップS12:Yes)。ステップS6で、α=α1に再設定されるので、(C、α)=(0.01、0.1)として、ステップS7及びステップS8の処理を行い、構築した分類面と対応づけて識別率をRAM17に格納する。
具体的には、選択された分類面を表す関数式(2)に、分類対象画像に対応する正規化された特徴ベクトルを代入して、分類対象画像をグループAかグループBかに分類する。この例では、A氏を分類するための分類面を設定しているので、A氏の画像群とその他の人の画像群とを分類対象画像群として入力し、その分類対象画像群からA氏の画像をグループAとして分類する。以上で、情報分類装置11が分類対象画像を分類する説明を終了する。
本実施形態に用いるカーネルを用いた場合のべき乗計算の処理回数と、非特許文献1が開示するカーネルを用いた場合のべき乗計算の処理回数とを図8で比較する。本実施形態では、特徴ベクトルの要素数が5の場合で説明したが、人の画像を分類する場合には、目・鼻・口・耳などの色や形状や角度などの様々な情報をベクトル要素としている。分類精度を上げるためには、特徴ベクトルの要素の数を増やす必要がある。このように、特徴ベクトルの要素数が大きくなるほど、式(17)をカーネルに使用する本実施形態に係る情報分類装置11のべき乗計算処理の負荷は、従来技術に比べると相対的に著しく軽くなる。
実施形態1では、非線形SVMの分類面を設定する設定機能と未知の画像を分類する機能とが一体の装置に実装されている場合について説明したが、本発明はこれには限定されない。特徴ベクトル間の類似度のべき乗値をカーネルに用いて分類面を構築する設定装置、および、該設定装置により構築された分類面を用いて情報を分類する情報分類装置であれば、本発明を適用することができる。他の実施形態として、実施形態2では、非線形SVMの分類面を設定する機能と未知の画像を分類する機能とが別装置に実装されている場合について説明する。
なお、図中同一又は相当する部分には同じ符号を付す。
設定装置11Aと情報識別装置11Bのハード構成については、実施形態1で図1を用いて説明した構成と同じでよい。
実施形態1に係る情報分類装置11と実施形態2に係る設定装置11Aとの差は、設定装置11Aが分類部27を有しない点である。すなわち、本実施形態2に係る設定装置11Aは、識別率が最も高い分類面の選択までを行い、選択した分類面を図10に示す情報分類装置11Bに設定する。これに伴って、設定装置11Aの入力部12では、どのように分類すべきかが未知である分類対象画像の入力指示は行わない。
学習部23は、登載されている非線形SVMのカーネルに式(17)を用いて、学習用画像の正規化された特徴ベクトルを分類するための分類面を分類マージンが最大になるように構築する。学習部23は、この分類面を正則化パラメータCとべき乗パラメータαとの組み合わせごとに構築する。試験部24は、学習部23で構築した分類面を用いて、既知である試験用画像に対応する特徴ベクトルを分類する。そして、試験部24は、学習部23で構築した複数の分類面の各々に対して識別率を求める。
選択部25は、試験部24で分類面ごとに求めた識別率の中で、最も識別率が高かった分類面を選択する。設定部26は、選択部25で選択した識別率が最も高い分類面を記憶部15に格納する。もしくは、入出力I/F部14からUSBメモリ等の記録媒体に選択された分類面に関する情報を出力する。もしくは、設定装置11Aの入出力I/F部14と図10に示す情報分類装置11Bの入出力I/F部14とを接続して、設定装置11Aから選択された分類面を情報分類装置11Bに実装されている非線形SVMに設定してもよい。
実施形態1に係る情報分類装置11と実施形態2に係る情報分類装置11Bとの差は、情報分類装置11Bが、学習部23、試験部24、選択部25、設定部26を有しない点である。すなわち、本実施形態2に係る情報分類装置11Bは、設定装置11Aで選択した分類面を設定された未知の画像を分類する情報分類装置である。
具体的には、分類部27は、設定された分類面を表す関数式(2)に、分類対象画像に対応する正規化された特徴ベクトルを代入して、分類対象画像をグループAかグループBかに分類する。この例では、A氏を分類するための分類面を設定しているので、A氏の画像群とその他の人の画像群とを分類対象画像群として入力し、その分類対象画像群からA氏の画像をグループAとして分類する。
また、実施形態2では、未知の分類対象画像が記憶部15に格納されているとして説明したが、未知の分類対象画像は、インターネット等の通信ネットワークを介して供給するようにしてもよい。
以上の実施形態では、特徴ベクトル間の関係を求めるカーネルとして、特徴ベクトル間の類似度を求める式(17)を用いる場合について説明した。しかし、類似度を求める式はこれに限定されることはない。例えば、特徴ベクトル間の差分を求める式(19)を使用することもできる。
式(20)で求めた計算値は、特徴ベクトルxiと特徴ベクトルxjとの類似度が高くなるほど1に近づく。
また、上述の実施形態では、正則化パラメータCとべき乗パラメータαとを一定のルールで変化させた場合について説明したが、変更ルールが一定ではない複数のパラメータ値を記憶部15に格納しておき、それを順次読み出して使用しても良い。例えば、正則化パラメータCとべき乗パラメータαとをランダムに生成してもよい。また、正則化パラメータCとべき乗パラメータαとの何れか一方を固定して使用することもできる。
また、インターネット等の通信ネットワークに接続されたサーバ装置にプログラムを格納しておき、例えば、コンピュータがプログラムをダウンロードをすることができるようにしてもよい。
分類が既知の複数の学習用情報を入力する入力手段と、
前記学習用情報から各々に対応する特徴ベクトルを取得する取得手段と、
特徴ベクトル間の類似度のべき乗値に基づいて、前記学習用情報を分類する分類面を構築する学習手段と、
前記学習手段で構築した分類面を情報分類装置に設定する設定手段と、
を備える設定装置。
前記入力手段は、さらに、分類が既知の複数の試験用情報と、前記学習用情報の誤分類の許容度を示す複数の正則化パラメータと、特徴ベクトル間の類似度をべき乗する複数のべき乗パラメータと、を入力し、
前記取得手段は、前記試験用情報から各々に対応する特徴ベクトルを取得し、
前記学習手段は、前記正則化パラメータと前記べき乗パラメータとの組み合わせごとに、複数の分類面を構築し、
さらに、前記学習手段で構築した複数の分類面のうちの1つを選定して取得手段で作成した前記試験用情報に対応する特徴ベクトルを分類し、前記試験用情報に対応する特徴ベクトルが分類されるべき既知の分類状態に分類された割合を表す識別率を求め、さらに、選定する分類面を順次更新して複数回行う試験手段と、
前記試験手段で求めた識別率が最も高い分類面を選択する選択手段と、
を備えることを特徴とする付記1に記載の設定装置。
前記取得手段は、前記学習用情報と前記試験用情報とから、Bof(Bag of Features)により情報の特徴を定量化した特徴ベクトルを取得し、
さらに、取得した特徴ベクトルをL2ノルムで正規化を行なう正規化手段を備え、
前記学習手段は、前記正規化手段により正規化された特徴ベクトルを分類するための複数の分類面を構築する、
ことを特徴とする付記2に記載の設定装置。
付記1乃至3の何れかに記載の設定装置が構築した分類面にしたがって、学習用情報と試験用情報とは異なる未知の情報を分類する情報分類手段、
を備える情報分類装置。
分類が既知の複数の学習用情報を入力する入力工程と、
前記学習用情報から各々に対応する特徴ベクトルを取得する取得工程と、
特徴ベクトル間の類似度のべき乗値に基づいて、前記学習用情報を分類する分類面を構築する学習工程と、
前記学習工程で構築した分類面を情報分類装置に設定する設定工程と、
を含む設定装置の分類面設定方法。
付記5に記載の設定装置の分類面設定方法によって設定された分類面に従って、学習用情報と試験用情報とは異なる未知の情報を分類する情報分類工程、
を含む情報分類装置の情報分類方法。
コンピュータを、
分類が既知の複数の学習用情報を入力する入力手段、
前記学習用情報から各々に対応する特徴ベクトルを取得する取得手段、
特徴ベクトル間の類似度のべき乗値に基づいて、前記学習用情報を分類する分類面を構築する学習手段、
前記学習手段で構築した分類面を情報分類装置に設定する設定手段、
として機能させるためのプログラム。
コンピュータを、
付記7に記載のプログラムの実行により設定された分類面にしたがって、学習用情報と試験用情報とは異なる未知の情報を分類する情報分類手段、
として機能させるためのプログラム。
Claims (8)
- 分類が既知の複数の学習用情報を入力する入力手段と、
前記学習用情報から各々に対応する特徴ベクトルを取得する取得手段と、
特徴ベクトル間の類似度のべき乗値に基づいて、前記学習用情報を分類する分類面を構築する学習手段と、
前記学習手段で構築した分類面を情報分類装置に設定する設定手段と、
を備える設定装置。 - 前記入力手段は、さらに、分類が既知の複数の試験用情報と、前記学習用情報の誤分類の許容度を示す複数の正則化パラメータと、特徴ベクトル間の類似度をべき乗する複数のべき乗パラメータと、を入力し、
前記取得手段は、前記試験用情報から各々に対応する特徴ベクトルを取得し、
前記学習手段は、前記正則化パラメータと前記べき乗パラメータとの組み合わせごとに、複数の分類面を構築し、
さらに、前記学習手段で構築した複数の分類面のうちの1つを選定して取得手段で作成した前記試験用情報に対応する特徴ベクトルを分類し、前記試験用情報に対応する特徴ベクトルが分類されるべき既知の分類状態に分類された割合を表す識別率を求め、さらに、選定する分類面を順次更新して複数回行う試験手段と、
前記試験手段で求めた識別率が最も高い分類面を選択する選択手段と、
を備えることを特徴とする請求項1に記載の設定装置。 - 前記取得手段は、前記学習用情報と前記試験用情報とから、Bof(Bag of Features)により情報の特徴を定量化した特徴ベクトルを取得し、
さらに、取得した特徴ベクトルをL2ノルムで正規化を行なう正規化手段を備え、
前記学習手段は、前記正規化手段により正規化された特徴ベクトルを分類するための複数の分類面を構築する、
ことを特徴とする請求項2に記載の設定装置。 - 請求項1乃至3の何れか一項に記載の設定装置が構築した分類面にしたがって、学習用情報と試験用情報とは異なる未知の情報を分類する情報分類手段、
を備える情報分類装置。 - 分類が既知の複数の学習用情報を入力する入力工程と、
前記学習用情報から各々に対応する特徴ベクトルを取得する取得工程と、
特徴ベクトル間の類似度のべき乗値に基づいて、前記学習用情報を分類する分類面を構築する学習工程と、
前記学習工程で構築した分類面を情報分類装置に設定する設定工程と、
を含む設定装置の分類面設定方法。 - 請求項5に記載の設定装置の分類面設定方法によって設定された分類面に従って、学習用情報と試験用情報とは異なる未知の情報を分類する情報分類工程、
を含む情報分類装置の情報分類方法。 - コンピュータを、
分類が既知の複数の学習用情報を入力する入力手段、
前記学習用情報から各々に対応する特徴ベクトルを取得する取得手段、
特徴ベクトル間の類似度のべき乗値に基づいて、前記学習用情報を分類する分類面を構築する学習手段、
前記学習手段で構築した分類面を情報分類装置に設定する設定手段、
として機能させるためのプログラム。 - コンピュータを、
請求項7に記載のプログラムの実行により設定された分類面にしたがって、学習用情報と試験用情報とは異なる未知の情報を分類する情報分類手段、
として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014231395A JP6547280B2 (ja) | 2014-11-14 | 2014-11-14 | 設定装置、情報分類装置、設定装置の分類面設定方法、情報分類装置の情報分類方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014231395A JP6547280B2 (ja) | 2014-11-14 | 2014-11-14 | 設定装置、情報分類装置、設定装置の分類面設定方法、情報分類装置の情報分類方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016095677A true JP2016095677A (ja) | 2016-05-26 |
JP6547280B2 JP6547280B2 (ja) | 2019-07-24 |
Family
ID=56070608
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014231395A Active JP6547280B2 (ja) | 2014-11-14 | 2014-11-14 | 設定装置、情報分類装置、設定装置の分類面設定方法、情報分類装置の情報分類方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6547280B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112612889A (zh) * | 2020-12-28 | 2021-04-06 | 中科院计算技术研究所大数据研究院 | 一种多语种文献分类方法、装置及存储介质 |
-
2014
- 2014-11-14 JP JP2014231395A patent/JP6547280B2/ja active Active
Non-Patent Citations (1)
Title |
---|
久保 純貴 外3名: "「野球映像における投手のコンディション推定の高精度化に関する検討」", 映像情報メディア学会技術報告, vol. 第37巻,第8号, JPN6018042423, 11 February 2013 (2013-02-11), pages pp.141−146 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112612889A (zh) * | 2020-12-28 | 2021-04-06 | 中科院计算技术研究所大数据研究院 | 一种多语种文献分类方法、装置及存储介质 |
CN112612889B (zh) * | 2020-12-28 | 2021-10-29 | 中科院计算技术研究所大数据研究院 | 一种多语种文献分类方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP6547280B2 (ja) | 2019-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10303982B2 (en) | Systems and methods for machine learning enhanced by human measurements | |
US20150278710A1 (en) | Machine learning apparatus, machine learning method, and non-transitory computer-readable recording medium | |
US8340439B2 (en) | Image conversion method and apparatus, and pattern identification method and apparatus | |
US7958070B2 (en) | Parameter learning method, parameter learning apparatus, pattern classification method, and pattern classification apparatus | |
Kim et al. | Color–texture segmentation using unsupervised graph cuts | |
JP6270182B2 (ja) | 属性要因分析方法、装置、およびプログラム | |
US20120243779A1 (en) | Recognition device, recognition method, and computer program product | |
Valle et al. | Face alignment using a 3D deeply-initialized ensemble of regression trees | |
JP4668680B2 (ja) | 属性識別システムおよび属性識別辞書生成装置 | |
KR20090131626A (ko) | 영상 데이터내의 특정 클래스의 오브젝트를 세그멘테이션하기 위한 시스템 및 방법 | |
Scheffler et al. | Joint adaptive colour modelling and skin, hair and clothing segmentation using coherent probabilistic index maps | |
WO2020190480A1 (en) | Classifying an input data set within a data category using multiple data recognition tools | |
JP2017102906A (ja) | 情報処理装置、情報処理方法及びプログラム | |
US20220036140A1 (en) | Classification device, classification method, program, and information recording medium | |
Wang et al. | Energy based competitive learning | |
Han et al. | High-order statistics of microtexton for hep-2 staining pattern classification | |
Bejaoui et al. | Fully automated facial expression recognition using 3D morphable model and mesh-local binary pattern | |
Robert et al. | Mouth features extraction for emotion classification | |
Mayer et al. | Adjusted pixel features for robust facial component classification | |
US20210397905A1 (en) | Classification system | |
Ayatollahi et al. | Expression-invariant face recognition using depth and intensity dual-tree complex wavelet transform features | |
JP2014119879A (ja) | 顔表情評価結果平滑化装置および顔表情評価結果平滑化プログラム | |
Goswami et al. | Kernel group sparse representation based classifier for multimodal biometrics | |
KR101484003B1 (ko) | 얼굴 분석 평가 시스템 | |
JP2016095677A (ja) | 設定装置、情報分類装置、設定装置の分類面設定方法、情報分類装置の情報分類方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171005 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181030 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181217 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190528 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190610 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6547280 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |