JP2015138462A - 関連性判定装置、関連性判定プログラム、及び関連性判定方法 - Google Patents
関連性判定装置、関連性判定プログラム、及び関連性判定方法 Download PDFInfo
- Publication number
- JP2015138462A JP2015138462A JP2014010648A JP2014010648A JP2015138462A JP 2015138462 A JP2015138462 A JP 2015138462A JP 2014010648 A JP2014010648 A JP 2014010648A JP 2014010648 A JP2014010648 A JP 2014010648A JP 2015138462 A JP2015138462 A JP 2015138462A
- Authority
- JP
- Japan
- Prior art keywords
- matrix
- real
- vector
- vectors
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Complex Calculations (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】 関連性判定装置100は、二値化された特徴ベクトルを取得する特徴ベクトル取得部102と、複数の実数ベクトルからなる実数行列を、係数行列と、要素として二値または三値の離散値のみを持つ複数の基底ベクトルからなる基底行列との積に分解する実数行列分解部105と、特徴ベクトルと実数行列との積の計算として、特徴ベクトルと基底行列との積を計算し、さらに当該積と係数行列との積を計算して、その結果を用いて、複数の実数ベクトルの各々と特徴ベクトルとの関連性を判定するベクトル演算部106とを備えている。
【選択図】 図3
Description
ステップ2:入力として与えられたN個の特徴量それぞれについて、最も距離が近い代表ベクトルを求める。
ステップ3:各代表ベクトルに所属する特徴量の平均を計算し、これを新しい代表ベクトルとする。
ステップ4:ステップ2、ステップ3を収束するまで繰り返す。
1−1.第1の実施の形態
図3は、本発明の実施の形態の特徴量演算装置100の構成を示すブロック図である。特徴量演算装置100は、コンテンツ取得部101と、特徴ベクトル生成部102と、特徴ベクトル二値化部103と、実数行列取得部104と、実数行列分解部105と、ベクトル演算部106と、データベース107とを備えている。
第1の分解手法として、データ非依存型の分解手法を説明する。第1の分解手法では、実数行列分解部105は、分解誤差を表す下式(3)のコスト関数g1を解くことで分解を行う。
(1)基底行列M及び係数行列Cをランダムに初期化する。
(2)基底行列Mの要素を固定して、係数行列Cの要素を最小二乗法により最適化することで、コスト関数g1が最小になるように係数行列Cの要素を更新する。
(3)係数行列Cの要素を固定して、コスト関数g1が最小になるように全探索で基底行列Mの要素を更新する。この最小化アルゴリズムである全探索については、後に詳しく述べる。
(4)収束するまで(2)及び(3)を繰り返す。例えば、コスト関数g1が所定の収束条件(例えば、減少量が一定値以下となる)を満たしたときに、収束したと判定する。
(5)ステップ(1)〜ステップ(4)により得た解を候補として保持する。
(6)ステップ(1)〜ステップ(5)を繰り返し、最もコスト関数g1を小さくできた候補基底行列M及び候補係数行列Cを最終結果として採用する。なお、このステップ(1)〜ステップ(5)の繰り返しはなくてもよいが、複数回繰り返すことで、初期値依存の問題を回避できる。
第2の分解手法として、係数行列Cを疎にするデータ非依存型の分解手法を説明する。第2の分解手法では、実数行列分解部105は、分解誤差である下式(4)のコスト関数g2を解くことで分解を行う。
(1)基底行列M及び係数行列Cをランダムに初期化する。
(2)基底行列Mの要素を固定して、係数行列Cの要素を近接勾配法で最適化する。
(3)係数行列Cの要素を固定して、コスト関数g2が最小になるように全探索で基底行列Mの要素を更新する。
(4)収束するまで(2)及び(3)を繰り返す。例えば、コスト関数g2のが所定の収束条件(例えば、減少量が一定値以下となる)を満たしたときに、収束したと判定する。
(5)ステップ(1)〜ステップ(4)により得た解を候補として保持する。
(6)ステップ(1)〜ステップ(5)を繰り返し、最もコスト関数g2を小さくできた候補基底行列M及び候補係数行列Cを最終結果として採用する。なお、このステップ(1)〜ステップ(5)の繰り返しはなくてもよいが、複数回繰り返すことで、初期値依存の問題を回避できる。
次に、第3の分解手法を説明する。第1の分解手法では、コスト関数g1として、分解誤差
(1)第1又は第2の分解手法によって、基底行列M及び係数行列Cを求めて、これをそれらの初期値とする。
(2)基底行列Mの要素を固定して、係数行列Cの要素を最小二乗法で最適化する。
(3)係数行列Cの要素を固定して、基底行列Mの要素を最適化することで、基底行列Mの要素を更新する。この基底行列Mの更新処理については後述する。
(4)収束するまで(2)及び(3)を繰り返し、コスト関数g3を最小化した基底行列M及び係数行列Cを候補として保持する。
(5)ステップ(1)〜(6)を繰り返し、コスト関数g3を最小化した基底行列M及び係数行列Cを最終結果として採用する。なお、ステップ(1)では再度第1又は第2の分解手法による基底行列M及び係数行列Cの最適化が行われるので、初期値が変更される。また、ステップ(5)の繰り返しはなくてもよいが、複数回繰り返すことで、初期値依存の問題を軽減できる。
(3−1)基底行列Mの要素のうち、ランダムにT個を選択する。
(3−2)2T通りの組み合わせ(後述の三値分解の場合は3T通り)を試し、最もコスト関数g3を最小化したものを採用する。
(3−3)ステップ(3−1)及びステップ(3−2)を収束するまで繰り返す。
第4の分解手法は、第2の分解手法と第3の分解手法とを組み合わせてものである。具体的には、実数行列分解部105は、下式(6)のコスト関数g4を解くことで分解を行う。
上記の第1及び第2のデータ非依存分解の手法は、分解数をkとしたとき、k2通り(三値分解の場合はk3通り)の探索が必要であるため、kが大きいときは、適用が難しい。そのような場合は、あらかじめ実数行列Qに所属する実数ベクトルqnの互いの類似度を調べ、似ている実数ベクトルどうしをクラスタリングし、各クラスタに対して第1又は第2の分解手法を適用すればよい。
Dhamming(mi,p)と下式(8)の関係がある。
取る操作であり、BITCOUNT関数はバイナリコードの1が立っているビット数を数えあげる処理のことである。
上記の第1の実施の形態では、二値ベクトルmi、pを、それぞれ、mi∈{−1,1}d、p∈{−1,1}dと定義して、実数行列を二値の基底行列と実数の係数行列との積に分解することで積演算QTpが高速になることを説明した。しかしながら、mi、pをより一般的な二値ベクトルmi´∈{−a,a}d、p´∈{−a,a}dとしても、それらの高速な積演算が可能である。この場合、mi´Tp´=a2(mi Tp)であることから、−1及び1により定義される二値ベクトル同士の内積にa2を掛ければよい。
次に、第2の実施の形態の特徴量演算装置を説明する。第2の実施の形態の特徴量演算装置の構成は、図1に示した第1の実施の形態のそれと同じである。第1の実施の形態では、実数行列分解部105は、実数行列Qを式(1)によって二値の基底行列と実数の係数行列に分解したが、本実施の形態の特徴量演算装置100の実数行列分解部105は、実数行列を三値の基底行列と実数の係数行列に分解する。
上記の第2の実施の形態では、二値ベクトルp及び三値ベクトルmiを、それぞれ、p∈{−1,1}d、mi∈{−1,0,1}dと定義して、複数の実数ベクトルからなる実数行列を三値の基底行列と係数行列との積に分解することで内積演算pTmiが高速になることを説明した。しかしながら、p、miをより一般的な二値ベクトルp´∈{−a,a}d、三値ベクトルmi∈{−a,0,a}dとしても、それらの高速な内積演算が可能である。この場合、p´Tmi´=a2(pTmi)であることから、−1及び1により定義される二値ベクトル同士の内積にa2を掛ければよい。
次に、ベクトル演算部106における演算処理について説明する。上記の第1及び第2の実施の形態のベクトル演算部106は、二値化された特徴ベクトルpと複数の実数ベクトルqをまとめた実数行列Qとの積の計算を伴うものであるが、そのような演算処理は種々ある。すなわち、本発明の上記の実施の形態は、特徴ベクトルを用いて演算処理を行なう種々の装置に応用できる。
本応用では、本発明がHOG特徴量を用いてSVMにより複数種類の物体を認識する物体認識装置に応用される。図7は、物体認識装置の構成を示すブロック図である。物体認識装置10は、ピラミッド画像生成部11と、HOG特徴量抽出部12と、バイナリコード変換部13と、パラメータ決定部14と、パラメータ行列分解部15と、線形SVM識別部16と、ピーク検出部17とを備えている。
本実施の形態では、本発明がk−meansクラスタリングに応用される。図11は、k−meansクラスタリング装置の構成を示すブロック図である。k−meansクラスタリング装置20は、コンテンツ取得部21と、特徴ベクトル生成部22と、特徴ベクトル二値化部23と、代表行列更新部24と、収束判定部25と、代表行列分解部26と、最近接代表ベクトル探索部27とを備えている。
本実施の形態では、本発明がk−means treeによる近似最近傍探索に応用される。本実施の形態の近似最近傍探索装置は、k−meansを用いたk−分木による近似最近傍探索手法として、Marius Muja and David G. Lowe, "Fast Approximate Nearest Neighbors with Automatic Algorithm Configuration", in International Conference on Computer Vision Theory and Applications (VISAPP' 09), 2009(http://www.cs.ubc.ca/~mariusm/index.php/FLANN/FLANN、http://people .cs.ubc.ca/~mariusm/uploads/FLANN/flann_visapp09.pdf)に提案されている手法を採用する。
特徴量演算装置100において、コンテンツ取得部101、特徴ベクトル生成部102、特徴ベクトル二値化部103、実数行列取得部104、実数行列分解部105、及びベクトル演算部106の一部と他の部分とが別々の装置として構成されていてもよい。特に、コンテンツ取得部101、特徴ベクトル生成部102、特徴ベクトル二値化部103、及びベクトル演算部106が特徴演算装置100に搭載され、実数行列取得部104、及び実数行列分解部105が別の装置に搭載されてよい。この場合には、実数行列分解部105にて分解された複数の実数行列が特徴演算装置100のデータベース107に記憶され、ベクトル演算部106は、データベース107から分解された複数の実数行列を取得する。
101 コンテンツ取得部
102 特徴ベクトル生成部
103 特徴ベクトル二値化部
104 実数行列取得部
105 実数行列分解部
106 ベクトル演算部(積演算部)
10 物体認識装置
11 ピラミッド画像生成部
12 HOG特徴量抽出部
13 バイナリコード変換部
14 パラメータ決定部
15 パラメータ行列分解部
16 線形SVM識別部
17 ピーク検出部
20 k−meansクラスタリング装置
21 コンテンツ取得部
22 特徴ベクトル生成部
23 特徴ベクトル二値化部
24 代表行列更新部
25 収束判定部
26 代表行列分解部
27 最近接代表ベクトル算出部
Claims (20)
- 二値化された特徴ベクトルを取得する特徴ベクトル取得部と、
複数の実数ベクトルからなる実数行列を、係数行列と、要素として二値または三値の離散値のみを持つ複数の基底ベクトルからなる基底行列との積に分解する実数行列分解部と、
前記特徴ベクトルと前記複数の実数ベクトルの各々との内積の計算として、前記特徴ベクトルと前記基底行列との積を計算し、さらに当該積と前記係数行列との積を計算して、その結果を用いて、前記複数の実数ベクトルの各々と前記特徴ベクトルとの関連性を判定するベクトル演算部と、
を備えたことを特徴とする関連性判定装置。 - 前記複数の実数ベクトルを並べることで前記実数行列を生成する実数行列生成部をさらに備えたことを特徴とする請求項1に記載の関連性判定装置。
- 前記実数行列生成部は、前記複数の実数ベクトルが所定のパラメータを有する場合に、当該パラメータの順に従って前記複数の実数ベクトルを並べることにより前記実数行列を生成することを特徴とする請求項2に記載の関連性判定装置。
- 前記実数行列分解部は、前記基底行列の要素を固定して前記係数行列の要素を最小二乗法で最適化する第1の更新と、前記係数行列の要素を固定して前記基底行列の要素を全探索で最適化する第2の更新とを繰り返すことで、前記基底行列及び前記係数行列を求めることを特徴とする請求項4に記載の関連性判定装置。
- 前記実数行列分解部は、前記基底行列の要素を固定して前記係数行列の要素を近接勾配法で最適化する第1の更新と、前記係数行列の要素を固定して前記基底行列の要素を全探索で最適化する第2の更新とを繰り返すことで、前記基底行列及び前記係数行列を求めることを特徴とする請求項6に記載の関連性判定装置。
- 前記実数行列分解部は、前記基底行列の要素を固定して前記係数行列の要素を最小二乗法で最適化する第1の更新と、前記係数行列の要素を固定して組合最適化問題を解くことで前記基底行列の要素を最適化する第2の更新とを繰り返すことで、前記基底行列及び前記係数行列を求めることを特徴とする請求項8に記載の関連性判定装置。
- 前記実数行列分解部は、前記基底行列の要素を固定して前記係数行列の要素を近接勾配法で最適化する第1の更新と、前記係数行列の要素を固定して組合最適化問題を解くことで前記基底行列の要素を最適化する第2の更新とを繰り返すことで、前記基底行列及び前記係数行列を求めることを特徴とする請求項8に記載の関連性判定装置。
- 前記実数行列分解部は、前記基底行列及び前記係数行列の要素の初期値を変えて、複数とおりの前記基底行列及び前記係数行列を求め、前記コスト関数が最小となる前記基底行列及び前記係数行列を採用することで前記実数行列を分解することを特徴とする請求項4ないし12のいずれか一項に記載の関連性判定装置。
- 前記特徴ベクトルは、HOG特徴量であり、
前記複数の実数ベクトルは、複数の線形識別器のパラメータに対応する複数の重みベクトルであり、
前記ベクトル演算部は、前記関連性の判定として、前記複数の線形識別器の識別関数によって、前記複数の基準の各々に対する前記特徴ベクトルの識別を行なう
ことを特徴とする請求項1ないし13のいずれか一項に記載の関連性判定装置。 - 前記実数行列生成部は、前記特徴ベクトル及び前記複数の実数ベクトルが1又は複数のパラメータを有する場合に、当該パラメータの順に従って前記複数の実数ベクトルを並べることにより前記実数行列を生成し、
前記ベクトル演算部は、前記係数行列を構成する複数のベクトルであって前記複数の実数ベクトルが並べられた方向と同方向の複数のベクトルの各々を前記パラメータに関する連続関数で表現し、前記識別関数を最大にする前記パラメータを、前記特徴ベクトルのパラメータ値として求めることを特徴とする請求項14に記載の関連性判定装置。 - 前記特徴ベクトルは、k−meansクラスタリングによるクラスタリングの対象となるベクトルであり、
前記実数ベクトルは、k−meansクラスタリングにおける代表ベクトルであり、
前記ベクトル演算部は、前記関連性の判定として、前記特徴ベクトルと前記代表ベクトルとの間の距離の演算を含むクラスタリング処理を行なう
ことを特徴とする請求項1ないし13のいずれか一項に記載の関連性判定装置。 - 前記特徴ベクトルは、k−means treeによる近似最近傍探索の対象となるベクトルであり、
前記実数ベクトルは、k−分木のノードに登録されている代表ベクトルであり、
前記ベクトル演算部は、前記関連性の判定として、前記特徴ベクトルと前記代表ベクトルとの間の距離の演算を含むクラスタリング処理を行なう
ことを特徴とする請求項1ないし13のいずれか一項に記載の関連性判定装置。 - 前記特徴ベクトルは、画像の特徴量を表すベクトルであることを特徴とする請求項1ないし17のいずれか一項に記載の関連性判定装置。
- コンピュータを、請求項1ないし18のいずれか一項に記載の関連性判定装置として機能させるための関連性判定プログラム。
- 二値化された特徴ベクトルを取得する特徴ベクトル取得ステップと、
複数の実数ベクトルからなる実数行列を、係数行列と、要素として二値または三値の離散値のみを持つ複数の基底ベクトルからなる基底行列との積に分解する実数行列分解ステップと、
前記特徴ベクトルと前記複数の実数ベクトルの各々との内積の計算として、前記特徴ベクトルと前記基底行列との積を計算し、さらに当該積と前記係数行列との積を計算して、その結果を用いて、前記複数の実数ベクトルの各々と前記特徴ベクトルとの関連性を判定するベクトル演算ステップと、
を含むことを特徴とする関連性判定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014010648A JP6259671B2 (ja) | 2014-01-23 | 2014-01-23 | 関連性判定装置、関連性判定プログラム、及び関連性判定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014010648A JP6259671B2 (ja) | 2014-01-23 | 2014-01-23 | 関連性判定装置、関連性判定プログラム、及び関連性判定方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017139451A Division JP6375420B2 (ja) | 2017-07-18 | 2017-07-18 | 関連性判定装置、及び関連性判定プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015138462A true JP2015138462A (ja) | 2015-07-30 |
JP6259671B2 JP6259671B2 (ja) | 2018-01-10 |
Family
ID=53769394
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014010648A Active JP6259671B2 (ja) | 2014-01-23 | 2014-01-23 | 関連性判定装置、関連性判定プログラム、及び関連性判定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6259671B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017170877A1 (ja) * | 2016-03-30 | 2017-10-05 | 株式会社エクォス・リサーチ | 画像処理装置、半導体装置、画像認識装置、移動体装置、及び画像処理方法 |
JP2019079367A (ja) * | 2017-10-26 | 2019-05-23 | 株式会社デンソーアイティーラボラトリ | 行列分解装置及び行列分解方法 |
WO2019225274A1 (ja) * | 2018-05-25 | 2019-11-28 | 日本電信電話株式会社 | クラスタリング装置、クラスタリング方法、プログラム及びデータ構造 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7319413B2 (ja) | 2018-05-14 | 2023-08-01 | ホーチキ株式会社 | 火災報知設備 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012181566A (ja) * | 2011-02-28 | 2012-09-20 | Denso It Laboratory Inc | 特徴変換装置、それを含む類似情報探索装置、コード化パラメータ生成方法、及びコンピュータ・プログラム |
-
2014
- 2014-01-23 JP JP2014010648A patent/JP6259671B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012181566A (ja) * | 2011-02-28 | 2012-09-20 | Denso It Laboratory Inc | 特徴変換装置、それを含む類似情報探索装置、コード化パラメータ生成方法、及びコンピュータ・プログラム |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017170877A1 (ja) * | 2016-03-30 | 2017-10-05 | 株式会社エクォス・リサーチ | 画像処理装置、半導体装置、画像認識装置、移動体装置、及び画像処理方法 |
JP2017182438A (ja) * | 2016-03-30 | 2017-10-05 | 株式会社エクォス・リサーチ | 画像処理装置、半導体装置、画像認識装置、移動体装置、及び画像処理方法 |
CN108292367A (zh) * | 2016-03-30 | 2018-07-17 | 株式会社爱考斯研究 | 图像处理装置、半导体装置、图像识别装置、移动体装置以及图像处理方法 |
US11017262B2 (en) | 2016-03-30 | 2021-05-25 | Equos Research Co., Ltd. | Method and device to determine image features using multi-resolution gradient analysis |
CN108292367B (zh) * | 2016-03-30 | 2022-08-02 | 株式会社爱信 | 图像处理装置、半导体装置、图像识别装置、移动体装置以及图像处理方法 |
JP2019079367A (ja) * | 2017-10-26 | 2019-05-23 | 株式会社デンソーアイティーラボラトリ | 行列分解装置及び行列分解方法 |
WO2019225274A1 (ja) * | 2018-05-25 | 2019-11-28 | 日本電信電話株式会社 | クラスタリング装置、クラスタリング方法、プログラム及びデータ構造 |
JP2019204436A (ja) * | 2018-05-25 | 2019-11-28 | 日本電信電話株式会社 | クラスタリング装置、クラスタリング方法、プログラム及びデータ構造 |
JP7070093B2 (ja) | 2018-05-25 | 2022-05-18 | 日本電信電話株式会社 | クラスタリング装置、クラスタリング方法及びプログラム |
US11971906B2 (en) * | 2018-05-25 | 2024-04-30 | Nippon Telegraph And Telephone Corporation | Clustering apparatus, clustering method, program and data structure |
Also Published As
Publication number | Publication date |
---|---|
JP6259671B2 (ja) | 2018-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6566397B2 (ja) | 認識装置、実数行列分解方法、認識方法 | |
Yao et al. | Deep semantic-preserving and ranking-based hashing for image retrieval. | |
JP6055391B2 (ja) | 関連性判定装置、関連性判定プログラム、及び関連性判定方法 | |
JP7360497B2 (ja) | クロスモーダルな特徴の抽出方法、抽出装置、ならびに、プログラム | |
Tu et al. | MLS3RDUH: Deep Unsupervised Hashing via Manifold based Local Semantic Similarity Structure Reconstructing. | |
Gao et al. | Sparse online learning of image similarity | |
Zhu et al. | Exploring consistent preferences: discrete hashing with pair-exemplar for scalable landmark search | |
JP6235414B2 (ja) | 特徴量演算装置、特徴量演算方法、及び特徴量演算プログラム | |
JP6259671B2 (ja) | 関連性判定装置、関連性判定プログラム、及び関連性判定方法 | |
CN111080551B (zh) | 基于深度卷积特征和语义近邻的多标签图像补全方法 | |
JP6004015B2 (ja) | 学習方法、情報処理装置および学習プログラム | |
Patro et al. | Dictionary-based classifiers for exploiting feature sequence information and their application to hyperspectral remotely sensed data | |
Jayady et al. | Theme Identification using Machine Learning Techniques | |
JP6375420B2 (ja) | 関連性判定装置、及び関連性判定プログラム | |
EP4285281A1 (en) | Annotation-efficient image anomaly detection | |
Salman et al. | Gene expression analysis via spatial clustering and evaluation indexing | |
Menon et al. | Document classification with hierarchically structured dictionaries | |
CN111488400A (zh) | 数据分类方法、装置和计算机可读存储介质 | |
Xia et al. | Graph based family relationship recognition from a single image | |
CN112307248B (zh) | 一种图像检索方法及装置 | |
CN112149566A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
Waykar et al. | Multimodal features and probability extended nearest neighbor classification for content-based lecture video retrieval | |
Li et al. | Deep multi-index hashing for person re-identification | |
Rangan et al. | Kannada document classification using unicode term encoding over vector space | |
Ratkovic | Deep learning model for base calling of minion nanopore reads |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20151113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160513 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170724 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171211 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6259671 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |