JP2018142323A - 超深層競合学習のニューラルネットワークモデルの構築方法、その装置、及びそのモデルが搭載された汎用モバイル端末装置、及びそのプログラム - Google Patents
超深層競合学習のニューラルネットワークモデルの構築方法、その装置、及びそのモデルが搭載された汎用モバイル端末装置、及びそのプログラム Download PDFInfo
- Publication number
- JP2018142323A JP2018142323A JP2018047265A JP2018047265A JP2018142323A JP 2018142323 A JP2018142323 A JP 2018142323A JP 2018047265 A JP2018047265 A JP 2018047265A JP 2018047265 A JP2018047265 A JP 2018047265A JP 2018142323 A JP2018142323 A JP 2018142323A
- Authority
- JP
- Japan
- Prior art keywords
- probability
- scale
- distance
- space
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000002860 competitive effect Effects 0.000 title claims abstract description 57
- 238000003062 neural network model Methods 0.000 title claims description 19
- 238000013528 artificial neural network Methods 0.000 claims abstract description 20
- 238000009826 distribution Methods 0.000 claims description 193
- 238000012545 processing Methods 0.000 claims description 52
- 239000013598 vector Substances 0.000 claims description 39
- 238000012417 linear regression Methods 0.000 claims description 17
- 210000005036 nerve Anatomy 0.000 claims description 17
- 238000005259 measurement Methods 0.000 claims description 5
- 238000000611 regression analysis Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 2
- 238000010801 machine learning Methods 0.000 abstract description 33
- 230000006870 function Effects 0.000 abstract description 30
- 238000013473 artificial intelligence Methods 0.000 abstract description 11
- 230000000694 effects Effects 0.000 abstract description 7
- 238000013136 deep learning model Methods 0.000 abstract description 4
- 230000010354 integration Effects 0.000 abstract description 3
- 210000004556 brain Anatomy 0.000 description 18
- 238000004458 analytical method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 10
- 238000013507 mapping Methods 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000001537 neural effect Effects 0.000 description 8
- 230000008520 organization Effects 0.000 description 6
- 238000003909 pattern recognition Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000013145 classification model Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000009472 formulation Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000009412 basement excavation Methods 0.000 description 2
- 230000003925 brain function Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000011423 initialization method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 235000010724 Wisteria floribunda Nutrition 0.000 description 1
- 238000013398 bayesian method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2137—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Automation & Control Theory (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Computational Mathematics (AREA)
- Fuzzy Systems (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
Description
従来のニューラルネットワークモデルの重み値W、及びしき値Tの定義方法は従来の数学しか使っていないため、結果的に脳のトリガー信号の原理とまったく異なっている。人間の脳の神経は従来のニューラルネットワークモデルとまったく別のメカニズムを判明した。
このような方法を用いて、本当に処理の能力が深くなることができるか、疑問がある。隠れ層の数と処理の能力との間の関係があることを理論的に証明できない。
以上の原因により、その結果は計算の複雑度がもっと高くなるしか見えない。
以上述べたように、深層学習モデルとしては、工業的に広く応用することは期待できない。
また、この手法は、データマークの位置、或は方向を表すためのアンカマークは情報記述ができるデータマークより大きい、または異なる形を用いているが、情報を埋込む結果は、秘匿な形になることが困難である。
以下、本出願で、関連専門用語を定義する、以下のような定義の内容が発明の範囲に属する。
ソ連の数学者Andrey Kolmogorovの「確率理論は測定理論を基礎とすることである」理論に基づいて、いわゆる確率空間とは、可測空間(S,M)に確率測度μ(S)=1を入れた測度空間(S,M,μ)と言う。
確率変数の各々の値に対して、その起こりやすさを記述するものである。
確率空間における任意の確率分布において、1つの確率尺度が存在しなければならず、確率分布の程度を計れる尺度である。
確率密度(Probability Density):
与えられた領域における確率分布関数の積分値
確率空間を含むユークリッド空間Sにおいて、μA(x)をメンバーシップ関数とし、P(x)が可加法性のような確率測度の性質を満たす場合、また、μA(x)も可加法性のようなファジー測度を満たす場合、ファジィ事象確率測度の集合Aの測度P(A)は、
確定的なアルゴリズムに基づいて、システムを構築することである。また、1つのアルゴリズムに基づいて、ある目的関数を達成することであり、その処理の結果は確定的なシステムである。
人工知能とは単にコンピュータを使用することにより、人間の脳の機能を達成することである。つまり、コンピュータを介し、人間の頭脳処理の効果を達成しようことである。即ち不確実な問題を解決すること、或は事前に予測不可能な問題を解決する複雑系の問題とする。
事前に与えた範囲内に対し、ユークリッドの空間尺度に基づいて、データ集合を非自律的に求めること。
確率空間の尺度に基づいて、データを自律に高確率の方向に転移することができ、または公式化のモデルに基づいて、繰り返し処理を行うことにより、公式化のモデルより超えた結果を得られるアルゴリズムである。
コンピュータが事前のデータから、自律的に規則を獲得できるモデル。
Gを確率空間内の確率分布の集合とし、gfを集合に属するデータとすると:
従来の統計的予測の結果を超えること、母体に最も近づいた予測の確率値である。
ユークリッド空間に含まれた確率空間で、vj∈V(j=1,2,…,n)を確率分布の要素とし、確率分布の最大確率尺度をMjとし、rj∈Rをユークリッド空間にある集合Rの要素とすると、ユークリッド空間の集合Rから確率空間の集合Vまでの距離G(R,V)は、以下のように定義することができる。
感知層と、神経層と、及び脳皮層からなる新しいニューラルネットワークモデルが構成されたことである。入力情報と感知層、感知層と神経層、および神経層の脳皮層の間での接点が、確率尺度に基づいた自己組織という教師なし機械学習によって接続されている、確率情報が伝達されることである。また、脳の機能を模擬することが可能である。
前記課題を解決するために、請求1に係れる発明は、超深層競合学習のニューラルネットワークモデルの構築方法であって、少なくとも次のような1つの特徴を備えている:
異なる空間が統一された距離、或は異なる空間が統一された距離に基づいたファジィ事象確率測度を導入すること、或はニューラルネットワーク間で確率情報を伝達すること、或は複数の超深層競合学習を有する新たなニューラルネットワークモデルを構成すること、或は神経層と脳皮層間で最大確率の信頼度を獲得すること。
(1)確率空間はユークリッド空間の中に含まれている、或は
(2)その距離は、異なる空間が統一されたことであり、或は
(3)確率空間距離の尺度においての対称性、或は三角不等式を満たすことが可能であり、或は
(4)距離の大きさは、確率空間の確率分布の値に関係される。
(1)認識結果は、ユークリッド空間と確率空間とが統一された距離、或はユークリッド空間と確率空間とが統一されたファジィ事象確率測度、或は特徴要素の最大確率信頼度を含む少なくとも1つの尺度に基づいて決定すること、或は
(2)複数のデータ間での超深層競合学習によって得られた認識結果であり、或は
(3)感知層と認識の対象との間で、認識の対象の位置ずれに対し、接続された複数の確率尺度に基づいた自己組織により自動的に追跡することができる。
(1)ファジィ事象確率測度の値は、2種類以上の異なる空間が統一された距離と関係している、或は
(2)微小の曖昧なファジィ情報と微小の不安定な確率情報から、積分することにより、マクロレベルで安定な情報を獲得したことである、或は
(3)ファジィ事象確率測度の値は、その起点、或は終点が、確率分布の範囲にある場合に、その位置の確率分布値に関係している。
(1)求められた処理領域のすべてデータが、線形回帰から得られた直線との距離に対し、確率尺度に基づいた自己組織処理を行うこと、或は
(2)上記の処理結果に基づいて、回帰の直線の両側の最大確率尺度により新たな処理領域を生成すること、或は
(3)処理領域内の実際なデータの密度、或は最大確率尺度に基づいて新しい処理領域が拡大するか、縮小するかを決めることである。
(1)確率尺度に基づいた自己組織により印刷画像の異なる色の特徴ベクトルの集合の確率分布を獲得する、或は
(2)確率尺度に基づいた自己組織により、認識の対象になるラベルの印刷画像と登録の特徴ベクトル集合のデータの間の関係に対し、異なる空間が統一された距離、或はファジィ事象確率測度、或は最大確率信頼度を含む少なくても1つの尺度を求める、或は
(3)携帯電話から異なる色空間を識別するラベルの印刷画像の特徴ベクトルの集合から、確率尺度に基づいた自己組織を行うことにより、携帯電話により消費者が偽造商品を識別する必要な偽造防止検証コードを生成することである。
異なる空間が統一された距離モジュール、或はファジィ事象確率測度のモジュール、或はニューラルネットワーク間で確率情報を伝送するモジュール、或は複数の多確率尺度に基づいた自己組織学習モジュールを備えた超深層競合学習装置である。
図1では、複数の確率空間を含むユークリッド空間に対し、各々確率空間において確率分布の値により、確率分布の目盛り値を求めることができる。ここで、確率分布の中心値を(102)とし、一番目の目盛り値を(103)とし、この間の領域を(106)とする。次は二番目の目盛り値を(104)とし、この間の領域を(107)とする。さらに三番目の目盛り値を(105)とし、この間の領域を(108)とすると、複数の領域における確率分布の目盛り値を多確率尺度と呼ばれる。
また、非確率空間として、多確率尺度を、ユークリッド空間の距離(Euclidean Distance)の尺度、マンハッタン距離(Manhattan Distance)の尺度、パフヌティ−チェビシェフ距離(Chebyshev Distance)の尺度、ミンコフスキー距離(Minkowski Distance)の尺度、マルピーギ距離(Mahalanobis Distance)の尺度、コサイン(Cosine)の尺度、W距離(Wasserstein Distance)の尺度、KL距離(Kullback−Leibler Distance)の尺度、PEの距離(Pearson Distance)尺度を含む、少なくとも一種類の尺度からなることとしてもいい。
ここで、図2に示すように、自己組織の機械学習処理の流れは次のようになる、ここで、目的関数に対して確率分布の目盛りの位置、該当領域の最大確率分布値を求めることである。
ここで、初期の確率尺度をM(0)、及び初期中心値を(x0,y0)(0)とする、ここで、初期中心値を初期特徴値と称する。
多確率尺度に基づいた自己組織は、2つの処理方法がある。第1の方法は、確率分布の外から真ん中へ、多確率尺度に基づいた自己組織を行う、第2の方法は、逆に確率分布の真ん中から外へ、多確率尺度に基づいた自己組織を行う。
この場合に初期化の多確率尺度M(0)’を該当確率分布に対し一番大きい目盛りとする、そのために、確率尺度をM(0)’>M(0)とする、一般的に3倍くらいになる。
ここで、M(0)’=M(0)とし、また、M(0)値に対して、厳密な設定を行う必要がない、人工的に予測してもよい。また、最大確率尺度M(0)を半径値として、初期確率尺度M(0)と中心値(x0,y0)(0)により円形領域、或は矩形領域を自己組織の領域とする。最大確率尺度M(0)ができればすくなくとも、学習した最終結果M(n)の一部分を含んだ方がいい、初期化確率尺度のM(0)’は大きすぎなると、計算の時間が長くなるが、逆に小さすぎになると、正確な結果が得られない可能性がある。
ここで、dm (n)(xi,yj)∈D(x,y),n=n+1,MN=MN−1。すなわちこのステップで、目的関数データdm (n)(xi,yj)に対し、それぞれ、1つずつの新しい目的関数を生成したことにより、少しずつ、最大確率方向へ近付けることが可能である。
満たすとすれば、多確率尺度のm番目の確率尺度に基づいた自己組織が終了する、この場合にS4ステップへ、もしそうではなければ、S2ステップへ移行する。続けて多確率尺度に基づいた自己組織の処理を行う。
次に、第2の確率尺度に基づいた自己組織方法に対し、多確率尺度は最小目盛から始める場合に、多確率尺度を正規分布からなることとし、以降の確率尺度の目盛りは一番目の最大確率尺度目盛値を同じとすると、多確率尺度に基づいた自己組織の処理の必要はない。一番目の最大確率尺度の間隔を他の目盛りの間隔と同様とする。また、確率分布表から推算することも可能である。この場合に、確率尺度に基づいた自己組織の処理方法とする、m=0、また次の多確率尺度に基づいた自己組織が終了判断ステップS5へ続ける。
戻すステップS6:最終的に終了し、メインプログラムへ戻す。
図3ユークリッド空間と確率空間が統一された距離の定義を示す図である。
図3に示すように(301)を確率空間に含むユークリッド空間とし、(302)を確率空間での確率分布の中心点wj∈Wとし、(303)を確率空間での確率分布の多確率尺度の一番目の目盛M1とし、(304)を確率空間での確率分布の多確率尺度の二番目の目盛M2とし、(305)を確率空間での確率分布の多確率尺度の三番目の目盛M3とし、(309)をユークリッド空間での点vj∈Vとする。集合Vから確率空間に属する集合Wまでの距離を求める。
そこで、確率空間に属する集合Wにおける一点(302)をwj∈Wとし、集合Vにおける一点(309)をvj∈Vとする。また、(j=1,2,…,n)を特徴値のカウンター値とする場合に、特徴値のカウンター値jに対し、(302)と(303)の間隔をD1j (wj)=M2j−M1jとし、この領域にある確率分布値をp1j (wj)とする。(303)と(304)の間隔をD2j (wj)=M3j−M2jとし、この領域にある確率分布値をp2j (wj)とする。(304)と(305)の間隔をD3j (wj)=M4j−M3jとし、この領域にある確率分布値をp3j (wj)とする。図3に示すように、VからWまでwjに属する確率分布の三つの目盛の領域に対し、目盛りの数がmj (wj)=3となる。(309)から(302)までの間でユークリッド空間と確率空間が統一された距離G(V,W)は次のように定義することが可能である。
超深層競合学習において、図4に示すように:(4100)と(4200)を確率尺度に基づいた自己組織の処理により最大確率になった2つの特徴ベクトルデータfv1j∈FV1とfv2j∈FV2とし、(4000)を認識対象の特徴ベクトルSVに属する特徴要素svj∈SV(i=1、2、…e)とする。また、(4001)をsv1とし、(4002)をsv2とし、(4003)をsv3とし、…、(400e)をsveとする。
ここで、F>1になると、識別対象になる特徴ベクトルSVは特徴ベクトルデータFV2に属する、逆にF<1になると、識別対象になる特徴ベクトルSVは特徴ベクトルデータFV1に属する。
図5に示したように:(501)を、確率空間が含まれたユークリッド空間とする。また、ユークリッド空間(501)の中には、2つの確率空間の確率分布(520)と(530)がある。さらに、(502)を確率分布(520)の中心値とする。(503)を確率分布(520)の一番目の目盛とし、(504)を確率分布(520)の二番目の目盛とし、(505)を確率分布(520)の三番目の目盛とする。次に、(506)を確率分布(520)の一番目の目盛領域とし、この領域の確率分布値をp1j (520)とする。また、(507)を確率分布(520)の二番目の目盛領域とし、この領域の確率分布値をp2j (520)とする。さらに、(508)を確率分布(520)の三番目の目盛領域とし、この領域の確率分布値をp3j (520)とする。
数6により、確率空間(530)に属する集合Vと確率空間(520)に属する集合Wとの間で、ユークリッド空間と確率空間が統一された厳密な距離の表現公式は次のようになる。
また、
ここで、rjから確率分布の中心wjまでの距離の定式と、rjから確率分布の中心vjまでの距離の定式を加えて、確率分布(530)の中心vjから確率分布(520)の中心wjまでの距離の定式になることを考えていると、二つの確率分布の値に関係するべきである。そのため、(Δj (vj)+Δj (wj))を、確率空間の中で、ユークリッド距離と、確率空間の距離と間での誤差とする。さらに、(Δj (vj)+Δj (wj))を、修正値として修正すれば、ユークリッド空間距離と確率空間が統一された厳密な距離を正確的に得ることが可能になる。上記の数5−8の距離の定義は従来の距離尺度条件の対称性と三角不等式を満たさない。これに比べると、数12は距離の対称性と三角不等式を含め、すべての距離の尺度条件が満たされた、ユークリッド空間と確率空間が統一された距離に対して最も大きな問題を解決した。
上述数8と同様に、rj∈Rと確率分布(530)中心値vj∈Vとの間のファジィ事象確率測度を考える時に、もしrj∈Rが(530)の確率分布の領域にある場合に、その領域の確率分布値をpfj (vj)とする。また、wj∈Wが偶然に(530)確率分布の領域にある場合に、その領域の確率分布値をphj (vj)とする。上記の確率空間の距離の対称性により、もしvj∈Vも偶然に(520)確率分布の領域にある場合に、その領域の確率分布値をphj (wj)とする。(二つの確率分布がほぼ重なった特殊場合とする)。
また、
また、
ここで、数12により、数13と数14に対し、対称性及び三角不等式を含むすべての距離の尺度条件が満すことにより、この距離に基づいたファジィ事象確率測度も対称性及び三角不等式などすべての尺度条件を満たすことが可能になった。
図6に示すように、図5を参考し、超深層競合学習は、次のような8ステップにより、実現することが可能である。
S1の初期化ステップでは、確率尺度に基づいた自己組織の初期化の内容は図2のS1の初期化ステップと同様である。まず、確率尺度の目盛りの数をmj (wj)及びmj (vj)とする。例えばmj (wj)=mj (vj)=3、また、データの登録空間を設定し、その他必要な初期化処理内容を設定する。
また、
る、逆の場合に別の確率分布(530)に属する。
超深層競合学習の効果は、ユークリッド空間と確率空間が統一された厳密な距離に基づいてファジィ事象確率測度を導入し、wj∈W、vj∈V及びrj∈Rのデータ間で、微小の曖昧な情報と微小の不安定な確率情報を利用して、マイクロレベルで、互いに競合させる、積分計算により、マクロレベル上で最適化されたデータ間での類似関係情報を得ることが可能になった。
S8戻るステップでは、メインプログラムに戻るステップに移行する。
画像認識を例として超深層競合学習の構成について述べる。図7に示しているように、(801)が感知の対象画像の空間写像を示している。超深層競合学習は画像の情報の抽出を重視している。画像認識の精度を極力に高めるため、認識を対象とする元画像に対して、様々な画像の空間写像を行う。例えば画像の週波数空間写像、画像の色空間写像、画像のパワー空間写像、画像のエッジの空間写像などがある。(802)と(803)はそれぞれ2種類の画像の空間写像を例として示されている。
(804)を画像(801)の局所領域とする、ここで、携帯電話向け画像識別の場合に、360度の任意の角度で、正確に識別ができるために、リンク状画像の分割の方法を導入している。このリンク状の領域のサイズを決定する方法について、大きければ大きいほど、計算速度が速くなる、しかし、認識精度に影響がある、逆に、領域が小さければ小さいほど、認識精度が高くなるが、計算速度は比較的に遅い。各領域の画素数や面積が実際のアプリケーションに応じてうまくバランスを取るべきである。
(806)を、新しいニューラルネットワークの感知層とする。
上記の数12及び数16を用いて、ユークリッド空間と確率空間が統一された厳密な距離尺度、及びファジィ事象確率測度に基づいて、識別対象のサンプルデータは登録された確率分布情報を持つ複数の特徴ベクトルデータ間で、超深層競合学習を行った結果を求める。この処理の効果は、最大限度に曖昧な情報と確率情報とも最適化に利用することが可能になった、パターン認識として異なる価値のベクトルの要素に対して最適化の重み付けの効果がある。
図8に示すように、印刷画像色をCMYKによる構成された色空間とし、電子画像色を、RGBによる構成された色空間とする、電子画像と印刷画像との二つの色空間はほとんど重なっているが、相互に重なっていない部分もある、このような特性を利用して、携帯電話で贋商品を認識する仕組みを作ることが可能である。
ただし、いくつかの修正方法により、スキャンで複写した印刷画像は、元の印刷画像に近いようにすることができる。特に肉眼、および従来の光学識別器などにより、原始画像をはっきり区別するのは困難である。どれが複写した画像なのかを判断しにくい、これは現在の全社会で解決できない難しい商品の偽造防止問題である。
図9に示すように、超深層線形回帰分析学習の処理流れは、次のような6ステップになる:
初期化ステップS1:まず、超深層線形回帰分析学習の対象データを、i番目の処理領域a(i)にあるデータ集合RD(i)に属する各々データ(xj (i),yj (i))∈RD(i)(j=1,2,…,q;i=1,2,…,Nmax−1)とし、i番目の処理領域a(i)におけるデータ密度をDns (i)とする。ここで、iを超深層線形回帰分析学習の回数のカウンター値とし、Nmaxを超深層線形回帰分析学習最大の回数とする。初期値は(xj (0),yj (0))∈RD(0)、Dns (0)、及び処理効果判断値Veff、初期処理領域a(0)である。
新しい領域の生成ステップS4、上記ステップにより、確率尺度に基づいた自己組織の処理を行った最大確率値M(i)に基づいて、i回の線形回帰分析を行った回帰斜線を中心線として、両側に最大確率値以内のデータを保留し、最大確率値以外のデータを除去すると、新しい領域a(i+1)にある新しい超深層線形回帰分析学習の対象データ集合RD(i+1)が生成される。
ここで、i番目の処理領域a(i)におけるデータ密度をDns (i)とは、該当処理領域にあるデータの密度であり、例は、20*30画素の領域における300個画素の画像がある、データ密度
+1)−M(i)とすると,処理領域の増加する量、或は減少する量θの値は、黄金分割探索方法により決定すれば、最小繰り返し回数として超深層線形回帰分析学習の処理を行うことが可能である。
また、
102 確率分布の中心値
103 一番目の目盛り値
104 二番目の目盛り値
105 三番目の目盛り値
106 一番目の目盛り値103の領域
107 二番目の目盛り値103と104の間の領域
108 三番目の目盛り値104と105の間の領域
302 確率空間における確率分布の中心点wj
303 確率空間における確率分布の多確率尺度の一番目の目盛M1
304 確率空間における確率分布の多確率尺度の二番目の目盛M2
305 確率空間における確率分布の多確率尺度の三番目の目盛M3
309 ユークリッド空間にある要素vj
310 ユークリッド空間にある要素vj∈Vから確率分布の中心値wj∈Wまでの間で任意の要素rj∈R(j=1,2,…,n)
4000 識別対象ベクトル
4001 識別画像の特徴sv1要素
4002 識別画像の特徴sv2要素
4003 識別画像の特徴sv3要素
400e 識別画像の特徴sve要素
4100 多確率尺度に基づいた自己組織化した特徴ベクトルデータFV1
4200 多確率尺度に基づいた自己組織化した特徴ベクトルデータFV2
4110 fv11の中心値
4111 特徴ベクトル集合FV1に属する要素fv11の一番目の目盛
4112 fv11の二番目の目盛
4113 fv11の三番目の目盛
4120 fv12の中心値
4121 fv12の一番目の目盛
4122 fv12の二番目の目盛
4123 fv12の三番目の目盛
4130 fv13の中心値
4231 fv13の一番目の目盛
4232 fv13の二番目の目盛
4233 fv13の三番目の目盛
41e0 fv1eの中心値
41e1 fv1eの一番目の目盛
41e2 fv1eの二番目の目盛
41e3 fv1eの三番目の目盛
4210 fv21の中心値
4211 特徴ベクトル集合FV2に属するfv21の一番目の目盛
4212 fv21の二番目の目盛
4213 fvの三番目の目盛
4220 fv22の中心値
4221 fv22の一番目の目盛
4222 fv22の二番目の目盛
4223 fv22の三番目の目盛
4230 fv23の中心値
4231 fv23の一番目の目盛
4232 fv23の二番目の目盛
4233 fv23の三番目の目盛
42e0 fv2eの中心値
42e1 fv2eの一番目の目盛
42e2 fv2eの二番目の目盛
42e3 fv2eの三番目の目盛
500 502と510の2つの確率分布の中心が接続された直線上にある要素rj∈R(j=1,2,…,n)
501 確率空間を含むユークリッド空間
502 確率分布520の中心値
503 確率分布520の一番目の目盛
504 確率分布520の二番目の目盛
505 確率分布520の三番目の目盛
506 確率分布520の一番目の目盛領域にある確率分布値をp1j
507 確率分布520の一番目の目盛領域にある確率分布値をp2j
508 確率分布520の一番目の目盛領域にある確率分布値をp3j
510 確率分布530の中心値
511 確率分布530の一番目の目盛
512 確率分布530の二番目の目盛り
513 確率分布530の三番目の目盛
514 確率分布530の一番目の目盛領域にある確率分布値p1j
515 確率分布530の二番目の目盛領域にある確率分布値をp2j
516 確率分布530の三番目の目盛領域にある確率分布値をp3j
501 520と530確率空間を含むユークリッド空間
500 502と510との2つの確率分布の中心が接続された直線上にある要素rj∈R(j=1,2,…,n)
801 感知対象になった画像の空間写像
802と803 それぞれ2種類の画像の空間写像
804 画像801の局所領域
805 感知対象と感知層との間に接続された多確率尺度に基づいた自己組織という機械学習ユニット
806 新しいニューラルネットワークの感知層
807 新しいニューラルの感知層の接点
808 感知層と神経層の間で接続された超深層競合学習能力を持つ確率尺度に基づいた自己組織の機械学習ユニット
809 データベース
810 新しいニューラルの神経層
811 感知層の各々接点に対応した新しいニューラルネットワークの神経層の接点
812 脳皮層と神経層との間では接続された確率尺度に基づいた自己組織という機械学習ユニット
813 脳皮層神経層との間のデータベース
814 新しいニューラルの脳皮層
815 脳皮層接点
1101 元画像の色
1102 スキャンした後の画像の色
Claims (9)
- 超深層競合学習のニューラルネットワークモデルの構築方法であって、少なくとも次のような1つの特徴を備えている:
異なる空間が統一された距離、或は異なる空間が統一された距離に基づいたファジィ事象確率測度を導入すること、或はニューラルネットワーク間で確率情報を伝達すること、或は複数の超深層競合学習を有する新たなニューラルネットワークモデルを構成すること、或は神経層と脳皮層間で最大確率の信頼度を獲得すること。 - 異なる空間が統一された距離の獲得方法であって、少なくとも次のような1つの特徴を備えている:
(1)確率空間はユークリッド空間の中に含まれている、或は
(2)その距離は、異なる空間が統一されたことであり、或は
(3)確率空間距離の尺度においての対称性、或は三角不等式を満たすことが可能であり、或は
(4)距離の大きさは、確率空間の確率分布の値に関係される。 - オンライン画像認識における超深度競合学習の方法であって、少なくとも次のような1つの特徴を備えている:
(1)認識結果は、ユークリッド空間と確率空間とが統一された距離、或はユークリッド空間と確率空間とが統一されたファジィ事象確率測度、或は特徴要素の最大確率信頼度を含む少なくとも1つの尺度に基づいて決定すること、或は
(2)複数のデータ間での超深層競合学習によって得られた認識結果であり、或は
(3)感知層と認識の対象との間で、認識の対象の位置ずれに対し、接続された複数の確率尺度に基づいた自己組織により自動的に追跡することができる。 - 異なる空間が統一されたファジィ事象確率測度の値を求める方法であって、少なくとも次のような1つの特徴を備えている:
(1)ファジィ事象確率測度の値は、2種類以上の異なる空間が統一された距離と関係している、或は
(2)微小の曖昧なファジィ情報と微小の不安定な確率情報から、積分することにより、マクロレベルで安定な情報を獲得したことである、或は
(3)ファジィ事象確率測度の値は、その起点、或は終点が、確率分布の範囲にある場合に、その位置の確率分布値に関係している。 - 超深層回帰分析学習方法であって、少なくとも次のような1つの特徴を備えている:
(1)求められた処理領域のすべてデータが、線形回帰から得られた直線との距離に対し、確率尺度に基づいた自己組織処理を行うこと、或は
(2)上記の処理結果に基づいて、回帰の直線の両側の最大確率尺度により新たな処理領域を生成すること、或は
(3)処理領域内の実際なデータの密度、或は最大確率尺度に基づいて新しい処理領域が拡大するか、縮小するかを決めることである。 - 携帯電話により消費者が偽造商品を識別する方法であって、少なくとも次のような1つの特徴を備えている:
(1) 確率尺度に基づいた自己組織により印刷画像の異なる色の特徴ベクトルの集合の確率分布を獲得する、或は
(2) 確率尺度に基づいた自己組織により、認識の対象になるラベルの印刷画像と登録の特徴ベクトル集合のデータの間の関係に対し、異なる空間が統一された距離、或はファジィ事象確率測度、或は最大確率信頼度を含む少なくても1つの尺度を求める、或は
(3) 携帯電話から異なる色空間を識別するラベルの印刷画像の特徴ベクトルの集合から、確率尺度に基づいた自己組織を行うことにより、携帯電話により消費者が偽造商品を識別する必要な偽造防止検証コードを生成することである。 - 超深層競合学習のニューラルネットワークモデルの装置であって、少なくとも次のような1つの特徴を備えている:
異なる空間が統一された距離モジュール、或はファジィ事象確率測度のモジュール、或はニューラルネットワーク間で確率情報を伝送するモジュール、或は複数の多確率尺度に基づいた自己組織学習モジュールを備えた超深層競合学習装置である。 - 上述の超深層競合学習のニューラルネットワークモデルが構成されたプログラムである。
- 上述の超深層競合学習のニューラルネットワークモデルのプログラムが搭載された汎用モバイル端末装置である。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710123105.XA CN108510057A (zh) | 2017-02-27 | 2017-02-27 | 一种超深度对抗学习的神经网络模型的构成方法 |
CN201710123105.X | 2017-02-27 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018142323A true JP2018142323A (ja) | 2018-09-13 |
JP7057580B2 JP7057580B2 (ja) | 2022-04-20 |
Family
ID=63245768
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018047265A Active JP7057580B2 (ja) | 2017-02-27 | 2018-02-27 | 新しい機械学習のモデルの構築方法、その装置、及びそのモデルが搭載された汎用モバイル端末装置、及びそのプログラム |
Country Status (3)
Country | Link |
---|---|
US (2) | US10789508B2 (ja) |
JP (1) | JP7057580B2 (ja) |
CN (1) | CN108510057A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019079536A (ja) * | 2017-10-23 | 2019-05-23 | 大国創新智能科技(東莞)有限公司 | 連合クラスタリング深層学習ニューラルネットワークに基づくデータ識別方法 |
CN110175998A (zh) * | 2019-05-30 | 2019-08-27 | 沈闯 | 基于多尺度深度学习的乳腺癌图像识别方法、装置及介质 |
JP2020061155A (ja) * | 2018-10-11 | 2020-04-16 | 澤蒼 顧 | Sdlモデルの導入した画像の抽出方法 |
JP2020059497A (ja) * | 2018-10-11 | 2020-04-16 | 澤蒼 顧 | 「機知獲得」モデルを導入した自動運転の制御方法、装置及びそれによって構成されるプログラム |
JP2020061156A (ja) * | 2018-10-11 | 2020-04-16 | 澤蒼 顧 | 自動運転「機械意識」モデルの構成方法、その装置、又はプログラム |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11068748B2 (en) | 2019-07-17 | 2021-07-20 | Harris Geospatial Solutions, Inc. | Image processing system including training model based upon iteratively biased loss function and related methods |
US10984507B2 (en) | 2019-07-17 | 2021-04-20 | Harris Geospatial Solutions, Inc. | Image processing system including training model based upon iterative blurring of geospatial images and related methods |
US11417087B2 (en) | 2019-07-17 | 2022-08-16 | Harris Geospatial Solutions, Inc. | Image processing system including iteratively biased training model probability distribution function and related methods |
US11669729B2 (en) | 2019-09-27 | 2023-06-06 | Canon Medical Systems Corporation | Model training method and apparatus |
CN110889496B (zh) * | 2019-12-11 | 2023-06-06 | 北京工业大学 | 一种基于对抗生成网络的人脑效应连接识别方法 |
CN111458471B (zh) * | 2019-12-19 | 2023-04-07 | 中国科学院合肥物质科学研究院 | 一种基于图神经网络的水域检测预警方法 |
CN111460426B (zh) * | 2020-04-02 | 2023-06-20 | 武汉大学 | 基于对抗演化框架的抗深度学习文本验证码生成系统及方法 |
CN111767907B (zh) * | 2020-09-03 | 2020-12-15 | 江苏铨铨信息科技有限公司 | 一种基于ga与vgg网络的多源数据火灾检测系统的方法 |
US20220172073A1 (en) * | 2020-11-26 | 2022-06-02 | Zecang Gu | Simulated deep learning method based on sdl model |
CN113934766B (zh) * | 2021-10-11 | 2023-04-14 | 网易有道信息技术(江苏)有限公司 | 围棋定式对弈方法、装置、电子设备及存储介质 |
CN114818839B (zh) * | 2022-07-01 | 2022-09-16 | 之江实验室 | 一种基于深度学习的光纤传感水声信号识别方法及装置 |
CN118396137A (zh) * | 2024-06-27 | 2024-07-26 | 山东云海国创云计算装备产业创新中心有限公司 | 多客户端数据处理方法、系统、设备、介质及产品 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015057687A (ja) * | 2013-08-12 | 2015-03-26 | 株式会社アポロジャパン | 画像情報のコード変換装置、画像情報のコード変換方法、画像コードを用いた画像関連情報提供システム、画像情報のコード変換プログラム、及びそのプログラムを記録した記録媒体 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5544257A (en) * | 1992-01-08 | 1996-08-06 | International Business Machines Corporation | Continuous parameter hidden Markov model approach to automatic handwriting recognition |
AU2001249805A1 (en) * | 2000-04-03 | 2001-10-15 | 3-Dimensional Pharmaceuticals, Inc. | Method, system, and computer program product for representing object relationships in a multidimensional space |
US20030065632A1 (en) * | 2001-05-30 | 2003-04-03 | Haci-Murat Hubey | Scalable, parallelizable, fuzzy logic, boolean algebra, and multiplicative neural network based classifier, datamining, association rule finder and visualization software tool |
US7853432B2 (en) * | 2007-10-02 | 2010-12-14 | The Regents Of The University Of Michigan | Method and apparatus for clustering and visualization of multicolor cytometry data |
US9159128B2 (en) * | 2011-01-13 | 2015-10-13 | Rutgers, The State University Of New Jersey | Enhanced multi-protocol analysis via intelligent supervised embedding (empravise) for multimodal data fusion |
US11348016B2 (en) * | 2016-09-21 | 2022-05-31 | Scianta Analytics, LLC | Cognitive modeling apparatus for assessing values qualitatively across a multiple dimension terrain |
US12039413B2 (en) * | 2016-09-21 | 2024-07-16 | Blue Voyant | Cognitive modeling apparatus including multiple knowledge node and supervisory node devices |
-
2017
- 2017-02-27 CN CN201710123105.XA patent/CN108510057A/zh active Pending
-
2018
- 2018-02-26 US US15/904,766 patent/US10789508B2/en active Active
- 2018-02-27 JP JP2018047265A patent/JP7057580B2/ja active Active
-
2020
- 2020-09-18 US US17/025,762 patent/US20210027096A1/en not_active Abandoned
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015057687A (ja) * | 2013-08-12 | 2015-03-26 | 株式会社アポロジャパン | 画像情報のコード変換装置、画像情報のコード変換方法、画像コードを用いた画像関連情報提供システム、画像情報のコード変換プログラム、及びそのプログラムを記録した記録媒体 |
Non-Patent Citations (1)
Title |
---|
麻生英樹: "多層ニューラルネットワークによる深層表現の学習", 人工知能学会誌, vol. 第28巻 第4号, JPN6021000516, July 2013 (2013-07-01), JP, pages 649 - 659, ISSN: 0004623004 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019079536A (ja) * | 2017-10-23 | 2019-05-23 | 大国創新智能科技(東莞)有限公司 | 連合クラスタリング深層学習ニューラルネットワークに基づくデータ識別方法 |
JP2020061155A (ja) * | 2018-10-11 | 2020-04-16 | 澤蒼 顧 | Sdlモデルの導入した画像の抽出方法 |
JP2020059497A (ja) * | 2018-10-11 | 2020-04-16 | 澤蒼 顧 | 「機知獲得」モデルを導入した自動運転の制御方法、装置及びそれによって構成されるプログラム |
JP2020061156A (ja) * | 2018-10-11 | 2020-04-16 | 澤蒼 顧 | 自動運転「機械意識」モデルの構成方法、その装置、又はプログラム |
JP7446568B2 (ja) | 2018-10-11 | 2024-03-11 | 澤蒼 顧 | 自動運転向け「意思決定」モデルの構成方法、その装置、又はプログラム |
CN110175998A (zh) * | 2019-05-30 | 2019-08-27 | 沈闯 | 基于多尺度深度学习的乳腺癌图像识别方法、装置及介质 |
Also Published As
Publication number | Publication date |
---|---|
US20210027096A1 (en) | 2021-01-28 |
US10789508B2 (en) | 2020-09-29 |
US20180247159A1 (en) | 2018-08-30 |
CN108510057A (zh) | 2018-09-07 |
JP7057580B2 (ja) | 2022-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018142323A (ja) | 超深層競合学習のニューラルネットワークモデルの構築方法、その装置、及びそのモデルが搭載された汎用モバイル端末装置、及びそのプログラム | |
JP6998560B2 (ja) | 異なる空間における距離のモデルの構築方法、その装置、及びそのプログラム、及びそのモデルを構成したプログラムが搭載された汎用モバイル端末装置 | |
JP6998561B2 (ja) | 超深層回帰分析の機械学習モデルの構築方法、その装置、及びそのプログラム、及びそのプログラムが搭載された汎用モバイル端末装置 | |
CN111126482B (zh) | 一种基于多分类器级联模型的遥感影像自动分类方法 | |
US7587064B2 (en) | Active learning system for object fingerprinting | |
CN101980250B (zh) | 基于降维局部特征描述子和隐条件随机场的目标识别方法 | |
Zhou et al. | Self-supervised learning method for unstructured road detection using fuzzy support vector machines | |
CN108985236B (zh) | 一种基于深度化可分离卷积模型的人脸识别方法 | |
CN108510052B (zh) | 一种人工智能神经网络的构建方法 | |
Björklund et al. | Automatic license plate recognition with convolutional neural networks trained on synthetic data | |
US8452078B2 (en) | System and method for object recognition and classification using a three-dimensional system with adaptive feature detectors | |
Rehman et al. | Image classification based on complex wavelet structural similarity | |
Soni et al. | Hybrid meta-heuristic algorithm based deep neural network for face recognition | |
JP6998562B2 (ja) | 異なる空間におけるファジィ事象確率測度のモデルの構築方法、その装置、及びそのプログラム、及びそのブログラムが搭載された汎用モバイル端末装置 | |
CN114973031B (zh) | 一种无人机视角下的可见光-热红外图像目标检测方法 | |
Walia et al. | Unveiling digital image forgeries using Markov based quaternions in frequency domain and fusion of machine learning algorithms | |
CN110852292A (zh) | 一种基于跨模态多任务深度度量学习的草图人脸识别方法 | |
CN112949500A (zh) | 一种基于空间特征编码改进的YOLOv3车道线检测方法 | |
Rodriguez-Serrano et al. | Data-driven detection of prominent objects | |
CN109271833A (zh) | 基于栈式稀疏自编码器的目标识别方法、装置及电子设备 | |
CN108510079B (zh) | 一种用于机器学习的多概率尺度的构成方法 | |
Jamshidi et al. | Modeling multivariate time series on manifolds with skew radial basis functions | |
Mahenge et al. | Robust deep representation learning for road crack detection | |
Gao et al. | On Designing a SwinIris Transformer Based Iris Recognition System | |
Cao et al. | A multi-label classification method for vehicle video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201211 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210310 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210609 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211026 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220325 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7057580 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |