JP2018142326A - 異なる空間におけるファジィ事象確率測度のモデルの構築方法、その装置、及びそのプログラム、及びそのブログラムが搭載された汎用モバイル端末装置 - Google Patents

異なる空間におけるファジィ事象確率測度のモデルの構築方法、その装置、及びそのプログラム、及びそのブログラムが搭載された汎用モバイル端末装置 Download PDF

Info

Publication number
JP2018142326A
JP2018142326A JP2018047268A JP2018047268A JP2018142326A JP 2018142326 A JP2018142326 A JP 2018142326A JP 2018047268 A JP2018047268 A JP 2018047268A JP 2018047268 A JP2018047268 A JP 2018047268A JP 2018142326 A JP2018142326 A JP 2018142326A
Authority
JP
Japan
Prior art keywords
probability
scale
space
value
measure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018047268A
Other languages
English (en)
Other versions
JP6998562B2 (ja
Inventor
澤蒼 顧
Zecang Gu
澤蒼 顧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JP2018142326A publication Critical patent/JP2018142326A/ja
Application granted granted Critical
Publication of JP6998562B2 publication Critical patent/JP6998562B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Complex Calculations (AREA)

Abstract

【課題】 人工知能分野では、現在、流行している深層学習のモデルは関数の写像しかできない。そのため、もっと性能の高い機械学習のモデルが望ましい。また、ユークリッド空間と確率空間とが統一された厳密なファジィ事象確率測度を求める方法を課題とする。【解決手段】 ユークリッド空間と確率空間とが統一された厳密な距離尺度と、この距離に基づいてファジィ事象確率測度の尺度を提出する。または、微小の曖昧なファジィ情報と微小の不安定な確率情報を持つデータ間で、超深層競合学習を行う。この結果に対し積分演算を行うことにより、マクロのレベルで飛躍的な効果が得られることが可能になる。さらに、最大確率の情報を伝達することが可能になった新しいニューラルネットワークを構築する。【選択図】図5

Description

本発明は、人工知能の分野に属し、特に異なる空間におけるファジィ事象確率測度のモデルの構築方法、その装置、及びそのプログラム、及びそのブログラムが搭載された汎用モバイル端末装置である。
グーグルの投資により開発されたAlphaGoが棋手の世界チャンビョンを勝った成績により、深層学習にとって世界的な熱狂がもう一度高まった。過去1年間の人工知能の特許出願数は、過去全年の出願総数をはるかに上回っている。
しかし、深層学習が使われた従来のニューラルネットワークアルゴリズムは、従来のニューラルネットワークの重み値W、及びしき値Tを選ぶ時に、最適解を取得するため、すべての可能性を組み合わせる必要がある、その組み合わせの総数は、P×(W×T)になる、ここで、Pを、従来のニューラルネットワークの層の数とし、nを層毎の接点の数とし、W或はTをパラメータの数とする。
また、膨大な組み合わせの数により、計算複雑度はO(n)になり、NP完全の問題になるため、現在の計算機を用いて計算の結果を得られることは不可能に近いことが分かった。
従来のニューラルネットワークモデルの重み値W、及びしき値Tの定義方法は従来の数学しか使っていないため、結果的に脳のトリガー信号の原理とまったく異なっている。人間の脳の神経は従来のニューラルネットワークモデルとまったく別のメカニズムを判明した。
さらに、実際の目的関数は元々確率の問題に属することは多かったので、従来のニューラルネットワークモデルは関数の写像しかできない。そのため、大量学習データに依存する必要がある。確率問題を解決することが困難である。特に重み値W、及びしき値Tを選ぶ時に最適解を得ないし、特に損失関数に対した確率勾配降下法SGDを使っても、局所最適解しか得ないので、ブラックボックス問題を残している。
現在注目されている深層学習モデルは、実際に従来のニューラルネットワークモデルに対し基本的に変わっていなかった。只、隠れ層の数を数百以上増やして行くことだけである。
このような方法を用いて、本当に処理の能力が深くなることができるか、疑問がある。隠れ層の数と処理の能力との間の関係があることを理論的に証明できない。
以上の原因により、その結果は計算の複雑度がもっと高くなるしか見えない。
以上述べたように、深層学習モデルとしては、工業的に広く応用することは期待できない。
そこで、よく知られている日本の古河電気工業株式会社が、ニューラルネットワークアルゴリズムを用いて、画像処理しき値を選択し、画像の輪郭を抽出する「画像処理方法及び画像処理装置」という特許出願(特許文献1)が申請された。
自動運転分野への応用では、日本の大手会社のトヨタは、「運転指向推定装置」(特許文献2)という出願を提出した。この出願は、交通事故の発生を避けるために、逆転送ニューラルネットワークの機械学習アルゴリズムを介して、運転者が反映されていない場合であっても、不測の事態を防ぐために、自動的に運転状態を選択することができる自動車の制御方法を提案している。
画像解析への応用分野では、日本の法政大学が、「植物病診断システム、植物病診断方法、及びプログラム」という特許出願(特許文献3)が公開されており、この出願では、深層学習のCNNを導入することにより、植物の葉画像を認識することにより、植物病変を診断する方法である。
世界での複写機の最大手の日本の富士ゼロックスは、偽造防止識別の観点から、「微小セキュリティマークを利用した偽造防止装置及び方法」という特許出願を行った、この出願は、人工知能アルゴリズムを導入して、小さなセキュリティマークにより、商品セキュリティの識別を解決する目的を達成するためのものである。
特開2013−109762号公報 特開2008−225923号公報 特開2016−168046号公報 特開2012−124957号公報
[特許文献1],[特許文献2]及び[特許文献3]では、深層学習を使っている為、上述により、ブラックブックスなどのような問題を改善することが困難である。
また、上述(特許文献4)では、人工知能によって偽造防止マークを生成する出願は、どのような人工知能、またはどのような手段を使っているか、どのような成果を達成しているか、不明である。また、微小セキュリティマークに対し、マイクロドットの情報記述方法としては、異なるドットの大きさ、異なるドットの色、及び異なるドットの位置により、情報を記述することは、すてに公知技術になっている、ここで人工知能を導入しても、従来技術と変わらないので、新規性はない。
また、この手法は、データマークの位置、或は方向を表すためのアンカマークは情報記述ができるデータマークより大きい、または異なる形を用いているが、情報を埋込む結果は、秘匿な形になることが困難である。
特に、不法者がスキャナを用いて、微小な偽造防止マークを複写することは避けられない、印刷精度はスキャナの精度より低いので、幾ら微小な偽造防止マークでも、スキャナを用いて完全に複写することが可能である。この出願はレーザーマーカーを用いて、微小な偽造防止マークを作成することも述べたが、このような方法があっでも、従来の公知技術に属することは避けられない、実際にいろんな方法を公開している、現実に携帯電話を用いて偽造商品の識別ができるような方法が望ましいが、この出願ではこのような方法を提供しなかった。
以下、本出願で、関連専門用語を定義する、以下のような定義の内容が発明の範囲に属する。
確率空間(Probability Space):
ソ連の数学者Andrey Kolmogorovの「確率理論は測度理論を基礎とすることである」理論に基づいて、いわゆる確率空間とは、可測空間(S,M)に確率測度μ(S)=1を入れた測度空間(S,M,μ)と言う。
確率分布(Probability Distribution):
確率変数の各々の値に対して、その起こりやすさを記述するものである。
確率尺度(Probability Scale):
確率空間における任意の確率分布において、1つの確率尺度が存在しなければならず、確率分布の程度を計れる尺度である。
確率密度(Probability Density):
与えられた領域における確率分布関数の積分値
ファジィ事象確率測度(Probability Measure of Fazzy Event)
確率空間を含むユークリッド空間Sにおいて、μ(x)をメンバーシップ関数とし、P(x)が可加法性のような確率測度の性質を満たす場合、また、μ(x)も可加法性のようなファジー測度を満たす場合、ファジィ事象確率測度の集合Aの測度P(A)は、
離散式の公式:
インテリジェントシステム(Intelligent System):
確定的なアルゴリズムに基づいて、システムを構築することである。また、1つのアルゴリズムに基づいて、ある目的関数を達成することであり、その処理の結果は確定的なシステムである。
人工知能(Artificial Intelligence):
人工知能とは単にコンピュータを使用することにより、人間の脳の機能を達成することである。つまり、コンピュータを介し、人間の頭脳処理の効果を達成しようことである。即ち不確実な問題を解決すること、或は事前に予測不可能な問題を解決する複雑系の問題とする。
また、人工知能とは、人間の介入の効果をモデル化し、公式化すること、具体的に言いかえると、人工知能とは、機械学習モデルを用いて確率的な問題を解決することである。
クラスタリング(Clustering):
事前に与えた範囲内に対し、ユークリッドの空間尺度に基づいて、データ集合を非自律的に求めること。
自己組織(Self−organization):
確率空間の尺度に基づいて、データを自律に高確率の方向に転移することができ、または公式化のモデルに基づいて、繰り返し処理を行うことにより、公式化のモデルより超えた結果を得られるアルゴリズムである。
機械学習(Machine Learning):
コンピュータが事前のデータから、自律的に規則を獲得できるモデル。
確率尺度に基づいた自己組織(Self−organizing based on a Probability Scale):
Gを確率空間内の確率分布の集合とし、gを集合に属するデータとすると:
確率空間における、確率分布gに対し、特徴関数A(G)の値が存在すべきである。したがって、確率空間は測定空間であるため、特徴関数A(G)に対して、必ず確率尺度関数M[G,A(G)]が存在する。確率尺度を基準として、集合G(n)を最大確率方向に転移できる条件は数4のようになる。
nがρ(ρを4以上の値とする)より大きい場合になると、自己組織の結果として、目的関数に対して、最大確率分布値をA(G(n))とし、また、A(G(n))を中心とした最大確率尺度をM[G(n),A(G(n))]とすることができる。
最大確率(Maximum Probability):
従来の統計的予測の結果を超えること、母体に最も近づいた予測の確率値である。
確率空間距離(Probability Space Distance):
ユークリッド空間に含まれた確率空間で、v∈V(j=1,2,…,n)を確率分布の要素とし、確率分布の最大確率尺度をMとし、r∈Rをユークリッド空間にある集合Rの要素とすると、ユークリッド空間の集合Rから確率空間の集合Vまでの距離G(R,V)は、以下のように定義することができる。
超深層学習(Super Deep Learning):
感知層と、神経層と、及び脳皮層からなる新しいニューラルネットワークモデルが構成されたことである。入力情報と感知層、感知層と神経層、および神経層の脳皮層の間での接点が、確率尺度に基づいた自己組織という教師なし機械学習によって接続されている、確率情報が伝達されることである。また、脳の機能を模擬することが可能である。
本発明の第一の目的は、微小の不安定な確率情報と微小の曖昧な情報を利用し、超深度競合学習により、データ間で最適な類似関係を求めることが可能になる超深層競合学習のニューラルネットワークモデルを構築する。画像認識や音声認識など、または産業自動化に対し、最高なレベルの機械学習モデルを提供することである。
本発明の第二の目的は、ユークリッド空間と確率空間とが統一された厳密な距離を求める方法を提供することである。
本発明の第三の目的は、ユークリッド空間と確率空間とが統一された厳密なファジィ事象確率測度を求める方法を提供することである。
本発明の第四の目的は従来の線形回帰分析法よりもっと正確に関数アプローチができる超深度回帰分析学習モデルを提供することである。
本発明の第五の目的は、携帯電話によって消費者が商品偽造を識別することができる超深層競合学習のモデルを提供することである。
上記目的の中で少なくとも1つの目的を達成するために、異なる空間におけるファジィ事象確率測度のモデルの構築方法が次のように提案される。
前記課題を解決するために、請求1に係れる発明は、異なる空間におけるファジィ事象確率測度のモデルの構築方法であって、少なくとも次のような1つの特徴を備えている:
(1)ファジィ事象確率測度の値は、2種類以上の異なる空間が統一された距離と関係している、或は
(2)微小の曖昧なファジィ情報と微小の不安定な確率情報から、積分することにより、マクロレベルで安定な情報を獲得したことである、或は
(3)ファジィ事象確率測度の値は、その起点、或は終点が、確率分布の範囲にある場合に、その位置の確率分布値に関係していることである。
上記曖昧なファジィ情報を、ユークリッド空間と確率空間とが統一された距離に基づいた曖昧情報をとする、或は対称性、或は三角不等式を満たす距離とすることを特徴とする請求1に記載の異なる空間におけるファジィ事象確率測度のモデルの構築方法である。
上記確率情報を、データの一方的、若しくはデータ間で互いに、確率空間での確率分布の領域にある場合に、その領域の確率分布値とする、或はデータ間で、確率空間を通過するすべての領域にある各々確率分布値とすることを特徴とする請求1に記載の異なる空間におけるファジィ事象確率測度のモデルの構築方法である。
上記異なる空間を、ユークリッド空間と確率空間とすることを特徴とする請求1に記載の異なる空間におけるファジィ事象確率測度のモデルの構築方法である。
前記課題を解決するために、請求5に係れる発明は、異なる空間におけるファジィ事象確率測度のモデルの構築装置であって、少なくとも次のような1つの特徴を備えている:
(1)ファジィ事象確率測度の値は、2種類以上の異なる空間が統一された距離と関係しているモジュール、或は
(2)微小の曖昧なファジィ情報と微小の不安定な確率情報から、積分することにより、マクロレベルで安定な情報を獲得したモジュール、或は
(3)ファジィ事象確率測度の値は、その起点、或は終点が、確率分布の範囲にある場合に、その位置の確率分布値に関係しているモジュールを備えたことを特徴とする。
前記課題を解決するために、請求6に係れる発明は、上述の異なる空間におけるファジィ事象確率測度のモデルが構成されたプログラムである。
前記課題を解決するために、請求7に係れる発明は、上述の異なる空間におけるファジィ事象確率測度モデルが構成されたプログラムが搭載された汎用モバイル端末装置である。
本発明により提出された超深層学習のニューラルネットワークでは、ユークリッド空間と確率空間とが統一された距離とファジィ事象確率測度を用いて、データ間で、超深層競合学習を行い、また、各々確率尺度に基づいた自己組織という機械学習を用いて分散学習処理を行う特殊機能を持っている。特に、空間写像の種類を増やしたり、処理内容を細かくしたりすることに伴い、感知層と神経層の接点が無限に増加していくことにより、機械学習の性能もこれに応じて無限に達成することも可能になる。更に、小回数で学習することにより、ビックデータのような効果になる特徴を持っている、その他に、ハード環境にとって小さくても、大きてもアプリケーションに応じて、選択することもできるので、産業向け人工知能への広い応用を期待できる。
以下に説明する通り、本発明の実施形態について、添付の図面を参照して、さらに詳細に説明するが、本発明の実施形態は例示的なものであり、限定的ではない。
図1は、確率分布における多確率尺度定義の示す図である。
図1では、複数の確率空間を含むユークリッド空間に対し、各々確率空間において確率分布の値により、確率分布の目盛り値を求めることができる。ここで、確率分布の中心値を(102)とし、一番目の目盛り値を(103)とし、この間の領域を(106)とする。次は二番目の目盛り値を(104)とし、この間の領域を(107)とする。さらに三番目の目盛り値を(105)とし、この間の領域を(108)とすると、複数の領域における確率分布の目盛り値を多確率尺度と呼ばれる。
多確率尺度を設定するもう一つの方法は、一番目の目盛り値の間隔を計算したあと、二番目および三番目の目盛り値の間隔を、一番目の目盛り値の間隔と同様にする、例えば図1(103)と(104)との間隔と、(104)と(105)との間隔は、(102)と(103)との間隔と同様にすることができる。また、一番目の目盛り値の間隔の値を最大確率尺度とする。
多確率尺度を、正規分布、多変数正規分布、対数正規分布、指数分布、t分布、F分布、X分布、二項分布、負の二項分布、多項分布、ポアソン分布、アーラン分布(Erlang Distribution)、超幾何分布、幾何分布、ウェーバー分布(Weibull Distribution)、三角分布、ベータ分布(BetaがDistribution)、ガンマ分布(Gamma Distribution)について少なくとも1つの確率分布の確率特性を持っている確率分布からなることとする。
多確率尺度を、確率空間に関する相関係数としても、また、異なる空間に属する距離としても可能である。
また、非確率空間として、多確率尺度を、ユークリッド空間の距離(Euclidean Distance)の尺度、マンハッタン距離(Manhattan Distance)の尺度、パフヌティ−チェビシェフ距離(Chebyshev Distance)の尺度、ミンコフスキー距離(Minkowski Distance)の尺度、マルピーギ距離(Mahalanobis Distance)の尺度、コサイン(Cosine)の尺度、W距離(Wasserstein Distance)の尺度、KL距離(Kullback−Leibler Distance)の尺度、PEの距離(Pearson Distance)尺度を含む、少なくとも一種類の尺度からなることとしてもいい。
確率尺度を最大確率密度の尺度とする、例えば確率分布の分散、平均二乗偏差、または共分散としてもいいし、1次元空間、二次元空間、或は多次元空間のデータ分布の最大密度の値としてもいい。
多確率的尺度を、Jaccard係数(Jaccardsimilarity Coefficient)の尺度としてもいいし、ハミング距離(Hamming Distance)の尺度としてもいいし、情報エントロピー(Information Entropy)尺度としてもいい。
多確率的尺度を、確率アルゴリズムとしてもいい、例は、ベイジアン方法(Bayesian Analysis)、ガウス過程(Gaussian Processes)、ガウス過程とベイジアンのハイブリッドアルゴリズムなどを用いて、多確率的尺度を定義することが可能である。
本発明の内容を重点に紹介するために、上記確率尺度の具体的な数学の公式を1つずつ紹介しないが、データにとってすべての目盛りになるような手法を用いて、確率尺度に基づいて、機械学習モデルを構成することを本発明の範囲内とする。
図2は多確率尺度に基づいた自己組織の機械学習のフローチャート図である。
ここで、図2に示すように、自己組織の機械学習処理の流れは次のようになる、ここで、目的関数に対して確率分布の目盛りの位置、該当領域の最大確率分布値を求めることである。
初期化ステップS:多確率尺度に基づいた自己組織のプログラムの初期化ステップです。このステップでは、入力された目的関数D(x,y)を、一次元データとしてもいい、また2次元データとしてもいい、任意次元とすることができます。
ここで、初期の確率尺度をM(0)、及び初期中心値を(x,y(0)とする、ここで、初期中心値を初期特徴値と称する。
多確率尺度に基づいた自己組織は、2つの処理方法がある。第1の方法は、確率分布の外から真ん中へ、多確率尺度に基づいた自己組織を行う、第2の方法は、逆に確率分布の真ん中から外へ、多確率尺度に基づいた自己組織を行う。
第1の確率尺度に基づいた自己組織の初期化方法:
この場合に初期化の多確率尺度M(0)’を該当確率分布に対し一番大きい目盛りとする、そのために、確率尺度をM(0)’>M(0)とする、一般的に3倍くらいになる。
第2の確率尺度に基づいた自己組織の初期化方法:
ここで、M(0)’=M(0)とし、また、M(0)値に対して、厳密な設定を行う必要がない、人工的に予測してもよい。また、最大確率尺度M(0)を半径値として、初期確率尺度M(0)と中心値(x,y(0)により円形領域、或は矩形領域を自己組織の領域とする。最大確率尺度M(0)ができればすくなくとも、学習した最終結果M(n)の一部分を含んだ方がいい、初期化確率尺度のM(0)’は大きすぎなると、計算の時間が長くなるが、逆に小さすぎになると、正確な結果が得られない可能性がある。
他の初期化に関する設定について、Vを自組織の収束値とし、前回の組織の結果と今回の自組織の結果との差を用いて、自己組織の処理を完成したかどうか判断条件とする。収束値Vが大きすぎると、正確な結果が得られない可能性があるが、収束値Vが小さすぎると、計算の時間が長くなる。正しい設定方法は最終の確率尺度M(n)の5−10%ぐらい。MNを自己組織の最大の繰り返し回数とし、自己組織に対し無限に繰り返し状態を避けるため、一般的に5−10回とする。また、mを多確率尺度の目盛り数とする。確率尺度の目盛の数mの設定について、例えば:多確率尺度の目盛りは三つある場合に、確率分布領域に対して三つの目盛りとして分割することができる、この場合にm=3である。初期設定の自組織の処理回数をn=0とする。
多確率尺度に基づいた自己組織のステップS:このステップでは、m番目の確率尺度の第n回の自組織の処理を行うことである、目的関数D(x,y)に対し、(x,y (n−1)を自己組織の中心値として、m番目の確率尺度M (n−1)を半径とし、中心値(x,y (n−1)と半径M (n−1)値により、新しい目的関数のデータd (n)(x,y)(i=1,2,…,k;j=1,2,…,l)が生成されることができる。新しい確率分布に対し、必ずm番目の新しい中心値(x,y (n)や、新しい確率尺度M (n)を求めることができる。
ここで、d (n)(x,y)∈D(x,y),n=n+1,MN=MN−1。すなわちこのステップで、目的関数データd (n)(x,y)に対し、それぞれ、1つずつの新しい目的関数を生成したことにより、少しずつ、最大確率方向へ近付けることが可能である。
処理完成の判断ステップS:m番目の確率尺度の処理を完成したかどうの判断ステップであ
満たすとすれば、多確率尺度のm番目の確率尺度に基づいた自己組織が終了する、この場合にSステップへ、もしそうではなければ、Sステップへ移行する。続けて多確率尺度に基づいた自己組織の処理を行う。
データ保存ステップS:m番目の確率尺度に基づいた自己組織処理が完成した後、m番目の目盛の特徴値(x,y (n)、m番目の確率尺度M (n)を学習の結果として保存する。ここで、目盛の特徴値(x,y (n)をm番目領域の確率分布値とし、確率尺度M (n)をm番目の目盛りとする。次にm=m−1、確率尺度の目盛り数を修正する。目的関数の集合、即ち自己組織のデータ範囲に対し、多確率尺度M (n)と特徴値(x,y (n)により、その新しい確率の分布が次のようになる。
次に、第2の確率尺度に基づいた自己組織方法に対し、多確率尺度は最小目盛から始める場合に、多確率尺度を正規分布からなることとし、以降の確率尺度の目盛りは一番目の最大確率尺度目盛値を同じとすると、多確率尺度に基づいた自己組織の処理の必要はない。一番目の最大確率尺度の間隔を他の目盛りの間隔と同様とする。また、確率分布表から推算することも可能である。この場合に、確率尺度に基づいた自己組織の処理方法とする、m=0、また次の多確率尺度に基づいた自己組織が終了判断ステップSへ続ける。
終了判断ステップS:多確率尺度に基づいた自己組織の処理が完成したかどうか判断ステップである。このステップ中では、もしm=0を、多確率尺度に基づいた自己組織の処理を終了とする。この場合にステップSへ、そうではない場合に続けてステップSへ移行する。
戻すステップS:最終的に終了し、メインプログラムへ戻す。
次にユークリッド空間一点と確率空間の確率分布の中心点との距離を定義する。
図3ユークリッド空間と確率空間が統一された距離の定義を示す図である。
図3に示すように(301)を確率空間に含むユークリッド空間とし、(302)を確率空間での確率分布の中心点w∈Wとし、(303)を確率空間での確率分布の多確率尺度の一番目の目盛Mとし、(304)を確率空間での確率分布の多確率尺度の二番目の目盛Mとし、(305)を確率空間での確率分布の多確率尺度の三番目の目盛Mとし、(309)をユークリッド空間での点v∈Vとする。集合Vから確率空間に属する集合Wまでの距離を求める。
実際のパターン認識では、異なる条件により、得られた各々特徴値のデータがランダムになっている。繰り返し学習を行うことにより、特徴ベクトルが構成されたn個の特徴値の確率分布の値を求めることができる。
そこで、確率空間に属する集合Wにおける一点(302)をw∈Wとし、集合Vにおける一点(309)をv∈Vとする。また、(j=1,2,…,n)を特徴値のカウンター値とする場合に、特徴値のカウンター値jに対し、(302)と(303)の間隔をD1j (wj)=M2j−M1jとし、この領域にある確率分布値をp1j (wj)とする。(303)と(304)の間隔をD2j (wj)=M3j−M2jとし、この領域にある確率分布値をp2j (wj)とする。(304)と(305)の間隔をD3j (wj)=M4j−M3jとし、この領域にある確率分布値をp3j (wj)とする。図3に示すように、VからWまでwに属する確率分布の三つの目盛の領域に対し、目盛りの数がm (wj)=3となる。(309)から(302)までの間でユークリッド空間と確率空間が統一された距離G(V,W)は次のように定義することが可能である。
ここに,
上式のΔ (wj)は異なる空間の距離の間での誤差値である。そのため、この誤差値を修正すれはば、異なる空間を統一する距離を得ることが可能になる。ここで、異なる空間の距離とは、確率の空間におけるユークリッド距離と確率空間距離である。即ち、確率の空間の中で、ユークリッド距離公式により得られた距離値と、確率空間の実際な距離値との誤差である。上述の概念により、Δ (wj)を修正値として、修正すれば、ユークリッド空間と確率空間が統一される距離を正確に得ることが可能になる。機械学習領域にとってユークリッド空間と確率空間が両方に属するデータ間の尺度問題を解決することが可能にした。
もしvからwへの間隔に、集合Rに属する一点r∈Rを存在していることとすると、r(310)とw(302)と間での曖昧な関係を表す公式は次のようになる。
上式をメンバーシップ関数とする。任意の一点r∈Rがw∈Wに近づければ近づけるほど、F (wj)の結果は1に近付く、逆にr∈Rがw∈Wと離れければ離れるほど、F (wj)の結果は0に近づく。ここで、距離を表れた方法は、数6からなったので、F (wj)の結果を、ユークリッド空間と確率空間とが統一された曖昧な情報に過ぎない。
メンバーシップ関数の定義方法は上記により提供した方法だけではなく、人間介入の方法によりさまざまな公式を定義することができるので、どんな形で定義をしても、目的関数の二つの要素の間での曖昧な関係を定義すれば、すべて本発明の範囲以内に属する。
ここで、任意一点r∈R、もし偶然にw∈Wの確率分布のi番目の領域Dij (wj)にある場合に、この場所の確率分布値をpf (wj)とし、また、もう一つの可能性もある、v∈Vも、もし偶然にw∈Wの確率分布のq番目の領域Dqj (wj)にある場合に、この場所の確率分布値をph (wj)とし、集合Rから集合Wへの間でのファジィ事象確率測度F(w)の公式は次のようになる。
上記のような定義により、ファジィ事象確率測度F(w)の役割は、微小の曖昧な情報と微小の不安定な確率情報を利用して、積分計算により、マクロレベル上でかなりの安定な情報を得ることができる、集合のRとWの間での最厳密な類似関係における判断基準にとって、情報処理の理論上に最適な方法に過ぎない、パターン認識の応用において、二つの集合との類似関係を最大限に反映することが可能になったことにより、特徴ベクトル集合Rと、登録され確率分布情報を持つ辞書データ集合Wとの間で最適に照合することができる。
数8に示したように、r∈Rとv∈Vは、もしw∈Wの確率分布の中を入っていない場合に、確率分布値をpf (wj)=0とph (wj)=0とすると、上記の数7を積分した結果と同様に、ユートリッド空間と確率空間を統一したベクトル距離に関するメンバーシプ関数という曖昧な表現になる。
上記のユークリッド空間を、マンハッタン空間:(Manhattan Space);パフヌティ−チェビシェフ空間(Chebyshev Space);ミンコフスキー空(Minkowski Space);マルピーギ空間(Mahalanobis Space);夾角余絃空間(Cosine Space)の中の一種と拡張することができる。
数7及び数8により、ユークリッド空間と確率空間距離が統一された二つの定式方法を纏めると、その特徴は、各々確率空間がユークリッド空間に含まれていることが分かった。データが確率空間の領域を到達する際に、その距離の値は、通過された各々領域の確率分布値に関係している。
また、ここまでの考え方は、確率空間の距離尺度は、確率空間を通過する際に、通過された領域の確率分布値に関係しており、一定の方向性を持つ必要があり、一般的な距離尺度と違い、対称性の条件を満たしていない。例えばvからwまでの距離を計算する時に、その確率空間の距離はvの位置からwの位置まで通過する過程中のwの確率分布の値と関係する。vの確率分布を持っても、vの確率分布値と関係ない。これによって確率尺度の対称性、三角不等式を満たさない。しかし、本発明は下記のように確率の尺度条件について、すべての条件を満たすことができる方法も提出される。
図4は超深層競合学習のパターン認識モデルの概略図である。
超深層競合学習において、図4に示すように:(4100)と(4200)を確率尺度に基づいた自己組織の処理により最大確率になった2つの特徴ベクトルデータfv1j∈FVとfv2j∈FVとし、(4000)を認識対象の特徴ベクトルSVに属する特徴要素sv∈SV(i=1、2、…e)とする。また、(4001)をsvとし、(4002)をsvとし、(4003)をsvとし、…、(400e)をsvとする。
特徴ベクトルのデータFVに属する特徴要素fv11の一番目の目盛りを(4111)とし、fv11の二番目の目盛りを(4112)とし、fv11の三番目の目盛りを(4113)とし、fv11の中心値を(4110)とする。また、fv12の一番目の目盛りを(4121)とし、fv12の二番目の目盛りを(4122)とし、fv12の三番目の目盛りを(4123)とし、fv12の中心値を(4120)とする。同様に、fv13の一番目の目盛りを(4123)とし、fv13の二番目の目盛りを(4132)とし、fv13の三番目の目盛りを(4133)とし、fv13の中心値を(4130)とする。さらに、fv1eの一番目の目盛りを(41e1)とし、fv1eの二番目の目盛りを(41e2)とし、fv1eの三番目の目盛りを(41e3)とし、fv1eの中心値を(41e0)とする。
特徴ベクトルのデータFVに属する特徴要素のfv21の一番目の目盛りを(4211)とし、fv21の二番目の目盛りを(4212)とし、fv21の三番目の目盛りを(4213)とし、fv21の中心値を(4210)とする。また、fv22の一番目の目盛りを(4221)とし、fv22の二番目の目盛りを(4222)とし、fv22の三番目の目盛りを(4223)とし、fv22の中心値を(4220)とする。同様にfv23の一番目の目盛りを(4231)とし、fv23の二番目の目盛りを(4232)とし、fv23の三番目の目盛りを(4233)とし、fv23の中心値を(4230)とする。さらに、fv2eの一番目の目盛りを(42e1)とし、fv2eの二番目の目盛りを(42e2)とし、fv2eの三番目の目盛りを(42e3)とし、fv2eの中心値を(42e0)とする。
識別対象の特徴ベクトルSVに属する特徴要素sv∈SVに対し、もし偶然に登録済みの特徴ベクトルFVに属する特徴の要素fv2j確率分布の領域にある場合に、その領域における確率分布値をsf (fv2j)∈SF(FV2)とする。また、fv1jの確率分布の中心値が偶然に特徴要素fv2jの確率分布のエリアにある場合に、その確率分布値をsh (fv2j)∈SH(FV2)(j=1,2,…,e)とする。(これは非常に特殊な状況を発生する場合を考えている、即ちfv1jの確率分布とfv2jの確率分布と殆ど重なる。)
sv∈SVからfv2jの確率分布の中心まで通過するfv2jの確率分布の多確率尺度の目盛間隔をDij (fv2j)とし、多確率尺度の数をm (fv2j)とし、Dij (fv2j)の区間でのfv2jの確率分布値をPij (fv2j)(i=1,2,…,m (fv2j))とする。
数7と数8に基づいて、認識対象の特徴ベクトルSVと、登録された特徴ベクトルデータFVに関するファジィ事象確率測度は次のようになる。
同様に、識別対象の特徴ベクトルSVに属する特徴要素sv∈SVに対し、もし偶然に登録済みの特徴ベクトルFVに属する特徴の要素fv1jの確率分布領域にある場合に、その確率分布値をsf (fv1j)∈SF(FV1)とする、また、fv2jの確率分布の中心値が偶然に特徴要素fv1jの確率分布領域にある場合に、その確率分布値をsh (fv1j)∈SH(FV1)(j=1,2,…,e)とする。(これは非常に特殊な状況になった場合を考えている、即ちfv2jの確率分布とfv1jの確率分布と殆ど重なっている。)
sv∈SVからfv1jの確率分布の中心まで通過する場合に、fv1jの確率分布の多確率尺度の目盛間隔をDij (fv1j)とし、多確率尺度の数をm (fv1j)とし、Dij (fv1j)の領域でのfv1jの確率分布値をPij (fv1j)(i=1,2,…,m (fv1j))とする。認識対象の特徴ベクトルSVと、登録された特徴ベクトルデータFVに関するファジィ事象確率測度は次のようになる:
識別対象になる特徴ベクトルSVは登録された特徴ベクトルデータFVとFVと競合する公式は次の通り:
或は
ここで、F>1になると、識別対象になる特徴ベクトルSVは特徴ベクトルデータFVに属する、逆にF<1になると、識別対象になる特徴ベクトルSVは特徴ベクトルデータFVに属する。
図5超深層競合学習を用いた最適な分類モデルの概略図
図5に示したように:(501)を、確率空間が含まれたユークリッド空間とする。また、ユークリッド空間(501)の中には、2つの確率空間の確率分布(520)と(530)がある。さらに、(502)を確率分布(520)の中心値とする。(503)を確率分布(520)の一番目の目盛とし、(504)を確率分布(520)の二番目の目盛とし、(505)を確率分布(520)の三番目の目盛とする。次に、(506)を確率分布(520)の一番目の目盛領域とし、この領域の確率分布値をp1j (520)とする。また、(507)を確率分布(520)の二番目の目盛領域とし、この領域の確率分布値をp2j (520)とする。さらに、(508)を確率分布(520)の三番目の目盛領域とし、この領域の確率分布値をp3j (520)とする。
同様に、(510)を確率分布(530)の中心値とし、(511)を確率分布(530)の一番目の目盛とし、(512)を確率分布(530)の二番目の目盛りとし、(513)を確率分布(530)の三番目の目盛とし、(514)を確率分布(530)の一番目の目盛領域とし、この領域の確率分布値をp1j (530)、(515)を確率分布(530)の二番目の目盛領域とし、この領域の確率分布値をp2j (530)とし、(516)を確率分布(530)の三番目の目盛領域とし、この領域の確率分布値をp3j (530)とする。
次に、確率分布(520)と(530)に対応している二つ中心値(502)と(510)を、二つの集合の要素w∈Wとv∈Vとする。2つの(502)と(510)の両側に接続された直線の上に任意一点r∈Rがある。任意データがこの直線の上に投影された点(500)である。超深層競合学習を用いた最適な分類とは、任意一点r∈Rは520或は530どの確率分布に属するかを求めることである。
ここで、m (wj)をrと確率分布の中心wとの間での確率尺度の数とし、m (vj)をrと確率分布の中心vとの間での確率尺度の数とする。例えば図5では、m (wj)=3、pij (wj)=pij (520)、pij (vj)=pij (530)[i=1,2,…,(m (wj)=m (vj))]とする。
数6により、確率空間(530)に属する集合Vと確率空間(520)に属する集合Wとの間で、ユークリッド空間と確率空間が統一された厳密な距離の表現公式は次のようになる。
ここで、
また、
ここで、rから確率分布の中心wまでの距離の定式と、rから確率分布の中心vまでの距離の定式を加えて、確率分布(530)の中心vから確率分布(520)の中心wまでの距離の定式になることを考えていると、二つの確率分布の値に関係するべきである。そのため、(Δ (vj)+Δ (wj))を、確率空間の中で、ユークリッド距離と、確率空間の距離と間での誤差とする。さらに、(Δ (vj)+Δ (wj))を、修正値として修正すれば、ユークリッド空間距離と確率空間が統一された厳密な距離を正確的に得ることが可能になる。上記の数5−8の距離の定義は従来の距離尺度条件の対称性と三角不等式を満たさない。これに比べると、数12は距離の対称性と三角不等式を含め、すべての距離の尺度条件が満たされた、ユークリッド空間と確率空間が統一された距離に対して最も大きな問題を解決した。
上述数8と同様に、r∈Rと確率分布(530)中心値v∈Vとの間のファジィ事象確率測度を考える時に、もしr∈Rが(530)の確率分布の領域にある場合に、その領域の確率分布値をpf (vj)とする。また、w∈Wが偶然に(530)確率分布の領域にある場合に、その領域の確率分布値をph (vj)とする。上記の確率空間の距離の対称性により、もしv∈Vも偶然に(520)確率分布の領域にある場合に、その領域の確率分布値をph (wj)とする。(二つの確率分布がほぼ重なった特殊場合とする)。
数12により、任意の集合Rは集合Vに属するファジィ事象確率測度の公式を次のように定義することができる:
ここで、数6により、
また、
数12と、及び数13を参照してDij (wj)及びDij (vj)、pij (wj)及びpij (vj)、m (wj)及びm (vj)、pf (vj)及びpf (wj)、ph (vj)及びph (wj)を求めることが可能であるので、集合Rは集合Wに属するファジィ事象確率測度の公式は次のようになる。
ここで、数6により、
また、
最後に、上述数11を参考して、FF(W)とF(V)により、F=(F(W)/F(V))の超深層競合学習により、任意集合Rに対して、確率分布を持つ二つのデータの間で、最適化の分類を行うことが可能になった。
ここで、数12により、数13と数14に対し、対称性及び三角不等式を含むすべての距離の尺度条件が満すことにより、この距離に基づいたファジィ事象確率測度も対称性及び三角不等式などすべての尺度条件を満たすことが可能になった。
ここでは、2つの確率分布を例として、超深層競合学習のモデル構築方法を述べたが、実際のアプリケーションに応じて、三つの確率分布の分類でも、四つの確率分布の分類でも、n個の確率分布でも、互いに超深層競合学習モデルを用いて最適化の分類を行うことを可能とした。
図6は超深層競合学習を用いた最適な分類モデルのフローチャート図である。
図6に示すように、図5を参考し、超深層競合学習は、次のような8ステップにより、実現することが可能である。
の初期化ステップでは、確率尺度に基づいた自己組織の初期化の内容は図2のSの初期化ステップと同様である。まず、確率尺度の目盛りの数をm (wj)及びm (vj)とする。例えばm (wj)=m (vj)=3、また、データの登録空間を設定し、その他必要な初期化処理内容を設定する。
の多確率尺度に基づいた自己組織のステップ:図2のステップSを参照し、wjh∈W及びvjh∈V(h=1,2,…,g)に対し、多確率尺度に基づいた自己組織を行うことにより、各々要素の最大確率分布の中心値w∈W及びv∈Vと、最大確率尺度になった目盛り値Dij (vj)及びDij (wj)と、該当領域の確率分布値pij (vj)及びpij (wj)と、または、w∈W及びv∈V及びr∈Rが確率分布領域にある場合に、その確率分布値pf (vj)、ph (vj)及びph (wj)を求める。
の判断ステップでは、Sの確率尺度に基づいた自己組織の終了判断であり、確率分布の数PNに対し、すべてのデータが得られたか?N」はSへ、「Y」はデータの保存のステップSへ移行する。
のデータ保存ステップでは、Sのステップにより得られたすべてのデータをデータペースとして登録する。
確率分布の判断ステップでは、すべての確率分布の処理を完成したか?「N」は確率分布の数PN=PN+1、ステップSへ、新しい確率分布を計算する、「Y」には次のS超深層競合学習ステップへ移行する。
超深層競合学習ステップでは、上述の数13及び14の計算結果に基づいて、次のような超深層競合学習を行う。
或は
ここで、数6により
また、
る、逆の場合に別の確率分布(530)に属する。
超深層競合学習の効果は、ユークリッド空間と確率空間が統一された厳密な距離に基づいてファジィ事象確率測度を導入し、w∈W、v∈V及びr∈Rのデータ間で、微小の曖昧な情報と微小の不安定な確率情報を利用して、マイクロレベルで、互いに競合させる、積分計算により、マクロレベル上で最適化されたデータ間での類似関係情報を得ることが可能になった。
完成判断ステップでは、上記の超深層競合学習は完成したか?「N」はステップSへ、再び、超深層競合学習を行う、「Y」になると、次の戻るステップに移行する。
戻るステップでは、メインプログラムに戻るステップに移行する。
図7は超深層競合学習のニューラルネットワークモデルの概略図である。
画像認識を例として超深層競合学習の構成について述べる。図7に示しているように、(801)が感知の対象画像の空間写像を示している。超深層競合学習は画像の情報の抽出を重視している。画像認識の精度を極力に高めるため、認識を対象とする元画像に対して、様々な画像の空間写像を行う。例えば画像の週波数空間写像、画像の色空間写像、画像のパワー空間写像、画像のエッジの空間写像などがある。(802)と(803)はそれぞれ2種類の画像の空間写像を例として示されている。
(804)を画像(801)の局所領域とする、ここで、携帯電話向け画像識別の場合に、360度の任意の角度で、正確に識別ができるために、リンク状画像の分割の方法を導入している。このリンク状の領域のサイズを決定する方法について、大きければ大きいほど、計算速度が速くなる、しかし、認識精度に影響がある、逆に、領域が小さければ小さいほど、認識精度が高くなるが、計算速度は比較的に遅い。各領域の画素数や面積が実際のアプリケーションに応じてうまくバランスを取るべきである。
(805)を複数の確率尺度に基づいた自己組織という機械学習モジュールとする。これらの確率尺度に基づいた自己組織という機械学習モジュールが認識の対象と感知層の各接点の間で接続されている。目標関数情報に対し、深層発掘の機能を持つ。また、目標関数の情報を最大確率として抽出する特徴を持つ。また、認識の対象になった画像の位置ずれに合わして、自律的に追跡できる優れた特徴も持つ。
(806)を、新しいニューラルネットワークの感知層とする。
(807)をニューラルネットワークの感知層の接点とし、本発明は、超深層競合学習の機能を深める方法としは、目標の関数の情報量が増加させていくことにより、ニューラルネットワークの感知層の接点の数や、機械学習の数も応じて増やしていく。
確率尺度に基づいた自己組織という機械学習は、自律的に最大確率の特徴位置に追跡して行く特徴を持つ。画像認識時に画像の位置ずれの問題を改善できる。特にビデオの認識をする場合に、この特徴を持つことは非常に重要である。
(808)を感知層と神経層の間での接続された確率尺度に基づいた自己組織という機械学習モジュールとする。主に超深層競合学習により、感知層から入力された確率情報に対し、深層発掘機能を持つ。さらに、目的関数の確率分布の情報も得ることが可能である。すべての学習したデータが(809)データベースとして登録される。
(810)をニューラルネットワークの神経層とし、(811)をニューラルネットワークの神経層の接点とし、(814)をニューラルネットワークの脳皮層とする。ここで、超深層競合学習により求めた確率分布情報のデータを神経層から脳皮層に伝達する。
(812)を、神経層(810)と脳皮質(814)間で接続された超深層競合機械学習モジュールとし、主に脳皮層(814)により最終に意思決定することであり、その重要な機能は次のようになる。
上記の数12及び数16を用いて、ユークリッド空間と確率空間が統一された厳密な距離尺度、及びファジィ事象確率測度に基づいて、識別対象のサンプルデータは登録された確率分布情報を持つ複数の特徴ベクトルデータ間で、超深層競合学習を行った結果を求める。この処理の効果は、最大限度に曖昧な情報と確率情報とも最適化に利用することが可能になった、パターン認識として異なる価値のベクトルの要素に対して最適化の重み付けの効果がある。
次は超深層競合学習からなる最大確率尺度の値と、数11及び数15のような超深層競合学習からなる競合結果に基づいて、神経層のしき値を獲得することができる、これを最終脳皮質(814)の神経が興奮するしき値とする、脳皮層により最終的な認識結果を得ることができる、これは脳機能を模倣する処理方法である。
最後は登録済みの各々特徴ベクトルデータに対し、信頼度において確率尺度に基づいた自己組織という機械学習を行う、最大信頼度の特徴ベクトルデータを用いて、最終の認識結果を決定する。
具体的に特徴ベクトルの信頼度の求め方法は、既に登録されたk番目の画像の特徴ベクトルの番目の特徴要素に対し、実際に認識した結果により、成功率をCDkjとし、誤認識率をEDkjとすると、信頼値は以下の数17で表すことができる。
次に、最大確率信頼度を獲得するために、また、上記の各画像のそれぞれの特徴ベクトルの特徴要素の信頼度の値に対し、確率尺度に基づいた自己組織という機械学習を行い、最大の確率の尺度を判断基準として最大確率信頼度を持つ特徴要素を選び、最大確率信頼度を持つ特徴要素のみ、超深層学習を行う。その結果としては、最大の信頼度を有した識別結果を得ることができる。
上述のように、対象になった画像の最大確率の特徴値情報を、確率尺度に基づいた自己組織という機械学習により、感知層へ伝達していく。感知層から、確率尺度に基づいた自己組織という機械学習により求めた確率分布情報を神経層へ伝達していく。神経層から、確率尺度に基づいた自己組織という機械学習により求めた最大確率の信頼度の値と最大確率の尺度値を脳皮層へ伝達していくことである。以上のように、新しいニューラルネットワークの特徴は、各層に対し、確率情報を伝達することであり、また、各層の接点の間で確率尺度に基づいた自己組織という機械学習モジュールに接続することである。
図8携帯電話での偽造商品の識別における超深層競合学習の導入の概略図である。
図8に示すように、印刷画像色をCMYKによる構成された色空間とし、電子画像色を、RGBによる構成された色空間とする、電子画像と印刷画像との二つの色空間はほとんど重なっているが、相互に重なっていない部分もある、このような特性を利用して、携帯電話で贋商品を認識する仕組みを作ることが可能である。
ここで、元画像の色を(1101)とし、スキャンした画像を(1102)とすると、図8に示すように、スキャンした印刷画像が元画像と全く同じにならない特徴がある。
ただし、いくつかの修正方法により、スキャンで複写した印刷画像は、元の印刷画像に近いようにすることができる。特に肉眼、および従来の光学識別器などにより、原始画像をはっきり区別するのは困難である。どれが複写した画像なのかを判断しにくい、これは現在の全社会で解決できない難しい商品の偽造防止問題である。
具体的な方法は、光学識別器を用いて、印刷ラインに、複数でオリジナル印刷画像を識別したり、あるいは携帯電話で異なる環境の下で複数のオリジナル印刷画像を撮影したりすることであり、多確率尺度に基づいた自己組織の機械学習を用いて、オリジナル印刷画像の特徴ベクトルの確率情報を求める、ここで、確率情報とは、最大確率分布の特徴値と、最大確率尺度の値と、各特徴要素の最大確率分布値を含むことである。
次に、携帯で偽造画像を識別する処理ステップにおいて、携帯電話により認識された画像の各特徴要素のデータは、図7に示すように、多確率尺度に基づいた自己組織の機械学習により、最大確率の特徴値を得てから、感知層の各接点に入力し、感知層と神経層の間に、登録されたデータと超深層対抗学習を行い、ファジィ事象の確率測度の値を獲得し、神経層と脳皮質の信頼度を多確率尺度に基づいた自己組織の機械学習を行った後、最終的に脳皮質が読取った印刷画像に対し、偽造品かどうかを決める。
図9超深層線形回帰分析学習の処理フローチャート図
図9に示すように、超深層線形回帰分析学習の処理流れは、次のような6ステップになる:
初期化ステップS:まず、超深層線形回帰分析学習の対象データを、i番目の処理領域a(i)にあるデータ集合RD(i)に属する各々データ(x (i),y (i))∈RD(i)(j=1,2,…,q;i=1,2,…,Nmax−1)とし、i番目の処理領域a(i)におけるデータ密度をDns (i)とする。ここで、iを超深層線形回帰分析学習の回数のカウンター値とし、Nmaxを超深層線形回帰分析学習最大の回数とする。初期値は(x (0),y (0))∈RD(0)、Dns (0)、及び処理効果判断値Veff、初期処理領域a(0)である。
計算直線距離ステップS:処理領域a(i)にあるデータ(x (i),y (i))∈RD(i)に対して回帰分析の直線の計算は次のようになる:
ここで、i番目の従来の線形回帰分析を行った結果は、y(i)’をy(i)の平均値とし、x(i)’をx(i)の平均値とし、b(i)を線形回帰分析の斜率値とする。処理領域a(i)においてj番目データ(x (i),y (i))∈RD(i)(j=1,2,…,q)から線形回帰の直線への距離は次のようになる。
確率尺度に基づいた自己組織ステップS:上記図1及び図2における確率尺度に基づいた自己組織の処理に基づいて、(x (i),y (i))∈RD(i)から回帰分析直線距離までの距離をd (i)(j=1,2,…,q)とする、q個のd (i)に対して、確率尺度に基づいた自己組織処理を行う。
新しい領域の生成ステップS、上記ステップにより、確率尺度に基づいた自己組織の処理を行った最大確率値M(i)に基づいて、i回の線形回帰分析を行った回帰斜線を中心線として、両側に最大確率値以内のデータを保留し、最大確率値以外のデータを除去すると、新しい領域a(i+1)にある新しい超深層線形回帰分析学習の対象データ集合RD(i+1)が生成される。
ここで、i番目の処理領域a(i)におけるデータ密度をDns (i)とは、該当処理領域にあるデータの密度であり、例は、20*30画素の領域における300個画素の画像がある、データ密度
+1)−M(i)とすると,処理領域の増加する量、或は減少する量θの値は、黄金分割探索方法により決定すれば、最小繰り返し回数として超深層線形回帰分析学習の処理を行うことが可能である。
終了判断ステップS:次は超深層線形回帰分析学習の処理を終了したかどうか判断方法である、
また、
数24により、もし「N」になると、Sに移行する、その他「Y」になると、次の戻るステップSへ移行する。
戻るステップS:超深層線形回帰分析学習の処理は終了し、メインプログラムに戻る。
本発明で提出した超深層学習のニューラルネットワークでは、システムの重要な部分に対し、各々機械学習により分散処理を行う特殊機能を持っている。自動運転など産業向けAIシステムを応用することが可能である。また、新しい自動制御方式になった制御システムが期待できる。更に、感知層と神経層の接点、または機械学習の数が無限に増加していくことができるので、機械学習の性能もこれに応じて無限に高くになることも可能である。さらに、ハード環境にとって小さくても、大きてもアプリケーションに応じて、選択することも可能である。このような特徴により産業上のすべての分野に対してAIシステムの応用は可能になると言っても過言ではない。
確率分布における多確率尺度定義の示す図 多確率尺度に基づいた自己組織の機械学習のフローチャート図 ユークリッド空間と確率空間が統一された距離の定義の示す図 超深層競合学習を用いたパターン認識モデルの示す図 超深層競合学習を用いた最適な分類モデルの概略図 超深層競合学習を用いた最適な分類モデルの処理フローチャート図 超深層競合学習のニューラルネットワークモデルの概略図 携帯電話での偽造商品の識別における超深層競合学習の導入の概略図 超深層線形回帰分析学習の処理フローチャート図
符号の簡単な説明
101 確率空間の確率分布
102 確率分布の中心値
103 一番目の目盛り値
104 二番目の目盛り値
105 三番目の目盛り値
106 一番目の目盛り値103の領域
107 二番目の目盛り値103と104の間の領域
108 三番目の目盛り値104と105の間の領域
302 確率空間における確率分布の中心点w
303 確率空間における確率分布の多確率尺度の一番目の目盛M
304 確率空間における確率分布の多確率尺度の二番目の目盛M
305 確率空間における確率分布の多確率尺度の三番目の目盛M
309 ユークリッド空間にある要素v
310 ユークリッド空間にある要素v∈Vから確率分布の中心値w∈Wまでの間で任意の要素r∈R(j=1,2,…,n)
4000 識別対象ベクトル
4001 識別画像の特徴sv要素
4002 識別画像の特徴sv要素
4003 識別画像の特徴sv要素
400e 識別画像の特徴sv要素
4100 多確率尺度に基づいた自己組織化した特徴ベクトルデータFV
4200 多確率尺度に基づいた自己組織化した特徴ベクトルデータFV
4110 fv11の中心値
4111 特徴ベクトル集合FVに属する要素fv11の一番目の目盛
4112 fv11の二番目の目盛
4113 fv11の三番目の目盛
4120 fv12の中心値
4121 fv12の一番目の目盛
4122 fv12の二番目の目盛
4123 fv12の三番目の目盛
4130 fv13の中心値
4231 fv13の一番目の目盛
4232 fv13の二番目の目盛
4233 fv13の三番目の目盛
41e0 fv1eの中心値
41e1 fv1eの一番目の目盛
41e2 fv1eの二番目の目盛
41e3 fv1eの三番目の目盛
4210 fv21の中心値
4211 特徴ベクトル集合FVに属するfv21の一番目の目盛
4212 fv21の二番目の目盛
4213 fvの三番目の目盛
4220 fv22の中心値
4221 fv22の一番目の目盛
4222 fv22の二番目の目盛
4223 fv22の三番目の目盛
4230 fv23の中心値
4231 fv23の一番目の目盛
4232 fv23の二番目の目盛
4233 fv23の三番目の目盛
42e0 fv2eの中心値
42e1 fv2eの一番目の目盛
42e2 fv2eの二番目の目盛
42e3 fv2eの三番目の目盛
500 502と510の2つの確率分布の中心が接続された直線上にある要素r∈R(j=1,2,…,n)
501 確率空間を含むユークリッド空間
502 確率分布520の中心値
503 確率分布520の一番目の目盛
504 確率分布520の二番目の目盛
505 確率分布520の三番目の目盛
506 確率分布520の一番目の目盛領域にある確率分布値をp1j
507 確率分布520の一番目の目盛領域にある確率分布値をp2j
508 確率分布520の一番目の目盛領域にある確率分布値をp3j
510 確率分布530の中心値
511 確率分布530の一番目の目盛
512 確率分布530の二番目の目盛り
513 確率分布530の三番目の目盛
514 確率分布530の一番目の目盛領域にある確率分布値p1j
515 確率分布530の二番目の目盛領域にある確率分布値をp2j
516 確率分布530の三番目の目盛領域にある確率分布値をp3j
501 520と530確率空間を含むユークリッド空間
500 502と510との2つの確率分布の中心が接続された直線上にある要素r∈R(j=1,2,…,n)
801 感知対象になった画像の空間写像
802と803 それぞれ2種類の画像の空間写像
804 画像801の局所領域
805 感知対象と感知層との間に接続された多確率尺度に基づいた自己組織という機械学習ユニット
806 新しいニューラルネットワークの感知層
807 新しいニューラルの感知層の接点
808 感知層と神経層の間で接続された超深層競合学習能力を持つ確率尺度に基づいた自己組織の機械学習ユニット
809 データベース
810 新しいニューラルの神経層
811 感知層の各々接点に対応した新しいニューラルネットワークの神経層の接点
812 脳皮層と神経層との間では接続された確率尺度に基づいた自己組織という機械学習ユニット
813 脳皮層神経層との間のデータベース
814 新しいニューラルの脳皮層
815 脳皮層接点
1101 元画像の色
1102 スキャンした後の画像の色

Claims (7)

  1. 異なる空間におけるファジィ事象確率測度のモデルの構築方法であって、少なくとも次のような1つの特徴を備えている:
    (1)ファジィ事象確率測度の値は、2種類以上の異なる空間が統一された距離と関係している、或は
    (2)微小の曖昧なファジィ情報と微小の不安定な確率情報から、積分することにより、マクロレベルで安定な情報を獲得したことである、或は
    (3)ファジィ事象確率測度の値は、その起点、或は終点が、確率分布の範囲にある場合に、その位置の確率分布値に関係していることである。
  2. 上記曖昧なファジィ情報を、ユークリッド空間と確率空間とが統一された距離に基づいた曖昧情報をとする、或は対称性、或は三角不等式を満たす距離とすることを特徴とする請求1に記載の異なる空間におけるファジィ事象確率測度のモデルの構築方法。
  3. 上記確率情報を、データの一方的、若しくはデータ間で互いに、確率空間での確率分布の領域にある場合に、その領域の確率分布値とする、或はデータ間で、確率空間を通過するすべての領域にある各々確率分布値とすることを特徴とする請求1に記載の異なる空間におけるファジィ事象確率測度のモデルの構築方法。
  4. 上記異なる空間を、ユークリッド空間と確率空間とすることを特徴とする請求1に記載の異なる空間におけるファジィ事象確率測度のモデルの構築方法。
  5. 異なる空間におけるファジィ事象確率測度のモデルの構築装置であって、少なくとも次のような1つの特徴を備えている:
    (1)ファジィ事象確率測度の値は、2種類以上の異なる空間が統一された距離と関係しているモジュール、或は
    (2)微小の曖昧なファジィ情報と微小の不安定な確率情報から、積分することにより、マクロレベルで安定な情報を獲得したモジュール、或は
    (3)ファジィ事象確率測度の値は、その起点、或は終点が、確率分布の範囲にある場合に、その位置の確率分布値に関係しているモジュールを備えたことを特徴とする。
  6. 上述の異なる空間におけるファジィ事象確率測度のモデルが構成されたプログラムである。
  7. 上述の異なる空間におけるファジィ事象確率測度モデルが構成されたプログラムが搭載された汎用モバイル端末装置である。
JP2018047268A 2017-02-27 2018-02-27 異なる空間におけるファジィ事象確率測度のモデルの構築方法、その装置、及びそのプログラム、及びそのブログラムが搭載された汎用モバイル端末装置 Active JP6998562B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710123102.6 2017-02-27
CN201710123102.6A CN108510070A (zh) 2017-02-27 2017-02-27 一种穿越不同空间的模糊事件概率测度值的获得方法

Publications (2)

Publication Number Publication Date
JP2018142326A true JP2018142326A (ja) 2018-09-13
JP6998562B2 JP6998562B2 (ja) 2022-01-18

Family

ID=63373369

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018047268A Active JP6998562B2 (ja) 2017-02-27 2018-02-27 異なる空間におけるファジィ事象確率測度のモデルの構築方法、その装置、及びそのプログラム、及びそのブログラムが搭載された汎用モバイル端末装置

Country Status (2)

Country Link
JP (1) JP6998562B2 (ja)
CN (1) CN108510070A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020059497A (ja) * 2018-10-11 2020-04-16 澤蒼 顧 「機知獲得」モデルを導入した自動運転の制御方法、装置及びそれによって構成されるプログラム
CN111192221A (zh) * 2020-01-07 2020-05-22 中南大学 基于深度卷积生成对抗网络的铝电解火眼图像修补方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014524629A (ja) * 2011-08-19 2014-09-22 ハートフォード スチーム ボイラー インスペクション アンド インシュアランス カンパニー 動的外れ値偏り低減システム及び方法
JP2015057687A (ja) * 2013-08-12 2015-03-26 株式会社アポロジャパン 画像情報のコード変換装置、画像情報のコード変換方法、画像コードを用いた画像関連情報提供システム、画像情報のコード変換プログラム、及びそのプログラムを記録した記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014524629A (ja) * 2011-08-19 2014-09-22 ハートフォード スチーム ボイラー インスペクション アンド インシュアランス カンパニー 動的外れ値偏り低減システム及び方法
JP2015057687A (ja) * 2013-08-12 2015-03-26 株式会社アポロジャパン 画像情報のコード変換装置、画像情報のコード変換方法、画像コードを用いた画像関連情報提供システム、画像情報のコード変換プログラム、及びそのプログラムを記録した記録媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020059497A (ja) * 2018-10-11 2020-04-16 澤蒼 顧 「機知獲得」モデルを導入した自動運転の制御方法、装置及びそれによって構成されるプログラム
CN111192221A (zh) * 2020-01-07 2020-05-22 中南大学 基于深度卷积生成对抗网络的铝电解火眼图像修补方法
CN111192221B (zh) * 2020-01-07 2024-04-16 中南大学 基于深度卷积生成对抗网络的铝电解火眼图像修补方法

Also Published As

Publication number Publication date
JP6998562B2 (ja) 2022-01-18
CN108510070A (zh) 2018-09-07

Similar Documents

Publication Publication Date Title
JP2018142323A (ja) 超深層競合学習のニューラルネットワークモデルの構築方法、その装置、及びそのモデルが搭載された汎用モバイル端末装置、及びそのプログラム
JP6998560B2 (ja) 異なる空間における距離のモデルの構築方法、その装置、及びそのプログラム、及びそのモデルを構成したプログラムが搭載された汎用モバイル端末装置
JP2018142325A (ja) 超深層回帰分析の機械学習モデルの構築方法、その装置、及びそのプログラム、及びそのプログラムが搭載された汎用モバイル端末装置
CN108416394B (zh) 基于卷积神经网络的多目标检测模型构建方法
US7587064B2 (en) Active learning system for object fingerprinting
CN111126482B (zh) 一种基于多分类器级联模型的遥感影像自动分类方法
Zhou et al. Self-supervised learning method for unstructured road detection using fuzzy support vector machines
CN108985236B (zh) 一种基于深度化可分离卷积模型的人脸识别方法
US8452078B2 (en) System and method for object recognition and classification using a three-dimensional system with adaptive feature detectors
Vu et al. Parking space status inference upon a deep CNN and multi-task contrastive network with spatial transform
CN107704859A (zh) 一种基于深度学习训练框架的文字识别方法
CN107784284B (zh) 人脸识别方法及系统
JP2018142326A (ja) 異なる空間におけるファジィ事象確率測度のモデルの構築方法、その装置、及びそのプログラム、及びそのブログラムが搭載された汎用モバイル端末装置
CN110852292B (zh) 一种基于跨模态多任务深度度量学习的草图人脸识别方法
CN114973031A (zh) 一种无人机视角下的可见光-热红外图像目标检测方法
CN112949500A (zh) 一种基于空间特征编码改进的YOLOv3车道线检测方法
Rodriguez-Serrano et al. Data-driven detection of prominent objects
Jamshidi et al. Modeling multivariate time series on manifolds with skew radial basis functions
Mahenge et al. Robust deep representation learning for road crack detection
Promsuk et al. Numerical Reader System for Digital Measurement Instruments Embedded Industrial Internet of Things.
Cao et al. A multi-label classification method for vehicle video
Gressmann et al. Pedestrian localization
Sun Facial expression classification using R-CNN based methods
Liu et al. Multiscope contextual information for saliency prediction
Ummadisetti et al. Character level vehicle license detection using multi layered feed forward back propagation neural network

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211026

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211206

R150 Certificate of patent or registration of utility model

Ref document number: 6998562

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250