JP2023078763A - Classification device configured to execute classification processing using machine learning model, method, and computer program - Google Patents
Classification device configured to execute classification processing using machine learning model, method, and computer program Download PDFInfo
- Publication number
- JP2023078763A JP2023078763A JP2021192033A JP2021192033A JP2023078763A JP 2023078763 A JP2023078763 A JP 2023078763A JP 2021192033 A JP2021192033 A JP 2021192033A JP 2021192033 A JP2021192033 A JP 2021192033A JP 2023078763 A JP2023078763 A JP 2023078763A
- Authority
- JP
- Japan
- Prior art keywords
- class
- machine learning
- data
- dummy
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 182
- 238000012545 processing Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000004590 computer program Methods 0.000 title claims description 12
- 238000012549 training Methods 0.000 claims abstract description 62
- 239000013598 vector Substances 0.000 claims description 138
- 238000001228 spectrum Methods 0.000 claims description 79
- 210000002569 neuron Anatomy 0.000 claims description 45
- 230000008569 process Effects 0.000 claims description 25
- 238000013528 artificial neural network Methods 0.000 claims description 23
- 230000004913 activation Effects 0.000 claims description 15
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 description 39
- 238000010586 diagram Methods 0.000 description 28
- 239000002775 capsule Substances 0.000 description 15
- 230000006870 function Effects 0.000 description 15
- 238000010606 normalization Methods 0.000 description 11
- 230000008901 benefit Effects 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 7
- 238000002360 preparation method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000010365 information processing Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 101100083446 Danio rerio plekhh1 gene Proteins 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本開示は、機械学習モデルを用いてクラス分類処理を実行するクラス分類装置、方法、及び、コンピュータープログラムに関する。 The present disclosure relates to a classifying device, method, and computer program that perform classifying processing using a machine learning model.
特許文献1,2には、ベクトルニューロンを用いるベクトルニューラルネットワーク型の機械学習モデルとして、カプセルネットワークと呼ばれるものが開示されている。ベクトルニューロンとは、入出力がベクトルであるニューロンを意味する。カプセルネットワークは、カプセルと呼ばれるベクトルニューロンをネットワークのノードとする機械学習モデルである。カプセルネットワークなどのベクトルニューラルネットワーク型の機械学習モデルは、入力データのクラス分類に利用することができる。
しかしながら、従来技術では、未知と判別されるべき被分類データに関するクラス分類結果が既知クラスと誤判定される場合があるため、クラス分類処理の精度を高めたいという要望があった。 However, in the prior art, there are cases where the class classification result of data to be classified that should be determined as unknown is erroneously determined to be a known class, so there has been a demand to improve the accuracy of class classification processing.
本開示の第1の形態によれば、複数のベクトルニューロン層を有するベクトルニューラルネットワークを含む機械学習モデルを用いて被分類データのクラス分類処理を実行するクラス分類装置が提供される。このクラス分類装置は、前記クラス分類処理を実行するクラス分類処理部を備える。前記機械学習モデルは、1個以上の既知クラスと、1個以上のダミークラスと、を有し、前記機械学習モデルは、前記既知クラスのための第1教師データ群と、前記ダミークラスのための第2教師データ群とを用いて学習が実行されている。前記クラス分類処理部は、前記機械学習モデルを用いた前記被分類データのクラス分類結果が前記ダミークラスである場合に、前記被分類データのクラスを未知と判定する。 According to a first aspect of the present disclosure, there is provided a classifying device that performs classifying processing of data to be classified using a machine learning model including a vector neural network having a plurality of vector neuron layers. This class classification device includes a class classification processing unit that executes the class classification process. The machine learning model has one or more known classes and one or more dummy classes, and the machine learning model includes a first training data group for the known classes and a set of dummy classes for the dummy classes. Learning is executed using the second teacher data group of . The class classification processing unit determines that the class of the data to be classified is unknown when the class classification result of the data to be classified using the machine learning model is the dummy class.
本開示の第2の形態によれば、複数のベクトルニューロン層を有するベクトルニューラルネットワークを含む機械学習モデルを用いて被分類データのクラス分類処理を実行する方法が提供される。この方法は、(a)前記機械学習モデルに前記被分類データを入力してクラス分類結果を求める工程であって、前記機械学習モデルは、1個以上の既知クラスと、1個以上のダミークラスと、を有し、前記機械学習モデルは、前記既知クラスのための第1教師データ群と、前記ダミークラスのための第2教師データ群とを用いて学習が実行されている、工程と、(b)前記クラス分類結果が前記ダミークラスである場合に、前記被分類データのクラスを未知と判定する工程と、を含む。 According to a second aspect of the present disclosure, a method is provided for performing class classification processing of data to be classified using a machine learning model including a vector neural network having multiple vector neuron layers. This method includes (a) a step of inputting the data to be classified into the machine learning model to obtain a classification result, wherein the machine learning model includes one or more known classes and one or more dummy classes. and wherein the machine learning model is trained using a first training data group for the known class and a second training data group for the dummy class; (b) determining the class of the data to be classified as unknown when the class classification result is the dummy class;
本開示の第3の形態によれば、複数のベクトルニューロン層を有するベクトルニューラルネットワークを含む機械学習モデルを用いて被分類データのクラス分類処理をプロセッサーに実行させるコンピュータープログラムが提供される。このコンピュータープログラムは、(a)前記機械学習モデルに前記被分類データを入力してクラス分類結果を求める処理であって、前記機械学習モデルは、1個以上の既知クラスと、1個以上のダミークラスと、を有し、前記機械学習モデルは、前記既知クラスのための第1教師データ群と、前記ダミークラスのための第2教師データ群とを用いて学習が実行されている、処理と、(b)前記クラス分類結果が前記ダミークラスである場合に、前記被分類データのクラスを未知と判定する処理と、を前記プロセッサーに実行させる。 According to a third aspect of the present disclosure, there is provided a computer program that causes a processor to perform class classification processing of data to be classified using a machine learning model that includes a vector neural network having multiple vector neuron layers. This computer program includes (a) a process of inputting the data to be classified into the machine learning model to obtain a classification result, wherein the machine learning model includes one or more known classes and one or more dummy classes. a class, wherein the machine learning model is trained using a first training data group for the known class and a second training data group for the dummy class; and (b) determining the class of the data to be classified as unknown when the class classification result is the dummy class.
A.第1実施形態:
図1は、第1実施形態におけるクラス分類システムを示すブロック図である。このクラス分類システムは、情報処理装置100と、カメラ400とを備える。カメラ400は、分類対象品の画像を撮影するためのものである。カメラ400としては、カラー画像を撮影するカメラを用いても良く、或いは、モノクロ画像や分光画像を撮影するカメラを用いても良い。本実施形態では、カメラ400で撮影された画像を教師データや被分類データとして使用するが、画像以外のデータを教師データや被分類データとして使用してもよい。この場合には、カメラ400の代わりに、データの種類に応じた被分類データ取得装置が使用される。
A. First embodiment:
FIG. 1 is a block diagram showing a class classification system according to the first embodiment. This class classification system includes an
情報処理装置100は、プロセッサー110と、メモリー120と、インターフェイス回路130と、インターフェイス回路130に接続された入力デバイス140及び表示デバイス150と、を有している。インターフェイス回路130には、カメラ400も接続されている。限定されないが例えば、プロセッサー110は、以下で詳述される処理を実行する機能を有するだけでなく、表示デバイス150に、当該処理によって得られるデータ、および当該処理の過程で生成されるデータを表示する機能も有する。
The
プロセッサー110は、機械学習モデルの学習を実行する学習実行部112、及び、被分類データのクラス分類処理を実行するクラス分類処理部114として機能する。クラス分類処理部114は、類似度演算部310とクラス判別部320とを含む。学習実行部112とクラス分類処理部114は、メモリー120に格納されたコンピュータープログラムをプロセッサー110が実行することによってそれぞれ実現される。但し、学習実行部112やクラス分類処理部114をハードウェア回路で実現してもよい。本開示のプロセッサーは、このようなハードウェア回路をも含む用語である。また、学習処理やクラス分類処理を実行する1つまたは複数のプロセッサーは、ネットワークを介して接続された1つまたは複数のリモートコンピューターに含まれるプロセッサーであってもよい。
The
メモリー120には、機械学習モデル200と、既知クラス用の第1教師データ群TD1と、ダミークラス用の第2教師データ群TD2と、既知特徴スペクトル群GKSpと、が格納される。機械学習モデル200は、クラス分類処理部114による処理に使用される。機械学習モデル200の構成例や動作については後述する。教師データ群TD1,TD2は、機械学習モデル200の学習に使用されるラベル付きのデータの集合である。本実施形態では、教師データ群TD1,TD2は画像データの集合である。既知特徴スペクトル群GKSpは、学習済みの機械学習モデル200に教師データを再度入力した際に得られる特徴スペクトルの集合である。特徴スペクトルについては後述する。
The
図2は、機械学習モデル200の構成を示す説明図である。この機械学習モデル200は、入力層210と、中間層280と、出力層260とを有している。中間層280は、畳み込み層220と、プライマリーベクトルニューロン層230と、第1畳み込みベクトルニューロン層240と、第2畳み込みベクトルニューロン層250と、を含む。出力層260を、「分類ベクトルニューロン層260」とも呼ぶ。これらの層のうち、入力層210が最も下位の層であり、出力層260が最も上位の層である。以下の説明では、中間層280と出力層260の各層を、それぞれ「Conv層220」、「PrimeVN層230」、「ConvVN1層240」、「ConvVN2層250」、「ClassVN層260」と呼ぶ。
FIG. 2 is an explanatory diagram showing the configuration of the
図2の例では2つの畳み込みベクトルニューロン層240,250を用いているが、畳み込みベクトルニューロン層の数は任意であり、畳み込みベクトルニューロン層を省略してもよい。但し、1つ以上の畳み込みベクトルニューロン層を用いることが好ましい。
Although two convolution
入力層210には、32×32画素のサイズの画像が入力される。入力層210以外の各層の構成は、以下のように記述できる。
・Conv層220:Conv[32,4,2]
・PrimeVN層230:PrimeVN[16,1,1]
・ConvVN1層240:ConvVN1[12,3,2]
・ConvVN2層250:ConvVN2[8,4,1]
・ClassVN層260:ClassVN[M,4,1]
・ベクトル次元VD:VD=16
これらの各層の記述において、括弧前の文字列はレイヤー名であり、括弧内の数字は、順に、チャンネル数、カーネルの表面サイズ、及び、ストライドである。例えば、Conv層220のレイヤー名は「Conv」であり、チャンネル数は32、カーネルの表面サイズは4×4、ストライドは2である。図2では、各層の下にこれらの記述が示されている。各層の中に描かれているハッチングを付した矩形は、隣接する上位層の出力ベクトルを算出する際に使用されるカーネルの表面サイズを表している。本実施形態では、入力データが画像データなので、カーネルの表面サイズも2次元である。なお、各層の記述で用いたパラメーターの値は例示であり、任意に変更可能である。
An image having a size of 32×32 pixels is input to the
Conv layer 220: Conv[32,4,2]
- PrimeVN layer 230: PrimeVN[16,1,1]
ConvVN1 layer 240: ConvVN1[12,3,2]
ConvVN2 layer 250: ConvVN2[8,4,1]
ClassVN layer 260: ClassVN[M,4,1]
・Vector dimension VD: VD=16
In the description of each of these layers, the string before parentheses is the layer name, and the numbers inside the parentheses are the number of channels, surface size of the kernel, and stride, respectively. For example, the layer name of the
入力層210とConv層220は、スカラーニューロンで構成された層である。他の層230~260は、ベクトルニューロンで構成された層である。ベクトルニューロンは、ベクトルを入出力とするニューロンである。上記の記述では、個々のベクトルニューロンの出力ベクトルの次元は16で一定である。以下では、スカラーニューロン及びベクトルニューロンの上位概念として「ノード」という語句を使用する。
The
図2では、Conv層220について、ノード配列の平面座標を規定する第1軸x及び第2軸yと、奥行きを表す第3軸zとが示されている。また、Conv層220のx,y,z方向のサイズが15,15,32であることが示されている。x方向のサイズとy方向のサイズを「解像度」と呼ぶ。z方向のサイズは、チャンネル数である。これらの3つの軸x,y,zは、他の層においても各ノードの位置を示す座標軸として使用する。但し、図2では、Conv層220以外の層では、これらの軸x,y,zの図示が省略されている。
In FIG. 2, for the
よく知られているように、畳み込み後の解像度W1は、次式で与えられる。
W1=Ceil{(W0-Wk+1)/S} (A1)
ここで、W0は畳み込み前の解像度、Wkはカーネルの表面サイズ、Sはストライド、Ceil{X}はXの小数点以下を切り上げる演算を行う関数である。
図2に示した各層の解像度は、入力データの解像度を32とした場合の例であり、実際の各層の解像度は入力データのサイズに応じて適宜変更される。
As is well known, the resolution W1 after convolution is given by the following equation.
W1=Ceil{(W0-Wk+1)/S} (A1)
Here, W0 is the resolution before convolution, Wk is the surface size of the kernel, S is the stride, and Ceil{X} is a function for rounding up the decimal part of X.
The resolution of each layer shown in FIG. 2 is an example when the resolution of the input data is 32, and the actual resolution of each layer is appropriately changed according to the size of the input data.
ClassVN層260は、M個のチャンネルを有している。Mは、機械学習モデル200を用いて判別可能なクラスの数である。本実施形態において、Mは、2以上の整数である。ClassVN層260のM個のチャンネルからは、M個のクラスに対する判定値Class_1~Class_Mが出力される。典型的には、これらの判定値Class_1~Class_Mのうちで最も大きな値を有するクラスが、被分類データの該当クラスと判定される。また、判定値Class_1~Class_Mのうちで最も大きな値が予め定められた閾値未満である場合には、被分類データのクラスが未知であると判定することも可能である。
The
図2では、更に、各層220,230,240,250,260における部分領域Rnが描かれている。部分領域Rnの添え字「n」は、各層の符号である。例えば、部分領域R220は、Conv層220における部分領域を示す。「部分領域Rn」とは、各層において、第1軸xの位置と第2軸yとの位置で規定される平面位置(x,y)で特定され、第3軸zに沿った複数のチャンネルを含む領域である。部分領域Rnは、第1軸x、第2軸y、および第3軸zに対応する「Width」×「Height」×「Depth」の次元を有する。本実施形態では、1つの「部分領域Rn」に含まれるノードの数は「1×1×デプス数」、すなわち「1×1×チャンネル数」である。
In FIG. 2, partial regions Rn in each
図2に示すように、ConvVN2層250の出力から、後述する特徴スペクトルSpが算出されて、類似度演算部310に入力される。類似度演算部310は、この特徴スペクトルSpと、予め作成されていた既知特徴スペクトル群GKSpとを用いて、後述するクラス別の類似度を算出する。このクラス別の類似度を用いて被分類データの該当クラスを決定することも可能である。
As shown in FIG. 2 , a feature spectrum Sp, which will be described later, is calculated from the output of the
本開示において、類似度の算出に使用されるベクトルニューロン層を、「特定層」とも呼ぶ。特定層としては、ConvVN2層250以外のベクトルニューロン層を用いてもよく、1つ以上の任意の数のベクトルニューロン層を使用可能である。なお、特徴スペクトルの構成と、特徴スペクトルを用いた類似度の演算方法については後述する。
In the present disclosure, the vector neuron layer used for similarity calculation is also called "specific layer". A vector neuron layer other than the
図3は、第1実施形態における機械学習モデル200のクラス構成を示す説明図である。被分類データDiのクラス分類処理は、1個の機械学習モデル200を用いて実行される。第1実施形態において、機械学習モデル200のM個のクラスは、M-1個の既知クラスと、1個のダミークラスとで構成されている。すなわち、M個のクラスの判定値Class_1~Class_Mは、M-1個の既知クラスの判定値Known_1~Known_Mkと、1個のダミークラスの判定値Dummy_1とで構成されている。ここで、Mk=M-1である。Mは2以上の整数なので、既知クラスの個数M-1は1以上である。なお、ダミークラスの数をmとしたとき、mは1でもよいが、2以上としてもよい。
FIG. 3 is an explanatory diagram showing the class configuration of the
図4は、機械学習モデルの準備工程の処理手順を示すフローチャートである。ステップS110では、学習実行部112が、カメラ400を用いて複数のサンプルを撮影することによって、複数のサンプル画像を生成する。ステップS120では、学習実行部112が、サンプル画像に対して前処理を適用してパッチ画像を作成する。前処理としては、例えば、解像度調整や、データの正規化(min-max normalization)等の処理を利用可能である。
FIG. 4 is a flow chart showing the processing procedure of the machine learning model preparation process. In step S110, the
図5は、サンプル画像からパッチ画像を作成する様子を示す説明図である。ここでは、サンプル画像SDから、サイズの小さな複数のパッチ画像PDを切り出している。この例では、サンプル画像SDを、破線で示す分割線によって複数のパッチ画像PDに分割した例を示している。これらの個々のパッチ画像PDがそれぞれ教師データ用の画像として使用される。なお、パッチ画像PDの切り出し位置のストライドをパッチ画像PDの一辺のサイズよりも小さくすることによって、1枚のサンプル画像SDからより多数のパッチ画像PDを抽出するようにしてもよい。本開示では、サンプル画像SDを「サンプルデータSD」とも呼び、パッチ画像PDを「パッチデータPD」とも呼ぶ。なお、パッチ画像PDの抽出を行わずに、サンプル画像SDをそのまま教師データ用の画像として使用してもよい。 FIG. 5 is an explanatory diagram showing how a patch image is created from a sample image. Here, a plurality of small-sized patch images PD are cut out from the sample image SD. This example shows an example in which the sample image SD is divided into a plurality of patch images PD by dividing lines indicated by dashed lines. Each of these individual patch images PD is used as an image for teacher data. A larger number of patch images PD may be extracted from one sample image SD by setting the stride of the clipping position of the patch image PD smaller than the size of one side of the patch image PD. In this disclosure, the sample image SD is also called "sample data SD", and the patch image PD is also called "patch data PD". Note that the sample image SD may be used as it is as the image for the teacher data without extracting the patch image PD.
本実施形態では、1枚のサンプル画像SDから抽出された複数のパッチ画像PDが、1つのクラスに属する画像群として使用される。図3に示した機械学習モデル200では既知クラスの数がMk個なので、ステップS110ではMk個のサンプル画像SDが撮影され、ステップS120では個々のサンプル画像SDから複数のパッチ画像PDがそれぞれ抽出される。
In this embodiment, a plurality of patch images PD extracted from one sample image SD are used as an image group belonging to one class. Since the number of known classes is Mk in the
ステップS130では、学習実行部112が、パッチ画像PDにラベルを割り当てることによって、既知クラス用の第1教師データ群TD1を作成する。本実施形態では、Mk個のラベル1~Mkのいずれかを個々のパッチ画像PDにそれぞれ割り当てることによって、Mk個の教師データ群を作成する。これらのラベルは、図3に示した機械学習モデル200のMk個の既知クラスKnown_1~Known_Mkに対応している。本開示において、「ラベル」と「クラス」は同じものを意味する。
In step S130, the learning
ステップS140では、学習実行部112が、ダミークラス用の第2教師データ群TD2を作成する。図3に示した機械学習モデル200では、ダミークラスの数が1個であり、そのダミークラスDummy_1のための第2教師データ群TD2が作成される。第2教師データ群TD2は、既知クラスのクラス分類の精度を高めることができるように作成される。このため、第2教師データ群TD2に含まれる画像は、第1教師データ群TD1に含まれる画像の特徴を有さないものとして作成されることが好ましい。具体的には、例えば、0~9の数字を既知クラスとして設定して、手書きの数字をクラス分類する場合を想定する。この場合に、ダミークラス用の第2教師データ群TD2の画像としては、アルファベットなどの手書きの文字の画像を使用することができる。こうすれば、手書きの数字を0~9のクラスのいずれかに正しく分類できるとともに、手書きの文字を数字と誤判別することを防止できるので、手書き数字の分類精度を高めることが可能である。ダミークラスの効果としては、更に、学習データのバリエーションを増やすことで、機械学習モデル200が入力データの違いを見分ける能力が向上する、という効果が期待できる。つまり、ダミークラスに含まれていない入力データ、例えば、アルファベット以外のギリシャ文字や記号など、についても、未知であると判別する性能が向上する。
At step S140, the learning
ステップS150では、学習実行部112が、既知クラス用の第1教師データ群TD1とダミークラス用の第2教師データ群TD2を用いて機械学習モデル200の学習を実行する。学習が終了すると、学習済みの機械学習モデル200がメモリー120に保存される。
In step S150, the learning
ステップS160では、学習実行部112が、学習済みの機械学習モデル200に複数の教師データを再度入力して、既知特徴スペクトル群GKSpを生成する。既知特徴スペクトル群GKSpは、以下で説明する特徴スペクトルの集合である。
In step S160, the learning
図6は、学習済みの機械学習モデル200に任意の入力データを入力することによって得られる特徴スペクトルSpを示す説明図である。図2に示したように、本実施形態では、特徴スペクトルSpがConvVN2層250の出力から作成される。図6の横軸は、ConvVN2層250の1つの部分領域R250に含まれる複数のノードの出力ベクトルに関するベクトル要素の位置である。このベクトル要素の位置は、各ノードにおける出力ベクトルの要素番号NDと、チャンネル番号NCとの組み合わせで表される。本実施形態では、ベクトル次元が16(各ノードが出力する出力ベクトルの要素の数)なので、出力ベクトルの要素番号NDは0から15までの16個である。また、ConvVN2層250のチャンネル数は8なので、チャンネル番号NCは0から7までの8個である。換言すれば、この特徴スペクトルSpは、1つの部分領域R250に含まれる各ベクトルニューロンの出力ベクトルの複数の要素値を、第3軸zに沿った複数のチャンネルにわたって配列したものである。
FIG. 6 is an explanatory diagram showing a feature spectrum Sp obtained by inputting arbitrary input data to the learned
図6の縦軸は、各スペクトル位置での特徴値CVを示す。この例では、特徴値CVは、出力ベクトルの各要素の値VNDである。特徴値CVについては、平均値0へセンタリングするなどの統計処理を行ってもよい。なお、特徴値CVとしては、出力ベクトルの各要素の値VNDと、後述する正規化係数とを乗算した値を使用してもよく、或いは、正規化係数をそのまま使用してもよい。後者の場合には、特徴スペクトルSpに含まれる特徴値CVの数はチャンネル数に等しく、8個である。なお、正規化係数は、そのノードの出力ベクトルのベクトル長さに相当する値である。
The vertical axis in FIG. 6 indicates the feature value CV at each spectral position. In this example, the feature value CV is the value VND of each element of the output vector. Statistical processing such as centering to the
1つの入力データに対してConvVN2層250の出力から得られる特徴スペクトルSpの数は、ConvVN2層250の平面位置(x,y)の数、すなわち、部分領域R250の数に等しいので、16個である。
The number of feature spectra Sp obtained from the output of the
学習実行部112は、学習済みの機械学習モデル200に教師データを再度入力し、図6に示す特徴スペクトルSpを算出して、既知特徴スペクトル群GKSpとしてメモリー120に登録する。
The learning
図7は、既知特徴スペクトル群GKSpの構成を示す説明図である。この例では、ConvVN2層250の出力から得られた既知特徴スペクトル群GKSpが示されている。なお、既知特徴スペクトル群GKSpとしては、少なくとも1つのベクトルニューロン層の出力から得られたものが登録されていればよく、ConvVN1層240やClassVN層260の出力から得られた既知特徴スペクトル群が登録されるようにしてもよい。
FIG. 7 is an explanatory diagram showing the configuration of the known feature spectrum group GKSp. In this example, the set of known feature spectra GKSp obtained from the output of
既知特徴スペクトル群GKSpの個々のレコードは、ラベルまたはクラスの順序を示すパラメーターiと、層内の部分領域Rnの順序を示すパラメーターkと、データ番号を示すパラメーターqと、既知特徴スペクトルKSpとを含んでいる。既知特徴スペクトルKSpは、図6の特徴スペクトルSpと同じものである。 Each record of the known feature spectrum group GKSp has a parameter i indicating the order of labels or classes, a parameter k indicating the order of subregions Rn in the layer, a parameter q indicating the data number, and a known feature spectrum KSp. contains. The known feature spectrum KSp is the same as the feature spectrum Sp in FIG.
クラスのパラメーターiは、1~Mの値を取る。部分領域Rnのパラメーターkは、特定層に含まれる複数の部分領域Rnのいずれであるか、すなわち、平面位置(x,y)のいずれであるかを示す値を取る。ConvVN2層250については部分領域R250の数が16個なので、k=1~16である。データ番号のパラメーターqは、同じラベルが付された教師データの番号を示しており、クラス1については1~max1,クラスMについては1~maxMの値を取る。
The class parameter i takes values from 1 to M. The parameter k of the partial region Rn takes a value indicating which of the plurality of partial regions Rn included in the specific layer, that is, which plane position (x, y). Since the
ステップS160で使用される複数の教師データは、ステップS150で使用された複数の教師データと同じものである必要は無い。但し、ステップS160においても、ステップS150で使用された複数の教師データの一部又は全部を利用すれば、新たな教師データを準備する必要が無いという利点がある。 The plurality of teacher data used in step S160 need not be the same as the plurality of teacher data used in step S150. However, even in step S160, if some or all of the multiple teaching data used in step S150 are used, there is an advantage that there is no need to prepare new teaching data.
図8は、学習済みの機械学習モデル200を用いたクラス分類工程の処理手順を示すフローチャートである。ステップS210では、クラス分類処理部114が、カメラ400を用いて分類対象品を撮影することによって、被分類データを生成する。ステップS220では、クラス分類処理部114が、必要に応じて被分類データに対して前処理を実行する。この前処理は、図4のステップS120で実行された前処理と同じものを適用することが好ましい。前処理後の被分類データは、図5に示したパッチ画像PDと同じサイズの画像として作成される。なお、前処理は省略可能である。ステップS230では、クラス分類処理部114が、学習済みの機械学習モデル200と、既知特徴スペクトル群GKSpとをメモリー120から読み出す。
FIG. 8 is a flow chart showing the processing procedure of the class classification process using the learned
ステップS240では、クラス分類処理部114が、機械学習モデル200に被分類データを入力する。ステップS250では、クラス分類処理部114が、特定層であるConvVN2層250の出力を用いて、図6に示した特徴スペクトルSpを求める。ステップS260では、類似度演算部310が、ステップS250で得られた特徴スペクトルSpと、図7に示した既知特徴スペクトル群GKSpとを用いて類似度を算出する。類似度としては、クラス別の類似度と、クラスを考慮しない最大類似度と、のいずれかを使用可能である。
In step S<b>240 , the class
クラス別の類似度S(Class)は、例えば次式を用いて算出できる。
S(Class)=max[G{Sp,KSp(Class,k)}] (A2)
ここで、”Class”はクラスに対する序数、G{a,b}はaとbの類似度を求める関数、Spは被分類データに応じて得られる特徴スペクトル、KSp(Class,k)は、特定の”Class”に関連付けられたすべての既知特徴スペクトル、kは既知特徴スペクトルの序数、max[X]はXの最大値を取る論理演算を示す。類似度を求める関数G{a,b}としては、例えば、コサイン類似度や、ユークリッド距離等の距離を用いた類似度を使用可能である。類似度S(Class)は、特徴スペクトルSpと、特定のクラスに対応するすべての既知特徴スペクトルKSp(Class,k)のそれぞれとの間で算出された類似度のうちの最大値である。このような類似度S(Class)は、M個のクラスのそれぞれに対して求められる。類似度S(Class)は、被分類データが、各クラスの特徴に類似している程度を表している。この類似度S(Class)は、被分類データのクラス分類結果に関する説明情報としても使用することができる。クラス別の類似度の他の計算方法については後述する。
The similarity S(Class) for each class can be calculated using, for example, the following equation.
S(Class)=max[G{Sp,KSp(Class,k)}] (A2)
Here, "Class" is the ordinal number for the class, G {a, b} is a function for obtaining the similarity between a and b, Sp is the feature spectrum obtained according to the data to be classified, KSp (Class, k) is the specific , k is the ordinal number of the known feature spectrum, and max[X] is the logical operation that takes the maximum value of X. As the function G{a,b} for obtaining the similarity, for example, a cosine similarity or a similarity using a distance such as the Euclidean distance can be used. The similarity S(Class) is the maximum similarity calculated between the feature spectrum Sp and each known feature spectrum KSp(Class,k) corresponding to a specific class. Such similarity S(Class) is obtained for each of M classes. The similarity S(Class) represents the extent to which data to be classified is similar to the features of each class. This degree of similarity S(Class) can also be used as descriptive information regarding the result of classification of data to be classified. Another method of calculating similarity for each class will be described later.
クラスを考慮しない最大類似度S(All)は、例えば次式を用いて算出できる。
S(All)=max[G{Sp,KSp(k)}] (A3)
ここで、KSp(k)は、すべての既知特徴スペクトルのうちのk番目のものを示す。この最大類似度S(All)は、特徴スペクトルSpとすべての既知特徴スペクトルKSpとの間の類似度のうちの最大値である。最大類似度S(All)を与える既知特徴スペクトルKSp(k)を特定できるので、図8に示す既知特徴スペクトル群GKSpから、ラベルすなわちクラスを特定することができる。この最大類似度S(All)は、被分類データが既知データに属するか未知のデータか、というクラス分類結果を説明する説明情報としても使用することができる。
The maximum similarity S(All) that does not consider classes can be calculated using, for example, the following equation.
S(All)=max[G{Sp,KSp(k)}] (A3)
where KSp(k) denotes the k-th one of all known feature spectra. This maximum similarity S(All) is the maximum value of similarities between the feature spectrum Sp and all known feature spectra KSp. Since the known feature spectrum KSp(k) that gives the maximum similarity S(All) can be specified, the label, ie, the class can be specified from the known feature spectrum group GKSp shown in FIG. This maximum similarity S(All) can also be used as descriptive information for explaining the result of classifying whether data to be classified belongs to known data or unknown data.
ステップS270では、クラス判別部320が、被分類データの該当クラスを決定する。この決定は、ClassVN層260から出力される判定値Class_1~Class_Mと、ステップS250で得られた類似度と、の少なくとも一方を用いて行うことが可能である。例えば、ClassVN層260から出力される判定値Class_1~Class_Mのみを用いて、被分類データの該当クラスを決定してもよい。この場合には、上述したステップS250,S260を省略してもよい。また、クラス別の類似度S(Class)のみを用いて、被分類データの該当クラスを決定してもよい。この場合には、或るクラスの類似度S(Class)が予め定められた閾値以上の場合に、被分類データがそのクラスに属するものと判定できる。一方、すべてのクラスに関する類似度S(Class)が閾値未満の場合には、被分類データが未知のクラスに属するものと判定できる。類似度として最大類似度S(All)を用いる場合には、最大類似度S(All)が閾値以上であれば、最大類似度S(All)を与える既知特徴スペクトルのクラスを非分類データのクラスと判定でき、閾値未満であれば未知のクラスと判定できる。また、最大類似度S(All)は、被分類データが既知データに属するか、未知のデータかを説明する説明情報として表示することもできる。更に、類似度と、ClassVN層260の判定値Class_1~Class_Mの両方を用いて被分類データの該当クラスを決定するようにしてもよい。例えば、類似度から決定される該当クラスと、ClassVN層260の判定値Class_1~Class_Mから決定される該当クラスとが一致している場合に、被分類データがそのクラスに属するものと判定することができる。また、類似度から決定される該当クラスと、ClassVN層260の判定値Class_1~Class_Mから決定される該当クラスとが一致していない場合には、被分類データが未知のクラスに属するものと判定することができる。
In step S270, the
クラス判別部320は、被分類データのクラス分類結果がダミークラスである場合には、被分類データのクラスを未知と判定する。これにより、既知クラスに該当しない被分類データを正しく未知と判定することが可能である。
The
以上のように、第1実施形態では、既知クラスとダミークラスとを有する機械学習モデル200を用いてクラス分類処理を実行するので、クラス分類処理の精度を高めることができる。また、ダミークラスを用いることにより、学習データのバリエーションを増やすことで、機械学習モデル200が入力データの違いを見分ける能力が向上するという効果も期待できる。
As described above, in the first embodiment, class classification processing is executed using the
B.第2実施形態:
図9は、第2実施形態における機械学習モデルのクラス構成を示す説明図である。第2実施形態におけるクラス分類システムの装置構成は、図1に示したものとほぼ同じである。図9に示すように、第2実施形態のクラス分類システムは、N個の機械学習モデル200_1~200_Nを含んでいる。Nは2以上の整数である。これらの機械学習モデル200_1~200_Nのそれぞれは、図2に示した機械学習モデル200と同じ構成を有している。但し、個々の機械学習モデル200_1~200_Nのクラス数は異なる値としてもよい。機械学習モデルの符号の末尾に付された追加的な符号「_1」~「_N」は、N個の機械学習モデルを区別するために付されたものである。相互の区別が不要な場合にはこれらの符号「_1」~「_N」を省略して、単に「機械学習モデル200」と呼ぶ。また、以下では、N個のうちのj番目の機械学習モデルを「機械学習モデル200_j」と呼ぶ。
B. Second embodiment:
FIG. 9 is an explanatory diagram showing the class structure of the machine learning model in the second embodiment. The device configuration of the class classification system in the second embodiment is almost the same as that shown in FIG. As shown in FIG. 9, the classification system of the second embodiment includes N machine learning models 200_1 to 200_N. N is an integer of 2 or more. Each of these machine learning models 200_1 to 200_N has the same configuration as the
j番目の機械学習モデル200_jは、j_M個のクラスを有している。これらのj_M個のクラスは、j_M-1個の既知クラスと、1個のダミークラスとで構成されている。すなわち、j_M個のクラスの判定値Class_j_1~Class_j_Mは、j_Mk個の既知クラスの判定値Known_j_1~Known_j_Mkと、1個のダミークラスの判定値Dummy_j_1とで構成されている。ここで、j_Mk=j_M-1である。j_Mは2以上の整数であり、既知クラスの個数j_Mkは1以上である。ダミークラスの数をmとしたとき、mは1でもよいが、2以上としてもよい。 The j-th machine learning model 200_j has j_M classes. These j_M classes consist of j_M-1 known classes and one dummy class. That is, the judgment values Class_j_1 to Class_j_M of the j_M classes are composed of the judgment values Known_j_1 to Known_j_Mk of the j_Mk known classes and the judgment value Dummy_j_1 of one dummy class. where j_Mk=j_M−1. j_M is an integer of 2 or more, and the number of known classes j_Mk is 1 or more. When the number of dummy classes is m, m may be 1, or may be 2 or more.
図10は、第2実施形態における機械学習モデルの準備工程の処理手順を示すフローチャートである。図4に示した第1実施形態における準備工程との違いは、ステップS110とステップS120の間にステップS115が追加されている点と、ステップS140がステップS145に置き換えられている点だけであり、他のステップは図4とほぼ同じである。 FIG. 10 is a flow chart showing the processing procedure of the machine learning model preparation process in the second embodiment. The only difference from the preparation process in the first embodiment shown in FIG. 4 is that step S115 is added between step S110 and step S120, and step S140 is replaced with step S145. Other steps are almost the same as in FIG.
ステップS115では、学習実行部112が、複数のサンプル画像をN個のグループに分ける処理を実行する。グループの個数Nは、図9に示した機械学習モデル200の個数Nに相当する。
In step S115, the
図11は、複数のサンプル画像を2つのグループGP_1,GP_2に分けた例を示している。グループ分けは、例えば、k平均法を利用したクラスタリング処理によって実行できる。図11の例では、複数のサンプル画像が、それぞれの重心G1,G2を中心とした2つのグループGP_1,GP_2に分類されている。なお、k平均法以外の方法を用いてグループ分けを実行してもよい。例えば、複数のサンプル画像を並べて、その序数により複数のグループに分類してもよい。グループの個数Nは、2以上の任意の値に設定可能である。 FIG. 11 shows an example of dividing a plurality of sample images into two groups GP_1 and GP_2. Grouping can be performed, for example, by clustering processing using the k-means method. In the example of FIG. 11, a plurality of sample images are classified into two groups GP_1 and GP_2 centered on respective centers of gravity G1 and G2. Grouping may be performed using a method other than the k-means method. For example, a plurality of sample images may be arranged and classified into a plurality of groups according to their ordinal numbers. The number N of groups can be set to any value of 2 or more.
図12は、N個のグループにグループ化されたサンプル画像を示す説明図である。j番目のグループGP_jは、複数のサンプル画像SD_j_1~SD_j_Mkを含んでいる。ここで、j_Mkは、図9に示したj番目の機械学習モデル200_jにおける既知クラスの個数である。 FIG. 12 is an explanatory diagram showing sample images grouped into N groups. The j-th group GP_j includes multiple sample images SD_j_1 to SD_j_Mk. Here, j_Mk is the number of known classes in the j-th machine learning model 200_j shown in FIG.
こうしてグループ分けされたNグループのサンプル画像は、図10のステップS120,S130において、N個の機械学習モデル200_1~200_Nの教師データを作成するためにそれぞれ使用される。すなわち、ステップS120ではサンプル画像からパッチ画像が作成され、ステップS130ではパッチ画像にラベルが割り当てられることによって、既知クラス用の第1教師データ群が作成される。ステップS120,S130の処理内容は第1実施形態と同じである。 The N groups of sample images thus grouped are used in steps S120 and S130 of FIG. 10 to create training data for the N machine learning models 200_1 to 200_N. That is, patch images are created from the sample images in step S120, and labels are assigned to the patch images in step S130, thereby creating the first training data group for the known class. The processing contents of steps S120 and S130 are the same as in the first embodiment.
図13は、第2実施形態において、図12に示したサンプル画像から抽出されたパッチ画像で構成される第1教師データ群を示す説明図である。j番目の第1教師データ群TD_jは、複数のパッチ画像群PD_j_1~PD_j_Mkを含んでいる。複数のパッチ画像群PD_j_1~PD_j_Mkのそれぞれは、複数のパッチ画像を含んでいる。1番目のパッチ画像群PD_1_1は、図12に示した1番目のサンプル画像SD_1_1から抽出されている。他のパッチ画像群も同様である。 FIG. 13 is an explanatory diagram showing a first training data group composed of patch images extracted from the sample images shown in FIG. 12 in the second embodiment. The j-th first training data group TD_j includes a plurality of patch image groups PD_j_1 to PD_j_Mk. Each of the multiple patch image groups PD_j_1 to PD_j_Mk includes multiple patch images. The first patch image group PD_1_1 is extracted from the first sample image SD_1_1 shown in FIG. The same applies to other patch image groups.
ステップS145では、学習実行部112が、既知クラスの教師データ群を用いて、ダミークラス用の第2教師データ群を作成する。図9に示したクラス分類システムでは、個々の機械学習モデル200_jにおけるダミークラスの数が1個であり、そのダミークラスDummy_j_1のための第2教師データ群が作成される。なお、ダミークラスの数mが2以上の場合には、それぞれのダミークラスのための第2教師データ群が作成される。
In step S145, the learning
図14は、第2実施形態におけるダミークラス用の第2教師データ群の作成方法を示す説明図である。1番目の機械学習モデル200_1におけるダミークラス用の第2教師データ群Dummy_PD_1_1は、他のN-1個の機械学習モデル200_2~200_NのためのN-1個の第1教師データ群TD_2~TD_Nの中から選択されたデータである。また、第2教師データ群Dummy_PD_1_1は、N-1個の第1教師データ群TD_2~TD_Nのそれぞれの一部を含むように選択されている。この選択は、ランダムに行うことが好ましい。第2教師データ群Dummy_PD_1_1が、N-1個の第1教師データ群TD_2~TD_Nのそれぞれの一部を必ず含むようにするためには、第2教師データ群Dummy_PD_1_1を構成するパッチ画像の枚数を、Nよりも十分大きな数に設定することが好ましい。1番目以外のj番目の機械学習モデル200_jにおけるダミークラス用の第2教師データ群Dummy_PD_j_1も、同様に、他のN-1個の機械学習モデルのためのN-1個の第1教師データ群の中から選択されたデータであり、それらのN-1個の第1教師データ群のそれぞれの一部を含むように選択される。 FIG. 14 is an explanatory diagram showing a method of creating a second training data group for a dummy class in the second embodiment. The second training data group Dummy_PD_1_1 for the dummy class in the first machine learning model 200_1 is N−1 first training data groups TD_2 to TD_N for the other N−1 machine learning models 200_2 to 200_N. data selected from Also, the second teacher data group Dummy_PD_1_1 is selected so as to include a part of each of the N-1 first teacher data groups TD_2 to TD_N. This selection is preferably made randomly. In order to ensure that the second teacher data group Dummy_PD_1_1 includes a part of each of the N−1 first teacher data groups TD_2 to TD_N, the number of patch images forming the second teacher data group Dummy_PD_1_1 is , N is preferably set to a sufficiently large number. Similarly, the second teacher data group Dummy_PD_j_1 for the dummy class in the j-th machine learning model 200_j other than the first is also the N-1 first teacher data groups for the other N-1 machine learning models. , and are selected so as to contain a portion of each of the N−1 first teacher data groups.
ダミークラスの数mが2以上の場合にも、それらのダミークラスの教師データを同様に作成できる。すなわち、個々の機械学習モデル200のm個のダミークラスのための第2教師データ群は、他のN-1個の機械学習モデルのためのN-1個の第1教師データ群の中から選択されたデータであり、N-1個の第1教師データ群のそれぞれの一部を含むように選択される。
Even when the number m of dummy classes is 2 or more, teacher data for those dummy classes can be similarly created. That is, the second teacher data group for the m dummy classes of each
上述のようにダミークラス用の第2教師データ群Dummy_PD_j_1を作成すれば、個々の機械学習モデル200_jにおいて、他の機械学習モデルで既知クラスと判定されるべき被分類データについては、ダミークラスと判定することができる。この結果、2つ以上の機械学習モデルにおいて誤って既知クラスと判定することを防止できるので、クラス分類システム全体としてクラス分類処理の精度を高めることができる。図10のステップS150以降の処理は第1実施形態とほぼ同じなので、その説明を省略する。 If the second training data group Dummy_PD_j_1 for the dummy class is created as described above, in each machine learning model 200_j, data to be classified that should be determined as a known class in other machine learning models is determined as a dummy class. can do. As a result, it is possible to prevent erroneous determination as a known class in two or more machine learning models, thereby improving the accuracy of class classification processing for the entire class classification system. Since the processing after step S150 in FIG. 10 is almost the same as in the first embodiment, the description thereof is omitted.
図15は、第2実施形態におけるクラス分類工程の処理手順を示すフローチャートである。図8に示した第1実施形態におけるクラス分類工程との違いは、ステップS230とステップS240の間にステップS235が追加されている点と、ステップS280以降の処理が追加されている点だけであり、他のステップは図8とほぼ同じである。 FIG. 15 is a flow chart showing the processing procedure of the class classification process in the second embodiment. The only difference from the class classification process in the first embodiment shown in FIG. 8 is that step S235 is added between step S230 and step S240, and that processing after step S280 is added. , other steps are almost the same as in FIG.
ステップS235では、クラス判別部320が、N個の機械学習モデル200_1~200_Nの中から1つを選択する。ステップS240~S270では、選択された1つの機械学習モデルを用いてクラス分類処理が実行される。
At step S235, the
ステップS280では、クラス判別部320が、N個の機械学習モデル200のすべてについてステップS235~S270の処理が終了したか否かを判断する。終了していなければステップS235に戻り、終了するとステップS300に進む。
In step S280, the
なお、ステップS235では、被分類データを前述した図10のステップS115と同じ基準でいずれかのグループに分類し、そのグループの教師データを用いた機械学習モデルを選択するようにしてもよい。この場合には、ステップS280は省略される。 In step S235, the data to be classified may be classified into one of the groups based on the same criteria as in step S115 of FIG. 10 described above, and a machine learning model using the teacher data of that group may be selected. In this case, step S280 is omitted.
ステップS300では、クラス判別部320が、N個の機械学習モデル200のいずれかにおけるクラス分類結果が既知クラスであったか否かを判定する。既知クラスというクラス分類結果が存在する場合には、ステップS310において、被分類データがその既知クラスに該当するものと決定する。一方、N個の機械学習モデルによるクラス分類結果がすべてダミークラスである場合、または、類似度が閾値未満である場合には、ステップS320において、被分類データのクラスを未知と判定する。ステップS330では、被分類データのクラス分類結果が出力される。
In step S300, the
以上のように、第2実施形態においても、第1実施形態と同様に、既知クラスとダミークラスとを有する機械学習モデル200を用いてクラス分類処理を実行するので、クラス分類処理の精度を高めることができる。また、第1実施形態と同様に、学習データのバリエーションを増やすことで、機械学習モデル200が入力データの違いを見分ける能力が向上するという効果も期待できる。特に、第2実施形態では、図9に示したように、N個の機械学習モデル200を用いて多数の既知クラスへの分類を行う場合に、クラス分類の精度を高めることができる。更に、第2実施形態では、図14に示したように、個々の機械学習モデル200のダミークラスのための第2教師データ群が、他のN-1個の機械学習モデル200のためのN-1個の第1教師データ群の中から選択されるので、ダミークラス用の第2教師データ群を容易に作成できる。
As described above, in the second embodiment, similarly to the first embodiment, the
C.第3実施形態:
図16は、第3実施形態における機械学習モデルのクラス構成を示す説明図である。第3実施形態におけるクラス分類システムの装置構成は、図1に示したものとほぼ同じである。図16に示すように、第3実施形態のクラス分類システムも、第2実施形態と同様に、N個の機械学習モデル200_1~200_Nを含んでいる。Nは2以上の整数である。
C. Third embodiment:
FIG. 16 is an explanatory diagram showing the class configuration of the machine learning model in the third embodiment. The device configuration of the class classification system in the third embodiment is almost the same as that shown in FIG. As shown in FIG. 16, the classification system of the third embodiment also includes N machine learning models 200_1 to 200_N, like the second embodiment. N is an integer of 2 or more.
j番目の機械学習モデル200_jは、j_M個のクラスを有している。これらのj_M個のクラスは、j_Mk個の既知クラスと、N-1個のダミークラスとで構成されている。すなわち、j_M個のクラスの判定値Class_j_1~Class_j_Mは、j_Mk個の既知クラスの判定値Known_j_1~Known_j_Mkと、N-1個のダミークラスの判定値Dummy_j_1~Dummy_j_N-1とで構成されている。ここで、クラスの総数j_Mは2以上であり、既知クラスの個数j_Mkは1以上である。Nは2以上の整数なので、ダミークラスの個数N-1は1以上である。典型例では、Nは3以上であり、ダミークラスの個数N-1は2以上となる。 The j-th machine learning model 200_j has j_M classes. These j_M classes are composed of j_Mk known classes and N-1 dummy classes. That is, the judgment values Class_j_1 to Class_j_M of the j_M classes are composed of the judgment values Known_j_1 to Known_j_Mk of the j_Mk known classes and the judgment values Dummy_j_1 to Dummy_j_N-1 of the N-1 dummy classes. Here, the total number of classes j_M is 2 or more, and the number j_Mk of known classes is 1 or more. Since N is an integer of 2 or more, the number of dummy classes N-1 is 1 or more. In a typical example, N is 3 or more, and the number N-1 of dummy classes is 2 or more.
図17は、第3実施形態におけるダミークラス用の第2教師データ群の作成方法を示す説明図である。ここでは、1番目の機械学習モデル200_1におけるダミークラス用の第2教師データ群Dummy_PD_1の作成方法のみを示している。第2教師データ群Dummy_PD_1は、他のN-1個の機械学習モデル200_2~200_NのためのN-1個の第1教師データ群TD_2~TD_Nの中からそれぞれ選択されたN-1個のデータ群Dummy_PD_1_2~Dummy_PD_1_Nを含んでいる。これらのN-1個のデータ群Dummy_PD_1_2~Dummy_PD_1_Nは、N-1個の第1教師データ群TD_2~TD_Nに対応するように選択されている。個々の第1教師データ群からの選択は、ランダムに行うことが好ましい。1番目以外のj番目の機械学習モデル200_jにおけるダミークラス用の第2教師データ群Dummy_PD_j_1も、同様に,他のN-1個の機械学習モデル200のためのN-1個の第1教師データ群の中からそれぞれ選択される。
FIG. 17 is an explanatory diagram showing a method of creating a second training data group for dummy classes in the third embodiment. Here, only the method of creating the second training data group Dummy_PD_1 for the dummy class in the first machine learning model 200_1 is shown. The second teacher data group Dummy_PD_1 is N-1 data selected from the N-1 first teacher data groups TD_2 to TD_N for the other N-1 machine learning models 200_2 to 200_N. Contains the groups Dummy_PD_1_2 to Dummy_PD_1_N. These N-1 data groups Dummy_PD_1_2 to Dummy_PD_1_N are selected so as to correspond to the N-1 first teacher data groups TD_2 to TD_N. Selection from the individual first teacher data groups is preferably performed at random. Similarly, the second teacher data group Dummy_PD_j_1 for the dummy class in the j-th machine learning model 200_j other than the first is N-1 first teacher data for the other N-1
第3実施形態における準備工程とクラス分類工程は、図10及び図15で説明した第2実施形態とほぼ同じなので、説明を省略する。 The preparation process and the classifying process in the third embodiment are almost the same as those in the second embodiment described with reference to FIGS. 10 and 15, so description thereof will be omitted.
上述した第3実施形態も、上述した第2実施形態とほぼ同様の効果を有する。また、第3実施形態では、図17に示したように、個々の前記機械学習モデル200のN-1個のダミークラスのためのN-1個の第2教師データ群が、他のN-1個の機械学習モデル200のためのN-1個の第1教師データ群に対応するように選択されているので、N個の機械学習モデル200のダミークラス用の第2教師データ群を容易に作成できる。
The third embodiment described above also has substantially the same effects as the second embodiment described above. In addition, in the third embodiment, as shown in FIG. 17, N−1 second teacher data groups for N−1 dummy classes of the individual
D.第4実施形態:
図18は、第4実施形態におけるダミークラス用の第2教師データ群の作成方法を示す説明図である。第4実施形態におけるクラス分類システムの構成は、図16に示した第3実施形態と同じであり、N個の機械学習モデル200_1~200_Nを含んでいる。また、図16に示したように、j番目の機械学習モデル200_jのj_M個のクラスが、j_Mk個の既知クラスと、N-1個のダミークラスとで構成されている点も第3実施形態と同じである。
D. Fourth embodiment:
FIG. 18 is an explanatory diagram showing a method of creating the second training data group for the dummy class in the fourth embodiment. The configuration of the class classification system in the fourth embodiment is the same as in the third embodiment shown in FIG. 16, and includes N machine learning models 200_1 to 200_N. Also, as shown in FIG. 16, the j_M classes of the j-th machine learning model 200_j are composed of j_Mk known classes and N-1 dummy classes. is the same as
図18では、1番目の機械学習モデル200_1におけるダミークラス用の第2教師データ群Dummy_PD_1の作成方法のみを示している。第4実施形態では、第2教師データ群を作成する前に、個々のサンプル画像群GP_jを構成するj_Mk個のサンプル画像SD_j_1~SD_j_Mkを平均化することによって、平均サンプル画像SD_j_aveが作成される。この結果、N個の平均サンプル画像SD_1_ave~SD_N_aveが得られる。なお、サンプル画像群GP_jは、図12に示したものと同じであり、機械学習モデル200_jの既知クラスのための第1教師データ群を抽出するために使用された画像群である。すなわち、第1教師データ群に含まれる個々の第1教師データは、第1教師データよりもサイズの大きなサンプルデータから抽出されたデータである。 FIG. 18 shows only the method of creating the second training data group Dummy_PD_1 for the dummy class in the first machine learning model 200_1. In the fourth embodiment, an average sample image SD_j_ave is created by averaging j_Mk sample images SD_j_1 to SD_j_Mk that make up each sample image group GP_j before creating the second training data group. As a result, N average sample images SD_1_ave to SD_N_ave are obtained. Note that the sample image group GP_j is the same as that shown in FIG. 12, and is the image group used to extract the first training data group for the known class of the machine learning model 200_j. That is, each piece of first training data included in the first training data group is data extracted from sample data having a size larger than that of the first training data.
ダミークラス用の第2教師データ群Dummy_PD_1は、他のN-1個の機械学習モデル200_2~200_Nに対応するN-1個の平均サンプル画像SD_2_ave~SD_N_ave
からそれぞれ抽出されたN-1個のデータ群Dummy_PD_1_2~Dummy_PD_1_Nを含んでいる。これらのN-1個のデータ群Dummy_PD_1_2~Dummy_PD_1_Nは、N-1個の平均サンプル画像SD_1_ave~SD_N_aveに対応するように抽出されている。1番目以外のj番目の機械学習モデル200_jにおけるダミークラス用の第2教師データ群Dummy_PD_jも、同様に作成される。
The second training data group Dummy_PD_1 for the dummy class consists of N−1 average sample images SD_2_ave to SD_N_ave corresponding to the other N−1 machine learning models 200_2 to 200_N.
, N-1 data groups Dummy_PD_1_2 to Dummy_PD_1_N each extracted from . These N-1 data groups Dummy_PD_1_2 to Dummy_PD_1_N are extracted so as to correspond to N-1 average sample images SD_1_ave to SD_N_ave. A second teacher data group Dummy_PD_j for the dummy class in the j-th machine learning model 200_j other than the first is also created in the same manner.
第4実施形態における準備工程とクラス分類工程は、図10及び図15で説明した第2実施形態とほぼ同じなので、説明を省略する。 The preparation process and the classifying process in the fourth embodiment are almost the same as those in the second embodiment described with reference to FIGS. 10 and 15, so description thereof will be omitted.
上述した第4実施形態も、上述した第2実施形態又は第3実施形態とほぼ同様の効果を有する。また、第4実施形態では、図18に示したように、個々の機械学習モデル200のN-1個のダミークラスのためのN-1個の第2教師データ群が、他のN-1個の機械学習モデル200のための第1教師データ群の作成に使用されていたサンプル画像群を平均した平均サンプル画像から抽出されているので、N個の機械学習モデル200のダミークラス用の第2教師データ群を容易に作成できる。
The fourth embodiment described above also has substantially the same effect as the second or third embodiment described above. In addition, in the fourth embodiment, as shown in FIG. 18, N−1 second teacher data groups for N−1 dummy classes of individual
上述した第2~第4実施形態では、j番目の機械学習モデル200_jにおけるダミークラスのための第2教師データ群は、他のN-1個の機械学習モデルにおける既知クラスのための第1教師データ群又はサンプル画像群を用いて作成されている点で共通する。こうすれば、任意の1個の機械学習モデルによって既知クラスに該当すると判定される被分類データが、他のN―1個の機械学習モデルではダミークラスと判定される。従って、誤って2個以上の機械学習モデルにおいて既知クラスと判定される可能性を低減することができるので、クラス分類処理の精度を高めることが可能である。 In the second to fourth embodiments described above, the second teacher data group for the dummy class in the j-th machine learning model 200_j is the first teacher data group for the known classes in the other N-1 machine learning models. They are common in that they are created using a data group or a sample image group. In this way, data to be classified that is determined to belong to a known class by any one machine learning model is determined to be a dummy class by the other N−1 machine learning models. Therefore, it is possible to reduce the possibility of being erroneously determined to be a known class in two or more machine learning models, so it is possible to improve the accuracy of class classification processing.
なお、発明者らの実験では、上述した第2~第4実施形態のうちで、処理速度の点では第2実施形態が最も優れている。また、分類精度の点では、第3実施形態が最も優れており、第2実施形態が次に優れている。ユーザーは、これらの性能を考慮して、いずれかの実施形態を選択することが可能である。 According to experiments conducted by the inventors, among the above-described second to fourth embodiments, the second embodiment is the most superior in terms of processing speed. In terms of classification accuracy, the third embodiment is the best, and the second embodiment is the second best. A user can select either embodiment in consideration of these performances.
E.第5実施形態:
図19は、第5実施形態における機械学習モデルの準備工程の処理手順を示すフローチャートである。図10に示した第2実施形態における準備工程との違いは、ステップS130とステップS145の間にステップS142が追加されている点だけであり、他のステップは図10とほぼ同じである。
E. Fifth embodiment:
FIG. 19 is a flow chart showing the processing procedure of the machine learning model preparation process in the fifth embodiment. The only difference from the preparation process in the second embodiment shown in FIG. 10 is that step S142 is added between step S130 and step S145, and other steps are substantially the same as in FIG.
第5実施形態において、N個の機械学習モデル200におけるダミークラスの数と、ダミークラス用の第2教師データ群の作成方法は、ステップS142におけるユーザーによる指定に応じて決定される。ステップS142では、学習実行部112が、ユーザーから機械学習モデル200の性能に関する性能プリファレンスを受け付ける。
In the fifth embodiment, the number of dummy classes in the N
図20は、性能プリファレンスの選択用の画面WDを示す説明図である。この画面WDは、機械学習モデル200の性能として、「速度重視」の選択肢CH1と、「精度重視」の選択肢CH2とを有している。ユーザーは、これらの2つの選択肢CH1,CH2のいずれかを選択することが可能である。例えば、ユーザーが「速度重視」の選択肢CH1を選択した場合には、学習実行部112は、処理速度に優れたクラス分類システムを実現するために、上述した図9~図15で説明した第2実施形態の構成と処理を選択する。一方、ユーザーが「精度重視」の選択肢CH2を選択した場合には、学習実行部112は、処理精度に優れたクラス分類システムを実現するために、上述した図16~図17で説明した第3実施形態の構成と処理を選択する。こうすれば、処理速度や処理精度などの性能のうちのいずれを優先すべきかを示す性能プリファレンスに応じて、適切なダミークラスの数と第2教師データ群の作成方法を選択できる。
FIG. 20 is an explanatory diagram showing a screen WD for selecting performance preferences. This screen WD has, as the performance of the
なお、2つの選択肢CH1,CH2に対応するダミークラスの数及びダミークラス用の第2教師データ群の作成方法としては、上述した第2実施形態や第3実施形態に限らず、他の形態のものを採用してもよい。また、性能プリファレンスで選択できる選択肢としては、上述した2つの選択肢CH1,CH2以外の選択肢を用いてもよい。例えば、処理速度と処理精度のバランスの良い性能などを他の選択肢として設けてもよい。 Note that the number of dummy classes corresponding to the two options CH1 and CH2 and the method of creating the second training data group for the dummy classes are not limited to the above-described second and third embodiments, and may be of other forms. You can adopt anything. Also, options other than the two options CH1 and CH2 described above may be used as options that can be selected in the performance preference. For example, performance with a good balance between processing speed and processing accuracy may be provided as another option.
F.クラス別類似度の算出方法:
上述したクラス別類似度の演算方法としては、例えば、以下の方法のいずれかを採用可能である。
(1)特徴スペクトルSpと既知特徴スペクトル群GKSpにおける部分領域Rnの対応を考慮せずにクラス別類似度を求める第1の演算方法M1
(2)特徴スペクトルSpと既知特徴スペクトル群GKSpの対応する部分領域Rn同士でクラス別類似度を求める第2の演算方法M2
(3)部分領域Rnを全く考慮せずにクラス別類似度を求める第3の演算方法M3
以下では、これらの演算方法M1,M2,M3に従って、ConvVN2層250の出力からクラス別類似度を算出する方法について順次説明する。
F. Calculation method of similarity by class:
For example, any one of the following methods can be adopted as a method for calculating the similarity by class described above.
(1) A first calculation method M1 for obtaining similarity by class without considering the correspondence between the feature spectrum Sp and the partial region Rn in the group of known feature spectra GKSp
(2) A second calculation method M2 for obtaining the similarity by class between the corresponding partial regions Rn of the feature spectrum Sp and the group of known feature spectra GKSp.
(3) A third calculation method M3 for obtaining similarity by class without considering partial regions Rn at all
Hereinafter, methods for calculating similarities by class from the output of the
図21は、クラス別類似度の第1の演算方法M1を示す説明図である。第1の演算方法M1では、まず、特定層であるConvVN2層250の出力から、部分領域k毎に各クラスiに対する類似度を示す局所類似度S(i,k)が、後述する式に従って算出される。図2の機械学習モデル200では、ConvVN2層250の部分領域R250の個数は16なので、部分領域のパラメーターkは1~16の値を取る。これらの局所類似度S(i,k)から、図21の右側に示す3種類のクラス別類似度Sclass(i)のいずれかが算出される。
FIG. 21 is an explanatory diagram showing the first calculation method M1 for class similarity. In the first calculation method M1, first, from the output of the
第1の演算方法M1において、局所類似度S(i,k)は次式を用いて算出される。
S(i,k)=max[G{Sp(k), KSp(i,k=all,q=all)}] (C1)
ここで、
iは、クラスを示すパラメーター、
kは、部分領域Rnを示すパラメーター、
qは、データ番号を示すパラメーター、
G{a,b}は、aとbの類似度を求める関数、
Sp(k)は、被分類データに応じて、特定層の特定の部分領域kの出力から得られる特徴スペクトル、
KSp(i,k=all,q=all)は、図7に示した既知特徴スペクトル群GKSpのうち、クラスiに関連付けられた、特定層のすべての部分領域kにおけるすべてのデータ番号qの既知特徴スペクトル、
max[X]は、Xの値のうちの最大値を取る論理演算である。
なお、類似度を求める関数G{a,b}としては、例えば、コサイン類似度を求める式や、距離に応じた類似度を求める式を使用できる。
In the first calculation method M1, the local similarity S(i,k) is calculated using the following equation.
S(i,k)=max[G{Sp(k), KSp(i,k=all,q=all)}] (C1)
here,
i is a parameter indicating the class,
k is a parameter indicating the partial region Rn;
q is a parameter indicating a data number;
G{a,b} is a function for obtaining the similarity between a and b,
Sp(k) is the feature spectrum obtained from the output of a specific subregion k of a specific layer, depending on the data to be classified;
KSp(i, k=all, q=all) is the known feature spectrum group GKSp shown in FIG. feature spectrum,
max[X] is a logical operation that takes the maximum of the X values.
As the function G{a,b} for obtaining the degree of similarity, for example, a formula for obtaining cosine similarity or a formula for obtaining similarity according to distance can be used.
図21の右側に示す3種類のクラス別類似度Sclass(i)は、クラスi毎に、複数の部分領域kについての局所類似度S(i,k)の最大値、平均値、又は、最小値を取ることによって得られたものである。最大値、平均値、又は、最小値のいずれの演算を使用するかは、クラス分類処理の使用目的に応じて異なる。これらの3種類の演算のいずれを使用するかは、実験的または経験的にユーザーによって予め設定される。 The three types of similarity by class Sclass(i) shown on the right side of FIG. It is obtained by taking the value. Which of the maximum, average, and minimum calculations is used depends on the intended use of the classification process. Which of these three types of calculations is used is preset by the user experimentally or empirically.
以上のように、クラス別類似度の第1の演算方法M1では、
(1)被分類データに応じて、特定層の特定の部分領域kの出力から得られる特徴スペクトルSpと、その特定層及び各クラスiに関連付けられたすべての既知特徴スペクトルKSpとの類似度である局所類似度S(i,k)を求め、
(2)クラスi毎に、複数の部分領域kについての局所類似度S(i,k)の最大値、平均値、又は、最小値を取ることによってクラス別類似度Sclass(i)を求める。
この第1の演算方法M1によれば、比較的簡単な演算及び手順により、クラス別類似度Sclass(i)を求めることができる。
As described above, in the first calculation method M1 of similarity by class,
(1) The similarity between the feature spectrum Sp obtained from the output of a specific partial region k of a specific layer and all known feature spectra KSp associated with the specific layer and each class i according to the data to be classified Finding a certain local similarity S(i,k),
(2) For each class i, find the class similarity Sclass(i) by taking the maximum value, average value, or minimum value of the local similarities S(i,k) for a plurality of partial regions k.
According to this first calculation method M1, the similarity by class Sclass(i) can be obtained by a relatively simple calculation and procedure.
図22は、クラス別類似度の第2の演算方法M2を示す説明図である。第2の演算方法M2では、上述した(C1)式の代わりに次式を用いて局所類似度S(i,k)を算出する。
S(i,k)=max[G{Sp(k), KSp(i,k,q=all)}] (C2)
ここで、
KSp(i,k,q=all)は、図7に示した既知特徴スペクトル群GKSpのうち、クラスiに関連付けられた、特定層の特定の部分領域kにおけるすべてのデータ番号qの既知特徴スペクトルである。
FIG. 22 is an explanatory diagram showing the second calculation method M2 of similarity by class. In the second calculation method M2, the local similarity S(i,k) is calculated using the following equation instead of the above equation (C1).
S(i,k)=max[G{Sp(k), KSp(i,k,q=all)}] (C2)
here,
KSp(i,k,q=all) is a known feature spectrum of all data numbers q in a specific subregion k of a specific layer associated with class i in the known feature spectrum group GKSp shown in FIG. is.
上述した第1の演算方法M1では、特定層のすべての部分領域kにおける既知特徴スペクトルKSp(i,k=all,q=all)を用いていたのに対して、第2の演算方法M2では、特徴スペクトルSp(k)の部分領域kと同じ部分領域kに対する既知特徴スペクトルKSp(i,k,q=all)のみを用いている。第2の演算方法M2における他の方法は、第1の演算方法M1と同じである。 In the first calculation method M1 described above, the known feature spectrum KSp (i, k=all, q=all) in all partial regions k of the specific layer was used, whereas in the second calculation method M2 , only the known feature spectrum KSp(i,k,q=all) for the same subregion k as the subregion k of the feature spectrum Sp(k) is used. Other methods in the second calculation method M2 are the same as the first calculation method M1.
クラス別類似度の第2の演算方法M2では、
(1)被分類データに応じて、特定層の特定の部分領域kの出力から得られる特徴スペクトルSpと、その特定層の特定の部分領域k及び各クラスiに関連付けられたすべての既知特徴スペクトルKSpとの類似度である局所類似度S(i,k)を求め、
(2)クラスi毎に、複数の部分領域kについての局所類似度S(i,k)の最大値、平均値、又は、最小値を取ることによって、クラス別類似度Sclass(i)を求める。
この第2の演算方法M2によっても、比較的簡単な演算及び手順により、クラス別類似度Sclass(i)を求めることができる。
In the second class similarity calculation method M2,
(1) Depending on the data to be classified, the feature spectrum Sp obtained from the output of a specific subregion k of a specific layer and all known feature spectra associated with the specific subregion k of the specific layer and each class i Find the local similarity S(i,k), which is the similarity with KSp,
(2) Calculate class-wise similarity Sclass(i) by taking the maximum value, average value, or minimum value of local similarities S(i,k) for a plurality of partial regions k for each class i. .
The class similarity Sclass(i) can also be obtained by the second calculation method M2 through relatively simple calculations and procedures.
図23は、クラス別類似度の第3の演算方法M3を示す説明図である。第3の演算方法M3では、局所類似度S(i,k)を求めることなく、特定層であるConvVN2層250の出力からクラス別類似度Sclass(i)が算出される。
FIG. 23 is an explanatory diagram showing the third calculation method M3 of similarity by class. In the third calculation method M3, the class similarity Sclass(i) is calculated from the output of the
第3の演算方法M3で得られるクラス別類似度Sclass(i)は、次式を用いて算出される。
Sclass(i)=max[G{Sp(k=all), KSp(i,k=all,q=all)}] (C3)
ここで、
Sp(k=all)は、被分類データに応じて、特定層のすべての部分領域kの出力から得られる特徴スペクトルである。(C3)式で与えられるクラス別類似度Sclass(i)は、第1実施形態で説明した(A2)式で与えられるクラス別類似度S(Class)と実質的に同じものである。
The class similarity Sclass(i) obtained by the third calculation method M3 is calculated using the following equation.
Sclass(i)=max[G{Sp(k=all), KSp(i,k=all,q=all)}] (C3)
here,
Sp(k=all) is the feature spectrum obtained from the output of all sub-regions k of a particular layer, depending on the data to be classified. The class similarity Sclass(i) given by the formula (C3) is substantially the same as the class similarity S(Class) given by the formula (A2) described in the first embodiment.
以上のように、クラス別類似度の第3の演算方法M3では、
(1)被分類データに応じて特定層の出力から得られるすべての特徴スペクトルSpと、その特定層及び各クラスiに関連付けられたすべての既知特徴スペクトルKSpとの類似度であるクラス別類似度Sclass(i)をクラス毎にそれぞれ求める。
この第3の演算方法M3によれば、更に簡単な演算及び手順により、クラス別類似度Sclass(i)を求めることができる。
As described above, in the third calculation method M3 of similarity by class,
(1) Similarity by class, which is the similarity between all feature spectra Sp obtained from the output of a specific layer according to the data to be classified and all known feature spectra KSp associated with the specific layer and each class i Obtain Sclass(i) for each class.
According to this third calculation method M3, the similarity by class Sclass(i) can be obtained by a simpler calculation and procedure.
上述した3つの演算方法M1~M3は、いずれも1つの特定層の出力を利用してクラス別類似度を演算する方法である。但し、図2に示した複数のベクトルニューロン層240,250,260のうちの1つ以上を特定層としてクラス別類似度を演算することができる。複数の特定層を用いる場合には、例えば、複数の特定層から得られた複数のクラス別類似度のうちの最小値を、最終的な類似度として使用することが好ましい。 All of the three calculation methods M1 to M3 described above are methods of calculating similarity by class using the output of one specific layer. However, one or more of the vector neuron layers 240, 250, and 260 shown in FIG. 2 can be used as specific layers to calculate the similarity by class. When using a plurality of specific layers, for example, it is preferable to use the minimum value among a plurality of similarities by class obtained from a plurality of specific layers as the final similarity.
G.機械学習モデルの各層の出力ベクトルの演算方法:
図2に示した各層の出力の演算方法は、以下の通りである。
G. How to compute the output vector of each layer of the machine learning model:
The calculation method of the output of each layer shown in FIG. 2 is as follows.
PrimeVN層230の各ノードは、Conv層220の1×1×32個のノードのスカラー出力を32次元のベクトルとみなして、このベクトルに変換行列を乗ずることによってそのノードのベクトル出力を得る。この変換行列は、表面サイズが1×1のカーネルの要素であり、機械学習モデル200の学習によって更新される。なお、Conv層220とPrimeVN層230の処理を統合して、1つのプライマリーベクトルニューロン層として構成することも可能である。
Each node in the
PrimeVN層230を「下位層L」と呼び、その上位側に隣接するConvVN1層240を「上位層L+1」と呼ぶとき、上位層L+1の各ノードの出力は、以下の式を用いて決定される。
ML
iは、下位層Lにおけるi番目のノードの出力ベクトル、
ML+1
jは、上位層L+1におけるj番目のノードの出力ベクトル、
vijは、出力ベクトルML+1
jの予測ベクトル、
WL
ijは、下位層Lの出力ベクトルML
iから予測ベクトルvijを算出するための予測行列、
ujは、予測ベクトルvijの和、すなわち線形結合、である和ベクトル、
ajは、和ベクトルujのノルム|uj|を正規化することによって得られる正規化係数であるアクティベーション値、
F(X)は、Xを正規化する正規化関数である。
When
M L i is the output vector of the i-th node in the lower layer L,
M L+1 j is the output vector of the j-th node in the upper layer L+1;
v ij is the prediction vector of the output vector M L+1 j ;
W L ij is a prediction matrix for calculating the prediction vector v ij from the output vector M L i of the lower layer L;
u j is the sum vector, i.e. the linear combination, of the prediction vectors v ij ;
a j is the activation value, the normalization factor obtained by normalizing the norm |u j | of the sum vector u j ;
F(X) is the normalization function that normalizes X.
正規化関数F(X)としては、例えば以下の(E3a)式または(E3b)式を使用できる。
kは、上位層L+1のすべてのノードに対する序数、
βは、任意の正の係数である調整パラメーターであり、例えばβ=1である。
As the normalization function F(X), for example, the following formula (E3a) or formula (E3b) can be used.
k is the ordinal number for all nodes in the upper layer L+1,
β is a tuning parameter that is any positive coefficient, eg β=1.
上記(E3a)式では、上位層L+1のすべてのノードに関して和ベクトルujのノルム|uj|をソフトマックス関数で正規化することによってアクティベーション値ajが得られる。一方、(E3b)式では、和ベクトルujのノルム|uj|を、上位層L+1のすべてのノードに関するノルム|uj|の和で除算することによってアクティベーション値ajが得られる。なお、正規化関数F(X)としては、(E3a)式や(E3b)式以外の他の関数を用いてもよい。 In the above equation (E3a), the activation value a j is obtained by normalizing the norm |u j | of the sum vector u j for all the nodes of the upper layer L+1 with the softmax function. On the other hand, in equation (E3b), the activation value a j is obtained by dividing the norm |u j | of the sum vector u j by the sum of the norms |u j | for all nodes in the upper layer L+1. As the normalization function F(X), functions other than the formulas (E3a) and (E3b) may be used.
上記(E2)式の序数iは、上位層L+1におけるj番目のノードの出力ベクトルML+1
jを決めるために使用される下位層Lのノードに便宜上割り振られるものであり、1~nの値をとる。また、整数nは、上位層L+1におけるj番目のノードの出力ベクトルML+1
jを決めるために使用される下位層Lのノードの数である。従って、整数nは次式で与えられる。
n=Nk×Nc (E5)
ここで、Nkはカーネルの表面サイズであり、Ncは下位層であるPrimeVN層230のチャンネル数である。図2の例ではNk=9、Nc=16なので、n=144である。
The ordinal number i in the above equation (E2) is conveniently assigned to the nodes of the lower layer L used to determine the output vector M L+1 j of the j-th node in the upper layer L+1, and values from 1 to n are Take. Also, the integer n is the number of nodes in the lower layer L used to determine the output vector M L+1 j of the j-th node in the upper layer L+1. Therefore, the integer n is given by the following equation.
n=Nk×Nc (E5)
Here, Nk is the surface size of the kernel, and Nc is the number of channels in the
ConvVN1層240の出力ベクトルを求めるために使用される1つのカーネルは、カーネルサイズ3×3を表面サイズとし、下位層のチャンネル数16を深さとする3×3×16=144個の要素を有しており、これらの要素のそれぞれは予測行列WL
ijである。また、ConvVN1層240の12個のチャンネルの出力ベクトルを生成するためには、このカーネルが12組必要である。従って、ConvVN1層240の出力ベクトルを求めるために使用されるカーネルの予測行列WL
ijの数は、144×12=1728個である。これらの予測行列WL
ijは、機械学習モデル200の学習により更新される。
One kernel used to determine the output vector of the
上述した(E1)~(E4)式から分かるように、上位層L+1の個々のノードの出力ベクトルML+1
jは、以下の演算によって求められる。
(a)下位層Lの各ノードの出力ベクトルML
iに予測行列WL
ijを乗じて予測ベクトルvijを求め、
(b)下位層Lの各ノードから得られた予測ベクトルvijの和、すなわち線形結合、である和ベクトルujを求め、
(c)和ベクトルujのノルム|uj|を正規化することによって正規化係数であるアクティベーション値ajを求め、
(d)和ベクトルujをノルム|uj|で除算し、更に、アクティベーション値ajを乗じる。
As can be seen from the above equations (E1) to (E4), the output vector M L+1 j of each node in the upper layer L+1 is obtained by the following calculation.
(a) Multiply the output vector M L i of each node in the lower layer L by the prediction matrix W L ij to obtain a prediction vector v ij ;
(b) find the sum vector uj , which is the sum, i.e., the linear combination, of the prediction vectors vij obtained from each node of the lower layer L;
(c) normalizing the norm |u j | of the sum vector u j to find the activation value a j , which is a normalization factor;
(d) Divide the sum vector u j by the norm |u j | and multiply it by the activation value a j .
なお、アクティベーション値ajは、上位層L+1のすべてのノードに関してノルム|uj|を正規化することによって得られる正規化係数である。従って、アクティベーション値ajは、上位層L+1内の全ノードの中における各ノードの相対的な出力強度を示す指標と考えることができる。(E3)式,(E3a)式、(E3b)式、及び(4)式で使用されるノルムは、典型的な例ではベクトル長さを表すL2ノルムである。このとき、アクティベーション値ajは、出力ベクトルML+1 jのベクトル長さに相当する。アクティベーション値ajは、上述した(E3)式と(E4)式で使用されるだけなので、ノードから出力される必要は無い。但し、アクティベーション値ajを外部に出力するように上位層L+1を構成することも可能である。 Note that the activation value a j is a normalization factor obtained by normalizing the norm |u j | with respect to all nodes in the upper layer L+1. Therefore, the activation value aj can be considered as an index indicating the relative output strength of each node among all nodes in the upper layer L+1. The norms used in equations (E3), (E3a), (E3b), and (4) are typically L2 norms representing vector lengths. At this time, the activation value a j corresponds to the vector length of the output vector M L+1 j . Since the activation value aj is only used in the above equations (E3) and (E4), it need not be output from the node. However, it is also possible to configure the upper layer L+1 to output the activation value aj to the outside.
ベクトルニューラルネットワークの構成は、カプセルネットワークの構成とほぼ同じであり、ベクトルニューラルネットワークのベクトルニューロンがカプセルネットワークのカプセルに相当する。但し、ベクトルニューラルネットワークで使用される上述の(E1)~(E4)式による演算は、カプセルネットワークで使用される演算と異なる。両者の最も大きな違いは、カプセルネットワークでは、上記(E2)式の右辺の予測ベクトルvijにそれぞれ重みが乗じられており、その重みが、動的ルーティングを複数回繰り返すことによって探索される点である。一方、本実施形態のベクトルニューラルネットワークでは、上述した(E1)~(E4)式を順番に1回計算することによって出力ベクトルML+1 jが得られるので、動的ルーティングを繰り返す必要が無く、演算がより高速であるという利点がある。また、本実施形態のベクトルニューラルネットワークは、カプセルネットワークよりも演算に必要とするメモリー量がカプセルネットワークより少なく、本開示の発明者の実験によれば、約1/2~1/3のメモリー量で済むという利点もある。 The configuration of the vector neural network is almost the same as that of the capsule network, and the vector neurons of the vector neural network correspond to the capsules of the capsule network. However, the calculations according to the above equations (E1) to (E4) used in the vector neural network are different from those used in the capsule network. The biggest difference between the two is that in the capsule network, the prediction vector v ij on the right side of the above equation (E2) is multiplied by a weight, and the weight is searched for by repeating dynamic routing multiple times. be. On the other hand, in the vector neural network of this embodiment, since the output vector M L+1 j is obtained by calculating the above-mentioned equations (E1) to (E4) once in order, there is no need to repeat the dynamic routing, and the operation has the advantage of being faster. In addition, the vector neural network of the present embodiment requires a smaller amount of memory for calculation than the capsule network. There is also an advantage that it can be done with
ベクトルを入出力とするノードを使用するという点では、ベクトルニューラルネットワークはカプセルネットワークと同じである。従って、ベクトルニューロンを使用する利点もカプセルネットワークと共通している。また、複数の層220~260は、上位に行くほどより大きな領域の特徴を表現し、下位に行くほどより小さな領域の特徴を表現する、という点は、通常の畳み込みニューラルネットワークと同じである。ここで、「特徴」とは、ニューラルネットワークへの入力データに含まれている特徴的な部分を意味する。ベクトルニューラルネットワークやカプセルネットワークでは、或るノードの出力ベクトルが、そのノードが表現する特徴の空間的な情報を表す空間情報を含む点で、通常の畳み込みニューラルネットワークよりも優れている。すなわち、或るノードの出力ベクトルのベクトル長さは、そのノードが表現する特徴の存在確率を表し、ベクトル方向がその特徴の方向やスケール等の空間情報を表している。従って、同じ層に属する2つのノードの出力ベクトルのベクトル方向は、それぞれの特徴の位置関係を表す。あるいは、当該2つのノードの出力ベクトルのベクトル方向は、特徴のバリエーションを表わすとも言える。例えば、「目」の特徴に対応するノードなら、出力ベクトルの方向は、目の細さ、吊り上がり方、などのバリエーションを表し得る。通常の畳み込みニューラルネットワークでは、プーリング処理によって特徴の空間情報が消失してしまうと言われている。この結果、ベクトルニューラルネットワークやカプセルネットワークは、通常の畳み込みニューラルネットワークに比べて入力データを識別する性能に優れているという利点がある。
A vector neural network is similar to a capsule network in that it uses nodes whose inputs and outputs are vectors. Therefore, the advantages of using vector neurons are also shared with capsule networks. In addition, the plurality of
ベクトルニューラルネットワークの利点は、以下のように考えることも可能である。すなわち、ベクトルニューラルネットワークでは、ノードの出力ベクトルが、入力データの特徴を連続空間内の座標として表現すること、に利点がある。従って、ベクトル方向が近ければ特徴が似ている、というように出力ベクトルを評価できる。また、入力データに含まれている特徴が教師データではカバーできていなくても、補間してその特徴を判別できる、などの利点もある。一方、通常の畳み込みニューラルネットワークは、プーリング処理によって無秩序な圧縮がかかるため、入力データの特徴を連続空間内の座標として表現できない、という欠点がある。 The advantages of vector neural networks can also be considered as follows. That is, the vector neural network has the advantage that the output vectors of the nodes represent the features of the input data as coordinates in a continuous space. Therefore, the output vectors can be evaluated such that if the vector directions are close, the features are similar. In addition, even if the feature included in the input data is not covered by the teacher data, there is an advantage that the feature can be determined by interpolation. On the other hand, a conventional convolutional neural network suffers from chaotic compression due to pooling processing, and thus has the disadvantage that the features of input data cannot be expressed as coordinates in a continuous space.
ConvVN2層250とClassVN層260の各ノードの出力も、上述した(E1)~(E4)式を用いて同様に決定されるので、詳細な説明は省略する。最上位層であるClassVN層260の解像度は1×1であり、チャンネル数はMである。
The output of each node of the
ClassVN層260の出力は、複数のクラスに対する複数の判定値Class_1~Class_Mに変換される。これらの判定値は、通常はソフトマックス関数によって正規化された値である。具体的には、例えば、ClassVN層260の各ノードの出力ベクトルから、その出力ベクトルのベクトル長さを算出し、更に、各ノードのベクトル長さをソフトマックス関数で正規化する、という演算を実行することによって、個々のクラスに対する判定値を得ることができる。上述したように、上記(E3)式で得られるアクティベーション値ajは、出力ベクトルML+1
jのベクトル長さに相当する値であり、正規化されている。従って、ClassVN層260の各ノードのそれぞれにおけるアクティベーション値ajを出力して、そのまま各クラスに対する判定値として使用してもよい。
The output of the
上述の実施形態では、機械学習モデル200として、上記(E1)式~(E4)式の演算によって出力ベクトルを求めるベクトルニューラルネットワークを用いていたが、この代わりに、米国特許第5210798号公報や国際公開2009/083553号公報に開示されているカプセルネットワークを用いてもよい。
In the above-described embodiment, as the
・他の形態:
本開示は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本開示は、以下の形態(aspect)によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、あるいは、本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
・Other forms:
The present disclosure is not limited to the embodiments described above, and can be implemented in various forms without departing from the scope of the present disclosure. For example, the present disclosure can also be implemented in the following aspects. The technical features in the above embodiments corresponding to the technical features in each form described below are used to solve some or all of the problems of the present disclosure, or to achieve some or all of the effects of the present disclosure. In order to achieve the above, it is possible to appropriately replace or combine them. Also, if the technical features are not described as essential in this specification, they can be deleted as appropriate.
(1)本開示の第1の形態によれば、複数のベクトルニューロン層を有するベクトルニューラルネットワークを含む機械学習モデルを用いて被分類データのクラス分類処理を実行するクラス分類装置が提供される。このクラス分類装置は、前記クラス分類処理を実行するクラス分類処理部を備える。前記機械学習モデルは、1個以上の既知クラスと、1個以上のダミークラスと、を有し、前記機械学習モデルは、前記既知クラスのための第1教師データ群と、前記ダミークラスのための第2教師データ群とを用いて学習が実行されている。前記クラス分類処理部は、前記機械学習モデルを用いた前記被分類データのクラス分類結果が前記ダミークラスである場合に、前記被分類データのクラスを未知と判定する。
このクラス分類装置によれば、1個以上の既知クラスと1個以上のダミークラスとを有する機械学習モデルを用いてクラス分類処理を実行するので、クラス分類処理の精度を高めることができる。
(1) According to the first aspect of the present disclosure, there is provided a classifying device that performs classifying processing of data to be classified using a machine learning model including a vector neural network having a plurality of vector neuron layers. This class classification device includes a class classification processing unit that executes the class classification process. The machine learning model has one or more known classes and one or more dummy classes, and the machine learning model includes a first training data group for the known classes and a set of dummy classes for the dummy classes. Learning is executed using the second teacher data group of . The class classification processing unit determines that the class of the data to be classified is unknown when the class classification result of the data to be classified using the machine learning model is the dummy class.
According to this classifying device, the classifying process is executed using a machine learning model having one or more known classes and one or more dummy classes, so it is possible to improve the accuracy of the classifying process.
(2)上記クラス分類装置において、Nを2以上の整数とするとき、前記クラス分類装置は、N個の前記機械学習モデルを有し、前記クラス分類処理部は、前記N個の前記機械学習モデルによる前記クラス分類結果がすべて前記ダミークラスである場合に、前記被分類データのクラスを未知と判定するものとしてもよい。
このクラス分類装置によれば、N個の機械学習モデルを用いて多数の既知クラスへの分類を行う場合にも、クラス分類の精度を高めることができる。
(2) In the class classification device, when N is an integer of 2 or more, the class classification device has N machine learning models, and the class classification processing unit includes the N machine learning models. The class of the data to be classified may be determined to be unknown when all the class classification results by the model are the dummy class.
According to this classifying device, it is possible to improve the accuracy of classifying even when classifying into many known classes using N machine learning models.
(3)上記クラス分類装置において、個々の前記機械学習モデルの前記ダミークラスのための前記第2教師データ群は、他のN-1個の前記機械学習モデルのためのN-1個の前記第1教師データ群の中から選択されたデータであり、前記N-1個の前記第1教師データ群のそれぞれの一部を含むように選択されているものとしてもよい。
このクラス分類装置によれば、クラス分類に要する処理時間を短くすることができる。また、N個の機械学習モデルのダミークラス用の第2教師データ群を容易に作成できる。
(3) In the above class classification device, the second teacher data group for the dummy class of each machine learning model is N-1 for the other N-1 machine learning models. It is data selected from the first teacher data group, and may be selected so as to include a part of each of the N−1 first teacher data groups.
According to this classifying device, the processing time required for classifying can be shortened. In addition, it is possible to easily create a second training data group for dummy classes of N machine learning models.
(4)上記クラス分類装置において、前記N個の前記機械学習モデルのそれぞれは、N-1個の前記ダミークラスを有するものとしてもよい。個々の前記機械学習モデルの前記N-1個の前記ダミークラスのためのN-1個の前記第2教師データ群は、他のN-1個の前記機械学習モデルのためのN-1個の前記第1教師データ群の中から選択されたデータであり、前記N-1個の前記第2教師データ群が前記N-1個の前記第1教師データ群に対応するように選択されているものとしてもよい。
このクラス分類装置によれば、クラス分類の精度を高めることができる。また、N個の機械学習モデルのダミークラス用の第2教師データ群を容易に作成できる。
(4) In the class classification device, each of the N machine learning models may have N-1 dummy classes. The N-1 second teacher data groups for the N-1 dummy classes of the individual machine learning models are N-1 for the other N-1 machine learning models. wherein the N-1 second teacher data groups are selected so as to correspond to the N-1 first teacher data groups It can be assumed that there is
According to this classifying device, the accuracy of classifying can be improved. In addition, it is possible to easily create a second training data group for dummy classes of N machine learning models.
(5)上記クラス分類装置において、前記N個の前記機械学習モデルのそれぞれは、N-1個の前記ダミークラスを有し、前記第1教師データ群に含まれる個々の第1教師データは、前記第1教師データよりもサイズの大きなサンプルデータから抽出されたデータであるものとしてもよい。個々の前記機械学習モデルの前記N-1個の前記ダミークラスのためのN-1個の前記第2教師データ群は、他のN-1個の前記機械学習モデルのためのN-1個の前記第1教師データ群を抽出するために使用されたN-1個のサンプルデータ群をそれぞれ平均化したN-1個の平均サンプルデータから抽出されたデータであり、前記N-1個の前記第2教師データ群が前記N-1個の前記平均サンプルデータに対応するように抽出されているものとしてもよい。
このクラス分類装置によれば、N個の機械学習モデルのダミークラス用の第2教師データ群を容易に作成できる。
(5) In the class classification device, each of the N machine learning models has the N-1 dummy classes, and the individual first teacher data included in the first teacher data group are: Data extracted from sample data having a size larger than that of the first teacher data may be used. The N-1 second teacher data groups for the N-1 dummy classes of the individual machine learning models are N-1 for the other N-1 machine learning models. Data extracted from N-1 average sample data obtained by averaging the N-1 sample data groups used to extract the first teacher data group of the N-1 The second training data group may be extracted so as to correspond to the N−1 average sample data.
According to this class classification device, it is possible to easily create a second training data group for dummy classes of N machine learning models.
(6)上記クラス分類装置において、前記N個の前記機械学習モデルの学習を実行する学習実行部を備え、前記学習実行部は、前記N個の前記機械学習モデルの性能についてユーザーにより選択された性能プリファレンスを受け付け、前記性能プリファレンスに応じて、前記N個の前記機械学習モデルにおける前記ダミークラスの数と前記第2教師データ群の作成方法について複数の選択肢の中から1つ選択するものとしてもよい。
このクラス分類装置によれば、処理速度や処理精度などの性能のうちのいずれを優先すべきかを示す性能プリファレンスに応じて適切なダミークラスを作成できる。
(6) The class classification device includes a learning execution unit that executes learning of the N machine learning models, and the learning execution unit is selected by the user for the performance of the N machine learning models. receiving a performance preference, and selecting one of a plurality of options for the number of dummy classes in the N machine learning models and a method for creating the second training data group according to the performance preference. may be
According to this classifying device, it is possible to create an appropriate dummy class according to performance preferences indicating which of performances such as processing speed and processing accuracy should be prioritized.
(7)上記クラス分類装置において、前記機械学習モデルに複数の教師データが入力されたときに前記機械学習モデルの特定層の出力から得られた既知特徴スペクトル群を記憶するメモリーを備えるものとしてもよい。前記クラス分類処理部は、(a)前記既知特徴スペクトル群を前記メモリーから読み出す処理と、(b)前記機械学習モデルに前記被分類データが入力されたときに前記特定層の出力から得られる特徴スペクトルと、前記既知特徴スペクトル群との類似度を演算する処理と、(c)前記類似度を用いて、前記被分類データのクラスを決定する処理と、を実行するように構成されているものとしてもよい。
このクラス分類装置によれば、特徴スペクトルと既知特徴スペクトル群との類似度を用いて、被分類データのクラスを高精度に決定できる。
(7) The class classification device may further include a memory for storing a group of known feature spectra obtained from the output of a specific layer of the machine learning model when a plurality of teacher data are input to the machine learning model. good. The class classification processing unit performs (a) a process of reading the known feature spectrum group from the memory, and (b) a feature obtained from the output of the specific layer when the data to be classified is input to the machine learning model. and (c) using the similarity to determine the class of the data to be classified. may be
According to this classifying apparatus, the class of data to be classified can be determined with high accuracy using the degree of similarity between the feature spectrum and the known feature spectrum group.
(8)上記クラス分類装置において、前記クラス分類処理部は、前記機械学習モデルを用いた前記被分類データのクラス分類結果が前記ダミークラスである場合、又は、前記類似度が閾値未満の場合に、前記被分類データのクラスを未知と判定するものとしてもよい。
このクラス分類装置によれば、被分類データのクラスが未知か否かを高精度に決定できる。
(8) In the class classification device, the class classification processing unit, when the class classification result of the data to be classified using the machine learning model is the dummy class, or when the similarity is less than a threshold , the class of the data to be classified may be determined as unknown.
According to this classifying device, it can be determined with high accuracy whether the class of data to be classified is unknown.
(9)上記クラス分類装置において、前記特定層は、第1軸と第2軸の2つの軸で規定された平面に配置されたベクトルニューロンが、前記2つの軸とは異なる方向の第3軸に沿って複数のチャンネルとして配置されている構成を有するものとしてもよい。前記特徴スペクトルは、(i)前記特定層のうちの1つの平面位置におけるベクトルニューロンの出力ベクトルの複数の要素値を、前記第3軸に沿った前記複数のチャンネルにわたって配列した第1種の特徴スペクトルと、(ii)前記第1種の特徴スペクトルの各要素値に、前記出力ベクトルのベクトル長に相当するアクティベーション値を乗じることによって得られる第2種の特徴スペクトルと、(iii)前記特定層のうちの1つの平面位置における前記アクティベーション値を、前記第3軸に沿った前記複数のチャンネルにわたって配列した第3種の特徴スペクトルと、のうちのいずれかであるものとしてもよい。
このクラス分類装置によれば、特徴スペクトルを容易に求めることができる。
(9) In the above classifying device, the specific layer includes vector neurons arranged on a plane defined by two axes, a first axis and a second axis, on a third axis in a direction different from the two axes. may have a configuration arranged as a plurality of channels along the . (i) a plurality of element values of an output vector of a vector neuron at a planar location of one of said specific layers arranged across said plurality of channels along said third axis; (ii) a characteristic spectrum of the second type obtained by multiplying each element value of the characteristic spectrum of the first type by an activation value corresponding to the vector length of the output vector; (iii) the specific and a third type of feature spectrum arranged over the plurality of channels along the third axis.
According to this classifying device, the feature spectrum can be easily obtained.
(10)本開示の第2の形態によれば、複数のベクトルニューロン層を有するベクトルニューラルネットワークを含む機械学習モデルを用いて被分類データのクラス分類処理を実行する方法が提供される。この方法は、(a)前記機械学習モデルに前記被分類データを入力してクラス分類結果を求める工程であって、前記機械学習モデルは、1個以上の既知クラスと、1個以上のダミークラスと、を有し、前記機械学習モデルは、前記既知クラスのための第1教師データ群と、前記ダミークラスのための第2教師データ群とを用いて学習が実行されている、工程と、(b)前記クラス分類結果が前記ダミークラスである場合に、前記被分類データのクラスを未知と判定する工程と、を含む。 (10) According to the second aspect of the present disclosure, there is provided a method of performing class classification processing of data to be classified using a machine learning model including a vector neural network having multiple vector neuron layers. This method includes (a) a step of inputting the data to be classified into the machine learning model to obtain a classification result, wherein the machine learning model includes one or more known classes and one or more dummy classes. and wherein the machine learning model is trained using a first training data group for the known class and a second training data group for the dummy class; (b) determining the class of the data to be classified as unknown when the class classification result is the dummy class;
(11)本開示の第3の形態によれば、複数のベクトルニューロン層を有するベクトルニューラルネットワークを含む機械学習モデルを用いて被分類データのクラス分類処理をプロセッサーに実行させるコンピュータープログラムが提供される。このコンピュータープログラムは、(a)前記機械学習モデルに前記被分類データを入力してクラス分類結果を求める処理であって、前記機械学習モデルは、1個以上の既知クラスと、1個以上のダミークラスと、を有し、前記機械学習モデルは、前記既知クラスのための第1教師データ群と、前記ダミークラスのための第2教師データ群とを用いて学習が実行されている、処理と、(b)前記クラス分類結果が前記ダミークラスである場合に、前記被分類データのクラスを未知と判定する処理と、を前記プロセッサーに実行させる。 (11) According to a third aspect of the present disclosure, there is provided a computer program that causes a processor to execute class classification processing of data to be classified using a machine learning model that includes a vector neural network having a plurality of vector neuron layers. . This computer program includes (a) a process of inputting the data to be classified into the machine learning model to obtain a classification result, wherein the machine learning model includes one or more known classes and one or more dummy classes. a class, wherein the machine learning model is trained using a first training data group for the known class and a second training data group for the dummy class; and (b) determining the class of the data to be classified as unknown when the class classification result is the dummy class.
本開示は、上記以外の種々の形態で実現することも可能である。例えば、クラス分類装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した一時的でない記録媒体(non-transitory storage medium)等の形態で実現することができる。 The present disclosure can also be implemented in various forms other than those described above. For example, it can be realized in the form of a computer program for realizing the function of the classifying device, a non-transitory storage medium in which the computer program is recorded, or the like.
100…情報処理装置、110…プロセッサー、112…学習実行部、114…クラス分類処理部、120…メモリー、130…インターフェイス回路、140…入力デバイス、150…表示デバイス、200…機械学習モデル、210…入力層、220…畳み込み層、230…プライマリーベクトルニューロン層、240…第1畳み込みベクトルニューロン層、250…第2畳み込みベクトルニューロン層、260…分類ベクトルニューロン層、280…中間層、310…類似度演算部、320…クラス判別部、400…カメラ
DESCRIPTION OF
Claims (11)
前記クラス分類処理を実行するクラス分類処理部を備え、
前記機械学習モデルは、1個以上の既知クラスと、1個以上のダミークラスと、を有し、
前記機械学習モデルは、前記既知クラスのための第1教師データ群と、前記ダミークラスのための第2教師データ群とを用いて学習が実行されており、
前記クラス分類処理部は、前記機械学習モデルを用いた前記被分類データのクラス分類結果が前記ダミークラスである場合に、前記被分類データのクラスを未知と判定する、
クラス分類装置。 A classifier that executes class classification processing of data to be classified using a machine learning model including a vector neural network having a plurality of vector neuron layers,
A class classification processing unit that executes the class classification process,
The machine learning model has one or more known classes and one or more dummy classes,
The machine learning model is trained using a first teacher data group for the known class and a second teacher data group for the dummy class,
The class classification processing unit determines that the class of the data to be classified is unknown when the class classification result of the data to be classified using the machine learning model is the dummy class.
Class classifier.
Nを2以上の整数とするとき、前記クラス分類装置は、N個の前記機械学習モデルを有し、
前記クラス分類処理部は、前記N個の前記機械学習モデルによる前記クラス分類結果がすべて前記ダミークラスである場合に、前記被分類データのクラスを未知と判定する、
クラス分類装置。 The classifying device according to claim 1,
When N is an integer of 2 or more, the classifying device has N machine learning models,
The class classification processing unit determines that the class of the data to be classified is unknown when all the class classification results by the N machine learning models are the dummy class.
Class classifier.
個々の前記機械学習モデルの前記ダミークラスのための前記第2教師データ群は、他のN-1個の前記機械学習モデルのためのN-1個の前記第1教師データ群の中から選択されたデータであり、前記N-1個の前記第1教師データ群のそれぞれの一部を含むように選択されている、クラス分類装置。 The classifying device according to claim 2,
The second teacher data group for the dummy class of each machine learning model is selected from among the N-1 first teacher data groups for the other N-1 machine learning models. and selected to include a portion of each of said N-1 first training data groups.
前記N個の前記機械学習モデルのそれぞれは、N-1個の前記ダミークラスを有し、
個々の前記機械学習モデルの前記N-1個の前記ダミークラスのためのN-1個の前記第2教師データ群は、他のN-1個の前記機械学習モデルのためのN-1個の前記第1教師データ群の中から選択されたデータであり、前記N-1個の前記第2教師データ群が前記N-1個の前記第1教師データ群に対応するように選択されている、クラス分類装置。 The classifying device according to claim 2,
each of the N machine learning models has N-1 dummy classes;
The N-1 second teacher data groups for the N-1 dummy classes of the individual machine learning models are N-1 for the other N-1 machine learning models. wherein the N-1 second teacher data groups are selected so as to correspond to the N-1 first teacher data groups class classifier.
前記N個の前記機械学習モデルのそれぞれは、N-1個の前記ダミークラスを有し、
前記第1教師データ群に含まれる個々の第1教師データは、前記第1教師データよりもサイズの大きなサンプルデータから抽出されたデータであり、
個々の前記機械学習モデルの前記N-1個の前記ダミークラスのためのN-1個の前記第2教師データ群は、他のN-1個の前記機械学習モデルのためのN-1個の前記第1教師データ群を抽出するために使用されたN-1個のサンプルデータ群をそれぞれ平均化したN-1個の平均サンプルデータから抽出されたデータであり、前記N-1個の前記第2教師データ群が前記N-1個の前記平均サンプルデータに対応するように抽出されている、クラス分類装置。 The classifying device according to claim 2,
each of the N machine learning models has N-1 dummy classes;
each of the first training data included in the first training data group is data extracted from sample data having a size larger than that of the first training data;
The N-1 second teacher data groups for the N-1 dummy classes of the individual machine learning models are N-1 for the other N-1 machine learning models. Data extracted from N-1 average sample data obtained by averaging the N-1 sample data groups used to extract the first teacher data group of the N-1 The class classification device, wherein the second training data group is extracted so as to correspond to the N-1 average sample data.
前記N個の前記機械学習モデルの学習を実行する学習実行部を備え、
前記学習実行部は、前記N個の前記機械学習モデルの性能についてユーザーにより選択された性能プリファレンスを受け付け、前記性能プリファレンスに応じて、前記N個の前記機械学習モデルにおける前記ダミークラスの数と前記第2教師データ群の作成方法について複数の選択肢の中から1つ選択する、クラス分類装置。 The classifying device according to claim 2,
A learning execution unit that executes learning of the N machine learning models,
The learning execution unit receives performance preferences selected by a user for the performance of the N machine learning models, and according to the performance preferences, the number of the dummy classes in the N machine learning models. and a class classification device that selects one of a plurality of options for the method of creating the second teacher data group.
前記機械学習モデルに複数の教師データが入力されたときに前記機械学習モデルの特定層の出力から得られた既知特徴スペクトル群を記憶するメモリーを備え、
前記クラス分類処理部は、
(a)前記既知特徴スペクトル群を前記メモリーから読み出す処理と、
(b)前記機械学習モデルに前記被分類データが入力されたときに前記特定層の出力から得られる特徴スペクトルと、前記既知特徴スペクトル群との類似度を演算する処理と、
(c)前記類似度を用いて、前記被分類データのクラスを決定する処理と、
を実行するように構成されている、クラス分類装置。 The classifying device according to any one of claims 1 to 6,
A memory for storing a known feature spectrum group obtained from the output of a specific layer of the machine learning model when a plurality of teacher data is input to the machine learning model,
The class classification processing unit,
(a) reading the known feature spectrum group from the memory;
(b) a process of calculating the similarity between the feature spectrum obtained from the output of the specific layer when the data to be classified is input to the machine learning model and the group of known feature spectra;
(c) a process of determining the class of the data to be classified using the similarity;
A classifier configured to perform a
前記クラス分類処理部は、前記機械学習モデルを用いた前記被分類データのクラス分類結果が前記ダミークラスである場合、又は、前記類似度が閾値未満の場合に、前記被分類データのクラスを未知と判定する、
クラス分類装置。 A classifying device according to claim 7,
When the class classification result of the data to be classified using the machine learning model is the dummy class, or when the similarity is less than a threshold, the class classification processing unit identifies the class of the data to be classified as unknown. determine that
Class classifier.
前記特定層は、第1軸と第2軸の2つの軸で規定された平面に配置されたベクトルニューロンが、前記2つの軸とは異なる方向の第3軸に沿って複数のチャンネルとして配置されている構成を有し、
前記特徴スペクトルは、
(i)前記特定層のうちの1つの平面位置におけるベクトルニューロンの出力ベクトルの複数の要素値を、前記第3軸に沿った前記複数のチャンネルにわたって配列した第1種の特徴スペクトルと、
(ii)前記第1種の特徴スペクトルの各要素値に、前記出力ベクトルのベクトル長に相当するアクティベーション値を乗じることによって得られる第2種の特徴スペクトルと、
(iii)前記特定層のうちの1つの平面位置における前記アクティベーション値を、前記第3軸に沿った前記複数のチャンネルにわたって配列した第3種の特徴スペクトルと、
のうちのいずれかである、クラス分類装置。 A classifying device according to claim 7 or 8,
In the specific layer, vector neurons arranged on a plane defined by two axes, a first axis and a second axis, are arranged as a plurality of channels along a third axis in a direction different from the two axes. having a configuration that
The feature spectrum is
(i) a first type feature spectrum in which a plurality of element values of an output vector of a vector neuron at a planar position of one of said specific layers are arranged over said plurality of channels along said third axis;
(ii) a second-type feature spectrum obtained by multiplying each element value of the first-type feature spectrum by an activation value corresponding to the vector length of the output vector;
(iii) a third type of feature spectrum arranged across the plurality of channels along the third axis of the activation values at a planar location of one of the particular layers;
A classifier that is any of
(a)前記機械学習モデルに前記被分類データを入力してクラス分類結果を求める工程であって、前記機械学習モデルは、1個以上の既知クラスと、1個以上のダミークラスと、を有し、前記機械学習モデルは、前記既知クラスのための第1教師データ群と、前記ダミークラスのための第2教師データ群とを用いて学習が実行されている、工程と、
(b)前記クラス分類結果が前記ダミークラスである場合に、前記被分類データのクラスを未知と判定する工程と、
を含む、方法。 A method for classifying data to be classified using a machine learning model including a vector neural network having multiple vector neuron layers, comprising:
(a) a step of inputting the data to be classified into the machine learning model to obtain a classification result, wherein the machine learning model has one or more known classes and one or more dummy classes; and the machine learning model is trained using a first training data group for the known class and a second training data group for the dummy class;
(b) determining the class of the data to be classified as unknown when the class classification result is the dummy class;
A method, including
前記コンピュータープログラムは、
(a)前記機械学習モデルに前記被分類データを入力してクラス分類結果を求める処理であって、前記機械学習モデルは、1個以上の既知クラスと、1個以上のダミークラスと、を有し、前記機械学習モデルは、前記既知クラスのための第1教師データ群と、前記ダミークラスのための第2教師データ群とを用いて学習が実行されている、処理と、
(b)前記クラス分類結果が前記ダミークラスである場合に、前記被分類データのクラスを未知と判定する処理と、
を前記プロセッサーに実行させる、コンピュータープログラム。 A computer program that causes a processor to perform class classification processing of data to be classified using a machine learning model that includes a vector neural network having a plurality of vector neuron layers,
Said computer program comprises:
(a) A process of inputting the data to be classified into the machine learning model to obtain a classification result, wherein the machine learning model has one or more known classes and one or more dummy classes. and the machine learning model is trained using a first training data group for the known class and a second training data group for the dummy class;
(b) a process of determining that the class of the data to be classified is unknown when the class classification result is the dummy class;
a computer program that causes said processor to execute
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021192033A JP2023078763A (en) | 2021-11-26 | 2021-11-26 | Classification device configured to execute classification processing using machine learning model, method, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021192033A JP2023078763A (en) | 2021-11-26 | 2021-11-26 | Classification device configured to execute classification processing using machine learning model, method, and computer program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023078763A true JP2023078763A (en) | 2023-06-07 |
Family
ID=86646365
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021192033A Pending JP2023078763A (en) | 2021-11-26 | 2021-11-26 | Classification device configured to execute classification processing using machine learning model, method, and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023078763A (en) |
-
2021
- 2021-11-26 JP JP2021192033A patent/JP2023078763A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103403739B (en) | For the method and system of movement images | |
WO2018052586A1 (en) | Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks | |
WO2019015246A1 (en) | Image feature acquisition | |
Tasse et al. | Cluster-based point set saliency | |
CN107683469A (en) | A kind of product classification method and device based on deep learning | |
JP2011013732A (en) | Information processing apparatus, information processing method, and program | |
JP2004152297A (en) | Method and system for integrating multiple cue | |
JP6897749B2 (en) | Learning methods, learning systems, and learning programs | |
JP4376145B2 (en) | Image classification learning processing system and image identification processing system | |
CN111768457B (en) | Image data compression method, device, electronic equipment and storage medium | |
CN110751027B (en) | Pedestrian re-identification method based on deep multi-instance learning | |
EP1246124B1 (en) | Image space display method and apparatus | |
CN108388869B (en) | Handwritten data classification method and system based on multiple manifold | |
CN105844299B (en) | A kind of image classification method based on bag of words | |
JP2023078763A (en) | Classification device configured to execute classification processing using machine learning model, method, and computer program | |
Sotiropoulos | Handling variable shaped & high resolution images for multi-class classification problem | |
JP2023086215A (en) | Method for learning, method for determination, learning device, determination device, and computer program | |
Dalara et al. | Entity Recognition in Indian Sculpture using CLAHE and machine learning | |
JP2023027858A (en) | Method, information processing device, and computer program for performing classification process using machine learning model | |
Nelyubina et al. | Transforms of Hough Type in Abstract Feature Space: Generalized Precedents. | |
JP2022072648A (en) | Method of executing class classification processing using machine learning model, information processing device, and computer program | |
US20230169307A1 (en) | Method of executing class classification processing using machine learning model, information processing device, and non-transitory computer-readable storage medium storing computer program | |
CN111666956A (en) | Multi-scale feature extraction and fusion method and device | |
CN110956177A (en) | Hybrid verification code identification method and system | |
JP2023005937A (en) | Method for executing class discrimination processing on data to be discriminated using machine learning model, information processing apparatus, and computer program |