JP2015036939A - Feature extraction program and information processing apparatus - Google Patents
Feature extraction program and information processing apparatus Download PDFInfo
- Publication number
- JP2015036939A JP2015036939A JP2013168974A JP2013168974A JP2015036939A JP 2015036939 A JP2015036939 A JP 2015036939A JP 2013168974 A JP2013168974 A JP 2013168974A JP 2013168974 A JP2013168974 A JP 2013168974A JP 2015036939 A JP2015036939 A JP 2015036939A
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- feature
- learning
- layer
- layers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、特徴抽出プログラム及び情報処理装置に関する。 The present invention relates to a feature extraction program and an information processing apparatus.
従来の特徴抽出プログラムとして、画像情報から得られる特徴ベクトルについて階層的なプーリング及び特徴抽出を行うものがある（例えば、特許文献１参照）。 Some conventional feature extraction programs perform hierarchical pooling and feature extraction on feature vectors obtained from image information (see, for example, Patent Document 1).
特許文献１の特徴抽出プログラムは、画像情報から人物の顔を認識するために用いられる特徴を抽出する手法であって、画像情報の全体画像上で予め定めた範囲を走査して当該範囲毎に特徴ベクトルを抽出し、自己組織化マップによって抽出した特徴ベクトルの次元数を減らし、次元数を減らした特徴ベクトルから混成畳み込みニューラルネットワークにより画像情報を予め定めたクラスに分類する。当該ニューラルネットワークは、教師あり学習を用いる方法であるバックプロパゲーション法（誤差逆伝播法）によりクラスと画像情報との対応関係を学習するものであり、局所的特徴検出と空間プーリングを繰り返すことで並進、回転、拡大縮小、変形に対して検出される特徴量の不変性を増している。つまり、画像情報の持つ空間的な相関性を取り込んでいる。 The feature extraction program of Patent Literature 1 is a technique for extracting features used for recognizing a person's face from image information, and scans a predetermined range on the entire image of image information for each of the ranges. A feature vector is extracted, the number of dimensions of the feature vector extracted by the self-organizing map is reduced, and the image information is classified into a predetermined class by a hybrid convolution neural network from the feature vector with the reduced number of dimensions. The neural network learns the correspondence between classes and image information using the backpropagation method (error back propagation method), which is a method using supervised learning, and repeats local feature detection and spatial pooling. The invariance of the detected feature amount is increased for translation, rotation, enlargement / reduction, and deformation. That is, the spatial correlation of image information is taken in.
本発明の目的は、画像情報の特徴抽出において、バックプロパゲーション法を用いずに、空間的な相関性を取り込むとともに、従来に比べて演算処理の負荷及びメモリ消費量を抑制する特徴抽出プログラム及び情報処理装置を提供することにある。 An object of the present invention is to extract a spatial correlation without using a back-propagation method in feature extraction of image information, and a feature extraction program that suppresses computation processing load and memory consumption as compared with the conventional one. It is to provide an information processing apparatus.
本発明の一態様は、上記目的を達成するため、以下の特徴抽出プログラム及び情報処理装置を提供する。 In order to achieve the above object, an aspect of the present invention provides the following feature extraction program and information processing apparatus.
［１］コンピュータを、
複数の階層の各階層において、１つ前の階層の出力を入力として画像情報の特徴量を抽出するよう機能させるものであって、
前記複数の階層の最初の階層において、画像情報から特徴量を抽出する基本特徴量抽出手段と、
前記複数の階層において抽出された特徴量を用いて学習を行い学習結果を出力する学習手段と、
前記複数の階層の最初以外の階層のそれぞれにおいて、前記学習手段の学習結果に基づいて、１つ前の階層の出力から教師なしのクラスタリング手法により特徴量を抽出する特徴量抽出手段と、
前記複数の階層の最初以外の階層のそれぞれにおいて、前記特徴量抽出手段が抽出した特徴量をプーリング処理し、プーリング処理された特徴量を当該階層の出力とするプーリング処理手段として機能させる特徴抽出プログラム。
[1]
In each of a plurality of layers, the output of the previous layer is used as an input to function to extract the feature amount of the image information,
Basic feature amount extraction means for extracting feature amounts from image information in a first layer of the plurality of layers;
Learning means for performing learning using feature quantities extracted in the plurality of hierarchies and outputting a learning result;
In each of the layers other than the first of the plurality of layers, based on the learning result of the learning unit, a feature amount extraction unit that extracts a feature amount from an output of the previous layer by an unsupervised clustering method;
A feature extraction program that pools the feature amount extracted by the feature amount extraction unit in each of the layers other than the first of the plurality of layers and functions as a pooling processing unit that outputs the pooled feature amount of the layer. .
［２］前記特徴量抽出手段は、前記複数の階層のうち特定の階層までに抽出された特徴量を用いて前記学習手段が学習を行い出力した学習結果に基づいて、１つ前の階層の出力から特徴量を抽出する前記[１]に記載の特徴抽出プログラム。 [2] The feature amount extraction unit is configured to use a feature amount extracted up to a specific layer among the plurality of layers, based on a learning result output by learning performed by the learning unit. The feature extraction program according to [1], wherein a feature amount is extracted from an output.
［３］前記学習手段は、１つ前の階層の学習結果を用いて学習を行う前記[１]又は［２］に記載の特徴抽出プログラム。 [3] The feature extraction program according to [1] or [2], wherein the learning unit performs learning using a learning result of a previous hierarchy.
［４］複数の階層において１つ前の階層の出力を入力として特徴量を抽出するものであって、
前記複数の階層の最初の階層において、画像情報から特徴量を抽出する基本特徴量抽出手段と、
前記複数の階層において抽出された特徴量を用いて学習を行い学習結果を出力する学習手段と、
前記複数の階層の最初以外の階層のそれぞれにおいて、前記学習手段の学習結果に基づいて、１つ前の階層の出力から教師なしのクラスタリング手法により特徴量を抽出する特徴量抽出手段と、
前記複数の階層の最初以外の階層のそれぞれにおいて、前記特徴量抽出手段が抽出した特徴量をプーリング処理し、プーリング処理された特徴量を当該階層の出力とするプーリング処理手段とを有する情報処理装置。
[4] A feature amount is extracted by using an output of a previous layer in a plurality of layers as input,
Basic feature amount extraction means for extracting feature amounts from image information in a first layer of the plurality of layers;
Learning means for performing learning using feature quantities extracted in the plurality of hierarchies and outputting a learning result;
In each of the layers other than the first of the plurality of layers, based on the learning result of the learning unit, a feature amount extraction unit that extracts a feature amount from an output of the previous layer by an unsupervised clustering method;
An information processing apparatus comprising: a pooling processing unit that pools the feature amount extracted by the feature amount extraction unit in each of the layers other than the first of the plurality of layers, and uses the pooled feature amount as an output of the layer .
請求項１又は４に係る発明によれば、画像情報の特徴抽出において、バックプロパゲーション法を用いずに、空間的な相関性を取り込むとともに、従来に比べて演算処理の負荷及びメモリ消費量を抑制することができる。 According to the invention according to claim 1 or 4, in the feature extraction of the image information, the spatial correlation is taken in without using the back propagation method, and the calculation processing load and the memory consumption are reduced as compared with the conventional method. Can be suppressed.
請求項２に係る発明によれば、共通の学習結果に基づいて特徴量を抽出することができる。 According to the invention which concerns on Claim 2, a feature-value can be extracted based on a common learning result.
請求項３に係る発明によれば、１つ前の階層の学習結果を用いて学習を行うことができる。 According to the invention which concerns on Claim 3, it can learn using the learning result of the immediately preceding hierarchy.
［第１の実施の形態］
（情報処理装置の構成）
図１は、本発明の第１の実施の形態に係る情報処理装置の構成の一例を示す図である。
[First Embodiment]
(Configuration of information processing device)
FIG. 1 is a diagram showing an example of the configuration of the information processing apparatus according to the first embodiment of the present invention.
情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等から構成され各部を制御するとともに各種のプログラムを実行する制御部１０と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やフラッシュメモリ等の記憶媒体から構成され情報を記憶する記憶部１１と、外部とネットワークを介して通信する通信部１２を備える。 The information processing apparatus 1 is configured by a CPU (Central Processing Unit) and the like, and controls each unit and executes various programs, and is configured by a storage medium such as an HDD (Hard Disk Drive) and a flash memory. A storage unit 11 that stores data and a communication unit 12 that communicates with the outside via a network are provided.
情報処理装置１は、画像情報１１１に、例えば、「木」「家」「犬」「車」等の被写体が含まれるとき、これら「木」「家」「犬」「車」等の語句を画像情報に対する識別情報として付与するために画像情報１１１から特徴を抽出するものである。また、情報処理装置１は、記憶部１１に格納された予め抽出されるべき特徴が付与された訓練用の訓練画像情報集合１１４を用いて学習を行うものである。なお、情報処理装置１は、識別情報を付与する動作は他の装置に実行させて、画像情報１１１から特徴を抽出する動作までを実行するものであってもよい。 For example, when the image information 111 includes subjects such as “tree”, “house”, “dog”, “car”, etc., the information processing apparatus 1 uses the words “tree”, “house”, “dog”, “car”, etc. Features are extracted from the image information 111 to be provided as identification information for the image information. Further, the information processing apparatus 1 performs learning using the training image information set 114 for training to which features to be extracted in advance stored in the storage unit 11 are given. Note that the information processing apparatus 1 may execute an operation of adding identification information to another device to perform an operation of extracting features from the image information 111.
情報処理装置１は、画像情報１１１から複数の階層で特徴量を抽出するものであり、各階層のことを以下「レイヤ」という。各階層は、特徴量を抽出する動作と、抽出された特徴量について後述するプーリングを行う動作とを含むものとし、両動作が実行されて出力される値が次のレイヤの入力となる。また、各レイヤは特徴量を抽出する順番においてレイヤ０、レイヤ１、レイヤ２…と番号を振って呼ぶことにする。 The information processing apparatus 1 extracts feature amounts from a plurality of layers from the image information 111, and each layer is hereinafter referred to as a “layer”. Each layer includes an operation for extracting a feature amount and an operation for performing pooling to be described later on the extracted feature amount, and a value output by executing both operations is input to the next layer. In addition, each layer is called by numbering layer 0, layer 1, layer 2,... In the order of extracting feature amounts.
制御部１０は、後述する特徴抽出プログラム１１０を実行することで、基本特徴量抽出手段１００、特徴量抽出手段１０１、学習手段１０２及びプーリング処理手段１０３等として機能する。 The control unit 10 functions as a basic feature amount extraction unit 100, a feature amount extraction unit 101, a learning unit 102, a pooling processing unit 103, and the like by executing a feature extraction program 110 described later.
基本特徴量抽出手段１００は、複数のレイヤのうち最初のレイヤ（レイヤ０）において、画像情報１１１及び学習用の訓練画像情報集合１１４を、画素の単位であるピクセル毎に、例えば、ガボールフィルタを用いる方法やＲＧＢ、正規化ＲＧ、ＣＩＥＬＡＢ等の特徴量を抽出する方法によって特徴ベクトルを生成する。ここで、特徴ベクトルは特徴量情報の一例である。また、数ピクセル毎に特徴量を抽出してもよいし、数ピクセルのパッチを１つの単位として、それぞれのピクセルから得られる値をベクトルの要素として１つの特徴量としてもよい。 The basic feature quantity extraction unit 100 converts the image information 111 and the training image information set 114 for learning into a pixel unit, for example, a Gabor filter in the first layer (layer 0) of the plurality of layers. A feature vector is generated by a method to be used or a method of extracting feature quantities such as RGB, normalized RG, CIELAB. Here, the feature vector is an example of feature amount information. Further, feature quantities may be extracted every several pixels, or patches obtained by several pixels may be taken as one unit, and a value obtained from each pixel may be used as a vector element as one feature quantity.
特徴量抽出手段１０１は、複数のレイヤのうち最初以外のレイヤ（レイヤ１以降）において、１つ前のレイヤの出力を入力として、１つ前のレイヤの学習結果に基づいて特徴量の抽出を行う。特徴量の抽出方法は、ｋ−ｍｅａｎｓクラスタリングを用いる。なお、抽出方法は教師なしのクラスタリング手法であれば、混合ガウスモデル、混合多項分布モデル等を用いてもよい。 The feature quantity extraction unit 101 extracts the feature quantity based on the learning result of the previous layer, with the output of the previous layer as an input in the layers other than the first (after layer 1) among the plurality of layers. Do. The feature quantity extraction method uses k-means clustering. If the extraction method is an unsupervised clustering method, a mixed Gaussian model, a mixed multinomial distribution model, or the like may be used.
学習手段１０２は、訓練画像情報集合１１４を、複数のレイヤのうちレイヤ０の入力とし、複数レイヤにおける処理結果である出力を用いて学習を行う。 The learning unit 102 uses the training image information set 114 as an input of layer 0 among a plurality of layers, and performs learning using an output that is a processing result in the plurality of layers.
プーリング処理手段１０３は、基本特徴量抽出手段１００又は特徴量抽出手段１０１が抽出した複数の特徴量から、１つの平均値、最大値等の統計値を得て特徴量の数を次元数とする新たな特徴量ベクトルを生成する（以下、「プーリング」という。）。 The pooling processing unit 103 obtains a statistical value such as one average value or maximum value from a plurality of feature amounts extracted by the basic feature amount extraction unit 100 or the feature amount extraction unit 101, and sets the number of feature amounts as the number of dimensions. A new feature vector is generated (hereinafter referred to as “pooling”).
記憶部１１は、制御部１０を上述した各手段として動作させる特徴抽出プログラム１１０、特徴抽出の対象となる画像情報１１１、学習手段１０２による学習結果として保存される学習結果情報１１２、特徴量抽出手段１０１が抽出した特徴量である特徴量情報１１３及び学習手段１０２が学習の際に用いる訓練画像情報集合１１４等を記憶する。 The storage unit 11 includes a feature extraction program 110 that causes the control unit 10 to operate as each unit described above, image information 111 that is a target of feature extraction, learning result information 112 that is stored as a learning result by the learning unit 102, and feature amount extraction unit The feature amount information 113, which is the feature amount extracted by 101, and the training image information set 114 used by the learning unit 102 during learning are stored.
（情報処理装置の動作）
以下に、情報処理装置の動作例を各図を参照しつつ、（１）特徴抽出動作、（２）学習動作に分けて説明する。
(Operation of information processing device)
Hereinafter, an operation example of the information processing apparatus will be described by dividing it into (1) feature extraction operation and (2) learning operation with reference to each drawing.
（１）特徴抽出動作
図１１は、情報処理装置の特徴抽出動作の一例を示すフローチャートである。図２は、特徴抽出動作の一例を説明する概略図である。
(1) Feature Extraction Operation FIG. 11 is a flowchart illustrating an example of the feature extraction operation of the information processing apparatus. FIG. 2 is a schematic diagram illustrating an example of the feature extraction operation.
まず、特徴抽出の対象となる画像情報１１１を基本特徴量抽出手段１００に入力する（Ｓ１）。 First, image information 111 that is a target of feature extraction is input to the basic feature amount extraction unit 100 (S1).
図４（ａ）及び（ｂ）は、基本特徴量抽出手段１００の特徴量抽出動作を説明するための概略図である。 FIGS. 4A and 4B are schematic diagrams for explaining the feature quantity extraction operation of the basic feature quantity extraction unit 100. FIG.
基本特徴量抽出手段１００は、図４（ａ）に示すように、画像情報１１１ａからピクセル毎に、一例として、Ｄ０個の特徴量ｆ１−ｆＤ０を抽出する。ここで、「ｃｏｌ」は列を示し、「ｒｏｗ」は行を示す。次に、基本特徴量抽出手段１００は、図４（ｂ）に示すように、Ｄ０個の特徴量ｆ１−ｆＤ０を成分とした各座標における特徴ベクトルｘ１、ｘ２、…、ｘＮ０の集合である特徴量情報１１３０を抽出する（Ｓ２）。 As shown in FIG. 4A, the basic feature quantity extraction unit 100 extracts D0 feature quantities f 1 -f D 0 as an example for each pixel from the image information 111a. Here, “col” indicates a column, and “row” indicates a row. Next, as shown in FIG. 4B, the basic feature quantity extraction unit 100 uses feature vectors x 1 , x 2 ,..., X N0 at the respective coordinates having D0 feature quantities f 1 -f D 0 as components. extracting a feature amount information 113 0 which is a set of (S2).
図５は、学習結果情報１１２の構成の一例を示す概略図である。図６は、特徴量抽出手段１０１によって抽出される特徴量情報１１３の構成の一例を示す概略図である。図７は、特徴量抽出手段１０１によって抽出される特徴量情報１１３の構成の他の例を示す概略図である。以下に説明する動作は、レイヤ１以降の複数のレイヤにおいて繰り返されるものである（Ｓ３、Ｓ６及びＳ９）。なお、代表してレイヤＭについて説明する。 FIG. 5 is a schematic diagram illustrating an example of the configuration of the learning result information 112. FIG. 6 is a schematic diagram illustrating an example of the configuration of the feature amount information 113 extracted by the feature amount extraction unit 101. FIG. 7 is a schematic diagram illustrating another example of the configuration of the feature amount information 113 extracted by the feature amount extraction unit 101. The operation described below is repeated in a plurality of layers after layer 1 (S3, S6, and S9). The layer M will be described as a representative.
特徴量抽出手段１０１ｍは、ｋ−ｍｅａｎｓクラスタリングにより、レイヤＭ−１の出力である特徴量情報１１３ｍ−１について、後述する「（２）学習動作」によって得られるレイヤＭ−１における学習結果情報１１２ｍ−１（図５）に基づいて図６に示す特徴量１０１ｍａを抽出する（Ｓ４）。 The feature quantity extraction unit 101 m performs learning results in the layer M-1 obtained by “(2) learning operation” to be described later on the feature quantity information 113 m-1 that is the output of the layer M-1 by k-means clustering. Based on the information 112 m-1 (FIG. 5), the feature quantity 101 ma shown in FIG. 6 is extracted (S4).
ここで、学習結果情報１１２ｍ−１は、ｄ１ ｍ−ｄＤｍ ｍまでのＤｍ個のベクトルを含むものであり、ｋ−ｍｅａｎｓクラスタリングにより特徴量１０１ｍ−１ａの各ベクトルがｄ１ ｍ−ｄＤｍ ｍのＤｍ個のベクトルに属するか否かを判定するものであるため、特徴量１０１ｍａはＤｍ次元のベクトルになる。 Here, the learning result information 112 m−1 includes Dm vectors up to d 1 m −d Dm m , and each vector of the feature amount 101 m−1 a is d 1 m by k-means clustering. Since it is determined whether or not it belongs to Dm vectors of −d Dm m , the feature quantity 101 m a becomes a D m- dimensional vector.
つまり、レイヤｍ−１の出力であるｘｉｍ−１ ｍ−１を入力とし、これをＤｍ次元のベクトルｘｉｍ−１ ｍに変換する。すなわち、
ここで、「ｓｍａｌｌ（）」は、ｋに関して括弧内が小さい方から数えてＫ番目までの大きさの場合には「１」、そうでない場合には「０」を値として返すものである。 Here, “small ()” returns “1” as a value when k is the size up to the Kth from the smallest in parentheses with respect to k, and “0” is returned otherwise.
なお、ここで、ｋ−ｍｅａｎｓクラスタリングにより特徴量１０１ｍ−１ａの各ベクトルがｄ１ ｍ−ｄＤｍ ｍの各ベクトルに属する場合は値が「１」、また、属さない場合は値が「０」となるため、特徴量１０１ｍａの各ベクトルは値が０のものが多い、いわゆるスパースなベクトルとなる。 Here, if each vector of the feature quantity 101 m−1 a belongs to each vector of d 1 m −d Dm m by k-means clustering, the value is “1”, and if not, the value is “ Therefore, each vector of the feature quantity 101 m a is a so-called sparse vector with many values of 0.
従って、値が０でないベクトルの要素について、そのインデックス１０１ｉと値１０１ｖとを記述する特徴量１０１ｍｂとすることにより、図示しない情報処理装置１のメモリにおいて情報処理の際に一時的に保持する情報量を減少することができる。 Therefore, by using the feature quantity 101 mb that describes the index 101 i and the value 101 v for an element of a vector whose value is not 0, the information processing apparatus 1 memory (not shown) temporarily performs information processing. The amount of information to be held can be reduced.
次に、プーリング処理手段１０３は、特徴量１０１ｍａ（又は１０１ｍｂ）に含まれる複数のベクトルのうち、予め定めた数のベクトルと組として、組に属するベクトルの平均、最大値等の統計値を算出して新たな１つのベクトルを生成することでプーリング処理し（Ｓ５）、特徴量１０１ｍａに含まれるベクトルの数を減少させた特徴量情報１１３ｍを出力する。 Next, the pooling processing unit 103 sets an average, a maximum value, etc. of vectors belonging to the set as a set with a predetermined number of vectors among a plurality of vectors included in the feature quantity 101 m a (or 101 m b). to calculate the statistical value pooling process by generating a new one vector (S5), and outputs the feature amount information 113 m of the number reduced in the vectors contained in the feature amount 101 m a.
ここで、プーリング処理のうち平均プーリングは次式で表される。
また、プーリング処理のうち、最大プーリングは次式で表される。
次に、すべてのレイヤについて上記ステップＳ４、Ｓ５の動作を処理し終えると、最後のレイヤＭの出力を特徴量情報１１３として記憶部１１に保存する（Ｓ８）。ここで、Ｍの設定方法としては、レイヤＭの出力が予め定めた数のベクトル以下となる場合であってもよいし、予め定めた数値としてもよい。 Next, when the operations of steps S4 and S5 are completed for all layers, the output of the last layer M is stored in the storage unit 11 as feature amount information 113 (S8). Here, the setting method of M may be a case where the output of the layer M is equal to or less than a predetermined number of vectors, or may be a predetermined numerical value.
以下において、上記したレイヤｍにおける特徴量の抽出動作及びプーリング処理の動作を、具体例を用いて説明する。 Hereinafter, the feature amount extraction operation and the pooling processing operation in the layer m described above will be described using a specific example.
図８（ａ）−（ｃ）は、特徴量の抽出動作の具体例を説明するための概略図である。図９は、特徴量の抽出動作においてｋ−ｍｅａｎｓクラスタリングの具体例を説明するための概略図である。図１０（ａ）及び（ｂ）は、プーリング処理の具体例を説明するための概略図である。 FIGS. 8A to 8C are schematic diagrams for explaining a specific example of the feature quantity extraction operation. FIG. 9 is a schematic diagram for explaining a specific example of k-means clustering in the feature quantity extraction operation. FIGS. 10A and 10B are schematic diagrams for explaining a specific example of the pooling process.
まず、図８（ａ）に示すようにレイヤｍ−１の出力である特徴量情報１１３ｍ−１に含まれる特徴量ベクトルを概念的に×印で記載した場合に、各特徴量ベクトルがｘ１＝［０．１、０．０８］、ｘ２＝［０．４、０．１］、ｘ３＝［０．１、０．１３］、ｘ４＝［０．１５、０．１］であって、レイヤｍ−１の学習結果情報１１２ｍ−１がｄ１＝［０．１、０．１］、ｄ２＝［０．４、０．１］、ｄ３＝［０．１、０．１３］、ｄ４＝［０．１５、０．１］であった場合について考える。 First, as shown in FIG. 8A, when the feature quantity vector included in the feature quantity information 113 m-1 that is the output of the layer m-1 is conceptually described by x, each feature quantity vector is x 1 = [0.1,0.08], x 2 = [0.4,0.1], x 3 = [0.1,0.13], x 4 = [0.15,0.1] a is, the learning result information 112 m-1 is d 1 = [0.1,0.1] layer m-1, d 2 = [ 0.4,0.1], d 3 = [0.1 , 0.13] and d 4 = [0.15, 0.1].
ｋ−ｍｅａｎｓクラスタリングにより特徴量空間において図９に示すように各ベクトルが分布していたとすると、ｘ１、ｘ３、ｘ４がｄ１に属し、ｘ２がｄ４に属しているため、属している場合を「１」、属していない場合を「０」と記載するとしたとき、ｘ１＝［１、０、０、０］、ｘ２＝［０、０、０、１］、ｘ３＝［１、０、０、０］、ｘ４＝［１、０、０、０］といった特徴量ベクトル１０１ｍｃが抽出される。 If each vector is distributed in the feature space as shown in FIG. 9 by k-means clustering, x 1 , x 3 , x 4 belong to d 1 , and x 2 belongs to d 4. If it is described as “1” when it belongs and “0” when it does not belong, x 1 = [ 1 , 0, 0, 0], x 2 = [0, 0, 0, 1 ], x 3 = [1, 0, 0, 0], x 4 = [1, 0, 0, 0] The feature quantity vector 101 m c is extracted.
次に、プーリング処理手段１０３は、特徴量ベクトル１０１ｍｃから平均値ｘａｖｇ＝［０．７５、０、０、０．２５］を算出し、新たな特徴量情報１１３ｍの特徴量ベクトルとする。また、最大値を算出する場合は、ｘｍａｘ＝［１、０、０、１］を特徴量ベクトルとする。 Next, pooling processing unit 103 calculates an average value x avg = [0.75,0,0,0.25] from the feature vectors 101 m c, a feature amount vector of the new feature amount information 113 m To do. When calculating the maximum value, let x max = [1, 0, 0, 1] be a feature vector.
（２）学習動作
図１２は、情報処理装置の学習動作の一例を示すフローチャートである。図３は、学習動作の一例を説明する概略図である。
(2) Learning Operation FIG. 12 is a flowchart illustrating an example of a learning operation of the information processing apparatus. FIG. 3 is a schematic diagram illustrating an example of a learning operation.
まず、学習の対象となる複数の訓練画像情報１１４を入力し（Ｓ１０）、「（１）特徴抽出動作」のステップＳ２−Ｓ９を実行し、基本特徴量抽出手段１００、特徴量抽出手段１０１及びプーリング処理手段１０３によって、レイヤｍ−１までの特徴量情報１１３ｍ−１を抽出する（Ｓ１１）。当該動作は、複数の訓練画像情報集合１１４について実行され、それぞれの特徴量を抽出する（Ｓ１２）。 First, a plurality of pieces of training image information 114 to be learned are input (S10), and Steps S2-S9 of “(1) Feature extraction operation” are executed, and the basic feature quantity extraction unit 100, the feature quantity extraction unit 101, and The pooling processing means 103 extracts feature amount information 113 m-1 up to the layer m-1 (S11). This operation is executed for a plurality of training image information sets 114, and each feature amount is extracted (S12).
次に、学習手段１０２は、特徴量情報１１３０−１１３ｍ−１に基づいてｋ−ｍｅａｎｓクラスタリングにより学習し、学習結果情報１１２ｍ−１を算出して（Ｓ１３）、記憶部１１に保存する（Ｓ１４）。 Then, the learning unit 102 learns by k-means clustering on the basis of the feature amount information 113 0 -113 m-1, and calculates the learning result information 112 m-1 (S13), stored in the storage unit 11 (S14).
上記のレイヤｍ−１における学習結果情報１１２ｍ−１はレイヤｍの特徴量抽出手段１０１ｍにおいて用いられる。 The learning result information 112 m−1 in the layer m −1 is used in the feature amount extraction unit 101 m of the layer m.
（第１の実施の形態の効果）
上記した第１の実施の形態によると、画像情報の特徴抽出において、教師あり学習を用いる方法であるバックプロパゲーション法を用いずに、教師なしのクラスタリング手法であるｋ−ｍｅａｎｓクラスタリングを用いたため、例えば、公知の技術であるＫＤ−ｔｒｅｅと呼ばれる木構造を用いて高速に計算することができるため、従来に比べて演算処理の負荷を抑制できる。
(Effects of the first embodiment)
According to the first embodiment described above, the feature extraction of image information uses k-means clustering, which is an unsupervised clustering method, without using the back propagation method, which is a method that uses supervised learning. For example, since a tree structure called KD-tree, which is a well-known technique, can be calculated at high speed, it is possible to suppress the load of calculation processing compared to the conventional technique.
また、バックプロパゲーション法は、全てのレイヤにおける値をメモリ上に保持する必要があるが、ｋ−ｍｅａｎｓクラスタリングは、１つ前のレイヤにおける値をメモリ上に保持するだけで済み、情報処理装置１のメモリ消費量を抑制することができる。 The back-propagation method needs to hold values in all layers on the memory, but k-means clustering only needs to hold the value in the previous layer on the memory. 1 memory consumption can be suppressed.
また、プーリング処理手段１０３によって局所受容野を用いてプーリングを行ったため、特徴量情報１１３に画像情報１１１の空間的な相関性を取り込むことができる。 Moreover, since the pooling is performed using the local receptive field by the pooling processing unit 103, the spatial correlation of the image information 111 can be taken into the feature amount information 113.
［第２の実施の形態］
（情報処理装置の構成）
図１３は、本発明の第２の実施の形態に係る情報処理装置の構成の一例を示す図である。図１４は、特徴抽出動作の一例を説明する概略図である。
[Second Embodiment]
(Configuration of information processing device)
FIG. 13 is a diagram illustrating an example of the configuration of the information processing apparatus according to the second embodiment of the present invention. FIG. 14 is a schematic diagram illustrating an example of the feature extraction operation.
第２の実施の形態の情報処理装置１Ａは、第１の実施の形態の情報処理装置１の構成に加えて共通学習結果情報１１５を有する点で異なる。 The information processing apparatus 1A according to the second embodiment is different in that it includes common learning result information 115 in addition to the configuration of the information processing apparatus 1 according to the first embodiment.
情報処理装置１Ａの学習手段１０２は、一例として、レイヤ０及びレイヤ１において抽出される特徴量情報１１３０及び１１３１を用いて学習し、学習の結果得られた学習結果情報１１２を共通学習結果情報１１５としてレイヤ１−レイヤＭの特徴量抽出手段１０１１−１０１Ｍにおいて用いる。なお、共通学習結果情報１１５を用いるレイヤＮ−レイヤＭは、Ｎ≧１を満たせばよく、その場合、共通学習結果情報１１５はレイヤ１−レイヤＮにおいて抽出される特徴量情報１１３０−１１３Ｎを用いた学習結果情報１１２を用いるものとする。 As an example, the learning unit 102 of the information processing apparatus 1 </ b> A learns using the feature amount information 113 0 and 113 1 extracted in the layer 0 and the layer 1, and uses the learning result information 112 obtained as a result of the learning as a common learning result. The information 115 is used in the feature extraction means 101 1 -101 M of layer 1 to layer M. Note that the layer N-layer M using the common learning result information 115 only needs to satisfy N ≧ 1, and in this case, the common learning result information 115 is the feature amount information 113 0 -113 N extracted from layer 1 to layer N. It is assumed that learning result information 112 using is used.
（第２の実施の形態の効果）
上記した第２の実施の形態によると、共通学習結果情報１１５に含まれるベクトルの数がレイヤ１−レイヤＭで抽出される特徴量情報１１３１−１１３Ｍに含まれる次元数となる、つまり、特徴量情報１１３１−１１３Ｍの次元数が全て共通となるため、計算の簡略化を図ることができ、第１の実施の形態に比べて、処理が高速化される。
(Effect of the second embodiment)
According to the second embodiment described above, the number of dimensions in which the number of vectors contained in the common learning result information 115 is included in the feature amount information 113 1 -113 M are extracted at Layer 1 Layer M, that is, Since all the dimension numbers of the feature amount information 113 1 to 113 M are common, the calculation can be simplified, and the processing is speeded up as compared with the first embodiment.
［第３の実施の形態］
（情報処理装置の構成）
図１５は、本発明の第３の実施の形態に係る情報処理装置の構成の一例を示す図である。図１６は、特徴抽出動作の一例を説明する概略図である。
[Third Embodiment]
(Configuration of information processing device)
FIG. 15 is a diagram illustrating an example of a configuration of an information processing device according to the third embodiment of the present invention. FIG. 16 is a schematic diagram illustrating an example of the feature extraction operation.
第３の実施の形態の情報処理装置１Ｂは、第１の実施の形態の情報処理装置１の構成に加えて初期値設定手段１０４を有する点で異なる。 The information processing apparatus 1B according to the third embodiment is different in that it includes an initial value setting unit 104 in addition to the configuration of the information processing apparatus 1 according to the first embodiment.
情報処理装置１Ｂの学習手段１０２は、一つ前のレイヤｍ−１において得られた学習結果情報１１２ｍ−１をｋ−ｍｅａｎｓクラスタリングの初期値に利用してレイヤｍにおいて抽出された特徴量情報１１３ｍについて学習し、学習結果情報１１２ｍを得る。 The learning unit 102 of the information processing apparatus 1B uses the learning result information 112m -1 obtained in the previous layer m-1 as an initial value of k-means clustering, and the feature amount information extracted in the layer m 113 m is learned, and learning result information 112 m is obtained.
（第３の実施の形態の効果）
上記した第３の実施の形態によると、一つ前のレイヤｍ−１において得られた学習結果情報１１２ｍ−１をｋ−ｍｅａｎｓクラスタリングの初期値に利用したため、ｋ−ｍｅａｎｓクラスタリングにおいて値の収束までの処理の回数が短縮でき、第１の実施の形態に比べて、処理が高速化される。
(Effect of the third embodiment)
According to the third embodiment described above, since learning result information 112 m−1 obtained in the immediately preceding layer m−1 is used as the initial value of k-means clustering, value convergence is achieved in k-means clustering. The number of processes up to can be shortened, and the processing is speeded up as compared with the first embodiment.
［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。
[Other embodiments]
The present invention is not limited to the above embodiment, and various modifications can be made without departing from the spirit of the present invention.
また、上記実施の形態で使用される特徴抽出プログラム１１０は、ＣＤ−ＲＯＭ等の記憶媒体から装置内の記憶部１１に読み込んでも良く、インターネット等のネットワークに接続されているサーバ装置等から装置内の記憶部１１にダウンロードしてもよい。また、記憶部１１を装置外に配置してもよいし、装置外に配置した記憶部１１と情報処理装置１とをネットワークを介して接続してもよい。また、上記実施の形態で使用される手段１００〜１０４の一部または全部をＡＳＩＣ等のハードウェアによって実現してもよい。 In addition, the feature extraction program 110 used in the above embodiment may be read from a storage medium such as a CD-ROM into the storage unit 11 in the device, or from a server device connected to a network such as the Internet. You may download to the memory | storage part 11. Further, the storage unit 11 may be arranged outside the apparatus, or the storage unit 11 arranged outside the apparatus and the information processing apparatus 1 may be connected via a network. Moreover, you may implement | achieve part or all of the means 100-104 used by the said embodiment with hardware, such as ASIC.
１、１Ａ、１Ｂ 情報処理装置
１０ 制御部
１１ 記憶部
１２ 通信部
１００ 基本特徴量抽出手段
１０１ 特徴量抽出手段
１０１ｉ インデックス
１０１ｍａ、１０１ｍｂ、１０１ｍｃ 特徴量ベクトル
１０１ｖ 値
１０２ 学習手段
１０３ プーリング処理手段
１０４ 初期値設定手段
１１０ 特徴抽出プログラム
１１１ 画像情報
１１２ 学習結果情報
１１３ 特徴量情報
１１４ 訓練画像情報集合
１１５ 共通学習結果情報
1, 1A, 1B information processing apparatus 10 control unit 11 storage unit 12 communication unit 100 basic feature amount extracting unit 101 feature extraction means 101 i indexes 101 m a, 101 m b, 101 m c feature vector 101 v value 102 Learning Means 103 Pooling processing means 104 Initial value setting means 110 Feature extraction program 111 Image information 112 Learning result information 113 Feature amount information 114 Training image information set 115 Common learning result information
Claims (4)
複数の階層の各階層において、１つ前の階層の出力を入力として画像情報の特徴量を抽出するよう機能させるものであって、
前記複数の階層の最初の階層において、画像情報から特徴量を抽出する基本特徴量抽出手段と、
前記複数の階層において抽出された特徴量を用いて学習を行い学習結果を出力する学習手段と、
前記複数の階層の最初以外の階層のそれぞれにおいて、前記学習手段の学習結果に基づいて、１つ前の階層の出力から教師なしのクラスタリング手法により特徴量を抽出する特徴量抽出手段と、
前記複数の階層の最初以外の階層のそれぞれにおいて、前記特徴量抽出手段が抽出した特徴量をプーリング処理し、プーリング処理された特徴量を当該階層の出力とするプーリング処理手段として機能させる特徴抽出プログラム。 Computer
In each of a plurality of layers, the output of the previous layer is used as an input to function to extract the feature amount of the image information,
Basic feature amount extraction means for extracting feature amounts from image information in a first layer of the plurality of layers;
Learning means for performing learning using feature quantities extracted in the plurality of hierarchies and outputting a learning result;
In each of the layers other than the first of the plurality of layers, based on the learning result of the learning unit, a feature amount extraction unit that extracts a feature amount from an output of the previous layer by an unsupervised clustering method;
A feature extraction program that pools the feature amount extracted by the feature amount extraction unit in each of the layers other than the first of the plurality of layers and functions as a pooling processing unit that outputs the pooled feature amount of the layer. .
前記複数の階層の最初の階層において、画像情報から特徴量を抽出する基本特徴量抽出手段と、
前記複数の階層において抽出された特徴量を用いて学習を行い学習結果を出力する学習手段と、
前記複数の階層の最初以外の階層のそれぞれにおいて、前記学習手段の学習結果に基づいて、１つ前の階層の出力から教師なしのクラスタリング手法により特徴量を抽出する特徴量抽出手段と、
前記複数の階層の最初以外の階層のそれぞれにおいて、前記特徴量抽出手段が抽出した特徴量をプーリング処理し、プーリング処理された特徴量を当該階層の出力とするプーリング処理手段とを有する情報処理装置。
Extracting the feature value using the output of the previous layer as an input in a plurality of layers,
Basic feature amount extraction means for extracting feature amounts from image information in a first layer of the plurality of layers;
Learning means for performing learning using feature quantities extracted in the plurality of hierarchies and outputting a learning result;
In each of the layers other than the first of the plurality of layers, based on the learning result of the learning unit, a feature amount extraction unit that extracts a feature amount from an output of the previous layer by an unsupervised clustering method;
An information processing apparatus comprising: a pooling processing unit that pools the feature amount extracted by the feature amount extraction unit in each of the layers other than the first of the plurality of layers, and uses the pooled feature amount as an output of the layer .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013168974A JP6107531B2 (en) | 2013-08-15 | 2013-08-15 | Feature extraction program and information processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013168974A JP6107531B2 (en) | 2013-08-15 | 2013-08-15 | Feature extraction program and information processing apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015036939A true JP2015036939A (en) | 2015-02-23 |
| JP6107531B2 JP6107531B2 (en) | 2017-04-05 |
Family
ID=52687388
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013168974A Expired - Fee Related JP6107531B2 (en) | 2013-08-15 | 2013-08-15 | Feature extraction program and information processing apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6107531B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106845528A (en) * | 2016-12-30 | 2017-06-13 | 湖北工业大学 | A kind of image classification algorithms based on K means Yu deep learning |
| WO2017125980A1 (en) * | 2016-01-21 | 2017-07-27 | ソニー株式会社 | Information processing device, information processing method, and program |
| JP2018081684A (en) * | 2016-11-14 | 2018-05-24 | 澤蒼 顧 | Construction method for artificial intelligence ultra deep layer learning model, artificial intelligence ultra deep layer learning device, general purpose mobile terminal device on which artificial intelligence ultra deep layer learning model is mounted, and program of artificial intelligence ultra deep layer learning model |
| CN108388943A (en) * | 2018-01-08 | 2018-08-10 | 中国科学院计算技术研究所 | A kind of pond device and method suitable for neural network |
| KR20200068104A (en) * | 2018-11-28 | 2020-06-15 | 울산과학기술원 | Apparatus and method for executing deep learning based on early inference |
| KR20210040604A (en) * | 2019-10-04 | 2021-04-14 | 광주과학기술원 | Action recognition method and device |
| JP2022000782A (en) * | 2015-05-21 | 2022-01-04 | グーグル エルエルシーGoogle LLC | Vector computation unit in neural network processor |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1021406A (en) * | 1996-03-29 | 1998-01-23 | Nec Corp | Object recognition method/device |
| JP2005215988A (en) * | 2004-01-29 | 2005-08-11 | Canon Inc | Method and apparatus for learning pattern recognition, image input device, computer program and recording medium readable by computer |
-
2013
- 2013-08-15 JP JP2013168974A patent/JP6107531B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1021406A (en) * | 1996-03-29 | 1998-01-23 | Nec Corp | Object recognition method/device |
| JP2005215988A (en) * | 2004-01-29 | 2005-08-11 | Canon Inc | Method and apparatus for learning pattern recognition, image input device, computer program and recording medium readable by computer |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022000782A (en) * | 2015-05-21 | 2022-01-04 | グーグル エルエルシーGoogle LLC | Vector computation unit in neural network processor |
| JP7346510B2 (en) | 2015-05-21 | 2023-09-19 | グーグル エルエルシー | Vector calculation unit in neural network processor |
| US11620508B2 (en) | 2015-05-21 | 2023-04-04 | Google Llc | Vector computation unit in a neural network processor |
| WO2017125980A1 (en) * | 2016-01-21 | 2017-07-27 | ソニー株式会社 | Information processing device, information processing method, and program |
| JPWO2017125980A1 (en) * | 2016-01-21 | 2018-11-15 | ソニー株式会社 | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM |
| US10789691B2 (en) | 2016-01-21 | 2020-09-29 | Sony Corporation | Information processing apparatus and information processing method |
| JP2018081684A (en) * | 2016-11-14 | 2018-05-24 | 澤蒼 顧 | Construction method for artificial intelligence ultra deep layer learning model, artificial intelligence ultra deep layer learning device, general purpose mobile terminal device on which artificial intelligence ultra deep layer learning model is mounted, and program of artificial intelligence ultra deep layer learning model |
| CN106845528A (en) * | 2016-12-30 | 2017-06-13 | 湖北工业大学 | A kind of image classification algorithms based on K means Yu deep learning |
| CN108388943A (en) * | 2018-01-08 | 2018-08-10 | 中国科学院计算技术研究所 | A kind of pond device and method suitable for neural network |
| CN108388943B (en) * | 2018-01-08 | 2020-12-29 | 中国科学院计算技术研究所 | Pooling device and method suitable for neural network |
| KR102180051B1 (en) | 2018-11-28 | 2020-11-17 | 울산과학기술원 | Apparatus and method for executing deep learning based on early inference |
| KR20200068104A (en) * | 2018-11-28 | 2020-06-15 | 울산과학기술원 | Apparatus and method for executing deep learning based on early inference |
| KR20210040604A (en) * | 2019-10-04 | 2021-04-14 | 광주과학기술원 | Action recognition method and device |
| KR102334338B1 (en) | 2019-10-04 | 2021-12-03 | 광주과학기술원 | Action recognition method and device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6107531B2 (en) | 2017-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6107531B2 (en) | Feature extraction program and information processing apparatus | |
| Ge et al. | Multi-evidence filtering and fusion for multi-label classification, object detection and semantic segmentation based on weakly supervised learning | |
| WO2019100723A1 (en) | Method and device for training multi-label classification model | |
| WO2019100724A1 (en) | Method and device for training multi-label classification model | |
| CN109478239B (en) | Method for detecting object in image and object detection system | |
| Chen et al. | DISC: Deep image saliency computing via progressive representation learning | |
| US9633282B2 (en) | Cross-trained convolutional neural networks using multimodal images | |
| Goodfellow et al. | Multi-digit number recognition from street view imagery using deep convolutional neural networks | |
| CN109002755B (en) | Age estimation model construction method and estimation method based on face image | |
| WO2014205231A1 (en) | Deep learning framework for generic object detection | |
| CN111027576B (en) | Cooperative significance detection method based on cooperative significance generation type countermeasure network | |
| CN110245621B (en) | Face recognition device, image processing method, feature extraction model, and storage medium | |
| US11568212B2 (en) | Techniques for understanding how trained neural networks operate | |
| JP2015099563A (en) | Image processing apparatus, image processing method, and program | |
| JP2010157118A (en) | Pattern identification device and learning method for the same and computer program | |
| CN112528845B (en) | Physical circuit diagram identification method based on deep learning and application thereof | |
| CN112132145A (en) | Image classification method and system based on model extended convolutional neural network | |
| Kishorjit Singh et al. | Image classification using SLIC superpixel and FAAGKFCM image segmentation | |
| Chen et al. | Page segmentation for historical handwritten document images using conditional random fields | |
| Siddiqui et al. | A robust framework for deep learning approaches to facial emotion recognition and evaluation | |
| CN114612681A (en) | GCN-based multi-label image classification method, model construction method and device | |
| CN114299304A (en) | Image processing method and related equipment | |
| JP2021051589A5 (en) | ||
| US11429771B2 (en) | Hardware-implemented argmax layer | |
| CN105844299B (en) | A kind of image classification method based on bag of words |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160218 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170123 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170220 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6107531 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |