JP2021157235A - Image classification program manufacturing method and image classification program - Google Patents

Image classification program manufacturing method and image classification program Download PDF

Info

Publication number
JP2021157235A
JP2021157235A JP2020054117A JP2020054117A JP2021157235A JP 2021157235 A JP2021157235 A JP 2021157235A JP 2020054117 A JP2020054117 A JP 2020054117A JP 2020054117 A JP2020054117 A JP 2020054117A JP 2021157235 A JP2021157235 A JP 2021157235A
Authority
JP
Japan
Prior art keywords
image
classification
feature extraction
convolution
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020054117A
Other languages
Japanese (ja)
Other versions
JP7045410B2 (en
Inventor
洋一 木川
Yoichi Kikawa
洋一 木川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nitto Denko Corp
Original Assignee
Nitto Denko Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nitto Denko Corp filed Critical Nitto Denko Corp
Priority to JP2020054117A priority Critical patent/JP7045410B2/en
Publication of JP2021157235A publication Critical patent/JP2021157235A/en
Application granted granted Critical
Publication of JP7045410B2 publication Critical patent/JP7045410B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

To provide an image classification program manufacturing method capable of manufacturing an image classification program that can classify an image to be classified with high accuracy.SOLUTION: An image classification program manufacturing method performs a first output setting step of adding a most downstream convolution layer 34 to a most downstream side of feature extraction means 3 and setting second classification means 5 as a classifier having a pooling layer 50 to be an output destination of a feature extraction image of the feature extraction means 3, an adjustment step of adjusting the feature extraction means 3, and a second output setting step of setting a support vector machine 6 to be an output destination of an image of a convolution layer 32 closest to the most downstream convolution layer 34 at an upstream side, on an existing adjusted image classification program including the feature extraction means 3 having a plurality of convolution layers 30, 31, 32 that output the feature extraction image by convolution processing, and first classification means 4 that is the first classification means 4 as the classifier for classifying the feature extraction image and has a plurality of bonding layers 40, 41, 42.SELECTED DRAWING: Figure 3

Description

本発明は、画像を分類する画像分類プログラムの製造方法、及び画像分類プログラムに関する。 The present invention relates to a method for manufacturing an image classification program for classifying images, and an image classification program.

従来、画像を分類する方法として、分類対象とする分類画像に対して畳込処理と、プーリング処理とを交互に複数回繰り返すことで特徴量を抽出した特徴抽出画像を作成し、該特徴抽出画像を複数の結合層に対して順番に入力し、結合層の出力結果を特徴抽出画像（分類画像）の分類結果として得る方法が知られている（例えば、非特許文献１参照）。 Conventionally, as a method of classifying images, a feature extraction image in which a feature amount is extracted is created by alternately repeating a convolution process and a pooling process a plurality of times for the classification image to be classified, and the feature extraction image is created. Is known in order for a plurality of bonding layers, and the output result of the bonding layer is obtained as the classification result of the feature extraction image (classification image) (see, for example, Non-Patent Document 1).

Ｙａｎｎ ＬｅＣｕｎ、Ｌｅｏｎ Ｂｏｔｔｏｕ、Ｙｏｓｈｕａ Ｂｅｎｇｉｏ、Ｐａｔｒｉｃｋ Ｈａｆｆｎｅｒ著、ＰＲＯＣ．ＯＦ ＴＨＥ ＩＥＥＥ、ＮＯＶＥＭＢＥＲ １９９８、 Ｇｒａｄｉｅｎｔ−Ｂａｓｅｄ Ｌｅａｒｎｉｎｇ Ａｐｐｌｉｅｄ ｔｏ Ｄｏｃｕｍｅｎｔ Ｒｅｃｏｇｎｉｔｉｏｎ．Yann LeCun, Leon Bottou, Yoshua Bengio, Patrick Haffner, PROC. OF THE IEEE, NOVEMBER 1998, Gradient-Based Learning Applied to Document Recognition.

ところで、上記従来のような画像の分類方法では、画像データに対して畳込処理を繰り返し実行する度に、結合層に入力される特徴抽出画像の特徴量に偏りが生じ易くなる傾向があるため、分類画像の分類結果の精度が低下してしまうことがあった。 By the way, in the above-mentioned conventional image classification method, the feature amount of the feature-extracted image input to the coupling layer tends to be biased every time the convolution process is repeatedly executed for the image data. , The accuracy of the classification result of the classification image may be lowered.

そこで、本発明は、かかる実情に鑑み、分類対象の画像を高い精度で分類できる画像分類プログラムを製造できる画像分類プログラムの製造方法、及び分類対象の画像を高い精度で分類できる画像分類プログラムの提供を課題とする。 Therefore, in view of such circumstances, the present invention provides a method for manufacturing an image classification program capable of producing an image classification program capable of classifying images to be classified with high accuracy, and an image classification program capable of classifying images to be classified with high accuracy. Is the subject.

本発明の画像分類プログラムの製造方法は、
分類対象となる分類画像が入力される入力手段と、前記入力手段に入力された分類画像から特徴を抽出した特徴抽出画像を出力する特徴抽出手段であって、前記入力手段に入力された分類画像に対して畳込処理を実行する複数の畳込層を有する特徴抽出手段と、前記特徴抽出手段から出力された特徴抽出画像に基づいて分類画像を分類する分類器としての第一分類手段であって、複数の結合層を有する第一分類手段と、を備える既存の調整済みの画像分類プログラムに対して、
入力された画像に対して畳込処理を実行する畳込層を前記特徴抽出手段の最も下流側に最下流畳込層として追加し、前記分類器としての第二分類手段であって、入力された画像にプーリング処理を実行した画像を分類結果として出力するプーリング層を有する第二分類手段を前記特徴抽出手段の前記特徴抽出画像の出力先とする第一出力設定工程と、
前記特徴抽出手段を調整する調整工程と、
前記分類器としてのサポートベクターマシンを、前記特徴抽出手段の前記複数の畳込層のうち前記最下流畳込層に対して上流側で最も近いものから出力される画像の出力先に設定する第二出力設定工程と、を行う。 The method for manufacturing the image classification program of the present invention is as follows.
An input means for inputting a classification image to be classified and a feature extraction means for outputting a feature extraction image obtained by extracting features from the classification image input to the input means, and the classification image input to the input means. It is a feature extraction means having a plurality of convolution layers for executing a convolution process, and a first classification means as a classifier for classifying a classification image based on a feature extraction image output from the feature extraction means. For an existing adjusted image classification program comprising a first classification means having a plurality of binding layers.
A convolutional layer that executes convolution processing on the input image is added as the most downstream convolutional layer to the most downstream side of the feature extraction means, and is input as a second classification means as the classifier. A first output setting step in which a second classification means having a pooling layer that outputs an image obtained by performing a pooling process on the image as a classification result is used as an output destination of the feature extraction image of the feature extraction means.
An adjustment step for adjusting the feature extraction means and
The support vector machine as the classifier is set as the output destination of the image output from the one closest to the most downstream convolution layer of the plurality of convolution layers of the feature extraction means on the upstream side. (2) Output setting process and.

第一分類手段のような結合層を有する分類器では、隣り合う結合層のノード同士が網羅的に関連付けられるため、第一分類手段の出力結果から出力結果が導き出された過程を解析することが困難である。一方、第二分類手段のようなプーリング処理の実行結果を分類結果として出力する第二分類手段では、最下流畳込層からの出力とプーリング層からの出力とが一対一の関係で関連付けられるため、出力結果が導き出された過程を簡単且つ正確に解析することができる。 In a classifier having a connection layer such as the first classification means, the nodes of the adjacent connection layers are comprehensively associated with each other, so it is possible to analyze the process in which the output result is derived from the output result of the first classification means. Have difficulty. On the other hand, in the second classification means that outputs the execution result of the pooling process as the classification result, such as the second classification means, the output from the most downstream convolution layer and the output from the pooling layer are related in a one-to-one relationship. , The process from which the output result is derived can be analyzed easily and accurately.

上記構成の画像分類プログラムの製造方法では、調整工程の前に行われる第一出力設定工程において、使用される分類器が第一分類手段から第二分類手段に変わるため、第二分類手段の出力結果が導き出された過程を正しく解析することで特徴抽出手段を適切に調整できるようになる。 In the manufacturing method of the image classification program having the above configuration, the classifier used is changed from the first classification means to the second classification means in the first output setting step performed before the adjustment step, so that the output of the second classification means is output. By correctly analyzing the process from which the results are derived, the feature extraction means can be adjusted appropriately.

また、上記構成の画像分類プログラムの製造方法では、調整工程の後の第二出力設定工程において、使用する分類器が第二分類手段からサポートベクターマシンに変わり、このサポートベクターマシンには、特徴抽出手段の複数の畳込層のうち、最も下流側に位置する最下流畳込層に対して上流側で最も近い畳込層から出力される画像、すなわち、ノイズが少なく且つ特徴量が高い画像が入力されるため、分類の基準とする境界を適切に定めて精度の高い分類を行えるようになる。 Further, in the manufacturing method of the image classification program having the above configuration, the classifier used is changed from the second classification means to the support vector machine in the second output setting step after the adjustment step, and the support vector machine is used for feature extraction. Of the plurality of convolutional layers of the means, an image output from the convolutional layer closest to the upstream side with respect to the most downstream convolutional layer located on the most downstream side, that is, an image having less noise and a high feature amount is obtained. Since it is input, it becomes possible to appropriately determine the boundary as the reference for classification and perform highly accurate classification.

本発明の画像分類プログラムの製造方法において、
前記最下流畳込層は２つのフィルタを有し、
前記第二分類手段の前記プーリング層は、前記最下流畳込層が２つのフィルタのうちの一方により畳込処理を実行することで出力した画像と、前記最下流畳込層が２つのフィルタのうちの他方により畳込処理を実行することで出力した画像とについてプーリング処理を行うように構成されていてもよい。 In the method for manufacturing an image classification program of the present invention,
The most downstream convolutional layer has two filters.
The pooling layer of the second classification means consists of an image output by the most downstream convolution layer performing convolution processing by one of the two filters and a filter having the most downstream convolution layer having two filters. The other of them may be configured to perform pooling processing on the output image by executing convolution processing.

上記構成の画像分類プログラムの製造方法では、第二分類手段のプーリング層が、最下流畳込層から出力される２枚の画像のそれぞれに対応付けて１枚ずつ画像を出力するため、第二分類手段のプーリング層から出力された画像が導き出された経緯を分析し易くなる。 In the manufacturing method of the image classification program having the above configuration, the pooling layer of the second classification means outputs one image in association with each of the two images output from the most downstream convolution layer. It becomes easy to analyze how the image output from the pooling layer of the classification means was derived.

本発明の画像分類プログラムは、
分類対象となる分類画像が入力される入力手段と、
前記入力手段に入力された分類画像から特徴を抽出した特徴抽出画像を出力する特徴抽出手段であって、前記入力手段に入力された分類画像に対して畳込処理を実行する複数の畳込層を有する特徴抽出手段と、
前記特徴抽出手段から出力された特徴抽出画像に基づいて分類画像を分類する分類器としてのサポートベクターマシンと、を備え、
前記特徴抽出手段の前記複数の畳込層のうち、最も下流側に位置する最下流畳込層に対して上流側で最も近いものから出力される畳込画像の出力先がサポートベクターマシンに設定されている。 The image classification program of the present invention
Input means for inputting the classification image to be classified, and
A feature extraction means that outputs a feature extraction image that extracts features from a classification image input to the input means, and is a plurality of convolution layers that execute a convolution process on the classification image input to the input means. Feature extraction means with
A support vector machine as a classifier for classifying the classification image based on the feature extraction image output from the feature extraction means is provided.
The output destination of the convolution image output from the closest convolution layer on the upstream side with respect to the most downstream convolution layer located on the most downstream side among the plurality of convolution layers of the feature extraction means is set in the support vector machine. Has been done.

上記構成の画像分類プログラムでは、分類器としてサポートベクターマシンが採用されており、この分類器には、特徴抽出手段の複数の畳込層のうち最下流畳込層に対して上流側で最も近いものから出力される画像、すなわち、ノイズが少なく且つ特徴量が高い画像が入力されるため、分類の基準とする境界を適切に定めることができる。 In the image classification program having the above configuration, a support vector machine is adopted as a classifier, and this classifier is the closest to the most downstream convolution layer among the plurality of convolution layers of the feature extraction means on the upstream side. Since the image output from the object, that is, the image with less noise and high feature amount is input, the boundary used as the reference for classification can be appropriately determined.

以上のように、本発明の画像分類プログラムの製造方法によれば分類の精度が高い画像分類プログラムを製造することができ、本発明の画像分類プログラムによれば、分類対象の画像を高い精度で分類できるという優れた効果を奏し得る。 As described above, according to the manufacturing method of the image classification program of the present invention, it is possible to manufacture an image classification program with high classification accuracy, and according to the image classification program of the present invention, the images to be classified can be classified with high accuracy. It can have the excellent effect of being able to classify.

図１は、本発明の一実施形態に係る画像分類プログラムの製造方法の説明図であって、画像分類プログラムが初期状態の説明図である。FIG. 1 is an explanatory diagram of a method of manufacturing an image classification program according to an embodiment of the present invention, and is an explanatory diagram of an initial state of the image classification program. 図２は、同実施形態に係る画像分類プログラムの製造方法の説明図であって、分類器が第一分類手段から第二分類手段に変わった状態の説明図である。FIG. 2 is an explanatory diagram of a manufacturing method of an image classification program according to the same embodiment, and is an explanatory diagram of a state in which the classifier is changed from the first classification means to the second classification means. 図３は、同実施形態に係る画像分類プログラムの製造方法の説明図であって、分類器が第二分類手段からサポートベクターマシンに変わった状態の説明図である。FIG. 3 is an explanatory diagram of a manufacturing method of an image classification program according to the same embodiment, and is an explanatory diagram of a state in which a classifier is changed from a second classification means to a support vector machine.

以下、本発明の一実施形態に係る画像分類プログラムの製造方法、及び画像分類プログラムについて添付図面を参照しつつ説明を行う。 Hereinafter, a method for manufacturing an image classification program and an image classification program according to an embodiment of the present invention will be described with reference to the accompanying drawings.

本実施形態の画像分類プログラムの製造方法では、図１に示すような、分類器として複数の結合層４０，４１，４２を有する第一分類手段４を備える画像分類プログラム１を基にして、分類器を第二分類手段５、サポートベクターマシン６に順番に変えながら新たな画像分類プログラムを製造している。 In the method for producing an image classification program of the present embodiment, classification is performed based on an image classification program 1 including a first classification means 4 having a plurality of binding layers 40, 41, 42 as a classifier as shown in FIG. A new image classification program is manufactured while changing the vessel to the second classification means 5 and the support vector machine 6 in order.

ここで、画像分類プログラムの製造方法の詳細説明に先立ち、画像分類プログラム１の構成について説明する。 Here, the configuration of the image classification program 1 will be described prior to the detailed description of the manufacturing method of the image classification program.

図１に示すように、画像分類プログラム１は、初期状態において、分類対象となる分類画像が入力される入力手段２と、前記入力手段２に入力された分類画像から特徴を抽出した特徴抽出画像を出力する特徴抽出手段であって、前記入力手段２に入力された分類画像に対して畳込処理を実行する複数（本実施形態では３つ）の畳込層３０，３１，３２を有する特徴抽出手段３と、前記特徴抽出手段３から出力された特徴抽出画像に基づいて分類画像を分類する分類手段であって、複数の結合層４０，４１，４２を有する第一分類手段４と、を備えており、第一分類手段４が調整済みの既存のプログラムである。 As shown in FIG. 1, in the initial state, the image classification program 1 has an input means 2 into which a classification image to be classified is input and a feature extraction image in which features are extracted from the classification image input to the input means 2. Is a feature extraction means for outputting The extraction means 3 and the first classification means 4 which is a classification means for classifying the classification image based on the feature extraction image output from the feature extraction means 3 and has a plurality of connecting layers 40, 41, 42. It is an existing program that has been prepared and the first classification means 4 has been adjusted.

入力手段２には、物品等を撮像した画像が分類画像として入力されてもよいし、人工的に作成された画像が分類画像として入力されてもよい。 An image of an article or the like may be input as a classification image to the input means 2, or an artificially created image may be input as a classification image.

特徴抽出手段３は、３つの畳込層３０，３１，３２に加えて、入力された画像に対してプーリング処理を実行するプーリング層３３を有する。 The feature extraction means 3 has, in addition to the three convolutional layers 30, 31, and 32, a pooling layer 33 that executes a pooling process on the input image.

各畳込層３０，３１，３２のそれぞれは、畳込処理において使用する複数のフィルタを有するように構成されており、畳込処理を実行することでフィルタの数に応じた数の画像を出力するように構成されている。 Each of the convolution layers 30, 31, and 32 is configured to have a plurality of filters used in the convolution process, and by executing the convolution process, a number of images corresponding to the number of filters is output. It is configured to do.

本実施形態では、１つ目の畳込層３０には１０個のフィルタが設定され、２つ目と３つ目の畳込層３１，３２には１５個のフィルタが設定されている。 In the present embodiment, 10 filters are set in the first convolution layer 30, and 15 filters are set in the second and third convolution layers 31 and 32.

画像分類プログラムは、図２に示すように、入力された画像に対して畳込処理を実行する畳込層が最下流畳込層３４として特徴抽出手段３の最も下流側に追加され、さらに、分類器が第一分類手段４から第二分類手段５に変わる。 In the image classification program, as shown in FIG. 2, a convolution layer that executes a convolution process on the input image is added as the most downstream convolution layer 34 on the most downstream side of the feature extraction means 3, and further. The classifier changes from the first classification means 4 to the second classification means 5.

最下流畳込層３４は、入力された画像に対する畳込処理の結果として２枚の画像を出力するように構成されている。なお、最下流畳込層３４には、例えば、畳込処理で使用するフィルタが２つ設定されていればよい。 The most downstream convolution layer 34 is configured to output two images as a result of convolution processing on the input image. In the most downstream convolution layer 34, for example, two filters used in the convolution process may be set.

第二分類手段５は、入力された画像にプーリング処理を実行するプーリング層５０を有する。なお、第二分類手段５のプーリング層５０は、入力された画像に対してアベレージプーリングを実行するように構成されている。 The second classification means 5 has a pooling layer 50 that performs a pooling process on the input image. The pooling layer 50 of the second classification means 5 is configured to perform average pooling on the input image.

プーリング層５０は、最下流畳込層３４が２つのフィルタのうちの一方により畳込処理を実行することで出力した画像と、最下流畳込層３４が２つのフィルタのうちの他方により畳込処理を実行することで出力した画像とについてプーリング処理を行うように構成されている。なお、プーリング層５０は、入力された画像に対してマックスプーリングを実行するように構成されていてもよい。 In the pooling layer 50, the image output by the most downstream convolution layer 34 performing the convolution process by one of the two filters and the most downstream convolution layer 34 convoluted by the other of the two filters. It is configured to perform pooling processing on the output image by executing the processing. The pooling layer 50 may be configured to perform max pooling on the input image.

特徴抽出手段３の調整が行われた後は、図３に示すように、分類器が第二分類手段５からサポートベクターマシン６に置き換えられる。 After the feature extraction means 3 has been adjusted, the classifier is replaced by the support vector machine 6 from the second classification means 5, as shown in FIG.

サポートベクターマシン６は、特徴抽出手段３の複数の畳込層３０，３１，３２，３４のうち最下流畳込層３４に対して上流側で最も近い畳込層３２が出力した画像が入力され、該画像を分類するように構成されている。 In the support vector machine 6, an image output by the convolutional layer 32 closest to the most downstream convolutional layer 34 among the plurality of convolutional layers 30, 31, 32, 34 of the feature extraction means 3 is input. , It is configured to classify the image.

本実施形態に係る画像分類プログラムの構成は以上の通りである。続いて、本実施形態に係る画像分類プログラムの製造方法を説明する。 The structure of the image classification program according to this embodiment is as described above. Subsequently, a method of manufacturing the image classification program according to the present embodiment will be described.

本実施形態の画像分類プログラムの製造方法は、前記初期状態の画像分類プログラムに対して、特徴抽出手段３の最も下流側に最下流畳込層３４を追加し、分類器としての第二分類手段５を、特徴抽出手段３の特徴抽出画像の出力先とする第一出力設定工程と、特徴抽出手段３を調整する調整工程と、分類器としてのサポートベクターマシン６を、特徴抽出手段３の複数の畳込層３０，３１，３２，３４のうち最下流畳込層３４に対して上流側で最も近い畳込層３２から出力される画像の出力先に設定する第二出力設定工程と、を行う。 In the method for manufacturing the image classification program of the present embodiment, the most downstream convolution layer 34 is added to the most downstream side of the feature extraction means 3 with respect to the image classification program in the initial state, and the second classification means as a classifier. A plurality of feature extraction means 3 include a first output setting step in which 5 is the output destination of the feature extraction image of the feature extraction means 3, an adjustment step for adjusting the feature extraction means 3, and a support vector machine 6 as a classifier. The second output setting step of setting the output destination of the image output from the convolutional layer 32 closest to the most downstream convolutional layer 34 on the upstream side of the convolutional layers 30, 31, 32, 34. conduct.

第一出力設定工程において特徴抽出手段３の特徴抽出画像の出力先を第一分類手段４から第二分類手段５に変える場合、第一分類手段４と第二分類手段５を置換する、すなわち、第一分類手段４を削除して第二分類手段５を構築してもよいし、第一分類手段４を残した状態で、特徴抽出手段３の特徴抽出画像の出力先を第一分類手段４から第二分類手段５に変更するようにしてもよい。 When the output destination of the feature extraction image of the feature extraction means 3 is changed from the first classification means 4 to the second classification means 5 in the first output setting step, the first classification means 4 and the second classification means 5 are replaced, that is, The first classification means 4 may be deleted to construct the second classification means 5, or the output destination of the feature extraction image of the feature extraction means 3 may be set to the first classification means 4 with the first classification means 4 remaining. May be changed to the second classification means 5.

調整工程では、いわゆる、誤差逆伝播法が用いられ、推論値と実測値との差が最小となるように畳込層３０，３１，３２，３４の重みを調整する。 In the adjustment step, a so-called backpropagation method is used, and the weights of the convolution layers 30, 31, 32, and 34 are adjusted so that the difference between the inferred value and the actually measured value is minimized.

第二出力設定工程において、特徴抽出手段３の畳込層３０，３１，３２，３４のうち、最下流畳込層３４に対して上流側で最も近い畳込層３２から出力される畳込画像の出力先をサポートベクターマシン６に設定する場合、第二分類手段５を削除してサポートベクターマシン６を構築してもよいし、第二分類手段５を残した状態で、最下流畳込層３４に対して上流側で最も近い畳込層３２から出力される畳込画像の出力先をサポートベクターマシン６に設定し、且つ特徴抽出手段３から第二分類手段５への特徴画像の出力を停止するようにしてもよい。 In the second output setting step, among the tatami layers 30, 31, 32, and 34 of the feature extraction means 3, the tatami image output from the tatami layer 32 closest to the most downstream tatami layer 34 on the upstream side. When the output destination of is set to the support vector machine 6, the second classification means 5 may be deleted to construct the support vector machine 6, or the most downstream convolution layer may be left with the second classification means 5 left. The output destination of the convolution image output from the convolution layer 32 closest to the upstream side with respect to 34 is set in the support vector machine 6, and the feature image is output from the feature extraction means 3 to the second classification means 5. You may want to stop.

第二出力設定工程の後は、サポートベクターマシン６を学習させ、学習後のサポートベクターマシン６により分類画像の分類を行う。 After the second output setting step, the support vector machine 6 is trained, and the classification image is classified by the trained support vector machine 6.

以上のように、本実施形態に係る画像分類プログラムの製造方法によれば、第一分類手段４のような結合層４０，４１，４２を有する分類器では、隣り合う結合層４０，４１，４２のノード同士が網羅的に関連付けられるため、第一分類手段４の出力結果から出力結果が導き出された過程を解析することが困難である。一方、第二分類手段５のようなプーリング処理の実行結果を分類結果として出力する第二分類手段５では、プーリング層５０からの出力が最下流畳込層３４からの出力と一対一の関係で関連付けられるため、出力結果が導き出された過程を簡単且つ正確に解析することができる。 As described above, according to the manufacturing method of the image classification program according to the present embodiment, in the classifier having the binding layers 40, 41, 42 such as the first classification means 4, the adjacent binding layers 40, 41, 42 Since the nodes of the above are comprehensively associated with each other, it is difficult to analyze the process in which the output result is derived from the output result of the first classification means 4. On the other hand, in the second classification means 5 that outputs the execution result of the pooling process as the classification result as in the second classification means 5, the output from the pooling layer 50 has a one-to-one relationship with the output from the most downstream convolution layer 34. Since they are related, the process from which the output result is derived can be analyzed easily and accurately.

また、調整工程の前に行われる第一出力設定工程において、使用される分類器が第一分類手段４から第二分類手段５に変わるため、第二分類手段５の出力結果が導き出された過程を正しく解析することで特徴抽出手段３を適切に調整できるようになる。 Further, in the first output setting step performed before the adjustment step, the classifier used is changed from the first classification means 4 to the second classification means 5, so that the output result of the second classification means 5 is derived. By correctly analyzing the above, the feature extraction means 3 can be adjusted appropriately.

さらに、調整工程の後の第二出力工程において、使用する分類器が第二分類手段５からサポートベクターマシン６に変わり、このサポートベクターマシン６には、特徴抽出手段３の複数の畳込層３０，３１，３２，３４のうち、最も下流側に位置する最下流畳込層３４に対して上流側で最も近い畳込層３２から出力される画像、すなわち、ノイズが少なく且つ特徴量が高い画像が入力されるため、分類の基準とする境界を適切に定めて精度の高い分類を行えるようになる。 Further, in the second output step after the adjustment step, the classifier used is changed from the second classification means 5 to the support vector machine 6, and the support vector machine 6 is equipped with a plurality of convolutional layers 30 of the feature extraction means 3. , 31, 32, 34, the image output from the convolutional layer 32 closest to the upstream side with respect to the most downstream convolutional layer 34 located on the most downstream side, that is, an image with less noise and a high feature amount. Is input, so that the boundary used as the reference for classification can be appropriately defined and highly accurate classification can be performed.

従って、本実施形態の画像分類プログラムの製造方法によれば、分類の精度が高い画像分類プログラムを製造することができるという優れた効果を奏し得る。 Therefore, according to the method for manufacturing the image classification program of the present embodiment, it is possible to obtain an excellent effect that the image classification program with high classification accuracy can be manufactured.

また、上記実施形態の画像分類プログラムの製造方法では、第二分類手段５のプーリング層５０が、最下流畳込層３４から出力される２枚の画像のそれぞれに対応付けて１枚ずつ画像を出力するため、第二分類手段５のプーリング層５０から出力された画像が導き出された経緯を分析し易くなっている。 Further, in the manufacturing method of the image classification program of the above embodiment, the pooling layer 50 of the second classification means 5 associates one image with each of the two images output from the most downstream convolution layer 34. Since it is output, it is easy to analyze how the image output from the pooling layer 50 of the second classification means 5 is derived.

また、本実施形態に係る画像分類プログラムによれば、分類器としてサポートベクターマシン６が採用されており、この分類器には、特徴抽出手段３の複数の畳込層３０，３１，３２，３４のうち最下流畳込層３４に対して上流側で最も近いものから出力される画像、すなわち、ノイズが少なく且つ特徴量が高い画像が入力されるため、分類の基準とする境界を適切に定めることができる。従って、本実施形態に係る画像分類プログラムは、分類対象の画像を高い精度で分類できるという優れた効果を奏し得る。 Further, according to the image classification program according to the present embodiment, the support vector machine 6 is adopted as the classifier, and the classifier includes the plurality of convolutional layers 30, 31, 32, 34 of the feature extraction means 3. Of these, the image output from the one closest to the most downstream convolution layer 34 on the upstream side, that is, the image with less noise and high feature amount is input, so the boundary used as the classification reference is appropriately determined. be able to. Therefore, the image classification program according to the present embodiment can exert an excellent effect that the images to be classified can be classified with high accuracy.

なお、本発明の画像分類プログラムの製造方法、及び画像分類プログラムは、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更を加え得ることは勿論である。 The method for producing the image classification program of the present invention and the image classification program are not limited to the above embodiments, and it goes without saying that various changes can be made without departing from the gist of the present invention. ..

上記実施形態において、初期状態の画像分類プログラムの特徴抽出手段３は、３つの畳込層３０，３１，３２を有するように構成されていたが、この構成に限定されない。例えば、初期状態の画像分類プログラムの特徴抽出手段３は、３つ以上の畳込層を有するように構成されていてもよい。 In the above embodiment, the feature extraction means 3 of the image classification program in the initial state is configured to have three folding layers 30, 31 and 32, but is not limited to this configuration. For example, the feature extraction means 3 of the image classification program in the initial state may be configured to have three or more folding layers.

上記実施形態において、第一分類手段４は、３つの結合層４０，４１，４２を有するように構成されていたが、この構成に限定されない。例えば、第一分類手段４は、３つ以上の結合層を有するように構成されていてもよい。 In the above embodiment, the first classification means 4 is configured to have three bonding layers 40, 41, 42, but is not limited to this configuration. For example, the first classification means 4 may be configured to have three or more binding layers.

１…画像分類プログラム、２…入力手段、３…特徴抽出手段、４…第一分類手段、５…第二分類手段、６…サポートベクターマシン、３０…畳込層、３０，３１，３２，３４…畳込層、３３…プーリング層、４０，４１，４２…結合層、５０…プーリング層 1 ... Image classification program, 2 ... Input means, 3 ... Feature extraction means, 4 ... First classification means, 5 ... Second classification means, 6 ... Support vector machine, 30 ... Folding layer, 30, 31, 32, 34 ... Folding layer, 33 ... Pooling layer, 40, 41, 42 ... Bonding layer, 50 ... Pooling layer

Claims (3)

分類対象となる分類画像が入力される入力手段と、前記入力手段に入力された分類画像から特徴を抽出した特徴抽出画像を出力する特徴抽出手段であって、前記入力手段に入力された分類画像に対して畳込処理を実行する複数の畳込層を有する特徴抽出手段と、前記特徴抽出手段から出力された特徴抽出画像に基づいて分類画像を分類する分類器としての第一分類手段であって、複数の結合層を有する第一分類手段と、を備える既存の調整済みの画像分類プログラムに対して、
入力された画像に対して畳込処理を実行する畳込層を前記特徴抽出手段の最も下流側に最下流畳込層として追加し、前記分類器としての第二分類手段であって、入力された画像にプーリング処理を実行した画像を分類結果として出力するプーリング層を有する第二分類手段を前記特徴抽出手段の前記特徴抽出画像の出力先とする第一出力設定工程と、
前記特徴抽出手段を調整する調整工程と、
前記分類器としてのサポートベクターマシンを、前記特徴抽出手段の前記複数の畳込層のうち前記最下流畳込層に対して上流側で最も近いものから出力される画像の出力先に設定する第二出力設定工程と、を行う、
画像分類プログラムの製造方法。 An input means for inputting a classification image to be classified and a feature extraction means for outputting a feature extraction image obtained by extracting features from the classification image input to the input means, and the classification image input to the input means. It is a feature extraction means having a plurality of convolution layers for executing a convolution process, and a first classification means as a classifier for classifying a classification image based on a feature extraction image output from the feature extraction means. For an existing adjusted image classification program comprising a first classification means having a plurality of binding layers.
A convolutional layer that executes convolution processing on the input image is added as the most downstream convolutional layer to the most downstream side of the feature extraction means, and is input as a second classification means as the classifier. A first output setting step in which a second classification means having a pooling layer that outputs an image obtained by performing a pooling process on the image as a classification result is used as an output destination of the feature extraction image of the feature extraction means.
An adjustment step for adjusting the feature extraction means and
The support vector machine as the classifier is set as the output destination of the image output from the one closest to the most downstream convolution layer of the plurality of convolution layers of the feature extraction means on the upstream side. (2) Output setting process and
How to manufacture an image classification program. 前記最下流畳込層は２つのフィルタを有し、
前記第二分類手段の前記プーリング層は、前記最下流畳込層が２つのフィルタのうちの一方により畳込処理を実行することで出力した画像と、前記最下流畳込層が２つのフィルタのうちの他方により畳込処理を実行することで出力した画像とについてプーリング処理を行う、
請求項１に記載の画像分類プログラムの製造方法。 The most downstream convolutional layer has two filters.
The pooling layer of the second classification means consists of an image output by the most downstream convolution layer performing convolution processing by one of the two filters and a filter having the most downstream convolution layer having two filters. Pooling processing is performed on the output image by executing the convolution process by the other of them.
The method for manufacturing an image classification program according to claim 1. 分類対象となる分類画像が入力される入力手段と、
前記入力手段に入力された分類画像から特徴を抽出した特徴抽出画像を出力する特徴抽出手段であって、前記入力手段に入力された分類画像に対して畳込処理を実行する複数の畳込層を有する特徴抽出手段と、
前記特徴抽出手段から出力された特徴抽出画像に基づいて分類画像を分類する分類器としてのサポートベクターマシンと、を備え、
前記特徴抽出手段の前記複数の畳込層のうち、最も下流側に位置する最下流畳込層に対して上流側で最も近いものから出力される畳込画像の出力先がサポートベクターマシンに設定されている、
画像分類プログラム。 Input means for inputting the classification image to be classified, and
A feature extraction means that outputs a feature extraction image that extracts features from a classification image input to the input means, and is a plurality of convolution layers that execute a convolution process on the classification image input to the input means. Feature extraction means with
A support vector machine as a classifier for classifying the classification image based on the feature extraction image output from the feature extraction means is provided.
The output destination of the convolution image output from the closest convolution layer on the upstream side with respect to the most downstream convolution layer located on the most downstream side among the plurality of convolution layers of the feature extraction means is set in the support vector machine. Has been
Image classification program.
JP2020054117A 2020-03-25 2020-03-25 Image classification program recombination method Active JP7045410B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020054117A JP7045410B2 (en) 2020-03-25 2020-03-25 Image classification program recombination method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020054117A JP7045410B2 (en) 2020-03-25 2020-03-25 Image classification program recombination method

Publications (2)

Publication Number Publication Date
JP2021157235A true JP2021157235A (en) 2021-10-07
JP7045410B2 JP7045410B2 (en) 2022-03-31

Family

ID=77917762

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020054117A Active JP7045410B2 (en) 2020-03-25 2020-03-25 Image classification program recombination method

Country Status (1)

Country Link
JP (1) JP7045410B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017175282A1 (en) * 2016-04-04 2017-10-12 オリンパス株式会社 Learning method, image recognition device, and program
JP2019152964A (en) * 2018-03-01 2019-09-12 コニカミノルタ株式会社 Learning method and learning device
WO2019180848A1 (en) * 2018-03-20 2019-09-26 株式会社島津製作所 Cell image analysis device, cell image analysis system, learning data generation method, learning model generation method, learning data generation program, and learning data production method
JP2019185127A (en) * 2018-04-02 2019-10-24 キヤノン株式会社 Learning device of multilayer neural network and control method thereof
JP2020035098A (en) * 2018-08-28 2020-03-05 キヤノン株式会社 Image processing system and information processing method and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017175282A1 (en) * 2016-04-04 2017-10-12 オリンパス株式会社 Learning method, image recognition device, and program
JP2019152964A (en) * 2018-03-01 2019-09-12 コニカミノルタ株式会社 Learning method and learning device
WO2019180848A1 (en) * 2018-03-20 2019-09-26 株式会社島津製作所 Cell image analysis device, cell image analysis system, learning data generation method, learning model generation method, learning data generation program, and learning data production method
JP2019185127A (en) * 2018-04-02 2019-10-24 キヤノン株式会社 Learning device of multilayer neural network and control method thereof
JP2020035098A (en) * 2018-08-28 2020-03-05 キヤノン株式会社 Image processing system and information processing method and program

Also Published As

Publication number Publication date
JP7045410B2 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
CN108932950B (en) Sound scene identification method based on label amplification and multi-spectral diagram fusion
JP6102947B2 (en) Image processing apparatus and feature detection method
CN111079795B (en) Image classification method based on CNN (content-centric networking) fragment multi-scale feature fusion
CN109934826A (en) A kind of characteristics of image dividing method based on figure convolutional network
JP6345830B2 (en) A method of learning a rejector by constructing a classification tree using a training image, and detecting an object on a test image using the rejector
KR20170091716A (en) Automatic defect classification without sampling and feature selection
WO2015180042A1 (en) Learning deep face representation
JP6977886B2 (en) Machine learning methods, machine learning devices, and machine learning programs
WO2019026104A1 (en) Information processing device, information processing program, and information processing method
JP6937659B2 (en) Software testing equipment and methods
JP2018200530A (en) Image classification program, classification data creation program, and classification data creation program
JP7404404B2 (en) Learning processing device and method
US20170301079A1 (en) Method of acquiring tsom image and method of examining semiconductor device
KR102313215B1 (en) Apparatus and method for defect classification using feature generation based on machine-learning
JP6943202B2 (en) Acoustic signal model learning device, acoustic signal analyzer, method, and program
JP2021157235A (en) Image classification program manufacturing method and image classification program
CN108446723B (en) Multi-scale space spectrum collaborative classification method for hyperspectral image
WO2020121811A1 (en) Image generation device, image generation method, and program
CN1940968A (en) Method for selecting a particular model of a class of objects from a set of low-dimensional models of the class
US8755594B2 (en) Information processing device and method, and program
JP2013162133A5 (en)
CN111209839A (en) Face recognition method
CN115661022A (en) Fabric flaw detection model establishing method and fabric flaw detection method
JP2006210931A (en) Method of correcting semiconductor design data
TW202147051A (en) Systems, methods, and media for manufacturing processes

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220318

R150 Certificate of patent or registration of utility model

Ref document number: 7045410

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150