JP2019139626A - Similarity assessment program - Google Patents
Similarity assessment program Download PDFInfo
- Publication number
- JP2019139626A JP2019139626A JP2018024019A JP2018024019A JP2019139626A JP 2019139626 A JP2019139626 A JP 2019139626A JP 2018024019 A JP2018024019 A JP 2018024019A JP 2018024019 A JP2018024019 A JP 2018024019A JP 2019139626 A JP2019139626 A JP 2019139626A
- Authority
- JP
- Japan
- Prior art keywords
- parameter
- image data
- luminance image
- similarity
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 2
- 230000002950 deficient Effects 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 description 28
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 3
- 238000010606 normalization Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、パラメータ列間の類似度を判断する技術に関する。 The present invention relates to a technique for determining a similarity between parameter strings.
現在、画像間の類似度を判定する技術として、畳み込みニューラルネットワーク(コンボリューションニューラルネットワーク、CNN)が研究されている。CNNは、画像の特徴量を効果的に学習することができる技術として注目されている。CNNに画像を学習させる手法としては、入力画像と出力結果をペアにして学習させる教師あり学習と、入力画像のみを学習させる教師なし学習とがある。 Currently, a convolutional neural network (convolution neural network, CNN) has been studied as a technique for determining the similarity between images. CNN is attracting attention as a technique that can effectively learn the feature amount of an image. As a method for causing the CNN to learn an image, there are supervised learning in which an input image and an output result are learned in pairs, and unsupervised learning in which only the input image is learned.
下記特許文献1は、CNNに関する技術を記載している。同文献は、『異なる対象物であっても似た要素を有する複数の対象物がある場合に当該要素を備える対象物を精度良くかつ効率的に抽出することを実現する。』ことを課題として、『 一実施形態に係る対象物の類似度判定方法は、1又は複数のコンボリューション層及び全結合層を含むコンボリューションニューラルネットワーク(CNN)を用いて、1又は複数のコンピュータ上で実行されることに応じて、当該1又は複数のコンピュータに、複数の対象物の各々から複数の特徴量を抽出するステップと、該複数の対象物の各々からの該複数の特徴量に基づき、前記コンボリューションニューラルネットワーク(CNN)の1又は複数のコンボリューション層の後の全結合層の出力値を抽出するステップと、該全結合層の出力値を所定範囲内の値域とする変換処理を行い変換出力値を抽出するステップと、該変換出力値に基づき、対象物の類似度を判別するステップとを実行させる。』という技術を開示している(要約参照)。
The following
画像の特徴量としては、様々なものが従来提案されている。画像を学習器に学習させる際には、あらかじめ画像の特徴量を抽出し、その特徴量ベクトルを学習器に対して投入することにより学習させるのが一般的であった。これに対してCNNが画像を学習する際には、あらかじめ画像の特徴量を抽出することなく画像データそのものをCNNに対して投入するのが一般的である。これは、あらかじめ画像の特徴量を抽出する工程を省略することができるのに加えて、学習結果が特徴量の設計に依拠しない利点がある。 Various image feature amounts have been proposed in the past. When an image is learned by a learning device, it is common to extract the feature amount of the image in advance and input the feature amount vector to the learning device for learning. On the other hand, when the CNN learns an image, it is common to input the image data itself into the CNN without extracting image feature amounts in advance. This has an advantage that the step of extracting the feature amount of the image in advance can be omitted, and the learning result does not depend on the design of the feature amount.
他方でCNNは、学習した特徴量を中間層上に保持しており、その特徴量はCNN自身が内部的に用いるものである。したがってCNNが学習した特徴量はブラックボックスであり、CNNの外において用いることは想定されていない。これに対して、CNNが学習した結果を可視化するため、CNN内部の畳み込みフィルタを画像として表すなどの試みがなされている。 On the other hand, the CNN holds the learned feature quantity on the intermediate layer, and the feature quantity is used internally by the CNN itself. Therefore, the feature quantity learned by the CNN is a black box and is not assumed to be used outside the CNN. On the other hand, in order to visualize the results learned by the CNN, attempts have been made to represent the convolution filter inside the CNN as an image.
CNNの上記特徴は、画像データ間の類似度を判定する際に有用である。他方で画像データ以外のデータ列についても、あるデータと類似する別のデータを探索するニーズは、様々な場面において存在している。本発明者は、そのようなニーズのもと、CNNの機能を用いてデータ列間の類似度を判定することを試みるに至った。 The above features of CNN are useful in determining the similarity between image data. On the other hand, regarding data strings other than image data, there is a need for searching for other data similar to certain data in various situations. Under such a need, the present inventor has attempted to determine the similarity between data strings using the function of CNN.
本発明に係る類似度判定プログラムは、パラメータ列を輝度画像データに置き換え、その輝度画像データの画像としての特徴量をCNNによって抽出した結果を用いて、パラメータ列間の類似度を判定する。 The similarity determination program according to the present invention determines the similarity between parameter strings by using a result obtained by replacing a parameter string with luminance image data and extracting a feature amount of the luminance image data as an image by CNN.
本発明に係る類似度判定プログラムによれば、任意のパラメータ列について、あらかじめ特徴量を設計して抽出する作業を実施することなく、類似する他のパラメータ列を探索することができる。 According to the similarity determination program according to the present invention, it is possible to search for another similar parameter string without performing an operation of designing and extracting a feature amount in advance for an arbitrary parameter string.
図1は、本発明の実施形態1に係る類似度判定装置100の構成図である。類似度判定装置100は、CNN(畳み込みニューラルネットワーク)200の機能を利用して、パラメータ列間の類似度を判定する装置である。類似度判定装置100は、CPU(Central Processing Unit)110、記憶装置120を備える。類似度判定装置100とCNN200との間は、適当なネットワークを介して接続することもできるし、類似度判定装置100自身がCNN200を実装することもできる。
FIG. 1 is a configuration diagram of a
CPU110は、輝度画像生成部111、特徴量取得部112、類似度算出部113を備える。これら機能部の詳細については後述する。これら機能部は、これらの機能を実装した回路デバイスなどのハードウェアを用いて構成することもできるし、これらの機能を実装したソフトウェアを演算装置が実行することにより構成することもできる。以下では図1に示すようにソフトウェアとして構成したことを前提とする。記載の便宜上、各機能部を動作主体として説明する場合があるが、実際にこれら機能部を実行するのはCPU110である。
The
記憶装置120は、類似度判定装置100が類似度を判定するパラメータ列をデータとして記憶する。例えばデータ列1からデータ列10のなかで、対象データ列と最も類似しているものを検索する際に、データ列1〜10をあらかじめ記憶装置120に格納しておくことができる。
The
CNN200は、典型的には画像データ間の類似度を判定するように構築されたニューラルネットワークである。CNN200の各ニューロン間の重みなどの学習結果は、類似度判定装置100とは別のコンピュータ上に構成することもできるし、類似度判定装置100上に(例えば記憶装置120上に)その学習結果を格納することにより、類似度判定装置100上にCNN200を構成することもできる。
CNN 200 is a neural network typically constructed to determine the similarity between image data. A learning result such as a weight between each neuron of the CNN 200 can be configured on a computer different from the
図2は、パラメータ列の具体例である。パラメータ列は、複数のパラメータ値を有するデータ列である。例えばパラメータ列data1は、param1=0.51、param2=10.1、・・・というパラメータ値を有する。パラメータの個数は必ずしもパラメータ列間で等しくなくともよい。 FIG. 2 is a specific example of the parameter string. The parameter string is a data string having a plurality of parameter values. For example, the parameter string data1 has parameter values of param1 = 0.51, param2 = 10.1,. The number of parameters is not necessarily equal between the parameter strings.
図3は、パラメータ列を正規化する様子を示す概念図である。図2に例示したパラメータ列は、param3が他のパラメータ値と比較して極端に大きい値を有する。このようなパラメータ列をそのまま比較すると、param3の影響が他のパラメータ値よりも大きくなり、パラメータ列を適切に比較することができない。そこで輝度画像生成部111は、パラメータ値を正規化することによりスケールを揃える。図3右図は正規化後のパラメータ値の概念図である。ここでは説明の便宜上、param1〜param3のみを図示した。
FIG. 3 is a conceptual diagram showing how the parameter string is normalized. In the parameter row illustrated in FIG. 2, param3 has an extremely large value compared to other parameter values. If such a parameter sequence is compared as it is, the influence of param3 becomes larger than other parameter values, and the parameter sequence cannot be appropriately compared. Therefore, the luminance
n番目のパラメータ列を、data(n)={param1(n),param2(n),・・・paramN(n)}と表すことにする。輝度画像生成部111は、例えば以下の式によりパラメータ値を正規化する。
The nth parameter string is expressed as data (n) = {param1 (n), param2 (n),... paramN (n)}. The luminance
data(n)’=
{
(param1(n)−Min(param1))/Max(param1),
(param2(n)−Min(param2))/Max(param2),
・・・,
(paramN(n)−Min(paramN))/Max(paramN),
}
data (n) ′ =
{
(Param1 (n) -Min (param1)) / Max (param1),
(Param2 (n) -Min (param2)) / Max (param2),
...
(ParamN (n) -Min (paramN)) / Max (paramN),
}
図4は、輝度画像生成部111が生成する輝度画像の例である。上記式によって正規化した後のパラメータ列は、略同じスケールのパラメータ値によって構成されている。このパラメータ値を画素の輝度値とみなすことにより、図4に例示するような輝度値によって構成された輝度画像データを生成することができる。パラメータ値が小数点以下の値を有する場合は、例えば最大値を255とするように輝度値をスケーリングすればよい。
FIG. 4 is an example of a luminance image generated by the luminance
図4においては、8×8=64個の画素値を有する輝度画像データを例示した。必ずしも正方形の輝度画像を生成する必要はなく、任意の縦横画素数の輝度画像データを生成することができる。ただし極端に偏平な輝度画像データは後述する特徴量が偏って形成されるので、一般的には正方形の輝度画像データを生成することが望ましいと考えられる。パラメータ値の個数によっては正方形の画素マトリクスを形成できない場合もあるが、その場合は不足する画素については適当なデフォルト値によってパディングすればよい。例えば輝度値=0(黒色)をパディングすることができる。 FIG. 4 illustrates luminance image data having 8 × 8 = 64 pixel values. It is not always necessary to generate a square luminance image, and luminance image data having an arbitrary number of vertical and horizontal pixels can be generated. However, since extremely flat luminance image data is formed with characteristic amounts described later being biased, it is generally considered desirable to generate square luminance image data. Depending on the number of parameter values, a square pixel matrix may not be formed. In this case, insufficient pixels may be padded with appropriate default values. For example, the luminance value = 0 (black) can be padded.
図4に示す輝度画像データは、図2に例示するパラメータ列から派生しているが、画像データである以上はその画像としての特徴量を抽出することができると考えられる。そこで特徴量取得部112は、輝度画像生成部111が生成した輝度画像データをCNN200に対して投入し、特徴量を抽出させることにより、各輝度画像データの画像としての特徴量を抽出する。
The luminance image data shown in FIG. 4 is derived from the parameter sequence illustrated in FIG. 2, but it is considered that the feature amount as the image can be extracted as long as it is image data. Therefore, the feature
例えばdata1と最も類似するパラメータ列をその他のパラメータ列のなかから特定したい場合、特徴量取得部112は、data1〜dataNそれぞれの輝度画像データをCNN200に対して投入して特徴量を取得し、data1の特徴量に最も近い特徴量を有する輝度画像データを特定することにより、data1と最も類似するパラメータ列を特定することができる。
For example, when it is desired to specify a parameter sequence most similar to data1 from among other parameter sequences, the feature
類似度算出部113は、特徴量取得部112が取得した各輝度画像データの特徴量間の類似度を算出する。類似度を算出する手法としては、例えば特徴量ベクトルのベクトル間距離を類似度として用いることができる。この場合はベクトル間距離が小さいほどその特徴量間の類似度が高いということになる。あるいは特徴量が多次元配列として表現されているのであれば、配列の内積を類似度として用いることもできる。その他適当な方法により特徴量間の類似度を求めてもよい。
The
類似度算出部113は、算出した類似度そのものを出力してもよいし、これに加えて類似度の高さに応じてパラメータ列をランキング付けした結果を出力してもよい。その他適当な出力形式を用いてもよい。出力結果はデータとして記憶装置120に格納してもよいし類似度判定装置100が備えるディスプレイなどの出力装置を介して出力してもよい。
The
<本発明の変形例について>
以上の実施形態において、いったん作成した輝度画像データおよびその特徴量は、データベースなどの適当な記憶部に格納しておいてもよい。新たなパラメータ列の輝度画像データとそれらとの間の類似度を求める際には、あらかじめ記憶部に格納しておいた輝度画像データまたは特徴量を参照すればよい。
<Modification of the present invention>
In the above embodiment, the luminance image data once created and the feature amount thereof may be stored in an appropriate storage unit such as a database. When obtaining the luminance image data of the new parameter sequence and the similarity between them, the luminance image data or the feature amount stored in advance in the storage unit may be referred to.
以上の実施形態において、パラメータ列を輝度値に置き換えることを説明した。これは典型的には数値パラメータ列に含まれる各パラメータを輝度値に置き換える処理を想定しているが、輝度値に置き換えることができるのであれば数値以外のパラメータ列を輝度画像データに置き換えることもできる。例えば文字であっても文字コードに置き換えることにより数値として取り扱うことができる。その他適当な方法により数値に置き換えてもよい。 In the above embodiment, it has been described that the parameter string is replaced with the luminance value. This typically assumes the process of replacing each parameter included in the numerical parameter string with a luminance value, but if it can be replaced with a luminance value, the parameter string other than the numerical value may be replaced with luminance image data. it can. For example, even a character can be handled as a numerical value by replacing it with a character code. It may be replaced with a numerical value by other appropriate methods.
以上の実施形態において、輝度画像生成部111〜類似度算出部113は3つのモジュールとして記載したが、これらのうち2以上を1つのモジュールとして実装することもできる。
In the above embodiment, the luminance
100:類似度判定装置
110:CPU
111:輝度画像生成部
112:特徴量取得部
113:類似度算出部
120:記憶装置
200:CNN
100: Similarity determination device 110: CPU
111: luminance image generation unit 112: feature amount acquisition unit 113: similarity calculation unit 120: storage device 200: CNN
Claims (4)
第1パラメータ列のなかに含まれる各パラメータを画素の輝度値に置き換えることにより、前記第1パラメータ列を輝度画像データに変換する輝度画像生成ステップ、
画像データの特徴量を抽出するニューラルネットワークに対して前記輝度画像データを入力するステップ、
前記ニューラルネットワークの中間層から前記輝度画像データの画像データとしての第1特徴量を取得するステップ、
前記第1特徴量を、第2パラメータ列について前記ニューラルネットワークから取得した第2特徴量と比較することにより、前記第1パラメータ列と前記第2パラメータ列との間の類似度を算出するステップ、
を実行させることを特徴とする類似度判定プログラム。 A similarity determination program for causing a computer to execute a process for determining a similarity between parameter strings, wherein the computer
A luminance image generation step of converting the first parameter string into luminance image data by replacing each parameter included in the first parameter string with a luminance value of a pixel;
Inputting the luminance image data to a neural network that extracts a feature amount of the image data;
Obtaining a first feature quantity as image data of the luminance image data from an intermediate layer of the neural network;
Calculating a similarity between the first parameter sequence and the second parameter sequence by comparing the first feature amount with a second feature value acquired from the neural network for a second parameter sequence;
A similarity determination program characterized in that
ことを特徴とする請求項1記載の類似度判定プログラム。 The similarity determination program according to claim 1, wherein in the luminance image generation step, the computer is caused to execute a step of normalizing each parameter included in the first parameter sequence.
ことを特徴とする請求項1記載の類似度判定プログラム。 The similarity determination program according to claim 1, wherein, in the luminance image generation step, the computer generates the luminance image data having a square shape.
前記第1パラメータ列のなかに含まれるパラメータの個数が前記輝度画像データの画素数よりも少ない場合は、不足する画素を補完するステップを実行させる
ことを特徴とする請求項3記載の類似度判定プログラム。 In the luminance image generation step, the computer
The similarity determination according to claim 3, wherein when the number of parameters included in the first parameter row is smaller than the number of pixels of the luminance image data, a step of complementing the deficient pixels is executed. program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018024019A JP6349477B1 (en) | 2018-02-14 | 2018-02-14 | Similarity determination program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018024019A JP6349477B1 (en) | 2018-02-14 | 2018-02-14 | Similarity determination program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6349477B1 JP6349477B1 (en) | 2018-06-27 |
JP2019139626A true JP2019139626A (en) | 2019-08-22 |
Family
ID=62706311
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018024019A Active JP6349477B1 (en) | 2018-02-14 | 2018-02-14 | Similarity determination program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6349477B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7357454B2 (en) | 2019-03-25 | 2023-10-06 | 三菱電機株式会社 | Feature identification device, feature identification method, and feature identification program |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006227743A (en) * | 2005-02-15 | 2006-08-31 | Xing Inc | Retrieving device |
JP2010224599A (en) * | 2009-03-19 | 2010-10-07 | Canon Inc | Information processor, method for controlling information processor, and program |
JP2016167168A (en) * | 2015-03-09 | 2016-09-15 | 株式会社Faber & Technology | Access analysis image providing device, access analysis image providing method and program |
-
2018
- 2018-02-14 JP JP2018024019A patent/JP6349477B1/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006227743A (en) * | 2005-02-15 | 2006-08-31 | Xing Inc | Retrieving device |
JP2010224599A (en) * | 2009-03-19 | 2010-10-07 | Canon Inc | Information processor, method for controlling information processor, and program |
JP2016167168A (en) * | 2015-03-09 | 2016-09-15 | 株式会社Faber & Technology | Access analysis image providing device, access analysis image providing method and program |
Non-Patent Citations (1)
Title |
---|
會下 拓実ほか: "食事画像カロリー量推定における回帰による手法と検索による手法の比較", 電子情報通信学会技術研究報告, vol. 117, no. 211, JPN6018011935, 8 September 2017 (2017-09-08), JP, pages 189 - 194, ISSN: 0003771336 * |
Also Published As
Publication number | Publication date |
---|---|
JP6349477B1 (en) | 2018-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kauderer-Abrams | Quantifying translation-invariance in convolutional neural networks | |
WO2021068528A1 (en) | Attention weight calculation method and apparatus based on convolutional neural network, and device | |
CN111428818B (en) | Deep learning model test method and device based on neural pathway activation state | |
US20190340533A1 (en) | Systems and methods for preparing data for use by machine learning algorithms | |
US11887270B2 (en) | Multi-scale transformer for image analysis | |
CN109522970B (en) | Image classification method, device and system | |
WO2022105108A1 (en) | Network data classification method, apparatus, and device, and readable storage medium | |
CN112306835B (en) | User data monitoring and analyzing method, device, equipment and medium | |
US20210390346A1 (en) | Method and apparatus for training cross-modal face recognition model, device and storage medium | |
WO2020151175A1 (en) | Method and device for text generation, computer device, and storage medium | |
US20230042004A1 (en) | Query optimization for deep convolutional neural network inferences | |
WO2022012668A1 (en) | Training set processing method and apparatus | |
KR20220047228A (en) | Method and apparatus for generating image classification model, electronic device, storage medium, computer program, roadside device and cloud control platform | |
US20240232575A1 (en) | Neural network obtaining method, data processing method, and related device | |
US20240185568A1 (en) | Image Classification Method and Related Device Thereof | |
WO2022063076A1 (en) | Adversarial example identification method and apparatus | |
JP6349477B1 (en) | Similarity determination program | |
Xu et al. | Detection method of wheat rust based on transfer learning and sharpness‐aware minimization | |
CN113255752A (en) | Solid material consistency sorting method based on feature clustering | |
WO2020183267A1 (en) | Image search method and image search system | |
US8495070B2 (en) | Logic operation system | |
CN111259176A (en) | Cross-modal Hash retrieval method based on matrix decomposition and integrated with supervision information | |
WO2023273934A1 (en) | Method for selecting hyper-parameter of model, and related apparatus | |
CN115905524A (en) | Emotion analysis method, device and equipment integrating syntactic and semantic information | |
CN115169433A (en) | Knowledge graph classification method based on meta-learning and related equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180214 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180214 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180305 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180403 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180509 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180522 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180604 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6349477 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |