JP2019021210A

JP2019021210A - Specification device and specification method

Info

Publication number: JP2019021210A
Application number: JP2017141231A
Authority: JP
Inventors: 祐宮崎; Yu Miyazaki; 隼人小林; Hayato Kobayashi; 香里谷尾; Kaori Tanio; 晃平菅原; Kohei Sugawara; 正樹野口; Masaki Noguchi
Original assignee: Yahoo Japan Corp
Current assignee: Yahoo Japan Corp
Priority date: 2017-07-20
Filing date: 2017-07-20
Publication date: 2019-02-07
Anticipated expiration: 2037-07-20
Also published as: JP6910873B2

Abstract

To facilitate creating a model.SOLUTION: A specification device comprises: a matrix generation unit for generating a matrix corresponding to a model which has a mode connected to a multilayer and which has learnt characteristics that predetermined information has, on the basis of a connection coefficient between nodes that the model has; a calculation unit for calculating an eigenvalue of the matrix; and a specification unit for, on the basis of a comparison result between deviation of an eigenvalue calculated from a matrix of a plurality of models which have learnt characteristics of information belonging to a first category and deviation of an eigenvalue calculated from a matrix of a plurality of models which have learnt characteristics of information belonging to a second category, specifying an index of a model made to learn information belonging to a specified category specified by a user.SELECTED DRAWING: Figure 1

Description

本発明は、特定装置および特定方法に関する。 The present invention relates to a specifying device and a specifying method.

従来、入力された情報の解析結果に基づいて、入力された情報と関連する情報を検索もしくは生成し、検索もしくは生成した情報を応答として出力する技術が知られている。このような技術の一例として、所定の条件を満たす情報の特徴を学習したモデルを用いて、判定対象となる情報の中から、所定の条件を満たす情報、すなわち類似する情報を特定する技術が知られている。 2. Description of the Related Art Conventionally, a technique for searching or generating information related to input information based on an analysis result of input information and outputting the searched or generated information as a response is known. As an example of such a technique, a technique for identifying information satisfying a predetermined condition, that is, similar information from information to be determined using a model in which features of information satisfying a predetermined condition are learned is known. It has been.

特開２００６−１２７０７７号公報JP 2006-127077 A

“共変量シフト下での教師付き学習” 杉山将，東京工業大学計算工学専攻＜インターネット＞http://www.ms.k.u-tokyo.ac.jp/2006/covariate-shift-jp.pdf“Supervised learning under covariate shift” Masaru Sugiyama, Department of Computer Science, Tokyo Institute of Technology <Internet> http://www.ms.k.u-tokyo.ac.jp/2006/covariate-shift-jp.pdf

しかしながら、上記の従来技術では、情報の特徴を学習したモデルの作成が困難であるという問題がある。 However, the above-described conventional technology has a problem that it is difficult to create a model in which information features are learned.

例えば、モデルに所定の条件を満たす情報の特徴を精度良く学習させるには、比較的多くの学習データが必要となる。このため、学習データの数が少ない場合には、モデルに情報の特徴を精度良く学習させることができない。 For example, a relatively large amount of learning data is required to accurately learn features of information that satisfy a predetermined condition in a model. For this reason, when the number of learning data is small, it is impossible to cause the model to learn information features with high accuracy.

本願は、上記に鑑みてなされたものであって、モデルの作成を容易にすることを目的とする。 The present application has been made in view of the above, and aims to facilitate the creation of a model.

本願に係る特定装置は、多層に接続されたノードを有するモデルであって、所定の情報が有する特徴を学習したモデルが有するノード間の接続係数に基づいて、当該モデルと対応する行列を生成する行列生成部と、前記行列の固有値を算出する算出部と、第１カテゴリに属する情報の特徴を学習した複数のモデルの行列から算出された固有値の偏りと、第２カテゴリに属する情報の特徴を学習した複数のモデルの行列から算出された固有値の偏りとの比較結果に基づいて、利用者が指定した指定カテゴリに属する情報の特徴を学習させるモデルの指標を特定する特定部とを有することを特徴とする。 The specific apparatus according to the present application generates a matrix corresponding to a model based on a connection coefficient between nodes of a model having nodes connected in multiple layers and learning a feature of predetermined information. A matrix generation unit; a calculation unit that calculates eigenvalues of the matrix; a bias of eigenvalues calculated from a matrix of a plurality of models that learned features of information belonging to the first category; and features of information that belong to the second category. A specifying unit that specifies an index of a model for learning features of information belonging to a specified category designated by a user based on a comparison result with a bias of eigenvalues calculated from a matrix of learned models. Features.

実施形態の一態様によれば、モデルの作成を容易にすることができる。 According to one aspect of the embodiment, creation of a model can be facilitated.

図１は、実施形態に係る特定装置が実行する特定処理の一例を示す図である。FIG. 1 is a diagram illustrating an example of the specifying process executed by the specifying apparatus according to the embodiment. 図２は、実施形態に係る特定装置の構成例を示す図である。FIG. 2 is a diagram illustrating a configuration example of the specific device according to the embodiment. 図３は、実施形態に係る登録モデルデータベースに登録される情報の一例を示す図である。FIG. 3 is a diagram illustrating an example of information registered in the registration model database according to the embodiment. 図４は、実施形態に係る特定処理の流れの一例を説明するフローチャートである。FIG. 4 is a flowchart for explaining an example of the flow of specific processing according to the embodiment. 図５は、実施形態に係る特定処理の結果を用いて、提供モデルを生成する処理の流れの一例を説明するフローチャートである。FIG. 5 is a flowchart for explaining an example of a process flow for generating a provision model using the result of the specific process according to the embodiment. 図６は、ハードウェア構成の一例を示す図である。FIG. 6 is a diagram illustrating an example of a hardware configuration.

以下に、本願に係る特定装置および特定方法を実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る特定装置および特定方法が限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。 Hereinafter, embodiments for carrying out a specific device and a specific method according to the present application (hereinafter referred to as “embodiments”) will be described in detail with reference to the drawings. In addition, the specific apparatus and the specific method which concern on this application are not limited by this embodiment. In the following embodiments, the same portions are denoted by the same reference numerals, and redundant description is omitted.

［実施形態］
〔１−１．特定装置の一例〕
まず、図１を用いて、特定装置が実行する処理の一例について説明する。図１は、実施形態に係る特定装置が実行する特定処理の一例を示す図である。図１では、特定装置１０は、以下に説明する特定処理を実行する情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。 [Embodiment]
[1-1. Example of specific device)
First, an example of processing executed by the specific device will be described with reference to FIG. FIG. 1 is a diagram illustrating an example of the specifying process executed by the specifying apparatus according to the embodiment. In FIG. 1, the specifying device 10 is an information processing device that executes a specifying process described below, and is realized by, for example, a server device or a cloud system.

より具体的には、特定装置１０は、インターネット等の所定のネットワークＮ（例えば、図２を参照）を介して、登録サーバ１００や、クライアントサーバ２００といった任意の装置と通信が可能である。なお、図１に示す例では、１つの登録サーバ１００やクライアントサーバ２００を示したが、特定装置１０は、任意の数の登録サーバ１００や任意の数のクライアントサーバ２００と通信が可能であってもよい。 More specifically, the specific device 10 can communicate with an arbitrary device such as the registration server 100 or the client server 200 via a predetermined network N such as the Internet (see, for example, FIG. 2). In the example shown in FIG. 1, one registration server 100 or client server 200 is shown. However, the specific apparatus 10 can communicate with an arbitrary number of registration servers 100 and an arbitrary number of client servers 200. Also good.

登録サーバ１００は、各種の情報が有する特徴を学習したモデルを登録する登録者が使用する情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。また、クライアントサーバ２００は、所定の情報が有する特徴を学習したモデルを要求するクライアントが使用する情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。 The registration server 100 is an information processing apparatus used by a registrant who registers a model that has learned features of various information, and is realized by, for example, a server apparatus or a cloud system. The client server 200 is an information processing apparatus used by a client that requests a model that has learned features of predetermined information, and is realized by, for example, a server apparatus or a cloud system.

このような特定装置１０は、以下のモデル提供処理を実行する。例えば、特定装置１０は、登録サーバ１００から、各種情報の特徴を学習したモデルの登録を受付ける。例えば、特定装置１０は、ＳＮＳ（Social Networking Service）等に投稿された利用者の投稿、ニュース、株価の値動きといった金融情報等の特徴を学習したモデルの登録を受付ける。より具体的な例を挙げると、特定装置１０は、あるカテゴリに属する情報が入力されると、入力された情報の要約を出力するように学習が行われたモデルの登録を受付ける。このようなモデルは、例えば、畳み込みミューラルネットワークや再帰型ニューラルネットワーク等、各種の機能を発揮する任意のニューラルネットワークにより実現可能である。 Such a specific device 10 executes the following model providing process. For example, the specifying apparatus 10 accepts registration of a model in which features of various information are learned from the registration server 100. For example, the specific device 10 accepts registration of a model in which features such as financial information such as user posts, news, and stock price changes posted to an SNS (Social Networking Service) or the like are learned. To give a more specific example, when information belonging to a certain category is input, the specifying device 10 accepts registration of a model that has been learned so as to output a summary of the input information. Such a model can be realized by an arbitrary neural network that exhibits various functions such as a convolutional mural network and a recursive neural network.

一方で、特定装置１０は、クライアントサーバ２００からカテゴリの指定を受付けると、そのカテゴリに属する情報の特徴を学習したモデルを生成し、生成したモデルをクライアントサーバ２００へと提供する。例えば、特定装置１０は、指定されたカテゴリに属する情報を入力した際に、その情報の要約を出力するよう学習が行われたモデル、すなわち、指定されたカテゴリに属する情報の特徴を学習したモデルを生成し、生成したモデルをクライアントサーバ２００へと提供する。 On the other hand, when the specification apparatus 10 receives a category specification from the client server 200, the specification apparatus 10 generates a model in which the characteristics of information belonging to the category are learned, and provides the generated model to the client server 200. For example, when the specifying device 10 inputs information belonging to a specified category, the model that has been learned to output a summary of the information, that is, a model that has learned features of information belonging to the specified category And the generated model is provided to the client server 200.

〔１−２．特定装置の処理について〕
ここで、上述したモデル提供処理において、登録サーバ１００から登録されたモデルを用いて、クライアントサーバ２００に提供するモデルを生成するといった態様が考えられる。例えば、登録サーバ１００から登録されたモデルのうち、クライアントサーバ２００が指定したカテゴリに属する情報の特徴を学習したモデルを選択し、選択したモデルをクライアントサーバ２００に提供するとともに、そのモデルを登録した登録者に対して、クライアントから報酬を提供するといったビジネスモデルが考えられる。しかしながら、登録者が登録したモデルそのものをクライアントへ提供した場合には、どのような態様で、各種の情報が有する特徴をモデルに学習させているのかというノウハウが漏えいしてしまう恐れがある。 [1-2. About specific device processing)
Here, in the model providing process described above, a mode in which a model to be provided to the client server 200 is generated using a model registered from the registration server 100 can be considered. For example, among the models registered from the registration server 100, the model that has learned the characteristics of information belonging to the category specified by the client server 200 is selected, the selected model is provided to the client server 200, and the model is registered A business model can be considered in which a registrant is paid by a client. However, when the model itself registered by the registrant is provided to the client, there is a risk that know-how about how the model has learned the features of various types of information may be leaked.

そこで、登録されたモデルのうち、クライアントサーバ２００が指定したカテゴリと類似するカテゴリに属する情報の特徴を学習したモデルを選択し、選択したモデルにクライアントサーバ２００が指定したカテゴリに属する情報の特徴を学習させることで、より効率的なモデルの学習を実現するといったビジネスモデルも考えられる。このようなビジネスモデルを実現するには、クライアントサーバ２００が指定したカテゴリと類似するカテゴリに属する情報の特徴を学習したモデルを適切に選択するには、登録されたモデルがどのような学習データを用いて、どのような特徴を学習させたモデルであるかを登録者が登録する必要がある。しかしながら、モデルを作成する際の学習データには、個人情報等、秘匿しなければならない情報が含まれる場合がある。また、どのような特徴を学習させたかといったノウハウについても、秘匿したいという要望が考えられる。 Therefore, among the registered models, a model that learns the characteristics of information belonging to a category similar to the category specified by the client server 200 is selected, and the characteristics of information belonging to the category specified by the client server 200 are selected as the selected model. A business model is also conceivable in which learning enables more efficient model learning. In order to realize such a business model, in order to appropriately select a model in which features of information belonging to a category similar to the category specified by the client server 200 are learned, what kind of learning data is stored in the registered model. It is necessary for the registrant to register what kind of feature the model is learned by using. However, the learning data when creating the model may include information that must be kept secret, such as personal information. In addition, there may be a desire to keep secret about the know-how of what features have been learned.

一方で、クライアントサーバ２００が指定したカテゴリに属する情報の特徴を学習したモデルを一から生成するには、多くの学習データや学習時における計算リソースを要する。このため、従来技術では、クライアントサーバ２００が指定したカテゴリに属する情報の特徴を学習したモデルの作成が困難である。 On the other hand, in order to generate a model from which the features of information belonging to the category designated by the client server 200 are learned from the beginning, a large amount of learning data and computational resources are required during learning. For this reason, in the prior art, it is difficult to create a model in which features of information belonging to a category designated by the client server 200 are learned.

そこで、特定装置１０は、以下の特定処理を実行する。まず、特定装置１０は、多層に接続されたノードを有するモデルであって、所定の情報が有する特徴を学習したモデルが有するノード間の接続係数に基づいて、そのモデルと対応する行列を生成する。続いて、特定装置１０は、生成した行列の固有値を算出する。そして、特定装置１０は、第１カテゴリに属する情報の特徴を学習した複数のモデル行列から算出された固有値の偏りと、第２カテゴリに属する情報の特徴を学習した複数のモデルの行列から算出された固有値の偏りとの比較結果に基づいて、利用者が指定した指定カテゴリに属する情報の特徴を学習させるモデルの指標を特定する。例えば、特定装置１０は、モデルと対応する行列として、ノード間の接続係数に基づいたランダム行列を生成し、生成したランダム行列を用いて、上手した特定処理を実行する。 Therefore, the specifying device 10 executes the following specifying process. First, the identifying apparatus 10 generates a matrix corresponding to a model having a node connected in multiple layers, based on a connection coefficient between nodes of a model that has learned features of predetermined information. . Subsequently, the identifying device 10 calculates eigenvalues of the generated matrix. The specifying device 10 calculates the bias of the eigenvalues calculated from the plurality of model matrices learned about the characteristics of the information belonging to the first category and the matrix of the plurality of models learned about the characteristics of the information belonging to the second category. Based on the comparison result with the bias of the eigenvalues, the index of the model that learns the characteristics of the information belonging to the designated category designated by the user is specified. For example, the specifying device 10 generates a random matrix based on a connection coefficient between nodes as a matrix corresponding to the model, and executes a well-specified specifying process using the generated random matrix.

例えば、特定装置１０は、所定の構造を有するモデルの登録を登録サーバ１００から受付ける（ステップＳ１）。より具体的な例を挙げると、特定装置１０は、文字列や写真等、所定の情報を入力した際に、その情報の特徴に基づいた他の情報（例えば、文字列の要約や写真の要部等）を出力するように学習が行われたモデルの登録を受付ける。 For example, the specifying device 10 accepts registration of a model having a predetermined structure from the registration server 100 (step S1). To give a more specific example, when the specific device 10 inputs predetermined information such as a character string or a photograph, the specific device 10 receives other information based on the characteristics of the information (for example, a summary of the character string or a key of the photograph). The registration of the model that has been learned to output the output.

ここで、ニューラルネットワーク等のモデルが有する各ノードは、１つ又は複数のノード（例えば、より入力層側の層のノードや出力層側の層のノード）と接続されており、シグモイド関数等を用いて、入力層側のノードから入力された値に応じた出力値を算出し、算出した出力値を出力層側の各ノードへと伝達する。また、ノード同士を接続する各経路には、それぞれ接続係数（すなわち、重み）が設定されており、入力層側のノードが出力した値に接続係数を反映させた値を入力層側のノードへと伝達する。 Here, each node of a model such as a neural network is connected to one or a plurality of nodes (for example, a node on a layer on the input layer side or a node on a layer on the output layer side), and a sigmoid function or the like is expressed. The output value corresponding to the value input from the node on the input layer side is calculated, and the calculated output value is transmitted to each node on the output layer side. In addition, a connection coefficient (that is, a weight) is set for each path connecting the nodes, and a value obtained by reflecting the connection coefficient in a value output by the node on the input layer side is sent to the node on the input layer side. Communicate.

このようなモデルに情報の特徴を学習させる場合、ある情報を入力した際に所望する情報が得られるように、バックプロパゲーション等の学習手法を用いて、接続係数の値を補正する。このため、モデルに情報の特徴を学習させた場合、そのモデルが有するノード間の接続係数には、所定の傾向が生じると考えられる。より具体的には、あるカテゴリに属する情報を学習データとし、その学習データが有する特徴を複数のモデルに学習させた場合には、その学習データが有する特徴に応じた傾向、すなわち、学習データが属するカテゴリに応じた傾向が各モデルの接続係数に現れると考えられる。換言すると、同一または類似するカテゴリに属する学習データを用いて学習が行われた複数のモデルの接続係数は、傾向が相互に類似し、非類似のカテゴリに属する学習データを用いて学習が行われた複数のモデルの接続係数は、傾向が相互に類似しないと考えられる。 When learning the characteristics of information in such a model, the value of the connection coefficient is corrected by using a learning method such as backpropagation so that desired information can be obtained when certain information is input. For this reason, when the model learns information features, it is considered that a predetermined tendency occurs in the connection coefficient between nodes of the model. More specifically, when information belonging to a certain category is used as learning data and the characteristics of the learning data are learned by a plurality of models, the tendency corresponding to the characteristics of the learning data, that is, the learning data is It is thought that the tendency according to the category to which it belongs appears in the connection coefficient of each model. In other words, the connection coefficients of a plurality of models learned using learning data belonging to the same or similar categories are similar in tendency to each other, and learning is performed using learning data belonging to dissimilar categories. In addition, the connection coefficients of multiple models are considered to have similar trends.

そこで、特定装置１０は、登録者によって登録されたモデル（以下、「登録モデル」と記載する。）の接続係数が有する傾向に応じて、クライアントが指定したカテゴリ（以下「指定カテゴリ」と記載する。）に属する情報の学習により適したモデルの指標を特定し、特定した指標に基づいて、クライアントが指定したカテゴリに属する情報の学習に用いるモデルを選択する。また、特定装置１０は、選択したモデルに対し、指定カテゴリに属する情報の特徴を学習させる。そして、特定装置１０は、学習が行われたモデルをクライアントに出力する。 Therefore, the specific device 10 describes a category (hereinafter referred to as “designated category”) designated by the client in accordance with the tendency of the connection coefficient of the model registered by the registrant (hereinafter referred to as “registered model”). .), An index of a model that is more suitable for learning of information belonging to.) Is specified, and a model used for learning of information belonging to the category specified by the client is selected based on the specified index. Further, the specifying device 10 causes the selected model to learn the characteristics of information belonging to the specified category. Then, the specifying device 10 outputs the learned model to the client.

ここで、各登録モデルが有する接続係数の傾向を比較することで、各登録モデルの類似性を判断する手法としては、幾つかの手法が考えられるが、本実施形態において、特定装置１０は、任意の学習が行われたモデルが学習に用いた学習データの分布と測定に用いるデータの分布との差を考慮する共変量シフトの考え方を用いて、各登録モデルの類似性を判断する。 Here, several methods can be considered as a method of determining the similarity of each registered model by comparing the tendency of the connection coefficient of each registered model. The similarity of each registered model is determined using a covariate shift concept that takes into account the difference between the distribution of learning data used for learning and the distribution of data used for measurement by an arbitrarily learned model.

例えば、特定装置１０は、登録モデルが有する接続係数に基づいて、登録モデルと対応するランダム行列を生成し、生成したランダム行列の固有値と固有ベクトルとを算出する（ステップＳ２）。より具体的には、特定装置１０は、登録モデルが有する各ノードの間の接続係数の発生確率を要素とするランダム行列を生成する。例えば、特定装置１０は、登録モデルＡ１が有する各ノード間の接続係数をランダム行列Ａ１が有する各要素の値と見做す。そして、特定装置１０は、ランダム行列Ａ１が有する固有値Ａ１と固有ベクトルＡ１とを算出する。 For example, the identifying apparatus 10 generates a random matrix corresponding to the registered model based on the connection coefficient of the registered model, and calculates the eigenvalue and eigenvector of the generated random matrix (Step S2). More specifically, the specifying device 10 generates a random matrix having elements of the occurrence probability of connection coefficients between nodes included in the registration model. For example, the specifying apparatus 10 considers the connection coefficient between the nodes included in the registration model A1 as the value of each element included in the random matrix A1. Then, the specifying device 10 calculates the eigenvalue A1 and the eigenvector A1 that the random matrix A1 has.

このような登録モデルの接続係数を要素とするランダム行列の固有値は、各登録モデルが学習に用いた学習データの偏りと対応する偏りを有すると考えられる。例えば、第１のカテゴリに属する学習データの特徴を学習した複数の登録モデル（以下、「第１登録モデル群」と記載する。）と第２のカテゴリに属する学習データの特徴を学習した複数の登録モデル（以下、「第２登録モデル群」と記載する。）とが存在するものとする。このような場合、第１登録モデル群と対応する複数のランダム行列の固有値や、第２登録モデル群と対応する複数のランダム行列の固有値には、偏りが生じると考えられる。すなわち、各登録モデルの接続係数を要素とするランダム行列の固有値には、各登録モデルの学習に用いた学習データの偏りと対応する偏りが生じると考えられる。 It is considered that the eigenvalues of the random matrix having the connection coefficient of the registered model as an element have a bias corresponding to the bias of the learning data used by each registered model. For example, a plurality of registered models (hereinafter referred to as “first registered model group”) that have learned the characteristics of learning data belonging to the first category and a plurality of learning models that have learned the characteristics of learning data belonging to the second category. It is assumed that there is a registered model (hereinafter referred to as “second registered model group”). In such a case, it is considered that there is a bias in the eigenvalues of a plurality of random matrices corresponding to the first registered model group and the eigenvalues of a plurality of random matrices corresponding to the second registered model group. That is, it is considered that a bias corresponding to the bias of the learning data used for learning of each registered model is generated in the eigenvalue of the random matrix having the connection coefficient of each registered model as an element.

そこで、特定装置１０は、各カテゴリに属する登録モデルの固有値の分布の偏りに基づいて、登録モデルに共変量シフトにおけるパラメータθを算出し、カテゴリ間の関係性とパラメータθとの関係性を学習する（ステップＳ３）。すなわち、特定装置１０は、第１のカテゴリに属する情報の特徴を学習した複数の登録モデルのランダム行列から算出された固有値の偏りを、第１のカテゴリに属する情報の分布と見做し、他の第２のカテゴリに属する情報の特徴を学習した複数の登録モデルのランダム行列から算出された固有値の偏りを、第２のカテゴリに属する情報の分布と見做して、情報の分布間における共変量シフトのパラメータを算出する。より具体的には、特定装置１０は、第１のカテゴリに属する情報の特徴を学習した複数のモデルのランダム行列から算出された固有値の偏りと第２のカテゴリに属する情報の特徴を学習した複数のモデルのランダム行列から算出された固有値の偏りとの間の関係性を示すパラメータの値と、第１のカテゴリに属する情報の分布と第２のカテゴリに属する情報の分布との間のズレとの間の関係性を学習した学習モデルを生成する。 Therefore, the specifying device 10 calculates the parameter θ in the covariate shift in the registered model based on the bias of the distribution of the eigenvalues of the registered model belonging to each category, and learns the relationship between the categories and the parameter θ. (Step S3). That is, the identifying apparatus 10 regards the bias of eigenvalues calculated from the random matrices of a plurality of registered models that have learned the characteristics of information belonging to the first category as the distribution of information belonging to the first category, The bias of eigenvalues calculated from the random matrices of a plurality of registered models that have learned the characteristics of information belonging to the second category is regarded as the distribution of information belonging to the second category, and is shared between the information distributions. Calculate the parameters of the variable shift. More specifically, the specifying device 10 learns the characteristic value bias calculated from the random matrix of a plurality of models that learned the characteristics of information belonging to the first category and the information characteristics that belong to the second category. And a deviation between the distribution of information belonging to the first category and the distribution of information belonging to the second category, the value of the parameter indicating the relationship between the bias of the eigenvalues calculated from the random matrix of the model of Generate a learning model that learns the relationship between.

例えば、特定装置１０は、カテゴリＡに属する登録モデルの固有値Ａ１、Ａ２、Ａ３が有する分布と、カテゴリＢに属するモデルの固有値Ｂ１、Ｂ２、Ｂ３の分布との間のズレを、共変量シフトと見做し、共演量シフトを最小化させるパラメータθを算出する。 For example, the identifying apparatus 10 determines a shift between the distribution of the eigenvalues A1, A2, and A3 of the registered model belonging to the category A and the distribution of the eigenvalues B1, B2, and B3 of the model belonging to the category B as a covariate shift. As a result, the parameter θ that minimizes the co-star amount shift is calculated.

例えば、特定装置１０は、登録モデルごとに、以下の式（１）で示されるランダム行列を生成する。なお、式（１）では、各ノード間の接続係数をｗ_ｂ1〜ｗ_ｂｎと記載し、ｍ個の所定の確率分布をｗ_ａ１〜ｗ_ａｍと記載した。また、式（１）に示すＰは、以下の式（２）にｐとして示す値である。 For example, the specifying device 10 generates a random matrix represented by the following formula (1) for each registered model. In Equation (1), the connection coefficients between the nodes are described as w _b1 to w _bn, and the m predetermined probability distributions are described as w _a1 to w _am . Moreover, P shown in Formula (1) is a value shown as p in the following Formula (2).

ここで、共変量シフトにおける訓練入力を以下の式（３）で示し、訓練標本を以下の式（４）で示す。 Here, the training input in the covariate shift is represented by the following formula (3), and the training sample is represented by the following formula (4).

ここで、訓練入力の確率分布をＰ_０（ｘ）とし共変量シフト化での確率分布をＰ_１（ｘ）とする。すなわち、あるデータ群のうち学習データとして選択されるデータの確率分布をＰ_０（ｘ）とし、そのデータ群のうち測定時に選択されるデータの確率分布をＰ_１（ｘ）とする。このような場合、共変量シフトの値は、以下の式（５）で表すことができる。 Here, it is assumed that the probability distribution of the training input is P ₀ (x) and the probability distribution in the covariate shift is P ₁ (x). That is, let P ₀ (x) be the probability distribution of data selected as learning data in a certain data group, and let P ₁ (x) be the probability distribution of data selected at the time of measurement in that data group. In such a case, the value of the covariate shift can be expressed by the following equation (5).

特定装置１０は、このような共変量シフトの値を最小化するパラメータθと、学習データのカテゴリとの間の関係性を学習する。例えば、固有値Ａ１、Ａ２、Ａ３をｘ_ｉ、固有値Ｂ１、Ｂ２、Ｂ３をｙ_ｉとして入力した際に、式（５）の値を最小化するパラメータの値θを算出し、算出した値θをカテゴリＡに属する学習データとカテゴリＢに属する学習データとの間のズレを示す値とする。 The identification device 10 learns the relationship between the parameter θ that minimizes the value of such a covariate shift and the category of the learning data. For example, when the eigenvalues A1, A2, and A3 are input as x _i and the eigenvalues B1, B2, and B3 are input as y _i , the parameter value θ that minimizes the value of the equation (5) is calculated, and the calculated value θ is A value indicating a difference between learning data belonging to category A and learning data belonging to category B is used.

このようなθの値は、各学習データが属するカテゴリ間のズレを示す指標となりえる。このような指標は、指定カテゴリの学習データを学習する対象となる登録モデルの選択に利用可能な指標になるとも考えられる。そこで、特定装置１０は、学習モデルを用いて、指定カテゴリと所定のカテゴリとの間のθの値を登録モデルの選択に利用可能な指標として特定する。 Such a value of θ can be an index indicating a deviation between categories to which each learning data belongs. Such an index is considered to be an index that can be used to select a registration model that is a target for learning learning data of a specified category. Therefore, the specifying device 10 uses the learning model to specify the value of θ between the specified category and the predetermined category as an index that can be used for selecting the registered model.

例えば、特定装置１０は、クライアントサーバ２００から、カテゴリの指定を受付ける（ステップＳ４）。より具体的な例を挙げると、特定装置１０は、「カテゴリＣ」を指定カテゴリとして受付ける。このような場合、特定装置１０は、学習結果に基づいて、指定カテゴリに属する学習データの学習に適した登録モデルを選択し、選択した登録モデルを用いて、指定カテゴリに対応するモデルを生成する（ステップＳ５）。 For example, the specific device 10 receives a category specification from the client server 200 (step S4). As a more specific example, the specifying apparatus 10 accepts “Category C” as a designated category. In such a case, the specifying apparatus 10 selects a registration model suitable for learning of learning data belonging to the designated category based on the learning result, and generates a model corresponding to the designated category using the selected registration model. (Step S5).

例えば、特定装置１０は、学習モデルを用いて、カテゴリＡとカテゴリＣとの間における共変量シフトのパラメータθ_ＡＣを特定する。また、特定装置１０は、学習モデルを用いて、カテゴリＢとカテゴリＣとの間における共変量シフトのパラメータθ_ＢＣを特定する。このような場合、特定装置１０は、登録モデルのうち、カテゴリＡに属する学習データの特徴を学習した登録モデルのランダム行列の固有値の分布との間の共変量シフトのパラメータがパラメータθ_ＡＣとなるような登録モデルであって、カテゴリＢに属する学習データの特徴を学習した登録モデルのランダム行列の固有値の分布との間の共変量シフトのパラメータがパラメータθ_ＢＣとなるような登録モデルを検索する。 For example, the identifying device 10 identifies a covariate shift parameter θ _AC between category A and category C using a learning model. Further, the identifying device 10 identifies the parameter θ _{BC of the} covariate shift between the category B and the category C using the learning model. In such a case, the specifying device 10 uses the parameter θ _{AC as} a parameter of the covariate shift between the registered model and the distribution of the eigenvalues of the random matrix of the registered model that has learned the characteristics of the learning data belonging to category A. A registration model is searched for such that the parameter of the covariate shift between the distribution of the eigenvalues of the random matrix of the registration model that has learned the characteristics of the learning data belonging to category B is the parameter θ _BC . .

なお、特定装置１０は、カテゴリＡとカテゴリＣとの間における共変量シフトのパラメータθ_ＡＣのみを特定し、カテゴリＡに属する学習データの特徴を学習した登録モデルのランダム行列の固有値の分布との間の共変量シフトのパラメータがパラメータθ_ＡＣとなるような登録モデルを検索してもよい。また、特定装置１０は、３つ以上のカテゴリと、カテゴリＣとの間の共変量シフトのパラメータを特定し、特定したパラメータを満たすような登録モデルを検索してもよい。 The specifying device 10 specifies only the covariate shift parameter θ _AC between the category A and the category C, and the distribution of the eigenvalues of the random matrix of the registered model that has learned the characteristics of the learning data belonging to the category A. A registered model in which the parameter of the covariate shift between the parameters is the parameter θ _AC may be searched. Further, the specifying device 10 may specify parameters for covariate shift between three or more categories and the category C, and search for a registration model that satisfies the specified parameters.

そして、特定装置１０は、検索した特定モデルを用いて、クライアントに提供するモデル（以下、「提供モデル」と記載する。）を生成する。例えば、特定装置１０は、特定モデルに、カテゴリＣに属する学習データの特徴を学習させる。そして、特定装置１０は、カテゴリＣに属する学習データの特徴を学習した提供モデルをクライアントに対して提供する（ステップＳ６）。 Then, the specifying device 10 generates a model to be provided to the client (hereinafter referred to as “provided model”) using the searched specific model. For example, the specifying device 10 causes the specific model to learn the characteristics of learning data belonging to the category C. Then, the specifying device 10 provides the client with the provided model that has learned the characteristics of the learning data belonging to the category C (step S6).

このように、特定装置１０は、生成した学習モデルを用いて、所定のカテゴリに属する情報の分布と指定カテゴリに属する情報の分布との間のズレに対応するパラメータの値を、指標として特定する。すなわち、特定装置１０は、第１カテゴリや第２カテゴリに属する情報の分布と指定カテゴリに属する情報の分布との間のズレに基づいて、第１カテゴリや第２カテゴリに属する情報の特徴を学習した複数のモデルのランダム行列から算出された固有値の偏りと、指定カテゴリに属する情報の特徴を学習する複数のモデルのランダム行列から算出される固有値の偏りとの間のズレを示す情報を、指標として特定する。 As described above, the specifying device 10 uses the generated learning model to specify, as an index, a parameter value corresponding to a deviation between the distribution of information belonging to a predetermined category and the distribution of information belonging to a specified category. . That is, the identification device 10 learns the characteristics of information belonging to the first category or the second category based on the difference between the distribution of information belonging to the first category or the second category and the distribution of information belonging to the designated category. Information indicating the deviation between the bias of the eigenvalues calculated from the random matrices of multiple models and the bias of the eigenvalues calculated from the random matrices of multiple models that learn the characteristics of information belonging to the specified category. As specified.

そして、特定装置１０は、特定された指標に基づいて、指定カテゴリに属する情報の特徴を学習させるモデルを選択し、選択したモデルに対し、指定カテゴリに属する情報の特徴を学習させ、学習が行われたモデルを出力する。このため、特定装置１０は、モデルの作成を容易にすることができる。 Then, the identifying device 10 selects a model for learning the characteristics of information belonging to the designated category based on the identified index, and learns the characteristics of the information belonging to the designated category for the selected model. The broken model is output. For this reason, the identifying apparatus 10 can facilitate creation of a model.

例えば、上述した説明では、特定装置１０は、各登録モデルが、ある程度の粒度で、どのカテゴリに属する学習データの特徴を学習したかを示す情報の登録を登録者から受付ければよい。また、特定装置１０は、共変量シフトの方式を用いて、登録モデルと対応するランダム行列の固有値の分布を、学習データの分布の偏りと見做すことで、指定カテゴリと登録モデルが特徴を学習したカテゴリとの間のズレを、登録モデル同士の固有値の分布と見做し、指定カテゴリの学習に適した登録モデルを選択する。このため、特定装置１０は、指定カテゴリの学習データを大量に有さずとも、あるデータ群に対する学習データの分布が、指定カテゴリに属するデータの分布と類似する学習データの特徴を学習した登録モデルを用いて、学習を行うことができる。すなわち、特定装置１０は、指定カテゴリに属する学習データと類似する学習データによりプレトレーニングが行われた登録モデルを用いて、提供モデルを生成するので、モデルの作成に要するリソース等を削減できる。 For example, in the above description, the identifying apparatus 10 may accept registration of information indicating which category each learning model has learned the characteristics of learning data belonging to to some degree of granularity from the registrant. Further, the identification device 10 uses the covariate shift method to regard the distribution of eigenvalues of the random matrix corresponding to the registration model as the bias of the distribution of the learning data, so that the specified category and the registration model are characterized. The deviation from the learned category is regarded as the distribution of eigenvalues between the registered models, and a registered model suitable for learning the specified category is selected. For this reason, the specifying device 10 does not have a large amount of learning data of the designated category, but the registered model in which the learning data distribution for a certain data group has learned the characteristics of the learning data similar to the distribution of the data belonging to the designated category. Can be used to learn. That is, since the specifying device 10 generates a provision model using a registered model that has been pre-trained with learning data similar to learning data belonging to the specified category, it is possible to reduce resources required for creating the model.

〔２．特定装置の構成〕
以下、上記した特定処理を実現する特定装置１０が有する機能構成の一例について説明する。図２は、実施形態に係る特定装置の構成例を示す図である。図２に示すように、特定装置１０は、通信部２０、記憶部３０、および制御部４０を有する。 [2. (Specific device configuration)
Hereinafter, an example of the functional configuration of the specifying device 10 that realizes the above-described specifying process will be described. FIG. 2 is a diagram illustrating a configuration example of the specific device according to the embodiment. As illustrated in FIG. 2, the identification device 10 includes a communication unit 20, a storage unit 30, and a control unit 40.

通信部２０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、登録サーバ１００、およびクライアントサーバ２００との間で情報の送受信を行う。 The communication unit 20 is realized by, for example, a NIC (Network Interface Card). The communication unit 20 is connected to the network N in a wired or wireless manner, and transmits / receives information to / from the registration server 100 and the client server 200.

記憶部３０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、登録モデルデータベース３１および学習モデルデータベース３２を記憶する。 The storage unit 30 is realized by, for example, a semiconductor memory device such as a RAM (Random Access Memory) or a flash memory, or a storage device such as a hard disk or an optical disk. The storage unit 30 also stores a registered model database 31 and a learning model database 32.

登録モデルデータベース３１には、登録者により登録がなされた各種の登録モデルが登録される。例えば、図３は、実施形態に係る登録モデルデータベースに登録される情報の一例を示す図である。図３に示すように、登録モデルデータベース３１には、「モデルＩＤ（Identifier）」、「カテゴリ」、「モデルデータ」、「行列情報」、「固有ベクトル」、および「固有値」といった項目を有する情報が登録される。 Various registered models registered by the registrant are registered in the registered model database 31. For example, FIG. 3 is a diagram illustrating an example of information registered in the registration model database according to the embodiment. As shown in FIG. 3, the registered model database 31 includes information having items such as “model ID (Identifier)”, “category”, “model data”, “matrix information”, “eigenvector”, and “eigenvalue”. be registered.

ここで、「モデルＩＤ」とは、各モデルを識別するための識別子である。また、「カテゴリ」とは、各モデルが特徴を学習した学習データが属するカテゴリである。また、「モデルデータ」とは、対応付けられた「モデルＩＤ」が示す登録モデルのデータであり、各ノードの情報や接続係数の値等が登録される。また、「行列情報」とは、対応付けられた「モデルＩＤ」が示す登録モデルの接続係数の値に基づいて生成されたランダム行列である。また、「固有ベクトル」とは、ランダム行列の固有ベクトルである。また、「固有値」とは、ランダム行列の固有値である。 Here, the “model ID” is an identifier for identifying each model. The “category” is a category to which learning data in which each model has learned features belongs. “Model data” is registered model data indicated by the associated “model ID”, and information on each node, connection coefficient values, and the like are registered. The “matrix information” is a random matrix generated based on the connection coefficient value of the registered model indicated by the associated “model ID”. The “eigenvector” is an eigenvector of a random matrix. The “eigenvalue” is an eigenvalue of a random matrix.

例えば、図３に示す例では、登録モデルデータベース３１には、モデルＩＤ「モデル＃１」、カテゴリ「カテゴリＡ」、モデルデータ「モデルデータ＃１」、行列情報「ランダム行列＃１」、固有ベクトル「固有ベクトル＃１」、および固有値「固有値＃１」とが対応付けて登録されている。このような情報は、モデルＩＤ「モデル＃１」が示す登録モデルが、カテゴリ「カテゴリＡ」に属する学習データの特徴を学習しており、そのデータがモデルデータ「モデルデータ＃１」である旨を示す。また、このような情報は、モデルＩＤ「モデル＃１」が示す登録モデルのランダム行列が、「ランダム行列＃１」であり、「ランダム行列＃１」の固有ベクトルが「固有ベクトル＃１」であり、固有値が「固有値＃１」である旨を示す。 For example, in the example illustrated in FIG. 3, the registered model database 31 includes model ID “model # 1”, category “category A”, model data “model data # 1”, matrix information “random matrix # 1”, eigenvector “ The eigenvector # 1 ”and the eigenvalue“ eigenvalue # 1 ”are registered in association with each other. Such information indicates that the registered model indicated by the model ID “model # 1” has learned the characteristics of the learning data belonging to the category “category A” and the data is model data “model data # 1”. Indicates. In addition, such information is such that the random matrix of the registered model indicated by the model ID “model # 1” is “random matrix # 1”, and the eigenvector of “random matrix # 1” is “eigenvector # 1”. It indicates that the eigenvalue is “eigenvalue # 1”.

なお、図３に示す例では、「モデル＃１」、「カテゴリＡ」、「モデルデータ＃１」、「ランダム行列＃１」、「固有ベクトル＃１」、「固有値＃１」といった概念的な値を記載したが、実際には、登録モデルデータベース３１には、モデルやカテゴリを識別するための文字列、モデルを構成する各ノードの情報やノード間の接続関係を示す情報、ランダム行列が有する各要素、ランダム行列の固有ベクトル、および固有値を示す値等が登録されることとなる。 In the example shown in FIG. 3, conceptual values such as “model # 1”, “category A”, “model data # 1”, “random matrix # 1”, “eigenvector # 1”, and “eigenvalue # 1” are used. In practice, however, the registered model database 31 includes a character string for identifying a model and a category, information on each node constituting the model, information indicating a connection relationship between the nodes, and each random matrix. Elements, eigenvectors of random matrices, values indicating eigenvalues, and the like are registered.

図２に戻り、説明を続ける。学習モデルデータベース３２には、共変量シフトのパラメータθと、学習モデルが属するカテゴリとの間の関係性を学習した学習モデルのデータが登録される。なお、学習モデルデータベース３２には、ニューラルネットワークや重回帰モデル等、任意の形式のモデルが登録されていてよい。 Returning to FIG. 2, the description will be continued. In the learning model database 32, data of a learning model in which the relationship between the covariate shift parameter θ and the category to which the learning model belongs is registered. In the learning model database 32, a model in an arbitrary format such as a neural network or a multiple regression model may be registered.

制御部４０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、特定装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部４０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。 The control unit 40 is a controller. For example, various programs stored in a storage device inside the specific device 10 are stored in a RAM or the like by a processor such as a CPU (Central Processing Unit) or an MPU (Micro Processing Unit). This is realized by being executed as a work area. The control unit 40 is a controller, and may be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).

図２に示すように、制御部４０は、取得部４１、生成部４２、算出部４３、特定部４４、選択部４５、学習部４６、および出力部４７を有する。 As illustrated in FIG. 2, the control unit 40 includes an acquisition unit 41, a generation unit 42, a calculation unit 43, a specification unit 44, a selection unit 45, a learning unit 46, and an output unit 47.

取得部４１は、登録モデルを取得する。例えば、取得部４１は、登録サーバ１００から、登録モデルのデータと、その登録モデルが特徴を学習した学習データが属するカテゴリとの登録を受付ける。このような場合、取得部４１は、受付けた登録モデルのデータと、カテゴリとを登録モデルデータベース３１にモデルＩＤと対応付けて登録する。 The acquisition unit 41 acquires a registered model. For example, the acquisition unit 41 accepts registration of registration model data and a category to which the learning data in which the registration model has learned features belongs from the registration server 100. In such a case, the acquisition unit 41 registers the received registration model data and category in the registration model database 31 in association with the model ID.

生成部４２は、多層に接続されたノードを有するモデルであって、所定の情報が有する特徴を学習した登録モデルが有するノード間の接続係数に基づいて、その登録モデルと対応する行列を生成する。より具体的な例を挙げると、生成部４２は、登録モデルと対応する行列として、登録モデルの接続係数に基づくランダム行列を生成する。例えば、生成部４２は、登録モデルが有する各ノードの間の接続係数の発生確率を要素とするランダム行列を生成する。より具体的な例を挙げると、生成部４２は、登録モデルデータベース３１に登録された登録モデルの中から、ランダム行列が登録されていない登録モデルを特定し、特定した登録モデルのモデルデータを読み出す。そして、生成部４２は、上述した式（１）、（２）を用いて、登録モデルが有する各接続係数から、登録モデルと対応するランダム行列を生成し、生成したランダム行列を登録モデルデータベース３１に登録する。 The generation unit 42 is a model having nodes connected in multiple layers, and generates a matrix corresponding to the registration model based on the connection coefficient between nodes of the registration model that has learned the features of the predetermined information. . As a more specific example, the generation unit 42 generates a random matrix based on the connection coefficient of the registered model as a matrix corresponding to the registered model. For example, the generation unit 42 generates a random matrix whose element is the occurrence probability of the connection coefficient between the nodes included in the registration model. As a more specific example, the generation unit 42 identifies a registered model in which a random matrix is not registered from among the registered models registered in the registered model database 31, and reads model data of the identified registered model. . And the production | generation part 42 produces | generates the random matrix corresponding to a registration model from each connection coefficient which a registration model has using the above-mentioned Formula (1), (2), and the produced | generated random matrix is registered model database 31. Register with.

算出部４３は、ランダム行列の固有値を算出する。例えば、算出部４３は、登録モデルデータベース３１に登録された登録モデルの中から、固有値や固有ベクトルが登録されていない登録モデルを特定し、特定した登録モデルのランダム行列を読み出す。そして、算出部４３は、読み出したランダム行列の固有値および固有ベクトルを算出し、算出した固有値や固有ベクトルを登録モデルデータベース３１に登録する。なお、固有値の算出や固有ベクトルの算出は、任意の公知技術が採用可能である。 The calculation unit 43 calculates an eigenvalue of the random matrix. For example, the calculation unit 43 identifies a registered model in which no eigenvalue or eigenvector is registered from among the registered models registered in the registered model database 31, and reads a random matrix of the identified registered model. Then, the calculation unit 43 calculates the eigenvalues and eigenvectors of the read random matrix, and registers the calculated eigenvalues and eigenvectors in the registration model database 31. Note that any known technique can be employed for calculating the eigenvalue and the eigenvector.

特定部４４は、第１カテゴリに属する情報の特徴を学習した複数の登録モデルのランダム行列から算出された固有値の偏りと、第２カテゴリに属する情報の特徴を学習した複数の登録モデルのランダム行列から算出された固有値の偏りとの比較結果に基づいて、利用者が指定した指定カテゴリに属する情報の特徴を学習させる登録モデルの指標を特定する。例えば、特定部４４は、所定の第１カテゴリに属する情報の特徴を学習した複数の登録モデルのランダム行列から算出された固有値群と、所定の第２カテゴリに属する情報の特徴を学習した複数の登録モデルのランダム行列から算出された固有値群と、を登録モデルデータベース３１から読み出す。 The specifying unit 44 includes a bias of eigenvalues calculated from random matrices of a plurality of registered models that have learned features of information belonging to the first category and a random matrix of a plurality of registered models that have learned features of information that belong to the second category. Based on the comparison result with the bias of the eigenvalue calculated from the above, the index of the registration model for learning the characteristics of the information belonging to the designated category designated by the user is specified. For example, the specifying unit 44 has a plurality of eigenvalue groups calculated from random matrices of a plurality of registered models that have learned features of information belonging to a predetermined first category, and a plurality of features that have learned features of information that belong to a predetermined second category. The eigenvalue group calculated from the random matrix of the registered model is read from the registered model database 31.

そして、特定部４４は、所定の第１カテゴリと対応する固有値群の偏りと、所定の第２カテゴリと対応する固有値群の偏りとの間の関係性を示すパラメータθの値を上述した式（５）を用いて算出する。すなわち、特定部４４は、第１カテゴリに属する情報の特徴を学習した複数の登録モデルのランダム行列から算出された固有値の偏りを、第１カテゴリに属する情報の分布と見做し、第２カテゴリに属する情報の特徴を学習した複数の登録モデルのランダム行列から算出された固有値の偏りを、第２カテゴリに属する情報の分布と見做して、分布間における共変量シフトのパラメータを算出する。 Then, the specifying unit 44 calculates the value of the parameter θ indicating the relationship between the bias of the eigenvalue group corresponding to the predetermined first category and the bias of the eigenvalue group corresponding to the predetermined second category ( 5). That is, the specifying unit 44 regards the bias of eigenvalues calculated from the random matrices of a plurality of registered models that have learned the characteristics of information belonging to the first category as the distribution of information belonging to the first category, and determines the second category. Considering the bias of eigenvalues calculated from random matrices of a plurality of registered models that have learned the characteristics of information belonging to, as the distribution of information belonging to the second category, the parameter of covariate shift between the distributions is calculated.

また、特定部４４は、式（５）を用いて算出したパラメータθの値が有する特徴を学習モデルに学習させる。より具体的には、特定部４４は、第１カテゴリに属する情報の分布と第２カテゴリに属する情報の分布との間のズレと、パラメータθとの間の関係性を学習モデルに学習させる。また、特定部４４は、各カテゴリ間ごとに、上述した処理を実行することで、各カテゴリ間における情報の分布のズレと、パラメータθとの間の関係性を学習モデルに学習させる。 In addition, the specifying unit 44 causes the learning model to learn the characteristics of the value of the parameter θ calculated using Expression (5). More specifically, the specifying unit 44 causes the learning model to learn the relationship between the deviation between the distribution of information belonging to the first category and the distribution of information belonging to the second category and the parameter θ. Further, the specifying unit 44 performs the above-described processing for each category, thereby causing the learning model to learn the relationship between the deviation of the information distribution between the categories and the parameter θ.

また、特定部４４は、クライアントサーバ２００から指定カテゴリの通知を受付けた場合は、学習モデルを用いて、指定カテゴリに属する情報の分布と、他のカテゴリに属する情報の分布との間のズレに対応するパラメータθの値を指標として特定する。例えば、特定部４４は、指定カテゴリと他のカテゴリとを学習モデルに入力することで、指定カテゴリと各カテゴリとの間のズレに対応するパラメータθの値をそれぞれ算出する。すなわち、特定部４４は、第１カテゴリに属する情報の分布と指定カテゴリに属する情報の分布との間のズレに基づいて、第１カテゴリに属する情報の特徴を学習した複数の登録モデルのランダム行列から算出された固有値の偏りと、指定カテゴリに属する情報の特徴を学習する複数のモデルのランダム行列から算出される固有値の偏りとの間のズレを示す情報を、指標として特定する。 In addition, when the notification of the specified category is received from the client server 200, the specifying unit 44 uses a learning model to shift a difference between the distribution of information belonging to the specified category and the distribution of information belonging to another category. The value of the corresponding parameter θ is specified as an index. For example, the specifying unit 44 calculates the value of the parameter θ corresponding to the deviation between the specified category and each category by inputting the specified category and another category into the learning model. That is, the specifying unit 44 is a random matrix of a plurality of registered models in which features of the information belonging to the first category are learned based on the difference between the distribution of information belonging to the first category and the distribution of information belonging to the designated category. The information indicating the deviation between the eigenvalue bias calculated from Eq. And the eigenvalue bias calculated from the random matrix of a plurality of models learning the characteristics of the information belonging to the specified category is specified as an index.

選択部４５は、特定された指標に基づいて、指定カテゴリに属する情報の特徴を学習させるモデルを選択する。例えば、選択部４５は、登録モデルの中から、処理対象となるカテゴリを１つ選択し、選択したカテゴリに属する登録モデルの固有値の偏りと、他のカテゴリに属する登録モデルの固有値の偏りとから、パラメータθの値を算出する。そして、選択部４５は、他の各カテゴリとの間のパラメータθの値が、特定部４４によって特定されたパラメータθと類似するカテゴリを選択する。 The selection unit 45 selects a model for learning the characteristics of information belonging to the specified category based on the specified index. For example, the selection unit 45 selects one category to be processed from among the registered models, and the bias of the eigenvalues of the registered model belonging to the selected category and the bias of the eigenvalues of the registered models belonging to other categories. Then, the value of the parameter θ is calculated. Then, the selection unit 45 selects a category in which the value of the parameter θ between the other categories is similar to the parameter θ specified by the specifying unit 44.

例えば、選択部４５は、指定カテゴリとして、カテゴリＣの指定を受付けた場合、カテゴリＡとカテゴリＣとの間のパラメータθ_ＡＣと、カテゴリＢとカテゴリＣとの間のパラメータθ_ＢＣとを学習モデルを用いて算出する。また、選択部４５は、例えば、処理対象となるカテゴリとして、カテゴリＤを選択した場合、カテゴリＡとカテゴリＤとの間のパラメータθ_ＡＤと、カテゴリＢとカテゴリＣとの間のパラメータθ_ＢＤとを、各カテゴリに属する登録モデルと対応するランダム行列の固有値の偏りから算出する。そして、選択部４５は、パラメータθ_ＡＣと、パラメータθ_ＡＤとの値が類似し、かつ、パラメータθ_ＢＣとパラメータθ_ＢＤとの値が類似する場合は、カテゴリＤをカテゴリＣに類似するカテゴリとして選択する。その後、選択部４５は、選択したカテゴリＤに属する登録モデルの中から、いズレかの登録モデルを選択する。 For example, when the selection unit 45 accepts the designation of the category C as the designated category, the selection unit 45 calculates the parameter θ _AC between the category A and the category C and the parameter θ _BC between the category B and the category C as a learning model. Calculate using. For example, when the category D is selected as the category to be processed, the selection unit 45 selects the parameter θ _AD between the category A and the category D, and the parameter θ _BD between the category B and the category C. Is calculated from the bias of the eigenvalues of the random matrix corresponding to the registered model belonging to each category. Then, when the values of the parameter θ _AC and the parameter θ _AD are similar and the values of the parameter θ _BC and the parameter θ _BD are similar, the selection unit 45 sets the category D as a category similar to the category C. select. Thereafter, the selection unit 45 selects a registered model that is out of the registered models belonging to the selected category D.

学習部４６は、選択されたモデルに対し、指定カテゴリに属する情報の特徴を学習させる。例えば、学習部４６は、指定カテゴリに属する情報を学習データとして任意の手法で取得する。例えば、学習部４６は、クライアントサーバ２００から、指定カテゴリに属する学習データの登録を受付けてもよい。そして、学習部４６は、選択部４５によって選択された登録モデルに、取得した学習データが有する特徴を学習させる。 The learning unit 46 causes the selected model to learn the characteristics of information belonging to the specified category. For example, the learning unit 46 acquires information belonging to the specified category as learning data by an arbitrary method. For example, the learning unit 46 may accept registration of learning data belonging to a specified category from the client server 200. Then, the learning unit 46 causes the registered model selected by the selection unit 45 to learn the characteristics of the acquired learning data.

出力部４７は、学習が行われた登録モデルを提供モデルとして出力する。例えば、出力部４７は、学習部４６が指定カテゴリに属する学習データを登録モデルに学習させた場合は、かかる登録モデルを提供モデルとして、クライアントサーバ２００へと送信する。 The output unit 47 outputs the registered model for which learning has been performed as a provided model. For example, when the learning unit 46 causes the registered model to learn learning data belonging to the specified category, the output unit 47 transmits the registered model to the client server 200 as a provided model.

〔３．特定装置が実行する処理の流れの一例〕
次に、図４、図５を用いて、特定装置１０が実行する処理の流れの一例について説明する。図４は、実施形態に係る特定処理の流れの一例を説明するフローチャートである。また、図５は、実施形態に係る特定処理の結果を用いて、提供モデルを生成する処理の流れの一例を説明するフローチャートである。 [3. Example of processing flow executed by specific device]
Next, an example of the flow of processing executed by the specifying device 10 will be described with reference to FIGS. FIG. 4 is a flowchart for explaining an example of the flow of specific processing according to the embodiment. FIG. 5 is a flowchart for explaining an example of a process flow for generating a provision model using the result of the specific process according to the embodiment.

まず、図４を用いて、特定処理の流れの一例を説明する。まず、特定装置１０は、登録モデルの登録を受付ける（ステップＳ１０１）。このような場合、特定装置１０は、登録モデルと対応するランダム行列を生成し、生成したランダム行列の固有値を算出する（ステップＳ１０２）。そして、特定装置１０は、各カテゴリに属する登録モデルの固有値の分布の偏りに基づいて、共変量シフトにおけるパラメータθの値をカテゴリ間ごとに算出し（ステップＳ１０３）、カテゴリ間の関係性と算出したパラメータθの値との特徴を学習モデルに学習させ（ステップＳ１０４）、処理を終了する。 First, an example of the flow of specific processing will be described with reference to FIG. First, the identifying apparatus 10 accepts registration of a registered model (step S101). In such a case, the specifying device 10 generates a random matrix corresponding to the registered model, and calculates an eigenvalue of the generated random matrix (step S102). Then, the specifying apparatus 10 calculates the value of the parameter θ in the covariate shift for each category based on the distribution deviation of the eigenvalues of the registered models belonging to each category (step S103), and calculates the relationship between the categories. The learning model learns the characteristics of the parameter θ and the value (step S104), and the process ends.

次に、図５を用いて、提供モデルを生成する処理の流れの一例を説明する。まず、特定装置１０は、指定カテゴリを受付ける（ステップＳ２０１）。このような場合、特定装置１０は、指定カテゴリと、他のカテゴリとの間の関係性に基づいて、学習モデルを用いて、対応するパラメータθの値を特定する（ステップＳ２０２）。そして、特定装置１０は、他のカテゴリとの間の共変量シフトにおけるパラメータθの値が、特定したパラメータの値と類似するカテゴリに属する登録モデルを選択する（ステップＳ２０３）。 Next, an example of a process flow for generating a provided model will be described with reference to FIG. First, the specific device 10 receives the designated category (step S201). In such a case, the identifying device 10 identifies the value of the corresponding parameter θ using the learning model based on the relationship between the designated category and another category (step S202). Then, the identifying device 10 selects a registered model that belongs to a category in which the value of the parameter θ in the covariate shift with another category is similar to the identified parameter value (step S203).

そして、特定装置１０は、選択した登録モデルを用いて、指定カテゴリの学習データの特徴を学習したモデルを生成し（ステップＳ２０４）、生成した登録モデルを提供モデルとして出力し（ステップＳ２０５）、処理を終了する。 Then, the specifying device 10 generates a model in which the feature of the learning data of the specified category is learned using the selected registration model (Step S204), and outputs the generated registration model as a provided model (Step S205). Exit.

〔４．変形例〕
上記では、特定装置１０による特定処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、特定装置１０が実行する特定処理のバリエーションについて説明する。 [4. (Modification)
In the above, an example of the specifying process by the specifying device 10 has been described. However, the embodiment is not limited to this. Hereinafter, the variation of the specific process which the specific apparatus 10 performs is demonstrated.

〔４−１．指標について〕
例えば、特定装置１０は、指定カテゴリと他のカテゴリとの間のパラメータθの値を、指標として出力してもよい。このようなパラメータθの値は、指定カテゴリを学習させるためのモデルを生成したり、他に学習データの量が豊富なカテゴリであって、モデルのプレトレーニングに利用することが可能であるカテゴリの選択に利用可能である。また、特定装置１０は、各カテゴリ間の関係性と、パラメータθとの間の関係性を学習した学習モデルを指標を示す情報として出力してもよい。 [4-1. About indicators)
For example, the specifying device 10 may output the value of the parameter θ between the specified category and another category as an index. The value of such parameter θ is a category that generates a model for learning a specified category, or is a category that has a large amount of learning data and can be used for pre-training of the model. Available for selection. Further, the identification device 10 may output a learning model in which the relationship between the categories and the relationship between the parameters θ are learned as information indicating an index.

〔４−２．学習モデルについて〕
ここで、特定装置１０は、指定カテゴリと他のカテゴリとの間のパラメータθの値を特定することができるのであれば、任意の学習手法により学習が行われた学習モデルを用いて、パラメータθの値を特定して良い。例えば、特定装置１０は、ｗ２ｖ等の技術を用いて、第１カテゴリを示す文字列や第２カテゴリを示す文字列からベクトルを生成し、生成したベクトル間の関係性（例えば、コサイン類似度）と、パラメータθとの間の関係性を学習モデルに学習させる。そして、特定装置１０は、ｗ２ｖ等の技術を用いて、指定カテゴリを示す文字列のベクトルを生成し、生成したベクトルと、他のカテゴリのベクトルとの間の関係性から、指定カテゴリと他のカテゴリとの間の関係性に対応するパラメータθの値を算出してもよい。また、特定装置１０は、ランダム行列以外にも、各モデルの接続係数の特徴を示すことができる行列であれば、任意の行列の固有値に基づいて、各モデルの学習データの偏りを推定し、推定した偏りに基づいて、指定カテゴリの学習に用いるモデルの指標を特定すればよい。 [4-2. About the learning model)
Here, if the identification device 10 can identify the value of the parameter θ between the specified category and another category, the parameter θ can be used using a learning model that has been learned by an arbitrary learning method. The value of may be specified. For example, the specifying device 10 generates a vector from a character string indicating the first category or a character string indicating the second category using a technique such as w2v, and the relationship between the generated vectors (for example, cosine similarity). And the learning model learns the relationship between the parameter θ and the parameter θ. Then, the specifying device 10 generates a vector of a character string indicating the specified category using a technique such as w2v, and from the relationship between the generated vector and another category vector, the specified category and the other category The value of the parameter θ corresponding to the relationship with the category may be calculated. In addition to the random matrix, the identification device 10 can estimate the bias of the learning data of each model based on the eigenvalue of an arbitrary matrix as long as the matrix can indicate the characteristics of the connection coefficient of each model. Based on the estimated bias, the index of the model used for learning the specified category may be specified.

〔４−３．装置構成〕
上述した例では、特定装置１０は、特定装置１０内で特定処理を実行した。しかしながら、実施形態は、これに限定されるものではない。例えば、特定装置１０は、パラメータθの算出、学習モデルの学習、指定カテゴリの学習に利用可能な登録モデルの選択、提供モデルの学習等を実行するバックエンドサーバと、指定カテゴリの受付や提供モデルの提供を行うフロントエンドサーバとにより実現されてもよい。また、特定装置１０は、登録モデルデータベース３１や学習モデルデータベース３２を外部のストレージサーバに記憶させてもよい。 [4-3. Device configuration〕
In the example described above, the specifying device 10 executes the specifying process in the specifying device 10. However, the embodiment is not limited to this. For example, the specifying apparatus 10 includes a back-end server that performs calculation of the parameter θ, learning of a learning model, selection of a registered model that can be used for learning of a specified category, learning of a provided model, and the reception and provision model of the specified category. It may be realized by a front-end server that provides Further, the identification device 10 may store the registered model database 31 and the learning model database 32 in an external storage server.

〔４−４．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文章中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。 [4-4. Others]
In addition, among the processes described in the above embodiment, all or part of the processes described as being automatically performed can be performed manually, or the processes described as being performed manually can be performed. All or a part can be automatically performed by a known method. In addition, the processing procedures, specific names, information including various data and parameters shown in the above text and drawings can be arbitrarily changed unless otherwise specified. For example, the various types of information illustrated in each drawing is not limited to the illustrated information.

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 Further, each component of each illustrated apparatus is functionally conceptual, and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured.

また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 In addition, the above-described embodiments can be appropriately combined within a range in which processing contents do not contradict each other.

〔５．プログラム〕
また、上述してきた実施形態に係る特定装置１０は、例えば図６に示すような構成のコンピュータ１０００によって実現される。図６は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。 [5. program〕
Further, the specifying apparatus 10 according to the above-described embodiment is realized by a computer 1000 having a configuration as illustrated in FIG. 6, for example. FIG. 6 is a diagram illustrating an example of a hardware configuration. The computer 1000 is connected to an output device 1010 and an input device 1020, and an arithmetic device 1030, a primary storage device 1040, a secondary storage device 1050, an output IF (Interface) 1060, an input IF 1070, and a network IF 1080 are connected via a bus 1090. Have

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ（Read Only Memory）、ＨＤＤ、フラッシュメモリ等により実現される。 The arithmetic device 1030 operates based on a program stored in the primary storage device 1040 and the secondary storage device 1050, a program read from the input device 1020, and the like, and executes various processes. The primary storage device 1040 is a memory device such as a RAM that temporarily stores data used by the arithmetic device 1030 for various arithmetic operations. The secondary storage device 1050 is a storage device in which data used for various calculations by the calculation device 1030 and various databases are registered, and is realized by a ROM (Read Only Memory), an HDD, a flash memory, or the like.

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。 The output IF 1060 is an interface for transmitting information to be output to an output device 1010 that outputs various types of information such as a monitor and a printer. For example, USB (Universal Serial Bus), DVI (Digital Visual Interface), This is realized by a standard connector such as HDMI (registered trademark) (High Definition Multimedia Interface). The input IF 1070 is an interface for receiving information from various input devices 1020 such as a mouse, a keyboard, and a scanner, and is realized by, for example, a USB.

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。 The input device 1020 includes, for example, an optical recording medium such as a CD (Compact Disc), a DVD (Digital Versatile Disc), and a PD (Phase change rewritable disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), and a tape. It may be a device that reads information from a medium, a magnetic recording medium, a semiconductor memory, or the like. The input device 1020 may be an external storage medium such as a USB memory.

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。 The network IF 1080 receives data from other devices via the network N and sends the data to the arithmetic device 1030, and transmits data generated by the arithmetic device 1030 to other devices via the network N.

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。 The arithmetic device 1030 controls the output device 1010 and the input device 1020 via the output IF 1060 and the input IF 1070. For example, the arithmetic device 1030 loads a program from the input device 1020 or the secondary storage device 1050 onto the primary storage device 1040, and executes the loaded program.

例えば、コンピュータ１０００が特定装置１０として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。 For example, when the computer 1000 functions as the specific device 10, the arithmetic device 1030 of the computer 1000 implements the function of the control unit 40 by executing a program loaded on the primary storage device 1040.

〔６．効果〕
上述したように、特定装置１０は、多層に接続されたノードを有するモデルであって、所定の情報が有する特徴を学習したモデルが有するノード間の接続係数に基づいて、モデルと対応する行列を生成する。また、特定装置１０は、行列の固有値を算出する。そして、特定装置１０は、第１カテゴリに属する情報の特徴を学習した複数のモデルの行列から算出された固有値の偏りと、第２カテゴリに属する情報の特徴を学習した複数のモデルの行列から算出された固有値の偏りとの比較結果に基づいて、利用者が指定した指定カテゴリに属する情報の特徴を学習させるモデルの指標を特定する。このため、特定装置１０は、モデルの作成を容易にすることができる。 [6. effect〕
As described above, the specifying device 10 is a model having nodes connected in multiple layers, and based on the connection coefficient between nodes of the model having learned the features of the predetermined information, the identifying device 10 generates a matrix corresponding to the model. Generate. Further, the identifying device 10 calculates eigenvalues of the matrix. Then, the specifying apparatus 10 calculates the bias of the eigenvalue calculated from the matrix of the plurality of models learned about the characteristics of the information belonging to the first category and the matrix of the plurality of models learned of the characteristics of the information belonging to the second category. Based on the comparison result with the biased eigenvalue, an index of a model for learning the characteristics of information belonging to the specified category designated by the user is specified. For this reason, the identifying apparatus 10 can facilitate creation of a model.

また、特定装置１０は、特定された指標に基づいて、指定カテゴリに属する情報の特徴を学習させるモデルを選択する。そして、特定装置１０は、選択したモデルに対し、指定カテゴリに属する情報の特徴を学習させ、学習が行われたモデルを出力する。このため、特定装置１０は、指定カテゴリに属する学習データの特徴を学習させたモデルを比較的に容易に生成できる。 Further, the identifying device 10 selects a model for learning the characteristics of information belonging to the specified category based on the identified index. Then, the specifying device 10 causes the selected model to learn the characteristics of information belonging to the specified category, and outputs the learned model. For this reason, the specifying device 10 can generate a model in which the features of the learning data belonging to the specified category are learned relatively easily.

また、特定装置１０は、モデルが有する各ノード間の接続係数に基づいた、ランダム行列を生成する。例えば、特定装置１０は、モデルが有する各ノードの間の接続係数の発生確率を要素とするランダム行列を生成する。このため、特定装置１０は、各モデルが学習した学習データが有する分布の偏りを、ランダム行列の固有値の分布とし、かかる固有値の分布に応じて、指定カテゴリに属する情報の特徴を容易に学習できるモデルを選択することができる。 Further, the identifying device 10 generates a random matrix based on the connection coefficient between the nodes included in the model. For example, the identifying apparatus 10 generates a random matrix having elements of the occurrence probability of connection coefficients between nodes included in the model. For this reason, the specifying device 10 can easily learn the characteristics of information belonging to the specified category according to the distribution of the eigenvalues of the random matrix, with the distribution bias of the learning data learned by each model as the distribution of the eigenvalues of the random matrix. A model can be selected.

また、特定装置１０は、第１カテゴリに属する情報の特徴を学習した複数のモデルの行列から算出された固有値の偏りと、指定カテゴリに属する情報の特徴を学習する複数のモデルの行列から算出される固有値の偏りとの間のズレを示す情報を、指標として特定する。例えば、特定装置１０は、所定のカテゴリに属する情報の特徴を学習した複数のモデルの行列から算出された固有値の偏りと他のカテゴリに属する情報の特徴を学習した複数のモデルの行列から算出された固有値の偏りとの間の関係性を示すパラメータの値と、所定のカテゴリに属する情報の分布と前記他のカテゴリに属する情報の分布との間のズレとの間の関係性を学習した学習モデルを生成し、生成した学習モデルを用いて、第１カテゴリに属する情報の分布と指定カテゴリに属する情報の分布との間のズレに対応するパラメータの値を、指標として特定する。このため、特定装置１０は、第１カテゴリに属する情報の特徴を学習した複数のモデルが、指定カテゴリに属する情報の特徴を容易に学習できるか否かを示す指標を特定することができる。 In addition, the specifying device 10 is calculated from a matrix of a plurality of models learning characteristics of information belonging to a specified category and a bias of eigenvalues calculated from a matrix of models learning information characteristics belonging to the first category. Information indicating a deviation from the bias of the eigenvalue is specified as an index. For example, the identification device 10 is calculated from a matrix of a plurality of models learned from the characteristic value bias calculated from a matrix of a plurality of models that learned features of information belonging to a predetermined category and a feature of information belonging to another category. Learning that learned the relationship between the parameter value indicating the relationship between the deviation of the eigenvalues and the deviation between the distribution of information belonging to a predetermined category and the distribution of information belonging to the other category A model is generated, and using the generated learning model, a value of a parameter corresponding to a deviation between the distribution of information belonging to the first category and the distribution of information belonging to the specified category is specified as an index. For this reason, the specifying device 10 can specify an index indicating whether or not a plurality of models having learned the characteristics of information belonging to the first category can easily learn the characteristics of information belonging to the designated category.

また、特定装置１０は、所定のカテゴリに属する情報の特徴を学習した複数のモデルの行列から算出された固有値の偏りを、所定のカテゴリに属する情報の分布と見做し、他のカテゴリに属する情報の特徴を学習した複数のモデルの行列から算出された固有値の偏りを、他のカテゴリに属する情報の分布と見做して、情報の分布間における共変量シフトのパラメータを算出する。このため、特定装置１０は、各モデルが学習した学習データが有する分布の偏りに基づいて、指定カテゴリに属する情報の特徴を容易に学習できるモデルを選択することができる。 Further, the identification device 10 regards the bias of eigenvalues calculated from a matrix of a plurality of models that learned features of information belonging to a predetermined category as the distribution of information belonging to the predetermined category, and belongs to another category. A parameter of a covariate shift between information distributions is calculated by regarding a bias of eigenvalues calculated from a matrix of a plurality of models having learned information features as a distribution of information belonging to another category. For this reason, the identifying apparatus 10 can select a model that can easily learn the characteristics of information belonging to the specified category based on the distribution bias of the learning data learned by each model.

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。 As described above, some of the embodiments of the present application have been described in detail with reference to the drawings. However, these are merely examples, and various modifications, including the aspects described in the disclosure section of the invention, based on the knowledge of those skilled in the art, It is possible to implement the present invention in other forms with improvements.

また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、生成部は、生成手段や生成回路に読み替えることができる。 Moreover, the above-mentioned “section (module, unit)” can be read as “means”, “circuit”, and the like. For example, the generation unit can be read as generation means or a generation circuit.

１０特定装置
２０通信部
３０記憶部
３１登録モデルデータデータベース
３２学習モデルデータベース
４０制御部
４１取得部
４２生成部
４３算出部
４４特定部
４５選択部
４６学習部
４７出力部
１００登録サーバ
２００クライアントサーバ DESCRIPTION OF SYMBOLS 10 Specification apparatus 20 Communication part 30 Storage part 31 Registration model data database 32 Learning model database 40 Control part 41 Acquisition part 42 Generation part 43 Calculation part 44 Specification part 45 Selection part 46 Learning part 47 Output part 100 Registration server 200 Client server

Claims

A matrix generation unit that generates a matrix corresponding to a model based on a connection coefficient between nodes of a model having nodes connected in multiple layers and having learned features of predetermined information;
A calculation unit for calculating eigenvalues of the matrix;
A bias of eigenvalues calculated from a matrix of models learning information features belonging to the first category, and a bias of eigenvalues calculated from a matrix of models learning information features belonging to the second category A specifying device comprising: a specifying unit that specifies an index of a model for learning features of information belonging to a designated category designated by a user based on a comparison result.

A selection unit that selects a model for learning features of information belonging to the specified category based on the index specified by the specifying unit;
A learning unit for learning features of information belonging to the specified category for the model selected by the selection unit;
The specifying device according to claim 1, further comprising: an output unit that outputs a model learned by the learning unit.

The identification device according to claim 1, wherein the matrix generation unit generates a random matrix as a matrix corresponding to the model.

The identification device according to claim 3, wherein the matrix generation unit generates a random matrix having an occurrence probability of a connection coefficient between nodes included in the model as an element.

The specifying unit is calculated from a bias of eigenvalues calculated from a matrix of a plurality of models learning information features belonging to the first category and a matrix of a plurality of models learning information features belonging to the specified category. The identification device according to any one of claims 1 to 3, wherein information indicating a deviation from a deviation in eigenvalues is specified as the index.

The identifying unit includes eigenvalue biases calculated from a matrix of a plurality of models learned information features belonging to a predetermined category and eigenvalues calculated from a matrix of a plurality of models learned information features belonging to another category. A learning model that learns the relationship between the value of a parameter indicating the relationship between the bias and the deviation between the distribution of information belonging to the predetermined category and the distribution of information belonging to the other category And using the generated learning model, the parameter value corresponding to the deviation between the distribution of information belonging to the first category and the distribution of information belonging to the designated category is specified as the indicator. 6. The identification device according to claim 5, wherein

The specifying unit considers a bias of eigenvalues calculated from a matrix of a plurality of models that learned features of information belonging to a predetermined category as a distribution of information belonging to the predetermined category, and belongs to the other category Considering the bias of the eigenvalues calculated from the matrix of multiple models that learned the features of the information as the distribution of information belonging to the other category, calculating the parameters of the covariate shift between the information distributions 7. The identification device according to claim 6, wherein

A specific method performed by a specific device,
A matrix generation step of generating a matrix corresponding to the model based on a connection coefficient between nodes of a model having nodes connected in multiple layers and having learned features of predetermined information;
A calculation step of calculating eigenvalues of the matrix;
A bias of eigenvalues calculated from a matrix of models learning information features belonging to the first category, and a bias of eigenvalues calculated from a matrix of models learning information features belonging to the second category And a specifying step of specifying an index of a model for learning features of information belonging to a specified category specified by a user based on a comparison result.