JP2020135770A - 推定装置、推定方法および推定プログラム - Google Patents

Abstract

【課題】モデルが学習した特徴を示す情報を提供する。
【解決手段】本願に係る推定装置は、分類対象に関する対象情報が入力されると当該分類対象の分類を示す出力情報を出力するモデルにより対象情報から類似する出力情報が出力された複数の分類対象を特定する特定部と、前記特定部により特定された複数の分類対象の対象情報に基づいて、前記モデルが前記分類対象を分類する際の指標を推定する推定部とを有することを特徴とする。
【選択図】図１

Description

本発明は、推定装置、推定方法および推定プログラムに関する。

近年、多段に接続されたニューロンを有するＤＮＮ（Deep Neural Network）等のモデルを利用して言語認識や画像認識等といった各種分類処理を実現する技術が知られている。例えば、このような技術では、所定の入力情報をモデルに入力した際に、その入力情報に対応する出力情報として利用者が所望する出力情報を出力するように、モデルが有するノード間の重み係数（接続係数）を修正することで、入力情報が有する特徴をモデルに学習させる。

特開２０１７−１６２０７４号公報

しかしながら、上述した学習技術では、モデルがどのような特徴を学習しているかを確認することが難しい場合がある。

例えば、上述した学習が行われたモデルは、入力情報が有する特徴に応じた出力情報を出力する。しかしながら、このようなモデルは、入力情報が有する特徴のうち、利用者が想定している特徴に応じて出力情報を出力しているのか、利用者が想定していない特徴に応じて出力情報を出力しているのかが不明である。このため、上述した学習が行われたモデルは、利用者が予期しない出力情報を出力してしまう恐れがある。

本願は、上記に鑑みてなされたものであって、モデルが学習した特徴を示す情報を提供することを目的とする。

本願に係る推定装置は、分類対象に関する対象情報が入力されると当該分類対象の分類を示す出力情報を出力するモデルにより対象情報から類似する出力情報が出力された複数の分類対象を特定する特定部と、前記特定部により特定された複数の分類対象の対象情報に基づいて、前記モデルが前記分類対象を分類する際の指標を推定する推定部とを有することを特徴とする。

実施形態の一態様によれば、モデルが学習した特徴を示す情報を提供することができる。

図１は、実施形態に係る情報提供装置が実行する推定処理の一例を示す図である。 図２は、実施形態に係る情報提供装置が異なるグループの比較結果に基づいて実行する推定処理の一例を示す図である。 図３は、実施形態に係る情報提供装置の構成例を示す図である。 図４は、実施形態に係る利用者データベースの一例を示す図である。 図５は、実施形態に係るモデルデータベースの一例を示す図である。 図６は、実施形態に係る推定処理の流れの一例を示すフローチャートである。 図７は、ハードウェア構成の一例を示す図である。

以下に、本願に係る推定装置、推定方法および推定プログラムを実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る推定装置、推定方法および推定プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略する。

[実施形態]
〔１．情報提供装置の一例について〕
まず、図１を用いて、推定装置の一例として、情報提供装置１０の一例について説明する。図１は、実施形態に係る情報提供装置が実行する推定処理の一例を示す図である。なお、図１に示す例では、推定処理の一例として、利用者のサイコグラフィック属性、デモグラフィック属性、検索履歴、購買履歴、若しくは閲覧履歴等、利用者に関する各種の情報である利用者情報から利用者の分類を行うモデルについて、モデルがどのような指標に従って利用者の分類を行うかを推定する処理の流れについて記載したが、実施形態は、これに限定されるものではない。後述する説明で明らかとなるように、情報提供装置１０は、利用者以外にも、各種のコンテンツ等といった任意の分類対象について、推定処理を実行することが可能である。

情報提供装置１０は、推定処理を実行する情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。例えば、情報提供装置１０は、各種の事業者が用いる外部端末１０１、１０２、２０１、２０２とインターネット等のネットワークＮ（例えば、図６参照）を介して通信可能である。なお、情報提供装置１０は、任意の数の外部端末１０１、１０２、２０１、２０２と通信可能であってよい。

外部端末１０１、１０２、２０１、２０２は、各種の事業者が利用する情報処理装置であり、サーバ装置やクラウドシステム等により実現される。例えば、外部端末１０１、１０２（以下、「外部端末１００」と記載する場合がある。）は、各種の情報を情報提供装置１０へと登録する登録側の事業者が利用する情報処理装置である。また、外部端末２０１、２０２（以下、「外部端末２００」と記載する場合がある。）は、情報提供装置１０から情報の提供を受ける事業者が利用する情報処理装置である。なお、外部端末１００は、外部端末２００として動作してもよく、外部端末２００は、外部端末１００として動作してもよい。すなわち、外部端末１００、２００は、情報提供装置１０と異なる事業者により利用される情報処理装置であれば、任意の情報処理装置が採用可能である。

なお、各事業者は、任意の事業に関する事業者であってよい。例えば、各事業者は、自動車や食料品等といった任意の各種商品の製造業であってもよく、これら商品の販売業に関する事業者であってもよい。また、各事業者は、各種サービスの提供を行う事業者であってもよい。

〔１−１．情報提供装置が提供する提供処理について〕
ここで、情報提供装置１０が実行する推定処理の説明に先駆けて、情報提供装置１０が実行する提供処理の一例について説明する。例えば、情報提供装置１０は、各事業者により登録された情報を他の事業者に対して提供する提供処理を実行する。すなわち、情報提供装置１０は、各事業者が所有する情報の集約化や共有化を促進する情報共有サービスを提供する。

以下、提供処理の流れの一例について説明する。例えば、外部端末１００は、各種の情報収集技術を用いて、利用者情報の収集を行う（ステップＳ１）。例えば、外部端末１００は、利用者Ｕ１の利用者情報である利用者情報＃Ｕ１や、利用者Ｕ２の利用者情報である利用者情報＃Ｕ２を収集する。なお、外部端末１００は、サービスの提供先となる利用者の利用者情報を収集してもよく、各種情報提供サービスを介して収集された利用者情報を収集してもよい。続いて、外部端末１００は、利用者情報に基づいた分類を行うモデルの生成を行う（ステップＳ２）。例えば、外部端末１００は、自社事業に供する為、各種任意の分類を行うためのモデルの生成を行う。

例えば、外部端末１００は、利用者情報を入力した際に事業者が所望する内容の出力情報を出力するように、収集した利用者情報を学習データとして、モデルの学習を行う。例えば、外部端末１００は、利用者情報を入力した際に、その利用者情報と対応する利用者に対して自社の広告を提供するか否かを示す出力情報を出力するように、モデルの学習を行ってもよい。また、外部端末１００は、所定の種別の利用者情報（例えば、利用者が入力した検索クエリの履歴）を入力した際に、他の種別の利用者情報（例えば、利用者の趣味趣向を示す情報）を出力するように、モデルの学習を行ってもよい。また、外部端末１００は、利用者情報を入力した際に、自社の商品に興味を有するか否かを示す出力情報を出力するように、モデルの学習を行ってもよい。すなわち、外部端末１００は、分類対象となる利用者に関する情報を入力としたモデルの学習を行うのであれば、任意の目的に用いられるモデルの学習を行ってもよい。

なお、このようなモデルは、例えば、複数のノードを多段に接続した所謂ＤＮＮ（Deep Neural Network）により実現可能である。例えば、外部端末１００は、バックプロパゲーション等といった各種任意の学習手法により、モデルの学習を行うこととなる。また、このようなモデルは、入力された利用者情報が有する特徴に基づいた各種の分類を実行し、実行結果を出力することで、単純な利用者の分類のみならず、利用者に関する情報の推定等といった処理を実現することができる。換言すると、モデルは、利用目的に応じた指標により、入力された情報の分類を行うことで、各種の処理を実現することができる。

続いて、外部端末１００は、生成したモデルや利用者情報を情報提供装置１０に登録する（ステップＳ３）。なお、外部端末１００は、モデルの生成を行わず、利用者情報のみの登録を行ってもよい。また、外部端末１００は、モデルのみの登録を行ってもよい。一方、情報提供装置１０は、自装置でも各種の利用者情報を収集する（ステップＳ４）。立てば、情報提供装置１０は、外部端末１００を利用する利用者とは異なる情報経路を介して、利用者情報の収集を行う。この結果、情報提供装置１０は、外部端末１００とは異なる内容の利用者情報を収集することとなる。例えば、情報提供装置１０は、外部端末１００が収集していなかった種別の情報を収集してもよく、外部端末１００と同一の種別の情報を収集してもよい。

続いて、情報提供装置１０は、外部端末２００からモデルの利用目的を取得する（ステップＳ５）。例えば、情報提供装置１０は、入力情報と、その入力情報を入力した際にどのような出力情報を出力させたいかを利用目的として取得する。このような場合、情報提供装置１０は、利用目的に応じて、利用者情報に基づいた分類を行うモデルの抽出や生成等を行う（ステップＳ６）。例えば、情報提供装置１０は、外部端末１００が登録したモデルの中から、利用目的を満たすモデルの抽出を行ってもよく、外部端末１００が登録した利用者情報や情報提供装置１０が収集した利用者情報から、利用目的を満たすモデルの学習を行ってもよい。また、情報提供装置１０は、外部端末１００が登録したモデルから新たなモデルの生成を行ってもよい。そして、情報提供装置１０は、生成若しくは抽出したモデルを外部端末２００に提供する（ステップＳ７）。

なお、情報提供装置１０は、外部端末２００に対し、外部端末１００が収集した利用者情報の提供を行ってもよい。また、情報提供装置１０は、利用者情報を統計処理した各種の統計情報を提供する処理を行ってもよい。また、情報提供装置１０は、複数の外部端末１００が登録した利用者情報、すなわち、複数の事業者がそれぞれ個別に収集した利用者情報を用いてモデルの学習を行ってもよく、これらの利用者情報を提供してもよい。また情報提供装置１０は、各利用者情報やモデルの利用に対する対価を外部端末２００から受付け、受付けた対価の一部を、利用した利用者情報やモデルを登録した事業者に対して提供してもよい。

このような提供処理により、情報提供装置１０は、各事業者が所有する情報の有効活用を実現することができる。また、ＤＮＮ等に対して利用者情報の特徴を学習させた場合、このような特徴や特徴に基づいた分類処理は、ＤＮＮを構成する接続係数の羅列により実演されるため、学習データとして用いた利用者情報の内容を隠ぺいすることができる。この結果、各利用者のプライバシーを保持しつつ、利用者情報の有効利用を促進することができる。

〔１−２．モデルについて〕
このように、ＤＮＮ等のモデルは、特徴に基づいた分類処理が接続係数の羅列により実現されるので、モデルそのものを解析したとしても、モデルがどのような指標に基づいて分類処理を行うのかが明確ではない。このため、利用したいモデルがどのような特徴を学習しているかを確認することが難しい場合がある。このように、モデルがどのような特徴を学習しているのか、モデルがどのような指標に基づいて分類処理を行っているのかが明確ではない場合、利用者の安全に関する利用目的に供することは、困難となる。

以下、モデルが利用者を分類する際の指標について、具体例を説明する。なお、以下の説明では、分類を行う際の指標を「分類指標」と記載する場合がある。例えば、第１事業者は、利用者情報として、利用者の属性情報を収集するとともに、各利用者が所定の広告を選択したか否かを収集する。そして、第１事業者は、利用者の属性情報をモデルに入力した際に、その利用者が所定のカテゴリに属する広告を選択したか否かを示す出力情報を出力するように、モデルの学習を行う。このような学習処理の結果、第１事業者は、利用者の属性情報に基づいて、所定のカテゴリに属する広告を気に入るか否かの分類処理を実現するモデルを生成することができる。

しかしながら、このような学習が行われたモデルは、ルールベースで動作するモデルとは異なり、属性情報の特徴に基づいて、所定のカテゴリに属する広告を気に入るか否かの分類処理を行うこととなる。このため、このモデルをしたい第２事業者は、どのような属性情報を有する利用者を、所定のカテゴリに属する広告を気に入る利用者として分類するかを識別することが困難となる。

より具体的な例を説明する。例えば、「ラーメンに関する広告を選択した利用者」の属性情報に「ラーメンが好き」といった情報が多く含まれている場合、モデルは、「ラーメンが好き」といった属性情報を有する利用者を、「ラーメンに関する広告を選択しやすい利用者」に分類するよう学習を行うとも考えられる。しかしながら、例えば、「ラーメンに関する広告を選択した利用者」の属性情報に「ラーメンが好き」といった情報以外にも、「ハンバーガーが好き」といった情報も多く含まれている場合、モデルは、「ハンバーガーが好き」といった属性情報を有する利用者を、「ラーメンに関する広告を選択しやすい利用者」に分類するよう学習を行っている恐れがある。

一方で、「ラーメンが好き」といった情報や、「ハンバーガーが好き」といった情報のみを含む属性情報を学習データとして採用した場合、学習データに偏りが生じてしまう。このため、例えば、「ラーメンが好き」といった情報や、「ハンバーガーが好き」といった情報が属性情報に含まれないが、属性情報が「ラーメンに関する広告を選択した利用者」の属性情報と類似する利用者を「ラーメンに関する広告を選択しやすい利用者」に分類することができなくなる。

このように、各事業者や情報提供装置１０が生成するモデルは、所定の入力情報が入力された際に、その入力情報が入力された場合に事業者がモデルに出力させたい出力情報を出力する様に学習が行われる。換言すると、モデルは、所定の入力情報が入力された際に利用目的に応じた出力情報を出力するように学習が行われる。このため、モデルは、入力情報が有する特徴に応じて利用目的に応じた分類処理を実行するものの、モデルを利用する利用者が想定している特徴とは異なる特徴に基づいて、分類処理を行っている恐れがある。

〔１−３．推定処理について〕
そこで、情報提供装置１０は、以下の処理を実行することで、学習済のモデルが分類処理を行う際の分類指標を推定する。より具体的には、情報提供装置１０は、出力情報の類似性と、利用者情報の類似性とに基づいて、各モデルの分類指標を推定する（ステップＳ８）。より具体的には、情報提供装置１０は、分類対象に関する対象情報が入力されると当該分類対象の分類を示す出力情報を出力するモデルにより対象情報から類似する出力情報が出力された複数の分類対象を特定する。そして、情報提供装置１０は、特定された複数の分類対象の対象情報に基づいて、モデルが分類対象を分類する際の指標を推定する。

例えば、情報提供装置１０は、登録若しくは生成したモデルの中から推定対象となるモデルを選択し、選択したモデルに、各種の利用者情報を入力する。より具体的には、情報提供装置１０は、選択したモデルの学習に用いられた利用者情報のみならず、情報提供装置１０が独自に収集した利用者情報を含めてモデルに入力する。そして、情報提供装置１０は、モデルが出力した出力情報が類似する利用者を類似グループに属する利用者として特定する。すなわち、情報提供装置１０は、モデルが同一グループに分類した利用者を特定する。

ここで、同一グループに分類された利用者（以下、「分類利用者」と記載する。）の利用者情報は、少なくとも、モデルが分類利用者を同一のグループに分類した原因となる特徴が、共通性として含まれると考えられる。そこで、情報提供装置１０は、分類利用者の利用者情報を参照し、共通する利用者情報を特定する。例えば、情報提供装置１０は、分類利用者の利用者属性に共通して含まれる属性や検索履歴等を特定する。そして、情報提供装置１０は、特定した属性や検索履歴等を示す情報を、分類指標とする。

例えば、情報提供装置１０は、分類利用者の利用者情報に、「ラーメンが好き」といった情報が共通して含まれている場合は、モデルの分類指標として、「「ラーメンが好き」な利用者を同じグループに分類しやすいモデル」といった情報を生成する。また、例えば、情報提供装置１０は、分類利用者の利用者情報に、「ラーメンが好き」といった情報や「ハンバーガーが好き」といった情報が共通して含まれる場合は、「ラーメンが好き」といった情報を含む分類利用者の割合と、「ハンバーガーが好き」といった情報を含む分類利用者の割合とを特定する。そして、情報提供装置１０は、「ハンバーガーが好き」といった情報を含む分類利用者の割合がより多い場合、「「ハンバーガーが好き」な利用者を同じグループに分類しやすいモデル」といった情報を生成する。

すなわち、情報提供装置１０は、利用者情報のうち、出力情報との相関性が高い利用者情報を特定する。換言すると、情報提供装置１０は、分類利用者の利用者情報が異なる内容の共通性を複数有する場合は、モデルによる分類と最も関連性が高いと推定される共通性を特定し、特定した共通性の内容を元に、モデルの分類指標を推定する。

このようにして推定されたモデルの分類指標は、モデルを利用する際に有用な情報として利用することができる。そこで、情報提供装置１０は、推定した分類指標を、モデルを利用しようとする事業者に対して提供する（ステップＳ９）。この結果、情報提供装置１０は、利用目的に応じたモデルの選択を容易にするだけではなく、モデルがどのような指標に基づいた分類を行うかを提示することができる。この結果、情報提供装置１０は、例えば、モデルを利用する事業者と生成した事業者とが異なる場合、すなわち、モデルを利用する事業者が、モデルがどのような学習データによりどのような学習が行われたかを知らない場合であっても、モデルの利用を促進し、情報共有サービスの利用を促進することができる。

〔１−４．分類指標の推定について〕
ここで、上述した説明では、情報提供装置１０は、出力情報が類似する利用者、すなわち、同一のグループに分類された利用者を分類利用者とし、分類利用者の利用者情報に基づいて、分類を行ったモデルの分類指標を推定した。ここで、情報提供装置１０は、少なくとも分類利用者の利用者情報を用いて、モデルによる分類結果と相関性が高い利用者情報を特定し、特定した利用者情報から分類指標を推定するのであれば、任意の手法により分類指標の推定を行ってよい。そこで、以下の説明では、情報提供装置１０が分類指標を推定する処理のバリエーションについて説明する。

〔１−４−１．分類利用者の類似性に基づいた推定〕
例えば、検索クエリの内容に応じて、利用者が所定の広告を選択するか否かを推定するモデルを学習するには、所定の広告や類似する広告を選択した利用者と、選択していない利用者とが入力した検索クエリの履歴である検索履歴を準備し、広告を選択した利用者の検索履歴を入力した際に、利用者が広告を選択する旨を出力し、広告を選択していない利用者の検索履歴を入力した際に、利用者が広告を選択しない旨を出力するように、モデルの学習を行うこととなる。しかしながら、このような学習の際に、検索履歴以外の利用者情報を入力した場合は、検索履歴以外の利用者情報に基づいて、利用者が広告を選択するか否かを推定するように学習が行われてしまう恐れがある。一方で、検索履歴以外の利用者情報を入力しなかった場合は、分類精度が低下したり、検索履歴が無い利用者の分類ができなくなる恐れがある。このため、モデルを利用する際の分類精度を担保するため、モデルの学習においては、複数種別の利用者情報を入力とした学習が行われる場合が多い。

そこで、情報提供装置１０は、分類利用者の利用者情報が有する共通性に基づいて、モデルが意図しない分類指標を用いているかを推定してもよい。例えば、情報提供装置１０は、モデルとして、対象情報のうち所定の種別の情報が有する特徴に応じた出力情報を出力するように学習が行われたモデルにより、類似する出力情報が出力された複数の分類対象を特定し、特定された分類対象の対象情報のうち、所定の種別以外の種別の情報の共通性に基づいて、モデルが分類対象を分類する際の指標を推定してもよい。

例えば、情報提供装置１０は、推定対象として特定したモデルを学習する際に学習データとした利用者情報を特定するとともに、利用者情報のうち重視された利用者情報の種別を想定種別として特定する。また、情報提供装置１０は、学習データとした利用者情報以外の利用者情報を収集し、収集した利用者情報をモデルに入力することで、分類利用者を特定する。そして、情報提供装置１０は、特定した分類利用者の利用者情報のうち、出力情報との相関性が高い利用者情報の種別若しくは種別の組み合わせであって、想定種別とは異なる種別若しくは種別の組み合わせを特定する。

例えば、情報提供装置１０は、学習データとした利用者情報に、性別、検索履歴、購買履歴が含まれており、かつ、モデルの学習時に検索履歴が重視されている場合、性別、購検索履歴、および購買履歴のそれぞれと出力情報との相関性を特定する。そして、情報提供装置１０は、性別と出力情報との相関性、若しくは、購買履歴と出力情報との相関性が、検索履歴の相関性よりも高い場合は、モデルが想定していない特徴を学習している旨や、性別或いは購買履歴の特徴を学習している旨を推定指標として出力してもよい。

また、情報提供装置１０は、複数種別の利用者情報の組み合わせのうち、モデルが分類指標とする組み合わせを特定してもよい。例えば、情報提供装置１０は、分類利用者の利用者情報に性別、検索履歴、購買履歴が含まれる場合は、性別と検索履歴との組、性別と購買履歴との組、検索履歴と購買履歴との組、および、性別と検索履歴と購買履歴との組ごとに、出力情報との相関性を特定する。例えば、情報提供装置１０は、各属性の組み合わせごとに、各分類利用者の利用者情報同士の類似性と、各分類利用者の出力情報の類似性との相関性（すなわち、各類似性同士の類似性）を示すスコアを算出する。そして、情報提供装置１０は、算出したスコアが最も高い組を推定指標として出力してもよい。また、情報提供装置１０は、想定種別の組以外の組に、出力情報との相関性が、想定種別の組よりも高い組が存在する場合は、かかる組が推定指標である旨の情報を出力してもよい。

〔１−４−２．他の利用者との比較に基づいた推定〕
また、情報提供装置１０は、あるグループに分類された分類利用者の利用者情報と、他のグループに分類された分類利用者（以下、「比較利用者」と記載する。）の利用者情報との比較結果に基づいて、推定指標を推定してもよい。例えば、情報提供装置１０は、モデルにより対象情報から類似する出力情報が出力された分類対象を第１グループとして特定するとともに、対象情報が所定の類似性を有する分類対象を第２グループとして特定する。そして、情報提供装置１０は、第１グループに属する分類対象の対象情報と、第２グループに属する分類対象の対象情報との比較に基づいて、モデルが分類対象を分類する際の指標を推定する。

ここで、第２グループに属する分類対象は、対象情報自体の類似性に基づいて分類されていればよい。すなわち、比較対象となる第２グループは、ブラックボックスである推定対象のモデルとは異なり、ホワイトボックス（例えば、ルールベース）であるモデルにより分類されたものであってもよい。より具体的には、情報提供装置１０は、第２グループとして、推定対象となるモデルとは異なるモデルであって、対象情報が所定の条件を満たすか否かに応じて分類対象を分類するモデルにより同じグループに分類された分類対象を特定すればよい。ここで、第１グループに分類された分類対象と、第２グループに分類された分類対象とは、重複を有していてもよく、有していなくともよい。

例えば、図２は、実施形態に係る情報提供装置が異なるグループの比較結果に基づいて実行する推定処理の一例を示す図である。例えば、情報提供装置１０は、各利用者情報を推定対象となるモデルに入力し、モデルが出力した出力情報が類似する利用者を第１グループ、すなわち、分類利用者のグループとする（ステップＳ１０）。例えば、情報提供装置１０は、利用者Ｕ１〜Ｕ５の利用者情報＃Ｕ１〜＃Ｕ５をそれぞれモデルに入力し、出力情報＃Ｕ１〜＃Ｕ５を得る。そして、情報提供装置１０は、各出力情報＃Ｕ１〜＃Ｕ５の類似性を相互に特定し、類似性が高い利用者（例えば、利用者Ｕ１、Ｕ３、Ｕ５）を第１グループとして抽出する。

続いて、情報提供装置１０は、ルールベースで、利用者情報が類似する利用者を第２グループとする（ステップＳ１１）。例えば、情報提供装置１０は、利用者情報＃Ｕ１〜＃Ｕ５の中から、所定の種別が同一となる利用者情報を特定し、特定した利用者情報と対応する利用者（例えば、利用者Ｕ２、Ｕ４、Ｕ６）を、比較利用者として特定する。そして、情報提供装置１０は、比較利用者を第２グループとする。

そして、情報提供装置１０は、第１グループの利用者情報と第２グループの利用者情報との比較から、モデルが分類を行う際の分類指標を推定する（ステップＳ１２）。例えば、情報提供装置１０は、第１グループの利用者情報＃Ｕ１、＃Ｕ３、＃Ｕ５が有する共通性のうち、第２グループの利用者情報＃Ｕ２、＃Ｕ４、＃Ｕ６が有する共通性と同一の共通性を分類指標としてもよく、異なる共通性を分類指標としてもよい。

なお、情報提供装置１０は、第１グループの利用者情報が有する共通性を特定し、特定した共通性に基づいて、第２グループの利用者を特定してもよい。例えば、情報提供装置１０は、第１グループの利用者情報の多くに、所定の検索クエリが検索履歴として含まれる場合は、各利用者のうち、所定の検索クエリが検索履歴として含まれる利用者を第２グループとして抽出してもよい。そして、情報提供装置１０は、第１グループに属する利用者と第２グループに属する利用者との間に齟齬がある場合や、第１グループに属する利用者の利用者情報と、第２グループに属する利用者の利用者情報との間の共通性が所定の閾値以下となる場合は、第１グループに属する利用者情報が有する共通性のうち、「所定の検索クエリが検索履歴として含まれる」という共通性以外の共通性を推定指標としてもよい。

〔１−４−３．相関性を用いた推定〕
なお、情報提供装置１０は、同一グループに分類された分類対象の対象情報と、モデルが出力する出力情報との相関性に基づいて、モデルが分類対象を分類する際の指標を推定してもよい。例えば、情報提供装置１０は、各利用者の利用者情報をモデルに入力し、出力情報を得る。例えば、情報提供装置１０は、モデルが出力した値（すなわち、入力された利用者情報と対応する利用者が所定のグループに分類される確度を示す値）を得る。

続いて、情報提供装置１０は、利用者情報に含まれる各種別の情報を所定の手法を用いて数値化する。例えば、情報提供装置１０は、性別が男性であれば「０」、女性であれば「１」等、各種別の情報を識別する数値を設定することで、利用者情報を種別ごとの数値に置き換える。続いて、情報提供装置１０は、多次元空間上において各種別と、出力情報とのそれぞれを個別の軸方向と対応付け、各種別の数値と出力情報の数値とに対応する多次元空間上の位置をプロットする。そして、情報提供装置１０は、このような処理を各利用者ごとに実行し、プロットされた位置に基づいて、各種別のうち、出力情報との相関が高いものを調べてもよい。すなわち、情報提供装置１０は、対象情報のうち、出力情報との相関性が所定の条件を満たす情報の種別を、モデルが分類対象を分類する際の指標として推定してもよい。

なお、情報提供装置１０は、例えば、所定の１つ又は複数の種別と対応する次元を残して多次元空間を投影し、投影後におけるプロット位置が所定の条件を満たすか否か（例えば、出力情報に対して線形的な変化を有しているか、ベルヌーイ分布となっているか否か等）に基づいて、各種別若しくは種別の組と出力情報との間の相関性を推定してもよい。すなわち、情報提供装置１０は、モデルが出力する出力情報との相関性が所定の条件を満たす情報の種別の組を、モデルが分類対象を分類する際の指標として推定してもよい。

また、情報提供装置１０は、モデルに入力する利用者情報を限定することで、相関の確認を行ってもよい。例えば、情報提供装置１０は、利用者情報を参照し、モデルの利用目的と対応する種別の情報が共通する利用者を特定する。例えば、情報提供装置１０は、モデルが「メガネをかけている人」とそれ以外の人とを分類する場合、各利用者の中から、「メガネをかけている」という属性を有する利用者を特定する。そして、情報提供装置１０は、特定した利用者の利用者情報をモデルに入力し、モデルの出力情報が共通する場合は、モデルの推定指標として「メガネをかけている人」を特定してもよい。

〔１−４−４．次元毎の指標推定〕
ここで、他クラス分類を行うようにモデルの学習を行った場合等には、モデルがベクトル等の多次元量を出力する場合がある。このような場合、各次元の値がどのような種別の利用者情報に対応しているのかが必ずしも明確ではない。そこで、情報提供装置１０は、各次元の値ごとに、利用者情報との相関性を推定してもよい。すなわち、情報提供装置１０は、出力情報としてベクトルを出力するモデルにより対象情報から所定の次元の値が同一のベクトルが出力された複数の分類対象を特定し、特定された分類対象の対象情報に基づいて、モデルが出力するベクトルのうち所定の次元の値と対応する指標を推定してもよい。

例えば、情報提供装置１０は、各利用者の利用者情報から出力情報となるベクトルを生成し、所定の次元の値が同一となるベクトルと対応する利用者情報を特定する。そして、情報提供装置１０は、特定した利用者情報において共通性を有する種別を特定し、特定した種別が、出力情報となるベクトルのうち所定の次元の値と対応する種別であると特定し、特定した種別と所定の次元との対応を示す情報を分類指標としてもよい。また、情報提供装置１０は、各次元の組ごとに、利用者情報との相関を求めてもよい。

〔１−４−５．モデル同士を用いた評価〕
なお、情報提供装置１０には、複数の事業者により登録されたモデルが複数登録されることとなる。そこで、情報提供装置１０は、それぞれ異なるモデルにより分類された分類利用者の利用者情報同士を比較することで、各モデルの推定指標を推定してもよい。例えば、情報提供装置１０は、推定対象となるモデルを用いて分類した第１グループの利用者情報と、他のモデルを用いて分類した第２グループの利用者情報との比較結果に基づいて、推定対象となるモデルの推定指標を特定してもよい。

〔２．情報提供装置の構成〕
以下、上記した情報提供装置１０が有する機能構成の一例について説明する。図３は、実施形態に係る情報提供装置の構成例を示す図である。図３に示すように、情報提供装置１０は、通信部２０、記憶部３０、および制御部４０を有する。

通信部２０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、外部端末１００、２００との間で情報の送受信を行う。

記憶部３０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、利用者データベース３１、およびモデルデータベース３２を記憶する。以下、図４、図５を用いて、利用者データベース３１、およびモデルデータベース３２に登録される情報の一例について説明する。

利用者データベース３１には、利用者に関する各種の情報が登録される。例えば、図４は、実施形態に係る利用者データベースの一例を示す図である。図４に示した例では、利用者データベース３１は、「利用者ＩＤ」と「利用者情報」とが対応付けて登録されている。また、利用者データベース３１には、「利用者情報」として、「属性情報」、「検索履歴」、および「購買履歴」といった種別の情報が登録されている。なお、利用者データベース３１には、図４に示す情報以外にも、例えば、利用者が選択した広告の履歴や、利用者が視聴したコンテンツの履歴等、各種の種別の利用者情報が登録されていてもよく、利用者に関する他の情報が登録されていてもよい。

ここで、「利用者ＩＤ」とは、利用者を識別する識別子である。また、「属性情報」とは、利用者のデモグラフィック属性やサイコグラフィック属性等といった各種の属性情報である。また「検索履歴」とは、利用者が入力した検索クエリの履歴である。また、「購買履歴」とは、利用者が購買した取引対象の履歴である。例えば、図４に示す例では、利用者データベース３１には、利用者ＩＤ「Ｕ１」、属性情報「属性情報＃Ｕ１」、検索履歴「検索履歴＃Ｕ１」、および購買履歴「購買履歴＃Ｕ１」が対応付けて登録されている。このような情報は、利用者ＩＤ「Ｕ１」が示す利用者の利用者情報として、属性情報「属性情報＃Ｕ１」が示す属性、検索履歴「検索履歴＃Ｕ１」が示す検索クエリの履歴、および購買履歴「購買履歴＃Ｕ１」が示す取引対象の履歴等が登録されている旨を示す。

なお、図４に示す例では、「属性情報＃Ｕ１」、「検索履歴＃Ｕ１」、および「購買履歴＃Ｕ１」といった概念的な値を記載したが、実際には、各種の属性、検索クエリの履歴、および取引対象を示す文字列や数値等といった情報が登録されることとなる。

モデルデータベース３２には、モデルに関する各種の情報が登録される。例えば、図５は、実施形態に係るモデルデータベースの一例を示す図である。図５に示した例では、モデルデータベース３２は、「モデルＩＤ」、「登録者」、「学習データ」、「分類目的」、および「推定指標」といった情報が対応付けて登録されている。なお、モデルデータベース３２には、図５に示す情報以外にも、例えば、モデルの登録日時等、モデルに関する各種の情報が登録されていてもよい。また、図５に示す例では、記載を省略したが、モデルデータベース３２には、モデルそのもののデータとして、ノードの接続関係や接続係数等といったＤＮＮを構成するデータが登録されることとなる。

ここで、「モデルＩＤ」とは、モデルを識別するための識別子である。また、「登録者」とは、モデルを登録した事業者を識別するための識別子である。また、「学習データ」とは、対応付けられた「モデルＩＤ」が示すモデルを学習するために用いられた利用者情報や出力情報、すなわち、学習データを示す情報である。また、「分類目的」とは、対応付けられた「モデルＩＤ」が示すモデルにより行われる分類の目的を示す情報である。例えば、「分類目的」とは、どのような利用者情報が入力された場合に、どのような出力情報が出力されるように学習が行われたかを示す情報である。なお、「分類情報」は、例えば、学習データのうちどのデータが正例で、どのデータが負例であるかを示す情報であってもよい。また、「推定指標」とは、対応付けられた「モデルＩＤ」が示すモデルについて推定された推定指標である。

例えば、図５に示す例では、モデルデータベース３２には、モデルＩＤ「Ｍ１」、登録者「事業者＃１」、学習データ「学習データ＃Ｍ１」、分類目的「分類目的＃Ｍ１」、および推定指標「推定指標＃Ｍ１」が対応付けて登録されている。このような情報は、モデルＩＤ「Ｍ１」が示すモデルが、登録者「事業者＃１」が示す事業者により登録されたモデルであり、学習データ「学習データ＃Ｍ１」が示す学習データにより学習が行われた旨を示す。また、このような情報は、モデルＩＤ「Ｍ１」が示すモデルが、分類目的「分類目的＃Ｍ１」を目的として学習が行われ、推定された推定指標が「推定指標＃Ｍ１」である旨を示す。

なお、図５に示す例では、「事業者＃１」、「学習データ＃Ｍ１」、「分類目的＃Ｍ１」、および「推定指標＃Ｍ１」といった概念的な値を記載したが、実際には、モデルデータベース３２には、事業者を識別するための文字列や数値、学習データを示す情報や学習データとなる利用者情報と対応する出力情報との組、分類目的を示す文字列や、正例もしくは負例となる学習データを示す識別子、推定指標を示す文字列等が登録されることとなる。

図３に戻って説明を続ける。制御部４０は、例えば、コントローラ（controller）であり、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報提供装置１０内部の記憶装置に記憶されている各種プログラム（通知プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部４０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

図３に示すように、制御部４０は、受付部４１、生成部４２、特定部４３、推定部４４、および提供部４５を有する。受付部４１は、モデルの登録を受付ける。例えば、受付部４１は、外部端末１００から事業者が生成したモデル、学習に使用した学習データ、分類目的を受付ける。このような場合、受付部４１は、モデルのデータを、事業者を示す情報と、学習データを示す情報と、分類目的とに対応付けてモデルデータベース３２に登録する。なお、登録されるモデルは、事業者自らが収集した利用者情報を用いて学習されたものであってもよく、情報提供装置１０が管理する利用者情報を用いて事業者が学習を行ったモデルであってもよい。

また、受付部４１は、利用者情報の登録を受付ける。例えば、受付部４１は、各種のログサーバ等から利用者情報を取得し、取得した利用者情報を利用者データベース３１に登録する。

生成部４２は、モデルの生成を行う。例えば、生成部４２は、外部端末２００から分類目的を受付けると、モデルデータベース３２を参照し、分類目的が一致するモデルを検索する。そして、生成部４２は、分類目的が一致するモデルが存在する場合は、検索したモデルを外部端末２００に提供する。なお、生成部４２は、外部端末２００から分類対象となる利用者の利用者情報を受付け、検索したモデルを用いて受付けた利用者情報から利用者の分類を行い、分類結果のみを外部端末２００に提供してもよい。すなわち、生成部４２は、分類目的が一致するモデルを秘匿したまま、そのモデルを利用した分類処理の結果のみを事業者に対して提供してもよい。また、生成部４２は、外部端末２００から利用者の指定を受付けた場合、情報提供装置１０が管理する利用者情報の中から指定された利用者の利用者情報を特定し、特定した利用者情報をモデルに入力することで、利用者の分類を行ってもよい。

一方、生成部４２は、分類目的が一致するモデルが存在しない場合は、モデルの生成を行う。例えば、生成部４２は、分類目的をデータサイテンティスト等、所定のモデル作成者に対して提供し、モデルの学習に用いる利用者情報と、出力情報との組、すなわち、学習データの指定を受付ける。例えば、生成部４２は、分類目的が「所定の広告を選択するか否か」である場合は、モデル作成者から、所定の広告を選択した利用者の利用者情報を正例とし、所定の広告を選択していない利用者の利用者情報を負例として受付けることとなる。なお、生成部４２は、各種の文字解析技術等を用いて、このような正例と負例とを自動的に選択してもよい。そして、生成部４２は、モデルに利用者情報が有する特徴を学習させることで、モデルの生成を行い、生成したモデルをモデルデータベース３２に登録する。なお、生成部４２は、このようにして生成されたモデルを事業者の利用に供してもよい。

特定部４３は、分類対象に関する対象情報が入力されると、入力された分類対象の分類を示す出力情報を出力するモデルにより対象情報から類似する出力情報が出力された複数の分類対象を特定する。例えば、特定部４３は、分類対象である利用者に関する対象情報が入力されると分類対象の分類を示す出力情報を出力するモデルにより対象情報から類似する出力情報が出力された複数の利用者を特定する。より具体的には、特定部４３は、利用者に関する対象情報として、利用者の属性を示す属性情報又は利用者の行動を示す行動情報が入力されると利用者の分類を示す出力情報を出力するモデルにより、属性情報または行動情報から類似する出力情報が出力された複数の利用者を特定する。

例えば、特定部４３は、所定のタイミングで（例えば、一定期間ごとに）、モデルデータベース３２を参照し、推定指標が登録されていないモデルを選択する。このような場合、特定部４３は、選択したモデルの学習データ等から、モデルに入力する利用者情報の種別を特定する。そして、特定部４３は、利用者データベース３１に登録されている利用者情報のうち、特定した種別の情報を選択したモデルに入力することで、各利用者ごとの出力情報を取得する。

続いて、特定部４３は、出力情報同士を比較し、出力情報が類似する利用者、すなわち、モデルにより同じグループに分類された利用者を分類利用者として特定する。例えば、特定部４３は、出力情報の差が所定の範囲内に収まる利用者を分類利用者として特定すればよい。すなわち、特定部４３は、対象情報のうち所定の種別の情報が有する特徴に応じた出力情報を出力するように学習が行われたモデルにより、類似する出力情報が出力された複数の分類対象を特定することとなる。

なお、特定部４３は、モデルにより同じグループに分類された利用者を分類利用者とするのであれば、任意の処理を実行して良い。例えば、特定部４３は、出力情報としてベクトルが出力される場合、ベクトル間のユークリッド距離、ハミング距離、コサイン距離等、出力情報が有する任意の類似性を算出し、算出した類似性が所定の範囲内に収まるベクトル群と対応する利用者を分類利用者としてもよい。また、特定部４３は、例えば、ベクトルのうち所定の次元の値が所定の範囲内に収まるベクトル群と対応する利用者を分類利用者としてもよい。

また、特定部４３は、異なるグループの利用者情報の比較に基づいて、分類指標を推定する場合は、利用者情報が所定の類似性を有する利用者を比較利用者として特定する。例えば、特定部４３は、利用者データベース３１を参照し、各利用者の利用者情報を参照する。そして、特定部４３は、利用者情報が所定の条件を満たす利用者群を比較利用者として特定する。例えば、特定部４３は、分類指標の推定対象となるモデルの分類目的と対応する種別の利用者情報が、分類目的と対応する条件を満たす利用者（例えば、「性別」が「女性」である利用者や、「属性情報」に「ラーメンが好き」が含まれている利用者等）を比較利用者として特定する。すなわち、特定部４３は、モデルとは異なるモデルであって、対象情報が所定の条件を満たすか否かに応じて分類対象を分類するモデルにより同じグループに分類された分類対象を特定する。

推定部４４は、特定された分類利用者の利用者情報に基づいて、モデルが利用者を分類する際の指標を推定する。すなわち、推定部４４は、モデルによって同一のグループに分類された分類対象の対象情報に基づいて、モデルが分類対象を分類する際の指標を推定する。例えば、推定部４４は、分類利用者の利用者情報が有する共通性に基づいて、モデルが利用者を分類する際の指標を推定する。例えば、推定部４４は、分類利用者の利用者情報を参照し、共通する利用者の割合が所定の閾値を超える情報を特定する。より具体的な例を挙げると、推定部４４は、全ての分類利用者の利用者情報に「ラーメンが好き」といった情報が含まれている場合は、「ラーメンが好き」という情報を推定指標とする。

なお、推定部４４は、分類利用者の利用者情報のうち、モデルが特徴を学習した種別以外の種別の情報の共通性に基づいて、分類指標を推定してもよい。例えば、推定部４４は、モデルの分類目的から、モデルが特徴を学習したと推定される利用者情報の種別を推定する。例えば、推定部４４は、学習データに用いられた利用者情報を特定し、特定した利用者情報に含まれる情報のうち、共通性が最も高い利用者情報の種別を学習種別として特定する。また、推定部４４は、分類利用者の利用者情報の種別若しくは種別の組ごとに共通性を算出し、学習種別の共通性よりも高い共通性を有する種別若しくは種別の組が存在するか否かを判定する。そして、推定部４４は、学習種別の共通性よりも高い共通性を有する種別若しくは種別の組が存在する場合は、最も共通性が高い種別もしくは種別の組を、推定指標としてもよい。また、推定部４４は、学習種別の共通性が最も高い場合は、モデルが分類目的に対して適切な学習が行われたモデルである旨を推定してもよい。

また、推定部４４は、分類利用者の利用者情報と比較利用者の利用者情報との比較に基づいて、モデルが分類対象を分類する際の指標を推定してもよい。例えば、推定部４４は、分類利用者の利用者情報が有する共通性と、比較利用者の利用者情報が有する共通性とが類似する場合は、比較利用者を特定する際に用いたルールを推定指標としてもよい。また、推定部４４は、分類利用者の利用者情報が有する共通性と比較利用者の利用者情報が有する共通性とが類似しない場合は、モデルが分類目的から想定される特徴以外の特徴を学習したと判定してもよい。

また、推定部４４は、分類利用者の利用者情報と、出力情報との相関性に基づいて、モデルが分類対象を分類する際の指標を推定してもよい。例えば、推定部４４は、分類利用者の各利用者情報や出力情報を数値化し、それぞれ個別の軸方向にプロットし、プロット結果に基づいて、利用者情報のうち、出力情報との相関性が最も高い種別若しくは種別の組を特定してもよい。また、推定部４４は、分類利用者の利用者情報と出力情報との相関性を特定するとともに、比較利用者の利用者情報と出力情報との相関性を特定し、特定した相関性の類似性に基づいて、分類指標を推定してもよい。例えば、推定部４４は、各相関性が類似しない場合は、モデルが分類目的から想定される特徴以外の特徴を学習したと判定してもよい。

また、推定部４４は、利用者情報と、出力情報となるベクトルの各次元毎の値をそれぞれ個別の軸方向にプロットすることで、各次元と相関性が高い利用者情報の種別を特定してもよい。また、推定部４４は、出力情報となるベクトルの所定の次元と、利用者情報との相関性を特定することで、各次元と対応する利用者情報の種別や種別の組を分類指標として推定してもよい。

なお、推定部４４は、推定した分類指標を推定指標としてモデルデータベース３２に登録することとなる。

提供部４５は、推定指標を事業者に提供する。例えば、提供部４５は、モデルを利用したい事業者に対し、モデルの推定指標を提供してもよい。また、提供部４５は、推定指標と分類目的とが対応しない場合は、モデルを生成した事業者に対して、推定指標を提供してもよい。

〔３．処理手順〕
次に、図６を用いて、実施形態に係る情報提供装置１０による推定処理の流れの一例について説明する。図６は、実施形態に係る推定処理の流れの一例を示すフローチャートである。

例えば、情報提供装置１０は、処理対象となるモデルを選択し（ステップＳ１０１）、選択したモデルを用いて、各利用者の利用者情報から出力情報を生成する（ステップＳ１０２）。そして、情報提供装置１０は、生成した出力情報が類似する利用者を第１グループに属する利用者、すなわち、分類利用者として特定する（ステップＳ１０３）。続いて、情報提供装置１０は、利用者情報が所定の条件を満たす利用者を第２グループに属する利用者、すなわち、比較利用者として特定する（ステップＳ１０４）。そして、情報提供装置１０は、第１グループの利用者情報と第２グループの利用者情報との比較結果に基づいて、選択したモデルが利用者情報を分類する際の指標を推定し（ステップＳ１０５）、処理を終了する。

〔４．変形例〕
上述した情報提供装置１０は、上記実施形態以外にも種々の異なる形態にて実施されてもよい。そこで、以下では、情報提供装置１０の他の実施形態について説明する。

〔４−１．適用対象について〕
上述した例では、情報提供装置１０は、利用者情報に基づいて、利用者の分類を行うモデルの推定指標を推定した。しかしながら、実施形態は、これに限定されるものではない。例えば、情報提供装置１０は、広告の分類や利用者に対して配信される各種コンテンツ等、任意の分類対象の分類を行うモデルについて、上述した推定指標の推定を行ってよい。例えば、情報提供装置１０は、広告を分類対象とし、広告の対象となる取引対象の種別、名称、価格、製造者、販売者等を対象情報とし、入力された対象情報からその広告を好む利用者を推定するモデルについて、上述した推定処理を実行してもよい。

また、情報提供装置１０は、分類対象と対応する情報を対象情報とし、同一グループに分類された分類対象の対象情報から分類指標を推定するのであれば、任意の数の種別情報を対象情報としてもよく、任意の内容の情報を対象情報としてもよい。例えば、情報提供装置１０は、利用者の性別、デモグラフィック属性、サイコグラフィック属性、検索クエリの履歴、各種ネットワーク上の行動履歴、利用者が投稿した情報の履歴である投稿履歴、購買履歴等、利用者に関する任意の情報を利用者情報として採用してもよい。

〔４−２．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、逆に、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

〔４−３．プログラム〕
また、上述した実施形態に係る情報提供装置１０は、例えば図７に示すような構成のコンピュータ１０００によって実現される。図７は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ(Read Only Memory)、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等により実現される。

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

例えば、コンピュータ１０００が情報提供装置１０として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。

〔５．効果〕
上述してきたように、情報提供装置１０は、分類対象に関する対象情報が入力されると入力された分類対象の分類を示す出力情報を出力するモデルにより、対象情報から類似する出力情報が出力された複数の分類対象を特定する。そして、情報提供装置１０は、特定された複数の分類対象の対象情報に基づいて、モデルが分類対象を分類する際の指標を推定する。このような処理の結果、情報提供装置１０は、モデルが本当に学習した分類指標を推定することができるので、モデルが学習した特徴を示す情報を提供することができる。

また、情報提供装置１０は、特定された分類対象に関する対象情報の共通性に基づいて、モデルが分類対象を分類する際の指標を推定する。このため、情報提供装置１０は、モデルが特徴を学習した情報を推定することができる。

また、情報提供装置１０は、モデルとして、対象情報のうち所定の種別の情報が有する特徴に応じた出力情報を出力するように学習が行われたモデルにより、類似する出力情報が出力された複数の分類対象を特定し、特定された分類対象の対象情報のうち、所定の種別以外の種別の情報の共通性に基づいて、モデルが分類対象を分類する際の指標を推定する。このため、情報提供装置１０は、モデルの学習を行った事業者等が想定していない特徴をモデルが学習しているか否かを推定することができる。

また、情報提供装置１０は、モデルにより対象情報から類似する出力情報が出力された分類対象を第１グループとして特定するとともに、対象情報が所定の類似性を有する分類対象を第２グループとして特定し、第１グループに属する分類対象の対象情報と、第２グループに属する分類対象の対象情報との比較に基づいて、モデルが分類対象を分類する際の指標を推定する。例えば、情報提供装置１０は、第２グループとして、モデルとは異なるモデルであって、対象情報が所定の条件を満たすか否かに応じて分類対象を分類するモデルにより同じグループに分類された分類対象を特定する。このため、情報提供装置１０は、より精度よくモデルが学習した特徴を示す情報を提供することができる。

また、情報提供装置１０は、特定された分類対象の対象情報と、モデルが出力する出力情報との相関性に基づいて、モデルが分類対象を分類する際の指標を推定する。例えば、情報提供装置１０は、対象情報のうち、出力情報との相関性が所定の条件を満たす情報の種別を、モデルが分類対象を分類する際の指標とする。また、情報提供装置１０は、モデルが出力する出力情報との相関性が所定の条件を満たす情報の種別の組を、モデルが分類対象を分類する際の指標とする。このため、情報提供装置１０は、モデルが学習した特徴を精度良く推定することができる。

また、情報提供装置１０は、出力情報としてベクトルを出力するモデルにより対象情報から所定の次元の値が同一のベクトルが出力された複数の分類対象を特定し、特定された分類対象の対象情報に基づいて、モデルが出力するベクトルのうち所定の次元の値と対応する指標を推定する。このため、情報提供装置１０は、出力情報となるベクトルの各次元ごとに、対象情報のうちどの対象情報と対応する値であるかを推定することができる。

また、情報提供装置１０は、分類対象である利用者に関する対象情報が入力されると分類対象の分類を示す出力情報を出力するモデルにより対象情報から類似する出力情報が出力された複数の利用者を特定し、モデルが利用者を分類する際の指標を推定する。例えば、情報提供装置１０は、利用者に関する対象情報として、利用者の属性を示す属性情報又は利用者の行動を示す行動情報が入力されると利用者の分類を示す出力情報を出力するモデルにより、属性情報または行動情報から類似する出力情報が出力された複数の利用者を特定する。このため、情報提供装置１０は、利用者情報が有するどのような特徴をモデルが学習したかを推定することができる。

以上、本願の実施形態を図面に基づいて詳細に説明したが、これは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。

１０ 情報提供装置
２０ 通信部
３０ 記憶部
３１ 利用者データベース
３２ モデルデータベース
４０ 制御部
４１ 受付部
４２ 生成部
４３ 特定部
４４ 推定部
４５ 提供部
１００、２００ 外部端末

Claims (13)

1. 分類対象に関する対象情報が入力されると当該分類対象の分類を示す出力情報を出力するモデルにより対象情報から類似する出力情報が出力された複数の分類対象を特定する特定部と、
   前記特定部により特定された複数の分類対象の対象情報に基づいて、前記モデルが前記分類対象を分類する際の指標を推定する推定部と
   を有することを特徴とする推定装置。
2. 前記推定部は、前記特定部により特定された分類対象に関する対象情報の共通性に基づいて、前記モデルが前記分類対象を分類する際の指標を推定する
   ことを特徴とする請求項１に記載の推定装置。
3. 前記特定部は、前記モデルとして、前記対象情報のうち所定の種別の情報が有する特徴に応じた出力情報を出力するように学習が行われた前記モデルにより、類似する出力情報が出力された複数の分類対象を特定し、
   前記推定部は、前記特定部により特定された分類対象の対象情報のうち、前記所定の種別以外の種別の情報の共通性に基づいて、前記モデルが前記分類対象を分類する際の指標を推定する
   ことを特徴とする請求項１または２に記載の推定装置。
4. 前記特定部は、前記モデルにより前記対象情報から類似する出力情報が出力された分類対象を第１グループとして特定するとともに、前記対象情報が所定の類似性を有する分類対象を第２グループとして特定し、
   前記推定部は、前記第１グループに属する分類対象の対象情報と、前記第２グループに属する分類対象の対象情報との比較に基づいて、前記モデルが前記分類対象を分類する際の指標を推定する
   ことを特徴とする請求項１に記載の推定装置。
5. 前記特定部は、前記第２グループとして、前記モデルとは異なるモデルであって、対象情報が所定の条件を満たすか否かに応じて前記分類対象を分類するモデルにより同じグループに分類された分類対象を特定する
   ことを特徴とする請求項４に記載の推定装置。
6. 前記推定部は、前記特定部により特定された分類対象の対象情報と、前記モデルが出力する出力情報との相関性に基づいて、前記モデルが前記分類対象を分類する際の指標を推定する
   ことを特徴とする請求項１〜５のうちいずれか１つに記載の推定装置。
7. 前記推定部は、前記対象情報のうち、前記出力情報との相関性が所定の条件を満たす情報の種別を、前記モデルが前記分類対象を分類する際の指標とする
   ことを特徴とする請求項６に記載の推定装置。
8. 前記推定部は、前記モデルが出力する出力情報との相関性が所定の条件を満たす情報の種別の組を、前記モデルが前記分類対象を分類する際の指標とする
   ことを特徴とする請求項７に記載の推定装置。
9. 前記特定部は、前記出力情報としてベクトルを出力するモデルにより前記対象情報から所定の次元の値が同一のベクトルが出力された複数の分類対象を特定し、
   前記推定部は、前記特定部により特定された分類対象の対象情報に基づいて、前記モデルが出力するベクトルのうち前記所定の次元の値と対応する前記指標を推定する
   ことを特徴とする請求項１〜８のうちいずれか１つに記載の推定装置。
10. 前記特定部は、前記分類対象である利用者に関する対象情報が入力されると当該分類対象の分類を示す出力情報を出力する前記モデルにより対象情報から類似する出力情報が出力された複数の利用者を特定し、
    前記推定部は、前記モデルが前記利用者を分類する際の指標を推定する
    ことを特徴とする請求項１〜９のうちいずれか１つに記載の推定装置。
11. 前記特定部は、前記利用者に関する対象情報として、当該利用者の属性を示す属性情報又は当該利用者の行動を示す行動情報が入力されると当該利用者の分類を示す出力情報を出力する前記モデルにより、前記属性情報または前記行動情報から類似する出力情報が出力された複数の利用者を特定する
    ことを特徴とする請求項１０に記載の推定装置。
12. 推定装置が実行する推定方法であって、
    分類対象に関する対象情報が入力されると当該分類対象の分類を示す出力情報を出力するモデルにより対象情報から類似する出力情報が出力された複数の分類対象を特定する特定工程と、
    前記特定工程により特定された複数の分類対象の対象情報に基づいて、前記モデルが前記分類対象を分類する際の指標を推定する推定工程と
    を含むことを特徴とする推定方法。
13. 分類対象に関する対象情報が入力されると当該分類対象の分類を示す出力情報を出力するモデルにより対象情報から類似する出力情報が出力された複数の分類対象を特定する特定手順と、
    前記特定手順により特定された複数の分類対象の対象情報に基づいて、前記モデルが前記分類対象を分類する際の指標を推定する推定手順と
    をコンピュータに実行させるための推定プログラム。

Images