JP2022035314A

JP2022035314A - 情報処理装置及びプログラム

Info

Publication number: JP2022035314A
Application number: JP2020139540A
Authority: JP
Inventors: 旭楽邱; Xule Qiu
Original assignee: Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2020-08-20
Filing date: 2020-08-20
Publication date: 2022-03-04
Also published as: CN114077661A; US20220058464A1

Abstract

【課題】ユーザに対応するノードと、そのユーザが持つ文書に対応する各ノードとをリンクで結んだ二部ネットワークとユーザの閲覧履歴とを用いてユーザの嗜好にあった推薦を行う場合と比べて、より精度の高い文書推薦を行う情報処理装置及びプログラムを提供する。【解決手段】情報処理装置は、ユーザの情報及び文書の情報を収集するステップＳ１０１と、ユーザに対応するノードと文書に対応するノードとをリンクで接続した二部ネットワークを作成しＳ１０３、ユーザの素性と文書の素性からなる素性情報を生成しＳ１０４、二部ネットワークと素性情報とを合成して素性付きネットワークを生成しＳ１０５、素性付きネットワークを用いて目的ユーザに対する推薦文書の推薦スコアを算出するＳ１０７。【選択図】図５

Description

本発明は、情報処理装置及びプログラムに関する。

従来から、知識ベースを活用した文書データベース検索・管理システムが提案されている。

特許文献１には、取得情報に基づくユーザの行動を検出する行動検出部と、記行動の対象となった情報の詳細情報を取得してキーワード抽出を行なう情報取得部と、行動から情報に対する評価を行なう評価取得部と、抽出キーワードと評価を対応づけて登録するデータベース部とを備える嗜好情報収集システムが記載されている。

特許文献２には、ユーザに提示した対象のうちユーザが所定の反応を示した対象である反応対象の分布を異なる観点によりそれぞれ分析した複数の分析値をそれぞれ良くすることが可能な対象であって、ユーザに提示する対象である提示対象を観点毎に選択する選択部と、観点毎に提示対象を分析値とともに提示するように制御する提示制御部とを備える情報処理装置が記載されている。

特許文献３には、ユーザが入力した複数のパラメータを受け付けるとともにユーザに推薦するコンテンツを表示する入力表示部と、複数のパラメータのうち分野情報を有する第一のパラメータを取得し、第一のパラメータの分野情報に関連したコンテンツが有するコメント情報を抽出するコメント取得部と、複数のパラメータのうち時事性情報を有する第二のパラメータを取得し、第二のパラメータの時事性情報に基づいてコーパスを作成するコーパス作成部と、複数のパラメータのうちホットトピック情報を有する第三のパラメータを取得し、コメント情報及びコーパスを比較し、予め定められた基準を満たすコメント情報及びコーパスの組み合わせと、第三のパラメータのホットトピック情報とをベクトルに変換し、変換したベクトルから算出した算出値に応じてコンテンツを選択し、入力表示部に推薦コンテンツとしてコンテンツの表示を指示する潜在意味解析推薦部とを備えるコンテンツ推薦装置が記載されている。

特許文献４には、各文書が指定期間内の日時情報を属性として持つ文書集合を入力する文書入力部と、文書集合及び閲覧された文書又はブックマーク操作によるラベル付けを行った文書を含む履歴文書の各々をキーワード解析することにより、各々が複数のキーワードを含む複数の特徴ベクトルを求める文書解析部と、文書集合をクラスタリングすることにより、各々が同一の話題に属する文書からなる複数の話題クラスタ及び複数のサブ話題クラスタを求めるクラスタリング部と、サブ話題クラスタ間の話題の推移を表す推移構造を生成する話題推移生成部と、各話題クラスタ及び各サブ話題クラスタにおいて特徴属性を抽出する特徴属性抽出部と、履歴文書の特徴ベクトルと文書集合に含まれる各文書の特徴ベクトルとの類似性判定により、サブ話題クラスタのいずれかに相当する興味クラスタを抽出する興味クラスタ抽出部と、興味クラスタが持つ推移構造に基づいて、該興味クラスタと推移関係にあるサブ話題クラスタを求め、該サブ話題クラスタに含まれる文書を推薦文書として抽出する推薦文書抽出部と、推薦文書を特徴属性とともに提示する推薦文書提示部とを備える情報推薦装置が記載されている。

特許文献５には、各ユーザが持つ各アイテムを表すデータを取得する取得手段と、データに含まれる各ユーザおよび各アイテムをそれぞれノードとし、ユーザに対応するノードと、そのユーザが持つ各アイテムに対応する各ノードとをリンクで結んだ二部ネットワークを生成する生成手段と、二部ネットワークからコミュニティの階層構造を抽出する抽出手段と、抽出手段で抽出された階層構造における各層のコミュニティにおけるノードの重要度を算出し、算出した重要度からノードの各コミュニティへの帰属度を算出する第１算出手段と、第１算出手段が算出した帰属度と、コミュニティにおけるアイテムの重要度から、ユーザとアイテムとの相性を表す指標を算出する第２算出手段とを備える情報処理装置が記載されている。

特開２００８－１９１７０２号公報特許第６４０５７０４号特許第６１７０１２３号特許第５２２４８６８号特開２０１９－００８４１４号公報

ところで、取得したデータに含まれる各ユーザおよび各文書をそれぞれノードとし、ユーザに対応するノードと、そのユーザが持つ文書に対応する各ノードとをリンクで結んだ二部ネットワークと、ユーザの閲覧履歴とを用いてユーザの嗜好にあった推薦を行う場合、文書内容上の関連性が考慮されていないため、同一トピックの文書でも過去に閲覧される回数が少ないときにはあまり推薦されず、新規文書の場合にはそもそも推薦されることがない。

本発明の目的は、取得したデータに含まれる各ユーザおよび各文書をそれぞれノードとし、ユーザに対応するノードと、そのユーザが持つ文書に対応する各ノードとをリンクで結んだ二部ネットワークと、ユーザの閲覧履歴とを用いてユーザの嗜好にあった推薦を行う場合と比べて、より精度の高い文書推薦を行う技術を提供することにある。

請求項１に記載の発明は、ユーザの情報及び文書の情報を収集する情報収集手段と、前記情報収集手段で収集された情報を入力して処理するプロセッサであり、プログラムを実行することで、前記ユーザに対応するノードと前記文書に対応するノードとをリンクで接続した二部ネットワークを作成し、前記ユーザの素性と前記文書の素性からなる素性情報を生成し、前記二部ネットワークと前記素性情報とを合成して素性付きネットワークを生成し、前記素性付きネットワークを用いて目的ユーザに対する推薦文書を選択する、情報処理装置である。

請求項２に記載の発明は、前記プロセッサは、前記素性付きネットワークから、リンクが密に接続されたかたまり部分であるコミュニティを抽出し、抽出した前記コミュニティを用いて前記目的ユーザに対する推薦文書を選択する、請求項１に記載の情報処理装置である。

請求項３に記載の発明は、前記ユーザの素性は、前記ユーザのドメイン知識キーワードを含み、前記文書の素性は、出現単語、カテゴリタグあるいは深層学習モデルで得られる分散表現の少なくともいずれかを含む、請求項１，２のいずれかに記載の情報処理装置である。

請求項４に記載の発明は、前記プロセッサは、Ｎを前記ユーザ及び前記文書のノード数として前記二部ネットワークをＮ×Ｎの行列として作成し、ｈ１をベクトルの次元数として前記素性情報をＮ×ｈ１のベクトルとして作成し、前記Ｎ×Ｎの行列と前記Ｎ×ｈ１のベクトルとを合成して前記素性付きネットワークを作成する、請求項３に記載の情報処理装置である。

請求項５に記載の発明は、前記プロセッサは、ＧＣＮを用いて前記素性付きネットワークを下処理する、請求項４に記載の情報処理装置である。

請求項６に記載の発明は、前記プロセッサは、前記コミュニティを用いて前記目的ユーザと推薦文書候補との第１推薦スコアを算出し、前記第１推薦スコアが相対的に高い推薦文書候補を前記推薦文書として選択する、請求項２に記載の情報処理装置である。

請求項７に記載の発明は、前記プロセッサは、前記情報収集手段で収集された文書に含まれない新規文書と、前記情報収集手段で収集された既存文書との類似度を算出し、前記類似度が相対的に大きい複数の前記既存文書を既存文書候補として抽出し、前記目的ユーザと前記既存文書候補との第２推薦スコアを算出し、前記第２推薦スコアを用いて前記目的ユーザと前記新規文書との前記第１推薦スコアを算出する、請求項６に記載の情報処理装置である。

請求項８に記載の発明は、前記プロセッサは、前記目的ユーザの前記推薦文書に対する閲覧の有無を前記素性付きネットワークにフィードバックする、請求項１～７のいずれかに記載の情報処理装置である。

請求項９に記載の発明は、前記プロセッサは、前記情報収集手段で収集された情報の経過時間に応じた重みを用いて前記素性付きネットワークを形成する、請求項１～８のいずれかに記載の情報処理装置である。

請求項１０に記載の発明は、コンピュータに、ユーザの情報及び文書の情報を収集するステップと、収集された情報を用いて、前記ユーザに対応するノードと前記文書に対応するノードとをリンクで接続した二部ネットワークを作成するステップと、前記ユーザの素性と前記文書の素性からなる素性情報を生成するステップと、前記二部ネットワークと前記素性情報とを合成して素性付きネットワークを生成するステップと、前記素性付きネットワークを用いて目的ユーザに対する推薦文書を選択するステップと、を実行させるプログラムである。

請求項１，２，４，６，１０に記載の発明によれば、各ユーザおよび各文書をそれぞれノードとし、ユーザに対応するノードと、そのユーザが持つ文書に対応する各ノードとをリンクで結んだ二部ネットワークと、ユーザの閲覧履歴とを用いてユーザの嗜好にあった推薦を行う場合と比べて、より精度の高い文書推薦を行うことができる。

請求項３に記載の発明によれば、さらにユーザのドメイン知識、出現単語、カテゴリタグあるいは深層学習モデルで得られる分散表現のいずれかを用いて文書推薦を行うことができる。

請求項５に記載の発明によれば、さらに、ＧＣＮ（Graph Convolutional Network）を用いて素性付きネットワークを下処理し、学習モデルの精度向上や素性のないノードの対応を可能とする。

請求項７に記載の発明によれば、さらに、新規文書に対してもユーザに対して文書推薦できる。

請求項８，９に記載の発明によれば、さらに、学習モデルの精度を向上させることができる。

実施形態の情報処理装置の構成ブロック図である。実施形態のシステム構成図である。実施形態の二部ネットワークの説明図である。実施形態の素性ベクトルの説明図である。実施形態の素性付きネットワークの説明図である。実施形態の全体処理フローチャートである。実施形態のコミュニティ抽出・特徴抽出の説明図である。

以下、図面に基づき本発明の実施形態について説明する。

図１Ａは、本実施形態における情報処理装置の全体構成ブロック図である。本実施形態の情報処理装置は、ユーザ嗜好を表す特徴をバックエンドで学習し、ユーザの嗜好に合致したパーソナライズ情報提供を行う装置であり、より具体的には、ユーザの購入した文書やユーザの閲覧した文書等、ユーザと文書との関係性を履歴データとして収集し、当該履歴データから特徴を学習することで、目的ユーザに対してその嗜好に合致する文書を推薦する装置である。本実施形態の情報処理装置は、図１Ｂに示すように、クライアント２０とサーバコンピュータ２２からなるサーバクライアントシステムにおけるサーバコンピュータ２２として実現され得る。この場合、ユーザ端末としてのクライアント２０は、スマートフォン、タブレット、携帯電話、ＰＣ等の携帯情報端末で実現され得る。

情報処理装置は、機能モジュールとして、情報収集モジュール１０、情報統合モジュール１２、事前処理モジュール、特徴計算モジュール１６、及び情報検索・推薦モジュール１８を備える。

情報収集モジュール１０は、履歴データとしてユーザの情報及び文書の情報を収集するモジュールであり、入力部１０１、情報収集部１０２、及び記憶部１０３を備える。入力部１０１は、通信インターフェイス等を備え、例えばインターネット等から履歴データとしてユーザの情報と文書の情報を収集する。入力部１０１は、収集した履歴データを情報収集部１０２に出力する。情報収集部１０２は、収集した履歴データを記憶部１０３に格納するとともに、情報統合モジュール１２に出力する。履歴データは、具体的にはユーザとそのユーザが購買した文書、ユーザとそのユーザが閲覧した文書、ユーザとそのユーザがＳＮＳ等で言及した文書等であり、ユーザと文書の対応関係（関係性）を有するデータである。

情報統合モジュール１２は、各種の情報を統合・管理するモジュールであり、管理部１２１、記憶部１２２、情報提示制御部１２３、及びユーザ操作取得部１２４を備える。管理部１２１は、各種情報を管理する。各種情報には、収集した履歴データ、作成された素性付きネットワークデータ、抽出された特徴データ、演算された推薦スコア等が含まれる。

記憶部１２２は、各種情報を記憶する。ユーザ操作取得部１２４は、図示しないユーザ端末からのユーザ操作を取得して管理部１２１に出力する。ユーザ操作には、目的ユーザからの文書検索要求が含まれる。情報提示制御部１２３は、ユーザ操作に応じた管理部１２１からの指令に基づき、ユーザ操作に応じた情報、具体的には目的ユーザの嗜好に合致する文書の情報を図示しないユーザ端末に出力する。

事前処理モジュール１４は、情報収集モジュール１０で収集した履歴データ、すなわちユーザの情報及び文書の情報を処理するモジュールであり、処理部１４１、記憶部１４２、時間ウエイト加工部１４３、言語解析部１４４、素性作成部１４５、及び素性付きネットワーク構築部１４６を備える。処理部１４１は、時間ウエイト加工部１４３、言語解析部１４４、素性作成部１４５、及び素性付きネットワーク構築部１４６の動作を制御する。

時間ウエイト加工部１４３は、処理すべき履歴データの取得時間に応じたウエイトを付与する。すなわち、古いデータよりも新しいデータの方がユーザの現時点の特徴を反映していると考えられるため、新しいデータに対して相対的に大きなウエイトを付与する。例えば、１ヶ月、半年、１年等と時間スパンを決定し、履歴データを時間スパンで分割する。それぞれの時間スパンで履歴データの全体ウエイトを決定する。このとき、現在に近い時間スパンの方のウエイトを相対的に大きくする。このようにして決定された時間ウエイトは、出現頻度を反映したウエイトと乗算した上で、後述するネットワークのリンクのウエイトに設定する。

言語解析部１４４は、履歴データの自然言語処理を行う。自然言語処理は公知であり、例えば形態素解析で単語単位に分割を行い、文章毎に各単語の出現頻度をカウントしてベクトル化する。そして、履歴データとしてのユーザの情報と文書の情報を言語解析し、各ユーザおよび各文書をそれぞれノードとし、ユーザに対応するノードと、文書に対応する各ノードとをリンクで結んだ二部ネットワークを作成する。

素性作成部１４５は、ユーザの情報に含まれるユーザの素性情報及び文書の情報に含まれる文書の素性情報をベクトルで表現する。ユーザの素性情報は、ユーザＩＤ、ユーザの性別、ユーザのドメイン知識キーワード等であり、これらをユーザノードの素性としてbag-of -word形式（出現単語の数をカウントしたもの）でベクトル化する。文書の素性情報は、文書ＩＤ、文書のコンテンツ（出現単語）、様々な属性（出現したエンティティとその属性）、カテゴリタグ等であり、これらを文書ノードの素性としてbag-of- word形式でベクトル化する。任意の深層学習モデルで得られる分散表現を文書の素性情報として用いてもよい。ここで、ドメイン知識キーワードとは、ドメイン知識に関するキーワードであり、ドメイン知識とは、ある専門分野に特化した分野の知識を意味し、一般知識と区別される。また、ユーザＩＤや文書ＩＤを用いることで、属性の存在しないノードも初期素性ベクトルとして付与することが可能となる。

素性付きネットワーク構築部１４６は、言語解析部１４４で作成された二部ネットワークと、素性作成部１４５で作成された素性ベクトルとを用いて、素性付きネットワークを構築する。素性付きネットワーク構築部１４６が、二部ネットワーク及び素性付きネットワークをともに構築してもよい。

特徴計算モジュール１６は、素性付きネットワーク構築部１４６で構築された素性付きネットワークからリンクが密に接続されたかたまり部分であるコミュニティ抽出による潜在トピック及び特徴を抽出するモジュールであり、特徴計算部１６１及び記憶部１６２を備える。特徴計算部１６１は、素性付きネットワークからコミュニティを抽出し、各コミュニティの各ノードにおける確率分布の期待値μと、コミュニティ確率分布の標準偏差σを計算する。本実施形態におけるコミュニティはクラスタと同じ意味を有し、個々のコミュニティは「意味」あるいは「機能」のまとまりに対応し、潜在嗜好と同義である。また、コミュニティ抽出とは、ネットワークから個々のコミュニティ構造を抽出することを意味し、ネットワーク内に意味的／機能的に共通性を有するノード群をクラスタリングすることを意味する。本実施形態では、単なる二部ネットワークではなく、素性情報が付与された素性付きネットワークを用いることで、コミュニティ抽出精度を向上させる。素性情報は、二部ネットワークと相互補足情報として機能し得る。

情報検索・推薦モジュール１８は、図示しないユーザ端末からのユーザ操作に応じ、目的ユーザの嗜好に合致する文書を検索し推薦するモジュールであり、情報検索部１８１、情報推薦部１８２、及び記憶部１８３を備える。

情報検索部１８１は、特徴計算モジュール１６で抽出された特徴を用いて、推薦スコアを計算する。情報推薦部１８２は、計算された推薦スコアを用いて、相対的にスコアの高い文書を選択し、目的ユーザに対する推薦文書として出力する。

図１Ａに示す各機能モジュールは、論理的に分離可能なソフトウェア、ハードウェア等の部品を意味する。従って、本実施形態におけるモジュールはコンピュータプログラムにおけるモジュールのみならず、ハードウェア構成におけるモジュールも意味する。モジュールは機能に対して１：１に対応してもよいが、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよい。これらのモジュールは、図１Ｂに示すサーバコンピュータ２２内のプロセッサ２４によって実行されてもよいし、分散又は並列環境における複数のプロセッサ２４によって実行されてもよい。各モジュールによる処理では、対象となる情報をメモリ２６から読み込み、ＣＰＵ等のプロセッサ２４で処理を行った後に、処理結果をメモリ２６に出力して書き込む。メモリ２６は、ＨＤＤ、ＲＡＭ、ＣＰＵ内のレジスタ等が含まれる。１つの実施形態では、単一のサーバコンピュータ２２内における単一のプロセッサ２４が、各モジュール１０～１８の機能を実現するものであるが、これに限定されるものではない。本実施形態におけるプロセッサは広義的なプロセッサを指し、汎用的なプロセッサ（例えば CPU Central Processing Unit等）や、専用のプロセッサ（例えばGPU Graphics Processing Unit、ASIC Application Specific Integrated Circuit、FPGA Field Programmable Gate Array、プログラマブル論理デバイス等）を含むものである。

図２は、各ユーザ５０および各文書５２をそれぞれノードとし、ユーザに対応するノードと、文書に対応する各ノードとをリンクで結んだ二部ネットワークを模式的に示す。二部ネットワークとは、二部グラフとも呼ばれ、ノードの集合が２つの部分集合に分割されており、同じ部分集合内のノード同士の間にリンクがないネットワーク（グラフ）である。すなわち、ユーザのノード同士の間にリンクがなく、文書のノード同士の間にもリンクがない。図２において、丸印がユーザを表すノードであり、正方形が文書を表すノードである。また、ユーザのノードと文書のノードを結ぶ直線がリンクである。

この二部ネットワークは、履歴データにおいて、ユーザと文書に関係がある（例えば過去にユーザがその文書を閲覧した事実がある等）ため履歴データに付与される値が１であるユーザと文書のノード間をリンクで結ぶことにより生成される。この二部ネットワークでは、ユーザと文書に関係がないため履歴データに付与される値が０であるユーザとアイテムのノード間にはリンクは生成されない。二部ネットワークは、情報統合モジュール１２の管理部１２１から供給された履歴データに基づき、事前処理モジュール１４の言語解析部１４４あるいは素性付きネットワーク構築部１４６で作成される。二部ネットワークは、具体的にはＮをノード数、つまりユーザ数と文書数の合計とすると、Ｎ×Ｎ隣接行列のマトリクスとして表現される。

図３は、素性作成部１４５で作成される素性情報ベクトルを模式的に示す。ユーザ５０の素性ベクトル、及び文書５２の素性ベクトルは、それぞれドメイン知識単語の成分と、出現単語の成分から構成される。ドメイン知識単語の成分は、Ｔ１，Ｔ２，Ｔ３から構成され、出現単語の成分は、Ｔ４，Ｔ５，・・・Ｔｎから構成される。ユーザ５０の素性ベクトルは、例えば、
（Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５，・・・Ｔｎ）＝（１，１，０，１，０，・・・０）
と表現される。また、文書５２の素性ベクトルは、例えば、
（Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５，・・・Ｔｎ）＝（０，０，１，１，１，・・・０）
と表現される。素性ベクトルは、具体的には素性ベクトルの次元数をｈ１としたときにＮ×ｈ１のマトリクスとして表現される。
なお、図では、各ベクトルの成分を０または１で表現したが、これに限定されるものではなく、ウエイトを乗算して表現してもよい。また、既述したように、ユーザ５０の素性ベクトルとして、ユーザＩＤやユーザ性別を含んでもよく、文書５２の素性ベクトルとして、文書ＩＤを含んでもよい。

図４は、素性付きネットワーク構築の一例を模式的に示す。素性付きネットワークは、ユーザに対応するノードと、文書に対応する各ノードとをリンクで結んだ二部ネットワークのマトリクス６０と、全ての素性ベクトルからなる素性マトリクス６２とからＧＣＮ（Graph Convolution Network：グラフ畳み込みネットワーク）演算器６４により作成される。ＧＣＮは、グラフデータに対して畳み込みを行う手法であり、グラフ内のノードが有する特徴量に、リンク関係にあるノードの特徴量に重みをかけたものを加えていく方法である。具体的には、二部ネットワークマトリクスＡをＮ×Ｎ隣接行列、素性マトリクスＸをＮ×ｈ１とし、Ｎをノード数（＝ユーザ数＋文書数）、ｈ１を１つの素性ベクトルの次元数、ｈ２を埋込ベクトルの次元数（＝トピック／コミュニティ数）とすると、
ＧＣＮ（Ｘ，Ａ）＝Ａ’・ＲｅＬＵ（Ａ’・Ｘ・Ｗｏ）Ｗｉ
により素性付きネットワークを作成する。

ここで、
「・」は行列乗算
Ｗｏはｈ１×ｈ０のウエイトマトリクス
Ｗｉはｈ２×ｈ０のウエイトマトリクス
である。ｈ０は初期値である。
また、Ａ’は、
Ａ’＝Ｄ^－１／２・（Ｉ_Ｎ＋Ａ）・Ｄ^－１／２
である。ここで、
Ｉ_Ｎは単位行列
Ｄは度数マトリクス
であり、
Ｄ＝Ｄｉａｇ（ｓｕｍ（Ａ＋Ｉ_Ｎ，ｄｉｍ＝１））
で定義される。つまりＡ＋Ｉ_Ｎを行方向にｓｕｍ演算して得られたベクトルを対角行列に変換したものである。

ＲｅＬＵ関数（Rectified Linear Unit：ランプ関数）は、公知のニューラルネットワークの活性化関数であり、入力値が０以下の場合には出力値が常に０、入力値が０より上の場合には出力値が入力値と同じ値となる関数である。要するに、
ｆ（ｘ）＝ｍａｘ（０，ｘ）
である。ＲｅＬＵ関数は、計算式がシンプルであるため処理を高速化できる。また、入力値が０以下は常に出力値が０となるので、ニューロン群の活性化がスパース（疎、スカスカ）になり、発火しないニューロンも表現できることで精度が向上する利点がある。ＧＣＮ演算器６４は、上記の式に基づいて、各コミュニティの各ノードにおける確率分布の期待値μと、コミュニティ確率分布の標準偏差σとに分けて、畳み込み演算を行う。すなわち、確率分布の期待値μに関して、
ＧＣＮ（Ｘ，Ａ）μ＝Ａ’・ＲｅＬＵ（Ａ’・Ｘ・Ｗｏ）Ｗｉμ
で演算し、確率分布の標準偏差σに関して、
ＧＣＮ（Ｘ，Ａ）σ＝Ａ’・ＲｅＬＵ（Ａ’・Ｘ・Ｗｏ）Ｗｉσ
で演算する。ここで、Ｗｉμ、Ｗｉσは、それぞれ期待値μと標準偏差σについてのウエイトマトリクスＷｉである。

ＧＣＮについては、例えば、Thomas N. Kipf, Max Welling, Semi-Supervised Classification with Graph Convolutional Networks, (ICLR 2017) に詳述されている。

このようにして作成された素性付きネットワークを用いて、潜在トピック・特徴を抽出し、目的ユーザの嗜好に合致した文書を検索する。

図５は、本実施形態の全体処理フローチャートである。図１Ａに示す各機能モジュールの処理であり、ハードウェアとしてのプロセッサ２４が実行する処理である。

まず、情報収集モジュール１０は、インターネット等を用いて履歴データとしてユーザの情報と文書の情報を定期的あるいは不定期に収集する（Ｓ１０１）。情報収集モジュール１０は、収集した履歴データを記憶部１０３に記憶し、また情報統合モジュール１２に出力する。情報統合モジュール１２の管理部１２１は、収集した履歴データを記憶部１２２に記憶し、また事前処理モジュール１４に出力する。

次に、事前処理モジュール１４の処理部１４１は、収集した履歴データを用いてバックエンドで学習する。すなわち、言語解析部１４４は、履歴データを自然言語処理し（Ｓ１０２）、二部ネットワークを作成する（Ｓ１０３）とともに、素性作成部１４５に出力する。素性作成部１４５は、履歴データに含まれる素性の情報をベクトル化して素性ベクトルを作成する（Ｓ１０４）。言語解析部１４４は、作成した二部ネットワークを素性付きネットワーク構築部１４６に出力する。また、素性作成部１４５は、作成した素性ベクトルを素性付きネットワーク構築部１４６に出力する。

素性付きネットワーク構築部１４６は、二部ネットワークのマトリクス表現である二部ネットワークマトリクスＡと、素性ベクトルのマトリクス表現である素性マトリクスＸから、ＧＣＮを用いて素性付マトリクスを構築する（Ｓ１０５）。事前処理モジュール１４の処理部１４１は、構築された素性付マトリクスを記憶部１４２に記憶し、また特徴計算モジュール１６に出力する。

次に、特徴計算モジュール１６の特徴計算部１６１は、素性付きネットワークからコミュニティ抽出により潜在トピック・特徴を演算する（Ｓ１０６）。具体的には、正規分布に従うノイズεと期待値μと標準偏差σとに基づいて各コミュニティにおける重要度ｐｔ、及び各コミュニティへの帰属度ｂを演算する。特徴計算モジュール１６は、演算されたｐｔ及びｂを情報検索・推薦モジュール１８に出力する。

情報検索・推薦モジュール１８の情報検索部１８１は、ｐｔ及びｂを用いて目的ユーザに対する推薦候補文書の推薦スコアを演算する（Ｓ１０７）。すなわち、目的ユーザをＵ、コンテキスト（文書）をＣ、推薦候補文書をＲとすると、Ｒの推薦スコアを以下の計算フローで演算する。
（１）ＲとＵの間の類似度sim(R,U)を計算する。
sim(R,U)=γ1sim1(R,U)+γ2sim2(R,U)
ここで、
sim1(R,U)=1/2*(b(U)*pt(R)+pt(U)*b(R))
sim2(R,U)=z(R)*z(U)
であり、

である。ｚは既知の埋め込みベクトル、＊は内積を表す。
（２）ＲとＣの間の類似度sim(R,C)を上記の式にて計算する。
（３）推薦scoreを類似度sim(R,U)と類似度sim(R,C)から計算する。
score(R|C,U)=b1*sim(R,C)+b2*sim(R,U)
ここで、ｂ１及びｂ２は、
ｂ１＋ｂ２＝１
を満たす任意の値であり、例えばｂ１＝ｂ２＝０．５と設定し得る。
次に、情報推薦部１８２は、演算された推薦スコアのうち、最も高いスコア、あるいは推薦スコアの高い順に上位Ｋ個の文書を目的ユーザの嗜好に合致する推薦文書を選択し（Ｓ１０８）、ユーザ端末に推薦文書として出力する（Ｓ１０９）。

図６は、コミュニティ抽出による潜在トピック・特徴抽出の処理を模式的に示す。なお、図では、既述した素性付きネットワーク構築の処理についても前段の処理として示している。

二部ネットワークマトリクス６０と素性マトリクス６２は、それぞれＧＣＮμ演算器６４ａ及びＧＣＮσ演算器６４ｂにて畳み込み演算され、特徴計算モジュール１６に出力される。

特徴計算モジュール１６の特徴計算部１６１は、図中演算モジュール６６として示す演算を実行する。

すなわち、まず、ＧＣＮμ及びＧＣＮσそれぞれについて、ソフトプラス関数ｓｏｆｔｐｌｕｓでそれぞれμ’、ｌｏｇσ’に変換する。ソフトプラス関数ｓｏｆｔｐｌｕｓは、入力値を０以上の正の数値に変換して出力する関数であり、ＲｅＬＵ関数に類似する活性化関数である。但し、入力値が０付近では、出力値が０にはならない。具体的には、ＲｅＬＵ関数（正規化線形関数）に対する平滑化近似であり、
ｆ（ｘ）＝ｌｏｇ（１＋ｅ^ｘ）
である。

次に、μ’についてはマルコフチェーンを用いて、
μ＝Ａ・μ’
とし、ｌｏｇσ’については、列方向に平均をとってｌｏｇσとする。

次に、正規分布に従うノイズεと、μと、ｌｏｇσとを用いてシグモイド関数ｓｉｇｍｏｉｄでコミュニティにおける重要度ｐｔを、
pt=sigmoid(μ+ε○σ）
で算出する。演算子○は、アダマール積である。

次に、ｐｔを用いて各コミュニティへの帰属度ｂをベイズ定理により演算して特徴が抽出される。ベイズ定理を用いた各コミュニティへの帰属度（割合）ｂの算出については、特許文献４（特開２０１９－００８４１４号公報）に記載されている。

そして、リンク予測関数演算器６８でｐｔ及びｂを用いてリンク予測関数を演算し、ロスを計算する。具体的には、リンク予測関数ｆ（ｚ；θ）は、ｐｔとｂからアダマール積○を用いて
ｆ（ｚ；θ）＝（ｂ○ｐｔ）・（ｂ○ｐｔ）^Ｔ
で演算され、さらにロス関数ｌｏｓｓは、
ｌｏｓｓ＝binary-cross-entropy +kld1+kld2
で演算される。ここで、

である。

なお、pi_estimateはｍｅａｎ［ｂ,ｄｉｍ＝０］であり、ｍｅａｎ［ｂ，ｄｉｍ＝０］は列の方向にマトリクスｂを平均することを意味する。これにより、Ｎ×ｈ２のマトリクスであるｂから１×ｈ２のベクトルが算出される。

また、pi_priorは１×ｈ２のベクトルであり、その値はランダムに設定される。ロス関数は、ネットワーク再構築時の損失であり、これを最小化するように各パラメータを調整する。

以上のようにして各コミュニティの重要度ｐｔ及びコミュニティへの帰属度ｂが決定され、決定されたｐｔ及びｂを用いて、既述したように、目的ユーザＵと推薦候補文書Ｒに対して推薦スコアが算出される。そして、推薦スコアを高い順に並べ、最も高いスコアの文書、あるいはスコアの高い順に上位Ｋ個の文書が推薦文書として目的ユーザＵに提示される。目的ユーザＵは、提示された文書を視認し、所望の文書に対して閲覧等の行動をとり得る。

本実施形態では、ＧＣＮを用いて二部ネットワークに素性情報を付与したが、ＧＣＮ以外にも任意の手法で二部ネットワークと素性情報を合成してもよい。また、推薦スコアも上記の式に限定されず、学習モデルから特徴を抽出し、当該特徴を用いて目的ユーザの嗜好性を定量評価し得る任意の手法を用い得る。

以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、種々の変形が可能である。

例えば、本実施形態では、履歴データを用いて目的ユーザに対して当該ユーザの嗜好に合致する文書を検索して提示しているが、新規文書の場合には過去履歴が存在しないため、ユーザとの関係性を直接的に演算することが困難である。

この場合、以下の処理を実行することで目的ユーザに文書を推薦すればよい。

（１）まず、新規文書Ｄと履歴ネットワークに存在する文書ｎの間の類似度ｗ（Ｄ，ｎ）を演算する。

ここで、類似度演算は、出現単語の一致性で実行してもよく、ＢＥＲＴその他の言語モデルでの学習により得られた分散表現の類似度（cosine類似度、内積等）を用いてもよい。あるいは、トピックモデルで得られた潜在トピックを用いて実行してもよい。トピックモデルは、例えばＬＤＡ（Latent Dirichlet Allocation：潜在的ディリクレ配分法）やＰＬＳＡ（Probabilistic Latent Semantic Analysis：確率的潜在意味解析法）等を用いることができる。

（２）次に、新規文書Ｄと最も類似する既存文書候補ｎをＮ個抽出し、既存文書候補ｎを介して目的ユーザＵに対する推薦スコアを演算する。すなわち、

を演算する。

（３）最後に、演算された推薦スコアの高い新規文書Ｄを目的ユーザの嗜好に合致する文書として提示する。

本変形例では、履歴データの存在する既存文書との類似度を用いて、目的ユーザと新規文書との関係性を評価するといえる。

また、本実施形態あるいは上記の変形例において、目的ユーザに対して推薦文書を提示した後、当該目的ユーザが当該文書を閲覧した場合、Ｎ×Ｎ隣接行列で表現される二部ネットワークのマトリクスＡの対応箇所に閲覧された回数に応じてウエイトを付与し、これを深層学習モデルに新規学習パラメータとして取り込んでフィードバックし、誤差逆伝播法（バックプロパゲーション）等によりモデルのパラメータを更新してもよい。

１０情報収集モジュール、１２情報統合モジュール、１４事前処理モジュール、１６特徴計算モジュール、１８情報検索・推薦モジュール、５０ユーザ、５２文書、６０二部ネットワークマトリクス、６２素性マトリクス。

Claims

ユーザの情報及び文書の情報を収集する情報収集手段と、
前記情報収集手段で収集された情報を入力して処理するプロセッサであり、プログラムを実行することで、
前記ユーザに対応するノードと前記文書に対応するノードとをリンクで接続した二部ネットワークを作成し、
前記ユーザの素性と前記文書の素性からなる素性情報を生成し、
前記二部ネットワークと前記素性情報とを合成して素性付きネットワークを生成し、
前記素性付きネットワークを用いて目的ユーザに対する推薦文書を選択する、
情報処理装置。
前記プロセッサは、
前記素性付きネットワークから、リンクが密に接続されたかたまり部分であるコミュニティを抽出し、
抽出した前記コミュニティを用いて前記目的ユーザに対する推薦文書を選択する、
請求項１に記載の情報処理装置。
前記ユーザの素性は、前記ユーザのドメイン知識キーワードを含み、
前記文書の素性は、出現単語、カテゴリタグあるいは深層学習モデルで得られる分散表現の少なくともいずれかを含む、
請求項１，２のいずれかに記載の情報処理装置。
前記プロセッサは、
Ｎを前記ユーザ及び前記文書のノード数として前記二部ネットワークをＮ×Ｎの行列として作成し、
ｈ１をベクトルの次元数として前記素性情報をＮ×ｈ１のベクトルとして作成し、
前記Ｎ×Ｎの行列と前記Ｎ×ｈ１のベクトルとを合成して前記素性付きネットワークを作成する、
請求項３に記載の情報処理装置。
前記プロセッサは、ＧＣＮを用いて前記素性付きネットワークを下処理する、
請求項４に記載の情報処理装置。
前記プロセッサは、
前記コミュニティを用いて前記目的ユーザと推薦文書候補との第１推薦スコアを算出し、
前記第１推薦スコアが相対的に高い推薦文書候補を前記推薦文書として選択する、
請求項２に記載の情報処理装置。
前記プロセッサは、
前記情報収集手段で収集された文書に含まれない新規文書と、前記情報収集手段で収集された既存文書との類似度を算出し、
前記類似度が相対的に大きい複数の前記既存文書を既存文書候補として抽出し、
前記目的ユーザと前記既存文書候補との第２推薦スコアを算出し、
前記第２推薦スコアを用いて前記目的ユーザと前記新規文書との前記第１推薦スコアを算出する、
請求項６に記載の情報処理装置。
前記プロセッサは、
前記目的ユーザの前記推薦文書に対する閲覧の有無を前記素性付きネットワークにフィードバックする、
請求項１～７のいずれかに記載の情報処理装置。
前記プロセッサは、
前記情報収集手段で収集された情報の経過時間に応じた重みを用いて前記素性付きネットワークを形成する
請求項１～８のいずれかに記載の情報処理装置。
コンピュータに、
ユーザの情報及び文書の情報を収集するステップと、
収集された情報を用いて、前記ユーザに対応するノードと前記文書に対応するノードとをリンクで接続した二部ネットワークを作成するステップと、
前記ユーザの素性と前記文書の素性からなる素性情報を生成するステップと、
前記二部ネットワークと前記素性情報とを合成して素性付きネットワークを生成するステップと、
前記素性付きネットワークを用いて目的ユーザに対する推薦文書を選択するステップと、
を実行させるプログラム。