JP2019040415A - 解析装置、解析方法、およびプログラム - Google Patents

Abstract

【課題】機械学習の学習精度を向上させる学習データを生成することができる解析装置、解析方法、およびプログラムを提供することである。【解決手段】解析装置は、コンテンツ画面に対してユーザによって入力された文字列を取得する第１取得部と、前記第１取得部により取得された前記文字列について形態素解析を行う形態素解析部と、前記形態素解析部の解析結果から得られた第１形態素の集合から、特定期間に集中して入力される特定ワードを除去する除去部と、前記除去部より前記第１形態素の集合から前記特定ワードが除去された第２の形態素の集合を取得する第２取得部と、を備える。【選択図】図６

Description

本発明は、解析装置、解析方法、およびプログラムに関する。

従来、検索クエリが含まれるコーパスを学習データとして機械学習を行う技術が知られている（例えば、特許文献１参照）。

特開２０１０−１９８１８９号公報

しかしながら、従来の技術では、例えば、世間で流行しているキーワードなどがクエリとして一時的に何度も検索された場合、特性の偏った機械学習のモデルが生成されてしまう場合があった。この結果、機械学習の学習精度が低下する場合があった。

本発明は、上記の課題に鑑みてなされたものであり、機械学習の学習精度を向上させる学習データを生成することができる解析装置、解析方法、およびプログラムを提供することを目的としている。

本発明の一態様は、コンテンツ画面に対してユーザによって入力された文字列を取得する第１取得部と、前記第１取得部により取得された前記文字列について形態素解析を行う形態素解析部と、前記形態素解析部の解析結果から得られた第１形態素の集合から、特定期間に集中して入力される特定ワードを除去する除去部と、前記除去部より前記第１形態素の集合から前記特定ワードが除去された第２の形態素の集合を取得する第２取得部と、を備える解析装置である。

本発明の一態様によれば、機械学習の学習精度を向上させる学習データを生成することができる解析装置、解析方法、およびプログラムを提供することができる。

第１実施形態における解析装置２００を含む解析システム１の一例を示す図である。 第１実施形態におけるサービス提供装置１００の構成の一例を示す図である。 コーパス元情報Ｄ１の一例を示す図である。 アクセスログ情報Ｄ２の一例を示す図である。 ユーザ属性情報Ｄ３の一例を示す図である。 第１実施形態における解析装置２００の構成の一例を示す図である。 第１実施形態における解析側制御部２１０により実行される一連の処理の一例を示すフローチャートである。 バズワード辞書Ｄ４の一例を示す図である。 バズワードを説明するための図である。 コーパスＤ５の生成方法を模式的に示す図である。 バズワードを除去しないときのコーパスＤ５の一例を示す図である。 バズワードを除去したときのコーパスＤ５の一例を示す図である。 第１実施形態における解析側制御部２１０により実行される一連の処理の他の例を示すフローチャートである。 コーパス元情報Ｄ１に対して形態素解析を行って得られたワードの集合から共起ワードをバズワードとして除去する方法を説明するための図である。 バズワードとして除去する予定の候補を、学習モデル生成時に特徴量とするワードに復帰させる方法を説明するための図である。 実施形態のサービス提供装置１００および解析装置２００のハードウェア構成の一例を示す図である。

以下、本発明を適用した解析装置、解析方法、およびプログラムを、図面を参照して説明する。

［概要］
解析装置は、一以上のプロセッサによって実現される。解析装置は、コンテンツ画面に対してユーザによって入力された文字列を取得し、取得した文字列について形態素解析を行い、形態素解析の解析結果から得られた第１形態素の集合から、特定期間に集中して入力される特定ワードを除去する。そして、解析装置は、第１形態素の集合から特定ワードを除去した第２の形態素の集合を取得する。このような処理によって、機械学習の学習精度を向上させる学習データを生成することができ、更に、この学習データを用いて学習モデルを生成した場合、機械学習の学習精度を向上させることができる。

コンテンツ画面とは、例えば、情報を検索するためのクエリを入力させる検索画面である。また、コンテンツ画面とは、例えば、ＳＮＳ（Social Networking Service）において、利用者が閲覧可能なメッセージを投稿させる投稿画面である。

＜第１実施形態＞
［全体構成］
図１は、第１実施形態における解析装置２００を含む解析システム１の一例を示す図である。第１実施形態における解析システム１は、例えば、一以上の端末装置１０と、サービス提供装置１００と、解析装置２００とを備える。これらの装置は、ネットワークＮＷを介して接続される。なお、サービス提供装置１００に含まれる構成の一部または全部は、解析装置２００に含まれていてもよい。

図１に示す各装置は、ネットワークＮＷを介して種々の情報を送受信する。ネットワークＮＷは、例えば、無線基地局、Ｗｉ‐Ｆｉなどのアクセスポイント、ＤＮＳ（Domain Name System）サーバなどの中継機器、通信回線、プロバイダ、インターネットなどを含む。なお、図１に示す各装置の全ての組み合わせが相互に通信可能である必要はなく、ネットワークＮＷは、一部にローカルなネットワークを含んでもよい。

端末装置１０は、ユーザ（利用者）によって使用される装置である。端末装置１０は、例えば、スマートフォンなどの携帯電話、タブレット端末、パーソナルコンピュータなどのコンピュータ装置である。

端末装置１０は、ユーザから所定の操作を受け付けると、ウェブブラウザを介して、サービス提供装置１００が提供するウェブサイトにアクセスする。例えば、サービス提供装置１００により提供されるウェブサイトは、検索サイトやＳＮＳサイトである。また、サービス提供装置１００により提供されるウェブサイトには、ニュースサイトや天気予報サイト、ショッピングサイトなどが含まれていてもよい。

また、端末装置１０は、ユーザから所定の操作を受け付けると、予めインストールされたアプリケーションを介してサービス提供装置１００と通信を行い、アプリケーション上で表示或いは再生するコンテンツを取得する。コンテンツは、例えば、動画データや、画像データ、音声データ、テキストデータなどである。これによって、端末装置１０には、アプリケーションを介して、上述した各種ウェブサイトにより提供されるサービスと同様のサービスが提供される。

サービス提供装置１００は、インターネット上において、上述した検索サイトやＳＮＳサイトなどのウェブサイトを提供するウェブサーバ装置であってよいし、アプリケーションが起動された端末装置１０と通信を行って、各種情報の受け渡しを行うアプリケーションサーバ装置であってもよい。

解析装置２００は、例えば、サービス提供装置１００によりウェブサイトまたはアプリケーションとして提供されるサービスの利用履歴を解析し、その解析結果を機械学習モデルの学習データとして学習モデルを生成する。

［サービス提供装置の構成］
以下、サービス提供装置１００および解析装置２００の各構成について説明する。図２は、第１実施形態におけるサービス提供装置１００の構成の一例を示す図である。図示のように、サービス提供装置１００は、例えば、サービス提供側通信部１０２と、サービス提供側制御部１１０と、サービス提供側記憶部１３０とを備える。

サービス提供側通信部１０２は、例えば、ＮＩＣ（Network Interface Card）などの通信インターフェースやＤＭＡ（Direct Memory Access）コントローラを含む。サービス提供側通信部１０２は、ネットワークＮＷを介して、端末装置１０または解析装置２００などと通信する。

サービス提供側制御部１１０は、例えば、サービス提供部１１２と、ログ収集部１１４と、情報提供部１１６とを備える。サービス提供側制御部１１０の構成要素は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサがサービス提供側記憶部１３０に格納されたプログラム（ソフトウェア）を実行することにより実現される。また、サービス提供側制御部１１０の構成要素の一部または全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitry）により実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

サービス提供側記憶部１３０は、例えば、ＨＤＤ（Hard Disc Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などにより実現される。サービス提供側記憶部１３０は、ファームウェアやアプリケーションプログラムなどの各種プログラムの他に、後述するコーパス元情報Ｄ１、アクセスログ情報Ｄ２、およびユーザ属性情報Ｄ３などを記憶する。

サービス提供部１１２は、例えば、サービス提供装置１００がウェブサーバ装置である場合、サービス提供側通信部１０２により端末装置１０からＨＴＴＰ（Hypertext Transfer Protocol）リクエストが受信されると、このリクエストに対応したウェブページとして、ＨＴＭＬ形式のテキストデータや、ＣＳＳ（Cascading Style Sheets）などのスタイルシート、テキストデータ、画像データ、動画データ、音声データなどのコンテンツを、ＨＴＴＰリクエストの送信元である端末装置１０に送信する。これを受けて、端末装置１０の画面には、ウェブブラウザの機能によりウェブページ（コンテンツ画面の一例）が描画される。

また、サービス提供部１１２は、例えば、サービス提供装置１００がアプリケーションサーバ装置である場合、アプリケーションが起動された端末装置１０からサービス提供側通信部１０２に対して所定のリクエストが送信されると、このリクエストに応じてテキストデータや画像データ、動画データ、音声データなどのコンテンツを、リクエストの送信元である端末装置１０に送信する。端末装置１０は、コンテンツを受信すると、例えば、アプリケーションのインストール時に合わせて取得しておいたスタイルシートなどに基づいて、受信したコンテンツを画面上に配置することで、アプリ用のページ（コンテンツ画面の他の例）を描画する。以下、サービス提供部１１２によりサービスとして提供されるウェブページまたはアプリ用のページを総称して、「電子ページ」と称して説明する。

ログ収集部１１４は、サービス提供部１１２により提供される電子ページにアクセスした端末装置１０から、検索時に入力されたクエリやＳＮＳに投稿されたメッセージなどを所定期間ごとに分けて収集し、これをコーパス元情報Ｄ１としてサービス提供側記憶部１３０に記憶させる。所定期間は、例えば、２４時間単位であってもよいし、週単位であってもよいし、月単位であってもよい。

図３は、コーパス元情報Ｄ１の一例を示す図である。図示の例のように、コーパス元情報Ｄ１は、各ユーザを識別するユーザＩＤ毎に、所定期間に亘ってクエリとして入力された単語や文章、或いは所定期間に亘ってメッセージとして投稿された単語や文章などが文字列として蓄積されたテキストデータである。ユーザＩＤは、例えば、ログインＩＤなどである。例えば、ログインＩＤは、電子ページにアクセスする前に事前にＩＤの認証が求められるログイン画面において入力された固有のＩＤである。文字列は、一つの単語であってもよいし、複数の単語からなる語句（文章）であってもよい。

また、ログ収集部１１４は、電子ページにアクセスした端末装置１０から、端末装置１０の固体識別情報や、上記各種ページにアクセスする前に表示されたログイン画面において入力されたログインＩＤ、リファラ情報、アクセス時に端末装置１０とサービス提供装置１００との間に介在した、Ｗｉ‐ＦｉなどのアクセスポイントやＤＮＳサーバなどの中継機器に関する情報、コンバージョンの成立有無を示す情報などを収集し、これをアクセスログ情報Ｄ２としてサービス提供側記憶部１３０に記憶させる。

図４は、アクセスログ情報Ｄ２の一例を示す図である。図示の例のように、アクセスログ情報Ｄ２は、電子ページごと（コンテンツごと）に、ユーザＩＤに対して、リファラ情報、位置情報、コンバージョン情報などが対応付けられた情報である。リファラ情報は、端末装置１０が、どの電子ページからどの電子ページへとアクセスしたのかを特定するための情報であり、例えば、ハイパーリンクが張られた遷移元の電子ページのＵＲＬ（Uniform Resource Locator）である。位置情報は、例えば、端末装置１０が電子ページにアクセスしたときに、そのアクセス時の通信経路に介在したアクセスポイントやＤＮＳサーバなどの機器に予め対応付けられた位置情報（例えばこれらの機器に割り当てられたＩＰアドレスに含まれる位置情報）であってもよいし、ＧＰＳ（Global Positioning System）などの衛星測位システムを利用して取得された端末装置１０の位置情報であってもよい。コンバージョン情報は、例えば、ユーザＩＤが示す利用者が電子ページを提供する提供主が期待する所定の行動をとったか否かを表す情報と、利用者が所定の行動をとった場合、その行動の種類を示す情報（例えば何を購入したのかという情報）とを含む。所定の行動とは、例えば、提供主が提供する電子ページに掲載された広告画像を選択することや、電子ページで販売される商品またはサービスを購入することなどである。行動の種類を示す情報とは、例えば、利用者がどういった物やサービスを購入したのか、或いはどういった広告を選択したのか、といった情報である。コンバージョンの成立有無については、例えば、リファラ情報や、端末装置１０ごとの各ウェブブラウザにより管理されるクッキー（HTTP cookie）などに基づいて決定されてよい。

また、ログ収集部１１４は、電子ページにアクセスしたユーザを、ユーザＩＤを用いて特定し、特定したユーザの属性情報を収集し、これをユーザ属性情報Ｄ３としてサービス提供側記憶部１３０に記憶させる。

図５は、ユーザ属性情報Ｄ３の一例を示す図である。図示の例のように、ユーザ属性情報Ｄ３は、各ユーザＩＤに対して、性別や年代、興味関心といった属性が対応付けられた情報である。

情報提供部１１６は、サービス提供側通信部１０２を用いて、ログ収集部１１４により収集された各種情報を解析装置２００に送信する。

［解析装置の構成］
図６は、第１実施形態における解析装置２００の構成の一例を示す図である。図示のように、解析装置２００は、例えば、解析側通信部２０２と、解析側制御部２１０と、解析側記憶部２３０とを備える。

解析側通信部２０２は、例えば、ＮＩＣなどの通信インターフェースやＤＭＡコントローラを含む。解析側通信部２０２は、例えば、ネットワークＮＷを介して、サービス提供装置１００などと通信する。

解析側制御部２１０は、例えば、取得部２１２と、形態素解析部２１４と、バズワード除去部２１６と、関連付部２１８と、機械学習処理部２２０と、出力部２２２とを備える。解析側制御部２１０の構成要素は、例えば、ＣＰＵなどのプロセッサが解析側記憶部２３０に格納されたプログラム（ソフトウェア）を実行することにより実現される。また、解析側制御部２１０の構成要素の一部または全部は、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ、またはＧＰＵなどのハードウェア（回路部；circuitry）により実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。取得部２１２は、「第１取得部」および「第３取得部」の一例であり、バズワード除去部２１６は、「除去部」および「第２取得部」の一例である。

解析側記憶部２３０は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、ＲＡＭなどにより実現される。解析側記憶部２３０は、ファームウェアやアプリケーションプログラムなどの各種プログラムの他に、上述したコーパス元情報Ｄ１、アクセスログ情報Ｄ２、およびユーザ属性情報Ｄ３と、バズワード辞書Ｄ４、コーパスＤ５、および機械学習モデルＤ６などを記憶する。バズワード辞書Ｄ４、コーパスＤ５、および機械学習モデルＤ６については後述する。

［教師あり機械学習時の処理フロー］
以下、フローチャートに即して解析側制御部２１０の各構成要素について説明する。図７は、第１実施形態における解析側制御部２１０により実行される一連の処理の一例を示すフローチャートである。本フローチャートの処理は、例えば、所定の周期で繰り返し行われてよい。

まず、取得部２１２は、解析側通信部２０２によってサービス提供装置１００からユーザＩＤごとにコーパス元情報Ｄ１が受信されるまで待機し（Ｓ１００）、ユーザＩＤごとにコーパス元情報Ｄ１が受信されると、これを解析側通信部２０２から取得し、解析側記憶部２３０に記憶させる。同様に、取得部２１２は、アクセスログ情報Ｄ２やユーザ属性情報Ｄ３が解析側通信部２０２によって受信された場合、これらを解析側通信部２０２から取得し、解析側記憶部２３０に記憶させる。

次に、形態素解析部２１４は、ユーザＩＤごとに取得された複数のコーパス元情報Ｄ１に含まれる文字列に対して形態素解析を行い（Ｓ１０２）、文字列を複数の形態素に分割し、分割した複数の形態素の中から、接頭語や助詞などを除いた名詞や形容詞などの単語または語句を抽出する。以下、接頭語や助詞などを除いた名詞や形容詞などの単語または語句のことを「ワード」と総称して説明する。

また、形態素解析部２１４は、コーパス元情報Ｄ１に含まれる文字列を形態素解析により複数の形態素に分割する際に辞書を利用してもよい。例えば、辞書には、ワードになり得る固有名詞が登録されてよい。形態素解析部２１４は、形態素解析時に辞書を参照することで、複数の形態素（例えば「株式」と「会社」）であっても、これらの複数の形態素を一つのワード（例えば「株式会社」）として抽出してよい。コーパス元情報Ｄ１に含まれる文字列に対して形態素解析を行い、その結果として得られたワードの集合は、「第１形態素の集合」の一例である。

次に、バズワード除去部２１６は、解析側記憶部２３０に記憶されたバズワード辞書Ｄ４を参照し、形態素解析結果により得られたワードの集合（第１形態素の集合の一例）からバズワードを除去する（Ｓ１０４）。バズワードとは、例えば、季節性や流行性があると推定されるワードである。言い換えれば、バズワードは、ある特定の周期で周期性を有する季節語や、一時的な流行語を含む。バズワードは、「特定ワード」の一例である。

図８は、バズワード辞書Ｄ４の一例を示す図である。例えば、バズワード辞書Ｄ４には、季節語として「卒業式」や「海水浴」といったワードが登録され、流行語として「××有名人」や「○○有名人」といったワードが登録されている。このようなバズワード辞書Ｄ４に登録されるワードは、例えば、所定期間（例えば１ヶ月）におけるスコアの変化の度合が閾値Ｔｈ以上となるワードである。スコアは、所定のテキストにおいて出現する各ワードについて導出される指標値であり、例えば、所定のテキストに含まれる全ワードに対する当該ワードの出現頻度に関する指標値である。所定のテキストは、例えば、コーパス元情報Ｄ１が示すコーパスであってもよいし、コーパスとは別に予め用意されたテキストであってもよい。

図９は、バズワードを説明するための図である。図中Ｌ１は、例えば、「ｘｙｚモバイル」というワードのスコアの変化を表し、Ｌ２は、例えば、「××有名人」というワードのスコアの変化を表し、Ｌ３は、例えば、「卒業式」というワードのスコアの変化を表している。「ｘｙｚモバイル」というワードは、ある通信会社で使用される端末装置の固有の名称を表している。このようなワードは、一般的には季節等に依存しないことから、どの時期においても、そのワードのスコアの変化の度合は閾値Ｔｈ未満となりやすく、バズワード辞書Ｄ４にバズワードとして登録されにくい。一方で、「××有名人」というワードは、有名人や著名人などの名前を表す流行語であり、その対応する人物が映画やテレビ番組などに出演した際に流行りやすい。このような流行語は、流行している間、一時的にスコアが急上昇するものの、流行していない間は、スコアが０に近い値をとる。従って、流行語は、スコアが上昇または下降するときの変化度合が閾値Ｔｈ以上となりやすく、バズワード辞書Ｄ４にバズワードとして登録されやすい。また、「卒業式」というワードは春先に使用されやすく、この季節語のスコアの変化度合は、その季節で閾値Ｔｈ以上となりやすい。従って、季節語は、バズワード辞書Ｄ４にバズワードとして登録されやすい。なお、スコアの変化の度合を観測する期間である所定期間が、季節語が出現する周期（例えば１年）よりも短い場合において、スコアの変化度合が閾値Ｔｈ以上であれば、そのスコアのワードは、季節語か流行語かが区別されずにバズワードと判断される。形態素解析結果により得られたワードの集合からバズワードが除去された後のワードの集合は、「第２形態素の集合」の一例である。

次に、関連付部２１８は、コーパス元情報Ｄ１およびアクセスログ情報Ｄ２を参照し、バズワードが除去された後のワードの集合（第２形態素の集合の一例）に含まれるワードの元となった文字列に対応付けられたユーザＩＤに基づいて、そのワードの集合に含まれる各ワードと、コンバージョン情報とを互いに関連付けて、コーパスＤ５を生成する（Ｓ１０６）。

例えば、コーパスＤ５は、コンバージョンが成立した一以上のユーザのワードを一つに纏めたワードの集合である。

図１０は、コーパスＤ５の生成方法を模式的に示す図である。例えば、関連付部２１８は、アクセスログ情報Ｄ２を参照し、コンバージョンが成立しているユーザＩＤと、コンバージョンが成立していないユーザＩＤとに分け、更に、コンバージョンが成立しているユーザＩＤを、そのコンバージョンの成立条件である行動の種類ごとに分類する。

例えば、「ＸＹＺモバイル購入」という行動を成立条件としたコンバージョン情報には、その行動をとったユーザのユーザＩＤである「ＵＳＥＲ＿Ａ」や「ＵＳＥＲ＿Ｅ」が分類される。そして、関連付部２１８は、コーパス元情報Ｄ１において、「ＵＳＥＲ＿Ａ」や「ＵＳＥＲ＿Ｅ」のユーザＩＤに対応付けられた文字列から形態素解析により得られたワードと、「ＸＹＺモバイル購入」という行動を成立条件としたコンバージョン情報とを互いに関連付ける。この結果、「ＸＹＺモバイル購入」という行動を成立条件としたコンバージョン情報に対して、「ＵＳＥＲ＿Ａ」の「ｘｙｚモバイル、おもしろ画像、◇◇◇◇ｖｅｒ．５、…」といったワードと、「ＵＳＥＲ＿Ｅ」の「ｘｙｚ○○．ｊｐ、マイエックスワイゼットモバイル、卒業式、…」といったワードとを合わせたワードの集合が関連付けられ、この情報がコーパスＤ５として取得される。

図１１は、バズワードを除去しないときのコーパスＤ５の一例を示す図である。図示の例では、「ＸＹＺモバイル購入」という行動をコンバージョンの成立条件としたコンバージョン情報に関するコーパスＤ５を例示している。図示の例では、「ｘｙｚモバイル」や「卒業式」、「××有名人」といったバズワード（図８参照）が除去されておらず、これらのワードがコーパスＤ５に含まれている。

図１２は、バズワードを除去したときのコーパスＤ５の一例を示す図である。図１１に示すコーパスＤ５に含まれていた「卒業式」、「××有名人」、「○○有名人」といったワードがバズワード辞書Ｄ４に登録されているため、図１２の例では、これらのワードがバズワードとして除去されている。

次に、機械学習処理部２２０は、コーパスＤ５を学習データとして、機械学習のための学習モデルを生成する（Ｓ１０８）。

例えば、機械学習処理部２２０は、コーパスＤ５の其々に含まれるワードを特徴量とし、各特徴量に「コンバージョン成立」または「コンバージョン不成立」のラベルを付与する。より具体的には、機械学習処理部２２０は、コーパスＤ５に含まれるワードの特徴量には、「コンバージョン成立」というラベルを付与し、それ以外のワードの特徴量には、「コンバージョン不成立」というラベルを付与する。そして、機械学習処理部２２０は、ラベルと特徴量との関係に基づいて、形態素であるワードを入力データとした場合に、「コンバージョン成立」または「コンバージョン不成立」のいずれかの分類結果を出力する学習モデルを生成する。

例えば、機械学習処理部２２０は、機械学習の一つの手法であるＳＶＭ（Support Vector Machine）を利用し、各ワードを特徴量とした特徴空間を、コンバージョンが成立したユーザが使用したワードの特徴量と、コンバージョンが成立しなかったユーザが使用したワードの特徴量とに二分する超平面を学習モデルとして決定する。また、機械学習処理部２２０は、ロジスティック回帰やニューラルネットワークなどの他の機械学習の手法を利用し、コンバージョンの成立有無に応じて分類結果を出力する学習モデルを生成してもよい。

機械学習処理部２２０は、生成した学習モデルを機械学習モデルＤ６として解析側記憶部２３０に記憶させる。これ以降、機械学習処理部２２０は、機械学習モデルＤ６が示す学習モデルに従って、対象となるデータを二値に分類する機械学習を実行する。

［運用時の処理フロー］
図１３は、第１実施形態における解析側制御部２１０により実行される一連の処理の他の例を示すフローチャートである。本フローチャートの処理は、例えば、学習モデルが生成された後に実行される。

まず、取得部２１２は、解析側通信部２０２によってサービス提供装置１００から、学習モデル生成時に利用していないコーパス元情報Ｄ１が受信されるまで待機し（Ｓ２００）、学習モデル生成時に利用していないコーパス元情報Ｄ１が受信されると、これを解析側通信部２０２から取得し、解析側記憶部２３０に記憶させる。この際、取得部２１２は、アクセスログ情報Ｄ２やユーザ属性情報Ｄ３が解析側通信部２０２によって受信された場合、これらを解析側通信部２０２から取得し、解析側記憶部２３０に記憶させてもよい。

次に、形態素解析部２１４は、取得部２１２により取得されたコーパス元情報Ｄ１に含まれる文字列に対して形態素解析を行い（Ｓ２０２）、文字列を複数の形態素に分割し、分割した複数の形態素の中から、接頭語や助詞などを除いた名詞や形容詞などの単語または語句をワードとして抽出する。この際、バズワード除去部２１６は、形態素解析により得られたワードからバズワードを除去してもよい。

次に、機械学習処理部２２０は、機械学習モデルＤ６を参照し、この機械学習モデルＤ６が示す学習モデル（学習済みのモデル）に、ユーザが入力した検索ワード等を入力すると、コンバージョンが成立することが予想されるユーザとそうでないユーザとに分類する（Ｓ２０４）。

次に、出力部２２２は、機械学習処理部２２０により分類されたユーザの分類結果を出力する（Ｓ２０６）。例えば、出力部２２２は、解析側通信部２０２を用いて、サービス提供装置１００に対して、誰がコンバージョンに至りやすいのかを示す学習結果を送信する。これを受けて、サービス提供装置１００は、例えば、あるコンバージョンに至りやすくなるユーザに対して、コンバージョンに関連する広告などを配信可能となり、効率的な広告配信等が可能となる。

なお、上述した第１実施形態では、バズワード辞書Ｄ４に登録されたワードをバズワードとして一律に除去するものとして説明したがこれに限られない。例えば、バズワード除去部２１６は、アクセスログ情報Ｄ２に含まれる位置情報や、ユーザ属性情報Ｄ３に含まれる各属性などに基づいて、バズワード辞書Ｄ４に登録されたワードと合致するワードであっても、これをバズワードとして除去しなくてよい。

例えば、バズワード除去部２１６は、「隅田川花火大会」というワードがバズワード辞書Ｄ４に登録されている場合、当該ワードを使用したユーザが関東圏に位置する場合には、「隅田川花火大会」というワードをバズワードとして除去せずにそのまま特徴量として利用するワードとして残し、当該ワードを使用したユーザが関東圏以外に位置する場合にバズワードとして除去してよい。

また、例えば、「ｘｙｚモバイル」というワードに関連して、ｘｙｚモバイルの契約対象者を１０代に限定した「学生割引」といったワードがバズワード辞書Ｄ４に登録されている場合、バズワード除去部２１６は、「学生割引」というワードを使用したユーザの年代が１０代であれば、当該ワードをバズワードとして除去せずにそのまま特徴量として利用するワードとして残し、ユーザの年代が１０代でなければ、当該ワードをバズワードとして除去してよい。また、例えば、ある特定の化粧品の名称を示すワードがバズワード辞書Ｄ４に登録されている場合、バズワード除去部２１６は、そのワードを使用したユーザが女性であれば、当該ワードをバズワードとして除去せずにそのまま特徴量として利用するワードとして残し、ワードを使用したユーザが男性であれば、当該ワードをバズワードとして除去してよい。このように、バズワード除去部２１６は、バズワード辞書Ｄ４に登録されたワードであってもバズワードとして一律に除去するのではなく、ユーザの位置情報や年代、性別などに応じて、バズワードとせずに機械学習の特徴量とするワードとして残すのか、或いはそのままバズワードとして除去するのかを決定してよい。

以上説明した第１実施形態によれば、端末装置１０により表示されたコンテンツ画面に対して入力された検索クエリや投稿メッセージといった各種ワードを含むコーパス元情報Ｄ１を取得する取得部２１２と、取得部２１２により取得されたコーパス元情報Ｄ１に含まれる文字列について形態素解析を行う形態素解析部２１４と、形態素解析部２１４による形態素解析の結果から得られたコーパスＤ５から、特定期間に集中して入力されるバズワードを除去し、バズワードを除去したワードの集合を取得するバズワード除去部２１６と、を備えることにより、機械学習の学習精度を向上させる学習データを生成することができる。この結果、季節性または話題性に左右されることなく、あるコンバージョンに対して成立するユーザの推定精度を向上させることができる学習モデルを生成することができる。

＜第２実施形態＞
以下、第２実施形態について説明する。第２実施形態では、学習モデルに従った学習結果に基づいて、検索クエリ等のメッセージを入力したユーザの中から、コンバージョンに関連した情報（以下、コンバージョン関連情報と称する）を提供する対象のユーザを決定する点で上述した第１実施形態と相違する。以下、第１実施形態との相違点を中心に説明し、第１実施形態と共通する点については説明を省略する。なお、第２実施形態の説明において、第１実施形態と同じ部分については同一符号を付して説明する。

第２実施形態では、例えば、機械学習処理部２２０が、「ｘｙｚモバイルを購入した」ことをコンバージョンの成立条件とした場合、対象のユーザを、ｘｙｚモバイルを購入したユーザと、ｘｙｚモバイルを購入していないユーザとに分類する学習モデルを生成する。このような学習モデルを生成した後、機械学習処理部２２０は、コンバージョンが成立していないユーザや、コンバージョンの成立有無について不明なユーザ（例えば、アクセスログ情報Ｄ２においてコンバージョンの成立有無の情報が欠落したユーザ）のコーパスに含まれるワードの其々を特徴量とし、機械学習モデルＤ６が示す学習モデルに従って、このユーザを「ｘｙｚモバイル」を購入する見込みのあるユーザかそうでないユーザかに分類する。

機械学習処理部２２０は、このような分類の結果として、コンバージョンが成立することが見込まれるユーザに分類された対象ユーザの端末装置１０を、コンバージョン関連情報の提供対象に決定する。上述したように、「ｘｙｚモバイルを購入した」ことをコンバージョンの成立条件とした場合、コンバージョン関連情報は、例えば、「ｘｙｚモバイル」の購入を促進させるための広告やメールなどである。

第２実施形態における出力部２２２は、機械学習処理部２２０による分類結果を、サービス提供装置１００に送信する。

第２実施形態におけるサービス提供装置１００のサービス提供部１１２は、サービス提供側通信部１０２によって解析装置２００から分類結果が受信されると、その分類結果を参照し、コンバージョン関連情報の提供対象として決定されたユーザが使用する端末装置１０に、コンバージョンと関連する広告やメールを配信する。

以上説明した第２実施形態によれば、バズワードが除去されたコーパスを学習データとして、既に生成された学習モデルに従って機械学習を行い、その機械学習による分類結果に基づいてコンバージョン関連情報の提供対象とするユーザを決定するため、そのユーザに、よりターゲティング効果の高い広告やメールを配信することができる。

＜第３実施形態＞
以下、第３実施形態について説明する。第３実施形態では、バズワード辞書Ｄ４に登録されたワードと合致するワードに加えて、更にそのワードに共起する共起ワードもバズワードとして除去する点で上述した第１および第２実施形態と相違する。以下、第１および第２実施形態との相違点を中心に説明し、第１および第２実施形態と共通する点については説明を省略する。なお、第３実施形態の説明において、第１および第２実施形態と同じ部分については同一符号を付して説明する。

第３実施形態におけるバズワード除去部２１６は、例えば、コーパス元情報Ｄ１に対して形態素解析を行って得られたワードの集合（バズワード除去前のワードの集合）の中に、バズワード辞書Ｄ４に登録されたワードと合致するワードが存在する場合、そのワードと共起する共起ワードを導出する。例えば、バズワード除去部２１６は、予め解析側記憶部２３０に記憶させておいた所定のテキストデータの文脈において、バズワード辞書Ｄ４に登録されたワードと共に出現する頻度の高いワードを共起ワードとして導出する。また、バズワード除去部２１６は、所定のテキストデータに代えて、或いは加えて、コーパス元情報Ｄ１の文脈において、バズワード辞書Ｄ４に登録されたワードと共に出現する頻度の高いワードを共起ワードとして導出してもよい。そして、バズワード除去部２１６は、導出した共起ワードがコーパス元情報Ｄ１から得られたワードの集合に含まれていれば、更にその共起ワードもバズワードとして除去する。

図１４は、コーパス元情報Ｄ１に対して形態素解析を行って得られたワードの集合から共起ワードをバズワードとして除去する方法を説明するための図である。図示の例では、ワードＡ、ワードＢ、ワードＣがバズワードとして選択されており、更に、これらのワードに共起した共起ワードが、ワードＡ＃、ワードＢ＃、ワードＣ＃として導出されている。このような場合、バズワード除去部２１６は、コーパス元情報Ｄ１から得られたワードの集合にワードＡ＃、ワードＢ＃、ワードＣ＃が含まれているか否かを判定する。図示の例では、コーパス元情報Ｄ１から得られたワードの集合に、ワードＡ＃のみが含まれている。従って、バズワード除去部２１６は、このワードＡ＃をバズワードとして、コーパス元情報Ｄ１から得られたワードの集合から除去する。なお、バズワード除去部２１６は、対象とするワードに複数のワードが共起している場合、複数のワードの一部または全部を共起ワードとして導出してもよい。

このような処理によって、所定期間においてＳＮＳのメッセージとして使用された回数や検索クエリとして使用された回数が少ないワードであっても、バズワード辞書Ｄ４に登録されたワードに合致するワード（すなわちバズワード）に共起していれば、これを学習モデル生成時に特徴量とするワードから除外しておくことができる。その結果、バズワードに関連したワードの影響を受けずに、より学習精度の高い機械学習を行うことができる。

＜第４実施形態＞
以下、第４実施形態について説明する。第４実施形態では、バズワード辞書Ｄ４に登録されたワードと合致しないワードに共起する共起ワードに基づいて、バズワードとして除去する予定のワードの中で、バズワードとしないワードを決定する点で上述した第１実施形態から第３実施形態と相違する。以下、第１実施形態から第３実施形態との相違点を中心に説明し、第１実施形態から第３実施形態と共通する点については説明を省略する。なお、第４実施形態の説明において、第１実施形態から第３実施形態と同じ部分については同一符号を付して説明する。

第４実施形態におけるバズワード除去部２１６は、例えば、バズワード辞書Ｄ４に登録されたワードと合致しないワードに共起する共起ワードを導出する。例えば、バズワード除去部２１６は、第３実施形態と同様に、予め解析側記憶部２３０に記憶させておいた所定のテキストデータの文脈において、バズワード辞書Ｄ４に登録されたワードと合致しないワードと共に出現する頻度の高いワードを共起ワードとして導出してもよいし、コーパス元情報Ｄ１の文脈において、バズワード辞書Ｄ４に登録されたワードと合致しないワードと共に出現する頻度の高いワードを共起ワードとして導出してもよい。そして、バズワード除去部２１６は、導出した共起ワードが、バズワードとして除去する予定の候補に含まれていれば、そのワードをバズワードの候補から除外し、学習モデル生成時に特徴量とするワードに復帰させる。

図１５は、バズワードとして除去する予定の候補を、学習モデル生成時に特徴量とするワードに復帰させる方法を説明するための図である。図示の例では、ワードＡ、ワードＢ、ワードＣ、ワードＤ＃がバズワードとして選択されており、コーパス元情報Ｄ１から得られたワードの集合の中には、ワードＤ、ワードＦ、ワードＥなどが除去されずに残されている。このような場合、バズワード除去部２１６は、例えば、バズワードとして除去されずに残されたワードの其々に共起した共起ワードを導出する。図示の例では、ワードＤ、ワードＦ、およびワードＥに共起した共起ワードとして、ワードＤ＃、ワードＦ＃、ワードＥ＃が導出されている。この場合、バズワード除去部２１６は、バズワードとして除去する予定のバズワードの候補の中に、ワードＤ＃、ワードＦ＃、ワードＥ＃が含まれているか否かを判定する。図示の例では、バズワードとして除去する予定のバズワードの候補の中に、ワードＤ＃が含まれている。従って、バズワード除去部２１６は、このワードＤ＃をバズワードの候補から除外し、コーパス元情報Ｄ１から得られたワードの集合に復帰させる。なお、バズワード除去部２１６は、対象とするワードに複数のワードが共起している場合、第３実施形態と同様に、共起している複数のワードの一部または全部を共起ワードとして導出してもよい。

このような処理によって、例えば、「○○有名人」というワードなどがバズワードとして選択されたものの、コンバージョンに関連した「ｘｙｚモバイル」というワードの共起ワードに「○○有名人」というワードが含まれていれば、バズワードとして「○○有名人」というワードを除去しなくなる。これにより、例えば、「ｘｙｚモバイル」という製品の広告塔として「○○有名人」が採用されている場合に、「○○有名人」というワードをバズワードとせずにこれを機械学習の特徴量として扱うことができるため、学習データを二値に分類するための学習モデルをより精度良く生成することができる。この結果、より学習精度の高い機械学習を行うことができる。

＜ハードウェア構成＞
上述した実施形態の解析システム１に含まれる複数の装置のうち、サービス提供装置１００および解析装置２００は、例えば、図１６に示すようなハードウェア構成により実現される。図１６は、実施形態のサービス提供装置１００および解析装置２００のハードウェア構成の一例を示す図である。

サービス提供装置１００は、ＮＩＣ１００−１、ＣＰＵ１００−２、ＲＡＭ１００−３、ＲＯＭ１００−４、フラッシュメモリやＨＤＤなどの二次記憶装置１００−５、およびドライブ装置１００−６が、内部バスあるいは専用通信線によって相互に接続された構成となっている。ドライブ装置１００−６には、光ディスクなどの可搬型記憶媒体が装着される。二次記憶装置１００−５、またはドライブ装置１００−６に装着された可搬型記憶媒体に格納されたプログラムがＤＭＡコントローラ（不図示）などによってＲＡＭ１００−３に展開され、ＣＰＵ１００−２によって実行されることでサービス提供側制御部１１０が実現される。ＣＰＵ１００−２が参照するプログラムは、ネットワークＮＷを介して他の装置からダウンロードされてもよい。

解析装置２００は、ＮＩＣ２００−１、ＣＰＵ２００−２、ＲＡＭ２００−３、ＲＯＭ２００−４、フラッシュメモリやＨＤＤなどの二次記憶装置２００−５、およびドライブ装置２００−６が、内部バスあるいは専用通信線によって相互に接続された構成となっている。ドライブ装置２００−６には、光ディスクなどの可搬型記憶媒体が装着される。二次記憶装置２００−５、またはドライブ装置２００−６に装着された可搬型記憶媒体に格納されたプログラムがＤＭＡコントローラ（不図示）などによってＲＡＭ２００−３に展開され、ＣＰＵ２００−２によって実行されることで、解析側制御部２１０が実現される。解析側制御部２１０が参照するプログラムは、ネットワークＮＷを介して他の装置からダウンロードされてもよい。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何ら限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１…解析システム、１０…端末装置、１００…サービス提供装置、１０２…サービス提供側通信部、１１０…サービス提供側制御部、１１２…サービス提供部、１１４…ログ収集部、１１６…情報提供部、１３０…サービス提供側記憶部、２００…解析装置、２０２…解析側通信部、２１０…解析側制御部、２１２…取得部、２１４…形態素解析部、２１６…バズワード除去部、２１８…関連付部、２２０…機械学習処理部、２２２…出力部、２３０…解析側記憶部、Ｄ１…コーパス元情報、Ｄ２…アクセスログ情報、Ｄ３…ユーザ属性情報、Ｄ４…バズワード辞書、Ｄ５…コーパス、Ｄ６…機械学習モデル、ＮＷ…ネットワーク

Claims (15)

1. コンテンツ画面に対してユーザによって入力された文字列を取得する第１取得部と、
   前記第１取得部により取得された前記文字列について形態素解析を行う形態素解析部と、
   前記形態素解析部の解析結果から得られた第１形態素の集合から、特定期間に集中して入力される特定ワードを除去する除去部と、
   前記除去部より前記第１形態素の集合から前記特定ワードが除去された第２の形態素の集合を取得する第２取得部と、
   を備える解析装置。
2. 前記ユーザごとの所定の行動の成立の有無に関するコンバージョン情報を取得する第３取得部を更に備える、
   請求項１に記載の解析装置。
3. 前記第３取得部により取得された前記コンバージョン情報と、前記第２取得部により取得された前記第２の形態素の集合に含まれる形態素とを互いに関連付ける関連付部を更に備える、
   請求項２に記載の解析装置。
4. 前記第２取得部により取得された前記第２の形態素の集合に含まれる形態素を用いて学習し、形態素を入力データとした場合に分類結果を出力する学習モデルを生成する学習処理部を更に備える、
   請求項１から３のうちいずれか１項に記載の解析装置。
5. 前記学習処理部は、前記第２の形態素の集合に含まれる形態素と、前記関連付部により前記第２の形態素の集合に含まれる形態素のそれぞれに関連付けられた前記コンバージョン情報との関係に基づいて、前記学習モデルを生成する、
   請求項４に記載の解析装置。
6. 前記学習モデルは、前記コンテンツ画面に対して入力された文字列から得られた形態素を入力すると、前記文字列から得られた形態素に関連付けられたユーザを、前記所定の行動が成立するユーザか、前記所定の行動が成立しないユーザかのいずれかに分類するものである、
   請求項４または５に記載の解析装置。
7. 前記学習処理部は、前記生成した学習モデルの分類結果に基づいて、前記第１取得部の取得対象である前記文字列を入力したユーザの中から、情報提供の対象とするユーザを決定する、
   請求項４から６のうちいずれか１項に記載の解析装置。
8. 前記コンテンツ画面は、情報を検索するためのクエリを入力可能な検索画面であり、
   前記第１取得部は、前記ユーザが前記検索画面に対して入力したクエリを、前記文字列として取得する、
   請求項１から７のうちいずれか１項に記載の解析装置。
9. 前記コンテンツ画面は、ソーシャルネットワークを利用する利用者が閲覧可能なメッセージを投稿するための投稿画面であり、
   前記第１取得部は、前記ユーザが前記投稿画面に対して入力したメッセージを、前記文字列として取得する、
   請求項１から８のうちいずれか１項に記載の解析装置。
10. 前記除去部は、更に、前記特定ワードと共起する形態素を、前記第１形態素の集合から除去する、
    請求項１から９のうちいずれか１項に記載の解析装置。
11. 前記除去部は、更に、
    前記第１形態素の集合の中で、前記特定ワードに合致しない形態素と共起する形態素を、前記特定ワードとして除去する予定の形態素から除外する、
    請求項１から１０のうちいずれか１項に記載の解析装置。
12. 前記除去部は、更に、前記ユーザの利用者の属性に基づいて、前記第１形態素の集合から、前記特定ワードを除去する、
    請求項１から１１のうちいずれか１項に記載の解析装置。
13. 前記除去部は、更に、前記ユーザの位置情報に基づいて、前記第１形態素の集合から、前記特定ワードを除去する、
    請求項１から１２のうちいずれか１項に記載の解析装置。
14. コンピュータが、
    コンテンツ画面に対してユーザによって入力された文字列を取得し、
    前記取得した前記文字列について形態素解析を行い、
    前記形態素解析の解析結果から得た第１形態素の集合から、特定期間に集中して入力される特定ワードを除去し、
    前記第１形態素の集合から前記特定ワードを除去した第２の形態素の集合を取得する、
    解析方法。
15. コンピュータに、
    コンテンツ画面に対してユーザによって入力された文字列を取得させ、
    前記取得させた前記文字列について形態素解析を行わせ、
    前記形態素解析の解析結果から得られた第１形態素の集合から、特定期間に集中して入力される特定ワードを除去させ、
    前記第１形態素の集合から前記特定ワードを除去させた第２の形態素の集合を取得させる、
    プログラム。

Images