JP2020046991A - 評価装置、評価方法及び評価プログラム - Google Patents

Abstract

【課題】評価対象を適切に評価する。【解決手段】本願に係る評価装置は、所定の評価対象と関連する関連行動（例えば、評価対象に関するコンテンツの閲覧、選択操作、検索クエリの入力等）を行った第１ユーザ群と、当該関連行動を行わなかった第２ユーザ群とを抽出する抽出部と、関連行動を行った後における第１ユーザ群の行動と、関連行動を行わなかった後における第２ユーザ群の行動とに基づいて、所定の評価対象を評価する評価部とを有することを特徴とする。【選択図】図１

Description

本発明は、評価装置、評価方法及び評価プログラムに関する。

従来、コンテンツのコンバージョンに至ることが想定される行動を行ったユーザを抽出する技術が提供されている。例えば、広告コンテンツのコンバージョンに至る特定の行動、並びに、ユーザが特定の行動をとると想定される根拠となる行動（説明行動）を広告主が入力し、特定の行動及び説明行動に基づいて生成したモデルと、広告コンテンツの配信候補であるユーザの行動履歴との類似度に基づいて、特定の行動をとることが予測されるユーザを抽出する技術が提供されている。

特許第６０２３１２９号公報

しかしながら、上記の従来技術では、評価対象を適切に評価できるとは限らない。例えば、上記の従来技術では、モデル生成に用いられる説明行動とは広告主が保持する知見に基づいて入力されるものであり、説明行動等の評価対象がコンバージョンに寄与したか否か適切に評価しているとは限らない。

本願は、上記に鑑みてなされたものであって、評価対象を適切に評価できる評価装置、評価方法及び評価プログラムを提供することを目的とする。

本願に係る評価装置は、所定の評価対象と関連する関連行動を行った第１ユーザ群と、当該関連行動を行わなかった第２ユーザ群とを抽出する抽出部と、前記関連行動を行った後における前記第１ユーザ群の行動と、前記関連行動を行わなかった後における前記第２ユーザ群の行動とに基づいて、前記所定の評価対象を評価する評価部とを有することを特徴とする。

実施形態の一態様によれば、評価対象を適切に評価できるという効果を奏する。

図１は、実施形態に係る評価処理の一例を示す図である。 図２は、実施形態に係る評価処理システムの構成例を示す図である。 図３は、実施形態に係るコンテンツ配信サーバの構成例を示す図である。 図４は、実施形態に係るユーザ情報記憶部の一例を示す図である。 図５は、実施形態に係る評価装置の構成例を示す図である。 図６は、実施形態に係る評価処理手順の一例を示すフローチャートである。 図７は、評価装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に本願に係る評価装置、評価方法及び評価プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る評価装置、評価方法及び評価プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

〔１．実施形態〕
図１を用いて、本実施形態の評価装置等により実現される評価処理を説明する。図１は、実施形態に係る評価処理の一例を示す図である。図１に示す例において、評価処理システム１は、端末装置１０、広告配信サーバ２０、コンテンツ配信サーバ３０及び評価装置１００を有する。端末装置１０と、広告配信サーバ２０と、コンテンツ配信サーバ３０と、評価装置１００とは、図示しない所定の通信網を介して、有線又は無線により通信可能に接続される。なお、図１に示す評価処理システム１は、複数台の端末装置１０や、複数台の広告配信サーバ２０や、複数台のコンテンツ配信サーバ３０や、複数台の評価装置１００が含まれてもよい。

図１に示す端末装置１０は、ユーザによって利用される情報処理装置である。端末装置１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等により実現される。また、端末装置１０は、コンテンツ配信サーバ３０によって配信される情報を、ウェブブラウザやアプリケーションにより表示する。また、端末装置１０は、コンテンツ配信サーバ３０によって配信される情報の表示処理を実現する制御情報をコンテンツ配信サーバ３０から受け取った場合には、制御情報に従って表示処理を実現する。

なお、図１に示す例において、端末装置１０は、ユーザによって利用されるスマートフォンやタブレット等のスマートデバイスである場合を示す。また、図１に示す例では、端末装置１０は、液晶ディスプレイ等の出力部（以下、画面と記載する場合がある）を有し、タッチパネルが採用されているものとする。すなわち、ユーザは、指や専用ペンで出力部の表示面をタッチすることにより端末装置１０の各種操作を行う。また、広告配信サーバ２０及びコンテンツ配信サーバ３０は、端末装置１０との間でやり取りされるクッキー（Ｃｏｏｋｉｅ）情報等にユーザを識別するためのユーザ識別情報（ユーザＩＤ）を含めることにより、端末装置１０を利用するユーザの識別を行うことができる。

図１に示す広告配信サーバ２０は、広告主から入稿された広告を端末装置１０に配信するサーバ装置である。例えば、広告配信サーバ２０は、端末装置１０に広告を配信した際の各ユーザの広告への接触の有無（例えば、インプレッションの有無や、広告の選択操作の有無、など）を収集し、広告に接触したユーザのユーザＩＤを当該広告に対応付けて広告配信サーバ２０の記憶部に格納する。

図１に示すコンテンツ配信サーバ３０は、端末装置１０からの要求に応じて端末装置１０にインストールされたアプリケーション（以下、アプリと記載する場合がある）に表示されるアプリ向けのコンテンツや、ユーザ端末に実装されるブラウザ等に実装されるウェブページを提供するサーバ装置である。例えば、コンテンツ配信サーバ３０は、端末装置１０に配信したコンテンツ等に対するユーザの操作や閲覧等に基づくユーザ属性（例えば、年齢、性別、地域等のデモフラフィック属性や、コンテンツ等の利用履歴に基づいて推定されるサイコグラフィック属性など）や、コンテンツ等におけるユーザの行動履歴を収集し、ユーザＩＤと対応付けてコンテンツ配信サーバ３０の記憶部（ユーザ情報記憶部３３）に格納する。

なお、コンテンツ配信サーバ３０は、端末装置１０に種々のサービスを配信可能であり、例えば、ポータルサイト、ニュースサイト、オークションサイト、天気予報サイト、ショッピングサイト、ファイナンス（株価）サイト、路線検索サイト、地図提供サイト、旅行サイト、飲食店紹介サイト、ウェブブログなどに関するウェブページや、端末装置１０にインストールされた各種アプリ（例えば、ポータルアプリ、ニュースアプリ、オークションサイト、天気予報アプリ、ショッピングアプリ、ファイナンス（株価）アプリ、路線検索アプリ、地図提供アプリ、旅行アプリ、飲食店紹介アプリ、ブログ閲覧アプリ等）に表示する情報を端末装置１０に配信する装置であってもよい。

図１に示す評価装置１００は、広告配信サーバ２０が配信する広告を評価する情報処理装置である。例えば、評価装置１００は、広告配信サーバ２０が配信する広告に接触したユーザ群の行動履歴と、接触しなかったユーザ群の行動履歴とに基づいて、広告を評価する。

以下、図１を用いて、評価装置１００が行う評価処理について説明する。なお、以下の説明では、広告配信サーバ２０は、予め設定された配信期間（例えば、１週間、１ヶ月）において広告Ａの配信を行うものとする。また、以下の説明において、広告に接触したユーザとは、当該ユーザが利用する端末装置１０に配信された広告に対し、選択操作を行ったユーザを示す。

また、以下の説明では、ユーザＩＤ「ＵＮ（Ｎは任意の数）」により識別されるユーザを「ユーザＵＮ」と表記する場合がある。また、以下では、端末装置１０を利用するユーザに応じて、端末装置１０を端末装置１０−１、１０−２として説明する。例えば、端末装置１０−１は、ユーザＵ１により利用される端末装置１０である。また、例えば、端末装置１０−２は、ユーザＵ２により利用される端末装置１０である。また、以下では、端末装置１０−１、１０−２について、特に区別なく説明する場合には、端末装置１０と記載する。

まず、広告配信サーバ２０は、各ユーザが利用する端末装置１０に広告を配信する（ステップＳ１１）。例えば、図１の例において、コンテンツ配信サーバ３０が端末装置１０に配信する種々のサービスにおいて広告Ａを配信期間の間配信する。そして、広告配信サーバ２０は、接触したユーザのユーザＩＤを広告Ａに対応付けて広告配信サーバ２０の記憶部に格納する。

続いて、広告配信サーバ２０は、広告に接触したユーザの情報（ユーザＩＤ）を評価装置１００に送信する（ステップＳ１２）。なお、図１の例において、広告配信サーバ２０は、広告Ａに接触したユーザのユーザＩＤを広告Ａの配信期間が経過した後に評価装置１００に送信してもよいし、配信期間の経過後、評価装置１００からの送信要求に応じてユーザＩＤを送信してもよい。

続いて、評価装置１００は、コンテンツ配信サーバ３０から各ユーザのユーザ属性及び行動履歴を取得する（ステップＳ１３）。例えば、図１の例において、評価装置１００は、広告Ａの配信期間の後、ユーザの行動履歴を蓄積するための所定の期間（例えば、１週間、１ヶ月。以下、「配信後期間」と記載する場合がある）が経過した後にコンテンツ配信サーバ３０のユーザ情報記憶部３３から各ユーザのユーザ属性及び行動履歴を取得する。

続いて、評価装置１００は、各ユーザの中から、広告Ａに接触したユーザ群と、広告Ａに接触したユーザ群と類似性を有するユーザ群とを抽出する（ステップＳ１４）。例えば、図１の例において、評価装置１００は、ステップＳ１２において広告配信サーバ２０から送信された各ユーザＩＤに対応するユーザを広告Ａに接触したユーザ群Ｇ１として抽出する。そして、評価装置１００は、広告Ａに接触しなかったユーザのうち、広告Ａの配信期間（図１に示す期間Ｔ２）より前の期間である配信前期間（図１に示す期間Ｔ１）においてユーザ群Ｇ１との類似性を有するユーザを、ユーザ群Ｇ２として抽出する。

具体的には、評価装置１００は、ステップＳ１３においてコンテンツ配信サーバ３０から取得した情報に基づいて、ユーザ群Ｇ１に属するユーザの配信前期間におけるユーザ属性（例えば、配信前期間におけるユーザのコンテンツ等に対する操作や閲覧等に基づくユーザの年齢、性別、地域等のデモフラフィック属性）と、行動履歴（例えば、入力した検索クエリ、コンテンツの閲覧、電子商取引サービスにおける利用履歴など）から推定される趣味嗜好等とを特定する。ここで、評価装置１００は、ユーザ群Ｇ１に属するユーザのうち、ユーザ属性が「性別：男、年齢：３０代」であるユーザの割合が所定の閾値以上であり、ユーザ群Ｇ１に属するユーザの趣味嗜好を「アウトドア」と特定したものとする。この場合、評価装置１００は、広告Ａに接触しなかったユーザのうち、配信前期間におけるユーザ属性が「性別：男、年齢：３０代」であり、行動履歴から推定される趣味嗜好が「アウトドア」であるユーザをユーザ群Ｇ２として抽出する。

続いて、評価装置１００は、広告Ａの配信期間より後の期間である配信後期間（図１に示す期間Ｔ３）におけるユーザ群Ｇ１及びユーザ群Ｇ２の行動履歴に基づき、広告Ａを評価する（ステップＳ１５）。例えば、評価装置１００は、配信後期間におけるユーザ群Ｇ１の行動履歴に含まれる広告Ａに関する行動（例えば、広告Ａに対応する商品の検索、購買等）と、ユーザ群Ｇ２の行動履歴に含まれる広告Ａに関する行動との比較に基づいて、広告Ａを評価する。例えば、ユーザ群Ｇ１において広告Ａに関する行動がユーザ群Ｇ２よりも多く含まれる場合、評価装置１００は、広告Ａの広告効果（例えば、リフト値）を高く評価する。

このようにして、実施形態に係る評価装置１００は、広告に接触したユーザ群と、広告に接触しなかったユーザ群との比較に基づいて広告を評価する。

従来、コンテンツのリフト値の計測を目的としてＡ／Ｂテストを実施する場合、コンテンツ配信を行う前にＡ／Ｂテストを実施するターゲット群の設定等に手間がかかるという問題がある。更に、コンテンツ配信を行う際には、コンテンツを配信したユーザとの比較を行う為、コンテンツ配信を意図的に実施しないユーザが発生する。この場合、コンテンツへの親和性が高いユーザや、潜在層のユーザを逃し、コンテンツのコンバージョンの機会を失う可能性がある。

これに対し、実施形態に係る評価装置１００は、上記のように、広告に接触したユーザ群と、これに類似するユーザ群であって広告に接触しなかったユーザ群との比較に基づく広告の評価を、広告の配信後に行うことができる。すなわち、実施形態に係る評価装置１００は、広告配信前の設定等の手間を必要とせず、更にコンバージョンの機会を失うことなく、評価対象の広告を適切に評価することを可能とする。

〔２．評価処理システムの構成〕
次に、上述した評価処理を実現するための評価処理システム１について図２を用いて説明する。図２は、実施形態に係る評価処理システムの構成例を示す図である。図２に示すように、実施形態に係る評価処理システム１は、端末装置１０と、広告配信サーバ２０と、コンテンツ配信サーバ３０と、評価装置１００とを含む。端末装置１０、広告配信サーバ２０、コンテンツ配信サーバ３０及び評価装置１００は、ネットワークＮを介して有線または無線により相互に通信可能に接続される。なお、ネットワークＮは、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、電話網（携帯電話網、固定電話網等）、地域ＩＰ（Internet Protocol）網、インターネット等の通信ネットワークである。ネットワークＮには、有線ネットワークが含まれていてもよいし、無線ネットワークが含まれていてもよい。また、図２に示す評価処理システム１には、複数台の端末装置１０や、複数台の広告配信サーバ２０や、複数台のコンテンツ配信サーバ３０や、複数台の評価装置１００が含まれてもよい。

端末装置１０は、ユーザによって利用される情報処理装置である。端末装置１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣや、デスクトップＰＣや、携帯電話機や、ＰＤＡ等により実現され、広告配信サーバ２０や、コンテンツ配信サーバ３０、評価装置１００との間で情報の送受信を行う。また、端末装置１０は、広告配信サーバ２０や、コンテンツ配信サーバ３０によって配信される情報を、ウェブブラウザやアプリケーションにより表示する。また、端末装置１０は、コンテンツ配信サーバ３０によって配信される情報の表示処理を実現する制御情報をコンテンツ配信サーバ３０から受け取った場合には、制御情報に従って表示処理を実現する。

また、端末装置１０は、端末装置１０を利用するユーザの広告配信サーバ２０が配信する広告への接触の有無を広告配信サーバ２０に送信する。また、端末装置１０は、端末装置１０を利用するユーザの属性に関するユーザ属性（例えば、年齢、性別など）や、行動履歴（例えば、インターネットを介した各種のサービスにおける行動履歴など）を取得し、コンテンツ配信サーバ３０に送信する。

広告配信サーバ２０は、広告主から入稿された広告を端末装置１０に配信するサーバ装置である。例えば、広告配信サーバ２０は、端末装置１０に広告を配信した際の各ユーザの広告への接触の有無を収集し、広告に接触したユーザのユーザＩＤを当該広告に対応付けて広告配信サーバ２０の記憶部に格納する。

コンテンツ配信サーバ３０は、端末装置１０からの要求に応じて端末装置１０にインストールされたアプリに表示されるアプリ向けのコンテンツや、端末装置１０に実装されるブラウザ等に実装されるウェブページを提供するサーバ装置である。なお、コンテンツ配信サーバ３０は、アプリケーションのデータそのものを配信するサーバであってもよい。また、コンテンツ配信サーバ３０は、端末装置１０に制御情報を配信する配信装置として機能してもよい。ここで、制御情報は、例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）等のスクリプト言語やＣＳＳ（Cascading Style Sheets）等のスタイルシート言語により記述される。なお、コンテンツ配信サーバ３０から配信されるアプリそのものを制御情報とみなしてもよい。コンテンツ配信サーバ３０の構成は後述する。

評価装置１００は、広告配信サーバ２０が配信する広告を評価する情報処理装置である。例えば、評価装置１００は、広告配信サーバ２０が配信する広告に接触したユーザ群の行動履歴と、接触しなかったユーザ群の行動履歴とに基づいて、広告を評価する。評価装置１００の構成は後述する。

〔３．コンテンツ配信サーバの構成〕
次に、図３を用いて、コンテンツ配信サーバ３０の構成について説明する。図３は、実施形態に係るコンテンツ配信サーバの構成例を示す図である。図３に示すように、コンテンツ配信サーバ３０は、通信部３１と、記憶部３２と、制御部３４とを有する。

（通信部３１について）
通信部３１は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部３１は、ネットワークＮと有線または無線で接続され、端末装置１０、広告配信サーバ２０、評価装置１００等との間で情報の送受信を行う。

（記憶部３２について）
記憶部３２は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図３に示すように、記憶部３２は、ユーザ情報記憶部３３を有する。

（ユーザ情報記憶部３３について）
ユーザ情報記憶部３３は、各ユーザの属性や、インターネットを介した各種のサービスにおける行動履歴などのユーザに関するユーザ情報を記憶する。ここで、図４を用いて、ユーザ情報記憶部３３が記憶する情報の一例を説明する。図４は、実施形態に係るユーザ情報記憶部の一例を示す図である。図４の例において、ユーザ情報記憶部３３は、「ユーザＩＤ」、「ユーザ属性」、「行動履歴」といった項目を有する。

「ユーザＩＤ」は、ユーザを識別するためのユーザ識別情報を示す。「ユーザ属性」は、ユーザの属性に関する情報であり、「性別」、「年齢」といった項目が含まれる。「性別」は、ユーザの性別を示す。「年齢」は、ユーザの年齢を示す。「行動履歴」は、コンテンツ配信サーバ３０が端末装置１０に配信したコンテンツ等における各ユーザの行動履歴を示すものであり、例えば、ユーザが入力した検索クエリ、コンテンツの閲覧、電子商取引サービスにおける利用履歴などが格納される。

すなわち、図５では、性別が「男」、年齢が「３０代」であり、ユーザＩＤ「Ｕ１」によって識別されるユーザの行動履歴が「履歴１１」である例を示す。

（制御部３４について）
制御部３４は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、コンテンツ配信サーバ３０内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部３４は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。実施形態に係る制御部３４は、図３に示すように、受付部３５と、送信部３６とを有し、以下に説明する情報処理の機能や作用を実現または実行する。

（受付部３５について）
受付部３５は、ユーザ属性及び行動履歴の送信要求を評価装置１００から受け付ける。

（送信部３６について）
送信部３６は、評価装置１００からの送信要求に応じて、ユーザ属性及び行動履歴を評価装置１００に送信する。

〔４．評価装置の構成〕
次に、図５を用いて、評価装置１００の構成について説明する。図５は、実施形態に係る評価装置の構成例を示す図である。図５に示すように、評価装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。

（通信部１１０について）
通信部１１０は、例えば、ＮＩＣ等によって実現される。そして、通信部１１０は、ネットワークＮと有線または無線で接続され、端末装置１０、広告配信サーバ２０、コンテンツ配信サーバ３０等との間で情報の送受信を行う。

（記憶部１２０について）
記憶部１２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。

（制御部１３０について）
制御部１３０は、コントローラであり、例えば、ＣＰＵやＭＰＵ等によって、評価装置１００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。実施形態に係る制御部１３０は、図５に示すように、抽出部１３１と、評価部１３２とを有し、以下に説明する情報処理の機能や作用を実現または実行する。

（抽出部１３１について）
抽出部１３１は、所定の評価対象と関連する関連行動を行った第１ユーザ群と、当該関連行動を行わなかった第２ユーザ群とを抽出する。例えば、図１の例において、抽出部１３１は、広告Ａに接触したユーザ群Ｇ１と、広告Ａに接触しなかったユーザ群Ｇ２とを抽出する。

また、抽出部１３１は、関連行動を行う前の第１ユーザ群と所定の類似性を有する第２ユーザ群を抽出してもよい。例えば、図１の例において、抽出部１３１は、広告Ａに接触しなかったユーザのうち、広告Ａの配信期間より前の期間である配信前期間においてユーザ群Ｇ１との類似性を有するユーザを、ユーザ群Ｇ２として抽出する。

また、抽出部１３１は、関連行動を行う前の第１ユーザ群と属性または行動が類似する第２ユーザ群を抽出してもよい。例えば、抽出部１３１は、関連行動を行う前の第１ユーザ群の行動履歴や、行動履歴から推定されるデモフラフィック属性、サイコグラフィック属性が類似する第２ユーザ群を抽出する。例えば、図１の例において、抽出部１３１は、
コンテンツ配信サーバ３０から取得した情報に基づいて、ユーザ群Ｇ１に属するユーザの配信前期間におけるユーザ属性と、行動履歴から推定される趣味嗜好等とを特定する。そして、特定したユーザ群Ｇ１に属するユーザのユーザ属性及び趣味嗜好が類似するユーザをユーザ群Ｇ２として抽出する。

また、抽出部１３１は、所定の期間内に関連行動を行った第１ユーザ群と、当該所定の期間内に関連行動を行わなかった第２ユーザ群とを抽出してもよい。例えば、図１の例において、抽出部１３１は、広告Ａの配信期間内に広告Ａに接触したユーザをユーザ群Ｇ１として抽出し、広告Ａの配信期間内に広告Ａに接触しなかったユーザをユーザ群Ｇ２として抽出する。

（評価部１３２について）
評価部１３２は、関連行動を行った後における第１ユーザ群の行動と、関連行動を行わなかった後における第２ユーザ群の行動とに基づいて、所定の評価対象を評価する。例えば、図１の例において、評価部１３２は、広告Ａに接触した後におけるユーザ群Ｇ１の行動履歴と、広告Ａに接触しなかった後におけるユーザ群Ｇ２の行動履歴とに基づき、広告Ａを評価する。

また、評価部１３２は、関連行動を行った後における所定の評価対象に関する第１ユーザ群の行動と、関連行動を行わなかった後における所定の評価対象に関する第２ユーザ群の行動とに基づいて、所定の評価対象を評価してもよい。例えば、図１の例において、評価部１３２は、ユーザ群Ｇ１の行動履歴に含まれる広告Ａに関する行動（例えば、広告Ａに対応する商品の検索、購買等）と、ユーザ群Ｇ２の行動履歴に含まれる広告Ａに関する行動との比較に基づいて、広告Ａを評価する。

また、評価部１３２は、所定の評価対象に関する第１ユーザ群の行動の回数が、所定の評価対象に関する第２ユーザ群の行動の回数よりも多い場合、所定の評価対象を高く評価してもよい。例えば、図１の例において、評価部１３２は、ユーザ群Ｇ１において広告Ａに関する行動がユーザ群Ｇ２よりも多く含まれる場合、評価装置１００は、広告Ａの広告効果を高く評価する。

また、評価部１３２は、所定の期間後における第１ユーザ群及び第２ユーザ群の行動に基づいて、所定の評価対象を評価する。例えば、図１の例において、評価部１３２は、広告Ａの配信期間より後の期間である配信後期間におけるユーザ群Ｇ１及びユーザ群Ｇ２の行動履歴に基づき、広告Ａを評価する。

〔５．評価処理のフロー〕
ここで、図６を用いて、実施形態に係る評価処理システム１の情報処理の手順について説明する。図６は、実施形態に係る評価処理手順の一例を示すフローチャートである。

図６に示すように、評価装置１００は、所定の評価対象と関連する関連行動を行ったユーザの情報を取得する（ステップＳ１０１）。例えば、図１の例において、評価装置１００は、広告配信サーバ２０から広告に接触したユーザの情報（ユーザＩＤ）を取得する。続いて、評価装置１００は、コンテンツ配信サーバ３０から、各ユーザのユーザ属性及び行動履歴を取得する（ステップＳ１０２）。

続いて、評価装置１００は、ユーザ群を抽出する（ステップＳ１０３）。例えば、図１の例において、評価装置１００は、広告Ａに接触したユーザ群Ｇ１と、広告Ａに接触したユーザ群と類似性を有するユーザ群Ｇ２とを抽出する。続いて、評価装置１００は、各ユーザ群の行動履歴に基づき、評価対象を評価する（ステップＳ１０４）。例えば、図１の例において、評価装置１００は、広告Ａの配信期間より後の期間である配信後期間におけるユーザ群Ｇ１及びユーザ群Ｇ２の行動履歴に基づき、広告Ａを評価する。

〔６．変形例〕
上述の実施形態は一例を示したものであり、種々の変更及び応用が可能である。

〔６−１．評価対象について〕
上述の実施形態において、評価装置１００が広告を評価する例を示したが、評価装置１００は、広告に限らず、種々のコンテンツや、商品、役務等を評価対象として評価してもよい。

〔６−２．抽出するユーザ群について〕
上述の実施形態において、評価装置１００が評価対象である広告に対し選択操作を行ったか否かに基づいてユーザ群を抽出する例を示したが、評価装置１００は上述した例に限られない。例えば、評価対象に関連するコンテンツの配信の有無や、評価対象に関連する検索クエリの入力の有無、評価対象に関連する商品の購買の有無など、各ユーザが行った評価対象に関連する種々の行動に基づいて、評価装置１００はユーザ群を抽出してもよい。

〔６−３．広告の配信前におけるユーザ群の抽出について〕
図１に示す実施形態において、評価装置１００が広告Ａの配信後に、広告Ａに接触したユーザ群Ｇ１を抽出し、広告Ａに接触しなかったユーザのうち、広告Ａの配信期間より前の期間である配信前期間においてユーザ群Ｇ１との類似性を有するユーザをユーザ群Ｇ２として抽出する例を示した。しかし、評価装置１００は上述した例に限られない。例えば、評価装置１００は、広告の配信前に所定の類似性を有するユーザ群を抽出してもよい。具体的には、評価装置１００は、コンテンツ配信サーバ３０から取得したユーザ属性及び行動履歴が類似するユーザ群を抽出し、当該ユーザ群に関する情報を広告配信サーバ２０に送信する。そして、広告配信サーバ２０が上記ユーザ群に広告を配信した後、評価装置１００は、上記ユーザ群のうち広告に接触したユーザの広告配信後の行動と、上記ユーザ群のうち広告に接触しなかったユーザの広告配信後の行動とに基づいて、広告を評価する。

〔７．効果〕
上述してきたように、実施形態に係る評価装置１００は、抽出部１３１と、評価部１３２とを有する。抽出部１３１は、所定の評価対象と関連する関連行動を行った第１ユーザ群と、当該関連行動を行わなかった第２ユーザ群とを抽出する。また、評価部１３２は、関連行動を行った後における第１ユーザ群の行動と、関連行動を行わなかった後における第２ユーザ群の行動とに基づいて、所定の評価対象を評価する。

これにより、実施形態に係る評価装置１００は、評価対象に関連する行動を行った後のユーザ群の行動と、評価対象に関連する行動を行わなかった後のユーザ群の行動との比較に基づいて評価対象を評価することにより、評価対象によってユーザの行動が変化するか否か評価できるため、評価対象を適切に評価できる。

また、実施形態に係る評価装置１００において、例えば、抽出部１３１は、関連行動を行う前の第１ユーザ群と所定の類似性を有する第２ユーザ群を抽出する。

これにより、実施形態に係る評価装置１００は、類似性を有する各ユーザ群における、関連行動を行ったか否かによって生じる行動の変化に基づいて評価対象を評価できるため、評価対象を適切に評価できる。

また、実施形態に係る評価装置１００において、例えば、抽出部１３１は、関連行動を行う前の第１ユーザ群と属性または行動が類似する第２ユーザ群を抽出する。

これにより、実施形態に係る評価装置１００は、属性または行動が類似する各ユーザ群における、関連行動を行ったか否かによって生じる行動の変化に基づいて評価対象を評価できるため、評価対象を適切に評価できる。

また、実施形態に係る評価装置１００において、例えば、評価部１３２は、関連行動を行った後における所定の評価対象に関する第１ユーザ群の行動と、関連行動を行わなかった後における所定の評価対象に関する第２ユーザ群の行動とに基づいて、所定の評価対象を評価する。

これにより、実施形態に係る評価装置１００は、評価対象に関する各ユーザ群の行動に基づいて評価対象を評価できるため、評価対象を適切に評価できる。

また、実施形態に係る評価装置１００において、例えば、評価部１３２は、所定の評価対象に関する第１ユーザ群の行動の回数が、所定の評価対象に関する第２ユーザ群の行動の回数よりも多い場合、所定の評価対象を高く評価する。

これにより、実施形態に係る評価装置１００は、評価対象に関する行動の多寡に基づいて評価対象を評価できるため、評価対象を適切に評価できる。

また、実施形態に係る評価装置１００において、例えば、抽出部１３１は、所定の期間内に関連行動を行った第１ユーザ群と、当該所定の期間内に関連行動を行わなかった第２ユーザ群とを抽出する。また、評価部１３２は、所定の期間後における第１ユーザ群及び第２ユーザ群の行動に基づいて、所定の評価対象を評価する。

これにより、実施形態に係る評価装置１００は、所定の期間内における評価対象に対する行動によってユーザのその後の行動が変化するか否か評価できるため、評価対象を適切に評価できる。

〔８．ハードウェア構成〕
また、上述してきた各実施形態に係る評価装置は、例えば図７に示すような構成のコンピュータ１０００によって実現される。以下、評価装置１００を例に挙げて説明する。図７は、評価装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を記憶する。通信インターフェイス１５００は、通信網５００（実施形態のネットワークＮに対応する）を介して他の機器からデータを受信してＣＰＵ１１００へ送り、また、通信網５００を介してＣＰＵ１１００が生成したデータを他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して生成したデータを出力装置へ出力する。

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラム又はデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が評価装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。また、ＨＤＤ１４００には、記憶部１２０内の各データが格納される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。

〔９．その他〕
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上述した評価装置１００は、機能によっては外部のプラットフォーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。

また、特許請求の範囲に記載した「部」は、「手段」や「回路」などに読み替えることができる。例えば、抽出部は、抽出手段や抽出回路に読み替えることができる。

１ 評価処理システム
１０ 端末装置
２０ 広告配信サーバ
３０ コンテンツ配信サーバ
３１ 通信部
３２ 記憶部
３３ ユーザ情報記憶部
３４ 制御部
３５ 受付部
３６ 送信部
１００ 評価装置
１１０ 通信部
１２０ 記憶部
１３０ 制御部
１３１ 抽出部
１３２ 評価部

Claims (8)

1. 所定の評価対象と関連する関連行動を行った第１ユーザ群と、当該関連行動を行わなかった第２ユーザ群とを抽出する抽出部と、
   前記関連行動を行った後における前記第１ユーザ群の行動と、前記関連行動を行わなかった後における前記第２ユーザ群の行動とに基づいて、前記所定の評価対象を評価する評価部と
   を有することを特徴とする評価装置。
2. 前記抽出部は、
   前記関連行動を行う前の前記第１ユーザ群と所定の類似性を有する前記第２ユーザ群を抽出する
   ことを特徴とする請求項１に記載の評価装置。
3. 前記抽出部は、
   前記関連行動を行う前の前記第１ユーザ群と属性または行動が類似する前記第２ユーザ群を抽出する
   ことを特徴とする請求項１または２に記載の評価装置。
4. 前記評価部は、
   前記関連行動を行った後における前記所定の評価対象に関する前記第１ユーザ群の行動と、前記関連行動を行わなかった後における前記所定の評価対象に関する前記第２ユーザ群の行動とに基づいて、前記所定の評価対象を評価する
   ことを特徴とする請求項１から３のいずれか一つに記載の評価装置。
5. 前記評価部は、
   前記所定の評価対象に関する前記第１ユーザ群の行動の回数が、前記所定の評価対象に関する前記第２ユーザ群の行動の回数よりも多い場合、前記所定の評価対象を高く評価する
   ことを特徴とする請求項４に記載の評価装置。
6. 前記抽出部は、
   所定の期間内に前記関連行動を行った前記第１ユーザ群と、当該所定の期間内に前記関連行動を行わなかった第２ユーザ群とを抽出し、
   前記評価部は、
   前記所定の期間後における前記第１ユーザ群及び前記第２ユーザ群の行動に基づいて、前記所定の評価対象を評価する
   ことを特徴とする請求項１から５のいずれか一つに記載の評価装置。
7. コンピュータが実行する評価方法であって、
   所定の評価対象と関連する関連行動を行った第１ユーザ群と、当該関連行動を行わなかった第２ユーザ群とを抽出する抽出工程と、
   前記関連行動を行った後における前記第１ユーザ群の行動と、前記関連行動を行わなかった後における前記第２ユーザ群の行動とに基づいて、前記所定の評価対象を評価する評価工程と
   を含むことを特徴とする評価方法。
8. 所定の評価対象と関連する関連行動を行った第１ユーザ群と、当該関連行動を行わなかった第２ユーザ群とを抽出する抽出手順と、
   前記関連行動を行った後における前記第１ユーザ群の行動と、前記関連行動を行わなかった後における前記第２ユーザ群の行動とに基づいて、前記所定の評価対象を評価する評価手順と
   をコンピュータに実行させることを特徴とする評価プログラム。

Images