JP2020154529A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】広告の有意差検定をするための信頼性のある効果量を導出することができる情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】集計システム１において、情報処理装置１００の取得部１１０は、管理者端末２０を介して広告およびアンケートの集計に関する指示を受け付ける。集計部１２０は、取得部１１０により取得された情報を集計することで、広告の配信結果や、アンケートの回答結果を集計する。計算部１３０は、所定のサービスとして提供されるコンテンツの訪問回数ごとにオッズ比を計算し、訪問回数毎のオッズ比を統合して共通オッズ比を計算し、訪問回数毎のオッズ比に対して有意差検定に好適な重みを作用させて共通オッズ比を計算する。効果量導出部１４０は、計算部１３０による計算結果に基づいて、効果量を導出する。【選択図】図３

Description

本発明は、情報処理装置、情報処理方法、およびプログラムに関する。

従来、第１の質問に対する二者択一の回答結果と第２の質問に対する二者択一の回答結果とに基づくデータ集団のうち特定の１つの事象のデータ集団のオッズ比を算出して、前記統計データをユーザに提供する技術情報が開示されている（特許文献１参照）。

特開２０１７−３３５２７号公報

しかしながら、上記従来の技術では、データ集団に何らかのバイアスがかかっている場合や、オッズ比の算出のために抽出したサンプル集団に何らかのバイアスがかかっている場合に正しいオッズ比が算出されず、算出結果の統計学的な精度が低くなる可能性があった。

本発明は、このような事情を考慮してなされたものであり、有意差検定をするための信頼性のある効果量を導出することができる情報処理装置、情報処理方法、およびプログラムを提供することを目的の一つとする。

本発明の一態様は、ネットワークを介して所定のサービスとして提供されるコンテンツに付随する広告が表示された表示回数と、広告に関連するアンケートに対するユーザの回答結果を取得する取得部と、前記所定のサービスとして提供されるコンテンツの訪問回数ごとにオッズ比を計算し、前記訪問回数毎のオッズ比を統合して共通オッズ比を計算する計算部であって、前記訪問回数毎のオッズ比に対して有意差検定に好適な重みを作用させて前記共通オッズ比を計算する計算部と、を備える、情報処理装置である。

本発明の一態様によれば、有意差検定をするための信頼性のある効果量を導出することができる。

コンテンツにおける広告の表示態様を説明する図。 コンテンツにおける広告に関連するアンケートの表示態様を説明する図。 情報処理装置１００を含む集計システム１の模式図。 ユーザのＵＢ数とコンテンツへの利用頻度との関係を説明するためのグラフ。 オッズ比の計算元情報を示す図。 共通オッズ比の計算元情報を示す図。 効果量の利用例を示す図。 情報処理装置１００の処理の流れの一例を示すフローチャート。

以下、図面を参照し、本発明の情報処理装置、情報処理方法、およびプログラムの実施形態について説明する。

［概要］
情報処理装置は、一以上のプロセッサにより実現される。情報処理装置は、所定のサービスとして提供されるコンテンツに付随する広告領域に広告が表示された表示回数と、広告に関連するアンケートに対するユーザの回答結果を取得して、広告による効果をオッズ比や共通オッズ比を用いて評価したり、オッズ比や共通オッズ比を用いて有意差検定を行ったりするための装置である。

所定のサービスとして提供されるコンテンツとは、ネットワークを介して提供される情報サービスのウェブサイト（例えば、ニュース情報サービスや、金融情報提供サービスなど）や、専用サービスを提供するアプリケーションを介して提供される情報サービスのことである。このようなコンテンツは、主目的である表示内容に付随して広告画像が表示される場合がある。

インバナーサーベイ（In-banner Survey）とは、上述のようなコンテンツに付随する広告の表示箇所に、広告提供者に関係するアンケート（サーベイ）を表示することにより、広告の効果を計測する手法である。インバナーサーベイは、例えば、コンテンツユーザに対する広告主のイメージ調査や商品・サービス・企業に対する認知度などを推定するためのアンケートを通じて、広告の効果を推定するために用いられる。

図１は、コンテンツにおける広告の表示態様を説明する図である。図示のコンテンツ画像ＩＭ１は、例えば、主たるコンテンツの表示画像ＩＭ１−Ａと、コンテンツに付随する広告画像ＩＭ１−Ｂとを含む態様でユーザのスマートフォンなどの端末装置に表示される。

図２は、コンテンツにおける広告に関連するアンケートの表示態様を説明する図である。図２の左図は、図１において広告画像ＩＭ１−Ｂが表示されていた領域にインバナーサーベイ画像である画像ＩＭ２−Ｂが表示された例である。画像ＩＭ２−Ｂには、質問事項（例えば、図示の「ＸＸＸジュースを知っていますか？」など）と、その質問事項に対する回答ボタンＢ１〜Ｂ３がユーザの端末装置に表示される。

図２の右図は、インバナーサーベイに対する回答を受け付けた後の表示画像ＩＭ３−Ｂの一例である。ユーザにより回答ボタンＢ１〜Ｂ３のいずれかが押下された場合、回答ボタンＢ１〜Ｂ３を含む画像ＩＭ２−Ｂの代わりに、回答を受け付けたことを示す表示画像ＩＭ３−Ｂが表示される。

インバナーサーベイが行われる場合、対象の広告を表示したコンテンツユーザを特定した上で、アンケートを表示することにより広告の効果を計測することがある。しかしながら、このような調査方法を採用した場合、対象の広告を表示したコンテンツユーザ（以下、「広告接触者」と称する場合がある）を特定した上で、アンケートを表示するという配信アルゴリズムを実現する必要がある。この手法を採用した場合、アンケート分析結果から容易に広告の効果量を推定することができるが、広告およびアンケートの配信が困難である。アンケート表示を行うために広告接触者であるか否かを特定する方法は、「バケット分割」または「バケット管理」と称される場合がある。

一方、広告接触者であるか否かを特定せずに無作為に広告およびアンケートを配信し、配信結果の集計時にアンケート回答者が広告接触者であるか否かを特定してからアンケート回答結果を分析し、その分析結果の有意性を評価することで広告の効果量を推定する手法がある。以下の説明において、広告接触者であるか否かを特定せずに無作為に広告およびアンケートを配信する方法は、「バケット非分割」と称する場合がある。

バケット非分割でアンケート調査が行われる場合、アンケート集計時にアンケートの回答結果に対応付いたユーザが広告接触者であるか否かを特定する必要があるだけではなく、アンケート集計結果における回答者（標本）のバイアス（系統誤差）の補正を行う必要がある。バイアスとは、観測値から得た母集団の推定値と、真の値との間にある偶然にできたものではない差異のことである。

上述のように、バケット非分割でアンケート調査が行われる場合、高頻度でコンテンツを利用するユーザに対してアンケートが配信される可能性が高いといえる。すなわち、アンケート表示されるユーザの集団とアンケート表示されないユーザの集団とに大きな違い（選択バイアス）が発生する可能性が高いと言える。

そこで、本発明においては、バケット非分割でアンケート集計を行い、その集計結果に基づいて有意差検定に用いることができる指標を導出したり、導出した指標を用いて有意差検定を行ったりすることでバイアスの補正を行うことができる情報処理装置、情報処理方法、およびプログラムを提供することを目的とする。

［全体構成］
図３は、情報処理装置１００を含む集計システム１の模式図である。実施形態における集計システム１は、１つ以上の端末装置１０−１〜１０−ａ（ａは自然数）と、管理者端末２０と、１つ以上のサービスサーバ３００−１〜３００−ｂ（ｂは自然数）とを備える。これらの装置は、ネットワークＮＷを介して互いに接続される。ネットワークＮＷは、例えば、無線基地局、Ｗｉ−Ｆｉアクセスポイント、通信回線、プロバイダ、インターネットなどを含む。なお、図１に示す各装置の全ての組み合わせが相互に通信可能である必要はなく、ネットワークＮＷは、一部にローカルなネットワークを含んでもよい。また、集計システム１は、サービスサーバ３００−１〜３００−ｂと接続された記憶装置２００をさらに備える。

端末装置１０−１〜１０−ａは、コンテンツユーザの利用する端末であって、例えば、スマートフォンなどの携帯電話、タブレット端末、パーソナルコンピュータ等である。以下の説明において、個々の端末装置１０−１〜１０−ａを区別しない場合には、単に端末装置１０と呼ぶ。

管理者端末２０は、後述する情報処理装置１００を利用するユーザ（例えば、サービス提供者）の利用する端末であって、例えば、スマートフォンなどの携帯電話、タブレット端末、パーソナルコンピュータ等である。

記憶装置２００は、例えば、ＨＤＤ（Hard Disc Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）などにより実現される。記憶装置２００には、サービスサーバ３００によるサービスに関連する情報が格納される。記憶装置２００には、例えば、ユーザ情報２１０、広告配信結果情報２２０、アンケート配信結果情報２３０、アンケート回答結果情報２４０などの情報が記憶される。

サービスサーバ３００−１〜３００−ｂは、コンテンツを提供するサーバであって、例えば、ユーザにより操作される端末装置１０からのリクエストに対応するウェブページを提供するウェブサーバ、アプリケーションが起動された端末装置１０と通信を行って各種情報の受け渡しを行ってコンテンツ情報を提供するアプリケーションサーバなどである。サービスサーバ３００−１〜３００−ｂは、例えば、ニュースを提供するサービスやショッピングサービス、オークションサービス、マッチングサービス、金融決済サービス、ナビゲーションサービス、ウェブメールサービスなどを、ネットワークＮＷを介して端末装置１０のブラウザや専用アプリケーションなどに提供する。以下の説明において、個々のサービスサーバ３００−１〜３００−ｂを区別しない場合には、単にサービスサーバ３００と呼ぶ。また、サービスサーバ３００の構成要素においても同様にハイフン以下の数字を省略する場合がある。

サービスサーバ３００は、例えば、コンテンツ提供部３１０と、広告配信部３２０とを備える。コンテンツ提供部３１０は、サービスサーバ３００によるサービスを提供するためのコンテンツを端末装置１０に提供する。広告配信部３２０は、コンテンツ提供部３１０がコンテンツを提供する際に、広告を付随させて配信する。

情報処理装置１００は、例えば、取得部１１０と、集計部１２０と、計算部１３０と、効果量導出部１４０と、検定部１５０と、出力部１６０とを備える。情報処理装置１００の構成要素の一部または全部は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサが記憶装置に格納されたプログラムを実行することにより実現される。また、情報処理装置１００の構成要素の一部または全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアにより実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

取得部１１０は、管理者端末２０を介して管理者からの広告およびアンケートの集計に関する指示を受け付ける。取得部１１０は、受け付けた広告およびアンケートの集計に関する指示に基づいて、記憶装置２００に格納された情報の一部または全部を取得する。取得部１１０は、取得した情報を集約して、新たな情報を自ら作成してもよく、例えば、ユーザ情報２１０と広告配信結果情報２２０とを集約することで、ユーザが広告接触者であるか否かについての情報を作成する。

集計部１２０は、取得部１１０により取得された情報を集計することで、広告の配信結果や、アンケートの回答結果を集計する。

計算部１３０は、所定のサービスとして提供されるコンテンツの訪問回数ごとにオッズ比を計算したり、訪問回数毎のオッズ比を統合して共通オッズ比を計算して、訪問回数毎のオッズ比に対して有意差検定に好適な重みを作用させて共通オッズ比を計算したりする。オッズ比および共通オッズ比は、有意差検定に用いることができる指標の一例である。

効果量導出部１４０は、計算部１３０による計算結果に基づいて、効果量（リフト）を導出する。効果量導出部１４０による処理の詳細については後述する。

検定部１５０は、計算部１３０による計算結果に関する検定処理を行う。計算結果に関する検定処理とは、例えば、有意差検定である。検定部１５０による計算処理については後述する。

出力部１６０は、集計部１２０による集計結果、計算部１３０による計算結果、効果量導出部１４０により導出された効果量または検定部１５０による検定結果の一部または全部を出力する。

なお、以下の説明において、対象の広告を表示していないコンテンツユーザ、すなわち広告接触者でないユーザを「広告非接触者」と称する。なお、コンテンツに対象の広告が表示された場合であっても、表示時間が０．１［ｓｅｃ］程度と非常に短くユーザが広告を認識していない可能性が高いには、広告非接触であるものとして扱われてもよい。

［バイアス］
以下、広告接触者群と広告非接触者群の間のバイアスについて説明する。図４は、アンケートの集計結果とユーザの属性を説明するためのグラフである。効果量導出部１４０は、例えば、図示のようなアンケートの集計結果をユーザのＵＢ（Unique Browser）数とコンテンツへの利用頻度との関係を特定した上で、広告の効果量を推定する。ＵＢ数とは、コンテンツへのブラウザ毎の訪問回数のことである。例えば、１名のユーザがパーソナルコンピュータのブラウザと、スマートフォンのブラウザと、スマートフォンの専用アプリケーションのそれぞれからコンテンツにアクセスする場合、ＵＢ数は「３」である。コンテンツへの利用頻度の高いユーザは、コンテンツを頻繁に見ているものと仮定してもよく、コンテンツに付随する広告に接触する可能性が高いといえる。

図４に実線で示すｆ（ｓＦＱ）は広告接触者群のアンケートの集計結果を示し、破線で示すｇ（ｓＦＱ）は広告非接触者群のアンケートの集計結果を示すものである。なお、広告接触者群ｆ（ｓＦＱ）として認識されるユーザは少なくとも２［回］以上コンテンツに訪問している必要がある。例えば、１回目のコンテンツ訪問時に対象の広告の表示がなされており、２回目以降のコンテンツ訪問時にアンケートに表示されて回答した場合に広告接触者群ｆ（ｓＦＱ）として集計される。従って、広告接触者群ｆ（ｓＦＱ）の始点は利用頻度が２［回］の位置である。一方、広告非接触者群ｇ（ｓＦＱ）は、１回目のコンテンツ訪問時にアンケートの表示がなされる場合もあるため、始点は利用頻度が１［回］の位置である。

仮に、ユーザがコンテンツに訪問した際に、コンテンツに対象の広告が表示される確率が５０［％］であり、広告に関連するアンケートが表示される確率が１０［％］である場合を例に挙げる。広告接触者に対して２回目の訪問時にアンケートが表示される可能性は、初回訪問時に対象の広告が表示される確率と、２回目の訪問時にアンケートが表示される確率の積である、４０［％］×１０［％］＝４［％］となる。これは、単にアンケートが表示される確率の１０［％］よりも低い。

利用頻度が高いユーザは、利用頻度の少ないユーザと比較して、サービスサーバ３００が提供するコンテンツに限らず、他のウェブサイト等のメディアに多く接触している情報感度の高いユーザであると仮定されてもよい。すなわち、このような情報感度の高いユーザから得られた回答は、サービスサーバ３００が提供するコンテンツ以外の媒体から得られた情報が多分に反映されている可能性が高く、実際にはコンテンツに付随する広告の効果が薄くても、肯定的な回答をする可能性がある。

そのような場合、図示の広告接触者群ｆ（ｓＦＱ）の値のそれぞれを単純に合算した値や、広告非接触者群ｇ（ｓＦＱ）の値のそれぞれを単純に合算した値に基づいて広告の効果を推定してしまうと、実際には広告の効果が薄い場合であっても、広告接触者群ｆ（ｓＦＱ）の方が効果の推定に強く反映されて、認知度が過剰に高いと集計されやすくなったり、広告の効果の推定に対する広告非接触者群ｇ（ｓＦＱ）の影響度合が過剰に低くなったりするといった事態が起こりかねない。

そこで、情報処理装置１００は、広告接触者の回答と広告非接触者の回答との間に何らかのバイアスがあるという前提の下、サンプル集団（集計部１２０による集計結果）および母集団のそれぞれの回答傾向を有意差検定により評価することで、バイアスを補正（低減）する取り組みを行う。より具体的には、情報処理装置１００は、サンプル集団および母集団のそれぞれのバイアス傾向が異なる場合には、オッズ比を用いて有意差検定を行う。また、情報処理装置１００は、利用頻度ｓＦＱ毎にバイアスが存在する場合には、共通オッズ比を用いて有意差検定を行うことでバイアスの影響を低減させる取り組みを行う。

［オッズ比導出］
計算部１３０は、例えば、同一の利用頻度の広告接触者群ｆ（ｓＦＱ）と広告非接触者群ｇ（ｓＦＱ）とに基づいてオッズ比を計算する。

なお、以下の説明において簡略化のため、アンケートは特定の商品、企業などの広告に対するユーザの認知があるか否かの質問であるものとして説明する。例えば、集計部１２０は、図２に示したアンケートの回答ボタンＢ１または回答ボタンＢ２が押下された場合には「認知あり」として集計し、回答ボタンＢ３が押下された場合には「認知無し」として集計する。

図５は、オッズ比の計算元情報を示す図である。図５に示すように、集計部１２０は、広告接触者であり且つ広告に対する認知があるという回答がａ［件］、広告接触者であるが広告に対する認知がないという回答がｂ［件］であり、広告接触者の回答合計がｍ_１［件］であると集計したものとする。また、図５に示すように、広告非接触者であるが広告に対する認知があるという回答がｃ［件］、広告非接触者であり且つ広告に対する認知がないという回答がｄ［件］であり、広告非接触者の回答合計がｍ_２［件］である。なお、認知ありの回答の合計、すなわちａ＋ｃはｎ_１［件］であり、認知なしの回答の合計、すなわちｂ＋ｄはｎ_１［件］であったものとして説明する。

このとき、広告接触者群のオッズ（Ｏｄｄｓ）は下記の数式（１）で示すことができ、広告非接触者群のオッズは下記の数式（２）で示すことができる。

計算部１３０は、数式（１）および数式（２）の導出結果に基づいて、以下の数式（３）に示すようにオッズ比Ｏ＾Ｒを導出する。

なお、計算部１３０により導出されたオッズ比Ｏ＾Ｒの値は、以下のような傾向を示すものである。
〔１〕Ｏ＾Ｒ＞１：広告接触により認知度が上がる（広告によるプラスの効果）
〔２〕Ｏ＾Ｒ＝１：広告接触してもしなくても認知度が変わらない（効果なし）
〔３〕Ｏ＾Ｒ＜１：広告接触したら認知度が下がる（広告によるマイナスの効果）

［オッズ比を用いた有意差検定］
検定部１５０は、例えば、帰無仮説Ｈ_０をＯ＾Ｒ=１（広告の効果がないこと）、対立仮説Ｈ_１をＯ＾Ｒ≠１（広告の効果があること）として数式（４）を用いてカイ（χ）二乗検定を行い、検定統計量χ_ＯＲを導出することで、仮説の判定を行って検定を行う。なお、数式（４）のＴは、図５に示した回答数の合計（ｎ_１とｎ_２の和であり、ｍ_１とｍ_２の和）である。カイ二乗判定とは、帰無仮説が正しければ検定統計量が漸近的にカイ二乗分布に従うような統計的検定法の一例である。

数式（４）において、棄却域αを５［％］と設定すると、下の式（５）に示すように、検定統計量χ_ＯＲが１．９６０以上である場合に帰無仮説Ｈ_０を棄却して対立仮説Ｈ_１を結論とする。

上述のようにオッズ比を用いた検定は、例えば、各利用頻度ｓＦＱにそれぞれ検定を行う場合に有効であるが、集計部１２０による集計結果の全体に対する評価には向かない。集計部１２０による集計結果の全体に対する評価を行う場合には、共通オッズ比を用いた検定を行う。

［共通オッズ比導出］
計算部１３０は、計算部１３０による計算結果に対して広告接触者群ｆ（ｓＦＱ）および広告非接触者群ｇ（ｓＦＱ）をウエイトバック集計して全体のリフトを計算し、その計算結果を検定部１５０に有意差検定させてもよい。ウエイトバック集計とは、回収されたサンプル（標本）を母集団の構成にあわせて集計値に適切な重み付けを行い、重み付けした値を用いて集計する方法である。重みとは、利用回数毎の信頼度を表す値であり、例えば、利用回数毎のオッズ比Ｏ＾Ｒの分散が大きいほど小さくなる値である。リフトとは、前提（広告を見る）が起きた場合に結果（広告の効果として認知が高まる）が起きる割合は、全てのデータの中で結果（単純に認知が高まる）の割合よりどれだけ多いかを倍率などで示したものである。例えば、リフトが高ければ、広告の効果が高いといえる。

図６は、共通オッズ比の計算元情報を示す図である。計算部１３０は、例えば、図６に示すように利用頻度ｓＦＱ毎のアンケート集計結果と、上記の数式（１）〜（３）を用いて、各利用頻度ｓＦＱにおける共通オッズ比をＯ＾Ｒ_ｉ（ｉはｋ以下の自然数、ｋはアンケート回答が回収された中での最大利用頻度）を計算する。

次に計算部１３０は、計算した利用頻度毎のオッズ比と数式（６）とに基づいて、共通オッズ比Ｏ＾Ｒ_Ｍ−Ｈを計算する。数式（６）は、ウエイトバック集計の一例である。なお、数式（６）において、ｊはｋ以下の自然数である。

例えば、数式（６）に示す重み付けＴ／ｂｃが分散に相当し、その逆数であるｂｃ／Ｔが重みとして用いられる。なお、ｂｃ／Ｔは重みの一例であり、例えば、ａ＋b、またはｃ＋ｄという和が重みとして設定されてもよい。

［Mantel-Haenszel法を用いた有意差検定］
検定部１５０は、数式（６）により計算された共通オッズ比Ｏ＾Ｒ_Ｍ−Ｈに対して、帰無仮説Ｈ_０をＯ＾Ｒ_Ｍ−Ｈ=１（広告の効果がないこと）、対立仮説Ｈ_１をＯ＾Ｒ_Ｍ−Ｈ≠１（広告の効果があること）として、数式（７）に示すMantel-Haenszel法を用いた有意差検定によって検定統計量χ_Ｍ−Ｈを導出することで、仮説の判定を行って検定を行う。

検定部１５０は、｜χ_Ｍ−Ｈ｜＞Ｚ（α／２）であれば、帰無仮説Ｈ_０を棄却し、対立仮説Ｈ_１を結論とする。例えば、ユーザは、上述の数式（５）と同様に、棄却域αを５［％］と設定すると、｜χ_Ｍ−Ｈ｜＞１．９６０である場合に対立仮説Ｈ_１を結論とする。

なお、Mantel-Haenszel法は、図５および図６に示すような２×２分割表の検定において広く用いられる手法の一例として挙げたものであって、検定部１５０による検定方法を限定するものではない。

検定部１５０は、共通オッズ比に対して、他の重み付け傾向を反映させて検定するものであってもよい。

［利用例］
図７は、出力部１６０により出力された効果量の利用例を示す図である。図示のように、情報処理装置１００による処理の結果、広告接触者群のアンケート集計結果の認知ありが４２．５［％］、広告非接触者群のアンケート集計結果の認知ありが３０．９［％］である。また、情報処理装置１００による上述の処理の結果から効果量（リフト）を導出した結果が１１．６［ｐｎｔ］である。図示の例においては、情報処理装置１００の利用者（管理者端末２０の利用者）は、これらの集計結果の有意差検定を行い（または情報処理装置１００の検定部１５０の処理の結果を参照して）、広告の効果があることが結論とする。

［処理フロー］
図８は、情報処理装置１００による処理の流れの一例を示すフローチャートである。図７に示すフローチャートの処理は、例えば、管理者端末２０から有意差検定に用いる指標または有意差検定結果の出力指示を受け付けた場合に行われる。

まず、取得部１１０は、サービスサーバ３００からコンテンツに付随する広告配信結果、およびコンテンツに関するアンケートの回答結果を取得する（ステップＳ１００）。次に、集計部１２０は、取得部１１０により取得された配信結果および回答結果を集計する（ステップＳ１０２）。次に、計算部１３０は、オッズ比または共通オッズ比を計算する（ステップＳ１０４）。次に、効果量導出部１４０は、効果量を導出する（ステップＳ１０６）。次に、検定部１５０は、有意差検定を行う（ステップＳ１０８）。次に、出力部１６０は、計算部１３０による計算結果、効果量導出部１４０により導出された効果量および検定部１５０により検定された検定結果の一部または全部を管理者端末２０に出力する（ステップＳ１１０）。以上、本フローチャートの処理の説明を終了する。

上述のように、実施形態の情報処理装置１００は、取得部１１０がネットワークＮＷを介して提供されるコンテンツに付随する広告が表示された表示回数と、広告に関連するアンケートに対するユーザの回答結果を取得し、計算部１３０が所定のサービスとして提供されるコンテンツの利用頻度ｓＦＱごとにオッズ比Ｏ＾Ｒを計算し、訪問回数毎のオッズ比Ｏ＾Ｒを統合して共通オッズ比Ｏ＾Ｒ_Ｍ−Ｈを計算したりすることにより、情報処理装置１００のユーザは有意差検定をするための信頼性のある効果量（リフト値）を導出することができる。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１ 集計システム
１０ 端末装置
２０ 管理者端末
１００ 情報処理装置
１１０ 取得部
１２０ 集計部
１３０ 計算部
１４０ 効果量導出部
１５０ 検定部
３００ サービスサーバ

Claims (9)

1. ネットワークを介して所定のサービスとして提供されるコンテンツに付随する広告が表示された表示回数と、広告に関連するアンケートに対するユーザの回答結果を取得する取得部と、
   前記所定のサービスとして提供されるコンテンツの訪問回数ごとにオッズ比を計算し、前記訪問回数ごとのオッズ比を統合して共通オッズ比を計算する計算部であって、前記訪問回数ごとのオッズ比に対して有意差検定に好適な重みを作用させて前記共通オッズ比を計算する計算部と、
   を備える、情報処理装置。
2. 前記重みは、前記訪問回数ごとの信頼度を表す値である、
   請求項１に記載の情報処理装置。
3. 前記重みは、前記訪問回数ごとのオッズ比の分散が大きいほど、小さくなる値である、
   請求項１または２に記載の情報処理装置。
4. 前記共通オッズ比の計算結果に基づいて、有意差検定における効果量として用いるリフト値を導出する効果量導出部をさらに備える、
   請求項１から３のうちいずれか１項に記載の情報処理装置。
5. 前記効果量導出部により導出された前記リフト値に基づいて前記計算部による計算結果に関する有意差検定を行う検定部をさらに備える、
   請求項４に記載の情報処理装置。
6. 前記取得部は、前記広告および前記アンケートの一方または両方が表示された前記ユーザに関する前記広告の配信結果および前記アンケートに対するユーザの回答結果を取得するものであって、バケット分割を要しない、
   請求項５に記載の情報処理装置。
7. 前記検定部は、Mantel-Haenszel法を用いて導出した前記重みを作用させる、
   請求項５または６に記載の情報処理装置。
8. コンピュータが、
   ネットワークを介して所定のサービスとして提供されるコンテンツに付随する広告が表示された表示回数と、広告に関連するアンケートに対するユーザの回答結果を取得し、
   前記所定のサービスとして提供されるコンテンツの訪問回数ごとにオッズ比を計算し、前記訪問回数ごとのオッズ比を統合して共通オッズ比を計算して、前記訪問回数ごとのオッズ比に対して有意差検定に好適な重みを作用させて前記共通オッズ比を計算する、
   情報処理方法。
9. コンピュータに、
   ネットワークを介して所定のサービスとして提供されるコンテンツに付随する広告が表示された表示回数と、広告に関連するアンケートに対するユーザの回答結果を取得させ、
   前記所定のサービスとして提供されるコンテンツの訪問回数ごとにオッズ比を計算し、前記訪問回数ごとのオッズ比を統合して共通オッズ比を計算して、前記訪問回数ごとのオッズ比に対して有意差検定に好適な重みを作用させて前記共通オッズ比を計算させる、
   プログラム。

Images