JP2016122241A - 広告選択装置、広告選択方法及びプログラム - Google Patents

Abstract

【課題】配信する広告を複数の広告の候補の中からパラメータに応じた割合で探索及び活用を行うアルゴリズムにより選択する際に、配信する広告の候補が新たに登録されても、新たに登録された広告が選択される機会を増やす。
【解決手段】広告選択装置２０は、パラメータに応じた割合で探索及び活用を行うアルゴリズムにより、端末装置３０へ配信する広告の候補の中から端末装置へ配信する広告を選択する。広告選択装置２０は、端末装置へ配信する広告の候補のうち、サーバ装置１０への登録時期が、広告選択装置２０が広告を選択した最新の時期より後の広告がある場合、探索を行う割合が増加するようにパラメータを更新し、探索及び活用を行う。
【選択図】図１

Description

本発明は、広告選択装置、広告選択方法及びプログラムに関する。

広告を配信する発明として、例えば特許文献１に開示されたシステムがある。このシステムは、複数の広告の配信初期においては、固定された配信比率で複数の広告のそれぞれを配信する。また、このシステムは、クリックされたバナー広告のクリック率を算出し、算出したクリック率を用いて広告の配信比率を決定する。そして、時間が経過するにつれて、決定した配信比率に基づいた広告の配信に重点を移す。特許文献１のシステムによれば、時間が経過すると、配信される広告の候補において、クリック率が高い広告が配信されやすくなる。
また。複数の広告の中から適切な広告を選択するアルゴリズムとして、例えば、バンディットアルゴリズムがある。バンディットアルゴリズムで活用と探索を行うことにより、広告の配信を始めた当初は、配信される候補の広告の中からランダムに広告が選択され、時間が経過するに従って、クリック率が高い広告が選択されやすくなる。

特開２００６−１２０１３５号公報

ところで、広告を配信する際には、複数の広告の配信を開始した後、配信する広告が追加されることがある。追加された広告は、既に配信されている広告より登録されている期間が短く、広告へのアクセス履歴の数が先に配信を始めた広告より少なくなるため、既に配信されている広告とはクリック率も異なり、特許文献１のシステムにおいては、後で追加された広告が選ばれにくくなる虞がある。また、バンディットアルゴリズムを用いた場合には、アニーリングを行うと、時間に伴って探索の機会が減っていくため、追加された広告は選択されず、先に配信を開始している広告ばかりが選択される虞がある。

本発明は、上述した背景の下になされたものであり、配信する広告を複数の広告の候補の中からパラメータに応じた割合で探索及び活用を行うアルゴリズムにより選択する際に、配信する広告の候補が新たに登録されても、新たに登録された広告が選択される機会を増やすことを目的とする。

本発明は、端末装置へ配信する広告の候補のそれぞれの登録時期を取得する登録時期取得手段と、端末装置へ配信された広告の選択時期を取得する選択時期取得手段と、パラメータに応じた割合で探索及び活用を行うアルゴリズムにより、前記候補の中から端末装置へ配信する広告を選択する選択手段と、前記候補に含まれる広告のうち、前記登録時期取得手段が取得した時期が、前記選択時期取得手段が取得した選択時期より後の広告がある場合、前記探索を行う割合が増加するように前記パラメータを更新する更新手段と、前記選択手段が選択した広告を識別する情報を出力する出力手段と、を有する広告選択装置を提供する。

本発明においては、前記更新手段は、前記候補に含まれる広告のうち、前記登録時期取得手段が取得した登録時期が、前記選択時期取得手段が取得した選択時期より後の広告の数が多くなるにつれて、前記探索を行う割合を多くするように前記パラメータを更新する構成としてもよい。

また、本発明においては、前記選択手段は、前記候補に含まれる広告を、前記登録時期取得手段が取得した登録時期が、前記選択時期取得手段が取得した選択時期より後である広告の第１グループと、前記登録時期取得手段が取得した登録時期が、前記選択時期取得手段が取得した選択時期より前である広告の第２グループとに分け、第１パラメータに応じた割合で探索及び活用を行うアルゴリズムにより、前記第１グループと前記第２グループのいずれかの選択を行い、第２パラメータに応じた割合で探索及び活用を行うアルゴリズムにより、選択したグループに属する広告から端末装置へ配信する広告を選択し、前記更新手段は、時間の経過に応じて、前記探索を行う割合が減少するように前記第１パラメータ及び前記第２パラメータを減少させる構成としてもよい。

また、本発明においては、前記選択手段は、前記探索を行うときに、前記候補に含まれる広告毎に、選択される確率を登録時期からの経過時間が短くなるにつれて大きくする構成としてもよい。

また、本発明においては、前記更新手段は、前記候補に含まれる広告のうち、前記登録時期取得手段の取得した登録時期が前記選択時期取得手段の取得した選択時期より後である広告が属するジャンルに含まれる広告のクリック率の分散が、他のジャンルに含まれる広告のクリック率の分散より大きい場合、前記探索を行う割合が増加するように前記パラメータを更新する構成としてもよい。

また、本発明は、端末装置へ配信する広告の候補のそれぞれの登録時期を取得する登録時期取得ステップと、端末装置へ配信された広告の選択時期を取得する選択時期取得ステップと、パラメータに応じた割合で探索及び活用を行うアルゴリズムにより、前記候補の中から端末装置へ配信する広告を選択する選択ステップと、前記候補に含まれる広告のうち、前記登録時期取得ステップで取得した時期が、前記選択時期取得ステップで取得した選択時期より後の広告がある場合、前記探索を行う割合が増加するように前記パラメータを更新する更新ステップと、前記選択ステップが選択した広告を識別する情報を出力する出力ステップと、を有する広告選択方法を提供する。

また、本発明は、コンピュータを、端末装置へ配信する広告の候補のそれぞれの登録時期を取得する登録時期取得手段と、端末装置へ配信された広告の選択時期を取得する選択時期取得手段と、パラメータに応じた割合で探索及び活用を行うアルゴリズムにより、前記候補の中から端末装置へ配信する広告を選択する選択手段と、前記候補に含まれる広告のうち、前記登録時期取得手段が取得した時期が、前記選択時期取得手段が取得した選択時期より後の広告がある場合、前記探索を行う割合が増加するように前記パラメータを更新する更新手段と、前記選択手段が選択した広告を識別する情報を出力する出力手段、として機能させるためのプログラムを提供する。

本発明によれば、配信する広告を複数の広告の候補の中からパラメータに応じた割合で探索及び活用を行うアルゴリズムにより選択する際に、配信する広告の候補が新たに登録されても、新たに登録された広告が選択される機会を増やすことができる。

本発明の一実施形態に係る広告配信システム１を構成する装置を示した図。 広告選択装置２０のハードウェア構成を示した図。 表示広告候補データベースＤＢ１のフォーマットの一例を示した図。 表示広告集計データベースＤＢ２のフォーマットの一例を示した図。 広告選択履歴データベースＤＢ３のフォーマットの一例を示した図。 広告選択装置２０の機能ブロック図。 第１実施形態の動作例を説明するためのシーケンス図。 広告候補リストの一例を示した図。 第２実施形態の広告選択装置２０の機能ブロック図。 第２広告選択履歴データベースＤＢ３２のフォーマットの一例を示した図。 第２実施形態の動作例を説明するためのシーケンス図。 第２広告選択履歴データベースＤＢ３２に格納された情報の一例を示した図。 第２実施形態の動作例を説明するためのシーケンス図。 第２広告選択履歴データベースＤＢ３２に格納された情報の一例を示した図。 第３実施形態の広告選択装置２０の機能ブロック図。 第３広告選択履歴データベースＤＢ３３に格納された情報の一例を示した図。 第３実施形態の動作例を説明するためのシーケンス図。 第４実施形態の動作例を説明するためのシーケンス図。

［第１実施形態］
（全体構成）
図１は、本発明の第１実施形態に係る広告配信システム１を構成する装置を示した図である。広告配信システム１は、端末装置３０へコンテンツ及び広告を配信するシステムであり、サーバ装置１０及び広告選択装置２０を含む。通信網２は、データ通信のサービスを提供する通信網である。通信網２は、インターネットや固定電話網、移動体通信網などを含む。

サーバ装置１０は、通信網２を介してアクセスしてきた端末装置３０へコンテンツ及び広告を配信するコンピュータ装置である。サーバ装置１０は、複数の広告を記憶している。サーバ装置１０が端末装置３０へ配信する広告は、広告選択装置２０により決定される。
広告選択装置２０は、サーバ装置１０から端末装置３０へ配信する広告を決定するコンピュータ装置である。広告選択装置２０は、サーバ装置１０から端末装置３０へ配信する広告を、バンディットアルゴリズムの一例であるε−Ｇｒｅｅｄｙアルゴリズムにより決定する。

端末装置３０は、本実施形態においてはスマートフォンであり、通信網２を介して音声通信やデータ通信を行う。なお、本実施形態においては、端末装置３０はスマートフォンであるが、スマートフォンに限定されるものではなく、タブレットＰＣ（Personal Computer）、フィーチャーフォン又はＰＤＡ（Personal Digital Assistant）など、通信網２を介してデータ通信を行う機能を備えているコンピュータ装置であればよい。また、端末装置３０は、有線で通信網２に接続されているパーソナルコンピュータであってもよい。

（広告選択装置２０の構成）
図２は、広告選択装置２０のハードウェア構成を示した図である。制御部２１は、ＣＰＵ（Central Processing Unit）、ブートローダを記憶したＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を有しており、ＣＰＵがプログラムを実行すると、端末装置３０へ配信する広告を選択する機能が実現する。

表示部２３は、液晶ディスプレイを備えており、広告選択装置２０を操作するための画面や記憶部２２に記憶されている情報などを表示する。操作部２４は、キーボードやマウスなどの入力装置を有している。広告選択装置２０は、キーボードやマウスに行われた操作に応じて動作する。通信部２５は、サーバ装置１０と通信を行う通信インターフェースとして機能する。通信部２５は、ＬＡＮ（Local Area Network）を介してサーバ装置１０と接続されてもよく、また、通信網２を介してサーバ装置１０と接続されてもよい。

記憶部２２は、ハードディスク装置を有しており、端末装置３０へ配信する広告を選択する機能を実現するプログラムや、端末装置３０へ配信する広告を選択するための各種情報を格納したデータベースを記憶する。

図３〜５は、記憶部２２に記憶されるデータベースの一例を示した図である。本実施形態においては、記憶部２２は、表示広告候補データベースＤＢ１、表示広告集計データベースＤＢ２及び広告選択履歴データベースＤＢ３を記憶する。

図３は、表示広告候補データベースＤＢ１の一例を示した図である。表示広告候補データベースＤＢ１は、「ＩＤ」、「ジャンル」及び「登録時期」のフィールドを有する。「ＩＤ」フィールドは、サーバ装置１０に登録されている広告の識別子を格納するフィールドである。サーバ装置１０が配信する複数の広告は、各々に広告を一意に識別する識別子が付与されており、「ＩＤ」フィールドは、この識別子を記憶する。「ジャンル」フィールドは、サーバ装置１０に記憶されている広告のジャンルを示す情報を格納するフィールドである。「ジャンル」フィールドには、同じレコードに格納されている識別子で特定される広告が属するジャンルを示す情報が格納される。「登録時期」フィールドは、サーバ装置１０から端末装置３０へ配信される広告がサーバ装置１０へ登録された時期を示す情報が格納されるフィールドである。「登録時期」フィールドには、同じレコードに格納されている識別子で特定される広告がサーバ装置１０に登録された日時を示す情報が格納される。表示広告候補データベースＤＢ１においては、サーバ装置１０に広告を新たに登録する際に新たなレコードが追加され、追加されたレコードの各フィールドに情報が格納される。

図４は、表示広告集計データベースＤＢ２の一例を示した図である。表示広告集計データベースＤＢ２は、「ＩＤ」、「ジャンル」、「表示数」、「クリック回数」及び「ＣＴＲ」のフィールドを有する。「ＩＤ」フィールドは、サーバ装置１０に登録されている広告の識別子を格納するフィールドである。「ジャンル」フィールドには、同じレコードに格納されている識別子で特定される広告が属するジャンルを示す情報が格納される。「表示数」フィールドは、広告の配信回数を格納するフィールドである。「表示数」フィールドには、同じレコードに格納されている識別子で特定される広告がサーバ装置１０から配信された回数が格納される。「クリック回数」フィールドは、配信された広告が端末装置３０において操作された回数を示す情報を格納するフィールドである。「クリック回数」フィールドは、同じレコードに格納されている識別子で特定される広告が端末装置３０において操作された回数を示す情報を格納する。なお、フィールドの名称が「クリック回数」となっているが、端末装置３０がスマートフォンやタブレット端末の場合、広告がタップされるとクリック回数が増加する。「ＣＴＲ」フィールドは、広告が操作された割合、即ち、クリックスルーレートを示す情報を格納するフィールドである。「ＣＴＲ」フィールドは、同じレコードに格納されている識別子で特定される広告のクリックスルーレートを示す情報を格納する。なお、フィールドの名称が「ＣＴＲ」となっているが、端末装置３０がスマートフォンやタブレット端末の場合、広告をタップする操作も、広告をクリックする操作と同じものとし、広告をタップする操作に応じてＣＴＲが更新される。

図５は、広告選択履歴データベースＤＢ３の一例を示した図である。広告選択履歴データベースＤＢ３は、「＃」、「選択時期」、「パラメータ」、「選択広告」、「選択候補」のフィールドを有する。「＃」フィールドは、データベースのレコードの番号を格納する。「選択時期」フィールドは、端末装置３０へ配信する広告を広告選択装置２０が選択した日時を示す情報を格納し、「選択広告」フィールドは、端末装置３０へ配信する広告として広告選択装置２０が選択した広告の識別子を格納する。「パラメータ」フィールドは、ε−Ｇｒｅｅｄｙアルゴリズムにおいて「探索」を行う割合と「活用」を行う割合を定めるパラメータであるεの値を格納する。なお、εの初期値は「１」にされる。「選択候補」フィールドは、複数のサブフィールドを有し、端末装置３０へ配信する広告を選択する際に選択の候補となった広告の識別子を格納する。

図６は、広告選択装置２０において実現する機能の構成を示した機能ブロック図である。広告情報取得部２０１は、広告候補リストを生成する機能を有し、表示広告候補データベースＤＢ１に格納されている情報と、表示広告集計データベースＤＢ２に格納されている情報を取得する。広告情報取得部２０１は、端末装置３０へ配信する広告の候補のそれぞれの登録時期を取得する登録時期取得手段の一例である。広告情報取得部２０１は、端末装置３０へ配信する広告を選択する際に選択の候補となる広告の識別子と、当該広告のＣＴＲとを対応付けた広告候補リストを、取得した情報を用いて生成する。広告情報取得部２０１は、生成した広告候補リストをパラメータ更新部２０３へ送る。

新規広告判断部２０２は、広告選択装置２０が広告を選択した後に、サーバ装置１０に新たな広告が登録されたか否かを判断する機能を有する。新規広告判断部２０２は、表示広告候補データベースＤＢ１に格納されている情報と、広告選択履歴データベースＤＢ３に格納されている情報を取得する。新規広告判断部２０２は、表示広告候補データベースＤＢ１から取得した登録時期と、広告選択履歴データベースＤＢ３から取得した選択時期とを用いて、広告選択装置２０が広告を選択した後に、サーバ装置１０に新たな広告が登録されたか判断し、判断結果をパラメータ更新部２０３へ送る。新規広告判断部２０２は、端末装置３０へ配信された広告の選択時期を取得する選択時期取得手段の一例である。

パラメータ更新部２０３は、ε−Ｇｒｅｅｄｙアルゴリズムで用いるパラメータのεを更新する機能を有する。パラメータ更新部２０３は、広告候補リストと、新規広告判断部２０２の判断結果を取得する。また、パラメータ更新部２０３は、広告選択履歴データベースＤＢ３に格納されているパラメータを取得し、取得した広告候補リストと判断結果に応じてパラメータを更新し、取得した広告候補リストと、更新したパラメータとを表示広告計算部２０４へ送る。パラメータ更新部２０３は、パラメータを更新する更新手段の一例である。

表示広告計算部２０４は、サーバ装置１０から端末装置３０へ配信する広告をε−Ｇｒｅｅｄｙアルゴリズムにより選択する機能を有する。表示広告計算部２０４は、広告候補リストとパラメータのεを取得する。表示広告計算部２０４は、取得したεに応じて、ε−Ｇｒｅｅｄｙアルゴリズムの「探索」及び「活用」を行い端末装置３０へ配信する広告を選択する。表示広告計算部２０４は、選択した広告を示す識別子を、通信部２５を制御してサーバ装置１０へ送信する。表示広告計算部２０４は、端末装置３０へ配信する広告を選択する選択手段と、選択した広告を識別する情報を出力する出力手段の一例である。

（第１実施形態の動作例）
次に、第１実施形態の動作例について、図７のシーケンス図を用いて説明する。端末装置３０がサーバ装置１０へアクセスすると、サーバ装置１０は、広告の選択指示を広告選択装置２０へ送信する。広告選択装置２０は、この選択指示を取得すると、以下の動作を行う。

選択指示を取得した広告選択装置２０においては、まず、広告情報取得部２０１が、表示広告候補データベースＤＢ１に格納されている情報を取得する（ステップＳ１）。例えば、図３に例示したように、配信する広告の候補として３つの広告の情報が表示広告候補データベースＤＢ１に格納されている場合、広告情報取得部２０１は、図３に示した３つのレコードを取得する。次に広告情報取得部２０１は、取得したレコードにある識別子の広告のＣＴＲを表示広告集計データベースＤＢ２から取得し（ステップＳ２）、広告候補リストを生成する（ステップＳ３）。広告情報取得部２０１は、生成した広告候補リストをパラメータ更新部２０３へ送る（ステップＳ４）。

図８は、ステップＳ３で生成された広告候補リストの一例を示した図である。広告候補リストは、広告の識別子とＣＴＲとを対応付けたリストであり、「ＩＤ」及び「ＣＴＲ」のフィールドを有する。
例えば、広告情報取得部２０１は、上述したように、図３に示した３つのレコードを取得した場合、識別子が「１」である広告のＣＴＲは、表示広告集計データベースＤＢ２においては、０．６となっているため、図８に示したように、広告候補リストにおいて、識別子の「１」とＣＴＲの「０．６」を対応付ける。ここで、新たに登録されてから配信がされていないためにＣＴＲの情報がない識別子が「３」の広告の場合、図８に示したように、ＣＴＲとして「Ｎｕｌｌ」を対応付ける。

次に、新規広告判断部２０２は、表示広告候補データベースＤＢ１に格納されている情報を取得する（ステップＳ５）。例えば、上述したように、配信する広告の候補として３つの広告がサーバ装置１０に登録されている場合、新規広告判断部２０２は、図３に示した３つのレコードを取得する。また、新規広告判断部２０２は、広告選択履歴データベースＤＢ３に格納されているレコードのうち、選択時期が最新のレコードを取得する（ステップＳ６）。

新規広告判断部２０２は、ステップＳ５で取得した情報と、ステップＳ６で取得したレコードを用いて、広告を選択した後にサーバ装置１０へ新たに登録された広告があるか判断する（ステップＳ７）。例えば、図３に示したレコードと図５に示したレコードとを比較した場合、広告を選択した最後の日時より後に、識別子が「３」の広告が登録されていることがわかる。この場合、新規広告判断部２０２は、広告を選択した後に新たに登録された広告がサーバ装置１０にあると判断する。一方、新規広告判断部２０２は、選択時期が最新のレコードに格納されている選択時期より登録時期が後の航行がない場合、広告を選択した後に新たに登録された広告はないものと判断する。

新規広告判断部２０２は、ステップＳ７の判断結果をパラメータ更新部２０３へ送り、パラメータ更新部２０３は、新規広告判断部２０２から送られた判断結果を取得する（ステップＳ８）。パラメータ更新部２０３は、新規広告判断部２０２の判断結果を取得した後、広告選択履歴データベースＤＢ３に格納されているパラメータのうち、選択時期が最新のレコードに格納されているパラメータであるεの値を取得する（ステップＳ９）。

パラメータ更新部２０３は、ステップＳ７の判断結果と、εの値を取得すると、εの値を更新する（ステップＳ１０）。具体的には、パラメータ更新部２０３は、ステップＳ７の判断結果が、「新たに登録された広告がない」との判断結果の場合、ε＝１／ｌｎ（Ｔ）という式を用いてεの値を減少させる。ここで「Ｔ」はインプレッション数であり、表示広告集計データベースＤＢ２に格納されている表示数を合算した値となる。

一方、パラメータ更新部２０３は、ステップＳ７の判断結果が、「新たに登録された広告がある」との判断結果の場合、εの値を以下の数１の式により更新する。

数１の式において、Ｎａは、広告を選択した最後の日時より前にサーバ装置１０に登録されていた広告の数であり、Ｎｂは、広告を選択した最後の日時より後にサーバ装置１０に新たに登録された広告の数である。また、ε１は、広告選択履歴データベースＤＢ３から取得したεの値である。パラメータ更新部２０３は、εの値を更新すると、ステップＳ４で取得した広告候補リストと、更新したεの値を表示広告計算部２０４へ送る（ステップＳ１１）。

表示広告計算部２０４は、広告候補リストと、更新されたεの値を取得すると、取得した広告候補リストにあるＣＴＲと、取得したεの値を使用し、端末装置３０へ配信する広告を選択する（ステップＳ１２）。具体的には、表示広告計算部２０４は、バンディットテストにおいて、取得したεの値の確率で「探索」を行い、１−εの値の確率で「活用」を行う。「探索」においては、広告候補リストにある広告の識別子の中からランダムに識別子を選択し、「活用」においては、広告候補リストにおいて最も大きいＣＴＲの値が対応付けられている識別子を選択する。

表示広告計算部２０４は、サーバ装置１０から端末装置３０へ配信する広告の識別子を選択すると、広告選択履歴データベースＤＢ３に新たにレコードを追加し、選択した広告の識別子や取得したεの値などを格納する（ステップＳ１３）。具体的には、表示広告計算部２０４は、広告の選択を行った日時を、新たに追加したレコードの「選択時期」のフィールドに格納し、パラメータ更新部２０３から取得したεの値を、新たに追加したレコードの「パラメータ」のフィールドに格納し、選択した広告の識別子を、新たに追加したレコードの「選択広告」のフィールドに格納する。また、表示広告計算部２０４は、取得した広告候補リストに含まれている広告の識別子を、新たに追加したレコードの「選択候補」のフィールドに格納する。

次に表示広告計算部２０４は、選択した広告の識別子を、通信部２５を制御してサーバ装置１０へ送信する（ステップＳ１４）。サーバ装置１０は、広告選択装置２０からされた識別子を取得すると、取得した識別子の広告を端末装置３０へ配信する。サーバ装置１０が広告を端末装置３０へ配信すると、表示広告集計データベースＤＢ２において、配信された広告に対応するレコードの「表示数」のフィールドが更新される。また、送信された広告が端末装置３０において操作されると、表示広告集計データベースＤＢ２において、操作された広告に対応するレコードの「クリック回数」のフィールドと「ＣＴＲ」のフィールドの値が更新される。

以上説明したように、本実施形態においては、εの値の初期値を１とすることにより、まず探索を中心に行う。そして、広告を最後に選択した後に、新たに登録された広告がない場合、自然対数を使用し、インプレッション数のＴが増えるに従ってεの値を減少させることにより、活用の機会を増やしていき、広告が追加された場合には、数１の式によりεの値を増加させ、探索の機会を増やしている。この構成によれば、端末装置３０へ配信する広告が新たに登録された場合、εの値が増加される。これにより、新たに登録された広告が探索される機会が増え、探索が十分に行われるため、真にクリック率が高い広告が選択されることとなる。

［第２実施形態］
次に、本発明の第２実施形態について説明する。本発明の第２実施形態に係る広告配信システム１は、第１実施形態と同じく、サーバ装置１０と広告選択装置２０を含む。第２実施形態に係るサーバ装置１０と広告選択装置２０のハードウェア構成は第１実施形態と同じである。第２実施形態においては、広告選択装置２０が行う処理が第１実施形態と異なる。また、第２実施形態においては、広告選択装置２０においてグループ選択部２０５が実現する点と、広告選択履歴データベースＤＢ３に替えて、第２広告選択履歴データベースＤＢ３２を有する点が第１実施形態と異なる。以下、第１実施形態と同じ構成については説明を省略し、第１実施形態との相違点について説明する。

図９は、第２実施形態に係る広告選択装置２０において実現する機能の構成を示した機能ブロック図である。
グループ選択部２０５は、端末装置３０へ配信する広告の候補を、新たにサーバ装置１０に登録された新規広告のグループと、新規広告より前に登録された既存広告のグループとに分けたときに、いずれかのグループを選択する機能を有する。
表示広告計算部２０４は、グループ選択部２０５が選択したグループに含まれる広告の中から、端末装置３０へ配信する広告を選択する機能を有する。

図１０は、第２広告選択履歴データベースＤＢ３２の一例を示した図である。第２広告選択履歴データベースＤＢ３２は、「＃」、「選択時期」、「選択広告」、「選択グループ」、「パラメータ」、「選択候補」のフィールドを有する。「＃」フィールドは、データベースのレコードの番号を格納する。「選択時期」フィールドは、端末装置３０へ配信する広告を広告選択装置２０が選択した日時を示す情報を格納し、「選択広告」フィールドは、端末装置３０へ配信する広告として広告選択装置２０が選択した広告の識別子を格納する。また、「選択グループ」のフィールドは、新規広告のグループと既存広告のグループとのうち、グループ選択部２０５が選択したグループを示す情報を格納する。

「パラメータ」フィールドは、さらに「ε」、「γ」、「εａ」、「εｂ」のフィールドを有する。「ε」フィールドは、ε−Ｇｒｅｅｄｙアルゴリズムにおいて「探索」を行う割合と「活用」を行う割合を定めるパラメータであるεの値を格納する。「γ」フィールドは、端末装置３０へ配信する広告の候補を、新たにサーバ装置１０に登録された新規広告のグループと、新規広告より前に登録された既存広告のグループとに分けたときに、これらのグループについてε−Ｇｒｅｅｄｙアルゴリズムで「探索」を行う割合と「活用」を行う割合を定めるパラメータであるγの値を格納する。「εａ」フィールドは、既存広告のグループに属する広告について、ε−Ｇｒｅｅｄｙアルゴリズムで「探索」を行う割合と「活用」を行う割合を定めるパラメータであるεａを格納し、「εｂ」フィールドは、新規広告のグループに属する広告について、ε−Ｇｒｅｅｄｙアルゴリズムで「探索」を行う割合と「活用」を行う割合を定めるパラメータであるεｂを格納する。

「選択候補」フィールドは、「既存Ｇ」及び「新規Ｇ」のフィールドを有し、「既存Ｇ」及び「新規Ｇ」は、複数のサブフィールドを有する。「既存Ｇ」のフィールドは、既存広告のグループに属する広告の識別子を格納し、「新規Ｇ」のフィールドは、新規広告のグループに属する広告の識別子を格納する。

（第２実施形態の動作例）
次に、第２実施形態の動作例について、図１１、１３のシーケンス図を用いて説明する。なお、以下の説明においては、識別子が「１」の広告と識別子が「２」の広告が登録されている状態において、図１０に示した時期に広告の選択を行った後、識別子が「３」の広告が新たに登録された状態を想定して動作例の説明を行う。

まず、端末装置３０がサーバ装置１０へアクセスすると、サーバ装置１０は、広告の選択指示を広告選択装置２０へ送信する。広告選択装置２０は、この選択指示を取得すると、図１１に示した動作を行う。なお、図１１のステップＳ２１〜Ｓ２５までの処理は、第１実施形態のステップＳ１〜Ｓ５までの処理と同じであるため、その説明を省略する。

新規広告判断部２０２は、ステップＳ２５の処理が終了すると、第２広告選択履歴データベースＤＢ３２に格納されている情報を取得する（ステップＳ２６）。次に新規広告判断部２０２は、ステップＳ２５で取得した情報と、ステップＳ２６で取得したレコードを用いて、広告を選択した後にサーバ装置１０へ新たに登録された広告があるか判断する（ステップＳ２７）。
具体的には、新規広告判断部２０２は、表示広告候補データベースＤＢ１から取得したレコードにおいて、登録時期が第２広告選択履歴データベースＤＢ３２から取得した選択時期より後のものがある場合、又は第２広告選択履歴データベースＤＢ３２から取得したγが予め定められた閾値（例えば０．５）を超える値である場合、「新たに登録された広告がある」と判断する。また、新規広告判断部２０２は、表示広告候補データベースＤＢ１から取得したレコードにおいて、登録時期が第２広告選択履歴データベースＤＢ３２から取得した選択時期より後のものがなく、且つ、第２広告選択履歴データベースＤＢ３２から取得したγの値が予め定められた閾値以下である場合、「新たに登録された広告がない」と判断する。

例えば、図３に示したレコードと図１０に示したレコードとを比較した場合、広告を選択した最後の日時より後に、識別子が「３」の広告が登録されていることがわかる。この場合、新規広告判断部２０２は、広告を選択した後に新たに登録された広告がサーバ装置１０にあると判断する。新規広告判断部２０２は、ステップＳ２７の判断結果をパラメータ更新部２０３へ送り、パラメータ更新部２０３は、新規広告判断部２０２の判断結果を取得する（ステップＳ２８）。パラメータ更新部２０３は、新規広告判断部２０２の判断結果を取得した後、第２広告選択履歴データベースＤＢ３２に格納されているパラメータのうち、選択時期が最新のレコードに格納されているパラメータを取得する（ステップＳ２９）。

パラメータ更新部２０３は、新規広告判断部２０２の判断結果とパラメータとを取得した後、広告を選択するときに用いるパラメータを更新する（ステップＳ３０）。具体的には、パラメータ更新部２０３は、ステップＳ２７の判断結果が、「新たに登録された広告がない」との判断結果の場合、例えば、ε＝１／ｌｎ（ｔ）という式を用いてεの値を減少させる。ここで「ｔ」は、例えば、サーバ装置１０が広告の配信を始めてから経過した時間を用いる。

一方、パラメータ更新部２０３は、ステップＳ２７の判断結果が、「新たに登録された広告がある」との判断結果の場合、γ、εａ及びεｂの値を更新する。例えば、識別子が「１」の広告と識別子が「２」の広告が記憶されている状態から新たに識別子が「３」である広告が登録された場合、ステップＳ２７の判断結果が、「新たに登録された広告がある」との判断結果になる。ここで、パラメータ更新部２０３は、第２広告選択履歴データベースＤＢ３２から取得したγの値が「Ｎｕｌｌ」である場合、γの値を初期値の「１」にする。また、パラメータ更新部２０３は、第２広告選択履歴データベースＤＢ３２から取得したεａの値が「Ｎｕｌｌ」である場合、εａの値を取得したεの値と同じ値とし、第２広告選択履歴データベースＤＢ３２から取得したεａの値が「Ｎｕｌｌ」である場合、εｂの値を、初期値の「１」とする。

パラメータ更新部２０３は、ε、γ、εａ及びεｂの値を更新すると、取得した広告候補リストと、取得したεの値と、更新したγ、εａ及びεｂの値をグループ選択部２０５へ送り、グループ選択部２０５は、送られた広告候補リスト、ε、γ、εａ及びεｂの値を取得する（ステップＳ３１）。

グループ選択部２０５は、取得したγの値が「Ｎｕｌｌ」ではない場合、取得したγを用いて、新たに登録された新規広告のグループと、新たに登録された広告より前に登録された既存広告のグループのいずれかを選択する（ステップＳ３２）。
具体的には、グループ選択部２０５は、第２広告選択履歴データベースＤＢ３２において新たなレコードを生成し、取得した広告候補リストにおいてＣＴＲの値が「Ｎｕｌｌ」となっている識別子の「３」を、図１２（ａ）に示したように、新規Ｇのフィールドに格納する。また、グループ選択部２０５は、取得した広告候補リストにおいてＣＴＲの値が「Ｎｕｌｌ」以外となっている識別子の「１」と「２」を、既存Ｇのフィールドに格納する。また、グループ選択部２０５は、取得したγの値を「γ」のフィールドに格納し、取得したεａの値を「εａ」のフィールドに格納し、取得したεｂの値を「εｂ」のフィールドに格納する。次に、グループ選択部２０５は、取得したγの値をε−Ｇｒｅｅｄｙアルゴリズムにおける「探索」と「活用」を行うときのパラメータとし、γの値の確率で「探索」を行い、１−γの値の確率で「活用」を行い、既存広告のグループと、新規広告のグループのいずれかを選択する。

次にグループ選択部２０５は、選択したグループを示す情報を、「選択グループ」のフィールドに格納する（ステップＳ３３）。例えば、グループ選択部２０５が、新規広告のグループを選択すると、ここまでで第２広告選択履歴データベースＤＢ３２は、図１２（ａ）に示した状態となる。

次にグループ選択部２０５は、広告候補リストと、選択したグループから広告を選択するときに用いるパラメータと、選択したグループに含まれる広告の識別子を、表示広告計算部２０４へ送る（ステップＳ３４）。例えば、グループ選択部２０５が、新規広告のグループを選択した場合、広告候補リストと、εｂと、識別子の「３」が表示広告計算部２０４へ送られる。なお、グループ選択部２０５が、既存広告のグループを選択した場合、広告候補リストと、εａと、識別子の「１」及び「２」が表示広告計算部２０４へ送られる。

表示広告計算部２０４は、広告候補リストと、広告の識別子と、εｂを取得すると、取得したεｂの値を使用し、端末装置３０へ配信する広告を選択する（ステップＳ３５）。具体的には、表示広告計算部２０４は、バンディットテストにおいて、取得したεｂの値の確率で「探索」を行い、１−εｂの値の確率で「活用」を行う。「探索」においては、取得した識別子の中からランダムに識別子を選択し、「活用」においては、取得した識別子のうち、広告候補リストにおいて最も大きいＣＴＲの値が対応付けられている識別子を選択する。なお、新規広告のグループに属する広告について、ＣＴＲの値が表示広告集計データベースＤＢ２にない場合には、ランダムに選択する構成としてもよい。

表示広告計算部２０４は、サーバ装置１０から端末装置３０へ配信する広告の識別子を選択すると、選択した広告の識別子をステップＳ３２で生成したレコードの「選択広告」のフィールドに格納し、選択した日時を「選択時期」のフィールドに格納する（ステップＳ３６）。例えば、識別子が「３」の広告が選択された場合、第２広告選択履歴データベースＤＢ３２は、図１２（ｂ）に示した状態となる。

次に表示広告計算部２０４は、選択した広告の識別子を、通信部２５を制御してサーバ装置１０へ送信する（ステップＳ３７）。サーバ装置１０は、広告選択装置２０からされた識別子を取得すると、取得した識別子の広告を端末装置３０へ配信する。

この後、端末装置３０がサーバ装置１０へアクセスすると、ステップＳ２１〜Ｓ２４と同様に、広告情報取得部２０１が表示広告候補データベースＤＢ１にある情報と、表示広告集計データベースＤＢ２にあるＣＴＲを取得し、広告候補リストを生成してパラメータ更新部２０３へ送る（図１３のステップＳ４１〜Ｓ４４）。また、新規広告判断部２０２は、表示広告候補データベースＤＢ１に格納されている情報を取得する（ステップＳ４５）。例えば、広告情報取得部２０１は、図３に示したレコードを取得する。また、新規広告判断部２０２は、第２広告選択履歴データベースＤＢ３２に格納されている最新のレコードとして、図１２（ｂ）に示したレコードのうち２行目のレコードを取得する（ステップＳ４６）。

次に新規広告判断部２０２は、ステップＳ４５で取得した情報と、ステップＳ４６で取得したレコードを用いて、広告を選択した後にサーバ装置１０へ新たに登録された広告があるか判断する（ステップＳ４７）。ここで、ステップＳ４６で取得した図１２（ｂ）の２行目のレコードにおいては、γの値が１となっている。新規広告判断部２０２は、γの値が「Ｎｕｌｌ」ではなく、γの値が予め定められた値を超える値であると、「新たに登録された広告がある」と判断する。新規広告判断部２０２は、ステップＳ４７の判断結果をパラメータ更新部２０３へ送り、パラメータ更新部２０３は、新規広告判断部２０２の判断結果を取得する（ステップＳ４８）。パラメータ更新部２０３は、新規広告判断部２０２の判断結果を取得した後、第２広告選択履歴データベースＤＢ３２に格納されているパラメータのうち、選択時期が最新のレコードに格納されているパラメータを取得する（ステップＳ４９）。

パラメータ更新部２０３は、新規広告判断部２０２の判断結果とパラメータとを取得した後、広告を選択するときに用いるパラメータを更新する（ステップＳ５０）。ここでパラメータ更新部２０３は、ステップＳ４７の判断結果が、「新たに登録された広告がある」の場合、γ、εａ及びεｂを更新する。具体的には、γについては、第２広告選択履歴データベースＤＢ３２から取得したγの値が「Ｎｕｌｌ」ではない場合、γ＝１／ｌｎ（ｔ１）とする。ここで「ｔ１」は、例えば、サーバ装置１０に新規広告が登録されてから経過した時間とする。また、εａは、第２広告選択履歴データベースＤＢ３２から取得したεａの値が「Ｎｕｌｌ」ではない場合、εａ＝１／ｌｎ（ｔ１）とし、εｂは、第２広告選択履歴データベースＤＢ３２から取得したεｂの値が「Ｎｕｌｌ」ではない場合、εｂ＝１／ｌｎ（ｔ１）とする。

パラメータ更新部２０３は、ε、γ、εａ及びεｂの値を更新すると、取得した広告候補リストと、取得したεの値と、更新したγ、εａ及びεｂの値をグループ選択部２０５へ送り、グループ選択部２０５は、送られた広告候補リスト、ε、γ、εａ及びεｂの値を取得する（ステップＳ５１）。

グループ選択部２０５は、取得したγの値が「Ｎｕｌｌ」ではない場合、取得したγを用いて、新たに登録された新規広告のグループと、新たに登録された広告より前に登録された既存広告のグループのいずれかを選択する（ステップＳ５２）。
具体的には、グループ選択部２０５は、第２広告選択履歴データベースＤＢ３２において新たなレコードを生成し、生成した一つ前のレコードの「既存Ｇ」のフィールドにある情報を、生成したレコードの「既存Ｇ」のフィールドにコピーし、生成した一つ前のレコードの「新規Ｇ」のフィールドにある情報を、生成したレコードの「新規Ｇ」のフィールドにコピーする。また、グループ選択部２０５は、取得したγの値を「γ」のフィールドに格納し、取得したεａの値を「εａ」に格納し、取得したεｂの値を「εｂ」のフィールドに格納する。次に、グループ選択部２０５は、取得したγの値をε−Ｇｒｅｅｄｙアルゴリズムにおける「探索」と「活用」を行うときのパラメータとし、γの値の確率で「探索」を行い、１−γの値の確率で「活用」を行い、既存広告のグループと、新規広告のグループのいずれかを選択する。

次にグループ選択部２０５は、選択したグループを示す情報を「選択グループ」のフィールドに格納する（ステップＳ５３）。例えば、グループ選択部２０５が、新規広告のグループを選択すると、ここまでで第２広告選択履歴データベースＤＢ３２は、図１４（ａ）に示した状態となる。

次にグループ選択部２０５は、広告候補リストと、選択したグループから広告を選択するときに用いるパラメータのεａと、選択したグループに含まれる広告の識別子の「１」と「２」を、表示広告計算部２０４へ送る（ステップＳ５４）。表示広告計算部２０４は、広告候補リストと、広告の識別子と、パラメータを取得すると、取得したパラメータの値を使用し、端末装置３０へ配信する広告を選択する（ステップＳ５５）。具体的には、表示広告計算部２０４は、バンディットテストにおいて、取得したεａの値の確率で「探索」を行い、１−εａの値の確率で「活用」を行う。「探索」においては、取得した識別子の中からランダムに識別子を選択し、「活用」においては、取得した識別子のうち、広告候補リストにおいて最も大きいＣＴＲの値が対応付けられている識別子を選択する。

表示広告計算部２０４は、サーバ装置１０から端末装置３０へ配信する広告の識別子を選択すると、選択した広告の識別子をステップＳ５２で生成したレコードの「選択広告」のフィールドに格納し、選択した日時を「選択時期」のフィールドに格納する（ステップＳ５６）。例えば、識別子が「２」の広告が選択された場合、第２広告選択履歴データベースＤＢ３２は、図１４（ｂ）に示した状態となる。

次に表示広告計算部２０４は、選択した広告の識別子を、通信部２５を制御してサーバ装置１０へ送信する（ステップＳ５７）。サーバ装置１０は、広告選択装置２０からされた識別子を取得すると、取得した識別子の広告を端末装置３０へ配信する。

この後、端末装置３０がサーバ装置１０へアクセスをする毎に、上述したように、パラメータの更新、既存広告のグループ又は新規広告のグループの選択、及び選択したグループの中からの広告の選択が行われ、第２広告選択履歴データベースＤＢ３２が更新されていく。パラメータのγ、εａ及びεｂは、時間の経過によって減少するため、広告の選択が行われるたびに、第２広告選択履歴データベースＤＢ３２に格納されるパラメータの値は減少していく。

そして、新規広告判断部２０２が新規広告の有無を判断する際に、第２広告選択履歴データベースＤＢ３２から取得した最新のレコードにおいて、γの値が予め定められた閾値の０．５以下となっている場合、新規広告判断部２０２は、「新たに登録された広告がない」と判断する。新規広告判断部２０２の判断結果が、「新たに登録された広告がない」との結果であると、パラメータ更新部２０３は、広告を選択するときのパラメータを更新する。具体的には、パラメータ更新部２０３は、εの値を、「εａ」のフィールドに格納されている値と同じ値とし、γ、εａ及びεｂの値を「Ｎｕｌｌ」とする。

パラメータ更新部２０３は、ε、γ、εａ及びεｂの値を更新すると、取得した広告候補リストと、更新したε、γ、εａ及びεｂの値をグループ選択部２０５へ送り、グループ選択部２０５は、送られたε、γ、εａ及びεｂの値を取得する。グループ選択部２０５は、γの値が「Ｎｕｌｌ」である場合、既存広告のグループを選択する。ここで、グループ選択部２０５は、第２広告選択履歴データベースＤＢ３２において新たなレコードを生成する。グループ選択部２０５は、選択したグループを示す情報を、生成したレコードの「選択グループ」のフィールドに格納し、一つ前のレコードにおいて「既存Ｇ」のフィールドにあった識別子の「１」と「２」を、新たなレコードの「既存Ｇ」のフィールドに格納し、一つ前のレコードにおいて「新規Ｇ」のフィールドにあった識別子も、新たなレコードの「既存Ｇ」のフィールドに格納する。また、グループ選択部２０５は、取得したγの値（Ｎｕｌｌ）を、新たなレコードの「γ」のフィールドに格納し、取得したεａの値（Ｎｕｌｌ）を、新たなレコードの「εａ」に格納し、取得したεｂの値（Ｎｕｌｌ）を、新たなレコードの「εｂ」に格納する。

次にグループ選択部２０５は、選択したグループに属する広告を選択するときのパラメータと、取得した広告候補リストを表示広告計算部２０４へ送る。例えば、上述したように、グループ選択部２０５が、既存広告のグループを選択し、γの値が「Ｎｕｌｌ」となっている場合、取得したεと、取得した広告候補リストが表示広告計算部２０４へ送られる。

表示広告計算部２０４は、広告候補リストと、εを取得すると、取得したεの値を使用し、端末装置３０へ配信する広告を、既存広告のグループに属する広告、即ち、識別子が「１」の広告、識別子が「２」の広告及び識別子が「３」の広告の中から、ε−Ｇｒｅｅｄｙアルゴリズムを用いて選択する。表示広告計算部２０４は、配信する広告を選択すると、選択した広告の識別子を第２広告選択履歴データベースＤＢ３２の「選択広告」のフィールドに格納する。
次に表示広告計算部２０４は、選択した広告の識別子をサーバ装置１０へ送信する。サーバ装置１０は、広告選択装置２０からされた識別子を取得すると、取得した識別子の広告を端末装置３０へ配信する。

以上説明したように、第２実施形態によれば、広告を新たに登録されたグループと、新規広告より前に登録された既存広告のグループに分け、グループを分けた当初は、新規広告を選択する確率を高くし、新規広告を選択する確率を時間の経過に伴って低くしていくことにより、新たに登録された広告が探索される機会が増え、探索が十分に行われるため、真にクリック率が高い広告が選択されることとなる。

［第３実施形態］
次に、本発明の第３実施形態について説明する。本発明の第３実施形態に係る広告配信システム１は、第１実施形態と同じく、サーバ装置１０と広告選択装置２０を含む。第３実施形態に係るサーバ装置１０と広告選択装置２０のハードウェア構成は第１実施形態と同じである。第３実施形態においては、広告選択装置２０が行う処理が第１実施形態と異なる。また、第３実施形態においては、広告選択装置２０において選択確率更新部２０６が実現する点と、広告選択履歴データベースＤＢ３に替えて、第３広告選択履歴データベースＤＢ３３を有する点が第１実施形態と異なる。以下、第１実施形態と同じ構成については説明を省略し、第１実施形態との相違点について説明する。

図１５は、第３実施形態に係る広告選択装置２０において実現する機能の構成を示した機能ブロック図である。選択確率更新部２０６は、配信する候補となる広告のそれぞれについて、選択される確率を更新する機能を有しており、選択される確率を登録されてからの経過時間に応じて更新する。表示広告計算部２０４は、選択確率更新部２０６が更新した選択確率を使用し、端末装置３０へ配信する広告を選択する機能を有する。

図１６は、第３広告選択履歴データベースＤＢ３３の一例を示した図である。第３広告選択履歴データベースＤＢ３３は、「＃」、「選択時期」、「選択広告」、「パラメータ」、「選択候補」、及び「選択確率」のフィールドを有する。「＃」フィールドは、データベースのレコードの番号を格納する。「選択時期」フィールドは、端末装置３０へ配信する広告を広告選択装置２０が選択した日時を示す情報を格納し、「選択広告」フィールドは、端末装置３０へ配信する広告として広告選択装置２０が選択した広告の識別子を格納する。「パラメータ」フィールドは、ε−Ｇｒｅｅｄｙアルゴリズムにおいて「探索」を行う割合と「活用」を行う割合を定めるパラメータであるεの値を格納する。「選択候補」フィールドは、複数のサブフィールドを有し、端末装置３０へ配信する広告を選択する際に選択の候補となった広告の識別子を格納する。「選択確率」フィールドは、複数のサブフィールドを有し、配信する候補となる広告のそれぞれが選択される確率が格納される。

（第３実施形態の動作例）
次に、第３実施形態の動作例について、図１７のシーケンス図を用いて説明する。なお、以下の説明においては、識別子が「１」の広告と識別子が「２」の広告が登録されている状態において、識別子が「３」の広告が新たに登録された状態を想定して動作例の説明を行う。

端末装置３０がサーバ装置１０へアクセスすると、サーバ装置１０は、広告の選択指示を広告選択装置２０へ送信する。広告選択装置２０は、この選択指示を取得すると、図１７に示した動作を行う。なお、図１７のステップＳ６１〜Ｓ６３までの処理は、第１実施形態のステップＳ１〜Ｓ３までの処理と同じであるため、その説明を省略する。広告情報取得部２０１は、ステップＳ６３で広告候補リストを生成すると、生成した広告候補リストをパラメータ更新部２０３と選択確率更新部２０６へ送る（ステップＳ６４）。

次に、新規広告判断部２０２は、表示広告候補データベースＤＢ１に格納されている情報を取得する（ステップＳ６５）。例えば、上述したように、配信する広告の候補として３つの広告がサーバ装置１０に登録されている場合、新規広告判断部２０２は、図３に示した３つのレコードを取得する。また、新規広告判断部２０２は、第３広告選択履歴データベースＤＢ３３に格納されているレコードのうち、選択時期が最新のレコードを取得する（ステップＳ６６）。

新規広告判断部２０２は、ステップＳ６５で取得した情報と、ステップＳ６６で取得したレコードを用いて、広告を選択した後にサーバ装置１０へ新たに登録された広告があるか判断し（ステップＳ６７）、判断結果をパラメータ更新部２０３へ通知する（ステップＳ６８）。例えば、取得した図３に示したレコードと、取得した図１５に示したレコードとを比較した場合、広告を選択した最後の日時より後に、識別子が「３」の広告が登録されていることがわかる。この場合、新規広告判断部２０２は、広告を選択した後に新たに登録された広告がサーバ装置１０にあると判断する。

新規広告判断部２０２は、ステップＳ６７の判断結果をパラメータ更新部２０３へ送り、パラメータ更新部２０３は、新規広告判断部２０２の判断結果を取得する（ステップＳ６８）。パラメータ更新部２０３は、新規広告判断部２０２の判断結果を取得すると、ε−Ｇｒｅｅｄｙアルゴリズムにより広告を選択するときのパラメータであるεの値を更新する（ステップＳ６９）。具体的には、パラメータ更新部２０３は、新規広告判断部２０２の判断結果にかかわらず、εの値を減少させ、例えば、ε＝１／ｌｎ（ｔ）とする。ここで「ｔ」は、例えば、サーバ装置１０が広告の配信を始めてから経過した時間を用いる。パラメータ更新部２０３は、εの値を更新すると、更新した値と、取得した広告候補リストを選択確率更新部２０６へ送り、選択確率更新部２０６は、送られたεの値と、広告候補リストを取得する（ステップＳ７０）。また、パラメータ更新部２０３は、更新したεの値と、取得した広告候補リストを表示広告計算部２０４へ送り、表示広告計算部２０４は、送られたεの値と、広告候補リストを取得する（ステップＳ７１）。

選択確率更新部２０６は、εの値と、広告候補リストを取得すると、選択の候補となる広告のそれぞれの選択確率Ｐを、サーバ装置１０へ登録されてからの期間Ｔが短いほど値が大きくなるように重み付けをして更新する（ステップＳ７２）。
具体的には、選択確率更新部２０６は、広告候補リストにある識別子の広告の登録時期を、表示広告候補データベースＤＢ１から取得し、識別子の広告が登録されてからの経過時間を求める。そして、選択確率更新部２０６は、識別子をｉ、識別子がｉの広告がサーバ装置１０へ登録されてからの経過時間をＴｉ、選択される候補となる広告の数をＮ、識別子がｉの広告の選択が選択される確率の選択確率をＰｉとしたとき、選択確率Ｐｉは、Ｐｉ＝ｋε／（ＴｉＮ）として計算される。但し、ｋは数２の式を満たすための定数である。

選択確率更新部２０６は、選択される候補となる広告のそれぞれについて、選択確率を計算し終えると、計算した選択確率と、広告候補リストを表示広告計算部２０４へ送る（ステップＳ７３）。表示広告計算部２０４は、広告候補リストと、選択確率を取得すると、取得した広告候補リストにあるＣＴＲと、パラメータ更新部２０３から取得したεの値を使用し、端末装置３０へ配信する広告を選択する（ステップＳ７４）。具体的には、表示広告計算部２０４は、バンディットテストにおいて、取得したεの値の確率で「探索」を行い、１−εの値の確率で「活用」を行う。「探索」においては、広告候補リストにある広告の識別子の中から取得した選択確率で広告を選択し、「活用」においては、広告候補リストにおいて最も大きいＣＴＲの値が対応付けられている識別子を選択する。

表示広告計算部２０４は、サーバ装置１０から端末装置３０へ配信する広告を選択すると、第３広告選択履歴データベースＤＢ３３に新たにレコードを追加し、選択した広告の識別子や取得したεの値、取得した選択確率などを格納する（ステップＳ７５）。
具体的には、表示広告計算部２０４は、広告の選択を行った日時を、新たに追加したレコードの「選択時期」のフィールドに格納し、パラメータ更新部２０３から取得したεの値を、新たに追加したレコードの「パラメータ」のフィールドに格納し、選択した広告の識別子を、新たに追加したレコードの「選択広告」のフィールドに格納する。また、表示広告計算部２０４は、取得した広告候補リストに含まれている識別子を、「選択候補」のフィールドに格納し、取得した選択確率を、「選択確率」のフィールドに格納する。

次に表示広告計算部２０４は、選択した広告の識別子を、通信部２５を制御してサーバ装置１０へ送信する（ステップＳ７６）。サーバ装置１０は、広告選択装置２０からされた識別子を取得すると、取得した識別子の広告を端末装置３０へ配信する。

以上説明したように、第３実施形態によれば、広告が登録されてからの経過時間に応じて広告の選択確率が決まるため、広告が頻繁に登録される場合でも、新たに登録された広告について、探索が十分に行われ、真にクリック率が高い広告が選択されることとなる。

［第４実施形態］
次に、本発明の第４実施形態について説明する。本発明の第４実施形態に係る広告配信システム１は、第１実施形態と同じく、サーバ装置１０と広告選択装置２０を含む。本実施形態に係るサーバ装置１０と広告選択装置２０のハードウェア構成は第１実施形態と同じである。本実施形態においては、広告選択装置２０が行う処理が第１実施形態と異なり、具体的には、パラメータ更新部２０３の動作が異なる。以下、本実施形態の動作例について説明する。

（第４実施形態の動作例）
第４実施形態の動作例について、図１８のシーケンス図を用いて説明する。まず、端末装置３０がサーバ装置１０へアクセスすると、サーバ装置１０は、広告の選択指示を広告選択装置２０へ送信する。広告選択装置２０は、この選択指示を取得すると、図１８に示した動作を行う。なお、図１８のステップＳ８１〜Ｓ８９までの処理は、第１実施形態のステップＳ１〜Ｓ９までの処理と同じであるため、その説明を省略する。

パラメータ更新部２０３は、新規広告判断部２０２の判断結果を取得すると、表示広告集計データベースＤＢ２に格納されている情報を取得する（ステップＳ９０）。パラメータ更新部２０３は、表示広告集計データベースＤＢ２から情報を取得すると、ステップＳ８９で取得したεの値を更新する（ステップＳ９１）。

具体的には、パラメータ更新部２０３は、取得した新規広告判断部２０２の判断結果が、「新たに登録された広告がある」との判断結果の場合、表示広告集計データベースＤＢ２から情報を取得すると、新たに登録された広告より前に登録されていた広告のジャンル毎にＣＴＲの平均と分散を計算する。また、新たに登録された広告のＣＴＲについては、当該広告が属するジャンルにおけるＣＴＲの平均値を初期値とし、新たに登録された広告が属するジャンルが新たなジャンルである場合、例えば、予め定められた初期値として、ＣＴＲの平均と分散を計算する。

次に、パラメータ更新部２０３は、新たに追加された広告のジャンルについて、算出したＣＴＲの分散が、他のジャンルのＣＴＲの分散より大きい場合には、パラメータのεの値を初期化して１にする。また、パラメータ更新部２０３は、新たに追加された広告のジャンルについて、算出したＣＴＲの分散が、他のジャンルのＣＴＲの分散以下である場合には、例えば、ε＝１／ｌｎ（ｔ）とし、εの値を減少させる。なお、ここで「ｔ」は、例えば、εの値を１に設定してから経過した時間を用いる。

パラメータ更新部２０３は、εの値を更新すると、取得した広告候補リストと、更新したεの値を表示広告計算部２０４へ送る（ステップＳ９２）。表示広告計算部２０４は、広告候補リストと、更新されたεの値を取得すると、第１実施形態と同様に、取得した広告候補リストにあるＣＴＲと、取得したεの値を使用し、端末装置３０へ配信する広告を選択する（ステップＳ９３）。

表示広告計算部２０４は、サーバ装置１０から端末装置３０へ配信する広告の識別子を選択すると、第１実施形態と同様に、広告選択履歴データベースＤＢ３に新たにレコードを追加し、選択した広告の識別子や取得したεの値などを格納する（ステップＳ９４）。
次に表示広告計算部２０４は、選択した広告の識別子をサーバ装置１０へ送信する（ステップＳ９５）。サーバ装置１０は、広告選択装置２０からされた識別子を取得すると、取得した識別子の広告を端末装置３０へ配信する。

以上説明したように、本実施形態によれば、新たに登録された広告が探索される機会が増え、探索が十分に行われるため、真にクリック率が高い広告が選択されることとなる。

［変形例］
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。例えば、上述の実施形態を以下のように変形して本発明を実施してもよい。なお、上述した実施形態及び以下の変形例は、各々を組み合わせてもよい。

上述した実施形態においては、サーバ装置１０と広告選択装置２０は、別々の装置となっているが、サーバ装置１０が広告選択装置２０の機能を備えた構成、即ち、サーバ装置１０と広告選択装置２０とが一体化された構成であってもよい。

本発明に係る機能を実現するプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ（Hard Disk Drive）、ＦＤ（Flexible Disk））など）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリーなどのコンピュータ読取り可能な記録媒体に記憶した状態で提供し、各装置にインストールしてもよい。また、通信網２を介してプログラムをダウンロードして各装置にインストールしてもよい。

１…広告配信システム、２…通信網、１０…サーバ装置、２０…広告選択装置、３０…端末装置、２１…制御部、２２…記憶部、２３…表示部、２４…操作部、２５…通信部、２０１…広告情報取得部、２０２…新規広告判断部、２０３…パラメータ更新部、２０４…表示広告計算部、２０５…グループ選択部、２０６…選択確率更新部、ＤＢ１…表示広告候補データベース、ＤＢ２…表示広告集計データベース、ＤＢ３…広告選択履歴データベース、ＤＢ３２…第２広告選択履歴データベース、ＤＢ３３…第３広告選択履歴データベース

Claims (7)

1. 端末装置へ配信する広告の候補のそれぞれの登録時期を取得する登録時期取得手段と、
   端末装置へ配信された広告の選択時期を取得する選択時期取得手段と、
   パラメータに応じた割合で探索及び活用を行うアルゴリズムにより、前記候補の中から端末装置へ配信する広告を選択する選択手段と、
   前記候補に含まれる広告のうち、前記登録時期取得手段が取得した時期が、前記選択時期取得手段が取得した選択時期より後の広告がある場合、前記探索を行う割合が増加するように前記パラメータを更新する更新手段と、
   前記選択手段が選択した広告を識別する情報を出力する出力手段と、
   を有する広告選択装置。
2. 前記更新手段は、前記候補に含まれる広告のうち、前記登録時期取得手段が取得した登録時期が、前記選択時期取得手段が取得した選択時期より後の広告の数が多くなるにつれて、前記探索を行う割合を多くするように前記パラメータを更新する
   請求項１に記載の広告選択装置。
3. 前記選択手段は、
   前記候補に含まれる広告を、前記登録時期取得手段が取得した登録時期が、前記選択時期取得手段が取得した選択時期より後である広告の第１グループと、前記登録時期取得手段が取得した登録時期が、前記選択時期取得手段が取得した選択時期より前である広告の第２グループとに分け、
   第１パラメータに応じた割合で探索及び活用を行うアルゴリズムにより、前記第１グループと前記第２グループのいずれかの選択を行い、第２パラメータに応じた割合で探索及び活用を行うアルゴリズムにより、選択したグループに属する広告から端末装置へ配信する広告を選択し、
   前記更新手段は、時間の経過に応じて、前記探索を行う割合が減少するように前記第１パラメータ及び前記第２パラメータを減少させる
   請求項１に記載の広告選択装置。
4. 前記選択手段は、前記探索を行うときに、前記候補に含まれる広告毎に、選択される確率を登録時期からの経過時間が短くなるにつれて大きくする
   請求項１に記載の広告選択装置。
5. 前記更新手段は、前記候補に含まれる広告のうち、前記登録時期取得手段の取得した登録時期が前記選択時期取得手段の取得した選択時期より後である広告が属するジャンルに含まれる広告のクリック率の分散が、他のジャンルに含まれる広告のクリック率の分散より大きい場合、前記探索を行う割合が増加するように前記パラメータを更新する
   請求項１に記載の広告選択装置。
6. 端末装置へ配信する広告の候補のそれぞれの登録時期を取得する登録時期取得ステップと、
   端末装置へ配信された広告の選択時期を取得する選択時期取得ステップと、
   パラメータに応じた割合で探索及び活用を行うアルゴリズムにより、前記候補の中から端末装置へ配信する広告を選択する選択ステップと、
   前記候補に含まれる広告のうち、前記登録時期取得ステップで取得した時期が、前記選択時期取得ステップで取得した選択時期より後の広告がある場合、前記探索を行う割合が増加するように前記パラメータを更新する更新ステップと、
   前記選択ステップが選択した広告を識別する情報を出力する出力ステップと、
   を有する広告選択方法。
7. コンピュータを、
   端末装置へ配信する広告の候補のそれぞれの登録時期を取得する登録時期取得手段と、
   端末装置へ配信された広告の選択時期を取得する選択時期取得手段と、
   パラメータに応じた割合で探索及び活用を行うアルゴリズムにより、前記候補の中から端末装置へ配信する広告を選択する選択手段と、
   前記候補に含まれる広告のうち、前記登録時期取得手段が取得した時期が、前記選択時期取得手段が取得した選択時期より後の広告がある場合、前記探索を行う割合が増加するように前記パラメータを更新する更新手段と、
   前記選択手段が選択した広告を識別する情報を出力する出力手段、
   として機能させるためのプログラム。

Images