JP2014174753A - Information processing unit, information processing method, and information processing program - Google Patents

Information processing unit, information processing method, and information processing program Download PDF

Info

Publication number
JP2014174753A
JP2014174753A JP2013047070A JP2013047070A JP2014174753A JP 2014174753 A JP2014174753 A JP 2014174753A JP 2013047070 A JP2013047070 A JP 2013047070A JP 2013047070 A JP2013047070 A JP 2013047070A JP 2014174753 A JP2014174753 A JP 2014174753A
Authority
JP
Japan
Prior art keywords
advertisement
feature vector
clicked
click
click rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013047070A
Other languages
Japanese (ja)
Other versions
JP5683622B2 (en
Inventor
Toru Hotta
徹 堀田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2013047070A priority Critical patent/JP5683622B2/en
Publication of JP2014174753A publication Critical patent/JP2014174753A/en
Application granted granted Critical
Publication of JP5683622B2 publication Critical patent/JP5683622B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an information processing unit configured such that in a case where a click prediction model is learned using a difference vector, a characteristic vector is generated so that demographic information and so on that are common to each click can be used for the formation of a click prediction model.SOLUTION: Based on log data that is generated each time when an advertisement in a Web page on which a plurality of advertisements are displayed is clicked and that relates to combinations of advertisements clicked and advertisements not clicked, characteristic vectors for selections of advertisements to be displayed are generated. Using the log data, a click percentage in a combination with an element composing the characteristic vector of the advertisement is calculated for each attribute relating to a person who clicked the advertisement. A click percentage with respect to the target advertisement of the characteristic vector and corresponding to a specific element composing the characteristic vector is extracted, and this click percentage is added as an element of the characteristic vector.

Description

本発明は、広告のクリックに関するログデータに基づいて、表示する広告を選択するための特徴ベクトルを生成する情報処理装置に関する。   The present invention relates to an information processing apparatus that generates a feature vector for selecting an advertisement to be displayed based on log data relating to an advertisement click.

ウェブページにおける広告において、ユーザに対応して広告を選択して表示することが行われている。例えば、閲覧されたウェブページやユーザの興味に応じて、ある広告がどの程度クリックされやすいかを計るために、広告のクリックログを学習データとして、クリック率を予測するモデルが機械学習を用いて構築されている。このクリック予測モデルでは、1つのリクエスト内で、クリックされた広告とクリックされなかった広告の特徴ベクトルの差分を取って、その差分ベクトルを学習データとして予測モデルを構築している。このようにすることで、複数の広告の中からその広告が選ばれたという情報を学習することができ、精度の高い予測モデルを作成することができている。   In an advertisement on a web page, an advertisement is selected and displayed corresponding to a user. For example, in order to measure how easily a certain advertisement is clicked according to the browsed web page and the user's interest, a model that predicts the click rate using the click log of the advertisement as learning data uses machine learning. Has been built. In this click prediction model, a difference between feature vectors of a clicked advertisement and an advertisement not clicked is taken within one request, and a prediction model is constructed using the difference vector as learning data. By doing in this way, the information that the advertisement was chosen from a plurality of advertisements can be learned, and a highly accurate prediction model can be created.

これに関連する技術として、例えば、特許文献1には、全体の負荷を著しく増大させることなく、必要な広告に対する数値更新頻度を従来よりも改善することを課題とし、CTR計算対象のログデータのうち、全広告のCTRを計算する時間間隔(例えば半日)とは別に、より短い第二の時間間隔(例えば30分)毎に、表示回数が所定の条件を満たす広告についてのみCTRの計算を行うことにより、全体の負荷を著しく増大させることなく、必要な広告に対するCTR更新頻度を従来よりも改善することが可能となることが開示されている。   As a technology related to this, for example, in Patent Document 1, it is an object to improve the numerical update frequency for necessary advertisements without significantly increasing the overall load, and the log data of the CTR calculation target is improved. Among them, apart from the time interval for calculating the CTR of all advertisements (for example, half a day), the CTR is calculated only for an advertisement whose display count satisfies a predetermined condition at a shorter second time interval (for example, 30 minutes). Thus, it is disclosed that the CTR update frequency for a necessary advertisement can be improved as compared with the conventional technique without significantly increasing the overall load.

特開2011−192224号公報JP 2011-192224 A

しかしながら、1つのリクエスト内の広告同士の差分を取るため、性別・年令などのデモグラフィック(demographics)情報や曜日・時間帯・場所などのコンテキスト情報が打ち消され、クリック予測の情報として活かせないという問題がある。つまり、クリックされた広告とクリックされなかった広告とでは、デモグラフィック情報又はコンテキスト情報は同じになるので、特徴ベクトルの要素として採用したとしても、相殺していまい、その要素の情報は無いに等しくなってしまう。このため、例えば「男性ならクリックしやすい広告」といった情報を利用してクリック予測モデルを作成していないことになる。
本発明は、このような背景技術の状況の中でなされたもので、差分ベクトルでクリック予測モデルを学習する場合において、クリック毎に共通であるデモグラフィック情報又はコンテキスト情報を反映しているクリック率を用いて、クリック予測モデルの作成に活用できるように特徴ベクトルを生成するようにした情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的としている。
However, because the difference between advertisements in one request is taken, demographic information such as gender and age, and context information such as day of the week, time zone, and location are negated, and it cannot be used as click prediction information There's a problem. In other words, because the demographic information or context information is the same for the clicked advertisement and the advertisement that was not clicked, even if it is adopted as an element of the feature vector, it can be canceled out, and there is no information about the element. turn into. For this reason, for example, a click prediction model is not created using information such as “an advertisement easy for men to click”.
The present invention has been made in the background of such a background art, and when learning a click prediction model with a difference vector, a click rate reflecting demographic information or context information common to each click. It is an object of the present invention to provide an information processing apparatus, an information processing method, and an information processing program that generate feature vectors so that they can be used to create a click prediction model.

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
(1)複数の広告が表示されているウェブページ内の広告のクリック毎に発生するログデータであって、クリックされた広告とクリックされなかった広告の組み合わせに関するログデータに基づいて、表示する広告を選択するための特徴ベクトルを生成する特徴ベクトル生成手段と、ログデータを用いて、広告に対してクリックを行った者に関する属性毎に、該広告の特徴ベクトルを構成する要素との組み合わせにおけるクリック率を算出する算出手段と、前記特徴ベクトルが対象としている広告に対するクリック率であって、該特徴ベクトルを構成する所定の要素に対応するクリック率を抽出する抽出手段と、前記抽出手段によって抽出されたクリック率を前記特徴ベクトル生成手段によって生成された特徴ベクトルの要素として付加する付加手段を具備することを特徴とする情報処理装置である。
The gist of the present invention for achieving the object lies in the inventions of the following items.
(1) An advertisement to be displayed based on log data that is generated each time an advertisement is clicked on a web page on which a plurality of advertisements are displayed, and that is based on log data relating to a combination of an advertisement that has been clicked and an advertisement that has not been clicked. Clicks in combination with feature vector generation means for generating a feature vector for selecting and for each attribute relating to the person who clicked on the advertisement using log data, with the elements constituting the feature vector of the advertisement A calculating means for calculating a rate, an extracting means for extracting a click rate corresponding to a predetermined element constituting the feature vector, the click rate for the advertisement targeted by the feature vector, and extracted by the extracting means The click rate is added as an element of the feature vector generated by the feature vector generating means An information processing apparatus characterized by comprising pressurizing means.

(2)前記ログデータを用いて、広告と属性に関するモデルを学習によって生成する第1の学習手段をさらに具備し、前記算出手段は、前記第1の学習手段によって学習されたモデルを用いて、クリック率を算出することを特徴とする(1)に記載の情報処理装置である。   (2) using the log data, further comprising first learning means for generating a model relating to an advertisement and an attribute by learning, wherein the calculating means uses the model learned by the first learning means, The information processing apparatus according to (1), wherein a click rate is calculated.

(3)広告のクリックに関するログデータを収集する収集手段と、前記収集手段によってログデータが収集された場合は、クリックされた広告とクリックされなかった広告の特徴ベクトルの差分ベクトルを生成する差分ベクトル生成手段と、前記差分ベクトル生成手段によって生成された差分ベクトルを用いて、表示する広告を選択するための基準を学習する第2の学習手段と、前記第2の学習手段によって学習された基準にしたがって、表示する広告を選択する選択手段をさらに具備することを特徴とする(1)又は(2)に記載の情報処理装置である。   (3) A collection unit that collects log data related to an advertisement click, and a difference vector that generates a difference vector between a clicked advertisement and a feature vector of an advertisement that has not been clicked when the collection unit collects log data. A generating unit, a second learning unit that learns a criterion for selecting an advertisement to be displayed using the difference vector generated by the difference vector generating unit, and a reference learned by the second learning unit. Therefore, the information processing apparatus according to (1) or (2), further including selection means for selecting an advertisement to be displayed.

(4)特徴ベクトル生成手段と算出手段と抽出手段と付加手段を具備する情報処理装置が行う情報処理方法であって、前記特徴ベクトル生成手段は、複数の広告が表示されているウェブページ内の広告のクリック毎に発生するログデータであって、クリックされた広告とクリックされなかった広告の組み合わせに関するログデータに基づいて、表示する広告を選択するための特徴ベクトルを生成し、前記算出手段は、ログデータを用いて、広告に対してクリックを行った者に関する属性毎に、該広告の特徴ベクトルを構成する要素との組み合わせにおけるクリック率を算出し、前記抽出手段は、前記特徴ベクトルが対象としている広告に対するクリック率であって、該特徴ベクトルを構成する所定の要素に対応する属性を抽出し、前記付加手段は、前記抽出手段によって抽出されたクリック率を前記特徴ベクトル生成手段によって生成された特徴ベクトルの要素として付加することを特徴とする情報処理方法である。   (4) An information processing method performed by an information processing apparatus including a feature vector generation unit, a calculation unit, an extraction unit, and an addition unit, wherein the feature vector generation unit includes a web page displaying a plurality of advertisements. Generating a feature vector for selecting an advertisement to be displayed based on log data generated each time an advertisement is clicked, the log data relating to a combination of a clicked advertisement and an advertisement not clicked; The log data is used to calculate, for each attribute related to the person who clicked on the advertisement, the click rate in combination with the elements constituting the feature vector of the advertisement. An attribute corresponding to a predetermined element constituting the feature vector, and the additional hand Is an information processing method characterized by adding a click rate extracted by said extracting means as elements of the feature vectors generated by the feature vector generation unit.

(5)コンピュータを、複数の広告が表示されているウェブページ内の広告のクリック毎に発生するログデータであって、クリックされた広告とクリックされなかった広告の組み合わせに関するログデータに基づいて、表示する広告を選択するための特徴ベクトルを生成する特徴ベクトル生成手段と、ログデータを用いて、広告に対してクリックを行った者に関する属性毎に、該広告の特徴ベクトルを構成する要素との組み合わせにおけるクリック率を算出する算出手段と、前記特徴ベクトルが対象としている広告に対するクリック率であって、該特徴ベクトルを構成する所定の要素に対応する属性を抽出する抽出手段と、前記抽出手段によって抽出されたクリック率を前記特徴ベクトル生成手段によって生成された特徴ベクトルの要素として付加する付加手段として機能させるための情報処理プログラムである。   (5) Based on log data relating to a combination of a clicked advertisement and an advertisement that has not been clicked, log data that is generated each time an advertisement is clicked on a web page on which a plurality of advertisements are displayed, Feature vector generation means for generating a feature vector for selecting an advertisement to be displayed, and elements constituting the feature vector of the advertisement for each attribute related to a person who clicked on the advertisement using log data A calculation means for calculating a click rate in a combination; an extraction means for extracting an attribute corresponding to a predetermined element constituting the feature vector, the extraction ratio being a click rate for the advertisement targeted by the feature vector; The extracted click rate is used as an element of the feature vector generated by the feature vector generating means. An information processing program to function as addition means for adding.

本発明にかかる情報処理装置、情報処理方法及び情報処理プログラムによれば、差分ベクトルでクリック予測モデルを学習する場合において、クリック毎に共通であるデモグラフィック情報又はコンテキスト情報を反映しているクリック率を用いて、クリック予測モデルの作成に活用できるように特徴ベクトルを生成することができる。   According to the information processing apparatus, the information processing method, and the information processing program according to the present invention, when learning a click prediction model using a difference vector, a click rate reflecting demographic information or context information that is common to each click Can be used to generate a feature vector so that it can be used to create a click prediction model.

本実施の形態の構成例についての概念的なモジュール構成図である。It is a conceptual module block diagram about the structural example of this Embodiment. 本実施の形態による処理例を示すフローチャートである。It is a flowchart which shows the process example by this Embodiment. クリックログテーブルのデータ構造例を示す説明図である。It is explanatory drawing which shows the data structure example of a click log table. 特徴ベクトルテーブルのデータ構造例を示す説明図である。It is explanatory drawing which shows the example of a data structure of a feature vector table. ユーザ属性テーブルのデータ構造例を示す説明図である。It is explanatory drawing which shows the example of a data structure of a user attribute table. 広告属性テーブルのデータ構造例を示す説明図である。It is explanatory drawing which shows the example of a data structure of an advertisement attribute table. 属性・単語間クリック率テーブルのデータ構造例を示す説明図である。It is explanatory drawing which shows the example of a data structure of the attribute / word click rate table. 特徴ベクトルのデータ構造例を示す説明図である。It is explanatory drawing which shows the data structure example of a feature vector. 本実施の形態による処理例を示すフローチャートである。It is a flowchart which shows the process example by this Embodiment. 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。It is a block diagram which shows the hardware structural example of the computer which implement | achieves this Embodiment.

以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図1は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(コンピュータ・プログラム)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(データの授受、指示、データ間の参照関係等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、2以上の値(もちろんのことながら、全ての値も含む)が同じであってもよい。また、「Aである場合、Bをする」という意味を有する記載は、「Aであるか否かを判断し、Aであると判断した場合はBをする」の意味で用いる。ただし、Aであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、RAM(Random Access Memory)、外部記憶媒体、通信回線を介した記憶装置、CPU(Central Processing Unit)内のレジスタ等を含んでいてもよい。
Hereinafter, an example of a preferred embodiment for realizing the present invention will be described with reference to the drawings.
FIG. 1 shows a conceptual module configuration diagram of a configuration example of the present embodiment.
The module generally refers to components such as software (computer program) and hardware that can be logically separated. Therefore, the module in the present embodiment indicates not only a module in a computer program but also a module in a hardware configuration. Therefore, the present embodiment is a computer program for causing these modules to function (a program for causing a computer to execute each procedure, a program for causing a computer to function as each means, and a function for each computer. This also serves as an explanation of the program and system and method for realizing the above. However, for the sake of explanation, the words “store”, “store”, and equivalents thereof are used. However, when the embodiment is a computer program, these words are stored in a storage device or stored in memory. It is the control to be stored in the device. Modules may correspond to functions one-to-one, but in mounting, one module may be configured by one program, or a plurality of modules may be configured by one program, and conversely, one module May be composed of a plurality of programs. The plurality of modules may be executed by one computer, or one module may be executed by a plurality of computers in a distributed or parallel environment. Note that one module may include other modules. Hereinafter, “connection” is used not only for physical connection but also for logical connection (data exchange, instruction, reference relationship between data, etc.). “Predetermined” means that the process is determined before the target process, and not only before the process according to this embodiment starts but also after the process according to this embodiment starts. In addition, if it is before the target processing, it is used in accordance with the situation / state at that time or with the intention to be decided according to the situation / state up to that point. When there are a plurality of “predetermined values”, they may be different values, or two or more values (of course, including all values) may be the same. In addition, the description having the meaning of “do B when it is A” is used in the meaning of “determine whether or not it is A and do B when it is judged as A”. However, the case where it is not necessary to determine whether or not A is excluded.
In addition, the system or device is configured by connecting a plurality of computers, hardware, devices, and the like by communication means such as a network (including one-to-one correspondence communication connection), etc., and one computer, hardware, device. The case where it implement | achieves by etc. is also included. “Apparatus” and “system” are used as synonymous terms. Of course, the “system” does not include a social “mechanism” (social system) that is an artificial arrangement.
In addition, when performing a plurality of processes in each module or in each module, the target information is read from the storage device for each process, and the processing result is written to the storage device after performing the processing. is there. Therefore, description of reading from the storage device before processing and writing to the storage device after processing may be omitted. Here, the storage device may include a hard disk, a RAM (Random Access Memory), an external storage medium, a storage device via a communication line, a register in a CPU (Central Processing Unit), and the like.

本実施の形態である情報処理装置は、複数の広告が表示されているウェブページ内の広告のクリック毎に発生するログデータであって、クリックされた広告とクリックされなかった広告の組み合わせに関するログデータに基づいて、表示する広告を選択するための特徴ベクトルを生成するものであって、図1の例に示すように、ログ記憶モジュール110、特徴ベクトル生成モジュール120、クリック予測モデル生成モジュール150を有している。特徴ベクトル生成モジュール120又はクリック予測モデル生成モジュール150は、クリックが発生する(ログデータが発生する)毎に処理を行ってもよいし、予め定められた期間毎に処理を行ってもよい。
ここで、本実施の形態である情報処理装置が行う処理の概要について例を用いて説明する。
(1) 広告A、B、Cの3本が掲載されたウェブページがあり、そのウェブページのリクエストで発生したユーザA(属性:男性)のクリックログを取得する。例えば、広告Aについては「クリックしなかった」、広告Bについては「クリックした」、広告Cについては「クリックしなかった」というログデータが発生することになる。
(2) そして、広告A、B、Cの特徴ベクトルの要素として、属性:男性のクリック率を付加する。つまり、男性だけのクリックログから生成したモデルから、広告A、B、Cのクリック率を抽出して、それぞれの特徴ベクトルの要素として付加する。そのために、例えば、広告A、B、Cに含まれている単語を含めた情報をモデルに掛けるとクリック率が算出される。
(3) 次に、教師データとして、例えば、広告B−広告A(ポジティブデータ)、広告B−広告C(ポジティブデータ)、広告A−広告B(ネガティブデータ)、広告C−広告B(ネガティブデータ)という差分ベクトル生成する。つまり、差分ベクトルを生成しても、デモグラフィック情報又はコンテキスト情報を反映させた要素は相殺されないこととなる。
(4) (3)での差分ベクトルからランキング学習を行う。
The information processing apparatus according to the present embodiment is log data generated for each click of an advertisement in a web page on which a plurality of advertisements are displayed, and is a log relating to a combination of a clicked advertisement and an advertisement not clicked Based on the data, a feature vector for selecting an advertisement to be displayed is generated. As shown in the example of FIG. 1, a log storage module 110, a feature vector generation module 120, and a click prediction model generation module 150 are provided. Have. The feature vector generation module 120 or the click prediction model generation module 150 may perform processing every time a click occurs (log data is generated), or may perform processing every predetermined period.
Here, an outline of processing performed by the information processing apparatus according to the present embodiment will be described using an example.
(1) There is a web page on which three advertisements A, B, and C are posted, and a click log of user A (attribute: male) generated by a request for the web page is acquired. For example, log data “not clicked” for the advertisement A, “clicked” for the advertisement B, and “not clicked” for the advertisement C will be generated.
(2) Then, an attribute: male click rate is added as an element of the feature vector of advertisements A, B, and C. That is, the click rates of advertisements A, B, and C are extracted from a model generated from a click log only for men, and added as elements of respective feature vectors. Therefore, for example, when the information including the words included in the advertisements A, B, and C is applied to the model, the click rate is calculated.
(3) Next, as teacher data, for example, advertisement B-advertisement A (positive data), advertisement B-advertisement C (positive data), advertisement A-advertisement B (negative data), advertisement C-advertisement B (negative data) ) Is generated. That is, even if the difference vector is generated, the elements reflecting the demographic information or the context information are not canceled out.
(4) The ranking learning is performed from the difference vector in (3).

ログ記憶モジュール110は、特徴ベクトル生成モジュール120、クリック予測モデル生成モジュール150と接続されている。ログ記憶モジュール110は、インターネットにおいて、ユーザが有しているPC、携帯端末(例えば、携帯電話、スマートフォン等)を操作して、ウェブページ内にある広告が表示、クリック等されたことを示すログデータを記憶している。例えば、クリックログテーブル300を記憶している。図3は、クリックログテーブル300のデータ構造例を示す説明図である。クリックログテーブル300は、クリック日時欄310、広告ID欄320、ユーザID欄330、URL欄340、場所欄350を有しており、ウェブページに表示された広告がクリックされたことを示す情報(以下、クリックログともいう。)を記憶する。クリック日時欄310は、広告がクリックされた日時(クリック日時)を記憶する。広告ID欄320は、クリックされた広告を本実施の形態において一意に識別する広告ID(IDentification)を記憶する。ユーザID欄330は、広告をクリックしたユーザを本実施の形態において一意に識別するユーザIDを記憶する。URL欄340は、広告が表示されたウェブページを示すURL(Uniform Resource Locator)を記憶する。場所欄350は、そのクリックがされた場所(例えば、緯度、経度)を記憶する。この場所データは、GPS(Global Positioning System(汎地球測位システム))によって測定されたもの、又は携帯電話網における基地局の位置である。
また、クリックログだけでなく、ウェブページに広告が表示されたこと(インプレッションと呼ばれる。)を示す情報(以下、インプレッションログともいう。)を記憶するようにしてもよい。例えば、インプレッションログには、Webページに広告が表示された日時(すなわち、WebページがWebサーバから送信された日時である。以下、配信日時ともいう。)、Webページを示すURL、表示された広告を示す広告ID、Webページを閲覧したユーザを示すユーザIDが含まれる。インプレッションログは1つの広告が表示されるにつき1つ登録されるようにしてもよい。すなわち、例えば1つのWebページに3つの広告が表示された場合には、3つのインプレッションログが登録されることになる。
特に、ログ記憶モジュール110は、1回のリクエストでクリックが発生する毎に生成されたログデータを記憶する。つまり、表示している広告(インプレッションログ)、その中でクリックされた広告、クリックされなかった広告をログデータとして記憶する。つまり、クリックされた広告とクリックされなかった広告の組み合わせをログデータとして記憶している。これによって、差分ベクトル生成モジュール154は、差分ベクトルを生成する。
なお、クリック予測モデル生成モジュール150が用いるログデータには、クリックされた広告とクリックされなかった広告の組み合わせのログデータが含まれている。また、特徴ベクトル生成モジュール120が用いるログデータは、クリックされた広告とクリックされなかった広告の組み合わせのログデータは、必ずしも含まれている必要はない。ただし、クリックされた広告とクリックされなかった広告の組み合わせのログデータを排除するものではない。つまり、クリック予測モデル生成モジュール150が用いるログデータと特徴ベクトル生成モジュール120が用いるログデータは、異なるログデータであってもよいし、同じものであってもよいし、一方が他方を含むようなログデータであってもよい。
The log storage module 110 is connected to the feature vector generation module 120 and the click prediction model generation module 150. The log storage module 110 is a log indicating that an advertisement in a web page is displayed or clicked by operating a PC or a mobile terminal (for example, a mobile phone, a smartphone, or the like) owned by the user on the Internet. I remember the data. For example, the click log table 300 is stored. FIG. 3 is an explanatory diagram showing an example of the data structure of the click log table 300. The click log table 300 includes a click date / time column 310, an advertisement ID column 320, a user ID column 330, a URL column 340, and a location column 350, and information indicating that an advertisement displayed on a web page has been clicked ( Hereinafter, it is also referred to as a click log). The click date / time column 310 stores the date / time when the advertisement was clicked (click date / time). The advertisement ID column 320 stores an advertisement ID (IDentification) that uniquely identifies the clicked advertisement in the present embodiment. The user ID column 330 stores a user ID that uniquely identifies the user who clicked the advertisement in the present embodiment. The URL column 340 stores a URL (Uniform Resource Locator) indicating a web page on which an advertisement is displayed. The location column 350 stores the location where the click was made (for example, latitude and longitude). This location data is measured by GPS (Global Positioning System) or the position of a base station in a mobile phone network.
In addition to the click log, information (hereinafter also referred to as an impression log) indicating that an advertisement is displayed on a web page (hereinafter referred to as an impression) may be stored. For example, in the impression log, the date and time when an advertisement was displayed on a Web page (that is, the date and time when the Web page was transmitted from the Web server; hereinafter also referred to as distribution date and time), the URL indicating the Web page, and the URL were displayed. An advertisement ID indicating an advertisement and a user ID indicating a user who has browsed the Web page are included. One impression log may be registered for each advertisement displayed. That is, for example, when three advertisements are displayed on one Web page, three impression logs are registered.
In particular, the log storage module 110 stores log data generated each time a click occurs in one request. That is, the displayed advertisement (impression log), the clicked advertisement in the advertisement, and the advertisement not clicked are stored as log data. That is, the combination of the clicked advertisement and the advertisement not clicked is stored as log data. Thereby, the difference vector generation module 154 generates a difference vector.
Note that the log data used by the click prediction model generation module 150 includes log data of combinations of clicked advertisements and advertisements that were not clicked. The log data used by the feature vector generation module 120 does not necessarily include log data of a combination of clicked advertisements and advertisements that have not been clicked. However, the log data of the combination of the clicked advertisement and the advertisement not clicked is not excluded. That is, the log data used by the click prediction model generation module 150 and the log data used by the feature vector generation module 120 may be different log data or the same, or one of them includes the other. It may be log data.

特徴ベクトル生成モジュール120は、特徴ベクトル生成処理モジュール122、クリック率算出モジュール124、クリック率抽出モジュール126、特徴ベクトル要素付加モジュール128を有している。特徴ベクトル生成モジュール120は、ログ記憶モジュール110と接続されている。
特徴ベクトル生成処理モジュール122は、ログ記憶モジュール110に記憶されている広告のクリックに関するログデータに基づいて、表示する広告を選択するための特徴ベクトルを生成する。ここで生成する特徴ベクトルは、例えば、特徴ベクトルテーブル400である。図4は、特徴ベクトルテーブル400のデータ構造例を示す説明図である。特徴ベクトルテーブル400は、列方向に広告欄410、クリック率欄420、単語欄430、カテゴリ欄440、ページ類似度欄450、行動類似度欄460等を有しており、行方向に広告A欄482、広告B欄484、広告C欄486、広告D欄488等を有している。つまり、広告毎にクリック率、単語、カテゴリ、ページ類似度、行動類似度等を要素として有しているベクトルを表している。広告欄410は、広告名(広告IDであってもよい)を記憶している。クリック率欄420は、その広告に対するCTR(Click Through Rate)を記憶している。CTRは、広告がクリックされた割合であり、クリック数/インプレッション(広告が表示/配信された数)である。単語欄430は、その広告に用いられている言葉、又はその広告に付与されているキーワードを記憶している。その広告に用いられている言葉としては、例えば、タイトル、詳細説明に含まれる単語列がある。カテゴリ欄440は、その広告が属している分類名を記憶している。ページ類似度欄450は、その広告と該広告が含まれているウェブページとの類似度を記憶している。行動類似度欄460は、その広告とユーザのウェブ閲覧行動との類似度を記憶している。例えば、行動類似度は、ユーザのウェブ閲覧行動として自動車関連のウェブページが多い場合に、その広告も自動車関連であるならば類似していることを示す指標であり、その広告が旅行関連ならば自動車関連の広告よりも類似していないことを示すこととなる。
The feature vector generation module 120 includes a feature vector generation processing module 122, a click rate calculation module 124, a click rate extraction module 126, and a feature vector element addition module 128. The feature vector generation module 120 is connected to the log storage module 110.
The feature vector generation processing module 122 generates a feature vector for selecting an advertisement to be displayed based on the log data regarding the click of the advertisement stored in the log storage module 110. The feature vector generated here is, for example, the feature vector table 400. FIG. 4 is an explanatory diagram showing an example of the data structure of the feature vector table 400. The feature vector table 400 has an advertisement column 410, a click rate column 420, a word column 430, a category column 440, a page similarity column 450, an action similarity column 460, etc. in the column direction, and an advertisement A column in the row direction. 482, an advertisement B column 484, an advertisement C column 486, an advertisement D column 488, and the like. That is, it represents a vector having elements such as a click rate, a word, a category, a page similarity, and a behavioral similarity for each advertisement. The advertisement column 410 stores an advertisement name (may be an advertisement ID). The click rate column 420 stores a CTR (Click Through Rate) for the advertisement. CTR is the rate at which an advertisement is clicked and is the number of clicks / impression (the number of advertisements displayed / distributed). The word column 430 stores words used for the advertisement or keywords assigned to the advertisement. Examples of words used in the advertisement include a title and a word string included in the detailed description. The category column 440 stores the classification name to which the advertisement belongs. The page similarity column 450 stores the similarity between the advertisement and the web page containing the advertisement. The behavior similarity column 460 stores the similarity between the advertisement and the user's web browsing behavior. For example, the behavioral similarity is an index indicating that if there are many automobile-related web pages as the user's web browsing behavior, the advertisement is similar if the advertisement is related to the automobile. It shows that it is not more similar than a car-related advertisement.

クリック率算出モジュール124は、ログ記憶モジュール110に記憶されているログデータを用いて、広告に対してクリックを行ったユーザに関する属性毎に、その広告の特徴ベクトルを構成する要素との組み合わせにおけるクリック率を算出する。ここでのユーザに関する属性としては、例えば、デモグラフィック情報としての性別、年令(年代等であってもよい)、国籍、住所等、又はコンテキスト情報としてのクリックしたときの曜日、時間帯、場所等がある。ユーザに関するデモグラフィック情報としての属性として、例えば、ユーザ属性テーブル500を用いて管理している。図5は、ユーザ属性テーブル500のデータ構造例を示す説明図である。ユーザ属性テーブル500は、ユーザID欄510、性別欄520、年令欄530、国籍欄540、住所欄550、興味カテゴリ欄560を有している。ユーザID欄510は、ユーザIDを記憶している。性別欄520は、そのユーザIDで示されるユーザの性別を記憶している。年令欄530は、そのユーザIDで示されるユーザの年令を記憶している。国籍欄540は、そのユーザIDで示されるユーザの国籍を記憶している。住所欄550は、そのユーザIDで示されるユーザの住所を記憶している。興味カテゴリ欄560は、そのユーザIDで示されるユーザが興味を示しているカテゴリ(趣味としている映画、スポーツ等があり、さらにスポーツとして野球、サッカー等としてもよい)を記憶している。また、コンテキスト情報としての属性は、クリックしたときの日時、場所等を含むログデータから抽出すればよい。   The click rate calculation module 124 uses the log data stored in the log storage module 110, and for each attribute related to the user who clicked on the advertisement, clicks in combination with the elements constituting the feature vector of the advertisement Calculate the rate. The attributes related to the user here include, for example, gender as demographic information, age (may be age), nationality, address, etc., day of week, time zone, place when clicked as context information Etc. For example, the user attribute table 500 is used as an attribute as demographic information about the user. FIG. 5 is an explanatory diagram showing an example of the data structure of the user attribute table 500. The user attribute table 500 includes a user ID column 510, a gender column 520, an age column 530, a nationality column 540, an address column 550, and an interest category column 560. The user ID column 510 stores a user ID. The sex column 520 stores the gender of the user indicated by the user ID. The age column 530 stores the age of the user indicated by the user ID. The nationality column 540 stores the nationality of the user indicated by the user ID. The address column 550 stores the user's address indicated by the user ID. The interest category column 560 stores a category (there are movies, sports, etc. as hobbies, and baseball, soccer, etc. as sports) that the user indicated by the user ID is interested in. Further, the attributes as context information may be extracted from log data including the date and time when the user clicks, the location, and the like.

広告に用いられている言葉又はその広告に付与されているキーワードとして、例えば、広告属性テーブル600を用いて管理している。図6は、広告属性テーブル600のデータ構造例を示す説明図である。広告属性テーブル600は、広告ID欄610、カテゴリ欄620、単語欄630を有している。広告ID欄610は、広告IDを記憶している。カテゴリ欄620は、その広告IDで示される広告が含まれているカテゴリ(映画、スポーツ等があり、さらにスポーツとして野球、サッカー等)を記憶している。これをその広告に付与されているキーワードとしてもよい。単語欄630は、その広告に用いられている単語を記憶している。この単語は、対象としている広告に対して形態素解析を行い、抽出するようにしてもよい。   For example, the advertisement attribute table 600 is used to manage the words used in the advertisement or the keywords assigned to the advertisement. FIG. 6 is an explanatory diagram showing an example of the data structure of the advertisement attribute table 600. The advertisement attribute table 600 has an advertisement ID column 610, a category column 620, and a word column 630. The advertisement ID column 610 stores an advertisement ID. The category column 620 stores a category (there are movies, sports, etc., and baseball, soccer, etc. as sports) including the advertisement indicated by the advertisement ID. This may be a keyword assigned to the advertisement. The word column 630 stores words used in the advertisement. This word may be extracted by performing morphological analysis on the targeted advertisement.

クリック率算出モジュール124は、処理結果として属性・単語間クリック率テーブル700を作成する。図7は、属性・単語間クリック率テーブル700のデータ構造例を示す説明図である。属性・単語間クリック率テーブル700は、列方向に単語1欄710、単語2欄720、単語3欄730等を有しており、行方向に属性1欄782、属性2欄784、属性3欄786等を有している。交差しているセルは、クリック率を記憶している。つまり、属性・単語間クリック率テーブル700は、単語(前記広告に用いられている言葉又は該広告に付与されているキーワード)と属性(ユーザ属性としての性別、年令等)の組み合わせにおけるクリック率を記憶している。これによって、ユーザの属性と広告に含まれる単語との組み合わせに対応したクリック率を抽出することができるようになる。例えば、クリックしたユーザが男性、30歳代である場合に、自動車という単語を含む広告に反応する確率(クリック率)、化粧品という単語を含む広告に反応する確率(クリック率)等を抽出することができるようになる。
なお、クリック率算出モジュール124は、広告の特徴ベクトルから、属性ごとのクリック率を算出する。
The click rate calculation module 124 creates an attribute / word click rate table 700 as a processing result. FIG. 7 is an explanatory diagram showing an example of the data structure of the attribute / word click rate table 700. The attribute / word click rate table 700 has a word 1 column 710, a word 2 column 720, a word 3 column 730, etc. in the column direction, and an attribute 1 column 782, an attribute 2 column 784, and an attribute 3 column in the row direction. 786 and the like. The intersecting cells store the click rate. That is, the attribute / word click rate table 700 includes a click rate in a combination of a word (a word used in the advertisement or a keyword assigned to the advertisement) and an attribute (gender, age, etc. as a user attribute). Is remembered. Thereby, the click rate corresponding to the combination of the user attribute and the word included in the advertisement can be extracted. For example, when the clicked user is male and in their 30s, the probability of responding to an advertisement including the word “car” (click rate), the probability of responding to an advertisement including the word “cosmetics” (click rate), etc. are extracted. Will be able to.
The click rate calculation module 124 calculates the click rate for each attribute from the feature vector of the advertisement.

また、クリック率算出モジュール124が用いる要素として、特徴ベクトルを構成する要素であれば、特に限定する必要はない。例えば、広告に用いられている言葉又はその広告に付与されているキーワード(特徴ベクトルテーブル400の単語欄430)を用いるようにしてもよい。また、ログデータを用いて、広告と属性に関するモデルを学習によって生成するようにしてもよい。例えば、広告に用いられている言葉又はその広告に付与されているキーワードを用いてログデータによって学習されたモデルを用いて、その広告がどれだけクリックされやすいかを示す値であるクリック率を算出してもよい。例えば、男性のログデータだけに絞って学習させることで、男性がその広告を見たときのクリック率を算出する。学習方法として、例えば、ニューラルネットワーク等を用いてもよい。   Further, the element used by the click rate calculation module 124 is not particularly limited as long as it is an element constituting a feature vector. For example, a word used in an advertisement or a keyword attached to the advertisement (word field 430 of the feature vector table 400) may be used. Moreover, you may make it produce | generate the model regarding an advertisement and an attribute by learning using log data. For example, using a model learned from log data using the words used in the advertisement or the keywords attached to the advertisement, the click rate, which is a value indicating how easy the advertisement is clicked, is calculated. May be. For example, the click rate when a male sees the advertisement is calculated by learning only the log data of the male. As a learning method, for example, a neural network may be used.

クリック率抽出モジュール126は、特徴ベクトルが対象としている広告に対するクリック率であって、その特徴ベクトルを構成する所定の要素に対応するクリック率を抽出する。「特徴ベクトルが対象としている広告に対するクリック率」とは、学習モジュール156による学習の対象となる広告のクリック率である。また、クリック率は、クリック率算出モジュール124によって算出されたものを用いる。所定の要素として、例えば、前述の単語等を用いてもよい。クリックをしたユーザの属性とクリック対象の広告に含まれている単語を用いて、属性・単語間クリック率テーブル700からクリック率を抽出する。例えば、ユーザが男性、30歳代であって、自動車の広告(「自動車」という単語が含まれている)をクリックした場合、属性・単語間クリック率テーブル700から属性が男性で単語が「自動車」の組み合わせにおけるクリック率を抽出し、属性が30歳代で単語が「自動車」の組み合わせにおけるクリック率を抽出することになる。   The click rate extraction module 126 extracts a click rate corresponding to a predetermined element constituting the feature vector, which is a click rate for the advertisement targeted by the feature vector. The “click rate for an advertisement targeted by a feature vector” is the click rate of an advertisement that is a learning target by the learning module 156. The click rate is calculated by the click rate calculation module 124. As the predetermined element, for example, the aforementioned word or the like may be used. The click rate is extracted from the attribute / word click rate table 700 using the attribute of the clicked user and the word included in the click target advertisement. For example, if the user is male and in his 30s and clicks on a car advertisement (which includes the word “car”), the attribute is male and the word is “car” from the attribute / word click rate table 700. ”Is extracted, and the click rate in the combination of the attribute“ 30s ”and the word“ automobile ”is extracted.

特徴ベクトル要素付加モジュール128は、クリック率抽出モジュール126によって抽出されたクリック率を特徴ベクトル生成処理モジュール122によって生成された特徴ベクトルの要素として付加する。例えば、特徴ベクトル800を生成する。図8は、特徴ベクトル800のデータ構造例を示す説明図である。特徴ベクトル800は、列方向に広告欄810、クリック率欄820、単語欄830、カテゴリ欄840、クリック率A欄850、クリック率B欄860等を有しており、行方向に広告A欄882、広告B欄884、広告C欄886、広告D欄888等を有している。つまり、図4に例示した前述の特徴ベクトルテーブル400にクリック率A欄850、クリック率B欄860を付加したものである。クリック率抽出モジュール126によって抽出されたクリック率として、2つ以上のクリック率を付加したものである。これによって、特徴ベクトル内にデモグラフィック情報又はコンテキスト情報を反映したクリック率が含まれることになる。
前述の例では、男性、30歳代のユーザが自動車の広告をクリックした場合の特徴ベクトルの要素として、広告Aが自動車関連であれば、クリック率A欄850には、ユーザが男性であって、自動車の広告をクリックした場合のクリック率、クリック率B欄860には、ユーザが30歳代であって、自動車の広告をクリックした場合のクリック率が付加されることになる。また、女性、50歳代のユーザが保険の広告をクリックした場合の特徴ベクトルの要素として、広告Bが保険関連であれば、クリック率A欄850には、ユーザが女性であって、保険の広告をクリックした場合のクリック率、クリック率B欄860には、ユーザが50歳代であって、保険の広告をクリックした場合のクリック率が付加されることになる。
これによって、ユーザの属性が反映されたクリック率を要素として含む特徴ベクトルを生成することになる。また、差分ベクトルを生成する際の他方の特徴ベクトルにおいて、クリックされなかった広告におけるクリック率A欄850、クリック率B欄860は、クリックされなかった広告に含まれている単語における男性のユーザのクリック率、30歳代のユーザのクリック率がそれぞれ付加されることになり、差分ベクトルにおけるその要素は常に0であるという事態を回避している。
The feature vector element addition module 128 adds the click rate extracted by the click rate extraction module 126 as an element of the feature vector generated by the feature vector generation processing module 122. For example, the feature vector 800 is generated. FIG. 8 is an explanatory diagram showing an example of the data structure of the feature vector 800. The feature vector 800 has an advertisement column 810, a click rate column 820, a word column 830, a category column 840, a click rate A column 850, a click rate B column 860, etc. in the column direction, and an advertisement A column 882 in the row direction. , An advertisement B column 884, an advertisement C column 886, an advertisement D column 888, and the like. That is, a click rate A column 850 and a click rate B column 860 are added to the above-described feature vector table 400 illustrated in FIG. The click rate extracted by the click rate extraction module 126 is obtained by adding two or more click rates. As a result, the click rate reflecting demographic information or context information is included in the feature vector.
In the above example, if the advertisement A is related to a car as an element of a feature vector when a male, 30-year-old user clicks on a car advertisement, the click rate A column 850 indicates that the user is a male. The click rate when the car advertisement is clicked and the click rate B column 860 are added with the click rate when the user is in his 30s and clicks the car advertisement. In addition, as an element of the feature vector when a woman or a user in her 50s clicks on an insurance advertisement, if the advertisement B is insurance-related, the click rate A column 850 indicates that the user is a woman and the insurance The click rate when the advertisement is clicked and the click rate B column 860 are added with the click rate when the user is in his 50s and clicks on the insurance advertisement.
As a result, a feature vector including the click rate reflecting the user attribute as an element is generated. In addition, in the other feature vector when generating the difference vector, the click rate A column 850 and the click rate B column 860 in the advertisement not clicked are the male user in the word included in the advertisement not clicked. A click rate and a click rate of a user in their 30s are added respectively, and the situation that the element in the difference vector is always 0 is avoided.

クリック予測モデル生成モジュール150は、ログ収集モジュール152、差分ベクトル生成モジュール154、学習モジュール156、出力モジュール158を有している。クリック予測モデル生成モジュール150は、ログ記憶モジュール110と接続されている。
ログ収集モジュール152は、広告のクリックに関するログデータをログ記憶モジュール110から収集する。なお、ログ収集モジュール152が収集するログデータは、特徴ベクトル生成モジュール120が用いたログデータと同じものであってもよいし、異なるログデータを収集するようにしてもよい。ここで収集するログデータには、差分ベクトルを生成するために、少なくとも、1回のクリックによる発生するログデータであって、クリックされた広告とクリックされなかった広告の組み合わせが含まれている。
差分ベクトル生成モジュール154は、ログ収集モジュール152によってログデータが収集された場合は、クリックされた広告とクリックされなかった広告の特徴ベクトルの差分ベクトルを生成する。具体的には、2つの特徴ベクトルの各要素の差分からなる差分ベクトルを生成する。なお、ここでクリックされた広告とクリックされなかった広告は、同じウェブページにある広告であり、1回のクリックによるログデータでは、クリックされた広告が1つであり、そのウェブページにあるが、その他の広告は、クリックされなかった広告となる。そして、差分ベクトルは、例えば、正解データ(ポジティブデータ)として、クリックされた広告の特徴ベクトルの各要素(例えば、行動類似度等)からクリックされなかった広告の特徴ベクトルの対応する各要素を減算した値を用い、ネガティブデータとして、クリックされなかった広告の特徴ベクトルの各要素からクリックされた広告の特徴ベクトルの各要素を減算した値を用いてもよい。この正解データとネガティブデータを用いて、学習される。
学習モジュール156は、差分ベクトル生成モジュール154によって生成された差分ベクトルを用いて、表示する広告を選択するための基準を学習(ランキング学習)する。ここでの学習は、いわゆる機械学習であり、表示する広告を選択するための基準のモデルを生成するものであり、教師あり学習であるが、前述した差分ベクトルを利用するものであればよい。具体的には、正解データとネガティブデータを教師データとした学習であり、例えば、ニューラルネットワーク等で学習してもよい。
出力モジュール158は、学習モジュール156によって学習された基準にしたがって、表示する広告を選択する。ここでの選択には、ランキング付け(順位付け)を含む。
The click prediction model generation module 150 includes a log collection module 152, a difference vector generation module 154, a learning module 156, and an output module 158. The click prediction model generation module 150 is connected to the log storage module 110.
The log collection module 152 collects log data regarding advertisement clicks from the log storage module 110. The log data collected by the log collection module 152 may be the same as the log data used by the feature vector generation module 120, or different log data may be collected. The log data collected here includes at least log data generated by one click in order to generate a difference vector, and includes a combination of a clicked advertisement and an advertisement not clicked.
When log data is collected by the log collection module 152, the difference vector generation module 154 generates a difference vector between feature vectors of clicked advertisements and advertisements not clicked. Specifically, a difference vector composed of differences between the elements of the two feature vectors is generated. Note that the clicked advertisement and the advertisement not clicked here are advertisements on the same web page, and in the log data of one click, there is one clicked advertisement, which is on the web page. The other advertisements are advertisements that are not clicked. The difference vector, for example, as correct data (positive data), subtracts each corresponding element of the clicked advertisement feature vector from each element of the clicked advertisement feature vector (for example, behavioral similarity). The value obtained by subtracting each element of the clicked advertisement feature vector from each element of the advertisement feature vector not clicked may be used as negative data. Learning is performed using the correct answer data and the negative data.
The learning module 156 learns a criterion for selecting an advertisement to be displayed (ranking learning) using the difference vector generated by the difference vector generation module 154. The learning here is so-called machine learning, which generates a reference model for selecting an advertisement to be displayed and is supervised learning. However, any learning using the above-described difference vector may be used. Specifically, it is learning using correct data and negative data as teacher data, and may be learned using, for example, a neural network.
The output module 158 selects advertisements to display according to the criteria learned by the learning module 156. The selection here includes ranking (ranking).

図2は、本実施の形態(特徴ベクトル生成モジュール120)による処理例を示すフローチャートである。
ステップS202では、特徴ベクトル生成処理モジュール122が、ログ記憶モジュール110内のログデータを用いて、特徴ベクトルを生成する。
ステップS204では、クリック率算出モジュール124が、ログ記憶モジュール110内のログデータを用いて、属性毎に単語との組み合わせにおけるクリック率を算出する。
ステップS206では、クリック率抽出モジュール126が、特徴ベクトル内の要素(単語)とクリックしたユーザの属性に対応するクリック率を抽出する。
ステップS208では、特徴ベクトル要素付加モジュール128が、クリック率を要素に含めた特徴ベクトルを生成する。
FIG. 2 is a flowchart illustrating a processing example according to the present exemplary embodiment (feature vector generation module 120).
In step S202, the feature vector generation processing module 122 generates a feature vector using the log data in the log storage module 110.
In step S204, the click rate calculation module 124 calculates the click rate in combination with words for each attribute using the log data in the log storage module 110.
In step S206, the click rate extraction module 126 extracts the click rate corresponding to the element (word) in the feature vector and the attribute of the clicked user.
In step S208, the feature vector element addition module 128 generates a feature vector including the click rate as an element.

図9は、本実施の形態(クリック予測モデル生成モジュール150)による処理例を示すフローチャートである。
ステップS902では、ログ収集モジュール152が、ログ記憶モジュール110からログデータを収集する。
ステップS904では、差分ベクトル生成モジュール154が、クリック毎に特徴ベクトルの差分ベクトルを生成する。
ステップS906では、学習モジュール156が、ランキング学習処理を行う。
ステップS908では、出力モジュール158が、クリック率の予測モデルを出力する。その後、その予測モデルを用いて、ウェブページに表示する広告を選択する。
FIG. 9 is a flowchart illustrating a processing example according to the present exemplary embodiment (click prediction model generation module 150).
In step S902, the log collection module 152 collects log data from the log storage module 110.
In step S904, the difference vector generation module 154 generates a feature vector difference vector for each click.
In step S906, the learning module 156 performs a ranking learning process.
In step S908, the output module 158 outputs a click rate prediction model. Thereafter, an advertisement to be displayed on the web page is selected using the prediction model.

なお、本実施の形態としてのプログラムが実行されるコンピュータのハードウェア構成は、図10に例示するように、一般的なコンピュータであり、具体的にはパーソナルコンピュータ、サーバとなり得るコンピュータ等である。つまり、具体例として、処理部(演算部)としてCPU1001を用い、記憶装置としてRAM1002、ROM1003、HD1004を用いている。HD1004として、例えばハードディスクを用いてもよい。特徴ベクトル生成処理モジュール122、クリック率算出モジュール124、クリック率抽出モジュール126、特徴ベクトル要素付加モジュール128、ログ収集モジュール152、差分ベクトル生成モジュール154、学習モジュール156、出力モジュール158等のプログラムを実行するCPU1001と、そのプログラムやデータを記憶するRAM1002と、本コンピュータを起動するためのプログラム等が格納されているROM1003と、補助記憶装置であるHD1004と、キーボード、マウス、タッチパネル等に対する利用者の操作に基づいてデータを受け付ける受付装置1006と、CRT、液晶ディスプレイ等の出力装置1005と、ネットワークインタフェースカード等の通信ネットワークと接続するための通信回線インタフェース1007、そして、それらをつないでデータのやりとりをするためのバス1008により構成されている。これらのコンピュータが複数台互いにネットワークによって接続されていてもよい。   Note that the hardware configuration of the computer on which the program according to the present embodiment is executed is a general computer, specifically, a personal computer, a computer that can be a server, or the like, as illustrated in FIG. That is, as a specific example, the CPU 1001 is used as a processing unit (arithmetic unit), and the RAM 1002, the ROM 1003, and the HD 1004 are used as storage devices. For example, a hard disk may be used as the HD 1004. Programs such as the feature vector generation processing module 122, the click rate calculation module 124, the click rate extraction module 126, the feature vector element addition module 128, the log collection module 152, the difference vector generation module 154, the learning module 156, and the output module 158 are executed. A CPU 1001, a RAM 1002 for storing programs and data thereof, a ROM 1003 storing a program for starting up the computer, an HD 1004 as an auxiliary storage device, and a user operation for a keyboard, a mouse, a touch panel, etc. Communication for receiving data based on the receiving device 1006, an output device 1005 such as a CRT or a liquid crystal display, and a communication network such as a network interface card Line interface 1007, and, and a bus 1008 for exchanging data by connecting them. A plurality of these computers may be connected to each other via a network.

前述の実施の形態のうち、コンピュータ・プログラムによるものについては、本ハードウェア構成のシステムにソフトウェアであるコンピュータ・プログラムを読み込ませ、ソフトウェアとハードウェア資源とが協働して、前述の実施の形態が実現される。
なお、図10に示すハードウェア構成は、1つの構成例を示すものであり、本実施の形態は、図10に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア(例えばASIC等)で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図10に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。
Among the above-described embodiments, the computer program is a computer program that reads the computer program, which is software, in the hardware configuration system, and the software and hardware resources cooperate with each other. Is realized.
Note that the hardware configuration illustrated in FIG. 10 illustrates one configuration example, and the present embodiment is not limited to the configuration illustrated in FIG. 10, and is a configuration capable of executing the modules described in the present embodiment. I just need it. For example, some modules may be configured by dedicated hardware (for example, ASIC), and some modules may be in an external system and connected via a communication line. A plurality of systems shown in FIG. 5 may be connected to each other via communication lines so as to cooperate with each other.

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、ブルーレイ・ディスク(Blu−ray Disc(登録商標))、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)、SD(Secure Digital)メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。
The program described above may be provided by being stored in a recording medium, or the program may be provided by communication means. In that case, for example, the above-described program may be regarded as an invention of a “computer-readable recording medium recording the program”.
The “computer-readable recording medium on which a program is recorded” refers to a computer-readable recording medium on which a program is recorded, which is used for program installation, execution, program distribution, and the like.
The recording medium is, for example, a digital versatile disc (DVD), which is a standard established by the DVD Forum, such as “DVD-R, DVD-RW, DVD-RAM,” and DVD + RW. Standard “DVD + R, DVD + RW, etc.”, compact disc (CD), read-only memory (CD-ROM), CD recordable (CD-R), CD rewritable (CD-RW), Blu-ray disc ( Blu-ray Disc (registered trademark), magneto-optical disk (MO), flexible disk (FD), magnetic tape, hard disk, read-only memory (ROM), electrically erasable and rewritable read-only memory (EEPROM (registered trademark)) )), Flash memory, Random access memory (RAM) SD (Secure Digital) memory card and the like.
The program or a part of the program may be recorded on the recording medium for storage or distribution. Also, by communication, for example, a local area network (LAN), a metropolitan area network (MAN), a wide area network (WAN), a wired network used for the Internet, an intranet, an extranet, etc., or wireless communication It may be transmitted using a transmission medium such as a network or a combination of these, or may be carried on a carrier wave.
Furthermore, the program may be a part of another program, or may be recorded on a recording medium together with a separate program. Moreover, it may be divided and recorded on a plurality of recording media. Further, it may be recorded in any manner as long as it can be restored, such as compression or encryption.

110…ログ記憶モジュール
120…特徴ベクトル生成モジュール
122…特徴ベクトル生成処理モジュール
124…クリック率算出モジュール
126…クリック率抽出モジュール
128…特徴ベクトル要素付加モジュール
150…クリック予測モデル生成モジュール
152…ログ収集モジュール
154…差分ベクトル生成モジュール
156…学習モジュール
158…出力モジュール
DESCRIPTION OF SYMBOLS 110 ... Log storage module 120 ... Feature vector generation module 122 ... Feature vector generation processing module 124 ... Click rate calculation module 126 ... Click rate extraction module 128 ... Feature vector element addition module 150 ... Click prediction model generation module 152 ... Log collection module 154 ... Difference vector generation module 156 ... Learning module 158 ... Output module

Claims (5)

複数の広告が表示されているウェブページ内の広告のクリック毎に発生するログデータであって、クリックされた広告とクリックされなかった広告の組み合わせに関するログデータに基づいて、表示する広告を選択するための特徴ベクトルを生成する特徴ベクトル生成手段と、
ログデータを用いて、広告に対してクリックを行った者に関する属性毎に、該広告の特徴ベクトルを構成する要素との組み合わせにおけるクリック率を算出する算出手段と、
前記特徴ベクトルが対象としている広告に対するクリック率であって、該特徴ベクトルを構成する所定の要素に対応するクリック率を抽出する抽出手段と、
前記抽出手段によって抽出されたクリック率を前記特徴ベクトル生成手段によって生成された特徴ベクトルの要素として付加する付加手段
を具備することを特徴とする情報処理装置。
Select the advertisement to display based on the log data that is generated for each click of the advertisement in the web page where multiple advertisements are displayed, and is related to the combination of the clicked advertisement and the advertisement not clicked. Feature vector generating means for generating a feature vector for
Calculating means for calculating a click rate in combination with an element constituting the feature vector of the advertisement for each attribute related to a person who clicked on the advertisement using log data;
Extraction means for extracting a click rate corresponding to a predetermined element constituting the feature vector, the click rate for the advertisement targeted by the feature vector;
An information processing apparatus comprising: an adding unit that adds the click rate extracted by the extracting unit as an element of the feature vector generated by the feature vector generating unit.
前記ログデータを用いて、広告と属性に関するモデルを学習によって生成する第1の学習手段
をさらに具備し、
前記算出手段は、前記第1の学習手段によって学習されたモデルを用いて、クリック率を算出する
ことを特徴とする請求項1に記載の情報処理装置。
First learning means for generating a model relating to an advertisement and an attribute by learning using the log data;
The information processing apparatus according to claim 1, wherein the calculation unit calculates a click rate using the model learned by the first learning unit.
広告のクリックに関するログデータを収集する収集手段と、
前記収集手段によってログデータが収集された場合は、クリックされた広告とクリックされなかった広告の特徴ベクトルの差分ベクトルを生成する差分ベクトル生成手段と、
前記差分ベクトル生成手段によって生成された差分ベクトルを用いて、表示する広告を選択するための基準を学習する第2の学習手段と、
前記第2の学習手段によって学習された基準にしたがって、表示する広告を選択する選択手段
をさらに具備することを特徴とする請求項1又は2に記載の情報処理装置。
A means of collecting log data for ad clicks,
When log data is collected by the collecting means, a difference vector generating means for generating a difference vector between the clicked advertisement and the advertisement vector not clicked;
Second learning means for learning a criterion for selecting an advertisement to be displayed using the difference vector generated by the difference vector generating means;
The information processing apparatus according to claim 1, further comprising a selection unit that selects an advertisement to be displayed according to the criterion learned by the second learning unit.
特徴ベクトル生成手段と算出手段と抽出手段と付加手段を具備する情報処理装置が行う情報処理方法であって、
前記特徴ベクトル生成手段は、複数の広告が表示されているウェブページ内の広告のクリック毎に発生するログデータであって、クリックされた広告とクリックされなかった広告の組み合わせに関するログデータに基づいて、表示する広告を選択するための特徴ベクトルを生成し、
前記算出手段は、ログデータを用いて、広告に対してクリックを行った者に関する属性毎に、該広告の特徴ベクトルを構成する要素との組み合わせにおけるクリック率を算出し、
前記抽出手段は、前記特徴ベクトルが対象としている広告に対するクリック率であって、該特徴ベクトルを構成する所定の要素に対応する属性を抽出し、
前記付加手段は、前記抽出手段によって抽出されたクリック率を前記特徴ベクトル生成手段によって生成された特徴ベクトルの要素として付加する
ことを特徴とする情報処理方法。
An information processing method performed by an information processing apparatus including a feature vector generation unit, a calculation unit, an extraction unit, and an addition unit,
The feature vector generation means is log data generated for each click of an advertisement in a web page on which a plurality of advertisements are displayed, and is based on log data relating to a combination of an advertisement clicked and an advertisement not clicked , Generate feature vectors for selecting ads to display,
The calculation means uses the log data to calculate a click rate in combination with an element constituting a feature vector of the advertisement for each attribute related to a person who clicked on the advertisement.
The extraction means is a click rate for the advertisement targeted by the feature vector, and extracts an attribute corresponding to a predetermined element constituting the feature vector,
The information processing method, wherein the adding means adds the click rate extracted by the extracting means as an element of the feature vector generated by the feature vector generating means.
コンピュータを、
複数の広告が表示されているウェブページ内の広告のクリック毎に発生するログデータであって、クリックされた広告とクリックされなかった広告の組み合わせに関するログデータに基づいて、表示する広告を選択するための特徴ベクトルを生成する特徴ベクトル生成手段と、
ログデータを用いて、広告に対してクリックを行った者に関する属性毎に、該広告の特徴ベクトルを構成する要素との組み合わせにおけるクリック率を算出する算出手段と、
前記特徴ベクトルが対象としている広告に対するクリック率であって、該特徴ベクトルを構成する所定の要素に対応する属性を抽出する抽出手段と、
前記抽出手段によって抽出されたクリック率を前記特徴ベクトル生成手段によって生成された特徴ベクトルの要素として付加する付加手段
として機能させるための情報処理プログラム。
Computer
Select the advertisement to display based on the log data that is generated for each click of the advertisement in the web page where multiple advertisements are displayed, and is related to the combination of the clicked advertisement and the advertisement not clicked. Feature vector generating means for generating a feature vector for
Calculating means for calculating a click rate in combination with an element constituting the feature vector of the advertisement for each attribute related to a person who clicked on the advertisement using log data;
Extraction means for extracting an attribute corresponding to a predetermined element constituting the feature vector, the click rate for the advertisement targeted by the feature vector;
An information processing program for causing a click rate extracted by the extracting unit to function as an adding unit that adds the click rate as an element of the feature vector generated by the feature vector generating unit.
JP2013047070A 2013-03-08 2013-03-08 Information processing apparatus, information processing method, and information processing program Active JP5683622B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013047070A JP5683622B2 (en) 2013-03-08 2013-03-08 Information processing apparatus, information processing method, and information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013047070A JP5683622B2 (en) 2013-03-08 2013-03-08 Information processing apparatus, information processing method, and information processing program

Publications (2)

Publication Number Publication Date
JP2014174753A true JP2014174753A (en) 2014-09-22
JP5683622B2 JP5683622B2 (en) 2015-03-11

Family

ID=51695917

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013047070A Active JP5683622B2 (en) 2013-03-08 2013-03-08 Information processing apparatus, information processing method, and information processing program

Country Status (1)

Country Link
JP (1) JP5683622B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017054176A (en) * 2015-09-07 2017-03-16 ヤフー株式会社 Determination device, determination method, and determination program
WO2017018702A3 (en) * 2015-07-24 2017-05-11 에스케이플래닛 주식회사 User device, service provision device, advertising system comprising same, method for controlling same, method for mapping targeting information between dsp and ssp, retargeting advertisement provision method using same, and recording medium having computer program recorded thereon
CN107944589A (en) * 2016-10-12 2018-04-20 北京奇虎科技有限公司 The Forecasting Methodology and prediction meanss of ad click rate
JP2018156323A (en) * 2017-03-16 2018-10-04 ヤフー株式会社 Extraction device, extraction method, and extraction program
JP2019021175A (en) * 2017-07-20 2019-02-07 株式会社コラージュ・ゼロ Advertisement creation support system, method and program
JP7034459B1 (en) 2021-06-14 2022-03-14 株式会社Insight science Information processing equipment, information processing systems, and programs
JP2022066610A (en) * 2019-04-17 2022-04-28 ヤフー株式会社 Information processing device, information processing method, and program
JP2022097080A (en) * 2020-12-18 2022-06-30 ヤフー株式会社 Information processing device, information processing method, and information processing program

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110149540B (en) * 2018-04-27 2021-08-24 腾讯科技(深圳)有限公司 Recommendation processing method and device for multimedia resources, terminal and readable medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259440A (en) * 2000-12-27 2002-09-13 Cyber Brains:Kk Advertisement transmission system and recording medium with advertisement transmission program recorded thereon
JP2006185328A (en) * 2004-12-28 2006-07-13 Mitsubishi Electric Information Systems Corp Advertisement publishing side web server, advertisement agency server and program
WO2012011011A1 (en) * 2010-07-20 2012-01-26 Koninklijke Philips Electronics N.V. A method and apparatus for replacing an advertisement

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259440A (en) * 2000-12-27 2002-09-13 Cyber Brains:Kk Advertisement transmission system and recording medium with advertisement transmission program recorded thereon
JP2006185328A (en) * 2004-12-28 2006-07-13 Mitsubishi Electric Information Systems Corp Advertisement publishing side web server, advertisement agency server and program
WO2012011011A1 (en) * 2010-07-20 2012-01-26 Koninklijke Philips Electronics N.V. A method and apparatus for replacing an advertisement

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017018702A3 (en) * 2015-07-24 2017-05-11 에스케이플래닛 주식회사 User device, service provision device, advertising system comprising same, method for controlling same, method for mapping targeting information between dsp and ssp, retargeting advertisement provision method using same, and recording medium having computer program recorded thereon
JP2017054176A (en) * 2015-09-07 2017-03-16 ヤフー株式会社 Determination device, determination method, and determination program
CN107944589A (en) * 2016-10-12 2018-04-20 北京奇虎科技有限公司 The Forecasting Methodology and prediction meanss of ad click rate
JP2018156323A (en) * 2017-03-16 2018-10-04 ヤフー株式会社 Extraction device, extraction method, and extraction program
JP2019021175A (en) * 2017-07-20 2019-02-07 株式会社コラージュ・ゼロ Advertisement creation support system, method and program
JP2022066610A (en) * 2019-04-17 2022-04-28 ヤフー株式会社 Information processing device, information processing method, and program
JP7354329B2 (en) 2019-04-17 2023-10-02 ヤフー株式会社 Information processing device, information processing method, and program
JP2022097080A (en) * 2020-12-18 2022-06-30 ヤフー株式会社 Information processing device, information processing method, and information processing program
JP7193519B2 (en) 2020-12-18 2022-12-20 ヤフー株式会社 Information processing device, information processing method and information processing program
JP7034459B1 (en) 2021-06-14 2022-03-14 株式会社Insight science Information processing equipment, information processing systems, and programs
JP2022190645A (en) * 2021-06-14 2022-12-26 株式会社Insight science Information processing apparatus, information processing system, and program

Also Published As

Publication number Publication date
JP5683622B2 (en) 2015-03-11

Similar Documents

Publication Publication Date Title
JP5683622B2 (en) Information processing apparatus, information processing method, and information processing program
US10546006B2 (en) Method and system for hybrid information query
US11107118B2 (en) Management of the display of online ad content consistent with one or more performance objectives for a webpage and/or website
Jurgens et al. Geolocation prediction in twitter using social networks: A critical analysis and review of current practice
US10685065B2 (en) Method and system for recommending content to a user
Moghavvemi et al. The entrepreneur’s perception on information technology innovation adoption: An empirical analysis of the role of precipitating events on usage behavior
US9213996B2 (en) System and method for analyzing social media trends
Chi et al. A general approach to detecting migration events in digital trace data
CN105893406A (en) Group user profiling method and system
JP5253519B2 (en) Method, apparatus and storage medium for generating smart text
WO2013073377A1 (en) Device for predicting scale of information diffusion, method for predicting scale of information diffusion, and program for predicting scale of information diffusion
CN106708871B (en) Method and device for identifying social service characteristic users
US20190286739A1 (en) Automatically generating meaningful user segments
JP2020144493A (en) Learning model generation support device and learning model generation support method
US11803755B2 (en) Rehearsal network for generalized learning
US20150302088A1 (en) Method and System for Providing Personalized Content
US10491592B2 (en) Cross device user identification
JPWO2017203672A1 (en) Item recommendation method, item recommendation program and item recommendation device
CN110674404A (en) Link information generation method, device, system, storage medium and electronic equipment
JP6680663B2 (en) Information processing apparatus, information processing method, prediction model generation apparatus, prediction model generation method, and program
CN111553749A (en) Activity push strategy configuration method and device
JP6511865B2 (en) INFORMATION PROCESSING APPARATUS AND INFORMATION PROCESSING PROGRAM
JP6708429B2 (en) Generation device, generation method, and generation program
US10630793B2 (en) Browser fingerprinting
JP2020035166A (en) Device, method, and program for processing information

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150113

R150 Certificate of patent or registration of utility model

Ref document number: 5683622

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350