JP2018025934A - Determination device, determination method, and determination program - Google Patents

Determination device, determination method, and determination program Download PDF

Info

Publication number
JP2018025934A
JP2018025934A JP2016156745A JP2016156745A JP2018025934A JP 2018025934 A JP2018025934 A JP 2018025934A JP 2016156745 A JP2016156745 A JP 2016156745A JP 2016156745 A JP2016156745 A JP 2016156745A JP 2018025934 A JP2018025934 A JP 2018025934A
Authority
JP
Japan
Prior art keywords
index value
user
value
determination
estimated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016156745A
Other languages
Japanese (ja)
Other versions
JP6701026B2 (en
Inventor
僚太 中山
Ryota Nakayama
僚太 中山
純 西村
Jun Nishimura
純 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2016156745A priority Critical patent/JP6701026B2/en
Publication of JP2018025934A publication Critical patent/JP2018025934A/en
Application granted granted Critical
Publication of JP6701026B2 publication Critical patent/JP6701026B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

PROBLEM TO BE SOLVED: To improve accuracy in detecting significance of evaluation results.SOLUTION: A determination device disclosed herein comprises; a computation unit configured to compute an estimated index value indicative of anticipated action of a user on predetermined content for each sample on the predetermined content based on a first index value indicative of action of the user on the predetermined content and a second index value that is based on an attribute of the user; and a determination unit configured to determine significance difference between each sample based on the estimated index value computed for each sample.SELECTED DRAWING: Figure 1

Description

本発明は、判定装置、判定方法および判定プログラムに関する。   The present invention relates to a determination device, a determination method, and a determination program.

従来、利用者による評価結果の有意性を判定する技術が知られている。このような技術の一例として、あるウェブコンテンツを利用者に評価させた際の評価結果と、同一のウェブコンテンツについて過去に行われた評価結果とを用いることで、評価値の平均値が有するばらつきを減少させ、有意性の判定精度を向上させるＣＵＰＥＤ（Controlled-experiment Using Pre-Experiment Data）といった技術が知られている。   Conventionally, a technique for determining the significance of an evaluation result by a user is known. As an example of such a technique, by using an evaluation result when a user evaluates a certain web content and an evaluation result performed in the past with respect to the same web content, the variation of the average evaluation value is included. There is known a technique such as CUPED (Controlled-experiment Using Pre-Experiment Data) that reduces the amount of error and improves the determination accuracy of significance.

特開２００７−０５２６０１号公報JP 2007-052601 A 特開２０１１―０４３９１１号公報JP 2011-043911 A

“Improving the Sensitivity of Online Controlled Experiments by Utilizing Pre-Experiment Data”, Alex Deng, Ya Xu, Ron Kohavi, Toby Walker, WSDM’13, February 4-8, 2013, Rome, Italy.“Improving the Sensitivity of Online Controlled Experiments by Utilizing Pre-Experiment Data”, Alex Deng, Ya Xu, Ron Kohavi, Toby Walker, WSDM’13, February 4-8, 2013, Rome, Italy.

しかしながら、上述した従来技術では、新たに評価を行った利用者と過去に評価を行った利用者が重複しない場合には、平均値のばらつきが増大し、有意性の検出精度が悪化する場合がある。   However, in the above-described conventional technology, when the user who has newly evaluated and the user who has evaluated in the past do not overlap, the dispersion of the average value may increase, and the detection accuracy of significance may deteriorate. is there.

本願は、上記に鑑みてなされたものであって、評価結果が有する有意性の検出精度を向上させることを目的とする。   The present application has been made in view of the above, and an object thereof is to improve the detection accuracy of significance of an evaluation result.

本願に係る判定装置は、所定のコンテンツに関する利用者の行動を示す第１の指標値と、当該利用者の属性に基づく第２の指標値とに基づいて、前記所定のコンテンツに関して推定される利用者の行動を示す推定指標値を、前記所定のコンテンツに関する標本ごとに算出する算出部と、前記標本ごとに算出された前記推定指標値に基づいて、各標本間の有意差を判定する判定部とを有することを特徴とする。   The determination apparatus according to the present application uses the estimated content related to the predetermined content based on a first index value indicating a user's behavior related to the predetermined content and a second index value based on the attribute of the user. A calculation unit that calculates an estimated index value indicating a person's behavior for each sample related to the predetermined content, and a determination unit that determines a significant difference between the samples based on the estimated index value calculated for each sample It is characterized by having.

実施形態の一態様によれば、評価結果が有する有意性の検出精度を向上させることができる。   According to one aspect of the embodiment, it is possible to improve the detection accuracy of the significance of the evaluation result.

図１は、実施形態に係る判定装置が実行する判定処理の一例を示す図である。FIG. 1 is a diagram illustrating an example of a determination process executed by the determination apparatus according to the embodiment. 図２は、実施形態に係る判定装置の構成例を示す図である。FIG. 2 is a diagram illustrating a configuration example of the determination apparatus according to the embodiment. 図３は、実施形態に係る行動履歴データベースに登録される情報の一例を示す図である。FIG. 3 is a diagram illustrating an example of information registered in the action history database according to the embodiment. 図４は、実施形態に係るユーザデータベースに登録される情報の一例を説明する図である。FIG. 4 is a diagram illustrating an example of information registered in the user database according to the embodiment. 図５は、実施形態に係る判定装置が生成する結果画面の一例を示す図である。FIG. 5 is a diagram illustrating an example of a result screen generated by the determination apparatus according to the embodiment. 図６は、実施形態にかかる判定装置が実行する判定処理の流れの一例を示すフローチャートである。FIG. 6 is a flowchart illustrating an example of a flow of determination processing executed by the determination device according to the embodiment. 図７は、ハードウェア構成の一例を示す図である。FIG. 7 is a diagram illustrating an example of a hardware configuration.

以下に、本願に係る判定装置、判定方法および判定プログラムを実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る判定装置、判定方法および判定プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。   Hereinafter, modes for carrying out a determination apparatus, a determination method, and a determination program according to the present application (hereinafter referred to as “embodiments”) will be described in detail with reference to the drawings. Note that the determination device, the determination method, and the determination program according to the present application are not limited by this embodiment. In the following embodiments, the same portions are denoted by the same reference numerals, and redundant description is omitted.

［実施形態］
〔１−１．判定装置の一例〕
まず、図１を用いて、判定装置が実行する判定処理の一例について説明する。図１は、実施形態に係る判定装置が実行する判定処理の一例を示す図である。図１では、判定装置１０は、インターネット等の所定のネットワークＮを介して、所定のコンテンツを配信するコンテンツサーバ５０や、管理者端末２００と通信可能である。なお、判定装置１０は、ネットワークＮを介して、利用者Ｕ０１が使用する端末装置１０１、利用者Ｕ０２が使用する端末装置１０２と通信可能であってもよい。 [Embodiment]
[1-1. Example of determination device)
First, an example of determination processing executed by the determination device will be described with reference to FIG. FIG. 1 is a diagram illustrating an example of a determination process executed by the determination apparatus according to the embodiment. In FIG. 1, the determination apparatus 10 can communicate with a content server 50 that distributes predetermined content and an administrator terminal 200 via a predetermined network N such as the Internet. Note that the determination device 10 may be able to communicate with the terminal device 101 used by the user U01 and the terminal device 102 used by the user U02 via the network N.

端末装置１０１、１０２は、スマートフォンやタブレット等のスマートデバイスであり、３Ｇ（3rd Generation）やＬＴＥ（Long Term Evolution）等の無線通信網を介して、コンテンツサーバ５０といった任意のサーバ装置と通信を行うことができる携帯端末装置である。なお、端末装置１０１、１０２は、スマートデバイスのみならず、デスクトップＰＣやノートＰＣ等の情報処理装置であってもよい。なお、以下の説明では、各利用者Ｕ０１、Ｕ０２が使用する端末装置１０１、１０２を端末装置１００と総称する場合がある。また、以下の説明では、利用者Ｕ０１、利用者Ｕ０２以外にも、任意の数の利用者が使用する任意の数の端末装置１００がコンテンツサーバ５０等と通信可能であるものとする。   The terminal devices 101 and 102 are smart devices such as smartphones and tablets, and communicate with an arbitrary server device such as the content server 50 via a wireless communication network such as 3G (3rd Generation) or LTE (Long Term Evolution). It is a portable terminal device that can be used. Note that the terminal devices 101 and 102 may be not only smart devices but also information processing devices such as desktop PCs and notebook PCs. In the following description, the terminal devices 101 and 102 used by the users U01 and U02 may be collectively referred to as the terminal device 100. In the following description, it is assumed that any number of terminal devices 100 used by any number of users can communicate with the content server 50 and the like in addition to the users U01 and U02.

コンテンツサーバ５０は、端末装置１００に対してウェブページ、ウィジェット、静止画像、動画像、ゲーム等といった各種のウェブコンテンツ（以下、「コンテンツ」と記載する。）を配信するサーバ装置である。例えば、コンテンツサーバ５０は、所定のドメインに含まれる所定のコンテンツを端末装置１００に送信する。   The content server 50 is a server device that delivers various types of web content (hereinafter referred to as “content”) such as web pages, widgets, still images, moving images, and games to the terminal device 100. For example, the content server 50 transmits predetermined content included in a predetermined domain to the terminal device 100.

管理者端末２００は、判定装置１０の管理を行う管理者が使用する端末装置であり、例えば、ＰＣやサーバ装置等により実現される。なお、管理者端末２００は、判定装置１０の管理者のみならず、判定装置１０による判定処理の結果を所望する利用者が使用する端末装置であれば、任意の利用者が使用する端末装置であってよい。   The administrator terminal 200 is a terminal device used by an administrator who manages the determination device 10 and is realized by, for example, a PC or a server device. The administrator terminal 200 is a terminal device used by any user as long as it is a terminal device used by not only the administrator of the determination device 10 but also a user who desires the result of determination processing by the determination device 10. It may be.

判定装置１０は、同一の事象に含まれる標本の有意差を判定する判定装置であり、例えば、サーバ装置やクラウドシステム等により実現される。より具体的な例を説明すると、判定装置１０は、コンテンツサーバ５０が配信した所定のコンテンツにおける利用者の行動を示す情報から複数の情報をランダムに選択することで複数の標本を抽出し、抽出した標本同士に統計学的に有意な差が存在するか否かを判定する。より具体的には、判定装置１０は、所定のコンテンツにおける利用者の行動を示す標本について、ｔ検定やＺ検定等といった任意の検定手法により標本の有意差を判定する判定装置である。以下の説明では、Ｚ検定を用いた検定を行う例について説明するが、判定装置１０は、以下に説明する判定方法を、任意の検定手法に適用してよい。   The determination device 10 is a determination device that determines a significant difference between samples included in the same event, and is realized by, for example, a server device or a cloud system. To describe a more specific example, the determination apparatus 10 extracts and extracts a plurality of samples by randomly selecting a plurality of pieces of information from information indicating user behavior in predetermined content distributed by the content server 50. It is determined whether there is a statistically significant difference between the obtained samples. More specifically, the determination apparatus 10 is a determination apparatus that determines a significant difference between samples for a sample indicating a user's behavior in a predetermined content by an arbitrary test method such as a t test or a Z test. In the following description, an example in which a test using a Z test is performed will be described. However, the determination apparatus 10 may apply the determination method described below to an arbitrary test method.

〔１−２．コントロールバリエーションについて〕
ここで、一般的な検定手法においては、有意差の判定対象となる標本ごとに平均値を算出し、算出した平均値を用いて有意差が存在するか否かを判定する。例えば、Ｚ検定といわれる手法においては、情報の母集団から１つ以上の情報をランダムに抽出した標本Ｙ（ｔ）および標本Ｙ（ｃ）を生成し、以下の式（１）の値が所定の閾値よりも多い場合には、標本Ｙ（ｔ）および標本Ｙ（ｃ）に有意差があると判定する。なお、式（１）においてオーバーラインを付したＹ（ｔ）は、標本Ｙ（ｔ）として抽出された値の平均値を示し、オーバーラインを付したＹ（ｃ）は、標本Ｙ（ｃ）として抽出された値の平均値を示す。なお、以下の説明では、オーバーラインを付した記号は、その記号が示す値の平均値を示すものとする。 [1-2. Control variation)
Here, in a general test method, an average value is calculated for each sample for which a significant difference is to be determined, and it is determined whether there is a significant difference using the calculated average value. For example, in a technique called Z test, a sample Y (t) and a sample Y (c) are generated by randomly extracting one or more pieces of information from a population of information, and the value of the following equation (1) is predetermined. If it is greater than the threshold value, it is determined that the sample Y (t) and the sample Y (c) have a significant difference. In Formula (1), Y (t) with an overline indicates an average value of values extracted as the sample Y (t) , and Y (c) with an overline indicates the sample Y (c). The average value of the extracted values is shown. In the following description, a symbol with an overline indicates an average value of values indicated by the symbol.

Figure 2018025934
Figure 2018025934

ここで、標本Ｙにｎ個の値Ｘｉが含まれる場合、標本Ｙの平均値は、以下の式（２）で示すことができる。   Here, when the sample Y includes n values Xi, the average value of the sample Y can be expressed by the following equation (2).

Figure 2018025934
Figure 2018025934

ここで、式（２）を用いた場合、標本の選択や事象の内容、すなわち、所定のコンテンツにおける利用者の行動の情報によっては、平均値の分散が必ずしも小さいとは言えない場合がある。しかしながら、標本の平均値の分散が増大した場合には、有意差の検出精度が悪化する場合がある。   Here, when Expression (2) is used, the variance of the average value may not necessarily be small depending on the selection of the sample and the details of the event, that is, the information on the user's behavior in the predetermined content. However, when the variance of the average value of the sample increases, the detection accuracy of the significant difference may deteriorate.

そこで、コントロールバリエーション（Control Variates）と呼ばれる式を用いて所定の推定量（以下、「推定指標値」と記載する。）を算出し、式（１）に示した平均値に代えて、各標本の推定指標値を用いて、有意差を評価するＣＵＰＥＤと呼ばれる手法が知られている。例えば、ＣＵＰＥＤにおいては、以下の式（３）で示される推定指標値を標本ごとに算出する。ここで、式（３）では、推定指標値をＹｃｖで示した。また、式（３）に示すＸは、標本Ｙとは独立して選択される値であり、θは、Ｘの値に応じて最適値が定まる係数である。また、式（３）に示すＥＸは、Ｘの値の期待値を示す。 Therefore, a predetermined estimated amount (hereinafter referred to as “estimated index value”) is calculated using an expression called “control variation”, and each sample is replaced with the average value shown in expression (1). A method called CUPED for evaluating a significant difference using the estimated index value is known. For example, in CUPED, an estimated index value represented by the following formula (3) is calculated for each sample. Here, in Expression (3), the estimated index value is indicated by Ycv . Also, X shown in Equation (3) is a value selected independently of the sample Y, and θ is a coefficient that determines an optimum value according to the value of X. In addition, EX shown in Expression (3) indicates an expected value of the value of X.

Figure 2018025934
Figure 2018025934

ここで、サンプルサイズを無限大に近づけた場合、式（３）は、式（２）と同じ式になる。このため、判定装置１０は、式（３）に示される推定指標値を用いて、式（１）から有意差を判定しても、適切に有意差を判定できると考えられる。さらに、式（３）で示される推定指標値の分散を算出すると、以下の式（４）を得ることができる。   Here, when the sample size is brought close to infinity, Equation (3) becomes the same as Equation (2). For this reason, it is thought that the determination apparatus 10 can determine a significant difference appropriately even if it determines a significant difference from Formula (1) using the estimated index value shown in Formula (3). Furthermore, the following formula (4) can be obtained by calculating the variance of the estimated index value represented by formula (3).

Figure 2018025934
Figure 2018025934

ここで、式（４）の右辺は、標本Ｙの平均値の分散と（１−ρ２）との積で示すことができるが、（１−ρ２）は１よりも小さい値を取る。つまり、ある標本Ｙについての推定指標値の値は、平均値の値よりも分散が小さくなる。このため、判定装置１０は、式（３）に示される推定指標値を用いて、式（１）から有意差を判定した場合は、有意差を精度良く算出することができる。 Here, the right side of Equation (4) can be represented by the product of the variance of the average value of the sample Y and (1-ρ 2 ), but (1-ρ 2 ) takes a value smaller than 1. That is, the estimated index value for a sample Y has a smaller variance than the average value. For this reason, the determination apparatus 10 can calculate a significant difference with high precision, when a significant difference is determined from Formula (1) using the estimated index value shown in Formula (3).

〔１−３．判定処理について〕
ここで、推定指標値を算出する際のＸの値は、任意の値を採用することができる。一方で、有意差の検出力は、採用される情報のカバレッジを増加させた場合や、採用される情報間の相関性を強化した場合に増大する。 [1-3. About judgment processing)
Here, any value can be adopted as the value of X when calculating the estimated index value. On the other hand, the power of detecting a significant difference increases when coverage of information to be adopted is increased or when correlation between information to be adopted is strengthened.

そこで、判定装置１０は、以下の判定処理を実行する。まず、判定装置１０は、所定のコンテンツに関する利用者の行動を示す第１の指標値と、利用者の属性に基づく第２の指標値とに基づいて、所定のコンテンツに関して推定される利用者の行動を示す推定指標値を、所定のコンテンツに関する標本ごとに算出する。また、判定装置１０は、標本ごとに算出された推定指標値に基づいて、各標本間の有意差を判定する。そして、判定装置１０は、標本ごとに算出された推定指標値に基づいて、各標本間の有意差を判定し、判定結果を出力する。   Therefore, the determination apparatus 10 executes the following determination process. First, the determination apparatus 10 determines the user's estimated value for the predetermined content based on the first index value indicating the user's behavior regarding the predetermined content and the second index value based on the user's attribute. An estimated index value indicating behavior is calculated for each sample related to predetermined content. Further, the determination device 10 determines a significant difference between the samples based on the estimated index value calculated for each sample. Then, the determination device 10 determines a significant difference between the samples based on the estimated index value calculated for each sample, and outputs a determination result.

例えば、判定装置１０は、所定のコンテンツの閲覧中に利用者がクリックしたリンクや、利用者が入力したクエリの値、クリックやクエリの入力を行ったか否か等、所定のコンテンツの閲覧時において利用者が実行可能な行動を示す値を第１の指標値として選択する。例えば、判定装置１０は、クエリの入力を行った利用者に対して、第１の指標値「１」を割り当て、入力しなかった利用者に対して第１の指標値「０」を割り当てる。   For example, the determination apparatus 10 may be used when browsing predetermined content such as a link clicked by a user during browsing of predetermined content, a value of a query input by the user, whether or not a click or input of a query has been performed, or the like. A value indicating an action that can be performed by the user is selected as the first index value. For example, the determination apparatus 10 assigns a first index value “1” to a user who has input a query, and assigns a first index value “0” to a user who has not input a query.

続いて、判定装置１０は、所定のコンテンツの閲覧中に利用者が行った行動を示す値の中から、所定の数の値をランダムに抽出した第１の標本と第２の標本とを抽出する。そして、判定装置１０は、各標本ごとに以下の処理を実行することで、推定指標値を算出する。まず、判定装置１０は、第１の指標値として、所定のコンテンツの閲覧中に利用者が行った行動を示す値を、式（２）や式（３）に示すＹの値とする。より具体的には、判定装置１０は、第１の標本として抽出した値をＹ（ｔ）とし、第２の標本として抽出した値をＹ（ｃ）とする。そして、判定装置１０は、Ｙ（ｔ）、Ｙ（ｃ）の平均値をそれぞれ算出する。 Subsequently, the determination apparatus 10 extracts a first sample and a second sample obtained by randomly extracting a predetermined number of values from values indicating the actions performed by the user while browsing predetermined content. To do. Then, the determination device 10 calculates the estimated index value by executing the following processing for each sample. First, the determination apparatus 10 sets, as the first index value, a value indicating the action performed by the user during browsing of predetermined content as the Y value shown in Expression (2) or Expression (3). More specifically, the determination apparatus 10 sets the value extracted as the first sample as Y (t) and the value extracted as the second sample as Y (c) . And the determination apparatus 10 calculates the average value of Y (t) and Y (c) , respectively.

続いて、判定装置１０は、所定のコンテンツを閲覧した各利用者を、属性情報に基づいて複数のグループに組み分けし、組み分けの結果に基づいた値を第２の指標値として算出する。例えば、判定装置１０は、利用者の性別が男性であるか女性であるかを判定し、利用者の性別が男性である場合には値「０」を第２の指標値とし、利用者の性別が女性である場合には値「１」を第２の指標値とする。そして、端末装置１０は、第２の指標値を式（３）におけるＸの値とする。   Subsequently, the determination apparatus 10 divides each user who has browsed the predetermined content into a plurality of groups based on the attribute information, and calculates a value based on the grouping result as a second index value. For example, the determination device 10 determines whether the user's gender is male or female, and when the user's gender is male, the value “0” is set as the second index value, and the user's gender is determined. If the gender is female, the value “1” is set as the second index value. Then, the terminal device 10 sets the second index value as the value of X in Expression (3).

例えば、判定装置１０は、第１の標本に含まれる値が示す行動を行った利用者を特定し、特定した利用者の属性に基づく第２の指標値を収集する。そして、判定装置１０は、収集した値をＸ（ｔ）とする。同様に、判定装置１０は、第２の標本に含まれる値が示す行動を行った利用者を特定し、特定した利用者の属性に基づく第２の指標値を収集する。そして、判定装置１０は、収集した値をＸ（ｃ）とする。 For example, the determination apparatus 10 identifies a user who has performed an action indicated by a value included in the first sample, and collects a second index value based on the identified user attribute. Then, the determination device 10 sets the collected value as X (t) . Similarly, the determination apparatus 10 identifies a user who has performed an action indicated by a value included in the second sample, and collects a second index value based on the identified user attribute. Then, the determination apparatus 10 sets the collected value as X (c) .

そして、判定装置１０は、Ｙ（ｔ）の値の平均値から、所定の係数θとＸ（ｔ）の値の平均値との積を減算し、さらに、所定の係数θとＸ（ｔ）の値の期待値との積を加算した値を、第１の標本の推定指標値Ｙ（ｔ） ｃｖとする。また、判定装置１０は、Ｙ（ｃ）の値の平均値から、所定の係数θとＸ（ｃ）の値の平均値との積を減算し、さらに、所定の係数θとＸ（ｃ）の値の期待値との積を加算した値を、第２の標本の推定指標値Ｙ（ｃ） ｃｖの値とする。すなわち、判定装置１０は、所定のコンテンツに関して推定される利用者の行動を示す推定指標値を標本ごとに算出する。 Then, the determination device 10 subtracts the product of the predetermined coefficient θ and the average value of X (t) from the average value of the values of Y (t) , and further, the predetermined coefficient θ and X (t). The value obtained by adding the product of the expected value and the expected value is the estimated index value Y (t) cv of the first sample. Further, the determination device 10 subtracts the product of the predetermined coefficient θ and the average value of X (c) from the average value of Y (c) , and further, the predetermined coefficient θ and X (c) A value obtained by adding the product of the value of the value and the expected value to the estimated index value Y (c) cv of the second sample. That is, the determination apparatus 10 calculates an estimated index value indicating the user behavior estimated for the predetermined content for each sample.

そして、判定装置１０は、Ｙ（ｔ） ｃｖをＹ（ｔ）の平均値とし、Ｙ（ｃ） ｃｖをＹ（ｃ）の平均値として、上述した式（１）の値を算出し、算出した値が所定の閾値を超えるか否かに基づいて、第１の標本および第２の標本の有意差を判定する。 Then, the determination apparatus 10 calculates the value of Equation (1) described above by using Y (t) cv as the average value of Y (t) and Y (c) cv as the average value of Y (c). The significant difference between the first sample and the second sample is determined based on whether the obtained value exceeds a predetermined threshold.

このように、判定装置１０は、所定のコンテンツに関する利用者の行動の標本間の有意差を判定する際に、所定のコンテンツに関する利用者の行動を示す指標値のみならず、その利用者の属性情報に応じた第２の指標値を用いて、標本ごとに推定指標値を算出し、算出した推定指標値に基づき、標本間の有意差を判定する。すなわち、判定装置１０は、第１の指標値に関する利用者のクラスタリングに関する情報を、第２の指標値とする。この結果、判定装置１０は、標本のカバレッジを向上させることができるので、有意差の判定精度を向上させることができる。また、判定装置１０は、第１の標本および第２の標本に第１の指標値が含まれる利用者を特定し、特定した利用者の属性に基づく第２の指標値を用いるので、ＸとＹとの相関性を向上させる結果、有意差の判定精度を向上させることができる。   As described above, when determining the significant difference between the samples of the user's behavior regarding the predetermined content, the determination apparatus 10 not only indicates the index value indicating the user's behavior regarding the predetermined content but also the attribute of the user. An estimated index value is calculated for each sample using the second index value corresponding to the information, and a significant difference between samples is determined based on the calculated estimated index value. That is, the determination apparatus 10 sets information regarding user clustering regarding the first index value as the second index value. As a result, since the determination apparatus 10 can improve the coverage of the sample, it can improve the determination accuracy of a significant difference. In addition, since the determination apparatus 10 identifies a user whose first index value is included in the first sample and the second sample and uses the second index value based on the attribute of the identified user, X and As a result of improving the correlation with Y, it is possible to improve the accuracy of determining a significant difference.

ここで、カバレッジを向上させるため、第２の指標値として、所定のコンテンツに関する利用者の行動であって、第１の指標値の元となる行動よりも過去に取得された行動に基づく指標値を用いる手法が考えられる。しかしながら、このような手法では、所定のコンテンツが新規なコンテンツである場合や、所定のコンテンツの配信先に新規な利用者が存在する場合には、過去に出力された情報が存在しないため、推定指標値の分散が上昇する恐れがある。   Here, in order to improve the coverage, as the second index value, the index value based on the action of the user regarding the predetermined content and acquired in the past than the action that is the basis of the first index value A method using this can be considered. However, in such a method, if the predetermined content is new content or there is a new user at the distribution destination of the predetermined content, there is no information output in the past. There is a risk that the dispersion of index values will increase.

しかしながら、判定装置１０は、第２の指標値として、過去に取得された行動に基づく指標値ではなく、利用者の属性に基づく指標値を用いて、推定指標値の値を算出する。このため、判定装置１０は、所定のコンテンツを初めて所定の利用者に配信した場合であっても、その利用者の属性情報に基づく値を第２の指標値とすることで、推定指標値の分散を減少させることができる。この結果、判定装置１０は、有意差の判定精度を向上させることができる。   However, the determination apparatus 10 calculates the estimated index value using the index value based on the user attribute instead of the index value based on the action acquired in the past as the second index value. For this reason, even if the determination device 10 distributes predetermined content to a predetermined user for the first time, the determination device 10 sets the value based on the attribute information of the user as the second index value, so that the estimated index value Dispersion can be reduced. As a result, the determination apparatus 10 can improve the determination accuracy of a significant difference.

〔１−４．属性情報について〕
ここで、判定装置１０は、利用者の属性に基づく値であれば、任意の属性に基づく値を第２の指標値としてもよく、利用者の属性から任意のルールに基づいて生成された値を第２の指標値としてよい。 [1-4. About attribute information)
Here, as long as the determination device 10 is a value based on the user's attribute, the value based on the arbitrary attribute may be used as the second index value, and the value generated based on the arbitrary rule from the user's attribute. May be used as the second index value.

例えば、判定装置１０は、利用者の属性として、性別、年齢、年代、住所、趣味等といった情報を利用してもよい。また、判定装置１０は、利用者の属性として、利用者が使用している端末装置１００の種別や利用者がコンテンツを閲覧した際の位置を示す情報を用いてもよい。また、判定装置１０は、利用者の属性として、利用者が電子商店街で過去に購入した商品や役務の履歴、オークションサイト等における出品履歴や落札履歴、利用者が閲覧したウェブページの履歴等、各種の履歴を利用者の属性としてもよい。   For example, the determination apparatus 10 may use information such as sex, age, age, address, hobby, and the like as user attributes. Further, the determination device 10 may use information indicating the type of the terminal device 100 used by the user and the position when the user browses the content as the user attribute. In addition, the determination device 10 has, as user attributes, a history of products and services that the user has purchased in the online shopping district, an exhibition history or successful bid history at an auction site, a history of web pages viewed by the user, and the like. Various histories may be used as user attributes.

そして、判定装置１０は、利用者の属性に応じて、利用者を複数のグループに分類し、分類結果に応じた値を第２の指標値とする。例えば、判定装置１０は、予め所定の番号が付された複数のグループを設定し、利用者をいずれかのグループに分類する。そして、判定装置１０は、利用者が分類されたグループに設定されていた番号を第２の指標値としてもよい。   And the determination apparatus 10 classify | categorizes a user into a some group according to a user's attribute, and makes the value according to the classification result a 2nd index value. For example, the determination apparatus 10 sets a plurality of groups to which a predetermined number is assigned in advance, and classifies the user into any group. And the determination apparatus 10 is good also considering the number set to the group in which the user was classified as a 2nd parameter | index value.

また、例えば、判定装置１０は、利用者の属性ごとに、その属性に応じた値を決定し、決定した値に基づいて第２の指標値を算出してもよい。すなわち、判定装置１０は、利用者の属性を示す値であれば、任意の値を第２の指標値として算出してよい。   For example, the determination apparatus 10 may determine a value corresponding to the attribute of each user and calculate the second index value based on the determined value. That is, the determination device 10 may calculate an arbitrary value as the second index value as long as it is a value indicating the user's attribute.

〔１−５．グループ分けについて〕
ここで、判定装置１０は、利用者の属性に応じて利用者の分類を行うモデルを用いて、利用者の分類を行い、分類結果に応じた値を第２の指標値として採用してもよい。例えば、判定装置１０は、ＳＶＭ（Support Vector Machine）やニューラルネットワーク、ディープラーニング等といった任意の学習手法により、利用者の属性を学習したモデルを用いて、利用者の分類を行ってよい。 [1-5. About grouping)
Here, the determination device 10 may classify users using a model that classifies users according to user attributes, and may adopt a value according to the classification result as the second index value. Good. For example, the determination apparatus 10 may classify users by using a model in which user attributes are learned by an arbitrary learning method such as SVM (Support Vector Machine), a neural network, or deep learning.

また、判定装置１０は、利用者の分類結果に応じた第２の指標値を用いた際に、有意差の判定精度が向上するように学習を行ったモデルを用いてもよい。すなわち、判定装置１０は、有意差の判定精度が向上するように、利用者を分類するよう学習を行ったモデルを用いてもよい。例えば、判定装置１０は、予め有意差が算出された第１の標本および第２の標本を正解データとして取得する。また、判定装置１０は、正解データから利用者の分類を行い、分類結果に基づいた第２の指標値を算出する。そして、判定装置１０は、算出した第２の指標値を用いた際に算出される有意差が、予め算出された有意差と近づくように、モデルの修正を行ってもよい。   The determination apparatus 10 may use a model that has been learned so that the determination accuracy of a significant difference is improved when the second index value corresponding to the classification result of the user is used. That is, the determination apparatus 10 may use a model that has been learned so as to classify users so that the determination accuracy of a significant difference is improved. For example, the determination apparatus 10 acquires a first sample and a second sample for which a significant difference has been calculated in advance as correct data. Further, the determination device 10 classifies the user from the correct answer data and calculates a second index value based on the classification result. Then, the determination apparatus 10 may correct the model so that the significant difference calculated when the calculated second index value is used approaches the significant difference calculated in advance.

なお、上述したモデルは、判定装置１０が学習を行ってもよく、判定装置１０とは異なる学習装置により予め学習が行われたものであってもよい。   Note that the model described above may be learned by the determination device 10 or may be learned in advance by a learning device different from the determination device 10.

〔１−６．コンテンツについて〕
ここで、判定装置１０は、所定のコンテンツとして任意のコンテンツを採用してよい。例えば、判定装置１０は、所定のコンテンツがウェブ検索を受付けるポータルサイト、オークション、経路検索、電子商店街、ゲーム、宿泊予約、ファイナンス、天気予報、レストランの情報サイト、不動産サイト、自動車関連のサイト、各種の掲示板やブログ、レシピ等の提供を行うウェブサイト等を所定のコンテンツとして良い。また、判定装置１０は、ウェブサイトのみならず、所定のコンテンツと関連するアプリケーションやウィジェットを所定のコンテンツとし、かかるコンテンツにおける利用者の行動を示す値を第１の指標値としてもよい。 [1-6. About content)
Here, the determination apparatus 10 may employ any content as the predetermined content. For example, the determination apparatus 10 is a portal site where predetermined content accepts web search, auction, route search, online shopping mall, game, accommodation reservation, finance, weather forecast, restaurant information site, real estate site, automobile-related site, Websites that provide various bulletin boards, blogs, recipes, and the like may be used as the predetermined content. Further, the determination apparatus 10 may use not only a website but also an application or widget associated with a predetermined content as the predetermined content, and a value indicating the user's behavior in the content as the first index value.

〔１−７．利用者の共通性について〕
また、判定装置１０は、第１の指標値が示す行動を行った利用者の属性に基づく値のみならず、他の利用者の属性に基づく値を第２の指標値に加えてもよい。すなわち、判定装置１０は、第１の指標値に関する利用者と、第２の指標値に関する利用者とを完全に同一とする必要はなく、第１の指標値が示す行動を行った利用者と、第２の指標値が属性を示す利用者との一部が共通するように、第２の指標値を取得してもよい。すなわち、判定装置１０は、所定のコンテンツについて複数の利用者が行った行動を示す第１の指標値と、かかる複数の利用者のうち、所定の数の利用者を含む複数の利用者の属性に基づく第２の指標値とを用いて、推定指標値を算出すればよい。 [1-7. About commonality of users)
Moreover, the determination apparatus 10 may add not only a value based on the attribute of the user who performed the action indicated by the first index value but also a value based on the attribute of another user to the second index value. That is, the determination device 10 does not have to make the user related to the first index value and the user related to the second index value completely the same, and the user who performed the action indicated by the first index value The second index value may be acquired so that the second index value shares a part with the user indicating the attribute. That is, the determination apparatus 10 includes a first index value indicating actions performed by a plurality of users on a predetermined content, and attributes of a plurality of users including a predetermined number of users among the plurality of users. The estimated index value may be calculated using the second index value based on the.

〔１−８．指標値が示す行動について〕
ここで、判定装置１０は、例えば、所定のコンテンツに関する利用者の行動を示す指標値として、所定のコンテンツを閲覧中に利用者が行ったクリックの有無やクリックしたリンク又はコンテンツ等を示す値を指標値とする。しかしながら、実施形態は、これに限定するものではない。例えば、判定装置１０は、クリック以外にも、例えば、ウェブ検索を行う際に入力したクエリの内容やクエリを入力した回数を指標値としてもよい。すなわち、判定装置１０は、任意の行動を示す値を指標値としてよい。 [1-8. (Actions indicated by index values)
Here, for example, the determination apparatus 10 uses, as an index value indicating the user's behavior regarding the predetermined content, a value indicating the presence or absence of a click performed by the user while browsing the predetermined content, a clicked link or content, and the like. The index value. However, the embodiment is not limited to this. For example, in addition to the click, the determination apparatus 10 may use, for example, the content of a query input when performing a web search or the number of times the query is input as an index value. That is, the determination apparatus 10 may use a value indicating an arbitrary action as an index value.

例えば、判定装置１０は、所定のコンテンツに対して行った利用者の評価や、利用者が入力した所定のコンテンツに対する興味の度合いを示す値を第１の指標値としてもよい。すなわち、判定装置１０は、第１の指標値と第２の指標値とがある程度共通する利用者に関連するＫＰＩ（Key Performance Indicator）であるならば、任意の指標値を第１の指標値として採用してよい。   For example, the determination apparatus 10 may use, as the first index value, a value indicating a user's evaluation performed on a predetermined content and a degree of interest in the predetermined content input by the user. That is, if the first index value and the second index value are KPIs (Key Performance Indicators) related to users who share a certain degree, the determination apparatus 10 uses an arbitrary index value as the first index value. May be adopted.

〔１−９．判定処理の一例について〕
次に、図１を用いて、判定装置１０が実行する処理の一例について説明する。なお、以下の説明では、所定のコンテンツに関する利用者の行動を示す情報を第１の指標値とし、その利用者の属性を示す情報を第２の指標値として用いる処理の一例について説明する。また、図１に示す例では、利用者Ｕ０１の属性情報が「属性＃１」であり、利用者Ｕ０２の属性情報が「属性＃２」である例について説明する。 [1-9. About an example of judgment processing)
Next, an example of processing executed by the determination device 10 will be described with reference to FIG. In the following description, an example of processing using information indicating the user's behavior related to the predetermined content as the first index value and using information indicating the user's attribute as the second index value will be described. In the example illustrated in FIG. 1, an example in which the attribute information of the user U01 is “attribute # 1” and the attribute information of the user U02 is “attribute # 2” will be described.

まず、コンテンツサーバ５０は、端末装置１００からの要求に従って、所定のコンテンツを端末装置１００に配信する（ステップＳ１）。そして、コンテンツサーバ５０は、所定のコンテンツの閲覧中に利用者Ｕ０１、Ｕ０２が行ったクリックの内容を示すクリック履歴とともに、その利用者Ｕ０１、Ｕ０２の属性を示す属性情報「属性＃１」、「属性＃２」を収集する（ステップＳ２）。なお、コンテンツサーバ５０は、例えば、利用者Ｕ０１、Ｕ０２の属性情報を管理する管理サーバ（図示は省略）等の外部サーバから、利用者Ｕ０１、Ｕ０２の属性情報を収集してもよい。   First, the content server 50 distributes predetermined content to the terminal device 100 in accordance with a request from the terminal device 100 (step S1). Then, the content server 50, together with a click history indicating the contents of clicks performed by the users U01 and U02 while browsing predetermined content, attribute information “attribute # 1” and “attributes” indicating the attributes of the users U01 and U02 are displayed. Attribute # 2 ”is collected (step S2). The content server 50 may collect the attribute information of the users U01 and U02 from an external server such as a management server (not shown) that manages the attribute information of the users U01 and U02.

続いて、判定装置１０は、所定のコンテンツに関するクリック履歴と属性情報とをコンテンツサーバ５０から収集する（ステップＳ３）。そして、判定装置１０は、各クリック履歴が示すクリックの内容を行動内容とし、行動内容と、クリックを行った利用者の利用者ＩＤとを対応付けて行動履歴データベース３１に登録する。   Subsequently, the determination apparatus 10 collects the click history and attribute information related to the predetermined content from the content server 50 (step S3). Then, the determination device 10 uses the contents of the click indicated by each click history as the action contents, and registers the action contents and the user ID of the user who performed the click in association with each other in the action history database 31.

また、判定装置１０は、収集した属性情報に基づいて、利用者Ｕ０１、Ｕ０２をグルーピングする（ステップＳ４）。より具体的には、判定装置１０は、属性情報を入力すると、属性の種別ごとに、属性の内容を示す値を出力するモデルを用いて、利用者の属性情報を示す値を算出する。   The determination apparatus 10 groups users U01 and U02 based on the collected attribute information (step S4). More specifically, when the attribute information is input, the determination apparatus 10 calculates a value indicating the attribute information of the user by using a model that outputs a value indicating the content of the attribute for each attribute type.

例えば、図１に示すモデルは、性別が「男性」である場合には性別に対応する値「１」を出力し、性別が「女性」である場合には性別に対応する値「０」を出力するものとする。また、例えば、図１に示すモデルは、年代が「２０代」である場合には、年代に対応する値「２」を出力し、年代が「３０代」である場合には、年代に対応する値「３」を出力するものとする。また、例えば、図１に示すモデルは、住所が「神奈川在住」である場合には、住所に対応する値「４」を出力し、住所が「東京在住」である場合には、住所に対応する値「５」を出力するものとする。   For example, the model shown in FIG. 1 outputs a value “1” corresponding to gender when the gender is “male”, and a value “0” corresponding to gender when the gender is “female”. Shall be output. For example, the model shown in FIG. 1 outputs a value “2” corresponding to the age when the age is “20s”, and corresponds to the age when the age is “30s”. The value “3” to be output is output. In addition, for example, the model shown in FIG. 1 outputs a value “4” corresponding to the address when the address is “resident in Kanagawa”, and corresponds to the address when the address is “resident in Tokyo”. The value “5” to be output is output.

例えば、図１に示す例では、利用者Ｕ０１の属性情報「属性＃１」の内容が、性別「男性」、年代「３０代」、住所「東京在住」であるものとする。このような属性を入力した場合、図１に示すモデルは、利用者Ｕ０１の属性情報を示す値「１」、「３」、「５」を出力する。そして、判定装置１０は、モデルが出力した値を並べた３桁の値「１３５」を、利用者Ｕ０１の分類先となるグループを示す値、すなわち、第２の指標値とする。その後、判定装置１０は、利用者ＩＤと利用者の属性情報と第２の指標値とを対応付けてユーザデータベース３２に登録する。   For example, in the example illustrated in FIG. 1, it is assumed that the content of the attribute information “attribute # 1” of the user U01 is gender “male”, age “30s”, and address “resident in Tokyo”. When such an attribute is input, the model shown in FIG. 1 outputs values “1”, “3”, and “5” indicating the attribute information of the user U01. Then, the determination apparatus 10 sets the three-digit value “135”, in which the values output by the model are arranged, as a value indicating the group to be classified by the user U01, that is, the second index value. Thereafter, the determination apparatus 10 registers the user ID, the user attribute information, and the second index value in the user database 32 in association with each other.

なお、例えば、利用者Ｕ０２の属性情報「属性＃２」の内容が、性別「女性」、年代「２０代」、住所「神奈川在住」である場合、図１に示すモデルは、利用者Ｕ０２の属性情報を示す値として「０」、「２」、「４」を出力する。このため、判定装置１０は、モデルが出力する値を並べた３桁の値「０２４」を、利用者Ｕ０２の分類先となるグループを示す値、すなわち、第２の指標値とする。   For example, when the content of the attribute information “attribute # 2” of the user U02 is gender “female”, age “20s”, and address “resident in Kanagawa”, the model shown in FIG. “0”, “2”, and “4” are output as values indicating attribute information. For this reason, the determination apparatus 10 sets the three-digit value “024”, in which the values output by the model are arranged, as a value indicating the group to be classified by the user U02, that is, the second index value.

また、判定装置１０は、所定のコンテンツに関する標本の有意差を判定する場合、所定のコンテンツのクリック履歴から第１の指標値を標本ごとに算出する（ステップＳ５）。例えば、判定装置１０は、所定のコンテンツのクリック履歴から、所定の数のクリック履歴を第１の標本としてランダムに選択し、第１の標本として選択したクリック履歴の内容を示す値の集合を第１の指標値Ｙ（ｔ）とする。同様に、判定装置１０は、所定のコンテンツのクリック履歴から、所定の数のクリック履歴を第２の標本としてランダムに選択し、第２の標本として選択したクリック履歴の内容を示す値の集合を第１の指標値Ｙ（ｃ）とする。 Further, when determining the significant difference between the samples related to the predetermined content, the determination apparatus 10 calculates the first index value for each sample from the click history of the predetermined content (step S5). For example, the determination device 10 randomly selects a predetermined number of click histories as the first sample from the click histories of the predetermined content, and sets a set of values indicating the contents of the click history selected as the first sample. The index value Y 1 (t) is 1. Similarly, the determination apparatus 10 randomly selects a predetermined number of click histories as the second sample from the click histories of the predetermined content, and sets a set of values indicating the contents of the click history selected as the second sample. The first index value Y (c) is used.

また、判定装置１０は、利用者のグルーピング結果に応じた第２の指標値を標本ごとに算出する（ステップＳ６）。例えば、判定装置１０は、第１の標本として選択されたクリック履歴が示すクリックを行った利用者を特定し、特定した利用者が分類されたグループを示す値をユーザデータベース３２から抽出する。そして、判定装置１０は、抽出した値の集合を第２の指標値Ｘ（ｔ）とする。同様に、判定装置１０は、第２の標本として選択されたクリック履歴が示すクリックを行った利用者を特定し、特定した利用者が分類されたグループを示す値をユーザデータベース３２から抽出し、抽出した値の集合を第２の指標値Ｘ（ｃ）とする。 Moreover, the determination apparatus 10 calculates the 2nd index value according to a user's grouping result for every sample (step S6). For example, the determination apparatus 10 identifies a user who has performed a click indicated by the click history selected as the first sample, and extracts a value indicating a group into which the identified user is classified from the user database 32. Then, the determination apparatus 10 sets the extracted set of values as the second index value X (t) . Similarly, the determination apparatus 10 identifies the user who performed the click indicated by the click history selected as the second sample, extracts a value indicating the group into which the identified user is classified, from the user database 32, A set of extracted values is set as a second index value X (c) .

そして、判定装置１０は、所定のコンテンツについて推定される平均的な利用者の行動を示す値、すなわち、推定指標値を標本ごとに算出する（ステップＳ７）。例えば、判定装置１０は、第１の指標値Ｙ（ｔ）と第２の指標値Ｘ（ｔ）とを用いて、Ｙ（ｔ） ｃｖの値を式（３）から算出し、第１の指標値Ｙ（ｃ）と第２の指標値Ｘ（ｃ）とを用いて、Ｙ（ｃ） ｃｖの値を式（３）から算出する。そして、判定装置１０は、算出した推定指標値を用いて、標本間の有意差を判定する（ステップＳ８）。例えば、判定装置１０は、Ｙ（ｔ） ｃｖの値をＹ（ｔ）の平均値とし、Ｙ（ｃ） ｃｖの値をＹ（ｃ）の平均値として、Ｚ検定を行い、有意差が存在するか否かを判定する。そして、判定装置１０は、検定結果を管理者端末２００へと提供する（ステップＳ９）。 And the determination apparatus 10 calculates the value which shows the average user's action estimated about predetermined | prescribed content, ie, an estimated parameter | index value, for every sample (step S7). For example, the determination apparatus 10 calculates the value of Y (t) cv from the formula (3) using the first index value Y (t) and the second index value X (t) , Using the index value Y (c) and the second index value X (c) , the value of Y (c) cv is calculated from Equation (3). And the determination apparatus 10 determines the significant difference between samples using the calculated estimated index value (step S8). For example, the determination device 10 performs a Z test using the value of Y (t) cv as the average value of Y (t) and the value of Y (c) cv as the average value of Y (c) , and there is a significant difference. It is determined whether or not to do. And the determination apparatus 10 provides a test result to the administrator terminal 200 (step S9).

〔２．判定装置の構成〕
以下、上記した判定処理を実現する判定装置１０が有する機能構成の一例について説明する。図２は、実施形態に係る判定装置の構成例を示す図である。図２に示すように、判定装置１０は、通信部２０、記憶部３０、および制御部４０を有する。 [2. (Configuration of judgment device)
Hereinafter, an example of a functional configuration of the determination apparatus 10 that realizes the above-described determination process will be described. FIG. 2 is a diagram illustrating a configuration example of the determination apparatus according to the embodiment. As illustrated in FIG. 2, the determination device 10 includes a communication unit 20, a storage unit 30, and a control unit 40.

通信部２０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、端末装置１００や管理者端末２００、コンテンツサーバ５０との間で情報の送受信を行う。   The communication unit 20 is realized by, for example, a NIC (Network Interface Card). The communication unit 20 is connected to the network N in a wired or wireless manner, and transmits / receives information to / from the terminal device 100, the administrator terminal 200, and the content server 50.

記憶部３０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、行動履歴データベース３１、ユーザデータベース３２、および分類モデルデータ３３を記憶する。   The storage unit 30 is realized by, for example, a semiconductor memory device such as a RAM (Random Access Memory) or a flash memory, or a storage device such as a hard disk or an optical disk. The storage unit 30 also stores an action history database 31, a user database 32, and classification model data 33.

行動履歴データベース３１には、所定のコンテンツに関する利用者の行動を示す情報、すなわち、行動履歴が格納される。例えば、図３は、実施形態に係る行動履歴データベースに登録される情報の一例を示す図である。図３に示すように、行動履歴データベース３１には、「コンテンツＩＤ」、「利用者ＩＤ」、「行動内容」等といった項目を有する情報が登録されている。なお、行動履歴データベース３１には、図３に示す情報以外にも、任意の情報が登録されていてもよい。   The behavior history database 31 stores information indicating the behavior of the user regarding the predetermined content, that is, behavior history. For example, FIG. 3 is a diagram illustrating an example of information registered in the action history database according to the embodiment. As illustrated in FIG. 3, information having items such as “content ID”, “user ID”, “action content”, and the like is registered in the action history database 31. Arbitrary information other than the information shown in FIG. 3 may be registered in the action history database 31.

ここで、「コンテンツＩＤ」とは、コンテンツの識別子である。また、「利用者ＩＤ」とは、対応付けられた行動履歴が示す行動を行った利用者の識別子である。また、「行動内容」とは、利用者の行動を示す情報であり、例えば、クリックの内容を示す情報である。例えば、図３に示す例では、コンテンツＩＤ「コンテンツ＃１」、利用者ＩＤ「Ｕｓｅｒ＃１」、および行動内容「Ｃｌｉｃｋ＃１」とが対応付けて登録されている。このような情報は、コンテンツＩＤ「コンテンツ＃１」が示すコンテンツを閲覧中に、利用者ＩＤ「Ｕｓｅｒ＃１」が示す利用者が、行動内容「Ｃｌｉｃｋ＃１」が示すクリックを行った旨を示す情報である。なお、行動内容は、どのようなクリックが行われたかのみならず、クリックの有無を示す情報であってもよい。   Here, the “content ID” is a content identifier. The “user ID” is an identifier of the user who performed the action indicated by the associated action history. The “behavior content” is information indicating the user's behavior, for example, information indicating the click content. For example, in the example illustrated in FIG. 3, the content ID “content # 1”, the user ID “User # 1”, and the action content “Click # 1” are registered in association with each other. Such information indicates that the user indicated by the user ID “User # 1” clicked the action content “Click # 1” while browsing the content indicated by the content ID “Content # 1”. It is information to show. The action content may be information indicating not only what click is performed but also the presence or absence of the click.

図２に戻り説明を続ける。ユーザデータベース３２には、利用者の識別子であるユーザＩＤと利用者の属性情報とが、属性情報の項目ごとに対応付けて登録されている。例えば、図４は、実施形態に係るユーザデータベースに登録される情報の一例を説明する図である。例えば、図４に示す例では、ユーザデータベース３２には、「利用者ＩＤ」、「属性項目」、「属性情報」、および「グループ」といった項目を有する情報が、「利用者ＩＤ」ごとに複数登録されている。「属性項目」とは、属性情報の項目を示す情報であり、例えば、「性別」、「年齢」、「住所」等といった情報が登録される。また、「属性情報」とは、対応付けられたユーザＩＤが示す利用者の属性情報であって、対応付けられた属性項目が示す内容の属性情報である。また、「グループ」とは、対応付けられた利用者ＩＤが示す利用者が分類されたグループを示す値、すなわち、利用者の属性情報を示す値である。   Returning to FIG. In the user database 32, a user ID, which is a user identifier, and user attribute information are registered in association with each item of attribute information. For example, FIG. 4 is a diagram illustrating an example of information registered in the user database according to the embodiment. For example, in the example illustrated in FIG. 4, the user database 32 includes a plurality of pieces of information having items such as “user ID”, “attribute item”, “attribute information”, and “group” for each “user ID”. It is registered. The “attribute item” is information indicating an item of attribute information. For example, information such as “sex”, “age”, “address”, and the like is registered. The “attribute information” is attribute information of the user indicated by the associated user ID and content information indicated by the associated attribute item. The “group” is a value indicating a group into which the users indicated by the associated user IDs are classified, that is, a value indicating user attribute information.

例えば、図４に示す例では、利用者ＩＤ「Ｕｓｅｒ＃１」に対し、属性項目「性別」および属性情報「男性」が対応付けて登録され、属性項目「年齢」（「年代」でもよい。）および属性情報「３０代」が対応付けて登録され、属性項目「住所」および属性情報「Ａ市」が対応付けて登録され、グループ「１３５」が対応付けて登録されている。このような情報は、例えば、利用者ＩＤ「Ｕｓｅｒ＃１」が示す利用者の性別が男性であり、年齢が３０代に含まれる年齢であり、住所がＡ市である旨を示している。またこのような情報は、利用者ＩＤ「Ｕｓｅｒ＃１」が示す利用者の分類先となるグループが「１３５」である旨を示している。すなわち、このような情報は、利用者ＩＤ「Ｕｓｅｒ＃１」が示す利用者の属性情報を示す値が「１３５」である旨を示す。   For example, in the example illustrated in FIG. 4, the attribute item “sex” and the attribute information “male” are registered in association with the user ID “User # 1”, and the attribute item “age” (“age”) may be used. ) And attribute information “30's” are registered in association with each other, attribute item “address” and attribute information “A city” are registered in association with each other, and group “135” is registered in association with each other. Such information indicates, for example, that the user's gender indicated by the user ID “User # 1” is male, the age is included in his 30s, and the address is A city. Such information indicates that the group to be classified by the user indicated by the user ID “User # 1” is “135”. That is, such information indicates that the value indicating the attribute information of the user indicated by the user ID “User # 1” is “135”.

なお、ユーザデータベース３２には、図４に示す属性項目や属性情報以外にも、任意の属性項目や属性情報が登録されていてよい。また、ユーザデータベース３２には、必ずしも全ての属性項目について属性情報が登録されている必要はなく、利用者が登録した、または、利用者の行動履歴から推定された属性情報のみが登録されていてもよい。   In addition to the attribute items and attribute information shown in FIG. 4, arbitrary attribute items and attribute information may be registered in the user database 32. In the user database 32, it is not always necessary to register the attribute information for all the attribute items, only the attribute information registered by the user or estimated from the user's behavior history is registered. Also good.

図２に戻り、説明を続ける。分類モデルデータ３３は、利用者の属性情報に基づいて、利用者の分類を行うモデルである。例えば、分類モデルデータ３３は、利用者の属性情報が入力されると、属性情報の種別ごとに、利用者の属性を示す値を算出するモデルである。   Returning to FIG. 2, the description will be continued. The classification model data 33 is a model for classifying users based on user attribute information. For example, the classification model data 33 is a model that, when user attribute information is input, calculates a value indicating the user attribute for each type of attribute information.

制御部４０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、判定装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部４０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。   The control unit 40 is a controller. For example, various programs stored in a storage device inside the determination apparatus 10 are stored in a RAM or the like by a processor such as a CPU (Central Processing Unit) or an MPU (Micro Processing Unit). This is realized by being executed as a work area. The control unit 40 is a controller, and may be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).

図２に示すように、制御部４０は、収集部４１、選択部４２、算出部４３、判定部４４、出力部４５、および学習部４６を有する。収集部４１は、所定のコンテンツに関する利用者の行動を示す行動履歴をコンテンツサーバ５０から収集する。より具体的には、収集部４１は、行動を行った利用者の利用者ＩＤと、利用者が行った行動の内容を示す行動内容と、利用者が閲覧していたコンテンツを示すコンテンツＩＤとを対応付けた情報を行動履歴としてコンテンツサーバ５０から収集する。そして、収集部４１は、収集した行動履歴を行動履歴データベース３１に登録する。すなわち、収集部４１は、行動履歴を収集し、利用者が閲覧していたコンテンツ毎に行動履歴をまとめて行動履歴データベース３１に登録する。   As illustrated in FIG. 2, the control unit 40 includes a collection unit 41, a selection unit 42, a calculation unit 43, a determination unit 44, an output unit 45, and a learning unit 46. The collection unit 41 collects an action history indicating a user's action regarding predetermined content from the content server 50. More specifically, the collection unit 41 includes the user ID of the user who performed the action, the action content indicating the content of the action performed by the user, and the content ID indicating the content the user was browsing. Is collected from the content server 50 as an action history. Then, the collection unit 41 registers the collected action history in the action history database 31. That is, the collection unit 41 collects an action history, and collects the action history for each content that the user was browsing and registers the action history in the action history database 31.

また、収集部４１は、利用者の属性情報をコンテンツサーバ５０から収集する。また、収集部４１は、収集した属性情報を分類モデルデータ３３に入力し、分類モデルデータ３３が出力した値、すなわち、第２の指標値となる値を、利用者の属性情報と、利用者ＩＤと対応付けてユーザデータベース３２に登録する。   The collection unit 41 collects user attribute information from the content server 50. In addition, the collection unit 41 inputs the collected attribute information to the classification model data 33, and uses the value output from the classification model data 33, that is, the value serving as the second index value, as the user attribute information and the user. The user ID is registered in the user database 32 in association with the ID.

選択部４２は、行動履歴データベース３１およびユーザデータベース３２に登録された情報から、第１の標本および第２の標本を選択する。例えば、選択部４２は、管理者端末２００から所定のコンテンツに関する標本の有意差を判定する旨の要求を受付けた場合、所定のコンテンツを示すコンテンツＩＤ（例えば、コンテンツＩＤ「コンテンツ＃１」）を含む行動履歴を行動履歴データベース３１から特定する。   The selection unit 42 selects the first specimen and the second specimen from information registered in the behavior history database 31 and the user database 32. For example, when the selection unit 42 receives a request from the administrator terminal 200 to determine a significant difference between samples related to predetermined content, the selection unit 42 selects a content ID indicating the predetermined content (for example, content ID “content # 1”). The action history to be included is specified from the action history database 31.

具体的には、選択部４２は、第１の標本に含まれる第１の指標値として、特定した行動履歴からランダムに所定の数の利用者ＩＤと行動履歴との組を選択する。続いて、選択部４２は、第１の指標値として選択した組に含まれる利用者ＩＤと同じ利用者ＩＤに対応付けられた「グループ」の値を第２の指標値としてユーザデータベース３２から選択する。なお、選択部４２は、第１の指標値として選択した組に含まれる利用者ＩＤのうち、所定の数の利用者ＩＤを選択し、選択した利用者ＩＤと対応付けられたグループの値に加えてランダムに選択したグループの値を第２の指標値としてもよい。同様に、選択部４２は、第２の標本に含まれる第１の指標値として、特定した行動履歴からランダムに所定の数の利用者ＩＤと行動履歴との組を選択し、選択した利用者ＩＤと対応する利用者ＩＤと対応付けられた「グループ」の値を第２の標本に含まれる第２の指標値とする。   Specifically, the selection unit 42 randomly selects a set of a predetermined number of user IDs and behavior histories from the identified behavior history as the first index value included in the first sample. Subsequently, the selection unit 42 selects a value of “group” associated with the same user ID as the user ID included in the set selected as the first index value from the user database 32 as the second index value. To do. Note that the selection unit 42 selects a predetermined number of user IDs among the user IDs included in the set selected as the first index value, and sets the group value associated with the selected user ID. In addition, a randomly selected group value may be used as the second index value. Similarly, the selection unit 42 selects a predetermined number of pairs of user IDs and behavior histories from the identified behavior history as the first index value included in the second sample, and selects the selected user. The value of “group” associated with the user ID corresponding to the ID is set as the second index value included in the second sample.

算出部４３は、所定のコンテンツに関する利用者Ｕ０１、Ｕ０２の行動を示す第１の指標値と、利用者Ｕ０１、Ｕ０２の属性に基づく第２の指標値とに基づいて、所定のコンテンツに関して推定される利用者Ｕ０１、Ｕ０２の行動を示す推定指標値を、所定のコンテンツに関する標本ごとに算出する。   The calculation unit 43 is estimated for the predetermined content based on the first index value indicating the actions of the users U01 and U02 regarding the predetermined content and the second index value based on the attributes of the users U01 and U02. The estimated index value indicating the behavior of the users U01 and U02 is calculated for each sample related to the predetermined content.

具体的には、算出部４３は、第１の指標値として、所定のコンテンツの閲覧中に行った選択操作の内容を示す値の平均値から、推定指標値を算出する。また、算出部４３は、第２の指標値として、第２のコンテンツの閲覧中に行った選択操作の内容を示す値の平均値から、推定指標値を算出してもよい。また、算出部４３は、利用者の属性に応じて利用者の分類を行うモデルを用いて、利用者の分類を行い、分類結果に応じた値を第２の指標値とする。そして、算出部４３は、第１の指標値の平均値に対し、所定の係数と第２の指標値の平均値との積を減算し、所定の係数と第２の指標値の期待値との積を加算した値を推定指標値とする。   Specifically, the calculation unit 43 calculates the estimated index value from the average value of the values indicating the details of the selection operation performed while browsing the predetermined content as the first index value. Further, the calculation unit 43 may calculate an estimated index value from the average value of the values indicating the details of the selection operation performed while browsing the second content as the second index value. In addition, the calculation unit 43 classifies users using a model that classifies users according to user attributes, and sets a value according to the classification result as a second index value. Then, the calculation unit 43 subtracts the product of the predetermined coefficient and the average value of the second index value from the average value of the first index value, and calculates the predetermined coefficient and the expected value of the second index value. A value obtained by adding the products of is used as an estimated index value.

例えば、算出部４３は、選択部４２が選択した第１の標本に含まれる複数の行動履歴をそれぞれ数値化し、第１の指標値Ｙ（ｔ）とする。また、算出部４３は、第２の標本に含まれる複数の行動履歴をそれぞれ数値化し、第１の指標値Ｙ（ｃ）とする。続いて、算出部４３は、選択部４２が選択した第１の標本に含まれる「グループ」の値を第２の指標値Ｘ（ｔ）とする。また、算出部４３は、選択部４２が選択した第２の標本に含まれる「グループ」の値を第２の指標値Ｘ（ｃ）とする。 For example, the calculation unit 43 quantifies each of the plurality of behavior histories included in the first sample selected by the selection unit 42 to obtain the first index value Y (t) . In addition, the calculation unit 43 quantifies each of the plurality of action histories included in the second sample and sets the first index value Y (c) . Subsequently, the calculation unit 43 sets the value of “group” included in the first sample selected by the selection unit 42 as the second index value X (t) . Further, the calculation unit 43 sets the value of “group” included in the second sample selected by the selection unit 42 as the second index value X (c) .

そして、算出部４３は、第１の指標値Ｙ（ｔ）と第２の指標値Ｘ（ｔ）とを用いて、第１の標本に係る推定指標値Ｙ（ｔ） ｃｖの値を式（３）から算出し、第１の指標値Ｙ（ｃ）と第２の指標値Ｘ（ｃ）とを用いて、第２の標本に係る推定指標値Ｙ（ｃ） ｃｖの値を式（３）から算出する。 Then, the calculation unit 43 uses the first index value Y (t) and the second index value X (t) to calculate the estimated index value Y (t) cv related to the first sample using the formula ( 3), and using the first index value Y (c) and the second index value X (c) , the value of the estimated index value Y (c) cv related to the second sample is expressed by the equation (3) ).

判定部４４は、標本ごとに算出された推定指標値に基づいて、各標本間の有意差を判定する。具体的には、判定部４４は、算出部４３が算出した推定指標値Ｙ（ｔ） ｃｖおよびＹ（ｃ） ｃｖを用いて、式（１）から標本間の有意差を示す値を算出し、算出した値が所定の閾値よりも多いか否かを判定する。そして、判定部４４は、算出した値が所定の閾値よりも多い場合には、有意差が存在すると判定し、算出した値が所定の閾値以下である場合には、有意差が存在しないと判定する。 The determination unit 44 determines a significant difference between the samples based on the estimated index value calculated for each sample. Specifically, the determination unit 44 uses the estimated index values Y (t) cv and Y (c) cv calculated by the calculation unit 43 to calculate a value indicating a significant difference between samples from Equation (1). It is determined whether the calculated value is greater than a predetermined threshold value. The determination unit 44 determines that there is a significant difference when the calculated value is greater than the predetermined threshold, and determines that there is no significant difference when the calculated value is equal to or less than the predetermined threshold. To do.

出力部４５は、判定部４４による判定結果を管理者端末２００に出力する。例えば、出力部４５は、判定部４４が実行する判定結果に基づいて、判定結果を示す結果画面Ｃ１０を生成し、生成した結果画面Ｃ１０を管理者端末２００に配信する。   The output unit 45 outputs the determination result by the determination unit 44 to the administrator terminal 200. For example, the output unit 45 generates a result screen C10 indicating the determination result based on the determination result executed by the determination unit 44, and distributes the generated result screen C10 to the administrator terminal 200.

例えば、図５は、実施形態に係る判定装置が生成する結果画面の一例を示す図である。例えば、判定装置１０は、所定のコンテンツに関する利用者の行動履歴からランダムに選択した第１の標本と第２の標本との組を複数組抽出し、抽出した組ごとに上述した判定処理を実行することで、有意差を示す値を算出する。そして、判定装置１０は、図５に示すような結果画面Ｃ１０を生成し、生成した結果画面Ｃ１０を管理者端末２００に表示させる。   For example, FIG. 5 is a diagram illustrating an example of a result screen generated by the determination apparatus according to the embodiment. For example, the determination apparatus 10 extracts a plurality of sets of first and second samples randomly selected from the user's behavior history regarding the predetermined content, and executes the above-described determination process for each extracted set. By doing so, a value indicating a significant difference is calculated. Then, the determination apparatus 10 generates a result screen C10 as illustrated in FIG. 5 and causes the administrator terminal 200 to display the generated result screen C10.

例えば、判定装置１０は、図５に示すように、標本の組ごとに有意差を示す値を算出し、算出結果を用いて、横軸方向に標本の組、縦軸方向に有意差を示す値を設定したグラフを生成する。そして、判定装置１０は、グラフのうち、有意差の値が所定の閾値を超える範囲を太線で示し、有意差の値が所定の閾値以下となる範囲を点線で示す。また、判定装置１０は、図５に示すグラフ中の黒丸印で示すように、管理者端末２００の管理者がグラフ上の位置を選択した場合には、選択された位置に対応する標本の組に含まれる行動履歴をそれぞれ表示する結果画面Ｃ１０を生成する。   For example, as illustrated in FIG. 5, the determination apparatus 10 calculates a value indicating a significant difference for each set of samples, and uses the calculation result to indicate the set of samples in the horizontal axis direction and the significant difference in the vertical axis direction. Generate a graph with values set. And the determination apparatus 10 shows the range in which the value of a significant difference exceeds a predetermined threshold value in a graph with a thick line, and shows the range in which the value of a significant difference becomes below a predetermined threshold value with a dotted line. Further, as shown by the black circles in the graph shown in FIG. 5, when the administrator of the administrator terminal 200 selects a position on the graph, the determination device 10 sets a sample set corresponding to the selected position. A result screen C10 for displaying the action history included in each is generated.

図２に戻り、説明を続ける。学習部４６は、分類モデルデータ３３の学習を行う。例えば、学習部４６は、予め有意差が算出された第１の標本および第２の標本を正解データとし、正解データから利用者の分類を行い、分類結果に基づいた第２の指標値を算出する。そして、学習部４６は、算出した第２の指標値を用いた際に算出される有意差が、予め算出された有意差と近づくように、分類モデルデータ３３の修正を行う。なお、学習部４６は、上述した学習処理以外にも、任意の学習手法を用いて、利用者Ｕ０１、Ｕ０２の属性から利用者Ｕ０１、Ｕ０２をグルーピングするモデルを学習を行ってよい。   Returning to FIG. 2, the description will be continued. The learning unit 46 learns the classification model data 33. For example, the learning unit 46 uses the first sample and the second sample for which a significant difference has been calculated in advance as correct data, classifies users from the correct data, and calculates a second index value based on the classification result. To do. Then, the learning unit 46 corrects the classification model data 33 so that the significant difference calculated when the calculated second index value is used approaches the significant difference calculated in advance. The learning unit 46 may learn a model for grouping the users U01 and U02 from the attributes of the users U01 and U02 using an arbitrary learning method other than the learning process described above.

〔３．判定処理の流れの一例〕
続いて、図６を用いて、判定装置１０が実行する処理の流れについて説明する。図６は、実施形態にかかる判定装置が実行する判定処理の流れの一例を示すフローチャートである。例えば、判定装置１０は、各利用者の行動履歴と属性情報とを収集する（ステップＳ１０１）。そして、判定装置１０は、収集した属性情報に基づいて、利用者のグルーピングを行う（ステップＳ１０２）。続いて、判定装置１０は、所定のコンテンツに関する第１の指標値を標本ごとに算出し（ステップＳ１０３）、各標本と関連する利用者と同じ利用者のグルーピング結果に基づく第２の指標値を、標本ごとに算出する（ステップＳ１０４）。 [3. Example of judgment process flow)
Subsequently, a flow of processing executed by the determination apparatus 10 will be described with reference to FIG. FIG. 6 is a flowchart illustrating an example of a flow of determination processing executed by the determination device according to the embodiment. For example, the determination apparatus 10 collects each user's action history and attribute information (step S101). Then, the determination apparatus 10 performs grouping of users based on the collected attribute information (Step S102). Subsequently, the determination apparatus 10 calculates a first index value related to the predetermined content for each sample (step S103), and calculates a second index value based on the grouping result of the same user as the user related to each sample. The calculation is performed for each sample (step S104).

そして、判定装置１０は、式（３）、すなわち、コントロールバリエーションと呼ばれる式に基づいて、推定指標値を標本ごとに算出し（ステップＳ１０５）、推定指標値を用いて、標本間の有意差を判定する（ステップＳ１０６）。その後、判定装置１０は、判定結果を出力し（ステップＳ１０７）、処理を終了する。   Then, the determination apparatus 10 calculates an estimated index value for each sample based on Expression (3), that is, an expression called a control variation (Step S105), and uses the estimated index value to calculate a significant difference between the samples. Determination is made (step S106). Thereafter, the determination apparatus 10 outputs the determination result (step S107) and ends the process.

〔４．変形例〕
上記では、判定装置１０による判定処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、判定装置１０が実行する判定処理のバリエーションについて説明する。 [4. (Modification)
In the above, an example of the determination process by the determination apparatus 10 has been described. However, the embodiment is not limited to this. Hereinafter, the variation of the determination process which the determination apparatus 10 performs is demonstrated.

〔４−１．コントロールバリエーションについて〕
ここで、判定装置１０は、所定のコンテンツに関する第１の指標値のみならず、利用者の属性に基づく第２の指標値を用いて、所定のコンテンツに関する指標値の有意差を判定するのであれば、式（３）として示した式以外の式を用いてもよい。また、判定装置１０は、第１の指標値および第２の指標値から、θの値やＥＸの値を任意の手法により求めてもよい。 [4-1. Control variation)
Here, the determination apparatus 10 determines not only the first index value related to the predetermined content but also the second index value based on the user attribute to determine a significant difference between the index values related to the predetermined content. For example, an expression other than the expression shown as expression (3) may be used. Further, the determination device 10 may obtain the value of θ and the value of EX from the first index value and the second index value by any method.

〔４−２．第２の指標値について〕
ここで、式（３）として示したコントロールバリエーションの式においては、Ｘに任意の情報を適用可能である。そこで、判定装置１０は、第１の指標値が示す行動に関連するウェブページとはクロスドメインの関係を有するウェブページ等、所定のウェブページとは異なるウェブページに関する利用者の行動を示す値を第２の指標値としてもよい。 [4-2. About the second index value]
Here, in the control variation formula shown as Formula (3), arbitrary information can be applied to X. Therefore, the determination apparatus 10 sets a value indicating the user's action regarding a web page different from the predetermined web page, such as a web page having a cross-domain relationship with the web page related to the action indicated by the first index value. It is good also as a 2nd index value.

例えば、判定装置１０は、所定のコンテンツに関する利用者の行動の標本間の有意差を判定する際に、所定のコンテンツに関する利用者の行動を示す値を第１の指標値とする。また、判定装置１０は、所定のコンテンツとクロスドメインの関係を有する第２コンテンツの閲覧中に利用者が行った行動を示す値を第２の指標値とする。そして、判定装置１０は、標本ごとに推定指標値を算出し、算出した推定指標値に基づき、標本間の有意差を判定してもよい。   For example, when the determination apparatus 10 determines a significant difference between samples of user behavior related to predetermined content, the value indicating the user behavior related to the predetermined content is used as the first index value. Further, the determination apparatus 10 sets a value indicating the action performed by the user while browsing the second content having a cross-domain relationship with the predetermined content as the second index value. Then, the determination apparatus 10 may calculate an estimated index value for each sample and determine a significant difference between the samples based on the calculated estimated index value.

なお、判定装置１０は、第２コンテンツの閲覧中に利用者が行った行動と、その利用者の属性とに応じた値を第２の指標値としてもよい。例えば、判定装置１０は、第２コンテンツの閲覧中に利用者が行った行動を示す値と、利用者の属性情報を示す値とを並べた値を第２の指標値としてもよい。   Note that the determination device 10 may use a value corresponding to the action performed by the user while browsing the second content and the attribute of the user as the second index value. For example, the determination apparatus 10 may use a value obtained by arranging a value indicating the action performed by the user during browsing of the second content and a value indicating the attribute information of the user as the second index value.

また、他の例では、判定装置１０は、行動履歴を収集した全ての利用者をクラスタリングの対象として、予めクラスタリングを行っておく。また、判定装置１０は、所定のコンテンツに関する行動履歴から第１の標本と第２の標本とを選択する。また、判定装置１０は、各標本について、所定のコンテンツの閲覧中に利用者が行った行動を示す第１の指標値と、その利用者が第２コンテンツを閲覧中に行った行動およびその利用者がクラスタリングされたグループの組み合わせを示す第２の指標値とを取得する。そして、判定装置１０は、第１の指標値と第２の指標値とから、推定指標値を各標本ごとに算出し、推定指標値に基づいて、各標本の有意差を判定すればよい。なお、判定装置１０は、行動履歴を収集した全ての利用者をクラスタリングの対象とする必要はなく、例えば、第１の標本にユーザＩＤが含まれる利用者のみをクラスタリングの対象としてもよい。   In another example, the determination apparatus 10 performs clustering in advance with all users who have collected action histories as clustering targets. Further, the determination device 10 selects the first sample and the second sample from the action history related to the predetermined content. In addition, the determination apparatus 10 includes, for each sample, a first index value indicating an action performed by the user while browsing the predetermined content, an action performed by the user while browsing the second content, and use thereof. And a second index value indicating a combination of groups clustered by the person. Then, the determination device 10 may calculate an estimated index value for each sample from the first index value and the second index value, and determine a significant difference between the samples based on the estimated index value. Note that the determination apparatus 10 does not need to target all users who have collected action histories as a clustering target. For example, only users whose user ID is included in the first sample may be targeted for clustering.

〔４−３．判定対象や判定内容について〕
ここで、判定装置１０は、所定のコンテンツに関する利用者の行動を示す第１の指標値を用いて、推定指標値を算出し、推定指標値を用いて、標本の有意差を判定した。すなわち、判定装置１０は、所定のコンテンツに関する利用者の行動を示す情報の有意差を判定した。ここで、判定装置１０は、所定のコンテンツに関する利用者の行動を示すのであれば、任意の行動を示す情報を第１の指標値とし、その情報の有意差を判定してもよい。例えば、判定装置１０は、ＡＢテストの結果、商品や任意の投稿に対する評価、音楽や映画等の各種コンテンツに対する評価等、所定のコンテンツに対して利用者が行った評価の内容を第１の指標値としてもよく、有意差の判定対象としてもよい。 [4-3. (About judgment target and judgment contents)
Here, the determination apparatus 10 calculates an estimated index value using the first index value indicating the user's behavior regarding the predetermined content, and determines a significant difference between the samples using the estimated index value. That is, the determination device 10 determines a significant difference in information indicating the user's behavior regarding the predetermined content. Here, as long as the determination apparatus 10 indicates a user's action regarding a predetermined content, information indicating an arbitrary action may be used as the first index value, and a significant difference between the information may be determined. For example, the determination apparatus 10 determines the content of evaluation performed by the user for a predetermined content, such as evaluation for a product or an arbitrary post, evaluation for various contents such as music and movies, as a result of the AB test, as a first index. It is good also as a value and it is good also as a judgment object of a significant difference.

また、判定装置１０は、上述した推定指標値を用いて、Ｚ検定以外にも、ｔ検定等、任意の統計学的な検定手法を用いて、各標本が有する有意差の判定を行ってよい。   Moreover, the determination apparatus 10 may determine the significant difference of each sample using an arbitrary statistical test method such as a t test in addition to the Z test using the estimated index value described above. .

〔４−４．装置構成〕
判定装置１０は、端末装置１００や管理者端末２００と情報のやり取りを行うフロントエンドサーバと、コンテンツサーバ５０と情報をやり取りし、上述した判定処理を実行するバックエンドサーバとにより実現されてもよい。このような場合、フロントエンドサーバには、図２に示す出力部４５が配置され、バックエンドサーバには、収集部４１、選択部４２、算出部４３、判定部４４、行動履歴データベース３１、およびユーザデータベース３２が配置されることとなる。また、記憶部３０に格納された各データベース３１、３２や分類モデルデータ３３は、判定装置１０の内部ではなく、例えば、外部のストレージサーバ等に格納されていてもよい。 [4-4. Device configuration〕
The determination device 10 may be realized by a front-end server that exchanges information with the terminal device 100 and the administrator terminal 200, and a back-end server that exchanges information with the content server 50 and executes the above-described determination processing. . In such a case, the output unit 45 shown in FIG. 2 is arranged in the front-end server, and the collection unit 41, the selection unit 42, the calculation unit 43, the determination unit 44, the action history database 31, and the back-end server, The user database 32 will be arranged. Further, the databases 31 and 32 and the classification model data 33 stored in the storage unit 30 may be stored in, for example, an external storage server or the like instead of inside the determination apparatus 10.

〔４−５．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。 [4-5. Others]
In addition, among the processes described in the above embodiment, all or part of the processes described as being automatically performed can be performed manually, or the processes described as being performed manually can be performed. All or a part can be automatically performed by a known method. In addition, the processing procedures, specific names, and information including various data and parameters shown in the document and drawings can be arbitrarily changed unless otherwise specified. For example, the various types of information illustrated in each drawing is not limited to the illustrated information.

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。   Further, each component of each illustrated apparatus is functionally conceptual, and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured.

また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。   In addition, the above-described embodiments can be appropriately combined within a range in which processing contents are not contradictory.

〔５．プログラム〕
また、上述してきた実施形態に係る判定装置１０は、例えば図７に示すような構成のコンピュータ１０００によって実現される。図７は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。 [5. program〕
Further, the determination apparatus 10 according to the embodiment described above is realized by a computer 1000 having a configuration as shown in FIG. 7, for example. FIG. 7 is a diagram illustrating an example of a hardware configuration. The computer 1000 is connected to an output device 1010 and an input device 1020, and an arithmetic device 1030, a primary storage device 1040, a secondary storage device 1050, an output IF (Interface) 1060, an input IF 1070, and a network IF 1080 are connected via a bus 1090. Have

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ（Read Only Memory）、ＨＤＤ、フラッシュメモリ等により実現される。   The arithmetic device 1030 operates based on a program stored in the primary storage device 1040 and the secondary storage device 1050, a program read from the input device 1020, and the like, and executes various processes. The primary storage device 1040 is a memory device such as a RAM that temporarily stores data used by the arithmetic device 1030 for various arithmetic operations. The secondary storage device 1050 is a storage device in which data used for various calculations by the calculation device 1030 and various databases are registered, and is realized by a ROM (Read Only Memory), an HDD, a flash memory, or the like.

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。   The output IF 1060 is an interface for transmitting information to be output to an output device 1010 that outputs various types of information such as a monitor and a printer. For example, USB (Universal Serial Bus), DVI (Digital Visual Interface), This is realized by a standard connector such as HDMI (registered trademark) (High Definition Multimedia Interface). The input IF 1070 is an interface for receiving information from various input devices 1020 such as a mouse, a keyboard, and a scanner, and is realized by, for example, a USB.

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。   The input device 1020 includes, for example, an optical recording medium such as a CD (Compact Disc), a DVD (Digital Versatile Disc), and a PD (Phase change rewritable disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), and a tape. It may be a device that reads information from a medium, a magnetic recording medium, a semiconductor memory, or the like. The input device 1020 may be an external storage medium such as a USB memory.

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。   The network IF 1080 receives data from other devices via the network N and sends the data to the arithmetic device 1030, and transmits data generated by the arithmetic device 1030 to other devices via the network N.

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。   The arithmetic device 1030 controls the output device 1010 and the input device 1020 via the output IF 1060 and the input IF 1070. For example, the arithmetic device 1030 loads a program from the input device 1020 or the secondary storage device 1050 onto the primary storage device 1040, and executes the loaded program.

例えば、コンピュータ１０００が判定装置１０として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。   For example, when the computer 1000 functions as the determination device 10, the arithmetic device 1030 of the computer 1000 implements the function of the control unit 40 by executing a program loaded on the primary storage device 1040.

〔６．効果〕
上述したように、判定装置１０は、所定のコンテンツに関する利用者Ｕ０１、Ｕ０２の行動を示す第１の指標値と、利用者Ｕ０１、Ｕ０２の属性に基づく第２の指標値とに基づいて、所定のコンテンツに関して推定される利用者の行動を示す推定指標値を、所定のコンテンツに関する標本ごとに算出する。そして、判定装置１０は、標本ごとに算出された推定指標値に基づいて、各標本間の有意差を判定する。この結果、判定装置１０は、有意差の判定に用いる情報の相関性を悪化させることなく、カバレッジを向上させることができるので、推定指標値の分散を低下させ、有意差の検出精度を向上させることができる。 [6. effect〕
As described above, the determination apparatus 10 determines the predetermined index based on the first index value indicating the actions of the users U01 and U02 regarding the predetermined content and the second index value based on the attributes of the users U01 and U02. An estimated index value indicating the user's behavior estimated for the content is calculated for each sample related to the predetermined content. And the determination apparatus 10 determines the significant difference between each sample based on the estimated index value calculated for every sample. As a result, the determination apparatus 10 can improve the coverage without deteriorating the correlation of information used for determining the significant difference, thereby reducing the variance of the estimated index value and improving the detection accuracy of the significant difference. be able to.

また、判定装置１０は、利用者Ｕ０１、Ｕ０２の属性に応じた分類を行うモデルを用いて、利用者Ｕ０１、Ｕ０２を分類し、分類結果に応じた値を第２の指標値とする。このため、判定装置１０は、容易な処理で推定指標値の分散を低下させ、有意差の検出精度を向上させることができる。   In addition, the determination apparatus 10 classifies the users U01 and U02 using a model that performs classification according to the attributes of the users U01 and U02, and sets a value according to the classification result as the second index value. For this reason, the determination apparatus 10 can reduce the dispersion | distribution of an estimated parameter | index value by an easy process, and can improve the detection accuracy of a significant difference.

また、判定装置１０は、第１の指標値として、所定のコンテンツの閲覧中に行った選択操作の内容を示す値の平均値から、推定指標値を算出する。このため、判定装置１０は、推定指標値を適切に算出することができる。   Moreover, the determination apparatus 10 calculates an estimated index value from the average value of values indicating the details of the selection operation performed while browsing predetermined content as the first index value. For this reason, the determination apparatus 10 can appropriately calculate the estimated index value.

また、判定装置１０は、第１の指標値の平均値に対し、所定の係数と第２の指標値の平均値との積を減算し、所定の係数と第２の指標値の期待値との積を加算した値を推定指標値とする。このため、判定装置１０は、推定指標値の分散を通常の平均値よりも低下させることができるので、有意差の検出精度を向上させることができる。   Further, the determination device 10 subtracts the product of the predetermined coefficient and the average value of the second index value from the average value of the first index value, and calculates the predetermined coefficient and the expected value of the second index value. A value obtained by adding the products of is used as an estimated index value. For this reason, since the determination apparatus 10 can reduce the dispersion | distribution of an estimated parameter | index value from a normal average value, it can improve the detection precision of a significant difference.

また、判定装置１０は、所定のコンテンツについて複数の利用者が行った行動を示す第１の指標値と、第１の指標値が示す行動を行った複数の利用者のうち、所定の数の利用者を含む複数の利用者の属性に基づく第２の指標値とを用いて、推定指標値を算出する。このため、判定装置１０は、適切に有意差を判定することができる。   In addition, the determination apparatus 10 includes a first index value indicating an action performed by a plurality of users on a predetermined content, and a predetermined number of users among the plurality of users who performed the action indicated by the first index value. The estimated index value is calculated using the second index value based on the attributes of a plurality of users including the user. For this reason, the determination apparatus 10 can determine a significant difference appropriately.

また、判定装置１０は、判定結果を出力する。このため、判定装置１０は、管理者等に対して判定結果を提供することができる。   Moreover, the determination apparatus 10 outputs a determination result. For this reason, the determination apparatus 10 can provide a determination result to an administrator or the like.

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。   As described above, some of the embodiments of the present application have been described in detail with reference to the drawings. However, these are merely examples, and various modifications, including the aspects described in the disclosure section of the invention, based on the knowledge of those skilled in the art, It is possible to implement the present invention in other forms with improvements.

また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、算出部は、算出手段や算出回路に読み替えることができる。   Moreover, the above-mentioned “section (module, unit)” can be read as “means”, “circuit”, and the like. For example, the calculation unit can be read as calculation means or a calculation circuit.

１０ 判定装置
２０ 通信部
３０ 記憶部
３１ 行動履歴データベース
３２ ユーザデータベース
３３ 分類モデルデータ３３
４０ 制御部
４１ 収集部
４２ 選択部
４３ 算出部
４４ 判定部
４５ 出力部
４６ 学習部
５０ コンテンツサーバ
１００〜１０２ 端末装置
２００ 管理者端末 DESCRIPTION OF SYMBOLS 10 Determination apparatus 20 Communication part 30 Storage part 31 Action history database 32 User database 33 Classification model data 33
40 control unit 41 collection unit 42 selection unit 43 calculation unit 44 determination unit 45 output unit 46 learning unit 50 content server 100 to 102 terminal device 200 administrator terminal

Claims (8)

所定のコンテンツに関する利用者の行動を示す第１の指標値と、当該利用者の属性に基づく第２の指標値とに基づいて、前記所定のコンテンツに関して推定される利用者の行動を示す推定指標値を、前記所定のコンテンツに関する標本ごとに算出する算出部と、
前記標本ごとに算出された前記推定指標値に基づいて、各標本間の有意差を判定する判定部と
を有することを特徴とする判定装置。 An estimated index indicating the user's behavior estimated for the predetermined content based on the first index value indicating the user's behavior regarding the predetermined content and the second index value based on the attribute of the user A calculation unit that calculates a value for each sample related to the predetermined content;
And a determination unit that determines a significant difference between the samples based on the estimated index value calculated for each sample. 前記算出部は、前記利用者の属性に応じた分類を行うモデルを用いて、前記利用者を分類し、当該分類結果に応じた値を前記第２の指標値とする
ことを特徴とする請求項１に記載の判定装置。 The calculation unit classifies the user using a model that performs classification according to the attribute of the user, and sets a value according to the classification result as the second index value. Item 2. The determination device according to Item 1. 前記算出部は、前記第１の指標値として、前記所定のコンテンツの閲覧中に行った選択操作の内容を示す値の平均値から、前記推定指標値を算出する
ことを特徴とする請求項１または２に記載の判定装置。 The said calculating part calculates the said estimated index value from the average value of the value which shows the content of the selection operation performed during browsing of the said predetermined content as said 1st index value. Or the determination apparatus of 2. 前記算出部は、前記第１の指標値の平均値から、所定の係数と前記第２の指標値の平均値との積を減算し、前記所定の係数と前記第２の指標値の期待値との積を加算した値を前記推定指標値とする
ことを特徴とする請求項１〜３のうちいずれか１つに記載の判定装置。 The calculation unit subtracts a product of a predetermined coefficient and an average value of the second index value from an average value of the first index value to obtain an expected value of the predetermined coefficient and the second index value. The determination apparatus according to any one of claims 1 to 3, wherein a value obtained by adding a product of and the estimated index value is the estimated index value. 前記算出部は、前記所定のコンテンツについて複数の利用者が行った行動を示す第１の指標値と、当該第１の指標値が示す行動を行った複数の利用者のうち、所定の数の利用者を含む複数の利用者の属性に基づく第２の指標値とを用いて、前記推定指標値を算出する
ことを特徴とする請求項１〜４のうちいずれか１つに記載の判定装置。 The calculation unit includes a first index value indicating an action performed by a plurality of users regarding the predetermined content, and a predetermined number of users among the plurality of users who performed the action indicated by the first index value. The determination apparatus according to claim 1, wherein the estimated index value is calculated using a second index value based on attributes of a plurality of users including users. . 前記判定部による判定結果を出力する出力部
を有することを特徴とする請求項１〜５のうちいずれか１つに記載の判定装置。 The determination apparatus according to claim 1, further comprising: an output unit that outputs a determination result by the determination unit. 判定装置が実行する判定方法であって、
所定のコンテンツに関する利用者の行動を示す第１の指標値と、当該利用者の属性に基づく第２の指標値とに基づいて、前記所定のコンテンツに関して推定される利用者の行動を示す推定指標値を、前記所定のコンテンツに関する標本ごとに算出する算出工程と、
前記標本ごとに算出された前記推定指標値に基づいて、各標本間の有意差を判定する判定工程と
を含むことを特徴とする判定方法。 A determination method executed by a determination device,
An estimated index indicating the user's behavior estimated for the predetermined content based on the first index value indicating the user's behavior regarding the predetermined content and the second index value based on the attribute of the user A calculation step of calculating a value for each sample related to the predetermined content;
And a determination step of determining a significant difference between the samples based on the estimated index value calculated for each of the samples. 所定のコンテンツに関する利用者の行動を示す第１の指標値と、当該利用者の属性に基づく第２の指標値とに基づいて、前記所定のコンテンツに関して推定される利用者の行動を示す推定指標値を、前記所定のコンテンツに関する標本ごとに算出する算出手順と、
前記標本ごとに算出された前記推定指標値に基づいて、各標本間の有意差を判定する判定手順と
をコンピュータに実行させるための判定プログラム。 An estimated index indicating the user's behavior estimated for the predetermined content based on the first index value indicating the user's behavior regarding the predetermined content and the second index value based on the attribute of the user A calculation procedure for calculating a value for each sample related to the predetermined content;
A determination program for causing a computer to execute a determination procedure for determining a significant difference between samples based on the estimated index value calculated for each sample.
JP2016156745A 2016-08-09 2016-08-09 Judgment device, judgment method, and judgment program Active JP6701026B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016156745A JP6701026B2 (en) 2016-08-09 2016-08-09 Judgment device, judgment method, and judgment program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016156745A JP6701026B2 (en) 2016-08-09 2016-08-09 Judgment device, judgment method, and judgment program

Publications (2)

Publication Number Publication Date
JP2018025934A true JP2018025934A (en) 2018-02-15
JP6701026B2 JP6701026B2 (en) 2020-05-27

Family

ID=61193830

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016156745A Active JP6701026B2 (en) 2016-08-09 2016-08-09 Judgment device, judgment method, and judgment program

Country Status (1)

Country Link
JP (1) JP6701026B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010124801A (en) * 2008-11-28 2010-06-10 Institute Of Physical & Chemical Research Maker for predicting effect of interferon therapy and method for screening interferon activity enhancer
JP2015032921A (en) * 2013-07-31 2015-02-16 シャープ株式会社 Information processing device, information processing system, terminal device, information processing method, and information processing program
JP2016095664A (en) * 2014-11-14 2016-05-26 東日本旅客鉄道株式会社 Service effect evaluation device and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010124801A (en) * 2008-11-28 2010-06-10 Institute Of Physical & Chemical Research Maker for predicting effect of interferon therapy and method for screening interferon activity enhancer
JP2015032921A (en) * 2013-07-31 2015-02-16 シャープ株式会社 Information processing device, information processing system, terminal device, information processing method, and information processing program
JP2016095664A (en) * 2014-11-14 2016-05-26 東日本旅客鉄道株式会社 Service effect evaluation device and program

Also Published As

Publication number Publication date
JP6701026B2 (en) 2020-05-27

Similar Documents

Publication Publication Date Title
US9256826B2 (en) Predicting reactions to short-text posts
JP6145576B2 (en) Large page recommendation in online social networks
US8374885B2 (en) People engine optimization
US20160050129A1 (en) Performance assessment based on analysis of resources
US9286379B2 (en) Document quality measurement
JP6872851B2 (en) Information selection device, information selection method and information selection program
US20160026643A1 (en) Presenting suggested facets
US8725735B2 (en) Information processing system, information processing method, program, and non-transitory information storage medium
JP2018045553A (en) Selection device, selection method, and selection program
JP2018005662A (en) Information analysis device, information analysis method, and information analysis program
JP2017208025A (en) Device, method, and program for delivering information
JP2019191659A (en) Information processing device, information processing method, and information processing program
JP6479239B1 (en) Information processing apparatus, information processing system, information processing method, and program
CN106575418B (en) Suggested keywords
US20220114624A1 (en) Digital Content Text Processing and Review Techniques
JP2019020930A (en) Learning device, learning method, learning program, learning data, and model
JP6701026B2 (en) Judgment device, judgment method, and judgment program
JP6203339B1 (en) Determination device, determination method, and determination program
JP4962950B2 (en) Recommendation method, recommendation server and program for users on network
JP6601888B1 (en) Information processing apparatus, information processing method, and information processing program
JP6866266B2 (en) Generation device, generation method, and generation program
JP2018045551A (en) Determination device, determination method, and determination program
JP7407779B2 (en) Information processing device, information processing method, and information processing program
JP7418379B2 (en) Information processing device, information processing method, and information processing program
US20180025378A1 (en) Fatigue Control in Dissemination of Digital Marketing Content

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191029

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20191101

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20191108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200501

R150 Certificate of patent or registration of utility model

Ref document number: 6701026

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350