JP2022038372A - Server, information processing method, and program - Google Patents

Server, information processing method, and program Download PDF

Info

Publication number
JP2022038372A
JP2022038372A JP2020142840A JP2020142840A JP2022038372A JP 2022038372 A JP2022038372 A JP 2022038372A JP 2020142840 A JP2020142840 A JP 2020142840A JP 2020142840 A JP2020142840 A JP 2020142840A JP 2022038372 A JP2022038372 A JP 2022038372A
Authority
JP
Japan
Prior art keywords
group
information
test
content
preparation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020142840A
Other languages
Japanese (ja)
Other versions
JP7046131B2 (en
Inventor
和明 萬代
Kazuaki Bandai
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Group Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Group Inc filed Critical Rakuten Group Inc
Priority to JP2020142840A priority Critical patent/JP7046131B2/en
Publication of JP2022038372A publication Critical patent/JP2022038372A/en
Application granted granted Critical
Publication of JP7046131B2 publication Critical patent/JP7046131B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

To provide a server capable of properly distributing first content and second content to users and performing an A/B test, an information processing method, and a program.SOLUTION: In an information processing system, a server includes: a common content provision unit which provides each user of a plurality of groups with common content during a prescribed preparation period; a preparation information acquisition unit which acquires user access information of each group of the plurality of groups as preparation information and stores the preparation information in a storage unit 160; a content provision unit which provides first content when an access is made from a user of a first group selected from among the plurality of groups on the basis of preparation information of each group, and provides second content when an access is made from a user of the second group selected from among the plurality of groups on the basis of the preparation information of each group; and a test information acquisition unit which acquires test information of users of the first and second groups and stores the acquired test information in the storage unit.SELECTED DRAWING: Figure 4

Description

本発明は、サーバ、情報処理方法およびプログラムに関する。 The present invention relates to servers, information processing methods and programs.

従来、ウェブサイトにおいて、コンテンツの変更を行う場合、Ａ／Ｂテストを行い、コンテンツの変更の可否を判断している。Ａ／Ｂテストは、現行コンテンツと新コンテンツをユーザに公開し、現行コンテンツに対するユーザの反応と新コンテンツに対するユーザの反応を比較し、現行コンテンツと新コンテンツの優劣を評価するものである。このとき、従来はＡ／Ｂテストにおいて、現行コンテンツと新コンテンツはランダムにユーザに配分されていた。 Conventionally, when changing content on a website, an A / B test is performed to determine whether or not the content can be changed. The A / B test exposes the current content and the new content to the user, compares the user's reaction to the current content with the user's reaction to the new content, and evaluates the superiority or inferiority of the current content and the new content. At this time, conventionally, in the A / B test, the current content and the new content are randomly distributed to the users.

特表２０１６－５２２４７５号公報Special Table 2016-522475 Gazette

上記先行技術では、現行コンテンツと新コンテンツをランダムにユーザに配分するため、必ずしもＡ／Ｂテストを適切に行うことができない。例えば、現行コンテンツが提供されるユーザと、新コンテンツが提供されるユーザとに、有意な行動差が存在する場合には、現行コンテンツに対するユーザの反応と、新コンテンツに対するユーザの反応を比較しても、現行コンテンツと新コンテンツの優劣を適切に判断することはできない。なお、現行コンテンツと新コンテンツの優劣を評価する場合のみならず、例えば２つの新コンテンツの優劣を評価する場合など、広く第１コンテンツと第２コンテンツの優劣を評価する場合に同様の問題を有する。 In the above prior art, the current content and the new content are randomly distributed to the users, so that the A / B test cannot always be performed appropriately. For example, if there is a significant behavioral difference between the user who is provided with the current content and the user who is provided with the new content, compare the user's reaction to the current content with the user's reaction to the new content. However, it is not possible to properly judge the superiority or inferiority of the current content and the new content. It should be noted that there is a similar problem not only when evaluating the superiority or inferiority of the current content and the new content, but also when evaluating the superiority or inferiority of the first content and the second content widely, for example, when evaluating the superiority or inferiority of the two new contents. ..

本発明では、第１コンテンツと第２コンテンツを適切にユーザに配分し、Ａ／Ｂテストを行うことを目的とする。 An object of the present invention is to appropriately distribute the first content and the second content to users and perform an A / B test.

本発明の一態様に係るサーバは、所定の準備期間において、複数グループの各ユーザに共通コンテンツを提供する共通コンテンツ提供手段と、前記所定の準備期間において、前記複数グループの各グループのユーザのアクセス情報を準備情報として取得し、該準備情報を記憶手段に記憶する準備情報取得手段と、所定のテスト期間において、前記各グループの準備情報に基づいて前記複数グループの中から選択される第１グループのユーザからアクセスがある場合に第１コンテンツを提供し、前記各グループの準備情報に基づいて前記複数グループの中から選択される第２グループのユーザからアクセスがある場合に第２コンテンツを提供するコンテンツ提供手段と、前記所定のテスト期間において、前記第１及び第２グループのユーザのアクセス情報をテスト情報として取得し、それらテスト情報を記憶手段に記憶するテスト情報取得手段と、を含む。 The server according to one aspect of the present invention is a common content providing means for providing common content to each user of a plurality of groups during a predetermined preparation period, and access by users of each group of the plurality of groups during the predetermined preparation period. A preparation information acquisition means that acquires information as preparation information and stores the preparation information in a storage means, and a first group selected from the plurality of groups based on the preparation information of each group in a predetermined test period. The first content is provided when there is access from the user of the above, and the second content is provided when there is access from the user of the second group selected from the plurality of groups based on the preparation information of each group. It includes a content providing means and a test information acquisition means for acquiring access information of the users of the first and second groups as test information and storing the test information in the storage means in the predetermined test period.

本発明の一態様に係る情報処理方法は、サーバが実行する情報処理方法であって、共通コンテンツ提供手段が、所定の準備期間において、複数グループの各ユーザに共通コンテンツを提供する共通コンテンツ提供ステップと、準備情報取得手段が、前記所定の準備期間において、前記複数グループの各グループのユーザのアクセス情報を準備情報として取得し、該準備情報を記憶手段に記憶する準備情報取得ステップと、コンテンツ提供手段が、所定のテスト期間において、前記各グループの準備情報に基づいて前記複数グループの中から選択される第１グループのユーザからアクセスがある場合に第１コンテンツを提供し、前記各グループの準備情報に基づいて前記複数グループの中から選択される第２グループのユーザからアクセスがある場合に第２コンテンツを提供するコンテンツ提供ステップと、テスト情報取得手段が、前記所定のテスト期間において、前記第１及び第２グループのユーザのアクセス情報をテスト情報として取得し、それらテスト情報を記憶手段に記憶するテスト情報取得ステップと、を含む。 The information processing method according to one aspect of the present invention is an information processing method executed by a server, and is a common content providing step in which a common content providing means provides common contents to each user of a plurality of groups in a predetermined preparation period. The preparation information acquisition means acquires the access information of the users of each group of the plurality of groups as the preparation information in the predetermined preparation period, and stores the preparation information in the storage means, the preparation information acquisition step, and the content provision. The means provides the first content when there is access from a user of the first group selected from the plurality of groups based on the preparation information of each group in a predetermined test period, and prepares the group. The content providing step of providing the second content when there is access from the user of the second group selected from the plurality of groups based on the information, and the test information acquisition means are the first in the predetermined test period. It includes a test information acquisition step of acquiring access information of users of the first and second groups as test information and storing the test information in a storage means.

本発明の一態様に係るプログラムは、所定の準備期間において、複数グループの各ユーザに共通コンテンツを提供する共通コンテンツ提供手段、前記所定の準備期間において、前記複数グループの各グループのユーザのアクセス情報を準備情報として取得し、該準備情報を記憶手段に記憶する準備情報取得手段、所定のテスト期間において、前記各グループの準備情報に基づいて前記複数グループの中から選択される第１グループのユーザからアクセスがある場合に第１コンテンツを提供し、前記各グループの準備情報に基づいて前記複数グループの中から選択される第２グループのユーザからアクセスがある場合に第２コンテンツを提供するコンテンツ提供手段、前記所定のテスト期間において、前記第１及び第２グループのユーザのアクセス情報をテスト情報として取得し、それらテスト情報を記憶手段に記憶するテスト情報取得手段、としてサーバのコンピュータを機能させる。 The program according to one aspect of the present invention is a common content providing means for providing common content to each user of a plurality of groups in a predetermined preparation period, and access information of users of each group of the plurality of groups in the predetermined preparation period. As preparation information, a preparation information acquisition means for storing the preparation information in a storage means, a user of the first group selected from the plurality of groups based on the preparation information of each group in a predetermined test period. Content provision that provides the first content when there is access from, and provides the second content when there is access from a user in the second group selected from the plurality of groups based on the preparation information of each group. Means, during the predetermined test period, the server computer functions as a test information acquisition means for acquiring access information of the users of the first and second groups as test information and storing the test information in the storage means.

本発明によれば、第１コンテンツと第２コンテンツを適切にユーザに配分し、Ａ／Ｂテストを行うことができる。 According to the present invention, the first content and the second content can be appropriately distributed to users and an A / B test can be performed.

情報処理システムの全体構成を示す図である。It is a figure which shows the whole structure of an information processing system. 準備段階の概念図である。It is a conceptual diagram of the preparation stage. テスト段階の概念図である。It is a conceptual diagram of the test stage. サーバの構成を示す図である。It is a figure which shows the configuration of a server. 準備期間の記憶部のデータ構造の一例を示す図である。It is a figure which shows an example of the data structure of the storage part of a preparation period. 準備期間の統計を示す図である。It is a figure which shows the statistics of the preparation period. 表示部の表示画面の一例を示す図である。It is a figure which shows an example of the display screen of a display part. テスト期間の統計を示す図である。It is a figure which shows the statistics of a test period. 準備期間の各ユーザ端末に対するサーバの情報処理の一例を示すフロー図である。It is a flow chart which shows an example of the information processing of a server for each user terminal of a preparation period. 準備期間終了後のサーバの情報処理の一例を示すフロー図である。It is a flow diagram which shows an example of the information processing of a server after the end of a preparation period. テスト期間の各ユーザ端末に対するサーバの情報処理の一例を示すフロー図である。It is a flow chart which shows an example of the information processing of a server for each user terminal of a test period. テスト期間終了後のサーバの情報処理の一例を示すフロー図である。It is a flow chart which shows an example of the information processing of a server after the end of a test period. 変形例における準備期間の記憶部のデータ構造の一例を示す図である。It is a figure which shows an example of the data structure of the storage part of the preparation period in a modification. 変形例における準備期間の統計を示す図である。It is a figure which shows the statistics of the preparation period in a modification. 変形例におけるテスト期間の統計を示す図である。It is a figure which shows the statistics of the test period in a modification. 変形例における準備期間の統計を示す図である。It is a figure which shows the statistics of the preparation period in a modification. 変形例におけるテスト期間の統計を示す図である。It is a figure which shows the statistics of the test period in a modification. 変形例におけるテスト期間終了後のサーバの情報処理の一例を示すフロー図である。It is a flow diagram which shows an example of the information processing of a server after the end of a test period in a modification.

以下、本発明の実施形態を説明する。本実施形態では、Ａ／Ｂテストの例として、施設予約を行うサーバにおいて、施設予約のウェブサイトのコンテンツを現行バージョンにするか、それとも、新バージョンにするかを決定する情報処理システムを説明する。 Hereinafter, embodiments of the present invention will be described. In the present embodiment, as an example of the A / B test, an information processing system for determining whether the content of the facility reservation website is the current version or the new version will be described in the facility reservation server. ..

［情報処理システム１の概要］
以下、本実施形態の情報処理システム１の概要を説明する。図１は、情報処理システム１の全体構成を示す図である。情報処理システム１は、サーバ１００と複数のユーザ端末２００を備える。各装置は、ネットワークＮを介して、有線又は無線により通信可能に接続される。本実施形態の情報処理は、準備段階とテスト段階からなる。 [Overview of Information Processing System 1]
Hereinafter, the outline of the information processing system 1 of the present embodiment will be described. FIG. 1 is a diagram showing an overall configuration of the information processing system 1. The information processing system 1 includes a server 100 and a plurality of user terminals 200. Each device is communicably connected via network N by wire or wirelessly. The information processing of this embodiment includes a preparation stage and a test stage.

（準備段階）
図２は、準備段階の概念図である。図２では、準備段階において、施設予約を行うサーバ１００が、複数のユーザ端末２００に対して、現行バージョンの施設予約のウェブサイトのコンテンツを提供し、ユーザ端末２００から施設予約を受け付ける例を示す。 (Preparation stage)
FIG. 2 is a conceptual diagram of the preparatory stage. FIG. 2 shows an example in which the server 100 that makes a facility reservation provides the contents of the current version of the facility reservation website to a plurality of user terminals 200 and accepts the facility reservation from the user terminal 200 in the preparation stage. ..

以下、準備段階における、準備期間の情報処理を説明する。ユーザが施設予約を行う場合、ユーザ端末２００のウェブブラウザは、サーバ１００にアクセスし、サーバ１００に対して施設予約のウェブサイトのコンテンツの提供要求を行う。サーバ１００は、ユーザ端末２００に対して、ユーザ識別子とグループ識別子を割り当て、ユーザ識別子とグループ識別子を含むクッキー（Ｃｏｏｋｉｅ）をユーザ端末２００に送信し、記憶させる。サーバ１００は、ユーザに割り当てたユーザ識別子とグループ識別子を対応付けて、記憶部１６０に格納する。ユーザ識別子は、ユーザ端末２００を特定する情報である。グループ識別子は、ユーザ端末２００が属するグループを特定する情報である。 Hereinafter, information processing during the preparation period in the preparation stage will be described. When the user makes a facility reservation, the web browser of the user terminal 200 accesses the server 100 and requests the server 100 to provide the contents of the facility reservation website. The server 100 assigns a user identifier and a group identifier to the user terminal 200, and transmits and stores a cookie (Cookie) including the user identifier and the group identifier to the user terminal 200. The server 100 stores the user identifier assigned to the user and the group identifier in the storage unit 160 in association with each other. The user identifier is information that identifies the user terminal 200. The group identifier is information that identifies the group to which the user terminal 200 belongs.

サーバ１００は、ユーザ端末２００に対して、データベース１１０に格納された現行バージョンのコンテンツを提供する。ユーザが施設予約を行う場合、ユーザ端末２００は、サーバ１００に対して、ユーザ識別子を含むクッキーと施設予約に関する情報を送信する。サーバ１００は、ユーザ端末２００から送信される施設予約に関する情報に基づき、施設の予約処理を行う。サーバ１００は、ユーザ識別子に対応付けて、準備情報として施設の予約日時と準備期間の各ユーザ端末２００による施設の予約回数を記憶部１６０に格納する。 The server 100 provides the user terminal 200 with the current version of the content stored in the database 110. When the user makes a facility reservation, the user terminal 200 transmits a cookie including a user identifier and information regarding the facility reservation to the server 100. The server 100 performs facility reservation processing based on the information regarding facility reservation transmitted from the user terminal 200. The server 100 stores in the storage unit 160 the reservation date and time of the facility and the number of reservations of the facility by each user terminal 200 during the preparation period as preparation information in association with the user identifier.

以下、準備段階における、準備期間終了後の情報処理を説明する。サーバ１００は、準備期間において、サーバ１００にアクセスしたユーザ端末２００が属する、複数グループを作成する。サーバ１００は、同一のグループ識別子を付与されたユーザ端末２００が同一のグループとなるように、複数グループを作成する。図２において、同一のグループ識別子を付与されたユーザ端末２００－１～ユーザ端末２００－１００は、グループ「Ｇ００１」に属する。同様に、ユーザ端末２００－１０１～ユーザ端末２００－２００は、グループ「Ｇ００２」に属し、ユーザ端末２００－２０１～ユーザ端末２００－３００は、グループ「Ｇ００３」に属する。 Hereinafter, information processing after the preparation period is completed in the preparation stage will be described. The server 100 creates a plurality of groups to which the user terminal 200 that has accessed the server 100 belongs during the preparation period. The server 100 creates a plurality of groups so that the user terminals 200 to which the same group identifier is assigned are in the same group. In FIG. 2, the user terminals 200-1 to the user terminals 200-100 to which the same group identifier is assigned belong to the group "G001". Similarly, the user terminals 200-101 to the user terminals 200-200 belong to the group "G002", and the user terminals 200-201 to the user terminals 200-300 belong to the group "G003".

サーバ１００は、各グループの準備期間のＣＶＲ（ＣｏｎＶｅｒｓｉｏｎ Ｒａｔｅ）を算出する。ＣＶＲは、（施設の予約回数／ユニークユーザ数）で示される。図２において、グループ「Ｇ００１」は、ユニークユーザ数「１００」（ユーザ端末２００－１～ユーザ端末２００－１００）であり、施設の予約回数「２」であるため、ＣＶＲ「２」である。同様に、グループ「Ｇ００２」は、ＣＶＲ「２」であり、グループ「Ｇ００３」は、ＣＶＲ「１」である。 The server 100 calculates the CVR (ConVersion Rate) of the preparation period of each group. CVR is indicated by (number of facility reservations / number of unique users). In FIG. 2, the group “G001” is a CVR “2” because the number of unique users is “100” (user terminals 200-1 to user terminals 200-100) and the number of reservations for the facility is “2”. Similarly, the group "G002" is a CVR "2" and the group "G003" is a CVR "1".

サーバ１００は、複数グループから、準備期間のＣＶＲが近似する２つのグループを選択し、一方をコントロールグループ、他方をテストグループとして特定する。コントロールグループは、現行バージョンのコンテンツを提供するグループであり、テストグループは、新バージョンのコンテンツを提供するグループである。図２において、サーバ１００は、準備期間のＣＶＲが近似するグループ「Ｇ００１」とグループ「Ｇ００２」を選択し、グループ「Ｇ００１」をコントロールグループ、グループ「Ｇ００２」をテストグループとして特定する。 The server 100 selects two groups having similar CVRs in the preparation period from a plurality of groups, and specifies one as a control group and the other as a test group. A control group is a group that provides a current version of content, and a test group is a group that provides a new version of content. In FIG. 2, the server 100 selects a group “G001” and a group “G002” whose CVRs in the preparation period are close to each other, and specifies the group “G001” as a control group and the group “G002” as a test group.

（テスト段階）
図３は、テスト段階の概念図である。図３では、テスト段階において、施設予約を行うサーバ１００が、複数のユーザ端末２００に対して、現行バージョン又は新バージョンの施設予約のウェブサイトのコンテンツを提供し、ユーザ端末２００から施設予約を受け付ける例を示す。 (Test stage)
FIG. 3 is a conceptual diagram of the test stage. In FIG. 3, in the test stage, the server 100 that makes a facility reservation provides the contents of the current version or the new version of the facility reservation website to the plurality of user terminals 200, and accepts the facility reservation from the user terminal 200. An example is shown.

以下、テスト段階における、テスト期間の情報処理を説明する。ユーザが施設予約を行う場合、ユーザ端末２００のウェブブラウザは、サーバ１００にアクセスし、サーバ１００に対して施設予約のウェブサイトのコンテンツの提供要求を行う。サーバ１００は、ユーザ端末２００のウェブブラウザから、クッキーを取得し、ユーザ識別子とユーザグループ識別子を特定する。サーバ１００は、記憶部１６０を参照し、ユーザ端末２００がテストグループに属するか否かを判断する。すなわち、クッキーから特定されるユーザグループ識別子が、記憶部１６０に記憶されたテストグループに対応するユーザグループ識別子と一致するか否かにより、ユーザ端末２００がテストグループに属するか否かを判断する。サーバ１００は、ユーザ端末２００がテストグループに属しないと判断した場合には、データベース１１０に格納された現行バージョンのコンテンツを提供する。サーバ１００は、ユーザ端末２００がテストグループに属すると判定した場合には、データベース１１０に格納された新バージョンのコンテンツを提供する。図３において、サーバ１００は、コントロールグループ（グループ「Ｇ００１」）に現行バージョンのコンテンツを提供し、テストグループ（グループ「Ｇ００２」）に新バージョンのコンテンツを提供する。 The information processing during the test period in the test stage will be described below. When the user makes a facility reservation, the web browser of the user terminal 200 accesses the server 100 and requests the server 100 to provide the contents of the facility reservation website. The server 100 acquires a cookie from the web browser of the user terminal 200 and identifies the user identifier and the user group identifier. The server 100 refers to the storage unit 160 and determines whether or not the user terminal 200 belongs to the test group. That is, it is determined whether or not the user terminal 200 belongs to the test group depending on whether or not the user group identifier specified from the cookie matches the user group identifier corresponding to the test group stored in the storage unit 160. If the server 100 determines that the user terminal 200 does not belong to the test group, the server 100 provides the current version of the content stored in the database 110. When the server 100 determines that the user terminal 200 belongs to the test group, the server 100 provides a new version of the content stored in the database 110. In FIG. 3, the server 100 provides the control group (group "G001") with the current version of the content and the test group (group "G002") with the new version of the content.

なお、クッキーにユーザグループ識別子を含めず、ユーザ識別子のみを含める場合、サーバ１００は、記憶部１６０を参照して、クッキーに含まれるユーザ識別子に関連づけられたユーザグループがテストグループであるか否か判断してよい。 When the cookie does not include the user group identifier and includes only the user identifier, the server 100 refers to the storage unit 160 and determines whether or not the user group associated with the user identifier included in the cookie is a test group. You may judge.

ユーザが施設予約を行う場合、ユーザ端末２００は、サーバ１００に対して、ユーザ識別子を含むクッキーと施設予約に関する情報を送信する。サーバ１００は、ユーザ端末２００から送信される施設予約に関する情報に基づき、施設の予約処理を行う。サーバ１００は、ユーザ識別子に対応付けて、テスト情報として施設の予約日時とテスト期間の各ユーザ端末２００による施設の予約回数を記憶部１６０に格納する。 When the user makes a facility reservation, the user terminal 200 transmits a cookie including a user identifier and information regarding the facility reservation to the server 100. The server 100 performs facility reservation processing based on the information regarding facility reservation transmitted from the user terminal 200. The server 100 stores in the storage unit 160 the reservation date and time of the facility and the number of reservations of the facility by each user terminal 200 during the test period as test information in association with the user identifier.

以下、テスト段階における、テスト期間終了後の情報処理を説明する。サーバ１００は、コントロールグループとテストグループのテスト期間のＣＶＲを算出する。図３において、コントロールグループは、ユニークユーザ数「１００」（ユーザ端末２００－１～ユーザ端末２００－１００）であり、施設の予約回数「２」であるため、ＣＶＲ「２」である。同様に、テストグループは、ＣＶＲ「４」である。 Hereinafter, information processing after the end of the test period in the test stage will be described. The server 100 calculates the CVR of the test period of the control group and the test group. In FIG. 3, the control group is CVR “2” because the number of unique users is “100” (user terminals 200-1 to user terminals 200-100) and the number of reservations for the facility is “2”. Similarly, the test group is CVR "4".

サーバ１００は、コントロールグループとテストグループのテスト期間のＣＶＲを比較する。サーバ１００は、コントロールグループのＣＶＲが、テストグループのＣＶＲより高い場合、現行バージョンのコンテンツが優れていると評価し、テストグループのＣＶＲが、コントロールグループのＣＶＲより高い場合、新バージョンのコンテンツが優れていると評価する。図３において、サーバ１００は、テストグループのＣＶＲ「４」が、コントロールグループのＣＶＲ「２」より高いため、新バージョンのコンテンツが優れていると評価する。 The server 100 compares the CVRs of the test period of the control group and the test group. The server 100 evaluates that the content of the current version is superior when the CVR of the control group is higher than the CVR of the test group, and the content of the new version is superior when the CVR of the test group is higher than the CVR of the control group. Evaluate that. In FIG. 3, the server 100 evaluates that the new version of the content is excellent because the CVR “4” of the test group is higher than the CVR “2” of the control group.

［サーバ１００の構成］
以下、本実施形態のサーバ１００の構成を説明する。図４は、サーバ１００の構成を示す図である。サーバ１００は、所定のウェブサイトにおいて、ユーザ端末２００にコンテンツを配信する情報処理装置（コンピュータ）である。ウェブサイトは、例えば、施設予約サイト、ショッピングサイト、配信サイト、検索エンジン等である。なお、サーバ１００は、１台のサーバ装置から構成されてもよいし、複数台のサーバ装置から構成されてもよい。 [Configuration of server 100]
Hereinafter, the configuration of the server 100 of this embodiment will be described. FIG. 4 is a diagram showing the configuration of the server 100. The server 100 is an information processing device (computer) that distributes content to a user terminal 200 on a predetermined website. The website is, for example, a facility reservation site, a shopping site, a distribution site, a search engine, or the like. The server 100 may be composed of one server device or a plurality of server devices.

サーバ１００は、データベース１１０、通信部１２０、入力部１３０、表示部１４０、制御部１５０と記憶部１６０を備える。データベース１１０、通信部１２０、入力部１３０、表示部１４０、制御部１５０と記憶部１６０は、バスを介して接続される。 The server 100 includes a database 110, a communication unit 120, an input unit 130, a display unit 140, a control unit 150, and a storage unit 160. The database 110, the communication unit 120, the input unit 130, the display unit 140, the control unit 150, and the storage unit 160 are connected via a bus.

データベース１１０は、共通コンテンツ、第１コンテンツと第２コンテンツを格納する。共通コンテンツは、後述する所定の準備期間において、複数グループの各ユーザに共通に提供されるコンテンツであればよく、第１コンテンツでもよい。第１コンテンツと第２コンテンツは、比較する２つのコンテンツであり、例えば、現行コンテンツと新コンテンツ、２つの新コンテンツ等である。コンテンツは、例えば、機能、デザイン、画像、動画、楽曲、音声、テキスト、アプリケーション等の電子的に提供される情報である。本実施形態では、共通コンテンツと第１コンテンツが現行コンテンツであり、第２コンテンツが新コンテンツである例を中心に説明する。 The database 110 stores common content, first content and second content. The common content may be any content that is commonly provided to each user of a plurality of groups during a predetermined preparation period described later, and may be the first content. The first content and the second content are two contents to be compared, for example, the current content, the new content, the two new contents, and the like. Content is, for example, electronically provided information such as functions, designs, images, videos, songs, sounds, texts, applications and the like. In this embodiment, an example in which the common content and the first content are the current contents and the second content is the new contents will be mainly described.

通信部１２０は、例えば、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等を備える。通信部１２０は、制御部１５０の制御にしたがって、有線又は無線により、サーバ１００とユーザ端末２００の間で情報を送受信する。入力部１３０は、例えば、キーボード、マウス等を備える。入力部１３０は、サーバ１００の管理者による操作内容を制御部１５０に伝達する。表示部１４０は、例えば、ディスプレイ等を備える。表示部１４０は、サーバ１００の管理者が操作するための画像を表示する。なお、サーバ１００は、入力部１３０と表示部１４０を備えなくてもよい。 The communication unit 120 includes, for example, a NIC (Network Interface Card) or the like. The communication unit 120 transmits / receives information between the server 100 and the user terminal 200 by wire or wirelessly under the control of the control unit 150. The input unit 130 includes, for example, a keyboard, a mouse, and the like. The input unit 130 transmits the operation content by the administrator of the server 100 to the control unit 150. The display unit 140 includes, for example, a display or the like. The display unit 140 displays an image for operation by the administrator of the server 100. The server 100 does not have to include the input unit 130 and the display unit 140.

制御部１５０は、例えば、ＣＰＵ等によって、サーバ１００に記憶されているプログラムを実行することにより、制御部１５０の機能構成を実現する。プログラムは、例えば、記憶部１６０、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等のコンピュータ可読情報記憶媒体に格納されるものでもよいし、ネットワークＮを介してサーバ１００に供給されるものでもよい。制御部１５０は、機能構成として、識別子付与部１５１、共通コンテンツ提供部１５２、準備情報取得部１５３、選択部１５４、コンテンツ提供部１５５、テスト情報取得部１５６と評価部１５７を備える。これらの機能構成は、本実施形態に係るプログラムを制御部１５０が実行することにより、サーバ１００において実現されるものである。なお、制御部１５０の内部構成は、このような構成に限られず、本実施形態の情報処理を行なう構成であれば、他の構成であってもよい。 The control unit 150 realizes the functional configuration of the control unit 150 by executing a program stored in the server 100 by, for example, a CPU or the like. The program may be stored in a computer-readable information storage medium such as a storage unit 160, a CD-ROM, or a DVD-ROM, or may be supplied to the server 100 via the network N. The control unit 150 includes an identifier assignment unit 151, a common content provision unit 152, a preparation information acquisition unit 153, a selection unit 154, a content provision unit 155, a test information acquisition unit 156, and an evaluation unit 157 as functional configurations. These functional configurations are realized in the server 100 by the control unit 150 executing the program according to the present embodiment. The internal configuration of the control unit 150 is not limited to such a configuration, and may be another configuration as long as it is a configuration for performing information processing according to the present embodiment.

識別子付与部１５１は、所定の準備期間において、ユーザにユーザ識別子とグループ識別子を付与する。所定の準備期間は、予め設定された期間（例えば、１月）でもよいし、管理者の指示により開始してから終了するまでの期間でもよい。ユーザ識別子とグループ識別子は、ユーザ端末２００のウェブブラウザにクッキーとして付与される。識別子付与部１５１は、ユーザ端末２００に対して、複数のグループ識別子のうち、無作為に選択した一のグループ識別子を割り当ててもよいし、順番に選択した一のグループ識別子を割り当ててもよい。以下、ユーザ端末２００をユーザと呼ぶ場合がある。 The identifier assigning unit 151 assigns a user identifier and a group identifier to the user during a predetermined preparation period. The predetermined preparation period may be a preset period (for example, January) or a period from the start to the end according to the instruction of the administrator. The user identifier and the group identifier are given to the web browser of the user terminal 200 as cookies. The identifier assigning unit 151 may assign a randomly selected group identifier among a plurality of group identifiers to the user terminal 200, or may assign one group identifier selected in order. Hereinafter, the user terminal 200 may be referred to as a user.

共通コンテンツ提供部１５２は、所定の準備期間において、複数グループの各ユーザに共通コンテンツを提供する。グループは、同一のグループ識別子を付与された複数のユーザ端末２００からなるグループである。 The common content providing unit 152 provides common content to each user in a plurality of groups during a predetermined preparation period. A group is a group consisting of a plurality of user terminals 200 to which the same group identifier is assigned.

準備情報取得部１５３は、所定の準備期間において、複数グループの各グループのユーザのアクセス情報を準備情報として取得し、準備情報を記憶手段に記憶する。準備情報は、コンバージョンに関する情報であり、例えば、商品の注文又は購入、サービス又は施設の予約、サービス又は施設の利用、コンテンツ再生、会員登録、資料の申込み、アンケートへの回答等に関する情報のうち少なくとも一つである。本実施形態では、準備情報が、施設の予約日時と予約回数である例を中心に説明する。 The preparation information acquisition unit 153 acquires access information of users of each group of a plurality of groups as preparation information in a predetermined preparation period, and stores the preparation information in the storage means. Preparation information is information about conversion, for example, at least information about ordering or purchasing a product, booking a service or facility, using a service or facility, playing content, registering as a member, applying for materials, answering a questionnaire, and the like. It is one. In this embodiment, an example in which the preparation information is the reservation date and time and the number of reservations of the facility will be mainly described.

選択部１５４は、各グループの準備情報に基づいて複数グループの中から第１グループと第２グループを選択する。第１グループと第２グループは、第１グループと第２グループの準備情報の統計値が、所定の関係を満たすように選択される。所定の関係とは、統計値が近似する関係であり、例えば、統計値が最も近い関係、統計値の差が一定範囲内（例えば、プラスマイナス１％以内、プラスマイナス１０％以内等）の関係等である。統計値は、ユニークユーザ数、ＣＶＲ、平均利用額のうち少なくとも一つである。ＣＶＲは、（コンバージョン回数／ユニークユーザ数）で示される。コンバージョン回数は、例えば、商品の注文又は購入、サービス又は施設の予約、サービス又は施設の利用、コンテンツ再生、会員登録、資料の申込み、アンケートへの回答等の回数である。平均利用額は、コンバージョンに関する平均額であり、例えば、商品の注文額又は購入額、サービス又は施設の利用額等の平均額である。本実施形態では、準備情報の統計値が、ユニークユーザ数とＣＶＲである例を中心に説明する。以下、第１グループをコントロールグループと呼び、第２グループをテストグループと呼ぶ場合がある。 The selection unit 154 selects a first group and a second group from a plurality of groups based on the preparation information of each group. The first group and the second group are selected so that the statistical values of the preparation information of the first group and the second group satisfy a predetermined relationship. The predetermined relationship is a relationship in which the statistical values are close to each other, for example, a relationship in which the statistical values are closest to each other, and a relationship in which the difference between the statistical values is within a certain range (for example, within plus or minus 1%, within plus or minus 10%, etc.). And so on. The statistical value is at least one of the number of unique users, CVR, and average usage amount. CVR is indicated by (number of conversions / number of unique users). The number of conversions is, for example, the number of orders or purchases of goods, reservation of services or facilities, use of services or facilities, content reproduction, membership registration, application for materials, answers to questionnaires, and the like. The average usage amount is an average amount related to conversion, and is, for example, an average amount of an order or purchase of a product, a usage amount of a service or a facility, and the like. In this embodiment, an example in which the statistical values of the preparation information are the number of unique users and CVR will be mainly described. Hereinafter, the first group may be referred to as a control group, and the second group may be referred to as a test group.

コンテンツ提供部１５５は、所定のテスト期間において、各グループの準備情報に基づいて複数グループの中から選択される第１グループのユーザからアクセスがある場合に第１コンテンツを提供し、各グループの準備情報に基づいて複数グループの中から選択される第２グループのユーザからアクセスがある場合に第２コンテンツを提供する。所定のテスト期間は、準備期間より後の期間である。準備期間とテスト期間は連続していてもよいし、連続していなくてもよい。所定のテスト期間は、予め設定された期間（例えば、１月）でもよいし、管理者の指示により開始してから終了するまでの期間でもよい。 The content providing unit 155 provides the first content when there is access from a user of the first group selected from a plurality of groups based on the preparation information of each group in a predetermined test period, and prepares each group. The second content is provided when there is access from a user in the second group selected from a plurality of groups based on the information. The predetermined test period is a period after the preparation period. The preparation period and the test period may or may not be continuous. The predetermined test period may be a preset period (for example, January) or a period from the start to the end according to the instruction of the administrator.

テスト情報取得部１５６は、所定のテスト期間において、第１グループと第２グループのユーザのアクセス情報をテスト情報として取得し、それらテスト情報を記憶手段に記憶する。テスト情報は、コンバージョンに関する情報であり、例えば、商品の注文又は購入、サービス又は施設の予約、サービス又は施設の利用、コンテンツ再生、会員登録、資料の申込み、アンケートへの回答等に関する情報のうち少なくとも一つである。本実施形態では、テスト情報が、施設の予約日時と予約回数である例を中心に説明する。 The test information acquisition unit 156 acquires access information of the users of the first group and the second group as test information in a predetermined test period, and stores the test information in the storage means. The test information is information about conversion, for example, at least information about ordering or purchasing a product, booking a service or facility, using a service or facility, playing content, registering as a member, applying for materials, answering a questionnaire, and the like. It is one. In this embodiment, an example in which the test information is the reservation date and time and the number of reservations of the facility will be mainly described.

評価部１５７は、第１グループと第２グループのテスト情報に基づいて第１グループと第２グループの評価値を比較する。評価値は、ＣＶＲ、平均利用額のうち少なくとも一つである。本実施形態では、評価値が、ＣＶＲである例を中心に説明する。 The evaluation unit 157 compares the evaluation values of the first group and the second group based on the test information of the first group and the second group. The evaluation value is at least one of CVR and the average usage amount. In this embodiment, an example in which the evaluation value is CVR will be mainly described.

記憶部１６０は、例えば、ＲＡＭ、フラッシュメモリ、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１６０は、制御部１５０のワークメモリとして動作する。記憶部１６０は、準備情報とテスト情報を記憶する。 The storage unit 160 is realized by, for example, a storage device such as a RAM, a flash memory, a hard disk, or an optical disk. The storage unit 160 operates as a work memory of the control unit 150. The storage unit 160 stores preparation information and test information.

［サーバ１００の情報処理］
以下、本実施形態のサーバ１００の情報処理を説明する。 [Information processing of server 100]
Hereinafter, the information processing of the server 100 of the present embodiment will be described.

（準備段階）
図５は、準備期間の記憶部１６０のデータ構造の一例を示す図である。図５（Ａ）に示すように、識別子付与部１５１は、ユーザ端末２００に付与したユーザ識別子とグループ識別子を記憶部１６０に記憶する。準備情報取得部１５３は、準備期間においてユーザ端末２００がサーバ１００に最初にアクセスした日時であるアクセス日時を取得し、記憶部１６０に記憶する。例えば、記憶部１６０は、ユーザ識別子「Ｕ０００１」、グループ識別子「Ｇ００１」とアクセス日時「２０２０／７／３／０９：５３：３６」を対応付けて記憶する。なお、記憶部１６０は、アクセス日時を記憶しなくてもよい。図５（Ｂ）に示すように、準備情報取得部１５３は、ユーザ端末２００から送信されるユーザ識別子、グループ識別子と施設の予約処理を行った予約日時を取得し、記憶部１６０に記憶する。例えば、記憶部１６０は、ユーザ識別子「Ｕ０００２」、グループ識別子「Ｇ００２」と予約日時「２０２０／７／３／１２：２５：３４」を対応付けて記憶する。図５（Ｃ）に示すように、準備情報取得部１５３は、準備期間の各ユーザ端末２００による施設の予約回数を算出し、記憶部１６０に記憶する。例えば、記憶部１６０は、ユーザ識別子「Ｕ０００１」、グループ識別子「Ｇ００１」と予約回数「０」を対応付けて記憶する。 (Preparation stage)
FIG. 5 is a diagram showing an example of the data structure of the storage unit 160 during the preparation period. As shown in FIG. 5A, the identifier assigning unit 151 stores the user identifier and the group identifier assigned to the user terminal 200 in the storage unit 160. The preparation information acquisition unit 153 acquires an access date and time, which is the date and time when the user terminal 200 first accesses the server 100 during the preparation period, and stores it in the storage unit 160. For example, the storage unit 160 stores the user identifier “U0001”, the group identifier “G001”, and the access date / time “2020/7/3/09: 53: 36” in association with each other. The storage unit 160 does not have to store the access date and time. As shown in FIG. 5B, the preparation information acquisition unit 153 acquires the user identifier and group identifier transmitted from the user terminal 200 and the reservation date and time when the facility reservation process is performed, and stores them in the storage unit 160. For example, the storage unit 160 stores the user identifier “U0002”, the group identifier “G002”, and the reservation date / time “2020/7/3/12: 25: 34” in association with each other. As shown in FIG. 5C, the preparation information acquisition unit 153 calculates the number of reservations of the facility by each user terminal 200 during the preparation period and stores it in the storage unit 160. For example, the storage unit 160 stores the user identifier “U0001”, the group identifier “G001”, and the number of reservations “0” in association with each other.

図６は、準備期間の統計を示す図である。準備情報取得部１５３は、各グループに属するユーザ識別子を集計し、各グループのユニークユーザ数を算出する。準備情報取得部１５３は、各グループに属するユーザ端末２００による施設の予約回数を集計し、各グループの予約回数をユニークユーザ数で割ることで、各グループの準備期間のＣＶＲを算出する。例えば、準備情報取得部１５３は、グループ「Ｇ００１」について、ユニークユーザ数「５００」、予約回数「１０」と準備期間のＣＶＲ「２」を算出する。なお、準備期間の統計は、管理者が算出してもよい。 FIG. 6 is a diagram showing statistics of the preparation period. The preparation information acquisition unit 153 aggregates the user identifiers belonging to each group and calculates the number of unique users in each group. The preparation information acquisition unit 153 calculates the CVR of the preparation period of each group by totaling the number of reservations of the facility by the user terminal 200 belonging to each group and dividing the number of reservations of each group by the number of unique users. For example, the preparation information acquisition unit 153 calculates the number of unique users "500", the number of reservations "10", and the CVR "2" of the preparation period for the group "G001". The statistics of the preparation period may be calculated by the administrator.

選択部１５４は、準備期間の統計に基づいて、ＣＶＲが近似する２つのグループを選択し、一方をコントロールグループ、他方をテストグループとして特定する。例えば、選択部１５４は、ＣＶＲが近似するグループ「Ｇ００１」とグループ「Ｇ００２」を選択し、グループ「Ｇ００１」をコントロールグループ、グループ「Ｇ００２」をテストグループとして特定する。なお、選択部１５４は、グループ「Ｇ００１」をテストグループ、グループ「Ｇ００２」をコントロールグループとして特定してもよい。 The selection unit 154 selects two groups to which the CVR is similar based on the statistics of the preparation period, and specifies one as a control group and the other as a test group. For example, the selection unit 154 selects a group "G001" and a group "G002" that the CVR approximates, and specifies the group "G001" as a control group and the group "G002" as a test group. The selection unit 154 may specify the group "G001" as a test group and the group "G002" as a control group.

図７は、表示部１４０の表示画面１４１の一例を示す図である。選択部１５４は、表示画面１４１の選択ボタン１４２により、管理者がコントロールグループとテストグループを選択するものでもよい。管理者は、選択ボタン１４１を操作することにより、各グループについて、コントロールグループ、テストグループとテスト対象外のいずれとするかを選択する。 FIG. 7 is a diagram showing an example of the display screen 141 of the display unit 140. The selection unit 154 may be one in which the administrator selects a control group and a test group by the selection button 142 of the display screen 141. By operating the selection button 141, the administrator selects whether the control group, the test group, or the non-test target is to be set for each group.

（テスト段階）
記憶部１６０は、コントロールグループとテストグループに属するユーザ端末２００について、テスト期間のデータを記憶する。テスト情報取得部１５６は、テスト期間においてユーザ端末２００がサーバ１００に最初にアクセスした日時であるアクセス日時を取得し、記憶部１６０に記憶する。例えば、記憶部１６０は、図５（Ａ）に示すデータ構造と同様に、ユーザ識別子、グループ識別子とアクセス日時を対応付けて記憶する。なお、記憶部１６０は、アクセス日時を記憶しなくてもよい。テスト情報取得部１５６は、ユーザ端末２００から送信されるユーザ識別子、グループ識別子と施設の予約処理を行った予約日時を取得し、記憶部１６０に記憶する。例えば、記憶部１６０は、図５（Ｂ）に示すデータ構造と同様に、ユーザ識別子、グループ識別子と予約日時を対応付けて記憶する。テスト情報取得部１５６は、テスト期間の各ユーザ端末２００による施設の予約回数を算出し、記憶部１６０に記憶する。例えば、記憶部１６０は、図５（Ｃ）に示すデータ構造と同様に、ユーザ識別子、グループ識別子と予約回数を対応付けて記憶する。 (Test stage)
The storage unit 160 stores the data of the test period for the user terminals 200 belonging to the control group and the test group. The test information acquisition unit 156 acquires the access date and time, which is the date and time when the user terminal 200 first accesses the server 100 during the test period, and stores it in the storage unit 160. For example, the storage unit 160 stores the user identifier, the group identifier, and the access date and time in association with each other, as in the data structure shown in FIG. 5A. The storage unit 160 does not have to store the access date and time. The test information acquisition unit 156 acquires the user identifier and group identifier transmitted from the user terminal 200 and the reservation date and time when the facility reservation process is performed, and stores them in the storage unit 160. For example, the storage unit 160 stores the user identifier, the group identifier, and the reservation date and time in association with each other, as in the data structure shown in FIG. 5 (B). The test information acquisition unit 156 calculates the number of reservations of the facility by each user terminal 200 during the test period and stores it in the storage unit 160. For example, the storage unit 160 stores the user identifier, the group identifier, and the number of reservations in association with each other, as in the data structure shown in FIG. 5C.

図８は、テスト期間の統計を示す図である。テスト情報取得部１５６は、準備期間のコントロールグループとテストグループのユニークユーザ数を、テスト期間のコントロールグループとテストグループのユニークユーザ数として取得する。テスト情報取得部１５６は、コントロールグループとテストグループに属するユーザ端末２００による施設の予約回数を集計し、コントロールグループとテストグループの予約回数をユニークユーザ数で割ることで、コントロールグループとテストグループのテスト期間のＣＶＲを算出する。例えば、テスト情報取得部１５６は、コントロールグループ「Ｇ００１」について、ユニークユーザ数「５００」、予約回数「１０」とテスト期間のＣＶＲ「２」を算出する。なお、テスト情報取得部１５６は、テスト期間においてサーバ１００にアクセスしたユーザ端末２００のユーザ識別子を集計し、コントロールグループとテストグループのユニークユーザ数を算出してもよい。テスト期間の統計は、管理者が算出してもよい。 FIG. 8 is a diagram showing statistics of the test period. The test information acquisition unit 156 acquires the number of unique users of the control group and the test group during the preparation period as the number of unique users of the control group and the test group during the test period. The test information acquisition unit 156 totals the number of reservations of facilities by the user terminals 200 belonging to the control group and the test group, and divides the number of reservations of the control group and the test group by the number of unique users to test the control group and the test group. Calculate the CVR for the period. For example, the test information acquisition unit 156 calculates the number of unique users "500", the number of reservations "10", and the CVR "2" of the test period for the control group "G001". The test information acquisition unit 156 may aggregate the user identifiers of the user terminals 200 that have accessed the server 100 during the test period, and calculate the number of unique users in the control group and the test group. The test period statistics may be calculated by the administrator.

評価部１５７は、テスト期間の統計に基づいて、コントロールグループとテストグループのＣＶＲを比較する。評価部１５７は、コントロールグループのＣＶＲが、テストグループのＣＶＲより高い場合、現行バージョンのコンテンツが優れていると評価し、テストグループのＣＶＲが、コントロールグループのＣＶＲより高い場合、新バージョンのコンテンツが優れていると評価する。例えば、評価部１５７は、テストグループのＣＶＲ「４」が、コントロールグループのＣＶＲ「２」より高いため、新バージョンのコンテンツが優れていると評価する。なお、コントロールグループとテストグループのＣＶＲの比較と、現行バージョンのコンテンツと新バージョンのコンテンツの評価は、管理者が行ってもよい。 The evaluation unit 157 compares the CVRs of the control group and the test group based on the statistics of the test period. The evaluation unit 157 evaluates that the content of the current version is superior when the CVR of the control group is higher than the CVR of the test group, and when the CVR of the test group is higher than the CVR of the control group, the content of the new version is Evaluate as excellent. For example, the evaluation unit 157 evaluates that the new version of the content is excellent because the CVR "4" of the test group is higher than the CVR "2" of the control group. The administrator may compare the CVRs of the control group and the test group and evaluate the contents of the current version and the contents of the new version.

［サーバ１００の動作］
以下、本実施形態のサーバ１００の動作を説明する。 [Operation of server 100]
Hereinafter, the operation of the server 100 of this embodiment will be described.

（準備段階）
図９は、準備期間の各ユーザ端末２００に対するサーバ１００の情報処理の一例を示すフロー図である。本情報処理のフローは、サーバ１００により準備期間が開始され、ユーザ端末２００のウェブブラウザがサーバ１００に対して施設予約のウェブサイトのコンテンツの提供要求を行うことを契機として開始する。 (Preparation stage)
FIG. 9 is a flow chart showing an example of information processing of the server 100 for each user terminal 200 during the preparation period. The flow of this information processing starts when the preparation period is started by the server 100 and the web browser of the user terminal 200 requests the server 100 to provide the contents of the website for facility reservation.

サーバ１００は、ユーザ端末２００からクッキーを取得し、既にユーザ識別子とグループ識別子が付与されているか否かを判断することで、ユーザ端末２００が、準備期間において既にアクセスしたユーザ端末であるか否かを判断する（ステップＳ１１）。ユーザ端末２００が、準備期間において既にアクセスしたユーザ端末でない場合、サーバ１００は、ユーザ端末２００に対して、ユーザ識別子とグループ識別子を割り当て、ユーザ識別子とグループ識別子を含むクッキーをユーザ端末２００に送信し、記憶させる（ステップＳ１２）。サーバ１００は、ユーザに割り当てたユーザ識別子とグループ識別子を対応付けて、記憶部１６０に格納する（ステップＳ１３）。サーバ１００は、ユーザ端末２００に対して、データベース１１０に格納された現行バージョンのコンテンツを提供する（ステップＳ１４）。ユーザが施設予約を行う場合、ユーザ端末２００は、サーバ１００に対して、ユーザ識別子を含むクッキーと施設予約に関する情報を送信する。サーバ１００は、ユーザ端末２００から施設予約に関する情報が送信されたか否かを判断する（ステップＳ１５）。ユーザ端末２００から施設予約に関する情報が送信された場合、サーバ１００は、施設の予約処理を行う（ステップＳ１６）。サーバ１００は、ユーザ識別子に対応付けて、準備情報である施設の予約日時と準備期間の各ユーザ端末２００による施設の予約回数を記憶部１６０に格納する（ステップＳ１７）。 The server 100 acquires a cookie from the user terminal 200 and determines whether or not the user identifier and the group identifier have already been assigned, so that the user terminal 200 is a user terminal that has already been accessed during the preparation period. Is determined (step S11). If the user terminal 200 is not a user terminal that has already been accessed during the preparation period, the server 100 assigns the user identifier and the group identifier to the user terminal 200, and transmits a cookie containing the user identifier and the group identifier to the user terminal 200. , Remember (step S12). The server 100 associates the user identifier assigned to the user with the group identifier and stores them in the storage unit 160 (step S13). The server 100 provides the user terminal 200 with the current version of the content stored in the database 110 (step S14). When the user makes a facility reservation, the user terminal 200 transmits a cookie including a user identifier and information regarding the facility reservation to the server 100. The server 100 determines whether or not the information regarding the facility reservation has been transmitted from the user terminal 200 (step S15). When the information regarding the facility reservation is transmitted from the user terminal 200, the server 100 performs the facility reservation process (step S16). The server 100 stores the reservation date and time of the facility, which is the preparation information, and the number of reservations of the facility by each user terminal 200 during the preparation period in the storage unit 160 in association with the user identifier (step S17).

図１０は、準備期間終了後のサーバ１００の情報処理の一例を示すフロー図である。本情報処理のフローは、準備期間の終了を契機として開始する。 FIG. 10 is a flow chart showing an example of information processing of the server 100 after the end of the preparation period. The flow of this information processing starts at the end of the preparation period.

サーバ１００は、準備期間において、サーバ１００にアクセスしたユーザ端末２００について、同一のグループ識別子を付与されたユーザ端末２００が同一のグループとなるように、複数グループを作成する（ステップＳ２１）。サーバ１００は、各グループの準備期間のＣＶＲを算出する（ステップＳ２２）。サーバ１００は、複数グループから、準備期間のＣＶＲが近似する２つのグループを選択し、一方をコントロールグループ、他方をテストグループとして特定する（ステップＳ２３）。 During the preparation period, the server 100 creates a plurality of groups for the user terminals 200 that have accessed the server 100 so that the user terminals 200 to which the same group identifier is assigned are in the same group (step S21). The server 100 calculates the CVR of the preparation period of each group (step S22). The server 100 selects two groups having similar CVRs in the preparation period from the plurality of groups, and specifies one as a control group and the other as a test group (step S23).

（テスト段階）
図１１は、テスト期間の各ユーザ端末２００に対するサーバ１００の情報処理の一例を示すフロー図である。本情報処理のフローは、サーバ１００によりテスト期間が開始され、ユーザ端末２００のウェブブラウザがサーバ１００に対して施設予約のウェブサイトのコンテンツの提供要求を行うことを契機として開始する。 (Test stage)
FIG. 11 is a flow chart showing an example of information processing of the server 100 for each user terminal 200 during the test period. The flow of this information processing starts when the test period is started by the server 100 and the web browser of the user terminal 200 requests the server 100 to provide the contents of the website for facility reservation.

サーバ１００は、ユーザ端末２００のウェブブラウザから、クッキーを取得し、ユーザ識別子とユーザグループ識別子を特定する。サーバ１００は、記憶部１６０を参照し、ユーザ端末２００がテストグループに属するか否かを判断する（ステップＳ３１）。サーバ１００は、ユーザ端末２００がテストグループに属さないと判断した場合には、データベース１１０に格納された現行バージョンのコンテンツを提供する（ステップＳ３２）。すなわち、サーバ１００は、コントロールグループに属するユーザ端末２００と、コントロールグループとテストグループのいずれにも属さないユーザ端末２００に、現行バージョンのコンテンツを提供する。なお、コントロールグループとテストグループのいずれにも属さないユーザ端末２００には、現行バージョンのコンテンツとは異なるコンテンツを提供してもよい。サーバ１００は、ユーザ端末２００がテストグループに属すると判断した場合には、データベース１１０に格納された新バージョンのコンテンツを提供する（ステップＳ３３）。ユーザが施設予約を行う場合、ユーザ端末２００は、サーバ１００に対して、ユーザ識別子を含むクッキーと施設予約に関する情報を送信する。サーバ１００は、ユーザ端末２００から施設予約に関する情報が送信されたか否かを判断する（ステップＳ３４）。ユーザ端末２００から施設予約に関する情報が送信された場合、サーバ１００は、施設の予約処理を行う（ステップＳ３５）。サーバ１００は、ユーザ識別子に対応付けて、テスト情報である施設の予約日時とテスト期間の各ユーザ端末２００による施設の予約回数を記憶部１６０に格納する（ステップＳ３６）。 The server 100 acquires a cookie from the web browser of the user terminal 200 and identifies the user identifier and the user group identifier. The server 100 refers to the storage unit 160 and determines whether or not the user terminal 200 belongs to the test group (step S31). If the server 100 determines that the user terminal 200 does not belong to the test group, the server 100 provides the current version of the content stored in the database 110 (step S32). That is, the server 100 provides the current version of the content to the user terminal 200 that belongs to the control group and the user terminal 200 that does not belong to either the control group or the test group. The user terminal 200 that does not belong to either the control group or the test group may be provided with content different from the content of the current version. When the server 100 determines that the user terminal 200 belongs to the test group, the server 100 provides a new version of the content stored in the database 110 (step S33). When the user makes a facility reservation, the user terminal 200 transmits a cookie including a user identifier and information regarding the facility reservation to the server 100. The server 100 determines whether or not the information regarding the facility reservation has been transmitted from the user terminal 200 (step S34). When the information regarding the facility reservation is transmitted from the user terminal 200, the server 100 performs the facility reservation process (step S35). The server 100 stores the reservation date and time of the facility, which is the test information, and the number of reservations of the facility by each user terminal 200 during the test period in the storage unit 160 in association with the user identifier (step S36).

図１２は、テスト期間終了後のサーバ１００の情報処理の一例を示すフロー図である。本情報処理のフローは、テスト期間の終了を契機として開始する。 FIG. 12 is a flow chart showing an example of information processing of the server 100 after the end of the test period. The flow of this information processing starts at the end of the test period.

サーバ１００は、コントロールグループとテストグループのテスト期間のＣＶＲを算出する（ステップＳ４１）。サーバ１００は、コントロールグループとテストグループのテスト期間のＣＶＲを比較する（ステップＳ４２）。サーバ１００は、コントロールグループのＣＶＲが、テストグループのＣＶＲより高い場合、現行バージョンのコンテンツが優れていると評価し、テストグループのＣＶＲが、コントロールグループのＣＶＲより高い場合、新バージョンのコンテンツが優れていると評価する（ステップＳ４３）。 The server 100 calculates the CVR of the test period of the control group and the test group (step S41). The server 100 compares the CVRs of the test period of the control group and the test group (step S42). The server 100 evaluates that the content of the current version is superior when the CVR of the control group is higher than the CVR of the test group, and the content of the new version is superior when the CVR of the test group is higher than the CVR of the control group. It is evaluated as (step S43).

［サーバ１００の効果］
以下、本実施形態のサーバ１００の効果を説明する。 [Effect of server 100]
Hereinafter, the effect of the server 100 of this embodiment will be described.

本実施形態では、準備情報に基づいて複数グループの中から選択される、第１グループのユーザからアクセスがある場合に第１コンテンツを提供し、第２グループのユーザからアクセスがある場合に第２コンテンツを提供する。そのため、第１コンテンツと第２コンテンツを適切にユーザに配分し、Ａ／Ｂテストを行うことができる。 In the present embodiment, the first content is provided when there is access from a user in the first group, which is selected from a plurality of groups based on the preparation information, and the second content is provided when there is access from a user in the second group. Provide content. Therefore, the first content and the second content can be appropriately distributed to the users and the A / B test can be performed.

本実施形態では、準備情報の統計値が近似する第１グループと第２グループを特定する。そのため、第１コンテンツと第２コンテンツを、特性が近似するグループによって比較することで、第１コンテンツと第２コンテンツの優劣を適切に評価することができる。 In the present embodiment, the first group and the second group to which the statistical values of the preparation information are similar are specified. Therefore, by comparing the first content and the second content by a group having similar characteristics, the superiority or inferiority of the first content and the second content can be appropriately evaluated.

本実施形態では、複数グループの中から第１グループと第２グループを選択する。そのため、複数グループの中から２つのグループを選択するという簡易な手順により、Ａ／Ｂテストを行うことができる。 In the present embodiment, the first group and the second group are selected from the plurality of groups. Therefore, the A / B test can be performed by a simple procedure of selecting two groups from a plurality of groups.

本実施形態では、テスト情報に基づいて第１グループと第２グループの評価値を比較する。そのため、第１コンテンツと第２コンテンツの優劣を適切に評価することができる。 In this embodiment, the evaluation values of the first group and the second group are compared based on the test information. Therefore, the superiority or inferiority of the first content and the second content can be appropriately evaluated.

［サーバ１００の変形例］
本発明は上記実施形態に限定されず、種々の変形が可能である。以下、サーバ１００の変形例について、上記実施形態と異なる点を中心に説明する。 [Modification example of server 100]
The present invention is not limited to the above embodiment, and various modifications are possible. Hereinafter, a modification of the server 100 will be described focusing on the differences from the above embodiment.

（変形例１）
上記実施形態では、準備情報取得部１５３が、準備期間の予約回数をユニークユーザ数で割ることで、準備期間のＣＶＲを算出する例を示した。変形例として、準備情報取得部１５３は、準備期間における所定期間（例えば、１日）毎の予約回数をユニークユーザ数で割ることで、所定期間毎のＣＶＲを算出してもよい。準備情報取得部１５３は、所定期間毎のＣＶＲの平均値を算出することで、準備期間のＣＶＲを算出する。 (Modification 1)
In the above embodiment, the preparation information acquisition unit 153 shows an example of calculating the CVR of the preparation period by dividing the number of reservations of the preparation period by the number of unique users. As a modification, the preparation information acquisition unit 153 may calculate the CVR for each predetermined period by dividing the number of reservations for each predetermined period (for example, one day) in the preparation period by the number of unique users. The preparation information acquisition unit 153 calculates the CVR of the preparation period by calculating the average value of the CVR for each predetermined period.

本変形例によれば、所定期間毎のＣＶＲを算出するため、準備期間の開始後に、準備期間を短縮又は延長することができる。 According to this modification, since the CVR for each predetermined period is calculated, the preparation period can be shortened or extended after the start of the preparation period.

（変形例２）
上記実施形態では、テスト情報取得部１５６が、テスト期間の予約回数をユニークユーザ数で割ることで、テスト期間のＣＶＲを算出する例を示した。変形例として、テスト情報取得部１５６は、テスト期間における所定期間（例えば、１日）毎の予約回数をユニークユーザ数で割ることで、所定期間毎のＣＶＲを算出してもよい。テスト情報取得部１５６は、所定期間毎のＣＶＲの平均値を算出することで、テスト期間のＣＶＲを算出する。 (Modification 2)
In the above embodiment, the test information acquisition unit 156 shows an example of calculating the CVR of the test period by dividing the number of reservations for the test period by the number of unique users. As a modification, the test information acquisition unit 156 may calculate the CVR for each predetermined period by dividing the number of reservations for each predetermined period (for example, one day) in the test period by the number of unique users. The test information acquisition unit 156 calculates the CVR of the test period by calculating the average value of the CVR for each predetermined period.

本変形例によれば、所定期間毎のＣＶＲを算出するため、テスト期間の開始後に、テスト期間を短縮又は延長することができる。 According to this modification, since the CVR is calculated for each predetermined period, the test period can be shortened or extended after the start of the test period.

（変形例３）
上記実施形態では、準備情報が、施設の予約日時と予約回数である例を示した。変形例として、準備情報は、施設の利用額でもよい。 (Modification 3)
In the above embodiment, an example is shown in which the preparation information is the reservation date and time and the number of reservations of the facility. As a modification, the preparation information may be the usage amount of the facility.

図１３は、変形例における準備期間の記憶部のデータ構造の一例を示す図である。準備情報取得部１５３は、ユーザ端末２００から送信されるユーザ識別子、グループ識別子と施設の利用額を取得し、記憶部１６０に記憶する。準備情報取得部１５３は、準備期間の各ユーザ端末２００による施設の総利用額を算出し、記憶部１６０に記憶する。 FIG. 13 is a diagram showing an example of the data structure of the storage unit of the preparation period in the modified example. The preparation information acquisition unit 153 acquires the user identifier, the group identifier, and the usage amount of the facility transmitted from the user terminal 200, and stores them in the storage unit 160. The preparation information acquisition unit 153 calculates the total usage amount of the facility by each user terminal 200 during the preparation period and stores it in the storage unit 160.

図１４は、変形例における準備期間の統計を示す図である。準備情報取得部１５３は、各グループに属するユーザ端末２００による総利用額を集計し、各グループの総利用額をユニークユーザ数で割ることで、各グループの準備期間の施設の平均利用額を算出する。選択部１５４は、準備期間の統計に基づいて、平均利用額が近似するコントロールグループとテストグループを特定する。 FIG. 14 is a diagram showing statistics of the preparation period in the modified example. The preparation information acquisition unit 153 calculates the average usage amount of the facility during the preparation period of each group by totaling the total usage amount of the user terminals 200 belonging to each group and dividing the total usage amount of each group by the number of unique users. do. The selection unit 154 identifies a control group and a test group to which the average usage amount is close based on the statistics of the preparation period.

本変形例によれば、準備情報を利用額とするため、第１コンテンツと第２コンテンツを、平均利用額が近似するグループによって比較することで、第１コンテンツと第２コンテンツの優劣を適切に評価することができる。 According to this modification, since the preparation information is used as the usage amount, the superiority or inferiority of the first content and the second content is appropriately compared by comparing the first content and the second content by a group having an approximate average usage amount. Can be evaluated.

（変形例４）
上記実施形態では、テスト情報が、施設の予約日時と予約回数である例を示した。変形例として、テスト情報は、施設の利用額でもよい。 (Modification example 4)
In the above embodiment, an example is shown in which the test information is the reservation date and time and the number of reservations of the facility. As a modification, the test information may be the usage amount of the facility.

テスト情報取得部１５６は、ユーザ端末２００から送信されるユーザ識別子、グループ識別子と施設の利用額を取得し、記憶部１６０に記憶する。テスト情報取得部１５６は、テスト期間の各ユーザ端末２００による施設の総利用額を算出し、記憶部１６０に記憶する。例えば、記憶部１６０は、図１３に示すデータ構造と同様のデータ構造を記憶する。 The test information acquisition unit 156 acquires the user identifier, the group identifier, and the usage amount of the facility transmitted from the user terminal 200, and stores them in the storage unit 160. The test information acquisition unit 156 calculates the total usage amount of the facility by each user terminal 200 during the test period and stores it in the storage unit 160. For example, the storage unit 160 stores a data structure similar to the data structure shown in FIG.

図１５は、変形例におけるテスト期間の統計を示す図である。テスト情報取得部１５６は、コントロールグループとテストグループに属するユーザ端末２００による総利用額を集計し、コントロールグループとテストグループの総利用額をユニークユーザ数で割ることで、コントロールグループとテストグループのテスト期間の施設の平均利用額を算出する。評価部１５７は、コントロールグループとテストグループの平均利用額を比較する。評価部１５７は、コントロールグループの平均利用額が、テストグループの平均利用額より高い場合、現行バージョンのコンテンツが優れていると評価し、テストグループの平均利用額が、コントロールグループの平均利用額より高い場合、新バージョンのコンテンツが優れていると評価する。 FIG. 15 is a diagram showing statistics of the test period in the modified example. The test information acquisition unit 156 aggregates the total usage amount of the user terminals 200 belonging to the control group and the test group, and divides the total usage amount of the control group and the test group by the number of unique users to test the control group and the test group. Calculate the average usage of the facility during the period. The evaluation unit 157 compares the average usage amount of the control group and the test group. If the average usage of the control group is higher than the average usage of the test group, the evaluation unit 157 evaluates that the content of the current version is superior, and the average usage of the test group is higher than the average usage of the control group. If it is high, the new version of the content is evaluated as excellent.

本変形例によれば、テスト情報を利用額とするため、第１グループと第２グループの平均利用額を比較することで、第１コンテンツと第２コンテンツの優劣を適切に評価することができる。 According to this modification, since the test information is used as the usage amount, the superiority or inferiority of the first content and the second content can be appropriately evaluated by comparing the average usage amount of the first group and the second group. ..

（変形例５）
上記実施形態では、テスト期間を設ける例を示した。変形例として、テスト期間に加えて、第２テスト期間を設けてもよい。 (Modification 5)
In the above embodiment, an example of providing a test period is shown. As a modification, a second test period may be provided in addition to the test period.

コンテンツ提供部１５５は、第１グループ、及び複数グループの中からそれらグループのアクセス情報に基づいて選択される第３グループのユーザから、所定の第２テスト期間においてアクセスがある場合に第１コンテンツを提供し、第２グループ、及び複数グループの中からそれらグループのアクセス情報に基づいて選択される第４グループのユーザから、所定の第２テスト期間においてアクセスがある場合に第２コンテンツを提供する。アクセス情報は、準備情報でもよいし、テスト情報でもよい。所定の第２テスト期間は、テスト期間より後の期間である。テスト期間と第２テスト期間は連続していてもよいし、連続していなくてもよい。所定の第２テスト期間は、予め設定された期間（例えば、１月）でもよいし、管理者の指示により開始してから終了するまでの期間でもよい。 The content providing unit 155 provides the first content when the user in the third group selected from the first group and a plurality of groups based on the access information of the group has access in the predetermined second test period. It is provided, and the second content is provided when the user of the fourth group selected from the second group and a plurality of groups based on the access information of those groups has access in a predetermined second test period. The access information may be preparation information or test information. The predetermined second test period is a period after the test period. The test period and the second test period may or may not be continuous. The predetermined second test period may be a preset period (for example, January) or a period from the start to the end according to the instruction of the administrator.

選択部１５４は、第１グループと第２グループを選択する場合と同様に、アクセス情報の統計値が所定の関係を満たすように、第３グループと第４グループを選択する。 The selection unit 154 selects the third group and the fourth group so that the statistical values of the access information satisfy a predetermined relationship, as in the case of selecting the first group and the second group.

図１６は、変形例における準備期間の統計を示す図である。選択部１５４は、準備期間の統計に基づいて、ユニークユーザ数と予約回数が近似するグループ「Ｇ００１」とグループ「Ｇ００２」を選択するとともに、グループ「Ｇ００３」とグループ「Ｇ００４」を選択する。選択部１５４は、グループ「Ｇ００１」と「Ｇ００３」をコントロールグループ、グループ「Ｇ００２」と「Ｇ００４」をテストグループとして特定する。 FIG. 16 is a diagram showing statistics of the preparation period in the modified example. The selection unit 154 selects the group "G001" and the group "G002" whose number of unique users and the number of reservations are close to each other based on the statistics of the preparation period, and also selects the group "G003" and the group "G004". The selection unit 154 specifies the groups "G001" and "G003" as control groups and the groups "G002" and "G004" as test groups.

図１７は、変形例におけるテスト期間の統計を示す図である。評価部１５７は、コントロールグループとテストグループのＣＶＲを比較する。評価部１５７は、テストグループのＣＶＲ「４」が、コントロールグループのＣＶＲ「２」より高いため、新バージョンのコンテンツが優れていると評価する。 FIG. 17 is a diagram showing statistics of the test period in the modified example. The evaluation unit 157 compares the CVRs of the control group and the test group. The evaluation unit 157 evaluates that the content of the new version is excellent because the CVR "4" of the test group is higher than the CVR "2" of the control group.

図１８は、変形例におけるテスト期間終了後のサーバ１００の情報処理の一例を示すフロー図である。サーバ１００は、コントロールグループとテストグループのテスト期間のＣＶＲを算出する（ステップＳ１４１）。サーバ１００は、コントロールグループとテストグループのテスト期間のＣＶＲを比較する（ステップＳ１４２）。サーバ１００は、コントロールグループのＣＶＲが、テストグループのＣＶＲより高い場合、現行バージョンのコンテンツが優れていると評価し、テストグループのＣＶＲが、コントロールグループのＣＶＲより高い場合、新バージョンのコンテンツが優れていると評価する（ステップＳ１４３）。サーバ１００は、複数グループから、準備期間のＣＶＲが近似する新たな２つのグループを選択し、一方をコントロールグループ、他方をテストグループに加える（ステップＳ１４４）。サーバ１００は、第２テスト期間の処理として、ステップＳ３１の処理へ移行し、ステップＳ３１～Ｓ３６の処理と同様の処理を行う。なお、ステップＳ１４１～Ｓ１４３の各処理は行わなくてもよい。 FIG. 18 is a flow chart showing an example of information processing of the server 100 after the end of the test period in the modified example. The server 100 calculates the CVR of the test period of the control group and the test group (step S141). The server 100 compares the CVRs of the test period of the control group and the test group (step S142). The server 100 evaluates that the content of the current version is superior when the CVR of the control group is higher than the CVR of the test group, and the content of the new version is superior when the CVR of the test group is higher than the CVR of the control group. (Step S143). The server 100 selects two new groups whose CVRs in the preparation period are similar from the plurality of groups, and adds one to the control group and the other to the test group (step S144). The server 100 shifts to the process of step S31 as the process of the second test period, and performs the same process as the process of steps S31 to S36. It is not necessary to perform each process of steps S141 to S143.

本変形例によれば、第１グループ及び第３グループのユーザから、所定の第２テスト期間においてアクセスがある場合に第１コンテンツを提供し、第２グループ及び第４グループのユーザから、所定の第２テスト期間においてアクセスがある場合に第２コンテンツを提供するため、第１コンテンツと第２コンテンツを配分するユーザを徐々に増加させることができる。 According to this modification, the first content is provided when the users of the first group and the third group access the content during the predetermined second test period, and the users of the second group and the fourth group provide the first content. Since the second content is provided when there is access in the second test period, the number of users who distribute the first content and the second content can be gradually increased.

（変形例６）
上記実施形態では、第１グループと第２グループが、それぞれ、１のグループからなる例を示した。変形例として、第１グループと第２グループは、それぞれ、複数のグループからなるものであってもよい。 (Modification 6)
In the above embodiment, an example is shown in which the first group and the second group each consist of one group. As a modification, the first group and the second group may each consist of a plurality of groups.

選択部１５４は、複数のグループからなる第１グループと、複数のグループからなる第２グループを選択する。例えば、選択部１５４は、１００のグループの中から、１０のグループからなる第１グループと、１０のグループからなる第２グループを選択する。第１グループと第２グループは、上記実施形態と同様に、第１グループと第２グループの準備情報の統計値が、所定の関係を満たすように選択される。 The selection unit 154 selects a first group composed of a plurality of groups and a second group composed of a plurality of groups. For example, the selection unit 154 selects a first group consisting of 10 groups and a second group consisting of 10 groups from the 100 groups. The first group and the second group are selected so that the statistical values of the preparation information of the first group and the second group satisfy a predetermined relationship, as in the above embodiment.

本変形例によれば、複数のグループからなる第１グループと、複数のグループからなる第２グループを選択するため、第１コンテンツと第２コンテンツを適切にユーザに配分し、Ａ／Ｂテストを行うことができる。 According to this modification, in order to select a first group consisting of a plurality of groups and a second group consisting of a plurality of groups, the first content and the second content are appropriately distributed to users, and an A / B test is performed. It can be carried out.

１ 情報処理システム
１００ サーバ
１１０ データベース
１２０ 通信部
１３０ 入力部
１４０ 表示部
１４１ 表示画面
１４２ 選択ボタン
１５０ 制御部
１５１ 識別子付与部
１５２ 共通コンテンツ提供部
１５３ 準備情報取得部
１５４ 選択部
１５５ コンテンツ提供部
１５６ テスト情報取得部
１５７ 評価部
１６０ 記憶部
２００ ユーザ端末

1 Information processing system 100 Server 110 Database 120 Communication unit 130 Input unit 140 Display unit 141 Display screen 142 Selection button 150 Control unit 151 Identifier assignment unit 152 Common content provision unit 153 Preparation information acquisition unit 154 Selection unit 155 Content provision unit 156 Test information Acquisition unit 157 Evaluation unit 160 Storage unit 200 User terminal

Claims (9)

所定の準備期間において、複数グループの各ユーザに共通コンテンツを提供する共通コンテンツ提供手段と、
前記所定の準備期間において、前記複数グループの各グループのユーザのアクセス情報を準備情報として取得し、該準備情報を記憶手段に記憶する準備情報取得手段と、
所定のテスト期間において、前記各グループの準備情報に基づいて前記複数グループの中から選択される第１グループのユーザからアクセスがある場合に第１コンテンツを提供し、前記各グループの準備情報に基づいて前記複数グループの中から選択される第２グループのユーザからアクセスがある場合に第２コンテンツを提供するコンテンツ提供手段と、
前記所定のテスト期間において、前記第１及び第２グループのユーザのアクセス情報をテスト情報として取得し、それらテスト情報を記憶手段に記憶するテスト情報取得手段と、
を含むサーバ。 A common content providing means that provides common content to each user in a plurality of groups during a predetermined preparation period,
A preparation information acquisition means for acquiring access information of users of each group of the plurality of groups as preparation information and storing the preparation information in a storage means in the predetermined preparation period.
In a predetermined test period, the first content is provided when there is access from a user of the first group selected from the plurality of groups based on the preparation information of each group, and based on the preparation information of each group. A content providing means for providing the second content when there is access from a user in the second group selected from the plurality of groups.
A test information acquisition means that acquires access information of the users of the first and second groups as test information and stores the test information in a storage means during the predetermined test period.
Server including. 前記第１及び第２グループのテスト情報に基づいて前記第１及び第２グループの評価値を比較する評価手段をさらに含む、
請求項１に記載のサーバ。 Further comprising an evaluation means for comparing the evaluation values of the first and second groups based on the test information of the first and second groups.
The server according to claim 1. 前記各グループの準備情報に基づいて前記複数グループの中から前記第１及び第２グループを選択する選択手段をさらに含む、
請求項１又は２に記載のサーバ。 Further including a selection means for selecting the first and second groups from the plurality of groups based on the preparation information of each group.
The server according to claim 1 or 2. 前記第１及び第２グループは、前記第１及び第２グループの準備情報の統計値が、所定の関係を満たすように選択される、
請求項１～３のいずれか一項に記載のサーバ。 The first and second groups are selected so that the statistical values of the preparation information of the first and second groups satisfy a predetermined relationship.
The server according to any one of claims 1 to 3. 前記統計値は、ユニークユーザ数、ＣＶＲ、平均利用額のうち少なくとも一つである、
請求項４に記載のサーバ。 The statistical value is at least one of the number of unique users, CVR, and average usage amount.
The server according to claim 4. 前記共通コンテンツは、前記第１コンテンツである、
請求項１～５のいずれか一項に記載のサーバ。 The common content is the first content.
The server according to any one of claims 1 to 5. 前記コンテンツ提供手段は、前記第１グループ、及び前記複数グループの中からそれらグループのアクセス情報に基づいて選択される第３グループのユーザから、所定の第２テスト期間においてアクセスがある場合に第１コンテンツを提供し、前記第２グループ、及び前記複数グループの中からそれらグループのアクセス情報に基づいて選択される第４グループのユーザから、所定の第２テスト期間においてアクセスがある場合に第２コンテンツを提供する、
請求項１～６のいずれか一項に記載のサーバ。 The content providing means is first when there is access in a predetermined second test period from the users of the third group selected from the first group and the plurality of groups based on the access information of those groups. The second content when the content is provided and the user of the fourth group selected from the second group and the plurality of groups based on the access information of the group has access in the predetermined second test period. I will provide a,
The server according to any one of claims 1 to 6. サーバが実行する情報処理方法であって、
共通コンテンツ提供手段が、所定の準備期間において、複数グループの各ユーザに共通コンテンツを提供する共通コンテンツ提供ステップと、
準備情報取得手段が、前記所定の準備期間において、前記複数グループの各グループのユーザのアクセス情報を準備情報として取得し、該準備情報を記憶手段に記憶する準備情報取得ステップと、
コンテンツ提供手段が、所定のテスト期間において、前記各グループの準備情報に基づいて前記複数グループの中から選択される第１グループのユーザからアクセスがある場合に第１コンテンツを提供し、前記各グループの準備情報に基づいて前記複数グループの中から選択される第２グループのユーザからアクセスがある場合に第２コンテンツを提供するコンテンツ提供ステップと、
テスト情報取得手段が、前記所定のテスト期間において、前記第１及び第２グループのユーザのアクセス情報をテスト情報として取得し、それらテスト情報を記憶手段に記憶するテスト情報取得ステップと、
を含む情報処理方法。 It is an information processing method executed by the server.
A common content providing step in which the common content providing means provides common content to each user of a plurality of groups in a predetermined preparation period, and
A preparation information acquisition step in which the preparation information acquisition means acquires access information of users of each group of the plurality of groups as preparation information and stores the preparation information in the storage means in the predetermined preparation period.
When the content providing means is accessed by a user of the first group selected from the plurality of groups based on the preparation information of each group in a predetermined test period, the content providing means provides the first content and provides the first content to each group. A content provision step that provides the second content when there is access from a user in the second group selected from the plurality of groups based on the preparation information of the above.
A test information acquisition step in which the test information acquisition means acquires access information of the users of the first and second groups as test information in the predetermined test period and stores the test information in the storage means.
Information processing methods including. 所定の準備期間において、複数グループの各ユーザに共通コンテンツを提供する共通コンテンツ提供手段、
前記所定の準備期間において、前記複数グループの各グループのユーザのアクセス情報を準備情報として取得し、該準備情報を記憶手段に記憶する準備情報取得手段、
所定のテスト期間において、前記各グループの準備情報に基づいて前記複数グループの中から選択される第１グループのユーザからアクセスがある場合に第１コンテンツを提供し、前記各グループの準備情報に基づいて前記複数グループの中から選択される第２グループのユーザからアクセスがある場合に第２コンテンツを提供するコンテンツ提供手段、
前記所定のテスト期間において、前記第１及び第２グループのユーザのアクセス情報をテスト情報として取得し、それらテスト情報を記憶手段に記憶するテスト情報取得手段、
としてサーバのコンピュータを機能させるためのプログラム。

A common content providing means that provides common content to each user in a plurality of groups during a predetermined preparation period.
A preparation information acquisition means that acquires access information of users of each group of the plurality of groups as preparation information and stores the preparation information in a storage means during the predetermined preparation period.
In a predetermined test period, the first content is provided when there is access from a user of the first group selected from the plurality of groups based on the preparation information of each group, and based on the preparation information of each group. A content providing means for providing the second content when there is access from a user in the second group selected from the plurality of groups.
A test information acquisition means that acquires access information of the users of the first and second groups as test information in the predetermined test period and stores the test information in a storage means.
A program to make the server computer work as.
JP2020142840A 2020-08-26 2020-08-26 Servers, information processing methods and programs Active JP7046131B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020142840A JP7046131B2 (en) 2020-08-26 2020-08-26 Servers, information processing methods and programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020142840A JP7046131B2 (en) 2020-08-26 2020-08-26 Servers, information processing methods and programs

Publications (2)

Publication Number Publication Date
JP2022038372A true JP2022038372A (en) 2022-03-10
JP7046131B2 JP7046131B2 (en) 2022-04-01

Family

ID=80497888

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020142840A Active JP7046131B2 (en) 2020-08-26 2020-08-26 Servers, information processing methods and programs

Country Status (1)

Country Link
JP (1) JP7046131B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080189156A1 (en) * 2007-02-06 2008-08-07 Digital River, Inc. Site Optimizer
JP2016522475A (en) * 2013-04-12 2016-07-28 アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ Method and device for testing multiple versions
JP2020024736A (en) * 2019-10-23 2020-02-13 株式会社日立製作所 Data analysis system and method for creating measures
CN111177561A (en) * 2019-12-31 2020-05-19 北京奇艺世纪科技有限公司 Test method and device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080189156A1 (en) * 2007-02-06 2008-08-07 Digital River, Inc. Site Optimizer
JP2016522475A (en) * 2013-04-12 2016-07-28 アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ Method and device for testing multiple versions
JP2020024736A (en) * 2019-10-23 2020-02-13 株式会社日立製作所 Data analysis system and method for creating measures
CN111177561A (en) * 2019-12-31 2020-05-19 北京奇艺世纪科技有限公司 Test method and device

Also Published As

Publication number Publication date
JP7046131B2 (en) 2022-04-01

Similar Documents

Publication Publication Date Title
US10534845B2 (en) System and method for optimizing electronic document layouts
US11551290B2 (en) Systems and methods for machine-based matching of lodging inventory from disparate reservation provider systems
KR102402026B1 (en) System for providing virtual space renting service using virtual space archive
US20210241303A1 (en) Systems and Methods for Managing Incentive Campaigns and Automatically Approving Requests for Incentives
US11704705B2 (en) Systems and methods for an intelligent sourcing engine for study participants
JPH117472A (en) Device and method for providing commodity information
JP2006065450A (en) Method for controlling reverse auction, program, and server device
JP7046131B2 (en) Servers, information processing methods and programs
KR102336878B1 (en) Evaluation information providing system and evaluation information providing method
US20210027338A1 (en) Automatic rule generation for next-action recommendation engine
WO2022270610A1 (en) Device, method, and program for plurality of users to perform gifting
US20230071641A1 (en) Generation of product strategy using user segment search terms
US20210248538A1 (en) Talent registration/search system and method
JP7000259B2 (en) Generator, generation method, and generation program
KR101249971B1 (en) System for advertisement and method for controlling advertisement thereof
JP6943587B2 (en) Allocation device, allocation method and allocation program
KR20200010774A (en) Method of managing evaluations based on weighted percentages
JP2020113145A (en) Information processing device, service utilization method, and program
JP7389827B2 (en) Program, information processing method, and information processing device
CN114490701B (en) Intelligent scenic spot offline ticket data processing method, system and storage medium
JP7250079B2 (en) Information processing device, information processing method and information processing program
CN113012797B (en) Physical examination department recommendation method, device, equipment and storage medium
US20230070269A1 (en) Generation of product strategy using user segment search terms
WO2015191739A1 (en) System for tracking and attributing credit accrued through geographically dispersed representation
AU2016222066A1 (en) Personalized ranking for search results of a travel-related database query

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220322

R150 Certificate of patent or registration of utility model

Ref document number: 7046131

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150