JP2023042996A

JP2023042996A - Information processing device, information processing method, and information processing program

Info

Publication number: JP2023042996A
Application number: JP2021150450A
Authority: JP
Inventors: 元希寺中; Motoki Teranaka; 孝太坪内; Kota Tsubouchi
Original assignee: Yahoo Japan Corp
Current assignee: Yahoo Japan Corp
Priority date: 2021-09-15
Filing date: 2021-09-15
Publication date: 2023-03-28
Anticipated expiration: 2041-09-15
Also published as: JP7407779B2

Abstract

To allow for checking reliability of generated information.SOLUTION: An information processing device disclosed herein comprises a first generation unit, second generation unit, and evaluation unit. The first generation unit generates first list information quantifying association between a search query entered by each seed user and a given action on the basis of commonality of the search queries entered by a plurality of seed users who took the given action. The second generation unit generates a plurality of pieces of second list information by removing search queries from the first list information or adding search queries to the first list information. The evaluation unit evaluates reliability of the first list information on the basis of a result of a test for measuring accuracy of the second list information.SELECTED DRAWING: Figure 4

Description

本発明は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。 The present invention relates to an information processing device, an information processing method, and an information processing program.

従来、インターネット上におけるユーザ行動の予測をする手法が知られている。例えば、特許文献１には、ユーザの行動を従来よりも高い精度で予測することを目的として、インターネット上のユーザの検索クエリの傾向を学習し、学習した検索クエリの傾向とその後のユーザの行動との関連性スコアを算出してモデルを生成し、このモデルを用いて他のユーザの行動を予測する技術が提案されている。 Conventionally, a technique for predicting user behavior on the Internet is known. For example, in Patent Document 1, for the purpose of predicting user behavior with higher accuracy than in the past, the tendency of search queries of users on the Internet is learned, and the learned tendency of search queries and subsequent user behavior are disclosed. A technique has been proposed in which a relevance score is calculated to generate a model, and the model is used to predict behavior of other users.

特開２０１６－１７７３７７号公報JP 2016-177377 A

しかしながら、上述した技術では、生成した情報を信頼してもよいかどうかの確証を得ることが難しい。たとえば、結果論として有効な成果を上げるモデルが含まれている可能性があり、仮にＡＢテストを行ったとしても、テストの内容に応じて適切ではないモデルが採用されてしまう場合もある。 However, with the techniques described above, it is difficult to obtain confirmation as to whether or not the generated information can be trusted. For example, in hindsight, there is a possibility that a model that produces effective results is included, and even if an AB test is conducted, an inappropriate model may be adopted depending on the content of the test.

本願は、上記に鑑みてなされたものであって、生成した情報の信頼性を確かめることができる情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。 The present application has been made in view of the above, and an object thereof is to provide an information processing apparatus, an information processing method, and an information processing program capable of confirming the reliability of generated information.

本願に係る情報処理装置は、第１生成部と、第２生成部と、評価部とを備える。第１生成部は、所定の行動を行った複数のシードユーザが入力した検索クエリの共通性に基づいて、各シードユーザが入力した検索クエリと所定の行動との間の関係性を数値化した第１リスト情報を生成する。第２生成部は、第１リスト情報から検索クエリを削除、または第１リスト情報に対して検索クエリを追加した第２リスト情報を複数生成する。評価部は、第２リスト情報の精度を測定するテストの結果に基づいて、第１リスト情報の信頼性を評価する。 An information processing apparatus according to the present application includes a first generation unit, a second generation unit, and an evaluation unit. The first generation unit quantifies the relationship between the search query input by each seed user and the predetermined behavior based on the commonality of the search queries input by the multiple seed users who performed the predetermined behavior. Generate first list information. The second generation unit generates a plurality of second list information by deleting the search query from the first list information or adding the search query to the first list information. The evaluation unit evaluates the reliability of the first list information based on the result of the test that measures the accuracy of the second list information.

実施形態の態様の１つによれば、生成した情報の信頼性を確かめることができる。 According to one aspect of the embodiments, the reliability of the generated information can be verified.

図１は、実施形態に係る情報処理システムの一例を説明する図である。FIG. 1 is a diagram illustrating an example of an information processing system according to an embodiment. 図２は、実施形態に係る第２リスト情報の一例を示す図である。FIG. 2 is a diagram showing an example of second list information according to the embodiment. 図３は、実施形態に係る第２リスト情報の一例を示す図である。FIG. 3 is a diagram showing an example of second list information according to the embodiment. 図４は、実施形態に係る情報処理装置の構成例を示す図である。FIG. 4 is a diagram illustrating a configuration example of an information processing apparatus according to the embodiment; 図５は、実施形態に係る第１リスト情報の概要を示す図である。FIG. 5 is a diagram showing an overview of first list information according to the embodiment. 図６は、実施形態に係る非採用クエリ情報の概要を示す図である。FIG. 6 is a diagram illustrating an overview of non-adopted query information according to the embodiment. 図７は、実施形態に係るユーザ情報の概要を示す図である。FIG. 7 is a diagram showing an overview of user information according to the embodiment. 図８は、実施形態に係る情報処理装置による処理手順の一例を示すフローチャートである。8 is a flowchart illustrating an example of a processing procedure performed by the information processing apparatus according to the embodiment; FIG. 図９は、実施形態に係る情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。FIG. 9 is a hardware configuration diagram showing an example of a computer that implements the functions of the information processing apparatus according to the embodiment.

以下に、本願に係る情報処理装置、情報処理方法、及び情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、以下に説明する実施形態により本願に係る情報処理装置、情報処理方法、及び情報処理プログラムが限定されるものではない。また、以下に説明する実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、以下に説明する実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。 Hereinafter, modes for implementing an information processing apparatus, an information processing method, and an information processing program (hereinafter referred to as "embodiments") according to the present application will be described in detail with reference to the drawings. The information processing apparatus, information processing method, and information processing program according to the present application are not limited to the embodiments described below. Further, the embodiments described below can be appropriately combined within a range that does not contradict the processing contents. Also, in the embodiments described below, the same parts are denoted by the same reference numerals, and overlapping descriptions are omitted.

また、以下の説明において、端末装置１０をユーザと表記して説明する場合がある。すなわち、ユーザを端末装置１０と読み替えることができる。 Also, in the following description, the terminal device 10 may be referred to as a user. That is, the user can be read as the terminal device 10 .

［１．情報処理システム］
図１は、実施形態に係る情報処理システムの一例を説明する図である。図１に示すように、実施形態に係る情報処理システムＳＹＳは、端末装置１０、及び情報処理装置１００を有する。なお、情報処理システムＳＹＳは、図１に示す例に限られず、複数の端末装置１０や複数の情報処理装置１００を有していてもよい。 [1. Information processing system]
FIG. 1 is a diagram illustrating an example of an information processing system according to an embodiment. As shown in FIG. 1 , the information processing system SYS according to the embodiment has a terminal device 10 and an information processing device 100 . The information processing system SYS is not limited to the example shown in FIG. 1, and may have multiple terminal devices 10 and multiple information processing devices 100.

端末装置１０、及び情報処理装置１００は、それぞれ有線又は無線によりネットワークＮ（たとえば、図３参照）に接続される。ネットワークＮは、ＬＡＮ（Local Area Network）や、ＷＡＮ（Wide Area Network）や、電話網（携帯電話網、固定電話網等）や、地域ＩＰ（Internet Protocol）網や、インターネットなどの通信ネットワークである。ネットワークＮは、有線ネットワークが含まれていてもよいし、無線ネットワークが含まれていてもよい。端末装置１０、及び情報処理装置１００は、ネットワークＮを通じて、相互に通信できる。 The terminal device 10 and the information processing device 100 are each connected to a network N (see FIG. 3, for example) by wire or wirelessly. The network N is a communication network such as a LAN (Local Area Network), a WAN (Wide Area Network), a telephone network (mobile telephone network, fixed telephone network, etc.), a local IP (Internet Protocol) network, or the Internet. . The network N may include a wired network or a wireless network. The terminal device 10 and the information processing device 100 can communicate with each other through the network N. FIG.

図１に示す端末装置１０は、検索クエリを用いた各種サービスを利用するユーザが使用する情報処理装置である。たとえば、端末装置１０は、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、ＰＤＡ（Personal Digital Assistant）などにより実現される。 A terminal device 10 shown in FIG. 1 is an information processing device used by a user who uses various services using search queries. For example, the terminal device 10 is implemented by a smart phone, a tablet terminal, a notebook PC (Personal Computer), a desktop PC, a PDA (Personal Digital Assistant), or the like.

また、端末装置１０は、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、５Ｇ（5th Generation：第５世代移動通信システム）などの無線通信網や、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Local Area Network）などの近距離無線通信を介してネットワークＮに接続できる。 In addition, the terminal device 10 is compatible with wireless communication networks such as LTE (Long Term Evolution), 4G (4th Generation), 5G (5th Generation: fifth generation mobile communication system), Bluetooth (registered trademark), wireless LAN (Local Area Network) can be connected to the network N via short-range wireless communication.

また、端末装置１０は、各種サービスを利用するための情報を、ウェブブラウザやアプリケーションにより表示できる。なお、端末装置１０は、情報の表示処理を実現する制御情報を情報処理装置１００などから受け取った場合には、制御情報に従って表示処理を実現する。 In addition, the terminal device 10 can display information for using various services using a web browser or an application. When the terminal device 10 receives control information for implementing information display processing from the information processing device 100 or the like, the terminal device 10 implements the display processing according to the control information.

また、端末装置１０のユーザは、各種サービスの利用を通じて、情報処理装置１００に対し、検索クエリの情報を提供する。たとえば、各種サービスのウェブページやアプリケーションに設けられている検索窓に各ユーザが入力した検索クエリの情報が情報処理装置１００に提供される。 In addition, the user of the terminal device 10 provides search query information to the information processing device 100 through the use of various services. For example, the information processing apparatus 100 is provided with information on search queries input by each user into search windows provided in web pages of various services and applications.

図１に示す情報処理装置１００は、検索クエリを用いた各種サービスなどを提供する情報処理装置である。情報処理装置１００が提供する各種サービスには、各種アプリケーションに対応するＡＰＩ（Application Programming Interface）サービスや、各種オンラインサービスが含まれていてもよい。オンラインサービスとしては、インターネット接続や、検索サービスや、ＳＮＳ（Social Networking Service）や、電子商取引サービスや、電子決済サービスや、オンラインゲームや、オンラインバンキングサービスや、オンライントレーディングサービスや、宿泊予約サービスや、チケット予約サービスや、動画配信サービスや、音楽配信サービスや、ニュース配信サービスや、地図情報サービスや、ルート検索サービスや、経路案内サービスや、路線情報サービスや、運行情報サービスや、天気情報サービスなどのサービスが該当し得る。 An information processing apparatus 100 illustrated in FIG. 1 is an information processing apparatus that provides various services using search queries. Various services provided by the information processing apparatus 100 may include API (Application Programming Interface) services corresponding to various applications and various online services. Online services include Internet connection, search service, SNS (Social Networking Service), electronic commerce service, electronic payment service, online game, online banking service, online trading service, accommodation reservation service, Ticket reservation service, video distribution service, music distribution service, news distribution service, map information service, route search service, route guidance service, route information service, operation information service, weather information service, etc. service may apply.

また、情報処理装置１００は、各種サービスの提供を通じて収集した検索クエリの情報を用いて、実施形態に係る情報処理を実行する情報処理装置である。情報処理装置１００は、典型的にはサーバ装置であるが、メインフレームやワークステーションなどにより実現されてもよい。 The information processing apparatus 100 is an information processing apparatus that executes information processing according to the embodiment using search query information collected through provision of various services. The information processing device 100 is typically a server device, but may be realized by a mainframe, workstation, or the like.

情報処理装置１００がサーバ装置で実現される場合、単独のサーバにより実現されてもよいし、複数のサーバ装置及び複数のストレージ装置が協働して動作するクラウドシステムなどにより実現されてもよい。なお、情報処理装置１００は、端末装置１０に制御情報を配信する配信装置として機能してもよい。ここで、制御情報は、例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）などのスクリプト言語やＣＳＳ（Cascading Style Sheets）などのスタイルシート言語により記述される。なお、情報処理装置１００から配信されるアプリケーションそのものを制御情報とみなしてもよい。 When the information processing apparatus 100 is realized by a server device, it may be realized by a single server, or may be realized by a cloud system or the like in which a plurality of server devices and a plurality of storage devices operate in cooperation. Note that the information processing device 100 may function as a distribution device that distributes control information to the terminal device 10 . Here, the control information is described in, for example, a script language such as JavaScript (registered trademark) or a style sheet language such as CSS (Cascading Style Sheets). Note that the application itself distributed from the information processing apparatus 100 may be regarded as control information.

［２．情報処理］
以下、情報処理システムＳＹＳにおける情報処理の一例を説明する。なお、以下の説明において、実施形態に係る情報処理の対象は、各種サービスを利用するユーザである。また、以下の説明において、シードユーザＵの一群を「ユーザ群ＵＧ」と総称する。シードユーザＵは、「〇〇を買った」、「〇〇に行った」、「〇〇している」といった所定の行動を行ったユーザや、特定の属性（興味嗜好など）を有するユーザなど、特定のユーザコンテキストを有するユーザに該当する。 [2. information processing]
An example of information processing in the information processing system SYS will be described below. In the following description, the target of information processing according to the embodiment is users who use various services. Also, in the following description, a group of seed users U will be collectively referred to as a "user group UG". The seed user U is a user who performed a predetermined action such as "I bought XX", "I went to XX", or "I am doing XX", or a user with specific attributes (interests and tastes, etc.). , corresponds to a user with a particular user context.

なお、以下に説明する情報処理は、情報処理の対象がシードユーザＵを含む複数のユーザである場合に限られず、商品や、街や、サービスなど、情報を収集可能な対象であれば、どのような対象に対しても適用できる。 It should be noted that the information processing described below is not limited to the case where the target of information processing is a plurality of users including the seed user U, and any target for which information can be collected, such as a product, a town, or a service, can be used. It can also be applied to such objects.

まず、図１に示す例において、情報処理装置１００は、ユーザ群ＵＧを特定する。そして、情報処理装置１００は、ユーザ群ＵＧに含まれるシードユーザＵが入力した検索クエリの共通性に基づいて、シードユーザＵが入力した検索クエリと所定の行動との関係性を数値化した第１リスト情報を生成し、記憶する。 First, in the example shown in FIG. 1, the information processing apparatus 100 identifies a user group UG. Then, the information processing apparatus 100 quantifies the relationship between the search query input by the seed user U and the predetermined behavior based on the commonality of the search queries input by the seed user U included in the user group UG. 1 list information is generated and stored.

たとえば、情報処理装置１００は、「〇〇を買った」「〇〇に興味がある」という条件（タイトル）を満たすユーザをシードユーザＵとして収集し、シードユーザＵが入力した検索クエリの共通性に基づいたスコアを付与した第１リストを作成する。具体的には、「眼鏡をかけている」というシードユーザＵを収集し、検索クエリ：「眼鏡」に「７０点」、検索クエリ：「眼鏡ふき」に「５０点」、検索クエリ：「リンゴ」にスコア「－５０点」といったようなスコアを付与し、検索クエリとスコアとの組である第１リストを作成する。 For example, the information processing apparatus 100 collects users who satisfy the conditions (titles) of “I bought XX” and “I am interested in XX” as seed users U, and the commonality of the search queries input by the seed users U Create a first list with a score based on Specifically, seed users U who say “wearing glasses” are collected, search query: “glasses” is “70 points”, search query is “wiping glasses” and “50 points”, search query is “apple ” is given a score such as “−50 points” to create a first list that is a combination of the search query and the score.

上述したシードユーザＵの一群であるユーザ群ＵＧの特定は、任意の方法を用いて行うことができる。たとえば、情報処理装置１００は、各種の購買履歴や利用履歴、位置履歴などの各種の情報に基づいて、想定される行動を行ったユーザをシードユーザＵであると推定し、ユーザ群ＵＧを特定してもよい。具体的には、ある所定の店舗の名称を検索クエリとして入力し、その後、その所定の店舗を実際に訪問した訪問者（シードユーザＵ）を推定することによりユーザ群ＵＧを特定してもよい。また、別の例として、イベントの名称を検索クエリとして入力し、その後、そのイベントに実際に参加した参加者（シードユーザＵ）を推定することによりユーザ群ＵＧを特定してもよい。また、更に別の例として、ある商品の名称を検索クエリとして入力し、その後、その名称の商品を実際に購入した購入者（シードユーザＵ）を推定することによりユーザ群ＵＧを特定してもよい。また、情報処理装置１００は、実際に所定の店舗（たとえば、配信済みの広告と対応する店舗）を利用した利用者（シードユーザＵ）を推定することによりユーザ群ＵＧを特定してもよい。また、情報処理装置１００は、所定の広告やウェブページ、映画や音楽などのコンテンツを視聴した視聴者（シードユーザＵ）を推定することによりユーザ群ＵＧを特定してもよい。 Any method can be used to identify the user group UG, which is a group of seed users U described above. For example, the information processing apparatus 100 presumes that the user who has performed the assumed behavior is the seed user U based on various types of information such as various purchase histories, usage histories, and location histories, and identifies the user group UG. You may Specifically, the user group UG may be specified by inputting the name of a predetermined store as a search query and then estimating the visitors (seed users U) who actually visited the predetermined store. . As another example, the user group UG may be specified by inputting the name of the event as a search query and then estimating the participants (seed users U) who actually participated in the event. As yet another example, the user group UG may be specified by inputting the name of a product as a search query and then estimating the purchasers (seed users U) who actually purchased the product with that name. good. Further, the information processing apparatus 100 may specify the user group UG by estimating users (seed users U) who have actually used a predetermined store (for example, a store corresponding to a distributed advertisement). Further, the information processing apparatus 100 may identify the user group UG by estimating viewers (seed users U) who have viewed content such as predetermined advertisements, web pages, movies, and music.

また、情報処理装置１００は、第１リストにおける検索クエリのスコアは、以下のような機械学習により生成される行動モデルから求めることができる。たとえば、情報処理装置１００は、シードユーザＵが入力した検索クエリを正例とし、ランダムに選択したシードユーザＵ以外の他のユーザが入力した検索クエリを負例としたときに、正例を入力した際により高い値を出力し、負例を入力した際により低い値を出力するように学習モデルの学習を行う。このとき、学習には任意の手法が採用可能である。たとえば、モデルとしてニューラルネットワークが採用される場合は、バックプロパゲーションなどにより実現可能である。 Also, the information processing apparatus 100 can obtain the score of the search query in the first list from the behavior model generated by the following machine learning. For example, when the information processing apparatus 100 regards a search query input by the seed user U as a positive example and a search query input by a randomly selected user other than the seed user U as a negative example, a positive example is input. The learning model is trained so that a higher value is output when a negative example is input, and a lower value is output when a negative example is input. At this time, any method can be adopted for learning. For example, when a neural network is adopted as a model, it can be realized by back propagation or the like.

また、情報処理装置１００は、シードユーザＵが共通して入力している検索クエリについては、より高い値の数値が出力されるようにモデルを学習してもよい。たとえば、正例となる検索クエリを入力したシードユーザＵの数が多ければ多い程、より高い値を出力するようにモデルを学習してもよい。また、負例となる検索クエリを入力した他のユーザの数が多い程、より小さい値（負の値）を出力するようにモデルを学習してもよい。そして、情報処理装置１００は、各検索クエリと、このような学習モデルに検索クエリを入力した際に出力したスコアとの組のリストを「第１リスト情報」として生成する。すなわち、情報処理装置１００は、所定の行動を行ったシードユーザＵが入力した各検索クエリと、検索クエリの各々に対応する上述のスコア（検索クエリと所定の行動との間の関係性を示すスコア）との組を「第１リスト情報」として生成する。なお、この第１リスト情報は、所定の行動ごとに生成された行動モデルを用いて、所定の行動ごとに生成される。 In addition, the information processing apparatus 100 may learn a model so that a higher numerical value is output for search queries commonly input by the seed user U. For example, the model may be learned to output a higher value as the number of seed users U who input positive search queries increases. Alternatively, the model may be learned so that the larger the number of other users who have entered search queries that are negative examples, the smaller the value (negative value) that is output. Then, the information processing apparatus 100 generates a list of pairs of each search query and the score output when the search query is input to such a learning model as "first list information". That is, the information processing apparatus 100 receives each search query input by the seed user U who has performed a predetermined action, and the score corresponding to each of the search queries (the score indicating the relationship between the search query and the predetermined action). score) is generated as "first list information". Note that this first list information is generated for each predetermined action using a behavior model generated for each predetermined action.

また、情報処理装置１００は、ユーザ群ＵＧが入力した検索クエリと、第１リスト情報とに基づいて、所定の行動とシードユーザＵを含む複数のユーザとの関係性を数値化し、数値化した関係性を示す値に基づいて、シードユーザＵを含む複数のユーザを順位付けしたユーザリストを生成できる。 Further, the information processing apparatus 100 quantifies and quantifies the relationship between a predetermined behavior and a plurality of users including the seed user U based on the search query input by the user group UG and the first list information. A user list in which a plurality of users including the seed user U are ranked based on the value indicating the relationship can be generated.

たとえば、情報処理装置１００は、シードユーザＵを含む各ユーザの中から処理対象とするユーザの選定を行い、選定した各ユーザが入力した検索クエリと対応付けられたスコアを第１リスト情報から特定する。なお、情報処理装置１００は、処理対象とするユーザを無作為に選定してもよいし、所定の条件に基づいて選定してもよい。そして、情報処理装置１００は、特定したスコアの合計を用いて、所定の行動と、複数ユーザの中から選定した各ユーザとの間の関係性を示すユーザリストを導出する。たとえば、ユーザリストにおいて、所定の行動と関係性が高いユーザはスコアが高く、所定の行動と関係性が低いユーザはスコアが低くなる。 For example, the information processing apparatus 100 selects a user to be processed from among users including the seed user U, and identifies a score associated with a search query input by each selected user from the first list information. do. The information processing apparatus 100 may randomly select a user to be processed, or may select the user based on a predetermined condition. Then, the information processing apparatus 100 uses the specified total score to derive a user list indicating the relationship between the predetermined behavior and each user selected from among the plurality of users. For example, in the user list, a user who has a high relationship with a predetermined behavior has a high score, and a user who has a low relationship with a predetermined behavior has a low score.

以下、情報処理装置１００によるユーザリストの生成について具体的に説明する。シードユーザＵを含む各ユーザが入力した複数の検索クエリひとつひとつについて、対応付けられたスコアを第１リスト情報から取得し、取得したスコアの合計値を算出する。このようにすれば、各ユーザが入力した複数の検索クエリと所定の行動との関係性を数値として表すことができるため、単一の検索クエリの数値化と比較してより信頼性の高い数値化を実現できる。 Generation of the user list by the information processing apparatus 100 will be specifically described below. For each of the plurality of search queries input by each user including the seed user U, the associated score is acquired from the first list information, and the total value of the acquired scores is calculated. In this way, the relationship between a plurality of search queries input by each user and a predetermined action can be expressed as a numerical value. can be realized.

次に、情報処理装置１００は、各ユーザについてスコアの合計値を計算した後、スコアの高い順に各ユーザを順位付けするとともに、順位順に各ユーザが入力した検索クエリを対応付けたユーザリストを生成する。このユーザリストは、どのような検索クエリを入力したユーザが、所定の行動との関連性が強いかを示すリストとして機能する。このユーザリストは、検索クエリと所定の行動との関連性の分析や、ユーザの分析などに用いられる。なお、このユーザリストは、シードユーザＵを選定する際に設定される行動（たとえば、「〇〇を買った」、「〇〇に行った」、「〇〇している」など）といった所定の行動ごとに生成される。 Next, after calculating the total score value for each user, the information processing apparatus 100 ranks each user in descending order of the score, and generates a user list in which the search queries input by each user are associated in order of rank. do. This user list functions as a list indicating what kind of search query the user has entered that is highly relevant to a given action. This user list is used for analysis of relevance between search queries and predetermined actions, analysis of users, and the like. It should be noted that this user list contains predetermined behaviors set when selecting the seed user U (for example, "I bought XX", "I went to XX", "I'm doing XX", etc.). Generated for each action.

上述したユーザリストを用いることにより、ユーザが興味を有する可能性が高い情報の提供を実現できると考えられる。たとえば、ある店舗を訪問したという行動と対応するユーザリストには、その行動と関連性が高いユーザのランキングが含まれる。そこで、たとえば、広告を配信する配信サーバは、ユーザリストを用いることにより、ランキングの順位が高いユーザに対し、その店舗に関する広告を提供することで、広告効果を向上させることができると考えられる。また、ある商品を購入したという行動と対応するユーザリストには、その行動と関連性が高いユーザのランキングが含まれる。そこで、たとえば、広告を配信する配信サーバは、ユーザリストを用いることにより、ランキングの順位が高いユーザに対し、その商品またはその商品と関連する商品に関する広告を提供することで、広告効果を向上させることができると考えられる。 By using the user list described above, it is considered possible to provide information that is highly likely to be of interest to the user. For example, a user list corresponding to an action of visiting a certain store includes rankings of users highly relevant to the action. Therefore, for example, it is conceivable that a distribution server that distributes advertisements can improve advertising effectiveness by providing advertisements related to stores to users with high rankings by using a user list. In addition, the user list corresponding to the behavior of purchasing a certain product includes rankings of users highly relevant to the behavior. Therefore, for example, a distribution server that distributes advertisements uses a user list to provide advertisements related to products or related products to users with high rankings, thereby improving advertising effectiveness. It is considered possible.

一方、上述したユーザリストについて、ユーザの行動を正確に反映したリストであるかどうかの確証を得ることは難しい。すなわち、スコアに基づいてユーザを順位付けした際に、果たしてどの順位までのユーザが所定の行動との関係性を有するのかという点について、実際には定かではない。たとえば、スコアが高いほど、所定の行動を取る可能性が高いという推測が働くが、スコアがどの程度高ければ所定の行動と関連性が高いのかを見極めることは難しい。また、スコアの高さと、所定の行動との関係性の高さとの相関関係の検証も十分とは言い切れない。 On the other hand, it is difficult to confirm whether or not the user list described above accurately reflects the user's behavior. In other words, when users are ranked based on their scores, it is not actually clear to what rank users have a relationship with a predetermined action. For example, it is speculated that the higher the score, the higher the possibility of taking a predetermined action, but it is difficult to determine how high the score is and how highly relevant the predetermined action is. Moreover, it cannot be said that the verification of the correlation between the high score and the high degree of relationship with the predetermined behavior is sufficient.

そこで、実施形態に係る情報処理装置１００は、以下に説明する情報処理により、ユーザリストの元となる第１リスト情報の信頼性を確認するための情報処理方法を提案する。 Therefore, the information processing apparatus 100 according to the embodiment proposes an information processing method for confirming the reliability of the first list information, which is the basis of the user list, by the information processing described below.

まず、情報処理装置１００は、第１リスト情報から検索クエリを削除、または第１リスト情報に対して検索クエリを追加した第２リスト情報を複数生成する（ステップＳ１）。次に、情報処理装置１００は、生成した第２リスト情報の精度を測定するテストを実行する（ステップＳ２）。そして、情報処理装置１００は、第２リスト情報の精度を測定するテストの結果に基づいて、第１リスト情報の信頼性を評価する（ステップＳ３）。 First, the information processing apparatus 100 deletes a search query from the first list information or generates a plurality of second list information by adding a search query to the first list information (step S1). Next, the information processing device 100 executes a test for measuring the accuracy of the generated second list information (step S2). Then, the information processing apparatus 100 evaluates the reliability of the first list information based on the result of the test for measuring the accuracy of the second list information (step S3).

以下、図２及び図３を用いて、第２リスト情報の一例を説明する。図２及び図３は、実施形態に係る第２リスト情報の一例を示す図である。 An example of the second list information will be described below with reference to FIGS. 2 and 3. FIG. 2 and 3 are diagrams showing examples of the second list information according to the embodiment.

まず、図２に示すように、情報処理装置１００は、信頼性の評価対象となる第１リスト情報ＬＴ１－１と、非採用クエリ情報ＬＴ１－２とを取得する。なお、非採用クエリ情報ＬＴ１－２は、第１リスト情報ＬＴ１－１の生成過程で採用されなかった検索クエリの情報である。図２に示す例では、行動Ａに対応する第１リスト情報ＬＴ１－１と、非採用クエリ情報ＬＴ１－２とが取得されている。 First, as shown in FIG. 2, the information processing apparatus 100 acquires first list information LT1-1 and non-adopted query information LT1-2 to be evaluated for reliability. Note that the non-adopted query information LT1-2 is information of search queries that were not adopted in the process of generating the first list information LT1-1. In the example shown in FIG. 2, first list information LT1-1 corresponding to action A and non-adoption query information LT1-2 are acquired.

次に、図２に示すように、情報処理装置１００は、第１リスト情報ＬＴ１－１に含まれる検索クエリの一部を削除することにより、複数の第２リスト情報ＬＴ２－１を生成する。なお、情報処理装置１００は、第２リスト情報ＬＴ２－１を生成する際、検索クエリを１つずつ削除してもよいし、任意の数の検索クエリを一度に削除してもよい。また、情報処理装置１００は、第２リスト情報ＬＴ２－１から削除する検索クエリの数に上限を設けてもよい。 Next, as shown in FIG. 2, the information processing apparatus 100 generates a plurality of second list information LT2-1 by deleting part of the search query included in the first list information LT1-1. When generating the second list information LT2-1, the information processing apparatus 100 may delete search queries one by one, or may delete an arbitrary number of search queries at once. Further, the information processing apparatus 100 may set an upper limit on the number of search queries to be deleted from the second list information LT2-1.

また、図２に示すように、情報処理装置１００は、第１リスト情報ＬＴ１－１に対して、非採用クエリ情報ＬＴ１－２に含まれている検索クエリを追加することにより、複数の第２リスト情報ＬＴ２－２を生成する。なお、情報処理装置１００は、第２リスト情報ＬＴ２－２を生成する際、非採用クエリ情報ＬＴ１－２に含まれている検索クエリを１つずつ追加してもよいし、第１リスト情報ＬＴ１－１から２つ以上の検索クエリを一度に削除してもよい。また、情報処理装置１００は、第２リスト情報ＬＴ２－１から削除する検索クエリの数に上限を設けてもよい。なお、情報処理装置１００は、第１リスト情報ＬＴ１－１に対して、非採用クエリ情報ＬＴ１－２には含まれない任意の検索クエリを追加してもよい。 Further, as shown in FIG. 2, the information processing apparatus 100 adds a search query included in the non-adopted query information LT1-2 to the first list information LT1-1, thereby obtaining a plurality of second search queries. Generate list information LT2-2. When generating the second list information LT2-2, the information processing apparatus 100 may add search queries included in the non-adopted query information LT1-2 one by one, or may - 1 to 2 or more search queries may be deleted at once. Further, the information processing apparatus 100 may set an upper limit on the number of search queries to be deleted from the second list information LT2-1. Note that the information processing apparatus 100 may add any search query that is not included in the non-adopted query information LT1-2 to the first list information LT1-1.

また、図３に示すように、情報処理装置１００は、第１リスト情報ＬＴ１－１に対して、第１リスト情報ＬＴ１－１に含まれる検索クエリの組合せを追加することにより、第２リスト情報ＬＴ２－３を生成することもできる。なお、図３に示す例では、第１リスト情報ＬＴ１－１に対して、１対１の検索クエリの組合せが追加される場合を示しているが、３つ以上の検索クエリの組合せを追加してもよい。また、情報処理装置１００は、検索クエリの組合せを１つずつ追加してもよいし、２つ以上の組合せを一度に追加してもよい。 Further, as shown in FIG. 3, the information processing apparatus 100 adds the combination of search queries included in the first list information LT1-1 to the first list information LT1-1, thereby obtaining the second list information. LT2-3 can also be produced. Note that the example shown in FIG. 3 shows a case where a one-to-one search query combination is added to the first list information LT1-1, but three or more search query combinations are added. may The information processing apparatus 100 may add one search query combination at a time, or may add two or more combinations at once.

また、図３に示すように、情報処理装置１００は、第１リスト情報ＬＴ１－１に対して、非採用クエリ情報ＬＴ１－２に含まれる検索クエリの中から選択した複数の検索クエリの組合せを追加することにより、第２リスト情報ＬＴ２－４を生成することもできる。なお、図３に示す例では、第１リスト情報ＬＴ１－１に対して、１対１の検索クエリの組合せが追加される場合を示しているが、３つ以上の検索クエリの組合せを追加してもよい。また、情報処理装置１００は、検索クエリの組合せを１つずつ追加してもよいし、２つ以上の組合せを一度に追加してもよい。 Further, as shown in FIG. 3, the information processing apparatus 100 adds a combination of a plurality of search queries selected from the search queries included in the non-adopted query information LT1-2 to the first list information LT1-1. By adding, the second list information LT2-4 can also be generated. Note that the example shown in FIG. 3 shows a case where a one-to-one search query combination is added to the first list information LT1-1, but three or more search query combinations are added. may The information processing apparatus 100 may add one search query combination at a time, or may add two or more combinations at once.

また、図３に示すように、情報処理装置１００は、第１リスト情報ＬＴ１－１に対して、第１リスト情報ＬＴ１－１に含まれる検索クエリと、非採用クエリ情報ＬＴ１－２に含まれる検索クエリの中から選択した検索クエリとの組合せを追加することにより、第２リスト情報ＬＴ２－５を生成することもできる。なお、図３に示す例では、第１リスト情報ＬＴ１－１に対して、１対１の検索クエリの組合せが追加される場合を示しているが、１対多や多対１、多対多の組合せを追加してもよい。また、情報処理装置１００は、検索クエリの組合せを１つずつ追加してもよいし、２つ以上の組合せを一度に追加してもよい。 Further, as shown in FIG. 3, the information processing apparatus 100 performs the search query included in the first list information LT1-1 and the search query included in the non-adopted query information LT1-2 for the first list information LT1-1. The second list information LT2-5 can also be generated by adding combinations with search queries selected from the search queries. The example shown in FIG. 3 shows a case where a one-to-one search query combination is added to the first list information LT1-1. You can add a combination of The information processing apparatus 100 may add one search query combination at a time, or may add two or more combinations at once.

以下、情報処理装置１００が実施する第２リスト情報の精度を測定するテスト方法の一例について説明する。 An example of a test method for measuring the accuracy of the second list information performed by the information processing apparatus 100 will be described below.

たとえば、情報処理装置１００は、複数の第２リスト情報について、一斉にＡＢテストを実行することにより、複数の第２リスト情報の精度をそれぞれ測定する。具体的には、情報処理装置１００は、生成した複数の第２リスト情報と同数のユーザグループを設定し、設定した各ユーザグループに対して、第２リスト情報を重複しないように個別に割り当てる。なお、各ユーザグループは、無作為に選択した予め定められる人数のユーザで構成される。 For example, the information processing apparatus 100 measures the accuracy of each of the plurality of second list information by performing an AB test on the plurality of second list information at once. Specifically, the information processing apparatus 100 sets the same number of user groups as the plurality of generated second list information, and individually assigns the second list information to each of the set user groups so as not to overlap. Each user group is composed of a predetermined number of randomly selected users.

続いて、情報処理装置１００は、第２リスト情報を用いて、各ユーザグループのユーザリストをそれぞれ作成する。続いて、情報処理装置１００は、各ユーザリストにおいて上位に位置付けられている各ユーザ（たとえば、上位１００位までの各ユーザ）に対して、所定の行動に対応する広告の配信を行う。続いて、情報処理装置１００は、各ユーザリストに基づいて配信した広告の効果測定を行う。広告の効果を測定するための指標には、任意の指標を用いることができる。たとえば、この指標として、インプレッション数や、インプレッション単価や、リーチや、クリック数や、クリック率や、クリック単価や、コンバージョン数や、コンバージョン率や、セッション数や、コンバージョン単価などを採用できる。 Subsequently, the information processing apparatus 100 creates a user list for each user group using the second list information. Subsequently, the information processing apparatus 100 distributes an advertisement corresponding to a predetermined action to each user ranked high in each user list (for example, each user in the top 100). Subsequently, the information processing apparatus 100 measures the effectiveness of the distributed advertisement based on each user list. Any index can be used as the index for measuring the effectiveness of the advertisement. For example, this metric can be number of impressions, cost per impression, reach, number of clicks, click rate, cost per click, number of conversions, conversion rate, number of sessions, cost per conversion, etc.

そして、情報処理装置１００は、第１リスト情報に基づくユーザリストを用いて広告配信を行った場合の広告の効果と、各第２リスト情報に基づくユーザリストの各々を用いて広告配信を行った場合の広告の効果とを比較することにより、第２リスト情報の精度をそれぞれ測定する。 Then, the information processing apparatus 100 distributes the advertisement using each of the user lists based on the second list information and the effect of the advertisement when the advertisement is distributed using the user list based on the first list information. The accuracy of the second listing information is measured by comparing the effectiveness of the advertisement in each case.

たとえば、情報処理装置１００は、複数の第２リスト情報の各々に基づく各広告のうち、第１リスト情報を用いた広告の効果を上回る効果が認められた広告の数が所定の閾値未満である場合、第１リスト情報の信頼性は高いと評価する。一方、情報処理装置１００は、複数の第２リスト情報の各々に基づく各広告のうち、第１リスト情報を用いた広告の効果を上回る効果が認められた広告の数が所定の閾値以上である場合、第１リスト情報の信頼性は低いと評価する。 For example, the information processing device 100 determines that the number of advertisements whose effect is greater than that of the advertisement using the first list information among the advertisements based on each of the plurality of second list information is less than a predetermined threshold. In this case, the reliability of the first list information is evaluated as high. On the other hand, the information processing apparatus 100 determines that the number of advertisements whose effect is greater than the effect of the advertisement using the first list information among the advertisements based on each of the plurality of second list information is equal to or greater than a predetermined threshold. In this case, the reliability of the first list information is evaluated as low.

また、情報処理装置１００は、以下に説明する方法により、第２リスト情報の精度を測定するためのテストを実施することもできる。たとえば、情報処理装置１００は、生成した複数の第２リスト情報のそれぞれに対応するユーザリストを生成する。次に、情報処理装置１００は、各ユーザリストの上位に位置付けられているユーザ（たとえば、上位１００位までの各ユーザ）が、実際に対応する所定の行動（たとえば、行動Ａ）を行った割合をリサーチする。 The information processing apparatus 100 can also perform a test for measuring the accuracy of the second list information by the method described below. For example, information processing apparatus 100 generates a user list corresponding to each of the plurality of generated second list information. Next, information processing apparatus 100 calculates the percentage of users ranked at the top of each user list (for example, each of the top 100 users) actually performed a corresponding predetermined action (for example, action A). to research.

続いて、情報処理装置１００は、複数の第２リスト情報の各々に基づくユーザリストごとに、第１リスト情報に基づくユーザリストの上位に位置付けられているユーザが所定の行動を行った行動実行率と、第２リスト情報に基づくユーザリストの上位に位置付けられているユーザが所定の行動を行った行動実行率とを個別に比較する。そして、情報処理装置１００は、複数の第２リスト情報の各々に基づく各ユーザリストのうち、第１リスト情報に紐づく行動実行率を上回る行動実行率を記録したユーザリストの数が所定の閾値未満である場合、第１リスト情報の信頼性は高いと評価する。一方、情報処理装置１００は、複数の第２リスト情報の各々に基づく各ユーザリストのうち、第１リスト情報に紐づく行動実行率を上回る行動実行率を記録したユーザリストの数が所定の閾値以上である場合、第１リスト情報の信頼性は低いと評価する。 Subsequently, the information processing apparatus 100 calculates the action execution rate of a user ranked high in the user list based on the first list information who has performed a predetermined action for each user list based on each of the plurality of second list information. , and the action execution rate of a user ranked high in the user list based on the second list information performing a predetermined action. Then, the information processing apparatus 100 determines that the number of user lists recording an action execution rate higher than the action execution rate associated with the first list information among the user lists based on each of the plurality of second list information is a predetermined threshold value. If it is less than that, the reliability of the first list information is evaluated as high. On the other hand, the information processing apparatus 100 determines that, among the user lists based on each of the plurality of second list information, the number of user lists recording an action execution rate exceeding the action execution rate associated with the first list information is a predetermined threshold value. In the case above, the reliability of the first list information is evaluated as low.

このように、実施形態に係る情報処理装置１００は、第１リスト情報の信頼性を評価できる。 Thus, the information processing apparatus 100 according to the embodiment can evaluate the reliability of the first list information.

［３．情報処理装置の構成］
図４を用いて、実施形態に係る情報処理装置１００の構成について説明する。図４は、実施形態に係る情報処理装置の構成例を示す図である。 [3. Configuration of information processing device]
The configuration of the information processing apparatus 100 according to the embodiment will be described with reference to FIG. FIG. 4 is a diagram illustrating a configuration example of an information processing apparatus according to the embodiment;

図４に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを備える。なお、図４は、情報処理装置１００の構成例を示すものであり、図４に示す形態には限られず、図４に示す以外の他の機能部を備える形態であってもよい。 As shown in FIG. 4, the information processing apparatus 100 includes a communication section 110, a storage section 120, and a control section . Note that FIG. 4 shows a configuration example of the information processing apparatus 100, and is not limited to the form shown in FIG.

（通信部１１０）
通信部１１０は、例えば、ネットワークＮと有線または無線で接続され、ネットワークＮを介して、端末装置１０などの他の装置との間で情報の送受信を行う。通信部１１０は、例えば、ＮＩＣ（Network Interface Card）やアンテナなどによって実現される。ネットワークＮは、ＬＡＮ（Local Area Network）や、ＷＡＮ（Wide Area Network）や、電話網（携帯電話網や固定電話網など）や、地域ＩＰ（Internet Protocol）網や、インターネットなどの通信ネットワークである。ネットワークＮには、有線ネットワークが含まれていてもよいし、無線ネットワークが含まれていてもよい。 (Communication unit 110)
The communication unit 110 is connected to the network N by wire or wirelessly, for example, and transmits and receives information to and from another device such as the terminal device 10 via the network N. The communication unit 110 is implemented by, for example, a NIC (Network Interface Card), an antenna, or the like. The network N is a communication network such as a LAN (Local Area Network), a WAN (Wide Area Network), a telephone network (mobile telephone network, fixed telephone network, etc.), a regional IP (Internet Protocol) network, or the Internet. . The network N may include wired networks or wireless networks.

通信部１１０は、端末装置１０から、撮影画像などの情報を受信する。また、通信部１１０は、提案情報を端末装置１０に送信する。 The communication unit 110 receives information such as captured images from the terminal device 10 . Also, the communication unit 110 transmits the proposal information to the terminal device 10 .

（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリなどの半導体メモリ素子、または、ハードディスクや光ディスクなどの記憶装置によって実現される。記憶部１２０は、制御部１３０の各部により実行される情報処理を実現するためのプログラム及びデータを記憶する。 (storage unit 120)
The storage unit 120 is realized by, for example, a RAM (Random Access Memory), a semiconductor memory device such as a flash memory, or a storage device such as a hard disk or an optical disk. Storage unit 120 stores programs and data for realizing information processing executed by each unit of control unit 130 .

図４に示すように、記憶部１２０は、第１リスト情報記憶部１２１と、非採用クエリ情報記憶部１２２と、ユーザ情報記憶部１２３とを有する。 As shown in FIG. 4 , the storage unit 120 has a first list information storage unit 121 , a non-adoption query information storage unit 122 and a user information storage unit 123 .

（第１リスト情報記憶部１２１）
第１リスト情報記憶部１２１には、第１リスト情報が任意の形式で記憶されている。第１リスト情報は、所定の行動を行った複数のシードユーザが入力した検索クエリの共通性に基づいて、各シードユーザが入力した検索クエリと所定の行動との間の関係性を数値化した情報である。図５は、実施形態に係る第１リスト情報の概要を示す図である。 (First list information storage unit 121)
First list information is stored in an arbitrary format in the first list information storage unit 121 . The first list information is based on the commonality of search queries input by multiple seed users who have performed a predetermined action, and quantifies the relationship between the search query input by each seed user and the predetermined action. Information. FIG. 5 is a diagram showing an overview of first list information according to the embodiment.

図５に示すように、第１リスト情報は、第１リスト情報の作成時に予め設定される所定の行動ごとに設けられる。第１リスト情報は、「検索クエリ」の項目と、「スコア」の項目とを有する。第１リスト情報が有するこれらの項目は、相互に対応付けられている。 As shown in FIG. 5, the first list information is provided for each predetermined action preset when the first list information is created. The first list information has an item of "search query" and an item of "score". These items of the first list information are associated with each other.

「検索クエリ」の項目には、所定の行動を行ったシードユーザにより入力された検索クエリの情報が記憶される。また、「スコア」の項目には、検索クエリと所定の行動との間の関係性を示すスコアの情報が記憶される。 The "search query" item stores information on a search query input by a seed user who has performed a predetermined action. Also, in the "score" item, score information indicating the relationship between a search query and a predetermined action is stored.

（非採用クエリ情報記憶部１２２）
非採用クエリ情報記憶部１２２には、非採用クエリ情報が任意の形式で記憶されている。非採用クエリ情報は、第１リスト情報の生成過程で採用されなかった検索クエリに関する情報である。図６は、実施形態に係る非採用クエリ情報の概要を示す図である。 (Non-adopted query information storage unit 122)
The non-adopted query information storage unit 122 stores non-adopted query information in an arbitrary format. Non-adopted query information is information about search queries that were not adopted in the process of generating the first list information. FIG. 6 is a diagram illustrating an overview of non-adopted query information according to the embodiment.

図６に示すように、非採用クエリ情報は、第１リスト情報の作成時に予め設定される所定の行動ごとに設けられる。また、図６に示すように、非採用クエリ情報は、「検索クエリ」の項目と、「スコア」の項目とを有する。第２リスト情報が有するこれらの項目は相互に対応付けられている。 As shown in FIG. 6, non-adopted query information is provided for each predetermined action preset when the first list information is created. Further, as shown in FIG. 6, the non-adopted query information has an item of "search query" and an item of "score". These items of the second list information are associated with each other.

（ユーザ情報記憶部１２３）
ユーザ情報記憶部１２３には、各ユーザから提供される検索クエリなどのユーザ情報が任意の形式で記憶されている。図７は、実施形態に係るユーザ情報の概要を示す図である。 (User information storage unit 123)
The user information storage unit 123 stores user information such as search queries provided by each user in an arbitrary format. FIG. 7 is a diagram showing an overview of user information according to the embodiment.

図７に示すように、ユーザ情報は、「ユーザＩＤ」の項目や、「検索履歴」の項目などを有する。 As shown in FIG. 7, the user information has items such as "user ID" and "search history".

「ユーザＩＤ」の項目には、検索履歴の提供元であるユーザに付与されている識別情報が記憶される。「検索履歴」の項目には、各ユーザから提供される検索履歴が記憶される。検索履歴には、各ユーザが各種サービスを利用する際に使用した検索クエリの情報が含まれる。 The item “user ID” stores identification information given to the user who provided the search history. The “search history” item stores the search history provided by each user. The search history includes information on search queries used by each user when using various services.

（制御部１３０）
図４に示す制御部１３０は、情報処理装置１００を制御するコントローラ（controller）である。制御部１３０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）などによって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（例えば、情報処理プログラム）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路により実現されてもよい。 (control unit 130)
A control unit 130 shown in FIG. 4 is a controller that controls the information processing apparatus 100 . The control unit 130 executes various programs (for example, an information processing program) stored in a storage device inside the information processing apparatus 100 by a CPU (Central Processing Unit), MPU (Micro Processing Unit), GPU (Graphics Processing Unit), or the like. is executed using RAM as a work area. Also, the control unit 130 may be implemented by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).

図４に示すように、制御部１３０は、第１生成部１３１と、第２生成部１３２と、評価部１３３とを有する。制御部１３０は、これらの各部により、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図４に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各部の接続関係は、図４に示した接続関係に限られず、他の接続関係であってもよい。 As shown in FIG. 4 , the control unit 130 has a first generation unit 131 , a second generation unit 132 and an evaluation unit 133 . Control unit 130 implements or executes the functions and actions of information processing described below by means of these units. Note that the internal configuration of the control unit 130 is not limited to the configuration shown in FIG. 4, and may be another configuration as long as it performs information processing to be described later. Moreover, the connection relationship of each part of the control unit 130 is not limited to the connection relationship shown in FIG. 4, and may be another connection relationship.

（第１生成部１３１）
第１生成部１３１は、所定の行動を行った複数のシードユーザが入力した検索クエリの共通性に基づいて、各シードユーザが入力した検索クエリと所定の行動との間の関係性を数値化した第１リスト情報を生成する。第１生成部１３１は、生成した第１リスト情報を第１リスト情報記憶部１２１に格納する。また、第１生成部１３１は、第１リスト情報の生成過程で採用されなかった検索クエリに関する非採用クエリ情報を非採用クエリ情報記憶部１２２に格納する。 (First generator 131)
The first generation unit 131 quantifies the relationship between the search query input by each seed user and the predetermined action based on the commonality of the search queries input by the plurality of seed users who performed the predetermined action. generate the first list information. The first generation unit 131 stores the generated first list information in the first list information storage unit 121 . In addition, the first generating unit 131 stores non-adopted query information regarding search queries that were not adopted in the process of generating the first list information in the non-adopted query information storage unit 122 .

（第２生成部１３２）
第２生成部１３２は、第１リスト情報から検索クエリを削除、または第１リスト情報に対して検索クエリを追加した第２リスト情報を複数生成する（たとえば、図２および図３参照）。 (Second generator 132)
The second generation unit 132 generates a plurality of pieces of second list information by deleting the search query from the first list information or adding the search query to the first list information (see FIGS. 2 and 3, for example).

たとえば、第２生成部１３２は、第１リスト情報の生成過程で採用されなかった検索クエリ（非採用クエリ情報記憶部１２２に記憶されている非採用クエリ）の中から、第１リスト情報に追加する検索クエリを選択する。そして、第２生成部１３２は、選択した検索クエリを第１リスト情報に追加することにより、第２リスト情報を生成する。 For example, the second generating unit 132 selects search queries that were not adopted in the process of generating the first list information (non-adopted queries stored in the non-adopted query information storage unit 122) and adds them to the first list information. Select the search query to use. Then, the second generating unit 132 generates second list information by adding the selected search query to the first list information.

また、第２生成部１３２は、第１リスト情報に含まれる複数の検索クエリの組合せを第１リストに追加することにより、第２リスト情報を生成する。 Also, the second generation unit 132 generates second list information by adding a combination of a plurality of search queries included in the first list information to the first list.

また、第２生成部１３２は、第１リスト情報の生成過程で採用されなかった検索クエリ（非採用クエリ情報記憶部１２２に記憶されている非採用クエリ）の中から選択した複数の検索クエリの組合せを第１リストに追加することにより、第２リスト情報を生成する。 In addition, the second generating unit 132 generates a plurality of search queries selected from search queries that were not adopted in the process of generating the first list information (non-adopted queries stored in the non-adopted query information storage unit 122). A second list of information is generated by adding the combination to the first list.

また、第２生成部１３２は、第１リスト情報に含まれる検索クエリと、第１リスト情報の生成過程で採用されなかった検索クエリ（非採用クエリ情報記憶部１２２に記憶されている非採用クエリ）の中から選択した検索クエリとの組合せを第１リストに追加することにより、第２リスト情報を生成する。 In addition, the second generating unit 132 generates the search queries included in the first list information and the search queries not adopted in the process of generating the first list information (non-adopted queries stored in the non-adopted query information storage unit 122). ) is added to the first list to generate second list information.

（評価部１３３）
評価部１３３は、第２リスト情報の精度を測定するテストの結果に基づいて、第１リスト情報の信頼性を評価する。たとえば、評価部１３３は、第２生成部１３２により生成された複数の第２リスト情報について、一斉にＡＢテストを実行することにより、複数の第２リスト情報の精度をそれぞれ測定する。 (Evaluation unit 133)
The evaluation unit 133 evaluates the reliability of the first list information based on the result of the test for measuring the accuracy of the second list information. For example, the evaluation unit 133 measures the accuracy of each of the multiple pieces of second list information by simultaneously performing an AB test on the multiple pieces of second list information generated by the second generation unit 132 .

具体的には、評価部１３３は、第２生成部１３２により生成された複数の第２リスト情報と同数のユーザグループを設定し、設定した各ユーザグループに対して、第２リスト情報を重複しないように個別に割り当てる。なお、各ユーザグループは、無作為に選択した予め定められる人数のユーザで構成される。 Specifically, the evaluation unit 133 sets the same number of user groups as the plurality of second list information generated by the second generation unit 132, and does not duplicate the second list information for each of the set user groups. assigned individually. Each user group is composed of a predetermined number of randomly selected users.

続いて、評価部１３３は、第２リスト情報を用いて、各ユーザグループのユーザリストをそれぞれ作成する。続いて、評価部１３３は、各ユーザリストにおいて上位に位置付けられている各ユーザ（たとえば、上位１００位までの各ユーザ）に対して、所定の行動に対応する広告の配信を行う。続いて、評価部１３３は、各ユーザリストに基づいて配信した広告の効果測定を行う。広告の効果を測定するための指標には、任意の指標を用いることができる。たとえば、この指標として、インプレッション数や、インプレッション単価や、リーチや、クリック数や、クリック率や、クリック単価や、コンバージョン数や、コンバージョン率や、セッション数や、コンバージョン単価などを採用できる。 Subsequently, the evaluation unit 133 creates a user list for each user group using the second list information. Subsequently, the evaluation unit 133 distributes an advertisement corresponding to a predetermined action to each user ranked high in each user list (for example, each user up to the top 100 users). Subsequently, the evaluation unit 133 measures the effectiveness of the distributed advertisement based on each user list. Any index can be used as the index for measuring the effectiveness of the advertisement. For example, this metric can be number of impressions, cost per impression, reach, number of clicks, click rate, cost per click, number of conversions, conversion rate, number of sessions, cost per conversion, etc.

そして、評価部１３３は、第１リスト情報に基づくユーザリストを用いて広告配信を行った場合の広告の効果と、各第２リスト情報に基づくユーザリストの各々を用いて広告配信を行った場合の広告の効果とを比較することにより、第２リスト情報の精度をそれぞれ測定する。 Then, the evaluation unit 133 evaluates the effect of the advertisement when the advertisement is distributed using the user list based on the first list information, and the effect of the advertisement when the advertisement is distributed using each of the user lists based on the second list information. The accuracy of the second listing information is measured by comparing the effectiveness of each of the advertisements.

たとえば、評価部１３３は、複数の第２リスト情報の各々に基づく各広告のうち、第１リスト情報を用いた広告の効果を上回る効果が認められた広告の数が所定の閾値未満である場合、第１リスト情報の信頼性は高いと評価する。一方、情報処理装置１００は、複数の第２リスト情報の各々に基づく各広告のうち、第１リスト情報を用いた広告の効果を上回る効果が認められた広告の数が所定の閾値以上である場合、第１リスト情報の信頼性は低いと評価する。 For example, the evaluation unit 133 determines that, among advertisements based on each of a plurality of pieces of second list information, when the number of advertisements whose effect exceeds the effect of the advertisement using the first list information is less than a predetermined threshold , the reliability of the first list information is evaluated as high. On the other hand, the information processing apparatus 100 determines that the number of advertisements whose effect is greater than the effect of the advertisement using the first list information among the advertisements based on each of the plurality of second list information is equal to or greater than a predetermined threshold. In this case, the reliability of the first list information is evaluated as low.

また、評価部１３３は、以下に説明する方法により、第２リスト情報の精度を測定するためのテストを実施することもできる。たとえば、評価部１３３は、生成した複数の第２リスト情報のそれぞれに対応するユーザリストを生成する。次に、評価部１３３は、各ユーザリストの上位に位置付けられている各ユーザ（たとえば、上位１００位までの各ユーザ）が、実際に対応する所定の行動（たとえば、行動Ａ）を行った割合をリサーチする。 The evaluation unit 133 can also perform a test for measuring the accuracy of the second list information by the method described below. For example, the evaluation unit 133 generates a user list corresponding to each of the plurality of generated second list information. Next, the evaluation unit 133 calculates the rate at which each user ranked high in each user list (for example, each of the top 100 users) actually performed a corresponding predetermined action (for example, action A). to research.

続いて、評価部１３３は、複数の第２リスト情報の各々に基づくユーザリストごとに、第１リスト情報に基づくユーザリストの上位に位置付けられているユーザが所定の行動を行った行動実行率と、第２リスト情報に基づくユーザリストの上位に位置付けられているユーザが所定の行動を行った行動実行率とを個別に比較する。そして、評価部１３３は、複数の第２リスト情報の各々に基づく各ユーザリストのうち、第１リスト情報に紐づく行動実行率を上回る行動実行率を記録したユーザリストの数が所定の閾値未満である場合、第１リスト情報の信頼性は高いと評価する。一方、情報処理装置１００は、複数の第２リスト情報の各々に基づく各ユーザリストのうち、第１リスト情報に紐づく行動実行率を上回る行動実行率を記録したユーザリストの数が所定の閾値以上である場合、第１リスト情報の信頼性は低いと評価する。 Subsequently, for each user list based on each of the plurality of second list information, the evaluation unit 133 determines the action execution rate of a user who is ranked high in the user list based on the first list information and has performed a predetermined action. , and the action execution rate of a user who is ranked high in the user list based on the second list information and has performed a predetermined action. Then, the evaluation unit 133 determines that, among the user lists based on each of the plurality of second list information, the number of user lists recording an action execution rate higher than the action execution rate associated with the first list information is less than a predetermined threshold. , the reliability of the first list information is evaluated as high. On the other hand, the information processing apparatus 100 determines that, among the user lists based on each of the plurality of second list information, the number of user lists recording an action execution rate exceeding the action execution rate associated with the first list information is a predetermined threshold value. In the case above, the reliability of the first list information is evaluated as low.

［４．処理手順］
以下、図８を用いて、実施形態に係る情報処理装置１００による処理手順について説明する。図８は、実施形態に係る情報処理装置による処理手順の一例を示すフローチャートである。図８に示す処理手順は、情報処理装置１００の制御部１３０により実行される。図８に示す処理手順は、情報処理装置１００の稼働中、繰り返し実行される。 [4. Processing procedure]
A processing procedure performed by the information processing apparatus 100 according to the embodiment will be described below with reference to FIG. 8 . 8 is a flowchart illustrating an example of a processing procedure performed by the information processing apparatus according to the embodiment; FIG. The processing procedure shown in FIG. 8 is executed by the control unit 130 of the information processing apparatus 100 . The processing procedure shown in FIG. 8 is repeatedly executed while the information processing apparatus 100 is in operation.

図８に示すように、第２生成部１３２は、第１リスト情報から検索クエリを削除、または第１リスト情報に対して検索クエリを追加した第２リスト情報を複数生成する（ステップＳ１０１）。 As shown in FIG. 8, the second generating unit 132 generates a plurality of second list information by deleting the search query from the first list information or adding the search query to the first list information (step S101).

続いて、評価部１３３は、ステップＳ１０１で生成された複数の第２リスト情報の精度を測定するためのテストを実施する（ステップＳ１０２）。 Subsequently, the evaluation unit 133 performs a test for measuring the accuracy of the plurality of pieces of second list information generated in step S101 (step S102).

続いて、評価部１３３は、ステップＳ１０２で実施したテストの結果に基づいて、第１リスト情報の信頼性を評価し（ステップＳ１０３）、図８に示す処理手順を終了する。 Subsequently, the evaluation unit 133 evaluates the reliability of the first list information based on the results of the test performed in step S102 (step S103), and ends the processing procedure shown in FIG.

［５．変形例］
上述した情報処理装置１００は、上述した実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、実施形態の変形例について説明する。 [5. Modification]
The information processing apparatus 100 described above may be implemented in various different forms other than the embodiments described above. So, below, the modification of embodiment is demonstrated.

（５－１．第１リスト情報について）
上述した実施形態において、情報処理装置１００は、複数の所定の行動それぞれについて第１リスト情報を生成する例を説明したが、この例には特に限定される必要はない。たとえば、情報処理装置１００は、ターゲットとするユーザの行動以外のコンテキスト（たとえば、デモグラフィック属性や興味嗜好など）に基づいて、第１リスト情報および第２リスト情報を作成してもよい。 (5-1. First list information)
In the above-described embodiment, the information processing apparatus 100 has described an example in which the first list information is generated for each of a plurality of predetermined actions, but it is not particularly limited to this example. For example, the information processing apparatus 100 may create the first list information and the second list information based on the context (for example, demographic attributes, interests and tastes, etc.) other than the target user's behavior.

（５－２．第２リスト情報について）
上述の実施形態において、情報処理装置１００は、第１リスト情報に検索クエリの組合せを追加して第２リスト情報を作成する際、相関性が高い検索クエリ同士を組み合わせてもよい。 (5-2. Second list information)
In the above-described embodiment, the information processing apparatus 100 may combine search queries with high correlation when adding a combination of search queries to the first list information to create the second list information.

［６．ハードウェア構成］
実施形態に係る情報処理装置１００は、たとえば、図９に示すような構成のコンピュータ１０００によって実現される。図９は、実施形態に係る情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。 [6. Hardware configuration]
The information processing apparatus 100 according to the embodiment is implemented by, for example, a computer 1000 configured as shown in FIG. FIG. 9 is a hardware configuration diagram showing an example of a computer that implements the functions of the information processing apparatus according to the embodiment.

コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。 A computer 1000 is connected to an output device 1010 and an input device 1020, and an arithmetic device 1030, a primary storage device 1040, a secondary storage device 1050, an output IF (Interface) 1060, an input IF 1070, and a network IF 1080 are connected via a bus 1090. have

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ(Read Only Memory)、ＨＤＤ、フラッシュメモリ等により実現される。 The arithmetic device 1030 operates based on programs stored in the primary storage device 1040 and the secondary storage device 1050, programs read from the input device 1020, and the like, and executes various processes. The primary storage device 1040 is a memory device such as a RAM that temporarily stores data used by the arithmetic device 1030 for various calculations. The secondary storage device 1050 is a storage device in which data used for various calculations by the arithmetic device 1030 and various databases are registered, and is implemented by a ROM (Read Only Memory), HDD, flash memory, or the like.

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインターフェイスであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインターフェイスであり、例えば、ＵＳＢ等により実現される。 The output IF 1060 is an interface for transmitting information to be output to the output device 1010 that outputs various types of information such as a monitor and a printer. It is realized by a connector conforming to a standard such as HDMI (registered trademark) (High Definition Multimedia Interface). Also, the input IF 1070 is an interface for receiving information from various input devices 1020 such as a mouse, keyboard, scanner, etc., and is realized by, for example, USB.

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。 Note that the input device 1020 includes, for example, optical recording media such as CDs (Compact Discs), DVDs (Digital Versatile Discs), PDs (Phase change rewritable discs), magneto-optical recording media such as MOs (Magneto-Optical discs), and tapes. It may be a device that reads information from a medium, a magnetic recording medium, a semiconductor memory, or the like. Also, the input device 1020 may be an external storage medium such as a USB memory.

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。 Network IF 1080 receives data from other devices via network N and sends the data to arithmetic device 1030, and also transmits data generated by arithmetic device 1030 via network N to other devices.

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。 The arithmetic device 1030 controls the output device 1010 and the input device 1020 via the output IF 1060 and the input IF 1070 . For example, arithmetic device 1030 loads a program from input device 1020 or secondary storage device 1050 onto primary storage device 1040 and executes the loaded program.

例えば、コンピュータ１０００が情報処理装置１００として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラム（たとえば、情報処理プログラム）を実行することにより、制御部１３０と同様の機能を実現する。すなわち、演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラム（たとえば、情報処理プログラム）との協働により、実施形態に係る情報処理装置１００による処理を実現する。 For example, when the computer 1000 functions as the information processing device 100, the arithmetic device 1030 of the computer 1000 executes a program (for example, an information processing program) loaded on the primary storage device 1040 to perform the same functions as the control unit 130. to realize the function of That is, the arithmetic device 1030 realizes processing by the information processing device 100 according to the embodiment in cooperation with a program (for example, an information processing program) loaded on the primary storage device 1040 .

［７．その他］
上述した実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。 [7. others]
Of the processes described in the above embodiments, all or part of the processes described as being automatically performed can be manually performed, or all of the processes described as being manually performed. Alternatively, some can be done automatically by known methods. In addition, information including processing procedures, specific names, various data and parameters shown in the above documents and drawings can be arbitrarily changed unless otherwise specified.

上述の実施形態において、情報処理装置１００による情報処理方法（たとえば、図８参照）を実現するために、情報処理装置１００が有する制御部１３０の各部（第１生成部１３１、第２生成部１３２、及び評価部１３３）に対応する処理機能は、情報処理装置１００に予めインストールされている情報処理プログラムに対するアドオンとして実現してもよいし、軽量なプログラミング言語などを用いて、専用の提供プログラムとして柔軟に記述することにより実現されてもよい。 In the above-described embodiment, in order to realize the information processing method (see, for example, FIG. 8) by the information processing apparatus 100, each unit (first generation unit 131, second generation unit 132) of the control unit 130 included in the information processing apparatus 100 , and the evaluation unit 133) may be realized as an add-on to an information processing program pre-installed in the information processing apparatus 100, or may be implemented as a dedicated provided program using a lightweight programming language or the like. It may be realized by describing flexibly.

また、情報処理装置１００は、ユーザ情報記憶部１２３に記憶するユーザ情報として、各ユーザが入力した検索クエリの検索履歴だけでなく、各ユーザの購買履歴、電子商店街で閲覧した取引対象の履歴、購入した取引対象の履歴である購買履歴、閲覧したニュース等のコンテンツの履歴である閲覧履歴、ＳＮＳ（Social Networking Service）に投稿したテキストや画像等の履歴である投稿履歴、位置履歴などを収集してもよい。また、情報処理装置１００は、たとえば、各ユーザが保有するスマートフォンを用いて店舗に設置されたＱＲコード（登録商標）を読み取り、読み取り結果を用いて実現する決済サービスの利用履歴や、各ユーザが保有するスマートフォンにＱＲコードを表示させ、かかるＱＲコードを店舗端末が読み込むことで行われる決済サービスの利用履歴（たとえば、購入日時や購入商品、購入額など）を収集してもよい。また、情報処理装置１００は、各ユーザが保有するクレジットカードの利用履歴や銀行口座の利用履歴などを収集してもよい。 In addition, the information processing apparatus 100 stores not only the search history of search queries input by each user, but also the purchase history of each user, the history of transaction targets browsed on the electronic shopping mall, as user information stored in the user information storage unit 123. , Purchasing history, which is the history of purchased transaction objects, Browsing history, which is the history of content such as viewed news, Posting history, which is the history of texts and images posted on SNS (Social Networking Service), Location history, etc. You may Further, the information processing apparatus 100, for example, uses a smartphone owned by each user to read a QR code (registered trademark) installed in a store, and uses the reading result to realize a payment service usage history and A QR code may be displayed on the smartphone owned by the customer, and the usage history of the payment service (for example, date and time of purchase, product purchased, purchase amount, etc.) may be collected by reading the QR code with the store terminal. The information processing apparatus 100 may also collect credit card usage history and bank account usage history of each user.

また、情報処理装置１００は、収集した情報に基づいて推定された情報を各ユーザの情報としてもよい。たとえば、情報処理装置１００は、購買履歴から、毎月の食料品の平均的な購入総額が１０万円以上である場合、たとえば、世帯月収若しくは個人月収が３０万円以上であるといった収入や、３人家族であるといった家族構成、もしくは同居人構成などを推定し、各ユーザの情報としてもよい。また、情報処理装置１００は、たとえば、位置履歴や購入履歴から、各ユーザが所有する物品や、各ユーザの居住地や職場などを推定し、推定した情報を各ユーザの情報としてもよい。 Further, the information processing apparatus 100 may use information estimated based on the collected information as the information of each user. For example, information processing apparatus 100 determines from the purchase history that if the average monthly purchase amount of food items is 100,000 yen or more, for example, if the monthly household income or personal monthly income is 300,000 yen or more, It is also possible to presume a family composition such as a family of two or a composition of cohabitants, and use it as information for each user. Further, the information processing apparatus 100 may, for example, estimate the items owned by each user, the place of residence and workplace of each user from the position history and the purchase history, and use the estimated information as the information of each user.

また、情報処理装置１００は、たとえば、各種サービスを提供するサーバ装置から、サービスの利用履歴を各ユーザの情報として取得してもよい。また、情報処理装置１００は、このようなサービスを提供するサーバ装置もしくは単独のサーバ装置が、サービスの利用履歴から推定した各種情報を各ユーザの情報として収集してもよい。また、情報処理装置１００は、各ユーザが登録、又は各ユーザについて推定された各種のジオグラフィック属性や趣味嗜好といったサイコグラフィック属性を示す情報を各ユーザの情報として収集してもよい。 Further, the information processing apparatus 100 may, for example, acquire a service usage history as information of each user from a server apparatus that provides various services. Further, in the information processing apparatus 100, a server device that provides such a service or a single server device may collect various information estimated from service usage history as information of each user. Further, the information processing apparatus 100 may collect, as information of each user, information indicating psychographic attributes such as various geographic attributes registered by each user or estimated for each user, and hobbies and preferences.

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。たとえば、制御部１３０の第１生成部１３１と第２生成部１３２とは機能的に統合されていてもよい。 Also, each component of each device illustrated is functionally conceptual, and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution and integration of each device is not limited to the one shown in the figure, and all or part of them can be functionally or physically distributed and integrated in arbitrary units according to various loads and usage conditions. Can be integrated and configured. For example, first generator 131 and second generator 132 of controller 130 may be functionally integrated.

また、上述の実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 Further, the above-described embodiment and modifications can be appropriately combined within a range that does not contradict the processing content.

［８．効果］
上述の実施形態に係る情報処理装置１００は、第１生成部１３１と、第２生成部１３２と、評価部１３３とを備える。第１生成部１３１は、所定の行動を行った複数のシードユーザが入力した検索クエリの共通性に基づいて、各シードユーザが入力した検索クエリと所定の行動との間の関係性を数値化した第１リスト情報を生成する。第２生成部１３２は、第１リスト情報から検索クエリを削除、または第１リスト情報に対して検索クエリを追加した第２リスト情報を複数生成する。評価部１３３は、第２リスト情報の精度を測定するテストの結果に基づいて、第１リスト情報の信頼性を評価する。 [8. effect]
The information processing apparatus 100 according to the above embodiment includes a first generator 131 , a second generator 132 and an evaluation section 133 . The first generation unit 131 quantifies the relationship between the search query input by each seed user and the predetermined action based on the commonality of the search queries input by the plurality of seed users who performed the predetermined action. generate the first list information. The second generation unit 132 generates a plurality of second list information by deleting the search query from the first list information or adding the search query to the first list information. The evaluation unit 133 evaluates the reliability of the first list information based on the result of the test for measuring the accuracy of the second list information.

このようなことから、実施形態に係る情報処理装置１００は、第１リスト情報に人為的な変化を与えた第２リストの精度を確認することにより、第１リスト情報の信頼性を評価できる。 As such, the information processing apparatus 100 according to the embodiment can evaluate the reliability of the first list information by confirming the accuracy of the second list in which the first list information is artificially changed.

また、実施形態に係る情報処理装置１００において、第２生成部１３２は、第１リスト情報の生成過程で採用されなかった検索クエリの中から、第１リスト情報に追加する検索クエリを選択する。これにより、実施形態に係る情報処理装置１００は、第１リスト情報の生成過程を確認する機会を提供できる。 In addition, in the information processing apparatus 100 according to the embodiment, the second generation unit 132 selects search queries to be added to the first list information from search queries that were not adopted in the process of generating the first list information. Accordingly, the information processing apparatus 100 according to the embodiment can provide an opportunity to confirm the process of generating the first list information.

また、実施形態に係る情報処理装置１００において、第２生成部１３２は、第１リスト情報に含まれる複数の検索クエリの組合せを第１リストに追加する。 Also, in the information processing apparatus 100 according to the embodiment, the second generation unit 132 adds a combination of multiple search queries included in the first list information to the first list.

また、実施形態に係る情報処理装置１００において、第２生成部１３２は、第１リスト情報の生成過程で採用されなかった検索クエリの中から選択した複数の検索クエリの組合せを第１リストに追加する。 In addition, in the information processing apparatus 100 according to the embodiment, the second generating unit 132 adds to the first list a combination of a plurality of search queries selected from search queries that were not adopted in the process of generating the first list information. do.

また、実施形態に係る情報処理装置１００において、第２生成部１３２は、第１リスト情報に含まれる検索クエリと、第１リスト情報の生成過程で採用されなかった検索クエリの中から選択した検索クエリとの組合せを第１リストに追加する。 In addition, in the information processing apparatus 100 according to the embodiment, the second generation unit 132 selects search queries from search queries included in the first list information and search queries that were not adopted in the process of generating the first list information. Add the combination with the query to the first list.

これらにより、実施形態に係る情報処理装置１００は、第１リスト情報の精度をより高める可能性を模索できる。 As a result, the information processing apparatus 100 according to the embodiment can explore the possibility of further improving the accuracy of the first list information.

以上、本願の実施形態をいくつかの図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。 As described above, the embodiments of the present application have been described in detail based on several drawings, but these are examples, and various modifications and It is possible to carry out the invention in other forms with modifications.

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。 Also, the above-mentioned "section, module, unit" can be read as "means" or "circuit". For example, the control unit can be read as control means or a control circuit.

１０端末装置
１００情報処理装置
１１０通信部
１２０記憶部
１２１第１リスト情報記憶部
１２２非採用クエリ情報記憶部
１２３ユーザ情報記憶部
１３０制御部
１３１第１生成部
１３２第２生成部
１３３評価部 10 terminal device 100 information processing device 110 communication unit 120 storage unit 121 first list information storage unit 122 non-employed query information storage unit 123 user information storage unit 130 control unit 131 first generation unit 132 second generation unit 133 evaluation unit

Claims

First list information that quantifies the relationship between the search query input by each seed user and the predetermined behavior based on the commonality of the search queries input by a plurality of seed users who have performed a predetermined behavior. a first generator that generates
a second generation unit that deletes a search query from the first list information or generates a plurality of second list information by adding a search query to the first list information;
An information processing apparatus, comprising: an evaluation unit that evaluates the reliability of the first list information based on a result of a test that measures the accuracy of the second list information.

The second generator,
The information processing apparatus according to claim 1, wherein a search query to be added to said first list information is selected from search queries not adopted in the process of generating said first list information.

The second generator,
3. The information processing apparatus according to claim 1, wherein a combination of a plurality of search queries included in said first list information is added to said first list information.

The second generator,
Any one of claims 1 to 3, wherein a combination of a plurality of search queries selected from search queries not adopted in the process of generating the first list information is added to the first list information. The information processing device according to .

The second generator,
adding to the first list information a combination of a search query included in the first list information and a search query selected from search queries not adopted in the process of generating the first list information; The information processing apparatus according to any one of claims 1 to 4.

A computer-executed information processing method comprising:
First list information that quantifies the relationship between the search query input by each seed user and the predetermined behavior based on the commonality of the search queries input by a plurality of seed users who have performed a predetermined behavior. a first generating step of generating;
a second generation step of generating a plurality of second list information in which the search query is deleted from the first list information or the search query is added to the first list information;
and an evaluation step of evaluating the reliability of the first list information based on a result of a test for measuring the accuracy of the second list information.

to the computer,
First list information that quantifies the relationship between the search query input by each seed user and the predetermined behavior based on the commonality of the search queries input by a plurality of seed users who have performed a predetermined behavior. a first generating procedure for generating;
a second generation procedure for generating a plurality of second list information in which the search query is deleted from the first list information or the search query is added to the first list information;
and an evaluation procedure for evaluating the reliability of the first list information based on the result of a test for measuring the accuracy of the second list information.