JP2023042996A - Information processing device, information processing method, and information processing program - Google Patents
Information processing device, information processing method, and information processing program Download PDFInfo
- Publication number
- JP2023042996A JP2023042996A JP2021150450A JP2021150450A JP2023042996A JP 2023042996 A JP2023042996 A JP 2023042996A JP 2021150450 A JP2021150450 A JP 2021150450A JP 2021150450 A JP2021150450 A JP 2021150450A JP 2023042996 A JP2023042996 A JP 2023042996A
- Authority
- JP
- Japan
- Prior art keywords
- information
- list information
- information processing
- list
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 158
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000011156 evaluation Methods 0.000 claims abstract description 28
- 238000012360 testing method Methods 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 17
- 230000009471 action Effects 0.000 abstract description 53
- 230000006399 behavior Effects 0.000 description 20
- 238000012545 processing Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 239000011521 glass Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 235000019640 taste Nutrition 0.000 description 2
- 230000004308 accommodation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。 The present invention relates to an information processing device, an information processing method, and an information processing program.
従来、インターネット上におけるユーザ行動の予測をする手法が知られている。例えば、特許文献1には、ユーザの行動を従来よりも高い精度で予測することを目的として、インターネット上のユーザの検索クエリの傾向を学習し、学習した検索クエリの傾向とその後のユーザの行動との関連性スコアを算出してモデルを生成し、このモデルを用いて他のユーザの行動を予測する技術が提案されている。 Conventionally, a technique for predicting user behavior on the Internet is known. For example, in Patent Document 1, for the purpose of predicting user behavior with higher accuracy than in the past, the tendency of search queries of users on the Internet is learned, and the learned tendency of search queries and subsequent user behavior are disclosed. A technique has been proposed in which a relevance score is calculated to generate a model, and the model is used to predict behavior of other users.
しかしながら、上述した技術では、生成した情報を信頼してもよいかどうかの確証を得ることが難しい。たとえば、結果論として有効な成果を上げるモデルが含まれている可能性があり、仮にABテストを行ったとしても、テストの内容に応じて適切ではないモデルが採用されてしまう場合もある。 However, with the techniques described above, it is difficult to obtain confirmation as to whether or not the generated information can be trusted. For example, in hindsight, there is a possibility that a model that produces effective results is included, and even if an AB test is conducted, an inappropriate model may be adopted depending on the content of the test.
本願は、上記に鑑みてなされたものであって、生成した情報の信頼性を確かめることができる情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。 The present application has been made in view of the above, and an object thereof is to provide an information processing apparatus, an information processing method, and an information processing program capable of confirming the reliability of generated information.
本願に係る情報処理装置は、第1生成部と、第2生成部と、評価部とを備える。第1生成部は、所定の行動を行った複数のシードユーザが入力した検索クエリの共通性に基づいて、各シードユーザが入力した検索クエリと所定の行動との間の関係性を数値化した第1リスト情報を生成する。第2生成部は、第1リスト情報から検索クエリを削除、または第1リスト情報に対して検索クエリを追加した第2リスト情報を複数生成する。評価部は、第2リスト情報の精度を測定するテストの結果に基づいて、第1リスト情報の信頼性を評価する。 An information processing apparatus according to the present application includes a first generation unit, a second generation unit, and an evaluation unit. The first generation unit quantifies the relationship between the search query input by each seed user and the predetermined behavior based on the commonality of the search queries input by the multiple seed users who performed the predetermined behavior. Generate first list information. The second generation unit generates a plurality of second list information by deleting the search query from the first list information or adding the search query to the first list information. The evaluation unit evaluates the reliability of the first list information based on the result of the test that measures the accuracy of the second list information.
実施形態の態様の1つによれば、生成した情報の信頼性を確かめることができる。 According to one aspect of the embodiments, the reliability of the generated information can be verified.
以下に、本願に係る情報処理装置、情報処理方法、及び情報処理プログラムを実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、以下に説明する実施形態により本願に係る情報処理装置、情報処理方法、及び情報処理プログラムが限定されるものではない。また、以下に説明する実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、以下に説明する実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。 Hereinafter, modes for implementing an information processing apparatus, an information processing method, and an information processing program (hereinafter referred to as "embodiments") according to the present application will be described in detail with reference to the drawings. The information processing apparatus, information processing method, and information processing program according to the present application are not limited to the embodiments described below. Further, the embodiments described below can be appropriately combined within a range that does not contradict the processing contents. Also, in the embodiments described below, the same parts are denoted by the same reference numerals, and overlapping descriptions are omitted.
また、以下の説明において、端末装置10をユーザと表記して説明する場合がある。すなわち、ユーザを端末装置10と読み替えることができる。
Also, in the following description, the
[1.情報処理システム]
図1は、実施形態に係る情報処理システムの一例を説明する図である。図1に示すように、実施形態に係る情報処理システムSYSは、端末装置10、及び情報処理装置100を有する。なお、情報処理システムSYSは、図1に示す例に限られず、複数の端末装置10や複数の情報処理装置100を有していてもよい。
[1. Information processing system]
FIG. 1 is a diagram illustrating an example of an information processing system according to an embodiment. As shown in FIG. 1 , the information processing system SYS according to the embodiment has a
端末装置10、及び情報処理装置100は、それぞれ有線又は無線によりネットワークN(たとえば、図3参照)に接続される。ネットワークNは、LAN(Local Area Network)や、WAN(Wide Area Network)や、電話網(携帯電話網、固定電話網等)や、地域IP(Internet Protocol)網や、インターネットなどの通信ネットワークである。ネットワークNは、有線ネットワークが含まれていてもよいし、無線ネットワークが含まれていてもよい。端末装置10、及び情報処理装置100は、ネットワークNを通じて、相互に通信できる。
The
図1に示す端末装置10は、検索クエリを用いた各種サービスを利用するユーザが使用する情報処理装置である。たとえば、端末装置10は、スマートフォンや、タブレット型端末や、ノート型PC(Personal Computer)や、デスクトップPCや、PDA(Personal Digital Assistant)などにより実現される。
A
また、端末装置10は、LTE(Long Term Evolution)、4G(4th Generation)、5G(5th Generation:第5世代移動通信システム)などの無線通信網や、Bluetooth(登録商標)、無線LAN(Local Area Network)などの近距離無線通信を介してネットワークNに接続できる。
In addition, the
また、端末装置10は、各種サービスを利用するための情報を、ウェブブラウザやアプリケーションにより表示できる。なお、端末装置10は、情報の表示処理を実現する制御情報を情報処理装置100などから受け取った場合には、制御情報に従って表示処理を実現する。
In addition, the
また、端末装置10のユーザは、各種サービスの利用を通じて、情報処理装置100に対し、検索クエリの情報を提供する。たとえば、各種サービスのウェブページやアプリケーションに設けられている検索窓に各ユーザが入力した検索クエリの情報が情報処理装置100に提供される。
In addition, the user of the
図1に示す情報処理装置100は、検索クエリを用いた各種サービスなどを提供する情報処理装置である。情報処理装置100が提供する各種サービスには、各種アプリケーションに対応するAPI(Application Programming Interface)サービスや、各種オンラインサービスが含まれていてもよい。オンラインサービスとしては、インターネット接続や、検索サービスや、SNS(Social Networking Service)や、電子商取引サービスや、電子決済サービスや、オンラインゲームや、オンラインバンキングサービスや、オンライントレーディングサービスや、宿泊予約サービスや、チケット予約サービスや、動画配信サービスや、音楽配信サービスや、ニュース配信サービスや、地図情報サービスや、ルート検索サービスや、経路案内サービスや、路線情報サービスや、運行情報サービスや、天気情報サービスなどのサービスが該当し得る。
An
また、情報処理装置100は、各種サービスの提供を通じて収集した検索クエリの情報を用いて、実施形態に係る情報処理を実行する情報処理装置である。情報処理装置100は、典型的にはサーバ装置であるが、メインフレームやワークステーションなどにより実現されてもよい。
The
情報処理装置100がサーバ装置で実現される場合、単独のサーバにより実現されてもよいし、複数のサーバ装置及び複数のストレージ装置が協働して動作するクラウドシステムなどにより実現されてもよい。なお、情報処理装置100は、端末装置10に制御情報を配信する配信装置として機能してもよい。ここで、制御情報は、例えば、JavaScript(登録商標)などのスクリプト言語やCSS(Cascading Style Sheets)などのスタイルシート言語により記述される。なお、情報処理装置100から配信されるアプリケーションそのものを制御情報とみなしてもよい。
When the
[2.情報処理]
以下、情報処理システムSYSにおける情報処理の一例を説明する。なお、以下の説明において、実施形態に係る情報処理の対象は、各種サービスを利用するユーザである。また、以下の説明において、シードユーザUの一群を「ユーザ群UG」と総称する。シードユーザUは、「〇〇を買った」、「〇〇に行った」、「〇〇している」といった所定の行動を行ったユーザや、特定の属性(興味嗜好など)を有するユーザなど、特定のユーザコンテキストを有するユーザに該当する。
[2. information processing]
An example of information processing in the information processing system SYS will be described below. In the following description, the target of information processing according to the embodiment is users who use various services. Also, in the following description, a group of seed users U will be collectively referred to as a "user group UG". The seed user U is a user who performed a predetermined action such as "I bought XX", "I went to XX", or "I am doing XX", or a user with specific attributes (interests and tastes, etc.). , corresponds to a user with a particular user context.
なお、以下に説明する情報処理は、情報処理の対象がシードユーザUを含む複数のユーザである場合に限られず、商品や、街や、サービスなど、情報を収集可能な対象であれば、どのような対象に対しても適用できる。 It should be noted that the information processing described below is not limited to the case where the target of information processing is a plurality of users including the seed user U, and any target for which information can be collected, such as a product, a town, or a service, can be used. It can also be applied to such objects.
まず、図1に示す例において、情報処理装置100は、ユーザ群UGを特定する。そして、情報処理装置100は、ユーザ群UGに含まれるシードユーザUが入力した検索クエリの共通性に基づいて、シードユーザUが入力した検索クエリと所定の行動との関係性を数値化した第1リスト情報を生成し、記憶する。
First, in the example shown in FIG. 1, the
たとえば、情報処理装置100は、「〇〇を買った」「〇〇に興味がある」という条件(タイトル)を満たすユーザをシードユーザUとして収集し、シードユーザUが入力した検索クエリの共通性に基づいたスコアを付与した第1リストを作成する。具体的には、「眼鏡をかけている」というシードユーザUを収集し、検索クエリ:「眼鏡」に「70点」、検索クエリ:「眼鏡ふき」に「50点」、検索クエリ:「リンゴ」にスコア「-50点」といったようなスコアを付与し、検索クエリとスコアとの組である第1リストを作成する。
For example, the
上述したシードユーザUの一群であるユーザ群UGの特定は、任意の方法を用いて行うことができる。たとえば、情報処理装置100は、各種の購買履歴や利用履歴、位置履歴などの各種の情報に基づいて、想定される行動を行ったユーザをシードユーザUであると推定し、ユーザ群UGを特定してもよい。具体的には、ある所定の店舗の名称を検索クエリとして入力し、その後、その所定の店舗を実際に訪問した訪問者(シードユーザU)を推定することによりユーザ群UGを特定してもよい。また、別の例として、イベントの名称を検索クエリとして入力し、その後、そのイベントに実際に参加した参加者(シードユーザU)を推定することによりユーザ群UGを特定してもよい。また、更に別の例として、ある商品の名称を検索クエリとして入力し、その後、その名称の商品を実際に購入した購入者(シードユーザU)を推定することによりユーザ群UGを特定してもよい。また、情報処理装置100は、実際に所定の店舗(たとえば、配信済みの広告と対応する店舗)を利用した利用者(シードユーザU)を推定することによりユーザ群UGを特定してもよい。また、情報処理装置100は、所定の広告やウェブページ、映画や音楽などのコンテンツを視聴した視聴者(シードユーザU)を推定することによりユーザ群UGを特定してもよい。
Any method can be used to identify the user group UG, which is a group of seed users U described above. For example, the
また、情報処理装置100は、第1リストにおける検索クエリのスコアは、以下のような機械学習により生成される行動モデルから求めることができる。たとえば、情報処理装置100は、シードユーザUが入力した検索クエリを正例とし、ランダムに選択したシードユーザU以外の他のユーザが入力した検索クエリを負例としたときに、正例を入力した際により高い値を出力し、負例を入力した際により低い値を出力するように学習モデルの学習を行う。このとき、学習には任意の手法が採用可能である。たとえば、モデルとしてニューラルネットワークが採用される場合は、バックプロパゲーションなどにより実現可能である。
Also, the
また、情報処理装置100は、シードユーザUが共通して入力している検索クエリについては、より高い値の数値が出力されるようにモデルを学習してもよい。たとえば、正例となる検索クエリを入力したシードユーザUの数が多ければ多い程、より高い値を出力するようにモデルを学習してもよい。また、負例となる検索クエリを入力した他のユーザの数が多い程、より小さい値(負の値)を出力するようにモデルを学習してもよい。そして、情報処理装置100は、各検索クエリと、このような学習モデルに検索クエリを入力した際に出力したスコアとの組のリストを「第1リスト情報」として生成する。すなわち、情報処理装置100は、所定の行動を行ったシードユーザUが入力した各検索クエリと、検索クエリの各々に対応する上述のスコア(検索クエリと所定の行動との間の関係性を示すスコア)との組を「第1リスト情報」として生成する。なお、この第1リスト情報は、所定の行動ごとに生成された行動モデルを用いて、所定の行動ごとに生成される。
In addition, the
また、情報処理装置100は、ユーザ群UGが入力した検索クエリと、第1リスト情報とに基づいて、所定の行動とシードユーザUを含む複数のユーザとの関係性を数値化し、数値化した関係性を示す値に基づいて、シードユーザUを含む複数のユーザを順位付けしたユーザリストを生成できる。
Further, the
たとえば、情報処理装置100は、シードユーザUを含む各ユーザの中から処理対象とするユーザの選定を行い、選定した各ユーザが入力した検索クエリと対応付けられたスコアを第1リスト情報から特定する。なお、情報処理装置100は、処理対象とするユーザを無作為に選定してもよいし、所定の条件に基づいて選定してもよい。そして、情報処理装置100は、特定したスコアの合計を用いて、所定の行動と、複数ユーザの中から選定した各ユーザとの間の関係性を示すユーザリストを導出する。たとえば、ユーザリストにおいて、所定の行動と関係性が高いユーザはスコアが高く、所定の行動と関係性が低いユーザはスコアが低くなる。
For example, the
以下、情報処理装置100によるユーザリストの生成について具体的に説明する。シードユーザUを含む各ユーザが入力した複数の検索クエリひとつひとつについて、対応付けられたスコアを第1リスト情報から取得し、取得したスコアの合計値を算出する。このようにすれば、各ユーザが入力した複数の検索クエリと所定の行動との関係性を数値として表すことができるため、単一の検索クエリの数値化と比較してより信頼性の高い数値化を実現できる。
Generation of the user list by the
次に、情報処理装置100は、各ユーザについてスコアの合計値を計算した後、スコアの高い順に各ユーザを順位付けするとともに、順位順に各ユーザが入力した検索クエリを対応付けたユーザリストを生成する。このユーザリストは、どのような検索クエリを入力したユーザが、所定の行動との関連性が強いかを示すリストとして機能する。このユーザリストは、検索クエリと所定の行動との関連性の分析や、ユーザの分析などに用いられる。なお、このユーザリストは、シードユーザUを選定する際に設定される行動(たとえば、「〇〇を買った」、「〇〇に行った」、「〇〇している」など)といった所定の行動ごとに生成される。
Next, after calculating the total score value for each user, the
上述したユーザリストを用いることにより、ユーザが興味を有する可能性が高い情報の提供を実現できると考えられる。たとえば、ある店舗を訪問したという行動と対応するユーザリストには、その行動と関連性が高いユーザのランキングが含まれる。そこで、たとえば、広告を配信する配信サーバは、ユーザリストを用いることにより、ランキングの順位が高いユーザに対し、その店舗に関する広告を提供することで、広告効果を向上させることができると考えられる。また、ある商品を購入したという行動と対応するユーザリストには、その行動と関連性が高いユーザのランキングが含まれる。そこで、たとえば、広告を配信する配信サーバは、ユーザリストを用いることにより、ランキングの順位が高いユーザに対し、その商品またはその商品と関連する商品に関する広告を提供することで、広告効果を向上させることができると考えられる。 By using the user list described above, it is considered possible to provide information that is highly likely to be of interest to the user. For example, a user list corresponding to an action of visiting a certain store includes rankings of users highly relevant to the action. Therefore, for example, it is conceivable that a distribution server that distributes advertisements can improve advertising effectiveness by providing advertisements related to stores to users with high rankings by using a user list. In addition, the user list corresponding to the behavior of purchasing a certain product includes rankings of users highly relevant to the behavior. Therefore, for example, a distribution server that distributes advertisements uses a user list to provide advertisements related to products or related products to users with high rankings, thereby improving advertising effectiveness. It is considered possible.
一方、上述したユーザリストについて、ユーザの行動を正確に反映したリストであるかどうかの確証を得ることは難しい。すなわち、スコアに基づいてユーザを順位付けした際に、果たしてどの順位までのユーザが所定の行動との関係性を有するのかという点について、実際には定かではない。たとえば、スコアが高いほど、所定の行動を取る可能性が高いという推測が働くが、スコアがどの程度高ければ所定の行動と関連性が高いのかを見極めることは難しい。また、スコアの高さと、所定の行動との関係性の高さとの相関関係の検証も十分とは言い切れない。 On the other hand, it is difficult to confirm whether or not the user list described above accurately reflects the user's behavior. In other words, when users are ranked based on their scores, it is not actually clear to what rank users have a relationship with a predetermined action. For example, it is speculated that the higher the score, the higher the possibility of taking a predetermined action, but it is difficult to determine how high the score is and how highly relevant the predetermined action is. Moreover, it cannot be said that the verification of the correlation between the high score and the high degree of relationship with the predetermined behavior is sufficient.
そこで、実施形態に係る情報処理装置100は、以下に説明する情報処理により、ユーザリストの元となる第1リスト情報の信頼性を確認するための情報処理方法を提案する。
Therefore, the
まず、情報処理装置100は、第1リスト情報から検索クエリを削除、または第1リスト情報に対して検索クエリを追加した第2リスト情報を複数生成する(ステップS1)。次に、情報処理装置100は、生成した第2リスト情報の精度を測定するテストを実行する(ステップS2)。そして、情報処理装置100は、第2リスト情報の精度を測定するテストの結果に基づいて、第1リスト情報の信頼性を評価する(ステップS3)。
First, the
以下、図2及び図3を用いて、第2リスト情報の一例を説明する。図2及び図3は、実施形態に係る第2リスト情報の一例を示す図である。 An example of the second list information will be described below with reference to FIGS. 2 and 3. FIG. 2 and 3 are diagrams showing examples of the second list information according to the embodiment.
まず、図2に示すように、情報処理装置100は、信頼性の評価対象となる第1リスト情報LT1-1と、非採用クエリ情報LT1-2とを取得する。なお、非採用クエリ情報LT1-2は、第1リスト情報LT1-1の生成過程で採用されなかった検索クエリの情報である。図2に示す例では、行動Aに対応する第1リスト情報LT1-1と、非採用クエリ情報LT1-2とが取得されている。
First, as shown in FIG. 2, the
次に、図2に示すように、情報処理装置100は、第1リスト情報LT1-1に含まれる検索クエリの一部を削除することにより、複数の第2リスト情報LT2-1を生成する。なお、情報処理装置100は、第2リスト情報LT2-1を生成する際、検索クエリを1つずつ削除してもよいし、任意の数の検索クエリを一度に削除してもよい。また、情報処理装置100は、第2リスト情報LT2-1から削除する検索クエリの数に上限を設けてもよい。
Next, as shown in FIG. 2, the
また、図2に示すように、情報処理装置100は、第1リスト情報LT1-1に対して、非採用クエリ情報LT1-2に含まれている検索クエリを追加することにより、複数の第2リスト情報LT2-2を生成する。なお、情報処理装置100は、第2リスト情報LT2-2を生成する際、非採用クエリ情報LT1-2に含まれている検索クエリを1つずつ追加してもよいし、第1リスト情報LT1-1から2つ以上の検索クエリを一度に削除してもよい。また、情報処理装置100は、第2リスト情報LT2-1から削除する検索クエリの数に上限を設けてもよい。なお、情報処理装置100は、第1リスト情報LT1-1に対して、非採用クエリ情報LT1-2には含まれない任意の検索クエリを追加してもよい。
Further, as shown in FIG. 2, the
また、図3に示すように、情報処理装置100は、第1リスト情報LT1-1に対して、第1リスト情報LT1-1に含まれる検索クエリの組合せを追加することにより、第2リスト情報LT2-3を生成することもできる。なお、図3に示す例では、第1リスト情報LT1-1に対して、1対1の検索クエリの組合せが追加される場合を示しているが、3つ以上の検索クエリの組合せを追加してもよい。また、情報処理装置100は、検索クエリの組合せを1つずつ追加してもよいし、2つ以上の組合せを一度に追加してもよい。
Further, as shown in FIG. 3, the
また、図3に示すように、情報処理装置100は、第1リスト情報LT1-1に対して、非採用クエリ情報LT1-2に含まれる検索クエリの中から選択した複数の検索クエリの組合せを追加することにより、第2リスト情報LT2-4を生成することもできる。なお、図3に示す例では、第1リスト情報LT1-1に対して、1対1の検索クエリの組合せが追加される場合を示しているが、3つ以上の検索クエリの組合せを追加してもよい。また、情報処理装置100は、検索クエリの組合せを1つずつ追加してもよいし、2つ以上の組合せを一度に追加してもよい。
Further, as shown in FIG. 3, the
また、図3に示すように、情報処理装置100は、第1リスト情報LT1-1に対して、第1リスト情報LT1-1に含まれる検索クエリと、非採用クエリ情報LT1-2に含まれる検索クエリの中から選択した検索クエリとの組合せを追加することにより、第2リスト情報LT2-5を生成することもできる。なお、図3に示す例では、第1リスト情報LT1-1に対して、1対1の検索クエリの組合せが追加される場合を示しているが、1対多や多対1、多対多の組合せを追加してもよい。また、情報処理装置100は、検索クエリの組合せを1つずつ追加してもよいし、2つ以上の組合せを一度に追加してもよい。
Further, as shown in FIG. 3, the
以下、情報処理装置100が実施する第2リスト情報の精度を測定するテスト方法の一例について説明する。
An example of a test method for measuring the accuracy of the second list information performed by the
たとえば、情報処理装置100は、複数の第2リスト情報について、一斉にABテストを実行することにより、複数の第2リスト情報の精度をそれぞれ測定する。具体的には、情報処理装置100は、生成した複数の第2リスト情報と同数のユーザグループを設定し、設定した各ユーザグループに対して、第2リスト情報を重複しないように個別に割り当てる。なお、各ユーザグループは、無作為に選択した予め定められる人数のユーザで構成される。
For example, the
続いて、情報処理装置100は、第2リスト情報を用いて、各ユーザグループのユーザリストをそれぞれ作成する。続いて、情報処理装置100は、各ユーザリストにおいて上位に位置付けられている各ユーザ(たとえば、上位100位までの各ユーザ)に対して、所定の行動に対応する広告の配信を行う。続いて、情報処理装置100は、各ユーザリストに基づいて配信した広告の効果測定を行う。広告の効果を測定するための指標には、任意の指標を用いることができる。たとえば、この指標として、インプレッション数や、インプレッション単価や、リーチや、クリック数や、クリック率や、クリック単価や、コンバージョン数や、コンバージョン率や、セッション数や、コンバージョン単価などを採用できる。
Subsequently, the
そして、情報処理装置100は、第1リスト情報に基づくユーザリストを用いて広告配信を行った場合の広告の効果と、各第2リスト情報に基づくユーザリストの各々を用いて広告配信を行った場合の広告の効果とを比較することにより、第2リスト情報の精度をそれぞれ測定する。
Then, the
たとえば、情報処理装置100は、複数の第2リスト情報の各々に基づく各広告のうち、第1リスト情報を用いた広告の効果を上回る効果が認められた広告の数が所定の閾値未満である場合、第1リスト情報の信頼性は高いと評価する。一方、情報処理装置100は、複数の第2リスト情報の各々に基づく各広告のうち、第1リスト情報を用いた広告の効果を上回る効果が認められた広告の数が所定の閾値以上である場合、第1リスト情報の信頼性は低いと評価する。
For example, the
また、情報処理装置100は、以下に説明する方法により、第2リスト情報の精度を測定するためのテストを実施することもできる。たとえば、情報処理装置100は、生成した複数の第2リスト情報のそれぞれに対応するユーザリストを生成する。次に、情報処理装置100は、各ユーザリストの上位に位置付けられているユーザ(たとえば、上位100位までの各ユーザ)が、実際に対応する所定の行動(たとえば、行動A)を行った割合をリサーチする。
The
続いて、情報処理装置100は、複数の第2リスト情報の各々に基づくユーザリストごとに、第1リスト情報に基づくユーザリストの上位に位置付けられているユーザが所定の行動を行った行動実行率と、第2リスト情報に基づくユーザリストの上位に位置付けられているユーザが所定の行動を行った行動実行率とを個別に比較する。そして、情報処理装置100は、複数の第2リスト情報の各々に基づく各ユーザリストのうち、第1リスト情報に紐づく行動実行率を上回る行動実行率を記録したユーザリストの数が所定の閾値未満である場合、第1リスト情報の信頼性は高いと評価する。一方、情報処理装置100は、複数の第2リスト情報の各々に基づく各ユーザリストのうち、第1リスト情報に紐づく行動実行率を上回る行動実行率を記録したユーザリストの数が所定の閾値以上である場合、第1リスト情報の信頼性は低いと評価する。
Subsequently, the
このように、実施形態に係る情報処理装置100は、第1リスト情報の信頼性を評価できる。
Thus, the
[3.情報処理装置の構成]
図4を用いて、実施形態に係る情報処理装置100の構成について説明する。図4は、実施形態に係る情報処理装置の構成例を示す図である。
[3. Configuration of information processing device]
The configuration of the
図4に示すように、情報処理装置100は、通信部110と、記憶部120と、制御部130とを備える。なお、図4は、情報処理装置100の構成例を示すものであり、図4に示す形態には限られず、図4に示す以外の他の機能部を備える形態であってもよい。
As shown in FIG. 4, the
(通信部110)
通信部110は、例えば、ネットワークNと有線または無線で接続され、ネットワークNを介して、端末装置10などの他の装置との間で情報の送受信を行う。通信部110は、例えば、NIC(Network Interface Card)やアンテナなどによって実現される。ネットワークNは、LAN(Local Area Network)や、WAN(Wide Area Network)や、電話網(携帯電話網や固定電話網など)や、地域IP(Internet Protocol)網や、インターネットなどの通信ネットワークである。ネットワークNには、有線ネットワークが含まれていてもよいし、無線ネットワークが含まれていてもよい。
(Communication unit 110)
The communication unit 110 is connected to the network N by wire or wirelessly, for example, and transmits and receives information to and from another device such as the
通信部110は、端末装置10から、撮影画像などの情報を受信する。また、通信部110は、提案情報を端末装置10に送信する。
The communication unit 110 receives information such as captured images from the
(記憶部120)
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリなどの半導体メモリ素子、または、ハードディスクや光ディスクなどの記憶装置によって実現される。記憶部120は、制御部130の各部により実行される情報処理を実現するためのプログラム及びデータを記憶する。
(storage unit 120)
The
図4に示すように、記憶部120は、第1リスト情報記憶部121と、非採用クエリ情報記憶部122と、ユーザ情報記憶部123とを有する。
As shown in FIG. 4 , the
(第1リスト情報記憶部121)
第1リスト情報記憶部121には、第1リスト情報が任意の形式で記憶されている。第1リスト情報は、所定の行動を行った複数のシードユーザが入力した検索クエリの共通性に基づいて、各シードユーザが入力した検索クエリと所定の行動との間の関係性を数値化した情報である。図5は、実施形態に係る第1リスト情報の概要を示す図である。
(First list information storage unit 121)
First list information is stored in an arbitrary format in the first list
図5に示すように、第1リスト情報は、第1リスト情報の作成時に予め設定される所定の行動ごとに設けられる。第1リスト情報は、「検索クエリ」の項目と、「スコア」の項目とを有する。第1リスト情報が有するこれらの項目は、相互に対応付けられている。 As shown in FIG. 5, the first list information is provided for each predetermined action preset when the first list information is created. The first list information has an item of "search query" and an item of "score". These items of the first list information are associated with each other.
「検索クエリ」の項目には、所定の行動を行ったシードユーザにより入力された検索クエリの情報が記憶される。また、「スコア」の項目には、検索クエリと所定の行動との間の関係性を示すスコアの情報が記憶される。 The "search query" item stores information on a search query input by a seed user who has performed a predetermined action. Also, in the "score" item, score information indicating the relationship between a search query and a predetermined action is stored.
(非採用クエリ情報記憶部122)
非採用クエリ情報記憶部122には、非採用クエリ情報が任意の形式で記憶されている。非採用クエリ情報は、第1リスト情報の生成過程で採用されなかった検索クエリに関する情報である。図6は、実施形態に係る非採用クエリ情報の概要を示す図である。
(Non-adopted query information storage unit 122)
The non-adopted query
図6に示すように、非採用クエリ情報は、第1リスト情報の作成時に予め設定される所定の行動ごとに設けられる。また、図6に示すように、非採用クエリ情報は、「検索クエリ」の項目と、「スコア」の項目とを有する。第2リスト情報が有するこれらの項目は相互に対応付けられている。 As shown in FIG. 6, non-adopted query information is provided for each predetermined action preset when the first list information is created. Further, as shown in FIG. 6, the non-adopted query information has an item of "search query" and an item of "score". These items of the second list information are associated with each other.
「検索クエリ」の項目には、所定の行動を行ったシードユーザにより入力された検索クエリの情報が記憶される。また、「スコア」の項目には、検索クエリと所定の行動との間の関係性を示すスコアの情報が記憶される。 The "search query" item stores information on a search query input by a seed user who has performed a predetermined action. Also, in the "score" item, score information indicating the relationship between a search query and a predetermined action is stored.
(ユーザ情報記憶部123)
ユーザ情報記憶部123には、各ユーザから提供される検索クエリなどのユーザ情報が任意の形式で記憶されている。図7は、実施形態に係るユーザ情報の概要を示す図である。
(User information storage unit 123)
The user
図7に示すように、ユーザ情報は、「ユーザID」の項目や、「検索履歴」の項目などを有する。 As shown in FIG. 7, the user information has items such as "user ID" and "search history".
「ユーザID」の項目には、検索履歴の提供元であるユーザに付与されている識別情報が記憶される。「検索履歴」の項目には、各ユーザから提供される検索履歴が記憶される。検索履歴には、各ユーザが各種サービスを利用する際に使用した検索クエリの情報が含まれる。 The item “user ID” stores identification information given to the user who provided the search history. The “search history” item stores the search history provided by each user. The search history includes information on search queries used by each user when using various services.
(制御部130)
図4に示す制御部130は、情報処理装置100を制御するコントローラ(controller)である。制御部130は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)、GPU(Graphics Processing Unit)などによって、情報処理装置100内部の記憶装置に記憶されている各種プログラム(例えば、情報処理プログラム)がRAMを作業領域として実行されることにより実現される。また、制御部130は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などの集積回路により実現されてもよい。
(control unit 130)
A
図4に示すように、制御部130は、第1生成部131と、第2生成部132と、評価部133とを有する。制御部130は、これらの各部により、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部130の内部構成は、図4に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部130が有する各部の接続関係は、図4に示した接続関係に限られず、他の接続関係であってもよい。
As shown in FIG. 4 , the
(第1生成部131)
第1生成部131は、所定の行動を行った複数のシードユーザが入力した検索クエリの共通性に基づいて、各シードユーザが入力した検索クエリと所定の行動との間の関係性を数値化した第1リスト情報を生成する。第1生成部131は、生成した第1リスト情報を第1リスト情報記憶部121に格納する。また、第1生成部131は、第1リスト情報の生成過程で採用されなかった検索クエリに関する非採用クエリ情報を非採用クエリ情報記憶部122に格納する。
(First generator 131)
The
(第2生成部132)
第2生成部132は、第1リスト情報から検索クエリを削除、または第1リスト情報に対して検索クエリを追加した第2リスト情報を複数生成する(たとえば、図2および図3参照)。
(Second generator 132)
The second generation unit 132 generates a plurality of pieces of second list information by deleting the search query from the first list information or adding the search query to the first list information (see FIGS. 2 and 3, for example).
たとえば、第2生成部132は、第1リスト情報の生成過程で採用されなかった検索クエリ(非採用クエリ情報記憶部122に記憶されている非採用クエリ)の中から、第1リスト情報に追加する検索クエリを選択する。そして、第2生成部132は、選択した検索クエリを第1リスト情報に追加することにより、第2リスト情報を生成する。 For example, the second generating unit 132 selects search queries that were not adopted in the process of generating the first list information (non-adopted queries stored in the non-adopted query information storage unit 122) and adds them to the first list information. Select the search query to use. Then, the second generating unit 132 generates second list information by adding the selected search query to the first list information.
また、第2生成部132は、第1リスト情報に含まれる複数の検索クエリの組合せを第1リストに追加することにより、第2リスト情報を生成する。 Also, the second generation unit 132 generates second list information by adding a combination of a plurality of search queries included in the first list information to the first list.
また、第2生成部132は、第1リスト情報の生成過程で採用されなかった検索クエリ(非採用クエリ情報記憶部122に記憶されている非採用クエリ)の中から選択した複数の検索クエリの組合せを第1リストに追加することにより、第2リスト情報を生成する。 In addition, the second generating unit 132 generates a plurality of search queries selected from search queries that were not adopted in the process of generating the first list information (non-adopted queries stored in the non-adopted query information storage unit 122). A second list of information is generated by adding the combination to the first list.
また、第2生成部132は、第1リスト情報に含まれる検索クエリと、第1リスト情報の生成過程で採用されなかった検索クエリ(非採用クエリ情報記憶部122に記憶されている非採用クエリ)の中から選択した検索クエリとの組合せを第1リストに追加することにより、第2リスト情報を生成する。
In addition, the second generating unit 132 generates the search queries included in the first list information and the search queries not adopted in the process of generating the first list information (non-adopted queries stored in the non-adopted query
(評価部133)
評価部133は、第2リスト情報の精度を測定するテストの結果に基づいて、第1リスト情報の信頼性を評価する。たとえば、評価部133は、第2生成部132により生成された複数の第2リスト情報について、一斉にABテストを実行することにより、複数の第2リスト情報の精度をそれぞれ測定する。
(Evaluation unit 133)
The
具体的には、評価部133は、第2生成部132により生成された複数の第2リスト情報と同数のユーザグループを設定し、設定した各ユーザグループに対して、第2リスト情報を重複しないように個別に割り当てる。なお、各ユーザグループは、無作為に選択した予め定められる人数のユーザで構成される。
Specifically, the
続いて、評価部133は、第2リスト情報を用いて、各ユーザグループのユーザリストをそれぞれ作成する。続いて、評価部133は、各ユーザリストにおいて上位に位置付けられている各ユーザ(たとえば、上位100位までの各ユーザ)に対して、所定の行動に対応する広告の配信を行う。続いて、評価部133は、各ユーザリストに基づいて配信した広告の効果測定を行う。広告の効果を測定するための指標には、任意の指標を用いることができる。たとえば、この指標として、インプレッション数や、インプレッション単価や、リーチや、クリック数や、クリック率や、クリック単価や、コンバージョン数や、コンバージョン率や、セッション数や、コンバージョン単価などを採用できる。
Subsequently, the
そして、評価部133は、第1リスト情報に基づくユーザリストを用いて広告配信を行った場合の広告の効果と、各第2リスト情報に基づくユーザリストの各々を用いて広告配信を行った場合の広告の効果とを比較することにより、第2リスト情報の精度をそれぞれ測定する。
Then, the
たとえば、評価部133は、複数の第2リスト情報の各々に基づく各広告のうち、第1リスト情報を用いた広告の効果を上回る効果が認められた広告の数が所定の閾値未満である場合、第1リスト情報の信頼性は高いと評価する。一方、情報処理装置100は、複数の第2リスト情報の各々に基づく各広告のうち、第1リスト情報を用いた広告の効果を上回る効果が認められた広告の数が所定の閾値以上である場合、第1リスト情報の信頼性は低いと評価する。
For example, the
また、評価部133は、以下に説明する方法により、第2リスト情報の精度を測定するためのテストを実施することもできる。たとえば、評価部133は、生成した複数の第2リスト情報のそれぞれに対応するユーザリストを生成する。次に、評価部133は、各ユーザリストの上位に位置付けられている各ユーザ(たとえば、上位100位までの各ユーザ)が、実際に対応する所定の行動(たとえば、行動A)を行った割合をリサーチする。
The
続いて、評価部133は、複数の第2リスト情報の各々に基づくユーザリストごとに、第1リスト情報に基づくユーザリストの上位に位置付けられているユーザが所定の行動を行った行動実行率と、第2リスト情報に基づくユーザリストの上位に位置付けられているユーザが所定の行動を行った行動実行率とを個別に比較する。そして、評価部133は、複数の第2リスト情報の各々に基づく各ユーザリストのうち、第1リスト情報に紐づく行動実行率を上回る行動実行率を記録したユーザリストの数が所定の閾値未満である場合、第1リスト情報の信頼性は高いと評価する。一方、情報処理装置100は、複数の第2リスト情報の各々に基づく各ユーザリストのうち、第1リスト情報に紐づく行動実行率を上回る行動実行率を記録したユーザリストの数が所定の閾値以上である場合、第1リスト情報の信頼性は低いと評価する。
Subsequently, for each user list based on each of the plurality of second list information, the
[4.処理手順]
以下、図8を用いて、実施形態に係る情報処理装置100による処理手順について説明する。図8は、実施形態に係る情報処理装置による処理手順の一例を示すフローチャートである。図8に示す処理手順は、情報処理装置100の制御部130により実行される。図8に示す処理手順は、情報処理装置100の稼働中、繰り返し実行される。
[4. Processing procedure]
A processing procedure performed by the
図8に示すように、第2生成部132は、第1リスト情報から検索クエリを削除、または第1リスト情報に対して検索クエリを追加した第2リスト情報を複数生成する(ステップS101)。 As shown in FIG. 8, the second generating unit 132 generates a plurality of second list information by deleting the search query from the first list information or adding the search query to the first list information (step S101).
続いて、評価部133は、ステップS101で生成された複数の第2リスト情報の精度を測定するためのテストを実施する(ステップS102)。
Subsequently, the
続いて、評価部133は、ステップS102で実施したテストの結果に基づいて、第1リスト情報の信頼性を評価し(ステップS103)、図8に示す処理手順を終了する。
Subsequently, the
[5.変形例]
上述した情報処理装置100は、上述した実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、実施形態の変形例について説明する。
[5. Modification]
The
(5-1.第1リスト情報について)
上述した実施形態において、情報処理装置100は、複数の所定の行動それぞれについて第1リスト情報を生成する例を説明したが、この例には特に限定される必要はない。たとえば、情報処理装置100は、ターゲットとするユーザの行動以外のコンテキスト(たとえば、デモグラフィック属性や興味嗜好など)に基づいて、第1リスト情報および第2リスト情報を作成してもよい。
(5-1. First list information)
In the above-described embodiment, the
(5-2.第2リスト情報について)
上述の実施形態において、情報処理装置100は、第1リスト情報に検索クエリの組合せを追加して第2リスト情報を作成する際、相関性が高い検索クエリ同士を組み合わせてもよい。
(5-2. Second list information)
In the above-described embodiment, the
[6.ハードウェア構成]
実施形態に係る情報処理装置100は、たとえば、図9に示すような構成のコンピュータ1000によって実現される。図9は、実施形態に係る情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
[6. Hardware configuration]
The
コンピュータ1000は、出力装置1010、入力装置1020と接続され、演算装置1030、一次記憶装置1040、二次記憶装置1050、出力IF(Interface)1060、入力IF1070、ネットワークIF1080がバス1090により接続された形態を有する。
A
演算装置1030は、一次記憶装置1040や二次記憶装置1050に格納されたプログラムや入力装置1020から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置1040は、RAM等、演算装置1030が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置1050は、演算装置1030が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ROM(Read Only Memory)、HDD、フラッシュメモリ等により実現される。
The arithmetic device 1030 operates based on programs stored in the primary storage device 1040 and the
出力IF1060は、モニタやプリンタといった各種の情報を出力する出力装置1010に対し、出力対象となる情報を送信するためのインターフェイスであり、例えば、USB(Universal Serial Bus)やDVI(Digital Visual Interface)、HDMI(登録商標)(High Definition Multimedia Interface)といった規格のコネクタにより実現される。また、入力IF1070は、マウス、キーボード、およびスキャナ等といった各種の入力装置1020から情報を受信するためのインターフェイスであり、例えば、USB等により実現される。
The output IF 1060 is an interface for transmitting information to be output to the output device 1010 that outputs various types of information such as a monitor and a printer. It is realized by a connector conforming to a standard such as HDMI (registered trademark) (High Definition Multimedia Interface). Also, the input IF 1070 is an interface for receiving information from
なお、入力装置1020は、例えば、CD(Compact Disc)、DVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置1020は、USBメモリ等の外付け記憶媒体であってもよい。
Note that the
ネットワークIF1080は、ネットワークNを介して他の機器からデータを受信して演算装置1030へ送り、また、ネットワークNを介して演算装置1030が生成したデータを他の機器へ送信する。 Network IF 1080 receives data from other devices via network N and sends the data to arithmetic device 1030, and also transmits data generated by arithmetic device 1030 via network N to other devices.
演算装置1030は、出力IF1060や入力IF1070を介して、出力装置1010や入力装置1020の制御を行う。例えば、演算装置1030は、入力装置1020や二次記憶装置1050からプログラムを一次記憶装置1040上にロードし、ロードしたプログラムを実行する。
The arithmetic device 1030 controls the output device 1010 and the
例えば、コンピュータ1000が情報処理装置100として機能する場合、コンピュータ1000の演算装置1030は、一次記憶装置1040上にロードされたプログラム(たとえば、情報処理プログラム)を実行することにより、制御部130と同様の機能を実現する。すなわち、演算装置1030は、一次記憶装置1040上にロードされたプログラム(たとえば、情報処理プログラム)との協働により、実施形態に係る情報処理装置100による処理を実現する。
For example, when the
[7.その他]
上述した実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
[7. others]
Of the processes described in the above embodiments, all or part of the processes described as being automatically performed can be manually performed, or all of the processes described as being manually performed. Alternatively, some can be done automatically by known methods. In addition, information including processing procedures, specific names, various data and parameters shown in the above documents and drawings can be arbitrarily changed unless otherwise specified.
上述の実施形態において、情報処理装置100による情報処理方法(たとえば、図8参照)を実現するために、情報処理装置100が有する制御部130の各部(第1生成部131、第2生成部132、及び評価部133)に対応する処理機能は、情報処理装置100に予めインストールされている情報処理プログラムに対するアドオンとして実現してもよいし、軽量なプログラミング言語などを用いて、専用の提供プログラムとして柔軟に記述することにより実現されてもよい。
In the above-described embodiment, in order to realize the information processing method (see, for example, FIG. 8) by the
また、情報処理装置100は、ユーザ情報記憶部123に記憶するユーザ情報として、各ユーザが入力した検索クエリの検索履歴だけでなく、各ユーザの購買履歴、電子商店街で閲覧した取引対象の履歴、購入した取引対象の履歴である購買履歴、閲覧したニュース等のコンテンツの履歴である閲覧履歴、SNS(Social Networking Service)に投稿したテキストや画像等の履歴である投稿履歴、位置履歴などを収集してもよい。また、情報処理装置100は、たとえば、各ユーザが保有するスマートフォンを用いて店舗に設置されたQRコード(登録商標)を読み取り、読み取り結果を用いて実現する決済サービスの利用履歴や、各ユーザが保有するスマートフォンにQRコードを表示させ、かかるQRコードを店舗端末が読み込むことで行われる決済サービスの利用履歴(たとえば、購入日時や購入商品、購入額など)を収集してもよい。また、情報処理装置100は、各ユーザが保有するクレジットカードの利用履歴や銀行口座の利用履歴などを収集してもよい。
In addition, the
また、情報処理装置100は、収集した情報に基づいて推定された情報を各ユーザの情報としてもよい。たとえば、情報処理装置100は、購買履歴から、毎月の食料品の平均的な購入総額が10万円以上である場合、たとえば、世帯月収若しくは個人月収が30万円以上であるといった収入や、3人家族であるといった家族構成、もしくは同居人構成などを推定し、各ユーザの情報としてもよい。また、情報処理装置100は、たとえば、位置履歴や購入履歴から、各ユーザが所有する物品や、各ユーザの居住地や職場などを推定し、推定した情報を各ユーザの情報としてもよい。
Further, the
また、情報処理装置100は、たとえば、各種サービスを提供するサーバ装置から、サービスの利用履歴を各ユーザの情報として取得してもよい。また、情報処理装置100は、このようなサービスを提供するサーバ装置もしくは単独のサーバ装置が、サービスの利用履歴から推定した各種情報を各ユーザの情報として収集してもよい。また、情報処理装置100は、各ユーザが登録、又は各ユーザについて推定された各種のジオグラフィック属性や趣味嗜好といったサイコグラフィック属性を示す情報を各ユーザの情報として収集してもよい。
Further, the
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。たとえば、制御部130の第1生成部131と第2生成部132とは機能的に統合されていてもよい。
Also, each component of each device illustrated is functionally conceptual, and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution and integration of each device is not limited to the one shown in the figure, and all or part of them can be functionally or physically distributed and integrated in arbitrary units according to various loads and usage conditions. Can be integrated and configured. For example,
また、上述の実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 Further, the above-described embodiment and modifications can be appropriately combined within a range that does not contradict the processing content.
[8.効果]
上述の実施形態に係る情報処理装置100は、第1生成部131と、第2生成部132と、評価部133とを備える。第1生成部131は、所定の行動を行った複数のシードユーザが入力した検索クエリの共通性に基づいて、各シードユーザが入力した検索クエリと所定の行動との間の関係性を数値化した第1リスト情報を生成する。第2生成部132は、第1リスト情報から検索クエリを削除、または第1リスト情報に対して検索クエリを追加した第2リスト情報を複数生成する。評価部133は、第2リスト情報の精度を測定するテストの結果に基づいて、第1リスト情報の信頼性を評価する。
[8. effect]
The
このようなことから、実施形態に係る情報処理装置100は、第1リスト情報に人為的な変化を与えた第2リストの精度を確認することにより、第1リスト情報の信頼性を評価できる。
As such, the
また、実施形態に係る情報処理装置100において、第2生成部132は、第1リスト情報の生成過程で採用されなかった検索クエリの中から、第1リスト情報に追加する検索クエリを選択する。これにより、実施形態に係る情報処理装置100は、第1リスト情報の生成過程を確認する機会を提供できる。
In addition, in the
また、実施形態に係る情報処理装置100において、第2生成部132は、第1リスト情報に含まれる複数の検索クエリの組合せを第1リストに追加する。
Also, in the
また、実施形態に係る情報処理装置100において、第2生成部132は、第1リスト情報の生成過程で採用されなかった検索クエリの中から選択した複数の検索クエリの組合せを第1リストに追加する。
In addition, in the
また、実施形態に係る情報処理装置100において、第2生成部132は、第1リスト情報に含まれる検索クエリと、第1リスト情報の生成過程で採用されなかった検索クエリの中から選択した検索クエリとの組合せを第1リストに追加する。
In addition, in the
これらにより、実施形態に係る情報処理装置100は、第1リスト情報の精度をより高める可能性を模索できる。
As a result, the
以上、本願の実施形態をいくつかの図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。 As described above, the embodiments of the present application have been described in detail based on several drawings, but these are examples, and various modifications and It is possible to carry out the invention in other forms with modifications.
また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。 Also, the above-mentioned "section, module, unit" can be read as "means" or "circuit". For example, the control unit can be read as control means or a control circuit.
10 端末装置
100 情報処理装置
110 通信部
120 記憶部
121 第1リスト情報記憶部
122 非採用クエリ情報記憶部
123 ユーザ情報記憶部
130 制御部
131 第1生成部
132 第2生成部
133 評価部
10
Claims (7)
前記第1リスト情報から検索クエリを削除、または前記第1リスト情報に対して検索クエリを追加した第2リスト情報を複数生成する第2生成部と、
前記第2リスト情報の精度を測定するテストの結果に基づいて、前記第1リスト情報の信頼性を評価する評価部と
を備えることを特徴とする情報処理装置。 First list information that quantifies the relationship between the search query input by each seed user and the predetermined behavior based on the commonality of the search queries input by a plurality of seed users who have performed a predetermined behavior. a first generator that generates
a second generation unit that deletes a search query from the first list information or generates a plurality of second list information by adding a search query to the first list information;
An information processing apparatus, comprising: an evaluation unit that evaluates the reliability of the first list information based on a result of a test that measures the accuracy of the second list information.
前記第1リスト情報の生成過程で採用されなかった検索クエリの中から、前記第1リスト情報に追加する検索クエリを選択する
ことを特徴とする請求項1に記載の情報処理装置。 The second generator,
The information processing apparatus according to claim 1, wherein a search query to be added to said first list information is selected from search queries not adopted in the process of generating said first list information.
前記第1リスト情報に含まれる複数の検索クエリの組合せを前記第1リスト情報に追加する
ことを特徴とする請求項1又は2に記載の情報処理装置。 The second generator,
3. The information processing apparatus according to claim 1, wherein a combination of a plurality of search queries included in said first list information is added to said first list information.
前記第1リスト情報の生成過程で採用されなかった検索クエリの中から選択した複数の検索クエリの組合せを前記第1リスト情報に追加する
ことを特徴とする請求項1~3のいずれか1つに記載の情報処理装置。 The second generator,
Any one of claims 1 to 3, wherein a combination of a plurality of search queries selected from search queries not adopted in the process of generating the first list information is added to the first list information. The information processing device according to .
前記第1リスト情報に含まれる検索クエリと、前記第1リスト情報の生成過程で採用されなかった検索クエリの中から選択した検索クエリとの組合せを前記第1リスト情報に追加する
ことを特徴とする請求項1~4のいずれか1つに記載の情報処理装置。 The second generator,
adding to the first list information a combination of a search query included in the first list information and a search query selected from search queries not adopted in the process of generating the first list information; The information processing apparatus according to any one of claims 1 to 4.
所定の行動を行った複数のシードユーザが入力した検索クエリの共通性に基づいて、各シードユーザが入力した検索クエリと前記所定の行動との間の関係性を数値化した第1リスト情報を生成する第1生成工程と、
前記第1リスト情報から検索クエリを削除、または前記第1リスト情報に対して検索クエリを追加した第2リスト情報を複数生成する第2生成工程と、
前記第2リスト情報の精度を測定するテストの結果に基づいて、前記第1リスト情報の信頼性を評価する評価工程と
を含むことを特徴とする情報処理方法。 A computer-executed information processing method comprising:
First list information that quantifies the relationship between the search query input by each seed user and the predetermined behavior based on the commonality of the search queries input by a plurality of seed users who have performed a predetermined behavior. a first generating step of generating;
a second generation step of generating a plurality of second list information in which the search query is deleted from the first list information or the search query is added to the first list information;
and an evaluation step of evaluating the reliability of the first list information based on a result of a test for measuring the accuracy of the second list information.
所定の行動を行った複数のシードユーザが入力した検索クエリの共通性に基づいて、各シードユーザが入力した検索クエリと前記所定の行動との間の関係性を数値化した第1リスト情報を生成する第1生成手順と、
前記第1リスト情報から検索クエリを削除、または前記第1リスト情報に対して検索クエリを追加した第2リスト情報を複数生成する第2生成手順と、
前記第2リスト情報の精度を測定するテストの結果に基づいて、前記第1リスト情報の信頼性を評価する評価手順と
を実行させることを特徴とする情報処理プログラム。 to the computer,
First list information that quantifies the relationship between the search query input by each seed user and the predetermined behavior based on the commonality of the search queries input by a plurality of seed users who have performed a predetermined behavior. a first generating procedure for generating;
a second generation procedure for generating a plurality of second list information in which the search query is deleted from the first list information or the search query is added to the first list information;
and an evaluation procedure for evaluating the reliability of the first list information based on the result of a test for measuring the accuracy of the second list information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021150450A JP7407779B2 (en) | 2021-09-15 | 2021-09-15 | Information processing device, information processing method, and information processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021150450A JP7407779B2 (en) | 2021-09-15 | 2021-09-15 | Information processing device, information processing method, and information processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023042996A true JP2023042996A (en) | 2023-03-28 |
JP7407779B2 JP7407779B2 (en) | 2024-01-04 |
Family
ID=85724358
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021150450A Active JP7407779B2 (en) | 2021-09-15 | 2021-09-15 | Information processing device, information processing method, and information processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7407779B2 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000311179A (en) * | 1999-02-25 | 2000-11-07 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for supporting data retrieval and storage medium stored with data retrieval supporting program |
JP2012022570A (en) * | 2010-07-15 | 2012-02-02 | Ntt Comware Corp | Object recommendation apparatus, object recommendation method, object recommendation program and object recommendation system |
JP2014006757A (en) * | 2012-06-26 | 2014-01-16 | Yahoo Japan Corp | Content distribution device |
JP2014507036A (en) * | 2011-02-22 | 2014-03-20 | インターナショナル・ビジネス・マシーンズ・コーポレーション | Method, system, and computer program for on-page manipulation and real-time replacement of content |
JP2019020930A (en) * | 2017-07-13 | 2019-02-07 | ヤフー株式会社 | Learning device, learning method, learning program, learning data, and model |
JP2020530628A (en) * | 2017-08-14 | 2020-10-22 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | Systems and methods for generating query recommendations that reflect groups |
-
2021
- 2021-09-15 JP JP2021150450A patent/JP7407779B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000311179A (en) * | 1999-02-25 | 2000-11-07 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for supporting data retrieval and storage medium stored with data retrieval supporting program |
JP2012022570A (en) * | 2010-07-15 | 2012-02-02 | Ntt Comware Corp | Object recommendation apparatus, object recommendation method, object recommendation program and object recommendation system |
JP2014507036A (en) * | 2011-02-22 | 2014-03-20 | インターナショナル・ビジネス・マシーンズ・コーポレーション | Method, system, and computer program for on-page manipulation and real-time replacement of content |
JP2014006757A (en) * | 2012-06-26 | 2014-01-16 | Yahoo Japan Corp | Content distribution device |
JP2019020930A (en) * | 2017-07-13 | 2019-02-07 | ヤフー株式会社 | Learning device, learning method, learning program, learning data, and model |
JP2020530628A (en) * | 2017-08-14 | 2020-10-22 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | Systems and methods for generating query recommendations that reflect groups |
Also Published As
Publication number | Publication date |
---|---|
JP7407779B2 (en) | 2024-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Malthouse et al. | Opportunities for and pitfalls of using big data in advertising research | |
US9235570B2 (en) | Optimizing internet campaigns | |
TWI549079B (en) | System and method for directing content to users of a social networking engine | |
US20140172545A1 (en) | Learned negative targeting features for ads based on negative feedback from users | |
JP6393686B2 (en) | Method and system for determining PYMK usage and content based on a value model | |
US20140358694A1 (en) | Social media pricing engine | |
US20170364931A1 (en) | Distributed model optimizer for content consumption | |
JPWO2012002351A1 (en) | Information processing apparatus, information processing method, and information processing program | |
JP2018045553A (en) | Selection device, selection method, and selection program | |
Łysik et al. | Zero moment of truth: A new marketing challenge in mobile consumer communities | |
KR20220117425A (en) | Marketability analysis and commercialization methodology analysis system using big data | |
JP4944287B2 (en) | Information providing apparatus, compensation payment processing method, compensation payment processing program, and recording medium on which compensation payment processing program is recorded | |
JP7231585B2 (en) | Evaluation device, evaluation method and evaluation program | |
KR20100104627A (en) | Method, system and computer-readable recording medium for providing advertisement contents based on user behaviors | |
JP6243559B2 (en) | Learning device, learning method, and learning program | |
JP7174743B2 (en) | Information selection device, information selection method and information selection program | |
JP7407779B2 (en) | Information processing device, information processing method, and information processing program | |
JP7042787B2 (en) | Judgment device, judgment method, and judgment program | |
KR101459102B1 (en) | System for advertisement service using search log of web page, and method of the same | |
JP2022016146A (en) | Information processing device, information processing method, and information processing program | |
JP7453191B2 (en) | Information processing device, information processing method, and information processing program | |
JP7354195B2 (en) | Information processing device, information processing method, and information processing program | |
JP7418379B2 (en) | Information processing device, information processing method, and information processing program | |
JP7419313B2 (en) | Information processing device, information processing method, and information processing program | |
JP7443280B2 (en) | Provision device, method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220916 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231020 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20231026 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7407779 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |