JP2020101939A - Calculation device, calculation method, and calculation program - Google Patents
Calculation device, calculation method, and calculation program Download PDFInfo
- Publication number
- JP2020101939A JP2020101939A JP2018238868A JP2018238868A JP2020101939A JP 2020101939 A JP2020101939 A JP 2020101939A JP 2018238868 A JP2018238868 A JP 2018238868A JP 2018238868 A JP2018238868 A JP 2018238868A JP 2020101939 A JP2020101939 A JP 2020101939A
- Authority
- JP
- Japan
- Prior art keywords
- content
- examination
- advertisement
- information
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 49
- 238000000605 extraction Methods 0.000 claims abstract description 70
- 238000011156 evaluation Methods 0.000 claims description 30
- 238000000034 method Methods 0.000 claims description 19
- 230000010365 information processing Effects 0.000 abstract description 217
- 239000000284 extract Substances 0.000 abstract description 29
- 230000000007 visual effect Effects 0.000 description 40
- 238000010586 diagram Methods 0.000 description 20
- 238000011179 visual inspection Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 6
- 230000006866 deterioration Effects 0.000 description 5
- 239000003814 drug Substances 0.000 description 5
- 230000003203 everyday effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000825 pharmaceutical preparation Substances 0.000 description 2
- 229940127557 pharmaceutical product Drugs 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Abstract
Description
本発明は、算出装置、算出方法及び算出プログラムに関する。 The present invention relates to a calculation device, a calculation method, and a calculation program.
従来、所定の基準に基づいてコンテンツの審査を行う技術が提案されている。例えば、広告主が入稿した広告と、過去の審査の履歴情報とを対比することにより、当該広告が適切であるか否かを審査する技術が提案されている。 Heretofore, a technique for examining content based on a predetermined standard has been proposed. For example, a technology has been proposed in which an advertisement submitted by an advertiser is compared with past examination history information to examine whether or not the advertisement is appropriate.
しかしながら、上記の従来技術では、コンテンツの審査結果を活用できるとは限らない。例えば、上記の従来技術では、審査の履歴情報に基づいて広告を審査しているに過ぎず、コンテンツの審査結果を活用できるとは限らない。 However, the above-mentioned conventional technique cannot always utilize the examination result of the content. For example, in the above-mentioned conventional technology, the advertisement is only examined based on the examination history information, and the examination result of the content cannot always be utilized.
本願は、上記に鑑みてなされたものであって、コンテンツの審査結果を活用できる算出装置、算出方法及び算出プログラムを提供することを目的とする。 The present application has been made in view of the above, and an object thereof is to provide a calculation device, a calculation method, and a calculation program that can utilize the examination result of content.
本願に係る算出装置は、第１審査基準に基づく審査を経た第１コンテンツのうち、前記第１審査基準を満たすと判定された第２コンテンツと、前記第１審査基準を満たさないと判定された第３コンテンツとを抽出する抽出部と、前記抽出部が抽出した第２コンテンツのうち、第２審査基準を満たさないと判定された第４コンテンツの前記第１コンテンツに対する割合と、前記抽出部が抽出した第３コンテンツのうち、前記第２審査基準を満たすと判定された第５コンテンツの前記第１コンテンツに対する割合とを算出する算出部とを備えたことを特徴とする。 The calculation device according to the present application determines that among the first contents that have undergone the examination based on the first examination standard, the second content that is determined to satisfy the first examination criterion and the second content that does not satisfy the first examination criterion. An extracting unit that extracts the third content; a ratio of the fourth content, which is determined not to satisfy the second examination criterion, to the first content, of the second content extracted by the extracting unit; Among the extracted third contents, a calculating unit for calculating a ratio of the fifth contents determined to satisfy the second examination standard to the first contents is provided.
実施形態の一態様によれば、コンテンツの審査結果を活用できるという効果を奏する。 According to the aspect of the embodiment, it is possible to utilize the examination result of the content.
以下に本願に係る算出装置、算出方法及び算出プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る算出装置、算出方法及び算出プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。 Hereinafter, modes (hereinafter, referred to as “embodiments”) for carrying out a calculation device, a calculation method, and a calculation program according to the present application will be described in detail with reference to the drawings. Note that the calculation device, the calculation method, and the calculation program according to the present application are not limited by this embodiment. Also, in each of the following embodiments, the same parts are designated by the same reference numerals, and duplicated description will be omitted.
〔１．実施形態〕
図１を用いて、本実施形態の情報処理装置等により実現される情報処理を説明する。図１は、実施形態に係る情報処理の一例を示す図である。図１に示す例において、情報処理システム１は、情報処理装置１００、広告主端末１０、審査者端末２０及びユーザ端末３０を有する。情報処理装置１００と、広告主端末１０と、審査者端末２０と、ユーザ端末３０とは、図示しない所定の通信網を介して、有線又は無線により通信可能に接続される。なお、図１に示す情報処理システム１は、複数台の情報処理装置１００や、複数台の広告主端末１０や、複数台の審査者端末２０や、複数台のユーザ端末３０が含まれてもよい。また、図１では、本願に係る算出装置が、情報処理装置１００に含まれる場合を例に挙げて説明を行う。
[1. Embodiment)
Information processing realized by the information processing apparatus according to the present embodiment will be described with reference to FIG. FIG. 1 is a diagram illustrating an example of information processing according to the embodiment. In the example illustrated in FIG. 1, the
図１に示す情報処理装置１００は、広告主が利用する広告主端末１０から入稿された広告を管理し、ユーザが利用するユーザ端末３０に広告を配信する配信サービスを提供するサーバ装置である。例えば、情報処理装置１００は、広告主端末１０から受け付けた広告に関する情報を広告情報記憶部１２１に格納する。また、情報処理装置１００は、広告主端末１０から受け付けた広告を審査し、審査に関する情報（審査結果）を広告情報記憶部１２１に格納する。また、情報処理装置１００は、ユーザ端末３０に配信した広告の配信期間や、インプレッション数等の情報を収集し、記憶部に格納する。
The
なお、図１の例において、広告の審査とは、広告に含まれるテキスト、画像、動画や、広告のリンク先（ランディングページ）等が適切であるか否か（例えば、誇張表現や虚偽の内容の有無、各種法律（薬事法、著作権法、不正表示防止法、など）の規定に違反しているか否か、公序良俗に反しているか否か、など）を審査することを示す。 In the example of FIG. 1, the examination of the advertisement means whether or not the text, image, video included in the advertisement or the link destination (landing page) of the advertisement is appropriate (for example, exaggerated expression or false content). Whether or not it violates the provisions of various laws (pharmaceutical law, copyright law, improper display prevention law, etc.), whether it violates public order and morals, etc.
図１に示す広告主端末１０は、広告主によって利用される情報処理装置である。例えば、広告主端末１０は、デスクトップ型ＰＣ（Personal Computer）や、ノート型ＰＣや、タブレット端末や、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等である。広告主端末１０は、広告主の操作に応じて広告を情報処理装置１００に入稿する。なお、図１に示す例において、広告主端末１０は、広告主によって利用されるノート型ＰＣである場合を示す。
The
図１に示す審査者端末２０は、広告を目視により審査する審査者によって利用される情報処理装置である。例えば、審査者端末２０は、デスクトップ型ＰＣや、ノート型ＰＣや、タブレット端末や、携帯電話機や、ＰＤＡ等である。審査者端末２０は、審査対象の広告の広告情報を受け付け、当該広告が適切であるか否かを示す審査結果を審査者の操作に応じて情報処理装置１００に送信する。なお、図１に示す例において、審査者端末２０は、審査者によって利用されるノート型ＰＣである場合を示す。
The
図１に示すユーザ端末３０は、ユーザよって利用される情報処理装置である。ユーザ端末３０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣや、デスクトップＰＣや、携帯電話機や、ＰＤＡ等により実現される。また、ユーザ端末３０は、情報処理装置１００によって配信される情報を、ウェブブラウザやアプリケーションにより表示する。また、ユーザ端末３０は、情報処理装置１００によって配信される情報の表示処理を実現する制御情報を情報処理装置１００から受け取った場合には、制御情報に従って表示処理を実現する。なお、図１に示す例において、ユーザ端末３０は、ユーザによって利用されるスマートフォンやタブレット等のスマートデバイスである場合を示す。
The
以下、図１を用いて、情報処理装置１００が行う情報処理について説明する。なお、以下の説明において、ユーザ端末３０へ配信されていない広告（以下、「配信前広告」と記載する場合がある）を審査するためのモデル（以下、「第１モデル」と記載する場合がある）が、情報処理装置１００の第１モデル記憶部１２２に格納されているものとする。また、以下の説明において、ユーザ端末３０へ配信済みの広告（以下、「配信済広告」と記載する場合がある）を審査するためのモデル（以下、「第２モデル」と記載する場合がある）が、情報処理装置１００の第２モデル記憶部１２３に格納されているものとする。また、以下の説明において、第１モデルを用いた広告の審査、並びに、第２モデルを用いた広告の審査は、同一の審査基準により行われるものとする。また、以下の説明において、審査者端末２０は、広告の審査基準に関する情報を情報処理装置１００から受け付け、審査者に通知しているものとする。
Information processing performed by the
まず、情報処理装置１００は、広告主Ｃ１が利用する広告主端末１０から広告（配信前広告）の入稿を受け付ける（ステップＳ１１）。例えば、図１の例において、情報処理装置１００は、広告を構成するテキスト情報、画像情報、動画情報や、リンク先に関する情報を含む広告情報を受け付け、広告情報記憶部１２１に格納する。
First, the
続いて、情報処理装置１００は、第１モデルを用いて配信前広告を審査する（ステップＳ１２）。例えば、図１の例において、情報処理装置１００は、ステップＳ１１において受け付けた広告情報を第１モデルに入力し、入力した広告情報が有する特徴量に基づいて、広告情報に対応する広告が適切であるか否かを示すスコアを出力する。そして、情報処理装置１００は、出力したスコアに基づいて、広告を「適切」（ユーザ端末３０へ配信可能である広告）、「不適切」（ユーザ端末３０へ配信不可能である広告）、「判別不可」（目視により審査されるべき広告）のいずれかの審査結果に分類する。情報処理装置１００は、広告の審査結果が「適切」または「不適切」である場合、広告が「適切」または「不適切」であることを示す情報を、第１モデルを用いた審査に関する情報として、広告に対応付けて広告情報記憶部１２１に格納する。
Subsequently, the
なお、本実施形態において、情報処理装置１００は、広告情報に含まれるテキスト情報を形態素解析等の自然言語処理技術を適宜用いて解析することにより、テキスト情報から特徴量を抽出してもよい。また、情報処理装置１００は、任意の技術を採用することにより、広告情報に含まれる画像情報や動画情報が有する特徴量を抽出してもよい。
In the present embodiment, the
ここで、本実施形態において、ステップＳ１１において受け付けた広告の審査結果が「判別不可」であるものとする。この場合、情報処理装置１００は、目視による広告の審査を行う（ステップＳ１３）。例えば、図１の例において、情報処理装置１００は、審査対象の広告に対応する広告情報を審査者端末２０に送信し、審査者Ｅ１に審査させることにより、目視による広告の審査を行う。すなわち、情報処理装置１００は、目視による審査の対象である広告に関する情報を、審査者端末２０に送信する。
Here, in the present embodiment, it is assumed that the examination result of the advertisement received in step S11 is “undetermined”. In this case, the
続いて、情報処理装置１００は、審査者端末２０から広告の審査結果を受け付ける（ステップＳ１４）。例えば、図１の例において、情報処理装置１００は、広告が「適切」であることを示す情報、または、広告が「不適切」であることを示す情報のいずれかを目視による審査に関する情報として受け付け、受け付けた情報を広告に対応付けて広告情報記憶部１２１に格納する。
Subsequently, the
続いて、情報処理装置１００は、ユーザ端末３０に広告を配信する（ステップＳ１５）。例えば、図１の例において、情報処理装置１００は、ステップＳ１２における審査またはステップＳ１３における審査において「適切」と審査された広告をユーザ端末３０に配信する。そして、情報処理装置１００は、ユーザ端末３０における各広告の表示（インプレッション）の有無や、各広告の配信期間に関する情報（以下、「広告配信履歴情報」と記載する場合がある）をユーザ端末３０から収集し、記憶部に格納する。
Then, the
続いて、情報処理装置１００は、第２モデルを用いて配信済広告を審査する（ステップＳ１６）。例えば、図１の例において、情報処理装置１００は、ステップＳ１５において配信された広告（配信済広告）に対応する広告情報を第２モデルに入力し、入力した広告情報が有する特徴量に基づいて、広告情報に対応する広告が適切であるか否かを示すスコアを出力する。そして、情報処理装置１００は、出力したスコアに基づいて、配信済広告を「適切」、「不適切」、「判別不可」のいずれかの審査結果に分類する。情報処理装置１００は、広告の審査結果が「適切」または「不適切」である場合、広告が「適切」または「不適切」であることを示す情報を、第２モデルを用いた審査に関する情報として、広告に対応付けて広告情報記憶部１２１に格納する。
Then, the
なお、ステップＳ１７における処理は、配信済広告の審査を行う点を除き、ステップＳ１３と同様の処理であるため、説明を省略する。また、ステップＳ１８における処理は、配信済広告の審査結果を受け付ける点を除き、ステップＳ１４と同様の処理であるため、説明を省略する。 The process in step S17 is the same as that in step S13 except that the distributed advertisement is examined, and thus the description thereof is omitted. Further, the processing in step S18 is the same as that in step S14 except that the examination result of the delivered advertisement is accepted, and thus the description thereof will be omitted.
続いて、情報処理装置１００は、サンプルとなる広告を抽出する（ステップＳ１９）。具体的には、情報処理装置１００は、第１モデル及び第２モデルを用いた審査の精度を示す指標値を算出する際、指標値に期待する信頼度を担保するうえで必要なサンプル数を満たすように所定の期間中に広告を抽出する。ここで、本実施形態において、情報処理装置１００は、所定の期間を複数の期間（以下、「分割期間」と記載する場合がある）に分割し、分割期間ごとに抽出される広告の総数が必要なサンプル数を満たすように、分割期間ごとに抽出する広告のサンプル数を決定する。例えば、図１の例において、必要なサンプル数が「１０００」であり、所定の期間が「１０日」であるものとする。この場合、情報処理装置１００は、分割期間を「１日」とし、１日ごとに抽出するサンプル数を「１００」と決定する。
Then, the
なお、図１の例において、情報処理装置１００は、第１モデルまたは第２モデルを用いた審査おいて、「適切」と分類（判定）された広告（第１モデルを用いた審査に関する情報または第２モデルを用いた審査に関する情報と対応付けられた広告）に関する情報を広告情報記憶部１２１から１日ごとに１００件抽出し、サンプル広告情報記憶部１２５に格納する。
Note that, in the example of FIG. 1, the
続いて、情報処理装置１００は、サンプルとして抽出した広告を審査する（ステップＳ２０）。例えば、図１の例において、情報処理装置１００は、サンプルとして抽出した広告に対応する広告情報を１日ごとに審査者端末２０に送信し、審査者Ｅ１に審査させることにより、目視による広告の審査を行う（すなわち、情報処理装置１００は、広告に関する情報を、審査者端末２０に送信し、審査者Ｅ１による目視の審査結果を審査者端末２０から受け付ける）。言い換えると、情報処理装置１００は、分割期間ごとに抽出するサンプル数に対応する数の広告の審査を分割期間ごとに行う。そして、情報処理装置１００は、広告が「適切」であることを示す情報、または、広告が「不適切」であることを示す情報のいずれかを目視による審査に関する情報として審査者端末２０から受け付け、受け付けた情報を広告に対応付けてサンプル広告情報記憶部１２５に格納する。
Then, the
ここで、図１の例において、所定の期間が経過し、サンプルとして抽出した１０００件の広告の審査が完了したものとする。この場合、情報処理装置１００は、第１モデル及び第２モデルを用いた審査の精度を示す指標値を算出する（ステップＳ２１）。例えば、図１の例において、情報処理装置１００は、サンプルとして抽出した広告の総数に対する、ステップＳ２０における審査結果が「不適切」である広告（言い換えると、本来「不適切」と分類（判定）されるべきであるにもかかわらず「適切」と判定され、ユーザ端末３０に配信された広告。以下、「偽陰性広告」と記載する場合がある）の数の割合を指標値として算出する。
Here, in the example of FIG. 1, it is assumed that a predetermined period of time has passed and the examination of 1000 advertisements extracted as samples has been completed. In this case, the
続いて、情報処理装置１００は、情報処理装置１００が提供する配信サービスを評価する（ステップＳ２２）。例えば、図１の例において、情報処理装置１００は、偽陰性広告に対応する広告配信履歴情報に基づいて、配信サービスを評価する。例えば、情報処理装置１００は、偽陰性広告の配信期間や、配信期間における偽陰性広告のインプレッション数に基づいて、配信サービスにおける広告配信の品質低下の度合いを評価する。
Subsequently, the
続いて、情報処理装置１００は、第１モデル及び第２モデルの学習を行うための学習データを取得する（ステップＳ２３）。例えば、図１の例において、情報処理装置１００は、ステップＳ１３及びステップＳ１７において目視による審査が行われた広告に関する情報を学習データとして取得する。また、情報処理装置１００は、偽陰性広告に関する情報を学習データとして取得する。
Subsequently, the
なお、情報処理装置１００は、算出した指標値の値や、配信サービスの評価に応じて学習データを取得してもよい。例えば、情報処理装置１００は、サンプルとして抽出した広告の総数に対する偽陰性広告の数の割合が所定の閾値以上である場合や、配信サービスにおける広告配信の品質低下の度合いが所定の閾値以上である場合、偽陰性広告に関する情報や、ステップＳ１３及びステップＳ１７における審査結果が「適切」である広告に関する情報を学習データとして取得する。
The
続いて、情報処理装置１００は、取得した学習データを用いて、第１モデル及び第２モデルの学習を行う（ステップＳ２４）。ここで、第１モデル及び第２モデルの学習（機械学習）においては、線形回帰、ロジスティック回帰、サポートベクターマシン、決定木、ハザード分析等の種々の手法が利用されてもよい。
Then, the
なお、上記の実施形態において、情報処理装置１００は、第１モデル及び第２モデルを用いたルールベースの広告の審査を行ってもよい。
In addition, in the above-described embodiment, the
また、上記の実施形態において、情報処理装置１００は、偽陰性広告及び偽陽性広告（本来「適切」と判定されるべきであるにもかかわらず「不適切」と判定され、ユーザ端末３０に配信されなかった広告）に基づいて、第１モデル及び第２モデルを用いた審査の精度を示す指標値を算出してもよい。
Further, in the above-described embodiment, the
例えば、図１の例において、情報処理装置１００は、第１モデルまたは第２モデルを用いた審査おいて、「適切」または「不適切」と判定された広告（言い換えると、目視による審査が行われていない広告。以下、「モデル審査広告」と記載する場合がある）に関する情報を広告情報記憶部１２１から必要なサンプル数を満たすよう抽出する。そして、情報処理装置１００は、サンプルとして抽出したモデル審査広告の目視による審査を行う。ここで、情報処理装置１００は、第１モデルまたは第２モデルを用いた審査おいて「適切」と判定され、目視による審査において「不適切」と判定されたモデル審査広告を偽陰性広告として特定する。また、情報処理装置１００は、第１モデルまたは第２モデルを用いた審査おいて「不適切」と判定され、目視による審査において「適切」と判定されたモデル審査広告を偽陽性広告として特定する。
For example, in the example of FIG. 1, the
そして、情報処理装置１００は、サンプルとして抽出したモデル審査広告の総数に対する偽陰性広告の数の割合と、サンプルとして抽出したモデル審査広告の総数に対する偽陽性広告の割合の数の割合とに基づいて、第１モデル及び第２モデルを用いた審査の精度を示す指標値を算出する。
Then, the
以上のように、実施形態に係る情報処理装置１００は、広告の審査結果を用いて、審査の精度を示す指標値を算出し、広告の配信サービスの評価を行うことができる。また、実施形態に係る情報処理装置１００は、広告の審査結果に応じて、当該広告に関する情報を審査に用いるモデルの学習データとして利用することができる。すなわち、実施形態に係る情報処理装置１００は、コンテンツの審査結果を活用できる。
As described above, the
〔２．情報処理システムの構成〕
次に、上述した情報処理を実現するための情報処理システム１について図２を用いて説明する。図２は、実施形態に係る情報処理システムの構成例を示す図である。図２に示すように、実施形態に係る情報処理システム１は、情報処理装置１００と、広告主端末１０と、審査者端末２０と、ユーザ端末３０とを含む。情報処理装置１００、広告主端末１０、審査者端末２０及びユーザ端末３０は、ネットワークＮを介して有線または無線により相互に通信可能に接続される。なお、ネットワークＮは、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、電話網（携帯電話網、固定電話網等）、地域ＩＰ（Internet Protocol）網、インターネット等の通信ネットワークである。ネットワークＮには、有線ネットワークが含まれていてもよいし、無線ネットワークが含まれていてもよい。また、図２に示す情報処理システム１には、複数台の情報処理装置１００や、複数台の広告主端末１０、複数台の審査者端末２０、複数台のユーザ端末３０が含まれてもよい。
[2. Information processing system configuration]
Next, an
情報処理装置１００は、広告主が利用する広告主端末１０から入稿された広告を管理し、ユーザが利用するユーザ端末３０に広告を配信する配信サービスを提供するサーバ装置である。情報処理装置１００は、広告主端末１０から受け付けた広告に関する情報、並びに、当該広告の審査に関する情報（審査結果）を管理する。また、情報処理装置１００は、ユーザ端末３０における各広告の表示の有無や、各広告の配信期間に関する情報をユーザ端末３０から収集する。情報処理装置１００の構成は後述する。
The
広告主端末１０は、広告主によって利用される情報処理装置である。広告主端末１０は、広告主の操作に応じて広告を情報処理装置１００に入稿する。
The
審査者端末２０は、広告を目視により審査する審査者によって利用される情報処理装置である。審査者端末２０は、審査対象の広告の広告情報を受け付け、当該広告が適切であるか否かを示す審査結果を審査者の操作に応じて情報処理装置１００に送信する。
The
ユーザ端末３０は、ユーザよって利用される情報処理装置である。ユーザ端末３０は、情報処理装置１００から配信される各広告の表示に関する情報を情報処理装置１００に送信する。
The
〔３．情報処理装置の構成〕
次に、図３を用いて、情報処理装置１００の構成について説明する。図３は、実施形態に係る情報処理装置の構成例を示す図である。図３に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。
[3. Configuration of information processing device]
Next, the configuration of the
（通信部１１０について）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークＮと有線または無線で接続され、広告主端末１０、審査者端末２０、ユーザ端末３０等との間で情報の送受信を行う。
(About communication unit 110)
The
（記憶部１２０について）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図３に示すように、記憶部１２０は、広告情報記憶部１２１と、第１モデル記憶部１２２と、第２モデル記憶部１２３と、広告配信履歴情報記憶部１２４と、サンプル広告情報記憶部１２５とを有する。
(About storage unit 120)
The storage unit 120 is realized by, for example, a semiconductor memory device such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk. As shown in FIG. 3, the storage unit 120 includes an advertisement
（広告情報記憶部１２１について）
広告情報記憶部１２１は、広告に関する情報を記憶する。ここで、図４を用いて、広告情報記憶部１２１が記憶するクエリに関する情報の一例を説明する。図４は、実施形態に係る広告情報記憶部の一例を示す図である。図４の例では、広告情報記憶部１２１は、「広告ＩＤ」、「広告情報」、「広告単価」、「第１モデル審査結果」、「第１目視審査結果」、「第２モデル審査結果」、「第２目視審査結果」といった項目を有する。
(About advertisement information storage unit 121)
The advertisement
「広告ＩＤ」は、広告を識別するための識別情報を示す。「広告情報」は、広告主が入稿した広告を示す。なお、図４では、「広告情報」に「広告情報１１」といった概念的な情報が格納される例を示したが、実際には、テキストや広告に関連する画像、動画、リンク先等の具体的な情報、または、その格納場所を示すファイルパス名、ＵＲＬなどが格納される。 The “advertisement ID” indicates identification information for identifying the advertisement. The “advertisement information” indicates an advertisement submitted by the advertiser. Although an example in which conceptual information such as “advertisement information 11” is stored in “advertisement information” is shown in FIG. Information, or a file path name indicating the storage location, a URL, etc. are stored.
「広告単価」は、広告を配信する対価として、広告主に課金する課金額を示す。「第１モデル審査結果」は、対応付けられた「広告ＩＤ」が示す広告が、第１モデルを用いた審査において「適切」と判定されたか、「不適切」と判定されたかを示す。「第１目視審査結果」は、対応付けられた「広告ＩＤ」が示す広告の配信前に、当該広告が目視による審査において「適切」と判定されたか、「不適切」と判定されたかを示す。 The “advertisement unit price” indicates a charge amount charged to the advertiser as a consideration for delivering the advertisement. The “first model examination result” indicates whether the advertisement indicated by the associated “advertisement ID” is determined to be “appropriate” or “inappropriate” in the examination using the first model. The “first visual examination result” indicates whether the advertisement is judged to be “appropriate” or “inappropriate” in visual examination before the advertisement indicated by the associated “advertisement ID” is delivered. ..
「第２モデル審査結果」は、対応付けられた「広告ＩＤ」が示す広告が、第２モデルを用いた審査において「適切」と判定されたか、「不適切」と判定されたかを示す。「第２目視審査結果」は、対応付けられた「広告ＩＤ」が示す広告の配信後に、当該広告が目視による審査において「適切」と判定されたか、「不適切」と判定されたかを示す。 The “second model examination result” indicates whether the advertisement indicated by the associated “advertisement ID” is determined to be “appropriate” or “inappropriate” in the examination using the second model. The “second visual examination result” indicates whether the advertisement is judged to be “appropriate” or “inappropriate” in visual examination after the advertisement indicated by the associated “advertisement ID” is delivered.
すなわち、図４では、広告ＩＤ「Ａ１１」によって識別される広告の広告情報「広告情報１１」が格納され、広告単価が「１００」と設定され、当該広告が第１モデルを用いた審査及び第２モデルを用いた審査において「適切」と判定されている例を示す。 That is, in FIG. 4, the advertisement information “advertisement information 11” of the advertisement identified by the advertisement ID “A11” is stored, the advertisement unit price is set to “100”, and the advertisement is subjected to the examination and the first examination using the first model. The following shows an example that is judged as “appropriate” in the examination using two models.
（第１モデル記憶部１２２について）
第１モデル記憶部１２２は、第１モデルに関する情報を記憶する。ここで、図５を用いて、第１モデル記憶部１２２が記憶する第１モデルに関する情報の一例を説明する。図５は、実施形態に係る第１モデル記憶部の一例を示す図である。図５の例では、第１モデル記憶部１２２は、「モデルＩＤ」、「カテゴリ」、「モデル情報」といった項目を有する。
(Regarding the first model storage unit 122)
The first
「モデルＩＤ」は、モデルを識別するための識別情報を示す。「カテゴリ」は、対応付けられた「モデルＩＤ」が示す第１モデルを用いた審査において、審査対象となる広告のカテゴリを示す。「モデル情報」は、広告が適切であるか否かを示すスコア出力するためのモデルの情報を示す。 “Model ID” indicates identification information for identifying a model. The “category” indicates the category of the advertisement targeted for examination in the examination using the first model indicated by the associated “model ID”. The “model information” indicates model information for outputting a score indicating whether the advertisement is appropriate.
すなわち、図５では、モデルＩＤ「Ｍ１１」によって識別される第１モデルのモデル情報「モデル情報１１」が格納され、当該第１モデルが「医薬品」に分類される広告の審査に用いられる例を示す。 That is, in FIG. 5, the example in which the model information “model information 11” of the first model identified by the model ID “M11” is stored and used for the examination of the advertisement in which the first model is classified as “pharmaceutical product” Show.
（第２モデル記憶部１２３について）
第２モデル記憶部１２３は、第２モデルに関する情報を記憶する。ここで、図６を用いて、第２モデル記憶部１２３が記憶する第２モデルに関する情報の一例を説明する。図６は、実施形態に係る第２モデル記憶部の一例を示す図である。図６の例では、第２モデル記憶部１２３は、「モデルＩＤ」、「カテゴリ」、「モデル情報」といった項目を有する。
(About the second model storage unit 123)
The second
「モデルＩＤ」は、モデルを識別するための識別情報を示す。「カテゴリ」は、対応付けられた「モデルＩＤ」が示す第２モデルを用いた審査において、審査対象となる広告のカテゴリを示す。「モデル情報」は、広告が適切であるか否かを示すスコア出力するためのモデルの情報を示す。 “Model ID” indicates identification information for identifying a model. The “category” indicates the category of the advertisement to be examined in the examination using the second model indicated by the associated “model ID”. The “model information” indicates model information for outputting a score indicating whether the advertisement is appropriate.
すなわち、図６では、モデルＩＤ「Ｍ２１」によって識別される第２モデルのモデル情報「モデル情報２１」が格納され、当該第２モデルが「医薬品」に分類される広告の審査に用いられる例を示す。 That is, in FIG. 6, an example in which the model information “model information 21” of the second model identified by the model ID “M21” is stored and used for the examination of the advertisement in which the second model is classified as “pharmaceutical product” Show.
（広告配信履歴情報記憶部１２４について）
広告配信履歴情報記憶部１２４は、広告主によって入稿された各広告の配信履歴に関する情報を記憶する。ここで、図７を用いて、広告配信履歴情報記憶部１２４が記憶する各広告の配信履歴に関する情報の一例を説明する。図７は、実施形態に係る広告配信履歴情報記憶部の一例を示す図である。図７の例では、広告配信履歴情報記憶部１２４は、「広告ＩＤ」、「配信開始日」、「日付」、「ユーザＩＤ」、「インプレッション数」といった項目を有する。
(About advertisement distribution history information storage unit 124)
The advertisement delivery history
「広告ＩＤ」は、広告を識別するための識別情報を示す。「配信開始日」は、対応付けられた「広告ＩＤ」が示す広告の配信が開始された日付を示す。「日付」は、対応付けられた「広告ＩＤ」が示す広告の表示（インプレッション）があった日付を示す。「ユーザＩＤ」は、対応付けられた「広告ＩＤ」が示す広告が表示されたユーザを識別するための識別情報を示す。「インプレッション数」は、対応付けられた「広告ＩＤ」が示す広告の総インプレッション数を示す。 The “advertisement ID” indicates identification information for identifying the advertisement. The “delivery start date” indicates the date when the delivery of the advertisement indicated by the associated “advertisement ID” is started. The “date” indicates the date when the advertisement (impression) indicated by the associated “advertisement ID” was displayed. The “user ID” indicates identification information for identifying the user in which the advertisement indicated by the associated “advertisement ID” is displayed. The “impression number” indicates the total number of impressions of the advertisement indicated by the associated “advertisement ID”.
すなわち、図７では、広告ＩＤ「Ａ１１」によって識別される広告の配信開始日が「２０ＸＸ／１／１５」であり、当該広告が「２０ＸＸ／２／１」にユーザＩＤ「ユーザＵ１」によって識別されるユーザに表示され、総インプレッション数が「１０００」である例を示す。 That is, in FIG. 7, the distribution start date of the advertisement identified by the advertisement ID “A11” is “20XX/1/15”, and the advertisement is identified by “20XX/2/1” by the user ID “user U1”. An example in which the total number of impressions is “1000” is displayed to the user.
（サンプル広告情報記憶部１２５について）
サンプル広告情報記憶部１２５は、第１モデル及び第２モデルを用いた審査の精度を示す指標値を算出する際、サンプルとして抽出した広告に関する情報を記憶する。ここで、図８を用いて、サンプル広告情報記憶部１２５が記憶する情報の一例を説明する。図８は、実施形態に係るサンプル広告情報記憶部の一例を示す図である。図８の例では、サンプル広告情報記憶部１２５は、「サンプル数」、「期間」、「対象日」、「広告ＩＤ」、「広告情報」、「広告単価」、「審査結果」といった項目を有する。
(About sample advertisement information storage unit 125)
The sample advertisement
「サンプル数」は、指標値に期待する信頼度を担保するうえで必要なサンプル数を示す。「期間」は、サンプルとなる広告を抽出する期間を示す。「対象日」は、サンプルとなる広告を抽出した日付を示す。「広告ＩＤ」は、広告を識別するための識別情報を示す。「広告情報」は、対応付けられた「広告ＩＤ」が示す広告を示す。なお、図８では、「広告情報」に「広告情報１１」といった概念的な情報が格納される例を示したが、実際には、テキストや広告に関連する画像、動画、リンク先等の具体的な情報、または、その格納場所を示すファイルパス名、ＵＲＬなどが格納される。 “Number of samples” indicates the number of samples required to guarantee the reliability expected for the index value. “Period” indicates a period during which a sample advertisement is extracted. The “target date” indicates the date when the sample advertisement is extracted. The “advertisement ID” indicates identification information for identifying the advertisement. The “advertisement information” indicates the advertisement indicated by the associated “advertisement ID”. Note that FIG. 8 shows an example in which conceptual information such as “advertisement information 11” is stored in “advertisement information”. Information, or a file path name indicating the storage location, a URL, etc. are stored.
「広告単価」は、対応付けられた「広告ＩＤ」が示す広告を配信する対価として、広告主に課金する課金額を示す。「審査結果」は、対応付けられた「広告ＩＤ」が示す広告が、サンプルとして抽出された後の再審査において「適切」と判定されたか、「不適切」と判定されたかを示す。 The “advertisement unit price” indicates the amount of money to be charged to the advertiser as a consideration for delivering the advertisement indicated by the associated “advertisement ID”. The “examination result” indicates whether the advertisement indicated by the associated “advertisement ID” was determined to be “appropriate” or “inappropriate” in the reexamination after being extracted as a sample.
すなわち、図８では、指標値に期待する信頼度を担保するうえで必要なサンプル数「１０００」を「２０ＸＸ／２／１〜２０ＸＸ／２／１０」の期間中に抽出し、対象日「２０ＸＸ／２／１」に広告ＩＤ「Ａ１１」によって識別され、広告情報「広告情報１１」、広告単価「１００」である広告の再審査の結果が「不適切」である例を示す。 That is, in FIG. 8, the number of samples “1000” required to secure the reliability expected for the index value is extracted during the period of “20XX/2/1 to 20XX/2/10” and the target date “20XX An example in which the result of re-examination of the advertisement identified by the advertisement ID “A11” at “/2/1” and having the advertisement information “advertisement information 11” and the advertisement unit price “100” is “inappropriate” is shown.
（制御部１３０について）
制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。実施形態に係る制御部１３０は、図３に示すように、審査部１３１と、配信部１３２と、抽出部１３３と、算出部１３４と、評価部１３５と、取得部１３６と、学習部１３７とを有し、以下に説明する情報処理の機能や作用を実現または実行する。
(Regarding the control unit 130)
The control unit 130 is a controller, and various programs stored in a storage device inside the
（審査部１３１について）
審査部１３１は、広告主が利用する広告主端末１０からコンテンツ（広告）の入稿を受け付け、受け付けた広告に関する情報を広告情報記憶部１２１に格納する。そして、審査部１３１は、広告情報記憶部１２１に格納された広告の審査を行う。例えば、図１の例において、審査部１３１は、第１モデルを用いて配信前広告を審査する。具体的には、図１の例において、審査部１３１は、配信前広告の広告情報を第１モデルに入力し、入力した広告情報が有する特徴量に基づいて、配信前広告が適切であるか否かを示すスコアを出力する。そして、審査部１３１は、出力したスコアに基づいて、配信前広告を「適切」、「不適切」、「判別不可」のいずれかの審査結果に分類する。ここで、審査部１３１は、配信前広告の審査結果が「適切」または「不適切」である場合、配信前広告が「適切」または「不適切」であることを示す情報を、広告情報記憶部１２１の「第１モデル審査結果」の項目に格納する。
(About Examination Department 131)
The examination unit 131 accepts submission of content (advertisement) from the
また、審査部１３１は、第１モデルを用いた審査において、審査結果が「判別不可」である配信前広告に対し、目視による審査を行う。例えば、図１の例において、審査部１３１は、審査結果が「判別不可」である配信前広告の広告情報を審査者端末２０に送信し、審査者Ｅ１に審査させることにより、目視による広告の審査を行う。そして、審査部１３１は、審査者端末２０から審査結果を受け付け、配信前広告が「適切」であることを示す情報、または、広告が「不適切」であることを示す情報を広告情報記憶部１２１の「第１目視審査結果」の項目に格納する。
In the examination using the first model, the examination unit 131 also visually examines the pre-delivery advertisement whose examination result is “undetermined”. For example, in the example of FIG. 1, the examination unit 131 transmits the advertisement information of the pre-delivery advertisement whose examination result is “undecidable” to the
また、審査部１３１は、第２モデルを用いて配信済広告を審査する。例えば、図１の例において、情報処理装置１００は、後述する配信部１３２が配信した広告である配信済広告の広告情報を第２モデルに入力し、入力した広告情報が有する特徴量に基づいて、配信済広告が適切であるか否かを示すスコアを出力する。そして、情報処理装置１００は、出力したスコアに基づいて、配信済広告を「適切」、「不適切」、「判別不可」のいずれかの審査結果に分類する。ここで、審査部１３１は、広告の審査結果が「適切」または「不適切」である場合、配信済広告が「適切」または「不適切」であることを示す情報を、広告情報記憶部１２１の「第２モデル審査結果」の項目に格納する。
In addition, the examination unit 131 examines the delivered advertisement using the second model. For example, in the example of FIG. 1, the
また、審査部１３１は、第２モデルを用いた審査において、審査結果が「判別不可」である配信済広告に対し、目視による審査を行う。例えば、図１の例において、審査部１３１は、審査結果が「判別不可」である配信済広告の広告情報を審査者端末２０に送信し、審査者Ｅ１に審査させることにより、目視による広告の審査を行う。そして、審査部１３１は、審査者端末２０から審査結果を受け付け、配信済広告が「適切」であることを示す情報、または、広告が「不適切」であることを示す情報を広告情報記憶部１２１の「第２目視審査結果」の項目に格納する。
Further, in the examination using the second model, the examination unit 131 visually examines the delivered advertisement whose examination result is “undetermined”. For example, in the example of FIG. 1, the examination unit 131 transmits the advertisement information of the delivered advertisement whose examination result is “undecidable” to the
また、審査部１３１は、サンプルとして抽出した広告を審査する。例えば、図１の例において、審査部１３１は、サンプル広告情報記憶部１２５に格納された広告の広告情報を審査者端末２０に送信し、審査者Ｅ１に審査させることにより、目視による広告の審査を行う。そして、審査部１３１は、審査者端末２０から審査結果を受け付け、サンプルとして抽出した広告が「適切」であることを示す情報、または、広告が「不適切」であることを示す情報をサンプル広告情報記憶部１２５の「審査結果」の項目に格納する。
Also, the examination unit 131 examines the advertisement extracted as a sample. For example, in the example of FIG. 1, the examination unit 131 transmits the advertisement information of the advertisement stored in the sample advertisement
（配信部１３２について）
配信部１３２は、審査部１３１によるコンテンツ（広告）の審査結果に基づいて、広告をユーザ端末３０に配信する。例えば、図１の例において、配信部１３２は、第１モデルを用いた審査において「適切」と判定された広告をユーザ端末３０に配信する。また、配信部１３２は、第１モデルを用いた審査において「判別不可」と判定された広告のうち、目視による広告の審査において「適切」と判定された広告をユーザ端末３０に配信する。そして、配信部１３２は、各広告の配信履歴に関する情報をユーザ端末３０から収集し、広告配信履歴情報記憶部１２４に格納する。
(About distribution unit 132)
The delivery unit 132 delivers the advertisement to the
（抽出部１３３について）
抽出部１３３は、第１審査を経たコンテンツから、所定の期間内において抽出されるコンテンツの総数が所定の数を満たすように複数のコンテンツを抽出する。言い換えると、抽出部１３３は、所定の期間内において抽出される第１コンテンツの総数が所定の数を満たすように抽出する。例えば、抽出部１３３は、モデル審査広告から、所定の期間内において抽出される広告（第１コンテンツ）の総数が所定の数を満たすように複数の広告を抽出する。
(About the extraction unit 133)
The
また、抽出部１３３は、指標値の信頼度に基づいて、所定の数及び所定の期間を決定してもよい。例えば、抽出部１３３は、後述する算出部１３４が第１モデル及び第２モデルを用いた審査の精度を示す指標値を算出する際、指標値に期待する信頼度を担保するうえで必要なサンプル数を決定する。そして、抽出部１３３は、決定したサンプル数に応じて、サンプルを抽出する期間を決定する。例えば、抽出部１３３は、サンプルとして抽出する広告の審査（例えば、図１のステップＳ２０における目視による審査）に要する時間に基づいて、サンプルを抽出する期間を決定する。
Further, the
また、抽出部１３３は、所定の期間を分割した複数の分割期間ごとに抽出されるコンテンツの総数が所定の数を満たすように、分割期間ごとに抽出するコンテンツの数を決定してもよい。言い換えると、抽出部１３３は、所定の期間を分割した複数の分割期間ごとに抽出される第１コンテンツの総数が所定の数を満たすように、分割期間ごとに抽出する第１コンテンツの数を決定してもよい。例えば、図１の例において、抽出部１３３は、所定の期間「１０日」に抽出するサンプルの総数が「１０００」を満たすように、分割期間「１日」ごとに抽出するサンプル数を「１００」と決定する。そして、抽出部１３３は、モデル審査広告に関する情報を広告情報記憶部１２１から１日ごとに１００件抽出し、サンプル広告情報記憶部１２５に格納する。
In addition, the
なお、抽出部１３３は、分割期間において審査が可能な広告の数に基づいて、分割期間ごとに抽出するサンプル数、並びに、サンプルを抽出する期間を決定してもよい。例えば、分割期間「１日」ごとに審査（例えば、図１のステップＳ２０における目視による審査）が可能な広告の数が「１００」であり、必要なサンプル数が「１０００」であるものとする。この場合、抽出部１３３は、分割期間「１日」ごとに抽出するサンプル数を「１００」とし、サンプルを抽出する期間を「１０日」と決定する。
Note that the
また、抽出部１３３は、所定の期間において配信されるコンテンツを抽出してもよい。例えば、抽出部１３３は、広告配信履歴情報記憶部１２４を参照し、所定の期間においてユーザに表示された広告をサンプルとして抽出し、サンプル広告情報記憶部１２５に格納する。ここで、図９を用いて、サンプルの抽出処理を説明する。図９は、サンプルの抽出処理の一例を示す図である。なお、図１に示す例では、必要なサンプル数が「１０００」であるものとする。
Further, the
図９に示すように、まず、抽出部１３３は、必要なサンプル数に応じて、分割期間「１日」ごとに取得するサンプル数を「１００」とし、サンプルを取得する期間を「１０日」と決定する。そして、抽出部１３３は、分割期間「１日」ごとに取得するサンプル数に応じて、１時間ごとに取得するサンプル数を「５」と決定する。そして、抽出部１３３は、１時間の間にインプレッションが発生した広告のうち、「５」にバッファを持たせた一定量の広告をサンプルとして抽出する。
As shown in FIG. 9, first, the
また、抽出部１３３は、第１審査基準に基づく審査を経た第１コンテンツのうち、第１審査基準を満たすと判定された第２コンテンツと、第１審査基準を満たさないと判定された第３コンテンツとを抽出してもよい。例えば、抽出部１３３は、モデルを用いた審査を経た第１コンテンツのうち、モデルの審査基準を満たすと判定された第２コンテンツと、当該審査基準を満たさないと判定された第３コンテンツを抽出する。例えば、図１の例において、抽出部１３３は、サンプルとして抽出したモデル審査広告（第１コンテンツ）のうち、第１モデルまたは第２モデルを用いた審査おいて「適切」と判定された広告（第２コンテンツ）を抽出する。そして、抽出部１３３は、第１コンテンツのうち、第１モデルまたは第２モデルを用いた審査おいて「不適切」と判定された広告（第３コンテンツ）を抽出する。
In addition, the
また、抽出部１３３は、所定のカテゴリに分類されるコンテンツを抽出してもよい。例えば、抽出部１３３は、モデル審査広告のうち、広告情報等に基づいて所定のカテゴリ（例えば、「医薬品」、「不動産」等）に分類される広告（第１コンテンツ）を抽出する。そして、抽出部１３３は、所定のカテゴリに分類される第１コンテンツから第２コンテンツ及び第３コンテンツを抽出する。
Further, the
（算出部１３４について）
算出部１３４は、抽出部１３３が抽出したコンテンツに対する第２審査の結果に基づいて、第１審査の精度を示す指標値を算出する。例えば、算出部１３４は、コンテンツに対する目視による審査の結果に基づいて、指標値を算出する。
(About the calculation unit 134)
The
また、算出部１３４は、抽出部１３３が抽出したコンテンツのうち、第１審査における第１審査基準を満たすと判定されたコンテンツであって、第２審査における第２審査基準を満たさないと判定されたコンテンツの総数に対する割合に基づいて、指標値を算出する。例えば、図１の例において、審査部１３１は、抽出部１３３は、第１モデルまたは第２モデルを用いた審査おいて「適切」と分類された広告を、必要なサンプルの数を満たすように広告情報記憶部１２１から抽出する。そして、算出部１３４は、抽出部１３３が抽出した広告のうち、目視による審査において「不適切」と判定された広告の総サンプル数に対する割合を、第１モデル及び第２モデルを用いた審査の精度を示す指標値として算出する。
In addition, the
なお、算出部１３４は、抽出部１３３が広告配信履歴情報記憶部１２４からサンプルとして抽出した広告の目視による審査結果に基づいて、指標値を算出してもよい。
The calculating
また、算出部１３４は、抽出部１３３が抽出した第２コンテンツのうち、第２審査基準を満たさないと判定された第４コンテンツの第１コンテンツに対する割合と、抽出部１３３が抽出した第３コンテンツのうち、第２審査基準を満たすと判定された第５コンテンツの第１コンテンツに対する割合とを算出してもよい。すなわち、算出部１３４は、第１コンテンツに対する第４コンテンツの割合と、第１コンテンツに対する第５コンテンツの割合とを算出する。
In addition, the
例えば、図１の例において、算出部１３４は、抽出部１３３がモデル審査広告からサンプルとして抽出した広告（第１コンテンツ）のうち、第１モデルまたは第２モデルを用いた審査おいて「適切」と判定され、目視による審査において「不適切」と判定された広告を偽陰性広告（第４コンテンツ）として特定し、第４コンテンツの第１コンテンツに対する割合を算出する。また、算出部１３４は、第１コンテンツのうち、第１モデルまたは第２モデルを用いた審査おいて「不適切」と判定され、目視による審査において「適切」と判定された広告を偽陽性広告（第５コンテンツ）として特定し、第５コンテンツの第１コンテンツに対する割合を算出する。
For example, in the example of FIG. 1, the
また、算出部１３４は、第４コンテンツの第１コンテンツの総数に対する割合と、第５コンテンツの第１コンテンツの総数に対する割合とに基づいて、第１審査基準に基づく審査の精度を示す指標値を算出する。例えば、図１の例において、算出部１３４は、サンプルとして抽出したモデル審査広告の総数に対する偽陰性広告の数の割合と、サンプルとして抽出したモデル審査広告の総数に対する偽陽性広告の割合の数の割合とに基づいて、第１モデル及び第２モデルを用いた審査の精度を示す指標値を算出する。
The
（評価部１３５について）
評価部１３５は、コンテンツの配信に関する情報に基づいて、コンテンツを配信する配信サービスを評価する。例えば、評価部１３５は、第４コンテンツの配信に関する情報と、第５コンテンツの配信に関する情報とに基づいて、第４コンテンツ及び第５コンテンツを配信する配信サービスを評価する。例えば、評価部１３５は、偽陰性広告及び偽陽性広告に対応付けられて広告情報記憶部１２１に格納されている情報や、広告配信履歴情報記憶部１２４に格納されている情報に基づいて、情報処理装置１００が提供する配信サービスを評価する。
(About the evaluation unit 135)
The evaluation unit 135 evaluates the distribution service that distributes the content based on the information about the distribution of the content. For example, the evaluation unit 135 evaluates the distribution service that distributes the fourth content and the fifth content based on the information about the distribution of the fourth content and the information about the distribution of the fifth content. For example, the evaluation unit 135 uses the information stored in the advertisement
また、評価部１３５は、一定期間における第４コンテンツのインプレッション数に基づいて、配信サービスを評価してもよい。例えば、評価部１３５は、偽陰性広告に対応付けられて広告配信履歴情報記憶部１２４に格納されている当該偽陰性広告のインプレッション数に基づいて、配信サービスにおける広告配信の品質低下の度合いを評価する。
In addition, the evaluation unit 135 may evaluate the delivery service based on the number of impressions of the fourth content in a certain period. For example, the evaluation unit 135 evaluates the degree of deterioration of the quality of advertisement distribution in the distribution service, based on the number of impressions of the false negative advertisement stored in the advertisement distribution history
また、評価部１３５は、第４コンテンツの配信開始から配信停止までの期間に基づいて、配信サービスを評価してもよい。例えば、評価部１３５は、偽陰性広告に対応付けられて広告配信履歴情報記憶部１２４に格納されている当該偽陰性広告の配信開始日に基づいて、配信サービスにおける広告配信の品質低下の度合いを評価する。
Further, the evaluation unit 135 may evaluate the distribution service based on the period from the distribution start of the fourth content to the distribution stop. For example, the evaluation unit 135 determines the degree of deterioration of the quality of advertisement distribution in the distribution service based on the distribution start date of the false negative advertisement stored in the advertisement distribution history
また、評価部１３５は、第４コンテンツの同一ユーザに対するインプレッション数に基づいて、配信サービスを評価してもよい。例えば、評価部１３５は、偽陰性広告に対応付けられて広告配信履歴情報記憶部１２４に格納されている当該偽陰性広告のユーザＩＤ（偽陰性広告が表示されたユーザに関する情報）に基づいて、配信サービスにおける広告配信の品質低下の度合いを評価する。具体的には、評価部１３５は、同一のユーザに偽陰性広告が表示された回数が多いほど、配信サービスを低く評価する。
Further, the evaluation unit 135 may evaluate the distribution service based on the number of impressions of the fourth content for the same user. For example, the evaluation unit 135, based on the user ID of the false negative advertisement stored in the advertisement distribution history
また、評価部１３５は、第５コンテンツを配信した場合の売上に関する売上情報と、第５コンテンツが配信されなかった期間とに基づいて、配信サービスを評価してもよい。例えば、配信サービスが、オークション形式で広告を配信する場合、評価部１３５は、偽陽性広告の代替として配信された広告の売上と、偽陽性広告を配信した場合の売上との差分に基づいて、配信サービスにおける売上の機会損失の度合いを評価する。また、配信サービスが非オークション形式である場合、評価部１３５は、偽陽性広告の配信開始後の一定期間の売上に基づいて、配信サービスにおける売上の機会損失の度合いを評価する。 In addition, the evaluation unit 135 may evaluate the distribution service based on sales information regarding sales when the fifth content is distributed and a period in which the fifth content is not distributed. For example, when the distribution service distributes the advertisement in the auction format, the evaluation unit 135 calculates the difference between the sales of the advertisement distributed as a substitute for the false positive advertisement and the sales when the false positive advertisement is distributed, Evaluate the degree of sales opportunity loss in distribution services. In addition, when the distribution service is in the non-auction format, the evaluation unit 135 evaluates the degree of opportunity loss of sales in the distribution service based on the sales for a certain period after the distribution of the false positive advertisement.
（取得部１３６について）
取得部１３６は、モデルを用いたコンテンツの審査の後に行われる審査であって、当該コンテンツの目視による審査の結果に関する情報を学習データとして取得する。例えば、取得部１３６は、目視による審査が行われた広告の審査結果及び当該広告に関する情報を学習データとして取得する。
(About the acquisition unit 136)
The acquisition unit 136 is an examination performed after examination of the content using the model, and obtains, as learning data, information regarding the result of the examination by visual inspection of the content. For example, the acquisition unit 136 acquires the examination result of the advertisement that has been visually examined and the information regarding the advertisement as learning data.
また、取得部１３６は、モデルを用いた審査において、目視により審査されるべきと判定されたコンテンツの目視による審査の結果に関する情報を学習データとして取得してもよい。例えば、取得部１３６は、第１モデルまたは第２モデルを用いた審査において「判別不可」と判定された広告の目視による審査結果及び当該広告に関する情報を学習データとして取得する。 Further, the acquisition unit 136 may acquire, as learning data, information regarding the result of the visual examination of the content that is determined to be visually examined in the examination using the model. For example, the acquisition unit 136 acquires, as learning data, the examination result by visual inspection of the advertisement that is determined to be “undeterminable” in the examination using the first model or the second model and the information regarding the advertisement.
また、取得部１３６は、抽出部１３３が抽出した第２コンテンツのうち、目視による審査の審査基準を満たさないと判定された第４コンテンツに関する情報と、抽出部１３３が抽出した第３コンテンツのうち、目視による審査の審査基準を満たすと判定された第５コンテンツに関する情報とを、学習データとして取得してもよい。例えば、取得部１３６は、偽陰性広告に関する情報及び偽陽性広告に関する情報を学習データとして広告情報記憶部１２１から取得する。
In addition, the acquisition unit 136 selects, among the second contents extracted by the
また、取得部１３６は、第１コンテンツに対する第４コンテンツの割合が所定の閾値以上である場合に第４コンテンツに関する情報を学習データとして取得し、第１コンテンツに対する第５コンテンツの割合が所定の閾値以上である場合に第５コンテンツに関する情報を学習データとして取得する。例えば、取得部１３６は、算出部１３４が算出した、サンプルとして抽出した広告（第１コンテンツ）に対する偽陰性広告（第４コンテンツ）割合が所定の閾値以上である場合に偽陰性広告に関する情報を学習データとして広告情報記憶部１２１から取得する。また、取得部１３６は、算出部１３４が算出した第１コンテンツに対する偽陽性広告（第５コンテンツ）割合が所定の閾値以上である場合に偽陽性広告に関する情報を学習データとして広告情報記憶部１２１から取得する。
Further, the acquisition unit 136 acquires information regarding the fourth content as learning data when the ratio of the fourth content to the first content is equal to or more than a predetermined threshold value, and the ratio of the fifth content to the first content is the predetermined threshold value. When the above is the case, the information regarding the fifth content is acquired as learning data. For example, the acquisition unit 136 learns information about false negative advertisements when the ratio of false negative advertisements (fourth content) to the advertisements (first content) extracted as a sample calculated by the
また、取得部１３６は、コンテンツのカテゴリごとに学習データを取得してもよい。例えば、取得部１３６は、広告情報等に基づいて広告をカテゴリごとに分類し、当該広告に関する情報を対応するカテゴリが設定されているモデルの学習データとして取得する。具体的には、広告がカテゴリ「医薬品」に分類される場合、取得部１３６は、当該広告に関する情報を、カテゴリ「医薬品」に対応付けられて第１モデル記憶部１２２及び第２モデル記憶部１２３に格納されているモデルの学習データとして取得する。
The acquisition unit 136 may also acquire learning data for each content category. For example, the acquisition unit 136 classifies advertisements into categories based on advertisement information and the like, and acquires information regarding the advertisements as learning data of a model in which the corresponding categories are set. Specifically, when the advertisement is classified into the category “medicine”, the acquisition unit 136 associates the information regarding the advertisement with the category “medicine” and the first
また、取得部１３６は、配信前のコンテンツの目視による審査の結果を第１学習データとして取得し、配信後のコンテンツの目視による審査の結果を第２学習データとして取得してもよい。例えば、取得部１３６は、コンテンツの配信前において、第１モデルを用いたコンテンツの審査の後に行われる審査であって、当該コンテンツの目視による審査の結果を第１学習データとして取得し、コンテンツの配信後において、第２モデルを用いたコンテンツの審査の後に行われる審査であって、当該コンテンツの目視による審査の結果を第２学習データとして取得する。 Further, the acquisition unit 136 may acquire the result of visual inspection of the content before distribution as the first learning data and the result of visual inspection of the content after distribution as the second learning data. For example, the acquisition unit 136 acquires the result of the visual examination of the content as the first learning data, which is the examination performed after the examination of the content using the first model before the distribution of the content. After the distribution, the examination is performed after the examination of the content using the second model, and the result of the visual examination of the content is acquired as the second learning data.
（学習部１３７について）
学習部１３７は、取得部１３６が取得した学習データに基づいてモデルの学習を行う。例えば、学習部１３７は、取得部１３６が取得した目視による審査が行われた広告の審査結果及び当該広告に関する情報に基づいて、第１モデル及び第２モデルの学習を行う。
(About learning unit 137)
The learning unit 137 performs model learning based on the learning data acquired by the acquisition unit 136. For example, the learning unit 137 learns the first model and the second model based on the examination result of the advertisement visually examined by the acquisition unit 136 and the information about the advertisement.
また、学習部１３７は、学習データに基づいて、カテゴリごとにモデルの学習を行ってもよい。例えば、取得部１３６がカテゴリ「医薬品」に分類される広告に関する情報を取得した場合、学習部１３７は、当該情報に基づいて、カテゴリ「医薬品」に対応付けられて第１モデル記憶部１２２及び第２モデル記憶部１２３に格納されているモデルの学習を行う。
The learning unit 137 may also learn the model for each category based on the learning data. For example, when the acquisition unit 136 acquires information related to an advertisement classified into the category “medicine”, the learning unit 137 is associated with the category “medicine” based on the information and associated with the first
また、学習部１３７は、取得部１３６が取得した第１学習データ及び第２学習データに基づいて、モデルの学習を行ってもよい。例えば、学習部１３７は、広告の配信前におけるモデルを用いた審査に関する情報、並びに、広告の配信後におけるモデルを用いた審査に関する情報に基づいて、第１モデル及び第２モデルの学習を行う。 The learning unit 137 may also perform model learning based on the first learning data and the second learning data acquired by the acquisition unit 136. For example, the learning unit 137 learns the first model and the second model based on information about examination using a model before delivery of an advertisement and information about examination using a model after delivery of an advertisement.
また、学習部１３７は、取得部１３６が取得した第１学習データ及び第２学習データに基づいて、第１モデル及び第２モデルの学習を行ってもよい。例えば、学習部１３７は、第１モデルを用いた審査に関する情報、並びに、第２モデルを用いた審査に関する情報に基づいて、第１モデル及び第２モデルの学習を行う。 The learning unit 137 may also perform learning of the first model and the second model based on the first learning data and the second learning data acquired by the acquisition unit 136. For example, the learning unit 137 learns the first model and the second model based on the information on the examination using the first model and the information on the examination using the second model.
〔４．情報処理のフロー〕
ここで、図１０を用いて、実施形態に係る情報処理装置の情報処理の手順について説明する。図１０は、実施形態に係る情報処理の手順の一例を示すフローチャートである。
[4. Information processing flow]
Here, the procedure of information processing of the information processing apparatus according to the embodiment will be described with reference to FIG. FIG. 10 is a flowchart showing an example of the procedure of information processing according to the embodiment.
図１０に示すように、情報処理装置１００は、広告主から広告の入稿を受け付ける（ステップＳ１０１）。続いて、情報処理装置１００は、第１モデルを用いて広告を審査する（ステップＳ１０２）。続いて、第１モデルを用いた審査において、広告が目視による審査対象と判定した場合（ステップＳ１０３；Ｙｅｓ）、情報処理装置１００は、目視により広告を審査する。そして、情報処理装置１００は、広告が目視による審査の審査基準を満たす場合（ステップＳ１０４；Ｙｅｓ）、広告をユーザに配信する（ステップＳ１０６）。一方、情報処理装置１００は、広告が目視による審査の審査基準を満たさない場合（ステップＳ１０４；Ｎｏ）、当該広告に関する情報を学習データとして取得する（ステップＳ１１２）。
As illustrated in FIG. 10, the
また、第１モデルを用いた審査において、広告が目視による審査対象ではないと判定した場合（ステップＳ１０３；Ｎｏ）、情報処理装置１００は、広告が第１モデルの審査基準を満たすか判定する。そして、情報処理装置１００は、広告が第１モデルの審査基準を満たす場合（ステップＳ１０５；Ｙｅｓ）、広告をユーザに配信する（ステップＳ１０６）。一方、情報処理装置１００は、広告が第１モデルの審査基準を満たさない場合（ステップＳ１０５；Ｎｏ）、当該広告に関する情報を学習データとして取得する（ステップＳ１１２）。
In addition, in the examination using the first model, if it is determined that the advertisement is not a subject of visual examination (step S103; No), the
続いて、情報処理装置１００は、第２モデルを用いて、ユーザに配信した広告を審査する（ステップＳ１０７）。続いて、第２モデルを用いた審査において、広告が目視による審査対象と判定した場合（ステップＳ１０８；Ｙｅｓ）、情報処理装置１００は、目視により広告を審査する。そして、情報処理装置１００は、広告が目視による審査の審査基準を満たす場合（ステップＳ１０９；Ｙｅｓ）、広告をユーザに配信する（ステップＳ１１０）。一方、情報処理装置１００は、広告が目視による審査の審査基準を満たさない場合（ステップＳ１０９；Ｎｏ）、当該広告に関する情報を学習データとして取得する（ステップＳ１１２）。
Then, the
また、第２モデルを用いた審査において、広告が目視による審査対象ではないと判定した場合（ステップＳ１０８；Ｎｏ）、情報処理装置１００は、広告が第２モデルの審査基準を満たすか判定する。そして、情報処理装置１００は、広告が第２モデルの審査基準を満たす場合（ステップＳ１１０；Ｙｅｓ）、広告をユーザに配信する（ステップＳ１１１）。一方、情報処理装置１００は、広告が第２モデルの審査基準を満たさない場合（ステップＳ１１０；Ｎｏ）、当該広告に関する情報を学習データとして取得する（ステップＳ１１２）。
In addition, in the examination using the second model, when it is determined that the advertisement is not the subject of visual examination (step S108; No), the
続いて、情報処理装置１００は、ユーザに配信した広告に関する情報を学習データとして取得する（ステップＳ１１２）。続いて、情報処理装置１００は、取得した学習データに基づいて第１モデル及び第２モデルの学習を行い（ステップＳ１１３）、処理を終了する。
Then, the
次に、図１１を用いて、実施形態に係る情報処理装置の情報処理の手順について説明する。図１１は、実施形態に係る情報処理の手順の一例を示すフローチャートである。 Next, with reference to FIG. 11, an information processing procedure of the information processing apparatus according to the embodiment will be described. FIG. 11 is a flowchart showing an example of the procedure of information processing according to the embodiment.
図１１に示すように、情報処理装置１００は、モデルを用いた審査の精度を示す指標値に期待する信頼度に基づいて、サンプルとして抽出する広告の数（サンプル数）、並びに、広告を抽出する期間を決定する（ステップＳ２０１）。続いて、情報処理装置１００は、モデルの審査基準を満たすと判定された広告、並びに、モデルの審査基準を満たさないと判定された広告を、決定した期間中にサンプル数を満たすように抽出する（ステップＳ２０２）。続いて、情報処理装置１００は、抽出した広告を審査する（ステップＳ２０３）。例えば、情報処理装置１００は、抽出した広告に対し、目視による審査を行う。
As shown in FIG. 11, the
続いて、情報処理装置１００は、指標値を算出する（ステップＳ２０４）。例えば、情報処理装置１００は、モデルの審査基準を満たすと判定された広告のうち、目視による審査基準を満たさない広告（偽陰性広告）のサンプル数に対する割合を算出する。また、情報処理装置１００は、モデルの審査基準を満さないと判定された広告のうち、目視による審査基準を満たす広告（偽陽性広告）のサンプル数に対する割合を算出する。そして、情報処理装置１００は、算出した割合に基づいて、指標値を算出する。
Then, the
続いて、情報処理装置１００は、広告配信サービスを評価する（ステップＳ２０５）。例えば、情報処理装置１００は、偽陰性広告及び偽陽性広告の配信に関する情報に基づいて、広告配信サービスを評価する。
Subsequently, the
続いて、情報処理装置１００は、学習データを取得する（ステップＳ２０６）。例えば、情報処理装置１００は、偽陰性広告に関する情報、並びに、偽陽性広告に関する情報を学習データとして取得する。続いて、情報処理装置１００は、学習データを用いてモデルの学習を行い（ステップＳ２０７）、処理を終了する。
Then, the
〔５．変形例〕
上述の実施形態は一例を示したものであり、種々の変更及び応用が可能である。
[5. Modification example)
The above-mentioned embodiment shows an example, and various modifications and applications are possible.
〔５−１．コンテンツについて〕
上述の実施形態において、広告を対象として情報処理装置１００の情報処理の例を示した。しかしながら、情報処理装置１００は、広告に限らず、種々のコンテンツを対象として情報処理を行ってもよい。例えば、情報処理装置１００は、広告が表示される配信面を対象として、上述した情報処理を行ってもよい。
[5-1. About contents]
In the above-described embodiment, an example of information processing of the
〔５−２．目視による審査について〕
上述の実施形態では、情報処理装置１００がモデルを用いて審査された広告に対し、目視による審査を行う例を示した。しかしながら、情報処理装置１００は、目視による審査に限らず、種々の手法を用いてもよい。例えば、情報処理装置１００は、モデルを用いた審査よりも精度が高く、且つ、モデルを用いた審査よりも審査の速度が遅い審査の手法を用いて、広告の審査を行う。
[5-2. Regarding visual inspection]
In the above-described embodiment, an example has been shown in which the
〔５−３．偽陽性広告について〕
上述した図１の実施形態では、情報処理装置１００が、第１モデルまたは第２モデルを用いた審査おいて「適切」と判定された広告をサンプルとして抽出し、偽陰性広告の割合を指標値として算出する例を示した。情報処理装置１００は、偽陽性広告の割合を指標値として算出してもよい。例えば、情報処理装置１００は、第１モデルまたは第２モデルを用いた審査おいて「不適切」と判定された広告を必要なサンプル数を満たすように抽出する。そして、情報処理装置１００は、抽出したサンプルのうち、目視による審査において「適切」と判定された広告の総サンプル数に対する割合を指標値として算出する。
[5-3. About false positive advertisements]
In the embodiment of FIG. 1 described above, the
〔６．効果〕
上述してきたように、実施形態に係る情報処理装置１００は、審査部１３１と、配信部１３２と、抽出部１３３と、算出部１３４と、評価部１３５と、取得部１３６と、学習部１３７とを有する。審査部１３１は、コンテンツの審査を行う。配信部１３２は、審査部１３１によるコンテンツの審査結果に基づいて、コンテンツをユーザに配信する。抽出部１３３は、第１審査を経たコンテンツから、所定の期間内において抽出されるコンテンツの総数が所定の数を満たすように複数のコンテンツを抽出する。算出部１３４は、抽出部１３３が抽出したコンテンツに対する第２審査の結果に基づいて、第１審査の精度を示す指標値を算出する。評価部１３５は、コンテンツの配信に関する情報に基づいて、コンテンツを配信する配信サービスを評価する。取得部１３６は、モデルを用いたコンテンツの審査の後に行われる審査であって、当該コンテンツの目視による審査の結果に関する情報を学習データとして取得する。学習部１３７は、取得部１３６が取得した学習データに基づいてモデルの学習を行う。
[6. effect〕
As described above, the
これにより、実施形態に係る情報処理装置１００は、コンテンツの審査結果を用いて、審査の精度を示す指標値の算出、配信サービスの評価、並びに、モデルの学習を行うことができるため、コンテンツの審査結果を活用できる。
As a result, the
また、実施形態に係る情報処理装置１００において、例えば、算出部１３４は、抽出部１３３が抽出したコンテンツのうち、第１審査における第１審査基準を満たすと判定されたコンテンツであって、第２審査における第２審査基準を満たさないと判定されたコンテンツの総数に対する割合に基づいて、指標値を算出する。
In addition, in the
これにより、実施形態に係る情報処理装置１００は、コンテンツの審査結果を用いて、審査の精度を示す指標値を算出することができるため、コンテンツの審査結果を活用できる。
With this, the
また、実施形態に係る情報処理装置１００において、例えば、抽出部１３３は、指標値の信頼度に基づいて、所定の数及び所定の期間を決定する。
Further, in the
これにより、実施形態に係る情報処理装置１００は、期待する指標値の信頼度に応じてサンプルを抽出する期間及びサンプル数を決定できるため、利便性を向上させることができる。
As a result, the
また、実施形態に係る情報処理装置１００において、例えば、抽出部１３３は、所定の期間を分割した複数の分割期間ごとに抽出されるコンテンツの総数が所定の数を満たすように、分割期間ごとに抽出するコンテンツの数を決定する。
Further, in the
これにより、実施形態に係る情報処理装置１００は、コンテンツの抽出処理を複数に分けて行うことができるため、処理の負担を軽減できる。
With this, the
また、実施形態に係る情報処理装置１００において、例えば、抽出部１３３は、所定の期間において配信されるコンテンツを抽出する。
Further, in the
これにより、実施形態に係る情報処理装置１００は、配信されたコンテンツを抽出するため、本来配信されるべきでなかったコンテンツに基づいて指標値を算出することができる。
As a result, the
また、実施形態に係る情報処理装置１００において、例えば、算出部１３４は、コンテンツに対する目視による審査の結果に基づいて、指標値を算出する。
Further, in the
これにより、実施形態に係る情報処理装置１００は、目視による審査の結果用いることにより、信頼度の高い指標値を算出することができる。
As a result, the
また、実施形態に係る情報処理装置１００において、例えば、抽出部１３３は、所定のカテゴリに分類されるコンテンツを抽出する。
Further, in the
これにより、実施形態に係る情報処理装置１００は、コンテンツのカテゴリごとに指標値を算出できるため、利便性を向上させることができる。
With this, the
また、実施形態に係る情報処理装置１００において、例えば、抽出部１３３は、第１審査基準に基づく審査を経た第１コンテンツのうち、第１審査基準を満たすと判定された第２コンテンツと、第１審査基準を満たさないと判定された第３コンテンツとを抽出する。そして、算出部１３４は、抽出部１３３が抽出した第２コンテンツのうち、第２審査基準を満たさないと判定された第４コンテンツの第１コンテンツに対する割合と、抽出部１３３が抽出した第３コンテンツのうち、第２審査基準を満たすと判定された第５コンテンツの第１コンテンツに対する割合とを算出する。
In addition, in the
これにより、実施形態に係る情報処理装置１００は、第１審査基準を満たし、第２審査基準を満たさない第４コンテンツの割合と、第１審査基準を満たさず、第２審査基準を満たさす第５コンテンツの割合を把握できる。
As a result, the
また、実施形態に係る情報処理装置１００において、例えば、抽出部１３３は、所定のカテゴリに分類される第１コンテンツから第２コンテンツ及び第３コンテンツを抽出する。
Further, in the
これにより、実施形態に係る情報処理装置１００は、コンテンツのカテゴリごとに第４コンテンツの割合及び第５コンテンツの割合を算出できるため、利便性を向上させることができる。
As a result, the
また、実施形態に係る情報処理装置１００において、例えば、抽出部１３３は、所定の期間内において抽出される前記第１コンテンツの総数が所定の数を満たすように抽出する。そして、算出部１３４は、第４コンテンツの第１コンテンツの総数に対する割合と、第５コンテンツの第１コンテンツの総数に対する割合とに基づいて、第１審査基準に基づく審査の精度を示す指標値を算出する。
Further, in the
これにより、実施形態に係る情報処理装置１００は、指標値に期待する信頼度に応じて第１コンテンツを抽出する数を決定できるため、利便性を向上させることができる。
With this, the
また、実施形態に係る情報処理装置１００において、例えば、抽出部１３３は、所定の期間を分割した複数の分割期間ごとに抽出される第１コンテンツの総数が所定の数を満たすように、分割期間ごとに抽出する前記第１コンテンツの数を決定する。
Further, in the
これにより、実施形態に係る情報処理装置１００は、コンテンツの抽出処理を複数に分けて行うことができるため、処理の負担を軽減できる。
With this, the
また、実施形態に係る情報処理装置１００において、例えば、評価部１３５は、第４コンテンツの配信に関する情報と、第５コンテンツの配信に関する情報とに基づいて、第４コンテンツ及び第５コンテンツを配信する配信サービスを評価する。
In the
これにより、実施形態に係る情報処理装置１００は、配信に関する情報に基づいて配信サービスを評価するため、適切な評価をすることができる。
As a result, the
また、実施形態に係る情報処理装置１００において、例えば、評価部１３５は、一定期間における第４コンテンツのインプレッション数に基づいて、配信サービスを評価する。
Further, in the
これにより、実施形態に係る情報処理装置１００は、インプレッション数に基づいて配信サービスを評価するため、配信サービスの品質の度合いを評価することができる。
With this, the
また、実施形態に係る情報処理装置１００において、例えば、評価部１３５は、第４コンテンツの配信開始から配信停止までの期間に基づいて、配信サービスを評価する。
Further, in the
これにより、実施形態に係る情報処理装置１００は、配信期間に基づいて配信サービスを評価するため、配信サービスの品質の度合いを評価することができる。
With this, the
また、実施形態に係る情報処理装置１００において、例えば、評価部１３５は、第４コンテンツの同一ユーザに対するインプレッション数に基づいて、配信サービスを評価する。
Further, in the
これにより、実施形態に係る情報処理装置１００は、配信先のユーザに基づいて配信サービスを評価するため、配信サービスの品質の度合いを評価することができる。
As a result, the
また、実施形態に係る情報処理装置１００において、例えば、評価部１３５は、第５コンテンツを配信した場合の売上に関する売上情報と、第５コンテンツが配信されなかった期間とに基づいて、配信サービスを評価する。
In addition, in the
これにより、実施形態に係る情報処理装置１００は、売上情報に基づいて配信サービスを評価するため、配信サービスの機会損失の度合いを評価することができる。
With this, the
また、実施形態に係る情報処理装置１００において、例えば、取得部１３６は、モデルを用いたコンテンツの審査の後に行われる審査であって、当該コンテンツの目視による審査の結果に関する情報を学習データとして取得する。そして、学習部１３７は、取得部１３６が取得した学習データに基づいてモデルの学習を行う。
In addition, in the
これにより、実施形態に係る情報処理装置１００は、目視による審査結果に基づいてモデルの学習を行うことができるため、モデルの精度を向上させることができる。
As a result, the
また、実施形態に係る情報処理装置１００において、例えば、取得部１３６は、モデルを用いた審査において、目視により審査されるべきと判定されたコンテンツの目視による審査の結果に関する情報を学習データとして取得する。
In addition, in the
これにより、実施形態に係る情報処理装置１００は、モデルによって審査できなかったコンテンツの目視による審査結果をモデルの学習に用いることができるため、モデルの精度を向上させることができる。
As a result, the
また、実施形態に係る情報処理装置１００において、例えば、抽出部１３３は、モデルを用いた審査を経た第１コンテンツのうち、モデルの審査基準を満たすと判定された第２コンテンツと、当該審査基準を満たさないと判定された第３コンテンツを抽出する。そして、取得部１３６は、抽出部１３３が抽出した第２コンテンツのうち、目視による審査の審査基準を満たさないと判定された第４コンテンツに関する情報と、抽出部１３３が抽出した第３コンテンツのうち、目視による審査の審査基準を満たすと判定された第５コンテンツに関する情報とを、学習データとして取得する。
In addition, in the
これにより、実施形態に係る情報処理装置１００は、モデルによって誤った判定がされたコンテンツに関する情報に基づいてモデルの学習を行うことができるため、モデルの精度を向上させることができる。
With this, the
また、実施形態に係る情報処理装置１００において、例えば、算出部１３４は、第１コンテンツに対する第４コンテンツの割合と、第１コンテンツに対する第５コンテンツの割合とを算出する。そして、取得部１３６は、第１コンテンツに対する第４コンテンツの割合が所定の閾値以上である場合に第４コンテンツに関する情報を学習データとして取得し、第１コンテンツに対する第５コンテンツの割合が所定の閾値以上である場合に第５コンテンツに関する情報を学習データとして取得する。
Further, in the
これにより、実施形態に係る情報処理装置１００は、モデルを用いた審査の精度に応じてモデルの学習を行うことができるため、利便性を向上させることができる。
With this, the
また、実施形態に係る情報処理装置１００において、例えば、取得部１３６は、コンテンツのカテゴリごとに学習データを取得する。そして、学習部１３７は、学習データに基づいて、カテゴリごとにモデルの学習を行う。
Further, in the
これにより、実施形態に係る情報処理装置１００は、カテゴリに応じてモデルの学習を行うことができるため、利便性を向上させることができる。
With this, the
また、実施形態に係る情報処理装置１００において、例えば、取得部１３６は、配信前のコンテンツの目視による審査の結果を第１学習データとして取得し、配信後のコンテンツの目視による審査の結果を第２学習データとして取得する。そして、学習部１３７は、取得部１３６が取得した第１学習データ及び第２学習データに基づいて、モデルの学習を行う。
In addition, in the
これにより、実施形態に係る情報処理装置１００は、配信前のコンテンツ及び配信前のコンテンツに関する情報に基づいてモデルの学習を行うことができるため、モデルの精度を向上させることができる。
With this, the
また、実施形態に係る情報処理装置１００において、例えば、取得部１３６は、コンテンツの配信前において、第１モデルを用いたコンテンツの審査の後に行われる審査であって、当該コンテンツの目視による審査の結果を第１学習データとして取得し、コンテンツの配信後において、第２モデルを用いたコンテンツの審査の後に行われる審査であって、当該コンテンツの目視による審査の結果を第２学習データとして取得する。そして、学習部１３７は、取得部１３６が取得した第１学習データ及び第２学習データに基づいて、第１モデル及び第２モデルの学習を行う。
In addition, in the
これにより、実施形態に係る情報処理装置１００は、配信前のコンテンツの審査に用いられるモデル、並びに、配信後のコンテンツの審査に用いられるモデルの学習を行うことができるため、コンテンツの審査の精度を向上させることができる。
As a result, the
〔７．ハードウェア構成〕
また、上述してきた各実施形態に係る情報処理装置は、例えば図１２に示すような構成のコンピュータ１０００によって実現される。以下、情報処理装置１００を例に挙げて説明する。図１２は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。
[7. Hardware configuration]
Further, the information processing apparatus according to each of the embodiments described above is realized by, for example, a
ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
The
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を記憶する。通信インターフェイス１５００は、通信網５００（実施形態のネットワークＮに対応する）を介して他の機器からデータを受信してＣＰＵ１１００へ送り、また、通信網５００を介してＣＰＵ１１００が生成したデータを他の機器へ送信する。
The
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して生成したデータを出力装置へ出力する。
The
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラム又はデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
The
例えば、コンピュータ１０００が情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。また、ＨＤＤ１４００には、情報処理装置１００の記憶装置内の各データが格納される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
For example, when the
〔８．その他〕
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
[8. Other]
As described above, some of the embodiments of the present application have been described in detail based on the drawings, but these are examples, and various modifications based on the knowledge of those skilled in the art, including the modes described in the section of the disclosure of the invention, It is possible to implement the present invention in other forms with improvements.
また、上述した情報処理装置１００は、機能によっては外部のプラットフォーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。
Further, the
また、特許請求の範囲に記載した「部」は、「手段」や「回路」などに読み替えることができる。例えば、審査部は、審査手段や審査回路に読み替えることができる。 Further, the “unit” described in the claims can be read as “means” or “circuit”. For example, the examination department can be read as an examination means or an examination circuit.
１０ 広告主端末
２０ 審査者端末
３０ ユーザ端末
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１２１ 広告情報記憶部
１２２ 第１モデル記憶部
１２３ 第２モデル記憶部
１２４ 広告配信履歴情報記憶部
１２５ サンプル広告情報記憶部
１３０ 制御部
１３１ 審査部
１３２ 配信部
１３３ 抽出部
１３４ 算出部
１３５ 評価部
１３６ 取得部
１３７ 学習部
10
Claims (11)
前記抽出部が抽出した第２コンテンツのうち、第２審査基準を満たさないと判定された第４コンテンツの前記第１コンテンツに対する割合と、前記抽出部が抽出した第３コンテンツのうち、前記第２審査基準を満たすと判定された第５コンテンツの前記第１コンテンツに対する割合とを算出する算出部と
を備えたことを特徴とする算出装置。 From the first content that has undergone the examination based on the first examination criteria, the second content that is determined to meet the first examination criteria and the third content that is determined not to meet the first examination criteria are extracted. An extraction section,
Of the second content extracted by the extraction unit, the ratio of the fourth content determined to not satisfy the second examination criterion to the first content, and the second content of the third content extracted by the extraction unit. And a calculation unit that calculates a ratio of the fifth content determined to satisfy the examination standard to the first content.
所定のカテゴリに分類される前記第１コンテンツから前記第２コンテンツ及び前記第３コンテンツを抽出する
ことを特徴とする請求項１に記載の算出装置。 The extraction unit is
The calculation device according to claim 1, wherein the second content and the third content are extracted from the first content classified into a predetermined category.
所定の期間内において抽出される前記第１コンテンツの総数が所定の数を満たすように抽出し、
前記算出部は、
前記第４コンテンツの前記第１コンテンツの総数に対する割合と、前記第５コンテンツの前記第１コンテンツの総数に対する割合とに基づいて、前記第１審査基準に基づく審査の精度を示す指標値を算出する
ことを特徴とする請求項１または２に記載の算出装置。 The extraction unit is
Extracted so that the total number of the first contents extracted within a predetermined period satisfies a predetermined number,
The calculation unit,
An index value indicating the accuracy of the examination based on the first examination criterion is calculated based on the ratio of the fourth content to the total number of the first contents and the ratio of the fifth content to the total number of the first contents. The calculation device according to claim 1 or 2, characterized in that.
前記所定の期間を分割した複数の分割期間ごとに抽出される前記第１コンテンツの総数が前記所定の数を満たすように、前記分割期間ごとに抽出する前記第１コンテンツの数を決定する
ことを特徴とする請求項３に記載の算出装置。 The extraction unit is
Determining the number of the first contents to be extracted for each of the divided periods so that the total number of the first contents extracted for each of a plurality of divided periods obtained by dividing the predetermined period satisfies the predetermined number. The calculation device according to claim 3, wherein the calculation device is characterized in that:
をさらに備えたことを特徴とする請求項１から４のいずれか一つに記載の算出装置。 An evaluation unit that evaluates a distribution service that distributes the fourth content and the fifth content, based on information about distribution of the fourth content and information about distribution of the fifth content. The calculation device according to any one of claims 1 to 4.
一定期間における前記第４コンテンツのインプレッション数に基づいて、前記配信サービスを評価する
ことを特徴とする請求項５に記載の算出装置。 The evaluation unit is
The calculation device according to claim 5, wherein the distribution service is evaluated based on the number of impressions of the fourth content in a certain period.
前記第４コンテンツの配信開始から配信停止までの期間に基づいて、前記配信サービスを評価する
ことを特徴とする請求項５または６に記載の算出装置。 The evaluation unit is
The calculation device according to claim 5 or 6, wherein the distribution service is evaluated based on a period from a distribution start to a distribution stop of the fourth content.
前記第４コンテンツの同一ユーザに対するインプレッション数に基づいて、前記配信サービスを評価する
ことを特徴とする請求項５から７のいずれか一つに記載の算出装置。 The evaluation unit is
The calculation device according to any one of claims 5 to 7, wherein the distribution service is evaluated based on the number of impressions of the fourth content for the same user.
前記第５コンテンツを配信した場合の売上に関する売上情報と、前記第５コンテンツが配信されなかった期間とに基づいて、前記配信サービスを評価する
ことを特徴とする請求項５から８のいずれか一つに記載の算出装置。 The evaluation unit is
9. The distribution service is evaluated based on sales information regarding sales when the fifth content is distributed, and a period in which the fifth content is not distributed. Calculation device described in 3.
第１審査基準に基づく審査を経た第１コンテンツのうち、前記第１審査基準を満たすと判定された第２コンテンツと、前記第１審査基準を満たさないと判定された第３コンテンツとを抽出する抽出工程と、
前記抽出工程が抽出した第２コンテンツのうち、第２審査基準を満たさないと判定された第４コンテンツの前記第１コンテンツに対する割合と、前記抽出工程が抽出した第３コンテンツのうち、前記第２審査基準を満たすと判定された第５コンテンツの前記第１コンテンツに対する割合とを算出する算出工程と
を含むことを特徴とする算出方法。 A calculation method executed by a computer,
Of the first content that has undergone the examination based on the first examination criteria, the second content determined to satisfy the first examination criteria and the third content determined to not satisfy the first examination criteria are extracted. An extraction process,
Of the second content extracted by the extracting step, the ratio of the fourth content determined not to satisfy the second examination criterion to the first content, and the second content of the third content extracted by the extracting step. A calculation step of calculating a ratio of the fifth content determined to satisfy the examination standard to the first content.
前記抽出手順が抽出した第２コンテンツのうち、第２審査基準を満たさないと判定された第４コンテンツの前記第１コンテンツに対する割合と、前記抽出手順が抽出した第３コンテンツのうち、前記第２審査基準を満たすと判定された第５コンテンツの前記第１コンテンツに対する割合とを算出する算出手順と
をコンピュータに実行させることを特徴とする算出プログラム。 Of the first content that has undergone the examination based on the first examination criteria, the second content determined to satisfy the first examination criteria and the third content determined to not satisfy the first examination criteria are extracted. Extraction procedure,
Of the second content extracted by the extraction procedure, the ratio of the fourth content determined not to satisfy the second examination criterion to the first content, and the second content of the third content extracted by the extraction procedure. And a calculation procedure for calculating the ratio of the fifth content determined to satisfy the examination standard to the first content, the calculation program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018238868A JP6907179B2 (en) | 2018-12-20 | 2018-12-20 | Calculation device, calculation method and calculation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018238868A JP6907179B2 (en) | 2018-12-20 | 2018-12-20 | Calculation device, calculation method and calculation program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020101939A true JP2020101939A (en) | 2020-07-02 |
| JP6907179B2 JP6907179B2 (en) | 2021-07-21 |
Family
ID=71139589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018238868A Active JP6907179B2 (en) | 2018-12-20 | 2018-12-20 | Calculation device, calculation method and calculation program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6907179B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8788442B1 (en) * | 2010-12-30 | 2014-07-22 | Google Inc. | Compliance model training to classify landing page content that violates content item distribution guidelines |
| JP2017050022A (en) * | 2016-11-17 | 2017-03-09 | ヤフー株式会社 | Examination system, examination method, and examination program |
| JP2018008685A (en) * | 2016-06-24 | 2018-01-18 | ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ | Prediction method and system for structure repair in heavy maintenance of aircraft |
| WO2018094496A1 (en) * | 2016-11-23 | 2018-05-31 | Primal Fusion Inc. | System and method for using a knowledge representation with a machine learning classifier |
-
2018
- 2018-12-20 JP JP2018238868A patent/JP6907179B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8788442B1 (en) * | 2010-12-30 | 2014-07-22 | Google Inc. | Compliance model training to classify landing page content that violates content item distribution guidelines |
| JP2018008685A (en) * | 2016-06-24 | 2018-01-18 | ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ | Prediction method and system for structure repair in heavy maintenance of aircraft |
| JP2017050022A (en) * | 2016-11-17 | 2017-03-09 | ヤフー株式会社 | Examination system, examination method, and examination program |
| WO2018094496A1 (en) * | 2016-11-23 | 2018-05-31 | Primal Fusion Inc. | System and method for using a knowledge representation with a machine learning classifier |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6907179B2 (en) | 2021-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mehrotra et al. | Designing content-driven intelligent notification mechanisms for mobile applications | |
| Lin et al. | Determinants of mobile consumers' perceived value of location-based advertising and user responses | |
| CN106919579B (en) | Information processing method, device and equipment | |
| CN111125574B (en) | Method and device for generating information | |
| WO2020001106A1 (en) | Classification model training method and store classification method and device | |
| US20130179440A1 (en) | Identifying individual intentions and determining responses to individual intentions | |
| Chandrasekaran et al. | Evaluating marketer generated content popularity on brand fan pages–a multilevel modelling approach | |
| JP6815235B2 (en) | Information processing equipment, information processing methods, and programs | |
| JP2019053668A (en) | Device, method, and program for granting privilege | |
| JP6731826B2 (en) | Extraction device, extraction method, and extraction program | |
| JP7210347B2 (en) | Information processing device, information processing method and information processing program | |
| JP7042767B2 (en) | Decision device, decision method and decision program | |
| JP7206761B2 (en) | Information processing equipment | |
| JP7160757B2 (en) | Determination device, determination method and determination program | |
| US10237226B2 (en) | Detection of manipulation of social media content | |
| JP7042768B2 (en) | Grant device, grant method and grant program | |
| JP6907179B2 (en) | Calculation device, calculation method and calculation program | |
| JP6664588B1 (en) | Calculation device, calculation method and calculation program | |
| JP2020101940A (en) | Learning device, learning method, and learning program | |
| JP2019200713A (en) | Information processing device, information processing method, and information processing program | |
| JP7139270B2 (en) | Estimation device, estimation method and estimation program | |
| JP2018036756A (en) | Message classification system, message classification method, and program | |
| JP7092703B2 (en) | Decision device, decision method and decision program | |
| JP7260439B2 (en) | Extraction device, extraction method and extraction program | |
| JP7018907B2 (en) | Calculation device, calculation method and calculation program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190319 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20191101 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20191108 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200630 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200818 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210119 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210419 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210419 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210426 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210427 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210601 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210630 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6907179 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |