以下は、新しい競合他社およびより重要となった競合他社のオンライン広告顧客への自動通知のための方法、装置、およびシステムに関する様々な概念より詳細な説明、および実施形態である。上記に導入されかつ以下により詳細に議論される様々な概念は、記載された概念は任意の特定の実施形態の手法に限定されないので、多数の方法のいずれで実装されてもよい。特定の実施形態およびアプリケーションの例は、主に説明の目的のために提供される。
本開示のシステム、方法および装置は、顧客に通知を提供する。通知は、顧客の新しい競合他社あるいは競合他社の活動における変化を識別してもよい(例えば、競合他社が多かれ少なかれアクティブになり、異なる市場に参入し、彼らのマーケティング戦略あるいは方策を変更し、エンドユーザに到達することに多かれ少なかれ成功する、など)。通知は、競合他社が一般に市場シェア、インプレッション、クリック、コンバージョン、あるいはアクセスのために顧客と競合するプラットフォーム、例えばオンライン広告プラットフォーム、ソーシャルメディアプラットフォーム、オンラインビデオストリーミングプラットフォーム、オンラインニュースアグリゲータプラットフォーム、ソーシャルネットワークプラットフォーム、あるいは他のオンラインプラットフォームなどの、様々な異なるプラットフォームにおける競合他社のタイプを(競合他社の識別子をマスキングしながら)識別することができる。例示的な実施形態において、データ処理システムは、(1)過去の顧客と競合していない新しい広告エンティティ、または(2)オンライン広告プラットフォームで活動しているがより活発になった、既存の広告エンティティを含み得る新しい競合他社を定期的にチェックすることができる。データ処理システムは、次いで競合他社を識別し、競合他社の顧客に通知することができる。従って、市場における変化について更新された状態に保つことができる。さらに、データ処理システムは、上位の競合他社が彼らの広告キャンペーンにより20%意味のあるインプレッションをもたらす変更を加えるなど、識別された競合他社に関連する重要なイベントを顧客に通知することができる。
データ処理システムは、競合他社を自動的に検出し、顧客からの入力が最小であるかまたは全くない顧客の新しい競合他社を検出することができる。例えば、いくつかの実施形態において、データ処理システムは、顧客のプロファイルあるいは顧客の活動に従って、広告カテゴリを動的に決定することができる。次いで、データ処理システムは、決定された広告カテゴリに基づいて競合他社を検索することができる。従って、いくつかの実施形態において、データ処理システムは、顧客が広告カテゴリの識別をすることなく、競合他社を識別することができる。
“オンライン広告主”あるいは“インターネット広告主”は、消費者に販売促進マーケティングメッセージを配信するためにインターネットを使用した(一般的に、ドメイン名、ウェブアドレス、URL、あるいはスマートフォンアプリ等によって表される)ビジネスを参照する。広告効率を向上させるために、オンライン広告主は、可能性がある顧客が訪れそうなオンライン空間上にオンライン広告を表示することを望む。類似の顧客グループをターゲットとするオンライン広告主は、したがって、同一のオンライン空間に対して互いに競合する可能性がある。したがって、そのようなオンライン広告主は、同じ“広告カテゴリ”に属し、および“広告競合他社”である。
いくつかの実施形態において、特定の広告プラットフォームでの一部またはすべての競合他社は、広告顧客について識別されることができる。そのような識別手段が一定期間の後に繰り返す場合、可能性がある競合他社のリストの比較は、それらのうちのどれが新しいのかを決定するのに役立つことができる。
それにもかかわらず、いくつかの実施形態において、限られた数の競合他社(“上位の競合他社”として参照もされる)を識別するだけでより効果的である。このような限られた数は、任意に、あるいは統計的に予め決定されることができる。あるいは、上位の競合他社を取得するために可能性のある競合他社のリストをフィルタリングするために、閾値あるいは基準が確立されることができる。
データ処理システムは、広告主が特定のオンライン空間、例えばキーワード、フレーズ、用語、エンティティ、バーティカル(vertical)、特定の場所のカテゴリなどのために顧客との入札に参加する場合、広告顧客に対する競合他社として広告主を識別することができる。さらに、広告主が顧客により高値をつけ、入札に勝った場合、データ処理システムは、広告主が競合他社であると決定してもよい。
データ処理システムは、競合他社を決定するために広告顧客についてのデータを操作することができる。いくつかの実施形態において、データ処理システムは多次元空間上の広告プラットフォームの広告顧客をプロットする。この多次元空間を使用して、データ処理システムは、顧客の最も近い隣のものが顧客にとって最も可能性の高い競合他社であると決定することができる。言い換えると、データ処理システムは、広告顧客間の“市場類似性”を測定するためにこれらの次元を使用して距離行列を生成することができる。
例示的な実施形態において、データ処理システムは、競合他社あるいは顧客に類似のエンティティを識別するために、クリック、コスト、インプレッション、コンバージョン(conversion)などの1つまたは複数の関数、技術、手順、またはアルゴリズムを基準に適用することができる。技術は、EXTENDED_JACCARD、 DOT_PRODUCT、 SUM_OF_MIN、 OVERLAP、 WEIGHTED_JACCARD、および TWO_HOP_PAGERANKのようなベクトル距離関数を含むことができる。例示的な実施形態において、データ処理システムは、以下の関数を使用して、これらのベクトル距離関数を決定することができる。
方程式1:DOT_PRODUCT
方程式2:SUM_OF_MIN
方程式3:EXTENDED_JACCARD:
方程式4:WEIGHTED_JACCARD:
方程式5:OVERLAP
方程式6:
いくつかの実施形態において、Ch(m)は、顧客の広告キャンペーンが市場mで獲得しているクリック数を示す。いくつかの実施形態において、Ch(m)は、市場mにおける顧客の広告キャンペーンのコストを示す。いくつかの実施形態において、Mは検討中の市場の全体のセットを示す。いくつかの実施形態において、Cmは検討中の2つだけでなく、すべての競合他社にわたって、市場mにおける総クリック数(あるいはコスト)を示す。同様に、Cd(m)は、可能性のある競合他社のdomainに関連するクリックあるいはコストの数を示す。
広告顧客間の類似性を測定するとき、データ処理システムは、ベクトル距離関数に重みを適用することができる。重みは、ベクトル距離関数の有効性あるいはベクトル距離関数の重要性に基づくことができる。競合他社の特定におけるベクトル距離関数の有効性は、実験、最適化アルゴリズム、あるいは規定に基づいて決められることができる。例示的な実施形態において、データ処理システムは、広告顧客間の類似性を測定する際に、他の3つのベクトル距離関数と比較してベクトル距離関数"TWO_HOP_PAGERANK"、 "SUM_OF_MIN"および "DOT-PRODUCT"をより高くあるいはより大きく重みづけすることができる。
データ処理システムは、顧客のために競合他社を定期的に識別するように構成されることができる。それらは保存され、競合他社の以前のリストと比較されることができる。新しい競合他社が追加された(または競合他社が置換された)ためにリストが変更されたとき、通知が生成され、顧客に表示されることができる。
いくつかの実施形態において、データ処理システムは、例えば既存の競合他社が新しいキャンペーンを追加する、既存のキャンペーンを編集する(例えば、入札の変更、ユーザインタフェースの変更など)、既存のキャンペーンを削除する、あるいは既存のキャンペーンを(例えば、新しいキーワードや人口統計などに)広げる、といった最近のイベントに基づいて、既存の競合他社について顧客に通知してもよい。イベントには、特定のベクトル(検索用語/人口統計/ウェブロケション/地理位置情報)でより多くの(あるいはほとんどの)インプレッションを勝ち取った競合他社のような受動的な活動も含まれてもよい。
いくつかの実施形態において、競合他社に関連するイベントは、競合他社がよりアクティブになったかどうか(例えば、活動閾値のような閾値に関して多かれ少なかれ活動的である)を判断するために集約されることができる。例示的な実施形態において、増分入札の増加は、単一のイベントに組み合わされることができ、これによって最も最近の入札の代わりに実際の入札デルタが表される。
イベントは、それらの重要性に基づいて、あるいはそれらが表す期間に基づいて、組み合わされることができる。例えば、データ処理システムは、期間のレポートまたは通知を生成する(例えば、その広告にいない、あるいは1週間、2週間、3週間、などの所定の期間、競合レポートを見ていない顧客に、単一の通知またはレポートを提供する)ために増分入札イベントを組み合わせることができる。いくつかの実施形態において、顧客は期間をあらかじめ設定してもよく、さらに別の実施形態において、データ処理システムはイベントの数に基づいて期間の通知を生成してもよい(例えば、10イベントごと、あるいは20イベントごと、などに通知を提供する)。いくつかの実施形態において、顧客に対する通知は、例えば、それらが同じイベント、カテゴリ、ユーザ、またはそれらの組合せである。
データ処理システムは、特定のイベントの重要性を測定するようにさらに構成されることができる。いくつかの実施形態において、イベントの重要性は、入札あるいはベクトルに関して閾値(関連性またはアブソリュート)に基づいて決定されることができる。例示的な実施形態において、イベントは、あるパーセンテージのより有意義なインプレッションを生成するか、あるいは入札価格において増加のパーセンテージを有する場合、重要であると識別されることができる。あるいは、現在の顧客に対する入札が測定されることができる。つまり、現在の顧客の特定のベクトルで入札が付け値を上回るか、広告主が特定のベクトルのユーザよりも多くのインプレッションを得た場合、イベントが重大であるとみなされることができる。
データ処理システムは、広告顧客のコンピューティングデバイス上に表示するための土を提供することができる。通知は、コンピューティングデバイスの、またはコンピューティングデバイスに組み合わされたディスプレイデバイスに表示されることができる。データ処理システムは、ネットワークを介してコンピューティングデバイスに通知をプッシュすることができ、あるいはコンピューティングデバイスはデータ処理システムから通知を取り出すことができる。いくつかの実施形態において、データ処理システムは、ネットワークを介してコンピューティングデバイスに定期的に通知を提供するかまたは送信することができる。
通知は、広告顧客が彼らの広告戦略を調整するのを助けることができる、新しい競合他社についての関連情報を含んでもよい。いくつかの実施形態において、通知は、新しい競合他社(たとえば、会社またはドメイン名)の識別、あるいは新しい競合他社の広告戦略(たとえば、オンラインストリーミングビデオプラットフォーム、あるいはソーシャルメディアプラットフォームで購入されたあるいは入札、あるいは広告キーワードなど)をマスキングしてもよい。
例えば、通知は、広告カテゴリ、あるいは新しい競合他社のターゲットとされた人口統計を含むことができる。広告カテゴリは、広告の分類に基づくことができ、およびカテゴリは、プライバシー、規制、または契約上の制約のために表示に適していない特定の広告の情報を含まない。例えば、新しいサプライヤである新しい競合他社が、広告キーワード「寿司」を購入した場合、関連する広告カテゴリはアジアンフードまたは出前になる可能性がある。従って、アジアンフードあるいは出前を示す通知は、広告顧客に有益となる。
別の例として、新しい競合他社は、オンラインビデオストリーミングプラットフォームの特定のビデオクリップ上、あるいはソーシャルネットワークプラットフォームのウェブページ上に広告を掲載するために購入してもよい。ビデオまたはページの一部の識別が通知に含まれていない場合でも、ビデオまたはページの一部のカテゴリ化、およびビデオまたはページのへの訪問者の要約統計量は、顧客にとって有益となる可能性がある。
従って、データ処理システムが新しい競合他社の正体および具体的な広告コンテンツをマスキングあるいは匿名化したとしても、顧客は、新しい競合他社が取得している、あるいは新しい競合他社が異なるグループまたは場所の人々にアクセスしようとしているか否かに関連する広告の傾向を十分理解することができる。さらに、いくつかの実施形態において、データ処理システムは、実際の入札価格を隠すか、または提供しなくてもよい。
本明細書に記載される特徴は、スマートテレビジョンモジュール(あるいは接続されたテレビジョンモジュール、ハイブリッドテレビジョンモジュールなど)上で実装されてもよく、これはインターネット接続をより伝統的な(例えばケーブル、衛星、無線、または他の信号を介して受信される)テレビプログラムソースと統合するように構成された処理モジュールを含んでもよい。スマートテレビジョンモジュールは、テレビセットに物理的に組み込まれてもよく、あるいはセットトップボックス、ブルーレイ、または他のデジタルメディアプレイヤー、ゲームコンソール、ホテルテレビジョンシステム、および他の仲間のデバイスのような別個のデバイスを含んでもよい。スマートテレビジョンモジュールは、ウェブ上の、ローカルケーブルTVチャンネル上の衛星TVチャンネル上の、あるいはローカルハードドライブ上に記憶された、ビデオ、映画、写真、および別のコンテンツを検索して見つけることを可能にするように構成されてもよい。セットトップボックス(STB)あるいはセットトップユニット(STU)は、チューナーを含み、およびテレビセットと外部の信号源に接続し、信号をテレビ画面または別のディスプレイデバイスに次いで表示されるコンテンツにチューニングしてもよい、情報家電デバイスを含んでもよい。スマートテレビジョンモジュールは、ウェブブラウザおよび複数のストリーミングメディアサービス、接続されたケーブルまたは衛星メディアソース、他のウェブ“チャンネル”などの複数の異なるアプリケーションのためのアイコンを含む、ホームスクリーンあるいはトップレベルスクリーンを提供するように構成されてもよい。スマートテレビジョンモジュールは、電子プログラミングガイドをユーザに提供するようにさらに構成されてもよい。スマートテレビジョンモジュールに対する仲間のアプリケーションは、利用可能なプログラムについての追加の情報をユーザに提供し、ユーザがスマートテレビジョンモジュールなどを制御することを可能にするために、モバイルコンピューティングデバイス上で動作可能であってもよい。別の実施形態において、特徴は、ラップトップコンピュータあるいは別のパーソナルコンピュータ、スマートフォン、別のモバイルフォン、ハンドヘルドコンピュータ、タブレットPC、あるいは別のコンピューティングデバイス上で実装されてもよい。
図1は、ネットワーク105等のコンピュータネットワークを介してコンテンツを選択するためのシステム100の一実施形態を図示している。システム100およびその構成要素、例えばデータ処理システム120は、1つ又は複数のプロセッサ、論理デバイス、あるいは回路などのハードウェア要素を含んでもよい。ネットワーク105は、インターネット、ローカル、ワイド、メトロ、データ、あるいは別のエリアネットワーク、イントラネット、サテライトネットワーク、それらの組合せ、およびボイスまたはデータモバイル電話ネットワーク等の別の通信ネットワークなどのコンピュータネットワークを含むことができる。ネットワーク105は、ラップトップ、デスクトップ、タブレット、パーソナルデジタルアシスタント、スマートフォン、モバイルコンピューティングデバイス、モバイル通信デバイス、ウェアラブルコンピューティングデバイス、あるいはポータブルコンピュータなどの少なくとも1つのデバイス110上に表示されることができるウェブページ、ウェブサイト、ドメイン名、あるいはユニフォームリソースロケータ等の情報リソースにアクセスするために使用されることができる。一実施形態において、ネットワーク105を介してデバイス110のユーザは、少なくとも1つのコンテンツ発行元115(例えば、ウェブサイトオペレータ)のウェブサーバにアクセスすることができる。この実施形態において、デバイス110のウェブブラウザは、デバイス110のモニタに表示するためのウェブページを取り出すためにコンテンツ発行元115のウェブサーバにアクセスすることができる。コンテンツ発行元115は、一般にウェブページを操作するエンティティを含む。一実施形態において、コンテンツ発行者115は、ウェブページをデバイス110で利用可能にするためにネットワーク105と通信する少なくとも1つのウェブページサーバを含む。
なお、図1は、デバイス110、データ処理システム120、コンテンツプロバイダ125、およびコンテンツ発行元115間のネットワーク105、同じネットワーク105上に存在してもよい、デバイス110、コンテンツ発行元115、コンテンツプロバイダ125、およびデータ処理システム120を示す。ネットワーク105は、企業イントラネットのようなローカルエリアネットワーク(LAN)、メトロポリタンエリアネットワーク(MAN)、あるいはインターネットまたはワールドワイドウェブのようなワイドエリアネットワーク(WAN)であることができる。いくつかの実施形態において、デバイス110とデータ処理システム120、コンテンツプロバイダ125、およびコンテンツ提供元115との間に複数のネットワーク105が存在する。これらの実施形態の1つにおいて、ネットワーク105は公衆ネットワーク、プライベートネットワークであってよく、あるいは公衆およびプライベートネットワークの組合せを含んでもよい。
ネットワーク105は、任意のタイプまたは形式のネットワークであってよく、および、ポイントツーポイントネットワーク、ブロードキャストネットワーク、ワイドエリアネットワーク、ローカルエリアネットワーク、通信ネットワーク、データ通信ネットワーク、コンピュータネットワーク、ATM(非同期転送モード)ネットワーク、SONET(同期光ネットワーク)ネットワーク、SDH(同期デジタル階層)ネットワーク、無線ネットワーク、および有線ネットワークのうちの何れかを含んでもよい。いくつかの実施形態において、ネットワーク105は赤外線チャンネルまたは衛星帯域などの無線リンクを含んでもよい。ネットワーク105のトポロジは、バス、スター、あるいはリングネットワークトポロジを含んでもよい。ネットワークは、任意のプロトコルまたはモバイルデバイス間の通信のために使用されるプロトコルを使用するモバイル電話ネットワークを含んでもよく、アドバンスド・モバイル・フォン・プロトコル(advanced mobile phone protocol 、AMPS)、時分割多元接続(TDMA)、符号分割多元接続(CDMA)、グローバル移動通信システム(GSM)、汎用パケット無線サービス(GPRS)、あるいはユニバーサル・モバイル・テレコミュニケーションズ・システム(universal mobile telecommunications system、UMTS)を含む。いくつかの実施形態において、異なるタイプのデータは、異なるプロトコルを介して送信されてもよい。別の実施形態において、同じタイプのデータは異なるプロトコルを介して送信されてもよい。
システム100は、少なくとも1つのデータ処理システム120を含むことができる。データ処理システム120は、ネットワーク105を介して、デバイス110、コンテンツ発行元115、および少なくとも1つのコンテンツプロバイダ125と通信するためのプロセッサを有するコンピューティングデバイスのような、少なくとも1つの論理デバイスを含むことができる。データ処理システム120は、少なくとも1つのサーバを含むことができる。一実施形態において、データ処理システム120は、少なくとも1つのデータセンタに配置された複数のサーバを含むことができる。いくつかの実施形態において、データ処理システム120は、論理的にグループ化された複数のサーバを含んでもよく、および分散コンピューティング技術を容易にし得る。これらの実施形態の1つにおいて、サーバの論理グループは、サーバファームまたはマシンファームとして参照されることがある。これらの別の実施形態において、サーバは地理的に分散されていてもよい。別の実施形態において、マシンファームは、単一のエンティティとして管理されてもよい。さらに別の実施形態において、マシンファームは複数のマシンファームを含む。各マシンファーム内のサーバは、異機種にすることができ、1つ又は複数のサーバまたはマシンは、オペレーティングシステムプラットフォームの1つのタイプに従って動作することができる。
一実施形態において、マシンファーム内のサーバは、関連するストレージシステムと共に高密度ラックシステムに格納されてもよく、企業のデータセンタに配置されてもよい。この実施形態において、この方法でサーバを統合することは、サーバと高性能ストレージシステムを高性能ネットワーク上に配置することにより、システムの管理容易性、データセキュリティ、システムの物理的セキュリティ、およびシステムパフォーマンスを向上することができる。サーバとストレージシステムを集中化し、高度なシステム管理ツールと結合することは、サーバリソースをより効率的に使用することを可能にする。
データ処理システム120、コンテンツプロバイダ125、コンテンツ発行元115、およびデバイス110は、任意のタイプのクライアントまたはサーバ、または任意のタイプおよび形態のネットワーク上で通信でき、本明細書に記載の動作を実行する、コンピュータ、ネットワークデバイス、あるいはアプライアンスなどの任意のタイプおよび形態のコンピューティングデバイス上に展開または実行されることができる。
データ処理システムは、例えば、オンライン広告サーバ、ソーシャルメディアサーバ、オンラインビデオストリーミングシステム、オンラインニュースアグリゲーションシステム、ソーシャルネットワーキングシステム、あるいは別のオンラインプラットフォームを含んでもよく、競合他社が市場シェア、インプレッション、クリック、コンバージョン、あるいは一般的なアクセスのために顧客と競争し得る。一つの例示的な実施形態において、データ処理システム120は、少なくとも1つのサーバを有するコンテンツ配置システムを含む。データ処理システム120は、少なくとも1つのインタフェース130、少なくとも1つの競合他社アナライザ135、少なくとも1つのイベント評価器140、少なくとも1つの通知エンジン145、および少なくとも1つのデータベース150を含むことができる。一実施形態において、データ処理システム120は、ロジスティック回帰モジュールあるいは決定木モジュールのような機械学習モジュールを含むことができる。インタフェース130、競合他社アナライザ135、イベント評価器140、通知エンジン145、および機械学習モジュールは、それぞれ、少なくとも1つの処理ユニットあるいはプログラマブル論理アレイのような別の論理デバイス、あるいはデータベース150と通信するように構成されたモジュールを含むことができる。インタフェース130、競合他社アナライザ135、イベント評価器140、通知エンジン145および機械学習モジュールは、別個のコンポーネント、単一のコンポーネント、あるいはデータ処理システム120の一部であってもよい。
いくつかの実施形態において、データ処理システム120は、複数のデバイス110に関連する匿名コンピュータネットワーク活動情報を取得する。デバイス110のユーザは、ユーザのデバイス110に対応するネットワーク活動情報を取得するためにデータ処理システム120を肯定的に権限を持たせることができる。一実施形態において、データ処理システム120は、地理的位置情報などの1つまたは複数のネットワーク活動情報のタイプを取得するための承認のためにデバイス110のユーザに促すことができる。デバイス110のユーザの身元は匿名のままであることができ、デバイス110は一意の識別子(例えば、cookie)と関連付けられてもよい。
本明細書で説明するシステムがユーザ(たとえば、顧客あるいは競合他社を含む)についての個人情報を収集する、あるいは個人情報を使用する場合は、ユーザは、プログラムまたは機能が個人情報(たとえば、ユーザのソーシャルネットワーク、ソーシャル活動またはアクティビティ、ユーザの好み、あるいはユーザの現在の場所についての情報)を収集し得るか否かを制御する、あるいはユーザにとってより関連性のあるコンテンツをコンテンツサーバからコンテンツを受信するか否か、またはどのように受信するかを制御する機会を提供されてもよい。さらに、特定のデータは、パラメータ(たとえば人口統計パラメータ)を生成するときにユーザについての特定の情報が削除されるように、格納または使用される前に1つまたは複数の方法で処理されてもよい。一実施形態において、ユーザの識別情報はユーザの識別情報が特定できないように扱われてもよく、あるいはユーザの特定の位置を特定できないように、位置情報が得られるユーザの地理的位置(たとえば、都市、郵便番号、あるいは州レベルなど)が一般化されてもよい。したがって、ユーザは、ユーザに関する情報がどのように収集され、コンテンツサーバによって仕様されるのかを制御してもよい。
一実施形態において、データ処理システム120は、コンピュータネットワーク105を介してデバイス110に表示するためのコンテンツを提供したい顧客、商業エンティティ、オンライン小売業者、ビジネス、広告主、広告顧客、競合他社、個人、または任意のエンティティなどのコンテンツプロバイダ125からコンテンツまたはコンテンツアイテムを受け取る。コンテンツまたはコンテンツアイテムは、例えば、テキスト、文字、記号、画像、ビデオ、オーディオ、またはマルチメディアコンテンツを含んでもよい。一実施形態において、コンテンツアイテムは、オンライン広告、記事、プロモーション、クーポン、あるいは商品の説明を含んでもよい。
一実施形態において、データ処理システム120は、商業エンティティ識別子へのマッピングを計算するために、コンテンツグループ識別子を含むテーブルを解析する。一実施形態において、データ処理システム120は、コンテンツプロバイダ125が、本明細書に開示されたシステムまたは方法を選択したか否かに基づいて、コンテンツグループ識別子をフィルタリングしてもよい。次いで、データ処理システム120は、商業エンティティの店舗位置のための例えば緯度および経度のペアを含む位置拡張を取得するために、商業エンティティIDを備えたコンテンツ選択データ構造拡張テーブルに問い合わせる。一実施形態において、データ処理システムは、大きなデータセットを処理するためのライブラリまたはプログラミングを使用してコンピュータのクラスタ上で分散コンピューティングを使用することができる。
いくつかの実施形態において、データ処理システム120は、コンテンツのための要求を受信するように設計されかつ構築されたインタフェース130を含む。インタフェース130は、ネットワーク105を介してコンテンツのための要求を受信するように構成されてもよい。インタフェース130は、データ処理システムまたはネットワーク105の1つまたは複数のコンポーネント間で情報を伝達することができる。インタフェース130は、コンテンツプロバイダ125、コンテンツ発行元115、あるいはデバイス110上で実行されるアプリケーションと通信するように構成されることができる。いくつかの実施形態において、インタフェース130は、アプリケーションプログラムインタフェース(API)を介して情報を伝達するように構成されてもよい。いくつかの実施形態において、モバイルデバイス上で実行されるアプリケーションは、インタフェース130と通信するように構成されたAPIを介してデータ処理システム120と通信してもよい。
いくつかの実施形態において、データ処理システム120は、デバイス110を介して入力された検索クエリに基づいて、コンテンツアイテム(たとえば、広告)を選択するように設計されかつ構築される。データ処理システム120は、検索クエリに関連付けられた1つまたは複数の候補コンテンツアイテムを識別するために、検索クエリの1つまたは複数の検索語を解析、分析、一致、または別の方法で処理してもよい。例示的な実装において、データ処理システム120は、用語「ピザ」を含む検索クエリを受信してもよい。次いでデータ処理システム120は、例えば、ピザレストランの広告またはクーポンのようなピザに関連するコンテンツアイテムを識別するために、データ構造を解析してもよい。これらのコンテンツアイテムは、1つまたは複数のコンテンツプロバイダ125によって提供されてもよい。いくつかの実施形態において、データ処理システム120は、例えばオンラインオークション、広告スコア、キーワードスコア、位置、あるいは別の基準に基づいて、デバイス上に表示するための1つまたは複数のコンテンツアイテムを選択してもよい。オンラインオークションにおいて、コンテンツプロバイダ125は、キーワードまたは別のコンテンツ選択基準(たとえば、場所、人口統計、トピックなど)に入札してもよい。入札は、コンテンツアイテムに関連付けられてもよい。データ処理システムは、コンテンツアイテムに関連する入札に少なくとも部分的に基づいて、表示するためのコンテンツアイテムを選択してもよい(たとえば、他のすべての要素が等しい、最も高い入札価格を有するコンテンツアイテムがデバイス110上に表示するために選択されてもよい)。他の例示的な実施形態において、検索クエリは、(たとえば、オンラインメディアストリーミングシステムにおける)ビデオクリップ、(たとえば、オンラインニュースアグリゲーションシステムにおける)ニュース記事、または(たとえば、ソーシャルネットワークシステムにおける)友人のためのクエリを含んでもよい。
データ処理システム120は、例えばデバイス110などのコンピューティングデバイスからコンテンツのための要求を受信することに応答して、表示するためのウェブページにコンテンツアイテムを提供してもよい。いくつかの実施形態において、データ処理システム120は、デバイス110上で実行されるアプリケーションを介して要求を受信する。いくつかの実施形態において、モバイルデバイス(たとえば、スマートフォンまたはタブレット)上で実行するモバイルアプリケーションは、コンテンツのための要求をしてもよい。いくつかの実施形態において、ウェブページは、ウェブページを訪れているデバイス110のユーザに応答して、データ処理システム120からコンテンツを要求してもよい。いくつかの実施形態において、コンテンツのための要求は、オンラインビデオストリーミングプラットフォーム、ソーシャルメディアプラットフォーム、ソーシャルネットワーク、コンピュータゲーム、ビデオゲーム、電子文書、バナーなどのためのものであってもよい。例示的な実施形態において、コンテンツのための要求は、ビデオクリップに挿入されるか、ビデオクリップにオーバーレイされるか、ビデオクリップに関連するポップアップウィンドウに表示されるか、そうでなければ、ビデオクリップの前、途中、あるいは後に表示されるコンテンツのアイテムに対するものであってもよい。いくつかの実施形態において、データ処理システム120は、検索エンジンを介してコンテンツの為の要求を受信して、検索クエリを入力するデバイス110のユーザに応答してもよい。
例示的な実施形態において、データ処理システム120は、デバイス110を介して「コーヒーショップ」のための検索クエリを受信することができる。検索クエリは、デバイス110を介してアクセスされる検索エンジンに入力されてもよい。データ処理システム120は、デバイス110上に表示するためのコンテンツアイテムのための要求を受信することができる。データ処理システム120は、検索クエリ(たとえば、キーワード、用語、トピック)または検索クエリ自体に関する情報をさらに受信してもよい。いくつかの実施形態において、コンテンツアイテムのための要求は、検索結果とともにデバイス上に表示するために提供されるコンテンツアイテムのための要求であってもよい。いくつかの実施形態において、コンテンツアイテムのための要求は、ウェブ発行者のウェブページ上に表示されるべきコンテンツアイテムのための要求であってもよい。
いくつかの実施形態において、コンテンツのための要求は、コンテンツ選択を容易にすることができる情報を含む。いくつかの実施形態において、データ処理システム120は、コンテンツの識別あるいはコンテンツの選択を容易にするために、デバイス110から情報を要求してもよい。データ処理システム120は、デバイス110からのコンテンツのための要求の受信に応答して、情報を要求または取得してもよい。情報は、コンテンツを表示またはほかの方法で処理するために、デバイス110のコンテンツを表示することに関する情報(たとえば、コンテンツスロットサイズ、あるいは位置)またはデバイス110の利用可能なリソースを含んでもよい。
いくつかの実施形態において、インタフェース130は、デバイスに入力された検索クエリに関連する情報を受信する。情報は、キーワード、用語、検索クエリ自体を含んでもよい。いくつかの実施形態において、インタフェース130は、ネットワーク105を介して検索クエリに関連する情報を受信する。
コンテンツ発行元115(たとえば、検索エンジンプロバイダ、ウェブページオペレータ)からのコンテンツのための要求に応答して、データ処理システム120は、デバイス110上のウェブページを表示(または別の提示)するためのコンテンツアイテムを提供する。デバイス110のユーザは、コンテンツアイテム(たとえば、インプレッション)を見てもよく、あるいはコンテンツアイテムをクリックまたは選択(たとえば、クリック)してもよい。一実施形態において、コンテンツアイテム内の関心の表示は、クリック、選択、マウスオーバー、指ジェスチャ、揺れ動作、音声コマンド、タップ、あるいはコンテンツアイテムへの関心を示す別の表示を含んでもよい。いくつかの実施形態において、ユーザインタラクションの表示は、コンテンツアイテム(たとえば、クーポン)を使用して、換金場所で購入を行うユーザを含んでもよい。
いくつかの実施形態において、データ処理システム120は、顧客(たとえば、オンライン広告プラットフォームの広告顧客、オンラインビデオストリーミングプラットフォーム、ソーシャルメディアプラットフォーム、ソーシャルネットワーク、ニュースアグリゲーションサイトの顧客など)を彼らの競合他社についての通知を提供するように設計および構築することができる。データ処理システム120は、顧客の競合他社を識別するように設計されかつ構築された競合他社アナライザ135を含んでもよい。顧客は、オンライン広告主(たとえば、コンテンツプロバイダ125)などのデータ処理システムのユーザを参照してもよい。いくつかの実施形態において、顧客は、広告顧客またはコンテンツプロバイダ125に関連し得るデータ処理システム120のサードパーティユーザを参照してもよい。競合他社アナライザ135は、顧客の競合他社を識別するための様々な技術を適用するように構成されることができる。競合他社アナライザ135は、競合他社をリアルタイムで、定期的にあるいは要求に応じて識別してもよい。いくつかの実施形態において、競合他社アナライザ135は、可能性がある競合他社に関するデータを受信するか、あるいは顧客が行動をとる(あるいは行動に関する情報を受信する)ことに応答して、競合他社を識別してもよい。例示的な実施形態において、競合他社アナライザ135は、広告キャンペーンの追加、修正、あるいは削除をする、広告キャンペーンに関連するコンテンツ選択基準の変更をする(たとえば、キーワードの追加/削除、入札金額、地理的位置選択基準、人口統計選択基準など)顧客に応答して、可能性がある競合他社を識別するように構成されてもよい。いくつかの実施形態において、競合他社アナライザ135は、顧客の広告メトリクス(インプレッション率、クリックスルー率、コンバージョン率、クリック単価など)が準最適である(たとえば、ある期間内に閾値量だけ減少または増加する)ことを決定することに応答して、顧客の競合他社を識別するように構成されることができる。
いくつかの実施形態において、競合他社アナライザ135は、顧客(例えば、コンテンツプロバイダ125)に関連する情報を使用して競合他社を識別することができる。いくつかの実施形態において、競合他社アナライザ135は、顧客と可能性のある競合他社との間のベクトル距離を測定することによって競合他社を識別することができる。ベクトルの次元は、「ナノマーケット(nano-market)」と呼ばれ、各次元は、クエリ文字列、日、地理的位置、またはプラットフォーム(あるいは1つまたは複数の情報の組合せ)などの情報を表してもよい。市場の各広告主は、インプレッション、クリック、コストなどの指標を使用して重み付けされてもよい。競合他社アナライザ135は、次いで可能性のある競合他社と顧客との間の距離を決定するために、1つまたは複数の技術あるいはベクトル関数を使用してもよい。いくつかの実施形態において、競合他社アナライザ135は、ベクトル距離を決定するために、式1−6で識別されるベクトル関数を適用することができる。式1−6において、mは、クエリ文字列、日、時刻(例えば時間の範囲あるいは朝、午後、夕方、夜)、地理的位置(例えば、緯度および経度のような地理座標)、地理的領域(例えば、国、州、市、町、郡、地理的なタイル)、プラットフォーム(例えば、オペレーティングシステム、モバイルオペレーティングシステム、デスクトップオペレーティングシステム)、デバイスタイプ(例えば、モバイルデバイス、デスクトップデバイス、タブレット、スマートフォン、モバイル通信デバイス、時計、スマートウォッチ、ノートブックコンピュータ)、ウェブブラウザなどのナノマーケットを参照する。式1−6において、Mは検討中のナノマーケットの全体のセットを参照する。式1−6で使用される識別子hは、データ処理システム120が競合他社を識別している顧客についての情報を参照してもよい。さらに、式1−6で使用される識別子dは、可能性のある競合他社に関連するドメインを参照してもよい(例えば、www_DOT_example_DOT_com)。
図2および図3は、それぞれのメトリックのクリックおよびコストを使用した式1−6の有効性を示すグラフである。式1−6のうちの1つまたは複数が、式1−6が十分な数の競合他社を識別しているか否かを決定するために、既知の競合他社情報に関してプロットされる。この図において、既知の競合他社情報は、広告主によって提供されるビッドトゥビートデータから得られる。広告主は、広告キャンペーンのために、期間中にドメイン(例えば、競合他社)に勝つための入札額を提供してもよい。これらのドメインは、広告主の把握される競合会社を表す。入札額は、入札額のパーセンテージの増加又は入札額の絶対増加であってもよい。式1−6の1つまたは複数が、ビッドトゥビートデータに関して十分な数の競合他社を確実にまたは正確に識別できる場合、データ処理システム120は、広告主によって提供されるデータに頼ることなく、式1−6を使用して追加の競合他社を動的かつ自動的に識別することができる。
図2は、SUM_OF_MIN 205、DOT_PRODUCT 210、OVERLAP 215、 WEIGHTED_JACCARD 220、EXTENDED_JACCARD 225、および TWO_HOP_PAGE_RANK 230のように、式1−6の各々についてのクリックを使用した競合他社リストサイズの関数としての再現度を示す。y軸は、式1−6のうちの1つを使用して最初のk個の競合他社内で見つかった広告主によって提供されたビッドトゥビートデータを介して識別されたドメインの割合としてランク付けアルゴリズムに対する再現率を表す。説明のために、ビッドトゥビートデータが競合他社foo.comおよびbar.comを識別し、式1−6が競合他社を(1)rick.com、(2)bar.com、(3)springfield.com、(4)foo.comとランク付けした場合、1での再現率は0%であり、2での再現率は50%であり、3での再現率は50%であり、および4での再現率は100%である(さらに、5での再現率も100%であると考えられる)。図2に示す式1−6の各々いついて、データは、複数のキャンペーンにわたって集約され、アルゴリズムを比較するために、ランキングインデックス1…nで平均再現率を取得する。結果として、データ処理システム120が上位のN個の競合他社を出力するために特定のアルゴリズムを適用する場合、広告主によって提供されたビッドトゥビートデータを介して識別された競合他社の平均X%で出力されると推定される。
図2に示すように、メトリックとしてクリックを使用すると、TWO_HOP_PAGE_RANK 230、 SUM_OF_MIN 205、 およびDOT_PRODUCT 210の方程式は、より 大きな割合の競合他社を識別する(例えば、より高い再現度値)ので、他の3つの式よりも良好に機能する。
図3に示すように、メトリックとしてコストを使用すると、SUM_OF_MIN 305およびDOT_PRODUCT 310の方程式は、OVERLAP 315、WEIGHTED_JACCARD 320、およびEXTENDED_JACCARD 325よりも良好な結果をもたらす。しかしながら、図3は、メトリックとしてコストを使用すると、全ての式1−6がクリックがメトリックであるとしてより良好に機能するため、図2に示すようなクリックと同じくらい強い結果を生成し得ないことを示す。従って、TWO_HOP_PAGE_RANK 230、SUM_OF_MIN 205、およびDOT_PRODUCT 210 方程式は、顧客または広告キャンペーンが、彼らがパフォーマンスを上回りたい競合他社として考えている競合他社ドメインを識別するのに有効であってもよい。
いくつかの実施形態において、競合他社アナライザ135は、競合他社を識別するために1つの式だけを使用してもよい(例えば、式2:SUM_OF_MIN)。いくつかの実施形態において、競合他社アナライザ135は、競合他社を識別するために、複数の式を使用してもよい(例えば、複数の式を使用して可能性のある競合他社のリストを生成する、および両方のリストの上位Nの競合他社であると識別された可能性のある競合他社として競合他社を識別する)。式1−6のうちの1つまたは複数を使用して競合他社を識別すると、競合他社アナライザ135は、データベース150にデータを格納し、あるいはデータ処理システム120の1つ又は複数のモジュールまたはエンジンにデータを提供してもよい。
いくつかの実施形態において、データ処理システム120は、識別された競合他社(例えば、競合他社アナライザ135を介して識別された競合他社)に関連するイベントを識別しおよび評価するように設計されかつ構築されたイベント評価器140を含む。イベント評価器140は、競合他社アナライザ135によってデータベースに格納された識別された競合他社のリストを取り出してもよく、あるいは競合他社アナライザ135からこの情報を受信してもよい。イベント評価器140は、イベントを識別するために、識別された競合他社あるいは顧客によって実行された活動を識別することができる。例示的な実施形態において、動作は、データ処理のインタフェース130を介して新しい広告キャンペーンを追加するデータ処理システム120のユーザを参照してもよく、およびイベントはユーザによる新しい広告キャンペーンの追加を参照してもよい。イベントは、説明、タイムスタンプ、ユーザ識別子(例えば、固有の匿名識別子のような競合他社の識別子)、地理的位置等のようなイベントについての情報に関連付けられることができる。イベントは、例えば新しい広告キャンペーンの追加、既存の広告キャンペーンの編集(例えば、入札の変更、ユーザインタフェースの変更、キーワード、フレーズ、エンティティ、人口統計、場所、デバイスタイプなどのようなコンテンツ選択基準の変更など)、既存の広告キャンペーンの削除、既存の広告キャンペーンの拡張(新しいキーワードあるいは人口統計の追加)などを含む。イベントは、ベクトル次元あるいはナノマーケット(検索用語、人口統計、ウェブ位置、地理的位置など)でより多くの(あるいはほとんどの)インプレッションを獲得した競合他社などの受動的な動作が含まれる。
いくつかの実施形態において、データベース150は、オンライン広告プラットフォームのユーザによって行われた活動または受動的な活動などのイベントデータを格納することができる。イベント評価器140は、これらのイベントを格納するデータベース150にアクセスすることができる。いくつかの実施形態において、イベントデータまたは動作は、データフィード(例えば、ストリーミングデータ、RSSデータフィード、動的リアルタイムデータフィード)を介して、データ処理システムによって受信されてもよい。
いくつかの実施形態において、データ処理システム120は、活動に基づいてイベントを識別する。いくつかの実施形態において、イベント評価器140は、(例えば、イベントアグリゲータを介して)識別されたイベントを集約または結合するようにさらに構成されることができる。イベント評価器140は、期間(例えば、所定のまたは同的に決定された期間内に起こるイベント)、カテゴリ、競合他社識別子、イベントタイプ、重要度、活動タイプなどに基づいてイベントを組み合わせてもよい。イベント評価器140は、イベントが個々に重大な影響を及ぼすには細かすぎる可能性がある状況において、イベントを集約あるいは結合してもよく、イベントは集約で重要であるか、あるいは重要な傾向またはパターンを示してもよい。例示的な実施形態において、イベント評価器140は、競合他社によって行われた増分の入札増加を単一のイベントに組み合わせてもよく、そうすることによって、最も最近の増分の入札の代わりに組み合わされた入札デルタが表示される。別の例示的な実施形態において、イベント評価器140は、ある期間(例えば、3週間)にわたって彼らのオンラインアカウントにアクセスしなかったユーザ(例えば、オンライン広告顧客)についてのイベントまたはレポートを集約してもよく、そうでなければその期間の彼らの競合他社のレポートにアクセスされるか閲覧されてもよい。この状況において、イベントアグリゲータは、最後の入札変更のみが重要であり得るが、最も最近の入札変更だけをシンジケートする代わりに最後の3つに関して変更を表すために入札増分イベントを組み合わせてもよい。
イベント評価器140は、識別されたあるいは集約されたイベントの重要性を決定するために設計および構築されることができる。イベント評価器140は、様々な技術を使用してイベントを測定することができる。いくつかの実施形態において、イベント評価器140は、入札またはベクトル関数に基づいてイベントを閾値(相対または絶対)と比較することによって、イベントの重要性を決定してもよい。イベント評価器140は、イベントが閾値よりも有意義なインプレッションを生成する場合(例えば、5%、10%、15%、75%、100%などのより有意義な重要性のパーセンテージなど)、あるいはイベントが閾値によって入札価格で増加した場合(例えば、入札価格の増加率または入札価格の絶対的な増加)、イベントが重要であると決定してもよい。例示的な実施形態において、イベント評価器140は、イベントが5%有意義なインプレッション(例えば、インプレッションがクリックまたはコンバージョンをもたらし、あるいはインプレッションが特定の秒数または数分以上表示された場合)をもたらす場合、識別されたイベント(例えば、広告キャンペーンのキーワードなどのコンテンツ選択基準への変更)が重要であると判断してもよい。
いくつかの実施形態において、イベント評価器140は、広告顧客に対する入札を測定することによって、イベントが重要であるか否かを決定することができる。イベントは、広告顧客の特定のベクトル次元あるいはナノマーケットにおける入札を超える場合、あるいは、可能性のある競合他社が特定のベクトルにおいて顧客よりもインプレッションを増やした場合に、重要であると見なされてもよい。
いくつかの実施形態において、イベント評価器140は、重要性に基づいてイベントに重み付けをする。イベント評価器140は、ロジスティック回帰分析または他の回帰分析などの機械学習メカニズムを使用して重みを決定してもよい。イベント評価器140は、イベント(例えば、新しい広告キャンペーンを追加する、既存の広告キャンペーンの編集、既存の広告キャンペーンの削除、既存の広告キャンペーンの範囲を広げる、既存の広告キャンペーンの範囲を狭める、キャンペーン入札を勝ち取る、キャンペーン入札に負ける、など)のタイプが多かれ少なかれ重要であると決定するためにロジスティック回帰モデルを使用してもよく、それに応じてそれらのイベントに重み付けをしてもよい。いくつかの実施形態において、重みは競合他社のクリックスルー率、有意義なインプレッションの数、勝ち取った入札、コンバージョン率などを改善するイベントのような、イベントの効果に基づいてもよい。例示的な実施形態において、データ処理システム120は、イベントが重要であると判断し、競合他社が彼らの広告キャンペーンの範囲を広げ、かつ有意義なインプレッション(または重要なイベントを示す任意の別のパーセンテージ)を5%達成した場合に通知を提供してもよい。
データ処理システム120は、ユーザデバイス(例えば、コンテンツプロバイダ125またはデバイス110を使用する広告顧客)に通知を生成して提供するように設計されかつ構築された通知エンジン145を含んでもよい。通知エンジン145は、既存の広告カテゴリにおいて、新しい競合他社の出現あるいは既存の競合他社からの活動に基づいて通知を生成することができる。例示的な実施形態において、通知エンジン145は、データベース150に保存された古い競合他社のリストを取り出すためにデータベース150にアクセスしてもよい。古い競合他社のリストは、以前に識別された競合他社のリスト(例えば、前回の報告サイクル、1日前、1週間前、2週間前、1か月前、などにデータ処理システム120によって生成された競合他社のリスト)を参照してもよい。いくつかの実施形態において、競合他社の以前のリストは、リストが生成された時点で競合他社の現在のリストであると見なされおよび通知を提供するために使用された競合他社のリストを参照してもよい。以前の競合他社のリストを取り出した通知エンジン145は、古い競合他社のリストを現在の、新たに生成された競合他社のリスト(例えば、競合他社アナライザ135によって生成された)と比較することができる。通知エンジン145は、任意の新しい競合他社を識別するために競合他社のリストを比較することができる。通知エンジン145は、例えば重複排除技術、構文解析技術、比較技術などを含む、新しい競合他社を識別するための任意の技術を使用することができる。従って、通知エンジン145は、現在の競合他社リスト上の競合他社が取り出された古い競合他社のリストにないことを決定した場合、通知エンジン145は、競合他社が新しい競合他社であると決定し、次いで通知を生成してもよい。通知は新しい競合他社があることを顧客に示してもよい。通知は、カテゴリ、市場、競合他社が新しい競合他社であると識別されたとき(またはデータに基づいて)を示すタイムスタンプなど、競合他社に関連する情報をしめしてもよい。
いくつかの実施形態において、通知エンジン145は、競合他社の古いリスト上の競合他社の活動を競合他社の新しいリスト上の競合他社の活動と比較する。活動は、イベントあるいはアクションが含まれてもよい。通知エンジン145は、比較に基づいて通知を生成するかあるいは提供してもよい。例示的な実施形態において、古い取り出された競合他社のリスト上の競合他社は、アクティブではない可能性がある(例えば、勝ち取った入札が少ない、有意義なインプレッションの数が比較的少ない、インプレッション数が一定または停滞している、など)。通知エンジン145は、次いで同一の競合他社が現在比較的高いレベルの活動(例えば、多くの入札を勝ち取る、あるいは多くの有意義なインプレッションを有する)を有することを(例えば、イベント評価器を介して)決定してもよい。従って、通知エンジン145は、競合他社が増加した活動レベルを有することを示す通知を生成し顧客に提供してもよい。通知は、広告カテゴリ(例えば、ビデオ広告、検索広告、コンテキスト広告、バナー広告、ポップアップ広告、折り畳み広告の上など)、広告市場(例えば、大きいエンティティ、中くらいのエンティティ、小さいエンティティ、地理的領域、商品のタイプ、サービスのタイプ)、ターゲットオーディエンス(例えば、人口統計、地理的領域)などを含んでもよい。
いくつかの実施形態において、通知エンジン145は、イベントの重要度を決定し、次いで決定に基づいて、顧客に通知を生成あるいは提供することができる。いくつかの実施形態において、通知エンジン145は、イベント評価器140からイベントの重要度を取得する。
いくつかの実施形態において、通知エンジン145は、顧客の広告市場における入札に勝ち取った識別された新しい競合他社に基づいて通知を提供することができる。データ処理システム120は、広告市場(例えば、顧客の広告キャンペーンに関連するコンテンツ選択基準、アカウントプロファイルまたは顧客に関連するドメイン、顧客によって提供されるカテゴリ、顧客の会社情報、あるいは広告市場を示す顧客によって提供される別の情報)を決定するために、顧客のアカウントプロファイルにアクセスすることができる。データ処理システム120は、識別された競合他社のリストをさらに取得し、それらの競合他社のどれが顧客の同じ広告市場にいるのかを決定することができる。顧客の同じ広告市場において新しい競合他社の1つが、広告市場において入札(あるいは、所定の絶対または相対閾値の入札数)を勝ち取った場合、次いで通知エンジン145は、入札を勝ち取ったことに応答して顧客に新しい競合他社の表示を提供してもよい。通知は、競合他社を特定する情報は含まれていなくてもよいが、代わりに、広告市場、競合他社のカテゴリ、通知を引き起こしたイベントのタイプなど、競合他社に関連する一般的な情報を含んでもよい。
いくつかの実施形態において、通知エンジン145は、通知をコンテンツプロバイダ125にリアルタイムで(例えば、通知の生成時、新しい競合他社または競合他社の重要なイベントが識別された時)プッシュしてもよい。いくつかの実施形態において、通知エンジンは、期間(例えば、定期的、毎日、毎週、隔週、あるいはいくつかの別の期間)に基づいてコンテンツプロバイダ125に通知を提供してもよい。いくつかの実施形態において、通知エンジン145は、例えば、コンテンツプロバイダ125からの通知のための要求といった通知のための要求の受信に応答してコンテンツプロバイダ125に通知を提供するように構成されることができる。
通知エンジン145は、様々な通知のタイプを生成することができる。通知は、電子メール、テキストメッセージ、SMSメッセージ、顧客(例えば、コンテンツプロバイダ125)のコンピューティングデバイス上で実行するアプリケーションを介した通知、物理的メール(例えば、毎月の、あるいは四半期のレポート)、音声通知を介して提供されてもよい。いくつかの実施形態において、通知は、データ処理システムにログインする、あるいはウェブブラウザまたは別のアプリケーションを介して彼らのアカウントにアクセスする顧客に応答して提供されてもよい。いくつかの実施形態において、通知エンジン145は、競合他社についての情報を含むレポートを生成することができる。レポートには、競合他社についての識別情報が含まれていなくてもよいが、カテゴリ、競合他社のタイプ、業種等の競合他社についての一般的な情報が代わりに含まれてもよい。いくつかの実施形態において、通知エンジン145は、例えばレポートを介して、競合他社が新しい競合他社であることを示してもよい(例えば、競合他社を、新しい競合他社がリストに載っていない古い以前の競合他社のリストと比較することに基づいて)。いくつかの実施形態において、通知エンジン145は、競合他社が重要なイベント(例えば、増加した入札額、新しい広告キャンペーンなど)に関連する古い競合他社であることを示してもよい。
いくつかの実施形態において、通知エンジン145は、競合他社に関するイベント情報のような、競合他社についての追加の情報を提供してもよい。イベント情報は、競合他社が彼らの広告キャンペーンまたは戦略の様相を変更したことを示してもよい。いくつかの実施形態において、情報は、競合他社に関連するコンテンツアイテムの有意義なインプレッションの増加のような、競合他社に関する受動的イベント情報を示してもよい。
いくつかの実施形態において、通知エンジン145は、行に競合他社を列挙し、および対応する列に競合他社に関連する情報を提供する、スプレッドシートの形式でレポートを生成してもよい。いくつかの実施形態において、通知エンジン145は、インタフェース130のようなグラフィカルユーザインタフェースを介して情報を提供してもよい。対話式のグラフィカル情報は、データ処理システム120のユーザが、彼らの広告キャンペーンの改善を容易にするために、ディスプレイ、レポート、または情報を操作することを可能にしてもよい。例示的な実施形態において、顧客は、競合他社のリストを閲覧し、および1つ又は複数の競合他社についての追加の情報を要求してもよい。追加の情報は、データ処理システム120が新しい競合他社として競合他社を識別した理由(例えば、競合他社に関連するイベント等)を示してもよい。グラフィカルユーザインタフェースを使用することによって、顧客は彼らの広告キャンペーンを改善する、あるいは競合他社とよりよい競争をするために、彼らの広告戦略あるいは作戦を変更するために措置を講じてもよい。例示的な実施形態において、データ処理システム120は、新しい競合他社が、意味のあるインプレッションの数が増加した広告に関連付けられたことを示してもよい。この情報に基づいて、顧客は、競合他社と同じカテゴリにあるコンテンツアイテムの入札額を増やすことを選択してもよい。
いくつかの実施形態において、通知エンジン145は、通知のセットを集約してもよい。通知エンジン145は、特徴に基づいて通知を集約してもよい。通知エンジン145は、イベント、カテゴリ、競合他社、顧客、期間、重要性、またはそれらの組合せに基づいて通知を集約してもよい。
図4は、コンピュータネットワークを介して通知を提供する方法の一実施形態を示す図である。概要を簡単に説明すると、ステップ405で、方法は、オンライン広告プラットフォーム上の顧客のアカウントプロファイルにアクセスするステップを含む。ステップ410で、方法は、顧客の現在の競合他社を決定するためにアカウントプロファイルにアルゴリズムを適用するステップを含む。ステップ415で、方法は、現在の競合他社の決定より前に保存された競合他社のリストを取り出すステップを含む。ステップ420で、方法は、現在の競合他社を取り出された競合他社のリストと比較するステップを含む。ステップ425で、方法は、比較に基づいて新しい競合他社を識別するステップを含む。ステップ430で、方法は、新しい競合他社の出現を示す顧客への通知を提供するステップを含む。
方法は、ステップ405−430を含み、1つまたは複数のコンピューティングデバイス、データ処理システム、あるいはサービス上で実行する1つ又は複数のプロセッサによって実行されることができる。方法は、図1に示されるデータ処理システム120あるいは図5に示されるコンピューティングシステム500によって実行される。
さらに詳細には、いくつかの実施形態において、データ処理システムは、ステップ405で顧客のアカウントプロファイルにアクセスする。いくつかの実施形態において、アカウントプロファイルは、オンライン広告プラットフォーム上のプロファイルを参照する。いくつかの実施形態において、アカウントプロファイルは、オンラインビデオプラットフォーム、ソーシャルメディアプラットフォーム、オンラインニュースプラットフォーム、ニュースアグリゲータプラットフォーム、オンラインソーシャルネットワークプラットフォーム、あるいは競合他社が市場シェア、インプレッション、クリック、コンバージョン、あるいは一般的なエンドユーザへのアクセスについて顧客と競合し得る別のオンラインプラットフォーム上の顧客のプロファイルを参照してもよい。
アカウント情報は、顧客の競合他社を容易に識別することができる、顧客についての情報を含んでもよい。情報は、例えば顧客の広告市場、顧客の広告キャンペーンに関する選択基準(例えば、キーワード、エンティティ、フレーズ、人口統計、地理的位置)、顧客に関連するかまたは提供される商品またはサービスのタイプ、マーケット、顧客のビジネス情報(例えば、利益、収入、または顧客のビジネスの規模を示す別の指標)、顧客のドメイン(例えば、広告グループあるいは広告キャンペーンに関連するウェブサイト、ウェブページ、ホームページ、あるいはランディングページ)を含んでもよい。
いくつかの実施形態において、方法は、データ処理システムがデータベースからアカウントプロファイルにアクセスするステップを含んでもよい。いくつかの実施形態において、データ処理システムは、ネットワークを介してアカウントプロファイルを受信してもよい。いくつかの実施形態において、データ処理システムは、顧客から、アカウントプロファイルにアクセスするのではなく、顧客から情報を要求してもよい。例示的な実施形態において、データ処理システムは、グラフィカルユーザインタフェースを介して、顧客を容易に識別することができる情報に関してユーザに促してもよい。これは、顧客のアカウント情報にアクセスすることに加えて、あるいは代わりに、行われてもよい。いくつかの実施形態において、データ処理システムは、アカウントプロファイルが競合他社を識別するための十分な情報を含まないこと、または追加情報を用いて、式1−6を使用して、より確実に多くの競合他社が識別されることができることを判断してもよい。いくつかの実施形態において、データ処理システムは、追加の情報をデータ処理システムのデータベースから、あるいは、ネットワークを介してアクセス可能な別のデータベースから取得してもよい。従って、データ処理システムは、次いで顧客にこの情報に関して促してもよい。
ステップ410において、データ処理システムは(例えば、競合他社アナライザを介して)顧客の現在の競合他社を決定するために顧客に関する情報にアルゴリズムを適用する。いくつかの実施形態において、データ処理システムは1つまたは複数のアルゴリズムを適用する。データ処理システムは、顧客から受け取った、顧客を識別することを容易にし得る追加の情報と同様に、アカウントプロファイルにアルゴリズムを適用することができる。データ処理システムは、式1−6の1つまたは複数を適用することができる。いくつかの実施形態において、データ処理システムは、アカウントプロファイルに基づいて1つ又は複数の式を適用することを決定することができる。いくつかの実施形態において、データ処理システムは、SUM_OF_MINベクトル距離方程式のような、一流のアルゴリズムを適用してもよい。
ステップ415において、方法は、データ処理システムが現在の競合他社の決定の前に保存された競合他社のリストを取り出すステップを含む。この取り出された前回の競合他社のリストは、例えば式1−6のうち1つ又は複数を使用して、過去にデータ処理システムによって生成されたものであってもよい。いくつかの実施形態において、競合他社の移前記のリストは、顧客から取得したビッドトゥビート(bid-to-beat)情報に基づいた競合他社のリスト、あるいは競合他社の他の以前に決定されたリストなどの別の技術を使用して生成されていてもよい。
ステップ420において、方法は、現在の競合他社を取り出された競合他社のリストと比較する(例えば、通知エンジンを介して)データ処理システムを含む。いくつかの実施形態において、データ処理システムは、現在の競合他社に関連する活動情報を、取り出された競合他社のリストに関連する活動情報と比較することができる。データ処理システムは、比較に基づいて、新しい競合他社を識別することができ、または比較に基づいて競合他社の変更された活動を識別してもよい。例示的な実施形態において、データ処理システムは、比較に基づいて、現在のリストの競合他社が取り出されたリスト上にあるが、活動の増加を有すると判断することができる(例えば、広告市場における勝ち取った入札の数が増加)。従って、データ処理システムは、競合他社がこれまで重要な競争相手であると以前に考えられていなくても、この競合他社が新しい競合他社になると判断してもよい。
ステップ425において、方法は、比較に基づいて新しい競合他社を識別するデータ処理システムを含む。新しい競合他社は、現在の競合他社リストに存在するが、取り出された古い競合他社のリストには存在しない競合他社であってもよい。いくつかの実施形態において、取り出された古い競合他社のリストは、これらのエンティティが、最小限の活動が原因で現在競合他社とみなされていなくても、前回競合他社として識別された全ての競合他社を含んでもよい。取り出された古い競合他社のリストは、古い競合他社の活動レベルについての情報を含んでもよく、これは新しい競合他社または競合他社よりも強くない古く低迷した競合他社を容易に識別するために使用されることができる。
いくつかの実施形態において、方法は、現在のリストまたは取り出されたリスト上の競合他社に関連付けられたイベントを(例えば、イベント評価器を介して)識別するデータ処理システムを含む。データ処理システムは、これらのイベントを集約する、これらのイベントを評価する、あるいは通知を生成するためにこれらのイベントを処理することができる。いくつかの実施形態において、データ処理システムは、通知に加えてイベントついての情報を含むことができるか、あるいはイベントに応答する通知を生成することができる。いくつかの実施形態において、データ処理システムは、イベントのタイプを一緒に集約する、あるいは期間中に発生するイベントを集約することができ、および集約された情報を顧客に提供することができる。
ステップ425で、(例えば、通知エンジンを介して)データ処理システムは、新しい競合他社を識別することに基づいて通知を生成することができる。通知は、ネットワークを介して提供されてもよい。通知は、テキストメッセージ、電子メール、ポップアップウィンドウ、プロンプト、顧客のデバイス(例えば、コンテンツプロバイダデバイス)上で実行されるアプリケーションプログラムを介して提供されてもよい。いくつかの実施形態において、通知は、顧客が彼らのアカウントにログインした時、またはデータ処理システムまたは通知エンジンのグラフィカルユーザインタフェースにアクセスするときに、顧客に提供されることができる。
図5は、例示的な実施形態に従ったコンピューティングシステム500のブロック図である。コンピューティングシステムまたはコンピューティングデバイス500は、システム100、コンテンツプロバイダ125、デバイス110、コンテンツ提供元115、データ処理システム120、インタフェース130、イベント評価器140、通知エンジン145、および機械学習モジュールを実装するために使用されてもよい。コンピューティングシステム500は、情報を通信するためのバス505または別の通信コンポーネント、および情報を処理するためにバス505に結合されたプロセッサ510または処理回路を含む。コンピューティングシステム500は、情報を処理するためにバスに結合された1つ又は複数のプロセッサ510または処理回路を含むこともできる。コンピューティングシステム500はまた、情報およびプロセッサ510によって実行される命令を記憶するためにバス505に結合されたランダムアクセスメモリ(RAM)または別のダイナミックストレージデバイスなどのメインメモリを含む。メインメモリ515はまた、プロセッサ510による命令の実行中に位置情報、一時変数、あるいは別の中間情報を格納するために使用されてもよい。コンピューティングシステム500は、静的情報およびプロセッサ510の命令を格納するためにバス505に結合された読出し専用メモリ(ROM)520または別の静的ストレージデバイスをさらに含むことができる。ソリッドステート装置、磁気ディスク、または光ディスクのような固体記憶デバイス525は、情報および命令を持続的に格納するためにバス505に結合される。
コンピューティングシステム500は、情報をユーザに表示するために、バス505を介して、液晶ディスプレイ、またはアクティブマトリクスディスプレイのようなディスプレイ535に結合されてもよい。英数字および他のキーを含むキーボードのような入力デバイス530は、情報およびコマンド選択をプロセッサ510に通信するためにバス505に結合されてもよい。別の実施形態において、入力デバイス530は、タッチスクリーンディスプレイ535を有する。入力デバイス530は、指示情報およびコマンド選択をプロセッサ510に通信し、およびディスプレイ535上のカーソル移動を制御するための、マウス、トラックボール、またはカーソル方向キーなどのカーソル制御を含むことができる。
様々な実施形態において、本明細書に記載のプロセスは、プロセッサ510がメインメモリ515に含まれる命令の処理を実行することに応答して、コンピューティングシステム500によって実装されることができる。このような命令は、記憶デバイス525のような別のコンピュータ可読媒体からメインメモリ515に読み込まれることができる。メインメモリ515に含まれる命令の処理の実行は、コンピューティングシステム500に、本明細書に記載される例示的なプロセスを実行させる。マルチプロセッシング処理の1つまたは複数のプロセッサは、メインメモリ515に含まれる命令を実行するために用いられてもよい。代替的な実施形態において、ハードワイヤードの回路は、例示的な実施形態を達成するために、ソフトウェア命令の代わりにあるいはソフトウェア命令と組み合わせて使用されてもよい。従って、実施形態は、ハードウェア回路およびソフトウェアの任意の特定の組合せに限定されない。
処理システムが図4中に記載されているが、本明細書で説明する主題および機能的動作の実施態様は、本明細書で開示する構造およびそれらの構造的等価物を含む、他のタイプのデジタル電子回路網において、または、コンピュータソフトウェア、ファームウェア、もしくはハードウェアにおいて、または、それらの1つもしくは複数の組み合わせにおいて実施され得る。
本明細書で説明される主題および動作の実施形態は、本明細書で開示される構造、およびそれらの構造の構造上の均等物を含む、デジタル電子回路において、またはコンピュータソフトウェア、コンピュータファームウェア、またはコンピュータハードウェアにおいて、または以上のうちの1つまたは複数の組み合わせにおいて実施され得る。本明細書で説明される主題の実施形態は、1つまたは複数のコンピュータプログラムとして、すなわち、データ処理装置によって実行されるように、またはデータ処理装置の動作を制御するようにコンピュータ記憶媒体上に符号化された、コンピュータプログラム命令の1つまたは複数のモジュールとして実施され得る。コンピュータ記憶媒体は、コンピュータ可読記憶媒体、コンピュータ可読記憶基板、ランダムアクセスまたはシリアルアクセスのメモリアレイもしくはメモリデバイス、または以上のうちの1つまたは複数の組み合わせであること、あるいは以上、または以上のうちの1つまたは複数の組み合わせに含められることが可能である。また、コンピュータ記憶媒体は、1つまたは複数の物理的構成要素もしくは物理的媒体(例えば、複数のCD、ディスク、または他のストレージデバイス)であること、またはそのような1つまたは複数の物理的構成要素もしくは物理的媒体に含められることも可能である。
本明細書で説明される動作は、1つまたは複数のコンピュータ可読ストレージデバイス上に格納された、または他のソースから受信されたデータに対してデータ処理装置によって実行される動作として実施され得る。
「データ処理装置」という用語は、例として、プログラマブルプロセッサ、コンピュータ、システムオンチップ、または以上のうちの複数、もしくは組み合わせを含む、データを処理するためのすべての種類の装置、デバイス、およびマシンを包含する。装置は、専用の論理回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)を含み得る。また、装置は、ハードウェアに加えて、当該のコンピュータプログラムのための実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、または以上のうちの1つまたは複数の組み合わせを構成するコードを含むことも可能である。この装置および実行環境は、ウェブサービス、分散コンピューティングインフラストラクチャ、およびグリッドコンピューティングインフラストラクチャなどの、様々な異なるコンピューティングモデルインフラストラクチャを実現することができる。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られる)は、コンパイルされる言語または解釈される言語、宣言型言語または手続き型言語を含め、任意の形態のプログラミング言語で書かれることが可能であり、さらにスタンドアロンのプログラムとして、あるいはモジュール、構成要素、サブルーチン、オブジェクト、またはコンピューティング環境において使用するのに適した他のユニットとして展開されることを含め、任意の形態で展開され得る。コンピュータプログラムは、ファイルシステムにおけるファイルに対応し得るが、そうでなくてもよい。プログラムは、他のプログラムもしくはデータ(例えば、マークアップ言語文書の中に格納された1つまたは複数のスクリプト)を保持するファイルの一部分の中に、当該のプログラムに専用の単一のファイルの中に、あるいは複数の協調させられたファイル(例えば、1つまたは複数のモジュール、サブプログラム、またはコードの部分を格納するファイル)の中に格納され得る。コンピュータプログラムは、1つのコンピュータ上で、または1つのサイトに配置された、もしくは複数のサイトにわたって配置されるとともに、通信ネットワークによって互いに接続された複数のコンピュータ上で実行されるように展開され得る。
コンピュータプログラムの実行に適したプロセッサには、例として、汎用マイクロプロセッサと専用マイクロプロセッサがともに含まれ、さらに任意の種類のデジタルコンピュータの任意の1つまたは複数のプロセッサが含まれる。一般に、プロセッサは、読み取り専用メモリもしくはランダムアクセスメモリから、または読み取り専用メモリとランダムアクセスメモリの両方から命令およびデータを受け取る。コンピュータの基本的な要素は、命令に従ってアクションを実行するためのプロセッサ、ならびに命令およびデータを格納するための1つまたは複数のメモリデバイスである。一般に、コンピュータは、データを格納するための1つまたは複数の大容量ストレージデバイス、例えば、磁気ディスク、光磁気ディスク、または光ディスクも含む、あるいはそのような大容量ストレージデバイスからデータを受け取るように、またはそのような大容量ストレージデバイスにデータを転送するように、またはその両方を行うように動作上、結合されもする。したがって、コンピュータは、そのようなデバイスを有さなくてもよい。さらに、コンピュータは、別のデバイス、例えば、いくつかだけを挙げると、モバイル電話機、携帯情報端末(PDA)、モバイルオーディオプレーヤもしくはモバイルビデオプレーヤ、ゲームコンソール、全地球測位システム(GPS)受信機、またはポータブルストレージデバイス(例えば、USB(ユニバーサルシリアバス)フラッシュドライブ)に埋め込まれ得る。コンピュータプログラム命令およびデータを格納するのに適したデバイスには、例として、半導体メモリデバイス、例えば、EPROM、EEPROM、およびフラッシュメモリデバイス、磁気ディスク、例えば、内部ハードディスクもしくはリムーバブルディスク、光磁気ディスク、ならびにCD-ROMディスクおよびDVD-ROMディスクを含む、すべての形態の不揮発性メモリ、不揮発性媒体、および不揮発性メモリデバイスが含まれる。プロセッサおよびメモリは、専用の論理回路によって補足されること、または専用の論理回路に組み込まれることが可能である。
ユーザとの対話をもたらすのに、本明細書で説明される主題の実施形態は、ユーザに情報を表示するためのディスプレイデバイス、例えば、CRT(陰極線管)モニタまたはLCD(液晶ディスプレイ)モニタと、ユーザがコンピュータに入力を与えることができるキーボードおよびポインティングデバイス、例えば、マウスまたはトラックボールとを有するコンピュータ上で実施され得る。他の種類のデバイスが、ユーザとの対話をもたらすのに使用されることも可能であり、例えば、ユーザにもたらされるフィードバックは、任意の形態の知覚フィードバック、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックであることが可能であり、さらにユーザからの入力は、音響入力、音声入力、または触覚入力を含め、任意の形態で受け取られることが可能である。
本明細書は、多くの特定の実施態様の詳細を含むが、これらは、任意の発明の、または特許請求され得るものの範囲に対する制限として解釈されるべきではなく、特定の発明の特定の実施形態に固有の特徴の説明として解釈されるべきである。別々の実施形態の文脈において本明細書で説明される特定の特徴は、また、単一の実施形態で組み合わせて実施され得る。逆に、単一の実施形態の文脈において説明される様々な特徴は、また、複数の実施形態で別々に、または、任意の適切な部分的組み合わせで実施され得る。さらに、特徴は、特定の組み合わせで作用するように上述され、そのように当初は特許請求されている場合があるが、特許請求された組み合わせからの1つまたは複数の特徴は、いくつかの場合、組み合わせから削除され得、特許請求された組み合わせは、部分的組み合わせ、または部分的組み合わせの変形例を対象とし得る。
同様に、動作は、図面中に特定の順序で示されているが、これは、このような動作が図示された特定の順序もしくはシーケンシャルな順序で実行されること、または、所望の結果を達成するために図示されたすべての動作が実行されることを必要とすると理解されるべきではない。特定の状況では、マルチタスクおよび並列処理が有利であり得る。さらに、上記で説明した実施形態の様々なシステム構成要素の分離は、すべての実施形態でそのような分離を必要とすると理解されるべきではなく、説明したプログラム構成要素およびシステムは、一般に、単一のソフトウェア製品に一緒に統合され得、または、複数のソフトウェア製品にパッケージ化され得ることが理解されるべきである。
「または(or)」という表現は、包含的と解釈される場合があるため、「または(or)」を用いて記載される如何なる用語も、1つ、2つ以上、およびすべてのいずれかの上記用語を示し得る。
本明細書および特許請求の範囲において本明細書で使用される場合、「少なくとも1つ」という言い回しは、1つまたは複数の要素のリストを参照して、要素のリストの任意の1つ又は複数の要素から選択された少なくとも1つの要素を意味すると理解されるべきであるが、必ずしも要素のリスト内に具体的に列挙された各要素の少なくとも1つおよびすべての要素を含む必要はなく、要素のリスト内の要素の任意の組合せを排除するものではない。この定義はまた、具体的に特定された要素に関連しているかどうかに関わらず、「少なくとも1つの」という言い回しが指し示す要素のリスト内で具体的に特定される要素以外に要素が任意に存在してもよいことを可能にする。したがって、「AおよびBのうち少なくとも1つ」(あるいは、同等に「AまたはBのうち少なくとも1つ」または同等に「A及び/又はBのうち少なくとも1つ」)は、1つの実施形態において、Bが存在しない少なくとも1つのAを参照し、任意で複数のAを含む(および場合によりB以外の要素を含む)ことができる。別の実施形態において、少なくとも1つ、場合により1つ以上のBを含み、Aが存在しない(および場合によってはA以外の要素を含む)。さらに別の実施形態において、任意で複数のAを含み、少なくとも1つ、任意に2つ以上のBを含む(および場合により他の要素を含む)
以上、主題の特定の実施形態について説明してきた。他の実施形態が、添付の特許請求の範囲に含まれる。一部の事例において、特許請求の範囲に記載されるアクションは、異なる順序で実行されても、所望される結果を実現することが可能である。さらに、添付の図に示されるプロセスは、所望される結果を実現するのに、示される特定の順序または順番を必ずしも要求するものではない。一部の実施形態において、マルチタスキングおよび並列処理が好都合となり得る。
図面、詳細な説明、または任意の請求項における技術的特徴に参照符号が後続する場合、これらの参照符号は、図面、詳細な説明、および特許請求の範囲の明瞭度の向上のみを目的として含まれている。したがって、参照符号の有無は、如何なる請求要素の範囲の限定にも影響しない。
本明細書に記載のシステムおよび方法は、それぞれの特性から逸脱することなく、他の具体的な形態で実施されていてもよい。例えば、通知は表示のために通知を生成し提供することができる任意のプログラムに関連付けられることができる。本明細書で与える例は、広告プログラムに関するが、本明細書に記載のシステムおよび方法は、テキストベースのコンテンツから画像ベースのコンテンツを作成可能な任意の業界における任意のプログラムに適用可能である。以上の実施態様は例示であり、上記システムおよび方法を限定するものではない。このため、本明細書に記載のシステムおよび方法の範囲は、以上の説明ではなく、添付の特許請求の範囲によって指定され、また、特許請求の範囲の均等の意味および範囲に入る変更についても、特許請求の範囲に包含される。