JP2000020555A - 関連エンティティ及び関連情報へのリアルタイム最適化マッチング装置及び方法 - Google Patents

Abstract

(57)【要約】 【課題】 追跡され、観察された、ユーザ一人一人に基
づく行動および情報と行動の両方に適応性のあるベクト
ル空間表現に基づいて、広告、クーポン、製品および情
報内容等の、個人的に対象付けられたエンティティを選
択し、提示するシステムおよび方法を提供する。 【解決手段】 本システムは、動作およびユーザ行動の
観察が増加するに伴って向上する方法で、ユーザにエン
ティティをマッチングさせる。ユーザの行動およびエン
ティティ（宣伝、クーポン、製品）および情報（テキス
ト）はすべて均一なベクトル空間におけるコンテントベ
クトルとして表現される。本システムは、制約付きの自
己編成学習技術を利用してシンボル（通常、構造化され
ていないテキスト中のワード）間の関係を学習するコン
テントベクトルと呼ばれる情報表現に基づく。ユーザお
よびエンティティは、それぞれコンテントベクトルとし
て表現される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はエンティティおよび
情報を行動と関連づけることに関する。より詳細には、
本発明は観察された行動に基づいて広告、クーポン、製
品または情報内容をユーザに的をしぼり、かつ配信する
システムおよびプロセスに関する。

【０００２】

【従来の技術】ワールドワイドウェブ（ウェブ）および
インターネットサービスの広範囲にわたる可用性は、結
果として独自な形式の広告の機会をもたらしている。テ
レビやラジオ等の従来の「ブロードキャスト」メディア
とは異なり、ウェブはユーザが受信情報をより高度に制
御することが可能な「ナローキャスト」メディアであ
る。ユーザが情報の検索を制御できるため、従来のブロ
ードキャストモデルで利用される広告技術はより効果的
ではなくなり、また「ショットガン」効果の結果、潜在
的な顧客を遠ざけることもある。ユーザ一人一人を基準
としたベースで選択的に広告をユーザに向けることの可
能性は、有意義な顧客の対象付けを行うことが困難であ
るため、実現されていなかった。ウェブ広告選択エンジ
ンの現世代は、顧客を対象付けるのに部分的に成功して
いる多数の技術を利用している。典型的に、これらの技
術の有効性は、視聴者の応答率によって測定される。
「クリックスルー」とも呼ばれる視聴者応答は、ユーザ
に提示されたウェブページに含まれる「見出し広告」を
クリックするユーザ数をカウントすることによって評価
される。見出し広告をクリックすると、通常ユーザは、
製品またはサービスについてのさらなる情報が提供され
る広告主のウェブサイトに運ばれる。現在のインターネ
ット広告環境においては、クリックスルーが広告技術の
有効性の最善の測定方法である。結果として、広告の価
値は、その広告の有効性に直接関連する。したがって、
クリックスルーの最大化が、実際的かつ経済的の両方の
理由により、大部分のウェブサイトにとって最も重要で
ある。

【０００３】いくつかの現在の見出し広告選択技術を、
以下の表にリストする。これらの技術は２つのクラスに
分類される。表１に示す広告選択技術の第一のクラス
は、不変の以前の情報のみに基づく単純化した第一世代
の技術を用いる。表２に示す広告選択技術の第二のクラ
スは、ユーザ照会等のユーザ行動のある測定を考慮した
り、あるいは事前に明示されたユーザの志向を利用す
る、より技巧をこらした第二世代の広告選択システムに
おいて使用される技術のいくつかを利用している。しか
しながら、これらのより技巧をこらした目的は、多くの
場合、問題を複雑にするだけである。表１および表２に
おいて、各方法に特定な不都合点が提示されているが、
この表はすべてを包括するものではなく、すべての不都
合点が示されているわけではない。

【０００４】

【表１】 第一世代広告対象付け技術

【０００５】

【表２】 第二世代広告対象付け技術

【０００６】現在のウェブ環境では、ユーザは関連する
または関心のある情報を見つけるために、探索サービス
を使用する。これらの探索サービスは、実行する探索に
よって限定されるユーザ行動、ユーザが閲覧するウェブ
ページおよび訪れるディレクトリ階層の位置の識別につ
いて可能性のありそうな絞り込みを行う。しかし、既存
の見出し広告選択技術は、広告を選択する際にこの行動
を解析しない。これらの探索サービスによって、ユーザ
特定の広告を提示する機会が与えられる。

【０００７】表１および表２に示す従来技術は、顧客を
「対象付け」るために、手動でコード化した関連性およ
びリストを使用する。ある技術は、広告対象付けの一部
として現在のユーザ照会のみを使用する。表１および表
２に示す各方法は、５つの一般的な広告選択技術のカテ
ゴリに関連する。これらのカテゴリには、以下が含まれ
る。 （ｉ）法則に基づく類別 （ｉｉ）キーワードに基づく広告選択 （ｉｉｉ）個々のウェブページまたはサイトへの広告割
り当て （ｉｖ）ページの階層組織におけるブランチへの広告割
り当て （ｖ）共同フィルタリング 各カテゴリの説明を以下に述べる。

【０００８】（法則に基づく広告選択）法則に基づく広
告選択は、適切な広告を選択するために、利用可能な情
報および法則を使用する。この技術は、多数の法則が手
動でコード化され、法則開発者が問題の領域に深い理解
を有する場合に効果的である。しかし、このシステムの
一つの問題は、法則を書くまたは維持するために、人間
の知的努力が必要なことである。法則基礎の開発は、非
常に高価であり、時間のかかるものである。

【０００９】さらに、広告選択のための法則は、夫々別
個の値を有する利用可能な変数に限定され、「不確実
な」決定境界を提供する。これらの決定境界は通常２進
法であり、取り扱いを誤る場合が多い。

【００１０】法則に基づく広告選択には、対象付けられ
た動作領域についての広範囲にわたる知識が必要であ
る。コンピュータ支援されたツールを用いても、法則を
開発しシステムを管理するために知識エンジニアが必要
である。さらに、人間は、法則をコード化することに不
得意であることを何度となく実証してきた。この観察
は、多数の変数が、モデル化される問題の範囲に含まれ
る場合に、特に当てはまる。

【００１１】（キーワードに基づく広告選択）キーワー
ドに基づく広告選択のシステムでは、広告はユーザが提
供した一つ以上のワードを基にして選択される。観察さ
れたユーザ行動（典型的にはユーザが照会を発する）が
周知のキーワードを含む場合、手動でキーワードに関連
する広告の一つが選択されて表示される。この技術で
は、選択されたキーワードに対しての応答率はよい。し
かしながら、このアプローチの主な欠点は、システム管
理者が各広告に関連するキーワードを手動で選択しなけ
ればならないことである。この技術は、知的努力および
広告特定の領域の深い知識に基づき、時間がかかり、か
つ間違いやすい。さらに、サイトでのキーワードの「在
庫目録」は、すぐに売り切れてしまう。最後に、キーワ
ードに基づく広告選択技術では、広告選択プロセスは以
前のユーザの行動を考慮しない。広告セレクタは、現在
の探索照会に基づく現在の在庫目録中の、人間が選択し
たキーワードのセットのみを使用する。ユーザが与えた
キーワードの類義語は、類義語辞典または類義語リスト
なしでは、自動的には対象付けられない。

【００１２】（個々のページへの広告割り当て）広告は
時には個々のウェブページに手動で対象付けられる。こ
の方法には、広告をウェブページにマッチさせるのに人
間の知的努力が必要である。しかし、このような努力
は、通常数千のウェブページを含む大規模のサイトにお
いては無理がある。

【００１３】（ページの階層を有するブランチへの広告
割り当て）広告は時には手動でページ存在論と呼ばれる
ページの階層またはカテゴリに対象付けられる。この技
術は、階層のブランチへの広告の割り当てが、サイトの
コンテンツおよび想定されるビューアの理解に関して良
い感触を持つものである場合、有効に働く。しかし、広
告に適切なブランチまたはカテゴリを選択するために、
人間の知的努力が必要である。

【００１４】（ウェブサイトへの広告割り当て）広告は
時として手動でウェブサイトのすべてのページに対象付
けられる。しかしながら、他のシステムの多くに見られ
たように、ウェブサイトに最適な広告を選択するために
人間の知的努力が必要である。この方法は、広告主が自
動的に広告をサイト内の最適なページに対象付けできな
いという点において柔軟性に欠ける。通常、広告主はサ
イト中の各ページに異なる広告を表示したいと望む。ウ
ェブサイトへの広告割り当てに伴う別の問題は、ユーザ
のための広告が、ユーザ特定の情報を利用できないとい
う点において情況依存症ではないことがわかる。

【００１５】（共同フィルタリング技術）共同フィルタ
リング（ＣＦ）技術は、選択的に特定の広告をウェブユ
ーザに対象付けるという課題のために提案された。ＣＦ
アプローチでは、多数のユーザが形式的にシステムに登
録し、ユーザが受信する広告、クーポンおよび情報内容
の品質について選択の判断を行う必要がある。特定の限
定された環境では、この技術は、小規模のテストにおい
てある程度有効なマッチングをもたらす。しかしなが
ら、インターネットに見られるような大きなタスクにつ
いて、そのアルゴリズムは計算的に処理しにくくなると
共に非実用的になる。さらに、ＣＦ技術は、エンティテ
ィのユニバースが時間と共に発展するよりはむしろ全く
変化しない場合に最もよく機能する。インターネット市
場において、全く変化しないということは例外であり、
一般ではない。さらに、ＣＦアプローチの有用性は、選
択判断を行ったユーザの数に直接関係する。個人の時間
の制限とプライバシーの考慮のために、通常、ユーザは
これらの判断を行うのに必要な相当量の努力を費やすこ
とに気が進まない。従って、データ獲得は広告主にとっ
て主要な問題となる。

【００１６】ＣＦ解決法は通常、問題空間の次元が考慮
するエンティティの数に等しい、非常に高次元の空間ベ
クトルのシステムを実行するために、知識エンジニアが
必要である。しかしながら、この解法は、計算的に処理
しにくいことが判明している。ＣＦ技術の別の問題は、
相当数の統計的に複雑なステップが必要である直交関係
を広告選択ソフトウェアが検査することである。広告選
択ソフトウェアはベクトル空間において近似しておりか
つ近似するものの間で座標が共通していないものを見つ
けなければならない。

【００１７】既存の広告選択システムは、特にクーポン
およびプリントメディア広告において、インターネット
および電子商取引の対話的性質に注意を向けていない。
広告主は特定の関心を有するユーザを識別し、経時にわ
たってそれらの関心を追跡し、非常に選択的な方法で、
ユーザが関心を持つ情報、広告、クーポンおよび製品の
提供を流布する必要がある。さらに、広告主はユーザの
関心および行動をリアルタイムで追跡する必要がある。

【００１８】

【発明が解決しようとする課題】したがって、広告主
は、対象付けられている広告、クーポン、製品および情
報内容について、ユーザ行動を感知するシステムを必要
としている。このシステムによって、リアルタイムで、
および同様の行動特徴を有するユーザグループと同様に
個人ユーザそれぞれへ細かく対象付けた販売広告が可能
となる。

【００１９】

【課題を解決するための手段】本発明は、観察された行
動の追跡に基づいて、ユーザに広告、クーポン、製品お
よび情報内容等の対象付けられたエンティティを配信す
るシステムおよび方法を含む。システムモデルはエンテ
ィティ、情報および行動についての適応可能なベクトル
空間表現である。システムは動作およびユーザ行動の観
察の増加と共に改善されるように、ユーザをエンティテ
ィにマッチさせる。

【００２０】本発明はエンティティまたはコンテントベ
クトルと呼ばれる情報的な表現を使用する。コンテント
ベクトルは、前後関係の類似性をコード化する高次元の
リアルなベクトルの表現である。システムは、典型的に
構造化されていないテキストにおけるワードであるシン
ボルの間の関係を学習するため、制約的な自己組織化学
習アルゴリズムを利用する。この学習アルゴリズムは、
興味の領域についてのトレーニング例の集合からのワー
ドまたはシンボルの間の関係を発見し、各シンボルに固
有のコンテントベクトルを割り当てる。結果として得ら
れる表現は、類似する前後関係で現れるシンボルが高次
元コンテントベクトル空間において同様の方向を指すコ
ンテントベクトルを所有する。

【００２１】ウェブページ、見出し広告、クーポンおよ
び他のあらゆるテキストまたはシンボルの情報は、ペー
ジ、あるいは製品またはサービスの説明でのワード（シ
ンボル）のコンテントベクトルの正規化加重ベクトル和
を形成することによって、サマリーコンテントベクトル
として表される。これらのサマリーコンテントベクトル
は類似する情報を説明するページが同様の方向を指すサ
マリーコンテントベクトルを有する特性を有する。

【００２２】各ユーザの動作は、プロフィールベクトル
で表わされる。典型的なユーザの動作には、ページの要
求または読み込みの照会の発行、インターネットサイト
の訪問、広告に対しての応答、およびクーポンの引き替
え、製品の購入が含まれるが、これらに限定されない。
ユーザのプロフィールベクトルは、関連する動作のコン
テントベクトル表現を使用することによって、観察され
た行動を追跡するよう構成される。たとえば、ユーザが
情報ページを要求した場合、ユーザのプロフィールベク
トルはその要求されたページのエンティティベクトルに
基づいて調整される。

【００２３】ユーザプロフィールベクトルは、ユーザに
提示するのに最もよいエンティティ（たとえば、広告、
クーポン、製品または情報）を選択するメカニズムとし
て利用される。ユーザプロフィールベクトルは、各アク
ティブエンティティベクトルと比較され、最も近いエン
ティティコンテントベクトルが選択されてユーザに表示
される。

【００２４】また、本発明は、エンティティベクトルの
最適な適応配置を行う。ユーザに見出し広告が提示さ
れ、ユーザがその上でマウスをクリックしてさらなる情
報を要求した場合、その広告のエンティティベクトルは
ユーザのプロフィールベクトルを使用して調整される。
さらに、ユーザプロフィールベクトルは、その広告コン
テントベクトルを使用して調整される。この相互適応に
よって、ユーザに対しての広告の最適な配置が可能とな
る。

【００２５】本システムにおいて、ユーザプロフィール
ベクトルは、ユーザの本システムの使用によって発展す
る。クラスタ化および分類技術が、集中した販売キャン
ペーンに利用される行動パターンを発見するため、適応
されたプロフィールベクトルに適用される。

【００２６】同様に、広告およびクーポンエンティティ
ベクトルは、ユーザ行動の結果、発展する。これらの発
展したベクトルは、広告をクリックしたまたはクーポン
を引き替えたユーザの特徴の要約をコード化する。これ
らの特徴の要約は、製品配置を修正し、その製品または
サービスに興味を持つユーザの特徴を発見するために使
われる。

【００２７】システムは、完全に自動化され、動作につ
いての法則を必要とせず、自己組織ニューラル・ネット
ワーク技術に基づく。さらに、システムは暗黙のユーザ
行動を利用して動作し、正確な操作のためのユーザの明
白な判断は必要ではない。

【００２８】

【発明の実施の形態】本発明のある具体的な実施形態の
詳細な説明を以下に示す。しかしながら、本発明は請求
の範囲により定義されかつカバーされる多数の異なる方
法で具体化することができる。本説明では図面を参照
し、図面全体を通して同様の部分は同様の番号で示され
ている。

【００２９】図１は、本発明に関連するコンピュータ環
境を示すブロック図である。クライアントコンピュータ
１００は、モニタ１０２および処理装置１０３を有す
る。処理装置１０３にはデータ記憶装置が含まれる。

【００３０】クライアントコンピュータ１００は、ネッ
トワーク１０４を介して他のコンピュータ装置に伝えら
れる情報を記憶する。ネットワーク１０４は、たとえ
ば、インターネット、イントラネット、ローカル・エリ
ア・ネットワーク（ＬＡＮ）またはワイド・エリア・ネ
ットワーク（ＷＡＮ）等のネットワークを含む、電気的
に接続されたあらゆるタイプのコンピュータ群を含むこ
とができる。さらに、ネットワークへの接続方法は、た
とえば遠隔モデム、イーサネット（ＩＥＥＥ ８０２．
３）、トークンリング（ＩＥＥＥ ８０２．５）、光フ
ァイバ分散データリンク・インタフェース（ＦＤＤＩ）
または非同期転送モード（ＡＴＭ）である。コンピュー
タ装置はデスクトップ、サーバ、ポータブル、ハンドヘ
ルド、セットトップ、あるいは他のいかなるタイプの構
成でもよいことに留意する。

【００３１】遠隔ユーザがネットワーク１０４から情報
を要求すると、クライアントコンピュータ１００が要求
された情報とともに広告を表示する。クライアントコン
ピュータ１００からの要求に基づき、サーバ１０６はユ
ーザの観察された行動に基づいてユーザに表示するのに
適切な広告を選択することができる。

【００３２】一実施形態において、サーバ１０６はＷＡ
Ｎ１０８に接続されているゲートウェイを含む。ＷＡＮ
１０８は、複数のネットワークサーバ１１０を有する。
ネットワークサーバ１１０のうちの一つは、複数のコン
ピュータ１１４を含むＬＡＮ１１２に接続されている。
広告を選択するシステムソフトウェアは、ネットワーク
サーバ１１０の一つまたはネットワーク１０４中の他の
コンピュータに配置されてもよい。本発明の一実施形態
において、広告選択ソフトウェアは、一部は複数のネッ
トワークサーバ１１０で実行される。本発明の別の実施
形態においては、広告選択ソフトウェアはＬＡＮ１１２
の複数のコンピュータ１１４で実行される。本発明のさ
らに別の実施形態においては、広告選択ソフトウェアは
クライアントコンピュータ１００に常駐する。通信経路
が広告選択ソフトウェアと広告の要求者との間に存在す
る限り、本発明の広告選択システムはいかなるコンピュ
ータ装置上でもホストされうることを理解することが重
要である。

【００３３】図２は、本発明の処理およびデータ構成要
素を示す機能的なブロック図である。以下の説明は、イ
ンターネット上で広告、特に見出し広告を配信するシス
テムの能力に焦点をあてる。しかしながら、本発明で利
用する技術は性質が一般的であるため、あらゆるタイプ
のエンティティまたは情報に適用することができる。さ
らに、ネットワーク環境は前述のようなインターネット
に限定されない。

【００３４】本発明は、情報項目またはエンティティベ
クトル間の関係を識別するために、情報のベクトルのモ
デル化を用いる。エンティティベクトルを作成および使
用するプロセスは、カイド他（Caid et al)に付与され
た「SYSTEM AND METHOD OF CONTEXT VECTOR GENERATION
AND RETRIEVAL」と称する、１９９５年１１月２１日に
出願された米国特許第５，６１９，７０９号に開示され
ている。

【００３５】このエンティティベクトル生成スキーム
は、コンテントベクトルを生成するよう設計されてい
る。たとえばワードへの応用では、このスキームは一語
につき一つのベクトルを生成し、これは量および幾何学
的な方法においてワードまたは文書間の意味や内容の相
対的な近似を表す。次いでシステムは、エンティティに
おけるワードおよびそれらの関連するワードコンテント
ベクトルに基づいてエンティティベクトルを作成する。
したがって、類似する意味を持つ情報アイテムは近似し
て並んだベクトルを有する一方で、類似しない意味を有
する情報アイテムはおおよそ直交するベクトルを有す
る。

【００３６】以下の説明において、「コンテントベクト
ル」と「エンティティベクトル」という言葉は同義で用
いられる。両用語は、たとえばある内容情報、広告、ク
ーポン、勧誘または製品に関連するベクトルをいう。

【００３７】以下の説明は、（１）システム構成要素概
説、（２）ワードコンテントベクトル学習モジュール、
（３）セッションコンパイラモジュール、（４）リアル
タイム広告サーバモジュール、（５）プロフィールベク
トル更新サーバモジュール、（６）エンティティベクト
ル更新サーバモジュール、（７）プロフィールおよびエ
ンティティ適応アルゴリズム、（８）エンティティイン
ベントリ加重計算（コストモデル）、および（９）関係
発見および解析処理モジュール、に分類される。

【００３８】（システム構成要素概説）図２の下部を参
照して説明を開始すると、ワードコンテントベクトル学
習モジュール２００は、領域関連トレーニングコーパス
２０２、ストップリストファイル２０４、およびフレー
ズリストファイル２０６からワードコンテントベクトル
の組を作成する。ストップリストファイル２０４は、ワ
ードコンテントベクトル学習モジュール２００が無視す
るワード、ワードの断片およびフレーズのリストを含
む。フレーズリストファイル２０６は、ワードコンテン
トベクトル学習モジュール２００が一緒にグループ化す
るワードのリストである。トレーニングコーパス２０２
は、ワードベクトルをトレインするのに用いられる一組
の情報オブジェクトである。トレーニングコーパス２０
２、ストップリストファイル２０４およびフレーズリス
ト２０６の機能を、さらに以下で述べる。

【００３９】ワードコンテント学習プロセスが完了する
と、トレーニングコーパス２０２にはあり、ストップリ
ストファイル２０４にはないワードのそれぞれにつき１
つのワードコンテントベクトルがワードベクトルデータ
ベース２０８に存在する。これらのワードコンテントベ
クトルは、同様の文脈で用いられるワードが高次元コン
テントベクトル空間において同様の方向を指すコンテン
トベクトルを有する特性を有する。ワードコンテントベ
クトルは、本発明によって動作中に行われる広告選択動
作のベースとして機能する。ワードコンテントベクトル
学習プロセスは、初期化プロセスの一部として行われ
る。しかしながら、これらのベクトルは所望ならば更新
することができる。通常、ワードコンテントベクトル
は、英語におけるワードの意味は時を経て徐々に進化す
るため、本発明の正常動作中は変化しない。

【００４０】セッションコンパイラモジュール２１０
は、セッション記述データベース２１２から構造化され
たテキストの形でセッション制御情報の組を取り、その
テキストを、セッション制御ファイル２１５のリアルタ
イム広告サーバ（ＲＴＡＳ）モジュール２１４の制御コ
マンドに変換する。コンパイルプロセス中に処理される
典型的な情報には、アクティブな広告の数、各広告につ
いての許容可能な印刷通し数、スタートおよびストップ
の回数、および各広告を掲載する日数が含まれる。セッ
ションコンパイラモジュール２１２は、その機能が必要
でない場合に、システムから省くことができる。

【００４１】次いで、本発明は各広告の初期エンティテ
ィベクトルまたはシステム中のエンティティを計算す
る。ほとんどの場合、このエンティティベクトルは、エ
ンティティ記述データベース２１６中に位置するエンテ
ィティのテキスト記述に基づいている。たとえば、エン
ティティが車の広告である場合、その広告中のワードが
エンティティベクトルを決定するために用いられる。エ
ンティティベクトルは、広告にあるワードコンテントベ
クトルの正規化加重和として計算される。あらゆるアイ
テムのテキスト記述は、そのエンティティベクトルの初
期状態として使用することができる。エンティティベク
トルはシステム動作中に進化しうるため、エンティティ
ベクトルの初期状態は空白であることもあり、またエン
ティティのテキスト記述はシステム動作に必要ではな
い。しかし、正常動作において、この進化は、システム
の使用率が低い場合に相当な時間を必要とし、その結
果、好ましい実施形態は初期状態として適当なテキスト
記述で始まる。

【００４２】本発明では、すべての広告が正確なマッチ
ではなくベクトルの比較を基にして選ばれるため、従来
のシステムよりも多くの広告を関心のあるテーマ領域に
販売できるので利用可能な在庫を増加させる。たとえ
ば、本発明のプロバイダは、ただ選択したワードのセッ
トではなく、広告中のワードに近いベクトルハイパース
ペース領域に基づいて広告枠を売ることができる。

【００４３】また、エンティティベクトルアプローチに
よって、管理者が特別な技術または領域の知識なしでも
広告定義を効果的にセットアップすることができ、この
ため領域の専門家を必要とせずにシステム全体の効率を
向上することができる。本発明はただサイト全体ではな
く、広告をサイト中の最適なページに自動的に対象付け
る。この特徴の結果、異なる広告が１つのサイトの同じ
ページに属することもある。さらに、本発明は階層また
はカテゴリ内で、特定の広告にもっとも関連するページ
を自動的に選択する。あるいは、システムを、存在する
であろうし、かつ観察されたユーザ行動へのマッチング
にのみ基づいた存在論に関係なく、最適な広告を供給す
るよう構成することもできる。

【００４４】本発明では、ユーザに提供される広告は、
ページの内容、および現在のユーザ動作と過去のユーザ
プロフィールの両方に依存している点において、内容依
存といえる。エンティティベクトルアプローチは、コン
パクトで適応性のある解決法を提供する。共同フィルタ
リングアプローチと比較して、エンティティベクトル表
現には、必要とされるトレーニングのためのデータは非
常に少量である。さらに、共同フィルタリングアプロー
チと比較して、本システムの多次元エンティティベクト
ル表現により、優れた一般化能力がもたらされる。

【００４５】再び図２を参照して、リアルタイム広告サ
ーバ（ＲＴＡＳ）モジュール２１４はユーザ行動を観察
するエンジンであり、その行動に基づいて図の上部に位
置するユーザコンピュータ２１９に提示するのに適切な
広告を選択する。ＲＴＡＳモジュール２１４は、適切な
広告を選択するのに、現在のユーザ行動、ユーザのプロ
フィールベクトル、およびエンティティベクトルのアク
ティブなセットを用いる。ＲＴＡＳモジュール２１４
は、ユーザに表示するのに最適な広告を決定するため
に、内積等のベクトル近似計算を用いる。しかしなが
ら、他の距離測定基準も使用することができる。

【００４６】ＲＴＡＳモジュール２１４が、ユーザがク
ライアントコンピュータ２１９上で照会の発行（２１
７）、ページの要求（２１８）、製品の購入または広告
のクリック（２２２）等の「適応イベント」を行ったこ
とを感知した場合、ＲＴＡＳモジュール２１４は更新メ
ッセージをプロフィール更新サーバ（ＰＶＵＳ）モジュ
ール２２４またはエンティティ更新サーバ（ＥＶＵＳ）
モジュール２２８に対して送信する。ＲＴＡＳモジュー
ル２１４は、スタティックコンテントベクトルデータベ
ース２３４および高速ファイル２３２を利用して、エン
ティティまたは広告ベクトルの作動値を保持する。適切
なエンティティを選択した際、ＲＴＡＳモジュール２１
４は選択した広告をクライアントコンピュータ２１９に
送信する。

【００４７】ＰＶＵＳモジュール２２４は、ＲＴＡＳモ
ジュール２１４からの要求に応答してユーザのプロフィ
ールベクトルを適応させる。ユーザそれぞれのプロフィ
ールベクトルはプロフィールベクトルデータベース２２
６に格納される。この適応プロセスは、ユーザプロフィ
ールベクトルを適応イベントと関連するエンティティベ
クトルの方向に移動する。たとえば、ユーザが広告をク
リックした場合、そのユーザのプロフィールベクトルは
その広告のエンティティベクトルの方向に少し移動す
る。

【００４８】ＥＶＵＳモジュール２２８は、ＰＶＵＳモ
ジュール２２４とほぼ同一の動作を行うが、広告のエン
ティティベクトル上で動作する。各エンティティベクト
ルは、エンティティベクトルデータベース２３０に格納
されている。たとえば、ユーザが広告をクリックした場
合、そのユーザが選択した広告のエンティティベクトル
がそのユーザのプロフィールベクトルの方向に少し移動
する。

【００４９】関係発見および解析（ＲＤＡ）モジュール
２３６は、プロフィールベクトルデータベース２２６と
エンティティベクトルデータベース２３０の両方の内容
に関して処理動作を行って、有用なパターンおよび傾向
を識別する。ＲＤＡモジュール２３６は、有用な行動パ
ターンを識別するため、エンティティベクトルとプロフ
ィールベクトル両方のクラスタ化を利用する。

【００５０】エンティティベクトルの適応はシステムの
動作に必要とされないことに留意すべきである。まさ
に、適応が可能となった場合、それによって製品のエン
ティティベクトルが広告を受け取ったユーザの方に「ド
リフト」することが可能となる。ある用途、特に情報内
容配信システムでは、このドリフトは望ましくない。明
らかに、ニュースの情報内容は決定的であり、誰がこの
ニュースを読むかによって変わるべきではない。このよ
うに、本発明はエンティティベクトルの適応を不能にす
るための設備を有する。しかし、インターネット広告等
の多くの用途において、ベクトルのドリフトは、システ
ムがパターンおよび傾向を発見するようなメカニズムで
ある。

【００５１】本明細書に記載する好ましい実施形態にお
いて、ソフトウェアプログラムはＣ、Ｃ＋＋およびＴＣ
Ｌプログラム言語で書かれており、周知のＵＮＩＸ作動
システムの下で実行される。Ｃ、Ｃ＋＋、ＴＣＬは、業
界標準のプログラム言語であり、実行可能コードを作成
するために、多くの市販されているコンパイラを用いる
ことができる。しかし、本発明では、従来の様々なハー
ドウェアおよびソフトウェアプラットフォームで実行す
ることができる。本明細書に記載するソフトウェアシス
テムは、異なるハードウェアプラットフォームで実行し
ている異なるサブシステムにわたって分散することもで
きる。構成要素は、伝送制御プロトコル／インターネッ
トプロトコル（ＴＣＰ／ＩＰ）およびＲＣＰ等のネット
ワークプロトコルを使用して伝送されるメッセージを用
いて通信することができる。これらのモジュールおよび
ファイルをホストする具体的なプラットフォームは、ホ
ストコンピュータ環境に十分な処理能力がある場合、本
発明にとっては重要ではない。さらに、処理およびデー
タ構成要素のそれぞれは、接続のパスが十分確かな通信
プロトコルを介して提供される限り、別個のプラットフ
ォーム上でホストされてもよい。

【００５２】本発明は、以下の６つの原則的な処理モジ
ュールを含む。すなわち、ワードコンテントベクトル学
習モジュール２００、セッションコンパイラモジュール
２１０、リアルタイム広告サーバモジュール２１４、エ
ンティティベクトル更新サーバモジュール２２８、プロ
フィールベクトル更新サーバモジュール２２４、および
関係発見および解析モジュール２３６である。以下に、
上記の構成要素をさらに詳細に説明する。

【００５３】（ワードコンテントベクトル学習モジュー
ル）ワードコンテントベクトル学習モジュール２００
（図２に示す）は、アプリケーションプログラムインタ
フェースとして実施される。アプリケーションプログラ
ムインタフェースは、コンピュータプログラムライブラ
リの一部であってもよい。広告者はこのライブラリが提
供する手順を利用して、十分な処理能力を有するプラッ
トフォーム上で独立型で実行可能なコンピュータプログ
ラムを作成する。このプログラムは、一実施形態では前
記カイドの特許で更に記載されている、コンテントベク
トル学習プロセスを行う。さらに、このプログラムは、
エンティティベクトル学習の出力をデータ構造中に書き
込み、このデータ構造は、次いで、実行時間の効率につ
いて最適化されたファイルを生成するため、セッション
コンパイラモジュール２１０によって使用される。

【００５４】構造化されていないテキストまたはシンボ
ルを包括する多数の文書を含むトレーニングコーパス２
０２が選択され、コンテントベクトル学習アルゴリズム
を介して処理される。次いで、コンテントベクトル学習
プロセスを介して生成された、結果のオブジェクトは、
他のシステム構成要素による使用に適応される。

【００５５】図３は、図２に示すワードコンテント学習
モジュール２００の前処理モジュール３００の入力およ
び出力を例示するブロック図である。前処理の一部とし
て、ワードコンテントベクトル学習は、以下の機能を行
う。

【００５６】１．入力の形成 図３を参照して、ワードコンテントベクトル学習モジュ
ール２００に必要な入力ファイルがアセンブルされる。
３つの入力ファイルは、トレーニングコーパス２０２、
ストップリストファイル２０４およびフレーズリストフ
ァイル２０６である。

【００５７】対象となるシンボルが一連のワード３０１
である場合、トレーニングコーパス２０２は、関心のあ
る領域をカバーする構造化されていない自由形式のテキ
スト文書のセットを含む。たとえば、関心のある領域が
ハンティングや釣り等のアウトドアスポーツである場
合、適切なトレーニングコーパスは、「Field and Stre
am」という雑誌からの３年間の記事および地方紙のアウ
トドアセクションである場合もある。このテキストは一
般に、植字やフォーマット情報が取り除かれた「フラッ
ト」なＡＳＣＩＩフォーマットである。

【００５８】ストップリストファイル２０４（図２およ
び図３に示す）は、人間の知的な努力と従来の統計的な
技術の組み合わせによって開発され、ワードコンテント
ベクトル学習モジュール２００が無視するワード、ワー
ドの断片、およびフレーズのリストを含む。コンテント
ベクトルワード学習に関して、従来の統計的な情報検索
技術のように、多くのワードは意味のないものである。
たとえば、「および（ＡＮＤ）」、「ない（ＮＯＴ）」
「しかし（ＢＵＴ）」および「その（ＴＨＥ）」はテキ
ストのセットのテーマの内容を判定するという点では、
ほとんど意味を伝えない。ゆえに、これらの用語は無視
されるべきである。ストップリストファイル２０４は、
一行につき一つのエントリを有する、多数の列挙された
無視すべきワードのリストを有する、フラットＡＳＣＩ
Ｉファイルである。従来の用途のためのこのファイルの
典型的な長さは、トレーニングコーパス２０２における
統計的に最も頻繁に発生するワードの約２５０〜３５０
ワードである。

【００５９】フレーズリストファイル２０６（図２およ
び図３に示す）は、単一シンボルとして扱われるべきワ
ードのシーケンスのリストを含む。このファイルを使用
して、ワードコンテントベクトル学習モジュール２００
は、特定のフレーズを単一シンボルとして取り扱う。た
とえば、「San Diego」は単一シンボルとして考慮され
るべきである。フレーズリスト２０６の内容は、知的な
努力、統計的な技術、言語処理またはこれらの組み合わ
せによって決定される。フレーズリストファイル２０６
は、ワードコンテントベクトル学習モジュール２００の
正確な動作には必要ではないが、有意なフレーズリスト
を使用することで、システムの性能が向上する。フレー
ズリスト２０６は、ファイル中の一行につき一フレーズ
あるフラットＡＳＣＩＩフォーマットである。

【００６０】２．ワードコンテント学習の実行 トレーニングコーパス２０２、ストップリストファイル
２０４およびフレーズリストファイル２０６が一旦アセ
ンブルされると、ワードコンテントベクトル学習プロセ
スが行われる。前記カイド特許はこの方法についての完
全な開示を提供するが、便宜上重要なステップの概要を
ここで繰り返す。

【００６１】図３を参照して、前処理が、ワードコンテ
ント学習モジュール２００の一部である前処理モジュー
ル３００によって行われる。前処理モジュール３００
は、トレーニングコーパス２０２を読み、現行のワード
がフレーズリスト２０６またはストップリストファイル
２０４にあるかどうかを判定し、そのワードの語幹化を
行い、そして結果として得た有効な語幹３０２を中間語
幹ファイル３０４（図３に示す）に書き込む。語幹化プ
ロセスは、トレーニングコーパス２０２中のワードのそ
れぞれから共通の接尾辞を取り除く。

【００６２】図４は、語幹ハッシュテーブル４００を作
成するプロセスの入力および出力を例示するブロック図
である。語幹ハッシュテーブル４００は、語幹ハッシュ
テーブル作成モジュール４０２によって作成される。語
幹ハッシュテーブル作成モジュール４０２は、ワードコ
ンテントベクトル学習モジュール２００の副構成要素で
ある。中間ファイル３０４内のすべての語幹３０２につ
いて、データアイテム４０４が語幹ハッシュテーブル４
００において作成される。ハッシュテーブルはまた、各
語幹についての、語幹テキストストリングからなる固有
のデータ要素へのポインタ、語幹統計、語幹コンテント
ベクトル、および学習プロセスの一部として語幹コンテ
ントベクトルに適用される変更ベクトルを蓄積するため
に一時的な記憶装置として使用される訂正コンテントベ
クトルから構成される。

【００６３】図５は、語幹ベクトルの初期状態を作成す
る、乱数生成プロセスを例示するブロック図である。語
幹ハッシュテーブル４００中の各語幹データアイテムに
ついての初期状態は、均一な擬似乱数生成（ＵＰＮＧ）
モジュール５００によって作成される。ＵＰＮＧモジュ
ール５００は、初期無作為コンテントベクトルを生成
し、このベクトルを語幹コンテントベクトルに格納す
る。ＵＰＮＧモジュール５００は、均一分布乱数５０２
を作成する長期擬似乱数生成装置を使用することによっ
て、語幹ベクトルの初期状態を生成する。繰り返し期間
が十分長い（１００，０００，０００サイクル以上）と
仮定して、任意の乱数生成装置を使用することができ
る。均一分布乱数５０２を用いて、変換モジュール５０
４は、ゼロ平均および単位分散の特性を有するガウスの
ランダム変量５０２を作成する。インストレーションモ
ジュール５０８は、現在の語幹コンテントベクトルの第
一の要素に第一のガウスのランダム変量を割り当てる。
次いで、第二のランダム変量は語幹コンテントベクトル
の第二の要素に割り当てられる。この固有のガウス分布
乱数を割り当てるプロセスは、語幹ハッシュテーブル４
００中のすべての語幹のすべての語幹コンテントベクト
ルが埋まるまで繰り返される。

【００６４】図６は、図２に示すコンテントベクトル学
習モジュールの語幹頻度統計計算プロセスを例示するブ
ロック図である。処理モジュール６００は、中間語幹フ
ァイル３０４から語幹頻度統計を獲得する。処理モジュ
ール６００は、ワードコンテントベクトル学習モジュー
ル２００の副構成要素である。処理モジュール６００
は、中間語幹ファイル３０４を読み、中間語幹ファイル
３０４中の各文書における各語幹３０２発生数を計算す
る。次いで、処理モジュール６００は、これらの統計を
語幹ハッシュテーブル４００中の各データアイテム４０
４の語幹統計セクションに格納する。

【００６５】図７は、図２に示すエンティティ選択シス
テムの異なる学習重畳ウィンドウの図である。ワードの
同時発生に基づく語幹コンテントベクトルの初期状態へ
の一連の修正は、語幹ハッシュテーブル４００中の語幹
コンテントベクトルのそれぞれについて計算される。本
システムは、重畳同時発生ウィンドウを使用して、語幹
と同時に発生するワードに基づいて語幹コンテントベク
トルを修正する。図７は、初期ソーステキスト７００を
示す。いくつかの前処理後、ソーステキスト７００は前
処理済みテキスト７０２に変換される。システムは、中
心語幹および中心語幹に近似する語幹を解析するため、
重畳ウィンドウ７０４を作成する。このウィンドウは、
中心およびその中心の両側に３つまでのワードを有し、
これによりウィンドウに合計で７つのワードを提供す
る。図７に見られるように、ウィンドウ７０４の中心
は、文書の最前部である。それ自体では、ウィンドウは
片側式である。語幹「ｍａｏ」に中心を置く、ウィンド
ウ７０４の修正ベクトルは、「ｒｅｂｅｌ」、「ｇｒｏ
ｕｐ」およびフレーズ「Ｓｅｎｄｅｒｏ Ｌｕｍｉｎｏ
ｓｏ」の初期状態コンテントベクトルのベクトル関数か
らなる。語幹「ｒｅｂｅｌ」に中心を置く、ウィンドウ
７０６の修正ベクトルは、「ｍａｏ」、「ｇｒｏｕ
ｐ」、「Ｓｅｎｄｅｒｏ Ｌｕｍｉｎｏｓｏ」および
「ｂｏｍｂ」の初期状態コンテントベクトルのベクトル
関数からなる。ウィンドウは一回につき一つの語幹で移
動され、このプロセスは前処理済みテキスト７０２の各
語幹に対して続けられる。各更新位置において、修正ベ
クトルが計算され、語幹ハッシュテーブル４００（図４
に示す）のデータアイテム４０４中に位置する蓄積修正
ベクトルに合計される。

【００６６】図８は、近似する語幹のベクトルによって
語幹ベクトルを算定する、操作プロセスを例示する図で
ある。語幹ハッシュテーブル４００中の各語幹は、近似
する語幹のベクトルによって修正される。それぞれの重
畳ウィンドウに関して、中心の語幹に関連するベクトル
８００は、中心語幹に最も近く近似する語幹に関連する
ベクトル８０２、８０４および８０６によって適応され
る。

【００６７】以下の数式１〜４によって、図７に示す重
畳ウィンドウにおける各語についての修正を算定する方
法を提供する。

【００６８】

【数１】 値Ｅ_ijは現在の対象（中心）Ｔ_jと、近似するＮ_ijとの
間のエラーおよび補正を表す。ウィンドウ位置における
すべての現在の近似するものを考慮したＴ_jへの補正
は、数式２および３に示す。

【００６９】

【数２】

【００７０】

【数３】

【００７１】

【数４】 数式４は、数式３の変数α_ijを算定するために使用され
る。数式４に示す変数は以下のように定義される。 （ｉ）Θ_i＝トレーニングコーパス中の語幹ｉの統計的
重要性 （ｉｉ）Ｂ＝経験的に決定された領域制御パラメータ （ｉｉｉ）ＮＤ_i＝語幹ｉを含む文書の数、および （ｉｖ）ＴＮＤ＝トレーニングコーパス中の文書の総数

【００７２】以下に含まれる数式５〜９は、ベクトルを
最終的に更新する。カイド（Ｃａｉｄ）の特許に記載さ
れているアルゴリズムは、一括された更新プロセスを利
用することに留意すべきである。このように、そのアル
ゴリズムは対象（中心）の語幹コンテントベクトルへの
補正を蓄積する。これらの補正は、トレーニングコーパ
ス２０２を介してのパスの端部においてのみ行われる。
典型的に、２つのパスのみが卓越した学習結果を達成す
るために必要である。数式１〜４は、それぞれのウィン
ドウ位置に適用され、その結果が蓄積される。中間語幹
ファイル３０４中のすべての語幹を通してそれぞれのパ
スの端部において、数式５〜９が適用される。数式５〜
９に開示されるアルゴリズムは、平均語幹コンテントベ
クトルを計算し、これを各正規化された語幹コンテント
ベクトルから引いて、語幹コンテントベクトルの集合全
体を再び正規化する。この計算により、語幹コンテント
ベクトルが超球の一領域のみに局部化されることを防
ぎ、ベクトル空間のよりよい利用を助長する。

【００７３】

【数５】

【００７４】

【数６】

【００７５】

【数７】

【００７６】

【数８】

【００７７】

【数９】

【００７８】３．出力ファイルの書き込み トレーニングが完了すると、その結果得られた語幹コン
テントベクトルがワードベクトルデータベース２０８に
書き込まれる。

【００７９】（セッションコンパイラモジュール）図９
は、セッションコンパイラモジュール２１０のエンティ
ティベクトル作成プロセスの入力および出力を例示する
ブロック図である。本発明において、セッションコンパ
イラモジュール２１０は、３つの機能を行う。すなわ
ち、テキストからエンティティベクトルへの変形、ファ
イル形式変換、およびセッション制御ファイル生成であ
る。３つの機能のそれぞれを以下に説明する。

【００８０】１．テキストからエンティティベクトルへ
の変形 データまたは情報の選択を可能にするために、テキスト
からエンティティベクトル表現への変形が、エンティテ
ィベクトルを生成するために必要である。図９は、セッ
ションコンパイラモジュール２１０がテキストの情報を
エンティティベクトルに変換する際、セッションコンパ
イラモジュール２１０によって行われる処理を例示す
る。前処理モジュール１１００は、エンティティ記述デ
ータベース２１６からエンティティ記述を読む。前処理
モジュール１１００は、図２に示すセッションコンパイ
ラモジュール２１０の副構成要素である。前処理モジュ
ール１１００は、図３に示す前処理モジュール３００の
一部として行われる前処理と同様である。前処理モジュ
ール１１００は、エンティティ記述データベース２１６
から読まれた現在のワードがストップリストファイル２
０４またはフレーズリストファイル２０６にあるかどう
かを判定する。次いで、有効な語幹３０２は、エンティ
ティベクトル形成モジュール１１０２によって使用され
て、スタティックエンティティベクトルを生成し、次い
でこのスタティックエンティティベクトルはスタティッ
クコンテントベクトルデータベース２３４に格納され
る。

【００８１】数式１０は、エンティティベクトルを形成
するため、図２に示すセッションコンパイラモジュール
２１０によって行われるプロセスの例である。エンティ
ティのコンテントベクトルは、そのエンティティを含む
シンボルの正規化加重和である。テキストの記述である
これらのエンティティに関して、記述ベクトルはその記
述中の語幹の語幹コンテントベクトルの正規化加重和で
ある。

【００８２】

【数１０】 数式１０の変数は以下のように定義される。 （ｉ）ＥＣＶ_i＝エンティティｉのエンティティコンテ
ントベクトル （ｉｉ）ＳＣＶ_j＝語幹ｊの語幹コンテントベクトル （ｉｉｉ）ＴＮＤ＝トレーニングコーパス中の文書の総
数 （ｉｖ）ＮＤ_j＝語幹ｊを含むトレーニングコーパス中
の文書数 （ｖ）ＮＳＴＥＭＳ_i＝エンティティｉの記述中の語幹
数

【００８３】２．ファイル形式変換 図１０ａは、図２に示す高速ファイル２３２を作成する
プロセスを例示するブロック図である。セッションコン
パイラモジュール２１０は、ワードコンテントベクトル
学習中に計算するのに効率のよいデータ構造形式は、エ
ンティティ選択中にＲＴＡＳモジュール２１４による使
用には不適当であるため、エンティティ選択プロセスを
容易にするようファイル形式変換を行う。ワードコンテ
ントベクトル学習プロセスに必要な動作の柔軟性および
複雑性はＲＴＡＳモジュール２１４には必要ではなく、
そのため相当な簡略化が行われる。この変形の一部とし
て、語幹コンテントベクトルのすべては、トレーニング
コーパス２０２での発生頻度によって前もって計られ
る。語幹コンテントベクトルは、最終的な正規化ステッ
プなしで等式１０に示すものと同じ因数によって計られ
る。さらに、低頻度の語幹（トレーニングコーパスにお
いて４回未満発生するもの）は、ファイルから除去され
る。残りの語幹は語幹集団全体の統計的に最も有意な部
分を表している。次いでセッションコンパイラモジュー
ル２１０は、このように切頭され、かつ前もって計られ
た結果として得られた語幹コンテントベクトルを高速フ
ァイル２３２に書き込む。

【００８４】３．セッション制御ファイル生成 図１０ｂは、セッション制御ファイル２１５を生成する
プロセスを例示するブロック図である。セッションコン
パイラモジュール２１０の主な機能は、セッション記述
ファイル２１５に含まれるオペレータが作成したセッシ
ョン記述からセッション制御ファイル２１５を生成する
ことである。セッション制御ファイル２１５は、広告選
択プロセス中にＲＴＡＳモジュール２１４をガイドする
ため、機械読み取り可能な形式の命令を含む。セッショ
ン制御ファイル２１５は、セッション記述ファイル２１
２において特定された情報および初期エンティティベク
トルのセットを含む。セッション制御ファイル２１５
は、選択に適格な広告のグループを識別し、ＥＶＵＸモ
ジュール２２８が動作可能ではない場合に、バックアッ
プエンティティベクトルのセットを提供する能力を有す
る。セッション記述ファイル２１２中のセッション情報
は、選択がアクティブとなるのに適格な広告等のエンテ
ィティのセットを記述する。セッション制御ファイル２
１５は、各広告について、以下の属性に関する制御メカ
ニズムを含む。 ・スタティックまたは動的属性制御。広告はコンテクス
トベクトル空間中の固定位置にスタティックに置かれる
か、あるいはユーザの応答に基づいて動的に適応される
のを可能にする。 ・リセット。リセットの機能性が特定されている場合、
既存の広告のエンティティベクトルは初期ベクトルにリ
セットされる。 ・対象通しカウント。対象通しカウントは、広告に配信
されるべき通し数を決定する。 ・開始日。開始日は、広告が選ばれる資格があるように
なる日と時間を決定する。 ・終了日。終了日はその広告が選ばれる資格のなくなる
日と時間を決定する。 ・初期状態。広告者は、その広告についての初期エンテ
ィティベクトル選択を記述することができる。初期状態
選択には、以下のオプションが含まれる。 （ｉ）広告および前述のテキストからベクトルへの変換
プロセスに基づくベクトル （ｉｉ）特定の広告のエンティティベクトルに基づくベ
クトル （ｉｉｉ）外部ファイルに含まれるエンティティベクト
ルに基づくベクトル

【００８５】また、セッションコンパイラモジュール２
１０は、すべてのアクティブなエンティティ情報の保管
場所であるＥＶＵＳモジュール２２８（図２に示す）と
の接続を確立する。初期エンティティベクトルは、広告
について算定され、広告識別子、パラメータ及びベクト
ルはエンティティベクトルデータベース２３０に格納さ
れるため、ＥＶＵＳモジュール２２５に伝送される。

【００８６】（リアルタイム広告サーバモジュール）Ｒ
ＴＡＳモジュール２１４は、様々な広告管理ルーティン
を行うために、インタフェースのアプリケーションプロ
グラム(API)局部的または遠隔ソフトウェアアプリケー
ション呼び出しを提供する。ＲＴＡＳモジュール２１４
は、セッション制御ファイル２１５中にセットされたガ
イドラインに従ってユーザに表示する広告を選択する。

【００８７】広告選択プロセス中、ＲＴＡＳモジュール
２１４は、以下にリストするプロセスステップを行う。

【００８８】１．初期化 ＲＴＡＳモジュール２１４が初期化コマンドを受け取る
と、ＲＴＡＳモジュール２１４は、セッション制御ファ
イル２１５を読み、メモリに格納されている内部制御テ
ーブルを初期化する。次いで、ＲＴＡＳモジュール２１
４は、セッション制御ファイル２１５の内容によって特
定された、適切なエンティティコンテントベクトルを要
求する。ＲＴＡＳモジュール２１４は、ＥＶＵＳモジュ
ール２２８を介してエンティティベクトルデータベース
２３０からアクティブなエンティティについてのエンテ
ィティベクトルを要求し、ＲＴＡＳモジュール２１４内
のメモリ常駐データ構造にそれらを格納する。初期化が
完了すると、ＲＴＡＳモジュール２１４はリアルタイム
動作の準備ができたことになる。

【００８９】２．ユーザ行動ベクトルの決定 ユーザ動作メッセージがクライアントＡＰＩを介してシ
ステムに入ると、ＲＴＡＳモジュール２１４は、そのユ
ーザについての行動ベクトルを確立する。ユーザがすで
にシステムに知られている場合、ユーザのウェブブラウ
ザが提供するユーザＩＤがデータベース検索の鍵として
使用される。ＲＴＡＳモジュール２１４は、ユーザＩＤ
をＰＶＵＳモジュール２２４に渡す。次いで、ＰＶＵＳ
モジュール２２４はプロフィールベクトルデータベース
２２６からそのユーザに関連するプロフィールベクトル
を戻す。ユーザがシステムに知られていない場合、新し
い初期化されたベクトルが戻される。いずれの場合にお
いても、ＲＴＡＳモジュール２１４は後続する動作に有
効なユーザ行動ベクトルを有する。このベクトルはＲＴ
ＡＳモジュール２１４内の内部メモリテーブル内に格納
される。

【００９０】３．ユーザ行動の観察 ＲＴＡＳモジュール２１４は、また、ユーザ行動をユー
ザのプロフィールベクトルに組み込む。これらの行動に
は、図２に示すように、ウェブページ要求２１８、また
は探索照会２１７が含まれる。クライアントコンピュー
タ２１９は、クライアントＡＰＩ中の観察された行動を
含む行動パケットを渡す。ＲＴＡＳモジュール２１４
は、ユーザ行動パケットに含まれる情報を用いて、その
ユーザ動作に対する行動ベクトルを生成する。

【００９１】図１１は、図２に示すＲＴＡＳモジュール
２１４が行う、ページ要求をコンテントベクトルに変形
するプロセスの入力と出力を例示するブロック図であ
る。観察されたユーザ行動がページ、ナビゲーション、
または階層要求２１８を含む場合、ＲＴＡＳモジュール
２１４の一部であるページコンテントベクトル検索モジ
ュール１４０２は、要求されたページのＩＤに関連する
エンティティベクトルをスタティックコンテントベクト
ルデータベース２３４から検索する。ＲＴＡＳモジュー
ル２１４は、行動ベクトルを提供するために、ユーザが
要求したページのエンティティベクトルモジュールをユ
ーザＩＤによって増大させる。

【００９２】図１２は、図２に示すリアルタイム広告サ
ーバモジュールによって行われる、照会をコンテントベ
クトルに変形するプロセスの入力と出力を例示するブロ
ック図である。クライアントコンピュータ２１９がユー
ザ照会２１７等のユーザの行動を観察する場合、ＲＴＡ
Ｓモジュール２１４は照会用語に基づいたエンティティ
ベクトルを提供するため、高速ファイル２３２のメモリ
イメージを使用することによって、照会２１７をコンテ
ントベクトルに変形する。ＲＴＡＳモジュール２１４の
一部である前処理モジュール１５０２は、ストップリス
トファイル２０４において識別された共通のワードを取
り除き、フレーズリストファイル２０６の一部であるワ
ードを組み合わせ、ユーザ照会２１７中の用語すべてに
ついて語幹化プロセスを行う。次いでＲＴＡＳモジュー
ル２１４は、形式エンティティコンテントベクトルモジ
ュール１５０４が前述した照会２１７の結果をそのユー
ザＩＤと共に増大させることによって、ユーザ行動ベク
トルを作成する。

【００９３】４．提示するのに最もよいエンティティの
選択 図１３は、図２に示すＲＴＡＳモジュール２１４によっ
て行われる広告選択プロセスの機能を例示するブロック
図である。クライアントコンピュータ２１９（図２に示
す）がユーザ行動を観察しない場合、ＲＴＡＳモジュー
ル２１４は、提示するのに最もよいエンティティを選択
するためのベースとして、プロフィールベクトルデータ
ベース２２６からの履歴ユーザプロフィールベクトルを
用いる。クライアントコンピュータ２１９が対話型行動
を観察する場合、ＲＴＡＳモジュール２１４は、その観
察されたユーザ行動を、提示するのに最もよいエンティ
ティを選択するためのベースとして用いる。

【００９４】ＲＴＡＳモジュール２１４は、履歴ユーザ
プロフィールベクトルまたは行動ベクトルを、セッショ
ン制御ファイル２１５によって特定されるすべてのアク
ティブな広告に対するベクトル比較のベースとして用い
る。セッション制御ファイル２１５の内容は、初期化中
にＲＴＡＳモジュール２１４によってメモリ中にロード
され、かつ高速探索に利用可能である。セッション制御
ファイルをＲＴＡＳモジュール２１４のメモリに置くこ
とによって、性能利得を実現する。

【００９５】再度図１３を参照して、ＲＴＡＳモジュー
ル２１４は、行動およびユーザベクトルでエンティティ
ベクトルの点乗積を行うことによって、最適なエンティ
ティを選択する（状態１６００）。ＲＴＡＳモジュール
２１４は、比較するベクトルとすべてのアクティブ広告
ベクトルとの間のベクトル近似の距離を計算することに
よって、探索プロセスを行う。ＲＴＡＳモジュール２１
４は任意のベクトル近似計量を用いることができるが、
本発明の好ましい実施形態では、ベクトルの内積を使用
する。

【００９６】状態１６０２で、ＲＴＡＳモジュール２１
４は、在庫管理制限の制約を受ける最も近い広告を選択
する。具体的に、最も近い広告がすでにユーザの集合に
十分な回数提示されている場合、ＲＴＡＳモジュール２
１４は選択された二番目に最も近くマッチした広告を提
示する。在庫管理スキームは、任意に複雑であってもよ
く、外部在庫管理モジュールとインタフェースする規定
を有し、これを一連の外部からの制約を受ける広告提示
に適応してバランスを取るために使用してもよい。ＲＴ
ＡＳモジュール２１４の副構成要素である在庫加重モジ
ュールは、ベクトル近似ウェートを調整することによっ
て、すべての在庫制御動作を行う。次いで、ＲＴＡＳモ
ジュール２１４は、スコアで各広告ＩＤを測定し、ラン
ク付けする（状態１６０４）。

【００９７】上述した制約を受ける最近似エンティティ
すなわち広告が選択されると、ＲＴＡＳモジュール２１
４はＡＰＩを介して選択した広告のＩＤをクライアント
コンピュータ２１９に渡す。そのＩＤは、ウェブを介し
て実際の広告画像を引き出し、ユーザに表示するため、
クライアントコンピュータ２１９によって使用される。

【００９８】性能を向上させるために、ＲＴＡＳモジュ
ール２１４はアクティブセッション制御ファイル２１５
によって記述されたエンティティベクトルおよびパラメ
ータのセットを一時保存する。ＲＴＡＳモジュール２１
４は、変更されたエンティティのためにＥＶＵＳモジュ
ール２２８から定期的に更新される。

【００９９】５．エンティティ提示に対するユーザの応
答の観察 最もよいエンティティすなわち広告が決定され、ホスト
システムがその選択された広告を組み込んだウェブペー
ジを生成すると、ユーザのその広告に対する応答が監視
される。エンティティすなわち広告上をクリックするこ
とで示されるように、ユーザがその製品についてより多
くの情報を要求した場合、この事象はＡＰＩを介してＲ
ＴＡＳモジュール２１４に送信される。しかし、すべて
の広告提示が必ずしもＲＴＡＳ２１４モジュールにメッ
セージを送信する必要がある結果とはならない。

【０１００】６．ユーザ行動ベクトルの更新 ＲＴＡＳモジュール２１４は、観察されたユーザ動作を
反映するように、ユーザ行動プロフィールベクトルを適
応する。次いで、観察されたユーザ行動ベクトルを使用
して、そのユーザについてのプロフィールベクトルを更
新する。ＲＴＡＳモジュール２１４は、履歴ユーザプロ
フィールベクトルを修正するため、そのユーザＩＤおよ
び観察されたユーザ行動ベクトルをＰＶＵＳモジュール
２２４に送信する。ＰＶＵＳモジュール２２４の動作を
以下に詳述する。

【０１０１】７．広告すなわちエンティティベクトルの
更新 ユーザがエンティティ（広告、クーポンまたは勧誘)に
応答した場合、そのエンティティベクトルおよびユーザ
ＩＤが更新のためにＥＶＵＳモジュール２２８に送信さ
れる（図１７に示す）。次いで、ＥＶＵＳモジュール２
２８は、エンティティベクトルをユーザの観察された行
動ベクトルに向けて適応させる。ＥＶＵＳモジュール２
２８の動作は以下に詳述する。

【０１０２】（プロフィールベクトル更新サーバモジュ
ール）ＰＶＵＳモジュール２２４は、プロフィールベク
トルデータベース２２４に含まれるユーザプロフィール
ベクトルの格納、検索、および更新に対しての責任があ
る。

【０１０３】これらのユーザプロフィールベクトルは、
以下を含む広範囲の処理能力のベースである。 （ｉ）対象の広告、クーポン、申し出および情報をユー
ザに広める。 （ｉｉ）ユーザ行動の解析 （ｉｉｉ）ユーザ行動と広告、製品およびサービス記述
の相関関係 （ｉｖ）ユーザプロフィールベクトルと人口学的購入デ
ータベースとの相互相関に基づくユーザ特徴の推論 （ｖ）経時的にユーザ行動の追跡 （ｖｉ）起こりうるユーザ行動の予測モデル化およびこ
れらの予測モデルに基づく情報提示の最適化 （ｖｉｉ）予測モデルを最適化し、管理報告書を提供
し、広告収入の増加への基礎を準備するため、有効性お
よびクリックスルー統計の蓄積

【０１０４】本発明の好ましい実施形態では、ＰＶＵＳ
モジュール２２４は、クレジットカードによる購入履歴
等の外部情報もユーザプロフィールに組み込む。コンテ
ントベクトル表示がウェブ行動およびクレジットカード
購入等の異種の情報を均一化された（unified）高次元
空間に収容しているため、この情報を容易に組み込むこ
とができる。

【０１０５】ＰＶＵＳモジュール２２４は、ＴＣＰ／Ｉ
Ｐ等のネットワークプロトコル上でクライアントから要
求を受信する、一つ以上の実行可能なコンピュータプロ
グラムとして実施され、このような要求に対して応答を
生成する。ＰＶＵＳモジュール２２４は、一つ以上の物
理的なデータベースを有し、これは固有のユーザＩＤに
よって索引を付けられたユーザプロフィールコンテント
ベクトルおよびパラメータを格納するために使用され
る。多ＰＶＵＳモジュールが、多数のユーザを扱うため
に同時に動作する場合もある。多サーバが使用される場
合、それらはクライアントによって一つのエンティティ
として対照となる。ＰＶＵＳモジュールは、大きなユー
ザ集団をサポートするため、多ハードウェアプラットフ
ォームにわたって計られる場合もある。この分布は、ユ
ーザＩＤをＮ個の物理的なサーバのうちの選択された一
つに多重送信することによって果たされる。各サーバは
さらにその要求をＭ個の物理的なデータベースの一つに
多重送信する。多重送信は、ユーザＩＤのハッシュコー
ドを生成することによって果たされ、結果として主にハ
ッシュコード中にランダムビット分布を生じさせる。使
用することのできる多数の多重送信ハッシング法があ
る。しかしながら、好ましい実施形態では、ＭＤ５アル
ゴリズムを使用する。次いで、マルチプレクサはハッシ
ュコード上でモジュロＮを使用して、Ｎ個のチルドレン
のいずれがその要求を取り扱うべきかを決定する。

【０１０６】ＰＶＵＳモジュール２２４は以下に列挙す
る処理動作を行う。

【０１０７】１．新規ユーザプロフィールベクトルの作
成 システムにおけるユーザにはそれぞれ、固有のユーザＩ
Ｄが割り当てられる。ウェブ環境においては、これはユ
ーザのインターネットのＩＰアドレスか、あるいはブラ
ウザの「クッキー」ファイルに置かれているホストが選
択したＩＤであってもよい。プロフィールベクトルデー
タベース２２６に含まれていないユーザＩＤを作るよう
要求が行われた場合、ＰＶＵＳモジュール２２４は新規
のユーザについてのエントリを作成し、新規ユーザプロ
フィールベクトルを、後に適応アルゴリズムによって調
整される（図１９ａおよび図１９ｂに示す）擬似乱数コ
ンテントベクトルに初期化する。

【０１０８】２．ユーザプロフィールベクトルおよびパ
ラメータの検索 ＰＶＵＳモジュール２２４は、固有のユーザＩＤを使用
してユーザプロフィールベクトルを得て、ハッシュコー
ドを決定する。その位置でのハッシュテーブルにおける
エントリは、プロフィールベクトルデータベース２２６
中の情報へのポインタを含む。ＰＶＵＳモジュール２２
４は、そのデータベースのポインタを使用して、ユーザ
プロフィールベクトルの検索を行う。プロフィールベク
トルの要求がＲＴＡＳモジュール２１４からである場合
には、ＰＶＵＳモジュール２２６は次の使用のために、
そのプロフィールベクトルをＲＴＡＳモジュール２１４
に渡す。

【０１０９】３．ユーザプロフィールベクトルの適応 ＰＶＵＳモジュール２２４は、ユーザの行動についての
いくつかの観察に基づいて、ユーザプロフィールベクト
ルの適応を行う。ユーザが本発明を利用しているウェブ
サイトを横切る際、ユーザが要求した照会や、ウェブペ
ージおよび広告を含む行動が観察される。観察された行
動のそれぞれは、コンテントベクトルに変換され、プロ
フィールベクトルデータベース２２６に格納されている
ユーザのプロフィールベクトルを適応させるのに使用さ
れる。

【０１１０】図１４は、図２に示すＰＶＵＳモジュール
２２４のプロフィールベクトル適応プロセスを例示する
ブロック図である。ＰＶＵＳモジュール２２４は、コン
テントベクトルへの変形照会（ＴＱＣＶ）モジュール１
７００、動作をコンテントベクトルに変形する（ＴＡＣ
Ｖ）モジュール１７０４、プロフィールベクトルルック
アップ（ＰＶＬ）モジュール１７０６およびプロフィー
ルベクトル適応（ＰＶＡ）モジュール１７０２を含むい
くつかの副構成要素を含む。ユーザが照会２１７をシス
テムに入力した場合、照会ストリングおよびそのユーザ
ＩＤがＴＱＣＶモジュール１７００に渡される。ＴＱＣ
Ｖモジュール１７００はその照会ストリングを、図１０
ｂに示すプロセスと同様に照会コンテントベクトルに変
形する。結果として得られた照会コンテントベクトル
は、ユーザプロフィールベクトルを適応するために、Ｐ
ＶＡモジュール１７０２に渡される。ＰＶＡモジュール
１７０２は、以下に説明され、図１９ａおよび図１９ｂ
に示される適応アルゴリズムを利用する。プロフィール
ベクトルデータベース更新モジュール１７０４は、後の
使用のために、更新されたプロフィールベクトルをプロ
フィールベクトルデータベース２２６に書き込む。

【０１１１】ユーザが広告をクリックしたり、または製
品を購入２２２すると、ＴＡＣＶモジュール１７０４が
その広告または購入記述を使用して、ユーザプロフィー
ルベクトルを適応する。このモジュール１７０４は、Ｐ
ＶＵＳモジュール２２４内でメモリにあるテーブルルッ
クアップを介して、エンティティＩＤをコンテントベク
トルに変形する。平行して、ユーザＩＤは、プロフィー
ルベクトルデータベース２２６からそのユーザのプロフ
ィールベクトルをルックアップするために使用される。
ＰＶＡモジュール１７０２はこれら２つのベクトルを図
１９ａおよび図１９ｂに記載される適応アルゴリズムに
入力する。次いで、プロフィールベクトルデータベース
更新モジュール１７０４は、後の使用のために、その更
新されたプロフィールベクトルをプロフィールベクトル
データベース２２６に書き込む。

【０１１２】４．人口学的予測およびタグ付け 多くの広告およびセールスアプリケーションのために、
全体のユーザ集団と同様に個人についての人口学的パラ
メータの推定を有することは、有利である。本システム
において、ユーザ登録は行われないが、広告者はプロフ
ィールベクトルを解析して、ユーザ人口を検索する。広
告者は、これらのプロフィールベクトルを使用して、ユ
ーザの年齢、性別、世帯収入（ＨＨＩ）および他の人口
学的パラメータを推定することができる。本システム
は、その動作に人口学的モデルを組み込むよう用意がし
てある。これらの人口学的モデルを使用する場合、ユー
ザの集団全体の人口学的パラメータを推定し、使用し
て、プロフィールベクトルデータベース２２６中でその
情報を増加させる。この推定プロセスは、従来の統計方
法の両方あるいはニューラル・ネットワーク技術を用い
ることによって行うことができる。

【０１１３】図１５は、図２に示す関係、発見および解
析モジュールによって行われるモデル構成プロセスの入
力および出力を例示するブロック図である。年齢、性別
およびＨＨＩの予測モデルは、履歴ユーザ動作データベ
ース２２６中に含まれる以前に観察された行動、異なる
サービスでのユーザ登録からのグラウンド・トゥルース
情報あるいはグラウンド・トゥルース・ユーザ人口学的
データベース１９０４を介して、およびプロフィールベ
クトルデータベース２２６からのプロフィールベクトル
の組み合わせを使用して作成される。この情報を使用し
て、モデル化モジュール１９００は、モデルパラメータ
のセットを作成する。これらのモデルパラメータはモデ
ルパラメータデータベース１９０６に格納される。予測
モデルパラメータを導出するために、ニューラル・ネッ
トワーク技術を含むあらゆる統計的に有効なプロセスを
モデル化モジュール１９００において使用することがで
きる。予測モデルの典型的な出力は年齢、性別およびＨ
ＨＩである。

【０１１４】図１６は、ＰＶＵＳモジュール２２４が人
口学的情報でプロフィールベクトルデータベース２２６
を更新するプロセスを例示するブロック図である。プロ
フィールベクトルデータベース中の各ユーザについて、
ＰＶＬモジュール１７０６はプロフィールベクトルデー
タベース２２６からそのユーザに関連するプロフィール
ベクトルを検索する。ＰＶＬモジュール１７０６はこの
情報をユーザＩＤおよび履歴動作と共に予測モデル処理
モジュール２０００に渡す。予測モデル処理モジュール
２０００は、現在のユーザプロフィールベクトルおよび
以前観察された行動と共に、モデルパラメータデータベ
ース１９０６からのモデルモデルパラメータを使用し
て、現在のユーザについての人口学的パラメータのセッ
トの推定を形成する。この推定は、プロフィールベクト
ル更新モジュール１７０４によってプロフィールベクト
ルデータベース２２６に含まれる情報に追加される。増
加された内容は、広告選択中にＲＴＡＳモジュール２１
４への入力として、および関係発見および解析プロセス
の一部として使用される。

【０１１５】（エンティティベクトル更新サーバモジュ
ール）ＥＶＵＳモジュール２２８は、エンティティベク
トルデータベース２３０からのエンティティプロフィー
ルベクトルの格納、検索および更新に責任がある。ＥＶ
ＵＳモジュール２２８は、エンティティベクトルデータ
ベース２３０を読み、および書き込むための、システム
における主要な処理モジュールである。

【０１１６】ＥＶＵＳモジュール２２８は、ネットワー
クプロトコル（ＴＣＰ／ＩＰ）上でクライアントからの
要求を受信し、そのような要求に対する応答を生成する
一つ以上の実行可能なコンピュータプログラムからな
る。ＥＶＵＳモジュール２２８は、固有のエンティティ
ＩＤがユーザプロフィールコンテントベクトルおよびパ
ラメータを効果的に格納および索引付けるのに使用する
一つ以上の物理的なデータベースを有してもよい。

【０１１７】正常動作中に、ＥＶＵＳモジュール２２８
は以下の処理を行う。

【０１１８】１．エンティティ挿入および削除 ＥＶＵＳモジュール２２８は、セッションコンパイラモ
ジュール２１０のコマンドに応答して、新しいエンティ
ティすなわち広告を挿入し、古いエンティティすなわち
広告をエンティティベクトルデータベース２３０から取
り除く。新しいセッションがコンパイルされると、セッ
ションコンパイラモジュール２１０はＥＶＵＳモジュー
ル２２８に更新コマンド、新しいエンティティベクトル
およびパラメータを送信する。さらに、セッションコン
パイラモジュール２１０は、エンティティベクトルデー
タベース２３０から非アクティブなエンティティを削除
するよう、ＥＶＵＳモジュール２２８に対してコマンド
を送信する。

【０１１９】２．エンティティベクトルおよびパラメー
タの格納および検索 ＥＶＵＳモジュール２２８は、システム中のすべてのア
クティブなエンティティについての現在のパラメータお
よびベクトルを格納および検索し、所与のエンティティ
ＩＤについてのエンティティベクトルおよび関連パラメ
ータを検索する。ＲＴＡＳモジュール２１４の初期化
中、ＲＴＡＳモジュール２１４は、ＲＴＡＳモジュール
２１４のメモリに保持するために、より最近のエンティ
ティベクトルおよびパラメータのコピーを要求するコマ
ンドを、ＥＶＵＳモジュール２２８に送信する。

【０１２０】３．エンティティプロフィールベクトルの
適応 図１７は、図２に示すＥＶＵＳモジュール２２８のエン
ティティベクトル適応プロセスを例示するブロック図で
ある。ＥＶＵＳモジュール２２８は、ユーザがエンティ
ティに応答（エンティティをクリック）したことを示す
メッセージに応答して、エンティティベクトル適応を行
う。ＥＶＵＳモジュール２２８は、エンティティベクト
ル適応モジュール２１００、コンテントベクトルへの変
形照会（ＴＱＣＶ）モジュール２１０２、エンティティ
ベクトルルックアップモジュール２１０４、プロフィー
ルベクトルルックアップモジュール２１０６およびエン
ティティベクトルデータベース更新モジュール２１０８
を含む様々な副構成要素を含む。

【０１２１】適応事象は、ユーザが照会２１７を入力す
るか、広告をクリックする／あるいは製品２２２をオン
ラインで購入したときに発生する。エンティティ適応事
象が発生すると、即ちユーザ照会２１７等の事象を引き
起こしたユーザ動作が生じると、ＥＶＵＳモジュール２
２８は、ＲＴＡＳモジュール２１４から選択された広告
およびそのユーザのＩＤを得る。

【０１２２】ユーザが照会２１７を要求した場合、ＴＱ
ＣＶモジュール２１０２はその動作を照会コンテントベ
クトルに変形し、その結果をエンティティベクトル適応
モジュール２１００に渡す。ユーザ事象がクリックスル
ーまたは購入２２２である場合には、エンティティベク
トルルックアップモジュール２１０４がエンティティベ
クトルデータベース２３０から選択されたエンティティ
のエンティティベクトルを検索する。エンティティベク
トルルックアップモジュール２１０４は、選択されたエ
ンティティのベクトルをエンティティベクトル適応モジ
ュール２１００に渡す。ユーザＩＤがＥＶＵＳモジュー
ル２２８に渡された場合には、プロフィールベクトルル
ックアップモジュール２１０６がプロフィールベクトル
データベース２２６からそのユーザのプロフィールベク
トルを検索する。その結果得られたコンテントベクトル
は、次にエンティティベクトル適応モジュール２１００
に渡される。

【０１２３】ＴＱＣＶモジュール２１０２から入力を受
信した後、エンティティベクトルルックアップモジュー
ル２１０４、プロフィールベクトルルックアップモジュ
ール２１０６およびエンティティベクトル適応モジュー
ル２１００は、図１９Ａおよび図１９Ｂに示す数式を行
う。次いで、エンティティベクトル適応モジュール２１
００は、その更新されたエンティティベクトルをそのエ
ンティティＩＤおよびタイムスタンプと共に、その情報
がエンティティベクトルデータベース２３０に格納され
るエンティティベクトルデータベース更新モジュール２
１０８に渡す。

【０１２４】４．時間更新 ＥＶＵＳモジュール２２８は、ベクトルまたはパラメー
タが所与の時間以来変更されているエンティティＩＤの
リストを生成する。この情報は、ＲＴＡＳモジュール２
１４が維持するＥＶＵＳモジュール２２８のメモリ画像
をリフレッシュするために使用される。最新の更新のタ
イムスタンプを含むリフレッシュコマンドがＲＴＡＳモ
ジュール２１４から送信されると、ＥＶＵＳモジュール
２２８は、エンティティＩＤ、変更されたアイテムのベ
クトルパラメータおよびタイムスタンプをＲＴＡＳモジ
ュール２１４に送信する。次いで、この情報はエンティ
ティ選択プロセスに使用するために、ＲＴＡＳ内部メモ
リに保存される。

【０１２５】５．在庫管理 ＥＶＵＳモジュール２２８は、システムにおけるすべて
の広告にわたって在庫管理加重を行う。ＥＶＵＳモジュ
ール２２８は広告選択スコアのそれぞれを調整するた
め、ウェートパラメータを使用する。ウェートパラメー
タは、広告対象付けられた通し数および各広告の時間残
量によって決定される。

【０１２６】（プロフィールおよびエンティティ適応ア
ルゴリズム）図１８は、ユーザ照会２１７（図２に示
す）の受信後の、プロフィールベクトル更新サーバおよ
びエンティティベクトル更新サーバのベクトル適応プロ
セスを例示するフローチャートである。ＰＶＵＳモジュ
ール２２４およびＥＶＵＳモジュール２２８の両方は、
システムとのユーザの対話の結果としてのプロフィール
ベクトルおよびエンティティベクトルを進化させるた
め、適応アルゴリズムのセットを適用する。

【０１２７】状態２２５０で始まり、ＰＶＵＳモジュー
ル２２４は現在のユーザ照会２１７に基づいてプロフィ
ールベクトルを更新する。決定状態２２５２に移り、ユ
ーザのプロフィールベクトルおよび探索照会の行動ベク
トルがエンティティベクトルと比較され、スコアを確立
するために、この比較に従ってランク付けする。ユーザ
のプロフィールスコアは、探索照会の行動スコアに対し
て比較され、どちらのスコアが高いかを決定する。照会
スコアのほうが高い場合、ＰＶＵＳモジュール２２４は
バイアスベクトルを更新（状態２２５４）するよう進
む。このバイアスベクトルは、連続的な相互適応プロセ
ス中すべてのベクトルが同じエンティティベクトルにな
らないことを確実にするために使用される。次に、状態
２２５８で、広告が照会スコアに基づいて選択される。

【０１２８】決定状態２２６０に進み、システムはユー
ザが提供された広告をクリックしたのかどうかをチェッ
クする。ユーザが広告を選択しなかった場合、システム
は状態２２５０に戻り、将来のユーザ照会に対して適応
プロセスを繰り返す。ユーザが広告を選択した場合、Ｅ
ＶＵＳモジュール２２８がユーザ照会２１７の行動ベク
トルで選択された広告のベクトルを更新する（状態２２
６２）。次に、状態２２６４において、ＰＶＵＳモジュ
ール２２４がその広告のエンティティベクトルでプロフ
ィールベクトルを更新し、状態２２７４に移る。

【０１２９】再び決定状態２２５２を参照して、プロフ
ィールスコアが照会スコアよりも高い場合、状態２２６
５においてバイアスベクトルが更新される。次に、状態
２２６６において、プロフィールスコア付けによって選
択された広告がクライアント２１９に送信される。決定
状態２２６８に進み、システムは、ユーザが提供された
広告をクリックしたかどうかをチェックする。ユーザが
広告を選択しなかった場合、システムは状態２２５０に
戻り、その後にユーザ照会を受信すると適応プロセスを
繰り返す。ユーザが広告を選択した場合、ＰＶＵＳモジ
ュール２２４がその広告のエンティティベクトルでプロ
フィールベクトルを更新する（状態２２７０）。次い
で、ＥＶＵＳモジュール２２８がそのユーザ照会２１７
のプロフィールベクトルで、選択された広告のベクトル
を更新する。

【０１３０】状態２２６４または状態２２７４から移
り、状態２２７４において、選択された広告に関連する
コストモデルが更新される。次いでシステムは、状態２
２５０に戻り、その後にユーザ照会を受信すると適応プ
ロセスを繰り返す。

【０１３１】個人ユーザのプロフィールおよび対応する
現在の照会は、数式１１および１２に示す２つのセット
によって表される。

【０１３２】

【数１１】

【０１３３】

【数１２】

【０１３４】ユーザ照会は、一つ以上のコンテントベク
トルによって表される場合もある項目別情報を含む。数
式１３は、各広告がプロフィールベクトルと同様な方法
で表されることを示す。

【０１３５】

【数１３】

【０１３６】数式１４および数式１５は、図１５に示す
決定状態２２５２においてスコアを計算する際適用され
る。

【０１３７】

【数１４】

【０１３８】

【数１５】 「Ｖａｌｕｅ」パラメータは従来のコストモデルアルゴ
リズム（図示せず）によって計算される。

【０１３９】図１９ａおよび図１９ｂは、図２に示すプ
ロフィールベクトル更新モジュールおよびエンティティ
ベクトル更新モジュールによって行われる一定率の学習
アルゴリズムの数式流れ図である。別の方法で注記され
ない限り、図１９ａおよび図１９ｂに示す数式はプロフ
ィールおよびエンティティコンテントベクトル更新の両
方に共通する。適応プロセスを制御するために使用する
パラメータは、図２０に示す。

【０１４０】以下は、図１８の状態に関連して、図１９
ａおよび図１９ｂに例示する数式がいつ行われるかを説
明している。ブロック２２７６、２２８４（図１９ａに
示す）の数式は、状態２２５０（図１８に示す）におい
て、、プロフィールベクトルを照会で更新するプロセス
中に行われる。ブロック２２７８の数式は状態２２６２
において、ユーザが広告を選択した後に広告ベクトルを
ユーザ照会で更新するプロセス中に行われる。同様に、
ブロック２２８０の数式は、状態２２６４において、選
択された広告でプロフィールベクトルを更新する間に行
われる。

【０１４１】ブロック２２８２（図１９ａに示す）の数
式は、状態２２５４（図１８に示す）においてすべての
ベクトルが同じ多次元ベクトルにならないことを確実に
するためにバイアスベクトルを更新する間に行われる。
ブロック２２８６の数式は、状態２２７２において、広
告ベクトルをプロフィールベクトルで更新する間に行わ
れる。これらの数式は、ユーザのプロフィールスコアが
照会スコアよりも高い場合に行われる。同様に、ブロッ
ク２２８８（図１９ｂに示す）の数式は、状態２２７０
（図１８に示す）において、プロフィールベクトルを広
告ベクトルで更新する間に行われる。

【０１４２】ブロック２２９０（図１９ｂに示す）の数
式は、状態２２６５（図１８に示す）において、ユーザ
のプロフィールスコアがユーザ照会のスコアよりも高く
なった後、バイアスベクトルを更新する間に行われる。

【０１４３】（エンティティ在庫加重（コストモデル）
の算定）ＲＴＡＳモジュール２１４は各エンティティす
なわち広告について生成された通し数を追跡し、広告Ｉ
Ｄおよび各エンティティすなわち広告について生成され
た通し数を含むＥＶＵＳモジュール２２８にメッセージ
を定期的に送信する。ＲＴＡＳモジュール２１４は、通
しの対象数、および各広告が在庫管理ウェートを算定す
るよう機能する資格を有した状態の時間を特定する広告
パラメータを使用する。ウェートは、アクティブ広告を
スコア付けするときに、ＲＴＡＳモジュール２１４によ
って適用される。ＲＴＡＳモジュール２１４によって、
押し数の少ない広告がより多くの通しを受け、一方、押
しが過分になされた広告では通し数を抑制する。

【０１４４】（関係発見および解析処理モジュール）本
システムは、プロフィールベクトルデータベース２２６
およびエンティティベクトルデータベース２３０（図２
に示す）のコンテンツにおいて、関係発見および解析を
行う能力を有する。解析プロセスの結果はアナリスト２
４０に提示される一連の報告書に列挙される。これらの
報告書はシステムユーザの行動パターンについての価値
の高い動作可能な情報を提供する。

【０１４５】ＲＤＡモジュール２３６は、プロフィール
ベクトルデータベース２２６およびエンティティベクト
ルデータベース２３０の内容を採って、解析報告書２３
８（図２に示す）を作成する。この解析を行うために、
様々な従来の統計技術またはニューラル・ネットワーク
アプローチが用いられる。

【０１４６】ＲＤＡモジュール２６６は、非管理分類、
管理分類および従来の統計学を含む３つの解析的な機能
を行う。３つの機能のそれぞれを以下に説明する。

【０１４７】１．非管理分類 ＲＤＡモジュール２３６は、プロフィールベクトルデー
タベース２２５、エンティティベクトルデータベース２
３０またはこれらモジュールの両方の内容の非管理分類
またはクラスタ化を行う。ＲＤＡモジュール２３６は、
アルゴリズムが実数ベクトルを処理できる限り、いずれ
のクラスタ化アルゴリズムを用いてもよい。クラスタ化
の結果は、高密度領域を表すクラスタ重心ベクトルのセ
ットである。これらの重心は、他のすべての処理動作に
使用できる同一タイプのベクトルである。したがって、
ＲＤＡシステムは、コンテントベクトル空間中で重心ベ
クトルに最も近いワードベクトルのセットを見つけるこ
とができる。これらのベクトルに関連するワードおよび
それらの近似距離は重心の主要な概念を形成する。経時
のクラスタ重心の発展は、傾向情報を提供する。これら
のクラスタ中心に近いワードベクトルの識別は、各クラ
スタについてのキーワードの要約を提供し、解析および
解釈タスクを容易にする。また、従来の統計解析も、ク
ラスタのコンテンツを検査するために使用することがで
きる。クラスタメンバーシップの分散は、クラスタコヒ
ーレンスおよび行動の点では「焦点の均一性」の信頼性
のある指標である。製品ベクトルデータベース２２６に
おいて識別されたクラスタはその製品を購入したユーザ
の特徴について非常に価値ある情報を提供する。この結
果は、広告ベクトルとユーザコンテントベクトルとの間
の相互適応の当然の結果である。見つけられたクラスタ
の数およびクラスタの説明は、アナリスト２４０による
検閲のために、解析報告書２３８にリストされる。

【０１４８】２．管理分類 ＲＤＡモジュール２３６もまた、プロフィールベクトル
データベース２２６、エンティティベクトルデータベー
ス２３０またはこれらモジュールの両方の内容の管理分
類を行う。管理分類のために、ＲＤＡモジュール２３６
は、アルゴリズムが実数ベクトルを処理できるいずれの
アルゴリズムを用いてもよい。分類の結果は、各分類の
メンバーである、ユーザおよび／またはエンティティの
セットである。分類によるカウントおよびメンバーシッ
プは、アナリスト２４０による検閲のために、解析報告
書２３８にリストされる。

【０１４９】３．従来の統計学 ＲＤＡモジュール２３６は、プロフィールベクトルデー
タベース２２６、エンティティベクトルデータベース２
３０またはこれらモジュールの両方の内容に従来の統計
学を適応する。この解析は、カウント、カウント分布、
データベースの内容全体またはアナリスト２４０が選択
した任意の部分セットの平均および分散を生成する。処
理結果は、アナリスト２４０による検閲のために、解析
報告書２３８にリストされる。

【０１５０】広告シナリオについての本発明の動作の概
要を以下に示す。

【０１５１】（システム初期化）まず、ワードコンテン
トベクトル学習モジュール２００がテキスト入力から多
コンテントベクトルを作成する。この技術の結果、ワー
ドコンテントベクトルのセットが得られ、１つのコンテ
ントベクトルはトレーニング語彙中に見られ、ストップ
リスト２０４には見られないワードのそれぞれについて
のものである。広告シナリオでは、通常トレーニングテ
キストは製品の説明または業界紙である。たとえば、動
作の対象領域がスポーツ製品である場合、トレーニング
コーパスはスポーツ製品カタログからの製品の説明、
「Field and Stream」誌の数年間の内容およびアウトド
アライフの本を含むだろう。アウトドアスポーツ等の動
作の領域に適応させるのに正確なトレーニングコーパス
の選択は、ワードの使用に正確な「スピン」を与える。
上記の例において、「弓」は、「バイオリン」または演
技の終了時にステージで行われる動作（お辞儀を意味す
る）とは対照的に、「矢」と関連づけるようになる。

【０１５２】次に、セッションコンパイラモジュール２
１０が販売製品の説明からエンティティベクトルの初期
セットを計算する。これらの説明は、製品カタログから
のものでもよいし、またオペレータの人間がタイプして
もよい。たとえば、「暖かいゴアテックス、ゲレンデで
の凍てつく冬の昼夜に最適な、ダウンパーカー」は、コ
ートのエンティティベクトルのためのテキスト初期化と
して役立つであろう。エンティティベクトルは、説明に
おけるワードのワードベクトルの正規化加重和である。
セッションコンパイラモジュール２１０は、システム中
の各広告についての初期エンティティベクトルを作成す
る。

【０１５３】セッション記述ファイル２１２は、認可さ
れた表示回数、サイト、どの広告を表示するか、および
いくつの通しが利用可能か等の広告設置のガイドライン
を記述し、機械が利用可能な形式にコンパイルされる。
この結果、広告提供（serving）プロセスの動作を制御
する情報を有するセッション制御ファイル２１５の作成
がもたらされる。最後に、複数のユーザプロフィールベ
クトルがＮＵＬＬに初期化される。

【０１５４】（レギュラーシステム動作）正常動作中、
インターネットユーザはウェブサイトを訪れ、ユーザの
身分がログイン、またはウェブブラウザクッキーを介し
て確立される。ユーザ身分のそれぞれは、プロフィール
ベクトルに関連する。新しいユーザの場合、ヌルのプロ
フィールベクトルが作成され、プロフィールベクトルデ
ータベースに追加される。ユーザがシステムに知られて
いる場合、ユーザのプロフィールベクトルはプロフィー
ルベクトルデータベースから検索される。

【０１５５】次いで、システムはユーザの行動を観察す
る。ユーザが探索照会２１７を行う場合、ユーザプロフ
ィールベクトルは現在の照会のコンテントベクトルを使
用して更新される。ユーザが、２１８を読むためにウェ
ブページを要求する場合、ユーザプロフィールベクトル
は、要求されたウェブページのコンテントベクトルによ
って修正される。

【０１５６】次に、更新されたプロフィールベクトル
は、ユーザに表示するのに適した広告を選択するための
ベースとして使用される。関連性は広告ベクトルデータ
ベースに格納されているエンティティベクトルへのユー
ザプロフィールベクトルの近似性によって決定される。
最も近いエンティティベクトルが、最も関連するものと
して選択される。

【０１５７】ユーザに広告が提示され、その広告をクリ
ックして広告の主題のさらなる情報を要求した場合、現
在の広告エンティティベクトルおよびプロフィールベク
トルの両方が更新される。ユーザプロフィールベクトル
はエンティティベクトルの方向にわずかに移動もしくは
適応する。エンティティベクトルは、広告をクリックし
たユーザのプロフィールベクトルの方向にわずかに移動
もしくは適応する。したがって、システムによって広告
がリアルタイムに適応性のある方法でそれらを購入する
ユーザの特徴を想定することができる。

【０１５８】（発見および解析モード）発見および解析
モード中、システム管理者は、有用で利用可能なユーザ
行動特徴を発見するため、エンティティベクトルデータ
ベース２３０およびユーザプロフィールベクトルデータ
ベース２２６の両方の内容を関係発見および解析を定期
的な間隔で行う。ＲＤＡモジュール２３６は、ベクトル
をクラスタ化し、ユーザのクリックスルー率の点でのシ
ステムの有効性の統計情報の要約を報告し、提供する。
解析中に発見された行動クラスタは、広告キャンペーン
のベースとして機能し、ユーザ行動志向への価値のある
洞察を行う。行動クラスタを、広告者が個人ベースより
もむしろグループ毎に対象としたいエンティティベクト
ルの初期状態として利用することができる。

【０１５９】図２に示すシステムは、適用可能な２つの
構成要素のセットを有する。一つは、ユーザプロフィー
ルベクトルである。二つ目は各広告のコンテントベクト
ルである。両方のベクトルのセットは、ユーザの動作に
基づいて互いに影響しあう。広告は、ユーザの興味が高
い領域に向けて適応する方法で更新され、これによって
システム効率を向上させ、自動的にグループの志向を発
見する。ユーザプロフィールベクトルはユーザの観察さ
れた動作に基づいて適応し、これによって個人およびグ
ループの両方のユーザ志向の正確で適時の表示を提供す
る。

【０１６０】ベクトルのセットはユーザの動作に依存
し、時と共に発展するため、それらはユーザ集団の行動
についての豊富な情報をコード化できる。これらのコン
テントベクトルのセットを、個人、グループの両方およ
び集団全体を考慮した価値のある動作可能な洞察を提供
するために、解析ツールを用いて「採掘」することがで
きる。

【０１６１】上記の詳細な説明は、様々な実施形態に適
応した本発明の基本的な新規の特徴を示し、記載し、指
摘してきたが、本発明の意図から逸脱することなく、様
々な省略、代替および変更が例示したシステムの形式と
詳細について行われることは、当業者によって理解され
るであろう。

【図面の簡単な説明】

【図１】本発明に関連するコンピュータ環境を例示する
機能的なブロック図である。

【図２】本発明の処理およびデータ構成要素を例示する
機能的なブロック図である。

【図３】図２に示すワードコンテントベクトル学習モジ
ュールの前処理モジュールの入力および出力を例示する
ブロック図である。

【図４】図２に示すワードコンテントベクトル学習モジ
ュールの語幹ハッシュテーブルを作成するプロセスの入
力および出力を例示するブロック図である。

【図５】図２に示すワードコンテントベクトル学習モジ
ュールの語幹生成プロセスの機能を例示するブロック図
である。

【図６】図２に示すワードコンテントベクトル学習モジ
ュールの語幹頻度統計算出プロセスを例示するブロック
図である。

【図７】図２に示すワードコンテントベクトル学習モジ
ュールの異なる学習重畳ウィンドウの図である。

【図８】図７に示す重畳ウィンドウのための隣接する語
幹のベクトルによって語幹ベクトルを適応するベクトル
操作プロセスを例示する図である。

【図９】図２に示すセッションコンパイラのエンティテ
ィベクトル作成プロセスの入力および出力を例示するブ
ロック図である。

【図１０】図１０ａは、図２に示す高速ファイル作成プ
ロセスの入力および出力を例示するブロック図である。
図１０ｂは、図２に示すセッション制御ファイルを生成
するプロセスの入力および出力を例示するブロック図で
ある。

【図１１】図２に示すリアルタイム広告サーバモジュー
ルが行う、ページ要求をコンテントベクトルに変形する
プロセスの入力と出力を例示するブロック図である。

【図１２】図２に示すリアルタイム広告サーバモジュー
ルによって行われる、照会をコンテントベクトルに変形
するプロセスの入力と出力を例示するブロック図であ
る。

【図１３】図２に示すリアルタイム広告サーバによって
行われる、広告選択プロセスの機能を例示するブロック
図である。

【図１４】図２に示すプロフィールベクトル更新サーバ
モジュールのプロフィールベクトル適応プロセスの機能
を例示するブロック図である。

【図１５】図２に示す関係、発見および解析モジュール
によって行われるモデル構成プロセスの入力および出力
を例示するブロック図である。

【図１６】図２に示すプロフィールベクトル更新サーバ
モジュールが人口学的情報でプロフィールベクトルデー
タベースを更新するプロセスの機能を例示するブロック
図である。

【図１７】図２に示すエンティティベクトル更新サーバ
モジュールのエンティティベクトル適応プロセスの機能
を例示するブロック図である。

【図１８】図２に示すプロフィールベクトル更新サーバ
およびエンティティベクトル更新サーバのベクトル適応
プロセスを例示するフローチャートである。

【図１９】図２に示すプロフィールベクトル更新モジュ
ールおよびエンティティベクトル更新モジュールによっ
て行われる固定率の学習アルゴリズムの数式流れ図であ
る。

【図２０】図１９ａおよび図１９ｂに示す固定率の学習
アルゴリズムのためのサンプルランタイムパラメータの
サマリーを含むチャートである。

【符号の説明】

１００ クライアント、 １０４ ネットワーク、 １０６ サーバ、 １０８ ＷＡＮ、 １１０ ネットワークサーバ、 １１２ ＬＡＮ

フロントページの続き (72)発明者 ウィリアム アール．ケイド アメリカ合衆国 92117 カリフォルニア, サンディエゴ ジェームスタウン ロード 5438番地 (72)発明者 リチャード エス．プー アメリカ合衆国 92064 カリフォルニア, ボーウェイ ポーウェイ スプリングス ロード 13639番地 (72)発明者 ブラッドレイ ディー．キンディグ アメリカ合衆国 92064 カリフォルニア, ボーウェイ ヘレン パーク レーン 14720番地 (72)発明者 ジェラルド エス．ラッセル アメリカ合衆国 92130 カリフォルニア, サンディエゴ カーメル ケイプ 12427 番地 (72)発明者 ケネス ビー．ブラウン アメリカ合衆国 92126 カリフォルニア, サンディエゴ ケンスリー ウェイ 6960 番地 (72)発明者 テッド イー．ダニング アメリカ合衆国 92126 カリフォルニア, サンディエゴ リバー リム ロード 11797番地 (72)発明者 ジョエル エル．カールトン アメリカ合衆国 92129 カリフォルニア, サンディエゴ アレンブルック ウェイ 8995番地

Claims (12)

【特許請求の範囲】
1. 【請求項１】 観察された行動を情報アイテムに関連づ
   けるコンピュータ化されたシステムであって、 観察された行動を行動ベクトルに変換可能なコンバータ
   と、 プロフィールベクトルを前記行動ベクトルで修正可能な
   プロフィールアダプタと、 前記修正したプロフィールベクトルを、情報アイテムを
   示す複数のエンティティベクトルと比較して前記観察さ
   れた行動と密に関連する少なくとも１つのエンティティ
   ベクトルを識別する比較可能な比較器と、を含むシステ
   ム。
2. 【請求項２】 コンピュータ環境において広告を選択す
   るシステムであって、 電子広告のデータベースと、 電子広告管理システムとを含み、 該電子広告管理システムは、コンピュータ環境において
   ユーザコンピュータ装置の観察された行動を行動ベクト
   ルに変換可能なコンバータと、 前記ユーザを示すプロフィールベクトルを前記行動ベク
   トルで修正可能なプロフィールアダプタと、 前記修正したプロフィールベクトルを、電子広告を示す
   複数のエンティティベクトルと比較して、前記観察され
   た行動と密に関連する少なくとも１つのエンティティベ
   クトルを識別する比較可能な比較器と、 ユーザコンピュータ装置に通信する少なくとも１つの電
   子広告を選択するため、電子データベースに前記識別し
   たエンティティベクトルでアクセスするセレクタと、を
   含むシステム。
3. 【請求項３】 エンティティベクトルを適応させるコン
   ピュータ化されたシステムであって、 ユーザの観察された行動を行動ベクトルに変換可能なコ
   ンバータと、 前記行動ベクトルに基づいて、前記ユーザを示すプロフ
   ィールベクトルを修正可能なプロフィールアダプタと、 前記プロフィールベクトルまたは前記行動ベクトルに基
   づいて、情報アイテムを示すエンティティベクトルを修
   正可能なエンティティアダプタとを含むシステム。
4. 【請求項４】 コンピュータ環境においてプロフィール
   ベクトルを生成するシステムであって、 ユーザの観察された複数の行動を、関連する複数の行動
   ベクトルに変換可能なコンバータと、 前記複数の行動ベクトルに基づいて、前記ユーザを示す
   プロフィールベクトルを繰り返し修正可能なプロフィー
   ルアダプタとを含むシステム。
5. 【請求項５】 エンティティベクトルを適応させるコン
   ピュータ化されたシステムであって、 ユーザの観察された行動を行動ベクトルに変換可能なコ
   ンバータと、前記行動ベクトルに基づいて、情報アイテ
   ムを示すエンティティベクトルを修正可能なエンティテ
   ィアダプタとを含むシステム。
6. 【請求項６】 コンピュータ環境において広告を選択す
   るシステムであって、 電子広告のデータベースと、 電子広告管理システムとを含み、該電子広告管理システ
   ムは、コンピュータ環境におけるユーザコンピュータ装
   置の観察された行動を行動ベクトルに変換可能なコンバ
   ータと、 前記行動ベクトルを、電子広告を示す複数のエンティテ
   ィベクトルと比較して前記観察された行動と密に関連す
   る少なくとも１つのエンティティベクトルを識別する比
   較可能な比較器とユーザコンピュータ装置に通信する少
   なくとも一つの電子広告を選択するため、電子データベ
   ースに識別されたエンティティベクトルでアクセスする
   セレクタと、を含むシステム。
7. 【請求項７】 データ記憶装置を含むコンピュータ上
   で、観察された行動を情報アイテムと関連づける方法で
   あって、 観察された行動を行動ベクトルに変換するステップと、 プロフィールベクトルを前記行動ベクトルで修正するス
   テップと、前記修正したプロフィールベクトルを、情報
   アイテムを示す複数のエンティティベクトルと比較して
   前記観察された行動と密に関連する少なくとも１つのエ
   ンティティベクトルを識別する比較ステップと、含む方
   法。
8. 【請求項８】 コンピュータ環境において広告を選択す
   る方法であって、 電子広告のデータベースを提供するステップと、 コンピュータ環境においてユーザコンピュータ装置の観
   察された行動を行動ベクトルに変換するステップと、 前記ユーザのプロフィールベクトルを前記行動ベクトル
   で修正するステップと、 前記修正したプロフィールベクトルを、電子広告を示す
   複数のエンティティベクトルと比較して前記観察された
   行動と密に関連する少なくとも１つのエンティティベク
   トルを識別する比較ステップと、 前記識別されたエンティティベクトルで電子データベー
   スにアクセスするステップと、 前記ユーザコンピュータ装置と通信するため少なくとも
   一つの電子広告を選択するステップと、を含む方法。
9. 【請求項９】 データ記憶装置を含むコンピュータ上
   で、エンティティベクトルを適応させる方法であって、 ユーザの観察された行動を行動ベクトルに変換するステ
   ップと、 前記行動ベクトルに基づいて、前記ユーザを示すプロフ
   ィールベクトルを修正するステップと、 前記プロフィールベクトルまたは前記行動ベクトルに基
   づいて、情報アイテムを示すエンティティベクトルを修
   正するステップとを含む方法。
10. 【請求項１０】 コンピュータ環境において、データ記
    憶装置を含むコンピュータ上でプロフィールベクトルを
    生成する方法であって、 ユーザの観察された複数の行動を、関連する複数の行動
    ベクトルに変換するステップと、 前記複数の行動ベクトルに基づいて、前記ユーザを示す
    プロフィールベクトルを繰り返し修正するステップとを
    含む方法。
11. 【請求項１１】 データ記憶装置を含むコンピュータ上
    でエンティティベクトルを適応する方法であって、 ユーザの観察された行動を行動ベクトルに変換するステ
    ップと、 前記行動ベクトルに基づいて、情報アイテムを示すエン
    ティティベクトルを修正するステップと、を含む方法。
12. 【請求項１２】 データ記憶装置を含むコンピュータに
    おいて広告を選択する方法であって、 電子広告のデータベースを提供するステップと、 コンピュータにおけるユーザコンピュータ装置の観察さ
    れた行動を行動ベクトルに変換するステップと、 前記行動ベクトルを、電子広告を示す複数のエンティテ
    ィベクトルと比較して前記観察された行動と密に関連す
    る少なくとも１つのエンティティベクトルを識別する比
    較ステップと、 前記識別したエンティティベクトルで電子データベース
    にアクセスするステップと、 前記ユーザコンピュータ装置と通信するため、少なくと
    も一つの電子広告を選択するするステップと、を含む方
    法。