JP2020194545A - エンゲージメント関連性モデルのオフライン評価メトリック - Google Patents

Abstract

【課題】結果を歪め得るアイテムの比例重要度の差を考慮しモデルを適切に区別するエンゲージメント関連性モデルのオンライン評価メトリックを提供する。【解決手段】エンゲージメント関連性モデルのオンライン評価メトリックにおいて、オフラインベンチマーク構築モジュール２０４は、製品購入、ウェブページ上の滞在時間、製品ランキング等のグラウンドトゥルースを、異なるモデル特徴を有する複数の予測モジュール２１０に入力し、予測モデル値を算出させる。オフライン確率絶対誤差評価モジュール２１６は、グランドトゥルースと各々の予測モデル値から、加重ＰＡＥを算出し、多様性または順位ベースランキングを考慮してモデルの有効性を評価しメトリック２１８を出力する。オフラインクリーンアップユーティリティ２２０は、メトリック２１８を使用して最良の予測モデル２１０を特定する。【選択図】図２

Description

本出願は、エンゲージメント関連性モデルを評価することに関する。

関連性モデルを使用して、特定ユーザが購入する可能性のある製品、特定ユーザが特定のウェブページに留まる可能性のある時間の長さ、及び複数のアイテムに関してユーザがどのようにランクを付ける可能性があるかを含む、様々な電子商取引メトリックが予測される。顧客の商品購入の仕方、顧客のニュースフィードとのインタラクションの仕方、及び顧客のメディアコンテンツとのインタラクションの仕方などのファクタに基づいて、カスタマエクスペリエンスをカスタマイズするため、現代の商取引において的確な関連性モデルが重要であることは明白である。これらのエクスペリエンスを提供するために、組織は、ユーザが様々なタイプのアイテムにどのように関連しているかについてスコアを提供する関連性モデルを構築する必要がある。

本明細書で認識されるように、関連性モデルの有効性を評価する既存の方法は、２進タイプ（例えばユーザがアイテムを購入したか否か）、多変量タイプ（例えばアンカーアイテムに対する品物の類似度のランク）、及び数値タイプ（例えばウェブページ上の滞在時間）など、グランドトゥルースの複数のタイプを十分に考慮していない。さらに、関連性モデルの有効性を評価する既存の方法は、分類の問題、ランキングの問題だけでなく、推定の問題も考慮するのに、１つの関連性メトリックを有するという点で、柔軟性に欠ける。さらに、関連性モデルの有効性を評価する既存の方法は、例えば、推奨商品の多様性を奨励し、同時に順位ベースランキングを適用するなど、特別な事例に対処する柔軟性がない。さらに、関連性モデルの有効性を評価する既存の方法は、ｉ）結果を歪め得るアイテムの比例重要度の差を考慮すること、ｉｉ）誤った予測に対し適切なペナルティを科すこと、ｉｉｉ）同様に良い結果でもモデルを適切に区別すること、これらの３つの要件に同時に対処していない。加えて、関連性モデルの有効性を評価するメトリックは、評価の結果を簡単かつ定量化可能な方法で（例えば、回帰モデルの２つの既存のメトリック、ＲＭＳＥ及びＭＡＥとは異なり、固定範囲内に制約されたメトリックで）伝える必要がある。

従って、デバイスは、一時的信号ではない少なくとも１つのコンピュータストレージを含み、次に少なくとも１つのコンピュータストレージは命令を含み、命令は、少なくとも１つのプロセッサにより、第１のモデルに関して、ユーザとアイテムとの複数の集合の集合ごとに、アイテムとのユーザインタラクションのモデル予測を表す第１の値と、アイテムとの実際のユーザインタラクションを表す第２の値との絶対差を特定することを、実行可能である。命令は、多数のユーザのユーザごとに、全アイテムにわたって、第１の値の合計が１になるように第１の値を正規化することを、実行可能である。同様の正規化命令が、第２の値に適用される。命令は、多数のユーザのユーザごとに、複数のアイテムの特定された絶対差を合計してユーザ合計を出し、ユーザ合計を合計して総計を出し、総計をユーザ数で割って確率絶対誤差（ＰＡＥ）を出すことを、実行可能である。ＰＡＥは、少なくとも第２のモデルでも同様に特定される。第１のモデルが第２のモデルより低いＰＡＥを有する場合、第１のモデルがより良いモデルとして出力され、そうでない場合には、第２のモデルがより良いモデルとして出力され、コンピュータシミュレーションを含む電子商取引を提供するために、より良いモデルが使用される。

いくつかの実施態様では、例えば不均衡な人気を有するテストインタラクションによる評価の歪みなどの特別な事例を考慮するために、命令は、ユーザ合計を合計する前に、少なくともいくつかのユーザ合計に、アイテムとの実際のユーザインタラクションを表す加重された第２の値の合計を掛けて、加重されたユーザ合計を出すことを、実行可能であり得る。命令はさらに、対象ユーザごとに、対象アイテムはネガティブではない（例えばユーザはこのアイテムを購入する／読む／クリックする／検討する）とモデルが予測した各アイテムに関して、重みｗ＿Ｉ＊予測確率ｐ＿ｕ，Ｉの値を計算し、これを対象ユーザごとに全アイテムにわたって合計し、合計を全ユーザにわたって合計して、加重ＰＡＥ（ＷＰＡＥ）を出すことを、実行可能であり得る。この実施形態では、命令は、電子商取引を提供する時により良いモデルを使用するために、第１のモデルが第２のモデルより低いＷＰＡＥを有する場合、第１のモデルをより良いモデルとして出力し、そうでない場合には、第２のモデルをより良いモデルとして出力することを、実行可能であり得る。

別の態様では、コンピュータ実施方法は、電子商取引及びコンピュータシミュレーションの目的に有用な複数のエンゲージメント関連性モデルを受け取ることを含む。方法は、少なくとも１つのメトリックを予測するのにどれがより良いモデルであるかを特定するために、グラウンドトゥルースに対して複数のモデルの予測をオフラインで評価することを含む。評価することは、複数のユーザのユーザごとに、グラウンドトゥルース及びモデル予測を、それぞれの合計が１となるように正規化することと、複数のユーザのユーザごとに、グラウンドトゥルースとモデル予測との絶対誤差を合計することと、ユーザ合計を合計して総計を出すことと、総計をユーザ数で割って確率絶対誤差（ＰＡＥ）を出すことと、を含む。

別の態様では、装置は、少なくとも１つのプロセッサと、プロセッサによりアクセス可能であり、命令を含む少なくとも１つのコンピュータストレージを含み、命令は、プロセッサにより、第１のモデルに関して、０以上２以下の値を有する第１の確率絶対誤差（ＰＡＥ）を特定することを、実行可能である。命令は、第２のモデルに関して、０以上２以下の値を有する第２のＰＡＥを特定し、第１のＰＡＥが第２のＰＡＥ未満であることに応じて、第１のモデルを使用して電子商取引におけるユーザインタラクションを予測することを、実行可能である。命令は、第１のＰＡＥが第２のＰＡＥより大きいことに応じて、第２のモデルを使用して電子商取引におけるユーザインタラクションを予測することを、実行可能である。

本出願の詳細は、その構造及び動作の両方に関して、添付の図面を参照することで最もよく理解することができ、図面では、同様の参照番号は、同様の部分を指す。

本発明の原理による、例を含む例示的なシステムのブロック図である。 本発明の原理による、例示的なアーキテクチャのブロック図である。 ＰＡＥを特定するための、本発明の原理と一致する例示的なロジックのフローチャートである。 ＷＰＡＥを特定するための、本発明の原理と一致する例示的なロジックのフローチャートである。 評価への入力を表すデータ構造を示す。 評価への入力を表すデータ構造を示す。 単一のポジティブアイテムのシナリオに関する、完璧（「オラクル」）モデル及び完全過誤モデルを示す。 単一のポジティブアイテムのシナリオに関する、完璧（「オラクル」）モデル及び完全過誤モデルを示す。 平均モデルを示す。 複数のポジティブアイテムに関する、完璧モデル、優良モデル、一致モデル、及び過誤モデルを示す。 複数のポジティブアイテムに関する、完璧モデル、優良モデル、一致モデル、及び過誤モデルを示す。 複数のポジティブアイテムに関する、完璧モデル、優良モデル、一致モデル、及び過誤モデルを示す。 複数のポジティブアイテムに関する、完璧モデル、優良モデル、一致モデル、及び過誤モデルを示す。 例示的なモデルに関する、ＰＡＥとＷＰＡＥとの比較を示す。 例示的なモデルに関する、ＰＡＥとＷＰＡＥとの比較を示す。 例示的なモデルに関する、ＰＡＥとＷＰＡＥとの比較を示す。

本開示は、一般に、コンピュータゲームネットワークといったコンピュータシミュレーションネットワークなどのこれに限定されない一般消費者向け電子製品（ＣＥ）デバイスネットワークの態様を含むコンピュータエコシステムに関する。本明細書のシステムは、クライアントコンポーネントとサーバコンポーネントとの間でデータが交換され得るように、ネットワークを介して接続されたサーバコンポーネント及びクライアントコンポーネントを含み得る。クライアントコンポーネントは、１つ以上のコンピューティングデバイスを含み得、これには、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ（登録商標）あるいはＭｉｃｒｏｓｏｆｔもしくはＮｉｎｔｅｎｄｏまたは他の製造業者によるゲームコンソールなどのゲームコンソール、仮想現実（ＶＲ）ヘッドセット、拡張現実（ＡＲ）ヘッドセット、ポータブルテレビ（例えばスマートＴＶ、インターネット対応ＴＶ）、ラップトップ及びタブレットコンピュータなどのポータブルコンピュータ、並びにスマートフォン及び下記に論じられる追加例を含む他のモバイルデバイスが含まれる。これらのクライアントデバイスは、様々な動作環境で作動し得る。例えば、クライアントコンピュータのうちのいくつかは、例を挙げると、Ｌｉｎｕｘ（登録商標）オペレーティングシステム、Ｍｉｃｒｏｓｏｆｔ社のオペレーティングシステム、もしくはＵｎｉｘ（登録商標）オペレーティングシステム、またはＡｐｐｌｅ Ｃｏｍｐｕｔｅｒ製もしくはＧｏｏｇｌｅ製のオペレーティングシステムを採用し得る。これらの動作環境を使用して、ＭｉｃｒｏｓｏｆｔもしくはＧｏｏｇｌｅ製のブラウザ、または下記に論じられるインターネットサーバによりホストされるウェブサイトにアクセスできるＭｏｚｉｌｌａもしくは他のブラウザプログラムなど、１つ以上のブラウジングプログラムが実行され得る。また、本発明の原理による動作環境を使用して、１つ以上のコンピュータゲームプログラムが実行され得る。

サーバ及び／またはゲートウェイは、１つ以上のプロセッサを含み得、１つ以上のプロセッサは、インターネットなどのネットワークを介してデータを送受信するようにサーバを構成する命令を実行する。あるいは、クライアントとサーバは、ローカルイントラネットまたは仮想プライベートネットワークを介して接続することができる。サーバまたはコントローラは、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ（登録商標）といったゲームコンソール、パーソナルコンピュータなどにより、インスタンス化され得る。

クライアントとサーバとの間でネットワークを介して情報が交換され得る。このために、及びセキュリティのために、サーバ及び／またはクライアントは、ファイアウォール、ロードバランサ、テンポラリストレージ、及びプロキシ、並びに信頼性及びセキュリティのための他のネットワークインフラストラクチャを含み得る。１つ以上のサーバは、オンラインソーシャルウェブサイトなどの安全なコミュニティを、ネットワークメンバーに提供する方法を実施する装置を形成し得る。

本明細書で使用される命令は、システムにおいて情報を処理するためのコンピュータ実施ステップを指す。命令は、ソフトウェア、ファームウェア、またはハードウェアにおいて実施することができ、システムのコンポーネントにより実行される任意の種類のプログラム化されたステップを含み得る。

プロセッサは、アドレスライン、データライン、及び制御ラインなどの様々なライン、並びにレジスタ及びシフトレジスタを用いてロジックを実行することができる任意の従来の汎用単一チッププロセッサまたは汎用マルチチッププロセッサであり得る。

本明細書において、フローチャートを介して説明されるソフトウェアモジュール、及びユーザインターフェースは、様々なサブルーチン、プロシージャなどを含み得る。本開示を限定することなく、特定のモジュールにより実行されると述べられるロジックは、他のソフトウェアモジュールに再配分されてもよく、及び／または単一モジュールにおいて一緒に組み合わされてもよく、及び／または共有可能なライブラリにおいて利用可能な状態にされてもよい。

本明細書で述べられる本発明の原理は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせとして実装され得、ゆえに、例示的なコンポーネント、ブロック、モジュール、回路、及びステップは、これらの機能の観点から説明される。

下記で説明される機能及び方法は、ソフトウェアで実施される場合、Ｊａｖａ（登録商標）、Ｃ＃、またはＣ＋＋などのこれに限定されない好適な言語で記述され得、コンピュータ可読記憶媒体により記憶またはコンピュータ可読記憶媒体を介して送信され得、コンピュータ可読記憶媒体の例には、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、またはデジタル多用途ディスク（ＤＶＤ）などの他の光学ディスクストレージ、磁気ディスクストレージ、またはリムーバブルサムドライブを含む他の磁気ストレージデバイスなどが挙げられる。接続により、コンピュータ可読媒体が確立され得る。このような接続には、例として、光ファイバ及び同軸ワイヤを含むハードワイヤケーブル、並びにデジタル加入者線（ＤＳＬ）及びツイストペア線が含まれ得る。このような接続には、赤外線及びラジオを含む無線通信接続が含まれてもよい。

一実施形態に含まれる構成要素は、他の実施形態において、任意の好適な組み合わせで使用することができる。例えば、本明細書で説明され及び／または図に描かれる様々な構成要素のいずれも、組み合わされてもよく、交換されてもよく、または他の実施形態から除外されてもよい。

「Ａ、Ｂ、及びＣのうちの少なくとも１つを有するシステム」（同様に「Ａ、Ｂ、またはＣのうちの少なくとも１つを有するシステム」及び「Ａ、Ｂ、Ｃのうちの少なくとも１つを有するシステム」）には、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢを一緒に、ＡとＣを一緒に、ＢとＣを一緒に、及び／またはＡとＢとＣを一緒に、などを有するシステムが含まれる。

ここで具体的に図１を参照すると、本発明の原理による、上記で言及され下記でさらに説明される例示的なデバイスのうちの１つ以上を含み得る例示的なシステム１０が示される。システム１０に含まれる例示的なデバイスのうち初めに、ＴＶチューナー（同等にＴＶを制御するセットトップボックス）を備えたインターネット対応ＴＶなどのこれに限定されないオーディオビデオデバイス（ＡＶＤ）１２といった一般消費者向け電子製品（ＣＥ）デバイスが存在する。しかしながら、代替的に、ＡＶＤ１２は、例えばインターネット対応コンピュータ化冷蔵庫、洗濯機、または乾燥機などの電化製品または家庭用品であってもよい。また、代替的に、ＡＶＤ１２は、インターネット対応コンピュータ化（「スマート」）電話、タブレットコンピュータ、ノートブックコンピュータ、例えばインターネット対応コンピュータ化腕時計、インターネット対応コンピュータ化ブレスレット、他のインターネット対応コンピュータ化デバイスなどの装着可能コンピュータ化デバイス、インターネット対応コンピュータ化音楽プレーヤ、インターネット対応コンピュータ化ヘッドホン、埋め込み型皮膚デバイスなどのインターネット対応コンピュータ化埋め込み型デバイスなどであってもよい。いずれにせよ、ＡＶＤ１２は、本発明の原理を実施する（例えば、本発明の原理を実施するために他のＣＥデバイスと通信し、本明細書に説明されるロジックを実行し、本明細書に説明される任意の他の機能及び／または動作を実行する）ように構成されることを理解されたい。

従って、このような原理を実施するために、図１に示されるコンポーネントのうちのいくつかまたは全てにより、ＡＶＤ１２は確立され得る。例えば、ＡＶＤ１２は、１つ以上のディスプレイ１４を含み得、これは、高解像度または超高解像度「４Ｋ」以上のフラットスクリーンが実装され得、ディスプレイ上のタッチを介してユーザ入力信号を受信するタッチ対応であり得る。ＡＶＤ１２は、本発明の原理に従って音声を出力するための１つ以上のスピーカ１６と、例えばＡＶＤ１２を制御するためにＡＶＤ１２に音声コマンドを入力する、例えば音声受信器／マイクロホンなどの少なくとも１つの追加入力デバイス１８と、を含み得る。例示的なＡＶＤ１２はまた、１つ以上のプロセッサ２４の制御下で、インターネット、ＷＡＮ、ＬＡＮなどの少なくとも１つのネットワーク２２を介して通信するための１つ以上のネットワークインターフェース２０を含み得る。グラフィックプロセッサ２４Ａも含まれ得る。従って、インターフェース２０は、非限定的にメッシュネットワーク送受信器など、無線コンピュータネットワークインターフェースの例であるＷｉ−Ｆｉ送受信器であり得るが、これに限定されない。プロセッサ２４は、ＡＶＤ１２を制御して本発明の原理を実施し、これには、例えばディスプレイ１４を制御してディスプレイ１４上に画像を提示し、ディスプレイ１４から入力を受信するなど、本明細書に説明されるＡＶＤ１２の他の要素が含まれることを理解されたい。さらに、ネットワークインターフェース２０は、例えば有線または無線のモデムまたはルータであり得る、あるいは、例えば無線電話送受信器、または前述のＷｉ−Ｆｉ送受信器などの他の好適なインターフェースであり得ることに、留意されたい。

上記に加えて、ＡＶＤ１２はまた、別のＣＥデバイスに（例えば有線接続を用いて）物理的に接続するための、例えば高解像度マルチメディアインタフェース（ＨＤＭＩ（登録商標））ポートまたはＵＳＢポートなどの１つ以上の入力ポート２６、及び／または、ヘッドホンをＡＶＤ１２に接続して、ＡＶＤ１２からの音声をヘッドホンを介してユーザに提供するためのヘッドホンポートを含み得る。例えば、入力ポート２６は、オーディオビデオコンテンツのケーブルソースまたは衛星ソース２６ａに、有線または無線を介して接続され得る。従って、ソース２６ａは、例えば、別個のまたは統合されたセットトップボックスまたは衛星受信器であり得る。あるいは、ソース２６ａは、コンピュータゲームソフトウェア及びデータベースなどのコンテンツを含むゲームコンソールまたはディスクプレーヤであってもよい。ソース２６ａは、ゲームコンソールとして実装される場合、ＣＥデバイス４４に関連して下記で説明されるコンポーネントのうちのいくつかまたは全てを含み得る。

ＡＶＤ１２はさらに、一時的信号ではないディスクベースストレージまたはソリッドステートストレージなどの１つ以上のコンピュータメモリ２８を含み得、これらは、いくつかの事例では、ＡＶＤのシャシー内にスタンドアロンデバイスとして、またはＡＶプログラムを再生するためにＡＶＤのシャシーの内部もしくは外部のパーソナルビデオレコーディングデバイス（ＰＶＲ）もしくはビデオディスクプレーヤとして、またはリムーバブルメモリ媒体として、具現化されている。また、いくつかの実施形態では、ＡＶＤ１２は、位置受信器すなわち所在地受信器を含み得、これは、携帯電話受信器、ＧＰＳ受信器、及び／または高度計３０などであるがこれらに限定されず、例えば少なくとも１つの衛星または携帯電話中継塔から地理的位置情報を受信し、情報をプロセッサ２４に提供し、及び／またはプロセッサ２４と連動して、ＡＶＤ１２が配置されている高度を特定するように構成される。しかしながら、例えば、ＡＶＤ１２の所在地を、例えば全３次元で特定するために、携帯電話受信器、ＧＰＳ受信器、及び／または高度計以外の別の好適な位置受信器が、本発明の原理に従って使用されてもよいことを、理解されたい。

ＡＶＤ１２の説明を続けると、いくつかの実施形態では、ＡＶＤ１２は、１つ以上のカメラ３２を含み得、これは、例えば熱画像カメラ、ウェブカメラなどのデジタルカメラ、及び／またはＡＶＤ１２に統合されたカメラであり得、本発明の原理に従って写真／画像及び／または映像を収集するようにプロセッサ２４により制御可能であり得る。本明細書で説明されるカメラのいずれも、下記でさらに説明される高スペクトルカメラの例または複数の例を使用してもよい。

また、ＡＶＤ１２は、ブルートゥース（登録商標）送受信器３４と他の近距離無線通信（ＮＦＣ）要素３６とを含み得、これらは、ブルートゥース（登録商標）及び／またはＮＦＣ技術をそれぞれ使用して、他のデバイスと通信する。例示的なＮＦＣ要素は、無線周波数識別（ＲＦＩＤ）要素であり得る。また、Ｚｉｇｂｅｅ（登録商標）が使用されてもよい。

さらにまた、ＡＶＤ１２は、プロセッサ２４に入力を提供する１つ以上の補助センサ３７を含み得る（例えば、加速度計、ジャイロスコープ、サイクロメータ、または磁気センサなどのモーションセンサ、赤外線（ＩＲ）センサ、光学センサ、速度及び／またはケイデンスセンサ、ジェスチャセンサ（例えばジェスチャコマンドを感知する）など）。ＡＶＤ１２は、地上波（ＯＴＡ）ＴＶ放送を受信し、プロセッサ２４に入力を提供するＯＴＡ ＴＶ放送ポート３８を含み得る。前述に加えて、ＡＶＤ１２はまた、赤外線データ関連付け（ＩＲＤＡ）デバイスなどの赤外線（ＩＲ）送信器及び／またはＩＲ受信器及び／またはＩＲ送受信器４２を含み得ることに留意されたい。ＡＶＤ１２に電力供給を行うために、バッテリ（図示せず）が提供され得る。

さらに図１を参照すると、ＡＶＤ１２に加えて、システム１０は、１つ以上の他のＣＥデバイスタイプを含み得る。一例では、第１のＣＥデバイス４４を使用して、ＡＶＤ１２に直接及び／または後述のサーバを通して送信されるコマンドを介して、ＡＶＤ１２にコンピュータゲームの音声及び映像が送信され得るが、第２のＣＥデバイス４６も、第１のＣＥデバイス４４と同様のコンポーネントを含み得る。示される例では、第２のＣＥデバイス４６は、図示されるようにプレーヤ４７が装着するＶＲヘッドセット、またはプレーヤ４７が操作するハンドヘルドゲームコントローラとして、構成され得る。示される例では、２つのＣＥデバイス４４、４６のみが図示されるが、より少ないまたはより多いデバイスが使用されてもよいことが理解されよう。

示される例では、本発明の原理を例示するために、３つのデバイス１２、４４、４６は全て、例えば自宅内のエンターテインメントネットワークのメンバーである、または少なくとも家屋などの場所で互いに近接して存在すると、想定される。しかしながら、本発明の原理は、明確に別段の主張がない限り、破線４８で示される特定の場所に限定されない。

非限定的な例示の第１のＣＥデバイス４４は、前述のデバイスのうちのいずれか１つ、例えば、ポータブル無線ラップトップコンピュータもしくはノートブックコンピュータ、またはゲームコントローラ（「コンソール」とも称される）により確立され得、従って、後述されるコンポーネントのうちの１つ以上を有し得る。第１のＣＥデバイス４４は、例えば、ＡＶ再生及び一時停止コマンドをＡＶＤ１２に発令するために、リモートコントロール（ＲＣ）であり得る、または第１のＣＥデバイス４４は、タブレットコンピュータ、有線または無線リンクを介してＡＶＤ１２と通信するゲームコントローラ、パーソナルコンピュータ、無線電話などのより洗練されたデバイスであり得る。

従って、第１のＣＥデバイス４４は、ディスプレイ上のタッチを介してユーザ入力信号を受信するタッチ対応であり得る１つ以上のディスプレイ５０を含み得る。第１のＣＥデバイス４４は、本発明の原理に従って音声を出力するための１つ以上のスピーカ５２と、例えば第１のＣＥデバイス４４を制御するために第１のＣＥデバイス４４に音声コマンドを入力する、例えば音声受信器／マイクロホンなどの少なくとも１つの追加入力デバイス５４と、を含み得る。例示的な第１のＣＥデバイス４４はまた、１つ以上のＣＥデバイスプロセッサ５８の制御下で、ネットワーク２２を介して通信するための１つ以上のネットワークインターフェース５６を含み得る。グラフィックプロセッサ５８Ａも含まれ得る。従って、インターフェース５６は、メッシュネットワークインターフェースを含む、無線コンピュータネットワークインターフェースの例であるＷｉ−Ｆｉ送受信器であり得るが、これに限定されない。プロセッサ５８は、第１のＣＥデバイス４４を制御して本発明の原理を実施し、これには、例えばディスプレイ５０を制御してディスプレイ５０上に画像を提示し、ディスプレイ５０から入力を受信するなど、本明細書に説明される第１のＣＥデバイス４４の他の要素が含まれることを理解されたい。さらに、ネットワークインターフェース５６は、例えば有線または無線のモデムまたはルータであり得る、あるいは、例えば無線電話送受信器、または前述のＷｉ−Ｆｉ送受信器などの他の好適なインターフェースであり得ることに、留意されたい。

上記に加えて、第１のＣＥデバイス４４はまた、別のＣＥデバイスに（例えば有線接続を用いて）物理的に接続するための、例えばＨＤＭＩ（登録商標）ポートまたはＵＳＢポートなどの１つ以上の入力ポート６０、及び／または、ヘッドホンを第１のＣＥデバイス４４に接続して、第１のＣＥデバイス４４からの音声をヘッドホンを介してユーザに提供するためのヘッドホンポートを含み得る。第１のＣＥデバイス４４はさらに、ディスクベースストレージまたはソリッドステートストレージなどの１つ以上の有形コンピュータ可読記憶媒体６２を含み得る。また、いくつかの実施形態では、第１のＣＥデバイス４４は、位置受信器すなわち所在地受信器を含み得、これは、携帯電話及び／またはＧＰＳ受信器及び／または高度計６４などであるがこれらに限定されず、例えば、三角測量を使用して、少なくとも１つの衛星及び／または携帯電話中継塔から地理的位置情報を受信し、情報をＣＥデバイスプロセッサ５８に提供し、及び／またはＣＥデバイスプロセッサ５８と連動して、第１のＣＥデバイス４４が配置されている高度を特定するように構成される。しかしながら、例えば、第１のＣＥデバイス４４の所在地を、例えば全３次元で特定するために、携帯電話及び／またはＧＰＳ受信器及び／または高度計以外の別の好適な位置受信器が、本発明の原理に従って使用されてもよいことを、理解されたい。

第１のＣＥデバイス４４の説明を続けると、いくつかの実施形態では、第１のＣＥデバイス４４は、１つ以上のカメラ６６を含み得、これは、例えば熱画像カメラ、ウェブカメラなどのデジタルカメラ、及び／または第１のＣＥデバイス４４に統合されたカメラであり得、本発明の原理に従って写真／画像及び／または映像を収集するようにＣＥデバイスプロセッサ５８により制御可能であり得る。また、第１のＣＥデバイス４４は、ブルートゥース（登録商標）送受信器６８と他の近距離無線通信（ＮＦＣ）要素７０を含み得、これらは、ブルートゥース（登録商標）及び／またはＮＦＣ技術をそれぞれ使用して、他のデバイスと通信する。例示的なＮＦＣ要素は、無線周波数識別（ＲＦＩＤ）要素であり得る。

さらにまた、第１のＣＥデバイス４４は、ＣＥデバイスプロセッサ５８に入力を提供する１つ以上の補助センサ７２を含み得る（例えば、加速度計、ジャイロスコープ、サイクロメータ、または磁気センサなどのモーションセンサ、赤外線（ＩＲ）センサ、光学センサ、速度及び／またはケイデンスセンサ、ジェスチャセンサ（例えばジェスチャコマンドを感知する）など）。第１のＣＥデバイス４４はさらに、例えば、１つ以上の気候センサ７４（例えば気圧計、湿度センサ、風センサ、光センサ、温度センサなど）及び／または１つ以上の生体センサ７６などの他のセンサを含み得、これらは、ＣＥデバイスプロセッサ５８に入力を提供する。前述に加えて、いくつかの実施形態では、第１のＣＥデバイス４４はまた、赤外線データ関連付け（ＩＲＤＡ）デバイスなどの赤外線（ＩＲ）送信器及び／またはＩＲ受信器及び／またはＩＲ送受信器７８を含み得ることに留意されたい。第１のＣＥデバイス４４に電力供給を行うために、バッテリ（図示せず）が提供され得る。ＣＥデバイス４４は、前述の通信モード及び関連コンポーネントのうちのいずれかを介して、ＡＶＤ１２と通信し得る。

第２のＣＥデバイス４６は、ＣＥデバイス４４に関して示されるコンポーネントのうちのいくつかまたは全てを含み得る。一方または両方のＣＥデバイスが、１つ以上のバッテリにより電力供給され得る。

ここで、前述の少なくとも１つのサーバ８０を参照すると、これは、少なくとも１つのサーバプロセッサ８２と、ディスクベースストレージまたはソリッドステートストレージなどの少なくとも１つの有形コンピュータ可読記憶媒体８４と、少なくとも１つのネットワークインターフェース８６とを含み、少なくとも１つのネットワークインターフェース８６は、サーバプロセッサ８２の制御下で、ネットワーク２２を介して図１の他のデバイスと通信することを可能にし、実際に、本発明の原理に従ってサーバとクライアントデバイスとの間の通信を促進し得る。ネットワークインターフェース８６は、例えば、有線もしくは無線のモデムもしくはルータ、Ｗｉ−Ｆｉ送受信器、または例えば無線電話送受信器などの他の好適なインターフェースであり得ることに、留意されたい。

従って、いくつかの実施形態では、サーバ８０は、インターネットサーバまたはサーバ「ファーム」全体であり得、例えばネットワークゲームアプリケーションなどの例示的な実施形態で、システム１０のデバイスがサーバ８０を介して「クラウド」環境にアクセスし得るように、「クラウド」機能を含み実行し得る。あるいは、サーバ８０は、図１に示される他のデバイスと同じ部屋または近くに存在する１つ以上のゲームコンソールまたは他のコンピュータにより、実施され得る。

上記で示唆されたことに加えて、後述されるロジックブロック、モジュール、及び回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他のプログラマブルロジックデバイス、例えば特定用途向け集積回路（ＡＳＩＣ）、個別ゲートもしくはトランジスタロジック、個別ハードウェアコンポーネント、あるいは本明細書で説明される機能を実行するように設計されたこれらの任意の組み合わせにより、実装または実行され得る。プロセッサは、コントローラまたはステートマシンまたはコンピューティングデバイスの組み合わせにより、実施され得る。従って、本明細書の方法は、プロセッサにより実行されるソフトウェア命令、好適に構成された特定用途向け集積回路（ＡＳＩＣ）もしくはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）モジュール、または当業者に自明の任意の他の便利な方法で、実施され得る。ソフトウェア命令が採用される場合、ソフトウェア命令は、ハードディスクドライブ、ＣＤ ＲＯＭ、またはフラッシュドライブなどの非一時的デバイス内で具現化され得る。またソフトウェアコード命令は、インターネットからダウンロードされてもよい。

図２は、ハードウェア記憶デバイスと、好適なプロセッサにより実行されるソフトウェアモジュールとを含む、本発明の原理と一致する例示的なアーキテクチャ２００を示す。複数のデータソース２０２は、実際の製品購入、ウェブページ上の滞在時間、製品ランキングなど、本明細書で「グラウンドトゥルース」と称されることもある実際の顧客インタラクションを蓄積するオフラインベンチマーク構築モジュール２０４に、情報を供給する。データソースには、様々な企業のコンピュータベース販売データベースが含まれ得る。この「グラウンドトゥルース」データは、コンピュータストレージ２０６に記憶され得る。

複数の予測モデルの各予測モデルのモデル特徴２０８は、対応付けられたストレージ２１２を有するそれぞれのオフラインバッチ予測モジュール２１０に供給される。モデル特徴は、予測モデルがそれぞれのモデルトレーニングプロセス２１４使用時に基づく命令であり、オフラインバッチ予測モジュール２１０は、モデルの特徴２０８に基づいてモデルの予測を出力するモデル実行モジュールである。

モジュール２１０からの予測モデル値は、対応するグラウンドトゥルースデータと共に、それぞれのオフライン確率絶対誤差（ＰＡＥ）評価モジュール２１６に提供され、オフライン確率絶対誤差（ＰＡＥ）評価モジュール２１６は、下記でも論述される重みを使用して加重ＰＡＥ（ＷＰＡＥ）を出すように実施され得、加重ＰＡＥ（ＷＰＡＥ）は、多様性または順位ベースランキングを考慮してモデルの有効性を評価し、メトリック２１８を出力する。ＰＡＥ２１６の出力（メトリック２１８）は、オフラインクリーンアップユーティリティ２２０を使用して複数のモデル２１０の中から「最良」を特定するために使用され、オフラインクリーンアップユーティリティ２２０は、様々なストレージ２２６を介して、結果の視覚化２２２、並びに結果の性質及び可用性に関するアラートを提供し得る。示される例では、ＰＡＥ評価モジュール２１６用のグラウンドトゥルースデータをクリーンアップするために、対応付けられたストレージ２３０を有するベンチマーククリーンアップユーティリティ２２８も提供され得る。本明細書に説明されるストレージは、分散され得る。

図３及び図４は、確率絶対誤差（ＰＡＥ）を、複数の予測モデル及び加重ＰＡＥ（ＷＰＡＥ）から特定するための例示的なロジックを、それぞれ示す。一般に、ユーザアイテム関連性モデルは、ユーザｕ及びアイテムｉごとに、アイテムがユーザにどのように関連するかを測定する関連性スコア「ｓ」が存在するように、関連性関数 をモデル化することを目的とすると、想定される。

「アイテム」の例には、コンピュータゲームなどのコンピュータシミュレーション、デスクトップテーマ、アバター、アドオン、及び仮想通過などのダウンロード可能コンテンツ（ＤＬＣ）、バンドル、デモンストレーションビデオもしくは他のデモンストレーションコンテンツ、「新着情報」ニュースフィード、友達、人々、コミュニティのストーリー、並びにユーザ生成コンテンツ（ＵＧＣ）、例えばＵＧＣビデオ、ＵＧＣブロードキャスト、及びＵＧＣ画像などが、含まれ得る。

上記を考慮して、ＰＡＥは、次のように導入される。
Ｕはユーザの集合であり、｜Ｕ｜はユーザの総数であり、ｕは任意の単一ユーザを表し、ｉは任意の単一アイテムを表す。Ｉ_ｕは、ユーザｕがインタラクションを行った実際のポジティブアイテムｉ、すなわちアイテムとの実際のユーザインタラクションから記録されたグラウンドトゥルースを含む。Ｐ_ｕ，ｉは、アイテムｉに対するユーザｕの実際の正規化されたインタラクションスコアを表し、例えば、購入イベントの場合は１または０（１＝購入、０＝未購入）であり、ページに費やした時間の場合は１または９（後で数値０．１及び０．９に正規化される）などである。同様に、Ｐ＾_ｕ，ｉは、ユーザｕ及びアイテムｉに関するテスト対象モデルの予測スコアである。正規化の制約により、ユーザｕごとに、ユーザがインタラクションを行った全てのアイテムに関して、スコアが合計１となるようにする。言い換えると、次のように表される。

ロジックは、データ集合内のユーザごとにブロック３００から始まり、ブロック３０２へ進み、ユーザがインタラクションを行う（または行わない）と予測される各アイテムに対して、後続のステップを実行する。ブロック３０３へ進むと、予測インタラクション数値及び実インタラクション数値が、前述の正規化制約に確実に従うように、正規化プロセスが実行される。ブロック３０４にて、上記の方程式に示されるように、テスト対象アイテムとのユーザの正規化予測インタラクションと正規化実インタラクションとの絶対差が特定される。判定菱形３０６にて、テスト対象アイテムが最後のアイテムではないと判定された場合、ロジックはブロック３０８へ進み、次のアイテム、すなわちテスト対象ユーザの次のアイテムの予測インタラクション及び実インタラクションを取得し、ブロック３０４へ戻り、説明されたように進む。

一方、ステート３０６にて、テスト対象ユーザに関して最後のアイテムが処理されたという判定に応じて、ロジックはブロック３１０へ進み、そのユーザに関して、ブロック３０４にて特定された絶対差を合計する。次にロジックは、ステート３１２にて、テスト対象ユーザが最後の処理対象ユーザであるか否かを判定し、そうでない場合、ロジックは、ブロック３１４へ進み、次のユーザに対応付けられたデータを取得し、ブロック３０２に戻り、前述の動作を実行する。

対照的に、ステート３１２にて最後のユーザのインタラクション情報が処理されたという判定に応じて、ロジックは、ブロック３１６へ進み、ブロック３１０の反復からユーザ合計を合計する。ユーザ合計の合計は、ユーザの総数により割られて、テスト対象モデルのＰＡＥが出され、これはブロック３１８に出力される。プロセスは、評価が求められる全ての予測モデルに対し繰り返され、最小のＰＡＥを有するモデルは「最良モデル」と示され、ブロック３２０にて、電子商取引または他の用途に使用される。

上記で論じられた正規化により、ＰＡＥは、本明細書で「オラクル」と称されることもある完璧モデルである値０と、何も正しく予測しない過誤モデルである値２との間の任意の値であり得ることに、留意されたい。

非限定的な例として、「最良」モデルを使用して、特定のユーザが購入し得る製品を予測し得ることで、そのユーザを対象にその製品の広告を行うことができる。あるいは、「最良」モデルを使用して、ユーザが製品のリストをどのようにランク付けするかを予測し得ることで、そのユーザを対象にリスト上位の製品の広告を行い、リスト下位の製品の広告はそのユーザには行わないようにすることができる。あるいは、「最良」モデルを使用して、ユーザが特定のウェブページに滞在する時間の長さを予測し得ることで、ユーザが比較的長い時間滞在するとモデルが予測するウェブページ上に、対象となる広告を提示することができる。

図４を導入するにあたって、いくつかの特別な事例でＰＡＥを適用する時に、実際のデータ分布が非常に人気のある特定のアイテムに偏って表れる場合、ＰＡＥもそのように偏り得ると、本発明の原理は認識している。本発明の原理は、人気の低いアイテムを正しく予測する事例をより大きい割合で報奨することが望ましいという意味では、多様性を報奨するメトリックを求めている。言い換えると、より人気のあるアイテムの正しい予測は、単調変換に従って減値される。特別な事例の他の例には、順位ベースランキングが含まれ、より高いランクの正しい予測は、順位ベース変換に従って報奨される。

上記を念頭に置いて、加重ＰＡＷ（ＷＰＡＥ）は、次のように導入される。
ここで、Ｉ＾_ｕは予測を含み、Ｉ_ｕはユーザｕがインタラクションを行った実際のポジティブアイテムｉを含み、ｗ_ｉは、このようなアイテムｉに関連する減値された重みであり、グラウンドトゥルースから計算され、減値が実行されない場合は１であり得、あるいは、任意の単調変換、例えばアイテム頻度に関連した減値、頻度の平方根割る頻度（√ｆｒｅｑ／ｆｒｅｑ）またはｌｏｇ（ｆｒｅｑ）ｆｒｅｑであり得る。順位ベースランキングの例では、重みは、例えばＮ位であり得、Ｎは、考慮対象となる上位Ｎ個の予測を示し、位は、特定のアイテムのランキング順位である。

「オラクル」（すなわち的確なグラウンドトゥルースを知る完璧モデル）の場合、常にＷＰＡＥ＝０となる。事実から完全に外れたモデルの場合、常にＷＰＡＥ＝２となる。図４に、さらに例示される。ブロック４００から始まり、図３のステート３０４〜３１０で示された方法と同じ方法で、個々のユーザ合計が取得される。ブロック４０２へ進むと、ユーザ合計ごとに、各予測インタラクションに重み付けが行われて、加重予測インタラクションが生成され、加重予測インタラクションが合計されて、加重アイテム合計が生成される。ブロック４０４に進むと、各ユーザ合計に加重アイテム合計を掛けて、ユーザ合計積が生成され、全てのユーザのユーザ合計積が、ブロック４０６で合計される。ブロック４０６での合計は、テスト対象モデルのＷＰＡＥを確立するために、ブロック４０８にて次のように処理される：モデルが対象アイテムはネガティブではない（例えばユーザはこのアイテムを購入する／読む／クリックする／検討する）と予測した各アイテムに関して、重みｗ＿Ｉ＊予測確率ｐ＿ｕ，Ｉの値が計算される。最後に、対象ユーザごとに、全アイテムにわたり合計し、次に全ユーザにわたり合計を合計する。

実施例１
例として、頻度７０％のアイテム１と、頻度３０％のアイテム２という、２つのアイテムがあると仮定する。ユーザ１〜７は、アイテム１を購入し、ユーザ８〜１０は、アイテム２を購入した。

全てのアイテム１を予測する単純モデルは、７回正しく予測し、３回誤って予測する。７回のうち、ユーザごとの予測とグラウンドトゥルースとの個別誤差は０であり、３回のうち、ユーザごとの個別誤差は２である。

減値なしでは、ｗ１＝１、ｗ２＝１である。各ユーザは１つのアイテムのみを購入したので、予測インタラクションは、全ｕ、ｉに関して、ｕ∈１、２、ｉ∈１、・・・、１０である。次にＷＰＡＥは、１／（（１ｘ７）＋（１ｘ３））ｘ（１ｘ７ｘ０＋１ｘ３ｘ２）＝０．６０となる（重みの適用なし）。

ここで、√ｆｒｅｑ／ｆｒｅｑが減値重みとして使用される場合、ｗ_１＝√７／７＝０．３７であり、ｗ_２＝√３／３＝０．５７である。再び、この実施例では、各ユーザは１つのアイテムのみを購入するため、新しいＷＰＡＥは、次の通りである。
１／（０．３７＊７＋０．５７＊３）ｘ（０．３７＊７＊０＋０．５７＊３＊２）＝０．７９

別のモデルは、アイテム１を７回のうち６回正しく予測し、アイテム２を３回のうち１回正しく予測し、次のような結果となる。
ＷＰＡＥ＝１／（１＊７＋１＊３）ｘ（１＊１＊２＋１＊２＊２）＝０．６０（均等な重み付け）
及び
ＷＰＡＥ＝１／（０．３７＊７＋０．５７＊３）ｘ（０．３７＊１＊２＋０．５７＊２＊２）＝０．７０（不均等な重み付け）

さらに別のモデルは、アイテム１を７回のうち４回正しく予測し、アイテム２を３回のうち３回正しく予測し、次のような結果となる。
ＷＰＡＥ＝１／（１＊７＋１＊３）ｘ（３＊１＊２＋０＊１＊０）＝０．６０（重み付けなし）
ＷＰＡＥ＝１／（０．３７＊７＋０．５７＊３）ｘ（０．３７＊３＊２＋０．５７＊１＊０）＝０．５１（重み付けあり）

完全失敗モデルは、アイテム１を７回のうち０回正しく予測し、アイテム２を３回のうち０回正しく予測し、次のような結果となる。
ＷＰＡＥ＝１／（１＊７＋１＊３）ｘ（７＊１＊２＋３＊１＊２）＝２（重み付けなし）
ＷＰＡＥ＝１／（０．３７＊７＋０．５７＊３）ｘ（０．３７＊７＊２＋０．５７＊３＊２）＝２（重み付けあり）

実施例２
この実施例では、ユーザが複数のアイテムを購入する事例を扱う。前の実施例と同様に、２つのアイテムがあると仮定する。前の実施例と異なる点は、ユーザ１〜６はアイテム１を購入し、ユーザ７〜９はアイテム２を購入し、ユーザ１０は両アイテムを同等に購入したと想定される。ここで、１１件の購入があり、アイテム１は７回購入され、アイテム２は４回購入されている。この区別は、下記に示されるように、減値係数を計算する時に重要である。

全てのアイテム１を予測する単純モデルは、６回正解し、１回部分的に正解する。６回のうち、ユーザごとの予測と実際との個別誤差は０であり、３回のうち、ユーザごとの個別誤差は２であり、１回のうち、ユーザごとの個別誤差は｜０．５−１｜＋｜０．５−０｜＝１である。この事例では、ＷＰＡＥ＝１／（１＊７＋１＊３）ｘ（１＊６＊０＋１＊３＊２＋１＊１＊１）＝０．７である。

ここで、加重減値では、減値された重みを知っている必要がある。アイテム１のｗ_１は、√７／７＝０．３７８であり、アイテム２のｗ_２は、√４／４＝０．５である。両アイテムを等しく購入したユーザ１０の場合、このモデルはユーザ１０のアイテム１を予測したため、ＷＰＡＥは、｜０．５−１｜＋｜０．５−０｜＝１である。さらに、ユーザ１０の減値係数は、このユーザのＩの加重実インタラクションｆの合計であるため、＝０．３７９ ０．５＋０．５ ０．５＝０．４３９である。この減値係数は、定義に従って、複数の箇所で考慮される必要がある。
ＷＰＡＥ＝１／（０．３７８＊６＋０．５＊３＋０．４３９）ｘ（０．３７８＊６＊０＋０．５＊３＊２＋０．４３９＊１＊１）＝０．８１

完全失敗モデルは、アイテム１を６回のうち０回正しく予測し、アイテム２を３回のうち０回正しく予測し、ユーザ１０に関しては、全ての回を誤って予測している（例示の便宜上、完全失敗モデルは、ユーザ１０に関して別のアイテム、例えばアイテム３を予測したと想定することができる）。
ＷＰＡＥ＝１／（１＊７＋１＊３）ｘ（１＊６＊２＋１＊３＊２＋１＊１＊２）＝２
そして、この加重ＷＰＡＥは、最高可能スコアである２に留まる。
ＷＰＡＥ＝１／（０．３７＊７＋０．５７＊２＋０．４７）ｘ（０．３７＊６＊２＋０．５７＊３＊２＋０．４７＊１＊２）＝２

実施例３
ここで、４つのアイテムと２人のみのユーザを想定する。４つのアイテムのアイテム頻度は、４、３、２、１である。ｆｒｅｑの平方根／ｆｒｅｑの減値変換を使用して、減値係数が表に示される。次の表は、グラウンドトゥルースと、異なる予測の４つのモデルとを示す。

ユーザ１
頻度 ４ ３ ２ １
減値ｗ_ｉ ０．５ ０．６ ０．７ １
アイテム ｉ１ ｉ２ ｉ３ ｉ４
ユーザ１ 事実 ０．５ ０．５ ０ ０
モデル１ ０ ０ ０ ０
モデル２ ０．６ ０．４ ０ ０
モデル３ ０．２ ０．２ ０．５ ０．１
モデル４ ０ ０ ０ １

ユーザ２
頻度 ４ ３ ２ １
減値ｗ_ｉ ０．５ ０．６ ０．７ １
アイテム ｉ１ ｉ２ ｉ３ ｉ４
ユーザ２ 事実 １ ０ ０ ０
モデル１ １ ０ ０ ０
モデル２ ０．６ ０．４ ０ ０
モデル３ ０．２ ０．２ ０．５ ０．１
モデル４ ０ ０ ０ １

全てのモデルで、ユーザ１は、アイテム掛ける加重グラウンドトゥルースの合計＝０．５＊０．５＋０．６＊０．５＝０．５５であり、ユーザ２は、０．５＊１＋０．５＝１であり、ユーザ２のＰＡＥは、１−１＋０＝０であり、ＷＰＡＥ＝１／（０．５＋０．５５）ｘ（０．５５＊１＋０．５＊０）＝０．５２である。

モデル２では、ユーザ１のＰＡＥは、０．６−０．５＋０．５−０．４＝０．２であり、ユーザ２のＰＡＥは、１−０．６＋０．４＝０．８である。この事例のＷＰＡＥは、ＷＰＡＥ＝１／（０．５＋０．５５）ｘ（０．５５＊０．２＋０．５＊０．８）＝０．４８である。減値係数を加えない場合、モデル１とモデル２は、全く同じ全体のＰＡＥを有することに留意されたい。ここで、アイテム２（ｉ２）を正しく予測したことに対して、減値による小さい報奨が与えられる。

モデル３の場合、ユーザ１のＰＡＥは、０．５−０．２＋０．５−０．２＋０．５＋０．１＝０．３＋０．３＋（１−０．４）＝１．２である。ユーザ２のＰＡＥは、１−０．２＋０．２＋０．５＋０．１＝１−０．２＋（１−０．２）＝１．６である。この事例のＷＰＡＥは、ＷＰＡＥ＝１／（０．５＋０．５５）ｘ（０．５５＊１．２＋０．５＊１．６）＝１．３９である。

モデル４では、ユーザ１のＰＡＥは、０．５＋０．５＋１＝２であり、ユーザ２のＰＡＥは、１−０＋１−０＝２である。この事例のＷＰＡＥは、ＷＰＡＥ＝１／（０．５＋０．５５）ｘ（０．５５＊２＋０．５＊２）＝２である。

図５は、ユーザを、グラウンドトゥルースインタラクション（すなわちアイテム）とインタラクションのスコアとに関連付けるデータ構造を示し、示される例では、「１」は、ユーザがアイテムにインタラクションを行ったこと（インタラクションを行わないことと対照的に）を意味する。図６は、ユーザインタラクションのモデル予測のデータ構造を示し、示される例では、０．８である。通常、各ユーザは、多数のインタラクション（アイテム）と、対応するグラウンドトゥルースと、予測スコアとに対応付けられ、各モデルは、多数のユーザに対応付けられる。図５及び図６は、基本的に、ＰＡＥ及びＷＰＡＥに関する上記の等式の入力値を示す。

図７及び８はそれぞれ、単一のポジティブアイテムシナリオに関して、全アイテムにわたり実際すなわちグラウンドトゥルースの結果７０２を完璧に予測した（ＰＡＥ＝０）図７の楕円７００で示される完璧（「オラクル」）モデルと、全アイテムにわたり実際すなわちグラウンドトゥルースの結果７０２を全く予測しなかった（ＰＡＥ＝２）図８の楕円８００で示される完全過誤モデルとを示す。完全ランダムモデル７０４は、全アイテムに関して同じ確率を予測することに留意されたい。さらに、図では正規化が示され、全アイテムの全値の合計は１に等しく、省略記号７０６が存在するが、説明を明確にするために、表示の値は合計すると１となるように示され、省略記号７０６は、表示よりも多くのアイテムが通常分析されることを示すためにのみ使用されていることに、留意されたい。図９は、楕円９００の中に、ＰＡＥが１の平均モデルを示す。

図１０〜図１３はそれぞれ、複数のポジティブアイテムに関する、完璧モデル１０００（図１０）、優良モデル１１００（図１１）、一致モデル１２００（図１２）、及び過誤モデル１３００（図１３）を示す。

図１４及び図１５は、特定のモデルに関して、ＰＡＥとＷＰＡＥとの測定の差を例示し、一方図１６は、完全過誤モデルに関して、ＰＡＥ及びＷＰＡＥの両方が同じ値を示すことを例示する。図１４では、２つのモデル、モデル１及びモデル２が、示される条件で同じＰＡＥを出すが、ＷＰＡＥは異なっており、これは、ユーザ１と比較してユーザ２は、行１４００で示されるようにグラウンドトゥルースの統計がより偏っており、残りの統計は両ユーザとも４つのアイテム全てに関して同じであることに、起因する。図１５は、ＰＡＥとＷＰＡＥの違いが付随する精度の低いモデル（モデル３）の同じ統計を例示する。図１６は、完全過誤モデル（モデル４）に関して、両測定（ＰＡＥ及びＷＰＡＥ）が完全な失敗を示す同じ値であることを示す。

本明細書の他の箇所で本発明の原理を使用して記された利点に加えて、または利点の増幅で、ＰＡＥは、ドメインの詳細を有利に取り除き、評価のみに集中する一貫性があり柔軟なメトリックを提供する。評価されたモデルは、ドメイン知識またはモデル特有情報を正規化に組み込むことができる（例えば上位２０または３０を使用して、スコアの信頼度を高める）。グラウンドトゥルースは、ビジネス知識を念頭に置いて（例えば再生時間、購入数、獲得収益などの数値の処理；返金、否定的なレビューなどの否定的な値の処理方法）、正規化され得る。０が完全一致で２が完全不一致である［０、２］の固定範囲により、ＰＡＥはより低いスコアの時により良いモデルを意味することが、簡単に理解することができる。ＰＡＥは、高いランキング力を有するモデルを報奨し、ランキングの代理として確率を正規化する。ポジティブサンプルに関してより高い確率を予測するモデルは、スコアが高くなる。

ＷＰＡＥに関して、実際のデータが歪んでいる場合、評価は当然、歪みを活用するモデルを報奨し得ることに留意されたい。例えば、１つのゲーム（５００ゲーム中）が合計購入の１７％を占める場合、この１つのゲームを単純に予測すると、ＰＡＥは比較的低くなる。多様性及びカバレッジを与える「ロングテール」の予測に優れたモデルを報奨するために、一貫性があり柔軟性のあるＷＰＡＥが提供され、その理由は、ＷＰＡＥが、幅広いスコアに適用可能であり、データ及びモデルの正規化にドメイン知識を組み込む柔軟性を有するからである。ＷＰＡＥはまた、データの自然な分布の実施と多様性の奨励との間でバランスを取る柔軟性も有し、ＰＡＥと同様に、伝達と理解が簡単である。

本発明の原理は、いくつかの例示的な実施形態を参照して説明されたが、これらは限定を意図するものではなく、本明細書で請求される主題を実施するために、様々な代替的構成が使用されてもよいことは、理解されよう。

Claims (20)

1. 一時的信号ではなく、かつ命令を含む少なくとも１つのコンピュータストレージを備えるデバイスであって、
   前記命令は、少なくとも１つのプロセッサにより、
   第１のモデルに関して、
   ユーザとアイテムとの複数の集合の集合ごとに、前記アイテムとのユーザインタラクションのモデル予測を表す第１の値と、前記アイテムとの実際のユーザインタラクションを表す第２の値との絶対差を特定することであって、各ユーザの前記第１の値は、前記第１の値の合計が１となるように正規化され、各ユーザの前記第２の値は、前記第２の値の合計が１となるように正規化される、前記特定することと、
   多数のユーザのユーザごとに、複数のアイテムの特定された前記絶対差を合計してユーザ合計を出すことと、
   前記ユーザ合計を合計して、総計を出すことと、
   前記総計をユーザ数で割って確率絶対誤差（ＰＡＥ）を出すことと、
   少なくとも第２のモデルのＰＡＥを特定することと、
   前記第１のモデルが前記第２のモデルより低いＰＡＥを有する場合、前記第１のモデルをより良いモデルとして出力し、そうでない場合には、前記第２のモデルを前記より良いモデルとして出力することであって、少なくとも、各ユーザの前記第２の値は、前記第２の値の合計が１となるように正規化される、前記出力することと、
   電子商取引を提供する際に、前記より良いモデルを使用することと、
   を実行可能である、
   デバイス。
2. 前記少なくとも１つのプロセッサを備える、請求項１に記載のデバイス。
3. 各ユーザの前記第１の値は、前記第１の値の合計が１となるように正規化される、請求項１に記載のデバイス。
4. 前記命令は、
   前記ユーザ合計を合計する前に、少なくともいくつかのユーザ合計に、前記アイテムとの前記実際のユーザインタラクションを表す加重された第２の値の合計を掛けて、加重されたユーザ合計を出すことと、
   前記加重されたユーザ合計を合計して、加重ユーザ合計を出すことと、
   を実行可能である、請求項１に記載のデバイス。
5. 前記命令は、
   前記加重ユーザ合計を、全ユーザにわたる前記加重された第２の値の合計で割って、加重ＰＡＥ（ＷＰＡＥ）を出すこと
   を実行可能である、請求項４に記載のデバイス。
6. 前記命令は、
   前記第１のモデルが前記第２のモデルより低いＷＰＡＥを有する場合、前記第１のモデルをより良いモデルとして出力し、そうでない場合には、前記第２のモデルを前記より良いモデルとして出力することと、
   電子商取引を提供する際に、前記より良いモデルを使用することと、
   を実行可能である、請求項５に記載のデバイス。
7. 前記命令を実行する前記少なくとも１つのプロセッサを備える、請求項２に記載のデバイス。
8. コンピュータ実施方法であって、
   電子商取引及びコンピュータシミュレーションの目的に有用な複数のエンゲージメント関連性モデルを受け取ることと、
   少なくとも１つのメトリックを予測するのにどれがより良いモデルであるかを特定するために、グラウンドトゥルースに対して前記複数のモデルの予測をオフラインで評価することと、
   を含み、
   前記評価することは、
   多数のユーザのユーザごとにグラウンドトゥルースとモデル予測との絶対誤差を合計することと、
   全予測統計の前記合計が１となるように正規化することと、
   を含む、
   方法。
9. 不均衡な人気を有するアイテムに対する偏りを考慮して評価の歪みを低減させるために、重みを適用すること
   を含む、請求項８に記載の方法。
10. 前記メトリックは、購入される可能性のある少なくとも１つの製品を含む、請求項８に記載の方法。
11. 前記メトリックは、ユーザがウェブページに留まる少なくとも１つの期間を含む、請求項８に記載の方法。
12. 前記メトリックは、少なくとも１つの製品ランキングを含む、請求項８に記載の方法。
13. 前記メトリックは、少なくとも１つのサービスランキングを含む、請求項８に記載の方法。
14. 少なくとも１つのプロセッサと、
    前記プロセッサによりアクセス可能であり、かつ命令を含む少なくとも１つのコンピュータストレージと、
    を備える装置であって、
    前記命令は、前記プロセッサにより、
    第１のモデルに関して、０以上２以下の値を有する第１の確率絶対誤差（ＰＡＥ）を特定することと、
    第２のモデルに関して、０以上２以下の値を有する第２のＰＡＥを特定することと、
    前記第１のＰＡＥが前記第２のＰＡＥより小さいことに応じて、前記第１のモデルを使用して電子商取引におけるユーザインタラクションを予測することと、
    前記第１のＰＡＥが前記第２のＰＡＥより大きいことに応じて、前記第２のモデルを使用して電子商取引におけるユーザインタラクションを予測することと、
    を実行可能である、
    装置。
15. 前記第１のＰＡＥは、次式
    のように特定される請求項１４に記載の装置。
16. 前記命令は、
    ユーザとアイテムとの複数の集合の集合ごとに、前記アイテムとのユーザインタラクションのモデル予測を表す第１の値と、前記アイテムとの実際のユーザインタラクションを表す第２の値との絶対差を特定することであって、各ユーザの前記第１の値は、前記第１の値の合計が１となるように正規化され、各ユーザの前記第２の値は、前記第２の値の合計が１となるように正規化される、前記ユーザとアイテムとの複数の集合の集合ごとに、前記絶対差を特定することと、
    多数のユーザのユーザごとに、複数のアイテムの特定された前記絶対差を合計してユーザ合計を出すことと、
    前記ユーザ合計を合計して、総計を出すことと、
    前記総計をユーザ数で割って前記第１のＰＡＥを出すことであって、少なくとも前記第１の値は、合計して１となるように正規化される、前記第１のＰＡＥを出すことと、
    を実行可能である、請求項１４に記載の装置。
17. 前記命令は、
    前記ユーザ合計を合計する前に、少なくともいくつかのユーザ合計に、前記アイテムとの前記実際のユーザインタラクションを表す加重された第２の値の合計を掛けて、加重されたユーザ合計を出すことと、
    前記加重されたユーザ合計を合計して、加重ユーザ合計を出すことと、
    を実行可能である、請求項１６に記載の装置。
18. 前記命令は、
    前記加重ユーザ合計を、全ユーザにわたる前記加重された第２の値の合計で割って、加重ＰＡＥ（ＷＰＡＥ）を出すこと
    を実行可能である、請求項１７に記載の装置。
19. 前記命令は、
    前記第１のモデルが前記第２のモデルより低いＷＰＡＥを有する場合、前記第１のモデルをより良いモデルとして出力し、そうでない場合には、前記第２のモデルを前記より良いモデルとして出力することと、
    電子商取引を提供する際に、前記より良いモデルを使用することと、
    を実行可能である、請求項１７に記載の装置。
20. 前記命令は、次式
    を使用してＷＰＡＥを特定することを実行可能である、請求項１８に記載の装置。