CN112016952A - 参与度相关性模型离线评估度量 - Google Patents

Abstract

对照基础事实来离线评估可用于电子商务和计算机模拟目的的参与度相关性模型，以确定哪个是预测各种度量的最佳模型，所述各种度量诸如有可能购买什么产品、用户留在网页上多长时间、以及用户将如何对电子商务商品进行排名。评估包括对多个用户中的每一个的基础事实与模型预测之间的绝对误差进行求和，从而将所有预测统计的和归一化为一。可应用权重以通过考虑到对不成比例地受欢迎的商品的偏向来减少评估的偏斜。

Description

参与度相关性模型离线评估度量

技术领域

本申请涉及评估参与度相关性模型。

背景技术

相关性模型用于预测各种电子商务度量，包括特定用户可能会购买什么产品、特定用户可能会留在特定网页上多长时间、以及用户可能如何对多个商品进行排序。明显地，准确的相关性模型在现代商务中对于基于诸如客户如何购买产品、客户如何与信息流交互、客户如何与媒体内容交互等因素来将客户体验个性化来说很重要。为了提供这些体验，组织需要构建将提供用户如何与各种类型的商品相关的得分的相关性模型。

如本文所认识到，用于评估相关性模型的现有方法没有充分地考虑到多种类型的基础事实(ground truth)，诸如二元类型(例如，用户是否购买商品)、多变量类型(例如，商品与锚定商品的相似性的排名)和数值类型(例如，在网页上的停留时间)。此外，就使一个相关性度量既考虑到分类问题、排名问题又考虑到估计问题而言，用于评估相关性模型的有效性的现有方法不够灵活。此外，用于评估相关性模型的有效性的现有方法在处理特殊情况方面不够灵活，例如，鼓励推荐产品的多样性以及在同时应用基于位置的排名。此外，用于评估相关性模型的有效性的现有方法不能同时处理三个需求：i)考虑到商品的比例重要性的差异，这可能会使结果偏斜；ii)充分地惩罚不正确的预测；iii)面对同样地良好的结果时充分地区分模型。另外地，用于评估相关性模型的有效性的度量需要容易地且以可量化的方式传达评估的结果(例如，度量被约束在固定范围内，不同于RMSE和MAE这两种用于回归模型的现有度量)。

发明内容

因此，一种装置包括：至少一个计算机存储设备，所述至少一个计算机存储设备不是暂时性信号并进而包括指令，所述指令可由至少一个处理器执行以针对第一模型，对于用户和商品的多个集中的每一个，确定表示与所述商品的用户交互的模型预测的第一值和表示与所述商品的实际用户交互的第二值之间的绝对差值。所述指令可执行以对于多个用户中的每一个，跨所有商品将所述第一值归一化，使得所述值总计为一。将类似的归一化指令应用于所述第二值。所述指令可执行以对于多个用户中的每一个，对针对多个商品确定的所述绝对差值进行求和，以呈现用户和；对所述用户和进行求和，以呈现总和；以及将所述总和除以用户的数量，以呈现概率绝对误差(PAE)。针对至少第二模型，类似地确定PAE。基于所述第一模型具有比所述第二模型低的PAE，将所述第一模型输出作为较好模型，否则将所述第二模型输出作为所述较好模型，并且将所述较好模型用于提供电子商务，包括计算机模拟。

在一些实现方式中，为考虑到特殊情况，例如，因不成比例地受欢迎的测试交互而引起的评估偏斜，所述指令可执行以在对所述用户和进行求和之前，将至少一些用户和乘以表示与所述商品的所述实际用户交互的加权的第二值的和，以呈现加权的用户和。所述指令可进一步执行以对于每个目标用户，针对模型预测了这个目标将为非负的每个商品(例如，用户将购买/阅读/点击该商品/在该商品停留)，计算权重w_I*预测概率p_u,I的值；对于每个目标用户，针对所有商品进行求和；以及对针对所有用户的和进行求和，以呈现加权的PAE(WPAE)。在该实施方案中，所述指令可执行以基于所述第一模型具有比所述第二模型低的WPAE而输出所述第一模型为较好模型，否则输出所述第二模型作为所述较好模型以将所述较好模型用于提供电子商务。

在另一个方面，一种计算机实现的方法包括接收可用于电子商务和计算机模拟目的的多个参与度相关性模型。所述方法包括对照基础事实来离线评估所述多个模型的预测以确定哪个是预测至少一个度量的较好模型。所述评估包括：将多个用户中的每一个的基础事实和模型预测归一化为一；对多个用户中的每一个的基础事实与模型预测之间的绝对误差进行求和；对所述用户和进行求和，以呈现总和；以及将所述总和除以用户的数量，以呈现概率绝对误差(PAE)。

在另一个方面，一种设备包括：至少一个处理器和至少一个计算机存储设备，所述至少一个计算机存储设备可由所述处理器访问并包括指令，所述指令可由所述处理器执行以针对第一模型，确定具有在零与二之间、包括零与二在内的值的第一概率绝对误差(PAE)。所述指令可执行以针对第二模型，确定具有在零与二之间、包括零与二在内的值的第二PAE；并且响应于所述第一PAE小于所述第二PAE，使用所述第一模型来预测电子商务中的用户交互。所述指令可执行以响应于所述第一PAE大于所述第二PAE，使用所述第二模型来预测电子商务中的用户交互。

参考附图可最好地理解本申请的关于其结构和操作的细节，在附图中，相同的附图标记指代相同的部分并且其中：

附图说明

图1是包括根据本发明原理的示例的示例系统的框图；

图2是根据本发明原理的示例架构的框图；

图3是根据用于确定PAE的本发明原理的示例逻辑的流程图；

图4是根据用于确定WPAE的本发明原理的示例逻辑的流程图；

图5和图6展示了数据结构，示出对评估的输入；

图7和图8分别指示针对单个正商品情形的完美(“预言”)模型和完全误导模型；

图9指示平均模型；

图10至图13分别展示用于多个正商品的完美模型、良好模型、一致模型和误导模型；以及

图14至图16分别展示了示例模型的PAE与WPAE的比较。

具体实施方式

本公开总体上涉及计算机生态系统，包括消费电子产品(CE)装置网络的各方面，诸如但不限于计算机模拟网络，诸如计算机游戏网络。本文的系统可包括通过网络连接的服务器和客户端部件，使得可在客户端与服务器部件之间交换数据。客户端部件可包括一个或多个计算装置，包括游戏控制台，诸如Sony

或者由Microsoft或Nintendo或其他制造商制造的游戏控制台；虚拟现实(VR)耳机；增强现实(AR)耳机；便携式电视机(例如，智能TV、支持互联网的TV)；便携式计算机，诸如笔记本电脑和平板计算机；以及其他移动装置，包括智能电话和下面讨论的附加的示例。这些客户端装置可在多种操作环境下操作。例如，客户端计算机中的一些可采用(作为示例)Linux操作系统、来自Microsoft的操作系统或Unix操作系统，或者由Apple Computer或Google生产的操作系统。这些操作环境可用于执行一个或多个浏览程序，诸如由Microsoft或Google或Mozilla制作的浏览器，或者可访问由下面讨论的互联网服务器托管的网站的其他浏览器程序。另外，根据本原理的操作环境可用于执行一个或多个计算机游戏程序。

服务器和/或网关可包括执行指令的一个或多个处理器，所述指令将服务器配置为通过诸如互联网的网络来接收和发射数据。或者，客户端和服务器可通过本地内联网或虚拟专用网络进行连接。服务器或控制器可由游戏控制台例示，诸如Sony

个人计算机等。

信息可通过网络在客户端与服务器之间交换。为此目的并且为了安全起见，服务器和/或客户端可包括防火墙、负载平衡器、临时性存储设备和代理，以及针对可靠性和安全性的其他网络架构。一个或多个服务器可形成实施向网络成员提供安全社区(诸如在线社交网站)的方法的设备。

如本文所使用，指令指的是用于处理系统中的信息的计算机实施的步骤。指令可在软件、固件或硬件中实施，并且包括由系统的部件承担的任何类型的编程步骤。

处理器可为任何常规的通用单芯片或多芯片处理器，其可借助于各种线来执行逻辑，诸如地址线、数据线和控制线以及控制寄存器和移位寄存器。

通过本文的流程图和用户界面描述的软件模块可包括各种子例程、程序等。在不限制本公开的情况下，被陈述为由特定模块执行的逻辑可重新分配到其他软件模块和/或在单个模块中组合在一起和/或在可共享库中获得。

本文描述的本原理可实施为硬件、软件、固件或其组合；因此，所说明的部件、块、模块、电路和步骤就其功能进行阐明。

下面描述的功能和方法当在软件中实施时可用适当的语言编写，诸如但不限于Java、C#或C++，并且可存储在计算机可读存储介质上或通过计算机可读存储介质进行传输，诸如随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)或其他光盘存储设备，诸如数字多功能盘(DVD)、磁盘存储设备或其他磁存储装置，包括可移动拇指驱动器等。连接可建立计算机可读介质。一些连接可包括(作为示例)硬连线电缆，包括光纤和同轴线以及数字订户线(DSL)和双绞线。此类连接可包括无线通信连接，包括红外线和无线电。

包括在一个实施方案中的部件可以适当的组合用于其他实施方案。例如，本文描述和/或在附图中描绘的各种部件中的任一种可进行组合、互换或从其他实施方案排除。

“具有A、B和C中的至少一个的系统”(同样地，“具有A、B或C中的至少一个的系统”和“具有A、B、C中的至少一个的系统”)包括仅具有A、仅具有B、仅具有C、同时具有A和B、同时具有A和C、同时具有B和C和/或同时具有A、B和C等的系统。

现在具体地参考图1，示出了示例系统10，该系统可包括根据本原理的在上面提及且在下面进一步描述的示例装置中的一个或多个。系统10中包括的示例装置中的第一个是消费电子产品(CE)装置，诸如音频视频装置(AVD)12，诸如但不限于具有TV调谐器(相当于控制TV的机顶盒)的支持互联网的TV。然而，可选地，AVD 12可为器具或家用物品，例如计算机化支持互联网的冰箱、洗衣机或烘干机。可选地，AVD 12还可为计算机化支持互联网的(“智能”)电视机、平板计算机、笔记本计算机、可穿戴的计算机化装置，诸如像计算机化支持互联网的手表、计算机化支持互联网的手镯、其他计算机化支持互联网的装置、计算机化支持互联网的音乐播放器、计算机化支持互联网的头戴耳机、计算机化支持互联网的植入式装置(诸如植入式皮肤装置)等。无论如何，应当理解，AVD 12被配置为实现本原理(例如，与其他CE装置通信以实现本原理、执行本文描述的逻辑以及执行本文描述的任何其他功能和/或操作)。

因此，为了实现此类原则，AVD 12可由图1所示的部件中的一些或全部建立。例如，AVD 12可包括一个或多个显示器14，该一个或多个显示器可由高清晰度或超高清晰度“4K”或更高的平面屏幕实现并且可支持触摸以经由在显示器上的触摸来接收用户输入信号。AVD 12可包括一个或多个扬声器16，以用于根据本原理输出音频，以及至少一个附加的输入装置18，诸如像音频接收器/麦克风，以用于例如向AVD 12输入可听命令以控制AVD 12。示例AVD 12还可包括一个或多个网络接口20，以用于在一个或多个处理器24的控制下通过至少一个网络22(诸如互联网、WAN、LAN等)进行通信。还可包括图形处理器24A。因此，接口20可为但不限于Wi-Fi收发器，其为无线计算机网络接口的示例，诸如但不限于网状网络收发器。应当理解，处理器24控制AVD 12(包括本文描述的AVD 12的其他元件)以实现本原理，诸如像控制显示器14以在其上呈现图像和从该显示器接收输入。此外，应当注意，网络接口20可为例如有线或无线调制解调器或路由器，或者其他适当的接口，诸如像无线电话收发器或如上所述的Wi-Fi收发器等。

除了前述外，AVD 12还可包括一个或多个输入端口26，诸如像高清晰度多媒体接口(HDMI)端口或USB端口以物理地连接(例如，使用有线连接)到另一个CE装置和/或头戴耳机端口以将头戴耳机连接到AVD 12以便通过头戴耳机将来自AVD 12的音频呈现给用户。例如，输入端口26可有线或无线地连接到音频视频内容的电缆或卫星源26a。因此，源26a可为例如单独或集成的机顶盒或者卫星接收器。或者，源26a可为包含诸如计算机游戏软件和数据库的内容的游戏控制台或盘播放器。源26a在实施为游戏控制台时可包括下面关于CE装置44描述的部件中的一些或全部。

AVD 12还可包括一个或多个计算机存储器28，诸如并非暂时性信号的基于盘的存储设备或固态存储设备，在一些情况下，所述计算机存储器在AVD的底架中体现为独立装置或者体现为在AVD的底架内部或外部的个人视频记录装置(PVR)或视频盘播放器以用于回放AV节目或体现为可移动存储器介质。另外，在一些实施方案中，AVD12可包括位置或定位接收器，诸如但不限于手机接收器、GPS接收器和/或高度计30，其被配置为例如从至少一个卫星或手机塔接收地理位置信息并且将信息提供到处理器24和/或确定AVD 12结合处理器24设置的高度。然而，应当理解，根据本原理可使用除手机接收器、GPS接收器和/或高度计外的另一个合适的位置接收器，以例如确定AVD 12的定位，例如在所有三个维度上。

继续AVD 12的描述，在一些实施方案中，AVD 12可包括一个或多个相机32，该一个或多个相机可为例如热成像相机、诸如网络相机的数字相机和/或集成到AVD 12中且可由处理器24控制以根据本原理来收集图片/图像和/或视频的相机。本文所描述的相机中的任一个可采用高光谱相机示例或下面进一步描述的多个示例。

AVD 12上还可包括蓝牙收发器34和其他近场通信(NFC)元件36以用于分别使用蓝牙和/或NFC技术与其他装置通信。示例NFC元件可为射频识别(RFID)元件。还可使用Zigbee。

此外，AVD 12可包括向处理器24提供输入的一个或多个辅助传感器37(例如，运动传感器，诸如加速度计、陀螺仪、圆弧测定器，或者磁性传感器、红外(IR)传感器、光学传感器、速度和/或韵律传感器、手势传感器(例如，用于感测手势命令)等)。AVD 12可包括用于接收OTA TV广播且向处理器24提供输入的无线TV广播端口38。除了前述外，应当注意，AVD12还可包括红外(IR)发射器和/或IR接收器和/或IR收发器42，诸如IR数据关联(IRDA)装置。可提供电池(未示出)以用于为AVD 12供电。

仍参考图1，除了AVD 12外，系统10可包括一个或多个其他CE装置类型。在一个示例中，第一CE装置44可用于经由直接发送到AVD 12的命令和/或通过下面描述的服务器将计算机游戏音频和视频发送到AVD 12，而第二CE装置46可包括与第一CE装置44类似的部件。在所示的示例中，第二CE装置46可被配置为由游戏者47穿戴的VR耳机，如图所示，或者由游戏者47操纵的手持式游戏控制器。在所示的示例中，仅示出了两个CE装置44、46，应当理解，可使用更少或更多的装置。

在所示的示例中，为了说明本原理，假设所有的三个装置12、44、46都是例如家里的娱乐网络的成员，或者至少在诸如房子的定位彼此接近。然而，本原理不限于由虚线48示出的特定定位，除非另有明确声明。

示例非限制性第一CE装置44可由上述装置中的任一个建立，例如便携式无线膝上型计算机或笔记本计算机或游戏控制器(也被称为“控制台”)，并且相应地可具有下面描述的部件中的一个或多个。第一CE装置44可为遥控装置(RC)以用于例如向AVD 12发出AV播放和暂停命令，或者它可为更复杂的装置，诸如平板计算机、经由有线或无线链路与AVD 12通信的游戏控制器、个人计算机、无线电话等。

因此，第一CE装置44可包括一个或多个显示器50，该一个或多个显示器可支持触摸以用于经由显示器上的触摸来接收用户输入信号。第一CE装置44可包括一个或多个扬声器52，以用于根据本原理输出音频，以及至少一个附加的输入装置54，诸如像音频接收器/麦克风，以用于例如向第一CE装置44输入可听命令以控制装置44。示例第一CE装置44还可包括一个或多个网络接口56，以用于在一个或多个CE装置处理器58的控制下通过网络22进行通信。还可包括图形处理器58A。因此，接口56可为但不限于Wi-Fi收发器，其为无线计算机网络接口的示例，包括网状网络接口。应当理解，处理器58控制第一CE装置44(包括本文描述的第一CE装置44的其他元件)以实现本原理，诸如像控制显示器50以在其上呈现图像和从该显示器接收输入。此外，应当注意，网络接口56可为例如有线或无线调制解调器或路由器，或者其他适当的接口，诸如像无线电话收发器或如上所述的Wi-Fi收发器等。

除了前述外，第一CE装置44还可包括一个或多个输入端口60，诸如像HDMI端口或USB端口，以物理地连接(例如，使用有线连接)到另一个CE装置和/或头戴耳机端口以将头戴耳机连接到第一CE装置44以便通过头戴耳机将来自第一CE装置44的音频呈现给用户。第一CE装置44还可包括一个或多个有形计算机可读存储介质62，诸如基于盘的存储设备或固态存储设备。另外，在一些实施方案中，第一CE装置44可包括位置或定位接收器，诸如但不限于手机接收器和/或GPS接收器和/或高度计64，其被配置为例如使用三角测量从至少一个卫星和/或小区塔接收地理位置信息并且将信息提供到CE装置处理器58和/或确定第一CE装置44结合CE装置处理器58设置的高度。然而，应当理解，根据本原理可使用除手机接和/或GPS接收器和/或高度计外的另一个合适的位置接收器，以例如确定第一CE装置44的定位，例如在所有三个维度上。

继续第一CE装置44的描述，在一些实施方案中，第一CE装置44可包括一个或多个相机66，该一个或多个相机可为例如热成像相机、诸如网络相机的数字相机和/或集成到第一CE装置44中且可由CE装置处理器58控制以根据本原理来收集图片/图像和/或视频的相机。第一CE装置44上还可包括蓝牙收发器68和其他近场通信(NFC)元件70以用于分别使用蓝牙和/或NFC技术与其他装置通信。示例NFC元件可为射频识别(RFID)元件。

此外，第一CE装置44可包括向CE装置处理器58提供输入的一个或多个辅助传感器72(例如，运动传感器，诸如加速度计、陀螺仪、圆弧测定器，或者磁性传感器、红外(IR)传感器、光学传感器、速度和/或韵律传感器、手势传感器(例如，用于感测手势命令)等)。第一CE装置44可包括向CE装置处理器58提供输入的另外的其他传感器，诸如像一个或多个气候传感器74(例如气压计、湿度传感器、风传感器、光传感器、温度传感器等)和/或一个或多个生物特征传感器76。除了前述外，应当注意，在一些实施方案中，第一CE装置44还可包括红外(IR)发射器和/或IR接收器和/或IR收发器78，诸如IR数据关联(IRDA)装置。可提供电池(未示出)以用于为第一CE装置44供电。CE装置44可通过上述通信方法和相关部件中的任一个与AVD 12通信。

第二CE装置46可包括针对CE装置44示出的部件中的一些或全部。任一个或两个CE装置可由一个或多个电池供电。

现在参考前述至少一个服务器80，该至少一个服务器包括至少一个服务器处理器82、至少一个有形的计算机可读存储介质84(诸如，基于盘的存储设备或固态存储设备)和至少一个网络接口86，该至少一个网络接口在服务器处理器82的控制下允许通过网络22与图1的其他装置通信，并且。根据本原理，实际上可利于服务器与客户端装置之间的通信应当注意，网络接口86可为例如有线或无线调制解调器或路由器、Wi-Fi收发器，或者其他适当的接口，诸如像无线电话收发器。

因此，在一些实施方案中，服务器80可为互联网服务器或整个服务器“场”，并且可包括并执行“云”功能，使得在示例实施方案中(例如，针对网络游戏应用程序)，系统10的装置可经由服务器80来访问“云”环境。或者，服务器80可由一个或多个游戏控制台或者在与图1所示的其他装置相同的房间或附近的其他计算机实现。

关于上面提及的内容，下面描述的逻辑块、模块和电路可用以下来实施或执行：通用处理器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或其他可编程逻辑装置，诸如专用集成电路(ASIC)、离散门或晶体管逻辑、离散硬件部件，或者它们的被设计为执行本文描述的功能的任何组合。处理器可由控制器或状态机或者计算装置的组合来实现。因此，本文的方法可实施为软件指令，所述软件指令由处理器、适当地配置的专用集成电路(ASIC)或现场可编程门阵列(FPGA)模块，或者以任何其他方便的方式执行，如本领域技术人员将理解。在被采用的情况下，软件指令可体现在非暂时性装置中，诸如硬盘驱动器、CD ROM或闪存驱动器。还可通过互联网下载软件代码指令。

图2展示了根据本原理的示例架构200，该架构包括硬件存储装置和由适当的处理器执行的软件模块。多个数据源202馈给离线基准构建模块204，该离线基准构建模块累积现实世界客户交互(在本文中有时被称为“基础事实”)，诸如实际产品购买、在网页上停留的时间、产品排名等。数据源可包括各个企业的基于计算机的销售数据库。这个“基础事实”数据可存储在计算机存储设备206中。

多个预测模型中的每一个的模型特征208被供应到具有相关联存储设备212的相应的离线批量预测模块210。模型特征是使用相应的模型训练进程214的预测模型所基于的指令，并且离线批量预测模块210是基于模型的特征208来输出模型的预测的模型执行模型。

来自模块210的预测的模型值以及对应的基础事实数据被提供到相应的离线概率绝对误差(PAE)评估模块216，该离线PAE评估模块可使用也如下面讨论的权重来实施以呈现加权的PAE(WPAE)，该WPAE考虑到多样性或基于位置的排名来评估模型的有效性并输出到度量218。PAE 216的输出(度量218)用于使用离线清理实用工具220来识别多个模型210中的“最佳”，这可通过各种存储设备226来提供结果的可视化222以及警告作为结果的性质和可用性。在所示的示例中，还可提供具有相关联的存储设备230的基准清理实用工具228以整理PAE评估模型216的基础事实数据。本文所描述的存储设备可为分布式的。

图3和图4分别展示了用于确定多个预测模型中的概率绝对误差(PAE)和加权的PAE(WPAE)的示例逻辑。一般而言，假设用户-商品相关性模型目的是对相关性函数p(u，i)→s进行建模，使得对于每个用户u和商品i，存在用于测量商品与用户有多相关的相关性得分“s”。

“商品”的示例可包括计算机模拟，诸如计算机游戏；可下载内容(DLC)，诸如桌面主题、虚拟形象、扩展和虚拟货币；捆绑；演示视频或其他演示内容；来自“新产品”信息流、好友、人群、社区的新闻报道；以及用户生成的内容(UGC)，诸如UGC视频、UGC广播和UGC图像。

考虑到以上内容，PAE被介绍如下：

其中U是用户的集，并且|U|是用户的总数，u表示单个任意用户并且i表示单个任意商品。I_u包含用户u与其交互的实际正商品i，即，从与商品的实际用户交互记录的基础事实。p_u,i表示用户u与商品i的实际归一化交互得分，例如，在购买事件的情况下，1或0(1＝购买，0＝未购买)；对于在页面上花费的时间，1或9(其然后将归一化为数值0.1和0.9)等。类似地，

是用于用户u和商品i的测试中模型的预测得分。归一化约束确保对于每个用户u而言，对于用户已经与其交互的所有商品，得分将总计达到1。换句话说，

在框300处开始，对于数据集中的每个用户而言，逻辑移动到框302以针对预期用户与其交互(或不交互)的每个商品执行以下步骤。移动到框303，执行归一化过程以确保预测交互和实际交互数量遵循上面描述的归一化约束。在框304处，如在上面的等式中指示，确定用户与测试中商品的归一化预测交互和归一化实际交互之间的差异。如果确定测试中商品不是判定菱形306处的最后一个商品，则逻辑流到框308以检索下一商品，即，对于测试中的用户而言的下一商品的预测和实际交互，从而返回到框304以继续，如所描述。

另一方面，响应于在状态306下确定已经针对测试中的用户处理了最后一个商品，逻辑移动到框310以对在框304处针对该用户确定的绝对差值进行求和。逻辑然后在状态312下确定测试中的用户是否为要处理的最后一个用户，并且如果否的话，则逻辑移动到框314以检索与下一用户相关联的数据，从而返回到框302以执行，如上面描述。

相反，响应于在状态312下确定已经处理了最后一个用户的交互信息，逻辑移动到框316以对来自框310处的交互的用户和进行求和。用户和的和除以用户的总数，以呈现测试中模型的PAE，这在框318处输出。针对试图评估的所有预测模型，重复该过程，其中在框320处，具有最低PAE的模型被指示为用于电子商务或其他应用的“最佳模型”。

应当注意，归因于上面讨论的归一化，PAE可为在零(0)与二(2)之间的任何值，零是完美模型(在本文中有时被称为“预言”)，二是预测都不正确的误导模型。

通过非限制性示例，“最佳”模型可用于预测特定用户可能购买什么产品，使得该产品的广告可针对该用户投放。或者，“最佳”模型可用于预测用户将如何对一系列产品进行排名，使得在列表上靠前的产品的广告可针对该用户投放并且不向用户投放在列表上靠后的产品的广告。或者，“最佳”模型可用于预测用户可能在特定网页上停留多长时间，使得针对性广告可在模型预测用户将停留相对长时间的网页上呈现。

为了介绍图4，本原理认识到，在一些特殊情况下，当应用PAE时，如果以这种方式表示实际数据分布，则可能偏向某些广受欢迎的商品。在期望在正确地预测不太受欢迎的商品的情况下以更高比例进行奖励的意义上，本原理寻求奖励多样性的度量。换句话说，对更受欢迎的商品的正确预测将根据单调变换进行折扣。其他示例特殊情况包括基于位置的排名，其中排名更高的正确预测将根据基于位置的变换来进行奖励。

考虑到以上内容，加权的PAE(WPAE)被介绍如下：

此处，

包含预测并且I_u包含用户u已经与其交互的实际正商品i，w_i是根据基础事实计算的与此商品i相关联的折扣权重，其在没有实施折扣的情况下可为1，或者可为任何单调变换，例如与商品频率相关的折扣：频率的平方根除以频率

或log(频率)/频率。在基于位置的排名示例中，权重可为比如N–位置，其中N是将考虑的前N个预测并且位置是特定商品的排名位置。

对于“预言”(即，知道确切的基础事实的完美模型)，将仍具有WPAE＝0。对于完全未命中事实的模型，将仍具有WPAE＝2。图4进一步说明。在框400处开始，以与图3中的状态304至310所示的相同方式获得单独用户和。移动到框402，针对每个用户和，对每个预测交互进行加权以产生加权的预测交互，并且对加权的预测交互进行求和以产生加权的商品和。移动到框404，将每个用户和乘以加权的商品和以产生用户和乘积，其中在框406处，对所有用户的用户和乘积进行求和。在框408处，如下处理框406处的和以建立测试中模型的WPAE：针对模型预测这个目标将为非负的每个商品(例如，用户将购买/阅读/点击该商品/在该商品停留)，计算权重w_I*预测概率p_u,I的值。最后，对每个目标用户的所有商品求和，并且然后对所有用户的和进行求和。

示例一

作为示例，假设具有两个商品，商品1的频率为70％且商品2的频率为30％。用户1至7购买商品1，并且用户8至10购买商品2。

预测所有商品1的朴素模型将正确地预测7次且错误地预测3次。在7次中，对于每个用户而言，预测与基础事实之间的个体误差为0；在3次中，对于每个用户而言，个体误差为2。

在没有折扣的情况下，w1＝1、w2＝1。考虑到每个用户仅购买一个商品，因此预测交互＝对于所有u,i，u∈1,2，i∈1...10。那么WPAE等于1/((1×7)+(1×3))×(1×7×0+1×3×2)＝0.60(未应用权重)。

现在，如果将

)用作折扣权重，则w₁＝√7/7＝0.37并且

同样地，考虑到在这个示例中，每个用户仅购买一个商品，因此新WPAE为：

1/(0.37*7+0.57*3)×(0.37*7*0+0.57*3*2)＝0.79

在7次中有6次正确地预测商品1且在3次中有1次正确地预测商品2的另一个模型将得到：

WPAE＝1/(1*7+1*3)×(1*1*2+1*2*2)＝0.60(相等的权重)

并且

WPAE＝1/(0.37*7+0.57*3)×(0.37*1*2+0.57*2*2)＝0.7(不等的权重)

在7次中有4次正确地预测商品1且在3次中有3次正确地预测商品2的又一个模型将得到：

WPAE＝1/(1*7+1*3)×(3*1*2+0*1*0)＝0.60(无权重)

WPAE＝1/(0.37*7+0.57*3)×(0.37*3*2+0.57*1*0)＝0.51(应用权重)

在7次中有0次正确地预测商品1且在0次中有3次正确地预测商品2的完全未命中模型将得到：

WPAE＝1/(1*7+1*3)×(7*1*2+3*1*2)＝2(无权重)

WPAE＝1/(0.37*7+0.57*3)×(0.37*7*2+0.57*3*2)＝2(权重)

示例二

这个示例处理用户购买多于一个商品的情况。类似于前一示例，假设具有两个商品。与前一示例的区别在于，假设用户1至6购买了商品1，用户7至9购买了商品2，并且用户10同等可能地购买了两个商品。现在存在11次购买，其中商品1被购买7次且商品2被购买4次。当计算折扣因子时，这个区别很重要，如下所示。

预测所有商品1的朴素模型将是正确6次和部分正确1次。在6次中，对于每个用户而言，预测与实际之间的个体误差为0；在3次中，对于每个用户而言，个体误差为2；在1次中，对于每个用户而言，个体误差为|0.5-1|+|0.5-0|＝1。

在这种情况下，WPAE＝1/(1*7+1*3)×(1*6*0+1*3*2+1*1*1)＝0.7现在，通过加权的折扣，折扣权重必须是已知的。商品1的w₁为√7/7＝0.378，并且商品2的w₂为√4/4＝0.5。对于同等地购买了两个商品的用户10而言，WPAE为|0.5-1|+|0.5-0|＝1，因为这个模型为用户10预测商品1。此外，用户10的折扣因子为该用户的I的和，加权的实际交互＝0.3790.5+0.5 0.5＝0.439。在遵循我们定义的很多地方，应考虑到这个折扣因子。

WPAE＝1/(.378*6+0.5*3+0.439)×(0.378*6*0+0.5*3*2+0.439*1*1)＝0.81

完全未命中模型在6次中有0次正确地预测商品1且在3次中有0次正确地预测商品2，并且对于用户10而言，两次都没有不正确地预测(为便于说明，可假设完全未命中模型为用户10预测另一个商品，比如商品3)。

WPAE＝1/(1*7+1*3)×(1*6*2+1*3*2+1*1*2)＝2

并且其加权的WPAE仍为2，可能的最高得分：

WPAE＝1/(0.37*7+0.57*2+0.47)×(0.37*6*2+0.57*3*2+0.47*1*2)＝2

示例三

现在假设四个商品和仅两个用户。四个商品的商品频率为4、3、2、1。使用频率的平方根/频率的折扣变换，在表中示出折扣因子。下表用不同的预测示出基础事实和四个模型。

用户1

用户2

对于所有模型，用户1具有商品乘加权的基础事实的和＝.5*.5+.6*.5＝.55，并且用户2具有.5*1+.5＝1，用户2的PAE为1-1+0＝0，并且

WPAE＝1/(0.5+0.55)×(0.55*1+0.5*0)＝0.52

对于模型2，用户1的PAE为0.6-0.5+0.5-0.4＝0.2，用户2的PAE为1-0.6+0.4＝0.8

在这种情况下，WPAE＝1/(0.5+0.55)×(0.55*0.2+0.5*0.8)＝0.48

应当注意，在不添加折扣因子的情况下，模型1和模型2具有恰好相同的总PAE。此处，折扣就正确地预测商品2(i2)给予了小奖励。

对于模型3，用户1的PAE为0.5-0.2+0.5-0.2+0.5+0.1＝0.3+0.3+(1-0.4)＝1.2。用户2的PAE为1-0.2+0.2+0.5+0.1＝1-0.2+(1-0.2)＝1.6

在这种情况下，WPAE＝1/(0.5+0.55)×(0.55*1.2+0.5*1.6)＝1.39

对于模型4，用户1的PAE为0.5+0.5+1＝2，用户2的PAE为1-0+1-0＝2

在这种情况下，WPAE＝1/(0.5+0.55)×(0.55*2+0.5*2)＝2

图5展示了将用户与基础事实交互(或商品)相关的数据结构和交互的得分(在所示的示例中，“1”)，意味着用户与商品交互(与不交互相反)。图6展示了用于用户交互的模型预测(在所示的示例中，0.8)的数据结构。典型地，每个用户将与多个交互(商品)和对应的基础事实及预测得分相关联，并且每个模型将与多个用户相关联。图5和图6基本上展示了在用于PAE和WPAE的以上等式中的输入值。

图7和图8分别指示针对单一正商品情形，由图7中的椭圆形700指示的完美(“语言”)模型，其完美地预测所有商品的实际或基础事实结果702(PAE＝0)，以及由图8中的椭圆形800指示的完全误导模型，其预测所有商品的零实际或基础事实结果702(PAE＝2)。应当注意，完全随机模型704为所有商品预测相同概率。应当进一步注意，附图中指示了归一化，其中所有商品的所有值的和等于一(1)，应当理解，为清楚起见，除了仅用于指示分析比典型地示出的更多的商品的省略号706外，所示的值被指示为总计为一。图9在椭圆形900内指示平均模型，其中PAE为1。

图10至图13分别展示了针对多个正商品的完美模型1000(图10)、良好模型1100(图11)、一致模型1200(图12)和误导模型1300(图13)。

图14和图15展示了某些模型的PAE与WPAE之间的测量差异，而图16展示了针对完全误导模型，PAE和WPAE两者都这样指示。在图14中，对于所示的情况，两个模型1和2产生相同的PAE但不同的WPAE，这是因为与用户1相比，用户2的基础事实统计更不平衡，如在行1400中所示，其中对于所有四个商品，剩余的统计在两个用户间是相同的。图15展示了伴随有PAE和WPAE的差异的不太准确的模型(模型3)的相同的统计。图16示出了对于完全误导模型(模型4)，两个测量(PAE和WPAE)是相同的，从而指示完全未命中。

除了本文其他地方通过使用本原理提出的优点之外或将其放大，PAE提供有利地不考虑领域细节而仅关注评估的一致、灵活的度量。所评估的模型可将领域知识或模型特定信息结合到归一化中(例如，使用前20或30、得分的置信度)。基础事实可在考虑到商业知识的情况下进行归一化(例如，处理数值，如播放时间、购买数量、获得的收益；如何处理负值，如退款、负面评论)。[0，2]的固定范围(其中0是完美匹配且2是完全未命中)使得PAE容易理解，其中越低的得分意味着越好的模型。PAE奖励具有高排名能力的模型并将概率归一化为用于排名的代理。预测正样本的概率更高的模型将得分更高。

关于WPAE，应当注意，当实际数据偏斜时，评估可自然地奖励利用了偏斜的模型。例如，当一个游戏(在500个游戏中)占总购买量的17％时，仅预测这一个游戏将产生相对低的PAE。为了奖励擅长预测“长尾”以增加多样性和覆盖范围的模型，提供一致且灵活的WPAE，因为它可应用于广泛的范围的得分并在将领域知识结合到数据和模型归一化中方面是灵活的。WPAE在施行数据自然分布与鼓励多样性之间进行平衡方面也是灵活的，并且就像PAE，容易传达和理解。

应当理解，尽管已经参考一些示例实施方案描述了本原理，但这些不意图是限制性的，并且可使用各种替代布置来实施本文所要求保护的主题。

Claims (20)

1.一种装置，所述装置包括：

至少一个计算机存储设备，所述至少一个计算机存储设备不是暂时性信号并包括指令，所述指令可由至少一个处理器执行以：

针对第一模型：

对于用户和商品的多个集中的每一个，确定表示与所述商品的用户交互的模型预测的第一值和表示与所述商品的实际用户交互的第二值之间的绝对差值，其中将每个用户的所述第一值归一化，使得所述第一值总计为一，并且将每个用户的第二值归一化，使得所述第二值总计为一；

对于多个用户中的每一个，对针对多个商品确定的所述绝对差值进行求和，以呈现用户和；

对所述用户和进行求和，以呈现总和；

将所述总和除以用户的数量，以呈现概率绝对误差(PAE)；

确定至少第二模型的PAE；

基于所述第一模型具有比所述第二模型低的PAE而输出所述第一模型为较好模型，否则输出所述第二模型作为所述较好模型，其中至少将每个用户的所述第二值归一化，使得所述第二值总计为一；以及

将所述较好模型用于提供电子商务。

2.如权利要求1所述的装置，所述装置包括所述至少一个处理器。

3.如权利要求1所述的装置，其中将每个用户的所述第一值归一化，使得所述第一值总计为一。

4.如权利要求1所述的装置，其中所述指令可执行以：

在对所述用户和进行求和之前，将至少一些用户和乘以表示与所述商品的所述实际用户交互的加权的第二值的和，以呈现加权的用户和；以及

对所述加权的用户和进行求和，以呈现加权的多用户和。

5.如权利要求4所述的装置，其中所述指令可执行以：

将所述加权的多用户和除以所有用户的加权的第二值的所述和，以呈现加权的PAE(WPAE)。

6.如权利要求5所述的装置，其中所述指令可执行以：

基于所述第一模型具有比所述第二模型低的WPAE而输出所述第一模型为较好模型，否则输出所述第二模型作为所述较好模型；以及

将所述较好模型用于提供电子商务。

7.如权利要求2所述的装置，所述装置包括执行所述指令的所述至少一个处理器。

8.一种计算机实现的方法，所述计算机实现的方法包括：

接收可用于电子商务和计算机模拟目的的多个参与度相关性模型；

对照基础事实来离线评估所述多个模型的预测以确定哪个是预测至少一个度量的较好模型；

所述评估包括：

对多个用户中的每一个的基础事实与模型预测之间的绝对误差进行求和，以及

将所有预测统计的和归一化为一。

9.如权利要求8所述的方法，所述方法包括：

应用权重以通过考虑到对不成比例地受欢迎的商品的偏向来减少评估的偏斜。

10.如权利要求8所述的方法，其中所述度量包括有可能被购买的至少一个产品。

11.如权利要求8所述的方法，其中所述度量包括用户留在网页上的至少一个时段。

12.如权利要求8所述的方法，其中所述度量包括产品的至少一个排名。

13.如权利要求8所述的方法，其中所述度量包括服务的至少一个排名。

14.一种设备，所述设备包括：

至少一个处理器；

至少一个计算机存储设备，所述至少一个计算机存储设备可由所述处理器访问并包括指令，所述指令可由所述处理器执行以：

针对第一模型，确定具有在零与二之间、包括零与二在内的值的第一概率绝对误差(PAE)；

针对第二模型，确定具有在零与二之间、包括零与二在内的值的第二PAE；

响应于所述第一PAE小于所述第二PAE，使用所述第一模型来预测电子商务中的用户交互；以及

响应于所述第一PAE大于所述第二PAE，使用所述第二模型来预测电子商务中的用户交互。

15.如权利要求14所述的设备，其中所述第一PAE被确定如下：

16.如权利要求14所述的设备，其中所述指令可执行以：

对于用户和商品的多个集中的每一个，确定表示与所述商品的用户交互的模型预测的第一值和表示与所述商品的实际用户交互的第二值之间的绝对差值，其中将每个用户的所述第一值归一化，使得所述第一值总计为一，并且将每个用户的所述第二值归一化，使得所述第二值总计为一；

对于多个用户中的每一个，对针对多个商品确定的所述绝对差值进行求和，以呈现用户和；

对所述用户和进行求和，以呈现总和；以及

将所述总和除以用户的数量，以呈现所述第一PAE，其中至少将所述第一值归一化为一。

17.如权利要求16所述的设备，其中所述指令可执行以：

在对所述用户和进行求和之前，将至少一些用户和乘以表示与所述商品的所述实际用户交互的加权的第二值的和，以呈现加权的用户和；以及

对所述加权的用户和进行求和，以呈现加权的多用户和。

18.如权利要求17所述的设备，其中所述指令可执行以：

将所述加权的多用户和除以所有用户的加权的第二值的所述和，以呈现加权的PAE(WPAE)。

19.如权利要求17所述的设备，其中所述指令可执行以：

基于所述第一模型具有比所述第二模型低的WPAE而输出所述第一模型为较好模型，否则输出所述第二模型作为所述较好模型；以及

将所述较好模型用于提供电子商务。

20.如权利要求18所述的设备，其中所述指令可执行以使用以下来确定WPAE：

Images