CN110035053A - 用于检测欺诈性的用户-内容提供者对的方法和系统 - Google Patents

Abstract

本教导总地涉及用于检测欺诈性的用户‑内容提供者对的方法和系统。在一个实施例中，可以确定初始用户风险值和初始内容提供者风险值。可以基于初始用户风险值和关系数据来生成用户风险值的第一函数表示。可以基于初始内容提供者风险值和关系数据来生成内容提供者风险值的第二函数表示。可以确定与第一和第二表示收敛相关联的收敛的用户风险值和收敛的内容提供者风险值。可以基于收敛的用户风险值和收敛的内容提供者风险值来确定对风险值。然后，响应于风险对值满足条件，可以将欺诈标签应用于内容提供者从用户检测到的交互事件。

Description

用于检测欺诈性的用户-内容提供者对的方法和系统

技术领域

本教导总地涉及检测欺诈性的用户-内容提供者对。更具体而言，本教导涉及识别彼此协作表现出欺诈行为的用户和内容提供者的对。

背景技术

点击欺诈检测是在线商业世界中的已知问题。通常，存在可以执行点击欺诈的四种不同技术：(1)基于主机的攻击，(2)基于代理的攻击，(3)基于僵尸网络的攻击，以及(4)基于联合的攻击。基于主机的攻击是指实体(诸如操作用户设备的用户)重复地点击由内容提供者呈现的一个或多个内容项(例如，广告)。基于代理的攻击是指若干内容提供者被连接到匿名代理以生成对一个或多个内容项的大量点击或其他用户交互事件。基于僵尸网络的攻击是指：连接在一起并通过僵尸网络控制的大量内容提供者，使得在被检测到的可能性最小的情况下发生对一个或多个内容项的最大数量的点击。基于联合的攻击是指如下一个或多个攻击，它们试图形成或加入一组攻击者，该组攻击者通过彼此共享资源来发动联合攻击。这可以允许单个攻击者获得增加的点击量(因为该组攻击者的其他成员对该单个攻击者的点击数量有贡献)，同时使该单个攻击者被检测到的可能性最小化。

例如，在网页上呈现的内容项(例如，广告)可以响应于点击类型事件(例如，鼠标点击、按钮按压、手指按压等)而为托管该网页的内容提供者产生金钱奖励。如本文所述的点击欺诈是指针对恶意做出的针对内容项的点击类型事件。例如，点击欺诈事件通常可以指与内容项的交互，其唯一目的是在与内容项发生实际交易的可能性最小的情况下为呈现该内容项的内容提供者生成金钱收益。以前，已经在点击源侧或目标实体侧探索了点击欺诈。然而，尚未探索点击源和目标实体之间的关系来对可能执行点击欺诈的所有类型技术检测点击欺诈

因此，需要识别欺诈性的用户-内容提供者对的方法和系统。本教导旨在解决这些问题。

发明内容

本文公开的教导涉及用于识别欺诈性的内容提供者-用户设备对的方法、系统和编程。更具体而言，本教导涉及与确定内容提供者和用户设备何时一起表现出欺诈行为有关的方法、系统和编程。

在一个示例中，描述了一种用于识别欺诈性的内容提供者-用户设备对的方法，该方法在具有至少一个处理器、存储器和能够连接到网络的通信电路的机器上实现。可以确定与用户设备相关联的初始用户风险值和与内容提供者相关联的初始内容提供者风险值。可以基于初始用户风险值和表示多个内容提供者与多个用户设备之间的关系的关系数据来生成用户风险值的第一函数表示。可以基于初始内容提供者风险值和关系数据来生成第二函数表示。可以确定与第一表示和第二表示收敛相关联的收敛的用户风险值和收敛的内容提供者风险值。可以确定基于收敛的用户风险值和所述收敛的内容提供者风险值的对风险值。响应于条件得到满足，欺诈标签可被应用于内容提供者和用户设备。

在另一示例中，描述了一种用于识别欺诈性的内容提供者-用户设备对的系统。该系统包括用户交互确定器，内容提供者交互确定器，风险确定系统，以及用户/内容提供者暂停系统。用户交互确定器可被配置为确定与用户设备相关联的初始用户风险值。内容提供者交互确定器可被配置为确定与内容提供者相关联的初始内容提供者风险值。风险确定系统可被配置为基于初始用户风险值和表示多个内容提供者与多个用户设备之间的关系的关系数据来生成用户风险值的第一函数表示，基于初始内容提供者风险值和关系数据来生成内容提供者风险值的第二函数表示，确定与第一表示和第二表示收敛相关联的收敛的用户风险值和收敛的内容提供者风险值，以及基于收敛的用户风险值和收敛的内容提供者风险值来确定风险对值。用户/内容提供者暂停系统可被配置为响应于对风险值满足条件而将欺诈标签应用于内容提供者和用户设备。

其他概念涉及用于实现关于识别欺诈性的内容提供者-用户设备对的本教导的软件。根据该概念的软件产品包括至少一个机器可读的非暂态介质以及存储在其上的信息和/或指令。存储在介质上的指令可以包括可执行程序代码数据，与可执行程序代码相关联的参数，和/或与识别欺诈性的内容提供者-用户设备对有关的信息。

在一个示例中，描述了一种机器可读、非暂态且有形的介质，其上记录有用于识别欺诈性的内容提供者-用户设备对的一个或多个指令。这些指令当被计算设备的至少一个处理器执行时可使该计算设备：确定与用户设备相关联的初始用户风险值和与内容提供者相关联的初始内容提供者风险值；基于初始用户风险值和表示多个内容提供者与多个用户设备之间的关系的关系数据来生成用户风险值的第一函数表示；基于初始内容提供者风险值和关系数据来生成内容提供者风险值的第二函数表示；确定与第一表示和第二表示收敛相关联的收敛的用户风险值和收敛的内容提供者风险值；以及响应于风险对值满足条件而将欺诈标签应用于内容提供者和用户设备。

另外的新颖特征将部分地在下面的描述中阐述，并且部分地对于本领域技术人员在研究以下和附图时将变得显而易见，或者可以通过示例的制造或操作而得到了解。可以通过实践或使用在下面讨论的详细示例中阐述的方法、手段和组合的各个方面来实现和获得本教导的新颖特征。

附图说明

根据示例性实施例进一步描述本文描述的方法、系统和/或编程。参考附图详细描述这些示例性实施例。这些实施例是非限制性示例性实施例，其中相似的附图标记在附图的若干视图中表示类似的结构，并且其中：

图1A和图1B是根据本教导的各种实施例的用于检测欺诈性的用户-内容提供者对的示例性网络环境的说明图；

图2A是根据本教导的各种实施例的示例性可疑活动检测系统的说明图；

图2B是根据本教导的各种实施例的用于检测用户-内容提供者对的可疑活动的示例性过程的说明性流程图；

图3A是根据本教导的各种实施例的示例性用户交互确定器的说明图；

图3B是根据本教导的各种实施例的用于生成和输出用户事件数据的示例性过程的说明性流程图；

图4A是根据本教导的各种实施例的示例性内容提供者交互确定器的说明图；

图4B是根据本教导的各种实施例的用于生成和输出内容提供者事件数据的示例性过程的说明性流程图；

图5A是根据本教导的各种实施例的示例性风险确定系统的说明图；

图5B是根据本教导的各种实施例的用于确定用户/内容提供者风险值的示例性过程的说明性流程图；

图6A是根据本教导的各种实施例的示例性转换模型生成器的说明图；

图6B是根据本教导的各种实施例的用于确定一个或多个转换度量的示例性过程的说明性流程图；

图7A是根据本教导的各种实施例的示例性用户-内容提供者传播确定器的说明图；

图7B是根据本教导的各种实施例的用于确定和输出收敛的用户风险值的示例性过程的说明性流程图；

图8A是根据本教导的各种实施例的示例性内容提供者-用户传播确定器的说明图；

图8B是根据本教导的各种实施例的用于确定和输出收敛的内容提供者风险值的示例性过程的说明性流程图；

图9A是根据本教导的各种实施例的示例性用户/内容提供者对风险值确定系统的说明图；

图9B是根据本教导的各种实施例的用于确定和输出指示一个或多个欺诈/非欺诈对的对数据的示例性过程的说明性流程图；

图10A是根据本教导的各种实施例的示例性用户/内容提供者暂停系统的说明图；

图10B是根据本教导的各种实施例的用于将欺诈标签应用于内容提供者和用户设备的示例性过程的说明性流程图；

图11是根据各种实施例的可用于实现实现本教导的专用系统的示例性移动设备架构的说明图；并且

图12是根据各种实施例的可用于实现实现本教导的专用系统的示例性计算设备架构的说明图。

具体实施方式

在以下具体实施方式中，通过示例阐述了许多具体细节，以便提供对相关教导的透彻理解。然而，对于本领域技术人员来说应当显而易见的是，可以在没有这些细节的情况下实践本教导。在其他情况下，已经不带细节地在相对高的层次描述了公知的方法、过程、组件和/或电路，以避免不必要地使本教导的各方面模糊。

本公开总地涉及针对识别欺诈性的用户-内容提供者对的系统、方法、介质和其他实现。所公开的关于识别欺诈性的用户-内容提供者对的教导包括但不限于确定初始用户风险值和初始内容提供者风险值，生成用户风险值和内容提供者风险值的函数表示，确定收敛的用户风险值和收敛的内容提供者风险值，确定风险值对，以及响应于该风险对值满足条件而将欺诈标签应用于内容提供者从用户检测到的交互事件。

一般而言，在在线广告中，广告商寻求吸引对广告商经由因特网做广告的一个或多个特定产品感兴趣的访问者。内容提供者(本文中也称为发布者)寻求使与他们托管的网页相关联的流量赚钱。每个广告商和内容提供者所挣得的收入很大程度上基于内容提供者收到的流量的数量和质量。例如，与具有“低”质量流量的内容提供者相比，广告商可以为具有“高”质量流量的内容提供者出价更高的金额。此外，如果内容提供者具有更高质量的流量，则内容提供者可以通过获得更多广告商来挣得更多钱。类似的理由可适用于为广告商提供平台并用来在发布者和广告商之间进行代理的内容代理。例如，具有更高质量流量的平台可以促进在广告拍卖中出价更高金额的广告商，并且更多内容提供者可以加入吸引更高广告商出价的平台。

在在线商业领域，特别是对于在线广告，点击欺诈是一个已知且严重的问题。点击欺诈对应于仅为了生成金钱结果而做出的点击类型事件(例如，鼠标点击、手指按压、滑动等)，其几乎不可能实际导致站点访问或交易。由于与广告和/或内容提供者相关联的每次点击可以为对应的广告商和/或内容提供者生成金钱奖励，因此欺诈性点击可能导致欺诈性的广告商、内容提供者和/或用户收到否则可能转到合法的广告商、内容提供者和/或用户的金钱。

点击欺诈是在在线设置中检测的难题。一般而言，点击欺诈可能通过四种技术发生。每种技术略有不同，并且在另一种技术上使用一种技术可能是执行欺诈行为的一个或多个实体的复杂性、一个或多个实体的资源和/或无数其他因素的结果。这四种技术对应于：(1)基于主机的攻击，(2)基于代理的攻击，(3)基于僵尸网络的攻击，以及(4)基于联合的攻击。

基于主机的攻击是指实体(诸如操作用户设备的用户)重复地点击由内容提供者呈现的一个或多个内容项(例如，广告)。基于代理的攻击是指若干内容提供者被连接到匿名代理以生成对一个或多个内容项的大量点击或其他用户交互事件。基于僵尸网络的攻击是指：连接在一起并通过僵尸网络控制的大量内容提供者，使得在被检测到的可能性最小的情况下发生对一个或多个内容项的最大数量的点击。基于联合的攻击是指如下一个或多个攻击，它们试图形成或加入一组攻击者，该组攻击者通过彼此共享资源来发动联合攻击。这可以允许单个攻击者获得增加的点击量(因为该组攻击者的其他成员对该单个攻击者的点击数量有贡献)，同时使该单个攻击者被检测到的可能性最小化。

本文描述的是用于确定用户/内容提供者对的欺诈活动以及减轻这些欺诈对对未来事件的影响的技术解决方案。

图1A和图1B是根据本教导的各种实施例的用于检测欺诈性的用户-内容提供者对的示例性网络环境的说明图。在图1A中，描述了示例性联网环境100。内容提供者(诸如发布者)可以通过在网站上提供和显示广告来挣得收入。一般而言，在显示广告的该网站处的访问者(例如，流量)的数量越大，内容提供者的收入就越高。欺诈用户(其如本文所述可以对应于试图假借名义获得收入的任何个人、个人组、商业和/或实体)可以创建网站和/或接管现有网站，模拟流量，并经由该流量挣得收入。创建多个站点(其中的每个只收集更少量的金钱)的欺诈用户可能进一步加重该问题。这可能允许欺诈用户不被注意，因为没有一个网站产生足以引起怀疑的金钱，但是这些站点可以共同为欺诈者带来更大金额的收入。

为了使欺诈用户模拟所创建的每个网站的流量，欺诈用户可能需要某些数据。例如，而不是限制，为了模拟可信的流量，可能需要用户设备、浏览器cookie、因特网协议(“IP”)地址、用户代理字符串等。作为说明性示例，可以通过从网络浏览器的缓存文件中重复提取浏览器cookie、清除该浏览器的浏览历史以及再次浏览从而生成新的浏览器cookie来生成多个浏览器cookie。在某些情况下，欺诈用户可能获得这些提取的浏览器cookie并将其放在另外的用户设备上，使得不同的设备共享一个或多个相同的浏览器cookie。还可以使用web自动化工具更改用户代理字符串来以欺诈方式创建用户代理字符串。这例如可以允许最初被声明为用于一种类型的操作系统的用户代理字符串被修改，使得它将其自身声明为用于另一类型的操作系统。虽然改变/修改IP地址稍微更加困难，但欺诈用户可能使用IP僵尸网络或云服务器来获取IP地址，其甚至可能在欺诈用户之间跨多个网站共享。

图1A是根据本教导的各种实施例的用于检测欺诈网络的示例性联网环境的说明图。在图1A中，示例性联网环境100可以包括一个或多个用户设备110，一个或多个内容提供者130，一个或多个内容源160，以及可疑活动检测系统140，其中的每个可以能够经由一个或多个网络120彼此通信。在一些实施例中，一个或多个网络120可以是单个网络或不同网络的组合。例如，一个或多个网络120可以是局域网(“LAN”)，广域网(“WAN”)，公共网络，专用网络，专有网络，公共电话交换网络(“PSTN”)，因特网，内联网，无线网络，虚拟网络，和/或其任何组合。在一个实施例中，一个或多个网络120还可以包括各种网络接入点。例如，联网环境100可以包括有线或无线接入点，诸如但不限于基站或因特网交换点120-1...120-2。基站120-1,120-2可以促进例如去往/来自用户设备110的跨一个或多个网络120与联网环境100的一个或多个其他组件的通信。

用户设备110可以是不同类型的，以便于操作用户设备110的一个或多个用户连接到一个或多个网络120。用户设备110可以对应于任何合适类型的电子设备，包括但不限于桌面计算机110-d，移动设备110c(例如，移动电话，智能电话，个人显示设备，个人数字助理(“PDA”)，游戏控制台/设备，可穿戴设备(例如，手表，别针/胸针，耳机等))，运输设备110-b(例如，汽车，卡车，摩托车，船，船舶，火车，飞机)，移动计算机110-c(例如，膝上型计算机，超极本)，智能设备(例如，电视，机顶盒，智能电视)，智能家居设备(例如，冰箱，微波炉等)，和/或智能配件(例如，灯泡，灯开关，电气开关等)。在一个实施例中，用户(例如，一个或多个个人)可以经由用户设备110发送数据(例如，请求)和/或接收数据(例如，内容)。

在一些实施例中，内容源160可以包括一个或多个内容源160-1、160-2和160-3。尽管在环境100内示出了三个内容源，但是可以包括任何数量的内容源。内容源160可以对应于任何合适的内容源，诸如但不限于个人、商业、组织等，其在本文中可以统称为“实体”或“实体”。例如，内容源160可以对应于政府网站、新闻站点、社交媒体网站，和/或内容馈送源(例如，博客)。在一些实施例中，内容源160可以是垂直内容源。每个内容源160被配置为生成内容并将其经由一个或多个网络120发送到一个或多个用户设备110。内容(例如，网页、广告等)可以包括用户经由其用户设备110可消费的信息。

一个或多个内容提供者130可以对应于一个或多个内容提供者，诸如但不限于：发布内容和/或广告的一个或多个发布者，和/或促进发布者和广告商的内容/广告的代理的内容代理。例如，一个或多个内容提供者130可被配置为呈现从一个或多个内容源160获得的内容。在一些实施例中，一个或多个内容提供者130可以在其上呈现一个或多个广告，这些广告可以是从广告数据库、广告源和/或任何其他合适的实体(例如，内容源160)中选择的。在一些实施例中，一个或多个内容提供者130被配置为提供一个或多个产品和/或一个或多个服务，并且可被配置为处理与广告有关的其自己的一个或多个产品和/或服务(例如，网站、移动应用程序等)的广告过程，或其组合。例如，内容提供者130可以包括诸如广告代理商或广告经销商之类的经营将广告商或广告代理商连接到一个或多个另外实体的平台的系统。

在一个实施例中，可疑活动检测系统140可被配置为检测和识别欺诈性的用户-内容提供者对。在一些实施例中，可疑活动检测系统140可以确定用户风险和内容提供者风险的初始值。例如，初始用户风险值和初始内容提供者风险值可以分别与用户(例如，网页的访问者)和内容提供者(例如，发布者)的点击率(“CTR”)相关联。在一个实施例中，用户CTR涉及用户与向用户显示的内容项总数中的多少内容项(例如，广告)进行交互(例如，点击)。在一个实施例中，内容提供者CTR涉及从内容提供者所显示的内容项总数中点击了多少内容项。在一些实施例中，可以基于由用户交互数据库180存储的交互数据来确定用户CTR，而可以基于由内容提供者交互数据库170存储的交互数据来确定内容提供者CTR。尽管在联网环境100内(并且也在图1B的联网环境150中)示出了单独的数据库170和180，但是本领域普通技术人员将认识到，可以替代地采用包括与用户和内容提供者两者相关联的交互数据的单个交互数据库，并且前述仅仅是说明性的。

可疑活动检测系统140可被配置为生成用户和内容提供者两者的风险值。在一些实施例中，用户的风险值(其在本文中也可以称为“怀疑度”)和内容提供者的可疑度可被一起迭代地确定，并且可以基于关系数据。关系数据可以表示与联网环境100相关联的多个内容提供者中的每一个与每个用户设备110之间的关系。在一个实施例中，关系数据可以对应于转换矩阵，其可以指示由第i个内容提供者从第j个用户检测到的点击的数量。在一些实施例中，可以基于总流量对关系数据进行加权。另外，可以采用与用户到内容提供者转换和内容提供者到用户转换相关联的关系数据。使用相应的关系数据和初始风险值(例如，CTR)，可以确定用户和内容提供者的风险值的表示，并且可以迭代地计算这些表示直到达到收敛为止。

在达到收敛之后，可以识别收敛的用户风险值和收敛的内容提供者风险值，并且可以确定对风险值。可以基于收敛的用户风险值和收敛的内容提供者风险值以及相应的关系数据来确定所确定的对风险值。然后，可疑活动检测系统140可被配置为判定对风险值是否满足条件。例如，可疑活动检测系统140可以判定对风险值是否等于或大于阈值风险值。如果条件得到满足(例如，对风险值大于或等于阈值风险值)，则与用户-内容提供者对相关联的用户和内容提供者可以具有应用于其的欺诈标签，使得该内容提供者从该用户检测到的未来事件被标记并且被防止导致内容提供者(和用户)的金钱收益。

在一个说明性实施例中，除了可疑活动检测系统140可以用作一个或多个内容提供者130的后端之外，图1B的联网环境150可以基本上类似于图1A的联网环境100。或者，一个或多个内容提供者130可以用作可疑活动检测系统140的后端。

图2A是根据本教导的各种实施例的示例性可疑活动检测系统的说明图。在非限制性实施例中，可疑活动检测系统140可以包括用户交互确定器210、内容提供者交互确定器212、风险确定系统214和用户/内容提供者暂停系统216等其他特征。

在一些实施例中，可疑活动检测系统140可包括一个或多个处理器、存储器和通信电路。可疑活动检测系统140的一个或多个处理器可以包括能够控制可疑活动检测系统140的一个或多个组件/模块的操作和功能以及促进可疑活动检测系统140内的各个组件之间的和/或与网络环境100、150的一个或多个其他系统/组件的通信的任何合适的处理电路。在一些实施例中，一个或多个处理器可包括中央处理单元(“CPU”)，图形处理单元(“GPU”)，一个或多个微处理器，数字信号处理器，或任何其他类型的处理器，或其任何组合。在一些实施例中，一个或多个处理器的功能可以由一个或多个硬件逻辑组件执行，这一个或多个硬件逻辑组件包括但不限于现场可编程门阵列(“FPGA”)，专用集成电路(“ASIC”)，专用标准产品(“ASSP”)，片上系统(“SOC”)，和/或复杂可编程逻辑器件(“CPLD”)。另外，一个或多个处理器中的每一个可包括其自己的本地存储器，其可存储程序系统、程序数据和/或一个或多个操作系统。然而，一个或多个处理器可以运行用于可疑活动检测系统140的一个或多个组件的操作系统(“OS”)和/或驻留在其上的一个或多个固件应用程序、媒体应用程序和/或应用程序。在一些实施例中，一个或多个处理器可以运行用于读取和渲染从一个或多个网站接收的内容的本地客户端脚本。例如，一个或多个处理器可以运行用于渲染从一个或多个用户设备110所访问的特定URL接收的HTML或XHTML内容的本地JavaScript客户端。

存储器可以包括一种或多种类型的存储介质(诸如任何易失性或非易失性的存储器，或以任何合适的方式实现的任何可移动或不可移动的存储器)，以存储可疑活动检测系统140的数据。例如，可以使用计算机可读指令、数据结构和/或程序系统来存储信息。各种类型的存储装置/存储器可以包括但不限于硬盘驱动器，固态驱动器，闪存，永久存储器(例如，ROM)，电子可擦除可编程只读存储器(“EEPROM”)，CD-ROM，数字通用盘(“DVD”)或其他光学存储介质，磁带盒，磁带，磁盘存储装置或其他磁存储设备，RAID存储系统，或任何其他存储类型，或其任何组合。另外，存储器可被实现为计算机可读存储介质(“CRSM”)，其可以是一个或多个处理器可访问以执行在存储器内存储的一个或多个指令的任何可用物理介质。

通信电路可以包括允许或使得可疑活动检测系统140的一个或多个组件能够彼此通信和/或与一个或多个另外的设备、服务器和/或系统进行通信的任何电路。在一些实施例中，可疑活动检测系统140的一个或多个组件之间的通信可以经由通信电路与用户设备110、内容源160、一个或多个内容提供者130等通信。例如，可以使用传输控制协议和因特网协议(“TCP/IP”)(例如，在每个TCP/IP层中使用的任何协议)、超文本传输协议(“HTTP”)、WebRTC、SIP和/或无线应用协议(“WAP”)来访问一个或多个网络120。各种另外的通信协议可以用来促进可疑活动检测系统140的各种组件之间的通信，包括但不限于Wi-Fi(例如，802.11协议)，蓝牙，射频系统(例如，800MHz、1.4GHz和5.6GHz通信系统)，蜂窝网络(例如，GSM，AMPS，GPRS，CDMA，EV-DO，EDGE，3GSM，DECT，IS136/TDMA，iDen，LTE或任何其他合适的蜂窝网络协议)，红外，BitTorrent，FTP，RTP，RTSP，SSH和/或VOIP。

通信电路可以使用任何通信协议，诸如任何先前提到的示例性通信协议。在一些实施例中，可疑活动检测系统140的一个或多个组件可以包括一个或多个天线，以促进使用各种无线技术(例如，Wi-Fi，蓝牙，射频等)与网络的无线通信。在又一个实施例中，用户活动检测系统的一个或多个组件可以包括一个或多个通用串行总线(“USB”)端口，一个或多个以太网或宽带端口，和/或任何其他类型的硬连线访问端口，使得通信电路促进与一个或多个通信网络的通信。

在说明性实施例中，可疑活动检测系统140可被配置为判定特定一对用户设备和内容提供者是否表现出欺诈行为。如果是，则该用户设备/内容提供者对可被标记，使得该用户设备与该内容提供者的未来交互事件不会导致向该内容提供者和/或该用户设备提供金钱奖励。

在一个实施例中，用户交互确定器210可被配置为识别、生成和输出与一个或多个内容提供者130的用户交互所关联于的用户事件数据。用户交互确定器210可以与用户交互数据库180通信，用户交互数据库180如前所述可以存储与每个内容提供者130进行交互的每个用户设备110所关联于的交互数据。在一些实施例中，用户交互数据库180可以关于每个内容提供者130来存储每个用户设备110的CTR。例如，用户交互数据库180可以为每个用户设备110存储：关于呈现给每个内容提供者130的对应用户设备110的内容项的总数，对应的用户设备110与之进行交互(例如，点击)的内容项(例如，广告)的数量。

在一些实施例中，用户交互确定器210可以按照各种时间间隔从用户交互数据库180获得用户交互数据。例如，可以每隔几分钟、每小时、每天等从用户交互数据库180获得用户交互数据。在收到之后，用户交互确定器210可被配置为确定与用户交互数据相关联的一个或多个用户交互参数。例如，用户交互确定器210可以确定CTR、点击时间(“TTC”)速率和/或由交互数据表示的任何其他类型的交互参数。基于用户交互参数，用户交互确定器210可被配置为确定初始用户风险值，以及作为初始用户风险值的函数的用户风险值的表示，表示每个内容提供者130与多个用户设备110中的每一个之间的关系的关系数据，以及内容提供者风险值的表示。

在一个实施例中，除了内容提供者交互确定器212能够识别、生成和输出与来自一个或多个用户设备110的内容提供者交互相关联的内容提供者事件数据之外，内容提供者交互确定器212可以以与用户交互确定器210基本类似的方式操作。内容提供者交互确定器212可以与内容提供者交互数据库170通信，内容提供者交互数据库170如前所述可以存储来自每个用户设备110的与每个内容提供者130相关联的交互数据。在一些实施例中，内容提供者交互数据库170可以关于每个用户设备110来存储每个内容提供者130的CTR。例如，内容提供者交互数据库170可以为每个内容提供者130存储：由该内容提供者130向每个用户设备110呈现的内容项(例如，广告)的数量，以及每个用户设备110已经与这些内容项中的哪些内容项进行交互。

在一些实施例中，内容提供者交互确定器212可以按照各种时间间隔从内容提供者交互数据库170获得内容提供者交互数据。例如，可以每隔几分钟、每小时、每天等从内容提供者交互数据库170获得内容提供者交互数据。在收到之后，内容提供者交互确定器212可被配置为确定与内容提供者交互数据相关联的一个或多个内容提供者交互参数。例如，内容提供者交互确定器212可以确定CTR、点击时间(“TTC”)速率和/或由内容提供者交互数据表示的任何其他类型的交互参数。基于内容提供者交互参数，内容提供者交互确定器212可被配置为确定初始内容提供者风险值，以及作为初始内容提供者风险值的函数的内容提供者风险值的表示，表示每个用户设备110和每个内容提供者130之间的关系的关系数据，以及用户风险值的表示。

在一些实施例中，风险确定系统214可被配置为确定初始用户风险值、初始内容提供者风险值和用户-内容提供者对风险值中的一个或多个。如上所述，可以分别基于初始用户风险值、初始内容提供者风险值、关系数据和内容提供者风险值表示以及用户风险值表示来生成用户风险值和内容提供者风险值的表示。另外，风险确定系统214可被配置为迭代用户风险值的表示和内容提供者风险值的表示，直到收敛被达到为止。在收敛之后，可以确定收敛的用户风险值和收敛的内容提供者风险值。收敛的用户风险值和收敛的内容提供者风险值可以部分地基于分别与用户到内容提供者转换和内容提供者到用户转换相关联的关系数据的加权/规格化版本而被组合，以生成用户-内容提供者对风险值。

在一个实施例中，用户/内容提供者暂停系统216可被配置为获得用户-内容提供者对风险值，并且可以判定用户-内容提供者对风险值是否满足条件。例如，条件可以是用户-内容提供者对风险值大于或等于阈值。如果条件得到满足(例如，用户-内容提供者对风险值大于或等于阈值)，则用户/内容提供者暂停系统216可被配置为使对应的内容提供者130和用户设备110暂停。在一些实施例中，使内容提供者130和用户设备110暂停可以对应于用户/内容提供者暂停系统216将欺诈标签标记应用于由内容提供者从该用户设备检测到的交互事件。因此，如果内容提供者130从该用户设备110检测到未来的交互事件，则可以抑制该事件使内容提供者130和/或用户设备110接收任何金钱奖励。在一些实施例中，如果条件得到满足，则用户/内容提供者暂停系统216可以在用户/内容提供者暂停数据库225内标记和存储用户设备-内容提供者对。因此，每当内容提供者130从用户设备110检测到未来事件，可疑活动检测系统140可以访问用户/内容提供者暂停数据库225，识别该对用户设备110和内容提供者130包括欺诈标签，并且可以防止该事件为内容提供者130和/或用户设备110注册金钱奖励。

图2B是根据本教导的各种实施例的用于检测用户-内容提供者对的可疑活动的示例性过程的说明性流程图。在非限制性实施例中，过程250可以从步骤252开始。在步骤252，可以获得用户交互数据。例如，用户交互确定器210可以从用户交互数据库180获得用户交互数据。在一些实施例中，可以按照预定义的时间间隔获得用户交互数据。例如，可以每隔几分钟、每小时、每隔几小时、每天等获得用户交互数据。在一些实施例中，用户交互数据可以针对联网环境100、150内的每个内容提供者130并针对每个用户设备110指示用户已经与内容提供者所呈现的哪些内容项目进行交互。

在步骤254，可以确定用户交互参数。例如，可以确定与每个内容提供者130相关联的每个用户设备110的CTR。在一些实施例中，可以基于交互数据来确定CTR。然而，在其他实施例中，CTR信息可被包括在步骤252处获得的交互数据中。在步骤256，可以确定用户风险值。在一些实施例中，初始用户风险值可被选择作为每个内容提供者130的每个用户设备110的CTR。另外，在一些实施例中，可以基于初始用户风险值、表示每个用户设备110和每个内容提供者130的交互之间的关系的关系数据以及内容提供者风险值的表示来确定用户风险值的表示(如关于步骤258-262描述的)。

虽然过程250被描述为从步骤252开始，但是本领域普通技术人员将认识到，替代地，过程250可以从步骤258开始。此外，在一些实施例中，可疑活动检测系统140可以并行执行步骤252-256和步骤258-262。

在步骤258，可以获得内容提供者交互数据。例如，内容提供者交互确定器212可以从内容提供者交互数据库170获得内容提供者交互数据。在一些实施例中，除了在步骤258处交互数据涉及内容提供者交互数据之外，步骤258可以基本上类似于步骤252。在步骤260，可以确定内容提供者交互参数。类似于步骤254，内容提供者交互参数可以对应于与每个内容提供者130相关联的内容提供者CTR。在步骤262，可以确定内容提供者风险值。在一些实施例中，除了在步骤262处可以选择每个内容提供者130的CTR作为初始内容提供者风险值之外，步骤262可以基本上类似于步骤256。另外，在一些实施例中，可以基于初始内容提供者风险值、表示每个内容提供者130和每个用户设备110的交互之间的关系的关系数据以及用户风险值的表示来确定内容提供者风险值的表示(如关于步骤252-256描述)。

在步骤264，可以确定用户设备-内容提供者对风险值。例如，风险确定系统214可被配置为获得用户风险值的表示，内容提供者风险值的表示，以及用户设备到内容提供者转换和内容提供者到用户设备转换的关系数据。然后，风险确定系统214可以能够对这些表示执行迭代，以便确定这些表示何时/是否收敛。例如，当从一个迭代到下一迭代的表示的变化小于收敛值时，可以说获得了收敛。响应于确定这些表示收敛，如下详述，可以获得收敛的用户风险值和收敛的内容提供者风险值。使用收敛的用户风险值和收敛的内容提供者风险值，可以获得用户设备-内容提供者对风险值。

在步骤266，可以确定风险阈值。在一些实施例中，用户/内容提供者暂停系统216可以存储风险阈值。例如，用户/内容提供者暂停系统216可以预先设置风险阈值，获得风险阈值，和/或从在存储器内存储的多个风险阈值中选择风险阈值。在步骤268，可以判定用户设备-内容提供者对风险值是否大于(或等于)风险阈值。例如，用户/内容提供者暂停系统216可以执行该判定。

如果在步骤268确定用户设备-内容提供者对风险值大于或等于风险阈值，则过程250可以进行到步骤270。在步骤270，用户设备和内容提供者可被暂停。例如，用户/内容提供者暂停系统216可以将欺诈标签(例如，元数据标志)应用于用户设备和内容提供者，使得用户设备与内容提供者的未来交互不会导致内容提供者和/或用户收到任何奖励。在一些实施例中，欺诈标签可以与内容提供者和用户设备相关联地存储在用户/内容提供者暂停数据库225中。然而，如果在步骤268确定该对风险值小于风险阈值，则过程250可以进行到步骤272。在步骤272，可以继续监视用户设备和内容提供者之间的交互。在该特定场景中，在一些实施例中，过程250可以重复(例如，步骤252-268)。

图3A是根据本教导的各种实施例的示例性用户交互确定器的说明图。在说明性实施例中，用户交互确定器210可以包括交互数据收集发起器310，用户交互数据接收器312，用户交互数据分析器314，交互有效性确定器316，以及计时器318。在一些实施例中，用户交互确定器210可以使用一个或多个处理器实现在存储器内存储的一个或多个计算机程序，以便执行与交互数据收集发起器310、用户交互数据接收器312、用户交互数据分析器314、交互有效性确定器316和计时器318相关联的功能。

在一个实施例中，交互数据收集发起器310可被配置为生成对用户交互数据的请求并将其发送到用户交互数据库180。交互数据收集发起器310可以包括使该请求被生成和发送的一个或多个计算机程序，其中这一个或多个计算机程序能够存储在存储器内并且可经由与用户交互确定器210相关联的一个或多个处理器执行。交互数据收集发起器310可以与计时器318通信。计时器318可以采用一个或多个计时器设置320，其可以向计时器318指示何时已经过了一段时间，从而使计时器318向交互数据收集发起器310发送指令以生成和发送对用户交互数据的请求。在一些实施例中，计时器318可以基于存储在存储器内并且可经由与其相关联的一个或多个处理器执行的一个或多个计算机程序而被配置为确定最近的数据收集请求和/或交互数据的接收，并且可以在该事件发生之后开始计时。响应于计时器设置320确定自事件发生起已经过预定的时间持续时间，计时器318可以向交互数据收集发起器310通知要从用户交互数据库180中检索用户交互数据。在一些实施例中，计时器318可以替代地或另外地确定由计时器设置320存储的预定时间量何时已经过去并且作为响应将通知发送到交互数据收集发起器310。另外，交互数据收集发起器310可被配置为响应于(例如，从用户设备110)接收到附加请求而请求用户交互数据。

用户交互数据接收器312被配置为响应于从交互数据收集发起器310发送请求而从用户交互数据库180接收用户交互数据。在一个实施例中，所接收的用户交互数据可以涉及在特定时间持续时间期间与一个或多个内容提供者(例如，一个或多个内容提供者130)的用户交互。例如，用户交互数据可以包括最近几分钟、小时、天等发生的来自一个或多个用户设备110的与由内容提供者130呈现的内容项的用户交互(例如，点击，滚动，按压，滑动等)。在一些实施例中，用户交互数据可以对应于自检索到用户交互数据的最后一个实例以来发生的与由内容提供者130呈现的内容项的用户交互。在该特定场景中，用户交互数据接收器312可以包括存储在存储器内并且可经由一个或多个处理器执行的计算机程序，这些计算机程序响应于接收到用户交互数据的每个实例而使通知被发送到计时器318。该通知可以使计时器318“重置”，使得计时器318再次开始计时。在一个或多个计时器设置320得到满足(例如，经过时间持续时间)之后，计时器318可以再次通知交互数据收集发起器310向用户交互数据库180请求新的用户交互数据，然后由用户交互数据接收器312接收该数据，从而使该过程重复。另外，用户交互数据接收器312可以将已经接收到的用户交互数据提供给用户交互数据分析器314。

在一个实施例中，用户交互数据分析器314可被配置为使用一个或多个交互数据特征322来分析用户交互数据。例如，用户交互数据特征可以对应于要由用户交互数据分析器分析的标准。例如，交互数据特征322可以包括但不限于CTR、TTC、滚动速度、停留时间等。用户交互数据分析器314可以确定例如与所接收的用户交互数据相关联的CTR。例如，CTR可以对应于由特定内容提供者130向特定用户设备110显示的内容项的总数中的该用户设备110与之进行交互的内容项的数量。在一些实施例中，用户交互数据分析器314因此可被配置为确定与每个内容提供者130进行交互的每个用户设备110的CTR，其可以由用户交互数据表示。在一些实施例中，用户交互数据分析器314可以包括一个或多个计算机程序，其使一个或多个处理器根据所采用的交互数据特征322来分析用户交互数据。然后，用户交互数据分析器314可以能够向交互有效性确定器提供表示要由交互有效性确定器316验证的事件列表的数据。该事件列表可以包括由每个内容提供者130检测到的与每个用户设备110相关联的事件。该事件列表可以包括欺诈性、非欺诈性、不确定和/或无关的事件。在一些实施例中，用户事件列表中的每个用户事件可被记录在用户事件日志326内。用户事件日志326可以例如存储对由用户交互数据分析器314识别的所有用户事件的指示，其可被存储在用户交互数据库180和/或任何其他数据库中，以供系统管理员、用户等进行回顾和分析。

交互有效性确定器316可被配置为确定事件的有效性。在一些实施例中，交互有效性确定器316可以采用一个或多个有效性模型324，其可以用于评估来自交互数据的给定事件是否是能够用于确定欺诈行为的有效事件。例如，并非所有事件都可能反映欺诈。作为说明性示例，导致转换的事件(例如，内容项被点击并且由该点击造成购买)可能在识别点击欺诈时无用。交互有效性确定器316可以经由一个或多个处理器实现一个或多个计算机程序，以使用一个或多个有效性模型324识别哪些事件是有效的以及哪些事件是无效的，以便识别点击欺诈。在一些实施例中，交互有效性确定器316可被配置为生成表示由每个内容提供者130从每个用户设备110检测到的一个或多个用户事件的用户事件数据，并且可以将用户事件数据输出到风险确定系统214。

图3B是根据本教导的各种实施例的用于生成和输出用户事件数据的示例性过程的说明性流程图。在非限制性实施例中，过程350可以从步骤352开始。在步骤352，可以获得用户交互数据。例如，用户交互数据接收器312可以从用户交互数据库180获得用户交互数据。在一些实施例中，可以响应于从交互数据收集发起器310发送请求而获得用户交互数据，该请求可以是计时器318向交互数据收集发起器310通知已经经过预定义的时间持续时间的结果。

在步骤354，可以分析用户交互数据。例如，用户交互数据分析器314可以分析用户交互数据。在一些实施例中，用户交互数据分析器314可以采用交互数据特征322来确定内容提供者130为每个用户设备110检测到的事件的列表。步骤356，可以判定该事件列表内包括的每个用户事件是否有效。例如，交互有效性确定器316可以采用有效性模型324来判定来自该列表的每个事件是否将用于确定/执行点击欺诈的分析。

如果在步骤356确定特定用户事件无效，则过程350可以返回到步骤354。在该特定场景中，可以分析来自事件列表的下一事件并且过程350可以返回到步骤356，在步骤356判定新的下一事件是否有效。该循环(例如，步骤354，356)可以针对事件列表内包括的每个用户事件重复。然而，如果在步骤356确定用户事件是有效的用户事件，则过程350可以进行到步骤358。在步骤358，可以记录有效的用户事件。例如，有效的用户事件可被记录在用户事件日志326中。

在步骤360，可以生成用户事件数据。例如，交互有效性确定器316可被配置为生成表示已经识别出的一个或多个有效用户事件的用户事件数据。在步骤362，可以输出用户事件数据。例如，可以将用户事件数据提供给风险确定系统214。

图4A是根据本教导的各种实施例的示例性内容提供者交互确定器的说明图。在说明性实施例中，内容提供者交互确定器212可包括交互数据收集发起器410，内容提供者交互数据接收器412，内容提供者交互数据分析器414，交互有效性确定器416，以及计时器418。在一些实施例中，除了交互数据收集发起器410、内容提供者交互数据接收器412、内容提供者交互数据分析器414、交互有效性确定器416和计时器418与内容提供者交互确定器212相关联之外，交互数据收集发起器410、内容提供者交互数据接收器412、内容提供者交互数据分析器414、交互有效性确定器416和计时器418中的一个或多个可以基本上类似于图3A中的交互数据收集发起器310、用户交互数据接收器312、用户交互数据分析器314、交互有效性确定器316和计时器318。在一些实施例中，内容提供者交互确定器212可以使用一个或多个处理器来实现在存储器内存储的一个或多个计算机程序，以便执行与交互数据收集发起器410、内容提供者交互数据接收器412、内容提供者交互数据分析器414、交互有效性确定器416和计时器418相关联的功能。

在一个实施例中，可将交互数据收集发起器410配置为生成对内容提供者交互数据的请求并将该请求发送到内容提供者交互数据库170。交互数据收集发起器410可以包括使该请求被生成并发送的一个或多个计算机程序，其中这一个或多个计算机程序能够存储在存储器内并且可经由与内容提供者交互确定器212相关联的一个或多个处理器执行。交互数据收集发起器410可以与计时器418通信。计时器418可以采用一个或多个计时器设置420，其可以向计时器418指示何时已经过了一段时间，从而使计时器418向交互数据收集发起器410发送指令以生成并发送对内容提供者交互数据的请求。另外，计时器设置420可以基本上类似于图3A的计时器设置320，并且先前的描述可以适用。在一些实施例中，计时器418可以基于存储在存储器内并且可以经由与其相关联的一个或多个处理器执行的一个或多个计算机程序而被配置为确定最近的数据收集请求和/或交互数据的接收，并且可以在该事件发生之后开始计时。响应于计时器418表明自事件发生以来已经过预定时间持续时间，计时器418可以向交互数据收集发起器410通知要从内容提供者交互数据库170中检索内容提供者交互数据。在一些实施例中，计时器418可以替代地或另外地确定由计时器设置420指示的预定时间量何时已经过去并且作为响应将该通知发送到交互数据收集发起器410。另外，交互数据收集发起器410可被配置为响应于(例如，从用户设备110)接收到附加请求而请求内容提供者交互数据。

内容提供者交互数据接收器412被配置为响应于从交互数据收集发起器410发送请求而从内容提供者交互数据库170接收内容交互数据。在一个实施例中，所接收的内容提供者交互数据可以涉及在特定时间持续时间期间与一个或多个用户设备(例如，一个或多个用户设备110)的内容提供者交互。例如，内容提供者交互数据可以包括由一个或多个内容提供者130检测到的在最近几分钟、小时、日等内发生的针对由一个或多个内容提供者130呈现的内容项目的交互(例如，点击，滚动，按压，滑动等)。在一些实施例中，内容提供者交互数据可以对应于自检索到内容提供者交互数据的最后一个实例以来发生的用户与由一个或多个内容提供者130呈现的内容项的内容提供者交互。在该特定场景中，内容提供者交互数据接收器412可以包括存储在存储器内并且可经由一个或多个处理器执行的计算机程序，其响应于接收到内容提供者交互数据的每个实例而使通知被发送到计时器418。该通知可以使计时器418“重置”，使得计时器418再次开始计时。在一个或多个计时器设置420得到满足(例如，经过时间持续时间)之后，计时器418可以再次通知交互数据收集发起器410向内容提供者交互数据库170请求新的内容提供者交互数据，然后由内容提供者交互数据接收器412接收该交互数据，从而使该过程重复。另外，内容提供者交互数据接收器412可以将已经接收的内容提供者交互数据提供给内容提供者交互数据分析器414。

在一个实施例中，内容提供者交互数据分析器414可被配置为使用一个或多个交互数据特征422来分析内容提供者交互数据。例如，内容提供者交互数据特征可以对应于内容提供者交互数据分析器所要分析的标准。例如，交互数据特征422可以包括但不限于CTR、TTC、滚动速度、停留时间等。内容提供者交互数据分析器414可以确定例如与所接收的内容提供者交互数据相关联的CTR。例如，CTR可以对应于由特定内容提供者130显示的内容项的总数中的被交互的内容项的数量。在一些实施例中，内容提供者交互数据分析器414因此可被配置为确定每个内容提供者130关于每个用户设备110的CTR，其可以由内容提供者交互数据表示。在一些实施例中，内容提供者交互数据分析器414可以包括一个或多个计算机程序，其使一个或多个处理器根据正在采用的交互数据特征422来分析内容提供者交互数据。然后，内容提供者交互数据分析器414能够向交互有效性确定器416提供表示要由交互有效性确定器416验证的事件列表的数据。该事件列表可以包括由每个内容提供者130为每个用户设备110检测到的事件。该事件列表可以包括欺诈性、非欺诈性、不确定和/或无关的事件。在一些实施例中，内容提供者事件的列表中的每个内容提供者事件可被记录在内容提供者事件日志426中。内容提供者事件日志426可以例如存储对由内容提供者交互数据分析器414识别的所有内容提供者事件的指示，其可被存储在内容提供者交互数据库170和/或任何其他数据库中，以供系统管理员、用户等进行回顾和分析。

交互有效性确定器416可被配置为确定事件的有效性。在一些实施例中，交互有效性确定器416可以采用一个或多个有效性模型424，其可以用于评估来自交互数据的给定事件是否是能够用于确定欺诈行为的有效事件。交互有效性确定器416可以经由一个或多个处理器实现一个或多个计算机程序，以使用一个或多个有效性模型424识别哪些事件有效以及哪些事件无效，以识别点击欺诈。在一些实施例中，交互有效性确定器416可被配置为生成表示由每个内容提供者130从每个用户设备110检测到的一个或多个内容提供者事件的内容提供者事件数据，并且可以将内容提供者事件数据输出到风险确定系统214。

图4B是根据本教导的各种实施例的用于生成和输出内容提供者事件数据的示例性过程的说明性流程图。在非限制性实施例中，过程450可以从步骤452开始。在步骤452，可以获得内容提供者交互数据。例如，内容提供者交互数据接收器412可以从内容提供者交互数据库170获得内容提供者交互数据。在一些实施例中，响应于从交互数据收集发起器410发送请求，可以获得内容提供者交互数据，该请求可以是计时器418向交互数据收集发起器410通知已经过预定义的时间持续时间的结果。

在步骤454，可以分析内容提供者交互数据。例如，内容提供者交互数据分析器414可以分析内容提供者交互数据。在一些实施例中，内容提供者交互数据分析器414可以采用交互数据特征422来确定每个内容提供者130为每个用户设备110检测到的事件的列表。步骤456，可以判定该事件列表内包括的每个内容提供者事件是否有效。例如，交互有效性确定器416可以采用有效性模型424来判定来自该列表的每个事件是否将用于确定/执行点击欺诈的分析。

如果在步骤456确定特定内容提供者事件无效，则过程450可以返回到步骤454。在该特定场景中，可以分析来自事件列表的下一事件并且过程450可以返回到步骤456，在步骤456判定新的下一事件是否有效。该循环(例如，步骤454，456)可以针对事件列表内包括的每个内容提供者事件重复。然而，如果在步骤456确定内容提供者事件是有效的内容提供者事件，则过程450可以进行到步骤458。在步骤458，可以记录有效的内容提供者事件。例如，有效的内容提供者事件可被记录在内容提供者事件日志426中。

在步骤460，可以生成内容提供者事件数据。例如，交互有效性确定器416可被配置为生成表示已经识别出的一个或多个有效内容提供者事件的内容提供者事件数据。在步骤462，可以输出内容提供者事件数据。例如，可以将内容提供者事件数据提供给风险确定系统214。

图5A是根据本教导的各种实施例的示例性风险确定系统的说明图。在说明性实施例中，风险确定系统214包括二分图生成器510，转换模型生成器528，用户-内容提供者传播确定器512，内容提供者-用户传播确定器514，用户/内容提供者对风险值确定系统516，以及用户/内容提供者风险值数据库526。在一些实施例中，风险确定系统214可以使用一个或多个处理器实现在存储器内存储的一个或多个计算机程序，以便执行与二分图生成器510、转换模型生成器528、用户-内容提供者传播确定器512、内容提供者-用户传播确定器514和用户/内容提供者对风险值确定系统516相关联的功能。

在一个实施例中，二分图生成器510可被配置为生成一个或多个二分图和/或表示二分图信息的数据。二分图可以指示用户设备110和内容提供者130之间的关系，这可以帮助识别欺诈性的用户设备-内容提供者对。对于具有由表示的N个内容提供者和由表示的M个用户设备的给定集合，可以由等式1生成并表示二分图：

G＝(V_CP,V_UD,C) 等式1。

在等式1中，C对应于指示每个用户设备与每个内容提供者之间的交互关系的关系数据。例如，关系数据可以指代由C＝[C_ij]_n×m表示的转换矩阵。在该特定场景中，C_ij对应于第i个内容提供者从第j个用户设备检测到的多个交互事件(例如，点击)。在一个实施例中，可以通过一个或多个标识符来跟踪用户设备110。可以用于跟踪的各种标识符包括但不限于IP地址、用户代理字符串、设备标识符、序列号、电话号码、GPS位置、社交媒体网络标识符等。在一些实施例中，可以从转换模型生成器528获得转换数据。

在一个示例中，二分图生成器510可以生成风险度量二分图。在一个实施例中，生成的二分图可以包括用户设备标识符(例如，IP地址)和内容提供者标识符(例如，URL)。每个用户设备标识符以转换概率连接到对应的一个或多个内容提供者标识符。在该特定实例中，转换概率可以用于生成加权的用户-内容提供者转换矩阵W^UD,CP(i,j)，如下面通过等式2描述的。转换概率越大，该对用户设备和内容提供者就越可疑。在一个实施例中，被确定为具有与其连接的增加数量的用户设备标识符的内容提供者标识符可以使内容提供者风险值与其他内容提供者相比被“提升”(例如，加权更大)。

响应于生成示出用户设备到内容提供者的传播的前述二分图，可以生成另一个二分图，其示出内容提供者向用户设备的传播。在该实施例中，以转换概率将内容提供者标识符映射到用户设备标识符，从而指示可疑水平。在该特定实例中，转换概率可以用于生成加权的内容提供者-用户转换矩阵W^CP,UD(i,j)，如下面通过等式3描述。基于对检测到增加的可疑的内容提供者的分析，与那些内容提供者进行交互的用户设备可以使其风险值“提升”。因此，内容提供者和用户设备之间的依赖性可以反映内容提供者、用户设备和对的可疑水平，从而反映其风险。

在一些实施例中，用户内容提供者传播确定器512可被配置为确定用户风险值的表示。为了确定用户风险值的表示，除了其他方面之外，用户-内容提供者传播确定器512可以确定初始用户风险值和与关系数据所反映的用户到内容提供者转换相关联的加权转换数据，以及从内容提供者-用户传播确定器514获得内容提供者风险值的表示。

在一些实施例中，内容提供者-用户传播确定器514可被配置为确定内容提供者风险值的表示。为了确定内容提供者风险值的表示，除了其他方面之外，内容提供者-用户传播确定器514可以确定初始内容提供者风险值和与由关系数据反映的内容提供者到用户转换相关联的加权转换数据，以及从用户-内容提供者传播确定器512获得用户风险值的表示。

本领域普通技术人员将认识到，尽管风险确定系统214包括单独的用户-内容提供者传播确定器512和单独的内容提供者-用户传播确定器514，但是在一些实施例中，可以采用单个传播确定器。图5A中的用户-内容提供者传播确定器512和内容提供者-用户传播确定器514两者的使用仅仅是说明性的。

在一些实施例中，可以通过一个或多个迭代过程来完成用户风险值和内容提供者风险值的确定。用户-内容提供者传播确定器512和内容提供者-用户传播确定器514都可以包括可使用与风险确定系统214相关联的一个或多个处理器执行的一个或多个计算机程序，以执行迭代并确定用户风险值和内容提供者风险值。在非限制性实施例中，迭代t处的第i个内容提供者和第j个用户设备的内容提供者风险值和用户风险值可以分别由和表示。另外，所有内容提供者130和用户设备110的内容提供者风险值和用户风险值可以分别由和表示。

转换模型生成器528还可被配置为生成一个或多个转换模型522(例如，转换矩阵C_ij)。在一个实施例中，用户-内容提供者传播确定器512可以采用这一个或多个转换模型522，以基于关系数据和一个或多个用户权重518生成加权的用户-内容提供者关系数据。例如，加权的用户-内容提供者关系数据可以对应于加权的用户-内容提供者转换矩阵W^UD,CP(i,j)。例如，可以通过使用于用户设备到内容提供者转换的转换矩阵C_ij规格化来计算加权的用户-内容提供者转换矩阵W^UD,CP(i,j)，如等式2所述：

类似地，转换模型生成器528可被配置为生成一个或多个转换模型522(例如，转换矩阵C_ji)。在一个实施例中，内容提供者-用户传播确定器514可以采用一个或多个转换模型522，以基于关系数据和一个或多个内容提供者权重520生成加权的内容提供者-用户关系数据。例如，加权的内容提供者-用户关系数据可以对应于加权的内容提供者-用户转换矩阵W^CP,UD(i,j)。例如，可以通过使用于内容提供者到用户设备转换的转换矩阵C_ij规格化来计算加权的内容提供者-用户转换矩阵W^CP,UD(i,j)，如等式3所述：

在等式2中，i对应于第i个内容提供者，而j对应于第j个用户设备。然而，在等式3中，j对应于第j个内容提供者，并且i对应于第i个用户设备。当使用于从用户设备到内容提供者的转换的转换矩阵C规格化时，可以逐行使转换矩阵C规格化，然后将其除以列上的总和。然而，当使用于从内容提供者到用户设备的转换的转换矩阵C规格化时，C的转置(例如，C^T)被采用，然后被规格化。

使用W^UD,CP(i,j)和WC^P,UD(i,j)，可以确定内容提供者风险值和用户风险值的表示。这些表示可以分别由等式4和5描述：

在等式4和5中，α是0和1之间的数字，并且v_CP和v_UD分别是初始内容提供者风险值和初始用户风险值。在一个实施例中，初始内容提供者风险值可被设置为内容提供者CTR(例如，v_CP＝CTR_CP)，而初始用户风险值可被设置为用户设备CTR(例如，v_UD＝CTR_UD)。如上所述，可以分别从内容提供者交互确定器212和用户交互确定器210获得内容提供者CTR和用户设备CTR。用户-内容提供者传播确定器512和内容提供者-用户传播确定器514可被配置为彼此通信以分别获得内容提供者风险值和用户设备风险值的表示。通过这样做，可以执行如在下面关于用户/内容提供者对风险值确定系统516描述的迭代过程。另外，在一个实施例中，用户-内容提供者传播确定器512和内容提供者-用户传播确定器514可以组合成单个模块/系统。

在一些实施例中，可以将用户/内容提供者对风险值确定系统516配置为经由与风险确定系统520相关联的一个或多个处理器执行一个或多个计算机程序，以确定用户-内容提供者对风险值。使用用户CTR值和内容提供者CTR值作为v_CP和v_UD的值，系统516可以执行迭代(例如，t＝0,1,2，...，w)直到等式4和5收敛为止。响应于等式4和5收敛，可以确定每个内容提供者的收敛的内容提供者风险值s_CP(i)和每个用户设备的收敛的用户风险值s_UD(j)。然后可以组合收敛的用户风险值和收敛的内容提供者风险值，以制定用户-内容提供者对风险值s_CP,UD(i,j)。可以通过等式6来描述用户-内容提供者对风险值，其在本文中也可以称为对风险值：

在一些实施例中，系统516可以采用一个或多个组合模型524来识别用来组合收敛的用户风险值和收敛的内容提供者风险值的组合技术或方法。在一些实施例中，可以采用收敛的用户风险值和收敛的内容提供者风险值的差异组合。例如，如下所示，收敛的用户风险值和内容提供者风险值可以与指数函数一起使用：

在确定对风险值之后，系统516可被配置为将对风险值提供给用户/内容提供者风险值数据库526。用户/内容提供者风险值数据库526可以为每个用户设备-内容提供者对存储对应的对风险值。这可以允许风险确定系统140跟踪哪些对的内容提供者和用户当前已经显示欺诈活动，以及哪些对现在已经变得欺诈。另外，系统516可被配置为将对风险值(例如，在等式6中看到的对风险值的表示)输出到用户/内容提供者暂停系统216。

图5B是根据本教导的各种实施例的用于确定用户/内容提供者风险值的示例性过程的说明性流程图。在非限制性实施例中，过程550可以从步骤552开始。在步骤552，可以获得用户事件数据。例如，可以从用户交互确定器210获得用户事件数据。在步骤554，可以获得内容提供者事件数据。例如，可以从内容提供者交互确定器212获得内容提供者事件数据。在步骤556，可以生成一个或多个二分图。例如，二分图生成器510可以接收用户事件数据和内容提供者事件数据，并且可以生成一个或多个二分图，一个或多个二分图的表示，和/或表示一个或多个二分图的数据。

在步骤558，可以确定初始用户风险值。例如，用户-内容提供者传播确定器512可被配置为至少部分地基于用户事件数据来确定与每个用户设备110相关联的初始风险值。在一个实施例中，初始用户风险值可以对应于与每个用户设备关联的CTR。在步骤560，可以确定初始内容提供者风险值。例如，内容提供者-用户传播确定器514可被配置为至少部分地基于内容提供者事件数据来确定与每个内容提供者130相关联的初始风险值。在一个实施例中，初始内容提供者风险值可以对应于与每个内容提供者关联的CTR。

在步骤562，可以确定用户风险值的表示。例如，用户-内容提供者传播确定器512可以确定用户风险值的表示。在步骤564，可以确定内容提供者风险值的表示。例如，内容提供者-用户传播确定器514可以确定内容提供者风险值的表示。在一些实施例中，步骤562和564可以一起发生，使得用户风险值的表示和内容提供者风险值的表示相互依赖。例如，内容提供者风险值和用户风险值的表示可以由上面的等式4和5描述。在等式4和5中，迭代t+1处的内容提供者风险值的表示取决于迭代t处的用户设备风险值的表示和初始内容提供者风险值以及其他特征，而迭代t+1处的用户风险值的表示取决于迭代t处的内容提供者风险值的表示和初始用户风险值以及其他特征。

在步骤566，可以对这些表示执行迭代过程。例如，用户/内容提供者对风险值确定系统516可以执行迭代。例如，可以使用等式4和5来计算在迭代t＝0、t＝1、t＝2等处的内容提供者风险值和用户风险值。在步骤568，可以判定用户风险值和内容提供者风险值的表示是否收敛。如果是，则过程550可以进行到步骤570。如果不是，则过程550可以返回到步骤566，在步骤566迭代继续。

在步骤570，可以确定收敛的内容提供者风险值和收敛的用户风险值。在步骤572，可以确定用户/内容提供者对风险值。在一些实施例中，用户/内容提供者对风险值确定系统516可以采用一个或多个组合模型524来确定用户/内容提供者对风险值。例如，如上面通过等式6所述，可以采用收敛的内容提供者风险值和收敛的用户风险值来确定用户/内容提供者对风险值。在步骤574，风险确定系统214可以输出用户/内容提供者对风险值。在一些实施例中，输出的用户/内容提供者对风险值可被提供给用户/内容提供者暂停系统216。替代地或另外地，可以将用户/内容提供者对风险值提供给用户/内容提供者风险值数据库526以进行存储。

图6A是根据本教导的各种实施例的示例性转换模型生成器的说明图。在说明性实施例中，转换模型生成器可以包括内容提供者交互获取器602，用户交互值获取器604，规格化单元606和610，转置单元608，用户到内容提供者转换模型生成器612，以及内容提供者到用户转换模型生成器614。在一些实施例中，转换模型生成器528可以使用一个或多个处理器实现在存储器内存储的一个或多个计算机程序，以便执行与内容提供者交互获取器602、用户交互值获取器604、规格化单元606和610、转置单元608、用户到内容提供者转换模型生成器612以及内容提供者到用户转换模型生成器614相关联的功能。

在一些实施例中，内容提供者交互值获取器602可被配置为从内容提供者交互数据库170获得内容提供者交互数据。内容提供者交互数据可以指示内容提供者和用户之间的交互。例如，内容提供者交互数据可以指示从内容提供者到用户设备的矩阵C的转换。在一些实施例中，用户交互值获取器604可被配置为从用户交互数据库180获得用户交互数据。用户交互数据可以指示用户和内容提供者之间的交互。例如，用户交互数据可以指示从用户设备到内容提供者的矩阵C的转换。

规格化单元606可被配置为使用于用户设备到内容提供者转换的转换矩阵C规格化。例如，如等式2所示，可以通过除以不同列的总和来使矩阵C(i,j)的每一行规格化。规格化单元610可以以基本类似的方式操作。然而，在规格化单元610对转换矩阵C(j,i)执行规格化之前，转置单元608可被配置为获得C(i,j)的矩阵转置。矩阵C不是对称方矩阵，因此可以首先执行从用户设备-内容提供者到内容提供者-用户设备的矩阵的转置。然后，如等式7所示，结果被规格化单元610规格化：

用户到内容提供者转换模型612可被配置为获得规格化转换矩阵，并输出加权的转换矩阵W^UD,CD(i,j)。例如，转换模型生成器528可以将加权的转换矩阵输出到用户权重518和/或转换模型522，其然后可被用户-内容提供者传播确定器512使用。类似地，内容提供者到用户转换模型生成器614可被配置为获得用于内容提供者到用户设备转换的规格化转换矩阵，并且可以输出加权的转换矩阵W^CP,UD(i,j)。例如，转换模型生成器528可以将加权的转换矩阵输出到内容提供者权重520和/或转换模型522，其然后可被内容提供者-用户传播确定器514使用。

图6B是根据本教导的各种实施例的用于确定一个或多个转换度量的示例性过程的说明性流程图。在非限制性实施例中，过程650可以从步骤652开始。在步骤652，可以获得用户交互数据。例如，用户交互数据可以由用户交互值获取器604从用户交互数据库180获得。在步骤654，可以获得内容提供者交互数据。例如，内容提供者交互数据可以由内容提供者交互值获取器602从内容提供者交互数据库170获得。

在步骤656，可以确定指示内容提供者和用户关系的矩阵。例如，用户交互值获取器604和内容提供者交互值获取器602可以确定矩阵C。在步骤658，可以使用于用户设备到内容提供者转换的度量以及用于内容提供者到用户设备转换的矩阵规格化。例如，规格化单元606可以使用于用户设备到内容提供者转换的矩阵C规格化。对于内容提供者到用户设备转换，转置单元608可以首先生成C的转置矩阵C^T，其然后可被提供给规格化单元610以进行规格化。在步骤660，可以生成加权的转换矩阵W^UD,CD(i,j)和W^CP,UD(i,j)。例如，用户到内容提供者转换模型生成器612可以生成用户设备到内容提供者(U-CP)加权转换模型W^UD,CD(i,j)，而内容提供者到用户设备转换模型生成器614可以生成内容提供者到用户设备(CP-U)加权转换模型W^CP,UD(i,j)。在步骤662，可以输出加权矩阵。例如，加权矩阵W^UD,CD(i,j)和W^CP,UD(i,j)可被分别输出到用户权重518和内容提供者权重520，以及或者可选地输出到转换模型522。

图7A是根据本教导的各种实施例的示例性用户-内容提供者传播确定器的说明图。在说明性实施例中，用户-内容提供者传播确定器512包括用户权重标识器702，初始用户风险值确定器704，用户风险值迭代单元706，收敛确定器708，收敛用户风险值确定单元710，以及用户风险值数据库712。在一些实施例中，用户-内容提供者传播确定器512可以使用一个或多个处理器实现在存储器内存储的一个或多个计算机程序，以便执行与用户加权标识器702、初始用户风险值确定器704、用户风险值迭代单元706、收敛确定器708和收敛用户风险值确定单元710相关联的功能。

在一个实施例中，用户加权标识器702可被配置为从二分图生成器510接收二分图数据。二分图数据可以指示与用户设备110相关联的标识符(诸如与用户设备110相关联的IP地址)与各个内容提供者130进行交互的转换概率。例如，用户设备1与由内容提供者A渲染的内容进行交互的转换概率可以是TP 1。用户设备2与由内容提供者A渲染的内容进行交互的转换概率(其指示可疑或有风险的用户设备访问内容提供者的频率)可以是TP2。如果TP 1大于TP 2，则用户加权标识器702可以向与内容提供者A相关联的风险值应用提升。该过程可以类似地应用于所有内容提供者130，从而基于它们的风险值生成内容提供者的排序列表。换句话说，特定用户设备的风险值可能影响内容提供者的风险值。关于哪些用户设备将被“提升”(例如，更重地加权)的各种信息可被提供给用户风险值迭代单元706。

初始用户风险值确定器704可被配置为从用户交互确定器210接收用户事件数据。如上所述，用户事件数据可以指示用户与每个内容提供者130所提供的内容之间的交互。在一些实施例中，初始用户风险值确定器704可被配置为基于用户事件数据确定初始用户风险值。例如，用户事件数据可以包括用户CTR，或者用户CTR可以由初始用户风险值确定器704计算。在这些场景中的任一个中，初始用户风险值确定器704可以确定和/或选择要用于初始用户风险值的值，诸如使用用户CTR作为初始用户风险值。初始用户风险值确定器704可以将初始用户风险值提供给用户风险值迭代单元706。

在一个实施例中，用户风险值迭代单元706可被配置为获得来自用户加权标识器702的权重信息、来自初始用户风险值确定器704的初始用户风险值，以及来自转换模型生成器528的用户设备到内容提供者加权转换模型W^UD,CD(i,j)和来自内容提供者-用户传播确定器514的内容提供者风险值表示。用户风险值迭代单元706可被配置为使用转换模型522和前述获得/接收的信息生成用户风险的表示。在一个实施例中，用户风险值的表示可以对应于等式5。在一些实施例中，如上所述，可以从内容提供者-用户传播确定器514获得内容提供者风险值的表示。如等式5所示，迭代t+1处的用户风险值的表示可能需要迭代t处的内容提供者风险值的表示以便执行迭代。用户风险值迭代单元706可被配置为开始执行迭代，并且在每次迭代时确定用户风险值。用户风险值然后可被输出到收敛确定器708。

在一个实施例中，收敛确定器708可被配置为判定迭代t处的用户风险值(以及迭代t处的内容提供者风险值)是否收敛。在一些实施例中，收敛可以对应于e用户风险值的表示何时从迭代t到迭代t+1不再改变。例如，当表示满足收敛条件时，可以说该表示收敛。一个示例性收敛条件可以由等式8描述：

在等式8中，ε对应于预定义的值。例如，ε可以等于10^-6。当用户风险值的表示从迭代t到t+1未改变多于ε时，可以说该表示已经收敛。

收敛用户风险值确定单元710可被配置为识别达到收敛的用户风险值，并输出收敛的用户风险值。在一些实施例中，收敛的用户风险值可被提供给用户/内容提供者对风险值确定系统516。在一些实施例中，收敛的用户风险值还可被存储在用户风险值数据库712内，使得每个用户设备-内容提供者对的每个收敛的用户风险值都被存储。

图7B是根据本教导的各种实施例的用于确定和输出收敛的用户风险值的示例性过程的说明性流程图。在非限制性实施例中，过程750可以从步骤752开始。在步骤752，可以获得二分图数据。例如，可以通过用户加权标识器702获得由二分图生成器510生成的二分图数据。在步骤754，可以确定用户风险值的权重。例如，用户加权标识器702可以至少部分地基于二分图数据来确定要应用于用户设备到内容提供者的转换矩阵的用户风险值的一个或多个权重。

在步骤756，可以获得用户交互数据。例如，用户交互数据可以由初始用户风险值确定器704从用户交互确定器210获得。在步骤758，可以确定初始用户风险值。例如，初始用户风险值确定器704可以至少部分地基于用户事件数据来确定初始用户风险值。例如，初始用户风险值可以对应于用户CTR。

在步骤760，可以获得内容提供者风险值表示。例如，用户风险值迭代单元可以从内容提供者-用户传播确定器514接收内容提供者风险值的表示。另外，用户风险值迭代单元706可以从转换模型522获得用户到内容提供者的加权转换模型W^UD,CD(i,j)。在步骤762，可以确定用户风险值表示。在一些实施例中，可以通过等式5来描述用户风险值表示。在步骤764，可以执行用户风险值(和内容提供者风险值)的迭代过程。例如，等式5(和等式4)可被从迭代t＝0到t＝1、t＝1到t＝2等进行迭代。在步骤766，可以判定用户风险值的表示是否收敛。例如，可以采用收敛确定器708来判定是否已经达到收敛。在一些实施例中，如下所述，过程750的步骤760-766可以与过程850的步骤860-866并行执行。

如果在步骤766确定已经达到收敛，则过程750可以进行到步骤768。在步骤768，收敛的用户风险值(例如，当达到收敛时通过等式5确定的用户风险值)可被存储。例如，收敛用户风险值确定单元710可以确定收敛的用户风险值，并且可以将收敛的用户风险值提供给用户风险值数据库712以进行存储。在步骤770，可以输出收敛的用户风险值。例如，收敛用户风险值确定单元710可以将收敛的用户风险值输出到用户/内容提供者对风险值确定系统516。

然而，如果在步骤766确定尚未达到收敛，则过程750前进到步骤772。在步骤772，从最近的迭代确定的用户风险值可被存储。例如，收敛确定器708可以将用户风险值提供给用户风险值数据库712以进行存储。在步骤774，可以将用户风险值发送到内容提供者-用户传播确定器514。在该特定场景中，内容提供者-用户传播确定器514可以采用迭代的用户风险值来执行下一迭代。另外，在该特定场景中，还可以获得最近迭代的内容提供者风险值并将其提供给收敛确定器708以用于后续迭代。

图8A是根据本教导的各种实施例的示例性内容提供者-用户传播确定器的说明图。在说明性实施例中，内容提供者-用户传播确定器514包括内容提供者加权标识器802，初始内容提供者风险值确定器804，内容提供者风险值迭代单元806，收敛确定器808，收敛内容提供者风险值确定单元810，以及内容提供者风险值数据库712。在一些实施例中，内容提供者-用户传播确定器514可以使用一个或多个处理器实现在存储器内存储的一个或多个计算机程序，以便执行与内容提供者加权标识器802、初始内容提供者风险值确定器804、内容提供者风险值迭代单元806、收敛确定器808和收敛内容提供者风险值确定单元810相关联的功能。

在一个实施例中，内容提供者加权标识器802可被配置为从二分图生成器510接收二分图数据。二分图数据可以指示已经检测到来自一个或多个用户设备110的交互的各种内容提供者130的转换概率。例如，内容提供者A检测来自用户设备1的交互的转换概率可以是TP 1。使内容被渲染从而被第二用户设备2与之交互的内容提供者A的转换概率(其指示可疑或有风险的内容提供者收到来自用户设备的访问的频率)可以是TP 2。如果TP 1大于TP 2，则内容提供者加权标识器802可以向与该用户设备的标识符(例如，与用户设备1相关联的IP地址)相关联的风险值应用提升。该过程可以类似地应用于所有用户设备110，从而基于它们的风险值生成用户设备的排序列表。换句话说，特定内容提供者的风险值可能影响用户设备的风险值。关于哪些内容提供者将被“提升”(例如，更重地加权)的各种信息可被提供给内容提供者风险值迭代单元806。

初始内容提供者风险值确定器804可被配置为从内容提供者交互确定器212接收内容提供者事件数据。如上所述，内容提供者事件数据可以指示来自用户设备的与内容提供者所渲染的内容的交互。在一些实施例中，初始内容提供者风险值确定器804可被配置为基于内容提供者事件数据来确定初始内容提供者风险值。例如，内容提供者事件数据可以包括内容提供者CTR，或者内容提供者CTR可以由初始内容提供者风险值确定器804计算。在这些场景中的任何一个中，初始内容提供者风险值确定器804可以确定和/或选择要用于初始内容提供者风险值的值，诸如使用内容提供者CTR作为初始内容提供者风险值。初始内容提供者风险值确定器804可以将初始内容提供者风险值提供给内容提供者风险值迭代单元806。

在一个实施例中，内容提供者风险值迭代单元806可被配置为获得来自内容提供者加权标识器802的权重信息，来自初始内容提供者风险值确定器804的初始内容提供者风险值，以及来自转换模型生成器528的内容提供者到用户设备加权转换模型W^CD,UD(i,j)和来自用户-内容提供者传播确定器512的用户风险值表示。内容提供者风险值迭代单元806可被配置为使用转换模型522和上述获得/接收的信息来生成内容提供者风险值的表示。在一个实施例中，内容提供者风险值的表示可以对应于等式4。在一些实施例中，如上所述，可以从用户-内容提供者传播确定器512获得用户风险值的表示。如等式4所示，迭代t+1处的内容提供者风险值的表示可能需要迭代t处的用户风险值的表示以便执行迭代。内容提供者风险值迭代单元806可被配置为开始执行迭代，并且在每次迭代时确定内容提供者风险值。内容提供者风险值然后可被输出到收敛确定器808。

在一个实施例中，收敛确定器808可被配置为判定迭代t处的内容提供者风险值和迭代t处的用户风险值是否收敛。在一个实施例中，收敛确定器808可被配置为判定迭代t处的内容提供者风险值(以及迭代t处的用户风险值)是否收敛。在一些实施例中，收敛可以对应于内容提供者风险值的表示何时从迭代t到迭代t+1不再改变。例如，当表示满足诸如由等式9描述的收敛条件时，可以说该表示收敛：

在等式9中，ε对应于预定义的值。例如，ε可以等于10^-6。当内容提供者风险值的表示从迭代t到t+1未改变多于ε时，可以说该表示已经收敛。在一些实施例中，等式8和9中的ε可以是相等的，然而本领域普通技术人员将认识到这仅仅是示例性的。

收敛内容提供者风险值确定单元810可被配置为识别达到收敛的内容提供者风险值，并输出收敛的内容提供者风险值。在一些实施例中，收敛的内容提供者风险值可被提供给用户/内容提供者对风险值确定系统516。在一些实施例中，收敛的内容提供者风险值还可被存储在内容提供者风险值数据库812内，使得每个用户设备-内容提供者对的每个收敛内容提供者风险值都被存储。

图8B是根据本教导的各种实施例的用于确定和输出收敛内容提供者风险值的示例性过程的说明性流程图。在非限制性实施例中，过程850可以从步骤852开始。在步骤852，可以获得二分图数据。例如，由二分图生成器510生成的二分图数据可以由内容提供者加权标识器802获得。在步骤754，可以确定内容提供者风险值的权重。例如，内容提供者加权标识器802可以至少部分地基于二分图数据来确定要应用于内容提供者到用户设备的转换矩阵的内容提供者风险值的一个或多个权重。

在步骤856，可以获得内容提供者交互数据。例如，内容提供者交互数据可以由初始内容提供者风险值确定器804从内容提供者交互确定器212获得。在步骤858，可以确定初始内容提供者风险值。例如，初始内容提供者风险值确定器804可以至少部分地基于内容提供者事件数据来确定初始内容提供者风险值。例如，初始内容提供者风险值可以对应于内容提供者CTR。

在步骤860，可以获得用户风险值表示。例如，内容提供者风险值迭代单元706可以从用户-内容提供者传播确定器512接收用户风险值的表示。另外，内容提供者风险值迭代单元806可以从转换模型522获得内容提供者到用户加权转换模型W^CD,UD(i,j)。在步骤862，可以确定内容提供者风险值表示。在一些实施例中，可以通过等式4来描述内容提供者风险值表示。在步骤764，可以执行内容提供者风险值(和用户风险值)的迭代过程。例如，等式4(和等式5)可被从迭代t＝0到t＝1、t＝1到t＝2等进行迭代。在步骤866，可以判定内容提供者风险值的表示是否收敛。例如，可以采用收敛确定器808来判定是否已经达到收敛。在一些实施例中，如上所述，过程850的步骤860-866可以与过程750的步骤760-766并行执行。

如果在步骤866确定已经达到收敛，则过程850可以进行到步骤868。在步骤868，收敛的内容提供者风险值(例如，当达到收敛时通过等式4确定的内容提供者风险值)可被存储。例如，收敛内容提供者风险值确定单元810可以确定收敛的内容提供者风险值，并且可以将收敛的内容提供者风险值提供给内容提供者风险值数据库812以进行存储。在步骤870，可以输出收敛的内容提供者风险值。例如，收敛内容提供者风险值确定单元810可以将收敛的内容提供者风险值输出到用户/内容提供者对风险值确定系统516。

然而，如果在步骤866确定尚未达到收敛，则过程850进行到步骤872。在步骤872，从最近的迭代确定的内容提供者风险值可被存储。例如，收敛确定器808可以将内容提供者风险值提供给内容提供者风险值数据库812以进行存储。在步骤874，内容提供者风险值可被发送到用户-内容提供者传播确定器512。在该特定场景中，用户-内容提供者传播确定器512可以采用迭代的内容提供者风险值来执行下一迭代。另外，在该特定场景中，还可以获得最近迭代的用户风险值并将其提供给收敛确定器808以用于后续迭代。

图9A是根据本教导的各种实施例的示例性用户/内容提供者对风险值确定系统的说明图。在说明性实施例中，用户/内容提供者对风险值确定单元516可包括收敛风险值接收器902，风险值组合器904，阈值选择单元906，风险值评估器908，以及用户-内容提供者对确定器910。在一些实施例中，用户/内容提供者对风险值确定系统516可以使用一个或多个处理器实现在存储器内存储的一个或多个计算机程序，以便执行与收敛风险值接收器902、风险值组合器904、阈值选择单元906、风险值评估器908和用户-内容提供者对确定器910相关联的功能。

在一个实施例中，收敛风险值接收器902可以接收收敛的用户风险值以及收敛的内容提供者风险值。例如，可以从用户-内容提供者传播确定器512接收收敛的用户风险值。可以从内容提供者-用户传播确定器514接收收敛的内容提供者风险值。在一些实施例中，收敛风险值接收器902可以接收分别表示来自用户-内容提供者传播确定器512和内容提供者-用户传播确定器514的收敛用户风险值和收敛内容提供者风险值的数据。

在一些实施例中，风险值组合器904可被配置为执行一个或多个计算机程序，其将收敛的用户风险值和收敛的内容提供者风险值组合成用于该特定的内容提供者和用户设备对的对风险值。在一些实施例中，风险值组合器904可以采用如先前讨论的一个或多个组合模型524来组合收敛的用户风险值和收敛的内容提供者风险值。例如，等式6可以对应于由风险值组合器904使用一个或多个组合模型524确定的一个示例性对风险值。在一个实施例中，风险值组合器904可以将对风险值提供给阈值选择单元906。

在一个实施例中，阈值选择单元906可被配置为从一个或多个阈值912中选择阈值以与风险值组合器904所输出的对风险值进行比较。阈值912例如可以对应于对风险值在被标记为欺诈性的用户设备-内容提供者对之前可以具有的最大可接受风险值。在一些实施例中，阈值912可以指定阈值必须大于零(例如，β>0，其中β是阈值)。如果诸如等式6所描述的对风险值大于阈值912，则来自对应用户设备的对应发布者上的所有交互可被标记为欺诈性。然后，阈值选择单元906可以将所选择的阈值和对风险值提供给风险值评估器908。

为了确定β的值，可以执行成本分析。例如，可以采用准确率(precision)-召回率(recall)分析。β的不同值可以产生不同的准确率值和不同的召回率值。如本文所述，准确率值可以由等式10定义，并且召回率值可以由等式11定义：

在等式10和11中，t_p对应于在风险评估分析(例如，由可疑活动检测系统140执行的过程)和流量保护系统中被标记为欺诈的用户交互事件(例如，点击)。在说明性实施例中，流量保护系统可以对应于用于将事件分类为欺诈或非欺诈的基于规则的过滤器。另外，f_p可以对应于仅被可疑活动检测系统140标记为欺诈的交互事件，而f_n可以对应于仅被流量保护系统标记为欺诈的交互事件。因此，在一个实施例中，可以选择β以使得(Precision+Recall)/2是最大的。

在一个实施例中，风险值评估器908可被配置为判定正在分析的特定内容提供者-用户设备对的对风险值是否是欺诈性的，或者显示指示欺诈的高可能性的指示符。例如，风险值评估器908可以将对风险值与阈值进行比较。风险值评估器908可以判定对风险值是否大于(或等于)所选择的阈值。如果是，则风险值评估器908可以向用户-内容提供者对确定器910提供：对风险值，指示与对风险值相关联的用户设备和内容提供者的标识符的元数据，以及用户设备和内容提供者对将被标记为欺诈的通知。在一些实施例中，所选择的阈值也可被提供给用户-内容提供者对确定器。如果风险值评估器908确定对风险值不超过阈值，则风险值评估器还可以向用户-内容提供者对确定器910提供对风险值以及指示与对风险值相关联的用户设备和内容提供者的标识符的元数据，然而，还可以提供表明用户设备和内容提供者对将被标记为非欺诈性的通知。在这种情况下，所选择的阈值也可被提供给用户-内容提供者对确定器910。

用户-内容提供者对确定器910可被配置为根据用户设备-内容提供者确定与用户设备和内容提供者相关联的用户信息和内容提供者信息。例如，用户-内容提供者对确定器910可被配置为获得用户设备-内容提供者对中包括的用户设备的标识符(例如，IP地址，MAC地址，序列号，设备标识符等)。另外，用户-内容提供者对确定器910可被配置为获得用户设备-内容提供者对中包括的内容提供者的标识符(例如，URL，与内容提供者相关联的IP地址，和/或系统帐户信息)。用户-内容提供者对确定器910还可被配置为生成和输出包括用户信息和设备信息的对数据，以及表示用户设备-内容提供者对中的用户设备和内容提供者是将被标记为欺诈对还是将被标记为非欺诈对的指示符。在一些实施例中，对数据可被输出到用户/内容提供者暂停系统216以便应用欺诈标签。另外，替代地或另外地，对数据可被提供给用户/内容提供者风险值数据库526以进行存储。

图9B是根据本教导的各种实施例的用于确定和输出指示一个或多个欺诈/非欺诈对的对数据的示例性过程的说明性流程图。在非限制性实施例中，过程950可以从步骤952开始。在步骤952，可以获得收敛的用户风险值。在步骤954，可以获得收敛的内容提供者风险值。例如，收敛风险值接收器902可以接收收敛的用户风险值和收敛的内容提供者风险值。在一些实施例中，步骤952和954可以并行发生并且/或者可以作为单个步骤执行。

在步骤956，收敛的用户风险值和收敛的内容提供者风险值可被组合。在一些实施例中，组合的收敛用户风险值和收敛内容提供者风险值可以生成对风险值。例如，风险值组合器904可以使用一个或多个组合模型514(例如，诸如由等式6表示的组合)中的一个或多个来组合从收敛风险值接收器902接收的收敛用户风险值和收敛内容提供者风险值，从而生成对风险值s_CP,UD(i,j)。在步骤958，可以获得阈值。例如，阈值选择单元906可以选择并获得用来与对风险值进行比较的阈值912。

在步骤960，可以将组合风险值(例如，对风险值)与阈值进行比较。例如，风险值评估器908可以比较对风险值和阈值。在步骤962，判定组合风险值是否大于阈值。如果在步骤962确定组合风险值大于阈值，则过程950可以进行到步骤964。在步骤964，可以确定与用户设备-内容提供者对中的用户设备相关联的用户信息。例如，用户-内容提供者对确定器910可以确定与用户设备相关联的用户设备标识符(例如，IP地址)，以及与内容提供者相关联的内容提供者标识符(例如，URL)。在步骤966，可以生成和输出对数据，其表明用户设备-内容提供者对是欺诈对。例如，对数据可被提供给用户/内容提供者暂停系统216。

然而，如果在步骤962确定组合风险值不大于阈值，则过程950可以进行到步骤968。在步骤968，可以确定与用户设备相关联的用户信息和与内容提供者相关联的内容提供者信息。步骤968可以基本上类似于步骤964，并且先前的描述可以适用。在步骤970，类似于步骤966，也可以生成和输出对数据，然而在该特定场景中，对数据可以表明用户设备-内容提供者对是非欺诈性的。在一些实施例中，对数据可被提供给用户/内容提供者风险值数据库526。

图10A是根据本教导的各种实施例的示例性用户/内容提供者暂停系统的说明图。在说明性实施例中，用户/内容提供者暂停系统216可以包括对数据接收器1002，内容提供者标识器1004，用户设备标识器1006，以及欺诈标签应用器1008。在一些实施例中，用户/内容提供者暂停系统216可以使用一个或多个处理器实现在存储器内存储的一个或多个计算机程序，以便执行与对数据接收器1002、内容提供者标识器1004、用户设备标识器1006和欺诈标签应用器1008相关联的功能。

在一些实施例中，对数据接收器1002可被配置为接收对数据。例如，对数据接收器1002可以接收由用户/内容提供者对风险值确定系统516输出的对数据。在另外的实施例中，对数据接收器1002还能够从用户/内容提供者风险值数据库526接收对数据。对数据接收器1002可以将对数据提供给内容提供者标识器1004。

内容提供者标识器1004可被配置为从对数据接收器1002接收对数据，并且可以确定与在对数据内表示的内容提供者相关联的一个或多个标识符。例如，对数据可以指示表现出欺诈行为的用户设备-内容提供者对。内容提供者标识器1004可以确定与内容提供者相关联的一个或多个标识符，诸如但不限于：与内容提供者相关联的URL，与内容提供者的服务器设备相关联的一个或多个IP地址，与内容提供者等相关联的一个或多个用户帐户，等等。这些标识符然后可被提供给用户设备标识器1006和/或欺诈标签应用器1008。

用户设备标识器1006可被配置为从对数据接收器1002和/或内容提供者标识器1004接收对数据，并且可以确定与在对数据内表示的用户设备相关联的一个或多个标识符。例如，对数据可以指示表现出欺诈行为的用户设备-内容提供者对。用户设备标识器1006可以确定与该用户设备相关联的一个或多个标识符，诸如但不限于：用户设备的IP地址，用户设备的MAC地址，设备标识符，序列号，GPS位置，等等。这些标识符然后可被提供给欺诈标签应用器1008。

欺诈标签应用器1008可被配置为将一个或多个标签1010应用于如从对数据指示被确定为欺诈性的一个或多个用户设备标识符和一个或多个内容提供者标识符。欺诈标签的应用可以对应于对对应的标识符进行注释、修改和/或附加以反映这些标识符与欺诈性实体相关联。以这种方式，经标记的内容提供者从经标记的用户设备检测到的后续用户交互将被注册并且防止导致该内容提供者和/或用户设备收到奖励。在一些实施例中，可以将一个或多个用户设备标识符和一个或多个内容提供者标识符提供给用户/内容提供者暂停数据库225以进行存储。以这种方式，经标记的内容提供者所检测到的所有未来交互将被映射到用户/内容提供者暂停数据库225，以判定这些交互是否来自也被标记的用户设备。

图10B是根据本教导的各种实施例的用于将欺诈标签应用于内容提供者和用户设备的示例性过程的说明性流程图。在非限制性实施例中，过程1050可以从步骤1052开始。在步骤1052，可以获得对数据。例如，用户/内容提供者对风险值确定系统516输出的对数据可以由对数据接收器1002接收。在步骤1054，可以确定一个或多个内容提供者标识符。例如，内容提供者标识器1004可以确定与在对数据中被指示为欺诈性的内容提供者相关联的一个或多个标识符。在步骤1056，可以确定一个或多个用户设备标识符。例如，用户设备标识器1006可以确定与在对数据中被指示为欺诈性的用户设备相关联的一个或多个标识符。在步骤1058，可以将欺诈标签应用于这一个或多个内容提供者标识符和这一个或多个用户设备标识符。例如，欺诈标签应用器1008可以应用欺诈标签。在步骤1010，可以输出应用有欺诈标签的对数据。在一些实施例中，可以将具有欺诈标签的对数据提供给用户/内容提供者暂停数据库225以进行存储。

图11是根据各种实施例的可用于实现实现本教导的专用系统的示例性移动设备架构的说明图。在该示例中，其上实现欺诈网络检测系统和方法的用户设备对应于移动设备800，包括但不限于：智能电话，平板计算机，音乐播放器，手持游戏控制台，全球定位系统(GPS)接收器，以及可穿戴计算设备(例如，眼镜，手表等)，或呈任何其他形状因子。移动设备1100可包括一个或多个中央处理单元(“CPU”)1140，一个或多个图形处理单元(“GPU”)1130，显示器1120，存储器1160，通信平台1110(诸如无线通信模块)，存储装置1190，以及一个或多个输入/输出(I/O)设备1150。移动设备1100中也可以包括任何其他合适的组件，包括但不限于系统总线或控制器(未示出)。如图11所示，移动操作系统1170(例如，iOS，Android，Windows Phone等)和一个或多个应用程序1180可被从存储装置1190加载到存储器1160中，以便由CPU 1140执行。应用程序1180可以包括移动设备1100上的用于确定欺诈网络的浏览器或任何其他合适的移动应用。与内容的用户交互可以经由I/O设备1150来实现并被提供给可疑活动检测系统140。

为了实现本公开中描述的各种模块、单元及其功能，计算机硬件平台可以用作本文描述的一个或多个元件的一个或多个硬件平台(例如，可疑活动检测系统140)。这样的计算机的硬件元件、操作系统和编程语言在本质上是常规的，并且假定本领域技术人员足够熟悉其以使这些技术适用于检测如本文所述的欺诈网络。具有用户界面元素的计算机可以用于实现个人计算机(PC)或其他类型的工作站或终端设备，但是计算机在被适当编程的情况下也可以充当服务器。相信本领域技术人员熟悉这种计算机设备的结构、编程和一般操作，因此附图应该是不言自明的。

图12是根据各种实施例的可用于实现实现本教导的专用系统的示例性计算设备架构的说明图。包含本教导的这种专用系统具有硬件平台的功能框图图示，其包括用户界面元素。计算机可以是通用计算机或专用计算机。两者都可用于实现本教导的专用系统。如本文所述，该计算机1200可用于实现欺诈网络检测技术的任何组件。例如，欺诈网络检测系统可以经由其硬件、软件程序、固件或其组合在诸如计算机1200之类的计算机上实现。尽管为了方便仅示出了一个这样的计算机，但是与如本文描述的欺诈网络检测有关的计算机功能可以在多个类似平台上以分布式方式实现，以分配处理负荷。

例如，计算机1200包括连接到与其连接的网络的COM端口1250，以便于数据通信。计算机1200还包括呈一个或多个处理器的形式的中央处理单元(CPU)1220，用于执行程序指令。示例性计算机平台包括内部通信总线1210，不同形式的程序存储和数据存储(例如，盘1270，只读存储器(ROM)1230，或随机存取存储器(RAM)1240)，用于要由计算机1200处理和/或传送的各种数据文件，以及可能要由CPU 1220执行的程序指令。计算机1200还包括I/O组件1260，从而支持计算机与其中的其他组件(诸如用户界面元素1280)之间的输入/输出流。计算机1200还可以经由网络通信接收编程和数据。

因此，如上所述的检测欺诈网络和/或其他过程的方法的各方面可以在编程中体现。该技术的程序方面可被认为是“产品”或“制品”，通常呈在一种机器可读介质中承载或体现的可执行代码和/或相关数据的形式。有形的非暂态“存储”类型介质包括用于计算机、处理器等或其相关模块的任何或所有的存储器或其他存储装置，诸如各种半导体存储器、磁带驱动器、磁盘驱动器等，其可以在任何时候为软件编程提供存储。

软件的全部或部分有时可以通过诸如因特网或各种其他电信网络之类的网络来传送。例如，这种传送可以使得能够将软件从一个计算机或处理器加载到另一个计算机或处理器中，例如，与检测欺诈网络相关联。因此，可以承载软件元素的另一种类型的介质包括光学、电和电磁的波，诸如跨本地设备之间的物理接口、通过有线和光学陆线网络以及通过各种空中链路使用的。携带这种波的物理元件(诸如有线或无线链路、光学链路等)也可被认为是承载软件的介质。如本文所使用的，除非限于有形“存储”介质，否则诸如计算机或机器“可读介质”之类的术语是指参与向处理器提供指令以供执行的任何介质。

因此，机器可读介质可以采用许多形式，包括但不限于有形存储介质、载波介质或物理传输介质。非易失性存储介质例如包括光盘或磁盘，诸如任何一个或多个计算机等中的任何存储设备，其可用于实现如在附图中示出的系统或其任何组件。易失性存储介质包括动态存储器，诸如这种计算机平台的主存储器。有形传输介质包括同轴电缆；铜线和光纤，包括在计算机系统内形成总线的电线。载波传输介质可以采用电信号或电磁信号或者声波或光波的形式，诸如在射频(RF)和红外(IR)数据通信期间生成的那些。因此，常见形式的计算机可读介质例如包括：软盘，软磁盘，硬盘，磁带，任何其他磁介质，CD-ROM，DVD或DVD-ROM，任何其他光学介质，穿孔卡片纸带，任何其他具有孔图案的物理存储介质，RAM，PROM和EPROM，FLASH-EPROM，任何其他存储器芯片或盒，传输数据或指令的载波，传输这种载波的电缆或链路，或者计算机可以从中读取编程代码和/或数据的任何其他介质。在将一个或多个指令的一个或多个序列传送到物理处理器以供执行时可以涉及许多这些形式的计算机可读介质。

本领域技术人员将认识到，本教导可以进行各种修改和/或增强。例如，尽管上述各种组件的实现可以体现在硬件设备中，但是它也可以实现为仅软件解决方案-例如现有服务器上的安装。此外，如本文所公开的欺诈网络检测技术可以实现为固件、固件/软件组合、固件/硬件组合或硬件/固件/软件组合。

虽然前面已经描述了被认为构成本教导和/或其他示例的内容，但是应当理解，可以对其进行各种修改，并且本文公开的主题可以以各种形式和示例实现，并且该教导可以应用于许多应用中，这里仅描述了其中的一些应用。所附权利要求旨在要求保护落入本教导的真实范围内的任何和所有的应用、修改和变化。

Claims (20)

1.一种用于识别欺诈性的内容提供者-用户设备对的方法，该方法在具有至少一个处理器、存储器、和通信电路的至少一个计算设备上实现，并且该方法包括：

确定与用户设备相关联的初始用户风险值和与内容提供者相关联的初始内容提供者风险值；

基于所述初始用户风险值和表示多个内容提供者与多个用户设备之间的关系的关系数据来生成用户风险值的第一函数表示；

基于所述初始内容提供者风险值和所述关系数据来生成内容提供者风险值的第二函数表示；

确定与第一表示和第二表示收敛相关联的收敛的用户风险值和收敛的内容提供者风险值；

基于所述收敛的用户风险值和所述收敛的内容提供者风险值来确定对风险值；以及

响应于所述对风险值满足条件而将欺诈标签应用于所述内容提供者和所述用户设备。

2.如权利要求1所述的方法，还包括：

在所述初始风险值被确定之前，获得用户交互数据，所述用户交互数据表示关于所述内容提供者呈现给所述用户设备的内容的总量的与所述内容提供者的用户交互；以及

在所述初始内容提供者风险值被确定之前，获得内容提供者交互数据，所述内容提供者交互数据表示关于所述内容总量的所述用户设备与由所述内容提供者呈现的内容的交互。

3.如权利要求2所述的方法，其中，所述用户交互数据包括用户点击率(“CTR”)，并且所述内容提供者交互数据包括内容提供者CTR，所述初始用户风险值基于用户CTR并且所述初始内容提供者风险值基于所述内容提供者CTR。

4.如权利要求1所述的方法，其中，确定所述收敛的用户风险值和所述收敛的内容提供者风险值包括：

a)确定所述第一函数表示的第一用户风险值；

b)确定所述第二函数表示的第一内容提供者风险值；

c)确定所述第一用户风险值与所述初始用户风险值之间的第一差异；

d)确定所述第一内容提供者风险值与所述初始内容提供者风险值之间的第二差异；

e)判定所述第一差异和所述第二差异是否小于收敛阈值；以及

f)如果第一差异和第二差异满足收敛条件则重复步骤a)-e)，其中，在步骤a)-e)的重复期间所述第一用户风险值被用作所述初始用户风险值并且所述第一内容提供者风险值被用作所述初始内容提供者风险值。

5.如权利要求1所述的方法，还包括：

通过针对所述多个内容提供者中的每一个确定与所述多个用户设备中的每一个相关联的多个用户交互来生成所述关系数据；

生成表示从用户设备到内容提供者的转换的第一转换数据；以及

生成表示从内容提供者到用户设备的转换的第二转换数据，其中，所述第一转换数据和所述第二转换数据被规格化。

6.如权利要求1所述的方法，其中，应用所述欺诈标签包括：

获得表示由所述内容提供者检测到的一个或多个后续用户交互的内容提供者交互数据；

确定所述内容提供者包含所述欺诈标签；以及

防止响应于一个或多个用户交互而将一个或多个奖励提供给所述内容提供者。

7.如权利要求1所述的方法，还包括：

生成所述多个用户设备中的每一个与所述多个内容提供者中的每一个之间的关系的二分表示；以及

基于所述二分表示，确定以下各项中的至少一个：用于将第一权重应用于对应的用户风险值的所述多个用户设备中的一个或多个，以及用于将第二权重应用于对应的内容提供者风险值的所述多个内容提供者中的一个或多个。

8.一种用于识别欺诈性的内容提供者-用户设备对的系统，该系统包括：

用户交互确定器，其被配置为确定与用户设备相关联的初始用户风险值；

内容提供者交互确定器，其被配置为确定与内容提供者相关联的初始内容提供者风险值；

风险确定系统，其被配置为：

基于所述初始用户风险值和表示多个内容提供者与多个用户设备之间的关系的关系数据来生成用户风险值的第一函数表示，

基于所述初始内容提供者风险值和所述关系数据来生成内容提供者风险值的第二函数表示，

确定与第一表示和第二表示收敛相关联的收敛的用户风险值和收敛的内容提供者风险值，以及

基于所述收敛的用户风险值和所述收敛的内容提供者风险值来确定对风险值；以及

用户/内容提供者暂停系统，其被配置为响应于所述对风险值满足条件而将欺诈标签应用于所述内容提供者和所述用户设备。

9.如权利要求8所述的系统，其中：

所述用户交互确定器还被配置为获得用户交互数据，所述用户交互数据表示关于所述内容提供者呈现给所述用户设备的内容的总量的与所述内容提供者的用户交互；并且

所述内容提供者交互确定器还被配置为获得内容提供者交互数据，所述内容提供者交互数据表示关于所述内容总量的所述用户设备与由所述内容提供者呈现的内容的交互。

10.如权利要求9所述的系统，其中，所述用户交互数据包括用户点击率(“CTR”)，并且所述内容提供者交互数据包括内容提供者CTR，所述初始用户风险值基于用户CTR并且所述初始内容提供者风险值基于所述内容提供者CTR。

11.如权利要求8所述的系统，其中，所述风险确定系统还被配置为：

a)确定所述第一函数表示的第一用户风险值；

b)确定所述第二内容提供者风险值的第一内容提供者风险值；

c)确定所述第一用户风险值与所述初始用户风险值之间的第一差异；

d)确定所述第一内容提供者风险值与所述初始内容提供者风险值之间的第二差异；

e)判定所述第一差异和所述第二差异是否小于收敛阈值；以及

f)如果所述第一差异和所述第二差异大于或等于所述收敛阈值则重复步骤a)-e)，其中，在步骤a)-e)的重复期间所述第一用户风险值被用作所述初始用户风险值并且所述第一内容提供者风险值被用作所述初始内容提供者风险值。

12.如权利要求8所述的系统，其中，所述风险确定系统包括：

转换模型生成器，其被配置为：

通过针对所述多个内容提供者中的每一个确定与所述多个用户设备中的每一个相关联的多个用户交互来生成所述关系数据；

生成表示从用户设备到内容提供者的转换的第一转换数据；以及

生成表示从内容提供者到用户设备的转换的第二转换数据，其中，

所述第一转换数据和所述第二转换数据被规格化。

13.如权利要求8所述的系统，其中，所述用户/内容提供者暂停系统还被配置为：

获得表示由所述内容提供者检测到的一个或多个用户交互的内容提供者交互数据；

确定所述内容提供者包含所述欺诈标签；以及

防止响应于所述一个或多个用户交互而将金钱补偿提供给所述内容提供者。

14.如权利要求8所述的系统，其中，所述风险确定系统还包括：

二分图生成器，其被配置为生成所述多个用户设备中的每一个与所述多个内容提供者中的每一个之间的关系的二分表示；以及

用户/内容提供者对风险值确定系统，其被配置为基于所述二分表示确定以下各项中的至少一个：用于将第一权重应用于对应的用户风险值的所述多个用户设备中的一个或多个，以及用于将第二权重应用于对应的内容提供者风险值的所述多个内容提供者中的一个或多个。

15.一种包括一个或多个指令的非暂态计算机可读介质，所述一个或多个指令当被计算设备的至少一个处理器执行时使该计算设备：

确定与用户设备相关联的初始用户风险值和与内容提供者相关联的初始内容提供者风险值；

基于所述初始用户风险值和表示多个内容提供者与多个用户设备之间的关系的关系数据来生成用户风险值的第一函数表示；

基于所述初始内容提供者风险值和所述关系数据来生成内容提供者风险值的第二函数表示；

确定与第一表示和第二表示收敛相关联的收敛的用户风险值和收敛的内容提供者风险值；以及

响应于风险对值满足条件而将欺诈标签应用于所述内容提供者和所述用户设备。

16.如权利要求15所述的非暂态计算机可读介质，其中，所述一个或多个指令当被所述至少一个处理器读取时还使所述计算设备：

在所述初始风险值被确定之前，获得用户交互数据，所述用户交互数据表示关于所述内容提供者呈现给所述用户设备的内容的总量的与所述内容提供者的用户交互；以及

在所述初始内容提供者风险值被确定之前，获得内容提供者交互数据，所述内容提供者交互数据表示关于所述内容总量的所述用户设备与由所述内容提供者呈现的内容的交互。

17.如权利要求15所述的非暂态计算机可读介质，其中，所述用户风险值和所述内容提供者风险值被确定包括所述一个或多个指令，所述一个或多个指令当被所述至少一个处理器读取时还使所述计算设备：

a)确定所述第一函数表示的第一用户风险值；

b)确定所述第二内容提供者风险值的第一内容提供者风险值；

c)确定所述第一用户风险值与所述初始用户风险值之间的第一差异；

d)确定所述第一内容提供者风险值与所述初始内容提供者风险值之间的第二差异；

e)判定所述第一差异和所述第二差异是否小于收敛阈值；以及

f)如果所述第一差异和所述第二差异大于或等于所述收敛阈值则重复步骤a)-e)，其中在步骤a)-e)的重复期间所述第一用户风险值被用作所述初始用户风险值并且所述第一内容提供者风险值被用作所述初始内容提供者风险值。

18.如权利要求15所述的非暂态计算机可读介质，其中，所述一个或多个指令当被所述至少一个处理器读取时还使所述计算设备：

通过针对所述多个内容提供者中的每一个确定与所述多个用户设备中的每一个相关联的多个用户交互来生成所述关系数据；

生成表示从用户设备到内容提供者的转换的第一转换数据；以及

生成表示从内容提供者到用户设备的转换的第二转换数据，其中，所述第一转换数据和所述第二转换数据被规格化。

19.如权利要求15所述的非暂态计算机可读介质，其中，所述欺诈标签被应用包括所述一个或多个指令，所述一个或多个指令当被所述至少一个处理器读取时还使所述计算设备：

获得表示由所述内容提供者检测到的一个或多个用户交互的内容提供者交互数据；

确定所述内容提供者包含所述欺诈标签；以及

防止响应于所述一个或多个用户交互而将金钱补偿提供给所述内容提供者。

20.如权利要求15所述的非暂态计算机可读介质，其中，所述一个或多个指令当被所述至少一个处理器读取时还使所述计算设备：

生成所述多个用户设备中的每一个与所述多个内容提供者中的每一个之间的关系的二分表示；以及

基于所述二分表示，确定以下各项中的至少一个：用于将第一权重应用于对应的用户风险值的所述多个用户设备中的一个或多个，以及用于将第二权重应用于对应的内容提供者风险值的所述多个内容提供者中的一个或多个。