CN101410864A - 行为瞄准系统 - Google Patents

行为瞄准系统 Download PDF

Info

Publication number
CN101410864A
CN101410864A CNA2007800113328A CN200780011332A CN101410864A CN 101410864 A CN101410864 A CN 101410864A CN A2007800113328 A CNA2007800113328 A CN A2007800113328A CN 200780011332 A CN200780011332 A CN 200780011332A CN 101410864 A CN101410864 A CN 101410864A
Authority
CN
China
Prior art keywords
user
score
classification
parameter
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800113328A
Other languages
English (en)
Other versions
CN101410864B (zh
Inventor
约舒亚·M·克兰
克里斯蒂娜·业·钟
阿比纳维·谷坡塔
乔治·H·约翰
隆-基·林
洪峰·尹
理查德·弗兰克尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fly upward Management Co., Ltd
Original Assignee
Yahoo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Inc filed Critical Yahoo Inc
Publication of CN101410864A publication Critical patent/CN101410864A/zh
Application granted granted Critical
Publication of CN101410864B publication Critical patent/CN101410864B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0255Targeted advertisements based on user history
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • G06F16/24578Query processing with adaptation to user needs using ranking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/335Filtering based on additional data, e.g. user or group profiles
    • G06F16/337Profile generation, learning or modification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63Querying
    • G06F16/635Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/84Mapping; Conversion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067Enterprise or organisation modelling

Abstract

一种行为瞄准系统从在线活动确定用户简档。该系统包括多个定义用于确定用户简档得分的参数的模型。在一实体处接收包括用户的在线活动的事件信息。为了生成用户简档得分,选择一模型。模型包括新近度、强度和频率维度参数。行为瞄准系统为诸如品牌广告或直接响应广告之类的瞄准目标生成用户简档得分。来自模型的参数被应用来生成一类别中的用户简档得分。行为瞄准系统可以应用来向在线用户提供广告。

Description

行为瞄准系统
技术领域
本发明涉及行为瞄准(behavioral targeting)领域,更具体而言涉及在线行为瞄准系统。
背景技术
因特网为商家提供了向消费者提供大量产品和服务的机制。因特网门户向用户提供了到大量因特网资源的入口和引导。通常,因特网门户提供一系列搜索、电子邮件、新闻、购物、聊天、地图、金融、娱乐和其他因特网服务和内容。本发明的受让人Yahoo是这种因特网门户的示例。
当用户访问包括因特网门户在内的因特网上的某个位置(例如网站)时,用户以在线活动的形式输入信息。该信息可以被记录和分析以确定用户的行为模式和兴趣。进而,这些行为模式和兴趣可被用于瞄准用户以提供在因特网上(例如因特网门户站点)上的更有意义和丰富的体验。例如,如果确定了用户对某些产品和服务的兴趣,则可以向用户提供与这些产品和服务有关的广告。提供广告的行为瞄准系统既有益于向目标受众提供其消息的广告主,也有益于接收用户感兴趣的领域中的广告的用户。
发明内容
一种行为瞄准系统从在线活动确定用户简档(user profile)。该系统包括多个模型。模型定义用于确定用户简档得分的参数。在一实体处接收事件信息。事件信息包括用户的在线活动。为了生成用户简档得分,选择一模型。该系统通过将来自该模型的参数应用到用户事件信息来生成一类别中的用户简档得分。该行为瞄准系统可用在对在线用户的广告服务中。
该行为瞄准系统的体系结构是可扩展的。例如,可以添加包含不同的规则和权重参数的额外模型。基于新模型的数据和元数据,行为瞄准系统可以在相同的整体框架内执行不同的行为模型和规则。
在一个实施例中,模型包括新近度(recency)、强度(intensity)和频率(frequency)维度(dimension)参数。新近度维度参数基于用户事件信息发生的新近度指定对简档得分的输入。强度维度参数基于用户事件信息预测类别中的瞄准目标(target objective)的有效度来向用户简档得分提供输入。另外,频率维度参数基于用户事件信息发生的频率来向用户简档得分提供输入。
在一个实施例中,行为瞄准系统为瞄准目标生成用户简档得分。例如,瞄准目标可以包括品牌广告和直接响应广告。
附图说明
图1是示出通用行为瞄准系统的框图。
图2示出识别营销目标(marketing objective)的营销漏斗(marketingfunnel)。
图3是示出通用行为瞄准系统的一个实施例的框图。
图4是示出本发明的行为瞄准系统的一个实施例的框图。
图5是示出本发明的通用行为瞄准系统的一个实施例的流程图。
图6是示出行为瞄准系统的事件分类的一个实施例的框图。
图7是示出根据本发明一个实施例的用于促进网络中的自动事件分类的方法的流程图。
图8是示出用于利用行为瞄准系统来提供广告的一个实施例的框图。
图9是示出用于行为瞄准系统中的维度处理的一个实施例的框图。
图10是示出用于生成长期直接响应用户兴趣得分的一个实施例的框图。
图11是示出用于生成短期直接响应用户兴趣得分的一个实施例的框图。
图12是示出生成长期和短期用户兴趣得分的行为瞄准系统的一个实施例的框图。
图13示出了一曲线图,该曲线图基于从多个用户聚集的统计数据示出了作为直接响应得分的函数的CTR得分。
图14示出了用于本发明的行为瞄准系统的操作的网络环境的一个实施例。
图15示出了行为瞄准系统的概念图。
具体实施方式
行为瞄准系统可以应用来针对一个或多个瞄准目标识别在线用户的兴趣和行为。图1是示出通用行为瞄准系统100的框图。一般地,行为瞄准系统100基于用户的在线活动来剖析因特网用户的兴趣和行为。如图1所示,通过行为瞄准处理(120)来捕捉用户输入(110)。在一个实施例中,用户输入包括一个或多个“事件”。如下文更充分描述的,事件是一类由用户发起的动作(例如,用户点击横幅广告)。如图1所示,行为瞄准处理(120)生成对某一瞄准目标特定的多个用户简档。一般地,用户行为简档预测特定瞄准目标预测的用户成功程度。例如,用户行为简档可以预测用户对直接营销广告活动作出响应的倾向。在一个实施例中,用户行为简档是在每类别的基础上表达的。例如,用户简档输出可以指示出用户是关于主题“金融”的目标的良好候选,并且是关于主题“音乐”的目标的不好候选。
行为瞄准处理120为各种瞄准目标生成用户行为简档。在图1所示的一个实施例中,行为瞄准系统100为直接响应广告(130)、品牌知名度广告(150)、购买意图活动(180)和公司内业务单元营销输出用户行为简档。在一个实施例中,行为瞄准处理120为营销目标生成用户兴趣简档。
图2示出识别营销目标的营销漏斗。在漏斗的顶部,广告主可能希望获取广告主的品牌的品牌知名度。通常,对于这类营销,广告主的目的在于通过将一个或多个正面形象与产品的品牌相关联来推广该品牌。该营销目标在图1中被示为品牌广告(150)。在漏斗的第二阶段中,用户可能希望为产品考虑而收集信息。为了应对买方的这个周期,广告主可以使用直接响应广告。可能有许多不同的目标与直接响应广告相关联,其中包括获取、保持、吸引和货币化。获取的目的在于使得消费者成为产品/服务的顾客或访问者。保持的目的在于维持现有的顾客或访问者(例如网站的访问者)。与吸引相关联的目的是在现有顾客中诱发更多的活动。货币化的目的在于经由诸如交叉销售之类的主动购买活动以及诸如消耗横幅广告之类的被动活动来增大顾客的获利能力。
在直接响应广告中,总体目的在于诱发来自顾客的动作或响应。本发明的行为瞄准系统为直接响应广告(130)提供了用户简档数据。例如,在网页上显示的、包括供用户“点击”的链接的广告是直接响应广告的示例。漏斗的最后一个也是最受关注的部分是顾客的购买意图周期。在这一阶段中,用户在积极地购物,并且意图进行购买。本发明的行为瞄准系统可以应用来为购买意图应用(180)提供用户简档数据。
图1还示出了作为营销或瞄准目标的公司内业务单元营销应用。例如,因特网公司可能希望将用户吸引到网站或门户。行为瞄准处理可以生成用户简档以将用户获取到因特网门户。例如,可以瞄准来自门户的一个业务单元的用户以基于用户的简档在一个不同的业务单元领域中获取用户。类似地,可以为吸引用户更频繁地访问因特网门户或网站的瞄准目标生成用户简档。另外,行为瞄准处理可以生成用户简档以保持先前已经访问过因特网门户或网站的用户。
营销目的和目标诱发用户简档数据以帮助广告主和营销者。本发明的行为瞄准系统还可以应用来提供用户简档信息以促进用户的在线体验。一般地,目的是在正确的时间将正确的内容匹配到正确的用户(即,刺激)。例如,行为瞄准系统可以为个性化应用生成用户简档。一般地,个性化应用使用行为瞄准信息来为用户定制网页或网站体验。例如,因特网门户可以显示可用的产品和服务的类别。因特网门户可以基于用户简档信息来定制一个或多个兴趣视图。在另一个实施例中,行为瞄准信息可用于确定供用户消耗的内容主题。例如,在确定用户希望的内容之后,去往这种内容的链接可被显示在因特网门户上,以允许用户访问该内容。
在用户的计算机上显示的边栏(sidebar)应用提供了去往用户的关键目的地的链接,而不要求用户启动浏览器。在个性化应用的另一个实施例中,行为瞄准信息被用于选择链接以便定制边栏应用。个性化应用的瞄准目标可以是使用户体验最大化(即,以用户为中心的瞄准目标)或者使营销者向用户递送内容的目标最大化。
本发明的行为瞄准系统的体系结构提供了作为通用行为瞄准系统工作的框架。这些模型包含用于定制对事件信息的处理的元数据和规则。从而,通过选择不同的模型和规则,实现了由元数据指定的不同的程序流程或执行。本发明的行为瞄准系统的体系结构是可扩展的。如果新的模型和规则(例如,新的数据和元数据)被创建,则新的模型和规则被插入到一般体系结构中以向行为瞄准系统提供新的功能和流程。从而,系统可以被修改,以支持新的模型并且处理新的事件类型。
一般框架可被配置为从相同输入或输入子集生成一个或多个输出。例如,行为瞄准系统可以被配置为为不同的用户或瞄准(例如营销)目标生成多个输出。本发明的行为瞄准系统依据系统的目标而使用不同的模型。从而,可以实现单个行为瞄准系统来支持各种目标,包括以上指明并在图1中示出的那些应用。
图3是示出通用行为瞄准系统的一个实施例的框图。通用行为瞄准系统为一个或多个目标生成用户得分。为此,模型和规则340为不同的营销和用户目标存储多个模型。在操作中,用户行为信息被输入到行为处理310。另外,一个或多个用户/营销目标被输入到模型和规则340,以选择一个或多个模型。进而,来自模型和规则340的一个或多个模型被输入到行为处理310。行为处理310使用所选择的模型和规则来生成用户得分。具体而言,为一个或多个用户/营销目标生成用户得分。
在一个实施例中,用户行为得分或简档可用于报告。对于此实施例,系统将输入处理到用户简档中。然后,营销者确定如何最有效地使用简档:瞄准内容/搜索结果、个性化内容/搜索结果、或者通过将简档输入到各种报告和分析系统中来利用简档了解消费者的态度。
在一个实施例中,行为瞄准系统还向营销者输出信息,以允许它们了解每得分范围每类别的清单(即,在特定类别中具有给定得分范围的人/cookie的数目,以及/或者与这些人/cookie相关联的事件的预报)。该信息向营销者标识出大致的受众数量,以便有效地使用行为简档,而不管是以营销者为中心的使用(即,瞄准)还是以访问者为中心的使用(即,个性化)。
在一个实施例中,本发明的行为瞄准系统按类别生成简档得分,以为瞄准目标的类别中的主题预测用户倾向。例如,兴趣得分可用来模拟用户购买某一类别内的产品或服务的兴趣。图4是示出本发明的行为瞄准系统的一个实施例的框图。对于此实施例,以这里被称为“事件”的输入事件被输入到事件分类模块410。事件分类模块410结合分类体系420工作。具体而言,事件分类模块410将每个输入事件分类到分类体系420中的一个类别。一般地,分类体系420定义用于对用户兴趣分类的多个类别。分类体系420内的类别可以被分级地排列。例如,分类体系420可以包括针对“音乐”的高级类别,以及位于“音乐”类别之下的若干个子类别,用于不同风格的音乐。用于对主题分类的类别的任何分类体系都可以结合行为瞄准系统使用,而不脱离本发明的精神或范围。
如图4所示,经过分类的事件被输入到维度处理450并被输入到模型和规则440。另外,用户/营销目标被输入到模型和规则440。模型和规则440包含用于不同目标或目的(例如,直接响应广告(442)、品牌广告(444)、购买意图(446)和个性化(448))的多个不同模型。每个模型具有与该模型相关联的多个规则。规则被用于在维度处理(450)中对事件进行处理,以为不同的目标或目的生成用户得分。在一个实施例中,与模型相对应的规则包含对该事件特定的参数以及为该事件分类的类别。例如,如果事件类型是在“金融”中分类的“页面查看”,则模型和规则440基于事件“页面查看”和类别“金融”来选择参数。
在模型和规则440中选择的参数被输入到维度处理450。维度处理450还接收经过分类的事件作为输入。一般地,维度处理450利用参数为类别生成用户得分。如下文中更充分描述的,维度处理450在指定的一段时间内累积事件以便处理。例如,在一个实施例中,维度处理450累积事件以生成短期用户兴趣得分。在另一个实施例中,维度处理450在较长的一段时间内(例如,在一个月内)累积事件以编制长期用户兴趣得分。
如图4所示,用户兴趣得分被输入到映射模块460。一般地,映射模块将原始用户得分映射到一个或多个输出度量。例如,一个输出度量可以确定用户点击被分类在该类别中的广告的倾向。以百分比表达的该度量被称为“点通率”(click through rate,CTR)。对于此示例,映射模块460可提供用于将原始用户得分映射到CTR值的函数。
图5是示出本发明的通用行为瞄准系统的一个实施例的流程图。当用户接收到用户事件或者在用于累积事件的预定量的时间之后,系统将事件分类在分类体系的一个类别中(图5,块510和520)。基于用户/营销目标选择模型(图5,块530)。在块540、550和560中,行为瞄准系统对一个或多个事件进行处理以为某一类别生成原始用户兴趣得分。对于此实施例,行为瞄准系统基于所选择的模型应用新近度维度(图5,块540)。一般地,新近度维度依据事件发生的新近度来对一个或多个事件加权。为了应用第二维度,行为瞄准系统基于所选择的模型应用强度维度(图5,块550)。强度维度应用一权重或因子,以赋予一指示出事件在衡量用户对所涉类别的兴趣方面的有效度的值。对于此实施例,行为瞄准系统还应用第三维度:频率(图5,块560)。一般地,频率维度基于事件发生的频率来为所涉类别修改用户得分。
如图5所示,该过程应用循环以处理多个事件。但是,如下文中更充分描述的,行为瞄准系统可以在一段时间中累积事件,并且可以在有延迟的情况下对事件进行分批处理,以为多个类别获得用户兴趣得分。在另一个实施例中,行为瞄准系统可以实时操作。对于此实施例,行为瞄准系统可以在一小段时间(例如一小时)中累积事件,然后对这些事件进行处理以给出短期用户兴趣得分。
在一个实施例中,为输出度量转换原始用户兴趣得分(图5,580)。但是,原始得分不需要转换来将内容匹配到用户。为了确定适当的权重和衰减参数以生成得分,使用单个营销目标(例如,对于直接响应是点通率,对于购买意图是购买事件)。来自这些行为瞄准应用的原始得分被与瞄准目标相关联起来。对原始得分的映射帮助了提高相关度。但是,一旦原始得分已被映射,就丧失了跨类别为用户的相对兴趣排名和排序的能力。
事件处理和分类
在一个实施例中,事件包括广告点击、搜索查询、搜索点击、赞助列表(sponsored listing)点击、页面查看和广告查看。但是,这里使用的事件可包括任何类型的在线导航性交互或者与搜索有关的事件。一般地,页面查看发生在用户查看网页时。例如,用户可在因特网门户内通过点击针对音乐类别页面的链接来进入网页。对于此示例,为用户对音乐类别页面的查看记录页面查看事件。
广告查看事件发生在用户查看用于广告的网页时。例如,因特网门户可以在门户的主页上显示横幅广告。如果用户点击该横幅广告,则门户将用户重定向到针对相应广告主的链接。响应于点击而对网页的显示构成了广告点击事件。用户可以通过在广告主的网站处访问多个网页而生成多个页面查看事件。
广告点击事件发生在用户点击广告时。例如,网页可以显示横幅广告。当用户点击该横幅广告时,发生广告点击事件。
搜索查询事件发生在用户在基于web的搜索引擎上提交一个或多个搜索项(search term)时。例如,用户可以提交查询“Deep Sea Fishing”,并且相应的搜索查询事件与搜索项“Deep Sea Fishing”一起被记录。响应于用户查询,基于web的搜索引擎返回去往与搜索查询项有关的网页的多个链接。如果用户点击这些链接之一,则发生搜索点击事件。
赞助列表广告指的是响应于用户的搜索标准显示的广告。赞助列表点击事件发生在用户点击为该用户显示的赞助列表广告时。
图6是示出行为瞄准系统的事件分类的一个实施例的框图。如图6所示,系统608包括事件分类平台600,该事件分类平台600耦合到多个数据库,例如令牌数据库610、兴趣数据库620和规则数据库630。
在一个实施例中,令牌数据库610存储从各种服务器、从编辑者和/或从其他的第三方实体自动或者手动收集的单个单词或多个单词的关键字的列表,这些关键字也被称为令牌。一般来说,令牌表示单个概念,并且即使其包含多个单词单元也被视为单个关键字。基于令牌与其各自的起源事件的关联,将令牌进一步组织成数据库610内的分级分类体系。在一个实施例中,令牌数据库610中存储的分级令牌分类体系被手动映射到进一步存储在兴趣数据库620内的经分类的令牌的分级分类体系。分级分类体系被事件分类平台600自动地审查、编辑和更新,或者被编辑者或者其他的第三方实体手动审查、编辑和更新。
映射为每个存储的令牌指派一个或多个类别,所指派的类别随后被存储在兴趣数据库620内与每个相应令牌相关联的各节点处。在替换实施例中,类别可以不被映射到分级分类体系中,而是可以作为类别的集合被存储在兴趣数据库620内。
事件分类平台600从前端web服务器接收各种事件,例如由用户通过网页发送的搜索查询、网页查看、搜索结果点击、广告点击以及其他类型的交互性事件,并且使得能够基于存储在相关联的数据库610、620和630中的数据来对接收到的事件进行自动分类,这将在下文中更详细描述。
在一个实施例中,事件分类平台600还包括解析器模块602,该解析器模块602被配置为接收诸如搜索查询之类的事件并且解析事件以生成多个事件单元,例如查询项。事件分类平台600还包括令牌分析模块604,该令牌分析模块604耦合到解析器模块602并且被配置为接收来自解析器模块602的事件单元并且基于事件单元和存储在相关联的数据库610和620中的数据来对事件分类,这将在下文中更详细描述。最后,事件分类平台600包括多义性(ambiguity)处理模块606,该多义性处理模块606耦合到令牌分析模块604并且被配置为生成与每个经分类的事件相对应的多义性值,这将在下文中更详细描述。
图7是示出根据本发明一个实施例的用于促进网络中的自动事件分类的方法的流程图。如图7所示,在处理块701处,从用户接收事件,例如搜索查询。在一个实施例中,用户访问在客户端计算机820(图8)的客户端程序中显示的网页,并且经由客户端计算机820和网络830向web服务器发送搜索查询。前端web服务器840接收搜索查询,并且将查询转发到事件分类平台600。
在处理块702处,解析事件以生成一个或多个事件单元。在一个实施例中,解析器模块602解析事件(例如搜索查询)以获得一个或多个单元(例如查询项),并将这些单元发送到令牌分析模块604。
在处理块703处,从数据库取回与所解析的事件单元相匹配的令牌。在一个实施例中,令牌分析模块604访问兴趣数据库620,并且取回与所解析的事件单元相匹配的一个或多个经分类的令牌。或者,令牌分析模块604可以访问一般的令牌数据库610,以取回一个或多个匹配令牌。
在一个实施例中,令牌分析模块604将每个事件单元与存储在数据库620或者数据库610中的令牌相比较,并且选择尽可能最长的令牌(即,具有最多的单词或者最长的长度的令牌)。或者,令牌分析模块604选择出现在登记的事件内的可能性最高的令牌。选择是基于与每个令牌相关联的单元频率参数的,该参数指定每个特定令牌有多少次被包含在事件内。
在处理块704处,识别与取回的令牌相关联的一个或多个类别。在一个实施例中,令牌分析模块604分析所取回的经分类的令牌并且识别与所取回的令牌相关联的一个或多个类别。或者,如果令牌是从一般令牌数据库610取回的,令牌分析模块604则以编辑或算法的方式向每个取回的令牌指派一个或多个类别,所指派的类别形成相应的分级分类体系,或者,令牌分析模块604可以在没有相关联的类别的情况下丢弃令牌。
在处理块705处,为每个取回的令牌指派多义性参数。在一个实施例中,多义性处理模块606从令牌分析模块604接收令牌,并且例如为每个令牌计算相应的多义性值,作为在给定所分析的事件内特定令牌的存在的情况下令牌类别为整体事件类别的条件概率的因子。
在处理块706处,基于相关联的令牌类别、每个令牌被指派的多义性参数值以及存储在规则数据库630内的一组事件处理规则,从所取回的令牌中选择主导令牌。在一个实施例中,令牌分析模块604应用预定的处理规则来选择主导令牌,例如规定去除包含一个或多个停止单词的令牌、规定在存储的事件内令牌的最小出现频率的规则,以及被设计来为所取回的令牌排名的其他规则。
在一个实施例中,除了多义性参数值之外,令牌分析模块604还指派表示对主导令牌选择和整体事件分类的准确度的评估的置信度得分,并且将置信度得分与相应的整体事件一起存储。
最后,在处理块707处,基于与主导令牌相关联的一个或多个令牌类别对整体事件分类,并且更新相应的数据库610、620以包括新分类的事件。
在替换实施例中,如果所指派的置信度得分低于预定的阈值得分,表明对以上详细描述的分类过程的准确度的置信度较低,则令牌分析模块604可以丢弃整体事件。
在另一个替换实施例中,即使所指派的置信度得分低于预定的阈值得分,令牌分析模块604仍可将置信度得分与相应的整体事件一起存储。在此实施例中,即使与存储的事件相关联的置信度得分低于预定的阈值得分,其他外部模块和/或系统,例如被配置为基于用户的在线活动来识别用户兴趣的行为瞄准系统,或者其任何组件,也取回并丢弃存储的事件。
在另一个替换实施例中,可以根据与每个令牌相关联的多义性参数值在与所取回的令牌相对应的多个类别之间细分事件。然后,可以根据所指派的与相应的多义性参数值相等的权重来在每个令牌类别内对事件分类。
在促进自动事件分类的方法的替换实施例中,在取回一个或多个匹配令牌之后,包括与每个所取回的事件相对应的多个统计参数的值的向量可以被组装并输入到已知的神经网络结构(未示出)中。或者,值的向量可以被输入到已知的支持向量机器(未示出)中、输入到已知的非线性回归机制(未示出)中、或者输入到任何已知的接受向量输入的机器学习单元中。
在一个实施例中,值的向量包括与每个所取回的令牌有关的数据。每个令牌的统计参数可以包括在事件日志中令牌出现的频率、在特定事件(例如搜索查询)内令牌出现的频率、令牌的多义性值、令牌主导整体事件的概率、令牌主导另一令牌的概率、与令牌相关联的类别主导整体事件的概率、该类别主导与另一令牌相关联的类别的概率,以及使得能够确定事件内的主导令牌的其他已知统计参数。
在一个实施例中,诸如神经网络结构或者支持向量机器或非线性回归机制之类的机器学习单元被配置为接收向量输入并且确定与每个令牌相关联的输出值,该输出值指示出相应令牌是事件的主导令牌的概率。然后,机器学习单元对计算出的输出值排序、选择排名最高的输出值并且将所选择的输出值发送到令牌分析模块604。
在一个实施例中,除了确定每个输出值来作为相应令牌是事件的主导令牌的概率之外,机器学习单元还计算置信度得分,该置信度得分表示对主导令牌确定和整体事件分类的准确度的评估。置信度得分随后被发送到令牌分析模块604。在替换实施例中,令牌分析模块604可以利用从机器学习单元接收的信息来计算置信度得分。
令牌分析模块604识别与所选择的最高输出值相对应的令牌并且取回与令牌相关联的一个或多个类别。最后,令牌分析模块604基于一个或多个所取回的类别对事件进行分类并且更新相应的数据库以包括新分类的事件。
在替换实施例中,如果所指派的置信度得分低于预定的阈值得分,表明对以上详细描述的分类过程的准确度的置信度较低,则令牌分析模块604可以丢弃整体事件。
在另一个替换实施例中,即使所指派的置信度得分低于预定的阈值得分,令牌分析模块604仍可将置信度得分与相应的整体事件一起存储。在此实施例中,即使与存储的事件相关联的置信度得分低于预定的阈值得分,其他外部模块和/或系统(例如行为瞄准系统)或者其任何组件也可以取回并丢弃存储的事件。
在另一个替换实施例中,值的向量包括与一对令牌有关的数据。如以上详细描述的,机器学习单元接收输入向量并且选择主导令牌。然后,机器学习单元接收与额外的令牌有关的数据,并且将额外的令牌与所选择的主导令牌相比较,并且进一步选择新的主导令牌。该过程对于剩余令牌迭代性地继续,直到用尽所有数据并且选择了最终主导令牌为止。
用于广告应用的行为瞄准系统
在一个实施例中,行为瞄准系统被用于基于用户对广告的类别或主题的兴趣来向用户提供在线广告。在线广告被用于营销多种产品和服务。一般地,在线广告被用于在潜在顾客间构建品牌知名度并且促进对产品和服务的在线购买。一类在线广告被称为品牌营销,用于向目标受众推广品牌。从而,品牌营销的目的在于增大广告主的品牌对于顾客来说的知名度。在线广告主的另一目的在于诱发来自顾客的动作或响应。这类广告被称为直接响应广告。在诸如网页之类的消息上显示的、包括将用户定向到广告主网站的链接的广告是直接响应广告的示例。
横幅广告和赞助列表广告是当前使用的两类在线广告。一般地,横幅广告指的是在诸如网页之类的在线消息的预定位置处显示的一类广告。例如,横幅广告可以被显示在网页顶部的水平矩形内,但横幅广告也可出现在整个网页中的任何位置处。横幅广告可以包括动态的或静态的图形图像和/或文本。通常,横幅广告包括URL链接,以便如果用户点击该链接,用户的浏览器会被重定向到与横幅广告相关联的新位置。
赞助列表广告是响应于用户的搜索标准、用户正在访问的页面或者用户的简档而显示的广告。例如,如果用户在基于web的搜索引擎中输入搜索查询,则搜索引擎可以响应于该查询显示与搜索查询有关的广告主的超链接文本列表。赞助列表广告可以采取文本和/或图像的形式。本发明的行为瞄准系统是结合在线广告来描述的。虽然本发明是结合横幅广告和赞助列表广告的使用来描述的,但是任何类型的被包括在消息上并且通过网络分发的广告都可以被使用,而不脱离本发明的精神或范围。例如,本发明可以应用来将赞助列表与用户行为简档和网页内容相匹配。本发明的教导可应用于任何类型的在线广告,包括但不限于横幅广告、赞助列表广告、保证印象广告和基于性能的广告。广告本身可以包括任何类型的媒体,其中包括文本、图像、音频或视频。
图8是示出用于利用行为瞄准系统来提供广告的一个实施例的框图。对于此示例性实施例,示例性的基础设施包括网络830、web服务器840、广告(ad)服务器850以及用户810的计算机820。web服务器(840)基于用户的行为(例如事件)接收信息。用户行为信息被输入到行为瞄准处理(860)。如图8所示,行为瞄准处理860利用用户行为信息逐类别地生成原始用户得分(870)。用户得分被输入到ad服务器(850),该服务器进而向web服务器840提供广告。结果,定制ad在计算机820上被提供给用户810。
行为瞄准系统中的维度处理
图9是示出用于行为瞄准系统中的维度处理的一个实施例的框图。对于此实施例,维度处理涉及新近度处理(950)、强度处理(955)和频率处理(960)。模型和规则(970)接收类别和事件类型信息,并且基于类别和事件类型为新近度、强度和频率处理模块生成参数(例如权重)。在一个实施例中,模型使用线性回归。进行新近度、强度和频率处理的具体模式在下文中更详细描述。
在一个实施例中,模型和规则(970)为每种类别包括一个模型。从而,维度处理的权重参数是在每类别基础上的。模型定义权重参数,其中包括衰减参数。权重参数也是特定于事件类型的。在一个实施例中,事件的权重参数没有被同等加权。此外,某一事件类型(例如页面查看、搜索等等)内的所有事件没有被同等加权。从而,在针对不同事件类型的一个类别内或者在针对同一事件类型的多个类别中,所有的权重和衰减参数不一定是恒定的。
a.长期用户行为简档
在一个实施例中,本发明的行为瞄准处理生成长期用户行为简档。长期用户行为简档对用户在相对较长的一段时间中(例如在至少24个小时中)的活动进行汇编以生成用户行为简档。在一个实施例中,长期用户行为简档用于预测用户在下一日内的兴趣。例如,长期用户行为简档可用于确定在下一日中向用户提供什么广告。
长期用户行为简档可应用来用于提供引起用户的长期兴趣的广告。例如,用户可能在几个月的一段时间中表现出购买汽车的兴趣。可以从由在线学习和获取关于汽车的信息的用户产生的用户活动(例如,对汽车站点的页面查看、对汽车广告的广告点击,等等)来汇编兴趣得分。对于此示例,用户在汽车类别中的长期直接响应得分较高,因此广告应用可以向用户提供汽车销售广告。
以下式子给出用于计算在时间tn用户的长期用户兴趣得分的公式:
s t n = intercept + Σ event w event Decay ( { Satu ( A event , t ) | t 0 ≤ t ≤ t n } ) + Σ event r event R event , t n + Σ event f event F event , t n
其中:
Figure A20078001133200192
表示用户的长期直接响应(原始)得分-基于到时间间隔tn为止记录的用户过去的行为数据的用户点击倾向;
Aevent,t是在某一类别中,对于某一用户,在第t日事件类型event的活动数目;
表示基于下述一日的某一用户的事件类型event的新近度信息:该日是过去对于该事件类型该用户有活动的最近一日;
revent表示事件类型event的新近度信息权重,其定义了事件类型就预测能力而言随时间“衰减”的速度。例如,rAd_Click定义了基于用户有广告点击活动的最近一日来预测广告点击倾向的能力;
wevent表示事件类型event的权重,其给出了利用强度信息来预测广告点击倾向的能力;
表示基于下述一日的某一用户的事件类型event的频率信息:该日是过去对于该事件类型该用户有活动的最近一日;
fevent表示事件类型event的频率信息的权重。
对于每个类别,用户得分
Figure A20078001133200195
是利用饱和函数Satu()进行变换并且利用衰减函数Decay()进行聚集的事件活动Aevent,t的强度的线性组合,并且使用过去的事件活动的新近度
Figure A20078001133200196
。事件活动的强度和新近度分别由wevent和revent加权。
图10是示出用于生成长期直接响应用户兴趣得分的一个实施例的框图。对于此实施例,长期行为瞄准系统以指定的时间间隔记录用户事件Aevent,t(图10,块1020)。在一个实施例中,长期行为瞄准系统记录24小时时段中的事件。长期行为瞄准系统对事件分类(图10,块1020)。长期行为瞄准系统从日志中选择经分类的事件以便处理(图10,块1025)。与长期直接营销简档相对应的模型被选择。模型一部分包括用于维度处理的多个权重(例如,新近度、强度和频率)。
向事件应用饱和函数(图10,块1035)。在一个实施例中,饱和函数Satu()被应用到所有每日事件活动。它是一个简单的上盖(upper cap)函数。Uevent表示事件类型event的上盖。它是过去7日中在最重的0.5%用户中的最低Aevent,t
Figure A20078001133200201
向饱和函数的输出应用衰减函数(图10,块1040)。在一个实施例中,衰减函数Decay()被应用来聚集用户的每日事件活动,并且表达为:
Decay ( { A event , t | t 0 ≤ t ≤ t n } ) = Σ t = t 0 t n α t n - t A event , t , α ∈ ( 0,1 ]
α是用于所有事件类型和所有类别的常数。α的值越小,历史数据就越快被淘汰。可以基于系统约束和业务要求来选择α。α的不同值的衰减速度的示例在以下表1中示出。在一个实施例中,α被设定在0.95。
表1
Figure A20078001133200203
然后,向衰减函数的输出应用强度权重(图10,块1050)。在一个实施例中,通过建模(例如回归分析)来拟合饱和的强度特征wevent的权重。权重与标准误差和性能度量一起被建模系统输出。
为所记录的事件生成新近度参数(图10,块1055)。
Figure A20078001133200204
是到时间tn为止,在用户的活动中,用户有该类别中的类型event的活动的最近一日。例如,如果在到tn为止加载的所有页面查看活动中,用户在汽车类别中的最后页面查看发生在2日之前,则对于汽车来说用户在页面查看方面的新近度是2。如果没有为用户记录页面查看活动,则新近度被设定到常数RUNKNOWN。在一个实施例中,RUNKNOWN被设定到90日。
Figure A20078001133200211
接下来,向新近度函数应用基于事件类型和事件的类别的新近度权重revent(图10,块1060)。在一个实施例中,通过建模(例如回归分析)来拟合饱和的强度特征revent的权重。权重与标准误差和性能度量一起被建模系统输出。
如图10中的循环所示,行为瞄准系统通过执行块1025、1030、1035、1040、1050、1055和1060为每个类别处理事件。
在一个实施例中,可以简化用于生成长期用户兴趣得分的表达式。令
Figure A20078001133200212
表示从第t0日到第tn日在所有事件类型上用户活动的强度维度。如果α对于所有事件类型都是相同的,则有
I t n = Σ t = t 0 t n α t n - t Σ event w event Satu ( A event , t )
然后有到tn为止记录的活动的用户u的用户得分可以改写为:
s t n = I t n + Σ event r event R event , t n
在一些实施例中,对于特定类别,用户的长期得分可以被递增地更新,而不存储特定类别中用户的每日得分。因此,可以随着时间的过去(以预定的更新间隔)更新得分,以反映从用户计分的第一日开始用户的过去类别兴趣,而无需重新处理用来计算原始得分的所有先前事件和计算。
如果假定tk表示最后为用户记录事件活动的那一日,并且递增更新间隔是每d日,则tn=tk+d。例如,对于每日递增更新,tn=tk+1。在一些实施例中,随后可以利用以下式子来确定更新后的得分
Figure A20078001133200215
s t n = Σ t = t k + 1 t n α t n - t Σ event w event Satu ( A event , t ) + α t n - t k I t k + Σ event r event R event , t n
Figure A20078001133200217
b.短期用户行为简档
在另一个实施例中,行为瞄准系统生成短期用户行为简档。在一个实施例中,短期用户行为简档用于在下一小时内向用户提供广告。短期用户行为简档可以用来提供引起用户的超短期购买意图的广告。例如,用户可以在过去的几分钟里表现出在线购买花卉的兴趣。通常,诸如花卉这样的小型购买通常是通过相对较短的一段时间内的购买来进行的。对于此示例,行为瞄准系统实时累积用户活动,并且在较短的一段时间内向用户提供广告。
以下式子给出了每小时间隔tn的用户短期直接响应得分的公式:
s t n = intercept + Σ event w event Decay ( { Satu ( A event , t ) | t 0 ≤ t ≤ t n } ) + r R t n + r ′ R t n ′
其中:
Figure A20078001133200222
表示每小时间隔的用户短期直接响应(原始)得分,其基于在tn更新的过去行为数据来衡量用户的点击倾向;
Aevent,t是在某一类别中,对于某一用户,在每小时间隔t中事件类型event的活动数目;
表示基于用户有活动的每日间隔的用户新近度信息,其中排除了广告类别查看事件类型;
Figure A20078001133200224
表示基于用户有活动的每小时日内间隔的用户新近度信息,其中排除了广告类别查看事件类型;
r,r′表示新近度信息的权重,其定义了活动就预测能力而言随时间“衰减”的速度。例如,rAd_Click定义了基于过去用户有点击活动的最近时间间隔来预测未来广告点击的能力;并且
wevent表示事件类型event的权重,其给出了利用强度信息来预测广告点击倾向的能力。
对于每个类别,用户得分是(利用饱和函数Satu()进行变换并且利用衰减函数Decay()进行聚集的)事件活动Aevent,t的强度和活动
Figure A20078001133200226
Figure A20078001133200227
的新近度的线性组合。活动的强度和新近度分别由wevent和r,r′加权。
图11是示出用于生成短期直接响应用户兴趣得分的一个实施例的框图。对于此实施例,短期行为瞄准以指定的时间间隔实时接收用户事件Aevent,t(图11,块1110)。短期行为瞄准系统对事件分类(图11,块1120)。选择与短期直接营销/用户目标相对应的模型(图11,块1130)。模型一部分包括用于维度处理的多个权重(例如,新近度、强度和频率)。
向事件应用饱和函数(图11,块1135)。在一个实施例中,饱和函数Satu()被应用到所有每小时事件活动。它是一个简单的上盖函数。Uevent表示事件类型event的上盖。它是在每小时的间隔期间在最重的0.5%用户中的最低Aevent,t
Figure A20078001133200231
向饱和函数的输出应用衰减函数(图11,块1140)。在一个实施例中,衰减函数Decay()被应用来随着时间过去聚集用户的事件活动,并且表达为:
Decay ( { A event , t | t 0 ≤ t ≤ t n } ) = Σ t = t 0 t n α t n - t A event , t , α ∈ ( 0,1 ]
α是用于所有类型和所有类别的常数。α的值越小,历史数据就越快被淘汰。可以基于系统约束和业务要求来选择α。α的不同值的每小时和每日衰减速度的示例在以下表1中示出。在一个实施例中,α被设定在0.998。
表2
Figure A20078001133200233
Figure A20078001133200241
Figure A20078001133200242
然后,向衰减函数的输出应用强度权重(图11,块1150)。在一个实施例中,通过建模(例如回归分析)来拟合饱和的强度特征wevent的权重。权重与标准误差和性能度量一起被建模系统输出。
为事件生成新近度参数(图11,块1155)。在一个实施例中,为了简单,使用单个新近度值。
Figure A20078001133200243
是在tn最后更新的用户活动中,用户有该类别中的活动的最近的每小时间隔。例如,如果用户在两小时之前有在汽车类别中的页面查看,并且在两小时内没有其他活动,则对于汽车来说用户在页面查看方面的新近度是2。如果从最后更新起用户没有活动,则新近度
Figure A20078001133200244
被设定到常数RUNKNOWN。在一个实施例中,RUNKNOWN被设定到504。
Figure A20078001133200245
Figure A20078001133200246
导出
Figure A20078001133200247
其将
Figure A20078001133200248
变换成V形日内模式:
Figure A20078001133200249
接下来,向新近度函数应用基于事件类型和事件的类别的新近度特征r,r′(图11,块1160)。在一个实施例中,通过建模来拟合强度特征r,r′的权重。权重与标准误差和性能度量一起被建模系统输出。
如图11中的循环所示,行为瞄准系统通过执行块1130、1135、1140、1150、1160和1170为每个类别处理事件。
也可以实时地递增更新针对特定类别用户的短期得分。可以在不确定或存储特定类别中用户的事件活动的计数Aevent,t(每小时间隔t的事件类型event的活动数目)的情况下执行得分的实时递增更新。得分的实时递增更新允许了基于(事件类型event的)新近事件来调节得分,而无需重新处理用来计算原始得分的所有先前事件和计算。
如上所述,表示得分的强度分量(即,从第t0日到第tn日在所有事件类型上用户活动的强度维度),其中:
I t n = Σ t = t 0 t n α t n - t Σ event w event Satu ( A event , t )
同样如上所述,有到tn为止记录的所有活动的用户的得分可以简化为:
s t n = I t n + Σ event r event R event , t n
如果强度分量被初始化为零( I t 0 = 0 )并且最后用户活动的每小时间隔被设定到未知(Rt0=Runknown),则初始用户得分
Figure A20078001133200255
被计算为 S t 0 = R UNKNOWN . 另外,假定
Figure A20078001133200257
表示在每小时间隔tn-1最后更新的用户得分。当在每小时间隔tn接收到事件类型event的新近活动时,可以将用户得分
Figure A20078001133200258
递增地更新到用户得分
Figure A20078001133200259
而无需重新处理在特定类别中用户的所有过去的事件活动Aevent,t。在一些实施例中,递增更新的用户得分
Figure A200780011332002510
是利用以下式子来确定的:
s t n = α t n - t n - 1 I t n - 1 + w event + r R t n + r ′ R t n ′
Figure A200780011332002513
建模过程
如上所述,模型包括用于应用权重以生成用户简档得分的权重参数。在一个实施例中,权重参数是从用户数据集合生成的。从用户过去的活动汇编的用户数据集合将事件信息与用户行为相互关联起来(例如,点通率与用户事件相关联)。可以分析用户数据集合以识别正面用户(例如,用户活动符合瞄准目标)和负面用户(例如,不符合瞄准目标的用户)。利用数据挖掘技术来分析用户数据集合,以确定什么动作(例如事件信息)对于为瞄准目标预测行为最为有用。可以分析正面用户的事件信息以确定对瞄准目标最有贡献的事件。例如,如果瞄准目标是直接响应广告并且用户数据集合标识出一种趋势,即提交被分类在“运动”类别中的搜索查询的用户也点击直接响应广告,那么对于类别“运动”,事件类型“搜索”的权重参数被给予相对较高的值。对于此实施例,分析用户数据集合以为分类体系的每个类别中的每个事件类型生成权重。
与生成模型的这种方法相关联的一个问题是与某一类别相关联的数据可能不足或者没有数据与该类别相关联。在一个实施例中,行为瞄准系统为具有不充足数据集合的类别利用模型继承技术。利用模型继承技术,从一个类别创建的模型被用作分类体系上的有关类别或者父类别的模型。例如,分类体系可以包括位于分类体系中的父类别“金融”之下的子类别“产权投资”。如果对于类别“产权投资”来说用户数据集合不足,则“金融”类别的模型可用作“产权投资”类别的模型。模型继承技术还可用来通过生成一些模型并随后将这些模型用于有关类别来促进支持大量类别的系统中的构建模型的过程。
在一个实施例中,建模过程使用用户权重来提高模型的准确度。一般地,用户权重标识出用户数据集合中的提供最高质量的信息用以构建模型的那些用户。示例性的用户数据集合可以包括下表:
表3
  用户   广告查看   广告点击
  John   100   0
  Mary   1   0
  Peter   100   1
  Sue   1   1
此示例性数据集合表明,就点击倾向而言,John和Mary是负面用户,而Peter和Sue是正面用户。但是,Mary只进行了一次广告查看,而John进行了100次广告查看。从而,该数据提供了有关以下事实的更强置信度:比起Mary来,John更是非点击者(non-clicker)。类似地,Sue仅进行了广告查看一次就点击了,而Peter在点击之前已经有了100次广告查看。从而,作为点击者的Sue的数据的置信度要高于Peter是点击者的置信度。在用于生成模型的一个实施例中,向来自用户数据集合的数据赋予用户权重以衡量数据的质量。对于上述示例,在生成模型时,比起与Peter相关联的数据来,与Sue相关联的数据被指派以更高的用户权重。
在一个实施例中,基于就瞄准目标而言用户的预期表现(例如点通率)来向用户指派用户权重。在数据挖掘算法中使用的目标变量被重新调节,并且正面和负面用户的权重被正规化以使其和为1。具体而言,目标变量tu可以如下被设定到1或0:
如果(adclick-CTR*f(adview))>0,
则tu=1
否则,
tu=0
在一个实施例中,
f(adview)=adview+k(其中k是常数)。
在其他实施例中,
f(adview)=adview
f(adview)=(1-e-k*adview)
f(adview)=bin(adview)
然后用户加权计算为:
uu=|adclick-CTR*f(adview)|
利用目标变量和用户权重,机器学习算法根据以下关系来最小化预测误差:
error = Σ u ( t u - t u ~ ) 2 * u u
其中,tu是预测性目标变量,
Figure A20078001133200273
是实际目标变量。
在一个实施例中,数据清洁技术被用于从用户数据集合中去除用户数据。对于此实施例,在建模过程之前排除“机器人”事件,以确保它们的行为不会使模型出现偏差。机器人事件会使建模出现错误,尤其如果存在相对于其他用户的任何计分的话。从而,从模型中排除机器人事件和具有最低限度活动的cookie。
实时和分批处理实现方式
图12是示出生成长期和短期用户兴趣得分的行为瞄准系统的一个实施例的框图。与上述基础设施类似,使用了示例性的用户计算机(1220)、网络1230、web服务器1240、服务器1250。在一个实施例中,数据库1255、分批行为瞄准处理1260和仓库简档1280被用于计算长期用户兴趣得分。数据库1255耦合到(一个或多个)web服务器1240,以存储记录的事件。记录的事件随后在分批行为瞄准处理1260中以预定的间隔被处理。分批行为瞄准处理1260的输出包括针对每个类别的多个用户兴趣得分。得分被存储在仓库简档1280中。
行为瞄准系统1200还包括实时行为瞄准处理1270和用户数据存储1290,用于生成短期用户兴趣得分。具体而言,在短期时间间隔(例如一个小时)中,在实时行为瞄准处理1270中累积事件。实时行为瞄准处理1270生成短期用户兴趣得分。如上所述,短期用户兴趣得分可用来为各种用户和营销目标选择广告。在另一个实施例中,用户数据存储包括长期用户兴趣得分和短期用户兴趣得分两者。对于此实施例,行为瞄准系统1200生成组合的长期和短期用户兴趣得分,如下所述。
将用户得分映射到输出度量
对于一些应用,用户简档得分的范围被转换成跨类别的相对得分(即,相对于不同类别中的其他用户简档得分)。在一个实施例中,在每个类别中对用户简档得分进行百分比排名。例如,“金融”类别中的用户简档得分“.2”可给出所有用户中的前1%内的用户简档得分,而“运动”类别中的用户简档得分“.6”可给出所有用户中的前10%内的用户简档得分。对于此示例,“运动”中的用户简档得分“.6”被转换成等于1的相对用户简档得分。利用此技术,相对用户简档得分允许了相对于不同用户的其他兴趣比较“运动”和“金融”中的用户兴趣。在另一个实施例中,选择类别,以通过利用输出度量(例如点通率)跨所有类别对用户的得分进行排名,来最大化关于用户的ROI。
在另一个实施例中,可以将用户简档分割成层。例如,营销者可能希望只利用指定类别中的前10%的用户来启动一个计划。然后,可以为另一目的对接下来的10%的用户进行排名。用户的排名可以基于出于任何目的对用户数据的任何分类。
如上所述,产生了瞄准目标的原始得分。例如,可以通过品牌模型/规则集合来产生品牌得分,并且可以通过直接响应模型/规则集合来产生直接响应得分。可以利用长期或短期数据来产生原始得分。通过长期数据产生的原始得分被称为长期原始得分,通过短期产生的原始得分被称为短期原始得分。例如,直接响应得分可以利用长期数据和短期数据来产生。
原始得分指示出在针对某一瞄准目标的类别中用户的相对兴趣量度。但是,原始得分不直接衡量用户的动作倾向。这样,原始得分被转换或映射到用于瞄准优化目的的更有用的得分,在这里它被称为映射得分。在一些实施例中,映射得分是反映出用户进行特定动作的趋势的面向行为的得分。映射得分对于瞄准优化目的是有用的,因为它们提供了关于用户相对于感兴趣的类别的动作的预测性信息。
映射得分的一些示例是表达为百分比的点击倾向、点通率、以及也表达为比率的转换倾向。在其他实施例中,也可以产生其他映射得分。一般地,针对某一类别的用户点通率(CTR)反映了用户将要选择(“点击”)与该类别相关联的内容(例如广告、链接等等)的概率。一般地,在某一类别中用户的转换率反映了用户将会买/购买与该类别相关联的产品或服务的概率。在一些实施例中,对于特定类型的原始得分,长期和短期原始得分被转换成长期和短期映射得分。例如,长期直接响应得分(LTDR)可被转换成长期CTR得分(LTCTR),并且短期直接响应得分(STDR)可被转换成短期CTR得分(STCTR)。
对于同一用户和类别,原始得分通常不与映射得分具有线性关系。例如,基于从多个用户聚集的统计行为数据,用户的直接响应得分不与其在相同类别中的CTR得分具有线性关系。图13示出了一曲线图,该曲线图基于从多个用户聚集的统计数据示出了作为直接响应得分的函数的CTR得分。如图13所示,在y轴上示出的CTR得分随着在x轴上示出的直接响应得分增大而非线性地增大。直接响应和CTR得分分别被下限smin和cmin所限,其中smin指示出以cmin作为其相应CTR得分的非积极用户的直接响应得分。
在一些实施例中,利用非线性多项式映射方程来将原始得分转换成映射得分。可以利用从多个用户聚集的行为数据来确定映射方程,所述行为数据将映射得分与原始得分相关联起来。在一些实施例中,该映射方程表示为:
RawScoreToMappedScore(ss)=cmin+k1(ss-smin)+k2(ss-smin)2=cs
其中:
ss=原始得分值;
smin=在某一类别中,过去未表现出任何活动(页面查看、搜索、点击等等)的用户的得分;
cmin=与smin相对应的点通率。注意,cmin>0,因为即使是过去未表现出行为兴趣的用户仍可以有非零的点击倾向。
k1和k2=常数;并且
cs=映射得分值。
在一些实施例中,在映射方程中使用的常数的值(smin、cmin、k1和k2)依据要映射的原始得分的类型而变化。在这些实施例中,用于产生原始得分的特定模型/规则集合计算和存储这些随后被用于映射方程中的常数值。例如,用于将品牌得分转换到映射得分的常数值可以不同于用于将直接响应得分转换到映射得分的常数值。用于品牌得分的常数值可以在品牌模型/规则集合中计算和存储,用于直接响应得分的常数值可以在品牌模型/规则集合中计算和存储。在一些实施例中,用于映射方程中的常数的值(例如smin、cmin、k1和k2)依据映射得分的类型而变化。例如,用于产生CTR得分的常数值可以不同于用于产生转换率得分的常数值。
如上所述,对于一类原始得分(例如,直接响应得分),可能存在长期和短期原始得分(例如LTDR和STDR)。对于此实施例,长期原始得分(例如LTDR)可以被转换成长期映射得分(例如LTCTR),并且短期原始得分(例如STDR)可以被转换成短期映射得分(例如STCTR)。这些长期和短期映射得分被组合成单个组合映射得分。在一些实施例中,组合映射得分是利用组合方程来计算的,该组合方程是利用从多个用户聚集的统计行为数据来确定的。在一些实施例中,组合方程表示为:
CombinedMappedScore(cst,clt)=(cst*csl)/(EMS)=cc
其中:
cst=短期映射得分值;
ssl=长期映射得分值;
EMS=多个用户中的预期映射得分;并且
cc=组合映射得分值。
可以利用从多个用户聚集的行为数据来确定EMS值。在一些实施例中,EMS值在特定类别内是恒定的,但在不同类别之间是变化的。例如,如果长期和短期映射得分是长期和短期CTR得分,则组合方程表示如下:
CombinedCTRScore(cst,clt)=(cst*csl)/(ECTR)=cc
其中:
cst=短期CTR倾向;
csl=长期CTR倾向;
ECTR=多个用户中的预期CTR;并且
cc=组合CTR倾向。
这样,当产生长期和短期映射得分时,可以使用组合方程来提供反映长期和短期映射得分的单个组合映射得分。单个组合映射得分可用于稍后的瞄准优化处理。
组合长期和短期得分的过程是递增的。此技术允许了在无需重新处理与长期得分相关联的事件信息的情况下对长期和短期得分进行组合。这带来了处理和时间上的巨大节省,因为产生大量事件信息需要大量时间。因此,通过将长期用户简档得分与短期用户简档得分相组合,可以在以后使用被汇编以生成长期用户简档得分的事件信息。例如,事件信息可以被计算为某一时间time0的长期用户简档得分。一天之后,即time0加一天,可以为过去的一天计算短期用户简档得分。time0的两天之后,即time0加两天,可以实时计算第二短期用户简档得分。对于此示例,行为瞄准系统可以重新计算新长期得分,以便与time0的新短期得分相组合,而无需重新处理事件信息。
如上所述,在一个实施例中,强度维度包括衰减函数。一般地,强度参数基于所经过的时间量来衰减事件信息加权。在递增性长期和短期得分组合过程的一个实施例中,通过按计算长期得分与生成新的长期得分的当前时间之间经过的时间量增大衰减函数来生成新的长期得分。新近度维度也可以被递增地更新。在一个实施例中,新近度参数是时间的线性函数,使得新近度参数在每单位时间中被增大固定的量(例如,新近度参数可以每天递增1点)。从而,可以通过增大新近度参数以与新的时间相一致(即,在长期得分的计算与当前时间之间)来生成与长期得分相关联的新的新近度参数。
长期和短期得分的组合提供了更准确的行为瞄准系统。长期得分捕捉综合行为数据。但是,长期得分相对于当前行为兴趣有相对较长的滞后时间(例如一天)。短期数据实时捕捉行为数据,因此捕捉了用户的当前行为兴趣。但是,与长期得分不同,短期得分不捕捉用户行为的整体简档。从而,通过组合长期和短期得分,用户行为简档既捕捉了当前兴趣又捕捉了过去的兴趣,以提供用户兴趣的完整视图。
用于行为瞄准系统的网络环境
图14示出了用于本发明的行为瞄准系统的操作的网络环境1400的一个实施例。网络环境1400包括耦合到网络1430(例如因特网、内联网、外联网、虚拟专用网、非基于TCP/IP的网络、任何LAN或WAN,等等)的客户端系统1420,以及服务器系统14401至1440N。服务器系统可以包括单个服务器计算机或者数个服务器计算机。客户端系统1420被配置为与服务器系统14401至1440N中的任何一个通信,以例如请求和接收基本内容和额外内容(例如,以网页的形式)。
客户端系统1420可以包括桌面型个人计算机、工作站、膝上型计算机、PDA、蜂窝电话、任何具有无线应用协议(WAP)能力的设备、或者任何其他能够直接或间接与网络通信的设备。客户端系统1420通常运行web浏览程序,该程序允许了客户端系统1420的用户通过网络1430向服务器系统14401至1440N请求内容并从其接收内容。客户端系统1420通常包括一个或多个用户接口设备22(例如键盘、鼠标、滚动球、触摸屏、笔,等等),用于与显示器(例如监视屏、LCD显示器等等)上的web浏览器的图形用户界面(GUI)交互。
在一些实施例中,客户端系统1420和/或系统服务器14401至1440N被配置为执行这里描述的方法。一些实施例的方法可以用被配置为优化对将要显示给用户的额外内容的选择的软件或硬件来实现。
图15示出了行为瞄准系统1500的概念图。行为瞄准系统1500包括客户端系统1505、基本内容服务器1510(包含基本内容)、额外内容服务器1515(包含额外内容)、用户简档数据库1520以及行为瞄准服务器1535。行为瞄准服务器1535包括接收事件信息的优化器模块1537。行为瞄准系统1500被配置为基于用户的简档来选择将要发送给用户的额外内容。客户端系统1505被配置为接收基本和额外内容并将基本和额外内容显示给用户(例如,作为公布的网页)。优化系统的各个部分可以驻留在一个或多个服务器(例如服务器14401至1440N)和/或一个或多个客户端系统(例如客户端系统1420)中。
用户简档数据库1520为多个用户/客户端系统存储用户简档,每个用户简档具有为用户使用的特定客户端系统1505指派的唯一用户标识号。用户标识号例如可以被存储在用户使用的客户端系统1505上的cookie中。当用户向基本内容服务器1510请求一条基本内容时,该cookie被从客户端系统1505传送到基本内容服务器1510,然后被传送到行为瞄准服务器1535。行为瞄准服务器1535随后使用cookie中的信息来从用户简档数据库1520取回特定的用户简档。
行为瞄准系统可以用硬件或软件来实现。对于软件实现方式,行为瞄准系统是包括用于在通用计算机系统上实现的多个计算机可执行指令的软件。在加载到通用计算机系统中之前,行为瞄准系统软件可以作为经编码的信息驻留在计算机可读介质上,例如磁软盘、磁带、以及致密盘只读存储器(CD-ROM)。
虽然已经按特定的示例性实施例描述了本发明,但是应当认识到,在不脱离本发明的精神和范围的情况下,本领域的技术人员可以进行各种修改和变更。

Claims (24)

1.一种用于从在线活动确定用户简档的方法,所述方法包括:
在实体处存储多个模型,其中模型定义用于确定用户简档得分的多个参数;
在所述实体处接收至少一个用户事件信息,其中所述用户事件信息包括所述用户和所述实体之间的在线活动;
选择模型来生成用户简档得分;以及
通过将来自所选择的所述模型的所述参数应用到所述用户事件信息来生成一类别中的至少一个用户简档得分。
2.如权利要求1所述的方法,还包括:
添加包括新参数和规则的至少一个新模型,以便提供可扩展性;
在所述实体处接收事件信息;
选择所述新模型来生成用户简档得分;以及
通过将来自所选择的所述新模型的所述新参数和规则应用到所述用户事件信息来生成一类别中的至少一个用户简档得分。
3.如权利要求1所述的方法,还包括基于所述用户兴趣得分向所述用户提供广告。
4.如权利要求1所述的方法,其中所述参数包括新近度维度参数,该新近度维度参数基于所述用户事件信息发生的新近度来向所述用户兴趣得分提供输入。
5.如权利要求1所述的方法,其中所述参数包括强度维度参数,该强度维度参数基于所述用户事件信息预测用户对所述类别的兴趣的有效度来向所述用户兴趣得分提供输入。
6.如权利要求1所述的方法,其中所述参数包括频率维度参数,该频率维度参数基于所述用户事件信息发生的频率来向所述用户兴趣得分提供输入。
7.如权利要求1所述的方法,其中
选择模型以生成用户得分包括基于瞄准目标来选择模型;并且
生成至少一个用户兴趣得分包括为所述瞄准目标生成用户兴趣得分。
8.如权利要求7所述的方法,其中所述瞄准目标包括品牌广告。
9.如权利要求7所述的方法,其中所述瞄准目标包括直接响应广告。
10.一种用于从在线活动确定用户简档的系统,所述系统包括:
用于存储多个模型的存储装置,其中模型定义用于确定用户简档得分的多个参数;
至少一个服务器,用于:接收至少一个用户事件信息,其中所述用户事件信息包括所述用户的在线活动;选择模型来生成用户简档得分;以及通过将来自所选择的所述模型的所述参数应用到所述用户事件信息来生成一类别中的至少一个用户简档得分。
11.如权利要求10所述的系统,其中所述系统包括可扩展系统,使得可以在无需改变现有系统的情况下添加至少一个模型。
12.如权利要求10所述的系统,还包括广告服务器,用于基于所述用户兴趣得分向所述用户提供广告。
13.如权利要求10所述的系统,其中所述参数包括新近度维度参数,该新近度维度参数基于所述用户事件信息发生的新近度来向所述用户兴趣得分提供输入。
14.如权利要求10所述的系统,其中所述参数包括强度维度参数,该强度维度参数基于所述用户事件信息预测用户对所述类别的兴趣的有效度来向所述用户兴趣得分提供输入。
15.如权利要求10所述的系统,其中所述参数包括频率维度参数,该频率维度参数基于所述用户事件信息发生的频率来向所述用户兴趣得分提供输入。
16.如权利要求10所述的系统,其中所述服务器还用于为瞄准目标生成用户兴趣得分。
17.如权利要求16所述的系统,其中所述瞄准目标包括品牌广告。
18.如权利要求16所述的系统,其中所述瞄准目标包括直接响应广告。
19.一种包括一组指令的计算机可读介质,该组指令在被计算机执行时使得该计算机从在线活动确定用户简档的计算机可读介质,所述指令用于:
在实体处存储多个模型,其中模型定义用于确定用户简档得分的多个参数;
在所述实体处接收至少一个用户事件信息,其中所述用户事件信息包括所述用户和所述实体之间的在线活动;
选择模型来生成用户简档得分;以及
通过将来自所选择的所述模型的所述参数应用到所述用户事件信息来生成一类别中的至少一个用户简档得分。
20.如权利要求19所述的计算机可读介质,还包括基于所述用户简档得分向所述用户提供广告。
21.如权利要求15所述的计算机可读介质,其中所述参数包括新近度维度参数,该新近度维度参数基于所述用户事件信息发生的新近度来向所述用户兴趣得分提供输入。
22.如权利要求19所述的计算机可读介质,其中所述参数包括强度维度参数,该强度维度参数基于所述用户事件信息预测用户对所述类别的兴趣的有效度来向所述用户兴趣得分提供输入。
23.如权利要求19所述的计算机可读介质,其中所述参数包括频率维度参数,该频率维度参数基于所述用户事件信息发生的频率来向所述用户兴趣得分提供输入。
24.如权利要求19所述的计算机可读介质,其中
选择模型以生成用户得分包括基于瞄准目标来选择模型;并且
生成至少一个用户简档得分包括为所述瞄准目标生成用户简档得分。
CN200780011332.8A 2006-03-29 2007-03-29 行为瞄准系统 Active CN101410864B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/394,343 2006-03-29
US11/394,343 US8504575B2 (en) 2006-03-29 2006-03-29 Behavioral targeting system
PCT/US2007/007701 WO2007126903A1 (en) 2006-03-29 2007-03-29 A behavioral targeting system

Publications (2)

Publication Number Publication Date
CN101410864A true CN101410864A (zh) 2009-04-15
CN101410864B CN101410864B (zh) 2017-06-09

Family

ID=38655834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200780011332.8A Active CN101410864B (zh) 2006-03-29 2007-03-29 行为瞄准系统

Country Status (6)

Country Link
US (3) US8504575B2 (zh)
EP (1) EP2008230A4 (zh)
JP (1) JP5450051B2 (zh)
KR (1) KR101104539B1 (zh)
CN (1) CN101410864B (zh)
WO (1) WO2007126903A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222300A (zh) * 2010-04-14 2011-10-19 微软公司 评估用户与广告交互的偏好
CN102339448A (zh) * 2011-09-30 2012-02-01 奇智软件(北京)有限公司 团购平台信息处理方法及装置
CN110912794A (zh) * 2019-11-15 2020-03-24 国网安徽省电力有限公司安庆供电公司 基于令牌集的近似匹配策略

Families Citing this family (126)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8868448B2 (en) 2000-10-26 2014-10-21 Liveperson, Inc. Systems and methods to facilitate selling of products and services
US9819561B2 (en) 2000-10-26 2017-11-14 Liveperson, Inc. System and methods for facilitating object assignments
US8738732B2 (en) 2005-09-14 2014-05-27 Liveperson, Inc. System and method for performing follow up based on user interactions
US9432468B2 (en) 2005-09-14 2016-08-30 Liveperson, Inc. System and method for design and dynamic generation of a web page
US20080059299A1 (en) * 2006-09-01 2008-03-06 Admob,Inc. Delivering ads to mobile devices
US20080077574A1 (en) 2006-09-22 2008-03-27 John Nicholas Gross Topic Based Recommender System & Methods
US8751418B1 (en) * 2011-10-17 2014-06-10 Quantcast Corporation Using proxy behaviors for audience selection
US8589233B2 (en) 2006-10-25 2013-11-19 Microsoft Corporation Arbitrage broker for online advertising exchange
US20080103953A1 (en) * 2006-10-25 2008-05-01 Microsoft Corporation Tool for optimizing advertising across disparate advertising networks
US20080103898A1 (en) * 2006-10-25 2008-05-01 Microsoft Corporation Specifying and normalizing utility functions of participants in an advertising exchange
US8533049B2 (en) 2006-10-25 2013-09-10 Microsoft Corporation Value add broker for federated advertising exchange
US20080103952A1 (en) * 2006-10-25 2008-05-01 Microsoft Corporation Specifying and normalizing utility functions of participants in an advertising exchange
US8788343B2 (en) * 2006-10-25 2014-07-22 Microsoft Corporation Price determination and inventory allocation based on spot and futures markets in future site channels for online advertising
US8661029B1 (en) 2006-11-02 2014-02-25 Google Inc. Modifying search result ranking based on implicit user feedback
US20080195458A1 (en) * 2006-12-15 2008-08-14 Thomas Anschutz Dynamic Selection and Incorporation of Advertisements
US9092510B1 (en) 2007-04-30 2015-07-28 Google Inc. Modifying search result ranking based on a temporal element of user feedback
US20090063266A1 (en) * 2007-09-04 2009-03-05 Microsoft Corporation Performing of marketing actions while preserving confidentiality
US8909655B1 (en) 2007-10-11 2014-12-09 Google Inc. Time based ranking
US8150791B2 (en) 2007-10-19 2012-04-03 Hartwell Brown Benefits services privacy architecture
US20090132365A1 (en) * 2007-11-15 2009-05-21 Microsoft Corporation Search, advertising and social networking applications and services
US8751492B1 (en) * 2008-01-17 2014-06-10 Amdocs Software Systems Limited System, method, and computer program product for selecting an event category based on a category score for use in providing content
US8799200B2 (en) 2008-07-25 2014-08-05 Liveperson, Inc. Method and system for creating a predictive model for targeting webpage to a surfer
US8762313B2 (en) 2008-07-25 2014-06-24 Liveperson, Inc. Method and system for creating a predictive model for targeting web-page to a surfer
US8805844B2 (en) 2008-08-04 2014-08-12 Liveperson, Inc. Expert search
US20100042466A1 (en) * 2008-08-14 2010-02-18 Adam Pritchard Audience Manager and Resellers
US20100042930A1 (en) * 2008-08-14 2010-02-18 Adam Pritchard Audience Manager and End Users
US20100042500A1 (en) * 2008-08-14 2010-02-18 Adam Pritchard Audience Manager and Sellers
US20100042419A1 (en) * 2008-08-14 2010-02-18 Adam Pritchard Audience Manager and Data Providers
US20100042497A1 (en) * 2008-08-14 2010-02-18 Adam Pritchard Audience Manager and Data Exchange
US20100042465A1 (en) * 2008-08-14 2010-02-18 Adam Pritchard Audience Manager and Custom Segments
US20100042507A1 (en) * 2008-08-14 2010-02-18 Adam Pritchard Audience Manager and Sellers
US8060406B2 (en) * 2008-09-26 2011-11-15 Microsoft Corporation Predictive geo-temporal advertisement targeting
US9892417B2 (en) 2008-10-29 2018-02-13 Liveperson, Inc. System and method for applying tracing tools for network locations
US8396865B1 (en) 2008-12-10 2013-03-12 Google Inc. Sharing search engine relevance data between corpora
US8352319B2 (en) * 2009-03-10 2013-01-08 Google Inc. Generating user profiles
US8458168B2 (en) 2009-03-27 2013-06-04 Microsoft Corporation Anticipating interests of an online user
US9009146B1 (en) 2009-04-08 2015-04-14 Google Inc. Ranking search results based on similar queries
US8448057B1 (en) 2009-07-07 2013-05-21 Quantcast Corporation Audience segment selection
KR101816113B1 (ko) 2009-07-16 2018-01-08 블루핀 랩스, 인코포레이티드 컴퓨터 실행 방법, 시스템 및 컴퓨터 판독 가능 매체
US8447760B1 (en) 2009-07-20 2013-05-21 Google Inc. Generating a related set of documents for an initial set of documents
US8498974B1 (en) 2009-08-31 2013-07-30 Google Inc. Refining search results
US8972391B1 (en) * 2009-10-02 2015-03-03 Google Inc. Recent interest based relevance scoring
US8874555B1 (en) 2009-11-20 2014-10-28 Google Inc. Modifying scoring data based on historical changes
US20110208585A1 (en) * 2010-02-19 2011-08-25 Peter Daboll Systems and Methods for Measurement of Engagement
US8924379B1 (en) 2010-03-05 2014-12-30 Google Inc. Temporal-based score adjustments
US8959093B1 (en) 2010-03-15 2015-02-17 Google Inc. Ranking search results based on anchors
EP2556449A1 (en) 2010-04-07 2013-02-13 Liveperson Inc. System and method for dynamically enabling customized web content and applications
US10467655B1 (en) 2010-04-15 2019-11-05 Quantcast Corporation Protected audience selection
US9990641B2 (en) 2010-04-23 2018-06-05 Excalibur Ip, Llc Finding predictive cross-category search queries for behavioral targeting
US9623119B1 (en) 2010-06-29 2017-04-18 Google Inc. Accentuating search results
US8832083B1 (en) 2010-07-23 2014-09-09 Google Inc. Combining user feedback
US9171311B2 (en) 2010-08-31 2015-10-27 Microsoft Technology Licensing, Llc Maintaining targetable user inventory for digital advertising
US8918465B2 (en) 2010-12-14 2014-12-23 Liveperson, Inc. Authentication of service requests initiated from a social networking site
US9350598B2 (en) 2010-12-14 2016-05-24 Liveperson, Inc. Authentication of service requests using a communications initiation feature
JP5094956B2 (ja) * 2010-12-28 2012-12-12 ヤフー株式会社 広告配信サーバ及び広告配信方法
US9002867B1 (en) 2010-12-30 2015-04-07 Google Inc. Modifying ranking data based on document changes
US10440402B2 (en) 2011-01-26 2019-10-08 Afterlive.tv Inc Method and system for generating highlights from scored data streams
US8543454B2 (en) 2011-02-18 2013-09-24 Bluefin Labs, Inc. Generating audience response metrics and ratings from social interest in time-based media
WO2012117420A1 (en) * 2011-02-28 2012-09-07 Flytxt Technology Pvt. Ltd. System and method for user classification and statistics in telecommunication network
JP5496947B2 (ja) * 2011-05-27 2014-05-21 株式会社Nttドコモ 機能提示システム、端末装置及びプログラム
US9123055B2 (en) * 2011-08-18 2015-09-01 Sdl Enterprise Technologies Inc. Generating and displaying customer commitment framework data
US8510285B1 (en) 2011-08-18 2013-08-13 Google Inc. Using pre-search triggers
US8943002B2 (en) 2012-02-10 2015-01-27 Liveperson, Inc. Analytics driven engagement
US8805941B2 (en) 2012-03-06 2014-08-12 Liveperson, Inc. Occasionally-connected computing interface
US8880697B1 (en) * 2012-04-09 2014-11-04 Google Inc. Using rules to determine user lists
US9563336B2 (en) 2012-04-26 2017-02-07 Liveperson, Inc. Dynamic user interface customization
US9672196B2 (en) 2012-05-15 2017-06-06 Liveperson, Inc. Methods and systems for presenting specialized content using campaign metrics
WO2014003798A1 (en) * 2012-06-30 2014-01-03 Empire Technology Development, Llc Profile construction based on asserted interest and actual participation in associated activities
FR2994358B1 (fr) * 2012-08-01 2015-06-19 Netwave Systeme de traitement de donnees de connexion a une plateforme d'un site internet
US9477993B2 (en) * 2012-10-14 2016-10-25 Ari M Frank Training a predictor of emotional response based on explicit voting on content and eye tracking to verify attention
US9219668B2 (en) * 2012-10-19 2015-12-22 Facebook, Inc. Predicting the future state of a mobile device user
JP2014115685A (ja) * 2012-12-06 2014-06-26 Nippon Telegr & Teleph Corp <Ntt> プロファイル解析装置及び方法及びプログラム
US10089639B2 (en) 2013-01-23 2018-10-02 [24]7.ai, Inc. Method and apparatus for building a user profile, for personalization using interaction data, and for generating, identifying, and capturing user data across interactions using unique user identification
KR102086041B1 (ko) * 2013-01-24 2020-03-06 에스케이플래닛 주식회사 다중 기간별 사용자 선호도를 이용한 디지털 컨텐츠 추천 방법 및 그 장치
US20140280576A1 (en) * 2013-03-14 2014-09-18 Google Inc. Determining activities relevant to groups of individuals
US9706008B2 (en) * 2013-03-15 2017-07-11 Excalibur Ip, Llc Method and system for efficient matching of user profiles with audience segments
US9171000B2 (en) * 2013-03-15 2015-10-27 Yahoo! Inc. Method and system for mapping short term ranking optimization objective to long term engagement
US20140278976A1 (en) * 2013-03-15 2014-09-18 Comverse Ltd. Matching social media user to marketing campaign
US20140379310A1 (en) * 2013-06-25 2014-12-25 Citigroup Technology, Inc. Methods and Systems for Evaluating Predictive Models
US20150088644A1 (en) * 2013-09-23 2015-03-26 Facebook, Inc., a Delaware corporation Predicting User Interactions With Objects Associated With Advertisements On An Online System
US9547877B2 (en) * 2013-10-03 2017-01-17 Linkedin Corporation Identification of a trigger-type leader in a social network
US9576326B2 (en) * 2013-10-03 2017-02-21 Linkedin Corporation Identification of a propagator-type leader in a social network
US9582836B2 (en) * 2013-10-03 2017-02-28 Linkedin Corporation Identification of a broker-type leader in a social network
US20150100423A1 (en) * 2013-10-09 2015-04-09 Google Inc. Delivering and pricing sponsored content items
JP5832502B2 (ja) * 2013-10-15 2015-12-16 Necパーソナルコンピュータ株式会社 情報処理装置、方法及びプログラム
US9449052B1 (en) 2014-01-21 2016-09-20 Google Inc. Trend based distribution parameter suggestion
US20150213026A1 (en) * 2014-01-30 2015-07-30 Sitecore Corporation A/S Method for providing personalized content
US9727818B1 (en) 2014-02-23 2017-08-08 Google Inc. Impression effect modeling for content items
US11386442B2 (en) 2014-03-31 2022-07-12 Liveperson, Inc. Online behavioral predictor
US10725891B2 (en) * 2014-05-30 2020-07-28 Micro Focus Llc Evaluating user experience
US20170039200A1 (en) * 2014-06-04 2017-02-09 Hewlett Packard Enterprise Development Lp Evaluating user experience
US10198765B2 (en) * 2014-07-22 2019-02-05 Google Llc Multiple interaction auction
US10163116B2 (en) * 2014-08-01 2018-12-25 Adobe Systems Incorporated Determining brand exclusiveness of users
JP6320258B2 (ja) * 2014-09-18 2018-05-09 ヤフー株式会社 抽出装置、抽出方法及び抽出プログラム
US20160171561A1 (en) * 2014-12-10 2016-06-16 Facebook, Inc. Accounting for features of previously-presented content items when selecting content items for an online system user
US11093950B2 (en) * 2015-02-02 2021-08-17 Opower, Inc. Customer activity score
CA2988120A1 (en) 2015-06-02 2016-12-08 Liveperson, Inc. Dynamic communication routing based on consistency weighting and routing rules
US11069001B1 (en) 2016-01-15 2021-07-20 Intuit Inc. Method and system for providing personalized user experiences in compliance with service provider business rules
US11030631B1 (en) 2016-01-29 2021-06-08 Intuit Inc. Method and system for generating user experience analytics models by unbiasing data samples to improve personalization of user experiences in a tax return preparation system
US20170287014A1 (en) * 2016-04-01 2017-10-05 Hung D. Vu Automated Direct Response Advertising Server
US10621597B2 (en) * 2016-04-15 2020-04-14 Intuit Inc. Method and system for updating analytics models that are used to dynamically and adaptively provide personalized user experiences in a software system
US10621677B2 (en) 2016-04-25 2020-04-14 Intuit Inc. Method and system for applying dynamic and adaptive testing techniques to a software system to improve selection of predictive models for personalizing user experiences in the software system
US20170344556A1 (en) * 2016-05-31 2017-11-30 Linkedin Corporation Dynamic alteration of weights of ideal candidate search ranking model
US10606847B2 (en) 2016-05-31 2020-03-31 Microsoft Technology Licensing, Llc Generation of training data for ideal candidate search ranking model
US10984385B2 (en) 2016-05-31 2021-04-20 Microsoft Technology Licensing, Llc Query building for search by ideal candidates
US10373075B2 (en) 2016-06-21 2019-08-06 Microsoft Technology Licensing, Llc Smart suggestions for query refinements
US9681265B1 (en) * 2016-06-28 2017-06-13 Snap Inc. System to track engagement of media items
US10885478B2 (en) 2016-07-06 2021-01-05 Palo Alto Research Center Incorporated Computer-implemented system and method for providing contextually relevant task recommendations to qualified users
US11477302B2 (en) * 2016-07-06 2022-10-18 Palo Alto Research Center Incorporated Computer-implemented system and method for distributed activity detection
US11093834B2 (en) 2016-07-06 2021-08-17 Palo Alto Research Center Incorporated Computer-implemented system and method for predicting activity outcome based on user attention
US10475090B2 (en) 2016-07-11 2019-11-12 Micro Focus Llc Calculating user experience scores
EP3497625A1 (en) * 2016-08-11 2019-06-19 Twitter, Inc. Aggregate features for machine learning
AU2017312875B2 (en) 2016-08-14 2021-09-16 Liveperson, Inc. Systems and methods for real-time remote control of mobile applications
KR102536202B1 (ko) 2016-08-26 2023-05-25 삼성전자주식회사 서버 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
US10069886B1 (en) 2016-09-28 2018-09-04 Allstate Insurance Company Systems and methods for modulating advertisement frequencies in streaming signals based on vehicle operation data
US11468476B1 (en) 2016-09-28 2022-10-11 Allstate Insurance Company Modulation of advertisement display based on vehicle operation data
US11004011B2 (en) * 2017-02-03 2021-05-11 Adobe Inc. Conservative learning algorithm for safe personalized recommendation
US10943309B1 (en) 2017-03-10 2021-03-09 Intuit Inc. System and method for providing a predicted tax refund range based on probabilistic calculation
US10545996B2 (en) * 2017-04-19 2020-01-28 Microsoft Technology Licensing, Llc Impression tagging system for locations
KR101990862B1 (ko) * 2017-07-14 2019-06-20 안성민 기저속성 분석을 이용한 빅데이터 기반의 유저 취향 정보 처리 방법
US10977670B2 (en) 2018-01-23 2021-04-13 Mass Minority Inc. Method and system for determining and monitoring brand performance based on paid expenditures
JP2018088282A (ja) * 2018-02-23 2018-06-07 ヤフー株式会社 抽出装置、抽出方法及び抽出プログラム
US11379488B2 (en) * 2018-11-07 2022-07-05 Sap Se Energy-efficient decay algorithm for non-volatile memories
US11019379B2 (en) * 2018-12-10 2021-05-25 Verizon Media Inc. Stage-based content item selection and transmission
US20220101351A1 (en) * 2020-09-30 2022-03-31 Ncr Corporation Crowd Sourced Resource Availability Predictions and Management
JP2023001530A (ja) * 2021-06-21 2023-01-06 株式会社クライド 広告配信方法

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6134532A (en) * 1997-11-14 2000-10-17 Aptex Software, Inc. System and method for optimal adaptive matching of users to most relevant entity and information in real-time
US6430539B1 (en) * 1999-05-06 2002-08-06 Hnc Software Predictive modeling of consumer financial behavior
US6721713B1 (en) 1999-05-27 2004-04-13 Andersen Consulting Llp Business alliance identification in a web architecture framework
AUPQ246899A0 (en) * 1999-08-26 1999-09-16 Memetrics An automated communications management agent
US6453315B1 (en) 1999-09-22 2002-09-17 Applied Semantics, Inc. Meaning-based information organization and retrieval
US6839680B1 (en) * 1999-09-30 2005-01-04 Fujitsu Limited Internet profiling
US7822636B1 (en) * 1999-11-08 2010-10-26 Aol Advertising, Inc. Optimal internet ad placement
JP2001175761A (ja) * 1999-12-21 2001-06-29 Mediaseek Inc 顧客のプロファイル、購買履歴、および情報への関心度に応じた情報・広告、サービス提供方法、および顧客データの管理方法
US6507802B1 (en) * 2000-02-16 2003-01-14 Hrl Laboratories, Llc Mobile user collaborator discovery method and apparatus
AU2000243170A1 (en) * 2000-03-10 2001-09-17 Kiyoshi Hirasawa Information providing device, and information providing method
CA2353027A1 (en) * 2000-07-27 2002-01-27 International Business Machines Corporation System and method for enhancing e-commerce transactions by assessing the users' economic purchase value relative to advertisers
US7249121B1 (en) 2000-10-04 2007-07-24 Google Inc. Identification of semantic units from within a search query
KR20020045343A (ko) 2000-12-08 2002-06-19 오길록 표준화된 문장 구문구조 및 의미구조에 기반한 정보생성/검색 장치 및 그 방법
US20030018659A1 (en) * 2001-03-14 2003-01-23 Lingomotors, Inc. Category-based selections in an information access environment
US7512940B2 (en) 2001-03-29 2009-03-31 Microsoft Corporation Methods and apparatus for downloading and/or distributing information and/or software resources based on expected utility
JP2002329033A (ja) 2001-04-26 2002-11-15 Honda Motor Co Ltd 顧客のニーズを分析するコンピュータ・システム
US6944624B2 (en) 2001-09-05 2005-09-13 International Business Machines Corporation Method and system for creating and implementing personalized training programs and providing training services over an electronic network
AU2002341357A1 (en) 2001-09-19 2003-04-01 Checkm8 Ltd Dynamic web advertisement and content display system
JP2003150844A (ja) * 2001-11-09 2003-05-23 Matsushita Electric Ind Co Ltd 情報提供システム、情報提供方法、及び情報提供サーバ
US20030177054A1 (en) * 2002-03-12 2003-09-18 Russell J. Reinbold Generating marketing information for non-purchased items of a gift registry
US7634423B2 (en) * 2002-03-29 2009-12-15 Sas Institute Inc. Computer-implemented system and method for web activity assessment
US20050021397A1 (en) 2003-07-22 2005-01-27 Cui Yingwei Claire Content-targeted advertising using collected user behavior data
US7346606B2 (en) 2003-06-30 2008-03-18 Google, Inc. Rendering advertisements with documents having one or more topics using user topic interest
US20030220913A1 (en) 2002-05-24 2003-11-27 International Business Machines Corporation Techniques for personalized and adaptive search services
US7373336B2 (en) 2002-06-10 2008-05-13 Koninklijke Philips Electronics N.V. Content augmentation based on personal profiles
US20060026067A1 (en) * 2002-06-14 2006-02-02 Nicholas Frank C Method and system for providing network based target advertising and encapsulation
US7152059B2 (en) 2002-08-30 2006-12-19 Emergency24, Inc. System and method for predicting additional search results of a computerized database search user based on an initial search query
JP2004157827A (ja) * 2002-11-07 2004-06-03 Recruit Co Ltd 広告配信システム及び広告配信方法
US7707059B2 (en) * 2002-11-22 2010-04-27 Accenture Global Services Gmbh Adaptive marketing using insight driven customer interaction
KR100447526B1 (ko) * 2003-03-18 2004-09-08 엔에이치엔(주) 인터넷 사용자의 접속 의도 판단 방법 및 이를 이용한인터넷 상의 광고 방법과 그 시스템
JP2006524009A (ja) * 2003-03-25 2006-10-19 セドナ・パテント・サービシズ・エルエルシー 視聴者分析結果の生成
KR100458460B1 (ko) * 2003-04-22 2004-11-26 엔에이치엔(주) 인터넷 사용자의 접속 의도를 이용한 인터넷 상의 광고유치 및 광고 제공 방법과 그 시스템
US20050033771A1 (en) 2003-04-30 2005-02-10 Schmitter Thomas A. Contextual advertising system
US7730003B2 (en) * 2004-04-16 2010-06-01 Fortelligent, Inc. Predictive model augmentation by variable transformation
WO2007001247A2 (en) 2004-06-02 2007-01-04 Yahoo! Inc. Content-management system for user behavior targeting
US20060155764A1 (en) * 2004-08-27 2006-07-13 Peng Tao Personal online information management system
US20060080292A1 (en) 2004-10-08 2006-04-13 Alanzi Faisal Saud M Enhanced interface utility for web-based searching
US7370381B2 (en) 2004-11-22 2008-05-13 Truveo, Inc. Method and apparatus for a ranking engine
US7272597B2 (en) 2004-12-29 2007-09-18 Aol Llc Domain expert search
EP1854030A2 (en) 2005-01-28 2007-11-14 Aol Llc Web query classification
US7734632B2 (en) 2005-10-28 2010-06-08 Disney Enterprises, Inc. System and method for targeted ad delivery

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222300A (zh) * 2010-04-14 2011-10-19 微软公司 评估用户与广告交互的偏好
CN102339448A (zh) * 2011-09-30 2012-02-01 奇智软件(北京)有限公司 团购平台信息处理方法及装置
CN102339448B (zh) * 2011-09-30 2016-03-23 北京奇虎科技有限公司 团购平台信息处理方法及装置
CN110912794A (zh) * 2019-11-15 2020-03-24 国网安徽省电力有限公司安庆供电公司 基于令牌集的近似匹配策略
CN110912794B (zh) * 2019-11-15 2021-07-16 国网安徽省电力有限公司安庆供电公司 基于令牌集的近似匹配策略

Also Published As

Publication number Publication date
US20160180388A1 (en) 2016-06-23
WO2007126903A1 (en) 2007-11-08
US9286569B2 (en) 2016-03-15
JP2009531782A (ja) 2009-09-03
US10007927B2 (en) 2018-06-26
US20070260596A1 (en) 2007-11-08
CN101410864B (zh) 2017-06-09
JP5450051B2 (ja) 2014-03-26
US8504575B2 (en) 2013-08-06
US20130318024A1 (en) 2013-11-28
KR101104539B1 (ko) 2012-01-11
EP2008230A1 (en) 2008-12-31
KR20080114761A (ko) 2008-12-31
EP2008230A4 (en) 2011-04-13

Similar Documents

Publication Publication Date Title
CN101410864A (zh) 行为瞄准系统
US9817868B2 (en) Behavioral targeting system that generates user profiles for target objectives
US7809740B2 (en) Model for generating user profiles in a behavioral targeting system
US20220114231A1 (en) Using visitor context and web page features to select web pages for display
US7904448B2 (en) Incremental update of long-term and short-term user profile scores in a behavioral targeting system
Ghose et al. Modeling consumer footprints on search engines: An interplay with social media
US20070239517A1 (en) Generating a degree of interest in user profile scores in a behavioral targeting system
US7594189B1 (en) Systems and methods for statistically selecting content items to be used in a dynamically-generated display
Rossi et al. The value of purchase history data in target marketing
Bounsaythip et al. Overview of data mining for customer behavior modeling
Bose et al. Quantitative models for direct marketing: A review from systems perspective
Vanderveld et al. An engagement-based customer lifetime value system for e-commerce
US20120158456A1 (en) Forecasting Ad Traffic Based on Business Metrics in Performance-based Display Advertising
CN103069794A (zh) 改进的网络数据传输系统和方法
EP4007986A1 (en) Predictive platform for determining incremental lift
Farooqi et al. A Comprehensive Study of CRM through data mining Techniques
KR102238438B1 (ko) 규격화된 광고상품을 이용한 광고상품거래 서비스 제공 시스템
TW202312060A (zh) 以用戶短期特徵預測用戶是否屬於價值用戶群的預測裝置、方法與儲存該方法的儲存媒介
TWM624658U (zh) 以用戶短期特徵預測用戶是否屬於價值用戶群的預測裝置
Serrano-Cinca et al. A structural model for sales in the e-retailing industry
Anandi et al. Analysis of customer relationship management using Machine Learning
Chen et al. Deep Learning Based Modeling in Computational Advertising: A Winning Formula
CN113095887A (zh) 产品的销量预测方法、装置、存储介质、计算机设备
Hansmann et al. Decision Support in the Field of Online Marketing-Development of a Data Landscape
Ramlall Improving Customer Generation by Analysing Website Visitor Behaviour

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1131245

Country of ref document: HK

ASS Succession or assignment of patent right

Owner name: FEIYANG MANAGEMENT CO., LTD.

Free format text: FORMER OWNER: YAHOO CORP.

Effective date: 20150128

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150128

Address after: The British Virgin Islands of Tortola

Applicant after: Fly upward Management Co., Ltd

Address before: American California

Applicant before: Yahoo Corp.

GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1131245

Country of ref document: HK