CN111095331B - 使用机器学习的实时在线旅行者细分的方法和系统 - Google Patents

使用机器学习的实时在线旅行者细分的方法和系统 Download PDF

Info

Publication number
CN111095331B
CN111095331B CN201880056990.7A CN201880056990A CN111095331B CN 111095331 B CN111095331 B CN 111095331B CN 201880056990 A CN201880056990 A CN 201880056990A CN 111095331 B CN111095331 B CN 111095331B
Authority
CN
China
Prior art keywords
traveler
online
unidentified
machine learning
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880056990.7A
Other languages
English (en)
Other versions
CN111095331A (zh
Inventor
R·爱邱纳·阿戈斯特
A·勒利提尔
A·R·芒提尼·道里维拉
D·雷诺帝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amadeus SAS
Original Assignee
Amadeus SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/704,428 external-priority patent/US11120480B2/en
Priority claimed from FR1758517A external-priority patent/FR3071087A1/fr
Application filed by Amadeus SAS filed Critical Amadeus SAS
Publication of CN111095331A publication Critical patent/CN111095331A/zh
Application granted granted Critical
Publication of CN111095331B publication Critical patent/CN111095331B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0206—Price or cost determination based on market factors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G06Q30/0224—Discounts or incentives, e.g. coupons or rebates based on user history
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0253—During e-commerce, i.e. online transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0283—Price estimation or determination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0611—Request for offers or quotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/14—Travel agencies

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种用于实时在线旅行者细分的计算机实现的方法包括访问至少一个离线数据存储库，该离线数据存储库包含多个可单独区分的旅行者的先前旅行预订的记录。对于从离线数据存储库中选择的记录的训练集中的每条记录，计算包括多个特征的对应值的特征向量。使用计算出的特征向量和与训练集中的记录对应的关联标签来训练机器学习分类器。处理器被配置为执行机器学习分类器，该机器学习分类器接收包括与在线上下文中的未识别用户对应的多个特征的值的特征向量。处理器执行机器学习分类器以确定未识别用户是预定旅行者类别的成员还是非成员的估计。

Description

使用机器学习的实时在线旅行者细分的方法和系统
技术领域
本发明涉及用于对在线用户进行分类的机器学习模型的应用。特别地，本发明的实施例使用在旅行搜索、信息和预订系统的特定在线上下文中关于每个用户可能可用的有限信息，将未识别的用户实时地分类为一个或多个类别或细分。本发明可以应用于在线广告系统中，例如以选择最适合呈现给用户的广告，和/或确定针对呈现给用户的广告的观看或点击的适当的竞价价格。
背景技术
在线(例如，基于web、移动或应用内)广告与传统媒体中的广告不同之处在于其个性化受众定向的程度。例如，虽然广播媒体广告(诸如电视广告)旨在达到由广泛特性(诸如年龄组、社会经济状态和/或一般兴趣)所定义的目标人群，但是在线广告旨在到达对其呈现的产品、服务或信息具有特定兴趣的个人。
高度个性化受众定向技术已导致了特定于在线广告的商业模型的发展。例如，现在对于提供新闻、汇总信息和其它特定用户感兴趣的内容的网站来说，托管第三方广告作为产生收入的手段已经很常见。这些网站上出现的广告的广告主可以基于观看机会或曝光(通常如以“每千次曝光费用”(又名CPM)来计量)、基于每次点击费用(CPC)或根据某种其它性能计量来向运营商付款。放置在要呈现给个人用户的网页上的广告的实际选择可以至少部分地基于竞价处理，其中愿意支付更高CPM、CPC或其它费用计量的广告主更可能将其广告呈现给用户。
根据一种常见的模型，“广告交换平台”促进了竞价处理。广告交换是这样的技术平台，其实现允许广告主和网站以及其它在线内容的发布者经常通过实时拍卖来买卖广告空间的数字市场。著名的广告交换平台包括DoubleClickTM(由GoogleTM拥有)、AppNexusTM、MicrosoftTM Ad ExchangeTM和OpenXTM。
广告交换维护“广告曝光”池。发布者将其广告曝光(例如，嵌入在服务于用户的网页内的可用广告位)贡献到池中。然后，买家可以对他们想要购买的曝光竞价。竞价决策通常基于诸如广告所服务于的用户的先前行为、一天中的时间、设备类型、广告位置等信息而实时做出。在实践中，这些竞价决策本身必须非常迅速地做出，例如，使用通常称为需求方平台(DSP)的技术平台在最多几十毫秒内做出。由于广告主通过广告交换购买曝光会产生实际费用，因此DSP中部署的用于评估用户的潜在“价值”以便做出竞价决策的技术和算法的性能可能具有重大的业务影响。
广告主通常在其自己的数据库中具有有关其顾客/客户的重要信息。例如，旅行预订服务的供应商将基于单个客户具有关于旅行的频率、持续时间、等级、出发地和目的地等特性的信息。这些信息可以一起用于定义旅行者类别或市场细分，诸如“常旅行者”、“公务旅行者”、“豪华旅行者”、“经济旅行者”、“冒险旅行者”等等。相应地，如果可以利用旅行预订服务提供商的数据库内的特定客户识别经由广告交换呈现的在线用户，那么将可以选择高度针对该用户的已知旅行兴趣和偏好和/或他们已知的市场细分的广告，并让提供商的DSP积极竞价来投放这些高价值广告。
但是，在实践中，经由广告交换可获得的用户信息不足以唯一地识别单个用户。因此，虽然广告主可能具有在其自己的数据库内单独区分其顾客/客户的能力，但是在线用户一般必须被视为未识别的。简而言之，广告主的离线顾客数据和在线用户信息之间缺少链接。
将市场细分分配到未识别在线用户的一种可能方法是简单询问，例如，向用户呈现诸如“你是常旅行者吗？”之类的查询。可以例如与浏览器cookie等相关联地保存用户的响应，使得在用户将来访问相关托管广告的内容来源期间该用户的响应可经由广告交换获得。但是，这种方法存在许多问题，包括难以呈现和接收对查询的响应、对信息的突兀请求可能对用户对广告主的看法产生负面影响，以及用户对自己错误分类的潜在可能性。
替代方法是再次使用浏览器cookie等随着时间的推移跟踪和维护该信息来收集和存储关于未识别在线用户的附加累积信息。以这种方式，可以将在线用户链接到广告主的数据库中可单独区分的顾客/客户，从而使得能够采用关于过去的顾客行为、偏好和市场细分的可用丰富数据来选择高度针对性的广告。但是，这种方法存在许多重要问题，包括：
·必须管理的大量数据；
·匹配逻辑的复杂性，即，可以用于进行匹配的信息的可用性、选择和验证，以及其中可以组合信息以确定是否已经找到匹配的各种方式；
·覆盖率低，即，只能对广告主的顾客/客户数据库中实际存在的在线用户进行匹配，这可能只占所有在线用户的很小部分；
·数据隐私问题，即，各种国家法律和法规限制了由公司持有的用于定向和跟踪个人的个人信息的使用，这严格地限制了具有明确标识的可用数据的量；以及
·性能问题，即，可能无法根据需要在几十毫秒内计算匹配。
因此，显然需要实时计算机实现的技术、方法和系统，这些技术、方法和系统可以被部署在DSP内，并且能够通过广告交换做出关于广告选择和竞价的改进决策。出于进行决策的目的由DSP利用广告主的数据库中可用的可单独区分的客户信息的丰富数据，同时仅使用在线上下文中经由广告交换可用的明显更有限的用户信息将是非常有益的。为了满足技术要求，并确保选择和竞价处理不会过分地增加页面加载时间，有必要在不超过几十毫秒的时间内做出决策。本发明致力于解决这些需求。
发明内容
一方面，本发明提供了一种计算机实现的方法，包括：
访问至少一个离线数据存储库，该离线数据存储库包含多个可单独区分的旅行者的先前旅行预订的记录，其中基于可单独区分的旅行者的一个或多个先前旅行预订，每个可单独区分的旅行者作为预定旅行者类别的成员或非成员在数据存储库中被分配相关联的标签；
确定与预定旅行者类别相关联的多个特征，其中每个特征被选择为使得可以在在线上下文中为未识别用户获得每个特征的对应值；
对于从离线数据存储库中选择的记录的训练集中的每条记录，计算包括多个特征的对应值的特征向量；
使用计算出的特征向量和与训练集中的记录对应的相关联标签来训练机器学习分类器；
在被配置为执行机器学习分类器的处理器处接收特征向量，该特征向量包括在在线上下文中与未识别用户对应的多个特征的值；以及
由执行机器学习分类器的处理器确定未识别用户是预定旅行者类别的成员还是非成员的估计。
从而提供了一种将丰富离线数据与有限在线数据链接的方法。
有利的是，本发明的实施例采用旅行预订服务提供商通常在其离线客户数据库中保持的丰富数据，以便根据预定类别(诸如市场细分)“标记”可单独区分的旅行者。例如，单个旅行者可以基于在预定时段(诸如，公历年)内进行的行程数量被标记为“常旅行者”、基于进行的公务行程的数量或比例被标记为“公务旅行者”，或基于进行每次行程的平均费用被标记为“豪华旅行者”。但是，一般而言，针对在线上下文中的未识别用户这种级别的细节不可用。在本发明的实施例预期的场景中，可用的在线用户信息可能限于在用户当前可能正在研究或最近已经在线研究该行程的上下文中的单次行程的特性。因此，本发明的实施例可以有利地确定在在线上下文中可用的特征集合(例如，行程特性)，并计算与可单独区分且被标记的旅行者的先前旅行预订的离线记录对应的那些特征的值。然后结果得到的特征向量和相关联的分类被应用于监督训练机器学习模型，该模型可以随后被部署在例如DSP中，用于在在线上下文中做出非常快速(例如，30毫秒或更短)的分类决策。
虽然可以在在线上下文中为未识别用户获得值的特征的数量相对较少(例如，在一些实施例中少至5到10至20个特征之间)，但是本发明人惊讶地发现，通过结果得到的机器学习分类器可以实现良好的性能。例如，在特定实施例中，已经发现，仅八个特征就可以用于实现对“常旅行者”细分的分类的66％的的真阳性率(TPR)(即常旅行者的正确分类)和22％的假阳性率(FPR，即非常旅行者被错误分类)。对于该实施例，发现受试者工作特性曲线下的面积(AUROC)是0.80，机器学习领域的技术人员通常认为这是良好的性能。对于仅使用五个特征来区分“公务”旅行和“休闲”旅行来训练的分类器，也实现了超过0.80的AUROC。
将意识到的是，具有在离线数据存储库内的记录的可单独区分的旅行者可以被分类为多个预定旅行者类别，并且单个记录可以与零个、一个或多个类别相关联。例如，旅行者可以被标记为“常旅行者”、“公务旅行者”和“豪华旅行者”，并且出于训练机器学习分类器的目的，可能具有与公务行程和休闲行程两者对应的相关联记录。
此外，本发明的实施例可以采用一个或多个分类器。例如，多类别分类器可以被训练为在互斥的类别之间进行选择，诸如“豪华旅行者”、“中等价格旅行者”和“经济旅行者”，而一个或多个单独的二元分类器可以被训练为将在线用户分类为“常旅行者”和/或“公务旅行者”。
相应地，可以在数据存储库中为每个可单独区分的旅行者分配多个相关联标签，每个标签基于可单独区分的旅行者的一个或多个先前旅行预订将旅行者识别为对应的多个预定旅行者类别的成员或非成员。不同的多个特征可以与多个预定旅行者类别中的每一个相关联，并且训练步骤可以包括使用计算出的特征向量来训练一个或多个机器学习分类器，该计算出的特征向量包括与每个对应的预定旅行者类别相关联的不同的多个特征的值。确定步骤可以包括由处理器执行机器学习分类器中的每个分类器，以确定未识别用户是每个对应的预定旅行者类别的成员还是非成员的估计。
优选地，机器学习分类器被配置为生成与在对未识别用户是预定旅行者类别的成员还是非成员的估计中的置信度对应的值。例如，该值可以是未识别用户是该类别的成员的概率的估计。可以基于该估计例如通过将阈值应用于所生成的值来做出决策。在该值是概率的估计的情况下，阈值可以被设置为0.5。
根据本发明的实施例，机器学习分类器被实现为梯度提升机。但是，机器学习领域的技术人员将认识到的是，在本发明的实施例中可以采用其它机器学习模型，包括但不限于支持向量机(SVM)、朴素贝叶斯分类器、逻辑回归分类器和神经网络。
在另一方面，本发明提供了一种实现需求方平台的计算装置，该计算装置包括：
处理器；
处理器可访问的至少一个存储器设备；以及
与处理器可操作地相关联的数据通信接口，
其中存储器设备包含程序指令主体，该程序指令主体包括机器学习分类器，该机器学习分类器可由处理器执行并且被配置为基于包括多个特征的值的输入特征向量来确定未识别的在线用户是预定旅行者类别的成员还是非成员的估计，已使用多个可单独区分的旅行者的先前旅行预订的记录的训练集对该分类器进行训练，在该训练集中基于可单独区分的旅行者的一个或多个先前旅行预订将每个可单独区分的旅行者标记为预定旅行者类别的成员或非成员，特征中的每一个被选择为使得可以为未识别的在线用户获得该特征的对应值，
程序指令主体还包括指令，该指令在由处理器执行时使计算装置实现包括以下步骤的方法：
经由数据通信接口接收包括未识别的在线用户的站点和用户信息的竞价请求消息；
基于接收到的站点和用户信息，计算包括与未识别的在线用户对应的多个特征的值的特征向量；
使用计算出的特征向量作为输入来执行机器学习分类器，以获得对未识别的在线用户是预定旅行者类别的成员还是非成员的估计；以及
基于估算确定竞价决策。
因此，如上所述，提供了一种装置，该装置实现将丰富的离线数据与有限的在线数据链接的方法。
根据本发明的实施例，竞价决策可以包括肯定竞价决策或否定竞价决策。在竞价决策是肯定决策的情况下，可以确定对应的竞价价格，并且可以发送包括该竞价价格的竞价响应。竞价价格可以例如是固定竞价价格，或者可以是根据任何合适的算法计算的可变竞价价格。
在另一方面，本发明提供了一种包括程序代码指令的计算机程序，当所述程序在计算机上执行时，所述程序代码指令用于执行根据第一方面的方法的步骤。程序代码指令可以例如存储在有形的机器可读介质上。
根据以下对各种实施例的描述，本发明的实施例的其它方面、优点和特征对于相关领域的技术人员将是显而易见的。但是，将认识到的是，本发明不限于所描述的实施例，提供这些实施例是为了说明如前述陈述和所附权利要求书中所定义的本发明的原理，并帮助技术人员将这些原理付诸于实践效果。
附图说明
现在将参考附图描述本发明的实施例，其中相同的附图标记指代相同的特征，并且其中：
图1是图示实施本发明的示意性联网系统的示意图；
图2示出了实施本发明的在终端设备、web服务器和广告交换服务器与DSP之间的通信时间线；
图3是图示用于实施本发明的机器学习模型的离线训练的系统的示意图；
图4示出了实施本发明的离线训练的方法的流程图；
图5示出了实施本发明的由DSP确定竞价决策的方法的流程图；
图6是实施本发明的常旅行者分类器的示意性受试者工作特性(ROC)曲线；以及
图7是实施本发明的公务旅行者分类器的示意性ROC曲线。
具体实施方式
图1是图示包括需求方平台(DSP)服务器102的示意性联网系统100的框图，该需求方平台(DSP)服务器102被配置为实现根据本发明的实施例的确定用于投放广告内容的竞价的方法。DSP服务器102可以包括具有常规体系架构的计算机系统。特别地，如图所示，DSP服务器102包括处理器104。处理器104例如经由如图所示的一个或多个数据/地址总线108可操作地与非易失性存储器/存储设备106相关联。非易失性存储设备106可以是硬盘驱动器，和/或可以包括固态非易失性存储器，诸如ROM、闪存、固态驱动器(SSD)等。处理器104还对接到与包含与DSP服务器102的操作相关的程序指令和瞬态数据的易失性存储器110(诸如RAM)。
在常规配置中，存储设备106维护与DSP服务器102的正常操作相关的已知程序和数据内容。例如，存储设备106可以包含操作系统程序和数据，以及认证服务器102的预期功能所需的其它可执行应用软件。存储设备106还包含程序指令，这些程序指令在由处理器104执行时使DSP服务器102执行与本发明的实施例相关的操作，诸如下面更详细描述的以及特别是参考图2和图5描述的操作。在操作中，保持在存储设备106上的指令和数据被传送到易失性存储器110以便按需执行。
处理器104还以常规方式可操作地与通信接口112相关联。通信接口112促进对于广域数据通信网络(诸如互联网116)的访问。
在使用中，易失性存储器110包含程序指令主体114，程序指令从存储设备106传送并且被配置为执行实施本发明的特征的处理和其它操作。如下面进一步描述的，程序指令主体114包括根据本发明的对本领域的特定技术贡献。
关于DSP服务器102以及本说明书中描述的其它处理系统和设备的前述概述，除非上下文另有要求，否则诸如“处理器”、“计算机”等术语应当被理解为是指包括硬件和软件的组合的设备、装置和系统的多种可能实现方式。这包括单处理器设备和装置与多处理器设备和装置，包括便携式设备、台式计算机和各种类型的服务器系统，包括可以共同定位(co-located)或分布的协作硬件和软件平台。物理处理器可以包括通用CPU、数字信号处理器、图形处理单元(GPU)和/或适合于高效执行所需程序和算法的其它硬件设备。计算系统可以包括常规的个人计算机体系架构或其它通用硬件平台。软件可以包括开源和/或商业可用的操作系统软件以及各种应用和服务程序。替代地，计算或处理平台可以包括定制硬件和/或软件体系架构。为了增强可扩展性，计算和处理系统可以包括云计算平台，从而使得物理硬件资源能够响应于服务需求而被动态地分配。虽然所有这些变化都落入本发明的范围内，但是为了便于解释和理解，本文描述的示意性实施例基于单处理器通用计算平台、通常可用的操作系统平台和/或广泛可用的消费者产品，诸如台式PC、笔记本PC或膝上型PC、智能电话、平板计算机等。
特别地，在本说明书(包括权利要求书)中使用术语“处理单元”来指代被配置为执行特定定义任务(诸如访问和处理离线数据或在线数据、执行机器学习模型的训练步骤或执行机器学习模型的分类步骤)的任何合适的硬件和软件组合。这样的处理单元可以包括在单个处理设备上的单个位置处执行的可执行代码模块，或者可以包括在多个位置和/或多个处理设备上执行的协作可执行代码模块。例如，在本发明的一些实施例中，分类和竞价决策处理可以完全由在DSP服务器102上执行的代码来执行，而在其它实施例中，可以以分布式方式在多个DSP服务器上执行对应的处理。
如软件工程领域的技术人员所熟悉的，可以使用任何合适的编程语言、开发环境或语言和开发环境的组合来开发实施本发明的特征的软件组件(例如，程序指令主体114)。例如，可以使用C编程语言、Java编程语言、C++编程语言、Go编程语言和/或适用于实现网络或基于web的服务的多种语言(诸如JavaScript、HTML、PHP、ASP、JSP、Ruby、Python、Perl等)来开发合适的软件。这些示例并非旨在进行限制，并且将认识到的是，根据系统要求，可以采用方便的语言或开发系统。作为示例，提供了本说明书中呈现的描述、框图、流程图等，以使软件工程和机器学习领域的技术人员能够理解和认识到本发明的特征、性质和范围，并通过实现根据本公开的合适的软件代码而不需要运用附加的发明性创新来实施本发明的一个或多个实施例。
返回图1，系统100还包括附加的DSP服务器，例如118、120，其在使用中与DSP服务器102竞争以针对经由广告交换服务器122提供的在线位(即，用于“曝光”)内的广告内容的投放进行竞价。广告交换服务器122实现数字市场，该数字市场允许网站和其它在线内容的广告主和发布者以实时在线拍卖的形式买卖广告空间，其中每个DSP服务器102、118、120是自动化的高速竞价者。广告交换服务器122包括数据库124，在数据库124中，它维护在线内容提供商(web服务器)和广告主(DSP)的细节，以便运营数字广告市场。诸如DoubleClickTM(由GoogleTM拥有)、AppNexusTM、MicrosoftTM Ad ExchangeTM和OpenXTM之类的广告交换平台的功能是众所周知的，因此除非为了充分说明本发明的实施例的操作所必需的，否则本文将不对其进行进一步详细描述。
系统100还包括用户终端设备，由终端设备126作为例证。终端设备126可以是例如台式PC或便携式PC、智能电话、平板电脑或其它个人计算设备，并且每个终端设备包括处理器128，该处理器128例如经由地址/数据总线130与易失性存储设备132、非易失性存储设备134和至少一个数据通信接口136接口。处理器128还接口到一个或多个用户输入/输出(I/O)接口140。易失性存储设备132包含与终端设备126的操作相关的程序指令和瞬态数据。
终端设备存储设备132、134可以包含与终端设备126的正常操作相关的程序和数据内容。这可以包括操作系统程序和数据(例如，与Windows、Android、iOS、MacOS、Linux或其它操作系统相关联)，以及一般与本发明无关的其它可执行应用软件。存储设备132还包括程序指令138，该程序指令138在由处理器128执行时使终端设备能够向用户提供对在线内容的访问。虽然已知许多应用提供这种访问，但是为了简单起见，在本说明书中，假定程序指令138实现具有经由用户I/O接口140呈现的图形用户界面(GUI)的web浏览器。
相应地，在终端设备126的用户访问web服务器142的情况下，经由设备UI 140生成对应的网页显示144。显示144包括网站内容146和一个或多个广告位(例如148、150)。然后进行许多通信步骤以便填充这些广告位，即，在网页显示144内向在线广告主提供广告曝光。现在将参考图2所示的时间线200来描述这些通信步骤。
最初，终端设备126经由执行的web浏览器应用并且响应于用户输入，向web服务器142发送202HTTP请求，该HTTP请求包括期望的web内容的URL。Web服务器142通过将内容(例如，以HTML格式的网页)发送204到终端设备126来响应。如web编程领域的技术人员将认识到的，网页显示144的完整填充和渲染可能需要多个请求和响应，并且可能涉及与web服务器142和/或与其它在线服务器(诸如内容分发网络(CDN)服务器和其它提供嵌入内容的web服务器)的进一步事务。为了简单起见并促进集中于实施本发明的特征的通信，所有这些已知的附加事务在图2中由单个示意性通信206表示。
为了获得广告内容以填充广告位148、广告位150，由web服务器142发送到终端设备126的网页通常包括超文本引用(“href”)，其引导浏览器根据由服务器122的相关运营商定义和提供的应用编程接口(API)从广告交换服务器122检索内容。相应地，终端设备126将HTTP请求发送208到广告交换服务器122。请求包括与终端设备126的用户相关的网站信息和用户信息。可用的用户信息可以包括web服务器142已收集的信息，并且可以包括客户端侧信息，诸如设备和浏览器身份和技术细节、浏览器cookie的识别信息和内容等。用于收集、维护和跟踪用户和设备信息的许多在线机制是众所周知的，并且对于web编程领域的技术人员是可获得的，因此这里不再进一步详细描述。
广告交换服务器122接收该请求、在其数据库124中识别相关的DSP服务器102、118、120，并且向每个选择的DSP服务器发送210竞价请求消息。在实施本发明的DSP服务器102处接收包括站点和用户信息的一个这样的竞价请求消息，该DSP服务器102根据其特定的程序指令主体114执行处理212，以便对用户进行分类并得出竞价决策。在做出对所提供的曝光进行竞价的决策并竞价价格被确定的情况下，DSP服务器102然后将竞价发送214到广告交换服务器122。
广告交换服务器122接收从包括服务器102的DSP服务器发送的所有竞价，并选择获胜的竞价。然后，它从其数据库124中检索与获胜竞价对应的广告内容，并将该广告内容发送216到终端设备126，以在对应的广告位(例如，广告位148或广告位150)内渲染。
众所周知，从用户的角度来看，页面加载速度是网站的重要特性，网页完全加载所需的时间过长是不期望的。典型地，加载时间优选地不超过几秒钟，例如3秒218。如上面已经描述的，要完全服务复杂网页的所有内容，许多步骤是必要的，这些步骤可能涉及跨全球互联网的多个服务器。相应地，重要的是严格限制由广告交换服务器202促进的竞价处理的持续时间。当前认为，DSP服务器102应该在不超过几十毫秒内，例如在不到30毫秒220内做出竞价决策。该决策必须用有限的用户信息并且鉴于错误的决策可能会对广告主造成很大后果的事实而做出。例如，如果DSP服务器错误地确定用户是特定广告的期望目标(即，计算“假阳性”)，那么它可能投放相对高的获胜竞价并产生实际费用，而几乎没有或完全没有任何回报前景。相反，如果DSP服务器错误地确定用户不是广告的期望目标(即，计算“假阴性”)，那么它可能没有竞价，或者投放低的失败竞价，并导致广告主错失获得带来真正回报前景的曝光的机会。
为了在旅行预订服务的上下文中以高速实现质量决策，本发明的实施例采用机器学习方法。特别地，离线数据(诸如包含客户和旅行预订的详细记录的客户数据库的内容)可以用于根据一个或多个市场细分或类别对旅行者进行分类。在没有限制的情况下，合适的类别或细分可以包括“常旅行者”、“公务旅行者”、“豪华旅行者”、“经济旅行者”和“中端旅行者”。可以根据对旅行服务市场的理解来确定细分和适当的特性。例如，单个旅行者可以基于在预定时段(诸如公历年)内进行的行程的数量被标记为“常旅行者”、基于进行的公务行程的数量或比例被标记为“公务旅行者”，或基于进行的每次行程的平均费用被标记为“豪华旅行者”。
确定类别的方法与实施本发明的机器学习系统的实现无关，并且可以手动地、试探性地或通过任何其它合适的手段来执行。所需的是每个旅行预订记录都被标记有至少一个类别的最终结果。预订记录和相关联类别然后可以形成用于实施本发明的机器学习模型的训练的基础。
图3是图示用于机器学习模型的离线训练的系统300的框图。系统300包括一个或多个高性能计算系统302，优选地包括被优化用于高效地执行一个或多个机器学习模型的硬件和/或软件。每个计算系统302包括中央处理器304，该中央处理器304被例如经由地址/数据总线306与易失性存储设备308、非易失性存储设备310和至少一个数据通信接口312接口。鉴于已知某些机器学习模型(诸如神经网络和深度学习模型)可以使用GPU尤其适合的高度并行、向量化的算法高效地实现的事实，计算系统还可以包括一个或多个GPU(未示出)。易失性存储设备308包含与计算系统302的操作相关的程序指令和瞬态数据。
计算系统存储设备308、310可以包含与其正常操作相关的程序和数据内容，其可以包括操作系统程序和数据(例如，与Windows、MacOS、Linux或其它操作系统相关联)，以及通常与本发明无关的其它可执行应用和/或系统软件。存储设备308还包括程序指令324，该程序指令324在由处理器128执行时实现用于机器学习模型的离线训练处理。特别地，可以从离线数据库服务器316检索旅行预订记录和相关联的类别，并将其用于机器学习模型的训练。
图4是图示实施本发明的离线训练的(诸如可以由计算系统302实现的)方法的流程图400。根据该方法，在步骤402处，从离线数据库服务器316中检索旅行预订记录和相关联的类别(取决于上下文，其可以被替代地称为“标签”、“标记”、“类别”或“分类”)。在步骤404处，使用旅行预订记录的内容来计算特征向量集合。这是本方法中的重要步骤，其效果是将离线数据库服务器316中可用的与可单独区分的旅行者对应的详细离线数据与在在线上下文(即，如发送210到DSP 102的)中可用的更有限的未识别用户的信息链接。
更特别地，特征是可以从详细的离线数据和更有限的在线数据两者中导出的信息项(例如，数值、类别或布尔值)。例如，与旅行预订服务相关并从与实际或潜在行程相关的未识别用户的在线活动(例如，基于搜索查询、预订站点搜索或查询和/或实际在线预订)中捕获的在线数据可以包括旅行的起始地、旅行的目的地、出发的日期、到达的日期和旅行的持续时间。但是，离线数据库服务器316中可能可用的附加细节(诸如旅行者名称、旅行的类别、旅行的费用、旅行者历史记录等)一般在在线上下文中不可用。
特征向量是可从离线数据和在线数据两者中导出的特征集合，这些特征共同用于机器学习模型的训练以及用于由DSP服务器102进行的后续在线分类。特征设计/选择是有效的机器学习系统的开发中的重要步骤，下面将参考图6和图7进一步描述根据本发明的实施例开发的特征向量的示例。
在步骤406处，将未训练的机器学习模型初始化。该步骤涉及对包含模型的数据结构的创建和初始化，以及用于训练处理的相关参数/超参数的设置。它还可能涉及模型选择，并且在一些实施例中，模型实际上可以组合多个模型(集成学习)。在步骤408处，计算系统302根据所选择的一种或多种机器学习算法执行一个或多个训练处理。训练包括输入计算出的特征向量的至少一部分和对应的标签作为训练集，并应用适于使目标函数最小化的训练过程，该目标函数反映根据已知标签对特征向量进行分类时所训练的模型的准确性。随后，在步骤410处，可以使用测试集和/或交叉验证集来测试所训练的模型，该测试集和/或交叉验证集可以例如包括计算出的特征向量的一部分和为此目的从训练步骤408保留的对应标签。
在决策步骤412处，可以评估测试步骤410的结果以确定它们是否满足合适的质量标准(下面参考图6和图7描述其示例)。如果否，则在步骤414处可以更新模型参数/超参数，并在步骤408处对模型进行重新初始化以进行再训练。替代地，如果认为模型具有足够的质量，则在步骤416处保存所训练的模型的表示。该表示适用于由DSP服务器加载和执行，如下面参考图5所述。
举例来说，在本发明的一个特定实施例中，采用了原先由美国华盛顿大学的Tianqi Chen和Carlos Guestrin开发的极限梯度提升(XGBoost)机器学习模型。有利的是，XGBoost系统是高度可扩展的，已经得到广泛使用和测试，并且可获得作为开放源代码包的用C/C++的高效实现，具有对技术计算中使用的其它语言(诸如Python、R和Julia)的绑定。下面参考图6和图7呈现该实施例的结果。
现在转到图5，示出了由DSP服务器102确定竞价决策的方法的流程图500。在步骤502处，接收站点和未识别用户的信息，即，经由从广告交换服务器122的发送210来接收。在步骤504处，使用该信息来计算特征向量，该特征向量被输入到在步骤506处执行的机器学习模型。特别地，该模型执行基于在处理400的步骤416处保存的表示。该模型的输出是基于计算出的特征向量对用户的分类的估计，该特征向量在例如XGBoost算法的情况下可以是生成的数值，该数值表示在对未识别用户是为其训练模型的类别的成员还是非成员的估计中的置信度。例如，该值可以是未识别的在线用户是该类别的成员的概率的估计。
在步骤510处，基于估计做出竞价决策。该决策可以包括确定究竟是否竞价，和/或确定针对可用曝光的竞价的特定价格。例如，可以将阈值应用于所生成的值，使得如果该值低于阈值，则不进行竞价。在一些实施例中，可以基于所生成的值的大小来确定竞价量，使得如果模型指示在未识别用户的分类中的较高置信度，则竞价更高价格。在做出对曝光进行竞价的决策的情况下，在步骤512处，将竞价信息发送214回广告交换服务器122。
如上所述的机器学习模型的使用具有许多优点，并且解决了现有技术方法中存在的特定问题。首先，它克服了离线数据和在线数据的链接的限制。特别地，在离线数据上进行了训练并且随后在在线数据上执行的机器学习模型本身实际上已成为链接的手段。其次，未识别的在线用户与离线数据库中有记录的任何顾客/客户可能不对应，但这是不相关的。相应地，只要计算特征向量所需的最少信息可获得，就可以通过模型对100％的在线用户进行分类。第三，该方法和系统避免了隐私约束，因为经训练的机器学习模型的所存储的表示包括这样的数据结构，该数据结构在离线数据库中不包含任何顾客/客户的可单独识别的个人数据。因此部署到DSP服务器102的信息是完全匿名的。第四，虽然训练处理可能是高度计算密集的，需要高性能的计算资源和延长的时间段，但对单个特征向量执行结果得到的经训练的模型可能速度非常快，很容易满足在30毫秒或更短时间计算决策的要求。
为了说明本发明的实施例的有效性，现在将描述多个示例。
示例1
出于将未识别用户分类为“常旅行者”或者“不常旅行者”的目的，开发了特征的以下集合：
·起始地与目的地之间的距离
·离开的天数
·起始地经度
·起始地纬度
·目的地经度
·目的地纬度
·出发日周几(DOW)
·到达日DOW。
采用商业数据库进行离线培训，其中包含清理过的记录，在这些记录中可单独区分的旅行者与总共1,328,694次行程相一致。在这个数据库内，“常旅行者”被定义为在任何12个月时段内进行了五次或更多次行程的人。使用此定义，数据集中的行程的5.3％行程被自动标记为“常旅行者”行程。使用包括上述特征集的特征向量训练了具有489棵树的XGBoost模型，并使用加标签的行程对其进行计算。结果得到的ROC曲线600如图6所示，其中水平轴602代表假阳性率(FPR)，垂直轴604代表真阳性率(TPR)，并且ROC 606是通过扫描0.0和1.0之间的阈值来生成的，在该阈值处，模型输出被确定为指示“常旅行者”。在这种情况下，AUROC 608为0.8，与通过做出纯随机决策获得的0.5的值进行比较，其被视为机器学习分类器的良好性能。使用0.5的决策阈值，用于该模型的TPR(正确分类的常旅行者)为66％，而FPR(错误分类的非常旅行者)为22％。因此，可以采用该模型用于竞价决策，从而产生比纯机会决策明显更好的结果。
示例2
出于将未识别用户分类为“公务旅行者”或者“非公务旅行者”(即，“休闲旅行者”)目的，开发了特征的以下集合：
·行程持续时间(天数)
·出发日DOW
·到达日DOW
·离开的天数
·包括周六晚上(布尔值)。
关于可单独区分的旅行者的可用离线数据(来自上述商业数据库的121,146次行程)，51.3％的示例被识别为公务行程。再次对从该数据集生成的特征向量训练XGBoost模型。结果得到的ROC 700如图7所示，其中水平轴702代表FPR，垂直轴704代表TPR，并且ROC606是通过扫描在0.0和1.0之间模型输出被确定为指示“公务旅行者”的阈值而生成的。在这种情况下，AUROC 708是0.82，再次被视为机器学习分类器的良好性能。
示例3
出于将未识别用户分类为“豪华旅行者”、“经济旅行者”或“中端旅行者”的目的，开发了特征的以下集合：
·起始地城市基于购买力平价(PPP)的人均国内生产总值(GDP)
·起始地国家基于PPP的人均GDP
·目的地城市基于PPP的人均GDP
·目的地国家基于PPP的人均GDP
·出发日DOW
·到达日DOW
·包括周六晚上(布尔值)
·行程持续时间(天数)
·离开的时间(天数)
·国内行程(布尔值)
·国际行程(布尔值)
从超过50,000个示例的初始数据集中，选择了4723个行程，这些行程可以被很好地识别为“豪华”或“经济”行程。这些行程分别占总数据集的3.15％和5.84％，而其它所有行程(91.01％)被认为是“中端”行程。这些4723个示例被用于生成包括上述特征集合的特征向量，以便训练二元XGBoost模型。该模型被配置为产生表示在0.0到1.0量级上与输入特征向量对应的行程是否与“豪华旅行者”相关联的置信度的输出估计。用于该二元分类器的AU ROC被发现为等于0.83。
建立了两个阈值用于将未识别的在线用户分类为“豪华”、“经济”和“中端”类别。特别地，如果XGBoost分类器的输出估计小于0.2，则用户被归类为“经济旅行者”；如果输出估计大于0.8，则用户被归类为“豪华旅行者”；所有其它用户被归类为“中端旅行者”。使用包括所有示例的测试集，获得以下的混淆矩阵。
因此，例如，正确预测了36％的“豪华”情况，大多数错误分类(50％的“豪华”情况)被分配给了“中端”，而58.8％的“经济”情况则被正确分类。
结论
总之，本发明的实施例提供了采用机器学习模型使用有限的信息、使用从包含与可单独区分的旅行者相关的记录的离线数据库导出的训练数据将未识别的在线用户分类为不同的旅行者类别的系统和方法。以这种方式，机器学习模型在丰富的离线数据和有限的在线数据之间有效地提供“智能”链接。在线用户不必先前已经被系统遇到，只要可获得计算模型特征向量所需的最少信息，就可以对任何用户执行分类。该系统保护了隐私，因为离线数据库中没有任何顾客/客户的可单独识别的个人数据会反映在所部署的机器学习模型中。一旦模型已经被训练，对新观察到的在线用户的分类就会非常快，例如，30毫秒或更短的时间。
令人惊讶的是，尽管在线上下文中关于未识别用户的可用信息非常有限，但是根据本发明的原理，通过良好的模型设计，可以开发具有良好预测力的模型。因此，由模型生成的预测可以放心地用于高速、实时、在线决策，诸如对由广告交换服务器促进的数字广告市场内的曝光进行竞价。
应该认识到的是，虽然本文已经描述了本发明的特定实施例和变型例，但是对于相关领域的技术人员来说，进一步的修改和替换将是显而易见的。特别地，这些示例是通过图示本发明的原理的方式提供，并提供了许多使这些原理生效的具体方法和布置。一般而言，本发明的实施例依赖于提供技术布置，由此基于使用可单独区分的旅行者的详细离线数据已经进行训练的机器学习分类器，使用有限的用户信息来进行与对未分类用户的旅行者类别或细分相关的自动化实时在线决策。
相应地，所描述的实施例应该被理解为是出于教导本发明的一般特征和原理的目的通过示例的方式提供的，但是不应被理解为限制本发明的范围，本发明的范围如所附权利要求书所定义。

Claims (14)

1.一种用于使用机器学习的实时在线旅行者细分的计算装置(102)，所述计算装置包括：
处理器(104)；
所述处理器可访问的至少一个存储器设备；以及
与所述处理器可操作地相关联的数据通信接口(112)，
其中所述存储器设备包含程序指令主体(114)，所述程序指令主体包括机器学习分类器，所述机器学习分类器可由所述处理器执行并且被配置为基于包括多个特征的值的输入特征向量来确定未识别的在线用户是预定旅行者类别的成员还是非成员的估计，已使用离线数据库服务器(316)中存储的多个可单独区分的旅行者的先前旅行预订的记录的训练集对所述分类器进行训练，其中，在所述记录的训练集中，基于可单独区分的旅行者的一个或多个先前旅行预订将每个可单独区分的旅行者标记为预定旅行者类别的成员或非成员，其中，所述记录的训练集包括计算出的特征向量和与所述多个可单独区分的旅行者相关联的对应标签，
其中，所述机器学习分类器已经在包括一个或多个图形处理单元GPU的一个或多个高性能计算系统上进行了训练，并且已经经由需要训练过程的模型选择处理进行了选择，其中所述训练过程包括：
输入计算出的特征向量和与所述多个可单独区分的旅行者相关联的对应标签；
通过应用适于使目标函数最小化的训练过程，确定根据对应标签对特征向量进行分类时的准确性；以及
基于所确定的满足质量标准的准确性来选择特征，使得能够为在线上下文中可用的所述未识别的在线用户获得该特征的对应值，所述程序指令主体还包括指令，所述指令在由所述处理器执行时使所述计算装置实现包括以下步骤的方法：
经由所述数据通信接口接收包括所述未识别的在线用户的站点和用户信息的竞价请求消息，其中，所述用户信息限于所述未识别的在线用户当前研究的单个行程的特性；
基于接收到的站点和用户信息，计算(504)包括与所述未识别的在线用户对应的所述多个特征的值的特征向量；
使用计算出的特征向量作为输入来执行(506)所训练和所选择的机器学习分类器，以获得对所述未识别的在线用户是预定旅行者类别的成员还是非成员的估计；以及
基于所述估计确定竞价决策。
2.根据权利要求1所述的计算装置，其中所述竞价决策包括肯定竞价决策或否定竞价决策，以及在所述肯定竞价决策的情况下，确定对应的竞价价格，并且其中由所述处理器执行的所述指令还使所述计算装置经由所述数据通信接口(112)发送(214)包含所述竞价价格的竞价响应。
3.根据权利要求1或2所述的计算装置，其中所训练和所选择的机器学习分类器被配置为生成与在对所述未识别的在线用户是预定旅行者类别的成员还是非成员的估计中的置信度对应的值。
4.根据权利要求3所述的计算装置，其中所生成的值是所述未识别用户是预定旅行者类别的成员的概率的估计。
5.根据权利要求3所述的计算装置，其中确定所述竞价响应包括将阈值应用于所生成的值。
6.根据权利要求1至2中的任一项所述的计算装置，其中所训练和所选择的机器学习分类器包括梯度提升机。
7.一种用于使用机器学习的实时在线旅行者细分的方法，包括：
访问(402)至少一个离线数据库服务器(316)，所述离线数据库服务器(316)包含多个可单独区分的旅行者的先前旅行预订的记录，其中基于可单独区分的旅行者的一个或多个先前旅行预订，每个可单独区分的旅行者作为预定旅行者类别的成员或非成员在所述离线数据库服务器中被分配相关联的标签；
确定与预定旅行者类别相关联的多个特征，其中每个特征被选择为使得能够为在线上下文中可用的未识别的在线用户获得该特征的对应值；
对于从所述离线数据库服务器中选择的记录的训练集中的每条记录，计算(404)包括所述多个特征的对应值的特征向量；
在包括一个或多个图形处理单元GPU的一个或多个高性能计算系统上，使用计算出的特征向量和与所述训练集中的记录对应的相关联标签来训练(408)机器学习分类器，其中，所述机器学习分类器已经经由需要训练过程的模型选择处理进行了选择，其中所述训练过程包括：
输入计算出的特征向量和与所述多个可单独区分的旅行者相关联的对应标签；
通过应用适于使目标函数最小化的训练过程，确定根据对应标签对特征向量进行分类时的准确性；以及
基于所确定的满足质量标准的准确性来选择特征，使得能够为在线上下文中可用的所述未识别的在线用户获得该特征的对应值；
在被配置为执行所训练和所选择的机器学习分类器的处理器(104)处接收包括所述未识别的在线用户的站点和用户信息的竞价请求消息，其中，所述用户信息限于所述未识别的在线用户当前研究的单个行程的特性；
基于接收到的站点和用户信息，计算(504)包括与所述在线上下文中可用的所述未识别的在线用户对应的所述多个特征的值的特征向量；以及
由执行所训练和所选择的机器学习分类器的所述处理器确定所述未识别的在线用户是预定旅行者类别的成员还是非成员的估计。
8.根据权利要求7所述的方法，其中：
在所述离线数据库服务器中为每个可单独区分的旅行者分配多个相关联的标签，每个标签基于可单独区分的旅行者的一个或多个先前旅行预订将旅行者识别为对应的多个预定旅行者类别的成员或非成员；
不同的多个特征与所述多个预定旅行者类别中的每个类别相关联；
所述训练步骤包括使用计算出的特征向量来训练一个或多个机器学习分类器，所述计算出的特征向量包括与每个对应的预定旅行者类别相关联的所述不同的多个特征的值；以及
所述确定步骤包括由所述处理器执行所训练和所选择的机器学习分类器中的每一个，以确定对所述未识别的在线用户是每个对应的预定旅行者类别的成员还是非成员的估计。
9.根据权利要求8所述的方法，其中所述预定旅行者类别包括以下中的一个或多个：“常旅行者”；“公务旅行者”；“休闲旅行者”；“豪华旅行者”；“经济旅行者”；以及“中端旅行者”。
10.根据权利要求7至9中的任一项所述的方法，其中所述预定旅行者类别是“常旅行者”，并且所述多个特征中的一个或多个特征选自包括以下内容的组：
起始地与目的地之间的距离；
离开的时间；
起始地经度；
起始地纬度；
目的地经度；
目的地纬度；
出发日周几DOW；以及
到达日DOW。
11.根据权利要求7至9中的任一项所述的方法，其中所述预定旅行者类别是“公务旅行者”和/或“休闲旅行者”，并且所述多个特征中的一个或多个特征选自包括以下内容的组：
行程持续时间；
出发日DOW；
到达日DOW；
离开的时间；以及
指示行程是否包括周六晚上的指示符。
12.根据权利要求7至9中的任一项所述的方法，其中所述预定旅行者类别是“豪华旅行者”、“经济旅行者”和/或“中端旅行者”，并且所述多个特征中的一个或多个特征选自包括以下内容的组：
起始地城市基于购买力平价PPP的人均国内生产总值GDP；
起始地国家基于PPP的人均GDP；
目的地城市基于PPP的人均GDP；
目的地国家基于PPP的人均GDP；
出发日DOW；
到达日DOW；
指示行程是否包括周六晚上的指示符；
行程持续时间；
离开的时间；
指示行程是否为国内行程的指示符；以及
指示行程是否为国际旅行的指示符。
13.根据权利要求7至9中的任一项所述的方法，其中所训练和所选择的机器学习分类器包括梯度提升机。
14.一种计算机可读存储介质，所述计算机可读存储介质存储包括程序代码指令的计算机程序，当所述计算机程序在计算机上执行时，所述程序代码指令用于执行根据权利要求7至13中的任一项所述的方法的步骤。
CN201880056990.7A 2017-09-14 2018-09-05 使用机器学习的实时在线旅行者细分的方法和系统 Active CN111095331B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US15/704,428 2017-09-14
FR1758517 2017-09-14
US15/704,428 US11120480B2 (en) 2017-09-14 2017-09-14 Systems and methods for real-time online traveler segmentation using machine learning
FR1758517A FR3071087A1 (fr) 2017-09-14 2017-09-14 Une methode et un systeme pour la segmentation de voyageurs en ligne en temps reel a l'aide de l'apprentissage automatique
PCT/EP2018/073838 WO2019052868A1 (en) 2017-09-14 2018-09-05 METHOD AND SYSTEM FOR SEGMENTING REAL-TIME ONLINE PASSENGERS USING AUTOMATIC APPRENTICESHIP

Publications (2)

Publication Number Publication Date
CN111095331A CN111095331A (zh) 2020-05-01
CN111095331B true CN111095331B (zh) 2023-09-22

Family

ID=63490479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880056990.7A Active CN111095331B (zh) 2017-09-14 2018-09-05 使用机器学习的实时在线旅行者细分的方法和系统

Country Status (3)

Country Link
EP (1) EP3682401A1 (zh)
CN (1) CN111095331B (zh)
WO (1) WO2019052868A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110198309A (zh) * 2019-05-14 2019-09-03 北京墨云科技有限公司 一种Web服务器识别方法、装置、终端及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063675A (zh) * 2009-06-03 2011-05-18 埃森哲环球服务有限公司 旅行相关报价的生成
US8494897B1 (en) * 2008-06-30 2013-07-23 Alexa Internet Inferring profiles of network users and the resources they access
US8626697B1 (en) * 2010-03-01 2014-01-07 magnify360, Inc. Website user profiling using anonymously collected data
CN105378699A (zh) * 2013-11-27 2016-03-02 Ntt都科摩公司 基于机器学习的自动任务分类

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7698422B2 (en) * 2007-09-10 2010-04-13 Specific Media, Inc. System and method of determining user demographic profiles of anonymous users
US8943079B2 (en) * 2012-02-01 2015-01-27 Telefonaktiebolaget L M Ericsson (Publ) Apparatus and methods for anonymizing a data set

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8494897B1 (en) * 2008-06-30 2013-07-23 Alexa Internet Inferring profiles of network users and the resources they access
CN102063675A (zh) * 2009-06-03 2011-05-18 埃森哲环球服务有限公司 旅行相关报价的生成
US8626697B1 (en) * 2010-03-01 2014-01-07 magnify360, Inc. Website user profiling using anonymously collected data
CN105378699A (zh) * 2013-11-27 2016-03-02 Ntt都科摩公司 基于机器学习的自动任务分类

Also Published As

Publication number Publication date
WO2019052868A1 (en) 2019-03-21
EP3682401A1 (en) 2020-07-22
CN111095331A (zh) 2020-05-01

Similar Documents

Publication Publication Date Title
US20240028658A1 (en) Systems, apparatuses, and methods for providing a quality score based recommendation
US11315131B2 (en) Method, apparatus, and computer program product for identifying a business need via a promotional system
US11120480B2 (en) Systems and methods for real-time online traveler segmentation using machine learning
US10943184B2 (en) Machine learning methods and systems for predicting online user interactions
US20190080363A1 (en) Methods and systems for intelligent adaptive bidding in an automated online exchange network
CN111095330B (zh) 用于预测在线用户交互的机器学习方法和系统
US11468456B2 (en) Method and system for generating purchase recommendations based on purchase category associations
CA2825498A1 (en) Hybrid recommendation system
US20120116875A1 (en) Providing advertisements based on user grouping
US20220180392A1 (en) Predictive recommendation system using tiered feature data
US11625796B1 (en) Intelligent prediction of an expected value of user conversion
CN111052167A (zh) 自动化在线交易网络中的智能自适应竞价的方法和系统
JP6320258B2 (ja) 抽出装置、抽出方法及び抽出プログラム
US11037201B1 (en) Method and system for distribution of application program for promotion and marketing service
US10817886B2 (en) Method, apparatus, and computer program product for identifying a service need via a promotional system
CN111095331B (zh) 使用机器学习的实时在线旅行者细分的方法和系统
JP2018088282A (ja) 抽出装置、抽出方法及び抽出プログラム
FR3071087A1 (fr) Une methode et un systeme pour la segmentation de voyageurs en ligne en temps reel a l'aide de l'apprentissage automatique
US11631107B2 (en) Apparatuses, methods, and computer program products for application triggered non-execution installation state detection and application launching
US11042904B1 (en) Method and system for detecting application programs on mobile computing device
Ståhlberg Click-through Rate Prediction In Practice: A study of a click-through rate prediction system
US11972464B2 (en) Cumulative incrementality scores for evaluating the performance of machine learning models
US20230306471A1 (en) Systems and methods for performing user segmentation and recommending personalized offers at real time
US20150120387A1 (en) Systems and Methods for Demand-Based Marketplaces
US11010793B1 (en) Method and system for determining user profile data for promotion and marketing service using mobile application program information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant