CN110020173B - 用于优化搜索排序的方法、装置及电子设备 - Google Patents

用于优化搜索排序的方法、装置及电子设备 Download PDF

Info

Publication number
CN110020173B
CN110020173B CN201711474923.0A CN201711474923A CN110020173B CN 110020173 B CN110020173 B CN 110020173B CN 201711474923 A CN201711474923 A CN 201711474923A CN 110020173 B CN110020173 B CN 110020173B
Authority
CN
China
Prior art keywords
rpm
search
ranking
click rate
click
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711474923.0A
Other languages
English (en)
Other versions
CN110020173A (zh
Inventor
王路路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Singapore Holdings Pte Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201711474923.0A priority Critical patent/CN110020173B/zh
Publication of CN110020173A publication Critical patent/CN110020173A/zh
Application granted granted Critical
Publication of CN110020173B publication Critical patent/CN110020173B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • G06Q30/0256—User search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种用于优化搜索排序的方法，包括：在搜索排序基础公式中引入超参数，得到搜索排序扩展公式；根据所述搜索排序扩展公式，使用训练样本进行计算，通过最大化搜索排序序关系准确度指标，得到用于优化搜索排序的优选超参数；使用所述优选超参数对搜索排序进行优化，从而解决了在线计算搜索排序不准确而导致的影响广告平台变现能力的问题。

Description

用于优化搜索排序的方法、装置及电子设备
技术领域
本申请涉及互联网广告技术领域，具体涉及一种用于优化搜索排序的方法及装置。本申请同时涉及一种用于评估搜索排序序关系准确性的方法及装置，本申请同时涉及一种搜索排序优化系统，本申请同时涉及一种用于实现所述用于优化搜索排序的方法的电子设备，以及一种用于实现所述用于评估搜索排序序关系准确性的方法的电子设备。
背景技术
随着互联网技术的发展，互联网广告逐渐成为现代营销的重要手段，其主要投放方式是在网页提供的广告位上展示能链接到广告详情页的广告信息，用户点击该链接，跳转到广告详情页，从而达成推送该广告的目的。互联网广告形式多种多样，而搜索广告是其中一种重要的广告形式，此类互联网广告平台主要采用CPC(cost per click，或每次点击费用)计费方式，即根据广告被点击的次数收费，例如关键词广告。为了达到预期收益，互联网广告平台会对广告进行搜索排序，一般采用如下排序公式：
eRPM＝bid*eCTR*1000
其中，bid是广告主出价(或序位置出价)，eCTR是点击率预估。
从上述公式可以看出，由于广告主一般主要根据该广告的点击率预估决定是否参与一个广告的竞价以及出价，因此现有广告排序的关键因子是eCTR(Estimation ClickThrough Rate，或点击率预估)，eCTR的准确性是互联网广告平台的投放收益的重要决定因素，点击率预估的越准确，广告平台的曝光利用越充分，其营收能力就会更强，广告平台的RPM(Revenue Per Mille，或千次展现营收)就会越大。
现有的互联网广告平台，往往通过记录广告是否被点击的历史数据以及广告投放位置、点击广告的用户特征的相关离线数据，来预测下一次用户打开某网页时点击所投放的广告的可能性，常用的评估点击率预估的序关系的准确度的指标为AUC(Area UnderCurve，或曲线下面积)和LogLoss(Logistic Loss，或逻辑回归损失函数)，所谓AUC是ROC曲线(Receiver Operating Characteristic，或对同一信号刺激的感受性曲线)下面积(参见图4)，一般的评估搜索排序的技术路径为：
从离线数据的AUC得到eCTR，eCTR用于评估在线计算广告的CTR，从而得到在线广告RPM排序。
现有的技术方案中，在线计算广告搜索排序的各环节存在一定偏差，首先，由于训练数据不足，永远无法预估100％真实的点击率，由于新广告不断涌入导致广告排序系统冷启动，从而使得新广告的点击率预估存在较大的系统偏差；另外由于点击率是用户在特定的时间对特定的广告的点击概率，影响用户点击的向量空间是一个高维空间，因此现有广告的点击率随着状态的变更其点击率也在发生变化。因此，现有的互联网广告平台的技术方案中，存在在线计算搜索排序不准确的问题，从而影响广告平台的变现能力。
发明内容
本申请提供一种用于优化搜索排序的方法，以解决在线计算搜索排序不准确而导致的影响广告平台变现能力的问题。
本申请还提供一种用于评估搜索排序序关系准确性的方法。
本申请还提供一种用于优化搜索排序的装置。
本申请还提供一种用于评估搜索排序序关系准确性的装置。
本申请还提供一种搜索排序优化系统。
本申请还提供一种用于实现所述用于优化搜索排序的方法的电子设备。
本申请还提供一种用于实现所述用于评估搜索排序序关系准确性的方法的电子设备。
本申请提供一种用于优化搜索排序的方法，包括：
在搜索排序基础公式中引入超参数，得到搜索排序扩展公式；
根据所述搜索排序扩展公式，使用训练样本进行计算，通过最大化搜索排序序关系准确度指标，得到用于优化搜索排序的优选超参数；
使用所述优选超参数对搜索排序进行优化。
可选的，所述搜索排序为RPM排序；所述搜索排序基础公式为RPM基础排序公式；所述搜索排序扩展公式为RPM扩展排序公式；所述搜索排序序关系准确度指标，是根据训练样本的损失函数构造的RPM序关系准确度指标AUCrpm。
可选的，所述训练样本，由资源的曝光点击日志中获得，包括正样本和负样本，其中，用户看到该资源为一个训练样本，用户看到该资源并进行了点击为正样本，用户看到该资源未进行点击，是负样本。
可选的，所述使用所述优选超参数对搜索排序进行优化，包括：使用所述优选超参数，在线计算RPM排序。
可选的，所述AUCrpm，通过下述方式定义：
根据训练样本的预估排序与实际点击排序不一致而产生的预估排序错误得到预估排序损失；
使用所述预估排序损失的最大值作为归一化因子，对所述预估排序损失进行归一化运算得到AUCrpm；其中，所述归一化运算采用下述公式：AUCrpm等于所述归一化因子减去预估排序损失，得到的差值再除以归一化因子。
可选的，所述超参数，至少包括下述任一参数：
全局调控因子，用于全局调控，通过使得训练样本的RPM序关系准确度指标AUCrpm达到最大值，从而得到优化RPM排序的全局调控因子；
点击率预估校准因子，用于使得点击率预估逼近真实点击率，通过基于训练样本分段调节点击率预估的系统偏差，从而得到优化RPM排序的点击率预估校准因子。
可选的，所述通过使得训练样本的RPM序关系准确度指标AUCrpm达到最大值，从而得到优化RPM排序的全局调控因子，包括：
采取剪枝策略和启发式策略计算出所述全局调控因子。
可选的，所述采取剪枝策略和启发式策略计算出所述全局调控因子，包括下述处理：
根据人工经验确定所述全局调控因子的范围和遍历步长；
按照所述遍历步长，在所述全局调控因子的范围内，基于所述训练样本计算得出当RPM序关系准确度指标AUCrpm取得最大值时的优选全局调控因子。
可选的，所述通过基于训练样本分段调节点击率预估的系统偏差，从而得到优化RPM排序的点击率预估校准因子，包括下述处理：
将训练样本按照点击率预估分桶；
点击率预估校准目标为，使得各桶内的训练样本的点击率预估平均值和实际点击率统计值之差的平方和最小，从而计算出各个桶的点击率预估校准因子；其中，所述点击率预估的平均值计算公式为：桶内的所有样本的点击率预估求和后，再除以桶内的样本数；所述实际点击率统计值计算公式为：实际点击总数量，除以页面访问总数量。
可选的，所述将训练样本按照点击率预估分桶，包括采用下述方法：
将点击率预估百分位大于0.95的那些点击率预估放到最后一个桶中；
其他点击率预估进行等距分桶。
可选的，所述将训练样本按照点击率预估分桶，包括采用人工经验确定桶的数量。
可选的，所述RPM基础排序公式，采用：RPM等于点击率预估乘以序位置出价；所述RPM扩展排序公式，采用：RPM等于点击率预估和所述点击率预估校准因子之和在乘以序位置出价。
可选的，所述RPM扩展排序公式，采用如下公式：
使用点击率预估校准因子对点击率预估进行校准，包括取二者之和作为校准后的点击率预估；
以所述校准后的点击率预估为底数，将全局调控因子作为其指数，计算得到进行全局调控后的点击率预估；
将所述全局调控后的点击率预估和序位置出价之积作为RPM。
本申请还提供一种用于评估搜索排序序关系准确性的方法，包括：
根据训练样本的预估排序与实际点击排序不一致而产生的预估排序错误得到预估排序损失，从而确定训练样本的损失函数；
根据所述损失函数构造搜索排序序关系准确度指标AUCrpm；
使用AUCrpm评估在线广告排序或在线搜索排序的序关系准确性；其中，所述损失函数，是评估预估排序与真实排序的不一致程度的函数。
可选的，还包括通过最大化所述AUCrpm以确定较低的预估排序损失，从而对搜索排序进行优化。
可选的，所述AUCrpm，是通过下述方式定义的：
使用所述预估排序损失的最大值作为归一化因子，对所述预估排序损失进行归一化运算得到AUCrpm；
其中，所述归一化运算采用下述公式：AUCrpm等于所述归一化因子减去预估排序损失，得到的差值再除以归一化因子。
可选的，所述预估排序，包括下述任一排序方式：
根据训练样本的点击率预估进行排序，从而得到预估值序列；或者，
使用序位置出价作为加权因子，在训练样本的点击率预估基础上得到RPM预估，并根据RPM预估进行排序，从而得到预估值序列；其中，所述RPM预估等于训练样本的点击率预估乘以序位置出价。
可选的，所述损失函数，是根据所述预估值序列的排序错误，通过对各训练样本的排序损失进行加和得到该预估值序列的预估排序损失，其中，采用下述方式得到所述训练样本的排序损失：
针对训练样本，按照所述预估值序列中的排序，将该训练样本与除其自身外的其余各样本的预估值分别组成该训练样本的样本序列对；其中，所述样本序列对，是该训练样本和另一个样本的预估值排序；
使用样本序列对的预估值各自对应的实际点击排序计算该样本序列对的排序损失；
训练样本的所有样本序列对的排序损失之和为该训练样本的排序损失。
可选的，所述预估值序列，是对预估值按照降序或者升序进行排序得到的序列。
可选的，所述实际点击排序，是训练样本实际点击率排序，或者是训练样本实际点击结果排序；其中所述实际点击结果包括点击或者未点击。
可选的，所述使用样本序列对的预估值各自对应的实际点击结果计算该样本序列对的排序损失，包括下述任一处理：
所述样本序列对是从降序排序的预估值序列中得到，实际点击结果是未点击而预估值排在实际点击结果为点击的预估值的前面，则是错误排序，该样本序列对的排序损失值为1；或者，
所述样本序列对是从降序排序的预估值序列中得到，将各样本的序位置出价乘以各自的实际点击结果作为各自的点击结果扩展值，低点击结果扩展值所对应的预估值排在了高点击结果扩展值的预估值前面，则是排序错误，该样本序列对的排序损失为高点击结果扩展值减去低点击结果扩展值；或者，
所述预估序列为降序排序，并且按照训练样本实际点击率排序判断是否存在排序错误，则低实际点击率的样本排在高实际点击率的样本前面为错误排序，其排序损失值等于高实际点击率减去低实际点击率。
本申请还提供一种搜索排序优化系统，包括：离线词典模块和在线计算搜索排序模块；其中，
离线词典模块，用于获取模型参数和超参数，提供给在线计算搜索排序模块使用；
在线计算搜索排序模块，用于使用所述模型参数和所述超参数，在线计算RPM，得到RPM排序；其中，所述超参数，包括下述任一参数：点击率预估校准因子和全局调控因子。
可选的，所述离线词典模块，包括：点击率预估模型训练子模块，用于对多维度特征的离线样本数据进行训练，获取各维度特征的权重值，作为所述模型参数；所述模型参数，至少包括：点击率预估，排序的序位置出价，以及曝光后实际点击结果，其中，所述曝光后实际点击结果包括点击或未点击。
可选的，所述离线词典模块，包括：点击率预估校准子模块，用于根据所述模型参数，采用分段校准策略计算点击率预估校准因子，得到的点击率预估校准因子用于对点击率预估进行校准，或者用于优化RPM排序。
可选的，所述离线词典模块，包括：全局调控因子确定子模块，用于根据所述点击率预估校准因子和所述模型参数，以使得AUCrpm最大化为调控目标，采用剪枝策略和启发策略，计算出全局调控因子，得到的全局调控因子用于优化RPM排序。
可选的，所述在线计算搜索排序模块，包括：在线算分子模块，用于根据所述模型参数，在线计算出点击率预估。
可选的，所述在线计算搜索排序模块，将在线计算出的点击率预估与点击率预估校准因子之和作为校准后的点击率预估，以所述校准后的点击率预估为底数，并以全局调控因子为其指数得到全局调控后的校准因子，将所述全局调控后的校准因子与序位置出价之积作为在线计算得到的RPM，用于进行在线RPM排序。
本申请还提供一种用于优化搜索排序的装置，包括：
排序公式扩展单元，用于在搜索排序基础公式中引入超参数，得到搜索排序扩展公式；
超参数计算单元，用于根据所述搜索排序扩展公式，使用训练样本进行计算，通过最大化搜索排序序关系准确度指标，得到用于优化搜索排序的优选超参数；
优化单元，用于使用所述优选超参数对搜索排序进行优化。
本申请还提供一种用于评估搜索排序序关系准确性的装置，包括：
损失函数确定单元，用于根据训练样本的预估排序与实际点击排序不一致而产生的预估排序错误得到预估排序损失，从而确定训练样本的损失函数；
序关系准确度指标构造单元，用于根据所述损失函数构造搜索排序序关系准确度指标AUCrpm；
排序评估单元，用于使用AUCrpm评估在线广告排序或在线搜索排序的序关系准确性；其中，所述损失函数，是评估预估排序与真实排序的不一致程度的函数。
本申请还提供一种用于实现优化搜索排序的方法的电子设备，包括：
存储器，以及处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：
在搜索排序基础公式中引入超参数，得到搜索排序扩展公式；
根据所述搜索排序扩展公式，使用训练样本进行计算，通过最大化搜索排序序关系准确度指标，得到用于优化搜索排序的优选超参数；
使用所述优选超参数对搜索排序进行优化。
本申请还提供一种用于实现用于评估搜索排序序关系准确性的方法的电子设备，包括：
存储器，以及处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：
根据训练样本的预估排序与实际点击排序不一致而产生的预估排序错误得到预估排序损失，从而确定训练样本的损失函数；
根据所述损失函数构造搜索排序序关系准确度指标AUCrpm；
使用AUCrpm评估在线广告排序或在线搜索排序的序关系准确性；其中，所述损失函数，是评估预估排序与真实排序的不一致程度的函数。
与现有技术相比，本申请具有以下优点：
本申请提供的用于优化搜索排序的方法、装置及电子设备，通过在搜索排序基础公式中引入超参数，得到搜索排序扩展公式；根据所述搜索排序扩展公式，使用训练样本进行计算，通过最大化搜索排序序关系准确度指标，得到用于优化搜索排序的优选超参数；使用所述优选超参数对搜索排序进行优化，基于损失函数构造评估搜索排序序关系准确度指标，使用该指标根据离线训练样本计算使得搜索排序序关系准确度指标的优选超参数，将得到的超参数应用于在线计算搜索排序，从而优化搜索排序，解决了在线计算搜索排序不准确而导致的影响广告平台变现能力的问题。
附图说明
图1是本申请实施例提供的一种用于优化搜索排序的方法的处理流程图；
图2是本申请实施例提供的一种用于优化搜索排序的方法所包括的点击率预估校准因子计算流程图；
图3是本申请实施例提供的一种用于优化搜索排序的方法所包括的全局调控因子计算流程图；
图4是搜索排序现有技术常用的点击率预估的AUC指标示意图；
图5是本申请实施例提供的一种用于优化搜索排序的方法的举例数据中点击率预估偏差示意图；
图6是本申请提供的所述用于评估搜索排序序关系准确性的方法的处理流程图；
图7是本申请提供的所述用于评估搜索排序序关系准确性的方法所包含的单个训练样本的排序损失计算流程图；
图8是本申请提供的所述用于评估搜索排序序关系准确性的方法所包含的基于损失函数角度阐述AUCrpm的原理示意图；
图9是本申请实施例提供的所述搜索排序优化系统示意图；
图10是本申请实施例提供的所述搜索排序优化系统实际部署的系统框架示意图；
图11是本申请实施例提供的一种用于优化搜索排序的装置示意图；
图12是本申请提供的一种用于评估搜索排序序关系准确性的装置示意图；
图13是本申请提供的一种用于实现所述用于优化搜索排序的方法的电子设备示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
本申请提供一种用于优化搜索排序的方法。本申请同时涉及一种用于评估搜索排序序关系准确性的方法，本申请还涉及一种用于优化搜索排序的装置，本申请还涉及一种用于评估搜索排序序关系准确性的装置，本申请还涉及一种搜索排序优化系统，本申请还涉及一种用于实现所述用于优化搜索排序的方法的电子设备，本申请还涉及一种用于实现所述用于评估搜索排序序关系准确性的方法的电子设备。
在下面的实施例中逐一进行详细说明。
本申请其一实施例提供一种用于优化搜索排序的方法。
以下结合图1至图3以及图5对本申请其一实施例提供的一种用于优化搜索排序的方法进行说明。其中图1是本申请其一实施例提供的一种用于优化搜索排序的方法的处理流程图；图2是本申请其一实施例提供的一种用于优化搜索排序的方法所包括的点击率预估校准因子计算流程图；图3是本申请其一实施例提供的一种用于优化搜索排序的方法所包括的全局调控因子计算流程图；图5是本申请实施例提供的一种用于优化搜索排序的方法的举例数据中点击率预估偏差示意图。
图1所示用于优化搜索排序的方法，包括：
步骤S101，在搜索排序基础公式中引入超参数，得到搜索排序扩展公式；
步骤S102，根据所述搜索排序扩展公式，使用训练样本进行计算，通过最大化搜索排序序关系准确度指标，得到用于优化搜索排序的优选超参数；
步骤S103，使用所述优选超参数对搜索排序进行优化。
搜索广告是互联网广告的一种重要形式，这类广告主要的参与者包括：搜索的用户、广告主、广告平台。广告平台主要采用CPC(cost per click，或每次点击费用)计费方式，即根据广告被点击的次数收费；广告主对搜索页面上的位置竞价，付费的方式是按照CPC；当搜索的用户搜索相关的条目时，最终按照竞价结果在搜索页面上的固定位置返回相应的广告。对于搜索广告包含的三类不同的群体，其关注的目标是不一样的，如广告主，其关注的是曝光的次数、点击的次数以及点击率，对于搜索的用户来说，更关注的是返回的结果与查询是否相关，返回的结果是否有用，而对于广告平台(或搜索引擎)来说，更关注的是收入，为了达到预期收益，平台会进行搜索排序，大多数基于RPM来进行排序，其排序公式如下所示：
eRPM＝bidi*eCTRi*1000
其中，bid是广告主出价(或序位置出价)，eCTR是点击率预估。
由该搜索排序公式可以得知，搜索排序的一个关键因子是点击率预估，点击率预估的越准确，广告平台的曝光利用越充分，平台的营收能力更强。然而事实上点击率预估是存在偏差的，无法预估100％真实的点击率，主要有两方面的原因：一方面新广告不断涌入，曝光较少导致广告排序系统学习能力有偏，从而新广告的点击率预估存在较大的系统偏差；另一方面，CTR(点击率)是不断变化的，点击率是用户在特定的时间对特定的广告的点击概率，由于影响用户点击的向量空间是一个高维空间，因此现有广告的点击率随着状态的变更其点击率也在发生变化。
现有的广告排序或搜索排序中，往往会对点击率预估进行校准，例如点击率预估平滑，点击率预估置信度计算。
所谓点击率预估平滑采用如下公式：
其中，HistoryClick是历史点击，CurrentClick是当前点击，HistoryImpression是历史曝光，CurrentImpression是当前曝光，该方法考量历史点击、历史曝光和当前点击、当前曝光之间的关系，加入了平滑因子α，从而使得当前预估的eCTR更趋向于真实CTR。该方法有多种变形，但从贝叶斯思想考量，平滑的思想是使用历史CTR作为先验知识，来更新当下数据的表现。贝叶斯平滑实现的目标是拟合点击率的分布(为Beta分布)，即通过改变两个参数α和β来拟合CTR的真实分布，变形后的平滑公式如下所示：
其中α和β分别表征点击数和曝光数。
所谓点击率预估置信度计算，其基本思想是统计广告的展现次数和被点击次数，根据所述展现次数和被点击次数计算所述广告点击率的置信区间，按照正态分布从所述置信区间内采样一个值作为广告点击率的预估值。例如，计算广告点击率95％置信度的置信区间的方式可以采用下式计算：
其中，n为展现次数；为点击次数除以展现次数。
这些现有的点击率预估校准方法存在如下缺陷：
(1)点击率预估衡量的是单次曝光下用户对特定广告的点击概率。由于广告系统流量的不稳定等因素，用历史数据(即模型训练数据)来平滑或者计算点击率预估，由于模型训练数据不符合独立同分布的假设，因此置信区间不具备参考价值。
(2)点击率预估的偏差理论上是eCTR的函数，即bias＝f(CTR)，其前提是模型训练数据独立同分布的假设，以及机器学习算法能完全准确的学习到数据中的知识的假设，然而由于各种限制，这两个假设在实际情况中很难保证，所以始终无法预估100％真实的点击率。因此，对于搜索排序使用的RPM基础排序公式：
RPM＝eCTR*bid，
存在全局的优化空间，即：
RPM＝f(CTR,bid)。
由此看出，广告平台的曝光利用和营收能力存在优化空间，本申请提出了一种用于优化搜索排序的方法，在广告排序或者搜索排序中得到更准确的RPM排序，从而提升广告平台的变现能力。
所述步骤S101，在搜索排序基础公式中引入超参数，得到搜索排序扩展公式。
本步骤的目的是，使用超参数对搜索排序基础公式进行扩展，得到搜索排序扩展公式。
本申请实施例中，具体的所述搜索排序为RPM排序；所述搜索排序基础公式为RPM基础排序公式，即：
RPM＝eCTR*bid
其中，eCTR是点击率预估，bid是广告主出价或序位置出价。
所述超参数，是机器学习在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据，通常需要对超参数进行优化，从而选择一组优选超参数，提高机器学习的性能和效果。
本实施例中引入两个超参数：点击率预估校准因子和全局调控因子，对所述RPM基础排序公式进行变形，得到RPM扩展排序公式。引入点击率预估校准因子的原因是：eCTR(即点击率预估)和RPM是直接线性关系，因此通过直接校准eCTR来优化RPM排序。然而，eCTR始终无法逼近CTR的真实值，因此引入全局调控因子，通过全局调控得到优化的RPM排序。
另外，本实施例中，优化搜索排序的方法中，将最大化搜索排序序关系准确度指标作为优化目标函数，其中，所述搜索排序序关系准确度指标，是根据训练样本的损失函数构造的RPM序关系准确度指标AUCrpm。
现有的广告排序准确度度量指标为离线指标度量，例如AUC指标或AUC加权指标，LogLoss指标，但其本质和本申请提出的评测指标AUCrpm有区别。
所谓AUC，是广告系统中点击率预估常用的离线指标，一般衡量点击率预估序的准确度。该指标的含义是ROC曲线下面积，如图4所示，其数学表示如下所示：
其中y轴表示真正率，而x轴表示假正率。
所谓真正率和假正率是模型预测样本的灵敏度(sensitivity)，被模型预测为正的正样本为真正(True Positive，或TP)，被模型预测为负的负样本为真负(TrueNegative，或TN)，被模型预测为正的负样本为假正(False Positive，或FP)，被模型预测为正的负样本为假正(False Positive，或FP)，被模型预测为负的正样本为假负(FalseNegative，或FN)，则真正率(True Positive Rate，或TPR)为正样本预测结果数除以正样本实际数，即：
TPR＝TP/(TP+FN)；
假正率(False Positive Rate，或FPR)为被预测为正的负样本结果数除以负样本实际数，即：
FPR＝FP/(FP+TN)。
所述AUC指标只反映了模型的整体性能，看不出在不同点击率区间上的误差情况，并且没有反映预测精度，例如，如果对一个模型的点击率统一乘以一个系数，AUC不会变化，但显然模型预测的值和真实值之间的偏差扩大了；而在广告系统中，由于序位置出价因素的引入，需要预估eCTR值或者RPM值的准确性，而AUC指标衡量eCTR的序关系的准确度，其和RPM之间是既不充分也不必要的关系。
所谓LogLoss指标是广告系统中点击率预估中常用的另一个指标，其反应的是预估值的整体准确性，其数学表达式如下：
其中N为全部样本，yi∈{0,1}为样本的标签，例如，第i个样本为正样本时yi为1，该样本为负样本时yi值为0，pi为预估的点击率。
所述LogLoss指标衡量的是预估整体值的准确度，但是LogLoss在正负样本不均衡的情况下没有实际意义。举例来说，整个样本集合有1万正样本和99万负样本，而预估值全部趋向于负样本则对应的LogLoss比较小，显然这样的预估是没有什么实际意义的。
本实施例构造的RPM序关系准确度指标AUCrpm具体通过下述方式定义：
根据训练样本的预估排序与实际点击排序不一致而产生的预估排序错误得到预估排序损失；
使用所述预估排序损失的最大值作为归一化因子，对所述预估排序损失进行归一化运算得到AUCrpm；其中，所述归一化运算采用下述公式：AUCrpm等于所述归一化因子减去预估排序损失，得到的差值再除以归一化因子。
所述损失函数，是评估预估排序与真实排序的不一致程度的函数，例如，本实施例中根据训练样本的预估排序与实际点击排序不一致而产生的预估排序错误得到预估排序损失，上述方法构造的AUCrpm，能直接衡量RPM预估的准确度，并能很好的避免现有的这些离线评价指标的缺陷，当AUCrpm值越大，表明预估排序损失越小，理想状态是AUCrpm为1，这表明排序完全符合真实点击情况而损失为0，说明，则因此广告排序平台收益越高，变现能力越强。
本实施例的所述训练样本，由资源的曝光点击日志中获得，包括正样本和负样本，其中，用户看到该资源为一个训练样本，用户看到该资源并进行了点击为正样本，用户看到该资源未进行点击，是负样本。
所述全局调控因子，用于全局调控，通过使得训练样本的RPM序关系准确度指标AUCrpm达到最大值，从而得到优化RPM排序的全局调控因子；
所述点击率预估校准因子，用于使得点击率预估逼近真实点击率，通过基于训练样本分段调节点击率预估的系统偏差，从而得到优化RPM排序的点击率预估校准因子。
所述步骤S102，根据所述搜索排序扩展公式，使用训练样本进行计算，通过最大化搜索排序序关系准确度指标，得到用于优化搜索排序的优选超参数。
本步骤的目的是根据训练样本离线计算得到用于优化在线计算搜索排序的超参数。
本实施例中，引入了点击率预估校准因子和全局调控因子两个超参数，所述RPM扩展排序公式，采用如下公式：
使用点击率预估校准因子对点击率预估进行校准，包括取二者之和作为校准后的点击率预估；
以所述校准后的点击率预估为底数，将全局调控因子作为其指数，计算得到进行全局调控后的点击率预估；
将所述全局调控后的点击率预估和序位置出价之积作为RPM。
除此之外，所述RPM基础排序公式，采用：RPM等于点击率预估乘以序位置出价；所述RPM扩展排序公式，也可以采用：RPM等于点击率预估和所述点击率预估校准因子之和在乘以序位置出价。
所述点击率预估校准因子，通过基于训练样本分段调节点击率预估的系统偏差，从而得到优化RPM排序的点击率预估校准因子，点击率预估的准确度和RPM之间呈现正相关的关系，即点击率预估越准RPM理论上是越大的。因此，为了追求最终目标(RPM)需要尽可能的使得预估的点击率逼近真实点击率。然而由于数据的不充分性等因素，点击率预估的偏差始终存在。超参数点击率预估校准因子的引入实际上是加入人工经验来辅助机器训练，从而一定程度上解决预估的偏差。本申请提出了一种分段校准的策略，包括：将样本按照eCTR等距分桶(根据数据的分布可调整分桶的个数)，然后计算每个桶内的eCTR的平均值和统计值，图2示出了其计算流程，具体包括下述处理：
步骤S201，将训练样本按照点击率预估分桶；
步骤S202，点击率预估校准目标为，使得各桶内的训练样本的点击率预估平均值和实际点击率统计值之差的平方和最小，从而计算出各个桶的点击率预估校准因子；其中，所述点击率预估的平均值计算公式为：桶内的所有样本的点击率预估求和后，再除以桶内的样本数；所述实际点击率统计值计算公式为：实际点击总数量，除以页面访问总数量。
其中，页面访问量(Page View，或PV)，是网页被浏览的总次数，也是反映网页受欢迎程度的一个重要指标。所述将训练样本按照点击率预估分桶，包括采用下述方法：
将点击率预估百分位大于0.95的那些点击率预估放到最后一个桶中；
其他点击率预估进行等距分桶。
这样处理的目的是，使得最后一个桶的样本数能足够置信。
本实施例中，采用人工经验确定桶的数量。
举例如下：
每个桶的eCTR平均值计算公式：
和
每个桶的统计值用hCTR表示，计算公式：
图5示出了两份数据集各自的eCTR平均值和统计值的偏差，分别看图示的两份数据的离散点曲线和连续线的偏差；预估完全准确的情况下，两条线应该重合。
点击率预估校准的目标为：
其中，n为分桶的个数，xi,yi分别是桶eCTR平均值和统计hCTR。因此，可分段求得对应的α＝(α1,…,αn)其中n为分桶的个数。
所述全局调控因子，通过使得训练样本的RPM序关系准确度指标达到最大值，从而得到优化RPM排序的全局调控因子，包括：
采取剪枝策略和启发式策略计算出所述全局调控因子。
图3示出了全局调控因子的计算步骤包括下述处理：
步骤S301，根据人工经验确定所述全局调控因子的范围和遍历步长；
步骤S302，按照所述遍历步长，在所述全局调控因子的范围内，基于所述训练样本计算得出当RPM序关系准确度指标AUCrpm取得最大值时的优选全局调控因子。
本实施例中，使用上述点击率预估校准因子对eCTR进行校准：
eCTR′＝eCTR+α，
其中α为上一步求得的点击率预估校准因子的优化值。
全局调控因子的作用是在全局调控，本实施例的调控目标为使得训练样本的AUCrpm最大，即：
max RPM＝max f(eCTR,bid)
＝max(eCTR+α)β*bid
≈max AUCrpm
其中，β为全局调控因子，终求得的β的值为β＝(β1,…,βn)其中n为上述求解点击率预估校准因子的步骤中的分桶个数，βi∈R，此问题解空间比较大，因此采取剪枝策略和启发式策略求解β。
具体求解过程举例如下：
βi的下界minβi和上界maxβi根据经验值剪枝，遍历步长人工经验定位0.05，并以校准后的eCTR校准序列作为输入，对n个桶分别进行计算，每个桶计算时要以0.05的步长遍历minβi和maxβi，计算各个桶的AUCrpm最大值，该最大值所对应的βi取值即使该桶的优化的全局调控因子，逐步计算出各个桶的优化的全局调控因子。
所述步骤S103，使用所述优选超参数对搜索排序进行优化。
本步骤的目的是，使用步骤S102获得的优选超参数，在线计算搜索排序，从而达到对搜索排序的优化目的。
本申请实施例中，使用所述优选超参数对搜索排序进行优化，包括：使用所述优选超参数，在线计算RPM排序。具体的，在得到了点击率预估校准因子和全局调控因子的优选取值后，使用所述优选取值，在线计算RPM排序，由此得到更高精确度的RPM值，因此获得的RPM排序准确度也更高。
以本申请提供的上述用于优化搜索排序的方法的实施例为基础，本申请还提供了一种用于评估搜索排序序关系准确性的方法的实施例。
以下结合图6至图8说明本申请提供的所述用于评估搜索排序序关系准确性的方法的实施例。图6示出了本申请提供的所述用于评估搜索排序序关系准确性的方法的处理流程图，图7示出了本申请提供的所述用于评估搜索排序序关系准确性的方法所包含的单个训练样本的排序损失计算流程图，图8示出了本申请提供的所述用于评估搜索排序序关系准确性的方法所包含的基于损失函数角度阐述AUCrpm的原理示意图。
由于本实施例以上述实施例为基础，所以描述得比较简单，仅仅是示意性的描述，相关的部分请参考上述方法实施例的对应说明即可。
本申请提供一种用于评估搜索排序序关系准确性的方法，包括：
步骤S601，根据训练样本的预估排序与实际点击排序不一致而产生的预估排序错误得到预估排序损失，从而确定训练样本的损失函数；
步骤S602，根据所述损失函数构造搜索排序序关系准确度指标AUCrpm；
步骤S603，使用AUCrpm评估在线广告排序或在线搜索排序的序关系准确性；其中，所述损失函数，是评估预估排序与真实排序的不一致程度的函数。
根据训练样本的预估排序与实际点击排序不一致而产生的预估排序错误得到预估排序损失，从而确定训练样本的损失函数，再根据损失函数构造搜索排序的序关系准确度指标，由上述方法构造的序关系准确度指标能直接评估搜索排序的准确度，并能很好的避免现有的这些离线评价指标的缺陷。具体到本申请实施例，所述搜索排序为RPM排序，构造的序关系准确度指标为评估RPM排序准确度的AUCrpm，该指标能直接衡量RPM预估的准确度，当AUCrpm值越大，表明预估排序损失越小，理想状态是AUCrpm为1，这表明排序完全符合真实点击情况而损失为0，说明，则因此广告排序平台收益越高，变现能力越强。
所述AUCrpm，是通过下述方式定义的：
使用所述预估排序损失的最大值作为归一化因子，对所述预估排序损失进行归一化运算得到AUCrpm；
其中，所述归一化运算采用下述公式：AUCrpm等于所述归一化因子减去预估排序损失，得到的差值再除以归一化因子。
具体的，所述预估排序，包括下述任一排序方式：
根据训练样本的点击率预估进行排序，从而得到预估值序列；或者，
使用序位置出价作为加权因子，在训练样本的点击率预估基础上得到RPM预估，并根据RPM预估进行排序，从而得到预估值序列；其中，所述RPM预估等于训练样本的点击率预估乘以序位置出价。
本申请实施例的所述损失函数，是根据所述预估值序列的排序错误，通过对各训练样本的排序损失进行加和得到该预估值序列的预估排序损失，其中，采用下述方式得到所述训练样本的排序损失，参见图7，包括：
步骤S701，针对训练样本，按照所述预估值序列中的排序，将该训练样本与除其自身外的其余各样本的预估值分别组成该训练样本的样本序列对；其中，所述样本序列对，是该训练样本和另一个样本的预估值排序；
步骤S702，使用样本序列对的预估值各自对应的实际点击排序计算该样本序列对的排序损失；
步骤S703，训练样本的所有样本序列对的排序损失之和为该训练样本的排序损失。
具体的，所述预估值序列，是对预估值按照降序或者升序进行排序得到的序列。所述实际点击排序，是训练样本实际点击率排序，或者是训练样本实际点击结果排序；其中所述实际点击结果包括点击或者未点击。
其中，所述使用样本序列对的预估值各自对应的实际点击结果计算该样本序列对的排序损失，包括下述任一处理：
所述样本序列对是从降序排序的预估值序列中得到，实际点击结果是未点击而预估值排在实际点击结果为点击的预估值的前面，则是错误排序，该样本序列对的排序损失值为1；或者，
所述样本序列对是从降序排序的预估值序列中得到，将各样本的序位置出价乘以各自的实际点击结果作为各自的点击结果扩展值，低点击结果扩展值所对应的预估值排在了高点击结果扩展值的预估值前面，则是排序错误，该样本序列对的排序损失为高点击结果扩展值减去低点击结果扩展值；或者，
所述预估序列为降序排序，并且按照训练样本实际点击率排序判断是否存在排序错误，则低实际点击率的样本排在高实际点击率的样本前面为错误排序，其排序损失值等于高实际点击率减去低实际点击率。
除此之外，本申请实施例的所述用于评估搜索排序序关系准确性的方法，还包括通过最大化所述AUCrpm以确定较低的预估排序损失，从而对搜索排序进行优化。
下面从损失函数的角度举例阐述AUCrpm的原理及其求解过程：
给定训练样本的eCTR预估序列：
{eCTR1,eCTR2,…,eCTRn}，其中eCTRi-1≥eCTRi，
则排序损失组合方式见表1，其中，clickno表示未点击；clickyes表示点击，若某训练样本实际点击了但是其eCTR预估排序却排在了未点击的训练样本后面，这是排序错误，导致排序损失，损失值为1。
表1 排序损失组合方式
类别 损失
(clickno,clickno) 0
(clickno,clickyes) 1
(clickyes,clickno) 0
(clickyes,clickyes) 0
则计算该eCTR预估序列的排序损失的过程包括如下处理：
(1)构造eCTR预估序列：
{(eCTR1,click),(eCTR2,click),…,(eCTRn,click}，其中click∈{0,1}，并按照eCTR降序排列该序列；
(2)按照图7所示的步骤计算单个训练样本i的排序损失，即将i与其之后的第j个样本组成样本序列对，i的eCTR排在j的eCTR之前，将j和i各自的点击结果(点击或未点击)之差作为i和j排序时的排序损失，针对所有的排序在i之后的样本分别与i组成样本排序对，每个样本排序对的排序损失之和即为i样本的排序损失，对该eCTR预估序列对应的所有样本的排序损失求和即为该eCTR预估序列的排序损失，用如下伪代码表示上述逻辑计算：
for i in 1:n
for j in i:n
lossi+＝clickj-clicki；
End
；
(3)用上述排序损失的最大值作为归一化因子Z，对该排序损失进行归一化运算，作为的序准确度衡量指标AUCrpm的基础形式，用AUCorg表示，则：
其中Z表示其值逻辑上等于(M*N)，其中M为正样本个数N为负样本个数；图8示出了上述AUCrpm的基础形式的构造原理示意图。
引入序位置出价后，上述损失函数的定义需要进行扩展，例如，用bidprice表示序位置出价，从损失函数的角度来说，AUCrpm的损失有四种组合方式，如表2所示，表2为AUCrpm的损失组合。
表2 AUCrpm的损失组合
类别 损失
(clickno,bidprice1)(clickno,bidprice2) 0
(clickno,bidprice1)(clickyes,bidprice2) bidprice2
(clickyes,bidprice1)(clickno,bidprice2) 0
(clickyes,bidprice1)(clickyes,bidprice2) max(bidprice2-bidprice1,0)
按照上述AUCrpm的基础形式的构造原理引入bidprice后构造AUCrpm，用于衡量在线广告排序或在线搜索排序的RPM排序序关系准确性，所述构造过程包括如下处理：
(1)构造eRPM预估序列：
{(eCTR1*bidprice1,click1,bidprice1),…,}，
其中clicki∈{0,1}，并按照eRPM＝eCTRi*bidpricei降序排列该序列；
(2)用如下伪代码表示的逻辑计算上述eCTR预估序列的排序损失：
for i in 1:n
for j in i:n
lossi+＝max(clickj*bidpricej-clicki*bidpricej,0)
End
其中，初始化lossi＝0i∈[1,n]；
(3)用上述排序损失的最大值作为归一化因子Z，对该排序损失进行归一化运算，作为的序准确度衡量指标AUCrpm，即：
其中Z表示其值逻辑上等于完全错误排序对应的损失之和即预估排序是降序序列，而实际排序结果却是clicki*bidpricei升序排列。
基于上述本申请提供的用于优化搜索排序的方法的实施例和用于评估搜索排序序关系准确性的方法的实施例，本申请还提供了一种搜索排序优化系统的实施例。下面结合图9至10说明本申请提供的一种搜索排序优化系统的实施例。其中，图9是本申请所述搜索排序优化系统示意图；图10是本申请所述搜索排序优化系统实际部署的系统框架示意图。
由于本实施例以上述实施例为基础，所以描述得比较简单，仅仅是示意性的描述，相关的部分请参考上述方法实施例的对应说明即可。
本申请提供一种搜索排序优化系统，包括：
离线词典模块和在线计算搜索排序模块；其中，
离线词典模块901，用于获取模型参数和超参数，提供给在线计算搜索排序模块使用；
在线计算搜索排序模块902，用于使用所述模型参数和所述超参数，在线计算RPM，得到RPM排序；其中，所述超参数，包括下述任一参数：点击率预估校准因子和全局调控因子。
本申请实施例提供的所述搜索排序优化系统，通过采集离线数据，构造出直接评估RPM的AUCrpm指标，并通过该指标离线获得用于搜索排序的优选超参数，将离线获得的超参数用于在线计算RPM排序，从而对搜索排序进行优化，提升离线模型的迭代效率，实际应用中整套流程的系统框架参见图10。
具体的，所述离线词典模块901，包括：点击率预估模型训练子模块901-1，用于对多维度特征的离线样本数据进行训练，获取各维度特征的权重值，作为所述模型参数；所述模型参数，至少包括：点击率预估，排序的序位置出价，以及曝光后实际点击结果，其中，所述曝光后实际点击结果包括点击或未点击。
另外，所述离线词典模块901，包括：点击率预估校准子模块901-2，用于根据所述模型参数，采用分段校准策略计算点击率预估校准因子，得到的点击率预估校准因子用于对点击率预估进行校准，或者用于优化RPM排序。
另外，所述离线词典模块901，包括：全局调控因子确定子模块901-3，用于根据所述点击率预估校准因子和所述模型参数，以使得AUCrpm最大化为调控目标，采用剪枝策略和启发策略，计算出全局调控因子，得到的全局调控因子用于优化RPM排序。
除此之外，所述在线计算搜索排序模块902，包括：在线算分子模块902-1，用于根据所述模型参数，在线计算出点击率预估。
本申请实施例中将上述获取到的参数用于在线计算RPM值时，其中所述在线计算搜索排序模块，还包括将在线计算出的点击率预估与点击率预估校准因子之和作为校准后的点击率预估，以所述校准后的点击率预估为底数，并以全局调控因子为其指数得到全局调控后的校准因子，将所述全局调控后的校准因子与序位置出价之积作为在线计算得到的RPM，用于进行在线RPM排序。
与本申请提供的一种用于优化搜索排序的方法的实施例相对应，本申请还提供了一种用于优化搜索排序的装置。
参照图11，其示出了本申请提供的一种用于优化搜索排序的装置示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的部分请参见方法实施例的对应说明即可。下述描述的装置实施例仅仅是示意性的。
本申请提供一种用于优化搜索排序的装置，包括：
排序公式扩展单元1101，用于在搜索排序基础公式中引入超参数，得到搜索排序扩展公式；
超参数计算单元1102，用于根据所述搜索排序扩展公式，使用训练样本进行计算，通过最大化搜索排序序关系准确度指标，得到用于优化搜索排序的优选超参数；
优化单元1103，用于使用所述优选超参数对搜索排序进行优化。
可选的，所述搜索排序为RPM排序；所述搜索排序基础公式为RPM基础排序公式；所述搜索排序扩展公式为RPM扩展排序公式；所述搜索排序序关系准确度指标，是根据训练样本的损失函数构造的RPM序关系准确度指标AUCrpm。
可选的，所述训练样本，由资源的曝光点击日志中获得，包括正样本和负样本，其中，用户看到该资源为一个训练样本，用户看到该资源并进行了点击为正样本，用户看到该资源未进行点击，是负样本。
可选的，优化单元1103，包括在线计算子单元，用于使用所述优选超参数，在线计算RPM排序。
可选的，所述优化搜索排序的装置，还包括搜索排序序关系准确度指标确定单元，用于通过下述方式定义AUCrpm：
根据训练样本的预估排序与实际点击排序不一致而产生的预估排序错误得到预估排序损失；
使用所述预估排序损失的最大值作为归一化因子，对所述预估排序损失进行归一化运算得到AUCrpm；其中，所述归一化运算采用下述公式：AUCrpm等于所述归一化因子减去预估排序损失，得到的差值再除以归一化因子。
可选的，所述超参数，至少包括下述任一参数：
全局调控因子，用于全局调控，通过使得训练样本的RPM序关系准确度指标AUCrpm达到最大值，从而得到优化RPM排序的全局调控因子；
点击率预估校准因子，用于使得点击率预估逼近真实点击率，通过基于训练样本分段调节点击率预估的系统偏差，从而得到优化RPM排序的点击率预估校准因子。
可选的，所述超参数计算单元1102，还包括全局调控因子计算子单元，用于采取剪枝策略和启发式策略，通过使得训练样本的RPM序关系准确度指标AUCrpm达到最大值，从而得到优化RPM排序的全局调控因子。
可选的，所述采取剪枝策略和启发式策略计算出所述全局调控因子，包括下述处理：
根据人工经验确定所述全局调控因子的范围和遍历步长；
按照所述遍历步长，在所述全局调控因子的范围内，基于所述训练样本计算得出当RPM序关系准确度指标AUCrpm取得最大值时的优选全局调控因子。
可选的，所述超参数计算单元1102，包括点击率预估校准因子计算子单元，用于通过基于训练样本分段调节点击率预估的系统偏差，从而得到优化RPM排序的点击率预估校准因子，包括下述处理：
将训练样本按照点击率预估分桶；
点击率预估校准目标为，使得各桶内的训练样本的点击率预估平均值和实际点击率统计值之差的平方和最小，从而计算出各个桶的点击率预估校准因子；其中，所述点击率预估的平均值计算公式为：桶内的所有样本的点击率预估求和后，再除以桶内的样本数；所述实际点击率统计值计算公式为：实际点击总数量，除以页面访问总数量。
可选的，所述将训练样本按照点击率预估分桶，包括采用下述方法：
将点击率预估百分位大于0.95的那些点击率预估放到最后一个桶中；
其他点击率预估进行等距分桶。
可选的，所述将训练样本按照点击率预估分桶，包括采用人工经验确定桶的数量。
可选的，所述RPM基础排序公式，采用：RPM等于点击率预估乘以序位置出价；所述RPM扩展排序公式，采用：RPM等于点击率预估和所述点击率预估校准因子之和在乘以序位置出价。
可选的，所述RPM扩展排序公式，采用如下公式：
使用点击率预估校准因子对点击率预估进行校准，包括取二者之和作为校准后的点击率预估；
以所述校准后的点击率预估为底数，将全局调控因子作为其指数，计算得到进行全局调控后的点击率预估；
将所述全局调控后的点击率预估和序位置出价之积作为RPM。
与本申请提供的一种用于评估搜索排序序关系准确性的方法的实施例相对应，本申请还提供了一种用于评估搜索排序序关系准确性的装置。
参照图12，其示出了本申请提供的一种用于评估搜索排序序关系准确性的装置示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的部分请参见方法实施例的对应说明即可。下述描述的装置实施例仅仅是示意性的。
本申请提供一种用于评估搜索排序序关系准确性的装置，包括：
损失函数确定单元1201，用于根据训练样本的预估排序与实际点击排序不一致而产生的预估排序错误得到预估排序损失，从而确定训练样本的损失函数；
序关系准确度指标构造单元1202，用于根据所述损失函数构造搜索排序序关系准确度指标AUCrpm；
排序评估单元1203，用于使用AUCrpm评估在线广告排序或在线搜索排序的序关系准确性；其中，所述损失函数，是评估预估排序与真实排序的不一致程度的函数。
可选的，所述用于评估搜索排序序关系准确性的装置，还包括优化单元，用于通过最大化所述AUCrpm以确定较低的预估排序损失，从而对搜索排序进行优化。
可选的，所述用于评估搜索排序序关系准确性的装置，还包括AUCrpm构造单元，用于通过下述方式定义所述AUCrpm：
使用所述预估排序损失的最大值作为归一化因子，对所述预估排序损失进行归一化运算得到AUCrpm；
其中，所述归一化运算采用下述公式：AUCrpm等于所述归一化因子减去预估排序损失，得到的差值再除以归一化因子。
可选的，所述预估排序，包括下述任一排序方式：
根据训练样本的点击率预估进行排序，从而得到预估值序列；或者，
使用序位置出价作为加权因子，在训练样本的点击率预估基础上得到RPM预估，并根据RPM预估进行排序，从而得到预估值序列；其中，所述RPM预估等于训练样本的点击率预估乘以序位置出价。
可选的，所述损失函数，是根据所述预估值序列的排序错误，通过对各训练样本的排序损失进行加和得到该预估值序列的预估排序损失，其中，采用下述方式得到所述训练样本的排序损失：
针对训练样本，按照所述预估值序列中的排序，将该训练样本与除其自身外的其余各样本的预估值分别组成该训练样本的样本序列对；其中，所述样本序列对，是该训练样本和另一个样本的预估值排序；
使用样本序列对的预估值各自对应的实际点击排序计算该样本序列对的排序损失；
训练样本的所有样本序列对的排序损失之和为该训练样本的排序损失。
可选的，所述预估值序列，是对预估值按照降序或者升序进行排序得到的序列。
可选的，所述实际点击排序，是训练样本实际点击率排序，或者是训练样本实际点击结果排序；其中所述实际点击结果包括点击或者未点击。
可选的，所述使用样本序列对的预估值各自对应的实际点击结果计算该样本序列对的排序损失，包括下述任一处理：
所述样本序列对是从降序排序的预估值序列中得到，实际点击结果是未点击而预估值排在实际点击结果为点击的预估值的前面，则是错误排序，该样本序列对的排序损失值为1；或者，
所述样本序列对是从降序排序的预估值序列中得到，将各样本的序位置出价乘以各自的实际点击结果作为各自的点击结果扩展值，低点击结果扩展值所对应的预估值排在了高点击结果扩展值的预估值前面，则是排序错误，该样本序列对的排序损失为高点击结果扩展值减去低点击结果扩展值；或者，
所述预估序列为降序排序，并且按照训练样本实际点击率排序判断是否存在排序错误，则低实际点击率的样本排在高实际点击率的样本前面为错误排序，其排序损失值等于高实际点击率减去低实际点击率。
本申请还提供了一种用于实现所述用于优化搜索排序的方法的电子设备，参照图13，其示出了本实施例提供的一种电子设备的示意图。
本申请提供的所述电子设备实施例描述得比较简单，相关的部分请参见上述提供的所述用于优化搜索排序的方法的实施例的对应说明即可。下述描述的实施例仅仅是示意性的。
本申请提供一种电子设备，包括：
存储器1301，以及处理器1302；
所述存储器1301用于存储计算机可执行指令，所述处理器1302用于执行所述计算机可执行指令：
在搜索排序基础公式中引入超参数，得到搜索排序扩展公式；
根据所述搜索排序扩展公式，使用训练样本进行计算，通过最大化搜索排序序关系准确度指标，得到用于优化搜索排序的优选超参数；
使用所述优选超参数对搜索排序进行优化。
可选的，所述搜索排序为RPM排序；所述搜索排序基础公式为RPM基础排序公式；所述搜索排序扩展公式为RPM扩展排序公式；所述搜索排序序关系准确度指标，是根据训练样本的损失函数构造的RPM序关系准确度指标AUCrpm。
可选的，所述训练样本，由资源的曝光点击日志中获得，包括正样本和负样本，其中，用户看到该资源为一个训练样本，用户看到该资源并进行了点击为正样本，用户看到该资源未进行点击，是负样本。
可选的，所述处理器1302还用于执行下述计算机可执行指令：使用所述优选超参数，在线计算RPM排序。
可选的，所述AUCrpm，通过下述方式定义：
根据训练样本的预估排序与实际点击排序不一致而产生的预估排序错误得到预估排序损失；
使用所述预估排序损失的最大值作为归一化因子，对所述预估排序损失进行归一化运算得到AUCrpm；其中，所述归一化运算采用下述公式：AUCrpm等于所述归一化因子减去预估排序损失，得到的差值再除以归一化因子。
可选的，所述超参数，至少包括下述任一参数：
全局调控因子，用于全局调控，通过使得训练样本的RPM序关系准确度指标AUCrpm达到最大值，从而得到优化RPM排序的全局调控因子；
点击率预估校准因子，用于使得点击率预估逼近真实点击率，通过基于训练样本分段调节点击率预估的系统偏差，从而得到优化RPM排序的点击率预估校准因子。
可选的，所述处理器1302还用于执行下述计算机可执行指令：采取剪枝策略和启发式策略，通过使得训练样本的RPM序关系准确度指标AUCrpm达到最大值，从而得到优化RPM排序的全局调控因子。
可选的，所述采取剪枝策略和启发式策略计算出所述全局调控因子，包括下述处理：
根据人工经验确定所述全局调控因子的范围和遍历步长；
按照所述遍历步长，在所述全局调控因子的范围内，基于所述训练样本计算得出当RPM序关系准确度指标AUCrpm取得最大值时的优选全局调控因子。
可选的，所述处理器1302还用于执行下述计算机可执行指令：
将训练样本按照点击率预估分桶；
点击率预估校准目标为，使得各桶内的训练样本的点击率预估平均值和实际点击率统计值之差的平方和最小，从而计算出各个桶的点击率预估校准因子；其中，所述点击率预估的平均值计算公式为：桶内的所有样本的点击率预估求和后，再除以桶内的样本数；所述实际点击率统计值计算公式为：实际点击总数量，除以页面访问总数量。
可选的，所述将训练样本按照点击率预估分桶，包括采用下述方法：
将点击率预估百分位大于0.95的那些点击率预估放到最后一个桶中；
其他点击率预估进行等距分桶。
可选的，所述将训练样本按照点击率预估分桶，包括采用人工经验确定桶的数量。
可选的，所述RPM基础排序公式，采用：RPM等于点击率预估乘以序位置出价；所述RPM扩展排序公式，采用：RPM等于点击率预估和所述点击率预估校准因子之和在乘以序位置出价。
可选的，所述RPM扩展排序公式，采用如下公式：
使用点击率预估校准因子对点击率预估进行校准，包括取二者之和作为校准后的点击率预估；
以所述校准后的点击率预估为底数，将全局调控因子作为其指数，计算得到进行全局调控后的点击率预估；
将所述全局调控后的点击率预估和序位置出价之积作为RPM。
本申请还提供了一种用于评估搜索排序序关系准确性的方法的电子设备。
本申请提供的所述电子设备实施例描述得比较简单，相关的部分请参见上述提供的所述用于评估搜索排序序关系准确性的方法的实施例的对应说明即可。下述描述的实施例仅仅是示意性的。
本申请提供一种电子设备，包括：
存储器，以及处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：
根据训练样本的预估排序与实际点击排序不一致而产生的预估排序错误得到预估排序损失，从而确定训练样本的损失函数；
根据所述损失函数构造搜索排序序关系准确度指标AUCrpm；
使用AUCrpm评估在线广告排序或在线搜索排序的序关系准确性；其中，所述损失函数，是评估预估排序与真实排序的不一致程度的函数。
可选的，所述处理器还用于执行下述计算机可执行指令：通过最大化所述AUCrpm以确定较低的预估排序损失，从而对搜索排序进行优化。
可选的，所述AUCrpm，是通过下述方式定义的：
使用所述预估排序损失的最大值作为归一化因子，对所述预估排序损失进行归一化运算得到AUCrpm；
其中，所述归一化运算采用下述公式：AUCrpm等于所述归一化因子减去预估排序损失，得到的差值再除以归一化因子。
可选的，所述预估排序，包括下述任一排序方式：
根据训练样本的点击率预估进行排序，从而得到预估值序列；或者，
使用序位置出价作为加权因子，在训练样本的点击率预估基础上得到RPM预估，并根据RPM预估进行排序，从而得到预估值序列；其中，所述RPM预估等于训练样本的点击率预估乘以序位置出价。
可选的，所述损失函数，是根据所述预估值序列的排序错误，通过对各训练样本的排序损失进行加和得到该预估值序列的预估排序损失，其中，采用下述方式得到所述训练样本的排序损失：
针对训练样本，按照所述预估值序列中的排序，将该训练样本与除其自身外的其余各样本的预估值分别组成该训练样本的样本序列对；其中，所述样本序列对，是该训练样本和另一个样本的预估值排序；
使用样本序列对的预估值各自对应的实际点击排序计算该样本序列对的排序损失；
训练样本的所有样本序列对的排序损失之和为该训练样本的排序损失。
可选的，所述预估值序列，是对预估值按照降序或者升序进行排序得到的序列。
可选的，所述实际点击排序，是训练样本实际点击率排序，或者是训练样本实际点击结果排序；其中所述实际点击结果包括点击或者未点击。
可选的，所述使用样本序列对的预估值各自对应的实际点击结果计算该样本序列对的排序损失，包括下述任一处理：
所述样本序列对是从降序排序的预估值序列中得到，实际点击结果是未点击而预估值排在实际点击结果为点击的预估值的前面，则是错误排序，该样本序列对的排序损失值为1；或者，
所述样本序列对是从降序排序的预估值序列中得到，将各样本的序位置出价乘以各自的实际点击结果作为各自的点击结果扩展值，低点击结果扩展值所对应的预估值排在了高点击结果扩展值的预估值前面，则是排序错误，该样本序列对的排序损失为高点击结果扩展值减去低点击结果扩展值；或者，
所述预估序列为降序排序，并且按照训练样本实际点击率排序判断是否存在排序错误，则低实际点击率的样本排在高实际点击率的样本前面为错误排序，其排序损失值等于高实际点击率减去低实际点击率。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

Claims (27)

1.一种用于优化搜索排序的方法，其特征在于，包括：
在搜索排序基础公式中引入超参数，得到搜索排序扩展公式；
根据所述搜索排序扩展公式，使用训练样本进行计算，通过最大化搜索排序序关系准确度指标，得到用于优化搜索排序的优选超参数，所述训练样本，由资源的曝光点击日志中获得，包括正样本和负样本，其中，用户看到该资源为一个训练样本，用户看到该资源并进行了点击为正样本，用户看到该资源未进行点击，是负样本；
使用所述优选超参数对搜索排序进行优化；
其中，所述搜索排序为RPM排序；所述搜索排序基础公式为RPM基础排序公式；所述搜索排序扩展公式为RPM扩展排序公式；所述搜索排序序关系准确度指标，是根据训练样本的损失函数构造的RPM序关系准确度指标AUCrpm。
2.根据权利要求1所述的用于优化搜索排序的方法，其特征在于，所述使用所述优选超参数对搜索排序进行优化，包括：使用所述优选超参数，在线计算RPM排序。
3.根据权利要求1所述的用于优化搜索排序的方法，其特征在于，所述AUCrpm，通过下述方式定义：
根据训练样本的预估排序与实际点击排序不一致而产生的预估排序错误得到预估排序损失；
使用所述预估排序损失的最大值作为归一化因子，对所述预估排序损失进行归一化运算得到AUCrpm；其中，所述归一化运算采用下述公式：AUCrpm等于所述归一化因子减去预估排序损失，得到的差值再除以归一化因子。
4.根据权利要求3所述的用于优化搜索排序的方法，其特征在于，所述超参数，至少包括下述任一参数：
全局调控因子，用于全局调控，通过使得训练样本的RPM序关系准确度指标AUCrpm达到最大值，从而得到优化RPM排序的全局调控因子；
点击率预估校准因子，用于使得点击率预估逼近真实点击率，通过基于训练样本分段调节点击率预估的系统偏差，从而得到优化RPM排序的点击率预估校准因子。
5.根据权利要求4所述的用于优化搜索排序的方法，其特征在于，所述通过使得训练样本的RPM序关系准确度指标AUCrpm达到最大值，从而得到优化RPM排序的全局调控因子，包括：
采取剪枝策略和启发式策略计算出所述全局调控因子。
6.根据权利要求5所述的用于优化搜索排序的方法，其特征在于，所述采取剪枝策略和启发式策略计算出所述全局调控因子，包括下述处理：
根据人工经验确定所述全局调控因子的范围和遍历步长；
按照所述遍历步长，在所述全局调控因子的范围内，基于所述训练样本计算得出当RPM序关系准确度指标AUCrpm取得最大值时的优选全局调控因子。
7.根据权利要求4所述的用于优化搜索排序的方法，其特征在于，所述通过基于训练样本分段调节点击率预估的系统偏差，从而得到优化RPM排序的点击率预估校准因子，包括下述处理：
将训练样本按照点击率预估分桶；
点击率预估校准目标为，使得各桶内的训练样本的点击率预估平均值和实际点击率统计值之差的平方和最小，从而计算出各个桶的点击率预估校准因子；其中，所述点击率预估的平均值计算公式为：桶内的所有样本的点击率预估求和后，再除以桶内的样本数；所述实际点击率统计值计算公式为：实际点击总数量，除以页面访问总数量。
8.根据权利要求7所述的用于优化搜索排序的方法，其特征在于，所述将训练样本按照点击率预估分桶，包括采用下述方法：
将点击率预估百分位大于0.95的那些点击率预估放到最后一个桶中；
其他点击率预估进行等距分桶。
9.根据权利要求8所述的用于优化搜索排序的方法，其特征在于，所述将训练样本按照点击率预估分桶，包括采用人工经验确定桶的数量。
10.根据权利要求4所述的用于优化搜索排序的方法，其特征在于，所述RPM基础排序公式，采用：RPM等于点击率预估乘以序位置出价；所述RPM扩展排序公式，采用：RPM等于点击率预估和所述点击率预估校准因子之和在乘以序位置出价。
11.根据权利要求4所述的用于优化搜索排序的方法，其特征在于，所述RPM扩展排序公式，采用如下公式：
使用点击率预估校准因子对点击率预估进行校准，包括取二者之和作为校准后的点击率预估；
以所述校准后的点击率预估为底数，将全局调控因子作为其指数，计算得到进行全局调控后的点击率预估；
将所述全局调控后的点击率预估和序位置出价之积作为RPM。
12.一种用于评估搜索排序序关系准确性的方法，其特征在于，包括：
根据训练样本的预估排序与实际点击排序不一致而产生的预估排序错误得到预估排序损失，从而确定训练样本的损失函数，所述实际点击排序，是训练样本实际点击率排序，或者是训练样本实际点击结果排序，所述实际点击结果包括点击或者未点击；
根据所述损失函数构造搜索排序序关系准确度指标AUCrpm；
使用AUCrpm评估在线搜索排序的序关系准确性；其中，所述损失函数，是评估预估排序与真实排序的不一致程度的函数；所述搜索排序为RPM排序。
13.根据权利要求12所述的用于评估搜索排序序关系准确性的方法，其特征在于，还包括通过最大化所述AUCrpm以确定较低的预估排序损失，从而对搜索排序进行优化。
14.根据权利要求12所述的用于评估搜索排序序关系准确性的方法，其特征在于，所述AUCrpm，是通过下述方式定义的：
使用所述预估排序损失的最大值作为归一化因子，对所述预估排序损失进行归一化运算得到AUCrpm；
其中，所述归一化运算采用下述公式：AUCrpm等于所述归一化因子减去预估排序损失，得到的差值再除以归一化因子。
15.根据权利要求12所述的用于评估搜索排序序关系准确性的方法，其特征在于，所述预估排序，包括下述任一排序方式：
根据训练样本的点击率预估进行排序，从而得到预估值序列；或者，
使用序位置出价作为加权因子，在训练样本的点击率预估基础上得到RPM预估，并根据RPM预估进行排序，从而得到预估值序列；其中，所述RPM预估等于训练样本的点击率预估乘以序位置出价。
16.根据权利要求15所述的用于评估搜索排序序关系准确性的方法，其特征在于，所述损失函数，是根据所述预估值序列的排序错误，通过对各训练样本的排序损失进行加和得到该预估值序列的预估排序损失，其中，采用下述方式得到所述训练样本的排序损失：
针对训练样本，按照所述预估值序列中的排序，将该训练样本与除其自身外的其余各样本的预估值分别组成该训练样本的样本序列对；其中，所述样本序列对，是该训练样本和另一个样本的预估值排序；
使用样本序列对的预估值各自对应的实际点击排序计算该样本序列对的排序损失；
训练样本的所有样本序列对的排序损失之和为该训练样本的排序损失。
17.根据权利要求16所述的用于评估搜索排序序关系准确性的方法，其特征在于，所述预估值序列，是对预估值按照降序或者升序进行排序得到的序列。
18.根据权利要求16所述的用于评估搜索排序序关系准确性的方法，其特征在于，所述使用样本序列对的预估值各自对应的实际点击结果计算该样本序列对的排序损失，包括下述任一处理：
所述样本序列对是从降序排序的预估值序列中得到，实际点击结果是未点击而预估值排在实际点击结果为点击的预估值的前面，则是错误排序，该样本序列对的排序损失值为1；或者，
所述样本序列对是从降序排序的预估值序列中得到，将各样本的序位置出价乘以各自的实际点击结果作为各自的点击结果扩展值，低点击结果扩展值所对应的预估值排在了高点击结果扩展值的预估值前面，则是排序错误，该样本序列对的排序损失为高点击结果扩展值减去低点击结果扩展值；或者，
所述预估序列为降序排序，并且按照训练样本实际点击率排序判断是否存在排序错误，则低实际点击率的样本排在高实际点击率的样本前面为错误排序，其排序损失值等于高实际点击率减去低实际点击率。
19.一种搜索排序优化系统，其特征在于，包括：离线词典模块和在线计算搜索排序模块；其中，
离线词典模块，用于获取模型参数和超参数，提供给在线计算搜索排序模块使用；所述超参数用于在线计算RPM排序，从而对搜索排序进行优化；
在线计算搜索排序模块，用于使用所述模型参数和所述超参数，在线计算RPM，得到RPM排序；其中，所述超参数，包括下述任一参数：点击率预估校准因子和全局调控因子；
所述离线词典模块，包括：点击率预估模型训练子模块，用于对多维度特征的离线样本数据进行训练，获取各维度特征的权重值，作为所述模型参数；所述模型参数，至少包括：点击率预估，排序的序位置出价，以及曝光后实际点击结果，其中，所述曝光后实际点击结果包括点击或未点击。
20.根据权利要求19所述的搜索排序优化系统，其特征在于，所述离线词典模块，包括：点击率预估校准子模块，用于根据所述模型参数，采用分段校准策略计算点击率预估校准因子，得到的点击率预估校准因子用于对点击率预估进行校准，或者用于优化RPM排序。
21.根据权利要求20所述的搜索排序优化系统，其特征在于，所述离线词典模块，包括：全局调控因子确定子模块，用于根据所述点击率预估校准因子和所述模型参数，以使得AUCrpm最大化为调控目标，采用剪枝策略和启发策略，计算出全局调控因子，得到的全局调控因子用于优化RPM排序。
22.根据权利要求21所述的搜索排序优化系统，其特征在于，所述在线计算搜索排序模块，包括：在线算分子模块，用于根据所述模型参数，在线计算出点击率预估。
23.根据权利要求22所述的搜索排序优化系统，其特征在于，所述在线计算搜索排序模块，将在线计算出的点击率预估与点击率预估校准因子之和作为校准后的点击率预估，以所述校准后的点击率预估为底数，并以全局调控因子为其指数得到全局调控后的校准因子，将所述全局调控后的校准因子与序位置出价之积作为在线计算得到的RPM，用于进行在线RPM排序。
24.一种用于优化搜索排序的装置，其特征在于，包括：
排序公式扩展单元，用于在搜索排序基础公式中引入超参数，得到搜索排序扩展公式；
超参数计算单元，用于根据所述搜索排序扩展公式，使用训练样本进行计算，通过最大化搜索排序序关系准确度指标，得到用于优化搜索排序的优选超参数，所述训练样本，由资源的曝光点击日志中获得，包括正样本和负样本，其中，用户看到该资源为一个训练样本，用户看到该资源并进行了点击为正样本，用户看到该资源未进行点击，是负样本；
优化单元，用于使用所述优选超参数对搜索排序进行优化；
其中，所述搜索排序为RPM排序；所述搜索排序基础公式为RPM基础排序公式；所述搜索排序扩展公式为RPM扩展排序公式；所述搜索排序序关系准确度指标，是根据训练样本的损失函数构造的RPM序关系准确度指标AUCrpm。
25.一种用于评估搜索排序序关系准确性的装置，其特征在于，包括：
损失函数确定单元，用于根据训练样本的预估排序与实际点击排序不一致而产生的预估排序错误得到预估排序损失，从而确定训练样本的损失函数，所述实际点击排序，是训练样本实际点击率排序，或者是训练样本实际点击结果排序，所述实际点击结果包括点击或者未点击；
序关系准确度指标构造单元，用于根据所述损失函数构造搜索排序序关系准确度指标AUCrpm；
排序评估单元，用于使用AUCrpm评估在线搜索排序的序关系准确性；其中，所述损失函数，是评估预估排序与真实排序的不一致程度的函数；所述搜索排序为RPM排序。
26.一种用于实现优化搜索排序的方法的电子设备，其特征在于，包括：
存储器，以及处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：
在搜索排序基础公式中引入超参数，得到搜索排序扩展公式；
根据所述搜索排序扩展公式，使用训练样本进行计算，通过最大化搜索排序序关系准确度指标，得到用于优化搜索排序的优选超参数，所述训练样本，由资源的曝光点击日志中获得，包括正样本和负样本，其中，用户看到该资源为一个训练样本，用户看到该资源并进行了点击为正样本，用户看到该资源未进行点击，是负样本；
使用所述优选超参数对搜索排序进行优化；
其中，所述搜索排序为RPM排序；所述搜索排序基础公式为RPM基础排序公式；所述搜索排序扩展公式为RPM扩展排序公式；所述搜索排序序关系准确度指标，是根据训练样本的损失函数构造的RPM序关系准确度指标AUCrpm。
27.一种用于实现用于评估搜索排序序关系准确性的方法的电子设备，其特征在于，包括：
存储器，以及处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：
根据训练样本的预估排序与实际点击排序不一致而产生的预估排序错误得到预估排序损失，从而确定训练样本的损失函数，所述实际点击排序，是训练样本实际点击率排序，或者是训练样本实际点击结果排序，所述实际点击结果包括点击或者未点击；
根据所述损失函数构造搜索排序序关系准确度指标AUCrpm；
使用AUCrpm评估在线搜索排序的序关系准确性；其中，所述损失函数，是评估预估排序与真实排序的不一致程度的函数；所述搜索排序为RPM排序。
CN201711474923.0A 2017-12-29 2017-12-29 用于优化搜索排序的方法、装置及电子设备 Active CN110020173B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711474923.0A CN110020173B (zh) 2017-12-29 2017-12-29 用于优化搜索排序的方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711474923.0A CN110020173B (zh) 2017-12-29 2017-12-29 用于优化搜索排序的方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN110020173A CN110020173A (zh) 2019-07-16
CN110020173B true CN110020173B (zh) 2023-07-18

Family

ID=67187188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711474923.0A Active CN110020173B (zh) 2017-12-29 2017-12-29 用于优化搜索排序的方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN110020173B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674400B (zh) * 2019-09-18 2022-05-10 北京字节跳动网络技术有限公司 排序方法、装置、电子设备及计算机可读存储介质
CN111143738B (zh) * 2019-11-27 2023-06-09 北京三快在线科技有限公司 资源展示方法、装置、电子设备及存储介质
CN111651704B (zh) * 2020-04-14 2024-01-12 北京齐尔布莱特科技有限公司 一种内容推荐方法、计算设备以及存储介质
CN111783452B (zh) * 2020-06-30 2024-04-02 北京百度网讯科技有限公司 模型训练方法、信息处理方法、装置、设备及存储介质
CN112966577B (zh) * 2021-02-23 2022-04-01 北京三快在线科技有限公司 一种模型训练以及信息提供的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102779136A (zh) * 2011-05-13 2012-11-14 北京搜狗科技发展有限公司 一种信息搜索的方法和装置
CN103793388A (zh) * 2012-10-29 2014-05-14 阿里巴巴集团控股有限公司 搜索结果的排序方法和装置
CN105224959A (zh) * 2015-11-02 2016-01-06 北京奇艺世纪科技有限公司 排序模型的训练方法和装置
CN105528377A (zh) * 2014-10-22 2016-04-27 阿里巴巴集团控股有限公司 搜索结果的处理方法、装置及系统
CN106844371A (zh) * 2015-12-03 2017-06-13 阿里巴巴集团控股有限公司 搜索优化方法和装置
CN107506402A (zh) * 2017-08-03 2017-12-22 北京百度网讯科技有限公司 搜索结果的排序方法、装置、设备及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102779136A (zh) * 2011-05-13 2012-11-14 北京搜狗科技发展有限公司 一种信息搜索的方法和装置
CN103793388A (zh) * 2012-10-29 2014-05-14 阿里巴巴集团控股有限公司 搜索结果的排序方法和装置
CN105528377A (zh) * 2014-10-22 2016-04-27 阿里巴巴集团控股有限公司 搜索结果的处理方法、装置及系统
CN105224959A (zh) * 2015-11-02 2016-01-06 北京奇艺世纪科技有限公司 排序模型的训练方法和装置
CN106844371A (zh) * 2015-12-03 2017-06-13 阿里巴巴集团控股有限公司 搜索优化方法和装置
CN107506402A (zh) * 2017-08-03 2017-12-22 北京百度网讯科技有限公司 搜索结果的排序方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN110020173A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
CN110020173B (zh) 用于优化搜索排序的方法、装置及电子设备
US7853599B2 (en) Feature selection for ranking
WO2016058485A2 (zh) 用于计算排序分及建立模型的方法、装置及商品推荐系统
AU2006332522B2 (en) Using estimated ad qualities for ad filtering, ranking and promotion
US8484077B2 (en) Using linear and log-linear model combinations for estimating probabilities of events
US20110191170A1 (en) Similarity function in online advertising bid optimization
US20120023043A1 (en) Estimating Probabilities of Events in Sponsored Search Using Adaptive Models
CN106251174A (zh) 信息推荐方法及装置
EP2860672A2 (en) Scalable cross domain recommendation system
US20090132336A1 (en) Online Advertiser Acquisition And Valuation
CN105740386B (zh) 基于排序集成的论文搜索方法及装置
US11966949B2 (en) Systems and methods for targeting bid and position for a keyword
US20110191169A1 (en) Kalman filter modeling in online advertising bid optimization
EP3371764A1 (en) Systems and methods for pricing optimization with competitive influence effects
US11861664B2 (en) Keyword bids determined from sparse data
CN107766573B (zh) 基于数据处理的商品推荐方法、装置、设备和存储介质
CN112487283A (zh) 训练模型的方法、装置、电子设备及可读存储介质
EP3221801A1 (en) Offline evaluation of ranking functions
US20230128579A1 (en) Generative-discriminative ensemble method for predicting lifetime value
CN109783709B (zh) 一种基于马尔可夫决策过程和k-最近邻强化学习的排序方法
CN109523296B (zh) 用户行为概率分析方法及装置、电子设备、存储介质
CN115841345A (zh) 跨境大数据智能化分析方法、系统以及存储介质
JP6203313B2 (ja) 特徴選択装置、特徴選択方法およびプログラム
Bidhan et al. Estimation of reliability parameters of software growth models using a variation of Particle Swarm Optimization
US10235630B1 (en) Model ranking index

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40010855

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240207

Address after: Room 01, 45th Floor, AXA Building, 8 Shanton Road, Singapore

Patentee after: Alibaba Singapore Holdings Ltd.

Country or region after: Singapore

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Patentee before: ALIBABA GROUP HOLDING Ltd.

Country or region before: Cayman Islands

TR01 Transfer of patent right