CN110634006B - 广告点击率的预测方法、装置、设备及可读存储介质 - Google Patents

广告点击率的预测方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN110634006B
CN110634006B CN201810653925.4A CN201810653925A CN110634006B CN 110634006 B CN110634006 B CN 110634006B CN 201810653925 A CN201810653925 A CN 201810653925A CN 110634006 B CN110634006 B CN 110634006B
Authority
CN
China
Prior art keywords
value
prediction model
click
slice
normalized entropy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810653925.4A
Other languages
English (en)
Other versions
CN110634006A (zh
Inventor
梁徽科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN201810653925.4A priority Critical patent/CN110634006B/zh
Publication of CN110634006A publication Critical patent/CN110634006A/zh
Application granted granted Critical
Publication of CN110634006B publication Critical patent/CN110634006B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种广告点击率的预测方法、装置、设备及可读存储介质，该方法包括：获取预测模型对训练样本进行预测的预测点击信息和真实点击信息；根据预测点击信息和真实点击信息计算切片归一化熵值；根据切片归一化熵值对预测模型进行评估；若预测模型的评估结果满足优化的预测模型条件，则采用预测模型对广告点击率进行预测。由于切片归一化熵能够真实的反映每个训练样本在各个类别中的预测点击情况，所以采用切片归一化熵对预测模型进行评估，能够获得更准确的评估结果，并且适用于预测模型在预测值整体高于真实值很大的情况。所以采用符合评估条件的预测模型对广告点击率进行预测时，能够提高预测结果的准确性。

Description

广告点击率的预测方法、装置、设备及可读存储介质
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种广告点击率的预测方法、装置、设备及可读存储介质。
背景技术
计算广告是根据给定用户和网页内容通过计算得到与之最为匹配的广告并进行精准定向投放的一种广告投放机制。互联网计算广告产业链中包括三类角色，分别为广告主，广告传媒及用户。三方利益交互过程中，广告点击率是三方获取利益的重要核心，也是精准投放广告，最大化广告主，用户利益的重要环节。
广告点击率的预测方法主要是根据用户网络浏览或搜索行为，以及页面的内容，通过预测模型预测用户对页面广告的点击率，以选择点击率预测值较高的广告进行投放。
现有的广告点击率预测模型中主要有逻辑回归模型，贝叶斯模型等。对这些预测模型进行训练优化时，主要采取AUC方法来评估预测模型的优劣。但是预测模型在预测值整体高于真实值很大的时候，AUC的值并不能很好的评估预测模型的优劣，进而导致广告点击率的预测结果有较低的准确率。
发明内容
本发明实施例提供一种广告点击率的预测方法、装置、设备及可读存储介质，该方法解决了现有技术中对预测模型的评估方法不能很好的评估预测模型的优劣，进而导致广告点击率的预测结果有较低的准确率的技术问题。
第一方面，本发明实施例提供一种广告点击率的预测方法，包括：
获取预测模型对训练样本进行预测的预测点击信息和真实点击信息；
根据所述预测点击信息和所述真实点击信息计算切片归一化熵值；
根据所述切片归一化熵值对所述预测模型进行评估；
若所述预测模型的评估结果满足优化的预测模型条件，则采用所述预测模型对广告点击率进行预测。
进一步地，如上所述的方法，所述根据预测点击信息和真实点击信息计算切片归一化熵值，具体包括：
根据预测点击信息计算训练样本在对应类别中的预测点击值；
根据真实点击信息计算训练样本在对应类别中的真实点击值；
将所述预测点击值与所述真实点击值的商确定为所述切片归一化熵值。
进一步地，如上所述的方法，所述根据所述切片归一化熵值对所述预测模型进行评估，具体包括：
将所述切片归一化熵值与第一预设阈值进行比较；
若所述切片归一化熵值小于或等于第一预设阈值，则确定所述预测模型的评估结果满足优化的预测模型条件；
若所述切片归一化熵值大于所述第一预设阈值，则确定所述预测模型的评估结果不满足优化的预测模型条件。
进一步地，如上所述的方法，所述获取预测模型对训练样本进行预测的预测点击信息和真实点击信息之后，还包括：
根据所述预测点击信息和所述真实点击信息计算AUC值。
进一步地，如上所述的方法，所述根据所述切片归一化熵值对所述预测模型进行评估之后，还包括：
根据所述AUC值对所述预测模型进行评估；
若所述切片归一化熵值小于或等于所述第一预设阈值且所述AUC值大于或等于第二预设阈值，则确定所述预测模型的评估结果满足优化的预测模型条件；
若所述切片归一化熵值大于所述第一预设阈值或所述AUC值小于所述第二预设阈值，则确定所述预测模型的评估结果不满足优化的预测模型条件。
第二方面，本发明实施例提供一种广告点击率的预测装置，包括：
信息获取模块，用于获取预测模型对训练样本进行预测的预测点击信息和真实点击信息；
切片归一化熵值计算模块，用于根据所述预测点击信息和所述真实点击信息计算切片归一化熵值；
第一预测模型评估模块，用于根据所述切片归一化熵值对所述预测模型进行评估；
点击率预测模块，用于若所述预测模型的评估结果满足优化的预测模型条件，则采用所述预测模型对广告点击率进行预测。
进一步地，如上所述的装置，所述切片归一化熵值计算模块，具体用于：
根据预测点击信息计算训练样本在对应类别中的预测点击值；根据真实点击信息计算训练样本在对应类别中的真实点击值；将所述预测点击值与所述真实点击值的商确定为所述切片归一化熵值。
进一步地，如上所述的装置，所述第一预测模型评估模块，具体用于：
将所述切片归一化熵值与第一预设阈值进行比较；若所述切片归一化熵值小于或等于第一预设阈值，则确定所述预测模型的评估结果满足优化的预测模型条件；若所述切片归一化熵值大于所述第一预设阈值，则确定所述预测模型的评估结果不满足优化的预测模型条件。
进一步地，如上所述的装置，还包括：
AUC值计算模块，用于根据所述预测点击信息和所述真实点击信息计算AUC值。
进一步地，如上所述的装置，还包括：
第二预测模型评估模块，用于根据所述AUC值对所述预测模型进行评估；若所述切片归一化熵值小于或等于所述第一预设阈值且所述AUC值大于或等于第二预设阈值，则确定所述预测模型的评估结果满足优化的预测模型条件；若所述切片归一化熵值大于所述第一预设阈值或所述AUC值小于所述第二预设阈值，则确定所述预测模型的评估结果不满足优化的预测模型条件。
第三方面，本发明实施例提供一种一种终端设备，包括：
存储器，处理器以及计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如上述中任一项所述的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如上述任一项所述的方法。
本发明实施例提供一种广告点击率的预测方法、装置、设备及可读存储介质，通过获取预测模型对训练样本进行预测的预测点击信息和真实点击信息；根据预测点击信息和真实点击信息计算切片归一化熵值；根据切片归一化熵值对预测模型进行评估；若预测模型的评估结果满足优化的预测模型条件，则采用预测模型对广告点击率进行预测。由于切片归一化熵能够真实的反映每个训练样本在各个类别中的预测点击情况，所以采用切片归一化熵对预测模型进行评估，能够获得更准确的评估结果，并且适用于预测模型在预测值整体高于真实值很大的情况。所以采用符合评估条件的预测模型对广告点击率进行预测时，能够提高预测结果的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明广告点击率的预测方法实施例一的流程图；
图2为本发明广告点击率的预测方法实施例二的流程图；
图3为本发明广告点击率的预测方法实施例三的流程图；
图4为本发明广告点击率的预测装置实施例一的结构示意图；
图5为本发明广告点击率的预测装置实施例二的结构示意图；
图6为本发明终端设备实施例一的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明广告点击率的预测方法实施例一的流程图，如图1所示，本实施例的执行主体为广告点击率的预测装置，该广告点击率的预测装置可以集成在计算机，笔记本电脑或服务器中。则本实施例提供的广告点击率的预测方法包括以下几个步骤。
步骤101，获取预测模型对训练样本进行预测的预测点击信息和真实点击信息。
本实施例中，广告被投放在应用的各模块的页面中。本实施例是对某一应用中的广告点击率进行预测。
具体地，本实施例中，将训练样本输入到预测模型中，由预测模型对训练样本进行预测，得到训练样本的预测点击信息。并可获取到每个训练样本真实的点击信息。
其中，预测模型可以为逻辑回归模型，贝叶斯模型或其他预测模型，本实施例中对此不做限定。
其中，每个训练样本的预测点击信息包括：训练样本在所处应用对应的类别中的预测点击值，若预测训练样本点击，则预测点击值可为1，若预测训练样本不点击，则预测点击值为0。训练样本在所处应用对应的类别可以为应用中的模块，也可以为训练样本在所处的应用中对应的年龄段类别或其他类别，本实施例中对此不做限定。
其中，每个训练样本的真实点击信息包括：训练样本在应用对应的类别以及真实点击值。若真实点击值为1表示训练样本在对应应用中进行了点击，若真实点击值为0表示训练样本在对应应用中未点击。
步骤102，根据预测点击信息和真实点击信息计算切片归一化熵值。
具体的，本实施例中，根据预测点击信息可计算所有训练样本在对应类别中的预测点击值，根据真实点击信息可计算所有训练样本在对应类别中的真实点击值，通过预测点击值和真实点击值计算切片归一化熵值。
本实施例中，也可根据预测点击信息和真实点击信息通过其他方式计算切片归一化熵值，本实施例中对此不做限定。
步骤103，根据切片归一化熵值对预测模型进行评估。
具体地，本实施例中，切片归一化熵值能够真实的反映训练样本在各个类别中的预测点击情况，采用切片归一化熵值对预测模型进行评估，该切片归一化熵值越小，说明预测模型越优化，切片归一化熵值越大，说明预测模型越不优化，若预测模型不优化，则需要调整预测模型中的参数，通过训练样本进一步训练。
步骤104，若预测模型的评估结果满足优化的预测模型条件，则采用预测模型对广告点击率进行预测。
具体地，本实施例中，若预测模型的评估结果满足优化的预测模型条件，则采用该预测模型对广告点击率进行预测。在抓取到一个测试样本后，将该测试样本输入到该预测模型中，预测该测试样本是否进行广告的点击。
可以理解的是，本实施例中，在对测试样本和训练样本进行预测时所提取的特征相同。
本实施例提供的广告点击率的预测方法，通过获取预测模型对训练样本进行预测的预测点击信息和真实点击信息；根据预测点击信息和真实点击信息计算切片归一化熵值；根据切片归一化熵值对预测模型进行评估；若预测模型的评估结果满足优化的预测模型条件，则采用预测模型对广告点击率进行预测。由于切片归一化熵能够真实的反映每个训练样本在各个类别中的预测点击情况，所以采用切片归一化熵对预测模型进行评估，能够获得更准确的评估结果，并且适用于预测模型在预测值整体高于真实值很大的情况。所以采用符合评估条件的预测模型对广告点击率进行预测时，能够提高预测结果的准确性。
图2为本发明广告点击率的预测方法实施例二的流程图，如图2所示，本实施例提供的广告点击率的预测方法，是在本发明广告点击率的预测方法实施例一的基础上，对步骤102-步骤103的进一步细化，则本实施例提供的广告点击率的预测方法包括以下步骤。
步骤201，获取预测模型对训练样本进行预测的预测点击信息和真实点击信息。
本实施例中，步骤201的实现方式与本发明广告点击率的预测方法实施例一中的步骤101的实现方式相同，在此不再一一赘述。
步骤202，根据预测点击信息和真实点击信息计算切片归一化熵值。
进一步地，本实施例中，根据预测点击信息和真实点击信息计算切片归一化熵值具体包括：
首先，根据预测点击信息计算训练样本在对应类别中的预测点击值。
其次，根据真实点击信息计算训练样本在对应类别中的真实点击值。
最后，将预测点击值与真实点击值的商确定为切片归一化熵值。
具体地，本实施例中，切片归一化熵值SNE可表示为式(1)所示：
其中，表示训练样本在对应类别中的真实点击值，/>表示训练样本在对应类别中的预测点击值。在式(1)中，pi,j表示第i个训练样本在应用的第j个类别中的预测点击值。yi,j取值为0或1,1表示点击，0表示不点击。pz表示训练样本在第z个类别的真实点击率，k表示类别的个数，n表示训练样本的个数。
步骤203，将切片归一化熵值与第一预设阈值进行比较，判断切片归一化熵值是否小于或等于第一预设阈值，若是，则执行步骤204，否则执行步骤205。
步骤204，确定预测模型的评估结果满足优化的预测模型条件。
步骤205，确定预测模型的评估结果不满足优化的预测模型条件。
结合步骤203-步骤205进行说明。进一步地，本实施例中，将切片归一化熵值与第一预设阈值进行比较，若切片归一化熵值小于或等于第一预设阈值，则说明该预测模型的预测结果达到了优化的预测模型的标准。通过该预测模型对广告点击率进行预测能够达到很高的准确率。若切片归一化熵值大于第一预设阈值，则说明预测模型的预测结果未达到了优化的预测模型的标准，需要调整预测模型中的参数，继续对预测模型进行训练，直到切片归一化熵值小于或等于第一预设阈值为止。
其中，第一预设阈值为判断预测模型是否满足优化的预测模型条件的切片归一化熵值对应的阈值。第一预设阈值的取值可以为小于或等于1的数值，如可以为0.98，或其他适宜的数值，本实施例中对此不做限定。
可以理解的是，本实施例中，执行完步骤204后，执行步骤206。
步骤206，采用预测模型对广告点击率进行预测。
本实施例中，步骤206的实现方式与本发明广告点击率的预测方法实施例一中的步骤104的实现方式相同，在此不再一一赘述。
本实施例提供的广告点击率的预测方法，通过获取预测模型对训练样本进行预测的预测点击信息和真实点击信息，根据预测点击信息和真实点击信息计算切片归一化熵值，将切片归一化熵值与第一预设阈值进行比较，判断切片归一化熵值是否小于或等于第一预设阈值，若是，则确定预测模型的评估结果满足优化的预测模型条件，否则确定预测模型的评估结果不满足优化的预测模型条件。若预测模型的评估结果满足优化的预测模型条件，则采用预测模型对广告点击率进行预测，否则，调整预测模型中的参数，继续对模型进行训练和评估。不仅能够获得更准确的评估结果，提高预测结果的准确性，而且通过将切片归一化熵值与第一预设阈值进行比较的方式确定是否满足优化的预测模型条件，更加简单易行。
图3为本发明广告点击率的预测方法实施例三的流程图，如图3所示，本实施例提供的广告点击率的预测方法，是在本发明广告点击率的预测方法实施例二的基础上，进一步包括了计算AUC值的步骤，以及结合切片归一化熵值和AUC值共同评估预测模型是否满足优化的预测模型条件的步骤，则本实施例提供的广告点击率的预测方法包括以下步骤。
步骤301，获取预测模型对训练样本进行预测的预测点击信息和真实点击信息。
本实施例中，步骤301的实现方式与本发明广告点击率的预测方法实施例一中的步骤101的实现方式相同，在此不再一一赘述。
步骤302，根据预测点击信息和真实点击信息计算切片归一化熵值，并根据预测点击信息和真实点击信息计算AUC值。
本实施例中，步骤302中的根据预测点击信息和真实点击信息计算切片归一化熵值的实现方式与本发明广告点击率的预测方法实施例二中的步骤202中的实现方式相同，在此不再一一赘述。
进一步地，本实施例中，根据预测点击信息和真实点击信息计算AUC值具体为：根据预测点击信息和真实点击信息计算假性阳率(简称：FPR)，真性阳率(简称：TPR)。以FPR为横坐标，以TPR为纵坐标画出ROC曲线，计算ROC曲线下方的面积，该ROC曲线下方的面积值即为AUC值。
步骤303，将切片归一化熵值与第一预设阈值进行比较，判断切片归一化熵值是否小于或等于第一预设阈值，若是，则执行步骤304，否则执行步骤306。
步骤304，根据AUC值对预测模型进行评估，判断AUC值是否大于或等于第二预设阈值，若是，则执行步骤305，否则执行步骤306。
步骤305，确定预测模型的评估结果满足优化的预测模型条件。
步骤306，确定预测模型的评估结果不满足优化的预测模型条件。
结合步骤303-步骤306进行说明。进一步地，本实施例中，将切片归一化熵值与第一预设阈值进行比较，若切片归一化熵值小于或等于第一预设阈值，则根据AUC值对预测模型进行评估，判断AUC值是否大于或等于第二预设阈值，若切片归一化熵值小于或等于第一预设阈值且AUC值大于或等于第二预设阈值，则确定预测模型的评估结果满足优化的预测模型条件。若切片归一化熵值大于第一预设阈值或AUC值小于第二预设阈值，则确定预测模型的评估结果不满足优化的预测模型条件。
具体地，本实施例中，为了对预测模型评估地更加准确得到更优化的预测模型。结合切片归一化熵值和AUC值对预测模型进行评估。首先根据切片归一化熵值和第一预设阈值对预测模型进行评估，若切片归一化熵值小于或等于第一预设阈值，则说明该预测模型已经为较好的预测模型，再根据AUC值和第二预设阈值对该预测模型进行评估，若AUC值大于或等于第二预设阈值，则说明该预测模型的评估结果满足优化的预测模型条件。若切片归一化熵值或AUC值有一个不满足条件，则需要对该预测模型继续进行训练，直到满足优化的预测模型的条件。
其中，第二预设阈值为判断预测模型是否满足优化的预测模型条件的AUC值对应的阈值。第二预设阈值的数值可以为0.8-1.0之间的一个数值，如可以为0.9或其他更适宜的数值，本实施例中对此不做限定。
可以理解的是，本实施例中，执行完步骤305后，执行步骤307。
步骤307，采用预测模型对广告点击率进行预测。
本实施例中，步骤307的实现方式与本发明广告点击率的预测方法实施例二中的步骤206的实现方式相同，在此不再一一赘述。
本实施例提供的广告点击率的预测方法，通过获取预测模型对训练样本进行预测的预测点击信息和真实点击信息，根据预测点击信息和真实点击信息计算切片归一化熵值，并根据预测点击信息和真实点击信息计算AUC值，将切片归一化熵值与第一预设阈值进行比较，判断切片归一化熵值是否小于或等于第一预设阈值，若是，则根据AUC值对预测模型进行评估，判断AUC值是否大于或等于第二预设阈值，若是，则确定预测模型的评估结果满足优化的预测模型条件，否则，若切片归一化熵值大于第一预设阈值或AUC值小于第二预设阈值，则确定预测模型的评估结果不满足优化的预测模型条件。若预测模型的评估结果满足优化的预测模型条件，则采用预测模型对广告点击率进行预测。由于采用切片归一化熵值结合AUC值的方式同时对预测模型进行评估，进一步提高了评估结果的准确性，使预测模型为更加优化的模型，从而进一步提高了预测结果的准确性。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图4为本发明广告点击率的预测装置实施例一的结构示意图，如图4所示，本实施例提供的广告点击率的预测装置包括：信息获取模块41，切片归一化熵值计算模块42，第一预测模型评估模块43及点击率预测模块44。
其中，信息获取模块41，用于获取预测模型对训练样本进行预测的预测点击信息和真实点击信息。切片归一化熵值计算模块42，用于根据预测点击信息和真实点击信息计算切片归一化熵值。第一预测模型评估模块43，用于根据切片归一化熵值对预测模型进行评估。点击率预测模块44，用于若预测模型的评估结果满足优化的预测模型条件，则采用预测模型对广告点击率进行预测。
本实施例提供的广告点击率的预测装置可以执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
进一步地，切片归一化熵值计算模块42，具体用于：根据预测点击信息计算训练样本在对应类别中的预测点击值；根据真实点击信息计算训练样本在对应类别中的真实点击值；将预测点击值与真实点击值的商确定为切片归一化熵值。
进一步地，第一预测模型评估模块43，具体用于：将切片归一化熵值与第一预设阈值进行比较；若切片归一化熵值小于或等于第一预设阈值，则确定预测模型的评估结果满足优化的预测模型条件；若切片归一化熵值大于第一预设阈值，则确定预测模型的评估结果不满足优化的预测模型条件。
进一步地，本实施例提供的广告点击率的预测装置可以执行图2所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图5为本发明广告点击率的预测装置实施例二的结构示意图，如图5所示，本实施例提供的广告点击率的预测装置在本发明广告点击率的预测装置实施例一的基础上，进一步地，还包括了AUC值计算模块51和第二预测模型评估模块52。
进一步地，AUC值计算模块51，用于根据预测点击信息和真实点击信息计算AUC值。
进一步地，第二预测模型评估模块52，用于根据AUC值对预测模型进行评估；若切片归一化熵值小于或等于第一预设阈值且AUC值大于或等于第二预设阈值，则确定预测模型的评估结果满足优化的预测模型条件；若切片归一化熵值大于第一预设阈值或AUC值小于第二预设阈值，则确定预测模型的评估结果不满足优化的预测模型条件。
本实施例提供的广告点击率的预测装置可以执行图3所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图6为本发明终端设备实施例一的结构示意图，如图6所示，本实施例提供的终端设备包括：存储器61，处理器62以及计算机程序。
其中，计算机程序存储在存储器61中，并被配置为由处理器62执行以实现本发明广告点击率的预测方法实施例一或本发明广告点击率的预测方法实施例二或本发明广告点击率的预测方法实施例三中的方法。
相关说明可以对应参见图1至图3的步骤所对应的相关描述和效果进行理解，此处不做过多赘述。
其中，本实施例中，存储器61和处理器62通过总线63连接。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现本发明广告点击率的预测方法实施例一或本发明广告点击率的预测方法实施例二或本发明广告点击率的预测方法实施例三中的方法。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种广告点击率的预测方法，其特征在于，包括：
获取预测模型对训练样本进行预测的预测点击信息和真实点击信息，其中：每个训练样本的预测点击信息包括：训练样本在所处应用对应的类别中的预测点击值，每个训练样本的真实点击信息包括：训练样本在应用对应的类别以及真实点击值；
根据所述预测点击信息和所述真实点击信息计算切片归一化熵值，所述切片归一化熵值为预测点击值与真实点击值的商；
根据所述切片归一化熵值对所述预测模型进行评估，所述切片归一化熵值越小，说明预测模型越优化，所述切片归一化熵值越大，说明预测模型越不优化；
若所述预测模型的评估结果满足优化的预测模型条件，则采用所述预测模型对广告点击率进行预测。
2.根据权利要求1所述的方法，其特征在于，所述根据预测点击信息和真实点击信息计算切片归一化熵值，具体包括：
根据预测点击信息计算训练样本在对应类别中的预测点击值；
根据真实点击信息计算训练样本在对应类别中的真实点击值；
将所述预测点击值与所述真实点击值的商确定为所述切片归一化熵值。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述切片归一化熵值对所述预测模型进行评估，具体包括：
将所述切片归一化熵值与第一预设阈值进行比较；
若所述切片归一化熵值小于或等于第一预设阈值，则确定所述预测模型的评估结果满足优化的预测模型条件；
若所述切片归一化熵值大于所述第一预设阈值，则确定所述预测模型的评估结果不满足优化的预测模型条件。
4.根据权利要求3所述的方法，其特征在于，所述获取预测模型对训练样本进行预测的预测点击信息和真实点击信息之后，还包括：
根据所述预测点击信息和所述真实点击信息计算AUC值。
5.根据权利要求4所述的方法，其特征在于，所述根据所述切片归一化熵值对所述预测模型进行评估之后，还包括：
根据所述AUC值对所述预测模型进行评估；
若所述切片归一化熵值小于或等于所述第一预设阈值且所述AUC值大于或等于第二预设阈值，则确定所述预测模型的评估结果满足优化的预测模型条件；
若所述切片归一化熵值大于所述第一预设阈值或所述AUC值小于所述第二预设阈值，则确定所述预测模型的评估结果不满足优化的预测模型条件。
6.一种广告点击率的预测装置，其特征在于，包括：
信息获取模块，用于获取预测模型对训练样本进行预测的预测点击信息和真实点击信息，其中：每个训练样本的预测点击信息包括：训练样本在所处应用对应的类别中的预测点击值，每个训练样本的真实点击信息包括：训练样本在应用对应的类别以及真实点击值；
切片归一化熵值计算模块，用于根据所述预测点击信息和所述真实点击信息计算切片归一化熵值，所述切片归一化熵值为预测点击值与真实点击值的商；
第一预测模型评估模块，用于根据所述切片归一化熵值对所述预测模型进行评估，所述切片归一化熵值越小，说明预测模型越优化，所述切片归一化熵值越大，说明预测模型越不优化；
点击率预测模块，用于若所述预测模型的评估结果满足优化的预测模型条件，则采用所述预测模型对广告点击率进行预测。
7.根据权利要求6所述的装置，其特征在于，所述切片归一化熵值计算模块，具体用于：
根据预测点击信息计算训练样本在对应类别中的预测点击值；根据真实点击信息计算训练样本在对应类别中的真实点击值；将所述预测点击值与所述真实点击值的商确定为所述切片归一化熵值。
8.根据权利要求6或7所述的装置，其特征在于，所述第一预测模型评估模块，具体用于：
将所述切片归一化熵值与第一预设阈值进行比较；若所述切片归一化熵值小于或等于第一预设阈值，则确定所述预测模型的评估结果满足优化的预测模型条件；若所述切片归一化熵值大于所述第一预设阈值，则确定所述预测模型的评估结果不满足优化的预测模型条件。
9.根据权利要求8所述的装置，其特征在于，还包括：
AUC值计算模块，用于根据所述预测点击信息和所述真实点击信息计算AUC值。
10.根据权利要求9所述的装置，其特征在于，还包括：
第二预测模型评估模块，用于根据所述AUC值对所述预测模型进行评估；若所述切片归一化熵值小于或等于所述第一预设阈值且所述AUC值大于或等于第二预设阈值，则确定所述预测模型的评估结果满足优化的预测模型条件；若所述切片归一化熵值大于所述第一预设阈值或所述AUC值小于所述第二预设阈值，则确定所述预测模型的评估结果不满足优化的预测模型条件。
11.一种终端设备，其特征在于，包括：
存储器，处理器以及计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-5中任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-5中任一项所述的方法。
CN201810653925.4A 2018-06-22 2018-06-22 广告点击率的预测方法、装置、设备及可读存储介质 Active CN110634006B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810653925.4A CN110634006B (zh) 2018-06-22 2018-06-22 广告点击率的预测方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810653925.4A CN110634006B (zh) 2018-06-22 2018-06-22 广告点击率的预测方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN110634006A CN110634006A (zh) 2019-12-31
CN110634006B true CN110634006B (zh) 2024-03-19

Family

ID=68967938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810653925.4A Active CN110634006B (zh) 2018-06-22 2018-06-22 广告点击率的预测方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN110634006B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259302B (zh) * 2020-01-19 2023-04-07 深圳市雅阅科技有限公司 信息推送方法、装置及电子设备
CN113283948B (zh) * 2021-07-14 2021-10-29 腾讯科技（深圳）有限公司 预测模型的生成方法、装置、设备和可读介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8484077B2 (en) * 2010-07-21 2013-07-09 Yahoo! Inc. Using linear and log-linear model combinations for estimating probabilities of events
CN103345512A (zh) * 2013-07-06 2013-10-09 北京品友互动信息技术有限公司 一种基于用户属性的网络广告点击率预测方法和装置
CN106651408B (zh) * 2015-10-28 2020-12-25 苏宁云计算有限公司 一种数据分析方法及装置
CN107784519A (zh) * 2017-10-13 2018-03-09 厦门集微科技有限公司 一种广告效果评估方法及服务器

Also Published As

Publication number Publication date
CN110634006A (zh) 2019-12-31

Similar Documents

Publication Publication Date Title
US11030415B2 (en) Learning document embeddings with convolutional neural network architectures
CN109345302B (zh) 机器学习模型训练方法、装置、存储介质和计算机设备
US8775416B2 (en) Adapting a context-independent relevance function for identifying relevant search results
US20210049298A1 (en) Privacy preserving machine learning model training
CN110647696B (zh) 一种业务对象的排序方法及装置
US20220092416A1 (en) Neural architecture search through a graph search space
CN109582862B (zh) 点击率预估方法、介质、系统和计算设备
CN109766557B (zh) 一种情感分析方法、装置、存储介质及终端设备
US20100250335A1 (en) System and method using text features for click prediction of sponsored search advertisements
US20230049747A1 (en) Training machine learning models using teacher annealing
CN112183994B (zh) 一种设备状态的评估方法、装置、计算机设备和存储介质
US11756094B2 (en) Method and device for evaluating comment quality, and computer readable storage medium
US20230205775A1 (en) Offline evaluation of ranking functions
CN115048586B (zh) 一种融合多特征的新闻推荐方法及系统
CN110634006B (zh) 广告点击率的预测方法、装置、设备及可读存储介质
CN108647281A (zh) 网页访问风险检测、提示方法、装置及计算机设备
CN110659954A (zh) 作弊识别方法、装置、电子设备及可读存储介质
CN115794898B (zh) 一种金融资讯推荐方法、装置、电子设备及存储介质
CN110704614B (zh) 对应用中的用户群类型进行预测的信息处理方法及装置
CN116578400A (zh) 多任务数据处理方法和装置
CN111881007A (zh) 操作行为判断方法、装置、设备及计算机可读存储介质
JP6989434B2 (ja) Ｕｒｌのアクセス履歴を用いて予測対象行動に至るであろう潜在対象ユーザを推定するプログラム、装置及び方法
CN113204699A (zh) 信息推荐方法、装置、电子设备及存储介质
CN116151353A (zh) 一种序列推荐模型的训练方法和对象推荐方法
EP4109374A1 (en) Data processing method and device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200421

Address after: 310052 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Alibaba (China) Co.,Ltd.

Address before: 510627 Guangdong city of Guangzhou province Whampoa Tianhe District Road No. 163 Xiping Yun Lu Yun Ping square B radio tower 15 layer self unit 02

Applicant before: GUANGZHOU UC NETWORK TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant