CN114971386A - 用于转化评估的方法、装置、设备和存储介质 - Google Patents
用于转化评估的方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN114971386A CN114971386A CN202210693437.2A CN202210693437A CN114971386A CN 114971386 A CN114971386 A CN 114971386A CN 202210693437 A CN202210693437 A CN 202210693437A CN 114971386 A CN114971386 A CN 114971386A
- Authority
- CN
- China
- Prior art keywords
- conversion
- content item
- information
- behavior
- expected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000009466 transformation Effects 0.000 title claims abstract description 16
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000011156 evaluation Methods 0.000 title abstract description 18
- 238000006243 chemical reaction Methods 0.000 claims abstract description 313
- 230000004044 response Effects 0.000 claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 230000006399 behavior Effects 0.000 claims description 125
- 230000009471 action Effects 0.000 claims description 49
- 238000012549 training Methods 0.000 claims description 48
- 238000012545 processing Methods 0.000 claims description 22
- 230000006735 deficit Effects 0.000 claims description 19
- 230000000694 effects Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 31
- 230000008569 process Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 11
- 238000013519 translation Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 230000011664 signaling Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013475 authorization Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Development Economics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Educational Administration (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Game Theory and Decision Science (AREA)
- Tourism & Hospitality (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Information Transfer Between Computers (AREA)
Abstract
根据本公开的实施例,提供了用于转化评估的方法、装置、设备和存储介质。该方法包括使与第一对象相关的第一内容项在内容提供平台对应的终端设备处被呈现;响应于确定针对第一内容项的点击行为的检测,使与第一对象相关的辅助内容项在终端设备处被呈现,辅助内容项至少指示用于执行针对第一对象的转化行为的入口;以及基于针对入口的点击反馈来确定针对第一内容项的第一预计转化信息,点击反馈指示入口在终端设备处是否被点击,第一预计转化信息指示针对第一对象的转化行为预计被执行的概率。根据该方案,可以不依赖于内容提供平台之外的转化回传信息来有效估计针对内容项的预计转化信息。
Description
技术领域
本公开的示例实施例总体涉及计算机技术领域,特别地涉及用于转化评估的方法、装置、设备和计算机可读存储介质。
背景技术
互联网提供了对各种各样内容的访问。例如,通过互联网可以访问各类图像、音频、视频、网页等。此外,可访问的内容还包括与各类对象相关的特定内容项,这些内容项例如包括广告。这类内容项通常由对象提供方与内容提供方协商后提供,并且对象提供方可能还会基于内容项的访问情况向内容提供方付费。因此,通常需要衡量内容项呈现相关的指标,包括内容项的转化情况,其中“转化”表示受到所呈现的内容项的影响而发生的下载、注册、购买或其他信息需求行为。
发明内容
在本公开的第一方面,提供了一种转化评估的方法。该方法包括:使与第一对象相关的第一内容项在内容提供平台对应的终端设备处被呈现;响应于确定针对第一内容项的点击行为的检测,使与第一对象相关的辅助内容项在终端设备处被呈现,辅助内容项至少指示用于执行针对第一对象的转化行为的入口;以及基于针对入口的点击反馈来确定针对第一内容项的第一预计转化信息,点击反馈指示入口在终端设备处是否被点击,第一预计转化信息指示针对第一对象的转化行为预计被执行的概率。
在本公开的第二方面,提供了一种转化评估的方法。该方法包括:在内容提供平台对应的终端设备处,呈现与第一对象相关的第一内容项;响应于检测到针对第一内容项的点击行为,呈现与第一对象相关的辅助内容项,辅助内容项至少指示用于执行针对第一对象的转化行为的入口;以及向内容管理系统提供针对入口的点击反馈,点击反馈指示入口在终端设备处是否被点击。
在本公开的第三方面,提供了一种用于转化评估的装置。该装置包括:第一呈现控制模块,被配置为使与第一对象相关的第一内容项在内容提供平台对应的终端设备处被呈现;第二呈现控制模块,被配置为响应于确定针对第一内容项的点击行为的检测,使与第一对象相关的辅助内容项在终端设备处被呈现,辅助内容项至少指示用于执行针对第一对象的转化行为的入口;以及转化确定模块,被配置为基于针对入口的点击反馈来确定针对第一内容项的第一预计转化信息,点击反馈指示入口在终端设备处是否被点击,第一预计转化信息指示针对第一对象的转化行为预计被执行的概率。
在本公开的第四方面,提供了一种用于转化评估的装置。该装置包括:第一呈现模块,被配置为在内容提供平台对应的终端设备处,呈现与第一对象相关的第一内容项;第二呈现模块,被配置为响应于检测到针对第一内容项的点击行为,呈现与第一对象相关的辅助内容项,辅助内容项至少指示用于执行针对第一对象的转化行为的入口;以及反馈提供模块,被配置为向内容管理系统提供针对入口的点击反馈,点击反馈指示入口在终端设备处是否被点击。
在本公开的第五方面,提供了一种电子设备。该设备包括至少一个处理单元;以及至少一个存储器,至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。指令在由至少一个处理单元执行时使设备执行第一方面或第二方面的方法。
在本公开的第六方面,提供了一种计算机可读存储介质。该介质上存储有计算机程序,计算机程序被处理器执行时实现第一方面或第二方面的方法。
应当理解,本发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。
附图说明
结合附图并参考以下详细说明,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中,相同或相似的附图标记表示相同或相似的元素,其中:
图1示出了能够在其中实现本公开的实施例的示例环境的示意图;
图2示出了根据本公开的一些实施例的用于转化评估的信令流的流程图;
图3A至图3D示出根据本公开的一些实施例的与内容项相关的呈现界面的示意图;
图4示出了根据本公开的一些实施例的内容管理系统的示例结构的框图;
图5示出了根据本公开的一些实施例的转化预测模型的示例结构的框图;
图6示出了根据本公开的一些实施例的用于训练折损预测模型的示例架构的框图;
图7示出了根据本公开的一些实施例的在内容管理系统处执行的转化评估的过程的流程图;
图8示出了根据本公开的一些实施例的在终端设备处执行的转化评估的过程的流程图;
图9示出了根据本公开的一些实施例的用于转化评估的装置的框图;
图10示出了根据本公开的另一些实施例的用于转化评估的装置的框图;以及
图11示出了其中可以实施本公开的一个或多个实施例的电子设备。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中示出了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反,提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
在本公开的实施例的描述中,术语“包括”及其类似用语应当理解为开放性包含,即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“一些实施例”应当理解为“至少一些实施例”。下文还可能包括其他明确的和隐含的定义。
可以理解的是,本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。
可以理解的是,在使用本公开各实施例公开的技术方案之前,均应当根据相关法律法规通过适当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
例如,在响应于接收到用户的主动请求时,向用户发送提示信息,以明确地提示用户,其请求执行的操作将需要获取和使用到用户的个人信息,从而使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
作为一种可选的但非限制性的实现方式,响应于接收到用户的主动请求,向用户发送提示信息的方式,例如可以是弹窗的方式,弹窗中可以以文字的方式呈现提示信息。此外,弹窗中还可以承载供用户选择“同意”或“不同意”向电子设备提供个人信息的选择控件。
可以理解的是,上述通知和获取用户授权过程仅是示意性的,不对本公开的实现方式构成限定,其他满足相关法律法规的方式也可应用于本公开的实现方式中。
如本文中所使用的,术语“模型”可以从训练数据中学习到相应的输入与输出之间的关联关系,从而在训练完成后可以针对给定的输入,生成对应的输出。模型的生成可以基于机器学习技术。深度学习是一种机器学习算法,通过使用多层处理单元来处理输入和提供相应输出。神经网络模型是基于深度学习的模型的一个示例。在本文中,“模型”也可以被称为“机器学习模型”、“学习模型”、“机器学习网络”或“学习网络”,这些术语在本文中可互换地使用。
“神经网络”是一种基于深度学习的机器学习网络。神经网络能够处理输入并且提供相应输出,其通常包括输入层和输出层以及在输入层与输出层之间的一个或多个隐藏层。在深度学习应用中使用的神经网络通常包括许多隐藏层,从而增加网络的深度。神经网络的各个层按顺序相连,从而前一层的输出被提供作为后一层的输入,其中输入层接收神经网络的输入,而输出层的输出作为神经网络的最终输出。神经网络的每个层包括一个或多个节点(也称为处理节点或神经元),每个节点处理来自上一层的输入。
通常,机器学习大致可以包括三个阶段,即训练阶段、测试阶段和应用阶段(也称为推理阶段)。在训练阶段,给定的模型可以使用大量的训练数据进行训练,不断迭代更新参数值,直到模型能够从训练数据中获取一致的满足预期目标的推理。通过训练,模型可以被认为能够从训练数据中学习从输入到输出之间的关联(也称为输入到输出的映射)。训练后的模型的参数值被确定。在测试阶段,将测试输入应用到训练后的模型,测试模型是否能够提供正确的输出,从而确定模型的性能。在应用阶段,模型可以被用于基于训练得到的参数值,对实际的输入进行处理,确定对应的输出。
图1示出了能够在其中实现本公开的实施例的示例环境100的示意图。一个或者多个内容提供方可以使用内容管理系统120来管理要在内容提供平台110上提供的内容。一个或多个终端设备130-1、130-2、130-3等(为便于讨论,统称为或单独称为终端设备130)与内容提供平台110相关联,并且可以访问内容提供平台110上提供的各类内容。作为示例,内容提供平台110可以是应用、网站、网页、以及其他可访问的资源。终端设备130可以安装有应用以用于访问内容提供平台110,或者可以以合适方式访问内容提供平台110。
内容提供方可以基于管理要求以及基于终端设备130处的用户操作,来向不同终端设备130提供不同的内容。内容管理系统120可以向终端设备130提供与一个或多个对象相关的一个或多个特定内容项,例如内容数据库140中的一个或多个内容项142-1、142-2、……142-M(为便于讨论,统称为或单独称为内容项142)。这些内容项例如可以包括广告。与内容项相关的对象例如包括广告所针对的对象。
在一些实施例中,内容管理系统120可以至少基于对象提供方的请求,例如基于对象提供方的竞价请求,来确定向一个或多个终端设备130提供的内容项142。在广告投放的场景中,对象提供方有时也称为广告主。在一些实施例中,对象提供方可能还会基于内容项的呈现,向内容提供方付费。
在环境100中,终端设备110可以是任意类型的移动终端、固定终端或便携式终端,包括移动手机、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、媒体计算机、多媒体平板、个人通信系统(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者前述各项的任意组合,包括这些设备的配件和外设或者其任意组合。在一些实施例中,终端设备110也能够支持任意类型的针对用户的接口(诸如“可佩戴”电路等)。内容管理系统120例如可以是能够提供计算能力的各种类型的计算系统/服务器,包括但不限于大型机、边缘计算节点、云环境中的计算设备,等等。
应当理解,仅出于示例性的目的描述环境100中各个元素的结构和功能,而不暗示对于本公开的范围的任何限制。
在内容项提供的场景中,通常需要衡量内容项呈现相关的指标,包括内容项的转化情况,其中“转化”表示受到所呈现的内容项的影响而发生的下载、注册、购买或其他信息需求行为。这些指标可能会被用于确定内容项的呈现效果,确定内容提供方如何从对象提供方收费,确定内容提供方对内容项在终端设备之间的供应策略,等等。例如,对于某些对象的广告,广告主可能期望按照广告的转化行为发生的次数来向内容提供方付费。
内容项的转化通常会发生在内容提供平台以外的平台,例如在对象提供方管理的平台或第三方平台中。举例而言,多媒体文件的下载行为可能会发生在多媒体文件源网站中;某些应用的下载行为可能会发生在应用下载平台,例如终端设备的应用商店中或应用下载网站中;应用的注册行为可能会发生在应用平台中,等等。在这种情况下,内容提供方期望由对象提供方管理的平台或第三方平台反馈内容项的转化情况,例如在一段时间内针对对象的转化行为被执行的统计数据。由对象提供方管理的平台或第三方平台反馈关于内容项的转化情况,也称为“转化回传”。
在一些场景中,出于隐私保护的考虑,转化回传可能会被阻止或者被延迟。这意味着内容提供方在呈现内容项后,无法实时地追踪到针对内容项的转化行为是否发生,从而无法准确评估内容项的转化情况。这将不利于衡量内容项的呈现效果,以及后续的付费、供应策略调整等操作。
在本公开的示例实施例中,提供了一种改进的转化评估方案。根据该方案,在内容提供平台对应的终端设备处呈现与对象相关的内容项后,如果检测到针对内容项的点击行为,不是直接跳转到执行针对对象的转化行为的另一平台,而是继续提供与对象相关的辅助内容项。辅助内容项用于进一步指示用于执行针对该对象的转化行为的入口。基于针对该入口的点击反馈来确定针对内容项的预计转化信息,该信息指示针对该对象的转化行为预计被执行的概率。
根据该方案,可以不依赖于内容提供平台之外的转化回传信息来有效估计针对内容项的预计转化信息,避免了由于各种原因导致的转化回传延迟或转化回传获取失败导致无法实现转化评估的情况。
以下将继续参考附图描述本公开的一些示例实施例。
图2示出了根据本公开的一些实施例的用于转化评估的信令流200的流程图。为便于讨论,将参考图1的环境100来描述信令流200。信令流200涉及内容管理系统120和终端设备130。在图2中虽然示出了单个终端设备130,但内容管理系统120可以与多个终端设备130执行类似的信令流。
在信令流200中,内容管理系统120使205与对象相关的内容项142在内容提供平台110对应的终端设备130处被呈现。终端设备130呈现210对应的内容项142,例如呈现在内容提供平台对应的用户界面上。
内容管理系统120可以基于各种策略和内容项142的触发条件来确定如何以及何时使内容项被呈现。在一些实施例中,内容管理系统120还可以确定向不同终端设备130呈现内容数据库140中的不同内容项142。在一些实施例中,内容管理系统120可以控制使一个内容项142被呈现在多个终端设备132处。
在内容项142被呈现期间,终端设备132检测针对内容项142的点击行为。如果检测到针对该内容项142的点击行为,终端设备132向内容管理系统120提供215反馈,该反馈指示针对该内容项142的点击行为的检测。由此,内容管理系统120能够确定220针对该内容项142的点击行为的检测。
在本公开的实施例中,内容数据库140中的一个或多个内容项142具有相关联的辅助内容项。作为示例,图2示出内容项142-1具有相关联的辅助内容项242-1,内容项142-M具有相关联的辅助内容项242-M,等等。为便于讨论,在本文中将这些辅助内容项统称为或单独称为辅助内容项242。在一些实施例中,一个或多个内容项142(例如,内容项142-2)可以不具有辅助内容项。本公开的实施例对此不限制。
响应于在某个终端设备120处检测到针对该内容项142的点击行为的检测,内容管理系统120使225与对象相关的辅助内容项242在终端设备130处被呈现。终端设备130呈现230对应的辅助内容项142,例如呈现在与内容提供平台对应的用户界面上。
辅助内容项242与相关联的内容项142均针对同一对象。辅助内容项242至少指示用于执行该对象的转化行为的入口。对该入口的点击可以使终端设备能够访问用于执行转化行为的平台。在本公开的实施例中,辅助内容项的呈现可以用于进一步确认用户是否具有执行针对对象的转化行为的意图。这样的辅助内容项有时也可称为针对广告的概括项或推广项等。
在一些实施例中,基于辅助内容项来评估的转化行为可以是在内容项的点击行为之后可能会执行的下一步行为。例如,如果对象是可下载的对象,那么转化行为可以包括下载行为。如果对象是要付费对象,那么转化行为例如可以包括添加到购物车行为。在其他实施例中,也可以根据实际需要,也可以评估其他转化行为,例如注册行为、付费行为、以及其他信息需求行为,等等。
在一些实施例中,辅助内容项还可以指示与对象相关的描述信息,以便提供与对象相关的更多信息,从而有助于帮助用户确定是否要执行转化行为。例如,如果对象是可被下载的应用,辅助内容项所指示的描述信息可以包括该应用的图标、排名、页面截图、基本介绍、安装包的大小、开发者信息等等。应当理解,这里的描述信息可以根据实际场景来配置。
在一些实施例中,内容管理系统120可以至少基于针对对象的转化行为的回传约束来确定辅助内容项是否要在某个终端设备130处被呈现。回传约束可以指示在某个终端设备130处执行的转化行为是否会被延迟回传或被阻止回传给内容管理系统120。该回传约束可能是由于对象提供方的平台或者执行转化行为的第三方平台的隐私保护策略或者其他原因而被设置。该回传约束可能与终端设备120的类型、终端设备120要访问的对象提供方的平台、第三平台等的配置等相关。在一个示例中,如果回传约束指示在某个终端设备130处执行的转化行为会被延迟回传,或者被回传到内容管理系统120,内容管理系统120可以确定要辅助内容项242要被呈现。
除回传约束之外,内容管理系统120还可以基于其他因素,例如可以基于对象提供方关于辅助内容项是否要呈现的请求等,来确定是否要呈现辅助内容项242。本公开的实施例在此方面不受限制。
在辅助内容项242被呈现期间,终端设备130检测针对转化行为的入口的点击行为,并向内容管理系统120提供235针对入口的点击反馈,该点击反馈指示该入口在终端设备130处是否被点击。内容管理系统120接收240点击反馈。由于辅助内容项242是由内容管理系统120控制呈现,并且在内容提供平台内被呈现,因此内容管理系统120能够接收到收集到这样的反馈信息,而不会受到其他平台的约束。
在一些实施例中,如果终端设备130检测到针对入口的点击行为,则可以向内容管理系统120提供指示入口被点击的点击反馈。在一些实施例中,如果终端设备130在辅助内容项242的呈现结束后仍未检测到针对入口的点击行为,或者在呈现开始后的一段时间内未检测到针对入口的点击行为,则可以向内容管理系统120提供指示入口未被点击的点击反馈。在一些实施例中,如果辅助内容项242被呈现在多个终端设备130处,内容管理系统120可以从多个终端设备130接收到辅助内容项142中的入口是否被点击的反馈信息。
为更好地理解示例实施例,下面将参考示例页面进行描述。
图3A至图3C示出了根据本公开的一些实施例的与内容项相关的呈现界面的示意图。图3A示出了用于呈现内容项的用户界面301。在该示例中,用户界面301被示出为在终端设备上运行的应用的页面,其中呈现了与对象(在该示例中是“应用XX”)相关的内容项(即,广告)。用户界面301还包括弹出窗口310,其指示关于“应用XX”的相关信息,以及指示“应用XX”的下载标识312。
终端设备130会监测在用户界面301中针对内容项的点击行为。在一些实施例中,点击行为的检测可以基于用户在内容项的呈现界面中的一个或多个位置处的点击操作,或者其他选择操作(例如,滑动姿态、语音控制命令等)来确定。在一些实施例中,在用户界面301中的一个或多个位置处的点击行为可以触发辅助内容项的呈现。如图3B所示,如果用户点击用户界面301中的弹出窗口310,点击下载标识312,在页面中执行在预定方向上的滑动姿态,均可以确定针对内容项的点击行为被执行。
响应于检测到针对内容项的点击行为,在终端设备130上呈现如图3C所示的用户界面303,其呈现与“应用XX”相关的辅助内容项。具体地,用户界面303指示“应用XX”的下载入口,例如下载标识322、324等。用户界面303还指示“应用XX”的描述信息,例如“应用XX”的应用图标、开发公司、横幅信息、简要介绍、安装包大小等等。
如果检测到针对入口的点击行为,例如对下载标识322、324的点击操作,那么终端设备130可以向内容管理系统120提供指示入口被点击的点击反馈。在一些示例中,除下载标识322、324之外,还可以将用户界面303中的一个或多个其他位置也配置为针对对象的转化行为的入口。这可以根据实际需要来配置,本公开的实施例在此方面不受限制。
在一些实施例中,如果辅助内容项242所指示的入口被点击,终端设备130还可以访问或跳转到用于执行针对对象的转化行为的平台。图3D示出了用于执行针对对象的转化行为的用户界面304,该用户界面304是应用XX的下载界面。在该界面中用户可以根据需要执行下载行为。
应当理解,图3A至3D所示的用户界面仅仅是示例,实际可以存在各种界面设计。界面中的各个图形元素可以具有不同的布置和不同的视觉表示,其中的一个或多个元素可以省略或被替换,并且还可以存在一个或多个其他元素。本公开的实施例在此方面不受限制。
继续返回参考图2,通过辅助内容项的提供,内容管理系统120可以从终端设备130收集到针对转化行为的入口的点击反馈。进一步地,内容管理系统120基于针对入口的点击反馈来确定245针对内容项的预计转化信息,该预计转化信息指示针对对象的转化行为预计被执行的概率。
内容项142的呈现可以被称为内容项的展示或印象(impression),例如图3A中呈现的用户界面301。在针对内容项142的评估中,也会统计内容项142的呈现次数,即展示次数或印象次数。内容项142的呈现次数可以包括在多个终端设备上的一次或多次呈现,和/或在同一终端设备上的一次或多次呈现。
此外,还会统计对所呈现的内容项142的点击次数,例如在图3B中的点击。内容项142的点击次数可以包括在多个终端设备上的一次或多次点击,和/或在同一终端设备上的一次或多次呈现。在一些示例中,对于特定内容项142,还可以确定内容项142的点击行为被执行的概率,也称为点击率(click through rate,CTR)。点击率可以被确定为内容项142的点击行为被执行的次数占内容项142的呈现次数的比例。例如,如果内容项142被呈现一万次,在其中八千次的呈现中检测到了点击行为,那么点击率可以被确定为0.8。
在转化评估中,还期望评估针对内容项142的转化行为被执行的转化信息,也称为转化率(conversion value rate,CVR)。转化率可以被确定为对象的转化行为被执行的次数占内容项142的点击行为被执行的次数。例如,如果在内容项的一万次呈现中检测到发生八千次点击行为,并且在八千次点击行为中一共检测到六千次转化行为,那么转化率可以被确定为0.75。
在本公开的实施例中,提出了基于针对辅助内容项中的入口的点击反馈来评估内容项的转化信息。在该方案中,如果检测到辅助内容项中的转化行为的入口的进一步点击,可以充足的信息认为该转化行为实际发生的概率非常高。也就是说,在辅助内容项上的点击行为与对象的转化行为具有较强的相关性。
内容管理系统120可以确定针对特定内容项142的点击行为被执行的次数。这里的统计可以跨越一段时间和多个终端设备130执行。内容管理系统120还可以基于来自终端设备130的点击反馈,确定在辅助内容项242被呈现的情况下针对转化行为的入口被点击的次数,在本文中有时称为中间点击次数。内容管理系统120可以跨越一段时间和多个终端设备130来确定特定辅助内容项242所指示的转化行为的入口的点击次数。
在一些实施例,考虑到在辅助内容项上的点击行为与对象的转化行为具有较强的相关性,内容管理系统130可以将转化行为的入口的点击次数近似为转化行为被执行的次数,即针对对象的转化行为“预计”被执行的次数。内容管理系统130可以基于此来确定针对内容项142的预计转化信息,以指示在内容项142被点击的情况下转化行为预计发生的概率。例如,预计转化信息可以被确定为转化行为的入口的点击次数占内容项142的点击次数的比例。例如,如果在内容项的一万次呈现中检测到发生八千次点击行为,并且在八千次点击行为中,检测到执行了针对辅助内容项所指示的入口的七千次点击行为,那么预计转化信息可以被确定为指示7/8的转化率。
预计转化信息可以用于衡量内容项142的呈现效果。由于在辅助内容项上的点击行为并不完全意味着针对对象的转化行为实际发生,例如在跳转到图3D的下载界面后用户并未执行下载行为,或者界面跳转被阻断,因此针对内容项142的预计转化信息可能与内容项142的真实转化信息之间存在一定误差。这部分误差被称为折损信息,或折损率。折损信息指示:在预计转化信息指示针对对象的转化行为预计被执行的情况下,转化行为实际未被执行的概率。也就是说折损信息由在辅助内容项上点击入口后未实际执行转化行为的那部分统计数据来确定。折损率(被表示为drop_ratio)可以通过如下来确定:
drop_ratio=1-sum(install_convert)/sum(middle_click) (1)
其中sum(install_convert)指示针对特定对象的转化行为“实际”被执行的总次数;sum(middle_click)指示在辅助内容项上检测到针对入口的点击行为发生的总次数,其被用于表示转化行为“预计”被执行的总次数。通常,如果折损率drop_ratio越低,sum(middle_click)意味着约接近于真实sum(install_convert)。
在一些实施例中,内容管理系统130可以利用采集到的预计转化信息来执行更多后续策略的执行,以及内容项的其他度量指标的计算。
图4示出了根据本公开的一些实施例的内容管理系统120的示例结构的框图。如图所示,内容管理系统120可以至少包括信息采集子系统410、模型训练子系统420和模型应用子系统430。
信息采集子系统410可以被配置为根据关于信令流200所描述的过程来确定针对一个或多个内容项142的预计转化信息。这些内容项142具有辅助内容项242,因此如上文讨论的,预计转化信息基于在辅助内容项242上检测到的点击行为来确定。
在一些实施例中,模型训练子系统420被配置为至少基于采集到的预计转化信息来训练转化预测模型422。转化预测模型422被配置为预测针对与给定对象相关的内容项的转化信息,例如在内容项被呈现或被点击的情况下针对给定对象的转化行为被执行的概率。
已训练的转化预测模型422被提供给模型应用子系统430,其被配置为利用已训练的转化预测模型422来预测针对某个内容项412的预计转化信息432,以指示该内容项142相关的对象的转化行为预计被执行的概率。
在一些实施例中,模型训练子系统420还被配置为至少训练折损预测模型424。折损预测模型424被配置为确定针对内容项的折损信息。折损预测模型424的训练数据至少包括针对对应对象的转化行为实际被执行的真实总次数,以及在辅助内容项上检测到的点击行为的次数。
已训练的折损预测模型424可以被提供给模型应用子系统430,其被配置为利用已训练的折损预测模型424来预测针对某个内容项412的折损信息434,以指示在预计转化信息指示针对相关对象的转化行为预计被执行的情况下,转化行为实际未被执行的概率。
在一些实施例中,如果利用已训练的转化预测模型422确定针对某个内容项142的预计转化信息432(表示为pcvr),并且对该内容项142的点击行为会触发辅助内容项242的呈现,那么还可以基于利用已训练的折损预测模型424来确定针对该内容项142的折损信息434,例如drop_ratio。可以基于预计转化信息432和折损信息434来确定针对内容项142的更新转化信息,以指示针对对象的转化行为实际被执行的概率,其可以被表示为cvr=pcvr*(1-drop_ratio)。在更新转化信息中,实际未执行转化行为的那部分统计数据被消除。
在一些实施例中,基于更新转化信息,模型应用子系统430还可以进一步确定与内容项142相关的其他信息,例如收入相关信息436。收入相关信息426通常是对象提供方关心的内容项度量指标。收入相关信息436可以至少基于针对内容项142的转化信息和针对内容项142的转化出价信息来确定。
在一些示例中,收入相关信息436可以指示在内容项的预定次呈现可以获得的收入,例如可以指示每一千次呈现可以获得的广告收入(即effective cost per mile,ECPM)。收入相关信息436还可以有其他衡量标准,为便于讨论,下文以ECPM为例进行说明。ECPM可以基于通过以下来确定:
ECPM=bid*pctr*pcvr*(1-drop_ratio) (2)
其中bid指的是对象提供方对对象的单次转化行为的出价,pctr指示相关的内容项的预计点击率,pcvr指示针对内容项的预计转化信息(例如,可以是由转化预测模型422确定的预计转化信息432),drop_ratio指示针对内容项的折损信息,(例如,可以是由折损预测模型424确定的折损信息434)。
收入相关信息436,例如ECPM,可以用于确定针对内容项的出价策略。例如,出价策略可以包括最低成本出价(lowest cost)和成本上限出价(cost cap)。最低成本出价方案是由对象提供方设置计划预算,在一段时间内尽(例如,一天或者广告计划排期结束前)尽可能消耗完全部预算的前提下,实现成本最低的出价产品。成本上限出价方案是确保对象提供方投放的内容项的实际成本尽可能接近其出价(bid)。对于成本上限出价方案,需要考虑收入相关信息,以便准确确定内容项相关的收入。当然,收入相关信息436也可以被用于针对内容项的其他评估方案,或者其他策略的执行等各个场景中。
下文将首先来介绍转化预测模型422的结构以及其训练过程,然后再介绍折损预测模型424的训练过程。
转化预测模型422可以基于任何适当的机器学习模型或神经网络模型来构建。在一些实施例中,由于没有转化约束或者其他原因,可以某些内容项142的即时的转化回流,因而可能不提供某些内容项的辅助内容项。在一些实施例中,期望转化预测模型422训练为能够通用于这类内容项142的转化信息预测与需要提供辅助内容项的转化信息预测。在这种情况下,转化预测模型422的训练数据包括在提供辅助内容项的基础上确定的预计转化信息,以及在不提供辅助内容项的基础上确定的转化信息。后一种转化信息指示对应的对象的转化行为被执行的概率,其可以是从内容提供平台以外的平台(执行转化行为的平台)直接回传得到的。执行转化行为的平台例如可以是对象提供方管理的平台或者第三方平台。
在一些实施例中,为了使转化预测模型422针对不同类型的内容项能够提供更准确的预测,可以将转化预测模型422构建为针对不同类型的内容项,利用不同的输出部分来确定预计转化信息。图5示出了根据这样的实施例的转化预测模型422的示例结构的框图。如图5所示,转化预测模型422包括通用部分510、第一输出部分512以及第二输出部分514。通用部分510作为第一输出部分512和第二输出部分514的共享基底部分,其接收模型输入,并对模型输入进行处理,以获得中间特征信息。如果模型输入是与提供辅助内容项的内容项相关,那么中间特征信息被提供到第一输出部分512,由该部分确定预计转化信息。如果模型输入是与无需提供辅助内容项的内容项相关,那么中间特征信息被提供到第一输出部分514,由该部分确定预计转化信息。
模型输入可以包括与内容项本身相关的信息,与内容项的对象相关的信息,以及其他能够用于预测转化信息的其他相关信息,本公开的实施例对此不作限制。
在模型训练阶段,可以利用与提供辅助内容项的内容项相关的预计转化信息和与无需提供辅助内容项的内容项相关的预计转化信息来训练通用部分510。也就是说,两种类型的内容项相关的预计转化信息,均能够用于影响通用部分510的参数更新。对于第一输出部分512,利用与提供辅助内容项的内容项相关的预计转化信息进行训练,而对于第二输出部分514,利用与无需提供辅助内容项的内容项相关的预计转化信息进行训练。这样可以使得第一输出部分512和第二输出部分514各自专用于对应类型的内容项的转化信息预测。
虽然参考图5描述了转化预测模型422的示例结构。在其他实施例中,也可以不设计多个输出部分,而是利用两种类型的内容项对应的预计转化信息来共同训练转化预测模型422。根据实际需要,在一些实施例中,也可以针对两种类型的内容项,分别设计两个转化预测模型用于转化信息的预测。
折损预测模型424的训练数据至少包括针对对应对象的转化行为实际被执行的真实总次数。然而,在很多情况下,转化行为实际被执行的真实总次数可能被延迟一段时间后才会由其他平台提供给内容管理系统120。例如,为了防止追踪,每个转化行为的回传时间可以是随机的。但通常,在较长一段时间后,这段时间内发生的转化行为可能均已被回传到内容管理系统120。此外,发明人还发现,整体回传的延迟时间遵循固定分布。因此,在一些实施例中,提出了用于训练折损预测模型424的改进训练方法。
图6示出了根据本公开的一些实施例的用于训练折损预测模型424的示例架构600的框图。折损预测模型424的训练所针对的内容项具有相关联的辅助内容项。
在图6的实施例中,考虑一个或多个内容项x(1)、x(2)、x(3)、……x(m)来训练折损预测模型424。针对每个内容项,假设在一个时间范围内针对该内容项相关的对象的转化行为实际被执行的真实总次数602(被表示为ad_skan)可以确定,例如基于一次或多次转化回传来确定。此外,可以获得在该时间范围内多个时间点(被表示为1、2、3、……n)处针对辅助内容项242所指示的入口的点击行为被执行的多个次数620,被表示为mid_click(1)、mid_click(2)、mid_click(3)……mid_click(n)。
在架构600中,时间模型610被配置为多个时间点对应的多个转化回传概率612,被表示为time_prob(1)、time_prob(2)、time_prob(3)……time_prob(n),每个转化回传概率指示在对应时间点针对对象的转化行为被执行的次数在时间点n时已被回传的概率。时间模型610的输入是时间差分信息605,被表示为time_diff(1)、time_diff(2)、time_diff(3)……time_diff(n),用于表征每个具体时间点。
基于多个次数和多个转化回传概率来确定在时间范围内针对对象的转化行为预计被执行的总次数632,被表示为mid_click_aggr。例如,可以通过将mid_click(1)、mid_click(2)、mid_click(3)……mid_click(n)与time_prob(1)、time_prob(2)、time_prob(3)……time_prob(n)逐元素相乘然后加和,来确定mid_click_aggr。
在训练的每次迭代中,折损预测模型424利用当前模型参数值,确定针对对应的内容项(例如,x(1)、x(2)、x(3)、……x(m)中的某个内容项)的折损信息drop_ratio’。基于mid_click_aggr以及(1-drop_ratio’),可以确定在时间点1至n的时间范围内针对相关对象的转化行为实际被执行的预测总次数660y’,即y’=mid_click_aggr*(1-drop_ratio’)。
在训练时,模型训练子系统420中的模型更新模块660可以确定预测总次数660y’与真实总次数602ad_skan之间的差异,并基于该差异来更新折损预测模型424,例如更新折损预测模型424的参数值。在一些实施例中,模型更新模块660可以基于预测总次数660y’与真实总次数602ad_skan之间的差异来构建损失函数(loss function),并基于损失函数,利用适当的模型训练算法来确定针对折损预测模型424的更新。本公开的实施例在模型训练算法方面不受限制。
针对每个内容项x(1)、x(2)、x(3)、……x(m),均可以通过上述步骤来确定预测总次数660y’与真实总次数602ad_skan之间的差异,以更新折损预测模型424。折损预测模型424可以被更新为不断减小或最小化预测总次数660y’与真实总次数602ad_skan之间的差异,直到达到模型训练目标。
图7示出了根据本公开的一些实施例的在内容管理系统120处执行的转化评估的过程700的流程图。
在框710,内容管理系统120使与第一对象相关的第一内容项在内容提供平台对应的终端设备处被呈现。在框720,内容管理系统120确定是否检测到针对第一内容项的点击行为。在框730,响应于确定针对第一内容项的点击行为的检测,内容管理系统120使与第一对象相关的辅助内容项在终端设备处被呈现,辅助内容项至少指示用于执行针对第一对象的转化行为的入口。在框740,基于针对入口的点击反馈来确定针对第一内容项的第一预计转化信息,点击反馈指示入口在终端设备处是否被点击,第一预计转化信息指示针对第一对象的转化行为预计被执行的概率。
在一些实施例中,转化行为包括对第一对象的下载行为。
在一些实施例中,辅助内容项还指示与第一对象相关的描述信息。
在一些实施例中,使辅助内容项被呈现包括:至少基于针对第一对象的转化行为的回传约束来确定辅助内容项是否要在终端设备处被呈现;以及基于确定来选择性地使辅助内容项被呈现。
在一些实施例中,过程700还包括:至少基于第一预计转化信息来训练转化预测模型,转化预测模型被训练为预测针对与给定对象相关的内容项的转化信息。
在一些实施例中,训练转化预测模型包括:获取针对第二内容项的第二预计转化信息,第二内容项与第二对象相关,并且第二预计转化信息基于以下来确定:从内容提供平台以外的平台获取的针对第二对象的转化行为被执行的概率;基于第一预计转化信息和第二预计转化信息来训练转化预测模型的通用部分;基于通用部分的中间输出和第一预计转化信息来训练转化预测模型的第一输出部分;以及基于通用部分的中间输出和第二预计转化信息来训练转化预测模型的第二输出部分。
在一些实施例中,过程700还包括:利用已训练的转化预测模型来预测针对第三内容项的第三预计转化信息,第三内容项与第三对象相关,第三预计转化信息指示针对第三对象的转化行为预计被执行的概率。
在一些实施例中,在检测到针对第三内容项的点击行为的情况下另外的辅助内容项被呈现。在一些实施例中,过程700还包括:获取针对第三内容项的折损信息,折损信息指示:在第三预计转化信息指示针对第三对象的转化行为预计被执行的情况下,转化行为实际未被执行的概率;以及基于第三预计转化信息和折损信息来确定针对第三内容项的更新转化信息,更新转化信息指示针对第三对象的转化行为实际被执行的概率。
在一些实施例中,过程700还包括:基于更新转化信息和针对第三内容项的转化出价信息来确定针对第三内容项的收入相关信息,转化出价信息指示针对第三对象的单次转化行为的出价。
在一些实施例中,获取折损信息包括:获取已训练的折损预测模型;以及利用折损预测模型来确定针对第三内容项的折损信息。
在一些实施例中,过程700还包括通过以下来训练折损预测模型:确定在与第四对象相关的第四内容项被呈现的情况下,在一个时间范围内针对第四对象的转化行为预计被执行的总次数;利用待训练的折损预测模型确定针对第四内容项的预计折损信息;基于预计折损信息和总次数,确定在时间范围内针对第四对象的转化行为实际被执行的预测总次数;基于预测总次数与在时间范围内针对第四对象的转化行为实际被执行的真实总次数之间的差异,更新折损预测模型。
在一些实施例中,在检测到针对第四内容项的点击行为的情况下另外的辅助内容项被呈现。在一些实施例中,确定在一个时间范围内针对第四对象的转化行为预计被执行的总次数包括:获取在时间范围内的多个时间点处在针对另外的辅助内容项所指示的入口的点击行为被执行的多个次数;确定多个时间点对应的多个转化回传概率,转化回传概率指示在对应时间点针对第四对象的转化行为被执行的次数在多个时间点中最晚一个时间点时已被回传的概率;以及基于多个次数和多个转化回传概率来确定在时间范围内针对第四对象的转化行为预计被执行的总次数。
图8示出了根据本公开的一些实施例的在终端设备140处执行的转化评估的过程800的流程图。
在框810,终端设备140呈现与第一对象相关的第一内容项。在框820,终端设备140确定是否检测到针对第一内容项的点击行为。响应于检测到针对第一内容项的点击行为,在框830,终端设备140呈现与第一对象相关的辅助内容项,辅助内容项至少指示用于执行针对第一对象的转化行为的入口。在框840,终端设备140向内容管理系统提供针对入口的点击反馈,点击反馈指示入口在终端设备处是否被点击。
图9示出了根据本公开的一些实施例的用于转化评估的装置800的示意性结构框图。装置900可以被实现为或者被包括在内容管理系统120中。装置900中的各个模块/组件可以由硬件、软件、固件或者它们的任意组合来实现。
如图所示,装置900包括第一呈现控制模块910,被配置为使与第一对象相关的第一内容项在内容提供平台对应的终端设备处被呈现,装置900还包括第二呈现控制模块920,被配置为响应于确定针对第一内容项的点击行为的检测,使与第一对象相关的辅助内容项在终端设备处被呈现,辅助内容项至少指示用于执行针对第一对象的转化行为的入口。装置900还包括转化确定模块930,被配置为基于针对入口的点击反馈来确定针对第一内容项的第一预计转化信息,点击反馈指示入口在终端设备处是否被点击,第一预计转化信息指示针对第一对象的转化行为预计被执行的概率。
在一些实施例中,转化行为包括对第一对象的下载行为。
在一些实施例中,辅助内容项还指示与第一对象相关的描述信息。
在一些实施例中,第二呈现控制模块920包括:确定模块,被配置为至少基于针对第一对象的转化行为的回传约束来确定辅助内容项是否要在终端设备处被呈现;以及选择性呈现模块,被配置为基于确定来选择性地使辅助内容项被呈现。
在一些实施例中,装置900还包括:第一训练模块,被配置为至少基于第一预计转化信息来训练转化预测模型,转化预测模型被训练为预测针对与给定对象相关的内容项的转化信息。
在一些实施例中,第一训练模型包括:信息获取模块,被配置为获取针对第二内容项的第二预计转化信息,第二内容项与第二对象相关,并且第二预计转化信息基于以下来确定:从内容提供平台以外的平台获取的针对第二对象的转化行为被执行的概率;通用部分训练模块,被配置为基于第一预计转化信息和第二预计转化信息来训练转化预测模型的通用部分;第一输出部分训练模块,被配置为基于通用部分的中间输出和第一预计转化信息来训练转化预测模型的第一输出部分;以及第二输出部分训练模块,被配置为基于通用部分的中间输出和第二预计转化信息来训练转化预测模型的第二输出部分。
在一些实施例中,装置900还包括:第一模型应用模块,被配置为利用已训练的转化预测模型来预测针对第三内容项的第三预计转化信息,第三内容项与第三对象相关,第三预计转化信息指示针对第三对象的转化行为预计被执行的概率。
在一些实施例中,在检测到针对第三内容项的点击行为的情况下另外的辅助内容项被呈现。在一些实施例中,装置900还包括折损获取模块,被配置为获取针对第三内容项的折损信息,折损信息指示:在第三预计转化信息指示针对第三对象的转化行为预计被执行的情况下,转化行为实际未被执行的概率;以及转化更新模块,被配置为基于第三预计转化信息和折损信息来确定针对第三内容项的更新转化信息,更新转化信息指示针对第三对象的转化行为实际被执行的概率。
在一些实施例中,装置900还包括收入确定模块,被配置为基于更新转化信息和针对第三内容项的转化出价信息来确定针对第三内容项的收入相关信息,转化出价信息指示针对第三对象的单次转化行为的出价。
在一些实施例中,折损获取模块包括:模型获取模块,被配置为获取已训练的折损预测模型;以及第二模型应用模块,被配置为利用折损预测模型来确定针对第三内容项的折损信息。
在一些实施例中,装置900还包括第二模型训练模块,被配置为通过以下来训练折损预测模型:确定在与第四对象相关的第四内容项被呈现的情况下,在一个时间范围内针对第四对象的转化行为预计被执行的总次数;利用待训练的折损预测模型确定针对第四内容项的预计折损信息;基于预计折损信息和总次数,确定在时间范围内针对第四对象的转化行为实际被执行的预测总次数;基于预测总次数与在时间范围内针对第四对象的转化行为实际被执行的真实总次数之间的差异,更新折损预测模型。
在一些实施例中,在检测到针对第四内容项的点击行为的情况下另外的辅助内容项被呈现。在一些实施例中,第二模型训练模块,被配置为通过以下来确定在一个时间范围内针对第四对象的转化行为预计被执行的总次数包括:获取在时间范围内的多个时间点处在针对另外的辅助内容项所指示的入口的点击行为被执行的多个次数;确定多个时间点对应的多个转化回传概率,转化回传概率指示在对应时间点针对第四对象的转化行为被执行的次数在多个时间点中最晚一个时间点时已被回传的概率;以及基于多个次数和多个转化回传概率来确定在时间范围内针对第四对象的转化行为预计被执行的总次数。
图10示出了根据本公开的另一些实施例的用于转化评估的装置的框图。装置1000可以被实现为或者被包括在终端设备140中。装置1000中的各个模块/组件可以由硬件、软件、固件或者它们的任意组合来实现。
如图所示,装置1000包括第一呈现模块1010,被配置为在内容提供平台对应的终端设备处,呈现与第一对象相关的第一内容项;以及第二呈现模块1020,被配置为响应于检测到针对第一内容项的点击行为,呈现与第一对象相关的辅助内容项,辅助内容项至少指示用于执行针对第一对象的转化行为的入口。装置1000还包括反馈提供模块1030,被配置为向内容管理系统提供针对入口的点击反馈,点击反馈指示入口在终端设备处是否被点击。
图11示出了其中可以实施本公开的一个或多个实施例的电子设备1100的框图。应当理解,图11所示出的电子设备1100仅仅是示例性的,而不应当构成对本文所描述的实施例的功能和范围的任何限制。图11所示出的电子设备1100可以用于实现图1的终端设备140或内容管理系统120。
如图11所示,电子设备1100是通用计算设备的形式。电子设备1100的组件可以包括但不限于一个或多个处理器或处理单元1110、存储器1120、存储设备1130、一个或多个通信单元1140、一个或多个输入设备1150以及一个或多个输出设备1160。处理单元1110可以是实际或虚拟处理器并且能够根据存储器1120中存储的程序来执行各种处理。在多处理器系统中,多个处理单元并行执行计算机可执行指令,以提高电子设备1100的并行处理能力。
电子设备1100通常包括多个计算机存储介质。这样的介质可以是电子设备1100可访问的任何可以获得的介质,包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器1120可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(RAM))、非易失性存储器(例如,只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)或它们的某种组合。存储设备1130可以是可拆卸或不可拆卸的介质,并且可以包括机器可读介质,诸如闪存驱动、磁盘或者任何其他介质,其可以能够用于存储信息和/或数据(例如用于训练的训练数据)并且可以在电子设备1100内被访问。
电子设备1100可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图11中示出,可以提供用于从可拆卸、非易失性磁盘(例如“软盘”)进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中,每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。存储器1120可以包括计算机程序产品1125,其具有一个或多个程序模块,这些程序模块被配置为执行本公开的各种实施例的各种方法或动作。
通信单元1140实现通过通信介质与其他电子设备进行通信。附加地,电子设备1100的组件的功能可以以单个计算集群或多个计算机器来实现,这些计算机器能够通过通信连接进行通信。因此,电子设备1100可以使用与一个或多个其他服务器、网络个人计算机(PC)或者另一个网络节点的逻辑连接来在联网环境中进行操作。
输入设备1150可以是一个或多个输入设备,例如鼠标、键盘、追踪球等。输出设备1160可以是一个或多个输出设备,例如显示器、扬声器、打印机等。电子设备1100还可以根据需要通过通信单元1140与一个或多个外部设备(未示出)进行通信,外部设备诸如存储设备、显示设备等,与一个或多个使得用户与电子设备1100交互的设备进行通信,或者与使得电子设备1100与一个或多个其他电子设备通信的任何设备(例如,网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(I/O)接口(未示出)来执行。
根据本公开的示例性实现方式,提供了一种计算机可读存储介质,其上存储有计算机可执行指令,其中计算机可执行指令被处理器执行以实现上文描述的方法。根据本公开的示例性实现方式,还提供了一种计算机程序产品,计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括计算机可执行指令,而计算机可执行指令被处理器执行以实现上文描述的方法。
这里参照根据本公开实现的方法、装置、设备和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元,从而生产出一种机器,使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上,使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实现的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实现,上述说明是示例性的,并非穷尽性的,并且也不限于所公开的各实现。在不偏离所说明的各实现的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实现的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其他普通技术人员能理解本文公开的各个实现方式。
Claims (20)
1.一种转化评估的方法,包括:
使与第一对象相关的第一内容项在内容提供平台对应的终端设备处被呈现;
响应于确定针对所述第一内容项的点击行为的检测,使与所述第一对象相关的辅助内容项在所述终端设备处被呈现,所述辅助内容项至少指示用于执行针对所述第一对象的转化行为的入口;以及
基于针对所述入口的点击反馈来确定针对所述第一内容项的第一预计转化信息,所述点击反馈指示所述入口在所述终端设备处是否被点击,所述第一预计转化信息指示针对所述第一对象的所述转化行为预计被执行的概率。
2.根据权利要求1所述的方法,其中所述转化行为包括对所述第一对象的下载行为。
3.根据权利要求1所述的方法,其中所述辅助内容项还指示与所述第一对象相关的描述信息。
4.根据权利要求1所述的方法,其中使所述辅助内容项被呈现包括:
至少基于针对所述第一对象的转化行为的回传约束来确定所述辅助内容项是否要在所述终端设备处被呈现;以及
基于所述确定来选择性地使所述辅助内容项被呈现。
5.根据权利要求1所述的方法,还包括:
至少基于所述第一预计转化信息来训练转化预测模型,所述转化预测模型被训练为预测针对与给定对象相关的内容项的转化信息。
6.根据权利要求5所述的方法,其中训练所述转化预测模型包括:
获取针对第二内容项的第二预计转化信息,所述第二内容项与第二对象相关,并且所述第二预计转化信息基于以下来确定:从所述内容提供平台以外的平台获取的针对所述第二对象的所述转化行为被执行的概率;
基于所述第一预计转化信息和所述第二预计转化信息来训练所述转化预测模型的通用部分;
基于所述通用部分的中间输出和所述第一预计转化信息来训练所述转化预测模型的第一输出部分;以及
基于所述通用部分的所述中间输出和所述第二预计转化信息来训练所述转化预测模型的第二输出部分。
7.根据权利要求5所述的方法,还包括:
利用已训练的所述转化预测模型来预测针对第三内容项的第三预计转化信息,所述第三内容项与第三对象相关,所述第三预计转化信息指示针对所述第三对象的所述转化行为预计被执行的概率。
8.根据权利要求7所述的方法,其中在检测到针对所述第三内容项的点击行为的情况下另外的辅助内容项被呈现,所述方法还包括:
获取针对所述第三内容项的折损信息,所述折损信息指示:在所述第三预计转化信息指示针对所述第三对象的所述转化行为预计被执行的情况下,所述转化行为实际未被执行的概率;以及
基于所述第三预计转化信息和所述折损信息来确定针对所述第三内容项的更新转化信息,所述更新转化信息指示针对所述第三对象的所述转化行为实际被执行的概率。
9.根据权利要求7所述的方法,还包括:
基于所述更新转化信息和针对所述第三内容项的转化出价信息来确定针对所述第三内容项的收入相关信息,所述转化出价信息指示针对所述第三对象的单次转化行为的出价。
10.根据权利要求9所述的方法,其中获取所述折损信息包括:
获取已训练的折损预测模型;以及
利用所述折损预测模型来确定针对所述第三内容项的所述折损信息。
11.根据权利要求10所述的方法,还包括通过以下来训练所述折损预测模型:
确定在与第四对象相关的第四内容项被呈现的情况下,在一个时间范围内针对所述第四对象的所述转化行为预计被执行的总次数;
利用待训练的折损预测模型确定针对第四内容项的预计折损信息;
基于所述预计折损信息和所述总次数,确定在所述时间范围内针对所述第四对象的所述转化行为实际被执行的预测总次数;
基于所述预测总次数与在所述时间范围内针对所述第四对象的所述转化行为实际被执行的真实总次数之间的差异,更新所述折损预测模型。
12.根据权利要求11所述的方法,其中在检测到针对所述第四内容项的点击行为的情况下另外的辅助内容项被呈现,并且其中确定在一个时间范围内针对所述第四对象的所述转化行为预计被执行的所述总次数包括:
获取在所述时间范围内的多个时间点处在针对所述另外的辅助内容项所指示的入口的点击行为被执行的多个次数;
确定所述多个时间点对应的多个转化回传概率,转化回传概率指示在对应时间点针对所述第四对象的所述转化行为被执行的次数在所述多个时间点中最晚一个时间点时已被回传的概率;以及
基于所述多个次数和所述多个转化回传概率来确定在所述时间范围内针对所述第四对象的所述转化行为预计被执行的所述总次数。
13.一种转化评估的方法,包括:
在内容提供平台对应的终端设备处,呈现与第一对象相关的第一内容项;
响应于检测到针对所述第一内容项的点击行为,呈现与所述第一对象相关的辅助内容项,所述辅助内容项至少指示用于执行针对所述第一对象的转化行为的入口;以及
向内容管理系统提供针对所述入口的点击反馈,所述点击反馈指示所述入口在所述终端设备处是否被点击。
14.一种用于转化评估的装置,包括:
第一呈现控制模块,被配置为使与第一对象相关的第一内容项在内容提供平台对应的终端设备处被呈现;
第二呈现控制模块,被配置为响应于确定针对所述第一内容项的点击行为的检测,使与所述第一对象相关的辅助内容项在所述终端设备处被呈现,所述辅助内容项至少指示用于执行针对所述第一对象的转化行为的入口;以及
转化确定模块,被配置为基于针对所述入口的点击反馈来确定针对所述第一内容项的第一预计转化信息,所述点击反馈指示所述入口在所述终端设备处是否被点击,所述第一预计转化信息指示针对所述第一对象的所述转化行为预计被执行的概率。
15.根据权利要求14所述的装置,其中所述第二呈现控制模块包括:
确定模块,被配置为至少基于针对所述第一对象的转化行为的回传约束来确定所述辅助内容项是否要在所述终端设备处被呈现;以及
选择性呈现模块,被配置为基于所述确定来选择性地使所述辅助内容项被呈现。
16.根据权利要求14所述的装置,还包括:
第一训练模块,被配置为至少基于所述第一预计转化信息来训练转化预测模型,所述转化预测模型被训练为预测针对与给定对象相关的内容项的转化信息。
17.根据权利要求16所述的装置,还包括:
第一模型应用模块,被配置为利用已训练的所述转化预测模型来预测针对第三内容项的第三预计转化信息,所述第三内容项与第三对象相关,所述第三预计转化信息指示针对所述第三对象的所述转化行为预计被执行的概率。
18.一种用于转化评估的装置,包括:
第一呈现模块,被配置为在内容提供平台对应的终端设备处,呈现与第一对象相关的第一内容项;
第二呈现模块,被配置为响应于检测到针对所述第一内容项的点击行为,呈现与所述第一对象相关的辅助内容项,所述辅助内容项至少指示用于执行针对所述第一对象的转化行为的入口;以及
反馈提供模块,被配置为向内容管理系统提供针对所述入口的点击反馈,所述点击反馈指示所述入口在所述终端设备处是否被点击。
19.一种电子设备,包括:
至少一个处理单元;以及
至少一个存储器,所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令,所述指令在由所述至少一个处理单元执行时使所述设备执行根据权利要求1至12中任一项所述的方法或根据权利要求13所述的方法。
20.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现根据权利要求1至12中任一项所述的方法或根据权利要求13所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210693437.2A CN114971386A (zh) | 2022-06-17 | 2022-06-17 | 用于转化评估的方法、装置、设备和存储介质 |
PCT/CN2023/099249 WO2023241462A1 (zh) | 2022-06-17 | 2023-06-08 | 用于转化评估的方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210693437.2A CN114971386A (zh) | 2022-06-17 | 2022-06-17 | 用于转化评估的方法、装置、设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114971386A true CN114971386A (zh) | 2022-08-30 |
Family
ID=82962674
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210693437.2A Pending CN114971386A (zh) | 2022-06-17 | 2022-06-17 | 用于转化评估的方法、装置、设备和存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114971386A (zh) |
WO (1) | WO2023241462A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023241462A1 (zh) * | 2022-06-17 | 2023-12-21 | 北京有竹居网络技术有限公司 | 用于转化评估的方法、装置、设备和存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10664866B2 (en) * | 2016-11-30 | 2020-05-26 | Facebook, Inc. | Conversion optimization with long attribution window |
CN106844178B (zh) * | 2017-01-22 | 2019-11-15 | 腾云天宇科技(北京)有限公司 | 预测呈现信息转化率的方法、计算设备、服务器及系统 |
CN111125519B (zh) * | 2019-12-11 | 2023-10-13 | 腾讯科技(深圳)有限公司 | 用户行为预测方法、装置、电子设备以及存储介质 |
CN111401963B (zh) * | 2020-03-20 | 2022-06-07 | 支付宝(杭州)信息技术有限公司 | 训练用户行为预测模型的方法和装置 |
CN114971386A (zh) * | 2022-06-17 | 2022-08-30 | 北京有竹居网络技术有限公司 | 用于转化评估的方法、装置、设备和存储介质 |
-
2022
- 2022-06-17 CN CN202210693437.2A patent/CN114971386A/zh active Pending
-
2023
- 2023-06-08 WO PCT/CN2023/099249 patent/WO2023241462A1/zh unknown
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023241462A1 (zh) * | 2022-06-17 | 2023-12-21 | 北京有竹居网络技术有限公司 | 用于转化评估的方法、装置、设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2023241462A1 (zh) | 2023-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10649818B2 (en) | Multi-touch attribution model for valuing impressions and other online activities | |
US10311468B2 (en) | Statistical marketing attribution correlation | |
US20160210658A1 (en) | Determining touchpoint attributions in a segmented media campaign | |
US20110010243A1 (en) | User control of advertising content | |
US20140278807A1 (en) | Cloud service optimization for cost, performance and configuration | |
US11593860B2 (en) | Method, medium, and system for utilizing item-level importance sampling models for digital content selection policies | |
US20160104207A1 (en) | Advertising campaign conversion systems and methods | |
US20160210656A1 (en) | System for marketing touchpoint attribution bias correction | |
US20130204650A1 (en) | System and method for compliance management | |
US20110054999A1 (en) | System and method for predicting user navigation within sponsored search advertisements | |
US20190349210A1 (en) | Cost estimation on a cloud-computing platform | |
US20140200995A1 (en) | Temporal budget optimization in online advertising | |
KR20200045354A (ko) | 자동 광고 대행 서버, 자동으로 광고 매체를 위한 캠페인 정보를 생성하여 광고의 집행을 대행하는 방법 및 상기 방법을 실행하기 위한 컴퓨터 프로그램 | |
WO2023241462A1 (zh) | 用于转化评估的方法、装置、设备和存储介质 | |
US20170345052A1 (en) | Method and system for identifying anomalous content requests | |
US11972454B1 (en) | Attribution of response to multiple channels | |
US20170278120A1 (en) | Online dynamic resource planning for events based on aggregate attendance | |
CN113297287B (zh) | 用户策略自动部署方法、装置及电子设备 | |
US10565613B2 (en) | Simulating advertising campaigns | |
CN113034171A (zh) | 一种业务数据处理方法、装置、计算机及可读存储介质 | |
US20160314493A1 (en) | Metric monitoring in social advertising | |
US20230196289A1 (en) | Auto-generating news headlines based on climate, carbon and impact predictions | |
US8612274B2 (en) | Pricing engine revenue evaluation | |
US20210166263A1 (en) | Identification of software robot activity | |
US20210110456A1 (en) | Email Content Selection System And Method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: Room 802, Information Building, 13 Linyin North Street, Pinggu District, Beijing, 101299 Applicant after: Beijing youzhuju Network Technology Co.,Ltd. Address before: 101299 Room 802, information building, No. 13, linmeng North Street, Pinggu District, Beijing Applicant before: Beijing youzhuju Network Technology Co.,Ltd. |