CN109658165A - 广告出价方法、装置、电子设备及计算机可读介质 - Google Patents
广告出价方法、装置、电子设备及计算机可读介质 Download PDFInfo
- Publication number
- CN109658165A CN109658165A CN201910133530.6A CN201910133530A CN109658165A CN 109658165 A CN109658165 A CN 109658165A CN 201910133530 A CN201910133530 A CN 201910133530A CN 109658165 A CN109658165 A CN 109658165A
- Authority
- CN
- China
- Prior art keywords
- bid
- advertisement
- advertiser
- rate
- click
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0273—Determination of fees for advertising
- G06Q30/0275—Auctions
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Marketing (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开涉及一种广告出价方法、装置、电子设备及计算机可读介质。该方法包括:根据目标广告主的地理位置确定多个待分析区域;确定所述多个待分析区域对应的多个广告主队列;根据所述多个广告主队列的点击通过率预估所述目标广告主的多个竞争出价;以及根据所述多个竞争出价确定所述广告主的目标出价。本公开涉及的广告出价方法、装置、电子设备及计算机可读介质,能够以商户为中心,准确模拟实际场景中的用户搜索请求,从而给商户提供出合理的广告建议出价。
Description
技术领域
本公开涉及计算机信息处理领域,具体而言,涉及一种广告出价方法、装置、电子设备及计算机可读介质。
背景技术
广告是互联网行业公司最常见的一种流量变现方式,在一个典型的广告产品生态中,主要的参与方有三个:广告主、广告平台和用户,其中广告主的目标在于通过投放广告获取更多的流量,广告平台的目标则在于平衡短期价值(广告收入)和长期价值(用户粘性)的关系。
在互联网行业,常见的广告投放形态有展示计费CPM(Cost Per Mille)、点击计费CPC(Cost Per Click)和转化计费CPA(Cost Per Action)等,无论是哪种投放形态,广告主都需要设定相应的出价单元(CPM:千次展示,CPC:单次点击,CPA:单次转化)。对于广告主而言,在设定出价单元的时候,会面临一个困难:在期望广告出现在某个位次上或者某个位次之前应该出多少钱。
为了帮助广告主解决这类问题,在搜索效果广告竞价系统中,广告平台提供了出价建议服务这一工具,它主要解决了如下诉求:广告主给定广告投放的预期位置,广告平台预估该广告排在预期位置的最优出价。其基本原理是通过模拟广告主之间的竞争场景,实现出价预估。从准确性、易用性与流量细分的角度来看,现有辅助广告主进行出价预估方式存在很多缺陷。
因此,需要一种新的广告出价方法、装置、电子设备及计算机可读介质。
在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解,因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此,本公开提供一种广告出价方法、装置、电子设备及计算机可读介质,能够以商户为中心,准确模拟实际场景中的用户搜索请求,从而给商户提供出合理的广告建议出价。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的一方面,提出一种广告出价方法,该方法包括:根据目标广告主的地理位置确定多个待分析区域;确定所述多个待分析区域对应的多个广告主队列;根据所述多个广告主队列的点击通过率预估所述目标广告主的多个竞争出价;以及根据所述多个竞争出价确定所述广告主的目标出价。
在本公开的一种示例性实施例中,根据目标广告主的地理位置确定多个待分析区域包括:在所述目标广告主的地理位置的预定距离内确定多个目标点;确定区域半径;以及以所述多个目标点为圆心,基于所述区域半径确定所述多个待分析区域。
在本公开的一种示例性实施例中,确定所述多个待分析区域对应的多个广告主队列包括:确定所述多个待分析区域中每一个待分析区域中的广告主;获取所述广告主对应的广告展示费用;以及根据所述广告展示费用在每一个待分析区域中将广告主进行排名,生成广告主队列。
在本公开的一种示例性实施例中,根据所述多个广告主队列的点击通过率预估所述目标广告主的多个竞争出价包括:根据所述多个广告主队列的实时点击通过率预估所述目标广告主的多个竞争出价;和/或根据所述多个广告主队列的平均点击通过率预估所述目标广告主的多个竞争出价。
在本公开的一种示例性实施例中,根据所述多个广告主队列的实时点击通过率预估所述目标广告主的多个竞争出价包括:获取广告主队列中每一个广告主对应的广告展示费用;获取广告主队列中每一个广告主对应的实时点击通过率;获取广告主队列中每一个广告主对应的广告展示系数;以及通过每一个广告主对应广告展示费用、实时点击通过率、广告展示系数预估所述目标广告主的多个竞争出价。
在本公开的一种示例性实施例中,通过搜索召回请求获取广告展示费用、平均点击通过率、广告展示系数。
在本公开的一种示例性实施例中,根据所述多个广告主队列的平均点击通过率预估所述目标广告主的多个竞争出价包括:获取广告主队列中每一个广告主对应的广告展示费用;获取广告主队列中每一个广告主对应的平均点击通过率;获取广告主队列中每一个广告主对应的广告展示系数;以及通过每一个广告主对应广告展示费用、平均点击通过率、广告展示系数预估所述目标广告主的多个竞争出价。
在本公开的一种示例性实施例中,通过搜索召回请求获取广告展示费用广告展示系数;通过历史数据确定平均点击通过率。
在本公开的一种示例性实施例中,根据所述多个广告主队列的点击通过率预估所述目标广告主的多个竞争出价包括:通过每一个广告主对应广告展示费用、广告展示系数、实时点击通过率和/或平均点击通过率预估所述目标广告主在每一个待分析区域内多个排位对应的多个竞争出价。
在本公开的一种示例性实施例中,根据所述多个竞争出价确定所述广告主的目标出价包括:将所述多个待分析区域中的多个竞争出价按照排位合并;将每一个排位中最大的竞争出价确定为子目标出价;以及通过多个排位与其对应的子目标出价生成所述目标出价。
根据本公开的一方面,提出一种广告出价装置,该装置包括:区域模块,用于根据目标广告主的地理位置确定多个待分析区域;队列模块,用于确定所述多个待分析区域对应的多个广告主队列;预估模块,用于根据所述多个广告主队列的点击通过率预估所述目标广告主的多个竞争出价;以及出价模块,用于根据所述多个竞争出价确定所述广告主的目标出价。
在本公开的一种示例性实施例中,预估模块包括:实时预估单元,用于根据所述多个广告主队列的实时点击通过率预估所述目标广告主的多个竞争出价;和/或平均预估单元,根据所述多个广告主队列的平均点击通过率预估所述目标广告主的多个竞争出价。
根据本公开的一方面,提出一种电子设备,该电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如上文的方法。
根据本公开的一方面,提出一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现如上文中的方法。
根据本公开的广告出价方法、装置、电子设备及计算机可读介质,能够以商户为中心,准确模拟实际场景中的用户搜索请求,从而给商户提供出合理的广告建议出价。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
通过参照附图详细描述其示例实施例,本公开的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本公开的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种广告出价方法及装置的系统框图。
图2是根据一示例性实施例示出的一种广告出价方法及装置的应用场景图。
图3是根据另一示例性实施例示出的一种广告出价方法的流程图。
图4是根据另一示例性实施例示出的一种广告出价方法的示意图。
图5是根据另一示例性实施例示出的一种广告出价方法的示意图。
图6是根据另一示例性实施例示出的一种广告出价方法的示意图。
图7是根据另一示例性实施例示出的一种广告出价方法的流程图。
图8是根据另一示例性实施例示出的一种广告出价方法的流程图。
图9是根据一示例性实施例示出的一种广告出价装置的框图。
图10是根据一示例性实施例示出的一种电子设备的框图。
图11是根据一示例性实施例示出一种计算机可读存储介质示意图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而,示例实施例能够以多种形式实施,且不应被理解为限于在此阐述的实施例;相反,提供这些实施例使得本公开将全面和完整,并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本公开的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
应理解,虽然本文中可能使用术语第一、第二、第三等来描述各种组件,但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此,下文论述的第一组件可称为第二组件而不偏离本公开概念的教示。如本文中所使用,术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。
本领域技术人员可以理解,附图只是示例实施例的示意图,附图中的模块或流程并不一定是实施本公开所必须的,因此不能用于限制本公开的保护范围。
本申请的发明人发现,对于广告主而言,在设定出价单元的时候,会面临一个困难:在期望广告出现在某个位次上或者某个位次之前应该出多少钱。
为了帮助广告主解决这类问题,在搜索效果广告竞价系统中,广告平台提供了出价建议服务这一工具,它主要解决了如下诉求:广告主给定广告投放的预期位置,广告平台预估该广告排在预期位置的最优出价。其基本原理是通过模拟广告主之间的竞争场景,实现出价预估。
在传统的效果广告模型中,广告主之间的竞争是全局范围的;但在基于地理位置信息的O2O行业中,广告主之间是局部竞争的关系,例如:位于上海中山公园附近的用户在点评app上搜索“火锅”关键词的时候,参与此次广告位竞拍的只是当前用户所处的一个小区域内的广告主。此时,位置信息对广告主之间竞争的影响具有关键作用。具体包括点击率预估的影响与对广告位次准入门槛的约束等。因此,传统搜索效果广告的出价建议策略无法直接适用于LBS场景下的O2O行业,应按实际流量特征设计实现该场景下的出价建议方案。
针对该场景,现有技术中存在一种基于离线计算实现的出价预估方法,简述其流程如下:
1.划分蜂窝区域:蜂窝是以海量用户定位信息为依据,采用聚类算法聚集形成用户或者广告主聚集区域,划分的步骤包括回放用户日志和圈定潜在流量。划分之后,广告主之间的竞争范围限定在同一蜂窝内。
2.模拟出价范围:假定其他广告主出价不变,调整当前广告主的出价,根据出价的变化计算其能获取到的流量的变化情况。
3.线上流量测试。将第2步得到的离线模拟结果应用到线上,在实际生产环境观测广告主能够获取到的流量情况。
4.效果指标评估。评估广告投放效果的时候,除了给出曝光数、点击数、转化数等绝对数量指标之外,可以结合蜂窝,给出流量召回率、曝光率、点击率、下单率等指标。
从准确性、易用性与流量细分的角度来看,现有的离线出价预估方式存在如下问题:
1.通过离线数据建模得到的蜂窝划分,在反映线上实时竞争环境时难以做到准确,这主要是由于LBS投放场景的竞争环境变化是时刻存在且无法预知的,具体表现为以下几点:
a)同一LBS场景中的竞争队列变化频繁,具体表现为广告主开启/暂停投放、时间定向因素、预算下线等变化且不可预测。
b)竞争环境受实时流量改变的影响较大,根据历史数据划分的蜂窝区域很可能已不适用于当前的竞争环境。
2.可验证性和可解释性差,广告主不易理解:广告主对于出价建议工具最直接的诉求是能够得知自己竞争某一广告位次所需要给出的出价,而现有离线出价建议方案给出的结果是基于广告主实际能够获取到的流量,这样广告主很难理解,更难验证。
3.离线预估与实时搜索广告召回流程独立,在线上业务流程和策略出现变化时无法及时迭代改变,导致存在准确性不足的问题。
4.离线出价建议仅在一种场景下给出了出价建议,无法做到进一步的流量细分。
有鉴于现有技术中存在的技术缺陷,本申请提出了一种广告出价方法,能够提高信息投放数据分析的适用性,并且可得到对O2O模式下的信息投放数据的投放具有指导意义的分析结果,从而有利于优化信息投放数据的投放结构。
POI:point of interest,即LBS投放场景中的广告主,一般指投放门店。
竞争队列、目标POI、竞争对手:在同一LBS场景(如同一商圈)中参与竞争的广告POI集合称为以下称为竞争队列;为某个POI进行出价预估时,称该POI为目标POI,而其所属竞争队列中的其他POI为竞争对手。
eCPM:effective cost per mille,预估每千次展示费用,为效果广告收益的主要评估指标之一。在搜索列表广告位竞价排名系统中,一般以eCPM作为列表排序的依据。
LBS:Location Based Service,基于位置的服务,是指通过电信移动运营商的无线电通讯网络或外部定位方式,获取移动终端用户的位置信息,在GIS平台的支持下,为用户提供相应服务的一种增值业务。
下面借助具体的实施例,对本公开的详细内容进行介绍:
图1是根据一示例性实施例示出的一种广告出价方法及装置的系统框图。
如图1所示,系统架构100可以包括用户终端设备101、102、商户终端设备103,网络104和服务器105。网络104用以在用户终端设备101、102、商户终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
普通用户可以借助用户终端设备101、102通过网络104与服务器105交互,以接收或发送消息等。广告主用户可以借助商户终端设备103网络104与服务器105交互,以接收或发送消息等。用户终端设备101、102、商户终端设备103上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对用户利用终端设备101、102所浏览的搜索网站提供支持的后台服务器。服务器105可以对接收到的用户查询信息进行处理,并将搜索结果(例如多个待推荐的广告)反馈给终端设备101、102。服务器105还可例接收商户终端设备103的出价协助请求,以便在为终端设备101、102提供广告推荐的时候,协助商户终端103进行出价。
服务器105可例如根据目标广告主的地理位置确定多个待分析区域;服务器105可例如确定所述多个待分析区域对应的多个广告主队列;服务器105可例如根据所述多个广告主队列的点击通过率预估所述目标广告主的多个竞争出价;服务器105可例如根据所述多个竞争出价确定所述广告主的目标出价。
服务器105可以是一个实体的服务器,还可例如为多个服务器组成,需要说明的是,本公开实施例所提供的广告出价方法可以由服务器105执行,相应地,广告出价装置可以设置于服务器105中。而提供给用户进行商品浏览的网页端与进行商家查询的请求端一般位于终端设备101、102中。
根据本公开的广告出价方法,提出了一种O2O行业广告投放中基于流量细分的实时出价建议方法,该方法基本包括:获取多个用户的定位点,根据多个所述定位点确定多个待分析区域;确定各个所述待分析区域内的各个信息投放数据在投放时对应的流量集合;基于各个所述流量集合,分析各个所述待分析区域内各个信息投放数据的流量与对应的投放成本之间关系。本发明实施的技术方案提高了信息投放数据分析的适用性,并且可得到对O2O模式下的信息投放数据的投放具有指导意义的分析结果,从而有利于优化信息投放数据的投放结构。
图2是根据一示例性实施例示出的一种广告出价方法及装置的应用场景图。
如图2所述,用户在浏览的网站上提出搜索请求,搜索目标可例如为附近的餐厅,某网站首先将该用户附近的商户按照类目进行整理,可例如分为美食、休闲娱乐等大类,然后提取美食类目下的餐厅类的商户进行整理,餐厅类的商户列表可例如为餐厅A、餐厅B、餐厅C、餐厅D等。餐厅A、餐厅B、餐厅C、餐厅D可通过在网站的后台进行竞价排名,来争夺在用户端展示的位置。
餐厅A、餐厅B、餐厅C、餐厅D可例如通过固定出价方式,或者实时预估等出价方式来进行竞价,根据各个餐厅的出价,网络后台服务器对各个餐厅进行排名,一般情况下,出价最高的餐厅排名靠前,最终竞价的结果显示了各个不同餐厅在用户端展示的排位高低。
图3是根据另一示例性实施例示出的一种广告出价方法的流程图。。广告出价方法30至少包括步骤S302至S308。
如图3所示,在S302中,根据目标广告主的地理位置确定多个待分析区域。可例如:在所述目标广告主的地理位置的预定距离内确定多个目标点;确定区域半径;以及以所述多个目标点为圆心,基于所述区域半径确定所述多个待分析区域。
图4是根据另一示例性实施例示出的一种广告出价方法的示意图。如图4所示,在一个实施例中,可模拟多点LBS搜索广告请求:以目标POI为中心,某一距离为半径画圆,取多个目标点。具体可例如进行60度等分,取六个点分别作为模拟LBS搜索的坐标。
其中,使用6次请求而非单次请求是因为:实际用户搜索场景一般不是在门店所在位置发起搜索,而是在周围的某个位置,所以需要多次请求的结果模拟。6个点的方案是根据实验结果,综合考虑准确性与性能的平衡之后确定的。
采用模拟线上实时搜索请求的方式,给定建议出价的目标POI,以其附近+相同品类的广告POI作为竞争候选集队列。其中,“附近”的筛选范围由具体业务场景(如以美食、休闲娱乐等大类目粒度)统计、聚类计算得出,根据业务场景下的广告主密度分为两种情况。图5是根据另一示例性实施例示出的一种广告出价方法的示意图。如图5所示,在搜索在请求中,“预定距离值”与“区域半径”的确定是根据该POI所属的主要类目、城市的商户密度进行计算得出,还可根据实验结果进行调整的。商户密度越高,说明竞争越激烈,此时“预定距离值”与“区域半径”越小;广告主密度小的情况下,模拟用户离商户的距离略小于等于广告召回的半径,此时附近距离值不应过小,否则竞争不足导致预估出价比实际偏低;反之,广告主密度大的情况下,模拟用户离商户距离远小于广告召回的半径,此时附近距离值不应过大,否则会导致结果偏高。
在S304中,确定所述多个待分析区域对应的多个广告主队列。包括:确定所述多个待分析区域中每一个待分析区域中的广告主;获取所述广告主对应的广告展示费用;以及根据所述广告展示费用在每一个待分析区域中将广告主进行排名,生成广告主队列。
在多个点上模拟搜索请求召回,各次请求召回的广告列表都是按照eCPM由高到低排序的,结果列表即为竞争队列。为定量描述出价预估的相关参数,将广告eCPM公式的形式变换为:
其中bid是广告出价,即eCPM是广告出价的多项式,ak为bid的各次项的系数。该泛化形式基本适用于LBS广告各种业务场景下CTR预估模型。在现有LBS业务场景中,ak=0(k>1),公式简化为:
eCPM=q*bid+p
q=a0即bid的一次项,p=a1为与出价无关的常数项。q为点击通过率,对应原公式中的CTR,为影响eCPM的主要因素。
对于搜索广告竞价中的广义二次价格拍卖(GSP)模式,竞价排名的依据可用eCPM量化表示,即搜索结果列表按照广告的eCPM从高到低进行排序。eCPM可用如下公式表示:
eCPM=CTR*bid
其中,CTR为预估的点击转化率,bid为广告主的出价。给定一批,已知竞争中其他POI的CTR和bid,即可反推出目标POI竞争某位次所需的bid。
在S306中,根据所述多个广告主队列的点击通过率预估所述目标广告主的多个竞争出价。包括:根据所述多个广告主队列的实时点击通过率预估所述目标广告主的多个竞争出价;和/或根据所述多个广告主队列的平均点击通过率预估所述目标广告主的多个竞争出价。
在一个实施例中,根据所述多个广告主队列的实时点击通过率预估所述目标广告主的多个竞争出价包括:获取广告主队列中每一个广告主对应的广告展示费用;获取广告主队列中每一个广告主对应的实时点击通过率;获取广告主队列中每一个广告主对应的广告展示系数;以及通过每一个广告主对应广告展示费用、实时点击通过率、广告展示系数预估所述目标广告主的多个竞争出价。具体可例如,通过搜索召回请求获取广告展示费用、平均点击通过率、广告展示系数。在本公开中,这种通过多个广告主队列的实时点击通过率预估目标广告主的多个竞争出价的方式可称为“普通实时出价建议”。
在一个实施例中,根据所述多个广告主队列的平均点击通过率预估所述目标广告主的多个竞争出价包括:获取广告主队列中每一个广告主对应的广告展示费用;获取广告主队列中每一个广告主对应的平均点击通过率;获取广告主队列中每一个广告主对应的广告展示系数;以及通过每一个广告主对应广告展示费用、平均点击通过率、广告展示系数预估所述目标广告主的多个竞争出价。具体可例如,通过搜索召回请求获取广告展示费用广告展示系数;通过历史数据确定平均点击通过率。在本公开中,这种通过多个广告主队列的平均点击通过率预估所述目标广告主的多个竞争出价的方式可称为“非实时出价建议”。更具体的,可通过离线数据,将所有POI上周同比(T-7日)的历史平均CTR统计出来,以作为本公开中的平均点击通过率。
在一个实施例中,根据所述多个广告主队列的点击通过率预估所述目标广告主的多个竞争出价包括:通过每一个广告主对应广告展示费用、广告展示系数、实时点击通过率和/或平均点击通过率预估所述目标广告主在每一个待分析区域内多个排位对应的多个竞争出价。
在S308中,根据所述多个竞争出价确定所述广告主的目标出价。包括:将所述多个待分析区域中的多个竞争出价按照排位合并;将每一个排位中最大的竞争出价确定为子目标出价;以及通过多个排位与其对应的子目标出价生成所述目标出价。
图6是根据另一示例性实施例示出的一种广告出价方法的示意图。如图6所示,以6个待分析区域为例,可首先将6次请求的出价建议请求合并,每个位次计算出的最终出价建议结果取该位次的6次请求结果中最大的数值。使用6次结果中最大一次的数值,是因为从易于验证的角度,给出的建议结果应较为准确地反映实际排名结果,而统计均值或中位数的结果并非与实际竞价排名效果一致,导致广告主存在理解和验证的障碍。
根据本公开的广告出价方法,根据目标广告主的地理位置确定多个待分析区域对应的多个广告主队列;根据所述多个广告主队列相关竞价信息模拟竞争出价;根据所述多个竞争出价确定所述广告主的目标出价的方式,能够以商户为中心,准确模拟实际场景中的用户搜索请求,从而给商户提供出合理的广告建议出价。
应清楚地理解,本公开描述了如何形成和使用特定示例,但本公开的原理不限于这些示例的任何细节。相反,基于本公开公开的内容的教导,这些原理能够应用于许多其它实施例。
图7是根据另一示例性实施例示出的一种广告出价方法的流程图。如图7所示的广告出价方法70示例性的描述了服务器平台辅助广告主进行出价的全过程。
其中,在S702中,请求POI的信息。
在S704中,判断POI信息是否齐全。
在S706中,判断当前时刻是否属于投放时刻。
在S708中,补充投放时间段。
在S710中,请求搜索。
在S712中,是否有竞争者;
在S714中,请求以最低价出价。
在S716中,计算建议出价;
在S718中,出价规则检查;
在S720中,出价。
根据业务规则限制,POI广告列表的排序位次的准入门槛表示为maxPosition,即该POI能竞争的最高广告位次。一次实时召回的结果中包含了竞争队列中各个POI的q,p和maxPosition值,根据这些参数,计算出目标POI在竞争队列中排不同位次所对应的bid值,即为该广告主的出价建议。
受到业务规则限制,广告列表的排序位次还与每个POI的最高准入排位次相关;不同LBS场景下,广告能够竞争的排名是会动态变化的。因此,估算时需要实时获取参与竞争的各POI的准入位次。
实时出价预估所需信息可通过以下方式获取:由POI位置信息系统和投放数据,获取目标POI位置周围的竞争队列及其出价;通过实时预估得出竞争POI的CTR;通过导入各业务场景下的竞价门槛判断规则,代入eCPM计算过程中,得到目标POI的出价。
图8是根据另一示例性实施例示出的一种广告出价方法的流程图。如图8所示的广告出价方法80示例性的描述了服务器平台辅助广告实时进行流量与出价监控的全过程。在广告出价方法80中,以具体的应用场景为例,描述了分别通过“普通实时出价建议”与“非实时出价建议”两种方式进行广告出价的过程。在实际的应用场景中,还可例如通过其他的出价建议方式进行出价,均可通过类似S810中的判断步骤进行选择,本申请再次不再赘述。
其中,在S802中,补齐POI信息。
在S804中,目标判定。
在S806中,搜索场景判定。
在S808中,构造搜索请求。
在S810中,是否为非实时出价建议流量。
在S812中,召回普通实时出价广告。
在S814中,召回非实时出价广告。
在S816中,计算出价。
在S818中,数据校验。
在S820中,出价。
值得一提的是,普通实时出价建议方法,无法保证每次建议的结果均与真实流量情况一致,主要原因有:(1)每次LBS搜索召回的点击通过率(对应为预估的CTR)都会动态变化,模拟召回请求的q无法每次都与真实请求CTR对应;(2)在目标POI周围取6个点的方式不一定会保证与所有用户线上请求(包括广告主验证时进行的请求)相同,而LBS位置对于eCPM影响可能很大。这些扰动的累积对最终出价建议准确性的影响可能较大。
针对需要保证线上和建议结果一致的流量,可采用“非实时出价建议”旨在使商户、销售能较容易地通过真实请求验证出价建议准确性。
更具体的,在实际的应用场景中,根据不同的流量将出价建议分为“普通实时出价建议”与“非实时出价建议”两类。其中“普通实时出价建议”主要针对于对建议出价的准确率要求不高的流量,而“非实时出价建议”主要针对于对出价建议的准确率要求极高的流量。在通过“普通实时出价建议”或“非实时出价建议”获得竞争出价之后,再进行eCPM的计算和排序。
其中,“非实时出价建议”的方式能够使得线上真实请求结果能够与模拟预估请求对应上,又不至于因使仅用静态点击通过率影响线上整体的CTR和收入。
在本公开中,通过“普通实时出价建议”和“非实时出价建议”这两种灵活选用的出价方式,获取出价建议的方式能够灵活调配,适应不同的广告主的需求,而且出价建议的效果由广告主准确验证,能够真实反映主体流量中广告主出价的效果。
根据本公开的广告出价方法,提出了基于O2O行业中的针对广告实际所排位次的出价建议方法。能够商户为中心,模拟用户请求,进而实时计算广告的建议出价。
根据本公开的广告出价方法,基于O2O行业中的特定广告实时出价建议方法,在特殊流量上满足建议出价的准确性。
本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时,执行本公开提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中,该存储介质可以是只读存储器,磁盘或光盘等。
此外,需要注意的是,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
下述为本公开装置实施例,可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开方法实施例。
图9是根据一示例性实施例示出的一种广告出价装置的框图。广告出价装置90包括:区域模块902,队列模块904,预估模块906,出价模块908。
区域模块902用于根据目标广告主的地理位置确定多个待分析区域。可例如:在所述目标广告主的地理位置的预定距离内确定多个目标点;确定区域半径;以及以所述多个目标点为圆心,基于所述区域半径确定所述多个待分析区域。
队列模块904用于确定所述多个待分析区域对应的多个广告主队列。包括:确定所述多个待分析区域中每一个待分析区域中的广告主;获取所述广告主对应的广告展示费用;以及根据所述广告展示费用在每一个待分析区域中将广告主进行排名,生成广告主队列。
预估模块906用于根据所述多个广告主队列的点击通过率预估所述目标广告主的多个竞争出价。包括:根据所述多个广告主队列的实时点击通过率预估所述目标广告主的多个竞争出价;和/或根据所述多个广告主队列的平均点击通过率预估所述目标广告主的多个竞争出价。
其中,预估模块906包括:
实时预估单元9062用于根据所述多个广告主队列的实时点击通过率预估所述目标广告主的多个竞争出价;具体可例如:获取广告主队列中每一个广告主对应的广告展示费用;获取广告主队列中每一个广告主对应的实时点击通过率;获取广告主队列中每一个广告主对应的广告展示系数;以及通过每一个广告主对应广告展示费用、实时点击通过率、广告展示系数预估所述目标广告主的多个竞争出价。具体可例如,通过搜索召回请求获取广告展示费用、平均点击通过率、广告展示系数。
平均预估单元9064根据所述多个广告主队列的平均点击通过率预估所述目标广告主的多个竞争出价。具体可例如:获取广告主队列中每一个广告主对应的广告展示费用;获取广告主队列中每一个广告主对应的平均点击通过率;获取广告主队列中每一个广告主对应的广告展示系数;以及通过每一个广告主对应广告展示费用、平均点击通过率、广告展示系数预估所述目标广告主的多个竞争出价。具体可例如,通过搜索召回请求获取广告展示费用广告展示系数;通过历史数据确定平均点击通过率。
出价模块908用于根据所述多个竞争出价确定所述广告主的目标出价。将所述多个待分析区域中的多个竞争出价按照排位合并;将每一个排位中最大的竞争出价确定为子目标出价;以及通过多个排位与其对应的子目标出价生成所述目标出价。
根据本公开的广告出价装置,根据目标广告主的地理位置确定多个待分析区域对应的多个广告主队列;根据所述多个广告主队列相关竞价信息模拟竞争出价;根据所述多个竞争出价确定所述广告主的目标出价的方式,能够以商户为中心,准确模拟实际场景中的用户搜索请求,从而给商户提供出合理的广告建议出价。
图10是根据一示例性实施例示出的一种电子设备的框图。
下面参照图10来描述根据本公开的这种实施方式的电子设备200。图10显示的电子设备200仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图10所示,电子设备200以通用计算设备的形式表现。电子设备200的组件可以包括但不限于:至少一个处理单元210、至少一个存储单元220、连接不同系统组件(包括存储单元220和处理单元210)的总线230、显示单元240等。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元210执行,使得所述处理单元210执行本说明书上述电子处方流转处理方法部分中描述的根据本公开各种示例性实施方式的步骤。例如,所述处理单元210可以执行如图3,图7,图8中所示的步骤。
所述存储单元220可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)2201和/或高速缓存存储单元2202,还可以进一步包括只读存储单元(ROM)2203。
所述存储单元220还可以包括具有一组(至少一个)程序模块2205的程序/实用工具2204,这样的程序模块2205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线230可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备200也可以与一个或多个外部设备300(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备200交互的设备通信,和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口250进行。并且,电子设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器260可以通过总线230与电子设备200的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备200使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述方法。
图8示意性示出本公开示例性实施例中一种计算机可读存储介质示意图。
参考图8所示,描述了根据本公开的实施方式的用于实现上述方法的程序产品400,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该计算机可读介质实现如下功能::根据目标广告主的地理位置确定多个待分析区域;确定所述多个待分析区域对应的多个广告主队列;根据所述多个广告主队列的点击通过率预估所述目标广告主的多个竞争出价;以及根据所述多个竞争出价确定所述广告主的目标出价。
本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中,也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
通过以上的实施例的描述,本领域的技术人员易于理解,这里描述的示例实施例可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施例的方法。
以上具体地示出和描述了本公开的示例性实施例。应可理解的是,本公开不限于这里描述的详细结构、设置方式或实现方法;相反,本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。
此外,本说明书说明书附图所示出的结构、比例、大小等,均仅用以配合说明书所公开的内容,以供本领域技术人员了解与阅读,并非用以限定本公开可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本公开所能产生的技术效果及所能实现的目的下,均应仍落在本公开所公开的技术内容得能涵盖的范围内。同时,本说明书中所引用的如“上”、“第一”、“第二”及“一”等的用语,也仅为便于叙述的明了,而非用以限定本公开可实施的范围,其相对关系的改变或调整,在无实质变更技术内容下,当也视为本公开可实施的范畴。
Claims (14)
1.一种广告出价方法,其特征在于,包括:
根据目标广告主的地理位置确定多个待分析区域;
确定所述多个待分析区域对应的多个广告主队列;
根据所述多个广告主队列的点击通过率预估所述目标广告主的多个竞争出价;以及
根据所述多个竞争出价确定所述广告主的目标出价。
2.如权利要求1所述的方法,其特征在于,根据目标广告主的地理位置确定多个待分析区域包括:
在所述目标广告主的地理位置的预定距离内确定多个目标点;
确定区域半径;以及
以所述多个目标点为圆心,基于所述区域半径确定所述多个待分析区域。
3.如权利要求1所述的方法,其特征在于,确定所述多个待分析区域对应的多个广告主队列包括:
确定所述多个待分析区域中每一个待分析区域中的广告主;
获取所述广告主对应的广告展示费用;以及
根据所述广告展示费用在每一个待分析区域中将广告主进行排名,生成广告主队列。
4.如权利要求1所述的方法,其特征在于,根据所述多个广告主队列的点击通过率预估所述目标广告主的多个竞争出价包括:
根据所述多个广告主队列的实时点击通过率预估所述目标广告主的多个竞争出价;和/或
根据所述多个广告主队列的平均点击通过率预估所述目标广告主的多个竞争出价。
5.如权利要求4所述的方法,其特征在于,根据所述多个广告主队列的实时点击通过率预估所述目标广告主的多个竞争出价包括:
获取广告主队列中每一个广告主对应的广告展示费用;
获取广告主队列中每一个广告主对应的实时点击通过率;
获取广告主队列中每一个广告主对应的广告展示系数;以及
通过每一个广告主对应广告展示费用、实时点击通过率、广告展示系数预估所述目标广告主的多个竞争出价。
6.如权利要求5所述的方法,其特征在于,通过搜索召回请求获取广告展示费用、平均点击通过率、广告展示系数。
7.如权利要求4所述的方法,其特征在于,根据所述多个广告主队列的平均点击通过率预估所述目标广告主的多个竞争出价包括:
获取广告主队列中每一个广告主对应的广告展示费用;
获取广告主队列中每一个广告主对应的平均点击通过率;
获取广告主队列中每一个广告主对应的广告展示系数;以及
通过每一个广告主对应广告展示费用、平均点击通过率、广告展示系数预估所述目标广告主的多个竞争出价。
8.如权利要求6所述的方法,其特征在于,通过搜索召回请求获取广告展示费用广告展示系数;通过历史数据确定平均点击通过率。
9.如权利要求5或6所述的方法,其特征在于,根据所述多个广告主队列的点击通过率预估所述目标广告主的多个竞争出价包括:
通过每一个广告主对应广告展示费用、广告展示系数、实时点击通过率和/或平均点击通过率预估所述目标广告主在每一个待分析区域内多个排位对应的多个竞争出价。
10.如权利要求9所述的方法,其特征在于,根据所述多个竞争出价确定所述广告主的目标出价包括:
将所述多个待分析区域中的多个竞争出价按照排位合并;
将每一个排位中最大的竞争出价确定为子目标出价;以及
通过多个排位与其对应的子目标出价生成所述目标出价。
11.一种广告出价装置,其特征在于,包括:
区域模块,用于根据目标广告主的地理位置确定多个待分析区域;
队列模块,用于确定所述多个待分析区域对应的多个广告主队列;
预估模块,用于根据所述多个广告主队列的点击通过率预估所述目标广告主的多个竞争出价;以及
出价模块,用于根据所述多个竞争出价确定所述广告主的目标出价。
12.如权利要求11所述的装置,其特征在于,预估模块包括:
实时预估单元,用于根据所述多个广告主队列的实时点击通过率预估所述目标广告主的多个竞争出价;和/或
平均预估单元,根据所述多个广告主队列的平均点击通过率预估所述目标广告主的多个竞争出价。
13.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-10中任一所述的方法。
14.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-10中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910133530.6A CN109658165A (zh) | 2019-02-22 | 2019-02-22 | 广告出价方法、装置、电子设备及计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910133530.6A CN109658165A (zh) | 2019-02-22 | 2019-02-22 | 广告出价方法、装置、电子设备及计算机可读介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109658165A true CN109658165A (zh) | 2019-04-19 |
Family
ID=66123624
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910133530.6A Pending CN109658165A (zh) | 2019-02-22 | 2019-02-22 | 广告出价方法、装置、电子设备及计算机可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109658165A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111292132A (zh) * | 2020-02-20 | 2020-06-16 | 北京物资学院 | 一种在线广告竞价方法及装置 |
CN111651722A (zh) * | 2020-04-08 | 2020-09-11 | 西窗科技(苏州)有限公司 | 一种针对广告主广告投放效果的风险评估方法及平台 |
CN111967899A (zh) * | 2020-07-31 | 2020-11-20 | 深圳市彬讯科技有限公司 | 商家线上广告投放方法、装置、计算机设备及存储介质 |
CN113538028A (zh) * | 2020-04-17 | 2021-10-22 | 北京京东振世信息技术有限公司 | 一种广告投放的方法和装置 |
-
2019
- 2019-02-22 CN CN201910133530.6A patent/CN109658165A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111292132A (zh) * | 2020-02-20 | 2020-06-16 | 北京物资学院 | 一种在线广告竞价方法及装置 |
CN111651722A (zh) * | 2020-04-08 | 2020-09-11 | 西窗科技(苏州)有限公司 | 一种针对广告主广告投放效果的风险评估方法及平台 |
CN111651722B (zh) * | 2020-04-08 | 2023-08-04 | 西窗科技(苏州)有限公司 | 一种针对广告主广告投放效果的风险评估方法及平台 |
CN113538028A (zh) * | 2020-04-17 | 2021-10-22 | 北京京东振世信息技术有限公司 | 一种广告投放的方法和装置 |
CN111967899A (zh) * | 2020-07-31 | 2020-11-20 | 深圳市彬讯科技有限公司 | 商家线上广告投放方法、装置、计算机设备及存储介质 |
CN111967899B (zh) * | 2020-07-31 | 2023-08-15 | 深圳市彬讯科技有限公司 | 商家线上广告投放方法、装置、计算机设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6768894B2 (ja) | マーケティング上のモバイル広告供給に関するシステムと方法 | |
CN109658165A (zh) | 广告出价方法、装置、电子设备及计算机可读介质 | |
US20160379244A1 (en) | Method and system for forecasting a campaign performance using predictive modeling | |
CN109360012A (zh) | 广告投放渠道的选择方法及装置、存储介质、电子设备 | |
JP5974186B2 (ja) | トラフィックソースのための広告の選択 | |
US20140278807A1 (en) | Cloud service optimization for cost, performance and configuration | |
CN107067274A (zh) | 一个基于混合学习模型的dsp实时竞价广告系统 | |
CN110796477A (zh) | 广告展示方法、装置、电子设备及可读存储介质 | |
CN104508700A (zh) | 确定内容项的呈现和用户在销售点终端的交易间的相关性 | |
US20140358694A1 (en) | Social media pricing engine | |
US20160210656A1 (en) | System for marketing touchpoint attribution bias correction | |
US20160379243A1 (en) | Method and system for forecasting a campaign performance using predictive modeling | |
CN102870133A (zh) | 出价愿景工具 | |
US20210090017A1 (en) | Feedback-based management of delivery orders | |
CN108536721A (zh) | 在评估与在线资源的未来用户交互时,利用在线资源的使用数据 | |
US20140006172A1 (en) | Method of calculating a reserve price for an auction and apparatus conducting the same | |
US20200234218A1 (en) | Systems and methods for entity performance and risk scoring | |
US11257019B2 (en) | Method and system for search provider selection based on performance scores with respect to each search query | |
US20150012366A1 (en) | Matching visitors as leads to lead buyers | |
CN110073382A (zh) | 用于显示商家位置处的库存数据的图形用户界面 | |
CN105069036A (zh) | 一种信息推荐方法及装置 | |
CN111210255B (zh) | 广告推送方法、装置及电子设备 | |
Kamijo | Bidding behaviors for a keyword auction in a sealed-bid environment | |
Hou et al. | Mobile crowd sensing: incentive mechanism design | |
CN110570271A (zh) | 信息推荐方法、装置、电子设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |