CN112241899A - 广告计费方法、装置、系统及可读存储介质 - Google Patents

广告计费方法、装置、系统及可读存储介质 Download PDF

Info

Publication number
CN112241899A
CN112241899A CN201910653624.6A CN201910653624A CN112241899A CN 112241899 A CN112241899 A CN 112241899A CN 201910653624 A CN201910653624 A CN 201910653624A CN 112241899 A CN112241899 A CN 112241899A
Authority
CN
China
Prior art keywords
advertisement
charging
information
nodes
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910653624.6A
Other languages
English (en)
Inventor
钟源
徐晓枫
鲍大勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bilibili Technology Co Ltd
Original Assignee
Shanghai Bilibili Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Bilibili Technology Co Ltd filed Critical Shanghai Bilibili Technology Co Ltd
Priority to CN201910653624.6A priority Critical patent/CN112241899A/zh
Publication of CN112241899A publication Critical patent/CN112241899A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0273Determination of fees for advertising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0283Price estimation or determination

Landscapes

  • Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种广告计费方法、装置、系统及可读存储介质,通过将收集的广告主账号信息和广告埋点日志数据发送至M个节点,然后根据广告主账号信息将计费信息分成N类并发送到至少N个节点执行扣费,处理计费信息和执行扣费都是通过大量的节点分别独立处理,因此可以实时的收集每个广告主的广告计费信息,以及实时的执行扣费,从而避免因为设备异常以及网络环境变化产生重复扣费或漏扣费的问题。

Description

广告计费方法、装置、系统及可读存储介质
技术领域
本发明涉及数据处理技术领域,具体涉及一种广告计费方法、装置、系统及可读存储介质。
背景技术
随着互联网和终端设备的不断发展,越来越多的用户选择使用终端设备通过互联网获取信息,广告是信息提供者获取收益的重要方式之一,信息提供者在提供信息服务的同时,向信息接收者展示广告主的广告信息,信息接收者无需向信息提供者付费或只支付部分费用,信息提供者向广告主收取费用已经成为了一种流行的方法。信息提供者向广告主收取费用是通过统计广告主广告的展示次数以及展示效果等指标,然后按照约定的价格收取费用来实现的,统计广告主广告的展示次数以及展示效果等指标需要收集在用户,即信息接收者的终端设备中收集广告被触发时数据。
现有技术主要是通过扫描广告信息对应埋点日志文件,当广告被触发时埋点日志文件中会存储收集到的广告展示次数以及展示效果等指标数据,或者计算不同时间收集数据的增量数据写入数据库,然后发送给信息提供者或者第三方的计费服务器去执行扣费,这些数据是执行广告扣费的基础,属于原始的广告计费信息,信息提供者或者第三方的扣费端需要根据这些数据来判断需要扣取多少广告费用。
但是由于信息接收者一般数量巨大,对应的终端设备分布在网络的众多终端节点上,其记录埋点日志文件和将数据发送到信息提供者或者第三方的扣费端时分开执行的,而扣费服务器数量有限,扣费服务器和终端设备属于一对多的网络结构,扣费服务器性能和网络带宽都存在瓶颈,执行扣费会存在延时。另外如果网络的任一设备发生异常情况时,例如处理广告数据或扣费任务时宕机,或者网络环境发送变化,例如中断延迟等,便无法确定正在处理的计费信息是否已经输出到数据库,或是否已经传输给了扣费端以及是否执行了扣费。
因此,现有技术的方法可能发生重复处理扣费,或漏处理扣费的情况,从而给广告主或者信息提供者带来经济损失。为了解决现有技术中信息提供者和广告主之间的广告扣费会出现错误的问题,提供一种新的广告计费方法为急需解决的技术问题。
发明内容
本发明的目的在于提供一种广告计费方法、装置、系统及可读存储介质,能够提高广告扣费的准确度。
根据本发明的一个方面,提供了一种广告计费方法,应用于分布式计算机系统中,所述方法包括:收集至少一个广告被触发后生成的广告埋点日志数据和所述至少一个广告对应的N个广告主账号信息;将所述广告主账号信息和广告埋点日志数据发送至M个节点;读取所述M个节点中每个节点对应广告埋点日志数据,以得到所述广告信息对应的计费信息;将所述计费信息按广告主账号信息分类成N个计费数据项;将所述N个计费数据项分发至至少N个节点执行扣费,其中M和N为大于0的自然数。
可选的,所述读取所述M个节点中每个节点对应广告埋点日志数据,以得到所述广告信息对应的计费信息,具体包括:读取预设时间片T内所述M个节点中每个节点的广告埋点日志数据;对广告埋点日志数据执行幂等过滤,得到第一数据集,所述第一数据集包括广告主账号信息以及对应的广告计费信息。
可选的,所述方法还包括:将第一数据集进行预聚合得到第二数据集,以将同一广告主账号信息对应预设数目的广告计费信息合并成一条。
可选的,所述广告计费信息包括至少两类,所述将第一数据集进行预聚合得到第二数据集,具体包括:将第一数据集中同一广告主账号信息对应的广告计费信息进行分类;分别将每类广告计费信息对应预设数目的广告计费信息合并成一条以得到第二数据集。
可选的,所述方法还包括:从所述M个节点实时收集所述第二数据集,将所述广告主账号信息以及所述广告计费信息合并形成幂等状态表;所述将所述计费信息按广告主账号信息分类成N个计费数据项,具体包括:对所述幂等状态表按广告主账号信息进行分类,以将所述第二数据集按所述广告主账号信息分类成N个计费数据项。
可选的,所述分布式计算机系统包括第一分布式系统和第二分布式系统,所述收集至少一个广告被触发后生成的广告埋点日志数据和所述至少一个广告对应的N个广告主账号信息具体包括:通过包括M个节点的第一分布式系统实时收集所述广告埋点日志数据和所述广告主账号信息;所述收集至少一个广告被触发后生成的广告埋点日志数据和所述至少一个广告对应的N个广告主账号信息具体包括:所述将所述广告主账号信息和广告埋点日志数据发送至M个节点具体包括;将所述广告主账号信息和广告埋点日志数据从第一分布式系统的M个节点中一一对应转发至第二分布式系统的M个节点中。
可选的,所述将所述N个计费数据项分发至至少N个节点执行扣费,具体包括:根据所述N个计费数据项按预设规则在所述至少N个节点上分别执行扣费;当扣费超过阈值时停止扣费;所述方法还包括:更新所述N个计费数据项在所述预设时间片T内的幂等状态。
为了实现上述目的,本发明还提供一种广告计费装置,所述装置包括:收集模块,用于收集至少一个广告被触发后生成的广告埋点日志数据和所述至少一个广告对应的N个广告主账号信息;第一发送模块,用于将所述广告主账号信息和广告埋点日志数据发送至M个节点;获取模块,用于按时间片读取所述M个节点中每个节点对应广告埋点日志数据,以得到所述广告信息对应的计费信息;分类模块,用于将所述计费信息按广告主账号信息分类成N个计费数据项;第一发送模块,用于将所述N个计费数据项分发至至少N个节点执行扣费,其中M和N为大于0的自然数。
为了实现上述目的,本发明还提供一种广告计费系统,所述广告计费系统包括多个计算机设备,所述计算机设备包括:存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至9中任一项的所述广告计费方法的步骤。
为了实现上述目的,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项的所述广告计费方法的步骤。
本发明提供的广告计费方法、装置、系统及可读存储介质,通过将收集的广告主账号信息和广告埋点日志数据发送至M个节点,然后根据广告主账号信息将计费信息分成N类并发送到至少N个节点执行扣费,因为处理计费信息和执行扣费都是通过大量的节点分别独立处理的,因此可以实时的收集每个广告主的广告计费信息,以及实时的执行扣费,从而避免因为设备异常以及网络环境变化产生重复扣费或漏扣费的问题。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为实施例一提供的广告计费方法的一种可选的通信网络系统架构图;
图2为实施例一提供的广告计费方法的一种可选的流程示意图;
图3为实施例一中读取M个节点中每个节点对应广告埋点日志数据的一种可选的流程示意图;
图4为实施例一中将第一数据集进行预聚合得到第二数据集的一种可选的流程示意图;
图5为实施例一中对所述幂等状态表按广告主账号信息进行分类的一种可选的流程示意图;
图6为实施例一中将所述N个计费数据项分发至至少N个节点执行扣费的一种可选的流程示意图;
图7为实施例二提供的广告计费装置的一种可选的程序模块示意图;
图8为实施例三提供的系统的一种可选的硬件架构示意图。
具体实施方式
以下结合附图与具体实施例进一步阐述本发明的优点。
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本公开范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在本发明的描述中,需要理解的是,步骤前的数字标号并不标识执行步骤的前后顺序,仅用于方便描述本发明及区别每一步骤,因此不能理解为对本发明的限制。
为了便于理解本发明实施例,下面对本发明实施例的通信网络系统架构进行描述。
请参阅图1,图1为本发明实施例提供的一种通信网络系统架构图,该通信网络系统架构中包括了多个通信网络,用于链接用户端、数据收集端、数据处理端和扣费端,在本实施例中,所述通信网络为通用移动通信系统网络、有限宽带网络、无线局域网等,或者他们的组合,通信网络可以是任何通过预设的通信协议使至少两个电子设备交换信息和传输数据的通信网络皆可应用本发明的通信网络系统架构中,例如通信网络可以是LTE通信系统,其中LTE通信系统具体又包括依次通讯连接的UE(User Equipment,用户设备,即本发明实施例的终端设备),E-UTRAN(Evolved UMTS Terrestrial Radio Access Network,演进式UMTS陆地无线接入网),EPC(Evolved Packet Core,演进式分组核心网)和运营商的IP业务网络等。虽然上述以LTE系统为例进行了介绍,但本领域技术人员应当知晓,本发明不仅仅适用于LTE系统,也可以适用于其他无线通信系统,例如GSM、CDMA2000、WCDMA、TD-SCDMA以及未来新的网络系统等,此处不做限定。
其中,用户端包括多个终端设备,数据收集端、收集处理端和扣费端分别包括多个网络节点设备,数据收集端中的多个网络节点设备可以通过通信网络收集用户端中每个终端设备的资料和信息,数据收集端可以通过通信网络将收集的数据和信息转发给数据处理端,或者将数据收集端中生成的数据和信息,或者加工后的数据和信息通过通信网络传输给数据处理端,数据处理端可以通过通信网络将收集的数据和信息转发给扣费端,或者将数据处理端中生成的数据和信息,或者加工后的数据和信息通过通信网络传输给扣费端。
本发明实施例所述的客户端或用户端中的终端设备、终端设备或终端可以以各种形式来实施。例如,本发明中描述的终端设备可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理、便捷式媒体播放器等移动终端,以及诸如数字电视、台式计算机等固定终端。本领域技术人员将理解的是,除了特别用于移动目的的终端设备之外,根据本发明的实施方式的也能够应用固定类型的终端设备。
本发明实施例所述数据收集端、收集处理端和扣费端具体为服务器集群,所述的服务器或服务端中可以以各种形式来实施。例如可以为单个服务器设备,也可以是服务器集群或单个服务器中配置的部分虚拟主机区域。
本发明实施例所述的网络节点设备可以是上述的服务器集群中的单个服务器,本领域技术人员将理解的是,所述网络节点设备也可以是上述联网中的终端设备或其他服务器,也可以是通信网络环境中的其他具有计算能力和网络通信能力的任何电子设备,例如路由器,交换机,无线基站等。
基于上述通信网络系统架构,提出本发明方法各个实施例。本发明为解决现有的广告计费方法重复计费漏计费的问题,提出了一种广告计费方法。参阅图2,其为符合本发明一优选实施例的广告计费方法的流程示意图,从图中可以看出,本实施例中所提供的广告计费方法主要包括以下步骤:
步骤S200:收集至少一个广告被触发后生成的广告埋点日志数据和所述至少一个广告对应的N个广告主账号信息。
埋点就是在应用中特定的流程收集一些信息,用来跟踪应用被用户使用的状况数据和操作行为,广告的埋点就是当应用中插入了广告素材时,例如应用是网站页面数据通过浏览器渲染显示的文字、图像和视频,收集广告用户在浏览包含文字、图像和视频的网站页面时广告被触发的数据和操作行为,例如广告是否被曝光,曝光的次数,用户是否点击了广告,点击的次数,用户点击广告后停留的时间,离开的时间等,这些数据都记录在广告埋点的日志数据中,是用于统计广告计费消耗的是原始数据,是执行后续计费的依据。
在本实施例中,还包括收集广告主的账号信息和对应的广告标识,因为应用中可能插入了多个广告,多个广告可能对应一个或者多个广告主账号信息,例如,在一个终端设备显示的网站页面中显示了一篇图文资讯,在图文资讯的头部、尾部以及中部分别显示了一个广告图片,这个3三个广告,广告A、广告B和广告C可以属于同1个广告主A想要推广的信息,也可以是3个不同的广告主1广告主2广告主3要推广的信息,也可以是2个不同的广告主1广告主2要推广的信息,例如广告1应广告主1广告B和广告C对应广告主2其中不同广告主的账号信息123广告的标识ABC。不同广告主的账号信息123广告的标识ABC可以通过记录在广告埋点日志数据中进行收集,也可以通过在下发包括包含广告的页面数据时进行写入设计,然后通过分析解析对应的页面文件来获取。
在本实施例中,是通过分布式系统的M个节点去实时收集众多终端设备中的广告主账号信息和广告埋点日志数据的,如图1所示,数据收集端包括网络节点A1、网络节点A2…网络节点AM,具体的,可以采用一个基于分布式的消息统来进行收集,通过接收用户端的终端设备触发的用户事件信息来将收集到的广告埋点日志数据和广告主账号信息存储在消息系统在M个节点对应服务器的不同分区中来实现实时信息的收集。
具体的,可以通过基于分布式的消息发布订阅系统来实现,消息发布订阅系统运行在数据收集端和用户端,消息发布订阅系统的发布订阅功能使消息的分发突破目的队列地理指向的限制,使消息按照特定的主题甚至内容进行分发,用户或应用程序根据主题或内容接收到所需要的消息。发布订阅功能使得发送者和接收者之间的耦合关系变得松散,发送者不必关心接收者的目的地址,而接收者也不必关心消息的发送地址,而只是根据消息的主题进行消息的收发,当讲消息的主题设置为广告埋点日主数据和广告主账号信息对应的主题时,就可以通过消息发布订阅系统来实现对广告埋点日主数据和广告主账号信息的实时收集。
日志数据步骤S400:将所述广告主账号信息和广告埋点日志数据发送至M个节点。
具体的,通过消息发布订阅系统来实现对广告埋点日主数据和广告主账号信息的实时收集后,将收集到的广告主账号信息和广告埋点日志数据转发至M个节点。在本实施例中,消息发布订阅系统具有M个节点,可以通过一一对应的方式将发布订阅系统M个节点中收集的信息转发给发布订阅系统之外的M个节点。如图1所示,数据处理端包括网络节点B1、网络节点B2…网络节点BM,数据收集端把收集的数据通过网络节点A1、网络节点A2…网络节点AM一一对应的转发给数据处理端的网络节点B1、网络节点B2…网络节点BM。
在本实施例中,所述分布式计算机系统包括第一分布式系统和第二分布式系统。所述收集至少一个广告被触发后生成的广告埋点日志数据和所述至少一个广告对应的N个广告主账号信息具体包括:通过包括M个节点的第一分布式系统实时收集所述广告埋点日志数据和所述广告主账号信息。所述收集至少一个广告被触发后生成的广告埋点日志数据和所述至少一个广告对应的N个广告主账号信息具体包括:所述将所述广告主账号信息和广告埋点日志数据发送至M个节点具体包括;将所述广告主账号信息和广告埋点日志数据从第一分布式系统的M个节点中一一对应转发至第二分布式系统的M个节点中。
就是说,第一分布式系统为上述消息发布订阅系统,第二分布式系统为上述的大数据系统S1。通过一个大数据系统S1来接收消息发布订阅系统的数据流输入,大数据系统S1运行在数据处理端,大数据系统S1的M个节点中分别设置M个原始分区,大数据系统S1中M个节点中对应原始分区通过接收器定时批量读取的方式来接收消息发布订阅系统M个分区中收集的数据。
步骤S600:读取所述M个节点中每个节点对应广告埋点日志数据,以得到所述广告信息对应的计费信息。
在本实施例中,大数据系统S1通过接收器定时批量读取消息发布订阅系统M个分区中实时收集的数据,大数据系统S1在读取数据是按预设时间片的方式来读取的,具体的,如图3所示,步骤S600:读取所述M个节点中每个节点对应广告埋点日志数据,以得到所述广告信息对应的计费信息,具体包括以下步骤:
步骤S620:读取预设时间片T内所述M个节点中每个节点的广告埋点日志数据。
步骤S640:对广告埋点日志数据执行幂等过滤,得到第一数据集,所述第一数据集包括广告主账号信息以及对应的广告计费信息。
具体的,大数据系统S1分别按原始分区读取通过消息发布订阅系统转发的每个广告埋点日志数据的幂等状态,对此原始分区中的广告埋点日志逐条进行判断,确定该条埋点日志是否已经被处理,丢弃掉已被处理过的埋点日志。
幂等是一个数学与计算机学概念。应用在计算机软件中时,一个幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同。简单的说,就是针对一个操作,不管做多少次,产生效果或返回的结果都是一样的,以防止重复操作。
对于每条广告埋点日志,一旦该条日志的数据被计入统计报表,则无论计费系统中的设备出现何种异常,都不会再重复计算该条数据,若在计费系统运行过程中,出现任何异常而宕机,只要该条日志的数据尚未被计入统计报表,则当计费系统再次启动,该条日志一定会被处理。
由于幂等状态记录所有广告埋点日志是否已被处理的整体状态,因此幂等状态记录历史累计所有埋点日志的处理状态,若不加控制,随着时间推移,幂等状态会无限膨胀,数据量会越来越大,超过系统的处理能力以及影响效率,因此对幂等状态按时间片进行了切分,每3分钟一个时间片,即预设时间片T为3分钟,读取幂等状态时,只需读取当前处理的埋点日志所在的时间片的幂等状态,读取的数据量是有限的,可以提高数据处理的效率,保证实时性。
通过对广告埋点日志数据执行幂等过滤,丢弃掉已经处理过的日志数据,会得到一个包含精确广告计费信息的第一数据集,第一数据集中的广告计费信息由于执行了幂等判断和幂等过滤操作,是后续执行扣费提供了精确的广告计费信息,降低了发生重复扣费或漏扣费的风险。
在本实施例中,在步骤S640:对广告埋点日志数据执行幂等过滤,得到第一数据集之后还包括步骤S660:
步骤S660:将第一数据集进行预聚合得到第二数据集,以将同一广告主账号信息对应预设数目的广告计费信息合并成一条。
在对广告埋点日志数据执行幂等过滤,得到第一数据集之后,对剩余数据进行预聚合,以缩减数据量,避免数据倾斜。
所谓数据倾斜,是指账号之间的数据量是不均等的,根据二八原理,80%的埋点日志是数据20%的广告主账号的,如不进行预聚合,则在进行账号分区时,80%的数据会集中到集群中的若干节点进行处理,导致性能瓶颈。
预聚合可聚合同一广告的多条日志为一条,以避免数据倾斜造成的瓶颈。
在本实施例中,如图4所示,步骤S660:将第一数据集进行预聚合得到第二数据集,以将同一广告主账号信息对应预设数目的广告计费信息合并成一条,具体包括以下步骤:
S662:将第一数据集中同一广告主账号信息对应的广告计费信息进行分类。
S664:分别将每类广告计费信息对应预设数目的广告计费信息合并成一条以得到第二数据集。
因为广告埋点日志中记录的原始数据有多种,广告计费信息包括多类,对应了几类需要收费的计费信息,例如点击和曝光,广告的曝光和点击的计费价格是不同,在本实施例中,按广告主分类只预聚合同类计费信息,例如,同一个广告主的广告在多个节点有曝光数据和点击数据,预聚合只分别聚合该广告的曝光数据或点击数据。预聚合是在数据处理端的大数据系统S1的M个节点中分类数据,扣费是在后续扣费段的N个节点按对应的价格分别计算执行
在另一实施例中,按广告主分类预聚合所有类别的计费信息,具体的方式包括为:将第一数据集中同一广告主账号信息对应的广告计费信息进行合并,然后将同一广告主账号信息对应预设数目的广告计费信息合并成一条以得到第二数据集。
在本实施例中,在步骤S664之后还包括步骤S666:从所述M个节点实时收集所述第二数据集,将所述广告主账号信息以及所述广告计费信息合并形成幂等状态表。
由于大数据系统S1是通过M个节点通过定时批量的形式不断地接收和收集包括广告埋点日志和广告主账号信息的数据流的,因此在每个节点执行完幂等过滤和预聚合后,需要将每个节点得到的第二数据据进行合并,以统一分类,合并后的幂等状态表如表1所示:
表1
原始分区 广告主账号信息 幂等状态
B1 1 S(B1,1)
B1 2 S(B1,2)
B1 N S(B1,N)
B2 1 S(B2,1)
B2 2 S(B2,2)
B2 N S(B2,N)
BM 1 S(BM,1)
BM 2 S(BM,2)
BM N S(BM,N)
步骤S800:将所述计费信息按广告主账号信息分类成N个计费数据项。
按照广告主账号信息将预聚合后的数据进行逻辑分区,从而保证相同账号的数据被分发至同一个节点进行后续处理。
具体的,如图5所示,步骤S800包括:
步骤S820:对所述幂等状态表按广告主账号信息进行分类,以将所述第二数据集按所述广告主账号信息分类成N个计费数据项。
对所述幂等状态表按广告主账号信息进行分类后的数据如表2所示:
表2
逻辑分区 计费信息统计
C1 R(C1)
C2 R(C2)
CN R(CN)
其中,逻辑分区C1、C2…CN设置于扣费端中的N个节点,对于N个广告主账号信息,通过分类,保证了相同广告主账号的数据被分发至同一个节点进行后续处理。
步骤S1000:将所述N个计费数据项分发至至少N个节点执行扣费,其中M和N为大于0的自然数,M>N。
扣费端的N个节点运行计费执行系统S2,每个节点按照设置好的扣费算法以及得到的分类后不同广告主的计费信息执行扣费。
具体的,如图6所示,步骤S1000:将所述N个计费数据项分发至至少N个节点执行扣费具体包括:
步骤S1020:根据所述N个计费数据项按预设规则在所述至少N个节点上分别执行扣费。
在本实施例中,根据所述N个计费数据项按预设规则在所述N个节点上分别执行扣费,在其他实施例中,也可以根据所述N个计费数据项按预设规则在大于N个节点上分别执行扣费。
步骤S1040:当扣费超过阈值时停止扣费。
对每个广告,计算统计增量和应扣费用,根据从统计报表中读取的当前统计数据,控制扣费不会超过广告日预算。
通常情况下,广告埋点日志文件分散在分布式集群的多个节点上,各节点分别处理各自的埋点日志文件,当同一个广告的埋点日志文件同时分布在不同的节点上时,多个节点可能统计计算同一广告的统计报表增量,导致广告超播时无法判断对超播的部分不进行扣费。
在本实施例中,对于所有广告,当日产生的扣费总是不会超过广告的日预算,即使当日广告的日预算发生变更,对该广告的每条埋点日志,不会产生导致超过当时广告日预算的扣费。
本实施例中,还包括:
步骤S1060:更新所述N个计费数据项在所述预设时间片T内的幂等状态。
更新广告统计报表的同时,更新该逻辑分区的幂等状态,使统计报表和幂等状态保持高度一致性。更新幂等状态时,只需更新当前处理数据所在时间片的幂等状态.由于各逻辑分区的数据按账号隔离,相互独立,可以并行读写,互不干扰,达到高速处理的效果,能够处理大量数据。
本发明提供的广告计费方法,通过将收集的广告主账号信息和广告埋点日志数据发送至M个节点,然后根据广告主账号信息将计费信息分成N类并发送到至少N个节点执行扣费,因为处理计费信息和执行扣费都是通过大量的节点分别独立处理的,因此可以实时的收集每个广告主的广告计费信息,以及实时的执行扣费,从而避免因为设备异常以及网络环境变化产生重复扣费或漏扣费的问题。
实施例二
基于上述实施例一中提供的广告计费方法
,本实施例中提供一种广告计费装置,具体地,图7示出了该广告计费装置的可选的结构框图,该广告计费装置被分割成一个或多个分布式程序模块,一个或者多个分布式程序模块被存储于多个存储介质中,并由一个或多个处理器所执行,以完成本发明。本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段,比程序本身更适合描述广告计费装置在存储介质中的执行过程,以下描述将具体介绍本实施例各程序模块的功能。
如图7所示,应用于广告计费装置具体包括以下组成部分:
收集模块10于收集至少一个广告被触发后生成的广告埋点日志数据和所述至少一个广告对应的N个广告主账号信息;
第一发送模块21于将所述广告主账号信息和广告埋点日志数据发送至M个节点;
获取模块30于按时间片读取所述M个节点中每个节点对应广告埋点日志数据,以得到所述广告信息对应的计费信息;
分类模块40于将所述计费信息按广告主账号信息分类成N个计费数据项;
第二发送模块22于将所述N个计费数据项分发至至少N个节点执行扣费,其中M和N为大于0的自然数。
实施例三
本实施例还提供一种系统,包括多个计算机设备,如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器,或者多个服务器所组成的服务器集群)等。如图8所示,本实施例的系统中的计算机设备30至少包括多个但不限于:可通过系统总线相互通信连接的存储器301、处理器302。需要指出的是,图8仅示出了具有组件301-302的系统的计算机设备30,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
本实施例中,存储器301(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,存储器301可以是系统的计算机设备30的内部存储单元,例如该系统的计算机设备30的硬盘或内存。在另一些实施例中,存储器301也可以是系统的计算机设备30的外部存储设备,例如该系统的计算机设备30上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,存储器301还可以既包括系统的计算机设备30的内部存储单元也包括其外部存储设备。在本实施例中,存储器301通常用于存储安装于系统的计算机设备30的操作系统和各类应用软件,例如实施例二的广告计费装置的程序代码等。此外,存储器301还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器302在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器302通常用于控制系统的计算机设备30的总体操作。
具体的,在本实施例中,处理器302用于执行处理器302中存储的广告计费方法的程序,所述广告计费方法的程序被执行时实现如下步骤:
收集至少一个广告被触发后生成的广告埋点日志数据和所述至少一个广告对应的N个广告主账号信息;
将所述广告主账号信息和广告埋点日志数据发送至M个节点;
读取所述M个节点中每个节点对应广告埋点日志数据,以得到所述广告信息对应的计费信息;
将所述计费信息按广告主账号信息分类成N个计费数据项;
将所述N个计费数据项分发至至少N个节点执行扣费,其中M和N为大于0的自然数。
上述方法步骤的具体实施例过程可参见第一实施例,本实施例在此不再重复赘述。
实施例四
本实施例还提供一种计算机可读存储介质,如闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等,其上存储有计算机程序,所述计算机程序被处理器执行时实现如下方法步骤:
收集至少一个广告被触发后生成的广告埋点日志数据和所述至少一个广告对应的N个广告主账号信息;
将所述广告主账号信息和广告埋点日志数据发送至M个节点;
读取所述M个节点中每个节点对应广告埋点日志数据,以得到所述广告信息对应的计费信息;
将所述计费信息按广告主账号信息分类成N个计费数据项;
将所述N个计费数据项分发至至少N个节点执行扣费,其中M和N为大于0的自然数。
本发明提供的广告计费方法、装置、系统及可读存储介质,通过将收集的广告主账号信息和广告埋点日志数据发送至M个节点,然后根据广告主账号信息将计费信息分成N类并发送到至少N个节点执行扣费,因为处理计费信息和执行扣费都是通过大量的节点分别独立处理的,因此可以实时的收集每个广告主的广告计费信息,以及实时的执行扣费,从而避免因为设备异常以及网络环境变化产生重复扣费或漏扣费的问题。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种广告计费方法,应用于分布式计算机系统中,其特征在于,所述方法包括:
收集至少一个广告被触发后生成的广告埋点日志数据和所述至少一个广告对应的N个广告主账号信息;
将所述广告主账号信息和广告埋点日志数据发送至M个节点;
读取所述M个节点中每个节点对应广告埋点日志数据,以得到所述广告对应的计费信息;
将所述计费信息按广告主账号信息分类成N个计费数据项;
将所述N个计费数据项分发至至少N个节点执行扣费,其中M和N为大于0的自然数。
2.根据权利要求1所述的广告计费方法,其特征在于,所述读取所述M个节点中每个节点对应广告埋点日志数据,以得到所述广告信息对应的计费信息,具体包括:
读取预设时间片T内所述M个节点中每个节点的广告埋点日志数据;
对广告埋点日志数据执行幂等过滤,得到第一数据集,所述第一数据集包括广告主账号信息以及对应的广告计费信息。
3.根据权利要求2所述的广告计费方法,其特征在于,所述方法还包括:
将第一数据集进行预聚合得到第二数据集,以将同一广告主账号信息对应预设数目的广告计费信息合并成一条。
4.根据权利要求3所述的广告计费方法,其特征在于,所述广告计费信息包括至少两类,所述将第一数据集进行预聚合得到第二数据集,具体包括:
将第一数据集中同一广告主账号信息对应的广告计费信息进行分类;
分别将每类广告计费信息对应预设数目的广告计费信息合并成一条以得到第二数据集。
5.根据权利要求4所述的广告计费方法,其特征在于,所述方法还包括:
从所述M个节点实时收集所述第二数据集,将所述广告主账号信息以及所述广告计费信息合并形成幂等状态表;
所述将所述计费信息按广告主账号信息分类成N个计费数据项,具体包括:
对所述幂等状态表按广告主账号信息进行分类,以将所述第二数据集按所述广告主账号信息分类成N个计费数据项。
6.根据权利要求5所述的广告计费方法,其特征在于,所述分布式计算机系统包括第一分布式系统和第二分布式系统,所述收集至少一个广告被触发后生成的广告埋点日志数据和所述至少一个广告对应的N个广告主账号信息具体包括:
通过包括M个节点的第一分布式系统实时收集所述广告埋点日志数据和所述广告主账号信息;
所述收集至少一个广告被触发后生成的广告埋点日志数据和所述至少一个广告对应的N个广告主账号信息具体包括:
所述将所述广告主账号信息和广告埋点日志数据发送至M个节点具体包括;
将所述广告主账号信息和广告埋点日志数据从第一分布式系统的M个节点中一一对应转发至第二分布式系统的M个节点中。
7.根据权利要求6所述的广告计费方法,其特征在于,所述将所述N个计费数据项分发至至少N个节点执行扣费,具体包括:
根据所述N个计费数据项按预设规则在所述至少N个节点上分别执行扣费;
当扣费超过阈值时停止扣费;
所述方法还包括:
更新所述N个计费数据项在所述预设时间片T内的幂等状态。
8.一种广告计费装置,其特征在于,所述装置包括:
收集模块,用于收集至少一个广告被触发后生成的广告埋点日志数据和所述至少一个广告对应的N个广告主账号信息;
第一发送模块,用于将所述广告主账号信息和广告埋点日志数据发送至M个节点;
获取模块,用于按时间片读取所述M个节点中每个节点对应广告埋点日志数据,以得到所述广告信息对应的计费信息;
分类模块,用于将所述计费信息按广告主账号信息分类成N个计费数据项;
第一发送模块,用于将所述N个计费数据项分发至至少N个节点执行扣费,其中M和N为大于0的自然数。
9.一种广告计费系统,所述广告计费系统包括多个计算机设备,所述计算机设备包括:存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项的所述广告计费方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项的所述广告计费方法的步骤。
CN201910653624.6A 2019-07-19 2019-07-19 广告计费方法、装置、系统及可读存储介质 Pending CN112241899A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910653624.6A CN112241899A (zh) 2019-07-19 2019-07-19 广告计费方法、装置、系统及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910653624.6A CN112241899A (zh) 2019-07-19 2019-07-19 广告计费方法、装置、系统及可读存储介质

Publications (1)

Publication Number Publication Date
CN112241899A true CN112241899A (zh) 2021-01-19

Family

ID=74167528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910653624.6A Pending CN112241899A (zh) 2019-07-19 2019-07-19 广告计费方法、装置、系统及可读存储介质

Country Status (1)

Country Link
CN (1) CN112241899A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103578010A (zh) * 2012-07-26 2014-02-12 阿里巴巴集团控股有限公司 生成流量质量比较参数的方法和装置、广告计费方法
CN107133818A (zh) * 2017-04-25 2017-09-05 微梦创科网络科技(中国)有限公司 一种互联网中在线广告的结算方法及结算系统
CN107220830A (zh) * 2017-05-08 2017-09-29 深圳市牛鼎丰科技有限公司 支付方法、装置、存储介质和计算机设备
CN107657487A (zh) * 2017-10-19 2018-02-02 厦门美柚信息科技有限公司 一种基于校验的广告投放方法及装置
CN107886352A (zh) * 2017-10-27 2018-04-06 微梦创科网络科技(中国)有限公司 一种广告结算的方法及系统
CN107995266A (zh) * 2017-11-22 2018-05-04 平安科技(深圳)有限公司 埋点数据处理方法、装置、计算机设备和存储介质
CN108280684A (zh) * 2018-01-19 2018-07-13 北京达佳互联信息技术有限公司 广告竞价方法、系统及服务器
CN108960894A (zh) * 2018-06-06 2018-12-07 武汉斗鱼网络科技有限公司 一种广告实时计费方法、装置、服务器及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103578010A (zh) * 2012-07-26 2014-02-12 阿里巴巴集团控股有限公司 生成流量质量比较参数的方法和装置、广告计费方法
CN107133818A (zh) * 2017-04-25 2017-09-05 微梦创科网络科技(中国)有限公司 一种互联网中在线广告的结算方法及结算系统
CN107220830A (zh) * 2017-05-08 2017-09-29 深圳市牛鼎丰科技有限公司 支付方法、装置、存储介质和计算机设备
CN107657487A (zh) * 2017-10-19 2018-02-02 厦门美柚信息科技有限公司 一种基于校验的广告投放方法及装置
CN107886352A (zh) * 2017-10-27 2018-04-06 微梦创科网络科技(中国)有限公司 一种广告结算的方法及系统
CN107995266A (zh) * 2017-11-22 2018-05-04 平安科技(深圳)有限公司 埋点数据处理方法、装置、计算机设备和存储介质
CN108280684A (zh) * 2018-01-19 2018-07-13 北京达佳互联信息技术有限公司 广告竞价方法、系统及服务器
CN108960894A (zh) * 2018-06-06 2018-12-07 武汉斗鱼网络科技有限公司 一种广告实时计费方法、装置、服务器及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周敏菲: ""基于kafka和storm的实时日志流处理系统的设计与实现"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Similar Documents

Publication Publication Date Title
CN111555963B (zh) 消息推送方法、装置、电子设备及存储介质
CN107370780B (zh) 基于互联网的媒体推送方法、装置和系统
CN111639138B (zh) 数据处理方法、装置、设备及存储介质
CN111953776A (zh) 一种应用服务消息推送方法、装置、计算机设备及计算机存储介质
US20200183881A1 (en) Computerized systems and methods for distributed file collection and processing
CN111522786A (zh) 日志处理系统及方法
CN106815254A (zh) 一种数据处理方法和装置
EP2389624A1 (en) Sampling analysis of search queries
US20160379122A1 (en) Recommendation algorithm optimization method, device and system
CN110781372B (zh) 一种优化网站的方法、装置、计算机设备及存储介质
CN110300084A (zh) 一种基于ip地址的画像方法和装置
EP3388956A1 (en) Media information display method, server, and data storage medium
CN102333280B (zh) 一种业务密钥更新的方法、系统及业务处理服务器
CN108694609B (zh) 一种广告网盟平台
US20130179223A1 (en) Method and arrangement for segmentation of telecommunication customers
CN106156258B (zh) 一种在分布式存储系统中统计数据的方法、装置及系统
CN109428774B (zh) 一种dpi设备的数据处理方法及相关的dpi设备
CN112217657A (zh) 基于sd-wan系统的数据传输方法、数据处理方法、设备和介质
CN113609409A (zh) 一种推荐浏览信息的方法及其系统、电子设备、存储介质
CN112241899A (zh) 广告计费方法、装置、系统及可读存储介质
CN107508705B (zh) 一种http元素的资源树构建方法及计算设备
CN110673965A (zh) 捕获秒杀商品的方法及装置
CN110808961B (zh) 用于安全验证的数据处理方法及装置
CN112491939B (zh) 多媒体资源调度方法及系统
CN113836421A (zh) 作品推荐方法以及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination