CN115277856B - 一种流量筛选方法和系统 - Google Patents

Abstract

本申请提供了一种流量筛选方法和系统，其通过获取预设时间段内的目标APP流量请求相关数据，并根据APP的流量请求量进行第一次数据分层，得到了具有高请求量的APP数据和具有低请求量的APP数据，之后对具有高请求量的APP进行基于命中量或命中率的第二次数据分层以及基于展示率的第三次数据分层，从中筛选出命中量低且展示率低的APP，以便筛选出流量造假的APP，对具有低请求量的APP进行基于命中率的第二次数据分层以及基于展示率的第三次数据分层，从中筛选出命中率低且展示率也低的APP，以便筛选出无积极作用的APP或者造假的终端用户。通过本申请的流量筛选方法，一方面可以最大可能地保留可用流量池，另一方面可以获取流量市场中真实的APP流量请求。

Description

一种流量筛选方法和系统

技术领域

本申请涉及数据处理领域，具体涉及一种流量筛选的方法和系统。

背景技术

目前，程序化的广告流量交易大体为如下过程：首先，终端用户打开APP后，APP通过移动终端将其自身的流量(例如广告位)以请求方式发送至流量交易平台，流量交易平台通过和流量买方(例如广告主)沟通确定该流量是否为其所需流量，如果是(即为命中)，则买方通过例如竞价方式对流量进行交易，交易成功，则买方将自己的产品(广告)发送至APP中(广告位)进行展示，以便终端用户点击广告、购买产品等操作。而为了获取流量价值，现有技术中存在大量的造假APP或者伪造的终端用户，如果不对交易平台的收到的全部流量请求进行筛选，会给广告主带来经济损失，因此，如何从接收的全部流量请求中筛选出无效的请求以获取所需的真实流量是本领域技术人员亟需解决的技术问题。

发明内容

针对上述技术问题，本申请采用的技术方案为：一种流量筛选方法，包括以下步骤：S100，获取预设时间段内的APP流量数据D＝[D₁,D₂,...,D_M]，其中，第m个APP的流量数据D_m至少包括：APP标识ID_m、流量请求量R_m、流量命中量Y_m和流量展示量S_m，1≤m≤M；S200，基于所述APP流量数据D获取高请求流量数据H＝[E₁,E₂,...,E_N,F₁,F₂,...,F_Q]和低请求流量数据L＝[L₁,L₂,...,L_T]；其中，第n个APP的高请求流量数据E_n至少包括APP标识EID_n、流量请求量ER_n、流量命中量EY_n和流量展示率ESP_n，ER_n≥ER_n+1，EID_n∈[ID₁,ID₂,...,ID_M]，1≤n≤N；第q个APP的高请求流量数据F_q至少包括APP标识FID_q、流量请求量FR_q、流量命中率FYP_q和流量展示率FSP_q，FR_q≥FR_q+1，FID_q∈[ID₁,ID₂,...,ID_M]，1≤q≤Q；第t个APP的低请求流量数据L_t至少包括APP标识LID_t、流量请求量LR_t、流量命中率LYP_t和流量展示率LSP_t，LR_t≥LR_t+1，LID_t∈[ID₁,ID₂,...,ID_M]，1≤t≤T；且ER_N≥FR₁，FR_Q≥LR₁，[EID₁,EID₂,...,EID_N]∪[FID₁,FID₂,...,FID_Q]∪[LID₁,LID₂,...,LID_T]＝[ID₁,ID₂,...,ID_M]， [EID₁,EID₂,...,EID_N]∪[FID₁,FID₂,...,FID_Q]以外的请求量最大的T个APP组成[LID₁,LID₂,...,LID_T]；S300，根据高请求流量数据[E₁,E₂,...,E_N]获取第一分类数据G＝[G₁,G₂,...,G_V]，根据高请求流量数据[F₁,F₂,...,F_Q]获取第二分类数据K＝[K₁,K₂,...,K_B]，根据低请求流量数据L获取第三分类数据J＝[J₁,J₂,...,J_A]；其中，第v个APP的第一分类数据G_v至少包括APP标识GID_v、流量命中量GY_v、流量展示率GSP_v，[GID₁,GID₂,...,GID_V]为[EID₁,EID₂,...,EID_N]中命中量最小的V个APP，GSP_v≤GSP_v+1，1≤v≤V；第b个APP的第二分类数据K_b至少包括APP标识KID_b、流量命中率KYP_b、流量展示率KSP_b，[KID₁,KID₂,...,KID_B]为[FID₁,FID₂,...,FID_Q]中命中率最小的B个APP，KSP_b≤KSP_b+1，1≤b≤B；第a个APP的第三分类数据J_a至少包括APP标识JID_a、流量命中率JYP_a、流量展示率JSP_a，[JID₁,JID₂,...,JID_A]为[LID₁,LID₂,...,LID_T]中命中率最小的A个APP，JSP_a≤JSP_a+1，1≤a≤A；S400，基于第一分类数据G获取第一无效流量数据VL1＝[GID₁,GID₂,...,GID_X]，基于第二分类数据K获取第二无效流量数据VL2＝[KID₁,KID₂,...,KID_Y]以及基于第三分类数据J获取第三无效流量数据VL3＝[JID₁,JID₂,...,JID_Z]，其中，/>

一种流量筛选系统，包括非瞬时性存储器和处理器，所述非瞬时存储器存储有计算机程序，所述处理器用于加载并执行所述计算机程序以实现以上所述的流量筛选方法。

本申请至少具有以下技术效果：本申请通过获取预设时间段内的目标APP流量请求相关数据，并根据APP的流量请求量进行第一次数据分层，得到了具有高请求量的APP数据和具有低请求量的APP数据，之后对具有高请求量的APP进行基于命中量或命中率的第二次数据分层以及基于展示率的第三次数据分层，从中筛选出命中量低且展示率低的APP，进而筛选出流量造假的APP，对具有低请求量的APP进行基于命中率的第二次数据分层以及基于展示率的第三次数据分层，从中筛选出命中率低且展示率也低的APP，以便筛选出无积极作用的APP或者造假的终端用户。通过本申请的流量筛选方法和系统，一方面可以最大可能地保留可用流量池，另一方面可以获取流量市场中真实的APP流量请求。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的流量筛选方法的流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种流量筛选方法，如图1所示，该方法包括以下步骤：

S100，获取预设时间段内的APP流量数据D＝[D₁,D₂,...,D_M]，其中，第m个APP的流量数据D_m至少包括：APP标识ID_m、流量请求量R_m、流量命中量Y_m和流量展示量S_m，1≤m≤M。

具体的，在本申请中，所述预设时间段的时长取值的获取方式为：在预设时间段的每个单元时间片段内均活跃的APP数量/在预设时间段内获取的全部APP数量≥第九预设阈值，且在预设时间段的每个单元时间片段内均活跃的APP的流量请求总量/在预设时间段内获取的全部APP的流量请求总量≥第十预设阈值。所述的每个单元时间片段为对所述预设时间段进行单元划分后获得，APP在一个单元时间片段内活跃为在该单元时间片段内至少获取到该APP的一个流量请求。进一步的，在本申请中，所述第九预设阈值的取值范围为[55％,65％]，优选为60％，所述第十预设阈值的取值范围为[95％,100％]，优选为98％。所述预设时间段的时长取值范围为[5天,8天]，优选为7天，所述单元时间片段的时长取值范围为[0.5天,2天]，优选为1天。通过上述方法对预设时间段的时长进行计算，可以在较短的时间段内获取较为完整的APP流量相关数据，使得基于流量请求量、命中量和展示量进行的流量分析更精确、可靠。

S200，基于所述APP流量数据D获取高请求流量数据H＝[E₁,E₂,...,E_N,F₁,F₂,...,F_Q]和低请求流量数据L＝[L₁,L₂,...,L_T]。在该步骤中，对具有高流量请求的APP和具有低流量请求的APP进行基于请求量的第一次数据分层，以便针对高流量请求和低流量请求的APP执行不同的筛选策略。

具体的，第n个APP的高请求流量数据E_n至少包括APP标识EID_n、流量请求量ER_n、流量命中量EY_n和流量展示率ESP_n，ER_n≥ER_n+1，EID_n∈[ID₁,ID₂,...,ID_M]，1≤n≤N。其中，一个APP的流量展示率＝该APP的流量展示量/该APP的流量命中量，由于ER_n≥ER_n+1，可知E₁,E₂,...,E_N按照流量请求量从大到小降序排列。

第q个APP的高请求流量数据F_q至少包括APP标识FID_q、流量请求量FR_q、流量命中率FYP_q和流量展示率FSP_q，FR_q≥FR_q+1，FID_q∈[ID₁,ID₂,...,ID_M]，1≤q≤Q。其中，一个APP的流量命中率＝该APP的流量命中量/该APP的流量请求量。由于FR_q≥FR_q+1，所以F₁,F₂,...,F_Q按照流量请求量从大到小降序排列。

第t个APP的低请求流量数据L_t至少包括APP标识LID_t、流量请求量LR_t、流量命中率LYP_t和流量展示率LSP_t，LR_t≥LR_t+1，LID_t∈[ID₁,ID₂,...,ID_M]，1≤t≤T。由于LR_t≥LR_t+1，所以L₁,L₂,...,L_T按照流量请求量从大到小降序排列。

进一步，ER_N≥FR₁，FR_Q≥LR₁，所以高请求流量数据H按照流量请求量从大到小降序排列，且高请求流量数据H中任一个APP的流量请求量≥低请求流量数据L中任一个APP的流量请求量。[EID₁,EID₂,...,EID_N]∪[FID₁,FID₂,...,FID_Q]∪[LID₁,LID₂,...,LID_T]＝[ID₁,ID₂,...,ID_M]， 可知，高流量请求数据H中的APP和低流量请求数据L中的APP不同，且高流量请求数据H中的E₁,E₂,...,E_N和F₁,F₂,...,F_Q各自对应的APP也不相同。进一步的， 即高流量请求数据H中的所有APP的流量请求量为所述预设时间段内获取的APP流量请求量的第一预设阈值倍，具体的，在本申请中，所述第一预设阈值的取值范围为[75％，95％]，优选为90％。 [EID₁,EID₂,...,EID_N]∪[FID₁,FID₂,...,FID_Q]以外的请求量最大的T个APP组成[LID₁,LID₂,...,LID_T]，即从ID₁,ID₂,...,ID_M中排除高流量请求数据H中所有APP后的APP中，流量请求量最大的T个组成了所述低流量请求数据L中的全部APP。具体的，在本申请中，所述第二预设阈值的取值范围为[20％,30％]，优选为25％。

S300，根据高请求流量数据[E₁,E₂,...,E_N]获取第一分类数据G＝[G₁,G₂,...,G_V]，根据高请求流量数据[F₁,F₂,...,F_Q]获取第二分类数据K＝[K₁,K₂,...,K_B]，根据低请求流量数据L获取第三分类数据J＝[J₁,J₂,...,J_A]。在该步骤中，对高请求流量数据和低请求流量数据按照不同的筛选策略进行第二次数据分层。其根据APP流量命中量或者命中率进行分层，可以在筛选造假的APP同时，确保保留足够的流量池子以便后期使用。

在本申请中，第v个APP的第一分类数据G_v至少包括APP标识GID_v、流量命中量GY_v、流量展示率GSP_v，[GID₁,GID₂,...,GID_V]为[EID₁,EID₂,...,EID_N]中命中量最小的V个APP，且GSP_v≤GSP_v+1，1≤v≤V。即选择[EID₁,EID₂,...,EID_N]中请求命中量最小的V个APP按照其展示率升序排列。在本发明的另一个实施例中，也可以按照APP展示率降序排列。其中，所述第三预设阈值的取值范围为[5％，20％]，优选为10％。

第b个APP的第二分类数据K_b至少包括APP标识KID_b、流量命中率KYP_b、流量展示率KSP_b，[KID₁,KID₂,...,KID_B]为[FID₁,FID₂,...,FID_Q]中命中率最小的B个APP，且KSP_b≤KSP_b+1，1≤b≤B。即选择[FID₁,FID₂,...,FID_Q]中命中率最小的B个APP按照其展示率升序排列。在本发明的另一个实施例中，也可以按照APP展示率降序排列。具体的，所述第四预设阈值的取值范围为[20％，30％]，优选为25％。

第a个APP的第三分类数据J_a至少包括APP标识JID_a、流量命中率JYP_a、流量展示率JSP_a，[JID₁,JID₂,...,JID_A]为[LID₁,LID₂,...,LID_T]中命中率最小的A个APP，且JSP_a≤JSP_a+1，1≤a≤A；即选择[LID₁,LID₂,...,LID_T]中命中率最小的B个APP按照其展示率升序排列。在本发明的另一个实施例中，也可以按照APP展示率降序排列。具体的，所述第五预设阈值的取值范围为[20％，30％]，优选为25％。

S400，基于第一分类数据G获取第一无效流量数据VL1＝[GID₁,GID₂,...,GID_X]，基于第二分类数据K获取第二无效流量数据VL2＝[KID₁,KID₂,...,KID_Y]以及基于第三分类数据J获取第三无效流量数据VL3＝[JID₁,JID₂,...,JID_Z]，其中， 在该步骤中，对第一分类数据、第二分类数据以及第三分类数据进行再次数据分层，以获取筛选的无效流量对应的APP。其中，基于展示率进行流量筛选，可以将高请求、低命中和低展示的造假APP筛选出来，也可以将伪造的终端用户筛选出来，进而可以获取最真实的APP流量。

具体的，所述第六预设阈值的取值范围为[20％，30％]，优选为25％，所述第七预设阈值的取值范围为[20％，30％]，优选为25％，所述第八预设阈值的取值范围为[40％，60％]，优选为50％。

综合上述内容可知，本申请通过获取预设时间段内的目标APP流量请求相关数据，并根据APP的流量请求量进行第一次数据分层，得到了具有高请求量的APP数据和具有低请求量的APP数据，之后对具有高请求量的APP进行基于命中量或命中率的第二次数据分层以及基于展示率的第三次数据分层，从中筛选出命中量低且展示率低的APP，以便筛选出流量造假的APP，对具有低请求量的APP进行基于命中率的第二次数据分层以及基于展示率的第三次数据分层，从中筛选出命中率低且展示率也低的APP，以便筛选出无积极作用的APP。通过本申请的流量筛选方法，一方面可以最大可能地保留可用流量池，另一方面可以获取流量市场中真实的APP流量请求。根据本申请提出的流量筛选方法，通过实验数据分析可知，筛选出的无效流量的准确率较高，将所述无效流量替换为同请求量级别的其他APP后，替换后的平台消耗比替换前的平台消耗提高了24％。

优选的，在本申请中，对于第一预设阈值、第二预设阈值、第三预设阈值、第四预设阈值、第五预设阈值、第六预设阈值、第七预设阈值、第八预设阈值、第九预设阈值、第十预设阈值来说，均存在一对应的适当阈值误差，例如，±2％，该误差使得在计算的过程中，某个APP的相关数据(例如请求量、命中量、命中率和展示率)均落入一个完整的数据部分，不会被拆分为两部分，例如，当第二预设阈值取值为25％时，T-1个APP的请求量总和不足25％，T个时虽然超过25％，但是在该第二预设阈值的误差范围内，则此时选择将T个APP的相关数据组成所述L，其他的阈值误差范围以此类推。且本领域技术人员可知，以上所述的阈值误差范围±2％仅为示例性举例，不作为每个预设阈值的唯一、确定误差范围，实际误差范围可以根据具体的数据相应确定。

在本申请的另一实施例中，所述第三预设阈值、第四预设阈值、第五预设阈值、第六预设阈值、第七预设阈值、第八预设阈值的具体取值，可根据冒泡排序方法进行优化：依次调整一个预设阈值，根据流量替换后产生的正向增益获取该预设阈值的取值，其中，所述正向增益例如可以是平台消耗的增加或者展示率的增加，直至所有的预设阈值都调整结束，并达到正向增益的最大值。

本申请的实施例还提供了一种非瞬时性计算机可读存储介质，该存储介质可设置于电子设备之中以保存用于实现方法实施例中一种方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述实施例提供的方法。

本申请的实施例还提供了一种电子设备，包括处理器和前述的非瞬时性计算机可读存储介质。

本申请的实施例还提供了一种流量筛选系统，包括非瞬时性存储器和处理器，所述非瞬时存储器存储有计算机程序，其特征在于，所述处理器用于加载并执行所述计算机程序以实现实现上述实施例提供的方法。

本申请的实施例还提供一种计算机程序产品，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使该电子设备执行本说明书上述描述的根据本申请各种示例性实施方式的方法中的步骤。

虽然已经通过示例对本申请的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本申请的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本申请的范围和精神。本申请开的范围由所附权利要求来限定。

Claims (10)

1.一种流量筛选方法，其特征在于，包括以下步骤：

S100，获取预设时间段内的APP流量数据D＝[D₁,D₂,...,D_M]，其中，第m个APP的流量数据D_m至少包括：APP标识ID_m、流量请求量R_m、流量命中量Y_m和流量展示量S_m，1≤m≤M；

S200，基于所述APP流量数据D获取高请求流量数据H＝[E₁,E₂,...,E_N,F₁,F₂,...,F_Q]和低请求流量数据L＝[L₁,L₂,...,L_T]；

其中，第n个APP的高请求流量数据E_n至少包括APP标识EID_n、流量请求量ER_n、流量命中量EY_n和流量展示率ESP_n，ER_n≥ER_n+1，EID_n∈[ID₁,ID₂,...,ID_M]，1≤n≤N；第q个APP的高请求流量数据F_q至少包括APP标识FID_q、流量请求量FR_q、流量命中率FYP_q和流量展示率FSP_q，FR_q≥FR_q+1，FID_q∈[ID₁,ID₂,...,ID_M]，1≤q≤Q；第t个APP的低请求流量数据L_t至少包括APP标识LID_t、流量请求量LR_t、流量命中率LYP_t和流量展示率LSP_t，LR_t≥LR_t+1，LID_t∈[ID₁,ID₂,...,ID_M]，1≤t≤T；且ER_N≥FR₁，FR_Q≥LR₁，[EID₁,EID₂,...,EID_N]∪[FID₁,FID₂,...,FID_Q]∪[LID₁,LID₂,...,LID_T]＝[ID₁,ID₂,...,ID_M]， [EID₁,EID₂,...,EID_N]∪[FID₁,FID₂,...,FID_Q]以外的请求量最大的T个APP组成[LID₁,LID₂,...,LID_T]；

S300，根据高请求流量数据[E₁,E₂,...,E_N]获取第一分类数据G＝[G₁,G₂,...,G_V]，根据高请求流量数据[F₁,F₂,...,F_Q]获取第二分类数据K＝[K₁,K₂,...,K_B]，根据低请求流量数据L获取第三分类数据J＝[J₁,J₂,...,J_A]；

其中，第v个APP的第一分类数据G_v至少包括APP标识GID_v、流量命中量GY_v、流量展示率GSP_v，[GID₁,GID₂,...,GID_V]为[EID₁,EID₂,...,EID_N]中命中量最小的V个APP，且GSP_v≤GSP_v+1，1≤v≤V；第b个APP的第二分类数据K_b至少包括APP标识KID_b、流量命中率KYP_b、流量展示率KSP_b，[KID₁,KID₂,...,KID_B]为[FID₁,FID₂,...,FID_Q]中命中率最小的B个APP，且KSP_b≤KSP_b+1，1≤b≤B；第a个APP的第三分类数据J_a至少包括APP标识JID_a、流量命中率JYP_a、流量展示率JSP_a，[JID₁,JID₂,...,JID_A]为[LID₁,LID₂,...,LID_T]中命中率最小的A个APP，且JSP_a≤JSP_a+1，1≤a≤A；

S400，基于第一分类数据G获取第一无效流量数据VL1＝[GID₁,GID₂,...,GID_X]，基于第二分类数据K获取第二无效流量数据VL2＝[KID₁,KID₂,...,KID_Y]以及基于第三分类数据J获取第三无效流量数据VL3＝[JID₁,JID₂,...,JID_Z]，其中，

2.根据权利要求1所述的方法，其特征在于，所述预设时间段的时长取值的获取方式为：在预设时间段的每个单元时间片段内均活跃的APP数量/在预设时间段内获取的全部APP数量≥第九预设阈值，且在预设时间段的每个单元时间片段内均活跃的APP的流量请求总量/在预设时间段内获取的全部APP的流量请求总量≥第十预设阈值。

3.根据权利要求2所述的方法，其特征在于，第九预设阈值的取值范围为[55％,65％]。

4.根据权利要求2所述的方法，其特征在于，第十预设阈值的取值范围为[95％,100％]。

5.根据权利要求3或4所述的方法，其特征在于，所述预设时间段的时长取值范围为[5天,8天]。

6.根据权利要求5所述的方法，其特征在于，所述单元时间片段的时长取值范围为[0.5天,2天]。

7.根据权利要求1所述的方法，其特征在于，所述第一预设阈值的取值范围为[75％，95％]。

8.根据权利要求1所述的方法，其特征在于，所述第三预设阈值的取值范围为[5％，20％]。

9.根据权利要求1所述的方法，其特征在于，所述第八预设阈值的取值范围为[40％，60％]。

10.一种流量筛选系统，包括非瞬时性存储器和处理器，所述非瞬时性存储器存储有计算机程序，其特征在于，所述处理器用于加载并执行所述计算机程序以实现权利要求1-9任一所述的流量筛选方法。