CN105631708B - 一种信息处理方法及装置 - Google Patents
一种信息处理方法及装置 Download PDFInfo
- Publication number
- CN105631708B CN105631708B CN201510990744.7A CN201510990744A CN105631708B CN 105631708 B CN105631708 B CN 105631708B CN 201510990744 A CN201510990744 A CN 201510990744A CN 105631708 B CN105631708 B CN 105631708B
- Authority
- CN
- China
- Prior art keywords
- data request
- data
- account
- address
- blacklist
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0248—Avoiding fraud
Landscapes
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Engineering & Computer Science (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种信息处理方法,所述方法包括:第一进程获取来自多个查询请求端的多个数据请求,所述多个包括两个及两个以上;所述第一进程将所述多个数据请求分发给多个第二进程;所述第二进程将所述数据请求排入统计队列;第三进程从所述统计队列中获取数据请求;所述第三进程获取预设的第一策略,根据所述第一策略从所述数据请求中提取统计参数;所述第三进程从存储设备上获取第一统计信息,根据所述统计参数更新所述第一统计信息;所述第三进程将更新后的第一统计信息写入所述存储设备。本发明同时还公开了一种信息处理装置。
Description
技术领域
本发明涉及信息技术,尤其涉及一种信息处理方法及装置。
背景技术
中国移动互联网行业的发展推升着移动广告行业的发展,而广告业务被认为是互联网经济中最活跃的引擎,其中移动互联网广告(简称移动广告)作为互联网广告中最重要的组成部分,是一类基于无线通信技术以移动设备为载体的一种广告形式,移动广告近年来得到了蓬勃的发展,2014年移动广告市场规模飙升至125亿美元。
图1A为相关技术中互联网广告的产业链示意图,如图1A所示,互联网广告的产业链10中包括广告主11、广告平台12、流量主(例如媒体等)13和受众(用户)14;其中广告平台12是广告主11与流量主13之间的中介,当广告主11有广告需要曝光的时候,广告主会付出经济上的代价以将待曝光的广告挂在广告平台12上,其中,广告主11在挂待曝光广告的时候往往会选择一些投放条件,例如受众、播放方式、计费方式、广告需要投放的流量主等。广告平台12根据广告主11设置的投放条件确定待投放的流量主13,然后将待曝光的广告挂在流量主上。当用户15使用流量主的产品(例如观看视频)时,用户15通过如手机、平板电脑、个人电脑等终端14接收广告,从而完成广告主的广告的曝光。从上述广告的产业链可以看出:广告主一般会付出真金白银来提高自己产品的知名度,而流量主通过消耗自身的流量来收取广告费用,一般来说广告平台会根据广告的实际曝光向广告主收取费用,然后通过协议向流量主分配收益。
目前互联网广告中广告费用的收取都是借助于一些数据,例如广告费用是按照按点击计价(CPC)来收费,如果广告平台或流量主采用作弊手段来进行大量点击,这样就会形成作弊流量(虚假数据),进而向广告主收费。一般来说,作弊手段包括:利用大量测试机或者模拟器直接发送点击事件,也有一些是雇佣或者激励式诱导用户来进行大量点击,从而形成作弊流量。由此可见,广告主是互联网广告链条里最大的受害者,所以许多广告主都在想方设法的进行作弊防护。随着互联网广告市场的健全,第三方监测平台应运而生,第三方监测平台凭借技术方面的专业性和第三方的中立性,兼顾全平台的数据进行作弊防护,可以很好的保护广告主的利益。
互联网广告中的作弊除了会损害广告主的经济利益之外,还会损害广告平台的声誉,因为第三方监测平台会向广告主返回一个接近于真实的数据(该数据剔除由于作弊而产生的虚假数据),如果广告平台向广告主提供的数据虚高,那么就会让广告主对广告平台失去信任,从而造成广告平台的声誉下降。综上所述,如何防止互联网广告中作弊成为亟需解决的问题。
相关技术中由于实时性的要求,实时反作弊系统都采用后台实时服务器的方式来进行数据的实时发送、接收、处理和结果返回。其中处理,是指对数据进行反作弊策略的语义检查,判断数据请求是否符合策略的语义。其中为了支持对每条策略的语义判断检查,系统可能需要进行实时的数据统计。参见图1B,相关技术中反作弊系统的处理流程包含以下几个步骤:
步骤S131,反作弊系统接收数据请求,数据请求为一条广告点击数据;
这里,主要包含如用户的IP、帐号(如QQ)号、点击时间、点击的广告主的标识信息(ID)、点击的广告ID等等信息,格式根据广告系统内部的统一要求来制定,可以是文本格式、二进制格式、json格式或者其他通信双方能互相理解的格式。
步骤S132,反作弊系统根据请求数据和其他辅助信息按照策略语义进行检查判断是否作弊;
这里,所述其他辅助信息至少包括:用户请求广告的时间、用户一个星期内点击广告的情况等能帮助判断当前点击是否为作弊点击的信息,
步骤S133,反作系统返回判断结果给计费中心;
从以上步骤可以看出,相关技术中主要存在以下问题:1)数据统计不够准确。为了同时保证处理的实时性和处理的规模,相关技术中都是采用多台机器、多进程或多线程来并行处理数据;其中策略涉及到的实时统计维度很多,因此选择在本机进程内存或者机器共享内存里存储统计信息,这样每台机器都只有部分统计信息从而不够准确,一旦机器出现故障,统计的信息就有丢失的风险。2)策略发布周期长。反作弊系统是以策略为基础的系统,为了能够对作弊行为进行及时的、准确的打击,需要经常对策略做调整;而策略的实现都是硬编码的,所以缺乏自适应性;另外调整策略时都需要修改代码,一条策略从开发到最后的发布周期较长,从而影响策略发布的频率。
发明内容
有鉴于此,本发明实施例为解决现有技术中存在的至少一个问题而提供一种信息处理方法及装置,能够保证广告作弊中统计信息的准确性。
本发明实施例的技术方案是这样实现的:
第一方面,本发明实施例提供一种信息处理方法,所述方法包括:
第一进程获取来自多个查询请求端的多个数据请求,所述多个包括两个及两个以上;
所述第一进程将所述多个数据请求分发给多个第二进程;
所述第二进程将所述数据请求排入统计队列;
第三进程从所述统计队列中获取数据请求;
所述第三进程获取预设的第一策略,根据所述第一策略从所述数据请求中提取统计参数;
所述第三进程从存储设备上获取第一统计信息,根据所述统计参数更新所述第一统计信息;
所述第三进程将更新后的第一统计信息写入所述存储设备。
第二方面,本发明实施例提供一种信息处理装置,所述装置包括第一进程、第二进程和第三进程,其中:
所述第一进程,用于获取来自多个查询请求端的多个数据请求,所述多个包括两个及两个以上;将所述多个数据请求分发给多个第二进程;
所述第二进程,用于将所述数据请求排入统计队列;
所述第三进程,用于从所述统计队列中获取数据请求;获取预设的第一策略,根据所述第一策略从所述数据请求中提取统计参数;从存储设备上获取第一统计信息,根据所述统计参数更新所述第一统计信息;将更新后的第一统计信息写入所述存储设备。
本发明实施例提供的一种信息处理方法及装置,其中,第一进程获取来自多个查询请求端的多个数据请求,所述多个包括两个及两个以上;所述第一进程将所述多个数据请求分发给多个第二进程;所述第二进程将所述数据请求排入统计队列;第三进程从所述统计队列中获取数据请求;所述第三进程获取预设的第一策略,根据所述第一策略从所述数据请求中提取统计参数;所述第三进程从存储设备上获取第一统计信息,根据所述统计参数更新所述第一统计信息;所述第三进程将更新后的第一统计信息写入所述存储设备;如此,能够保证广告作弊中统计信息的准确性。
附图说明
图1A为相关技术中互联网广告的产业链示意图;
图1B为相关技术中反作弊系统的处理流程示意图;
图1C为本发明实施例中进行信息交互的各方硬件实体的示意图;
图1D为相关技术中广告平台对广告点击响应的流程示意图;
图1E为本发明实施例一信息处理方法的实现流程示意图;
图1F为本发明实施例各实体的硬件组成结构示意图;
图2为本发明实施例二信息处理方法的实现流程示意图;
图3为本发明实施例三信息处理装置的组成结构示意图;
图4为本发明实施例四信息处理装置的组成结构示意图。
具体实施方式
为了更好地介绍和理解本发明的各实施例,下面介绍一下本发明的各实施例中可能涉及的一些专业词汇,具体包括:
广告请求:用户侧用广告请求拉取广告,用于展现;
广告点击:用户通过点击广告而访问广告主的网页,称一次点击;
广告转化:用户通过点击广告后进行的转化行为,比如下载软件应用程序(APP,Application),购买商品等;
点击时间序:同一个用户当天发生一系列点击的顺序;
点击作弊:在广告系统中,用户出于某种恶意目的会存在刷广告点击量的行为;包含作弊的点击不但会严重影响广告平台的口碑,而且会恶意消耗广告主预算,从而拉低广告主投资回报率(ROI),最终导致广告主不再信任广告平台;
点击反作弊:运用多种手段对广告点击进行检查,判断点击是否为正常点击;
点击反作弊系统:对点击进行反作弊检查的系统;
作弊自反馈(FOPF,Fraud On Predict Fraud):表示实际作弊和预测作弊的比例,用来矫正模型预测精度。该概念来自点击转化率(CTR)预估中的COPC(Click On PredictClick);
反作弊策略:反作弊系统为打击反作弊行为,制定了一系列规则和模型,每种规则和模型称为一种策略;
CTR:点击转化率;
CVR:效果转化率;
CTR预估:基于机器学习预估用户点击广告的概率;
按每千次展示计价(Cost Per Mille,CPM);
按点击计价(Cost Per Click,CPC)。
广告曝光:广告在用户侧进行一次实际展示让用户看到算作一次曝光;
广告点击:用户通过点击广告而访问广告主的网页,称一次点击;
广告作弊:广告系统中,用户出于某种恶意目的,比如某个用户为打击竞争对手,会恶意刷竞争对手广告曝光,然后恶意点击对方广告,消耗对方广告费,使竞争对手预算花光,自己能在不提高出价的前提下获得曝光机会;
广告反作弊:对广告各阶段数据(请求、曝光、点击等)进行各种检查,判断是否是伪造的或者是恶意的行为,如果是,就把该数据标记为作弊数据;
广告反作弊系统:对广告各阶段数据进行广告反作弊检查的系统;
反作弊策略:反作弊系统为打击反作弊行为,制定了一系列规则,每种规则称为一种策略。
下面介绍一下本发明实施例所涉及的信息交互的各方硬件实体,图1C为本发明实施例中进行信息交互的各方硬件实体的示意图,图1C中包括:服务器(可因为广告平台)11……1n、终端设备21-24,终端设备21-24通过有线网络或者无线网络与服务器进行信息交互,终端设备包括手机、台式机、PC机、一体机等类型,一个示例中,服务器11……1n还可以通过网络与第一终端31…3n(如广告主所在的终端,或称为提供广告素材和内容推广的对象)进行交互,第一终端(如广告主所在的终端,或称为提供广告素材和内容推广的对象)将想要投放的广告提交后,被存储在服务器集群中,可以配备管理员对第一终端(如广告主所在的终端,或称为提供广告素材和内容推广的对象)投放的广告进行审核等一系列处理。其中,相对于第一终端31…3n(如广告主所在的终端,或称为提供广告素材和内容推广的对象)而言,终端设备21至24可以称为第二终端(如普通用户所在的终端,或称为广告展示或曝光的对象),可以为通过视频应用看视频的用户,通过游戏应用打游戏的用户,通过上网浏览页面的用户等等。其中,终端设备中安装的所有应用或者指定的应用(如游戏应用、视频应用、浏览器应用等等)都可以添加广告以展示给用户更多的推荐信息。上述图1C的例子只是实现本发明实施例的一个系统架构实例,本发明实施例并不限于上述图1C所述的系统结构,基于该系统架构,提出本发明各个实施例。
图1D为相关技术中广告平台对广告点击响应的流程示意图,如图1D所示,该流程包括:步骤S111,用户点击广告,终端根据点击操作产生点击数据;步骤S112,终端将点击数据上报给广告平台的通用网关接口(CGI);步骤S113,CGI将点击数据上报给计费网关,S114,计费网关把点击数据发给反作弊模块;步骤S115,反作弊模块根据点击数据判断点击操作是否是作弊;步骤S116,反作弊模块把判断结果返回给计费网关;S117,如果不是作弊,计费网关根据点的广告主和广告的信息,发扣款请求给计费中心;步骤S118,计费中心扣掉被点的广告主相应的钱。
下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。
实施例一
从图1B可以看出,相关技术中主要存在以下问题:数据统计不够准确。为了同时保证处理的实时性和处理的规模,相关技术中都是采用多台机器、多进程或多线程来并行处理数据;其中策略涉及到的实时统计维度很多,因此选择在本机进程内存或者机器共享内存里存储统计信息,这样每台机器都只有部分统计信息从而不够准确,一旦机器出现故障,统计的信息就有丢失的风险。然而本发明实施例为解数据统计的准确性问题,选择把统计数据保存在第三方实时存储系统(如内存服务器上)。为了解决这一问题,本发明实施例提供一种信息处理方法,图1E为本发明实施例一信息处理方法的实现流程示意图,如图1E所示,该方法包括:
步骤S101,第一进程获取来自多个查询请求端的多个数据请求,所述多个包括两个及两个以上;
这里,所述查询请求端可以为图1C中的用户终端,所述多个数据请求的目的为检查当前点击是否为作弊点击,以决定是否对该次点击进行计费。
这里,所述数据请求为一条广告点击而产生的数据,所述数据请求主要包含如用户的IP地址、帐号如QQ号码、点击时间、点击的广告主标识信息(ID)、点击的广告ID等等信息,其中,广告主的标识信息用于当该广告点击不为作弊点击时,计费中心对相应的广告主进行扣费。所述数据请求的格式根据广告系统内部的统一要求来制定,例如可以是文本格式、二进制格式、json格式或者其他通信双方(终端和广告平台)能互相理解的格式。
步骤S102,所述第一进程将所述多个数据请求分发给多个第二进程;
步骤S103,所述第二进程将所述数据请求排入统计队列;
步骤S104,第三进程从所述统计队列中获取数据请求;
步骤S105,所述第三进程获取预设的第一策略,根据所述第一策略从所述数据请求中提取统计参数;
这里,所述第一策略用于描述待提取的统计参数,所述统计参数可以包括用户的标识信息、帐号、IP地址、点击时间。
步骤S106,所述第三进程从存储设备上获取第一统计信息,根据所述统计参数更新所述第一统计信息;
这里,所述第三进程可以根据用户的标识信息从存储设备上获取第一统计信息,所述存储设备在具体实施的过程中可以采用内存服务器来实现,所述用户的标识信息可以包括用户的IP地址、帐号等信息。
步骤S107,所述第三进程将更新后的第一统计信息写入所述存储设备。
这里,所述存储设备可以包括内存服务器。
本发明实施例中,所述第一策略和所述第二策略存储于内存服务器,所述第一进程在具体实现的过程中可以采用一台独立的计算设备来运行(例如第二计算设备),所述多个第二进程中的每一个第二进程运行于一个第一计算设备上,每一所述第二进程对应有多个运行于所述第一计算设备上的第三进程和多个运行于所述第一计算设备上的排队队列,所述第二进程对应的第三进程与所述第二进程对应的统计队列一一对应。在具体实施例的过程中,所述计算设备包括任何具有计算能力的电子设备,在具体实现的过程中,所述计算设备可以为个人计算及、平板电脑、笔记本电脑以及服务器集群等。本发明实施例中的终端、计算设备、服务器等作为硬件实体S11的一个示例如图1F示,硬件实体S11包括处理器61、存储介质62以及至少一个外部通信接口63;所述处理器61、存储介质62以及外部通信接口63均通过总线64连接。
实施例二
从图1B可以看出,相关技术中除了存在数据统计不够准确的问题外,还存在策略发布周期长。目前大多数的反作弊系统是以策略为基础的系统,为了能够对作弊行为进行及时的、准确的打击,需要经常对策略做调整;而策略的实现都是硬编码的,所以缺乏自适应性,调整时都需要修改代码,一条策略从开发到最后的发布周期较长,从而影响策略发布的频率。针对这一问题,在本发明实施例中为判断作弊而设置的第二策略也存储于第三方实时存储系统(如内存服务器上)。为解决这一问题,本发明实施例再提供一种信息处理方法,图2为本发明实施例二信息处理方法的实现流程示意图,如图2所示,该方法包括:
步骤S101,第一进程获取来自多个查询请求端的多个数据请求,所述多个包括两个及两个以上;
步骤S102,所述第一进程将所述多个数据请求分发给多个第二进程;
步骤S201,所述第二进程获取预设的第二策略,根据所述第二策略判断接收到的数据请求是否作弊,得到判断结果;
这里,所述第二策略存储于内存服务器;
这里,所述第二策略为判断数据请求对应的点击是否为作弊的而设置的策略,一般来说第二策略包括以下两类:1)简单策略,检查点击数据中某几个字段是否符合某种特定条件,比如:A)广告点击时间是否比广告请求时间晚1个小时以上;B)用户代理(User_Agent,UA)信息里是否有爬虫(Spider)字符串,如果有,说明是网络爬虫。2)统计策略,主要是检查用户点击是否过于频繁,比如:A)同一帐号一小时内点击广告次数是否超过10次;B)同一IP5分钟内点击同一广告次数是否超过3次。
步骤S202,所述第二进程将所述判断结果携带于数据响应中,并将所述数据响应发送给所述第一进程;
步骤S203,所述第一进程将所述数据响应发送给对应的查询请求端。
这里,对应于步骤S202和步骤S203,所述第二进程还可以直接将数据响应发送给对应的查询请求端。
步骤S204,当所述数据请求为作弊时,所述第二进程将所述数据请求对应的IP地址和帐号加入黑名单。
步骤S103,所述第二进程将所述数据请求排入统计队列;
步骤S104,第三进程从所述统计队列中获取数据请求;
步骤S105,所述第三进程获取预设的第一策略,根据所述第一策略从所述数据请求中提取统计参数;
这里,所述第一策略用于描述待提取的统计参数,所述统计参数可以包括用户的标识信息、帐号、IP地址、点击时间。
步骤S106,所述第三进程从存储设备上获取第一统计信息,根据所述统计参数更新所述第一统计信息;
这里,所述第三进程可以根据用户的标识信息从存储设备上获取第一统计信息,所述存储设备在具体实施的过程中可以采用内存服务器来实现,所述用户的标识信息可以包括用户的IP地址、帐号等信息。
步骤S107,所述第三进程将更新后的第一统计信息写入所述存储设备。
本发明实施例中,所述第二策略包括:判断所述数据请求对应的IP地址和/或帐号是否属于黑名单,如果是,则所述数据请求为作弊,如果否,则确定所述数据请求为正常;对应地,所述步骤S201,所述第二进程根据所述第二策略判断接收到的数据请求是否作弊,得到判断结果,包括:
步骤S2011,所述第二进程从所述存储设备上获取黑名单,所述黑名单包括IP黑名单、帐号黑名单至少之一;
步骤S2012,所述第二进程从所述数据请求提取IP地址和/或帐号,判断所述IP地址和/或帐号是否属于所述黑名单上的名单,如果是,则确定所述数据请求为作弊,如果否,则确定所述数据请求为正常。
本发明实施例中,所述第二策略包括:IP地址或帐号在单位时间内的点击频率是否超过阈值,如果是,则所述数据请求为作弊,如果否,则确定所述数据请求为正常;对应地,所述步骤S201,所述第二进程根据所述第二策略判断接收到的数据请求是否作弊,得到判断结果,包括:
步骤S2013,所述第二进程从所述数据请求中提取用户的标识信息;
步骤S2014,所述第二进程根据所述用户的标识信息从所述存储设备上获取过去一个单位时间内的IP地址或帐号的点击次数;
步骤S2015,所述第二进程根据所述IP地址或帐号的点击次数确定IP地址或帐号的点击频率;
步骤S2016,所述第二进程判断所述点击频率是否超过所述阈值,如果是,则所述数据请求为作弊,如果否,则确定所述数据请求为正常。
实施例三
为了解决前述相关技术中存在的问题,本发明实施例提供一种信息处理装置,参见图3所示,该装置包括前端调用模块311、统一接入层312、查询进程313、统计更新进程314以及实时内存存储系统315,其中:
所述实时内存存储系统315上存储有策略中心、黑名单和统计信息,策略中心中存储有策略,其中策略发布流程包括:①策略发布者更新策略配置,并将策略配置发布到到策略中心;②策略中心向反作弊系统下发策略;③反作弊系统各个模块根据新策略重新调整策略逻辑。
作为一种实施例,所述前端调用模块311可以理解为用户终端上的设置的模块,该模块用于向广告平台发送数据请求;而统一接入层312、查询进程313、统计更新进程314以及实时内存存储系统315可以理解为广告平台的各组成部分。下面基于图3介绍一下该装置在工作时的流程,该流程包括:
步骤S311,统一接入层接收前端调用模块的数据请求,分发给查询进程进行处理;
步骤S312,查询进程接收数据请求,根据第一策略语义查询实时内存存储系统中的惩罚名单,从而判断所述数据请求是否为作弊,并把判断结果返回给前端调用模块。
这里,按照策略可以分类两类,1)简单策略,检查点击数据中某几个字段是否符合某种特定条件,比如:A)广告点击时间是否比广告请求时间晚1个小时以上;B)用户代理(User_Agent,UA)信息里是否有爬虫(Spider)字符串,如果有,说明是网络爬虫。2)统计策略,主要是检查用户点击是否过于频繁,比如:A)同一帐号一小时内点击广告次数是否超过10次;B)同一IP5分钟内点击同一广告次数是否超过3次。
步骤S313,查询进程把数据请求塞到队列;
步骤S314,统计更新进程从队列里获得数据请求,根据第二策略语义从实时内存存储系统获取统计信息,进行更新后写入实时内存存储系统,并将可能产生的惩罚名单更新到实时内存存储系统,供查询进程查询;
这里,如果有一条策略的语义是:同一帐号5分钟内点击广告次数超过3次算作弊,那么统计更新进程要做的事情包括以下几件:A)从队列里取得一条点击数据,解析得到帐号,然后查询实时内存存储系统这个帐号5分钟内的点击数信息;B)这时有两种可能:1)没有查到,说明这个帐号最近5分钟没有点击过广告,那么往内存存储系统里新插入该帐号最近5分钟点了1次的信息;2)查到了,就在原来的数值上+1,再更新到内存存储系统里去,这里有两种可能:i)原来的数值+1<3,那么不需要额外做什么;ii)原来的数值+1>=3,那么这个帐号后面如果再点,就应该把这个帐号加入到入到内存存储系统里的惩罚名单里,提供给查询进程查询,这样这个帐号下次再点广告时,查询进程查询惩罚名单,就能知道这个帐号的点击算作弊。
由于实时处理对实时性的要求,本发明实施例的一个核心思路是要快慢分离,读快写慢。所以查询进程只负责快的读取,而把慢速的写交给统计更新进程来完成,由于读取比较快,所以在具体实现的过程中,在一台服务器上,查询进程可以设置一个,而用于写的统计更新进程则对应有多个。实际处理过程是:步骤1),查询进程获取查询请求端的多个数据请求;步骤2),对每一个数据请求,查询进程根据所配置的策略集合,提炼出需要查询的黑名单和统计信息的关键值(key)列表,从“实时内存存储系统”中去查询这些key;举例:比如一条反作弊策略是:一个帐号5分钟内点击超过10次算作弊;对于这条策略,查询进程需要提炼出的查询key为:“策略ID:帐号”;步骤3.)根据查询结果,查询进程来判断该请求是否为作弊请求,并将判断结果直接返回给请求端,整个过程中,统计更新进程并未参与;这就完成了快速的读的所有过程。现在举例来说明统计结果,继续延续上面例子,如果查到本次请求里的帐号对应的统计信息显示:最近5分钟内,该帐号点击次数统计值已经达到12次,那本次请求就算作弊,对请求端返回作弊的判断结果。如果没查到或者该帐号点击次数统计值不足10次,那本条策略不会把本次点击判作弊,继续看其他策略。只要有一条策略判断本次请求为作弊,则对请求段就返回作弊的判断结果。步骤4)查询进程把数据请求塞入队列供统计更新进程读取,到这里,查询进程就完成了自己对一个数据请求的所有处理,后面就是统计更新进程的工作了。
以上步骤1)至步骤4)是快速的“读”的所有处理过程,由查询进程完成,后面相对慢速的“写”的处理过程则由统计更新进程完成;步骤5)统计更新进程从队列里读取到一个数据请求;步骤6)统计更新进程根据策略集合,提炼出需要更新的黑名单和统计信息的key列表,从“实时内存存储系统”去查询这些key;步骤7)统计更新进程根据查询得到的结果,按照每条策略的含义,对每个key对应的信息进行更新,有可能产生新的黑名单,再写入到“实时内存存储系统”;加入的黑名单包含但不限于IP地址和帐号,可能是多个用户侧维度(IP/帐号/IMEI(国际移动设备标识)/cookie等)中的一个或多个和其他维度(广告主/广告位/广告等)中的一个或多个的组合。
从以上流程可以看出,本发明实施例具有以下特点:1)在内存服务器上引入策略中心以对策略进行动态更新,从而策略调整无需代码改动。2)支持策略所需要统计信息的实时准确更新;为了在保证实时性,本发明实施例也采用多机器多进行并发,同时为了保证策略所依赖的统计信息的准确实时,选择用第三方的内存存储系统来进行存储,解决了统计信息实时准确性的问题。3)支持策略快速发布特性;相关技术中策略调整周期长是因为策略逻辑和系统糅合在一起,造成策略调整需要调整系统,为了解决这个问题,本发明实施例将策略逻辑进行分类、抽象,抽象出多种策略模型,每种模型都可配置化,将策略逻辑放到配置中,这样就实现了策略逻辑和系统的分离;而且调整策略只需修改配置,通过引入策略中心,实现策略配置的动态更新,策略分钟级发布。
实施例四
基于前述的实施例,本发明实施例提供一种信息处理装置,该装置所包括的各进程都可以通过计算设备中的处理器来实现,其中,对于用于数据处理的处理器而言,在执行处理时可以采用微处理器、中央处理器(CPU,Central Processing Unit)、数字信号处理器(DSP,Digital Signal Processor)或可编程逻辑阵列(FPGA,Field Programmable GateArray)实现;对于存储介质来说,包含操作指令,该操作指令可以为计算机可执行代码,通过所述操作指令来实现上述本发明实施例信息处理方法流程中的各个步骤。
图4为本发明实施例四信息处理装置的组成结构示意图,如图4所示,该装置400包括第一进程401、第二进程402和第三进程403,其中:
所述第一进程401,用于获取来自多个查询请求端的多个数据请求,所述多个包括两个及两个以上;将所述多个数据请求分发给多个第二进程;
所述第二进程402,用于将所述数据请求排入统计队列;
所述第三进程403,用于从所述统计队列中获取数据请求;获取预设的第一策略,根据所述第一策略从所述数据请求中提取统计参数;从存储设备上获取第一统计信息,根据所述统计参数更新所述第一统计信息;将更新后的第一统计信息写入所述存储设备。
本发明实施例中,所述第二进程,用于当所述数据请求为作弊时,将所述数据请求对应的IP地址和帐号加入黑名单。
本发明实施例中,所述第一策略和所述第二策略存储于内存服务器,所述多个第二进程中的每一个第二进程运行于一个第一计算设备上,每一所述第二进程对应有多个运行于所述第一计算设备上的第三进程和多个运行于所述第一计算设备上的排队队列,所述第二进程对应的第三进程与所述第二进程对应的统计队列一一对应。
这里需要指出的是:以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果,因此不做赘述。对于本发明装置实施例中未披露的技术细节,请参照本发明方法实施例的描述而理解,为节约篇幅,因此不再赘述。
实施例五
基于前述的实施例,本发明实施例提供一种信息处理装置,该装置所包括的各进程都可以通过计算设备中的处理器来实现,其中,对于用于数据处理的处理器而言,在执行处理时,可以采用微处理器、中央处理器(CPU,Central Processing Unit)、数字信号处理器(DSP,Digital Signal Processor)或可编程逻辑阵列(FPGA,Field Programmable GateArray)实现;对于存储介质来说,包含操作指令,该操作指令可以为计算机可执行代码,通过所述操作指令来实现上述本发明实施例信息处理方法流程中的各个步骤。
参见图4所示,该装置400包括第一进程401、第二进程402和第三进程403,其中:
所述第一进程401,用于获取来自多个查询请求端的多个数据请求,所述多个包括两个及两个以上;将所述多个数据请求分发给多个第二进程;
所述第二进程402,用于将所述数据请求排入统计队列;
所述第三进程403,用于从所述统计队列中获取数据请求;获取预设的第一策略,根据所述第一策略从所述数据请求中提取统计参数;从存储设备上获取第一统计信息,根据所述统计参数更新所述第一统计信息;将更新后的第一统计信息写入所述存储设备。
所述第二进程,还用于获取预设的第二策略,根据所述第二策略判断接收到的数据请求是否作弊,得到判断结果;将所述判断结果携带于数据响应中,并将所述数据响应发送给所述第一进程;对应地,所述第一进程,用于将所述数据响应发送给对应的查询请求端。
所述第二进程,还用于获取预设的第二策略,根据所述第二策略判断接收到的数据请求是否作弊,得到判断结果;将所述判断结果携带于数据响应中,并将所述数据响应发送给对应的查询请求端。
本发明实施例中,所述第二策略包括:判断所述数据请求对应的IP地址和/或帐号是否属于黑名单,如果是,则所述数据请求为作弊,如果否,则确定所述数据请求为正常;对应地,所述第二进程还用于所述第二进程从所述存储设备上获取黑名单,所述黑名单包括IP黑名单、帐号黑名单至少之一;从所述数据请求提取IP地址和/或帐号,判断所述IP地址和/或帐号是否属于所述黑名单上的名单,如果是,则确定所述数据请求为作弊,如果否,则确定所述数据请求为正常。
本发明实施例中,所述第二策略包括:IP地址或帐号在单位时间内的点击频率是否超过阈值,如果是,则所述数据请求为作弊,如果否,则确定所述数据请求为正常;对应地,所述第二进程还用于所述第二进程从所述数据请求中提取用户的标识信息;所述第二进程根据所述用户的标识信息从所述存储设备上获取过去一个单位时间内的IP地址或帐号的点击次数;所述第二进程根据所述IP地址或帐号的点击次数确定IP地址或帐号的点击频率;所述第二进程判断所述点击频率是否超过所述阈值,如果是,则所述数据请求为作弊,如果否,则确定所述数据请求为正常。
本发明实施例中,所述第二进程,用于当所述数据请求为作弊时,将所述数据请求对应的IP地址和帐号加入黑名单。
本发明实施例中,所述第一策略和所述第二策略存储于内存服务器,所述多个第二进程中的每一个第二进程运行于一个第一计算设备上,每一所述第二进程对应有多个运行于所述第一计算设备上的第三进程和多个运行于所述第一计算设备上的排队队列,所述第二进程对应的第三进程与所述第二进程对应的统计队列一一对应。
这里需要指出的是:以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果,因此不做赘述。对于本发明装置实施例中未披露的技术细节,请参照本发明方法实施例的描述而理解,为节约篇幅,因此不再赘述。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本发明的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种信息处理方法,其特征在于,所述方法包括:
第一进程获取来自多个查询请求端的多个数据请求,所述多个包括两个及两个以上;
所述第一进程将所述多个数据请求分发给多个第二进程;
所述第二进程将所述数据请求排入统计队列;
第三进程从所述统计队列中获取数据请求;
所述第三进程获取预设的第一策略,根据所述第一策略从所述数据请求中提取统计参数;
所述第三进程从存储设备上获取第一统计信息,根据所述统计参数更新所述第一统计信息;
所述第三进程将更新后的第一统计信息写入所述存储设备。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述第二进程获取预设的第二策略,根据所述第二策略判断接收到的数据请求是否作弊,得到判断结果;
所述第二进程将所述判断结果携带于数据响应中,并将所述数据响应对应的查询请求端;或者将所述数据响应发送给所述第一进程,由所述第一进程将所述数据响应发送给对应的查询请求端。
3.根据权利要求2所述的方法,其特征在于,所述第二策略包括:判断所述数据请求对应的IP地址和/或帐号是否属于黑名单,如果是,则所述数据请求为作弊,如果否,则确定所述数据请求为正常;
对应地,所述第二进程根据所述第二策略判断接收到的数据请求是否作弊,得到判断结果,包括:
所述第二进程从所述存储设备上获取黑名单,所述黑名单包括IP黑名单、帐号黑名单至少之一;
所述第二进程从所述数据请求提取IP地址和/或帐号,判断所述IP地址和/或帐号是否属于所述黑名单上的名单,如果是,则确定所述数据请求为作弊,如果否,则确定所述数据请求为正常。
4.根据权利要求2所述的方法,其特征在于,所述第二策略包括:IP地址或帐号在单位时间内的点击频率是否超过阈值,如果是,则所述数据请求为作弊,如果否,则确定所述数据请求为正常;
对应地,所述第二进程根据所述第二策略判断接收到的数据请求是否作弊,得到判断结果,包括:
所述第二进程从所述数据请求中提取用户的标识信息;
所述第二进程根据所述用户的标识信息从所述存储设备上获取过去一个单位时间内的IP地址或帐号的点击次数;
所述第二进程根据所述IP地址或帐号的点击次数确定IP地址或帐号的点击频率;
所述第二进程判断所述点击频率是否超过所述阈值,如果是,则所述数据请求为作弊,如果否,则确定所述数据请求为正常。
5.根据权利要求3或4所述的方法,其特征在于,所述方法还包括:
当所述数据请求为作弊时,所述第三进程将所述数据请求对应的IP地址和帐号加入黑名单。
6.根据权利要求2至4任一项所述的方法,其特征在于,所述第一策略和所述第二策略存储于内存服务器,所述多个第二进程中的每一个第二进程运行于一个第一计算设备上,每一所述第二进程对应有多个运行于所述第一计算设备上的第三进程和多个运行于所述第一计算设备上的排队队列,所述第二进程对应的第三进程与所述第二进程对应的统计队列一一对应。
7.一种信息处理装置,其特征在于,所述装置包括第一进程、第二进程和第三进程,其中:
所述第一进程,用于获取来自多个查询请求端的多个数据请求,所述多个包括两个及两个以上;将所述多个数据请求分发给多个第二进程;
所述第二进程,用于将所述数据请求排入统计队列;
所述第三进程,用于从所述统计队列中获取数据请求;获取预设的第一策略,根据所述第一策略从所述数据请求中提取统计参数;从存储设备上获取第一统计信息,根据所述统计参数更新所述第一统计信息;将更新后的第一统计信息写入所述存储设备。
8.根据权利要求7所述的装置,其特征在于,所述第二进程,还用于获取预设的第二策略,根据所述第二策略判断接收到的数据请求是否作弊,得到判断结果;将所述判断结果携带于数据响应中,并对应的查询请求端;或者将所述数据响应发送给所述第一进程,由所述第一进程将所述数据响应发送给对应的查询请求端。
9.根据权利要求8所述的装置,其特征在于,所述第二策略包括:判断所述数据请求对应的IP地址和/或帐号是否属于黑名单,如果是,则所述数据请求为作弊,如果否,则确定所述数据请求为正常;
对应地,所述第二进程还用于所述第二进程从所述存储设备上获取黑名单,所述黑名单包括IP黑名单、帐号黑名单至少之一;从所述数据请求提取IP地址和/或帐号,判断所述IP地址和/或帐号是否属于所述黑名单上的名单,如果是,则确定所述数据请求为作弊,如果否,则确定所述数据请求为正常。
10.根据权利要求8所述的装置,其特征在于,所述第二策略包括:IP地址或帐号在单位时间内的点击频率是否超过阈值,如果是,则所述数据请求为作弊,如果否,则确定所述数据请求为正常;
对应地,所述第二进程还用于所述第二进程从所述数据请求中提取用户的标识信息;所述第二进程根据所述用户的标识信息从所述存储设备上获取过去一个单位时间内的IP地址或帐号的点击次数;所述第二进程根据所述IP地址或帐号的点击次数确定IP地址或帐号的点击频率;所述第二进程判断所述点击频率是否超过所述阈值,如果是,则所述数据请求为作弊,如果否,则确定所述数据请求为正常。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510990744.7A CN105631708B (zh) | 2015-12-25 | 2015-12-25 | 一种信息处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510990744.7A CN105631708B (zh) | 2015-12-25 | 2015-12-25 | 一种信息处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105631708A CN105631708A (zh) | 2016-06-01 |
CN105631708B true CN105631708B (zh) | 2020-10-16 |
Family
ID=56046599
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510990744.7A Active CN105631708B (zh) | 2015-12-25 | 2015-12-25 | 一种信息处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105631708B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106492458B (zh) * | 2016-10-14 | 2020-12-01 | 腾讯科技(深圳)有限公司 | 游戏服务器的合并方法及装置 |
CN108920345A (zh) * | 2018-05-24 | 2018-11-30 | 杭州探索文化传媒有限公司 | 基于大数据的流量反作弊方法和装置 |
CN109905738B (zh) * | 2019-03-26 | 2022-03-08 | 湖南快乐阳光互动娱乐传媒有限公司 | 视频广告异常展现监测方法及装置、存储介质和电子设备 |
CN110417622A (zh) * | 2019-07-30 | 2019-11-05 | 秒针信息技术有限公司 | 结算异常流量的系统、方法及装置 |
CN112116202A (zh) * | 2020-08-13 | 2020-12-22 | 上海趣蕴网络科技有限公司 | 一种基于大数据的网络应用监管方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1760859A (zh) * | 2005-11-03 | 2006-04-19 | 浙江大学 | 嵌入式移动数据库的节能存储方法 |
CN101256505A (zh) * | 2007-03-02 | 2008-09-03 | 中国科学院声学研究所 | 基于io事件通知机制的单进程内容服务器装置及方法 |
CN103957245A (zh) * | 2014-04-22 | 2014-07-30 | 北京微众文化传媒有限公司 | 互联网数据获取方法及装置 |
CN103995751A (zh) * | 2014-05-30 | 2014-08-20 | 上海斐讯数据通信技术有限公司 | 一种跨平台通信系统及方法 |
CN104750543A (zh) * | 2013-12-26 | 2015-07-01 | 杭州华为数字技术有限公司 | 线程创建方法、业务请求处理方法及相关设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5672199B2 (ja) * | 2011-09-01 | 2015-02-18 | 富士通株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
-
2015
- 2015-12-25 CN CN201510990744.7A patent/CN105631708B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1760859A (zh) * | 2005-11-03 | 2006-04-19 | 浙江大学 | 嵌入式移动数据库的节能存储方法 |
CN101256505A (zh) * | 2007-03-02 | 2008-09-03 | 中国科学院声学研究所 | 基于io事件通知机制的单进程内容服务器装置及方法 |
CN104750543A (zh) * | 2013-12-26 | 2015-07-01 | 杭州华为数字技术有限公司 | 线程创建方法、业务请求处理方法及相关设备 |
CN103957245A (zh) * | 2014-04-22 | 2014-07-30 | 北京微众文化传媒有限公司 | 互联网数据获取方法及装置 |
CN103995751A (zh) * | 2014-05-30 | 2014-08-20 | 上海斐讯数据通信技术有限公司 | 一种跨平台通信系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105631708A (zh) | 2016-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106919579B (zh) | 一种信息处理方法及装置、设备 | |
CN105631708B (zh) | 一种信息处理方法及装置 | |
CN105447724B (zh) | 内容项推荐方法及装置 | |
US11373205B2 (en) | Identifying and punishing cheating terminals that generate inflated hit rates | |
JP5954730B2 (ja) | チャレンジ−レスポンス型テストを実装するためのコンピュータ実装方法、システム、プログラム | |
CN109426980B (zh) | 确定广告竞价的方法、装置、服务器以及存储介质 | |
AU2008210861B2 (en) | Advertisement referral based on social ties | |
US20120030009A1 (en) | Digital creative interaction system | |
US20120253928A1 (en) | Methods and Apparatus for Portfolio and Demand Bucket Management Across Multiple Advertising Exchanges | |
AU2017261494A1 (en) | Exchange server method and system | |
US10445789B2 (en) | Segment-based floors for use in online ad auctioning techniques | |
EP2165303A2 (en) | Multiple application advertising | |
CN105608125B (zh) | 一种信息处理方法及服务器 | |
US10134045B2 (en) | Awarding message slots for a consumer mobile device campaign | |
CN108234413A (zh) | 广告流量质量的确定方法、装置及广告平台 | |
CN109034867B (zh) | 点击流量检测方法、装置及存储介质 | |
US20220159022A1 (en) | Detecting anomalous traffic | |
US20100094712A1 (en) | Internal advertising space allocation | |
WO2014179402A2 (en) | Methods and systems for tracking consumers without server-side profiling | |
WO2017125034A1 (zh) | 一种信息处理方法及服务器 | |
US20200410529A1 (en) | Unbiased estimate of causal effects in online experiments | |
Shaari et al. | An extensive study on online and mobile ad fraud | |
US9973910B1 (en) | Mobile content distribution system | |
US20140379471A1 (en) | System for Handling Multiple Simultaneous Campaigns That Improves Advertisement Performance Through Shape Based Targeting and Real-Time Impression Acquisition | |
CN113011912B (zh) | 媒体信息处理方法、装置、电子设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |