CN107493315B - 一种行为数据的收集方法、资源服务器及存储介质 - Google Patents
一种行为数据的收集方法、资源服务器及存储介质 Download PDFInfo
- Publication number
- CN107493315B CN107493315B CN201710506293.4A CN201710506293A CN107493315B CN 107493315 B CN107493315 B CN 107493315B CN 201710506293 A CN201710506293 A CN 201710506293A CN 107493315 B CN107493315 B CN 107493315B
- Authority
- CN
- China
- Prior art keywords
- data
- identification
- configuration file
- attribute information
- preset identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000013480 data collection Methods 0.000 title claims abstract description 13
- 230000006399 behavior Effects 0.000 claims description 108
- 238000004590 computer program Methods 0.000 claims description 17
- 230000001960 triggered effect Effects 0.000 claims description 5
- 238000012986 modification Methods 0.000 abstract description 12
- 230000004048 modification Effects 0.000 abstract description 12
- 238000012423 maintenance Methods 0.000 abstract description 11
- 230000000694 effects Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 238000013467 fragmentation Methods 0.000 description 2
- 238000006062 fragmentation reaction Methods 0.000 description 2
- 235000003889 Paeonia suffruticosa Nutrition 0.000 description 1
- 240000005001 Paeonia suffruticosa Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
- H04L67/62—Establishing a time schedule for servicing the requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种行为数据的收集方法、资源服务器及存储介质，该方法包括：接收客户端发送的行为数据，行为数据中包括数据标识ID；判断配置文件的N个预设标识ID中，是否存在与数据标识ID匹配的目标预设标识ID；其中，配置文件中还预设有N个预设标识ID中每个预设标识ID对应的属性信息；N为正整数；如果配置文件中存在与数据标识ID匹配的目标预设标识ID，则获取目标预设标识ID对应的目标属性信息；上传数据标识ID和目标属性信息至平台服务器；如果配置文件中不存在与数据标识ID匹配的目标预设标识ID，则拒绝上传数据标识ID。本发明实现了减少后期数据维护难度和提高修改效率的技术效果。
Description
技术领域
本发明涉及互联网技术领域，尤其涉及一种行为数据的收集方法、资源服务器及存储介质。
背景技术
为了便于厂商改进和了解用户使用习惯，flash播放器会大量收集用户行为数据或者flash播放器自己的行为数据，来上传到平台服务器，以方便平台服务器进行分析挖掘出有价值含量的数据。
当前的收集方法是，flash播放器将收集的行为数据直接上传发送至平台服务器。
然而，在收集数据的过程中因为业务场景繁多且零散，所以收集的数据维护起来比较困难。特别是在后期某类收集的数据需要修改的情况下需要消耗大量人力成本去再收集过程中，对该类数据一一进行修改。
可见，现有的flash播放器收集行为数据的方法，存在数据维护和修改困难的技术问题。
发明内容
本申请实施例通过提供一种行为数据的收集方法、资源服务器及存储介质，解决了现有技术中的flash播放器收集行为数据的方法，存在的数据维护和修改困难的技术问题。
第一方面，本申请提供了一种行为数据的收集方法，应用于资源服务器中，包括：
接收客户端发送的行为数据，所述行为数据中包括数据标识ID；
判断配置文件的N个预设标识ID中，是否存在与所述数据标识ID匹配的目标预设标识ID；其中，所述配置文件中还预设有所述N个预设标识ID中每个预设标识ID对应的属性信息；N为正整数；
如果所述配置文件中存在与所述数据标识ID匹配的目标预设标识ID，则获取所述目标预设标识ID对应的目标属性信息；
上传所述数据标识ID和所述目标属性信息至平台服务器；
如果所述配置文件中不存在与所述数据标识ID匹配的目标预设标识ID，则拒绝上传所述数据标识ID。
可选的，所述上传所述数据标识ID和所述目标属性信息，包括：根据所述目标属性信息，判断所述行为数据是否需要即时上传；如果所述行为数据需要即时上传，则直接上传所述数据标识ID和所述目标属性信息至平台服务器；如果所述行为数据不需要即时上传，则将所述数据标识ID和所述目标属性信息添加至数据容器。
可选的，所述将所述数据标识ID和所述目标属性信息添加至数据容器之后还包括：判断所述数据容器中的信息数量是否大于M；判断距所述数据容器最近一次上传信息的时长是否大于T；M为正整数，T为正数；如果所述数据容器中的信息数量大于M，或，距所述数据容器最近一次上传信息的时长大于T，则上传并清空所述数据容器中的信息。
可选的，所述接收客户端发送的行为数据之前，还包括：加载并解析所述配置文件；初始化上报数据定时器；所述上报数据定时器用于判断距数据容器最近一次上传信息的时长是否大于T；初始化收集数据管理器；所述数据管理器用于接收客户端发送的行为数据。
可选的，所述加载并解析所述配置文件，包括：使用系统级别的loader类的对象来加载所述配置文件；触发loadComplete方法，先所述配置文件转化为JSON数据，然后存放所述JSON数据到logData变量中。
可选的，所述接收客户端发送的行为数据之前，还包括：使用系统级别的loader类的对象来加载所述配置文件；触发loadComplete方法，先所述配置文件转化为JSON数据，然后存放所述JSON数据到logData变量中；所述判断配置文件的N个预设标识ID中，是否存在与所述数据标识ID匹配的目标预设标识ID，包括：调用Addlog方法，通过遍历logData中的所述N个预设标识ID来与所述数据标识ID进行比较，从而判断是否存在与所述数据标识ID匹配的目标预设标识ID；所述获取所述目标预设标识ID对应的目标属性信息，包括：获取所述目标预设标识ID对应的目标属性信息，并将所述目标属性信息赋值为变量Singledata。
第二方面，提供一种资源服务器，包括：
接收单元，用于接收客户端发送的行为数据，所述行为数据中包括数据标识ID；
第一判断单元，用于判断配置文件的N个预设标识ID中，是否存在与所述数据标识ID匹配的目标预设标识ID；其中，所述配置文件中还预设有所述N个预设标识ID中每个预设标识ID对应的属性信息；N为正整数；
获取单元，用于如果所述配置文件中存在与所述数据标识ID匹配的目标预设标识ID，则获取所述目标预设标识ID对应的目标属性信息；
上传单元，用于上传所述数据标识ID和所述目标属性信息至平台服务器；
拒绝单元，用于如果所述配置文件中不存在与所述数据标识ID匹配的目标预设标识ID，则拒绝上传所述数据标识ID。
可选的，所述服务器还包括：第二判断单元，用于根据所述目标属性信息，判断所述行为数据是否需要即时上传；即时上传单元，用于如果所述行为数据需要即时上传，则直接上传所述数据标识ID和所述目标属性信息；添加单元，用于如果所述行为数据不需要即时上传，则将所述数据标识ID和所述目标属性信息添加至数据容器。
第三方面，提供一种资源服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
接收客户端发送的行为数据，所述行为数据中包括数据标识ID；
判断配置文件的N个预设标识ID中，是否存在与所述数据标识ID匹配的目标预设标识ID；其中，所述配置文件中还预设有所述N个预设标识ID中每个预设标识ID对应的属性信息；N为正整数；
如果所述配置文件中存在与所述数据标识ID匹配的目标预设标识ID，则获取所述目标预设标识ID对应的目标属性信息；
上传所述数据标识ID和所述目标属性信息至平台服务器；
如果所述配置文件中不存在与所述数据标识ID匹配的目标预设标识ID，则拒绝上传所述数据标识ID。
第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：
接收客户端发送的行为数据，所述行为数据中包括数据标识ID；
判断配置文件的N个预设标识ID中，是否存在与所述数据标识ID匹配的目标预设标识ID；其中，所述配置文件中还预设有所述N个预设标识ID中每个预设标识ID对应的属性信息；N为正整数；
如果所述配置文件中存在与所述数据标识ID匹配的目标预设标识ID，则获取所述目标预设标识ID对应的目标属性信息；
上传所述数据标识ID和所述目标属性信息；
如果所述配置文件中不存在与所述数据标识ID匹配的目标预设标识ID，则拒绝上传所述数据标识ID。
本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
在本申请实施例提供的方法、资源服务器及存储介质，接收携带有数据标识ID的行为数据后，先在配置文件的N个预设标识ID中查找是否存在与所述数据标识ID匹配的目标预设标识ID；如果有，则获取所述目标预设标识ID对应的目标属性信息，并上传所述数据标识ID和所述目标属性信息，即以上传目标属性信息替代上传行为数据，通过预先设置目标属性信息，能有效提高上传数据的统一性和规整性，减少了后续数据维护的难度，且仅需要修改配置文件就可以实现对上传数据的同意修改，提高了修改效率。如果没有，则拒绝上传所述数据标识ID，避免上传不重要的零碎、噪音类信息，进一步减少了后续数据维护的难度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中一种行为数据的收集方法的流程图；
图2为本申请实施例二中一种资源服务器的结构示意图；
图3为本申请实施例三中一种资源服务器的结构示意图；
图4为本申请实施例四中一种计算机可读存储介质400的结构示意图。
具体实施方式
本申请实施例通过提供一种行为数据的收集方法、资源服务器及存储介质，解决了现有技术中的flash播放器收集行为数据的方法，存在的数据维护和修改困难的技术问题，实现了减少后期数据维护的难度和提高修改效率的技术效果。
本申请实施例的技术方案为解决上述技术问题，总体思路如下：
一种行为数据的收集方法，应用于资源服务器中，包括：
接收客户端发送的行为数据，所述行为数据中包括数据标识ID；
判断配置文件的N个预设标识ID中，是否存在与所述数据标识ID匹配的目标预设标识ID；其中，所述配置文件中还预设有所述N个预设标识ID中每个预设标识ID对应的属性信息；N为正整数；
如果所述配置文件中存在与所述数据标识ID匹配的目标预设标识ID，则获取所述目标预设标识ID对应的目标属性信息；
上传所述数据标识ID和所述目标属性信息至平台服务器；
如果所述配置文件中不存在与所述数据标识ID匹配的目标预设标识ID，则拒绝上传所述数据标识ID。
具体来讲，通过接收携带有数据标识ID的行为数据后，先在配置文件的N个预设标识ID中查找是否存在与所述数据标识ID匹配的目标预设标识ID；如果有，则获取所述目标预设标识ID对应的目标属性信息，并上传所述数据标识ID和所述目标属性信息，即以上传目标属性信息替代上传行为数据，通过预先设置目标属性信息，能有效提高上传数据的统一性和规整性，减少了后续数据维护的难度，且仅需要修改配置文件就可以实现对上传数据的同意修改，提高了修改效率。如果没有，则拒绝上传所述数据标识ID，避免上传不重要的零碎、噪音类信息，进一步减少了后续数据维护的难度。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
实施例一
如图1所示，本实施例提供了一种行为数据的收集方法，应用于资源服务器中，包括：
步骤S101，接收客户端发送的行为数据，所述行为数据中包括数据标识ID；
步骤S102，判断配置文件的N个预设标识ID中，是否存在与所述数据标识ID匹配的目标预设标识ID；其中，所述配置文件中还预设有所述N个预设标识ID中每个预设标识ID对应的属性信息；N为正整数；
步骤S103，如果所述配置文件中存在与所述数据标识ID匹配的目标预设标识ID，则获取所述目标预设标识ID对应的目标属性信息；
步骤S104，上传所述数据标识ID和所述目标属性信息至平台服务器；
步骤S105，如果所述配置文件中不存在与所述数据标识ID匹配的目标预设标识ID，则拒绝上传所述数据标识ID。
需要说明的是，在本申请实施例中，所述资源服务器可以为计算机设备、云端或计算机设备组，在此不作限制。所述客户端可以是台式机，智能手机或平板电脑，在此不作限制。
下面，结合图1来详细介绍本申请提供的行为数据的收集方法的详细实施步骤：
首先，执行步骤S101，接收客户端发送的行为数据，所述行为数据中包括数据标识ID。
在本申请实施例中，在所述服务器接收客户端发送的行为数据之前，还可以包括：
加载并解析所述配置文件；
初始化上报数据定时器；所述上报数据定时器用于判断距数据容器最近一次上传信息的时长是否大于T；T为正数，单位可以为秒，分，小时，在此不作限制。
初始化收集数据管理器；所述数据管理器用于接收客户端发送的行为数据。
在本申请实施例中，所述配置文件是预先设置在所述服务器中的，在执行步骤S101之前需要先加载并解析所述配置文件，具体的加载和解析方法为：
先使用系统级别的loader类的对象来加载所述配置文件；
例如：采用下述代码实现配置文件的加载：
loader＝new URLLoader()；
loader.addEventListener(Event.COMPLETE,loadComplete).
loader.load(urlrequest)；
其中，Urlrequest是一个系统界别网络请求，通过上面的方法就可以请求到行为数据配置，完成所述配置文件的加载。
然后，加载所述配置文件，请求到行为数据配置后，会触发loadComplete方法，将所述配置文件转化为JSON数据，然后存放所述JSON数据到logData变量中。
接下来，执行步骤S102，判断配置文件的N个预设标识ID中，是否存在与所述数据标识ID匹配的目标预设标识ID；其中，所述配置文件中还预设有所述N个预设标识ID中每个预设标识ID对应的属性信息；N为正整数。
在本申请实施例中，所述与所述数据标识ID匹配的目标预设标识ID，可以指与所述数据标识ID相同的目标预设标识ID；或者是与所述数据标识ID进行预设规则的计算后的计算结果相等的目标预设标识ID，所述计算可以是以下任意一种或多种的组合：加法，减法，乘法，除法，幂运算，移位，去除部分或顺序改变等。
在本申请实施例中，在所述配置文件中，工作人员预先记录有需要收集的行为数据的ID,即所述N个预设标识ID，在具体实施过程中，工作人员会根据重要程度和数据类别等因素来确定哪些ID的数据需要收集，并将其记录在所述配置文件中。
在所述配置文件中，还对应记录有所述N个预设标识ID中每个预设标识ID对应的属性信息attribute，在具体实施过程中，所述属性信息可以包括以下任意一条或多条信息的组合：该预设标识ID对应的行为的含义、该预设标识ID对应的用户操作、该预设标识ID对应的数据来源和该预设标识ID对应的数据是否需要即时上传等。工作人员可以采用预设的规则代号或规则描述来作为所述属性信息，以避免属性信息的繁杂、零碎和表述方式各异，便于后续的查询和管理。
需要说明的是，所述配置文件中预先严格配置好需要上传的每一条行为数据的预设标识ID，并对应设置属性信息，由于配置文件的工整和规则，配置文件可以由非技术人员维护，减少维护成本。
在本申请实施例中，所述判断是否存在与所述数据标识ID匹配的目标预设标识ID的方法具体可以为：
假设收集数据管理器为datamanager，在datamanager中存在Addlog方法，Addlog方法以收集到的所述数据标识ID作为参数，其作用为收集一条打点数据，Addlog方法被调用后，通过遍历前述的logData变量中的所述N个预设标识ID来与所述数据标识ID进行比较，从而判断是否存在与所述数据标识ID匹配的目标预设标识ID。
如果所述配置文件中存在与所述数据标识ID匹配的目标预设标识ID，则执行步骤S103和S104，获取所述目标预设标识ID对应的目标属性信息至平台服务器；上传所述数据标识ID和所述目标属性信息。
具体来讲，获取所述目标属性信息的方法可以为：获取所述目标预设标识ID对应的目标属性信息，并将所述目标属性信息赋值为变量Singledata。即通过遍历logData变量查找到匹配的目标预设标识ID后，根据所述目标预设标识ID找到对应的需要收集的目标属性信息，并将其赋值为变量Singledata。例如，可以采用下述代码实现遍历logData变量和赋值为变量Singledata：
然后，上传所述数据标识ID和所述目标属性信息至平台服务器，具体可以为：上传所述Singledata变量至平台服务器。
在本申请实施过程中，考虑到在某个业务情景下可能会出现flash播放器同时给平台服务器上报大量数据，这种情况会导致flash播放器或资源服务器与平台服务器网络通讯的峰值，增加带宽成本，同时在平台服务器某一个时间节点突然接受到大量flash播放器数据后，进行业务逻辑的话容易提升平台服务器的CPU消耗。故本申请设置先根据数据的实时属性，来确定是否即时上传数据，对不需要即时上传的数据通过资源服务器的数据容器来暂缓上传，从而减少平台服务器的CPU消耗和避免网络堵塞，详述如下：
在具体实施过程中，当所述目标属性信息中包括有实时属性的描述时，可以先根据所述目标属性信息，判断所述行为数据是否需要即时上传；
如果所述行为数据需要即时上传，则直接上传所述数据标识ID和所述目标属性信息；
如果所述行为数据不需要即时上传，则将所述数据标识ID和所述目标属性信息添加至数据容器。
具体来讲，因为有些业务场景的行为数据是有时效性的，所以需要及时将数据信息上传以供分析处理，即需要判断所述目标属性信息(例如Singledata变量)是否为实时属性，来判断是否是需要及时上传本次获得的行为数据。
例如，istimely是在行为数据文件中配置的实时属性代码，当该行为数据是需要及时上传时，istimely为1，否则istimely为0，这样后期维护只需要修改配置文件的istimely的值就可以修改其实效属性。当然，也可以设置其他代码来表征实时属性，在此不作限制。
假设以预设变量bolan为表征是否需要即时上传的变量，对应的可以通过：Bolan＝Singledata.istimely>0？true:flase的命令来判断实时属性，当istimely为1时，表征需要即时上传，所述命令执行结果为true；当istimely为0时，表征不需要即时上传，所述命令执行结果为flase；其中，所述istimely的数值为预先设置在所述配置文件的所述目标属性信息中。
当Bolan为true时直接发送一个http请求上传所述数据标识ID和所述目标属性信息(Singledata变量)，否则把所述数据标识ID和所述目标属性信息(Singledata变量)添加至数据容器LogList中。
进一步，为了避免数据容器中信息的集中上传导致的资源服务器与平台服务器的堵塞，和进一步避免平台服务器CPU峰值消耗过高，本申请还设置：
判断所述数据容器中的信息数量是否大于M；判断距所述数据容器最近一次上传信息的时长是否大于T；
如果所述数据容器中的信息数量大于M，或，距所述数据容器最近一次上传信息的时长大于T，则上传并清空所述数据容器中的信息。
具体来讲，判断所述数据容器中的信息数量是否大于M的方法为：在之前的操作中程序会往数据容器LogList中存储Singledata变量数据，如果不及时处理会导致LogList内存无限增大.所以设定LogList最大长度为N(例如，N等于20条)，当LogList长度超过N时，把LogList中数据进行逐条发送并清空，以避免内存溢出。假设变量needSeed表征LogList长度是否超出，则通过needSeed＝LogList.lenght>N？true:false可以进行判断，当needSeed为true时把LogList中数据进行逐条发送并清空。
例如，可以设置每上传一条Singledata变量就把LogList中对应的数据对象清理掉，可以程序设定sendData方法来表征上传的具体方法，该方法的参数是单条行为数据对象，具体代码为：
While(LogList.lenght>0)
{
Var_data:object＝LogList[0]；
sendData(data)
LogList.shit()；
}
使用While函数当LogList.lenght大于0时，会循环执行大括号内的逻辑，_data取得了LogList第一个元素，再调用sendData方法上传给平台服务器，LogList.shit()函数可以把LogList第一个元素删除，这样LogList.lenght会减少1。
在具体实施过程中，所述判断距所述数据容器最近一次上传信息的时长是否大于T，是通过之前初始化的上报数据定时器来实现的。具体来讲，所述上报数据定时器可以避免所述数据容器中积累的未上传的行为数据过多。假设所述定时器为Delaytimer。它触发的时间为T秒(例如120秒)，则Delaytimer＝new Timer(120*1000,0)，初始化Delaytimer时设置第二个参数为0，这样就可以让Delaytimer无限响应。同时定时器每次触发时均可以执行上传和清空所述数据容器中的数据。
具体来讲，通过设置数据容器内信息数量和距所述数据容器最近一次上传信息的时长这两种判断规则相结合，来处理数据容器中非及时性数据信息的上传，能有效避免数据容器中信息的集中上传导致的资源服务器与平台服务器的堵塞，和进一步避免平台服务器CPU峰值消耗过高。
另外，如果所述配置文件中不存在与所述数据标识ID匹配的目标预设标识ID，则执行步骤S105，拒绝上传所述数据标识ID。避免上传不重要的数据，减少后续数据管理的复杂度。
具体来讲，为了解决flash在大量业务场景下收集数据维护困难，收集行为数据时不再使用常规的每一个业务节点中插入一段收集数据的逻辑，而是通过配置文件加收集数据管理器的方案去收集行为数据，即在配置文件中先写好每一条需上传数据的预设标识ID以及对应的属性信息，由收集数据管理器根据获得的行为数据的所述数据标识ID读取到配置文件中对应的目标属性信息,并通过上传所述目标属性信息来减少上传数据的繁杂和零碎程度，便于后期维护，由于flash应用只维护标识ID，需要修改用户行为数据时只需要修改所述配置文件，有效提高后续管理和修改效率。
进一步，先判断行为数据是否是需要及时上传的行为数据(具有实时性)，如果是具有实时性的行为数据马上上传至平台服务器，否则执行非及时性方案：对不需要即时上传的属性文件先放到数据容器LogList中统一存放，等待上传到平台服务器。如果行为数据容器数量超过N条再把行为数据容器中数据全部上传并把行为数据容器进行清空，同时设置计时器每T时长把行为数据容器中数据全部上传并把行为数据容器进行清空。这两种上传规则相结合来处理非及时性数据，可以避免出现上传峰值过高，网络阻塞，平台服务器CPU消耗过高。
基于同一发明构思，本申请提供了实施例一对应的装置，详见实施例二。
实施例二
如图2所示，本实施提供了一种资源服务器，包括：
接收单元201，用于接收客户端发送的行为数据，所述行为数据中包括数据标识ID；
第一判断单元202，用于判断配置文件的N个预设标识ID中，是否存在与所述数据标识ID匹配的目标预设标识ID；其中，所述配置文件中还预设有所述N个预设标识ID中每个预设标识ID对应的属性信息；N为正整数；
获取单元203，用于如果所述配置文件中存在与所述数据标识ID匹配的目标预设标识ID，则获取所述目标预设标识ID对应的目标属性信息；
上传单元204，用于上传所述数据标识ID和所述目标属性信息至平台服务器；
拒绝单元205，用于如果所述配置文件中不存在与所述数据标识ID匹配的目标预设标识ID，则拒绝上传所述数据标识ID。
在本实施例中，所述资源服务器还包括：
第二判断单元，用于根据所述目标属性信息，判断所述行为数据是否需要即时上传；
即时上传单元，用于如果所述行为数据需要即时上传，则直接上传所述数据标识ID和所述目标属性信息至所述平台服务器；
添加单元，用于如果所述行为数据不需要即时上传，则将所述数据标识ID和所述目标属性信息添加至数据容器。
由于本实施例所介绍的资源服务器为实施本申请实施例中一种行为数据的收集方法所采用的设备，故而基于本申请实施例一中所介绍的方法，本领域所属技术人员能够了解本实施例的资源服务器的具体实施方式以及其各种变化形式，所以在此对于该资源服务器如何实现本申请实施例中的方法不再详细介绍。只要本领域所属技术人员实施本申请实施例中的方法所采用的设备，都属于本申请所欲保护的范围。
基于同一发明构思，本申请提供了实施例一对应的资源服务器，详见实施例三。
实施例三
如图3所示，本实施提供了一种资源服务器，包括存储器310、处理器320及存储在存储器320上并可在处理器320上运行的计算机程序311，处理器320执行计算机程序311时实现以下步骤：
接收客户端发送的行为数据，所述行为数据中包括数据标识ID；
判断配置文件的N个预设标识ID中，是否存在与所述数据标识ID匹配的目标预设标识ID；其中，所述配置文件中还预设有所述N个预设标识ID中每个预设标识ID对应的属性信息；N为正整数；
如果所述配置文件中存在与所述数据标识ID匹配的目标预设标识ID，则获取所述目标预设标识ID对应的目标属性信息；
上传所述数据标识ID和所述目标属性信息至平台服务器；
如果所述配置文件中不存在与所述数据标识ID匹配的目标预设标识ID，则拒绝上传所述数据标识ID。
在具体实施过程中，处理器320执行计算机程序311时，可以实现实施例一中任一实施方式。
由于本实施例所介绍的资源服务器为实施本申请实施例中一种行为数据的收集方法所采用的设备，故而基于本申请实施例一中所介绍的方法，本领域所属技术人员能够了解本实施例的资源服务器的具体实施方式以及其各种变化形式，所以在此对于该资源服务器如何实现本申请实施例中的方法不再详细介绍。只要本领域所属技术人员实施本申请实施例中的方法所采用的设备，都属于本申请所欲保护的范围。
基于同一发明构思，本申请提供了实施例一对应的存储介质，详见实施例四。
实施例四
如图4所示，本实施提供了一种计算机可读存储介质400，其上存储有计算机程序411，该计算机程序411被处理器执行时实现以下步骤：
接收客户端发送的行为数据，所述行为数据中包括数据标识ID；
判断配置文件的N个预设标识ID中，是否存在与所述数据标识ID匹配的目标预设标识ID；其中，所述配置文件中还预设有所述N个预设标识ID中每个预设标识ID对应的属性信息；N为正整数；
如果所述配置文件中存在与所述数据标识ID匹配的目标预设标识ID，则获取所述目标预设标识ID对应的目标属性信息；
上传所述数据标识ID和所述目标属性信息至平台服务器；
如果所述配置文件中不存在与所述数据标识ID匹配的目标预设标识ID，则拒绝上传所述数据标识ID。
在具体实施过程中，该计算机程序411被处理器执行时，可以实现实施例一中任一实施方式。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种行为数据的收集方法，应用于资源服务器中，其特征在于，包括：
使用系统级别的loader类的对象来加载配置文件；触发loadComplete方法，先将所述配置文件转化为JSON数据，然后存放所述JSON数据到logData变量中；
初始化上报数据定时器；所述上报数据定时器用于判断距数据容器最近一次上传信息的时长是否大于T；初始化收集数据管理器；所述数据管理器用于接收客户端发送的行为数据；
接收客户端发送的行为数据，所述行为数据中包括数据标识ID；
判断配置文件的N个预设标识ID中，是否存在与所述数据标识ID匹配的目标预设标识ID；其中，所述配置文件中还预设有所述N个预设标识ID中每个预设标识ID对应的属性信息；N为正整数；其中，所述属性信息包括以下任意一条或多条信息的组合：所述预设标识ID对应的行为的含义、所述预设标识ID对应的用户操作、所述预设标识ID对应的数据来源和所述预设标识ID对应的数据是否需要即时上传；
如果所述配置文件中存在与所述数据标识ID匹配的目标预设标识ID，则获取所述目标预设标识ID对应的目标属性信息；
上传所述数据标识ID和所述目标属性信息至平台服务器；
如果所述配置文件中不存在与所述数据标识ID匹配的目标预设标识ID，则拒绝上传所述数据标识ID。
2.如权利要求1所述的方法，其特征在于，所述上传所述数据标识ID和所述目标属性信息至平台服务器，包括：
根据所述目标属性信息，判断所述行为数据是否需要即时上传；
如果所述行为数据需要即时上传，则直接上传所述数据标识ID和所述目标属性信息至所述平台服务器；
如果所述行为数据不需要即时上传，则将所述数据标识ID和所述目标属性信息添加至数据容器。
3.如权利要求2所述的方法，其特征在于，所述将所述数据标识ID和所述目标属性信息添加至数据容器之后还包括：
判断所述数据容器中的信息数量是否大于M;判断距所述数据容器最近一次上传信息的时长是否大于T；M为正整数，T为正数；
如果所述数据容器中的信息数量大于M，或，距所述数据容器最近一次上传信息的时长大于T，则上传所述数据容器中的信息至所述平台服务器，并清空所述数据容器。
4.如权利要求1所述的方法，其特征在于，
所述接收客户端发送的行为数据之前，还包括：
使用系统级别的loader类的对象来加载所述配置文件；触发loadComplete方法，先所述配置文件转化为JSON数据，然后存放所述JSON数据到logData变量中；
所述判断配置文件的N个预设标识ID中，是否存在与所述数据标识ID匹配的目标预设标识ID，包括：
调用Addlog方法，通过遍历logData中的所述N个预设标识ID来与所述数据标识ID进行比较，从而判断是否存在与所述数据标识ID匹配的目标预设标识ID；
所述获取所述目标预设标识ID对应的目标属性信息，包括：
获取所述目标预设标识ID对应的目标属性信息，并将所述目标属性信息赋值为变量Singledata。
5.一种资源服务器，其特征在于，包括：
接收单元，用于使用系统级别的loader类的对象来加载配置文件；触发loadComplete方法，先将所述配置文件转化为JSON数据，然后存放所述JSON数据到logData变量中；初始化上报数据定时器；所述上报数据定时器用于判断距数据容器最近一次上传信息的时长是否大于T；初始化收集数据管理器；所述数据管理器用于接收客户端发送的行为数据；接收客户端发送的行为数据，所述行为数据中包括数据标识ID；
第一判断单元，用于判断配置文件的N个预设标识ID中，是否存在与所述数据标识ID匹配的目标预设标识ID；其中，所述配置文件中还预设有所述N个预设标识ID中每个预设标识ID对应的属性信息；N为正整数；其中，所述属性信息包括以下任意一条或多条信息的组合：所述预设标识ID对应的行为的含义、所述预设标识ID对应的用户操作、所述预设标识ID对应的数据来源和所述预设标识ID对应的数据是否需要即时上传；
获取单元，用于如果所述配置文件中存在与所述数据标识ID匹配的目标预设标识ID，则获取所述目标预设标识ID对应的目标属性信息；
上传单元，用于上传所述数据标识ID和所述目标属性信息至平台服务器；
拒绝单元，用于如果所述配置文件中不存在与所述数据标识ID匹配的目标预设标识ID，则拒绝上传所述数据标识ID。
6.如权利要求5所述的资源服务器，其特征在于，还包括：
第二判断单元，用于根据所述目标属性信息，判断所述行为数据是否需要即时上传；
即时上传单元，用于如果所述行为数据需要即时上传，则直接上传所述数据标识ID和所述目标属性信息至所述平台服务器；
添加单元，用于如果所述行为数据不需要即时上传，则将所述数据标识ID和所述目标属性信息添加至数据容器。
7.一种资源服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下步骤：
使用系统级别的loader类的对象来加载配置文件；触发loadComplete方法，先将所述配置文件转化为JSON数据，然后存放所述JSON数据到logData变量中；
初始化上报数据定时器；所述上报数据定时器用于判断距数据容器最近一次上传信息的时长是否大于T；初始化收集数据管理器；所述数据管理器用于接收客户端发送的行为数据；
接收客户端发送的行为数据，所述行为数据中包括数据标识ID；
判断配置文件的N个预设标识ID中，是否存在与所述数据标识ID匹配的目标预设标识ID；其中，所述配置文件中还预设有所述N个预设标识ID中每个预设标识ID对应的属性信息；N为正整数；其中，所述属性信息包括以下任意一条或多条信息的组合：所述预设标识ID对应的行为的含义、所述预设标识ID对应的用户操作、所述预设标识ID对应的数据来源和所述预设标识ID对应的数据是否需要即时上传；
如果所述配置文件中存在与所述数据标识ID匹配的目标预设标识ID，则获取所述目标预设标识ID对应的目标属性信息；
上传所述数据标识ID和所述目标属性信息至平台服务器；
如果所述配置文件中不存在与所述数据标识ID匹配的目标预设标识ID，则拒绝上传所述数据标识ID。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现以下步骤：
使用系统级别的loader类的对象来加载配置文件；触发loadComplete方法，先将所述配置文件转化为JSON数据，然后存放所述JSON数据到logData变量中；
初始化上报数据定时器；所述上报数据定时器用于判断距数据容器最近一次上传信息的时长是否大于T；初始化收集数据管理器；所述数据管理器用于接收客户端发送的行为数据；
接收客户端发送的行为数据，所述行为数据中包括数据标识ID；
判断配置文件的N个预设标识ID中，是否存在与所述数据标识ID匹配的目标预设标识ID；其中，所述配置文件中还预设有所述N个预设标识ID中每个预设标识ID对应的属性信息；N为正整数；其中，所述属性信息包括以下任意一条或多条信息的组合：所述预设标识ID对应的行为的含义、所述预设标识ID对应的用户操作、所述预设标识ID对应的数据来源和所述预设标识ID对应的数据是否需要即时上传；
如果所述配置文件中存在与所述数据标识ID匹配的目标预设标识ID，则获取所述目标预设标识ID对应的目标属性信息；
上传所述数据标识ID和所述目标属性信息至平台服务器；
如果所述配置文件中不存在与所述数据标识ID匹配的目标预设标识ID，则拒绝上传所述数据标识ID。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710506293.4A CN107493315B (zh) | 2017-06-28 | 2017-06-28 | 一种行为数据的收集方法、资源服务器及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710506293.4A CN107493315B (zh) | 2017-06-28 | 2017-06-28 | 一种行为数据的收集方法、资源服务器及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107493315A CN107493315A (zh) | 2017-12-19 |
| CN107493315B true CN107493315B (zh) | 2021-04-23 |
Family
ID=60643771
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710506293.4A Active CN107493315B (zh) | 2017-06-28 | 2017-06-28 | 一种行为数据的收集方法、资源服务器及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107493315B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110417710B (zh) * | 2018-04-27 | 2022-05-17 | 腾讯科技（北京）有限公司 | 攻击数据捕获方法、装置及存储介质 |
| CN108763128A (zh) * | 2018-06-15 | 2018-11-06 | 深圳市沃特沃德股份有限公司 | 处理外设信号的方法、中转设备及车载系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105206052A (zh) * | 2015-09-21 | 2015-12-30 | 张力 | 一种驾驶行为分析方法及设备 |
| CN105787496A (zh) * | 2014-12-23 | 2016-07-20 | 联想(北京)有限公司 | 一种数据的归集方法和电子设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103246661B (zh) * | 2012-02-07 | 2016-08-10 | 阿里巴巴集团控股有限公司 | 可视化用户行为收集系统及其方法 |
| CN103200046B (zh) * | 2013-03-28 | 2016-01-20 | 青岛海信传媒网络技术有限公司 | 监控网元设备性能的方法及系统 |
| CN105338124A (zh) * | 2014-06-09 | 2016-02-17 | 深圳市志友企业发展促进中心 | 一种资源传播跟踪方法、装置及系统 |
| CN105046601A (zh) * | 2015-07-09 | 2015-11-11 | 传成文化传媒（上海）有限公司 | 用户数据处理方法和系统 |
-
2017
- 2017-06-28 CN CN201710506293.4A patent/CN107493315B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105787496A (zh) * | 2014-12-23 | 2016-07-20 | 联想(北京)有限公司 | 一种数据的归集方法和电子设备 |
| CN105206052A (zh) * | 2015-09-21 | 2015-12-30 | 张力 | 一种驾驶行为分析方法及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107493315A (zh) | 2017-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106302632B (zh) | 一种基础镜像的下载方法以及管理节点 | |
| CN110865842B (zh) | 一种ota升级方法和设备 | |
| CN111858067B (zh) | 一种数据处理方法及装置 | |
| CN111262726B (zh) | 一种配置信息更新方法、装置及计算机可读存储介质 | |
| CN106874100B (zh) | 计算资源分配方法及装置 | |
| CN111367828B (zh) | 内存压缩方法、装置、终端及存储介质 | |
| CN111224831B (zh) | 用于生成话单的方法和系统 | |
| CN107493315B (zh) | 一种行为数据的收集方法、资源服务器及存储介质 | |
| CN111680085A (zh) | 数据处理任务分析方法、装置、电子设备和可读存储介质 | |
| CN107483532B (zh) | 一种行为数据的上传方法、资源服务器及存储介质 | |
| CN107329832B (zh) | 一种数据接收方法及装置 | |
| US11216352B2 (en) | Method for automatically analyzing bottleneck in real time and an apparatus for performing the method | |
| CN110716938A (zh) | 数据的汇聚方法及装置、存储介质和电子装置 | |
| CN111124791A (zh) | 一种系统测试方法及装置 | |
| CN115794382A (zh) | 数据处理方法、装置及非易失性存储介质 | |
| CN115563160A (zh) | 数据处理方法、装置、计算机设备和计算机可读存储介质 | |
| CN113448747B (zh) | 数据传输方法、装置、计算机设备和存储介质 | |
| CN112272227B (zh) | 一种基于计算图的边缘计算任务调度方法 | |
| CN104462422A (zh) | 对象的处理方法及装置 | |
| CN110191460B (zh) | 一种新入网用户监测方法及平台 | |
| CN109960695B (zh) | 云计算系统中数据库的管理方法和装置 | |
| CN108345615B (zh) | 一种页面链接的投放和投放调整方法及系统 | |
| CN110868335B (zh) | 端到端的业务监控方法和装置 | |
| CN117331793B (zh) | 一种自动值守的进程监控方法与系统 | |
| CN117009094B (zh) | 数据倾斜打散方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231110 Address after: Room 606-609, Compound Office Complex Building, No. 757, Dongfeng East Road, Yuexiu District, Guangzhou, Guangdong Province, 510699 Patentee after: China Southern Power Grid Internet Service Co.,Ltd. Address before: 430000 East Lake Development Zone, Wuhan City, Hubei Province, No. 1 Software Park East Road 4.1 Phase B1 Building 11 Building Patentee before: WUHAN DOUYU NETWORK TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right |