CN106921506B - 移动设备的数据采集上报方法和系统 - Google Patents

移动设备的数据采集上报方法和系统 Download PDF

Info

Publication number
CN106921506B
CN106921506B CN201510993966.4A CN201510993966A CN106921506B CN 106921506 B CN106921506 B CN 106921506B CN 201510993966 A CN201510993966 A CN 201510993966A CN 106921506 B CN106921506 B CN 106921506B
Authority
CN
China
Prior art keywords
reporting
data
strategy
latest
reported
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510993966.4A
Other languages
English (en)
Other versions
CN106921506A (zh
Inventor
姚醒
郑青
蔡敏明
张颂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201510993966.4A priority Critical patent/CN106921506B/zh
Publication of CN106921506A publication Critical patent/CN106921506A/zh
Application granted granted Critical
Publication of CN106921506B publication Critical patent/CN106921506B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0893—Assignment of logical groups to network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H04L41/0833—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability for reduction of network energy consumption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/04—Arrangements for maintaining operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/10—Scheduling measurement reports ; Arrangements for measurement reports

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本申请公开了一种移动设备的数据采集上报方法和系统，包括：采集模块在移动设备采集数据；上报模块在移动设备初始上报数据之前，下载最新的上报策略，更新本地的当前上报策略为最新的上报策略；在每次上报所采集的数据成功后，下载最新的上报策略，更新本地的当前上报策略为最新的上报策略；根据本地当前的上报策略中指示的上报方式，上报所采集的数据。利用本发明，可以降低对移动设备网络流量的损耗。

Description

移动设备的数据采集上报方法和系统
技术领域
本申请涉及数据处理技术领域，尤其涉及一种移动设备的数据采集上报方法和系统。
背景技术
近年来移动互联网呈井喷式发展，从衣食住行各个方面改变着人们的生活。移动智能设备，如手机、掌上电脑、可穿戴智能设备等等，的种类也越来越多。移动智能设备上的应用程序(App)技术在这个阶段得到了充分的发展，各行各业开发出来的APP种类和数量都呈指数增长。随之而来的数据搜集和采集工作也变成了产品和决策层不可规避的工作。
数据采集上报技术由来已久，在个人计算机(PC)领域，数据采集上报技术已经发展得很成熟，由此还产生了“大数据”的概念。针对PC的数据采集，由于其本身资源相对充裕，且随着硬件技术和通信技术的持续发展越来越充裕，PC采集数据的方式相对粗放，既没有考虑到网络流量，也没有考虑设备用电量、设备的系统资源消耗。
在目前的移动智能设备领域，数据采集上报的技术方案依然沿用PC机的数据采集上报技术。即在移动智能设备的程序中设置数据埋点，所述数据埋点就是在程序代码的关键部位植入数据采集统计代码，用来追踪每次用户点击/行为，统计关键功能的使用次数，或者通过植入多段代码追踪用户连续行为，以及通过建立模型来量化用户操作行为。
在现有的数据采集上报技术中，根据业务需求，产生了一条埋点数据，会立刻将该单条埋点数据上报到后台服务器。但是，这种每次产生数据都进行上报的方式没有考虑到实际移动智能设备的网络环境，对于2G、3G、4G、WIFI等网络环境没有差异性对待，在网络资源比较紧张的时候连续上报，严重影响了移动智能设备的正常上网需求，在极端情况下也影响app正常的功能性网络请求。
而且，当移动智能设备发生异常时，有可能会使相对应模块重新初始化加载或者重试，某些严重异常在模块重启时并不能解决，因此，该模块在处理异常时不停的发送异常统计数据，该部分数据由于同一原因造成，多次上报浪费用户流量，也会加重后台接收和处理数据的压力。
总体来讲，现有技术的主要有如下缺点：
1)尽管移动智能设备的硬件发展迅速，但其性能及设备资源与PC机的差距还是很大。再加上移动互联网联网上网收费大部分采用按流量计费的方式，现有技术没有充分考虑移动设备硬件和网络资源的特殊情况，会导致不同的网络环境(如非wifi和wifi状态)无差别上报，引起非wifi状态下白白耗损用户流量的问题；
2)现有技术在后台服务器需要调整，或网络异常产生雪崩时，无法及时收敛上报请求的数量，造成多次上报浪费用户流量，也会加重后台接收和处理数据的压力。
发明内容
有鉴于此，本发明的主要目的是提供一种移动设备的数据采集上报方法和系统，以降低对移动设备网络流量的损耗。
本发明的技术方案是这样实现的：
一种移动设备的数据采集上报方法，包括：
在移动设备采集数据；
在移动设备初始上报数据之前，下载最新的上报策略，更新本地的当前上报策略为最新的上报策略；在每次上报所采集的数据成功后，下载最新的上报策略，更新本地的当前上报策略为最新的上报策略；
根据本地当前的上报策略中指示的上报方式，上报所采集的数据。
在一种优选实施例中，所述上报策略具体包括：二种以上网络状况信息及每种网络状况信息对应的上报方式；
所述根据本地当前的上报策略中指示的上报方式，上报所采集的数据，具体包括：确定移动设备当前的网络状况，根据当前的网络状况查询所述本地当前的上报策略中相应的网络状况信息所对应的上报方式，按照该上报方式上报所采集的数据。
在一种优选实施例中，所述上报方式具体包括：触发上报的周期、和/或触发上报的数据量。
在一种优选实施例中，当所述上报方式中包括触发上报的周期时，所述根据本地当前的上报策略中指示的上报方式，上报所采集的数据，具体包括：通过定时器监视时间周期，当到达所述触发上报的周期时，上报所采集的数据，并重置定时器继续监视时间周期；
当所述上报方式中包括触发上报的数据量时，所述根据本地当前的上报策略中指示的上报方式，上报所采集的数据，具体包括：通过计数器监视所采集的数据量，当到达所述触发上报的数据量时，上报所采集的数据，并重置计数器继续监视所采集的数据量；
当所述上报方式中包括触发上报的周期和触发上报的数据量时，所述根据本地当前的上报策略中指示的上报方式，上报所采集的数据，具体包括：通过定时器监视时间周期，和通过计数器监视所采集的数据量；当到达所述触发上报的周期时，上报所采集的数据，并重置定时器继续监视时间周期；当到达所述触发上报的数据量时，上报所采集的数据，并重置计数器继续监视所采集的数据量。
在一种优选实施例中，该方法进一步包括：
在移动设备本地设置默认上报策略；
当下载最新的上报策略失败时或上报数据失败时，将本地的当前上报策略回退至默认上报策略。
在一种优选实施例中，
所述上报策略由后台服务器配置并供移动设备下载；
所述上报策略中进一步包括：是否允许上报的标记；
所述在移动设备采集数据，包括：查询所述是否允许上报的标记，如果为允许上报的标记则将采集到的数据存入缓存，并执行触发后续上报数据的步骤，否则将采集到的数据丢弃。
一种移动设备的数据采集上报系统，包括：
采集模块，用于在移动设备采集数据；
上报模块，其中包括下载子模块和上报子模块；
所述下载子模块用于在移动设备初始上报数据之前，下载最新的上报策略，更新本地的当前上报策略为最新的上报策略；在每次上报所采集的数据成功后，下载最新的上报策略，更新本地的当前上报策略为最新的上报策略；
所述上报子模块用于根据本地当前的上报策略中指示的上报方式，上报所采集的数据。
在一种优选实施例中，所述上报策略具体包括：二种以上网络状况信息及每种网络状况信息对应的上报方式；
所述上报子模块具体用于：确定移动设备当前的网络状况，根据当前的网络状况查询所述本地当前的上报策略中相应的网络状况信息所对应的上报方式，按照该上报方式上报所采集的数据。
在一种优选实施例中，该系统进一步包括后台服务器模块，用于设置并调整上报策略，供移动设备下载该上报策略。
在一种优选实施例中，所述上报策略中进一步包括：是否允许上报的标记；
所述采集模块进一步用于：查询上报策略中的是否允许上报的标记，如果为允许上报的标记则将采集到的数据存入缓存，并执行触发后续上报数据的步骤，否则将采集到的数据丢弃。
与现有技术相比，本发明可以下载上报策略，这样就可以通过不同的上报策略来适应移动设备不同的硬件能力和网络状况，并根据所述上报策略指示的上报方式上报所采集的数据。这样就可以提高数据上报与移动设备硬件能力和当前网络状况的适配性，实现不同的网络环境(如非wifi和wifi状态)的有差别上报，以降低对移动设备网络流量的损耗。同时，可以在后台服务器及时地根据数据上报情况调整上报策略后，及时地将最新的上报策略发送给移动设备。例如在网络异常产生数据雪崩时，可以及时通过下发新的上报策略来收敛数据上报请求的数量，从而进一步降低对网络流量的消耗，并可以进一步降低对后台服务器的压力。
附图说明
图1为本发明公开的一种移动设备的数据采集上报方法的一种流程图；
图2为本发明公开的一种移动设备的数据采集上报系统的一种组成示意图；
图3为本发明的一种初始上报策略更新的详细流程图；
图4为本发明的一种每次上报数据时进行上报策略更新的详细流程图；
图5为本发明的一种数据采集模块采集数据的流程图；
图6为本发明的一种按照时间上报数据的流程图；
图7为本发明的一种按照触发上报的数据量上报数据的流程图。
具体实施方式
下面结合附图及具体实施例对本发明再作进一步详细的说明。
本发明所述的移动设备，是指具有数据处理能力的便携式智能设备，包括但不限于智能手机、掌上电脑、平板电脑等。这些便携式智能设备上都安装有操作系统，包括但不限于：Android操作系统、Symbian操作系统、Windows mobile操作系统、以及苹果iPhone OS操作系统等等。
以上详细罗列了一些智能设备的具体类型和具体的操作系统类型，但是本领域技术人员可以意识到，本发明实施方式并不局限于上述罗列的类型，而还可以适用于其他任意的智能设备类型和操作系统类型之中。
在移动设备领域，尽管移动设备的硬件发展迅速，但其性能及设备资源与PC机的差距还是很大。而且再加上移动互联网联网上网收费大部分采用按流量计费的方式。所以在移动智能设备上的数据采集上报方式必定和计算机的数据采集上报方式有所差别。为了解决这种差异，本发明公开了一种方案，即在移动设备上使用上报策略控制采集数据上报，上报策略从后台服务器获取。
图1为本发明公开的一种移动设备的数据采集上报方法的一种流程图，参见图1，该方法具体包括：
步骤101、在移动设备采集数据；
步骤102、在移动设备初始上报数据之前，下载最新的上报策略，更新本地的当前上报策略为最新的上报策略；在每次上报所采集的数据成功后，下载最新的上报策略，更新本地的当前上报策略为最新的上报策略；
步骤103、根据本地当前的上报策略中指示的上报方式，上报所采集的数据。
所述上报策略由后台服务器配置并供移动设备下载。在更为具体的一种实施例中，所述上报策略为后台服务器所返回的json串，所述json为一种轻量级的数据交换格式。
本发明中，对于移动设备下载上报策略的时机做出了创造性地改进，也就是说，当移动设备在的上报模块初始启动，第一次上报数据前，可以向后台服务器请求下载一次最新的上报策略，下载成功后利用该最新的上报策略中的上报方式上报数据；此后在每一次成功上报数据后，即后台服务器成功接受了移动设备上报的数据后，都会重新向后台服务器请求下载一次最新的上报策略，下载成功后利用该最新的上报策略中的上报方式上报数据。
对于下载上报策略失败或上报数据失败的情况，本发明的一种实施例中是这样处理的：在移动设备本地设置默认上报策略；当下载最新的上报策略失败时或上报数据失败时，将本地的当前上报策略回退至默认上报策略。
通过上述实施例的处理，可以保证后台服务器可以及时地根据数据上报情况调整上报策略，并及时地将最新的上报策略发送给移动设备。当在后台服务器需要调整时，可以及时对移动设备的上报频率、数据等上报方式进行调整，例如在网络异常产生数据雪崩时，可以及时通过下发新的上报策略来收敛数据上报请求的数量。
为了适应不同网络状况的要求，例如移动设备在诸如2G、3G、4G、WIFI等不同的网络状况时，其网络速度、流量的耗费要求、甚至对移动设备本身性能的要求都是不同的。那么在一种具体的实施例中，所述上报策略具体可以包括：二种以上网络状况信息及每种网络状况信息对应的上报方式。所述上报方式具体可以包括：触发上报的周期、和/或触发上报的数据量。
例如下述表1所示为一种具体上报策略所包含的信息：
Figure BDA0000890324530000071
表1
在本实施例中，所述根据本地当前的上报策略中指示的上报方式，上报所采集的数据，具体包括：确定移动设备当前的网络状况，根据当前的网络状况查询所述本地当前的上报策略中相应的网络状况信息所对应的上报方式，按照该上报方式上报所采集的数据。
不同网络环境下的最大上报时间间隔和该网络环境下单次上报的最大数据量，这两种指标可以很好的控制不同网络情况下，统计数据上报的速度。
在更为具体的一种实施例中，
当所述上报方式中包括触发上报的周期时，所述根据本地当前的上报策略中指示的上报方式，上报所采集的数据，具体包括：通过定时器监视时间周期，当到达所述触发上报的周期时，上报所采集的数据，其中成功上报的数据可以从本地删除，并重置定时器继续监视时间周期，到达下一次触发上报的周期时再次上报所采集的数据，周而复始；
当所述上报方式中包括触发上报的数据量时，所述根据本地当前的上报策略中指示的上报方式，上报所采集的数据，具体包括：通过计数器监视所采集的数据量，当到达所述触发上报的数据量时，上报所采集的数据，其中成功上报的数据可以从本地删除，并重置计数器继续监视所采集的数据量，到达下一次触发上报的数据量时再次上报所采集的数据，周而复始；
当所述上报方式中包括触发上报的周期和触发上报的数据量时，所述根据本地当前的上报策略中指示的上报方式，上报所采集的数据，具体包括：通过定时器监视时间周期，和通过计数器监视所采集的数据量；当到达所述触发上报的周期时，上报所采集的数据，并重置定时器继续监视时间周期；当到达所述触发上报的数据量时，也上报所采集的数据，并重置计数器继续监视所采集的数据量。
因此，本发明可以通过配置上报策略可以灵活地控制在每种网络状况下的上报数据量和时间周期，有效地降低用户使用APP的流量成本。
在进一步的实施例中，还可以在所述上报策略中进一步包括：是否允许上报的标记。在该实施例中，所述在移动设备采集数据，具体包括：查询所述是否允许上报的标记，如果为允许上报的标记则将采集到的数据存入缓存，并执行触发后续上报数据的步骤，否则将采集到的数据丢弃，并不执行触发后续上报数据的步骤。
所述后台服务器可以在上报策略中根据具体情况来设置所述是否允许上报的标记，例如后台服务器可以根据上报数据的异常情况确定是否允许上报的标记，如果上报数据的异常次数连续超过指定阈值，则将最新的上报策略中确定为不允许上报的标记，并下发给对应的移动设备，否则将最新的上报策略中确定为允许上报的标记，并下发给对应的移动设备。
或者，例如后台服务器也可以针对移动设备用户的类型不同而分别设置不同的上报策略，例如针对某些用户，可以在针对该用户的上报策略中设置允许上报的标记；而针对另一些用户，可以在针对这些用户的上报策略中设置不允许上报的标记。
所述移动设备在收到最新的上报策略后，如果其中包括不允许上报的标记，则将采集到的数据丢弃，不再上报数据。这样可以在当服务器发生网络请求异常过多或雪崩事故的情况下，可以通过及时在最新的上报策略中设置不允许上报的标记，从而可以缓解当前的异常问题，即可以减轻服务器的压力，又可以减少对移动设备资源的浪费；而且，通过在最新的上报策略中设置不允许上报的标记，可以将恶意刷数据的用户屏蔽掉。
与上述方法对应，本发明还公开了一种移动设备的数据采集上报系统，，用于执行本发明所述的方法。图2为本发明公开的一种移动设备的数据采集上报系统的一种组成示意图，参见图2，该系统具体包括：包括：
采集模块201，用于在移动设备采集数据；
上报模块202，其中包括下载子模块221和上报子模块222；
所述下载子模块221用于在移动设备初始上报数据之前，下载最新的上报策略，更新本地的当前上报策略为最新的上报策略；在每次上报所采集的数据成功后，下载最新的上报策略，更新本地的当前上报策略为最新的上报策略；
所述上报子模块222用于根据本地当前的上报策略中指示的上报方式，上报所采集的数据。
所述采集模块201和上报模块202设置在移动设备上，其中所述采集模块201作为埋点SDK设置在移动设备的应用程序(APP)中；所述上报模块202，例如在andriod操作系统中是移动设备的一种服务(service)组件；再例如在IOS操作系统中，所述上报模块可以采用service组件的方式，也可以是类似事件驱动的一个消息队列。
下面以service组件为例进行说明。
service是移动设备操作系统的四大组件之一，运行于移动设备操作系统后台，用于不需要界面的耗时操作。通过应用组件可以启动service，APP应用组件的切换不会影响service。
在一种优选实施例中，所述上报策略具体包括：二种以上网络状况信息及每种网络状况信息对应的上报方式；所述上报方式具体包括：触发上报的周期、和/或触发上报的数据量。所述上报子模块222具体用于：确定移动设备当前的网络状况，根据当前的网络状况查询所述本地当前的上报策略中相应的网络状况信息所对应的上报方式，按照该上报方式上报所采集的数据。
更为具体的，
当所述上报方式中包括触发上报的周期时，所述上报子模块222具体用于：通过定时器监视时间周期，当到达所述触发上报的周期时，上报所采集的数据，并重置定时器继续监视时间周期；
当所述上报方式中包括触发上报的数据量时，所述上报子模块222具体用于：通过计数器监视所采集的数据量，当到达所述触发上报的数据量时，上报所采集的数据，并重置计数器继续监视所采集的数据量；
当所述上报方式中包括触发上报的周期和触发上报的数据量时，所述上报子模块222具体用于：通过定时器监视时间周期，和通过计数器监视所采集的数据量；当到达所述触发上报的周期时，上报所采集的数据，并重置定时器继续监视时间周期；当到达所述触发上报的数据量时，上报所采集的数据，并重置计数器继续监视所采集的数据量。
在进一步的实施例中，该系统进一步包括后台服务器模块，设置在用于接收上报数据的后台服务器侧，用于设置并调整上报策略，供移动设备下载该上报策略。还可以根据具体不同的情况在上报策略中设置是否允许上报的标记。
所述采集模块201进一步用于：查询上报策略中的所述是否允许上报的标记，如果为允许上报的标记则将采集到的数据存入缓存，并执行触发后续上报数据的步骤，否则将采集到的数据丢弃。
下面通过更为具体的实施例，对本发明的方法做进一步的说明。
本发明中，为了防止后台在下发上报策略时异常，本发明的数据采集上报系统预先在移动设备中准备一套默认的上报策略，初始化上报模块时，单独请求下载一次上报策略，在以后每次上报数据成功之后，后台服务器会返回合适的上报策略，数据采集上报系统据此更新上报策略之后用于下次上报，这种上报策略的更新方式的实时性更好。因为避免的多次单独请求策略，更新策略的开销也小很多。
图3为本发明的一种初始上报策略更新的详细流程图。参见图3，该流程具体包括：
步骤301.移动设备初始化埋点SDK(即采集模块)时，初始化移动设备端的上报策略为默认策略。该默认上报策略预先在移动设备中设置好。
步骤302.初始化埋点SDK时，启动用于上报数据的上报模块对应的服务(service)组件。
步骤303.初始化所述服务组件，其中包括将上报策略初始化为所述默认策略。
步骤304.启动所述上报模块。
步骤305.所述上报模块向后台服务器发起第一次下载上报策略的请求。后台服务器收到该请求后会将最新的下载策略下载至发起请求的移动设备。
步骤306.最新的上报策略是否下载成功(即是否成功获取到上报策略)，如果成功则跳到步骤307，否则跳到步骤310。
步骤307.更新所述上报模块的上报策略为所述最新的上报策略。
步骤308.上报模块获取到所述最新的上报策略后，在移动设备中通过广播(broadcast)的方式将该最新的上报策略发送给APP。broadcast是移动设备操作系统的4大组件之一，用于应用程序之间传输数据。如Activity和service传输数据时，可以使用广播技术。
步骤309.APP中的采集模块收到最新的上报策略后，将本采集模块中的上报策略更新为最新的上报策略。所述采集模块主要是利用上报策略中的是否允许上报的标记来决定是否将采集到的数据存入缓存还是丢弃。
步骤310.回退上报模块的上报策略为默认上报策略。
步骤311.上报模块在移动设备中通过广播的方式将下载上报策略失败的结果发送给APP。
步骤312.APP中的采集模块收到下载失败的结果后，将本采集模块中的上报策略回退至默认上报策略。
图4为本发明的一种每次上报数据时进行上报策略更新的详细流程图。参见图4，该流程具体包括：
步骤401.触发上报线程上报数据。
步骤402.上报数据结束。
步骤403.判断数据上报是否成功，如果成功则跳至步骤404，否则跳至步骤408.
步骤404.向后台服务器发起下载最新的上报策略的请求，并下载最新的上报策略，如果下载成功则跳至步骤405，否则跳至步骤408。
步骤405.更新所述上报模块的上报策略为所述最新的上报策略。
步骤406.上报模块获取到所述最新的上报策略后，在移动设备中通过广播的方式将该最新的上报策略发送给APP。
步骤407.APP中的采集模块收到最新的上报策略后，将本采集模块中的上报策略更新为最新的上报策略。所述采集模块主要是利用上报策略中的是否允许上报的标记来决定是否将采集到的数据存入缓存还是丢弃。
步骤408.回退上报模块的上报策略为默认上报策略。
步骤409.上报模块在移动设备中通过广播的方式将下载上报策略失败的结果发送给APP。
步骤410.APP中的采集模块收到下载失败的结果后，将本采集模块中的上报策略回退至默认上报策略。
图5为本发明的一种数据采集模块采集数据的流程图。参见图5，该流程包括：
步骤501.采集模块即所述埋点SDK采集数据。
步骤502.采集模块查询本地的上报策略中的是否允许上报的标记。
步骤503.如果是允许上报的标记，则跳至步骤504；如果是不允许上报的标记则跳至步骤505。
步骤504.将所采集到的数据存入缓存等待上报模块进行上报。
步骤505.将所采集到的数据丢弃。
所述后台服务器在收到若干次异常数据之后进行判断分析，如果认为该移动设备出于异常上报雪崩的状态，则下发策略中将携带不允许上报的标记，以此避免大量重复的异常数据上报。
对于数据的上报，所述上报模块可以根据本地的上报策略，按照时间(时间周期)和当前数据累计条数(即数据量)分两条线路触发上报请求。
图6为本发明的一种按照时间上报数据的流程图。参见图6，该流程包括：
步骤601.上报模块在获取到最新的上传策略后，如果该上传策略中包含触发上传的周期，例如此处为T1，则启动定时器，将该定时器的时间周期设置为T1。例如具体的，可以采用移动设备操作系统的Handler函数设置定时器，所述Handler函数用于异步消息的处理，可以利用sendMessageDelay的技术模拟定时器的操作。
步骤602.所述定时器监测时间周期，一旦到达T1，则跳至步骤603；否则继续监测时间周期。
步骤603.上报模块从所述缓存中读取采集的数据，上报数据到后台服务器。
步骤604.在所述数据上报成功后，后台服务器将最新的上报策略下发给移动设备的上报模块，上报模块利用最新的上报策略更新本地的上报策略。
步骤605.按照最新的上报策略中的触发上传的周期来重新设置定时器的时间周期。例如此处最新的上报策略中的触发上传的周期为T2，则将定时器重置为T2，等到时间到达T2时再触发下一次数据上报。
图7为本发明的一种按照触发上报的数据量上报数据的流程图。在此实施例中，所述触发上报的数据量是所采集数据的累计条数，包含在上报策略中。参见图7，该流程包括：
步骤701.APP端的采集模块每次采集到需要上报的数据后，将所采集的数据条数通知给上报模块。
步骤702.上报模块通过计数器来累加所述采集模块所采集到的数据条数。该计数器在初始状态下需要置0。
步骤703.判断计数器所计的数据条数是否到达当前上报策略中的触发上报的数据量例如M1，如果是则跳至步骤704；否则继续检查判断当前计数器所计的数据条数。
步骤704.上报模块读取采集的数据，上报数据到后台服务器。
步骤705.在所述数据上报成功后，后台服务器将最新的上报策略下发给移动设备的上报模块，上报模块利用最新的上报策略更新本地的上报策略，例如此时最新的上报策略中的触发上传的数据量例如可以为M2，那么下次在步骤703判断是判断数据条数是否超过该M2。
步骤706.重置计数器为0。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。所述各实施例的功能模块可以位于一个终端或网络节点，或者也可以分布到多个终端或网络节点上。
另外，本发明的每一个实施例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本发明。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式，例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。
因此本发明还公开了一种存储介质，其中存储有数据处理程序，该数据处理程序用于执行本发明上述方法的任何一种实施例。
另外，本发明所述的方法步骤除了可以用数据处理程序来实现，还可以由硬件来实现，例如，可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌入微控制器等来实现。因此这种可以实现本发明所述方法的硬件也可以构成本发明。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (9)

1.一种移动设备的数据采集上报方法，其特征在于，包括：
在移动设备采集数据；
在移动设备初始上报数据之前，下载最新的上报策略，更新本地的当前上报策略为最新的上报策略；在每次上报所采集的数据成功后，下载最新的上报策略，更新本地的当前上报策略为最新的上报策略；
根据本地当前的上报策略中指示的上报方式，上报所采集的数据；
其中，
所述上报策略由后台服务器配置并供移动设备下载；
所述上报策略包括：是否允许上报的标记；是否允许上报的标记是后台服务器根据上报数据的异常情况确定的，如果上报数据的异常次数连续超过指定阈值，则将最新的上报策略中的是否允许上报的标记确定为不允许上报的标记，否则将最新的上报策略中的是否允许上报的标记确定为允许上报的标记；或者，是否允许上报的标记是后台服务器根据移动设备用户的类型确定的；
所述在移动设备采集数据，包括：查询所述是否允许上报的标记，如果为允许上报的标记则将采集到的数据存入缓存，并执行触发后续上报数据的步骤，否则将采集到的数据丢弃。
2.根据权利要求1所述的方法，其特征在于，
所述上报策略进一步包括：二种以上网络状况信息及每种网络状况信息对应的上报方式；
所述根据本地当前的上报策略中指示的上报方式，上报所采集的数据，具体包括：确定移动设备当前的网络状况，根据当前的网络状况查询所述本地当前的上报策略中相应的网络状况信息所对应的上报方式，按照该上报方式上报所采集的数据。
3.根据权利要求1所述的方法，其特征在于，
所述上报方式具体包括：触发上报的周期、和/或触发上报的数据量。
4.根据权利要求3所述的方法，其特征在于，
当所述上报方式中包括触发上报的周期时，所述根据本地当前的上报策略中指示的上报方式，上报所采集的数据，具体包括：通过定时器监视时间周期，当到达所述触发上报的周期时，上报所采集的数据，并重置定时器继续监视时间周期；
当所述上报方式中包括触发上报的数据量时，所述根据本地当前的上报策略中指示的上报方式，上报所采集的数据，具体包括：通过计数器监视所采集的数据量，当到达所述触发上报的数据量时，上报所采集的数据，并重置计数器继续监视所采集的数据量；
当所述上报方式中包括触发上报的周期和触发上报的数据量时，所述根据本地当前的上报策略中指示的上报方式，上报所采集的数据，具体包括：通过定时器监视时间周期，和通过计数器监视所采集的数据量；当到达所述触发上报的周期时，上报所采集的数据，并重置定时器继续监视时间周期；当到达所述触发上报的数据量时，上报所采集的数据，并重置计数器继续监视所采集的数据量。
5.根据权利要求1所述的方法，其特征在于，该方法进一步包括：
在移动设备本地设置默认上报策略；
当下载最新的上报策略失败时或上报数据失败时，将本地的当前上报策略回退至默认上报策略。
6.一种移动设备的数据采集上报系统，其特征在于，包括：
采集模块，用于在移动设备采集数据；
上报模块，其中包括下载子模块和上报子模块；
所述下载子模块用于在移动设备初始上报数据之前，下载最新的上报策略，更新本地的当前上报策略为最新的上报策略；在每次上报所采集的数据成功后，下载最新的上报策略，更新本地的当前上报策略为最新的上报策略；
所述上报子模块用于根据本地当前的上报策略中指示的上报方式，上报所采集的数据；
该系统进一步包括：后台服务器模块，用于设置并调整上报策略，供下载子模块下载；
所述上报策略包括：是否允许上报的标记；是否允许上报的标记是所述后台服务器模块根据上报数据的异常情况确定的，如果上报数据的异常次数连续超过指定阈值，则将最新的上报策略中的是否允许上报的标记确定为不允许上报的标记，否则将最新的上报策略中的是否允许上报的标记确定为允许上报的标记；或者，是否允许上报的标记是所述后台服务器模块根据移动设备用户的类型确定的；
所述采集模块，在移动设备采集数据，包括：查询所述是否允许上报的标记，如果为允许上报的标记则将采集到的数据存入缓存，并执行触发后续上报数据的步骤，否则将采集到的数据丢弃。
7.根据权利要求6所述的系统，其特征在于，
所述上报策略具体包括：二种以上网络状况信息及每种网络状况信息对应的上报方式；
所述上报子模块具体用于：确定移动设备当前的网络状况，根据当前的网络状况查询所述本地当前的上报策略中相应的网络状况信息所对应的上报方式，按照该上报方式上报所采集的数据。
8.一种移动设备的数据采集上报装置，其特征在于，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1-5中任一项所述的移动设备的数据采集上报方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-5中任一项所述的移动设备的数据采集上报方法。
CN201510993966.4A 2015-12-25 2015-12-25 移动设备的数据采集上报方法和系统 Active CN106921506B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510993966.4A CN106921506B (zh) 2015-12-25 2015-12-25 移动设备的数据采集上报方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510993966.4A CN106921506B (zh) 2015-12-25 2015-12-25 移动设备的数据采集上报方法和系统

Publications (2)

Publication Number Publication Date
CN106921506A CN106921506A (zh) 2017-07-04
CN106921506B true CN106921506B (zh) 2020-11-03

Family

ID=59455639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510993966.4A Active CN106921506B (zh) 2015-12-25 2015-12-25 移动设备的数据采集上报方法和系统

Country Status (1)

Country Link
CN (1) CN106921506B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107566480B (zh) * 2017-08-30 2021-04-30 北京京东尚科信息技术有限公司 移动终端应用的用户活动信息采集方法及装置、存储介质
CN108171079A (zh) * 2017-12-27 2018-06-15 深圳创维－Rgb电子有限公司 一种基于终端的数据采集方法、装置、终端及存储介质
CN108521440B (zh) * 2018-03-10 2021-02-19 北京酷我科技有限公司 一种iOS资源监控方法
CN108600516B (zh) * 2018-03-29 2020-12-29 努比亚技术有限公司 数据采集方法、移动终端及计算机可读存储介质
CN108900873A (zh) * 2018-08-06 2018-11-27 成都洋玩易科技有限公司 一种网络媒体视频播放方法
CN111427741A (zh) * 2020-02-26 2020-07-17 中国平安人寿保险股份有限公司 埋点上报方法及相关产品
CN111786851B (zh) * 2020-06-30 2022-05-27 新华三大数据技术有限公司 一种信息上报方法及装置
CN112073257B (zh) * 2020-07-31 2022-05-03 青岛海尔科技有限公司 用于控制设备上传数据的方法及装置、设备
CN112019445B (zh) * 2020-07-31 2024-02-02 青岛海尔科技有限公司 用于智能设备流量控制的方法及装置、智能设备
CN112785142B (zh) * 2021-01-19 2023-11-24 翰克偲诺水务集团有限公司 物联网污水处理设备预警智慧工单方法及其系统
CN113219235B (zh) * 2021-05-10 2024-01-19 南京海兴电网技术有限公司 一种应用于用电采集系统中的高实时性数据更新方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101047705A (zh) * 2006-03-31 2007-10-03 华为技术有限公司 用户代理档案信息的上报处理方法、服务器及其用户终端
CN101374103A (zh) * 2007-08-22 2009-02-25 华为技术有限公司 资源管理装置、资源管理方法及系统
CN101400044A (zh) * 2007-09-28 2009-04-01 华为技术有限公司 操作结果上报方法和终端
CN101521897A (zh) * 2008-02-27 2009-09-02 华为技术有限公司 一种数据收集方法及移动终端
CN101588258A (zh) * 2008-05-19 2009-11-25 华为技术有限公司 信息上报方法和系统
CN102209347A (zh) * 2011-05-26 2011-10-05 中兴通讯股份有限公司 数据上报、数据分析方法及装置
CN102457892A (zh) * 2010-10-26 2012-05-16 中国移动通信集团公司 一种测试方法和设备
CN104899325A (zh) * 2015-06-19 2015-09-09 上海卓悠网络科技有限公司 一种app采集数据的收集方法、终端、服务器及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101047705A (zh) * 2006-03-31 2007-10-03 华为技术有限公司 用户代理档案信息的上报处理方法、服务器及其用户终端
CN101374103A (zh) * 2007-08-22 2009-02-25 华为技术有限公司 资源管理装置、资源管理方法及系统
CN101400044A (zh) * 2007-09-28 2009-04-01 华为技术有限公司 操作结果上报方法和终端
CN101521897A (zh) * 2008-02-27 2009-09-02 华为技术有限公司 一种数据收集方法及移动终端
CN101588258A (zh) * 2008-05-19 2009-11-25 华为技术有限公司 信息上报方法和系统
CN102457892A (zh) * 2010-10-26 2012-05-16 中国移动通信集团公司 一种测试方法和设备
CN102209347A (zh) * 2011-05-26 2011-10-05 中兴通讯股份有限公司 数据上报、数据分析方法及装置
CN104899325A (zh) * 2015-06-19 2015-09-09 上海卓悠网络科技有限公司 一种app采集数据的收集方法、终端、服务器及系统

Also Published As

Publication number Publication date
CN106921506A (zh) 2017-07-04

Similar Documents

Publication Publication Date Title
CN106921506B (zh) 移动设备的数据采集上报方法和系统
CN105656714B (zh) 移动设备的数据采集上报方法和装置
CN105159816B (zh) 一种降低设备功耗的方法、移动终端及系统
CN106550003B (zh) 负载均衡的控制方法、装置及系统
US20160048682A1 (en) Method and Apparatus for Clearing Malicious Power-Consuming Application, and User Terminal
CN109391505B (zh) 网络实例管理方法及相关设备
JP6293969B2 (ja) 効率良いアプリケーション同期化をトリガするための方法およびシステム
CN111510323A (zh) 一种物联网设备的固件升级方法、装置、系统及存储介质
KR101283864B1 (ko) 리소스 관리 방법과 내장 장치
CN105677477B (zh) 一种优化应用程序资源的方法、装置及电子设备
KR101804198B1 (ko) 편의적 네트워크 업데이트
CN106125882A (zh) 一种应用程序的管理方法以及电子设备
CN110908879A (zh) 埋点数据的上报方法、装置、终端和存储介质
WO2020228289A1 (zh) 日志获取方法、装置、终端及存储介质
CN109617829B (zh) 一种业务请求数据的处理方法、装置及系统
CN107526638B (zh) 应用程序处理方法、装置、移动终端及存储介质
TW201728201A (zh) 無線通訊裝置及其控制方法
CN110945896B (zh) 一种耗电异常提示方法、服务器和终端
CN112148504A (zh) 目标消息的处理方法及装置、存储介质及电子装置
CN113392041A (zh) 应用缓存清理方法、装置、设备及存储介质
CN113283350A (zh) 操作事件的提示方法及装置、存储介质及电子装置
CN117579611A (zh) 数据传输方法、装置、存储介质及电子装置
CN111182526A (zh) 数据更新方法、移动终端以及计算机存储介质
WO2012102727A1 (en) Distributing information
CN112653717B (zh) 一种多云协作分布式系统和应用分发的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant