CN110324208A - 一种数据丢失处理方法、智能终端及存储介质 - Google Patents

一种数据丢失处理方法、智能终端及存储介质 Download PDF

Info

Publication number
CN110324208A
CN110324208A CN201910650679.1A CN201910650679A CN110324208A CN 110324208 A CN110324208 A CN 110324208A CN 201910650679 A CN201910650679 A CN 201910650679A CN 110324208 A CN110324208 A CN 110324208A
Authority
CN
China
Prior art keywords
data
sdk
apk
intelligent terminal
counter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910650679.1A
Other languages
English (en)
Other versions
CN110324208B (zh
Inventor
张小帅
王槐鸿
田灯友
董家龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Yifang Technology Co ltd
Original Assignee
Easy City Square Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Easy City Square Network Technology Co Ltd filed Critical Easy City Square Network Technology Co Ltd
Priority to CN201910650679.1A priority Critical patent/CN110324208B/zh
Publication of CN110324208A publication Critical patent/CN110324208A/zh
Application granted granted Critical
Publication of CN110324208B publication Critical patent/CN110324208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H04L43/0829—Packet loss
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/12—Network monitoring probes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/14—Arrangements for monitoring or testing data switching networks using software, i.e. software packages

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Security & Cryptography (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种数据丢失处理方法、智能终端及存储介质，所述方法包括：智能终端上的APK集成SDK进行数据采集；当特定事件发生时触发数据采集，并将采集到的数据传送给SDK进行处理；根据事件名称进行缓存，更新对应的采集数量计数器，所述SDK将数据打包和压缩并发送到数据采集服务器；当成功将数据发送到数据收集服务器后，所述SDK清空已发送的数据，并且更新发送成功数量计数器；每当所述APK重新启动后，将所述计数器的数据发送到所述数据采集服务器，根据所述数据采集服务器接收数据量、采集数据量和发送成功数据量得到所述SDK内部丢失的数据量。本发明准确的得知数据在不同的应用场景下和不同的时段数据的丢失情况。

Description

一种数据丢失处理方法、智能终端及存储介质
技术领域
本发明涉及数据丢失处理技术领域，尤其涉及一种数据丢失处理方法、智能终端及存储介质。
背景技术
大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。目前很多企业都搭建了自己的大数据处理平台，随着用户画像和精准推荐的风靡全球，企业越来越重视直接从终端设备上采集用户的行为数据。
直接采集终端设备的行为数据一般都是采用C/S模式（Client/Server，客户端/服务器，是计算机软件协同工作的一种模式），在客户端的APK（AndroidPackage，Android安装包）中集成采集数据的SDK（Software Development Kit，软件开发工具包，大数据采集工具集）充当数据采集的客户端，将数据进行缓存，压缩，和发送。同时SDK也负责在数据积累过多的情况下进行缓存的清理，避免过多的占用终端资源影响APK的正常功能。因为行为数据的采集过程中，APK运行在多种架构的机器上，底层硬件或操作系统的不同，导致数据的采集难免会出现数据丢失的情况。另外服务器端也常常会因为服务器压力或网络峰值问题导致数据会有丢失，好在大数据处理本身并不要求数据100%的准确，更多的是需要在大量的数据中寻找的有价值的数据模型，所在目前这种模式的采集数据的丢失是一直存在的。但是这种丢失也存在有好有坏的情况，这种模式的数据采集因为客户端具有处理逻辑并且分散的缘故，非常难于检测数据丢失的程度。
目前的数据丢失程度的检测只能采取抽样对比的情况，比如使用两个采集数据源的数据进行对比，或者使用一个采集数据源和一个连接应用的数据进行对比，这种对比方式始终存在的问题是无法保证SDK的覆盖情况，尤其是对智能厂商本身，无法保证每一台设备都具有SDK，并且无法确认是否SDK内部就将数据进行了丢弃。
因此，现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种数据丢失处理方法、智能终端及存储介质，旨在解决现有技术中无法准确检测不同的应用场景下和不同的时段数据的丢失情况。
为实现上述目的，本发明提供一种数据丢失处理方法，所述数据丢失处理方法包括如下步骤：
智能终端上的 APK集成SDK进行数据采集，当所述SDK初始化时，采集智能终端ID、APKID、以及APK生命周期 ID；
通过所述APK在内部逻辑的不同节点设置触发器，当特定事件发生时触发数据采集，并将采集到的数据传送给所述SDK进行处理；
当所述SDK收到所述APK传递的数据，根据事件名称进行缓存，更新对应的采集数量计数器，当缓存数据达到预设条件，所述SDK将数据打包和压缩，并发送到数据采集服务器；
当成功将数据发送到所述数据收集服务器后，所述SDK清空已发送的数据，并且更新发送成功数量计数器；
每当所述APK重新启动后，将所述计数器的数据发送到所述数据采集服务器，根据所述数据采集服务器接收数据量、采集数据量和发送成功数据量得到所述SDK内部丢失的数据量。
可选地，所述的数据丢失处理方法，其中，所述智能终端ID为MAC，用于确认所述智能终端；
所述APKID由APK厂商指定，用于确认所述智能终端上APK的信息；
所述APK生命周期 ID根据所述智能终端ID和初始化时间生成，用于确认所述APK在所述智能终端上的生命周期。
可选地，所述的数据丢失处理方法，其中，所述通过所述APK在内部逻辑的不同节点设置触发器，当特定事件发生时触发数据采集，并将采集到的数据传送给所述SDK进行处理之后，还包括：
所述SDK内部维护一组计数器，所述计数器的key值由所述智能终端ID、APKID、APK生命周期 ID和事件名称共同组成，所述计数器的数量包括采集数量和发送成功数量。
可选地，所述的数据丢失处理方法，其中，所述当成功将数据发送到所述数据收集服务器后，所述SDK清空已发送的数据，并且更新发送成功数量计数器具体包括：
判断所述SDK是否成功将数据发送到所述数据收集服务器；
如果发送成功，所述SDK清空已发送的数据，并且更新发送成功数量计数器；
如果发送失败，等待预设时间后，重新发送，直到发送成功，清空缓存，并更新发送成功数量计数器。
可选地，所述的数据丢失处理方法，其中，所述当成功将数据发送到所述数据收集服务器后，所述SDK清空已发送的数据，并且更新发送成功数量计数器还包括：
当发送一直不成功，所述SDK清除缓存中的数据。
可选地，所述的数据丢失处理方法，其中，所述当发送一直不成功，所述SDK清除缓存中的数据之后，还包括：
每当所述APK重新启动后，将所述计数器的数据发送到所述数据采集服务器。
可选地，所述的数据丢失处理方法，其中，所述数据丢失处理方法还包括：
当所述SDK初始化时，判断所述SDK是否为首次初始化；
当是时，生成APK生命周期 ID，并遍历各类缓存数据；
当否时，直接遍历各类缓存数据；
判读数据开关是否开启，当是时，上传缓存数据；当否时，删除缓存数据；
判断缓存数据是否上传成功，当是时，更新发送成功计数器，并发送计数器数据；当否时，等待预设时间后，重新发送；
启动完成，等待所述APK调用。
可选地，所述的数据丢失处理方法，其中，所述数据丢失处理方法还包括：
接收APK数据，增加采集计数器；
判断缓存是否足够，当是时，写入缓存；当否时，删除部分缓存；
当达到上传条件时，发送缓存，并判断是否发送成功，当是时，删除缓存，并更新计数器；当否时，等待预设时间后重新判断是否达到上传条件。
此外，为实现上述目的，本发明还提供一种智能终端，其中，所述智能终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据丢失处理程序，所述数据丢失处理程序被所述处理器执行时实现如上所述的数据丢失处理方法的步骤。
此外，为实现上述目的，本发明还提供一种存储介质，其中，所述存储介质存储有数据丢失处理程序，所述数据丢失处理程序被处理器执行时实现如上所述的数据丢失处理方法的步骤。
本发明通过智能终端上的 APK集成SDK进行数据采集，当所述SDK初始化时，采集智能终端ID、APKID、以及APK生命周期 ID；通过所述APK在内部逻辑的不同节点设置触发器，当特定事件发生时触发数据采集，并将采集到的数据传送给所述SDK进行处理；当所述SDK收到所述APK传递的数据，根据事件名称进行缓存，更新对应的采集数量计数器，当缓存数据达到预设条件，所述SDK将数据打包和压缩，并发送到数据采集服务器；当成功将数据发送到所述数据收集服务器后，所述SDK清空已发送的数据，并且更新发送成功数量计数器；每当所述APK重新启动后，将所述计数器的数据发送到所述数据采集服务器，根据所述数据采集服务器接收数据量、采集数据量和发送成功数据量得到所述SDK内部丢失的数据量。本发明实现了准确的得知数据在不同的应用场景下和不同的时段数据的丢失情况。
附图说明
图1是本发明数据丢失处理方法的较佳实施例的流程图；
图2是本发明数据丢失处理方法的较佳实施例中SDK初始化的流程示意图；
图3是本发明数据丢失处理方法的较佳实施例中数据发送的流程示意图；
图4为本发明智能终端的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明较佳实施例所述的数据丢失处理方法，如图1所示，所述数据丢失处理方法包括以下步骤：
步骤S10、智能终端上的 APK集成SDK进行数据采集，当所述SDK初始化时，采集智能终端ID、APKID、以及APK生命周期 ID。
具体地，ID（Identity document，身份证标识号、账号、唯一编码）即具有一定识别意义的字段，在某种意义上具有唯一性。三个ID字段分别是智能终端ID，能够唯一确认智能终端的字段；APKID能够唯一确认设备上的某个APK；生命周期ID（APK生命周期ID用于避免APK卸载重装从而导致计数器清零的问题）用来唯一确认APK在设备上的生命周期，即同一个APK在同一个设备上安装后卸载，然后再安装，会有两个生命周期ID。
步骤S20、通过所述APK在内部逻辑的不同节点设置触发器，当特定事件发生时触发数据采集，并将采集到的数据传送给所述SDK进行处理。
具体地，所述APK在内部逻辑的不同节点进行“埋桩 ”，“埋桩”的意思就是在APK内部进行的各种逻辑操作中设置触发器，比如要采集某个位置的点击数据，则在APK中该位置的点击处设置触发器，一旦有点击发生，则触发数据的采集。当特定事件发生时会触发数据采集，采集到的数据将传送给SDK，由SDK负责后续的处理逻辑；每一个节点都有自己的命名叫做“事件名称”。
其中，特定事件指的就是在一个APK中想要得到的数据，比如登录事件，特定页面的进入事件，搜索事件。
进一步地，所述SDK内部维护一组计数器，所述计数器的key值由所述智能终端ID、APKID、APK生命周期 ID和事件名称共同组成，所述计数器的数量包括采集数量和发送成功数量。
也就是说，所述SDK内部维护一组计数器，key值由智能终端ID、APKID、APK生命周期 ID和事件名称共同组成，value有两个，分别是“采集数量”和“发送成功数量 ”。
其中，计数器是键值对形式的，一个键，也就是key对应一个值。在一组数据中key具有唯一性，比如全国人口的计数器，广东->5000万，海南->400万 其中广东就是key，也就是键；5000万就是value。
步骤S30、当所述SDK收到所述APK传递的数据，根据事件名称进行缓存，更新对应的采集数量计数器，当缓存数据达到预设条件，所述SDK将数据打包和压缩，并发送到数据采集服务器。
具体地，当所述SDK收到所述APK传递的数据，首先根据事件名称进行缓存，然后更新对应的“采集数量 ”计数器，当缓存数据达到预设条件（即一定条件，例如，当数据累计到50条后，将这50条数据一次性发出去），SDK将数据打包，压缩并且发送到数据采集服务器，所述数据采集服务器是从广大终端设备采集数据的第一个统一的入口。
步骤S40、当成功将数据发送到所述数据收集服务器后，所述SDK清空已发送的数据，并且更新发送成功数量计数器。
具体地，判断所述SDK是否成功将数据发送到所述数据收集服务器；如果发送成功，所述SDK清空已发送的数据，并且更新发送成功数量计数器（即更新“发送成功数量”计数器）；如果发送失败，等待预设时间后（等待退避时间，退避时间是当一个事件失败以后，不应该立刻重试，因为失败的原因可能就是服务器压力过大或网络繁忙，所以应该等待一段时间以后再重新尝试），重新发送，直到发送成功，清空缓存，并更新发送成功数量计数器。
当发送一直不成功，有可能是因为智能终端（例如智能电视和智能手机）未联网等诸多因素，为了避免缓存持续膨胀影响APK正常运行，SDK会适当清除缓存中的数据 。
SDK的逻辑就是从APK接收触发的数据，先缓存在本地，等到了触发条件，比如累计50条，就一次将这50条都发送出去，发送成功后，就将本地的缓存清空。
进一步地，每当所述APK重新启动后，将所述计数器的数据发送到所述数据采集服务器。
步骤S50、每当所述APK重新启动后，将所述计数器的数据发送到所述数据采集服务器，根据所述数据采集服务器接收数据量、采集数据量和发送成功数据量得到所述SDK内部丢失的数据量。
具体地，所述数据采集服务器收到两类数据，一类是正常的采集数据，另一类是客户端发送过来的“计数器”数据。对于采集数据通过计数统计可以命名为“服务器接收数据量”，对于“计数器”数据，可以通过先根据智能终端ID、APKID和APK生命周期 ID分组排序，然后取数据量最大的一条，然后根据能终端ID和APKID进行分区，将计数器数据进行求和，可以得到“采集数据量”和“发送成功数据量”，根据这三个数据，可以准确的得到SDK内部丢失的数据量。
这种由SDK内部计数的方式，虽然消耗了网络流量，但是消耗较小，一般都在5%以下，另外，计数器数据和用户行为数据采用同一通道传输，省去了单独开辟数据通道的开销。
计数器数据采用的是累计的计数器方式，上传后并不清空数据，这样可以避免数据传输中的网络丢失造成检测数据的不准确。
进一步地，如图2所示，当所述SDK初始化时，判断所述SDK是否为首次初始化；当是时，生成APK生命周期 ID，并遍历各类缓存数据；当否时，直接遍历各类缓存数据；判读数据开关是否开启，当是时，上传缓存数据；当否时，删除缓存数据；判断缓存数据是否上传成功，当是时，更新发送成功计数器，并发送计数器数据；当否时，等待预设时间后，重新发送；启动完成，等待所述APK调用。
进一步地，如图3所示，接收APK数据，增加采集计数器；判断缓存是否足够，当是时，写入缓存；当否时，删除部分缓存；当达到上传条件时，发送缓存，并判断是否发送成功，当是时，删除缓存，并更新计数器；当否时，等待预设时间后重新判断是否达到上传条件。
本发明可以使用数据原有通道，以一种较少的额外负荷，计算出不同数据采集环节中在SDK内部阶段和在网络阶段丢失的数据量，同时结合智能终端ID，以及不同时间段，可以检测采集在不同架构的设备上的丢失率；本发明技术方案的优点是低功耗，不用担心数据丢失，可以计算各种远端设备采集数据，计算数据丢失率，且丢失率可以用于检测数据采集方案的能效和优化效果检测。
进一步地，如图4所示，所述智能终端还包括：处理器10、存储器20及显示器30。图4仅示出了智能终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述智能终端的内部存储单元，例如智能终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述智能终端的外部存储设备，例如所述智能终端上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器20还可以既包括所述智能终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述智能终端的应用软件及各类数据，例如所述安装智能终端的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有数据丢失处理程序40，该数据丢失处理程序40可被处理器10所执行，从而实现本申请中数据丢失处理方法。
所述处理器10在一些实施例中可以是一中央处理器（Central Processing Unit,CPU），微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述数据丢失处理方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。所述显示器30用于显示在所述智能终端的信息以及用于显示可视化的用户界面。所述智能终端的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中数据丢失处理程序40时实现以下步骤：
智能终端上的 APK集成SDK进行数据采集，当所述SDK初始化时，采集智能终端ID、APKID、以及APK生命周期 ID；
通过所述APK在内部逻辑的不同节点设置触发器，当特定事件发生时触发数据采集，并将采集到的数据传送给所述SDK进行处理；
当所述SDK收到所述APK传递的数据，根据事件名称进行缓存，更新对应的采集数量计数器，当缓存数据达到预设条件，所述SDK将数据打包和压缩，并发送到数据采集服务器；
当成功将数据发送到所述数据收集服务器后，所述SDK清空已发送的数据，并且更新发送成功数量计数器；
每当所述APK重新启动后，将所述计数器的数据发送到所述数据采集服务器，根据所述数据采集服务器接收数据量、采集数据量和发送成功数据量得到所述SDK内部丢失的数据量。
所述智能终端ID为MAC，用于确认所述智能终端；
所述APKID由APK厂商指定，用于确认所述智能终端上APK的信息；
所述APK生命周期 ID根据所述智能终端ID和初始化时间生成，用于确认所述APK在所述智能终端上的生命周期。
所述通过所述APK在内部逻辑的不同节点设置触发器，当特定事件发生时触发数据采集，并将采集到的数据传送给所述SDK进行处理之后，还包括：
所述SDK内部维护一组计数器，所述计数器的key值由所述智能终端ID、APKID、APK生命周期 ID和事件名称共同组成，所述计数器的数量包括采集数量和发送成功数量。
所述当成功将数据发送到所述数据收集服务器后，所述SDK清空已发送的数据，并且更新发送成功数量计数器具体包括：
判断所述SDK是否成功将数据发送到所述数据收集服务器；
如果发送成功，所述SDK清空已发送的数据，并且更新发送成功数量计数器；
如果发送失败，等待预设时间后，重新发送，直到发送成功，清空缓存，并更新发送成功数量计数器。
所述当成功将数据发送到所述数据收集服务器后，所述SDK清空已发送的数据，并且更新发送成功数量计数器还包括：
当发送一直不成功，所述SDK清除缓存中的数据。
所述当发送一直不成功，所述SDK清除缓存中的数据之后，还包括：
每当所述APK重新启动后，将所述计数器的数据发送到所述数据采集服务器。
所述数据丢失处理方法还包括：
当所述SDK初始化时，判断所述SDK是否为首次初始化；
当是时，生成APK生命周期 ID，并遍历各类缓存数据；
当否时，直接遍历各类缓存数据；
判读数据开关是否开启，当是时，上传缓存数据；当否时，删除缓存数据；
判断缓存数据是否上传成功，当是时，更新发送成功计数器，并发送计数器数据；当否时，等待预设时间后，重新发送；
启动完成，等待所述APK调用。
所述数据丢失处理方法还包括：
接收APK数据，增加采集计数器；
判断缓存是否足够，当是时，写入缓存；当否时，删除部分缓存；
当达到上传条件时，发送缓存，并判断是否发送成功，当是时，删除缓存，并更新计数器；当否时，等待预设时间后重新判断是否达到上传条件。
本发明还提供一种存储介质，其中，所述存储介质存储有数据丢失处理程序，所述数据丢失处理程序被处理器执行时实现如上所述的数据丢失处理方法的步骤。
综上所述，本发明提供一种数据丢失处理方法、智能终端及存储介质，所述方法包括：智能终端上的 APK集成SDK进行数据采集，当所述SDK初始化时，采集智能终端ID、APKID、以及APK生命周期 ID；通过所述APK在内部逻辑的不同节点设置触发器，当特定事件发生时触发数据采集，并将采集到的数据传送给所述SDK进行处理；当所述SDK收到所述APK传递的数据，根据事件名称进行缓存，更新对应的采集数量计数器，当缓存数据达到预设条件，所述SDK将数据打包和压缩，并发送到数据采集服务器；当成功将数据发送到所述数据收集服务器后，所述SDK清空已发送的数据，并且更新发送成功数量计数器；每当所述APK重新启动后，将所述计数器的数据发送到所述数据采集服务器，根据所述数据采集服务器接收数据量、采集数据量和发送成功数据量得到所述SDK内部丢失的数据量。本发明实现了准确的得知数据在不同的应用场景下和不同的时段数据的丢失情况。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件（如处理器，控制器等）来完成，所述的程序可存储于一计算机可读取的存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种数据丢失处理方法，其特征在于，所述数据丢失处理方法包括：
智能终端上的 APK集成SDK进行数据采集，当所述SDK初始化时，采集智能终端ID、APKID、以及APK生命周期 ID；
通过所述APK在内部逻辑的不同节点设置触发器，当特定事件发生时触发数据采集，并将采集到的数据传送给所述SDK进行处理；
当所述SDK收到所述APK传递的数据，根据事件名称进行缓存，更新对应的采集数量计数器，当缓存数据达到预设条件，所述SDK将数据打包和压缩，并发送到数据采集服务器；
当成功将数据发送到所述数据收集服务器后，所述SDK清空已发送的数据，并且更新发送成功数量计数器；
每当所述APK重新启动后，将所述计数器的数据发送到所述数据采集服务器，根据所述数据采集服务器接收数据量、采集数据量和发送成功数据量得到所述SDK内部丢失的数据量。
2.根据权利要求1所述的数据丢失处理方法，其特征在于，所述智能终端ID为MAC，用于确认所述智能终端；
所述APKID由APK厂商指定，用于确认所述智能终端上APK的信息；
所述APK生命周期 ID根据所述智能终端ID和初始化时间生成，用于确认所述APK在所述智能终端上的生命周期。
3.根据权利要求2所述的数据丢失处理方法，其特征在于，所述通过所述APK在内部逻辑的不同节点设置触发器，当特定事件发生时触发数据采集，并将采集到的数据传送给所述SDK进行处理之后，还包括：
所述SDK内部维护一组计数器，所述计数器的key值由所述智能终端ID、APKID、APK生命周期 ID和事件名称共同组成，所述计数器的数量包括采集数量和发送成功数量。
4.根据权利要求1所述的数据丢失处理方法，其特征在于，所述当成功将数据发送到所述数据收集服务器后，所述SDK清空已发送的数据，并且更新发送成功数量计数器具体包括：
判断所述SDK是否成功将数据发送到所述数据收集服务器；
如果发送成功，所述SDK清空已发送的数据，并且更新发送成功数量计数器；
如果发送失败，等待预设时间后，重新发送，直到发送成功，清空缓存，并更新发送成功数量计数器。
5.根据权利要求4所述的数据丢失处理方法，其特征在于，所述当成功将数据发送到所述数据收集服务器后，所述SDK清空已发送的数据，并且更新发送成功数量计数器还包括：
当发送一直不成功，所述SDK清除缓存中的数据。
6.根据权利要求5所述的数据丢失处理方法，其特征在于，所述当发送一直不成功，所述SDK清除缓存中的数据之后，还包括：
每当所述APK重新启动后，将所述计数器的数据发送到所述数据采集服务器。
7.根据权利要求1所述的数据丢失处理方法，其特征在于，所述数据丢失处理方法还包括：
当所述SDK初始化时，判断所述SDK是否为首次初始化；
当是时，生成APK生命周期 ID，并遍历各类缓存数据；
当否时，直接遍历各类缓存数据；
判读数据开关是否开启，当是时，上传缓存数据；当否时，删除缓存数据；
判断缓存数据是否上传成功，当是时，更新发送成功计数器，并发送计数器数据；当否时，等待预设时间后，重新发送；
启动完成，等待所述APK调用。
8.根据权利要求1所述的数据丢失处理方法，其特征在于，所述数据丢失处理方法还包括：
接收APK数据，增加采集计数器；
判断缓存是否足够，当是时，写入缓存；当否时，删除部分缓存；
当达到上传条件时，发送缓存，并判断是否发送成功，当是时，删除缓存，并更新计数器；当否时，等待预设时间后重新判断是否达到上传条件。
9.一种智能终端，其特征在于，所述智能终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据丢失处理程序，所述数据丢失处理程序被所述处理器执行时实现如权利要求1-8任一项所述的数据丢失处理方法的步骤。
10.一种存储介质，其特征在于，所述存储介质存储有数据丢失处理程序，所述数据丢失处理程序被处理器执行时实现如权利要求1-8任一项所述的数据丢失处理方法的步骤。
CN201910650679.1A 2019-07-18 2019-07-18 一种数据丢失处理方法、智能终端及存储介质 Active CN110324208B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910650679.1A CN110324208B (zh) 2019-07-18 2019-07-18 一种数据丢失处理方法、智能终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910650679.1A CN110324208B (zh) 2019-07-18 2019-07-18 一种数据丢失处理方法、智能终端及存储介质

Publications (2)

Publication Number Publication Date
CN110324208A true CN110324208A (zh) 2019-10-11
CN110324208B CN110324208B (zh) 2022-06-10

Family

ID=68123943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910650679.1A Active CN110324208B (zh) 2019-07-18 2019-07-18 一种数据丢失处理方法、智能终端及存储介质

Country Status (1)

Country Link
CN (1) CN110324208B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496012A (zh) * 2020-04-03 2021-10-12 北京梆梆安全科技有限公司 一种应用安装包的二次打包检测方法及装置
US11526491B1 (en) * 2022-02-21 2022-12-13 Clari Inc. Method and system for collecting data from data sources with commit lag to maintain data consistency in a data store

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160026819A1 (en) * 2014-07-25 2016-01-28 Fiberlink Communications Corporation Use case driven granular application and browser data loss prevention controls
CN107018046A (zh) * 2017-06-06 2017-08-04 上海鋆创信息技术有限公司 一种数据采集方法、装置、终端及存储介质
CN107103086A (zh) * 2017-04-28 2017-08-29 努比亚技术有限公司 一种数据采集审计的方法及系统、计算机可读存储介质
CN108427552A (zh) * 2018-03-01 2018-08-21 深圳市创梦天地科技有限公司 安卓应用安装包制作装置、方法、电子设备以及存储介质
CN109150668A (zh) * 2018-10-26 2019-01-04 浙江每日互动网络科技股份有限公司 一种iOS终端消息到达量的获取方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160026819A1 (en) * 2014-07-25 2016-01-28 Fiberlink Communications Corporation Use case driven granular application and browser data loss prevention controls
CN107103086A (zh) * 2017-04-28 2017-08-29 努比亚技术有限公司 一种数据采集审计的方法及系统、计算机可读存储介质
CN107018046A (zh) * 2017-06-06 2017-08-04 上海鋆创信息技术有限公司 一种数据采集方法、装置、终端及存储介质
CN108427552A (zh) * 2018-03-01 2018-08-21 深圳市创梦天地科技有限公司 安卓应用安装包制作装置、方法、电子设备以及存储介质
CN109150668A (zh) * 2018-10-26 2019-01-04 浙江每日互动网络科技股份有限公司 一种iOS终端消息到达量的获取方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496012A (zh) * 2020-04-03 2021-10-12 北京梆梆安全科技有限公司 一种应用安装包的二次打包检测方法及装置
CN113496012B (zh) * 2020-04-03 2023-11-03 北京梆梆安全科技有限公司 一种应用安装包的二次打包检测方法及装置
US11526491B1 (en) * 2022-02-21 2022-12-13 Clari Inc. Method and system for collecting data from data sources with commit lag to maintain data consistency in a data store

Also Published As

Publication number Publication date
CN110324208B (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
CN105656714B (zh) 移动设备的数据采集上报方法和装置
CN109769226A (zh) 一种物联网卡管控方法、系统、计算机设备及存储介质
CN110324208A (zh) 一种数据丢失处理方法、智能终端及存储介质
WO2013174322A1 (zh) 软件的升级方法及终端
CN112860282B (zh) 集群插件的升级方法、装置和服务器
CN104506379A (zh) 网络数据捕获方法和系统
CN106296135A (zh) 事件提醒方法、装置及终端
CN106713384A (zh) 一种车载终端外设程序远程更新方法及系统
CN109005094B (zh) 基于物联网的zigbee智能家居设备管理方法及装置
CN109842621A (zh) 一种减少token存储数量的方法及终端
CN103595566A (zh) 一种检测空闲ip地址的方法及装置
CN110691120A (zh) 一种定时任务状态检测方法、服务器及检测系统
CN101771720B (zh) 主动管理技术终端的扫描发现方法
CN109885612A (zh) 区块链智能合约的同步生效方法及装置
CN107707394A (zh) 设备远程升级方法、服务器、系统及可读存储介质
CN109753439A (zh) 基于区块链技术的任务测试方法和系统
CN102521060A (zh) 基于看门狗本地检测技术的高可用集群系统假死解决方法
CN113364857A (zh) 业务数据的处理方法、装置和服务器
CN106709392B (zh) 二维码扫描方法及移动终端
CN113971122A (zh) 一种系统卡顿检测方法、智能终端及存储介质
US7778660B2 (en) Mobile communications terminal, information transmitting system and information receiving method
CN106067857A (zh) 一种防止用户被强制下线的方法及装置
CN112463167B (zh) 一种银行账户动账通知服务系统
CN109542841A (zh) 集群中创建数据快照的方法及终端设备
CN115134352A (zh) 一种埋点数据上传方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 402760 no.1-10 Tieshan Road, Biquan street, Bishan District, Chongqing

Patentee after: Chongqing Yifang Technology Co.,Ltd.

Address before: 518057 area a, 21 / F, Konka R & D building, 28 Keji South 12 road, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: Easy city square network technology Co.,Ltd.