CN110442402A - 数据处理方法、装置、设备及存储介质 - Google Patents
数据处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110442402A CN110442402A CN201910729979.9A CN201910729979A CN110442402A CN 110442402 A CN110442402 A CN 110442402A CN 201910729979 A CN201910729979 A CN 201910729979A CN 110442402 A CN110442402 A CN 110442402A
- Authority
- CN
- China
- Prior art keywords
- state
- data
- migrated
- state machine
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 230000005540 biological transmission Effects 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 4
- 230000007704 transition Effects 0.000 description 24
- 238000005516 engineering process Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000005291 magnetic effect Effects 0.000 description 4
- 238000013508 migration Methods 0.000 description 4
- 230000005012 migration Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3604—Software analysis for verifying properties of programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/448—Execution paradigms, e.g. implementations of programming paradigms
- G06F9/4498—Finite state machines
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种数据处理方法、装置、设备及存储介质，该方法由设备执行，包括：获取本地采集数据和采集事件；基于所述采集事件和状态机确定所述状态机的待迁移状态；若所述待迁移状态满足数据发送条件，则向服务器发送所述本地采集数据，供服务器对所述本地采集数据进行分析。本发明实施例的方案通过状态机对采集事件进行分析，将满足发送条件时的采集数据发送至服务器，以实现为服务器发送所需求的精准采集数据，降低服务器的运算量和存储量。
Description
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、设备及存储介质。
背景技术
为了更好的提高用户使用应用程序的体验，应用程序服务器需要获取用户使用应用程序时的相关数据进行分析，从而完善应用程序的功能效果。
目前，供服务器进行分析的数据通常是应用程序的客户端通过其内部设置的埋点采集到的，如可以设置代码埋点、可视化埋点以及无埋点(又称全埋点)。应用程序客户端通过埋点采集到该数据后就将其发送至服务器，以使服务器进行后续数据分析操作。
但是，现有方案直接将埋点采集的数据发送至服务器进行分析，对服务器的计算量和存储量有较大的要求，尤其是通过设置最简便的无埋点采集用户在应用程序客户端的所有数据发送至服务器进行分析时，一般性能的服务器，其自带的计算量和存储量是无法实现对所有客户端发送的所有数据进行存储和分析操作。亟需改进。
发明内容
本发明实施例提供了一种数据处理方法、装置、设备及存储介质，以实现为服务器发送所需求的精准采集数据，降低服务器的运算量和存储量。
第一方面，本发明实施例提供了一种数据处理方法，由设备执行，该方法包括：
获取本地采集数据和采集事件；
基于所述采集事件和状态机确定所述状态机的待迁移状态；
若所述待迁移状态满足数据发送条件，则向服务器发送所述本地采集数据，供服务器对所述本地采集数据进行分析。
第二方面，本发明实施例还提供了一种数据处理装置，配置于设备中，该装置包括：
获取模块，用于获取本地采集数据和采集事件；
状态确定模块，用于基于所述采集事件和状态机确定所述状态机的待迁移状态；
数据发送模块，用于若所述待迁移状态满足数据发送条件，则向服务器发送所述本地采集数据，供服务器对所述本地采集数据进行分析。
第三方面，本发明实施例还提供了一种设备，该设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所述的数据处理方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的数据处理方法。
本发明实施例的技术方案，获取本地采集数据和采集事件后，先基于状态机和采集事件确定状态机的待迁移状态，当该待迁移状态满足发送条件时，才将获取的本地采集数据发送至服务器，供服务器进行分析。本发明实施例的技术方案，在获取本地采集数据后并不是直接发送至服务器，而是先通过状态机对采集事件进行分析，将满足发送条件时的采集数据发送至服务器，以实现为服务器发送所需求的精准采集数据，降低服务器的运算量和存储量。
附图说明
图1是本发明实施例一提供的一种数据处理方法的流程图；
图2是本发明实施例二提供的一种数据处理方法的流程图；
图3是本发明实施例三提供的一种数据处理方法的流程图；
图4是本发明实施例四提供的一种数据处理装置的结构框图；
图5是本发明实施例五提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种数据处理方法的流程图，本实施例可适用于对应用程序客户端采集的数据进行处理的情况，例如，可以是对应用程序客户端中埋点采集的数据发送至服务器前进行的处理。该方法可以由数据处理装置或设备来执行，该装置可以采用软件和/或硬件的方式实现，并配置于安装有应用程序客户端的设备中。可选的，本发明实施例中的设备可以是安装应用程序客户端的智能设备，如可以是智能手机、平板电脑、笔记本电脑、车载终端以及可穿戴设备等。
可选的，如图1所示，该方法具体包括如下步骤：
S101，获取本地采集数据和采集事件。
其中，本地采集数据可以是设备上安装的应用程序客户端本地采集的用户使用该应用程序时的行为数据，例如，可以包括但不限于：用户的浏览数据、登录数据、输入数据等等。该数据可以后续用来协助应用程序的服务器进一步优化产品，或是提供运营的数据支撑，例如，服务器可以根据用户的浏览数据，分析用户的喜好，进而通过客户端向用户推荐其喜好的内容。采集事件可以是本地采集数据所属的事件，例如，本地采集数据为用户浏览推送广告的浏览数据，则采集事件可以是用户点击打开推送广告的链接。可选的，该采集事件可以是根据服务器需要分析的数据需求而预先设置的，可以是服务器设置好后直接发送至应用程序客户端的，也可以是服务器向应用程序客户端发送数据需求后，客户端根据服务器的数据需求，确定出该数据需求对应的采集事件。
可选的，本发明实施例的本地采集数据可以是基于面向切面编程(AspectOriented Programming，AOP)技术在检测到用户触发采集事件时，采用钩子(hook)函数在本地获取的与所述采集事件关联的数据。其中，AOP技术可以是通过预编译方式和运行期动态代理实现程序功能的统一维护的一种技术，本实施例中的数据采集模块可以是基于该AOP技术在应用程序编译或运行期写入到应用程序的程序代码中。采用AOP技术可以对应用程序的业务逻辑的各个部分进行隔离(如对于一个应用程序来说，可以采用AOP技术，将应用程序内部的日志类业务、授权类业务、安全类业务以及性能类业务进行隔离)，从而使得业务逻辑各部分之间的耦合度降低，提高程序的可重用性。同时也提高了应用程序的开发效率。可选的，由于AOP技术基于钩子函数获取的是应用程序提供的基础类方法(如生命周期方法、系统类的Delegate方法以及自定义基类(实现应用程序本地数据采集的过程中，很多类都继承于该自定义基类)的方法等)对应的数据。由于获取逻辑层级数据的基础类方法不通用，所以对于应用程序来说，采用钩子函数获取的通常是物理层级的基础类方法对应的数据，基本上不获取逻辑层的数据。所以本发明实施例中的本地采集数据默认为物理层级的基础类方法对应的数据。
可选的，本发明实施例中，应用程序客户端内部可以专门设置一个数据采集模块，该数据采集模块在应用程序启动后，就开始实时监听用户是否在应用程序客户端上触发了预设的采集事件，若触发了，则获取该采集事件对应的用户在客户端本地的行为数据，作为该采集事件对应的本地采集数据。数据采集模块在采集到本地采集数据后，会将采集到的本地采集数据以及监听到的采集事件传输至应用程序客户端内的数据处理模块，由数据处理模块基于本地采集数据和采集事件，进行后续数据处理操作。
可选的，由于目前采集用户行为数据的模块通常采用的是埋点模块，该埋点模块通过在应用程序特定流程设置埋点，来跟踪收集特定流程下对应的数据。相比于设置代码埋点和可视化埋点，设置无埋点(又称全埋点)操作简单且成本低，所以在采用埋点模块采集本地数据时，常选择的是无埋点方式对应的无埋点模块。但不限于仅能为无埋点模块，还可以是其他可以获取用户行为数据的模块，例如，可以是代码埋点模块、可视化埋点模块或其他非埋点数据采集模块等。对此本实施例不进行限定。具体的，当数据采集模块为无埋点模块时，该无埋点模块可以通过在应用程序客户端内所有流程下的设置的全埋点，监听到采集事件时，通过钩子函数勾取该应用程序的本地采集数据，然后将采集到的本地采集数据和监听到的采集事件传输至数据处理模块，以使数据处理模块进一步判断是否将本次采集的本地采集数据发送至服务器。
S102，基于采集事件和状态机确定状态机的待迁移状态。
其中，本发明实施例的状态机(又称自动机)可以是有限状态机(如可以是Mwanly型的有限状态机)，该有限状态机可以是由有限个状态组成的计算机模型，每一个状态可以由输入数据决定迁移到零个或多个状态。
可选的，在本发明实施例中，数据处理模块在获取到数据采集模块发送的本地采集数据和采集事件后，将采集事件作为输入数据输入到状态机中，然后状态机就会基于输入的采集事件以及该状态机的状态转换表，确定出该状态机的当前状态对应的下一待迁移状态。可选的，对于每一个状态机来说都有其对应的状态转换表，该状态转换表可以是预先与服务器交互获取的，其中包括状态转移条件、状态机的所有状态。如表1所示的状态转换表，第一列表示该状态转换表所包括的所有状态转移条件、第一行表示状态机的所有状态。中间各格代表其所在列的状态机状态在其所在行的状态转移条件下对应的待转移状态。
表1状态机的状态转换表
在本步骤中，对于状态机而言，并不是所有的采集事件都对应其内部的状态转移条件，例如，若微信应用程序客户端内的状态机的状态转移条件是与浏览朋友圈相关的状态转移条件，此时若采集事件为支付事件，则此时该采集事件就与该状态机内部的状态转移条件无关。此时就无需基于该采集事件进行后续处理。所以本步骤基于采集事件和状态机确定该状态机的待迁移状态时，可以是先判断采集事件在该状态机(即在状态机的状态转换表的所有状态转移条件)中，是否有匹配的状态转移条件，若所述采集事件在所述状态机中有匹配的状态转移条件，则根据所述匹配的状态转移条件和所述状态机的当前状态，确定所述状态机的待迁移状态。具体的，若采集事件在状态机中有匹配的状态转移条件，则状态机会基于该状态转移条件，查找状态机的当前状态在该状态转移条件下对应的待迁移状态，例如，若采集事件与表1中的状态转移条件1匹配，且状态机的当前状态为状态A，则可以确定出，状态机的待迁移状态为状态B。
可选的，状态机的状态转换表中的状态转换条件也可以是各种采集状态，此时判断采集事件在状态机中是否有匹配的状态转移条件时，可以是判断采集事件在状态机的状态转移表中是否有匹配的采集事件。
可选的，本发明实施例中应用程序客户端内可以设置多个状态机，此时数据处理模块在获取到本地采集数据和采集事件后，会将采集到的本地采集数据和采集事件分发给所有的状态机，对于每个状态机执行本步骤的操作，确定出各状态机的待迁移状态。
S103，若待迁移状态满足数据发送条件，则向服务器发送本地采集数据，供服务器对本地采集数据进行分析。
可选的，在本步骤中，待迁移状态满足数据发送条件可以是所述待迁移状态为所述状态机的预设发送状态，该预设发送状态可以是状态转换表中的一个状态，例如，可以是表1中的状态D。具体的，对于每一个状态机而言，都有其对应的预设发送状态，当状态机的状态迁移到该预设发送状态时，就会触发将本地采集数据发发送至服务器，例如，若S102中确定出的状态机的待迁移状态为状态D，且状态D就是该状态机的预设发送状态，则此时可以通过应用程序客户端内的通信模块与服务器进行交互，向服务器发送获取的本地采集数据。服务器在接收到该本地采集数据后，会对该本地采集数据进行分析，具体的，可以通过该本地采集数据分析用户的喜好，进一步优化该应用程序的功能；还可以是通过该本地采集数据获取应用程序的故障原因(如分析应用程序的闪退问题是由用户哪一步操作引起的)；还可以是提供运营数据的支撑(如通过采集用户浏览广告的数据，来为广告费用的收取提供数据支撑)等。
可选的，由于服务器不同时期，想要获取的本地采集数据的数据类型是不一样的，例如，若用户想要分析应用程序的存在的问题时，问题不同，所要获取的本地采集数据就不同。所以，在本发明实施例应用程序客户端内部的状态机并不是固定不变的，而是根据服务器所需数据的不同而适应性的调整。应用程序客户端可以是在检测到应用程序启动和/或状态机更新事件时，从服务器获取最新配置的状态机。其中，状态机更新事件可以是服务器向应用程序客户端发送的状态机更新通知消息事件。具体的，应用程序客户端可以是在每次启动后，通过其内部的通信模块与服务器进行交互，从服务器获取最新配置的状态机然后自动安装在应用程序客户端内；也可以是服务器在更新了状态机后，会向其所管理的各应用程序客户端发送状态机更新通知消息，当应用程序客户端检测到服务器发送的状态机更新通知消息时，通过其内部的通信模块与服务器进行交互，获取更新后的状态机然后安装在应用程序客户端内；还可以是将上述两种方式结合。对此不进行限定。可选的，在检测到状态机更新通知消息后，通信模块与服务器进行交互获取的也可能是客户端内部某一状态机的停用消息，此时可以是将该状态机进行卸载删除。可选的，应用程序客户端的通信模块从服务器获取并安装的最新配置的状态机可以是状态机的状态转换表。
本发明实施例的数据处理方法，获取本地采集数据和采集事件后，先基于状态机和采集事件确定状态机的待迁移状态，当该待迁移状态满足发送条件时，才将获取的本地采集数据发送至服务器，供服务器进行分析。本发明实施例的技术方案，在获取本地采集数据后并不是直接发送至服务器，而是先通过状态机对采集事件进行分析，将满足发送条件时的采集数据发送至服务器，以实现为服务器发送所需求的精准采集数据，降低服务器的运算量和存储量。
实施例二
图2为本发明实施例二提供的一种数据处理方法的流程图。本实施例在上述实施例的基础上，进行了进一步的优化，具体给出了如何基于采集事件和状态机确定状态机的待迁移状态，以及执行状态机状态迁移的具体情况介绍。
具体的，如图2所示，本发明实施例的数据处理方法具体包括：
S201，当检测到应用程序启动和/或状态机更新事件，则从服务器获取最新配置的状态机。
可选的，应用程序客户端在启动和/或检测到状态机更新事件后，可以通过通信模块会与服务器进行交互，从服务器拉取所有的或者最新配置的状态机安装在应用程序客户端内，如可以是从服务器获取状态机的状态转换表，存储在应用程序客户端内。
可选的，应用程序客户端每次启动后，数据处理模块就会将各状态机进行初始化操作，如将各状态机的当前状态设置为该状态机的预设初始状态，然后等待数据采集模块发送的本地采集数据和采集事件。其中，状态机的预设初始状态可以是预先设置的，如可以是用户登录状态。通常情况下，该预设初始状态为状态转换表中的第一个状态，如表1中的状态转换表中的预设初始状态可以为状态A。
S202，获取本地采集数据和采集事件。
可选的，当应用程序客户端的数据采集模块基于AOP技术检测到用户触发采集事件时，采用钩子函数在本地获取与所述采集事件关联的本地采集数据后，数据采集模块就会将采集到的本地采集数据和采集事件传输至应用程序客户端内的数据处理模块，此时数据处理模块获取本地采集数据和采集事件。
S203，判断采集事件在状态机中是否有匹配的状态转移条件，若是，则执行S204，若否，则返回重新等待执行S202。
可选的，数据处理模块在获取到本地采集数据和采集事件后，将该采集数据分发至应用程序的所有状态机，并行或串行基于每一个状态机都判断该采集事件在该状态机中是否有匹配的状态转移条件，若有，则执行S204，确定该状态机的待迁移状态；若没有，则返回S202，重新等待获取数据采集模块下一次传输的本地采集数据和采集事件。
示例性的，假设表1为应用程序客户端内的某一状态机的状态转换表，且S202获取的采集事件为事件1，则此时若事件1与该状态转换表中的状态转换条件1匹配，则执行S204，确定该状态机的待迁移状态，若事件1与状态转换表中的两个状态转换条件都不匹配，则不进行后续处理，返回执行S202，等待获取数据采集模块下一次传输的本地采集数据和采集事件。
S204，若采集事件在状态机中有匹配的状态转移条件，则根据匹配的状态转移条件和状态机的当前状态，确定状态机的待迁移状态。
可选的，对于应用程序客户端内的每一个状态机，只要采集事件在该状态机中有匹配的状态转移条件，就执行本步骤的操作确定该状态机的待迁移状态。示例性的，若采集事件(即事件1)与表1中的状态转移条件1匹配，且当前状态为状态机的预设初始状态A，则通过表1可以确定第二行第二列所在位置的状态B为该状态机的待迁移状态。
S205，判断待迁移状态是否满足数据发送条件，若是，则执行S206，若否，则执行S208。
可选的，对于应用程序客户端内的每一个状态机，当其确定出待迁移状态后，需要判断S204确定出的待迁移状态是否为该状态机的预设发送状态，若是，则执行S206，可以向服务器发送本次获取的本地采集数据，若否，则执行S208执行状态机的状态迁移操作。
示例性的，假设表1对应的状态机的预设发送状态为状态D，若S204确定出的待迁移状态为状态B，此时待迁移状态B不满足数据发送条件，此时执行S208，将状态机的当前状态从状态A迁移至状态B。若S204确定出的待迁移状态为状态D，此时待迁移状态D满足数据发送条件，此时执行S206向服务器发送事件1对应的本地采集数据。
S206，若待迁移状态满足数据发送条件，则向服务器发送本地采集数据，供服务器对本地采集数据进行分析。
S207，若待迁移状态满足数据发送条件，则将状态机的当前状态迁移至状态机的预设初始状态。
可选的，状态机的当前状态是根据输入的事件实时更新变化的，所以无论待迁移状态是否满足数据发送条件，都需要对状态机的当前状态进行迁移更新。具体的，当待迁移状态满足数据发送条件时，说明状态机的一个状态周期(即表1中从状态A到状态D)已经结束，此时需要将状态机的当前状态重新迁移至该状态机的预设初始状态，等待新一状态周期的状态迁移。
示例性的，若S205确定出的待迁移状态D满足了数据发送条件，则此时将该状态机的当前状态C迁移至为表1中的预设初始状态A。
S208，若待迁移状态不满足数据发送条件，则将状态机的当前状态迁移至待迁移状态。
可选的，当待迁移状态不满足数据发送条件时，此时只需执行将状态机的当前状态迁移至待迁移状态，状态迁移操作执行完后，返回重新等待执行S202的操作。示例性的，若S205确定出的待迁移状态B不满足数据发送条件，则此时将该状态机的当前状态A迁移待迁移状态B，然后返回重新等待执行S202的操作，当S202再次获取本地采集数据和采集事件后，此时基于采集事件和状态机确定待迁移状态时所需的当前状态就为状态B。
需要说明的是，当应用程序客户端内有多个状态机时，多个状态机之间是独立工作的，各状态机的待迁移状态确定、状态迁移以及数据发送的过程都是独立的，相互之间不受影响。此外，在本步骤中S206和S207的操作没有先后顺序之分，可以按照本实施例的顺序，先执行S206，再执行S207；也可以是先执行S207，再执行S206；还可以是同时执行S206和S207的操作。
本发明实施例的数据处理方法，当检测到应用程序启动和/或状态更新事件时，从服务器获取最新配置的状态机，等待获取本地采集数据和采集事件，获取后若判断采集事件匹配状态机的某一状态转移条件，则根据该状态转移条件和状态机的当前状态，确定状态机的待迁移状态，若待迁移状态满足发送条件，则向服务器发送本地采集数据，以及将状态机的当前状态迁移至预设初始状态；否则不向服务器发送本地采集数据，只将状态机的当前状态迁移至待迁移状态。本发明实施例的技术方案，在获取本地采集数据后并不是直接发送至服务器，而是先通采集事件、状态转移条件以及当前状态确定出待迁移状态，进而判断是否将本次采集数据发送至服务器，通过多次筛选实现为服务器发送所需求的精准采集数据，对于不需要的数据在应用程序客户端中就进行了滤除，以降低服务器的运算量和存储量。尤其是对于应用程序客户端中的全埋点采集的数据，能够从大量的数据中快速定位出所需的数据发送至服务器。相比于将全埋点采集的所有数据都发送至服务器，极大的降低网络负载，且降低了服务器的计算量和存储量。
实施例三
图3为本发明实施例三提供的一种数据处理方法的流程图，本实施例在上述实施例的基础上，进行了进一步的优化，增加了对本地采集数据进行业务需求计算的具体情况介绍。具体的，如图3所示，本发明实施例的数据处理方法具体包括：
S301，当检测到应用程序启动和/或状态机更新事件，则从服务器获取最新配置的状态机。
S302，获取本地采集数据和采集事件。
其中，本地采集数据可以是基于面向切面编程技术在检测到用户触发采集事件时，采用钩子函数在本地获取的与所述采集事件关联的数据。
S303，基于采集事件和状态机确定状态机的待迁移状态。
可选的，在步骤确定状态机的待迁移状态后，若该待迁移状态满足数据发送条件，将状态机的当前状态迁移至状态机的预设初始状态；否则将状态机的当前状态迁移至待迁移状态。
S304，若待迁移状态满足数据发送条件，则根据本地采集数据，进行业务需求计算。
其中，业务需求计算可以是指针对获取的本地采集数据，进行一些业务上的逻辑运算来弥补数据采集模块无法获取逻辑层数据的缺陷。例如，若业务需求是判断用户对什么广告感兴趣，则此时业务需求计算可以是计算用户浏览的广告类型；若业务需求是跟踪用户使用该应用程序的时间段，则此时业务需求计算可以是统计本地采集数据采集时间。可选的，本发明实施例中的业务需求计算方法可以是应用程序客户端在从服务器中获取最新配置的状态机时一并获取的，例如，最新配置的状态机中除了包括状态机的状态转换表外，还包括需要进行业务需求计算的相关算法。本地采集数据中可以包括但不限于数据的采集时间、数据的具体内容等。例如，若采集事件为用户点开某一网页，则此时本地采集数据可以包括打开网页的时间、网页包含的具体内容、用户信息等。
可选的，本步骤中，若待迁移状态满足数据发送条件，则基于用服务器获取的需要进行业务需求计算的算法，对本地采集数据进行相关计算，如可以是调用业务需求计算的相关程序代码，将本地采集数据作为输入参数，然后运行该程序代码，即可得到业务需求计算结果。示例性的，若业务需求计算是计算用户浏览广告的类型，则可以将本地采集数据输入确定广告类型业务需求的相关程序代码中，该程序代码会对采集数据中包含的数据具体内容进行分析，从容确定出该采集数据对应的广告类型；若业务计算是计算用户使用应用程序客户端的时间段，则可以是将本地采集数据输入确定使用时间的业务需求计算的相关程序代码中，该程序代码就会从采集数据中提取数据采集时间作为用户使用应用程序的时间。
可选的，本步骤进行业务需求计算时，可以只根据本次获取的本地采集数据完成本次的业务需求计算，如上述对广告类型的确定，以及用户使用应用程序时间的确定。但是有时在进行业务需求计算时，还需要使用到上一次采集事件对应的本地采集数据，例如若计算用户在某一页面的浏览时长，则需要通过相邻两次(本次和上一次)采集事件对应的两次本地采集数据的采集时间的差值来确定。所以，本发明实施例中，对于获取的本地采集数据和采集事件，如果采集事件在状态机中有匹配的状态转移条件，则无论是否将其发送至服务器，可以先不立刻删除，而是等待一段预设时间后再进行删除；或者是将本地采集数据和采集事件按照队列的形式存储于缓存空间中，当缓存空间已满时，再按照先进先出的原则删除最早存入的数据。从而保证在实现业务需求计算的同时，尽可能小的占用设备的内存。
S305，向服务器发送本地采集数据和业务需求计算结果，供服务器进行分析。
可选的，由于根据本次获取的采集事件确定出的待迁移状态满足数据发送条件，所以在S304对本地采集数据进行业务需求计算后，可以将业务需求计算结果和本次获取的本地采集数据一并发送至服务器，还可以是业务需求计算结果发送至服务器。此时服务器无需对获取的本地采集数据进行业务需求计算，可直接使用该业务需求计算结果，极大的降低了服务器的计算量。
本发明实施例的数据处理方法，当检测到应用程序启动和/或状态更新事件时，从服务器获取最新配置的状态机，等待获取本地采集数据和采集事件，获取后先基于状态机和采集事件确定状态机的待迁移状态是否满足发送条件，如果满足，可以根据本地采集数据进行业务需求计算，然后将本地采集数据和业务需求计算结果一并发送至服务器，供服务器进行分析。本发明实施例的技术方案，在向服务器发送本地采集数据之前，先按照服务器的业务需求，替服务器分担了一部分的计算，将计算结果发送至服务器，从而在减少向服务器发送数据量的基础上，还替代服务器进行了一部分的逻辑运算，进一步降低了服务器的运算量。
实施例四
图4为本发明实施例四提供的一种数据处理装置的结构框图，该装置可以配置于安装有应用程序客户端的设备中。该装置可执行本发明上述任意实施例所提供的数据处理方法，具体执行方法相应的功能模块和有益效果。如图4所示，该装置包括：
获取模块401，用于获取本地采集数据和采集事件；
状态确定模块402，用于基于所述采集事件和状态机确定所述状态机的待迁移状态；
数据发送模块403，用于若所述待迁移状态满足数据发送条件，则向服务器发送所述本地采集数据，供服务器对所述本地采集数据进行分析。
本发明实施例的数据处理装置，获取本地采集数据和采集事件后，先基于状态机和采集事件确定状态机的待迁移状态，当该待迁移状态满足发送条件时，才将获取的本地采集数据发送至服务器，供服务器进行分析。本发明实施例的技术方案，在获取本地采集数据后并不是直接发送至服务器，而是先通过状态机对采集事件进行分析，将满足发送条件时的采集数据发送至服务器，以实现为服务器发送所需求的精准采集数据，降低服务器的运算量和存储量。
进一步的，所述状态确定模块402具体用于：
若所述采集事件在所述状态机中有匹配的状态转移条件，则根据所述匹配的状态转移条件和所述状态机的当前状态，确定所述状态机的待迁移状态。
进一步的，上述装置还包括发送条件判断模块，所述发送条件判断模块确定所述待迁移状态满足数据发送条件包括：
所述待迁移状态为所述状态机的预设发送状态。
进一步的，上述装置还包括状态迁移模块，具体用于：
若所述待迁移状态满足数据发送条件，则将所述状态机的当前状态迁移至所述状态机的预设初始状态；
若所述待迁移状态不满足数据发送条件，则将所述状态机的当前状态迁移至所述待迁移状态。
进一步的，上述装置还包括：
业务计算模块，用于若所述待迁移状态满足数据发送条件，则根据本地采集数据，进行业务需求计算；
相应的，所述数据发送模块403具体用于：向服务器发送所述本地采集数据和业务需求计算结果。
进一步的，上述装置还包括:
状态机配置模块，用于当检测到应用程序启动和/或状态机更新事件，则从服务器获取最新配置的状态机。
进一步的，上述装置中，所述本地采集数据是基于面向切面编程技术在检测到用户触发采集事件时，采用钩子函数在本地获取的与所述采集事件关联的数据。
实施例五
图5为本发明实施例五提供的一种设备的结构示意图，图5示出了适于用来实现本发明实施例实施方式的示例性设备的框图。图5显示的设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。该设备典型可以是智能手机、平板电脑、笔记本电脑、车载终端以及可穿戴设备等。
如图5所示，设备500以通用计算设备的形式表现。设备500的组件可以包括但不限于：一个或者多个处理器或者处理单元516，存储器528，连接不同系统组件(包括存储器528和处理单元516)的总线518。
总线518表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
设备500典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备500访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器528可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)530和/或高速缓存存储器532。设备500可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统534可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线518相连。存储器528可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明实施例各实施例的功能。
具有一组(至少一个)程序模块542的程序/实用工具540，可以存储在例如存储器528中，这样的程序模块542包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块542通常执行本发明实施例所描述的实施例中的功能和/或方法。
设备500也可以与一个或多个外部设备514(例如键盘、指向设备、显示器524等)通信，还可与一个或者多个使得用户能与该设备500交互的设备通信，和/或与使得该设备500能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口522进行。并且，设备500还可以通过网络适配器520与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图5所示，网络适配器520通过总线518与设备500的其它模块通信。应当明白，尽管图5中未示出，可以结合设备500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元516通过运行存储在存储器528中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任一实施例所提供的数据处理方法。
实施例六
本发明实施例六还提供一种计算机可读存储介质，其上存储有计算机程序(或称为计算机可执行指令)，该程序被处理器执行时可以用于执行本发明上述任一实施例所提供的数据处理方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明实施例进行了较为详细的说明，但是本发明实施例不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种数据处理方法，其特征在于，由设备执行，所述方法包括：
获取本地采集数据和采集事件；
基于所述采集事件和状态机确定所述状态机的待迁移状态；
若所述待迁移状态满足数据发送条件，则向服务器发送所述本地采集数据，供服务器对所述本地采集数据进行分析。
2.根据权利要求1所述的方法，其特征在于，基于所述采集事件和状态机确定所述状态机的待迁移状态，包括：
若所述采集事件在所述状态机中有匹配的状态转移条件，则根据所述匹配的状态转移条件和所述状态机的当前状态，确定所述状态机的待迁移状态。
3.根据权利要求1所述的方法，其特征在于，所述待迁移状态满足数据发送条件，包括：
所述待迁移状态为所述状态机的预设发送状态。
4.根据权利要求1所述的方法，其特征在于，基于所述采集事件和状态机确定所述状态机的待迁移状态之后，还包括：
若所述待迁移状态满足数据发送条件，则将所述状态机的当前状态迁移至所述状态机的预设初始状态；
若所述待迁移状态不满足数据发送条件，则将所述状态机的当前状态迁移至所述待迁移状态。
5.根据权利要求1所述的方法，其特征在于，基于所述采集事件和状态机确定所述状态机的待迁移状态之后，还包括：
若所述待迁移状态满足数据发送条件，则根据本地采集数据，进行业务需求计算；
相应的，向服务器发送所述本地采集数据，包括：
向服务器发送所述本地采集数据和业务需求计算结果。
6.根据权利要求1-5中任一所述的方法，其特征在于，在获取本地采集数据和采集事件之前，还包括：
当检测到应用程序启动和/或状态机更新事件，则从服务器获取最新配置的状态机。
7.根据权利要求1-5中任一所述的方法，其特征在于：所述本地采集数据是基于面向切面编程技术在检测到用户触发采集事件时，采用钩子函数在本地获取的与所述采集事件关联的数据。
8.一种数据处理装置，其特征在于，配置于设备中，所述装置包括：
获取模块，用于获取本地采集数据和采集事件；
状态确定模块，用于基于所述采集事件和状态机确定所述状态机的待迁移状态；
数据发送模块，用于若所述待迁移状态满足数据发送条件，则向服务器发送所述本地采集数据，供服务器对所述本地采集数据进行分析。
9.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的数据处理方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910729979.9A CN110442402A (zh) | 2019-08-08 | 2019-08-08 | 数据处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910729979.9A CN110442402A (zh) | 2019-08-08 | 2019-08-08 | 数据处理方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110442402A true CN110442402A (zh) | 2019-11-12 |
Family
ID=68433879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910729979.9A Pending CN110442402A (zh) | 2019-08-08 | 2019-08-08 | 数据处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110442402A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111338609A (zh) * | 2020-03-02 | 2020-06-26 | 广州市百果园信息技术有限公司 | 信息获取方法、装置、存储介质及终端 |
| CN111352849A (zh) * | 2020-03-13 | 2020-06-30 | 杭州趣维科技有限公司 | 一种移动端无码埋点解决方法 |
| CN111913660A (zh) * | 2020-07-15 | 2020-11-10 | 郑州阿帕斯数云信息科技有限公司 | 打点数据处理方法和系统 |
| CN112162798A (zh) * | 2020-09-17 | 2021-01-01 | 中国建设银行股份有限公司 | 状态机执行方法、系统、装置、计算机设备及存储介质 |
| CN112711476A (zh) * | 2021-03-29 | 2021-04-27 | 统信软件技术有限公司 | 一种计算机运行状态管理方法、计算设备及存储介质 |
| CN114328102A (zh) * | 2021-12-24 | 2022-04-12 | 浪潮(北京)电子信息产业有限公司 | 设备状态监控方法、装置、设备及计算机可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9766927B1 (en) * | 2015-10-06 | 2017-09-19 | Amazon Technologies, Inc. | Data flow management in processing workflows |
| CN108108286A (zh) * | 2018-01-03 | 2018-06-01 | 上海众人网络安全技术有限公司 | 数据收集方法和装置、服务器、存储介质 |
| CN108134838A (zh) * | 2017-12-27 | 2018-06-08 | 广东欧珀移动通信有限公司 | 数据上报方法、装置、移动终端及计算机可读介质 |
-
2019
- 2019-08-08 CN CN201910729979.9A patent/CN110442402A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9766927B1 (en) * | 2015-10-06 | 2017-09-19 | Amazon Technologies, Inc. | Data flow management in processing workflows |
| CN108134838A (zh) * | 2017-12-27 | 2018-06-08 | 广东欧珀移动通信有限公司 | 数据上报方法、装置、移动终端及计算机可读介质 |
| CN108108286A (zh) * | 2018-01-03 | 2018-06-01 | 上海众人网络安全技术有限公司 | 数据收集方法和装置、服务器、存储介质 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111338609A (zh) * | 2020-03-02 | 2020-06-26 | 广州市百果园信息技术有限公司 | 信息获取方法、装置、存储介质及终端 |
| CN111352849A (zh) * | 2020-03-13 | 2020-06-30 | 杭州趣维科技有限公司 | 一种移动端无码埋点解决方法 |
| CN111352849B (zh) * | 2020-03-13 | 2023-05-16 | 杭州趣维科技有限公司 | 一种移动端无码埋点解决方法 |
| CN111913660A (zh) * | 2020-07-15 | 2020-11-10 | 郑州阿帕斯数云信息科技有限公司 | 打点数据处理方法和系统 |
| CN111913660B (zh) * | 2020-07-15 | 2022-11-18 | 郑州阿帕斯数云信息科技有限公司 | 打点数据处理方法和系统 |
| CN112162798A (zh) * | 2020-09-17 | 2021-01-01 | 中国建设银行股份有限公司 | 状态机执行方法、系统、装置、计算机设备及存储介质 |
| CN112711476A (zh) * | 2021-03-29 | 2021-04-27 | 统信软件技术有限公司 | 一种计算机运行状态管理方法、计算设备及存储介质 |
| CN114328102A (zh) * | 2021-12-24 | 2022-04-12 | 浪潮(北京)电子信息产业有限公司 | 设备状态监控方法、装置、设备及计算机可读存储介质 |
| CN114328102B (zh) * | 2021-12-24 | 2024-02-09 | 浪潮(北京)电子信息产业有限公司 | 设备状态监控方法、装置、设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110442402A (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN111367187B (zh) | 用于改进对分布式网络中的传感器流数据的处理的方法 | |
| CN107122379B (zh) | 收集与本地存储的数据文件相关联的事务数据 | |
| KR102294326B1 (ko) | 연결 해제의 기간을 위한 애플리케이션 데이터의 프리페치 | |
| CN109491653A (zh) | 微服务架构下的组件共享方法、装置、电子设备 | |
| CN110083455B (zh) | 图计算处理方法、装置、介质及电子设备 | |
| US10976904B2 (en) | Graphical chatbot interface facilitating user-chatbot interaction | |
| CN104142856A (zh) | 服务程序调用方法、系统及其智能设备 | |
| CN107370806A (zh) | Http状态码监控方法、装置、存储介质和电子设备 | |
| US11568242B2 (en) | Optimization framework for real-time rendering of media using machine learning techniques | |
| CN110321544B (zh) | 用于生成信息的方法和装置 | |
| CN109951553B (zh) | 数据处理方法、系统、电子设备以及计算机可读存储介质 | |
| US10169131B2 (en) | Determining a trace of a system dump | |
| CN109672722B (zh) | 数据部署方法及装置、计算机存储介质和电子设备 | |
| CN111651524B (zh) | 利用机器学习模型进行线上预测的辅助实现方法及装置 | |
| CN111209173A (zh) | 一种性别预测方法、装置、存储介质、以及电子设备 | |
| CN112507259A (zh) | 网页加载方法及装置、电子设备、存储介质 | |
| US10649752B2 (en) | Sharing data and applications across computing systems | |
| CN112445473A (zh) | 客户端布局方法与装置、存储介质、电子设备 | |
| JP2021513137A (ja) | 階層型ストレージ管理システムにおけるデータ・マイグレーション | |
| CN113141407B (zh) | 一种页面资源加载方法、装置和电子设备 | |
| CN111681093B (zh) | 一种展示资源页面的方法、装置和电子设备 | |
| US20220122038A1 (en) | Process Version Control for Business Process Management | |
| CN114756301A (zh) | 日志处理方法、装置和系统 | |
| CN114189750A (zh) | 一种多格式文件的播放方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220915 Address after: 25 Financial Street, Xicheng District, Beijing 100033 Applicant after: CHINA CONSTRUCTION BANK Corp. Address before: 25 Financial Street, Xicheng District, Beijing 100033 Applicant before: CHINA CONSTRUCTION BANK Corp. Applicant before: Jianxin Financial Science and Technology Co.,Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191112 |