CN113760587A - 一种处理数据的方法和装置 - Google Patents
一种处理数据的方法和装置 Download PDFInfo
- Publication number
- CN113760587A CN113760587A CN202011008422.5A CN202011008422A CN113760587A CN 113760587 A CN113760587 A CN 113760587A CN 202011008422 A CN202011008422 A CN 202011008422A CN 113760587 A CN113760587 A CN 113760587A
- Authority
- CN
- China
- Prior art keywords
- user behavior
- data set
- local data
- behavior data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012545 processing Methods 0.000 title claims abstract description 57
- 230000002159 abnormal effect Effects 0.000 claims abstract description 40
- 238000012217 deletion Methods 0.000 claims description 36
- 230000037430 deletion Effects 0.000 claims description 36
- 230000005540 biological transmission Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 11
- 239000000126 substance Substances 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 5
- 230000006399 behavior Effects 0.000 description 172
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000013524 data verification Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
- G06F11/0709—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种处理数据的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：能够在存储采集的用户行为数据发生异常时执行对应的容错操作，并将存储异常期间采集的用户行为数据直接发送给服务器，克服了由于存储数据异常造成的用户行为数据丢失的缺陷；同时在删除数据异常时执行对应的容错操作，并将在异常发生期间所采集的用户行为数据直接发送给服务器，解决了删除失败的用户行为数据重复发送的问题，减少了无效数据的数量，降低了用户行为数据的丢失率。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种处理数据的方法和装置。
背景技术
在互联网应用投入运营后，往往需要获取用户行为数据来评估应用的运营情况，通常在应用代码中添加用于采集用户行为数据的模块，该数据采集模块通常将采集的数据缓存在本地数据库中，根据定时或者定量的规则发送本地数据库中的数据到服务器，由服务器做进一步的数据分析。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
当将采集的用户行为数据存储到本地时，如果打开数据库文件或者写入数据库文件失败，会导致待存储的用户行为数据丢失；另外，在发送用户行为数据到服务端以后，需要从本地数据库删除已经发送的数据，当删除操作异常时，导致删除失败的数据重复发送到服务器，从而产生无效数据，同时也造成本地存储空间占满和无法接收新的用户行为数据的问题。
发明内容
有鉴于此，本发明实施例提供一种处理数据的方法和装置，能够在存储采集的用户行为数据发生异常时执行对应的容错操作，并将存储异常期间采集的用户行为数据直接发送给服务器，克服了由于存储数据异常造成的用户行为数据丢失的缺陷；同时在删除数据异常时执行对应的容错操作，并将在异常发生期间所采集的用户行为数据直接发送给服务器，解决了删除失败的用户行为数据重复发送的问题，减少了无效数据的数量，降低了用户行为数据的丢失率。
为实现上述目的，根据本发明实施例的一个方面，提供了一种处理数据的方法，其特征在于，包括：采集用户行为数据，将所述用户行为数据存储至本地数据集合；根据设定发送策略，发送所述本地数据集合中存储的用户行为数据到服务端，并从本地数据集合中删除已发送的用户行为数据；若存储所述用户行为数据时发生异常，则发送所述用户行为数据到服务端；若从本地数据集合中删除所述已发送的用户行为数据时发生异常，则删除所述本地数据集合，并新建本地数据集合，发送在删除所述本地数据集合以及新建本地数据集合的期间所采集的用户行为数据到服务端。
可选地，所述处理数据的方法，其特征在于，在采集用户行为数据之前，还包括：启动应用；若在启动应用时打开所述本地数据集合失败，则删除所述本地数据集合以及新建本地数据集合。
可选地，所述处理数据的方法，其特征在于，若在启动应用时打开所述本地数据集合成功且验证所述本地数据集合中的数据失败，则删除所述本地数据集合以及新建本地数据集合。
可选地，所述处理数据的方法，其特征在于，若存储所述用户行为数据发生异常，则发送所述用户行为数据，包括：若将所述用户行为数据写入所述本地数据集合失败，则发送所述用户行为数据以及所述用户行为数据的写入失败信息到服务端。
可选地，所述处理数据的方法，其特征在于，若删除所述已发送的用户行为数据发生异常，删除所述本地数据集合以及新建本地数据集合，并发送在删除所述本地数据集合以及新建本地数据集合的期间所采集的用户行为数据到服务端，包括：若删除所述已发送的用户行为数据失败，则按照设定重试策略执行删除重试操作；当所述删除重试操作失败时，删除所述本地数据集合以及新建本地数据集合，并发送在删除所述本地数据集合以及新建本地数据集合的期间所采集的用户行为数据到服务端。
可选地，所述处理数据的方法，其特征在于，若新建所述本地数据集合失败，则发送在应用运行期间所采集的用户行为数据到服务端。
可选地，所述处理数据的方法，其特征在于，所述设定发送策略包括：所述本地数据集合所存储的所述用户行为数据的数量大于等于设定阈值，或/和按照设定周期发送所述本地数据集合所存储的所述用户行为数据到服务端。
为实现上述目的，根据本发明实施例的第二方面，提供了一种处理数据的装置，其特征在于，包括：数据采集发送模块、处理存储异常模块和处理删除异常模块；其中，
所述数据采集发送模块，用于采集用户行为数据，将所述用户行为数据存储至本地数据集合；根据设定发送策略，发送所述本地数据集合中存储的用户行为数据到服务端，并从本地数据集合中删除已发送的用户行为数据；
所述处理存储异常模块，用于若存储所述用户行为数据时发生异常，则发送所述用户行为数据到服务端；
所述处理删除异常模块，用于若从本地数据集合中删除所述已发送的用户行为数据时发生异常，则删除所述本地数据集合，并新建本地数据集合，发送在删除所述本地数据集合以及新建本地数据集合的期间所采集的用户行为数据到服务端。
可选地，所述处理数据的装置，其特征在于，在采集用户行为数据之前，还包括：启动应用；若在启动应用时打开所述本地数据集合失败，则删除所述本地数据集合以及新建本地数据集合。
可选地，所述处理数据的装置，其特征在于，若在启动应用时打开所述本地数据集合成功且验证所述本地数据集合中的数据失败，则删除所述本地数据集合以及新建本地数据集合。
可选地，所述处理数据的装置，其特征在于，若存储所述用户行为数据发生异常，则发送所述用户行为数据，包括：若将所述用户行为数据写入所述本地数据集合失败，则发送所述用户行为数据以及所述用户行为数据的写入失败信息到服务端。
可选地，所述处理数据的装置，其特征在于，若删除所述已发送的用户行为数据发生异常，删除所述本地数据集合以及新建本地数据集合，并发送在删除所述本地数据集合以及新建本地数据集合的期间所采集的用户行为数据到服务端，包括：若删除所述已发送的用户行为数据失败，则按照设定重试策略执行删除重试操作；当所述删除重试操作失败时，删除所述本地数据集合以及新建本地数据集合，并发送在删除所述本地数据集合以及新建本地数据集合的期间所采集的用户行为数据到服务端。
可选地，所述处理数据的装置，其特征在于，若新建所述本地数据集合失败，则发送在应用运行期间所采集的用户行为数据到服务端。
可选地，所述处理数据的装置，其特征在于，所述设定发送策略包括：所述本地数据集合所存储的所述用户行为数据的数量大于等于设定阈值，或/和按照设定周期发送所述本地数据集合所存储的所述用户行为数据到服务端。
为实现上述目的，根据本发明实施例的第三方面，提供了一种处理数据的电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述处理数据的方法中任一所述的方法。
为实现上述目的，根据本发明实施例的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如上述处理数据的方法中任一所述的方法。
上述发明中的一个实施例具有如下优点或有益效果：能够根据设定策略，对存储数据异常执行对应的容错操作，并直接将用户行为数据发送给服务器，克服了由于存储异常造成的用户行为数据丢失的缺陷；同时对删除数据异常执行对应的容错操作，并根据容错结果执行本地数据集合的删除、以及将在异常发生时所采集的用户行为数据直接发送给服务器，解决了删除失败的用户数据重复发送的问题，并减少了无效数据的数量，降低了用户行为数据的丢失率。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是本发明第一实施例提供的一种处理数据的方法的流程示意图；
图2是本发明第二实施例提供的一种存储异常时处理数据的流程示意图；
图3是本发明一个实施例提供的一种删除异常时处理数据的流程示意图；
图4是本发明一个实施例提供的一种处理数据的装置的结构示意图；
图5是本发明实施例可以应用于其中的示例性系统架构图；
图6是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
如图1所示，本发明实施例提供了一种处理数据的方法，该方法可以包括以下步骤：
步骤S101：采集用户行为数据，将所述用户行为数据存储至本地数据集合；根据设定发送策略，发送所述本地数据集合中存储的用户行为数据到服务端，并从本地数据集合中删除已发送的用户行为数据。
具体地，客户端根据业务场景采集用户行为数据，其中，用户行为数据包括：用户浏览页面的数据、用户浏览内容的数据、用户点击页面的数据、用户的订单数据、用户的地理位置数据等；用户行为数据还可以包含用户所使用的终端设备信息，例如：设备标识，设备系统信息等；采集用户行为数据的方法可以采用在应用中添加数据采集代码的方法，也可以使用采集数据软件采集用户行为数据；用户行为数据的具体内容根据具体的应用以及应用的业务场景而设定，本发明对用户行为数据的具体内容和采集用户数据的方法不做限定。进一步地，将所述用户行为数据存储至本地数据集合例如可以存储到本地的数据库(例如，使用SQLite数据库)或者本地的数据文件(例如：文本文件或者xml格式的文件)等，本发明对存储数据所使用的具体方法和形式不做限定。
进一步地，根据设定发送策略，发送所述用户行为数据并从本地数据集合中删除存储的所述用户行为数据；具体地，设定发送策略有三种方法：
第一种方法：设定阈值(例如：设定用户行为数据的数量或者设定数据的大小阈值)，当所存储的数据大于等于设定阈值时，发送本地数据集合中所存储的用户行为数据到服务端(例如：服务器)。
第二种方法：设定发送周期，例如：每天的固定时间发送数据、每12小时发送数据等。
第三种方法：设定阈值以及设定发送周期，具体地，当因为数据存储异常无法达到设定阈值时，采用设定发送周期可以将本地数据集合中所存储的数据发送到服务端(例如：服务器)。
上述所描述的三种方法即为所述设定发送策略包括：所述本地数据集合所存储的所述用户行为数据的数量大于等于设定阈值，或/和按照设定周期发送所述本地数据集合所存储的所述用户行为数据到服务端。可以理解的是，利用设定发送策略发送数据可以减少对网络、系统性能的消耗，本发明对设定发送策略的具体内容不做限定。进一步地，在发送所述用户行为数据之后，从本地数据集合中删除已发送的用户行为数据。
步骤S102：若存储所述用户行为数据时发生异常，则发送所述用户行为数据到服务端。
具体地，将采集的用户行为数据存储到本地数据集合之前，启动应用，打开(即，初始化)本地数据集合(例如：本地数据库文件)失败，打开数据库的方法例如使用SQLite数据库所包含的open方法；当打开本地数据集合失败时，删除本地数据集合(例如：数据库文件A)并新建一个本地数据集合(例如：数据库文件B)。即，在采集用户行为数据之前，还包括：启动应用；若在启动应用时打开所述本地数据集合失败，则删除所述本地数据集合以及新建本地数据集合。
进一步地，若在启动应用时打开所述本地数据集合成功，则对本地数据集合中的用户行为数据执行校验，例如：使用SQLite数据库的PRAGMA integrity_check命令对用户行为数据进行校验，校验包括：乱序的数据、错误的记录、丢失的索引、唯一性约束、非空约束等；当数据校验失败时，删除本地数据集合(例如：数据库文件A)并新建一个本地数据集合(例如：数据库文件B)；即，若在启动应用时打开所述本地数据集合成功且验证所述本地数据集合中的数据失败，则删除所述本地数据集合以及新建本地数据集合。
可以理解的是，通过删除本地数据集合以及新建本地数据集合可以修复异常的数据集合(例如数据库文件)，克服了进一步由于将采集的用户行为数据存储到本地数据集合异常而造成的数据丢失的问题。
再进一步地，打开本地数据集合(也即初始化)和数据校验操作成功之后，若将所述用户行为数据写入所述本地数据集合失败，则将写入失败信息发送到服务端(例如：服务器)，服务器可以根据写入失败信息统计分析写入失败原因，可以理解的是，是否发送失败信息可以利用设定策略来确定，例如：设定是否发送、发送的时间范围等；其中，是写入失败信息以写入数据库失败为例，例如写入SQLite数据库失败时，写入失败信息可以为：QLITE_FULL(本地磁盘已满)、SQLITE_IOERR(磁盘IO异常)等；即，若存储所述用户行为数据发生异常，则发送所述用户行为数据，包括：若将所述用户行为数据写入所述本地数据集合失败，则发送所述用户行为数据以及所述用户行为数据的写入失败信息到服务端。
进一步地，若上述描述的新建本地数据集合的操作失败，则不将采集的用户行为数据存储于本地，直接发送在应用运行期间(从应用启动到应用退出)所采集的用户行为数据到服务器，通过该步骤解决了数据丢失的问题，即，若新建所述本地数据集合失败，则发送在应用运行期间所采集的用户行为数据到服务端。
步骤S103：若从本地数据集合中删除所述已发送的用户行为数据时发生异常，则删除所述本地数据集合，并新建本地数据集合，发送在删除所述本地数据集合以及新建本地数据集合的期间所采集的用户行为数据到服务端。
具体地，当发送用户行为数据成功后删除已发送的数据，若删除所述已发送的用户行为数据发生异常，则删除本地数据集合(例如：数据库文件A)并新建一个新的本地数据集合(例如：数据库文件B)，并直接将在存储所述用户行为数据发生异常的期间采集的数据发送到服务端(例如：服务器)，进一步地,若删除所述已发送的用户行为数据失败，还包括按照设定重试策略执行删除重试操作，例如根据设定重试策略为在删除失败后的5秒、10秒、15秒分别重试删除操作，一共重试3次等；当所述删除重试操作失败时，删除所述本地数据集合以及新建本地数据集合，并发送在删除所述本地数据集合以及新建本地数据集合的期间所采集的用户行为数据到服务端。可以理解的是，删除本地数据集合以及新建本地数据集合期间存储采集的用户行为数据的流程如步骤S102所述，在此不再赘述。可以理解的是，当删除数据异常时通过上述处理数据的方法克服了删除失败导致用户行为数据重复上传从而形成无效数据的缺陷，同时克服了由于删除数据异常造成因存储空间限制而不能存储数据从而数据丢失的问题。
进一步地，若上述描述的新建本地数据集合的操作失败，则不将采集的用户行为数据存储于本地，直接发送采集的用户行为数据到服务器，通过该步骤解决了数据丢失的问题，即，若新建所述本地数据集合失败，则发送在应用运行期间所采集的用户行为数据到服务端。
如图2所示，本发明实施例提供了一种存储数据异常时处理数据的方法，该方法可以包括以下步骤：
步骤S201：采集用户行为数据。
具体地，采集用户行为数据，关于客户端采集用户行为数据的描述与步骤S101的描述一致，在此不再赘述。
步骤S202：打开本地数据集合。
具体地，在采集用户行为数据之前，还包括：启动应用；若在启动应用时打开所述本地数据集合失败，则执行步骤S203；若打开本地数据集合成功，则执行步骤S204；关于打开本地数据集合的具体描述与步骤S102的描述一致，在此不再赘述。
步骤S203：删除本地数据集合。
具体地，若在启动应用时打开所述本地数据集合失败，则删除所述本地数据集合，关于删除本地数据集合的描述与步骤S102的描述一致，在此不再赘述。
步骤S204：执行数据校验。
具体地，在读取本地数据集合成功之后，执行数据校验，如果执行数据校验成功，则执行步骤S207；如果执行数据校验失败，则执行步骤S203。关于执行数据校验的具体描述与步骤S102的描述一致，在此不再赘述。
步骤S205：新建本地数据集合。
具体地，在执行步骤S203时，删除本地数据集合以及建立新本地数据集合，若建立新本地数据集合成功，则执行步骤S207；若建立新本地数据集合失败，则执行步骤S206。关于新建本地数据集合的具体描述与步骤S102的描述一致，在此不再赘述。
步骤S206：发送数据。
具体地，当步骤S205新建本地数据集合失败时，则不存储采集的用户行为数据，直接发送数据到服务器。关于新建本地数据集合失败具体描述与步骤S102的描述一致，在此不再赘述。
步骤S207：存储数据，按照设定发送策略发送数据。
具体地，当步骤S205新建本地数据集合成功后，或者步骤S204执行数据校验成功后，存储采集的用户行为数据，并按照设定发送策略发送所用户行为数据。关于按照设定发送策略发送数据具体描述与步骤S101的描述一致，在此不再赘述。
步骤S201-步骤S207描述了采集用户行为数据后存储到本地数据集合，以及发生存储异常时的处理数据的流程；即，采集用户行为数据，将所述用户行为数据存储至本地数据集合；根据设定发送策略，发送所述本地数据集合中存储的用户行为数据到服务端，并从本地数据集合中删除已发送的用户行为数据；若存储所述用户行为数据时发生异常，则发送所述用户行为数据到服务端。
如图3所示，本发明实施例提供了一种删除数据异常时处理数据的方法，该方法可以包括以下步骤：
步骤S301：删除已发送的用户行为数据。
具体地，采集用户行为数据，将所述用户行为数据存储至本地数据集合；根据设定发送策略，发送所述本地数据集合中存储的用户行为数据到服务端，并从本地数据集合中删除已发送的用户行为数据；；关于发送所述用户行为数据并删除存储的所述用户行为数据的描述与步骤S101描述一致，在此不再赘述。
步骤S302：判断是否删除数据成功。
具体地，若删除数据成功，则执行步骤S308，删除流程结束；否则执行步骤S303。
步骤S303：判断是否采集了待存储的数据。
具体地，判断是否采集了待存储的数据，若获取了待存储的用户行为数据，执行步骤S304。
步骤S304：发送采集的数据给服务器。
根据步骤S302-步骤S304的描述，当步骤S302判断删除数据失败时，期间采集了用户行为数据，则发送在删除所述本地数据集合以及新建本地数据集合的期间所采集的用户行为数据到服务端。
步骤S305：根据重试策略执行删除重试操作。
具体地，当删除数据失败时，根据重试策略执行删除重试操作；关于重试策略的描述与步骤S103的描述一致，在此不再赘述。
步骤S306：判断是否删除数据成功。
具体地，在重试删除操作后，再次判断是否删除成功，如果删除成功，执行步骤S308；否则执行步骤S307。
步骤S307：删除本地数据集合。
具体地，当重试删除操作后删除操作失败时，删除本地数据集合，可以理解的是，删除本地数据集合以后可以新建本地数据集合。
步骤S308：删除处理结束。
步骤S301-步骤S308描述了删除异常时处理数据的流程，即，若存储所述用户行为数据时发生异常，则发送所述用户行为数据到服务端；若从本地数据集合中删除所述已发送的用户行为数据时发生异常，则删除所述本地数据集合，并新建本地数据集合，发送在删除所述本地数据集合以及新建本地数据集合的期间所采集的用户行为数据到服务端。
如图4所示，本发明实施例提供了一种处理数据的装置400，包括：数据采集发送模块400、处理存储异常模块401和处理删除异常模块402；其中，
所述数据采集发送模块401，用于采集用户行为数据，将所述用户行为数据存储至本地数据集合；根据设定发送策略，发送所述本地数据集合中存储的用户行为数据到服务端，并从本地数据集合中删除已发送的用户行为数据；
所述处理存储异常模块402，用于若存储所述用户行为数据时发生异常，则发送所述用户行为数据到服务端；
所述处理删除异常模块403，用于若从本地数据集合中删除所述已发送的用户行为数据时发生异常，则删除所述本地数据集合，并新建本地数据集合，发送在删除所述本地数据集合以及新建本地数据集合的期间所采集的用户行为数据到服务端。
可选地，所述处理存储异常模块402，用于在采集用户行为数据之前启动应用；若在启动应用时打开所述本地数据集合失败，则删除所述本地数据集合以及新建本地数据集合。
可选地，所述处理存储异常模块402，用于若在启动应用时打开所述本地数据集合成功且验证所述本地数据集合中的数据失败，则删除所述本地数据集合以及新建本地数据集合。
可选地，所述处理存储异常模块402，用于若存储所述用户行为数据发生异常，则发送所述用户行为数据，包括：若将所述用户行为数据写入所述本地数据集合失败，则发送所述用户行为数据以及所述用户行为数据的写入失败信息到服务端。
可选地，所述处理删除异常模块403，用于若删除所述已发送的用户行为数据发生异常，删除所述本地数据集合以及新建本地数据集合，并发送在删除所述本地数据集合以及新建本地数据集合的期间所采集的用户行为数据到服务端，包括：若删除所述已发送的用户行为数据失败，则按照设定重试策略执行删除重试操作；当所述删除重试操作失败时，删除所述本地数据集合以及新建本地数据集合，并发送在删除所述本地数据集合以及新建本地数据集合的期间所采集的用户行为数据到服务端。
可选地，所述处理存储异常模块402，用于若新建所述本地数据集合失败，则发送在应用运行期间所采集的用户行为数据到服务端。
可选地，所述数据采集发送模块401包括设定发送策略：所述本地数据集合所存储的所述用户行为数据的数量大于等于设定阈值，或/和按照设定周期发送所述本地数据集合所存储的所述用户行为数据到服务端。
本发明实施例还提供了一种更换页面主题的电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一实施例提供的方法。
本发明实施例还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例提供的方法。
图5示出了可以应用本发明实施例的数据处理方法或数据处理的装置的示例性系统架构500。
如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种客户端应用，例如电子商城客户端应用、网页浏览器应用、搜索类应用、即时通信工具和邮箱客户端等。
终端设备501、502、503可以是具有显示屏并且支持各种客户端应用的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所使用的客户端应用提供支持的后台管理服务器。后台管理服务器可以对接收到的用户行为数据进行分析，并将分析后的数据反馈给终端设备。
需要说明的是，本发明实施例所提供的数据处理的方法一般由终端设备501、502、503执行，相应地，数据处理的装置一般设置于终端设备501、502、503中或者服务器505中。
应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图6，其示出了适于用来实现本发明实施例的终端设备的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块和/或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块和/或单元也可以设置在处理器中，例如，可以描述为：一种处理器包括数据采集发送模块、处理存储异常模块和处理删除异常模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，数据采集发送模块还可以被描述为“采集用户行为数据，发送所述本地数据集合中存储的用户行为数据并删除已发送的用户行为数据的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：采集用户行为数据，将所述用户行为数据存储至本地数据集合；根据设定发送策略，发送所述本地数据集合中存储的用户行为数据到服务端，并从本地数据集合中删除已发送的用户行为数据；若存储所述用户行为数据时发生异常，则发送所述用户行为数据到服务端；若从本地数据集合中删除所述已发送的用户行为数据时发生异常，则删除所述本地数据集合，并新建本地数据集合，发送在删除所述本地数据集合以及新建本地数据集合的期间所采集的用户行为数据到服务端。
能够在存储采集的用户行为数据发生异常时执行对应的容错操作，并将存储异常期间采集的用户行为数据直接发送给服务器，克服了由于存储数据异常造成的用户行为数据丢失的缺陷；同时在删除数据异常时执行对应的容错操作，并将在异常发生期间所采集的用户行为数据直接发送给服务器，解决了删除失败的用户行为数据重复发送的问题，减少了无效数据的数量，降低了用户行为数据的丢失率。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (10)
1.一种处理数据的方法，其特征在于，包括：
采集用户行为数据，将所述用户行为数据存储至本地数据集合；
根据设定发送策略，发送所述本地数据集合中存储的用户行为数据到服务端，并从本地数据集合中删除已发送的用户行为数据；
若存储所述用户行为数据时发生异常，则发送所述用户行为数据到服务端；
若从本地数据集合中删除所述已发送的用户行为数据时发生异常，则删除所述本地数据集合，并新建本地数据集合，发送在删除所述本地数据集合以及新建本地数据集合的期间所采集的用户行为数据到服务端。
2.根据权利要求1所述的方法，其特征在于，在采集用户行为数据之前，还包括：
启动应用；
若在启动应用时打开所述本地数据集合失败，则删除所述本地数据集合以及新建本地数据集合。
3.根据权利要求2所述的方法，其特征在于，还包括：
若在启动应用时打开所述本地数据集合成功且验证所述本地数据集合中的数据失败，则删除所述本地数据集合以及新建本地数据集合。
4.根据权利要求1所述的方法，其特征在于，若存储所述用户行为数据发生异常，则发送所述用户行为数据，包括：
若将所述用户行为数据写入所述本地数据集合失败，则发送所述用户行为数据以及所述用户行为数据的写入失败信息到服务端。
5.根据权利要求1所述的方法，其特征在于，若删除所述已发送的用户行为数据发生异常，删除所述本地数据集合以及新建本地数据集合，并发送在删除所述本地数据集合以及新建本地数据集合的期间所采集的用户行为数据到服务端，包括：
若删除所述已发送的用户行为数据失败，则按照设定重试策略执行删除重试操作；
当所述删除重试操作失败时，删除所述本地数据集合以及新建本地数据集合，并发送在删除所述本地数据集合以及新建本地数据集合的期间所采集的用户行为数据到服务端。
6.根据权利要求2-5任一所述的方法，其特征在于，还包括：
若新建所述本地数据集合失败，则发送在应用运行期间所采集的用户行为数据到服务端。
7.根据权利要求1所述的方法，其特征在于，
所述设定发送策略包括：所述本地数据集合所存储的所述用户行为数据的数量大于等于设定阈值，或/和按照设定周期发送所述本地数据集合所存储的所述用户行为数据到服务端。
8.一种处理数据的装置，其特征在于，包括：数据采集发送模块、处理存储异常模块和处理删除异常模块；其中，
所述数据采集发送模块，用于采集用户行为数据，将所述用户行为数据存储至本地数据集合；根据设定发送策略，发送所述本地数据集合中存储的用户行为数据到服务端，并从本地数据集合中删除已发送的用户行为数据；
所述处理存储异常模块，用于若存储所述用户行为数据时发生异常，则发送所述用户行为数据到服务端；
所述处理删除异常模块，用于若从本地数据集合中删除所述已发送的用户行为数据时发生异常，则删除所述本地数据集合，并新建本地数据集合，发送在删除所述本地数据集合以及新建本地数据集合的期间所采集的用户行为数据到服务端。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011008422.5A CN113760587B (zh) | 2020-09-23 | 2020-09-23 | 一种处理数据的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011008422.5A CN113760587B (zh) | 2020-09-23 | 2020-09-23 | 一种处理数据的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113760587A true CN113760587A (zh) | 2021-12-07 |
| CN113760587B CN113760587B (zh) | 2024-06-14 |
Family
ID=78785862
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011008422.5A Active CN113760587B (zh) | 2020-09-23 | 2020-09-23 | 一种处理数据的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113760587B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101783955A (zh) * | 2010-03-24 | 2010-07-21 | 杭州华三通信技术有限公司 | 一种数据异常时的恢复方法和设备 |
| CN102521174A (zh) * | 2011-12-19 | 2012-06-27 | 厦门雅迅网络股份有限公司 | 一种数据采集存储与传输的方法 |
| CA3059738A1 (en) * | 2018-10-24 | 2020-04-24 | Wenhang Qiu | Behaviour data processing method, device, electronic device and computer readable medium |
| CN111143899A (zh) * | 2018-11-06 | 2020-05-12 | 中兴通讯股份有限公司 | 存储数据的方法、装置、存储介质及电子装置 |
| CN111475556A (zh) * | 2020-03-19 | 2020-07-31 | 平安国际智慧城市科技股份有限公司 | 一种数据采集方法、设备、服务器及可读存储介质 |
-
2020
- 2020-09-23 CN CN202011008422.5A patent/CN113760587B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101783955A (zh) * | 2010-03-24 | 2010-07-21 | 杭州华三通信技术有限公司 | 一种数据异常时的恢复方法和设备 |
| CN102521174A (zh) * | 2011-12-19 | 2012-06-27 | 厦门雅迅网络股份有限公司 | 一种数据采集存储与传输的方法 |
| CA3059738A1 (en) * | 2018-10-24 | 2020-04-24 | Wenhang Qiu | Behaviour data processing method, device, electronic device and computer readable medium |
| CN111143899A (zh) * | 2018-11-06 | 2020-05-12 | 中兴通讯股份有限公司 | 存储数据的方法、装置、存储介质及电子装置 |
| CN111475556A (zh) * | 2020-03-19 | 2020-07-31 | 平安国际智慧城市科技股份有限公司 | 一种数据采集方法、设备、服务器及可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 赖建华;陈健;: "数据库异常操作行为分析及对策", 情报探索, no. 12, 15 December 2010 (2010-12-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113760587B (zh) | 2024-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110716895B (zh) | 目标数据归档方法、装置、计算机设备及介质 | |
| US10572319B2 (en) | Optimization of message oriented middleware monitoring in heterogenenous computing environments | |
| CN107644075B (zh) | 收集页面信息的方法和装置 | |
| CN111858146B (zh) | 用于恢复数据的方法、设备和计算机程序产品 | |
| CN109726039B (zh) | 用于管理虚拟机的方法和设备 | |
| CN109472540B (zh) | 业务处理方法和装置 | |
| CN111338834B (zh) | 数据存储方法和装置 | |
| CN112596920A (zh) | 一种消息处理的方法、装置、电子设备和存储介质 | |
| CN111831536A (zh) | 一种自动化测试方法和装置 | |
| CN109218338B (zh) | 信息处理系统、方法和装置 | |
| CN107657155B (zh) | 用于鉴定用户操作权限的方法和装置 | |
| CN116521639A (zh) | 一种日志数据的处理方法、电子设备和计算机可读介质 | |
| CN113760587B (zh) | 一种处理数据的方法和装置 | |
| CN112149392A (zh) | 一种富文本编辑方法和装置 | |
| RU2698766C1 (ru) | Способ и устройство для передачи, отправки и получения информации | |
| US10212116B2 (en) | Intelligently condensing transcript thread history into a single common reduced instance | |
| CN114116675A (zh) | 一种数据归档方法和装置 | |
| CN114143308A (zh) | 文件上传信息处理方法、装置、计算机设备及存储介质 | |
| CN115620877A (zh) | 一种医疗数据上传云平台的方法、系统、设备及存储介质 | |
| CN108959405B (zh) | 数据的强一致性读取方法及终端设备 | |
| CN106648985A (zh) | 一种文本数据库的容灾修复方法及装置 | |
| CN112084114A (zh) | 用于测试接口的方法和装置 | |
| CN113779138B (zh) | 一种订单管理方法和装置 | |
| CN111179097B (zh) | 保单批改的方法、装置、电子设备和存储介质 | |
| CN114281604B (zh) | 数据恢复方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |