CN112104707A - 数据上报方法、装置及设备 - Google Patents
数据上报方法、装置及设备 Download PDFInfo
- Publication number
- CN112104707A CN112104707A CN202010862665.9A CN202010862665A CN112104707A CN 112104707 A CN112104707 A CN 112104707A CN 202010862665 A CN202010862665 A CN 202010862665A CN 112104707 A CN112104707 A CN 112104707A
- Authority
- CN
- China
- Prior art keywords
- data
- service
- server
- reporting
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 133
- 230000005540 biological transmission Effects 0.000 claims abstract description 108
- 230000004044 response Effects 0.000 claims abstract description 52
- 238000012544 monitoring process Methods 0.000 claims description 45
- 238000013075 data extraction Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 11
- 238000000605 extraction Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
- H04L67/5651—Reducing the amount or size of exchanged application data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
Abstract
本公开关于一种数据上报方法、装置及设备。属于通信技术领域。该方法包括：响应于业务终端与服务器之间的传输数据，识别传输数据中是否包含预设标识信息；其中，传输数据包括业务终端发送的业务请求或服务器返回的请求响应；在传输数据包含预设标识信息的情况下，提取传输数据中的第一业务数据；将第一业务数据上报至数据仓库。本公开通过拦截获取业务终端与服务器之间的传输数据，并统一上报至数据仓库，能够减少由业务终端主动上报时导致的漏报和误报的情况，提高数据上报的准确性。
Description
技术领域
本公开涉及通信技术领域，尤其涉及数据上报方法、装置及设备。
背景技术
数据仓库用于存储海量结构化或半结构化的业务数据，以便进行数据的统计、图形化展示与报表生成。数据仓库为了实现上述目的，需要进行数据接入，即由业务终端进行数据上报，之后将上报的数据保存至数据仓库内。
在相关技术中，数据仓库的数据接入方式是由业务终端主动上报数据，业务终端上报数据仓库的逻辑耦合在业务逻辑代码中。业务逻辑代码在运行时，除了实现具体的业务逻辑之外还需要处理当前的业务数据是否需要上报数据仓库。
由于需要实现业务逻辑的同时关注数据上报，业务逻辑代码设计复杂，导致数据仓库的接入成本大。并且在业务复杂时，由于需要接入数据仓库的地方众多，容易导致接入数据存在漏报或误报的情况，数据上报的准确性低。
发明内容
本公开提供一种数据上报方法、装置及设备，以至少解决相关技术中数据上报准确性低的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种数据上报方法，包括：
响应于业务终端与服务器之间的传输数据，识别所述传输数据中是否包含预设标识信息；其中，所述传输数据包括所述业务终端发送的业务请求或所述服务器返回的请求响应；
在所述传输数据包含所述预设标识信息的情况下，提取所述传输数据中的第一业务数据；
将所述第一业务数据上报至数据仓库。
一种可选的实施例中所述响应于业务终端与服务器之间的传输数据，识别所述传输数据中是否包含预设标识信息，包括：
在所述业务终端发送的业务请求达到所述服务器之前，响应于所述业务终端发送的业务请求，识别所述业务请求中是否包含所述预设标识信息。
一种可选的实施例中，所述响应于业务终端与服务器之间的传输数据，识别所述传输数据中是否包含预设标识信息，包括：
在所述服务器返回的请求响应达到所述业务终端之前，响应于所述服器返回的请求响应，识别所述请求响应中是否包含所述预设标识信息。
一种可选的实施例中，所述预设标识信息包括：预设统一资源标志符URI或预设内容参数。
一种可选的实施例中，所述传输数据通过正则表达式的格式设置。
一种可选的实施例中，所述提取所述传输数据中的第一业务数据，包括：
提取所述传输数据中的第一关键字段；
对所述第一关键字段进行格式调整，得到所述第一业务数据。
根据本公开实施例的第二方面，提供一种数据上报方法，包括：
监听目标设备对应的业务数据信息；所述目标设备包括以下至少一种：服务器、数据库和缓存；
在所述业务数据信息包括预设特征信息的情况下，提取所述业务数据信息中的第二业务数据；
将所述第二业务数据上报至数据仓库。
一种可选的实施例中，所述监听目标设备对应的业务数据信息，包括：
监听所述服务器中执行业务终端发送的业务请求的目标方法的方法标识；
相应的，所述业务数据信息包括所述预设特征信息，包括：所述目标方法的方法标识包括预设方法标识。
一种可选的实施例中，所述监听目标设备对应的业务数据信息，包括：
监听所述数据库的第一数据状态；
相应的，所述业务数据信息包括所述预设特征信息，包括：所述第一数据状态包括以下任意一种状态：修改状态、插入状态、删除状态。
一种可选的实施例中，所述监听目标设备对应的业务数据信息，包括：
监听所述缓存内的第二数据状态及所述第二数据状态对应的数据信息；
相应的，所述业务数据信息包括所述预设特征信息，包括：所述第二数据状态包括写入状态，且所述写入状态对应的数据信息包括对所述数据库的查询记录。一种可选的实施例中，所述提取所述业务数据信息中的第二业务数据，包括：
提取所述业务数据信息中的第二关键字段；
对所述第二关键字段进行格式调整，得到所述第二业务数据。
根据本公开实施例的第三方面，提供一种数据上报装置，包括：
识别模块，被配置为执行响应于业务终端与服务器之间的传输数据，识别所述传输数据中是否包含预设标识信息；其中，所述传输数据包括所述业务终端发送的业务请求或所述服务器返回的请求响应；
第一数据提取模块，被配置为执行在所述传输数据包含所述预设标识信息的情况下，提取所述传输数据中的第一业务数据；
第一上报模块，被配置为执行将所述第一业务数据上报至数据仓库。
一种可选的实施例中，所述识别模块具体被配置为执行：在所述业务终端发送的业务请求达到所述服务器之前，响应于所述业务终端发送的业务请求，识别所述业务请求中是否包含所述预设标识信息。
一种可选的实施例中，所述识别模块具体被配置为执行：在所述服务器返回的请求响应达到所述业务终端之前，响应于所述服器返回的请求响应，识别所述请求响应中是否包含所述预设标识信息。
一种可选的实施例中，所述第一数据提取模块被配置为包括：
第一提取单元，被配置为执行提取所述传输数据中的第一关键字段；
第一调整单元，被配置为执行对所述第一关键字段进行格式调整，得到所述第一业务数据。
根据本公开实施例的第四方面，提供一种数据上报装置，包括：
监听模块，被配置为执行监听目标设备对应的业务数据信息；所述目标设备包括以下至少一种：服务器、数据库和缓存；
第二数据提取模块，被配置为执行在所述业务数据信息包括预设特征信息的情况下，提取所述业务数据信息中的第二业务数据；
第二上报模块，被配置为执行将所述第二业务数据上报至数据仓库。
一种可选的实施例中，，所述监听模块被配置为具体执行：
监听所述服务器中执行业务终端发送的业务请求的目标方法的方法标识；相应的，所述业务数据信息包括所述预设特征信息，包括：所述目标方法的方法标识包括预设方法标识。
一种可选的实施例中，所述监听模块被配置为具体执行：
监听所述数据库的第一数据状态；相应的，所述业务数据信息包括所述预设特征信息，包括：所述第一数据状态包括以下任意一种状态：修改状态、插入状态、删除状态。
一种可选的实施例中，所述监听模块被配置为具体执行：
监听所述缓存内的第二数据状态及所述第二数据状态对应的数据信息；相应的，所述业务数据信息包括所述预设特征信息，包括：所述第二数据状态包括写入状态，且所述写入状态对应的数据信息包括对所述数据库的查询记录。
一种可选的实施例中，所述第二数据提取模块被配置为包括：
第二提取单元，被配置为执行提取所述业务数据信息中的第二关键字段；
第二调整单元，被配置为执行对所述第二关键字段进行格式调整，得到所述第二业务数据。
根据本公开实施例的第五方面，提供一种数据上报设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如第一方面或第二方面所述的数据上报方法。
根据本公开实施例的第六方面，提供一种数据上报系统，包括：
业务终端，被配置为执行发送业务请求至服务器；接收所述服务器返回的请求响应；
所述服务器，被配置为执行接收所述业务终端发送的所述业务请求；执行所述业务请求；返回所述业务请求对应的请求响应至所述业务终端；
如第五方面所述的数据上报设备；
数据仓库，被配置为执行接收所述数据上报设备上报的业务数据。
根据本公开实施例的第七方面，提供一种存储介质，当所述存储介质中的指令由数据上报设备的处理器执行时，使得数据上报设备能够执行如第一方面或第二方面所述的数据上报方法。
根据本公开实施例的第八方面，提供一种计算机程序产品，包括程序或指令，以使程序或指令被执行时，实现如第一方面或第二方面所述的数据上报方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
本实施例能够获取业务终端与服务器之间的传输数据，即能够对业务终端发送给服务器的数据以及服务器返回业务终端的数据进行统一拦截，在该传输数据满足第一预设条件的情况下，表明该传输数据符合数据上报的条件，因此将该传输数据对应的第一业务数据上报至数据仓库。即本实施例能够对业务终端与服务器之间的传输数据进行统一的拦截以及统一上报，这种方式不需要由业务逻辑代码在处理业务时兼顾数据上报，可靠性更高，并且能够减少漏报或误报的情况，提高数据上报的准确性。并且本实施例不需要在各个业务终端的业务逻辑代码中分别耦合上报逻辑，而是仅需要设置一套上报逻辑即可，降低了数据上报的成本。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种数据上报系统的系统架构图。
图2是根据一示例性实施例示出的一种数据上报系统的工作流程架构图。
图3是根据一示例性实施例示出的另一种数据上报系统的工作流程架构图。
图4是根据一示例性实施例示出的再一种数据上报系统的工作流程架构图。
图5是根据一示例性实施例示出的一种数据上报方法的流程图。
图6是根据一示例性实施例示出的另一种数据上报方法的流程图。
图7是根据一示例性实施例示出的另一种数据上报方法的一种具体实例的流程图。
图8是根据一示例性实施例示出的另一种数据上报方法的再一种具体实例的流程图。
图9是根据一示例性实施例示出的另一种数据上报方法的又一种具体实例的流程图。
图10是根据一示例性实施例示出的一种数据上报装置框图。
图11是根据一示例性实施例示出的另一种数据上报装置框图。
图12是根据一示例性实施例示出的数据上报设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
随着网络技术的发展，业务终端发送的业务请求的数量越来越多，也越来越复杂，这种情况下，若依赖业务终端对自身数据进行监控以及主动上报至数据仓库，不仅会导致上报数据的错漏，也容易影响业务终端的正常业务的运行。因此，需要在数据上报系统中，设置专门用于进行数据上报的设备，以提高数据上报的准确性。
下面以图1为例，说明本公开提供的一种数据上报系统，后续本公开提供的数据上报方法以及数据上报装置均应用于该数据上报系统内。图1是根据一示例性实施例示出的一种数据上报系统的系统架构图。如图1所示，该系统包括：
业务终端101，被配置为执行发送业务请求至服务器105；接收服务器105返回的请求响应。这里的业务终端101指的是产生业务请求的设备，例如业务终端101可以为用户的终端设备，如手机、电脑等，或者业务终端101还可以为一些具体业务需求的服务器105等。或者业务终端101还可以是能够产生业务请求的应用程序等。本公开不限定业务终端101的具体内容。此外，系统中可以包括一个或多个业务终端101。
服务器105，被配置为执行接收业务终端101发送的业务请求；执行业务请求；返回业务请求对应的请求响应至业务终端101。服务器105指的是能够执行业务终端101发送的业务请求的设备，例如可以为网络服务器(web服务器)、云端服务器等。
数据上报设备103，被配置为执行统一获取系统内满足上报条件的业务数据，并将业务数据上报至数据仓库107。该数据上报设备103的具体执行内容将在后续介绍的数据上报方法中进行介绍。这里的数据上报设备103可以为拦截器、过滤器、监听器以及具有类似功能的设备实现，或者也可以通过存储有具体类似功能的指令程序的存储器来实现。其中，拦截器和过滤器可以设置于业务终端101与服务器105之间的切面层内。
数据仓库107，被配置为执行接收数据上报设备103上报的业务数据。数据仓库107还用于存储上报的业务数据，以便后续利用业务数据进行统计分析以及展示等操作。
本实施例能够对系统中需要上报的业务数据进行统一获取以及统一上报，这种方式不需要由业务逻辑代码在处理业务时兼顾数据上报，可靠性更高，并且能够减少漏报或误报的情况，提高数据上报的准确性。并且本实施例不需要在各个业务终端101的业务逻辑代码中分别耦合上报逻辑，而是仅需要设置一套上报逻辑即可，降低了数据上报的成本。
此外，为了实现服务器105的功能，上述系统中还可以包括数据库109以及缓存111，服务器105能够访问数据库109来完成业务请求，服务器105对数据库109的操作可以记录在缓存111中。
在一个或多个实施例中，数据上报设备103可以响应于业务终端101与服务器105之间的传输数据，将包含预设标识信息的传输数据中的第一业务数据作为待上报数据，上报至数据仓库107。这种情况下，数据上报设备103可以为设置于切面层中的拦截器或过滤器，切面层位于用户终端与服务器105之间。如图1所示，
以下述应用场景为例，介绍上述实施例中数据上报系统的工作流程。其中，业务终端101为用户终端，服务器105为web服务器，业务请求为图片获取请求，数据上报设备103包括设置于切面层的第一拦截器1031和第二拦截器1033，预设标识信息为预设统一资源标志符(Uniform Resource Identifier，URI)“/photo/grab”或者内容参数“photoId”。
用户终端向服务器105发送图片获取请求，在图片获取请求发送过程中，第一拦截器1031(prehandle)，会对经过切面层的业务请求进行检测，检测该图片获取请求是否包含内容为“/photo/grab”的URI，由于该图片获取请求包括该URI，因此第一拦截器1031会将该图片获取请求进行结构整理后上报至数据仓库107。
服务器105从数据库109内获取该图片获取请求对应的一张图片，并向用户终端返回包含该图片信息的请求响应。切面层中的第二拦截器1033(posthandle)，会对经过切面层的请求响应进行检测，由于该请求响应为{photoId：123}，其中包括内容参数“photoId”，因此第二拦截器1033会将该请求响应进行结构整理后上报至数据仓库107。
可见，本实施中不需要用户终端内的业务逻辑代码来确定哪些内容需要上报至数据仓库107，而是通过在用户终端与服务器105之间设置切面层，来对传输的数据进行拦截和检测，若经过切面层的数据包含预设标识信息，则上报至数据仓库107。这种方式中用户终端的业务逻辑代码仅需要关注业务请求发送，切面层中的拦截器仅需要关注数据上报，简化了系统中各部分的分工，通过由专门的部分负责各个用户终端以及各个服务器105的数据上报，也减少了漏报和错报的情况出现。
在一个或多个实施例中，数据上报设备103还可以通过监听目标设备对应的业务数据信息，将包括预设特征信息的业务数据信息中的第二业务数据上报至数据仓库107。
可选的，上述目标设备对应的业务数据信息可以为：服务器105中执行业务终端发送的业务请求的目标方法的方法标识，将预设方法标识的目标方法的方法标识的第二业务数据作为待上报数据作为预设特征信息。这种情况下，数据上报设备103可以为设置于服务器105内、与方法关联的注解组件1035，该注解组件1035内存储有能够实现上述监听及上报操作的注解程序。如图2所示，图2是根据一示例性实施例示出的一种数据上报系统的工作流程架构图。
以下述应用场景为例，介绍本公开中数据上报系统的工作流程。其中，业务终端101为用户终端，服务器105为web服务器，业务请求为图片获取请求，数据上报设备103为与服务器105内方法A关联的注解组件1035，预设方法标识为方法A。
用户终端向服务器105发送图片获取请求，服务器105接收到用户终端发送的图片获取请求后，将该图片获取请求分配给方法A执行，注解组件1035监听到方法A执行的图片获取请求后，则图片获取请求对应的第二业务数据进行结构整理后，上报至数据仓库107。
可见，本实施中不需要用户终端内的业务逻辑代码来确定哪些内容需要上报至数据仓库107，而是通过对服务器105中的方法进行监听，若监听到由目标方法进行执行的业务请求后，则将该业务请求相关的业务数据上报至数据仓库107。这种方式中用户终端的业务逻辑代码仅需要关注业务请求发送，注解组件1035仅需要关注数据的执行对象以及进行数据上报，简化了系统中各部分的分工，通过由专门的部分负责各个用户终端以及各个服务器105的数据上报，也减少了漏报和错报的情况出现。
可选的，数据上报设备103可以通过监听数据库109的第一数据状态，将第一数据状态包括预设特征信息的第二业务数据上报至数据仓库107。这种情况下，数据上报设备103可以为与数据库109连接的第一监听器1037。即由于不同的服务器105(server)虽然会各自有自己的业务逻辑，但会操作同一个数据库109(database)。因此本实施例中，通过一个第一监听器1037(listener)对该数据库109进行监听，如图3所示，图3是根据一示例性实施例示出的另一种数据上报系统的工作流程架构图。预设特征信息可以包括数据插入、修改、删除等状态。
以下述应用场景为例，介绍本公开中数据上报系统的工作流程。其中，业务终端101为用户终端，服务器105为web服务器，业务请求为“将图片标记为可爱”，数据上报设备103为第一监听器1037，预设特征信息为数据库109中的数据状态为“修改”。
用户终端向服务器105发送“将图片标记为可爱”的业务请求，服务器105接收到用户终端发送的业务请求后，会对数据库109中保存的图片进行修改，为图片添加“可爱”的标记，第一监听器1037对数据库109进行监听，在监听到数据库109中保存的图片数据发生修改后，第一监听器1037将数据库109内的修改数据(例如修改图片的ID，修改内容，操作类型等)进行结构整理后上报至数据仓库107。
可见，本实施中不需要用户终端内的业务逻辑代码来确定哪些内容需要上报至数据仓库107，而是通过对数据库109进行监听，监听数据库109中的数据是否发生变更，若监听到数据库109中的数据变更后，则将变更数据上报至数据仓库107。这种方式中用户终端的业务逻辑代码仅需要关注业务请求发送，第一监听器1037仅需要关注数据库109的数据变化以及进行数据上报，简化了系统中各部分的分工，通过由专门的部分负责各个用户终端以及各个服务器105的数据上报，也减少了漏报和错报的情况出现。
可选的，数据上报设备103可以通过监听缓存111中的第二数据状态及第二数据状态对应的数据信息，将第二数据状态包括写入状态且数据信息包括对数据库109查询记录的业务数据信息中的第二业务数据上报至数据仓库107。这种情况下，数据上报设备103可以为与缓存111连接的第二监听器1039。如图4所示，图4是根据一示例性实施例示出的再一种数据上报系统的工作流程架构图。
以下述应用场景为例，介绍本公开中数据上报系统的工作流程。其中，业务终端101为用户终端，服务器105为web服务器，业务请求为图片获取请求，数据上报设备103为第二监听器1039，预设特征信息为缓存111中的数据状态为“写入”且写入的数据为数据库109的查询记录。
用户终端向服务器105发送图片获取请求，服务器105接收到用户终端发送的图片获取请求后，会向数据库109查询想要获取的目标图片，服务器105在向数据库109进行查询的过程中，服务器105会将查询记录写入缓存111中，第二监听器1039对缓存111进行监听，在监听到缓存111中发生数据写入的情况下，且缓存111中写入了服务器105对数据库109的查询记录的情况下，则第二监听器1039将缓存111内的写入数据(例如新增的查询记录等)进行结构整理后上报至数据仓库107。
可见，本实施中不需要用户终端内的业务逻辑代码来确定哪些内容需要上报至数据仓库107，而是通过对缓存111进行监听，监听缓存111中的数据是否发生变更，若监听到缓存111中的数据变更后，则将变更数据上报至数据仓库107。这种方式中用户终端的业务逻辑代码仅需要关注业务请求发送，第二监听器1039仅需要关注缓存111的数据变化以及进行数据上报，简化了系统中各部分的分工，通过由专门的部分负责各个用户终端以及各个服务器105的数据上报，也减少了漏报和错报的情况出现。
基于本公开提供的上述数据上报系统以及相同的发明构思，本公开还提供了数据上报方法、装置、设备以及存储介质。下面，首先对本公开提供的数据上报方法进行介绍。
图5是根据一示例性实施例示出的一种数据上报方法的流程图，如图5所示，数据上报方法由前述提到的数据上报设备执行，该方法包括以下步骤。
在S201中，响应于业务终端与服务器之间的传输数据，识别传输数据中是否包含预设标识信息。
其中，传输数据包括业务终端发送的业务请求或服务器返回的请求响应。
在S203中，在传输数据包含预设标识信息的情况下，提取传输数据中的第一业务数据。
在S205中，将第一业务数据上报至数据仓库。
以上各个步骤的具体实现方式将在下文中进行详细描述。
本实施例能够获取业务终端与服务器之间的传输数据，即能够对业务终端发送给服务器的数据以及服务器返回业务终端的数据进行统一拦截，在该传输数据满足第一预设条件的情况下，表明该传输数据符合数据上报的条件，因此将该传输数据对应的第一业务数据上报至数据仓库。即本实施例能够对业务终端与服务器之间的传输数据进行统一的拦截以及统一上报，这种方式不需要由业务逻辑代码在处理业务时兼顾数据上报，可靠性更高，并且能够减少漏报或误报的情况，提高数据上报的准确性。并且本实施例不需要在各个业务终端的业务逻辑代码中分别耦合上报逻辑，而是仅需要设置一套上报逻辑即可，降低了数据上报的成本。
由于上述实施例是为了获取业务终端与服务器之间的传输数据，因此可以在业务终端与服务器之间设置切面层，通过切面层中设置的工具来获取传输数据。可选的，上述S201之前，还可以包括：
通过拦截器或过滤器，获取业务终端与服务器之间的传输数据。
其中，拦截器能够在某些方法或字段被访问之前，提取这些方法或字段中的部分信息，因此，通过设置拦截器，即能够在传输数据达到业务终端或服务器之前，检测并提取传输数据中的信息，进而确认是否需要进行上报，后续本实施例在拦截器上添加了上报数据仓库的功能。过滤器是设置于客户端(即本公开中的业务终端)与服务器之间的工具，过滤器能够在传输数据达到业务终端或服务器之前，对传输数据进行拦截、判断以及修改，本公开实施例中并未使用过滤器的修改功能，而是仅利用其对传输数据进行了拦截以及判断检测的功能，从而检测传输数据是否需要上报，并在过滤器上添加了上报数据仓库的功能。因此，本实施例中，直接利用拦截器和过滤器等原有的工具，通过对其进行功能设置并添加上报功能，即能够实现本公开中统一上报数据仓库的目的，减少了对系统的修改，简化了系统的设置过程。
在一种可选的实施例中，上述S201可以包括：
在业务终端发送的业务请求达到服务器之前，响应于业务终端发送的业务请求，识别业务请求中是否包含预设标识信息。
本实施例中，业务终端与服务器之间的传输数据指的是业务终端发送的业务请求，根据业务终端发送的业务请求，即能够直接了解到业务终端所执行的业务情况，因此在数据仓库内记录业务请求，即能够方便后续追溯业务处理情况。
在另一种可选的实施例中，上述S201可以包括：
在服务器返回的请求响应达到业务终端之前，响应于服器返回的请求响应，识别请求响应中是否包含预设标识信息。
本实施例中，业务终端与服务器之间的传输数据指的是服务器返回至业务终端的请求响应，该请求响应内包括业务终端所请求的内容，例如，业务终端发出的图片获取请求，则服务器返回的请求响应内可以包括图片的信息或者图片的保存地址或链接等，即业务终端根据服务器返回的请求响应，即能够得到自身想要得到的数据。因此，在数据仓库内记录请求响应，能够反映服务器所能提供的服务，也能够间接反映业务终端执行的业务情况。
在一些实施例中，上述预设标识信息可以包括：预设统一资源标志符(UniformResource Identifier，URI)。
URI表示的是web上每种可用资源的地址，例如超文本标记语言(HyperTextMarkup Language,HTML)文档、图像、视频片段、程序等，都是由一个URI进行定位的。通过URI能够反映业务请求的类型，例如对图片获取请求的URI可以为“/photo/grab”。因此，通过设置预设URI，即能够限定需要进行上报的业务请求的类型以及请求响应的类型。
为方便理解，以下面的两个例子进行说明。
假设第一拦截器prehandle内配置的预设URI为/photo/submit/*，则当prehandle检测到用户终端发送的“将图片标记成可爱”的业务请求时，业务请求实际的URI为/photo/submit/123，业务请求中的内容参数为{cute}，由于业务请求中的URI包括预设URI，因此prehandle会将第一业务数据组织成{photo,submit,123，cute}上报数据仓库。
在一些实施例中，上述预设标识信息可以包括：预设内容参数。
由于业务终端与服务器之间的传输数据中，除了包括业务类型之外，还包括具体的传输内容，例如传输数据为业务请求，业务请求的内容为将图片123标记为可爱，则业务请求中除了包括业务类型/photo/submit之外，还包括具体的内容参数{cute}。因此通过对进行上报的传输数据包含的内容参数进行设置，能够将具有特定内容的数据上报至数据仓库进行保存，提高上报的针对性。
为方便理解，以下面的例子进行说明。
假设第一拦截器prehandle内配置的预设内容参数为{cute}，则当prehandle检测到用户终端发送的“将图片标记成可爱”的业务请求后，业务请求中的URI为/photo/submit/123，业务请求中的内容参数为{cute}，由于业务请求中的内容参数包括预设内容参数，因此prehandle会将第一业务数据组织成{photo,submit,123，cute}上报数据仓库。
此外，可选的，可以对业务终端与服务器之间的业务请求和请求响应关联设置，即传输数据包括预设标识信息的情况下，除了包含预设标识信息的目标业务请求对应的业务数据会上报至数据仓库之外，与该目标业务请求匹配的请求响应对应的业务数据，也会上报至数据仓库。这种方式简化了数据上报的操作，且能够保证上传至数据仓库的数据完整性。
为方便理解，以下面的例子进行说明。
假设第一拦截器prehandle内配置的预设URI为：/photo/grab。并设置第二拦截器posthandle与prehandle关联进行处理。在prehandle检测到用户终端发送的图片获取请求后，由于图片获取请求的URI包括/photo/grab，因此将该图片获取请求对应的业务数据进行上报。后续，在posthandle检测到该图片获取请求对应的请求响应{photoId：123}后，也会将该第一业务数据组织为{photo，grab，123}进行上报。
可选的，上述传输数据、URI以及预设内容参数等均可以通过正则表达式的格式设置。
其中，正则表达式(Regular Expression，RE)通常被用来检索、替换一些符合某个模式(规则)的文本。正则表达式是对字符串操作的一种逻辑公式，这里的字符串包括普通字符和特殊字符，即正则表达式为用事先定义好的一些特定字符及这些特定字符的组合，组成一个"规则字符串"，这个"规则字符串"用来表达对字符串的一种过滤逻辑。正则表达式是一种文本模式，该模式描述在搜索文本时要匹配的一个或多个字符串。例如，通过正则表达式设置的URI可以为“/photo/grab”。通过用正则表达式进行统一的格式设置，方便了传输数据与预设URI以及预设内容参数之间的比对。
在本公开的再一些实施例中，上述S203可以包括：
在传输数据满足第一预设条件的情况下，提取传输数据中的第一关键字段；
对第一关键字段进行格式调整，得到第一业务数据。
本实施例中，在进行数据上报之前，会对传输数据进行处理，由于传输数据中可能会包含许多不需要保存至数据仓库的信息，因此，需要对传输数据进行关键字段提取，从而减少数据仓库内保存的数据以及提高传输效率。其中，这里的第一关键字段可以包括传输数据对应的业务请求的类型，例如包括用于表示图片标记的请求类型标识{photo,submit}；或者还可以包括业务请求或请求响应的对象，例如进行标记的对象图片的名称{123}；或者还可以包括业务请求的内容，例如对图片进行的标记内容{cute}等。此外，第一关键字段还可以包括其他内容，本公开对此不作限定。另外，在得到第一关键字段后，还需要对第一关键字段进行格式调整，将其构造为数据仓库规定的标准数据格式后，再进行上报，从而保证了第一关键字段能够保存至数据仓库内。
基于本公开提供的上述数据上报系统以及相同的发明构思，本公开还提供了另一种数据上报方法。下面，对本公开提供的另一种数据上报方法进行介绍。
图6是根据一示例性实施例示出的另一种数据上报方法的流程图，如图6所示，该数据上报方法由前述提到的数据上报设备执行，该方法包括以下步骤。
在S301中，监听目标设备对应的业务数据信息；目标设备包括以下至少一种：服务器、数据库和缓存；
在S303中，在业务数据信息包括预设特征信息的情况下，提取业务数据信息中的第二业务数据；
在S305中，将第二业务数据上报至数据仓库。
以上各个步骤将在后文进行详细描述。
在本实施中，不需要用户终端内的业务逻辑代码来确定哪些内容需要上报至数据仓库，而是通过对目标设备进行监听，在目标设备对应的业务数据信息包括预设特征信息的情况下，则将业务数据信息对应的第二业务数据上报至数据仓库。本实施例能够对业务终端与服务器之间的传输数据进行统一的拦截以及统一上报，这种方式不需要由业务逻辑代码在处理业务时兼顾数据上报，可靠性更高，并且能够减少漏报或误报的情况，提高数据上报的准确性。并且本实施例不需要在各个业务终端的业务逻辑代码中分别耦合上报逻辑，而是仅需要设置一套上报逻辑即可，降低了数据上报的成本。
在本公开的一些实施例中，参见图7所示，图7是根据一示例性实施例示出的另一种数据上报方法的一种具体实例的流程图。上述S301可以包括：
S3011，监听服务器中执行业务终端发送的业务请求的目标方法的方法标识；
相应的，业务数据信息包括预设特征信息，包括：目标方法的方法标识包括预设方法标识。
即S303可以包括：
S3031，在业务数据信息对应的目标方法的方法标识为预设方法标识的情况下，提取业务数据信息中的第二业务数据。
即本实施例中，通过对服务器中的方法进行监听，若监听到由目标方法进行执行的业务数据信息后，则将该业务数据信息相关的第二业务数据上报至数据仓库。这种方式中用户终端的业务逻辑代码仅需要关注业务请求发送，数据上报设备仅需要关注数据的执行对象以及进行数据上报，简化了系统中各部分的分工，通过由专门的部分负责各个用户终端以及各个服务器的数据上报，也减少了漏报和错报的情况出现。
以下述具体示例进行说明：例如，用户终端向服务器发送图片获取请求，服务器接收到用户终端发送的图片获取请求后，将该图片获取请求分配给方法A执行，监听器监听到图片获取请求由预设方法标识中包括的方法A执行，即会将该图片获取请求对应的第二业务数据上报至数据仓库。
可选的，上述监听服务器中执行业务终端发送的业务请求的目标方法的方法标识，包括：
通过服务器内目标方法上关联的注解程序(Annotation)，监听服务器中执行业务终端发送的业务请求的目标方法的方法标识。
其中，注解是能够与方法紧密耦合的程序工具，因此通过在目标方法上关联注解(即将注解与目标方法紧密耦合)，即使得在目标方法执行业务请求时，业务请求的相关信息能够迅速的被其关联的注解获取，由于不同的方法能够用来处理不同类型的业务请求，因此，只需要在能够处理需要上报的业务请求的目标方法上耦合注解，即能够准确且迅速的将相关的业务数据上报至数据仓库。
由于业务数据的变化通常会体现在数据库的数据变更上，因此，可以通过监听数据库的数据变化来确定业务操作。基于此，在另一些实施例中，参见图8所示，图8是根据一示例性实施例示出的另一种数据上报方法的再一种具体实例的流程图。上述S301可以包括：
S3013，监听数据库的第一数据状态；
相应的，业务数据信息包括预设特征信息，包括：第一数据状态包括以下任意一种状态：修改状态、插入状态、删除状态。
即S303可以包括：
S3033，在数据库内的数据状态满足上述任意一种状态的情况下，提取数据库内的数据状态对应的第二业务数据。
在本实施例中，通过监听数据库内的数据状态，能够得知数据库内执行了哪些操作，例如数据库中的数据发生了变化，则表明执行了对数据库的插入操作、更改操作、删除操作等操作中的一种。由于数据仓库记录数据是为了方便后续进行追溯、统计和分析的，因此在数据库中的数据状态发生变化后，则需要将发生变化的相关数据上报数据仓库进行保存。由于业务的处理最终会落到数据库层面进行执行，因此本实施例中直接对数据库进行监听，能够尽可能避免漏报的情况，保证了数据仓库内的数据完整性。
具体的，本实施例中，通过对该数据库进行监听。当数据库中的数据状态发生变化后，例如有数据出现插入、修改、删除等操作时，即会监听到这个变化从而将数据上报到数据仓库。以下述具体示例进行说明：例如，用户终端向服务器发送URI为/photo/submit/123，内容参数为{cute}的业务请求，服务器会将数据库中photoId为123的数据设置为cute，在监听到数据库中photoId为123的数据发生修改后，即会将第二业务数据{photo,submit,123，cute}上报至数据仓库。
由于部分查询类的业务请求，并不会对数据库中的数据状态造成变更，但是这部分业务情况也需要上报至数据仓库进行保存，基于此，在一些实施例中，参见图9所示，图9是根据一示例性实施例示出的另一种数据上报方法的又一种具体实例的流程图。上述S301可以包括：
S3015，监听缓存内的第二数据状态及第二数据状态对应的数据信息；这里的缓存可以包括分布式缓存(Redis)或memcache等。
相应的，业务数据信息包括预设特征信息，包括：第二数据状态包括写入状态，且写入状态对应的数据信息包括对数据库的查询记录。
即S303可以包括：
S3035，在缓存内为写入状态且写入状态对应的数据信息包括对数据库的查询记录的情况下，提取缓存内的写入状态对应的第二业务数据。
即本实施例中，会对缓存中的数据状态进行监听，在服务器对数据库进行查询后，服务器会在缓存中写入本次查询记录，表明服务器对数据库执行了查询操作，这种情况下通过对缓存进行监听，即能够发现缓存中发生了数据状态的变更，因此将该查询记录上报至数据仓库。这种方式进一步完善了数据上报流程，保证了数据仓库内保存的数据的完整性。
具体的，以下述示例进行说明：例如，用户终端向服务器发送图片查询请求，服务器会查询数据库得到一张图片信息{photoId：123}。服务器会将该图片信息{photoId：123}写入缓存(cache)。监听器在监听到缓存中新增的这张图片信息后，会生成{photo,grab,123}的第二业务数据上报数据仓库。
在本公开的再一些实施例中，上述S303可以包括：
提取业务数据信息中的第二关键字段；
对第二关键字段进行格式调整，得到第二业务数据。
本实施例中，在进行数据上报之前，会对第二业务数据进行处理，由于第二业务数据中可能会包含许多不需要保存至数据仓库的信息，因此，需要对第二业务数据进行关键字段提取，从而减少数据仓库内保存的数据以及提高传输效率。其中，这里的第二关键字段可以包括第二业务数据对应的业务请求的类型，例如包括用于表示图片标记的请求类型标识{photo,submit}；或者还可以包括业务请求或请求响应的对象，例如进行标记的对象图片的名称{123}；或者还可以包括业务请求的内容，例如对图片进行的标记内容{cute}等。此外，第二关键字段还可以包括其他内容，本公开对此不作限定。另外，在得到第二关键字段后，还需要对第二关键字段进行格式调整，将其构造为数据仓库规定的标准数据格式后，再进行上报，从而保证了第二关键字段能够保存至数据仓库内。
基于本公开提供的上述数据上报方法以及相同的发明构思，本公开还提供了一种数据上报装置401。图10是根据一示例性实施例示出的一种数据上报装置框图。参照图10，该装置包括识别模块4011，第一数据提取模块4013和第一上报模块4015。
识别模块4011，被配置为执行响应于业务终端与服务器之间的传输数据，识别传输数据中是否包含预设标识信息；其中，传输数据包括业务终端发送的业务请求或服务器返回的请求响应；
第一数据提取模块4013，被配置为执行在传输数据包含预设标识信息的情况下，提取传输数据中的第一业务数据；
第一上报模块4015，被配置为执行将第一业务数据上报至数据仓库。
本实施例能够获取业务终端与服务器之间的传输数据，即能够对业务终端发送给服务器的数据以及服务器返回业务终端的数据进行统一拦截，在该传输数据满足第一预设条件的情况下，表明该传输数据符合数据上报的条件，因此将该传输数据对应的第一业务数据上报至数据仓库。即本实施例能够对业务终端与服务器之间的传输数据进行统一的拦截以及统一上报，这种方式不需要由业务逻辑代码在处理业务时兼顾数据上报，可靠性更高，并且能够减少漏报或误报的情况，提高数据上报的准确性。并且本实施例不需要在各个业务终端的业务逻辑代码中分别耦合上报逻辑，而是仅需要设置一套上报逻辑即可，降低了数据上报的成本。
在一些实施例中，上述装置还可以包括：
数据获取模块，被配置为执行通过拦截器或过滤器，获取业务终端与服务器之间的传输数据。
本实施例中，直接利用拦截器和过滤器等原有的工具，通过对其进行功能设置并添加上报功能，即能够实现本公开中统一上报数据仓库的目的，减少了对系统的修改，简化了系统的设置过程。
在另一些实施例中，上述识别模块4011具体被配置为执行：在业务终端发送的业务请求达到服务器之前，响应于业务终端发送的业务请求，识别业务请求中是否包含预设标识信息。
本实施例中，业务终端与服务器之间的传输数据指的是业务终端发送的业务请求，根据业务终端发送的业务请求，即能够直接了解到业务终端所执行的业务情况，因此在数据仓库内记录业务请求，即能够方便后续追溯业务处理情况。
在又一些实施例中，上述识别模块4011具体被配置为执行：在服务器返回的请求响应达到业务终端之前，响应于服器返回的请求响应，识别请求响应中是否包含预设标识信息。
本实施例中，业务终端与服务器之间的传输数据指的是服务器返回至业务终端的请求响应，该请求响应内包括业务终端所请求的内容，例如，业务终端发出的图片获取请求，则服务器返回的请求响应内可以包括图片的信息或者图片的保存地址或链接等，即业务终端根据服务器返回的请求响应，即能够得到自身想要得到的数据。因此，在数据仓库内记录请求响应，能够反映服务器所能提供的服务，也能够间接反映业务终端执行的业务情况。
在其他一些实施例中，上述第一数据提取模块4013被配置为包括：
第一提取单元，被配置为执行提取传输数据中的第一关键字段；
第一调整单元，被配置为执行对第一关键字段进行格式调整，得到第一业务数据。
本实施例中，在进行数据上报之前，会对传输数据进行处理，由于传输数据中可能会包含许多不需要保存至数据仓库的信息，因此，需要对传输数据进行关键字段提取，从而减少数据仓库内保存的数据以及提高传输效率。另外，在得到第一关键字段后，还需要对第一关键字段进行格式调整，将其构造为数据仓库规定的标准数据格式后，再进行上报，从而保证了第一关键字段能够保存至数据仓库内。
基于本公开提供的上述数据上报方法以及相同的发明构思，本公开还提供了另一种数据上报装置501。图11是根据一示例性实施例示出的另一种数据上报装置框图。参照图11，该装置包括监听模块5011，第二数据提取模块5013和第二上报模块5015。
监听模块5011，被配置为执行监听目标设备对应的业务数据信息；目标设备包括以下至少一种：服务器、数据库和缓存；
第二数据提取模块5013，被配置为执行在业务数据信息包括预设特征信息的情况下，提取业务数据信息中的第二业务数据；
第二上报模块5015，被配置为执行将第二业务数据上报至数据仓库。
在本实施中，不需要用户终端内的业务逻辑代码来确定哪些内容需要上报至数据仓库，而是通过对目标设备进行监听，在目标设备对应的业务数据信息包括预设特征信息的情况下，则将业务数据信息对应的第二业务数据上报至数据仓库。本实施例能够对业务终端与服务器之间的传输数据进行统一的拦截以及统一上报，这种方式不需要由业务逻辑代码在处理业务时兼顾数据上报，可靠性更高，并且能够减少漏报或误报的情况，提高数据上报的准确性。并且本实施例不需要在各个业务终端的业务逻辑代码中分别耦合上报逻辑，而是仅需要设置一套上报逻辑即可，降低了数据上报的成本。
在一些实施例中，上述监听模块5011被配置为具体执行：
监听服务器中执行业务终端发送的业务请求的目标方法的方法标识；相应的，业务数据信息包括预设特征信息，包括：目标方法的方法标识包括预设方法标识。
本实施例中，通过对服务器中的方法进行监听，若监听到由目标方法进行执行的业务请求后，则将该业务请求相关的业务数据上报至数据仓库。这种方式中用户终端的业务逻辑代码仅需要关注业务请求发送，数据上报装置501仅需要关注数据的执行对象以及进行数据上报，简化了系统中各部分的分工，通过由专门的部分负责各个用户终端以及各个服务器的数据上报，也减少了漏报和错报的情况出现。
在另一些实施例中，上述监听模块5011被配置为具体执行：通过服务器内目标方法上关联的注解程序，监听服务器中执行业务终端发送的业务请求的目标方法的方法标识。
其中，注解是能够与方法紧密耦合的程序工具，因此通过在目标方法上关联注解(即将注解与目标方法紧密耦合)，即使得在目标方法执行业务请求时，业务请求的相关信息能够迅速的被其关联的注解获取，由于不同的方法能够用来处理不同类型的业务请求，因此，只需要在能够处理需要上报的业务请求的目标方法上耦合注解，即能够准确且迅速的将相关的业务数据上报至数据仓库。
在又一些实施例中，上述监听模块5011被配置为具体执行：监听数据库的第一数据状态；相应的，业务数据信息包括预设特征信息，包括：第一数据状态包括以下任意一种状态：修改状态、插入状态、删除状态。
在本实施例中，通过监听数据库内的数据状态，能够得知数据库内执行了哪些操作，例如数据库中的数据发生了变化，则表明执行了对数据库的插入操作、修改操作、删除操作等操作中的一种。由于数据仓库记录数据是为了方便后续进行追溯、统计和分析的，因此在数据库中的数据状态发生变化后，则需要将发生变化的相关数据上报数据仓库进行保存。由于业务的处理最终会落到数据库层面进行执行，因此本实施例中直接对数据库进行监听，能够尽可能避免漏报的情况，保证了数据仓库内的数据完整性。
可选的，上述监听模块5011被配置为具体执行：监听缓存内的第二数据状态及第二数据状态对应的数据信息；相应的，业务数据信息包括预设特征信息，包括：第二数据状态包括写入状态，且写入状态对应的数据信息包括对数据库的查询记录。
本实施例中，会对缓存中的数据状态进行监听，在服务器对数据库进行查询后，服务器会在缓存中写入本次查询记录，表明服务器对数据库执行了查询操作，这种情况下通过对缓存进行监听，即能够发现缓存中发生了数据状态的变更，因此将该查询记录上报至数据仓库。这种方式进一步完善了数据上报流程，保证了数据仓库内保存的数据的完整性。
在其他一些实施例中，上述第二数据提取模块5013被配置为包括：
第二提取单元，被配置为执行提取业务数据信息中的第二关键字段；
第二调整单元，被配置为执行对第二关键字段进行格式调整，得到第二业务数据。
本实施例中，在进行数据上报之前，会对业务数据数据进行处理，由于业务数据数据中可能会包含许多不需要保存至数据仓库的信息，因此，需要对业务数据数据进行关键字段提取，从而减少数据仓库内保存的数据以及提高传输效率。另外，在得到第二关键字段后，还需要对第二关键字段进行格式调整，将其构造为数据仓库规定的标准数据格式后，再进行上报，从而保证了第二关键字段能够保存至数据仓库内。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图12是根据一示例性实施例示出的数据上报设备的框图。参照图12，该数据上报设备601包括处理组件6011，其进一步包括一个或多个处理器，以及由存储器6013所代表的存储器6013资源，用于存储可由处理组件6011的执行的指令，例如应用程序。存储器6013中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件6011被配置为执行指令，以执行上述任一实施例所述的数据上报方法。
该数据上报设备601还可以包括一个电源组件6015被配置为执行数据上报设备601的电源管理，一个有线或无线网络接口6017被配置为将数据上报设备601连接到网络，和一个输入输出(I/O)接口6019。数据上报设备601可以操作基于存储在存储器6013的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
在本公开一些实施例中，还提供了一种存储介质，当该存储介质中的指令由数据上报设备的处理器执行时，使得数据上报设备能够执行上述任一实施例所述的数据上报方法。
可选地，该存储介质可以是非临时性计算机可读存储介质，示例性的，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在本公开一些实施例中，还提供了一种计算机程序产品，当计算机程序产品中的指令由数据上报设备的处理器执行时，使得数据上报设备能够执行上述任一实施例所述的数据上报方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种数据上报方法，其特征在于，包括：
响应于业务终端与服务器之间的传输数据，识别所述传输数据中是否包含预设标识信息；其中，所述传输数据包括所述业务终端发送的业务请求或所述服务器返回的请求响应；
在所述传输数据包含所述预设标识信息的情况下，提取所述传输数据中的第一业务数据；
将所述第一业务数据上报至数据仓库。
2.根据权利要求1所述的数据上报方法，其特征在于，所述响应于业务终端与服务器之间的传输数据，识别所述传输数据中是否包含预设标识信息，包括：
在所述业务终端发送的业务请求达到所述服务器之前，响应于所述业务终端发送的业务请求，识别所述业务请求中是否包含所述预设标识信息。
3.根据权利要求1所述的数据上报方法，其特征在于，所述响应于业务终端与服务器之间的传输数据，识别所述传输数据中是否包含预设标识信息，包括：
在所述服务器返回的请求响应达到所述业务终端之前，响应于所述服器返回的请求响应，识别所述请求响应中是否包含所述预设标识信息。
4.一种数据上报方法，其特征在于，包括：
监听目标设备对应的业务数据信息；所述目标设备包括以下至少一种：服务器、数据库和缓存；
在所述业务数据信息包括预设特征信息的情况下，提取所述业务数据信息中的第二业务数据；
将所述第二业务数据上报至数据仓库。
5.根据权利要求4所述的数据上报方法，其特征在于，所述监听目标设备对应的业务数据信息，包括：
监听所述服务器中执行业务终端发送的业务请求的目标方法的方法标识；
相应的，所述业务数据信息包括所述预设特征信息，包括：所述目标方法的方法标识包括预设方法标识。
6.根据权利要求5所述的数据上报方法，其特征在于，所述监听目标设备对应的业务数据信息，包括：
监听所述数据库的第一数据状态；
相应的，所述业务数据信息包括所述预设特征信息，包括：所述第一数据状态包括以下任意一种状态：修改状态、插入状态、删除状态。
7.根据权利要求6所述的数据上报方法，其特征在于，所述监听目标设备对应的业务数据信息，包括：
监听所述缓存内的第二数据状态及所述第二数据状态对应的数据信息；
相应的，所述业务数据信息包括所述预设特征信息，包括：所述第二数据状态包括写入状态，且所述写入状态对应的数据信息包括对所述数据库的查询记录。
8.一种数据上报装置，其特征在于，包括：
识别模块，被配置为执行响应于业务终端与服务器之间的传输数据，识别所述传输数据中是否包含预设标识信息；其中，所述传输数据包括所述业务终端发送的业务请求或所述服务器返回的请求响应；
第一数据提取模块，被配置为执行在所述传输数据包含所述预设标识信息的情况下，提取所述传输数据中的第一业务数据；
第一上报模块，被配置为执行将所述第一业务数据上报至数据仓库。
9.一种数据上报装置，其特征在于，包括：
监听模块，被配置为执行监听目标设备对应的业务数据信息；所述目标设备包括以下至少一种：服务器、数据库和缓存；
第二数据提取模块，被配置为执行在所述业务数据信息包括预设特征信息的情况下，提取所述业务数据信息中的第二业务数据；
第二上报模块，被配置为执行将所述第二业务数据上报至数据仓库。
10.一种数据上报设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的数据上报方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010862665.9A CN112104707A (zh) | 2020-08-25 | 2020-08-25 | 数据上报方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010862665.9A CN112104707A (zh) | 2020-08-25 | 2020-08-25 | 数据上报方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112104707A true CN112104707A (zh) | 2020-12-18 |
Family
ID=73753390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010862665.9A Pending CN112104707A (zh) | 2020-08-25 | 2020-08-25 | 数据上报方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112104707A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105141505A (zh) * | 2015-08-25 | 2015-12-09 | 北京京东尚科信息技术有限公司 | 即时通信系统中的消息传递跟踪方法和设备 |
| CN108810098A (zh) * | 2018-05-22 | 2018-11-13 | 腾讯科技（深圳）有限公司 | 一种数据上报方法、装置、终端及存储介质 |
| CN110263070A (zh) * | 2019-05-30 | 2019-09-20 | 北京创鑫旅程网络技术有限公司 | 事件上报方法及装置 |
| CN110635938A (zh) * | 2019-08-19 | 2019-12-31 | 腾讯科技（深圳）有限公司 | 一种监控方法、系统、设备及介质 |
| CN110674025A (zh) * | 2018-07-03 | 2020-01-10 | 百度在线网络技术（北京）有限公司 | 交互行为监测方法、装置以及计算机设备 |
-
2020
- 2020-08-25 CN CN202010862665.9A patent/CN112104707A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105141505A (zh) * | 2015-08-25 | 2015-12-09 | 北京京东尚科信息技术有限公司 | 即时通信系统中的消息传递跟踪方法和设备 |
| CN108810098A (zh) * | 2018-05-22 | 2018-11-13 | 腾讯科技（深圳）有限公司 | 一种数据上报方法、装置、终端及存储介质 |
| CN110674025A (zh) * | 2018-07-03 | 2020-01-10 | 百度在线网络技术（北京）有限公司 | 交互行为监测方法、装置以及计算机设备 |
| CN110263070A (zh) * | 2019-05-30 | 2019-09-20 | 北京创鑫旅程网络技术有限公司 | 事件上报方法及装置 |
| CN110635938A (zh) * | 2019-08-19 | 2019-12-31 | 腾讯科技（深圳）有限公司 | 一种监控方法、系统、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107370806B (zh) | Http状态码监控方法、装置、存储介质和电子设备 | |
| CN109766253B (zh) | 一种性能数据发送方法、装置、计算机设备及存储介质 | |
| CN110162408B (zh) | 一种数据处理方法、装置、设备和机器可读介质 | |
| KR20150076230A (ko) | 응용 프로그램의 관리방법, 장치, 서버, 단말기기, 프로그램 및 기록매체 | |
| CN107085549B (zh) | 故障信息生成的方法和装置 | |
| CN108228322B (zh) | 一种分布式链路跟踪、分析方法及服务器、全局调度器 | |
| CN106713011B (zh) | 一种获取测试数据的方法与系统 | |
| CN111367760A (zh) | 日志采集方法及装置、计算机设备、存储介质 | |
| CN113704790A (zh) | 一种异常日志信息汇总方法及计算机设备 | |
| CN113448985A (zh) | 一种api接口生成方法、调用方法、装置及电子设备 | |
| CN116204438A (zh) | 测试用例生成方法、自动化测试方法和相关装置 | |
| CN114153703A (zh) | 微服务的异常定位方法、装置、电子设备和程序产品 | |
| CN116069838A (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
| CN117892348A (zh) | 应用程序接口资产的管理方法、装置及电子设备 | |
| CN113360413A (zh) | 一种代码测试方法及装置 | |
| CN117271584A (zh) | 数据处理方法及装置、计算机可读存储介质和电子设备 | |
| CN114518984A (zh) | 一种埋点信息的上报方法、装置、存储介质及终端设备 | |
| CN116126808A (zh) | 行为日志记录方法、装置、计算机设备和存储介质 | |
| CN114371969B (zh) | 一种页面性能测试方法、装置、电子设备及存储介质 | |
| CN115934537A (zh) | 接口测试工具生成方法、装置、设备、介质及产品 | |
| CN112104707A (zh) | 数据上报方法、装置及设备 | |
| CN112162954B (zh) | 用户操作日志生成、路径的定位方法、装置、设备及介质 | |
| CN114610689A (zh) | 一种分布式环境中请求日志的记录和分析方法 | |
| CN110287428B (zh) | 一种url数据挖掘方法及系统 | |
| CN111913789A (zh) | 一种支持微服务架构的程序跟踪方法及设备、介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201218 |