CN112035415A - 针对用户访问数据的处理系统、方法、设备及存储介质 - Google Patents
针对用户访问数据的处理系统、方法、设备及存储介质 Download PDFInfo
- Publication number
- CN112035415A CN112035415A CN202010889732.6A CN202010889732A CN112035415A CN 112035415 A CN112035415 A CN 112035415A CN 202010889732 A CN202010889732 A CN 202010889732A CN 112035415 A CN112035415 A CN 112035415A
- Authority
- CN
- China
- Prior art keywords
- user access
- data
- access data
- storage system
- object storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000008859 change Effects 0.000 claims description 41
- 238000004891 communication Methods 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 description 10
- 230000005856 abnormality Effects 0.000 description 9
- 238000003672 processing method Methods 0.000 description 8
- 238000012163 sequencing technique Methods 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/178—Techniques for file synchronisation in file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明实施例提供了一种针对用户访问数据的处理系统、方法、设备及存储介质，应用于云计算技术领域。其中，处理系统包括：日志采集装置和数据处理装置，日志采集装置部署于对象存储系统包括的服务器中；日志采集装置，用于按照预设时间间隔，获取预设时间间隔对应的时间段内的日志记录，日志记录是用户访问对象存储系统时对象存储系统中的服务器记录的；根据日志记录，统计预设时间间隔对应的时间段内，针对对象存储系统的用户访问数据；数据处理装置，用于根据用户访问数据确定业务运行状态，其中，业务运行状态包括对象存储系统所运行的业务的运行状态。如此，能够扩展用户访问数据的应用。
Description
技术领域
本发明涉及云计算技术领域，特别是涉及一种针对对象存储系统的用户访问数据的处理系统、方法、设备及存储介质。
背景技术
云计算公司的对象存储产品中用户访问量特别庞大，每秒的用户访问量达到数十万甚至百万、千万。其中，对象存储产品可以理解为使用对象存储系统的产品，如设备等。
现有技术，利用离线计算的方案来统计针对对象存储产品的用户访问数据，如用户访问量，通过用户访问量进行账单结算，并通过账单向用户收取费用。其中，离线计算的方案来统计针对对象存储产品的用户访问量具体为，每隔固定时间周期，独立于服务器的外部设备从服务器中采集针对用户访问的访问数据，并将采集的访问数据离线保存，然后对离线保存的访问数据进行统计分析，以得到用户访问数据。
因为账单结算一般都是按小时、天或者按月计算的，也即间隔的时间比较长，因此，统计用户访问量的固定时间周期一般也比较长。如此使得，现有的统计用户访问量的方式仅适用于向用户收取费用这种间隔时间比较长的场景，使得用户访问量，也即使得用户访问数据的应用受限。
发明内容
本发明实施例的目的在于提供一种针对对象存储系统的用户访问数据的处理系统、方法、设备及存储介质，以扩展用户访问数据的应用。具体技术方案如下：
第一方面，本发明实施例提供了一种针对对象存储系统的用户访问数据的处理系统，包括：日志采集装置和数据处理装置，所述日志采集装置部署于所述对象存储系统包括的服务器中；
所述日志采集装置，用于按照预设时间间隔，获取所述预设时间间隔对应的时间段内的日志记录，所述日志记录是用户访问对象存储系统时所述对象存储系统中的服务器记录的；根据所述日志记录，统计所述预设时间间隔对应的时间段内，针对所述对象存储系统的用户访问数据；
所述数据处理装置，用于根据所述用户访问数据确定业务运行状态，其中，所述业务运行状态包括所述对象存储系统所运行的业务的运行状态。
可选的，所述数据处理装置包括存储模块和处理模块；
所述存储模块，用于保存所述预设时间间隔对应的时间段内，针对所述对象存储系统的用户访问数据；
所述处理模块，用于根据所述用户访问数据确定业务运行状态。
可选的，所述数据处理装置还包括：数据转发模块，用于接收所述日志采集装置发送的所述用户访问数据，并将所述用户访问数据转发至所述存储模块。
可选的，所述数据处理装置还包括：数据同步模块和时序数据库；
所述数据同步模块，用于从所述存储模块中获取所述用户访问数据，并将所述用户访问数据同步至所述时序数据库。
可选的，所述存储模块，还用于对多个用户的所述用户访问数据进行排序，得到排序数据，所述排序数据包括访问量排列在前的预设数量个用户的用户访问数据。
可选的，所述数据同步模块，具体用于从所述存储模块中获取所述排序数据，并将所述排序数据同步至所述时序数据库。
可选的，所述处理模块包括：前端子模块；
所述前端子模块，用于获取访问量排列在前的预设数量个用户的用户访问数据；绘制用户访问数据变化曲线，针对所述预设数量个用户中各个用户，所述用户访问数据变化曲线用于表示所述用户在不同时间段的用户访问数据的变化情况；根据所述访问量排列在前的预设数量个用户的用户访问数据确定业务运行状态。
可选的，所述前端子模块，具体用于绘制用户访问数据变化曲线，针对所述预设数量个用户中各个用户，所述用户访问数据变化曲线用于表示所述用户在不同时间段的用户访问数据的变化情况；根据所述用户访问数据变化曲线确定所述业务运行状态。
可选的，所述存储模块包括多个数据节点，且各个所述数据节点均存在对应的从节点，所述从节点用于当所述数据节点发生故障时替代所述数据节点。
第二方面，本发明实施例提供了一种针对对象存储系统的用户访问数据的处理方法，所述方法包括：
按照预设时间间隔，获取所述预设时间间隔对应的时间段内的日志记录，所述日志记录是用户访问对象存储系统时所述对象存储系统中的服务器记录的；
根据所述日志记录，统计所述预设时间间隔对应的时间段内，针对所述对象存储系统的用户访问数据，使得根据所述用户访问数据确定业务运行状态，其中，所述业务运行状态包括所述对象存储系统所运行的业务的运行状态。
第三方面，本发明实施例提供了一种针对对象存储系统的用户访问数据的处理方法，所述方法包括：
获得针对对象存储系统的用户访问数据，所述用户访问数据是按照预设时间间隔，获取所述预设时间间隔对应的时间段内的日志记录，并根据所述日志记录，统计得到的所述预设时间间隔对应的时间段内，针对所述对象存储系统的用户访问数据；其中，所述日志记录是用户访问所述对象存储系统时所述对象存储系统中的服务器记录的；
根据所述用户访问数据确定业务运行状态，其中，所述业务运行状态包括所述对象存储系统所运行的业务的运行状态。
在发明实施的另一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第二方面所述的方法步骤。
在发明实施的另一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第三方面所述的方法步骤。
在发明实施的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第二方面所述的方法步骤。
在发明实施的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第三方面所述的方法步骤。
本发明实施例有益效果：
本发明实施例提供的针对对象存储系统的用户访问数据的处理系统、方法、设备及存储介质，可以按照预设时间间隔，获取预设时间间隔对应的时间段内的日志记录，根据日志记录，统计预设时间间隔对应的时间段内，针对对象存储系统的用户访问数据；根据用户访问数据确定业务运行状态。本发明实施例中，可以通过服务器中部署的日志采集装置，实时地获取日志记录，并根据日志记录统计得到用户访问数据，如此能够根据用户访问数据确定业务运行状态，能够扩展用户访问数据的应用范围。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的针对对象存储系统的用户访问数据的处理系统的一种结构示意图；
图2为本发明实施例中的用户访问入口示意图；
图3为本发明实施例提供的针对对象存储系统的用户访问数据的处理系统的另一种结构示意图；
图4为本发明实施例提供的针对对象存储系统的用户访问数据的处理系统的又一种结构示意图；
图5为本发明实施例提供的针对对象存储系统的用户访问数据的处理系统的再一种结构示意图；
图6为本发明实施例提供的针对对象存储系统的用户访问数据的处理系统的又再一种结构示意图；
图7为本发明一种可选的实施例中处理系统的示意图；
图8为本发明实施例中用户访问数据变化曲线示意图；
图9为本发明实施例提供的针对对象存储系统的用户访问数据的处理方法的一种流程示意图；
图10为本发明实施例中针对对象存储系统的用户访问数据的处理方法的另一种流程示意图；
图11为本发明实施例提供的一种电子设备的结构示意图；
图12为本发明实施例提供的另一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有的统计周期比较长的统计用户访问量的方式，对于账单计算以向用户收取费用这种间隔比较长的场景来讲不存在问题，但是不适用于业务运维。因为业务运维要求尽可能快速获取用户访问数据，尽可能地从多维度获取用户访问数据从而对业务运行状态进行监控，如判断业务运行状态是否正常等。而现有的统计用户访问量的方式，一方面，统计周期比较长，一般会延迟较长时间，如数分钟才能得到最终结果，会使得不能及时得到用户访问量；另一方面，现有方式中统计用户访问量的维度比较单一，仅统计各个用户拥有的各个存储空间(bucket)中上传和下载的请求量，没有其他维度的数据，如此使得得到的数据不够全面，使得业务出现问题时，无法根据得到的用户访问量准确定位问题，以及定位问题产生的原因等。
为了扩展用户访问数据的应用范围，实现可以根据用户访问数据进行业务运维，如实现根据用户访问数据确定业务运行状态，本发明实施例提供了一种针对对象存储系统的用户访问数据的处理系统，下面结合实施例进行详细描述。
本发明实施例提供了一种针对对象存储系统的用户访问数据的处理系统，如图1所示，可以包括：日志采集装置101和数据处理装置102，日志采集装置101部署于对象存储系统包括的服务器中；
日志采集装置101，用于按照预设时间间隔，获取预设时间间隔对应的时间段内的日志记录，日志记录是用户访问对象存储系统时对象存储系统中的服务器记录的；根据日志记录，统计预设时间间隔对应的时间段内，针对对象存储系统的用户访问数据；
数据处理装置102，用于根据用户访问数据确定业务运行状态，其中，业务运行状态包括对象存储系统所运行的业务的运行状态。
本发明实施例中，可以按照预设时间间隔，获取预设时间间隔对应的时间段内的日志记录，根据日志记录，统计预设时间间隔对应的时间段内，针对对象存储系统的用户访问数据；根据用户访问数据确定业务运行状态。本发明实施例中，可以通过服务器中部署的日志采集装置，实时地获取日志记录，并根据日志记录统计得到用户访问数据，如此能够根据用户访问数据确定业务运行状态，能够扩展用户访问数据的应用范围。
参照图1，本发明实施例提供的针对对象存储系统的用户访问数据的处理系统，可以包括：日志采集装置101和数据处理装置102，日志采集装置101部署于对象存储系统包括的服务器中。
日志采集装置101，用于按照预设时间间隔，获取预设时间间隔对应的时间段内的日志记录，日志记录是用户访问对象存储系统时对象存储系统中的服务器记录的；根据日志记录，统计预设时间间隔对应的时间段内，针对对象存储系统的用户访问数据。
日志采集装置101按照预设时间间隔，周期性获取当前预设时间间隔时间段内的日志记录。其中，预设时间间隔可以小于预设值，现有的统计周期一般是以小时、天或者月为单位，预设值可以是现有的统计周期，如一天、一小时或者一个月等等。本发明实施例中，为了能够尽快地得到用户访问数据，及时地获得用户访问数据，预设时间间隔可以以秒为单位，如1秒、2秒、10秒，等等。
根据日志记录，从多个维度统计预设时间间隔对应的时间段内，针对对象存储系统的用户访问数据。其中，多个维度可以包括：时间维度、用户维度、存储空间维度、请求类型维度、请求方式维度、请求入口维度、结果维度中的至少一种。
具体地，从多个维度统计预设时间间隔对应的时间段内，针对对象存储系统的用户访问数据可以包括：按照日志记录中所包括的不同字段，针对各个字段，统计预设时间间隔对应的时间段内包括相同字段内容的日志记录的数量，并将该数量作为针对该字段的用户访问量，用户访问数量可以包括各个字段以及各个字段对应的用户访问量。
一个字段可以理解为数据的一个维度，本发明实施例中按照不同的字段统计用户访问数据，可以实现从多个维度统计用户访问数据。
日志记录中包括的字段可以包括用户名、用户请求类型、用户请求状态以及请求方法中的至少一种。
其中，应用对象存储系统的云计算对象存储产品中的服务器数量特别庞大，数以万计，需要采集所有服务器上的所有日志记录。用户请求类型主要包括上传和下载，会通过外网或内网不同入口访问对象存储系统，其中外网入口主要面向公网访问用户，公网包括电信、联通、移动等多种运营商，内网入口主要面向云计算上云主机用户，以及通过专线访问的企业用户，用户访问入口示意图如图2所示。
而用户采用超文本传输协议(HyperText Transfer Protocol，HTTP协议)访问对象存储系统，针对用户访问的每个请求都会返回一个状态码，状态码描述了响应结果，实时统计每个用户的各个状态码的数量，可以更精准地判断用户请求状态，比如状态码是403时，说明是用户侧没有访问权限；出现500、502状态码时，说明服务处理异常。对象存储系统中使用比较广泛的状态码如下表1所示：
表1
| 状态码 | 描述 |
| 200 | 请求成功 |
| 302 | 临时跳转 |
| 400 | 请求参数错误 |
| 403 | 拒绝访问 |
| 404 | 访问的资源不存在 |
| 500 | 内部服务错误 |
| 502 | 返回错误 |
对象存储系统的请求方法描述了当前用户的请求行为，主要包括增、删、改和/或查。而对象存储系统中，一般会采用不同服务模块实现不同请求方法的功能。统计各个请求方法的数量，可以具体了解线上不同服务模块的运行状态，主要的请求方法如下表2所示：
表2
| 方法名称 | 含义 |
| REST.HEAD.OBJECT | 获取Object(对象)元信息 |
| REST.GET.OBJECT | 下载Object数据 |
| REST.PUT.OBJECT | 上传Object数据 |
| REST.DELETE.OBJECT | 删除Object数据 |
| REST.HEAD.BUCKET | 判断存储空间是否存在 |
| REST.GET.BUCKET | 罗列存储空间中的Object |
| REST.PUT.BUCKET | 创建存储空间 |
| REST.DELETE.BUCKET | 删除存储空间 |
一种具体的实施例中，日志记录格式如下，其中，每个字段之间采用空格隔开：
{时间用户名bucket名称源(互联网协议(Internet Protocol，IP)请求方法请求通用资源标志符(Uniform Resource Identifier,URI)线路类型结果状态码耗时后端服务器地址}。
可以分别针对时间、用户名、bucket名称、源IP、请求方法、请求URI线路类型、结果状态码、耗时和/或后端服务器地址多个字段，针对各个字段，统计预设时间间隔对应的时间段内包括相同字段内容的日志记录的数量。
下面以时间字段为例进行详细说明：
统计时间字段对应的字段内容相同，即时间相同的日志记录的数量，该数量即可以理解为时间字段对应的用户访问量，时间字段以及时间字段对应的用户访问量可以组成时间字段对应的用户访问数据。
数据处理装置102，用于根据用户访问数据确定业务运行状态，其中，业务运行状态包括对象存储系统所运行的业务的运行状态。
可以确定不同时间段对应的用户访问数据的变化趋势；根据变化趋势确定业务运行状态。
具体地，可以根据变化趋势确定业务是否运行异常，且当确定业务运行异常时，确定产生异常的原因。
本发明实施例中，可以按照预设时间间隔，获取预设时间间隔对应的时间段内的日志记录，根据日志记录，统计预设时间间隔对应的时间段内，针对对象存储系统的用户访问数据；根据用户访问数据确定业务运行状态。本发明实施例中，可以通过服务器中部署的日志采集装置，实时地获取日志记录，并根据日志记录统计得到用户访问数据，如此能够根据用户访问数据确定业务运行状态，能够扩展用户访问数据的应用范围。
一种可实现方式中，可以对多个用户分别在预设时间间隔对应的时间段内，针对对象存储系统的用户访问数据进行排序；从排序结果中获取访问量排列在前的预设数量个用户的用户访问数据；绘制用户访问数据变化曲线，针对预设数量个用户中各个用户，用户访问数据变化曲线用于表示用户在不同时间段的用户访问数据的变化情况。如此，可以直观地、快速地了解业务运行状态。
一种可选的实施例中，如图3所示，数据处理装置102包括存储模块201和处理模块202。
存储模块201，用于保存预设时间间隔对应的时间段内，针对对象存储系统的用户访问数据。
存储模块可以包括Redis集群，等等。
存储模块201，如Redis集群中保存的数据可以包括索引数据和用户访问数据，索引数据记录每个用户在每个时刻拥有的数据维度，数据维度可以通过上述日志记录中的字段来表示。用户访问数据保存汇总所有服务器后的结果。
一种可实现方式中，存储模块201可以包括多个数据节点，且各个数据节点均存在对应的从节点，从节点用于当数据节点发生故障时替代数据节点。如此，可以保障存储模块的高可用。
处理模块202，用于根据用户访问数据确定业务运行状态。
一种可选的实施例中，如图4所示，数据处理装置102还包括：数据转发模块203，用于接收日志采集装置101发送的用户访问数据，并将用户访问数据转发至存储模块201。
数据转发模块203，用于接收预设时间间隔对应的时间段内，针对对象存储系统的用户访问数据，并将预设时间间隔对应的时间段内，针对对象存储系统的用户访问数据转发至存储模块201，如Redis集群。
也可以理解为，数据转发模块203接收来自对象存储系统中服务器上报的数据，并将服务器上报的数据转发至存储模块201。
服务器上报的数据可以是针对该服务器，根据日志记录，统计预设时间间隔对应的时间段内，针对对象存储系统的用户访问数据，数据转发模块203或存储模块201再对多个服务器统计得到的用户访问数据进行统计分析，以得到用户访问数据。另一种可实现方式中服务器也可以将日志采集装置101获取到的日志记录上报给数据转发模块203，数据转发模块203或存储模块201再对多个服务器的日志记录进行统计分析，以得到用户访问数据。
一种可实现方式中，对象存储系统中包括多个服务器，而服务器上报的数据格式不相同，数据转发模块203可以对数据格式不同的数据进行规范化，即可以理解为统一数据格式，并将统一数据格式后的数据转发至存储模块201，如Redis集群中。
一种可选的实施例中，如图5所示，数据处理装置还包括：数据同步模块204和时序数据库205；
数据同步模块204，用于从存储模块201中获取用户访问数据，并将用户访问数据同步至时序数据库205。
数据同步模块204用相同的时间间隔从存储模块201，如Redis集群中获取用户访问数据，并将用户访问数据同步至时序数据库205。其中，相同的时间间隔即上述获取日志记录的预设时间间隔。
一种可选的实施例中，存储模块201，还用于对多个用户的用户访问数据进行排序，得到排序数据，排序数据包括访问量排列在前的预设数量个用户的用户访问数据。
数据同步模块204，具体用于从存储模块中获取排序数据，并将排序数据同步至时序数据库205。
一种可选的实施例中，如图6，处理模块202包括：前端子模块。
前端子模块，用于获取访问量排列在前的预设数量个用户的用户访问数据；绘制用户访问数据变化曲线，针对预设数量个用户中各个用户，用户访问数据变化曲线用于表示用户在不同时间段的用户访问数据的变化情况；根据访问量排列在前的预设数量个用户的用户访问数据确定业务运行状态。
前端子模块，具体用于绘制用户访问数据变化曲线，针对预设数量个用户中各个用户，用户访问数据变化曲线用于表示用户在不同时间段的用户访问数据的变化情况；根据用户访问数据变化曲线确定业务运行状态。
前端子模块可以从时序数据库205中获取用户访问数据；根据用户访问数据确定业务运行状态，其中，业务运行状态包括对象存储系统所运行的业务的运行状态。具体地，可以根据用户访问数据确定业务运行状态可以包括：确定不同时间段对应的用户访问数据的变化趋势；根据变化趋势确定业务运行状态。根据变化趋势确定业务运行状态，可以包括：根据变化趋势确定业务是否运行异常，且当确定业务运行异常时，确定产生异常的原因。
前端子模块支持快速查询topM用户访问量，以及每个用户的任意维度的用户访问数据。
其中，topM用户访问数据即访问量排列在前的预设数量个用户的用户访问数据，M为预设数量，具体地预设数据可以根据实际需求来确定，例如，可以M可以为5、10等等。
本发明实施例中，可以通过服务器中部署的日志采集装置，实时地获取日志记录，并根据日志记录统计得到用户访问数据，如此能够根据用户访问数据确定业务运行状态，能够扩展用户访问数据的应用范围，即实现及时地发现业务是否出现异常，并在出现异常时，定位产生异常的原因。
同时，相比较现有只统计了各个用户拥有的各个存储空间中上传和下载的请求量，而没有其他维度的数据所导致的统计数据维度单一问题，本发明实施例可以从多个数据维度统计用户访问数据，使得得到的用户访问数据更加全面，能够提高确定业务运行状态的准确性，如当定位业务运行异常时，可以更加准确定定位产生异常的原因。
本发明实施例中针对对象存储系统的用户访问数据的处理系统中日志采集装置、以及数据处理装置，数据处理装置包括的数据转发模块、存储模块、数据同步模块、时序数据库和前端模块，可以分布式部署，支持横向扩展，从而满足对象存储海量数据的需求。或者，也可以集群模式部署，支持横向扩容，从而满足对象存储海量数据的需求。
一种可选的实施例中，对象存储系统中可以包括多个服务器，如图7所示，服务器包括服务器1、服务器2、服务器3，……，服务器N。
各个服务器中分别部署有日志采集模块(相当于上述实施例中日志采集装置)。每个服务器中的日志采集模块采集该服务器中的日志记录，并统计统计预设时间间隔对应的时间段内，该服务器中针对对象存储系统的用户访问数据。
数据转发模块将各个服务器得到的用户访问数据转发至存储模块，如Redis集群。
Redis集群可以将多个服务器中的用户访问数据进行统计并保存，其中，Redis集群针对多个服务器的用户访问数据进行统计，与单个服务器根据日志记录统计得到服务器对应的用户访问数据的过程类似，上述实施例中已经进行了详细描述，这里不再赘述。
同时，Redis集群可以按照用户的不同，对各个用户的用户访问量进行排序，按照用户访问量从大到小的顺序进行排列，可以得到访问量排列在前的预设数量个用户的用户访问数据。
数据同步模块将Redis集群中保存的数据转发至时序数据库。
前端模块(相当于上述实施例中前端子模块)从时序数据库中获取访问量排列在前的预设数量个用户的用户访问数据；绘制用户访问数据变化曲线，针对预设数量个用户中各个用户，用户访问数据变化曲线用于表示用户在不同时间段的用户访问数据的变化情况；根据用户访问数据变化曲线确定业务运行状态。根据用户访问数据变化曲线确定业务是否运行异常，且当确定业务运行异常时，确定产生异常的原因，如此，能够实现故障检测等，降低故障对业务运行的影响等。
一种可选的实施例中，Redis集群采用簇Cluster集群模式部署。如此，Redis集群中保存的所有数据会分散存储在每个数据节点上，数据节点支持横向扩展，满足海量数据需求。
一种可选的实施例中，Redis集群包括多个数据节点，且各个数据节点均存在对应的从节点，从节点用于当数据节点发生故障时替代数据节点。
各个数据节点都存在对应的从节点，从节点实时同步主节点的数据，保证主从节点数据一致，当主节点发生故障时，可以自动将对应的从节点提升为主节点，保障Redis集群的高可用。
一种可选的实施例中，Redis集群，还用于对多个用户的用户访问数据进行排序。
数据转发模块，用于从Redis集群中获取Redis集群对多个用户的用户访问数据进行排序而得到的排序数据，并将排序数据同步至时序数据库1024，排序数据包括访问量排列在前的预设数量个用户的用户访问数据；
前端模块，用于从时序数据库中获取访问量排列在前的预设数量个用户的用户访问数据；绘制用户访问数据变化曲线，针对预设数量个用户中各个用户，用户访问数据变化曲线用于表示用户在不同时间段的用户访问数据的变化情况；根据访问量排列在前的预设数量个用户的用户访问数据确定业务运行状态。
一种可实现方式中，用户访问数据保存汇总所有服务器后的结果，可以以有序集合(zset)类型按照访问量大小逆序存储，方便前端模块快速查询topM用户访问数据。
一种可选的实施例中，前端子模块，用于绘制用户访问数据变化曲线，针对预设数量个用户中各个用户，用户访问数据变化曲线用于表示用户在不同时间段的用户访问数据的变化情况；根据用户访问数据变化曲线确定业务运行状态。
本发明实施例中，可以实时展示用户访问数据的曲线图，即用户访问数据变化曲线，曲线图可以反映同比比较结果、环比比较结果以及topM用户访问数据，同环比描述的是统计数据的增/降幅度，即某一时间段(本期)的统计结果与之前另一相同长度时间段的比较结果。同比比较结果表示的是本期与上一个同期的比较，比如今天10点到11点与昨天10点到11点比较；环比比较结果表示的是本期与上期的比较，比如今天10点到11点与今天9点到10点比较。
如此可以支持查询同比、环比以及topM用户访问数据，有助于快速了解业务运行状态，及时发现异常，定位产生异常的问题原因，减少因服务故障而带来的损失等。且通过用户访问数据的曲线图可以直观地展示用户访问数据的变化趋势，使得可以更加直观、快速地确定业务运行状态并发现异常。
一个例子中，用户访问数据变化曲线如图8所示，图8中横坐标为时间，纵坐标为单位时间内的用户访问量，也即每秒访问量，用户访问数据变化曲线可以表示用户访问量随时间的变化趋势。如图8所示，可以包括：表示存储空间1在多个时刻对应的用户访问量的变化趋势的曲线，表示存储空间2在多个时刻对应的用户访问量的变化趋势的曲线，表示存储空间3在多个时刻对应的用户访问量的变化趋势的曲线，表示存储空间4在多个时刻对应的用户访问量的变化趋势的曲线，表示存储空间5在多个时刻的对应用户访问量的变化趋势的曲线。
根据图8中曲线可以针对同一存储空间，比较该存储空间对应的不同时刻的用户访问量，也可以比较该存储空间对应的不同日期的同一时间段的用户访问量，如比较存储空间1分别在04-24这天从00:00到12:00的用户访问量和04-25这天从00:00到12:00的用户访问量，也可以比较存储空间在同一日期的不同时间段内的用户访问量，如04-27从00:00到12:00的用户访问数据，和04-27从12:00到24:00的用户访问数据，以分析存储空间1的变化趋势，进而可以根据变化趋势了解业务运行状态，发现异常等，如在某一时间点或者某一时间段用户访问量发生突变，如从5k突变到15k，则可以理解为发生突变的该时间点有可能业务运行出现了异常，可以通知业务端检测异常等等。
本发明实施例还提供了一种针对对象存储系统的用户访问数据的处理方法，可以应用于日志采集装置。如图9所示，可以包括：
S901，按照预设时间间隔，获取预设时间间隔对应的时间段内的日志记录，日志记录是用户访问对象存储系统时对象存储系统中的服务器记录的；
S902，根据日志记录，统计预设时间间隔对应的时间段内，针对对象存储系统的用户访问数据，使得根据用户访问数据确定业务运行状态，其中，业务运行状态包括对象存储系统所运行的业务的运行状态。
可选的，S902可以包括：
根据日志记录，从多个维度统计预设时间间隔对应的时间段内，针对对象存储系统的用户访问数据，使得根据从多个维度统计的预设时间间隔对应的时间段内，针对对象存储系统的用户访问数据，确定业务运行状态；
其中，多个维度包括：时间维度、用户维度、存储空间维度、请求类型维度、请求方式维度、请求入口维度、结果维度中的至少一种。
本发明实施例中，可以按照预设时间间隔，获取预设时间间隔对应的时间段内的日志记录，根据日志记录，统计预设时间间隔对应的时间段内，针对对象存储系统的用户访问数据；根据用户访问数据确定业务运行状态。本发明实施例中，可以通过服务器中部署的日志采集装置，实时地获取日志记录，并根据日志记录统计得到用户访问数据，如此能够根据用户访问数据确定业务运行状态，能够扩展用户访问数据的应用范围。
本发明实施例还提供了一种针对对象存储系统的用户访问数据的处理方法，可以应用于数据处理装置。如图10所示，可以包括：
S1001，获得针对对象存储系统的用户访问数据，用户访问数据是按照预设时间间隔，获取预设时间间隔对应的时间段内的日志记录，并根据日志记录，统计得到的预设时间间隔对应的时间段内，针对对象存储系统的用户访问数据；其中，日志记录是用户访问对象存储系统时对象存储系统中的服务器记录的；
S1002，根据用户访问数据确定业务运行状态，其中，业务运行状态包括对象存储系统所运行的业务的运行状态。
可选的，S1002可以包括：
确定不同时间段对应的用户访问数据的变化趋势；根据变化趋势确定业务运行状态。
可选的，根据变化趋势确定业务运行状态，包括：
根据变化趋势确定业务是否运行异常，且当确定业务运行异常时，确定产生异常的原因。
可选的，在S1001之后，还可以包括：
针对多个用户，展示用户在预设时间间隔对应的时间段内，针对对象存储系统的用户访问数据。
可选的，针对多个用户，展示用户在预设时间间隔对应的时间段内，针对对象存储系统的用户访问数据，包括：
对多个用户分别在预设时间间隔对应的时间段内，针对对象存储系统的用户访问数据进行排序；从排序结果中获取访问量排列在前的预设数量个用户的用户访问数据；绘制用户访问数据变化曲线，针对预设数量个用户中各个用户，用户访问数据变化曲线用于表示用户在不同时间段的用户访问数据的变化情况；
S1002可以包括：
根据用户访问数据变化曲线确定业务运行状态。
可选的，S1001可以包括：
获得从多个维度统计的预设时间间隔对应的时间段内，针对对象存储系统的用户访问数据；
S1002可以包括：
根据从多个维度统计的预设时间间隔对应的时间段内，针对对象存储系统的用户访问数据，确定业务运行状态；其中，多个维度包括：时间维度、用户维度、存储空间维度、请求类型维度、请求方式维度、请求入口维度、结果维度中的至少一种。
本发明实施例中，可以按照预设时间间隔，获取预设时间间隔对应的时间段内的日志记录，根据日志记录，统计预设时间间隔对应的时间段内，针对对象存储系统的用户访问数据；根据用户访问数据确定业务运行状态。本发明实施例中，可以通过服务器中部署的日志采集装置，实时地获取日志记录，并根据日志记录统计得到用户访问数据，如此能够根据用户访问数据确定业务运行状态，能够扩展用户访问数据的应用范围。
本发明实施例还提供了一种电子设备，如图11所示，包括处理器1101、通信接口1102、存储器1103和通信总线1104，其中，处理器1101，通信接口1102，存储器1103通过通信总线1104完成相互间的通信。
存储器1103，用于存放计算机程序；
处理器1101，用于执行存储器1103上所存放的程序时，实现上述应用于日志采集装置的针对对象存储系统的用户访问数据的处理方法的方法步骤。
本发明实施例中，可以通过服务器中部署的日志采集装置，实时地获取日志记录，并根据日志记录统计得到用户访问数据，如此能够根据用户访问数据确定业务运行状态，能够扩展用户访问数据的应用范围。
本发明实施例还提供了一种电子设备，如图12所示，包括处理器1201、通信接口1202、存储器1203和通信总线1204，其中，处理器1201，通信接口1202，存储器1203通过通信总线1204完成相互间的通信。
存储器1203，用于存放计算机程序；
处理器1201，用于执行存储器1203上所存放的程序时，实现上述应用于数据处理装置的针对对象存储系统的用户访问数据的处理方法的方法步骤。
本发明实施例中，可以通过服务器中部署的日志采集装置，实时地获取日志记录，并根据日志记录统计得到用户访问数据，如此能够根据用户访问数据确定业务运行状态，能够扩展用户访问数据的应用范围。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述应用于日志采集装置的针对对象存储系统的用户访问数据的处理方法的方法步骤。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述应用于数据处理装置的针对对象存储系统的用户访问数据的处理方法的方法步骤。
本发明实施例中，可以通过服务器中部署的日志采集装置，实时地获取日志记录，并根据日志记录统计得到用户访问数据，如此能够根据用户访问数据确定业务运行状态，能够扩展用户访问数据的应用范围。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述应用于日志采集装置的针对对象存储系统的用户访问数据的处理方法的方法步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述应用于数据处理装置的针对对象存储系统的用户访问数据的处理方法的方法步骤。
本发明实施例中，可以通过服务器中部署的日志采集装置，实时地获取日志记录，并根据日志记录统计得到用户访问数据，如此能够根据用户访问数据确定业务运行状态，能够扩展用户访问数据的应用范围。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法、电子设备、计算机可读存储介质以及计算机程序产品实施例而言，由于其基本相似于系统实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (13)
1.一种针对对象存储系统的用户访问数据的处理系统，其特征在于，包括：日志采集装置和数据处理装置，所述日志采集装置部署于所述对象存储系统包括的服务器中；
所述日志采集装置，用于按照预设时间间隔，获取所述预设时间间隔对应的时间段内的日志记录，所述日志记录是用户访问对象存储系统时所述对象存储系统中的服务器记录的；根据所述日志记录，统计所述预设时间间隔对应的时间段内，针对所述对象存储系统的用户访问数据；
所述数据处理装置，用于根据所述用户访问数据确定业务运行状态，其中，所述业务运行状态包括所述对象存储系统所运行的业务的运行状态。
2.根据权利要求1所述的系统，其特征在于，所述数据处理装置包括存储模块和处理模块；
所述存储模块，用于保存所述预设时间间隔对应的时间段内，针对所述对象存储系统的用户访问数据；
所述处理模块，用于根据所述用户访问数据确定业务运行状态。
3.根据权利要求2所述的系统，其特征在于，所述数据处理装置还包括：数据转发模块，用于接收所述日志采集装置发送的所述用户访问数据，并将所述用户访问数据转发至所述存储模块。
4.根据权利要求2所述的系统，其特征在于，所述数据处理装置还包括：数据同步模块和时序数据库；
所述数据同步模块，用于从所述存储模块中获取所述用户访问数据，并将所述用户访问数据同步至所述时序数据库。
5.根据权利要求4所述的系统，其特征在于，所述存储模块，还用于对多个用户的所述用户访问数据进行排序，得到排序数据，所述排序数据包括访问量排列在前的预设数量个用户的用户访问数据。
6.根据权利要求5所述的系统，其特征在于，所述数据同步模块，具体用于从所述存储模块中获取所述排序数据，并将所述排序数据同步至所述时序数据库。
7.根据权利要求5或6所述的系统，其特征在于，所述处理模块包括：前端子模块；
所述前端子模块，用于获取访问量排列在前的预设数量个用户的用户访问数据；绘制用户访问数据变化曲线，针对所述预设数量个用户中各个用户，所述用户访问数据变化曲线用于表示所述用户在不同时间段的用户访问数据的变化情况；根据所述访问量排列在前的预设数量个用户的用户访问数据确定业务运行状态。
8.根据权利要求7所述的系统，其特征在于，所述前端子模块，具体用于绘制用户访问数据变化曲线，针对所述预设数量个用户中各个用户，所述用户访问数据变化曲线用于表示所述用户在不同时间段的用户访问数据的变化情况；根据所述用户访问数据变化曲线确定所述业务运行状态。
9.根据权利要求2所述的系统，其特征在于，所述存储模块包括多个数据节点，且各个所述数据节点均存在对应的从节点，所述从节点用于当所述数据节点发生故障时替代所述数据节点。
10.一种针对对象存储系统的用户访问数据的处理方法，其特征在于，所述方法包括：
按照预设时间间隔，获取所述预设时间间隔对应的时间段内的日志记录，所述日志记录是用户访问对象存储系统时所述对象存储系统中的服务器记录的；
根据所述日志记录，统计所述预设时间间隔对应的时间段内，针对所述对象存储系统的用户访问数据，使得根据所述用户访问数据确定业务运行状态，其中，所述业务运行状态包括所述对象存储系统所运行的业务的运行状态。
11.一种针对对象存储系统的用户访问数据的处理方法，其特征在于，所述方法包括：
获得针对对象存储系统的用户访问数据，所述用户访问数据是按照预设时间间隔，获取所述预设时间间隔对应的时间段内的日志记录，并根据所述日志记录，统计得到的所述预设时间间隔对应的时间段内，针对所述对象存储系统的用户访问数据；其中，所述日志记录是用户访问所述对象存储系统时所述对象存储系统中的服务器记录的；
根据所述用户访问数据确定业务运行状态，其中，所述业务运行状态包括所述对象存储系统所运行的业务的运行状态。
12.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求10所述的方法步骤。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求10所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010889732.6A CN112035415A (zh) | 2020-08-28 | 2020-08-28 | 针对用户访问数据的处理系统、方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010889732.6A CN112035415A (zh) | 2020-08-28 | 2020-08-28 | 针对用户访问数据的处理系统、方法、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112035415A true CN112035415A (zh) | 2020-12-04 |
Family
ID=73587192
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010889732.6A Pending CN112035415A (zh) | 2020-08-28 | 2020-08-28 | 针对用户访问数据的处理系统、方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112035415A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112632127A (zh) * | 2020-12-29 | 2021-04-09 | 国华卫星数据科技有限公司 | 设备运行实时数据采集及时序的数据处理方法 |
| CN112685456A (zh) * | 2020-12-28 | 2021-04-20 | 江苏苏宁云计算有限公司 | 一种用户访问数据的处理方法、装置及计算机系统 |
| CN112764937A (zh) * | 2021-01-29 | 2021-05-07 | 中国平安人寿保险股份有限公司 | 访问量控制方法、装置、计算机设备及存储介质 |
| CN113190583A (zh) * | 2021-05-14 | 2021-07-30 | 华北电力大学扬中智能电气研究中心 | 一种数据采集系统、方法、电子设备及存储介质 |
| CN113419938A (zh) * | 2021-07-01 | 2021-09-21 | 中国工商银行股份有限公司 | 用户并发访问的控制方法、装置及设备 |
| CN117609248A (zh) * | 2023-12-07 | 2024-02-27 | 世纪鑫睿(北京)传媒科技有限公司 | 基于存储服务的对象存储管理方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070015782A (ko) * | 2005-08-01 | 2007-02-06 | 인터컴 소프트웨어(주) | 이질의 로그를 정형화하는 시스템 |
| WO2013190663A1 (ja) * | 2012-06-20 | 2013-12-27 | 富士通株式会社 | 管理装置およびログ採取方法 |
| CN106411639A (zh) * | 2016-09-18 | 2017-02-15 | 合网络技术（北京）有限公司 | 访问数据的监控方法及系统 |
| CN108241722A (zh) * | 2016-12-23 | 2018-07-03 | 北京金山云网络技术有限公司 | 一种数据处理系统、方法及装置 |
-
2020
- 2020-08-28 CN CN202010889732.6A patent/CN112035415A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070015782A (ko) * | 2005-08-01 | 2007-02-06 | 인터컴 소프트웨어(주) | 이질의 로그를 정형화하는 시스템 |
| WO2013190663A1 (ja) * | 2012-06-20 | 2013-12-27 | 富士通株式会社 | 管理装置およびログ採取方法 |
| CN106411639A (zh) * | 2016-09-18 | 2017-02-15 | 合网络技术（北京）有限公司 | 访问数据的监控方法及系统 |
| CN108241722A (zh) * | 2016-12-23 | 2018-07-03 | 北京金山云网络技术有限公司 | 一种数据处理系统、方法及装置 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112685456A (zh) * | 2020-12-28 | 2021-04-20 | 江苏苏宁云计算有限公司 | 一种用户访问数据的处理方法、装置及计算机系统 |
| CN112632127A (zh) * | 2020-12-29 | 2021-04-09 | 国华卫星数据科技有限公司 | 设备运行实时数据采集及时序的数据处理方法 |
| CN112764937A (zh) * | 2021-01-29 | 2021-05-07 | 中国平安人寿保险股份有限公司 | 访问量控制方法、装置、计算机设备及存储介质 |
| CN112764937B (zh) * | 2021-01-29 | 2022-04-15 | 中国平安人寿保险股份有限公司 | 访问量控制方法、装置、计算机设备及存储介质 |
| CN113190583A (zh) * | 2021-05-14 | 2021-07-30 | 华北电力大学扬中智能电气研究中心 | 一种数据采集系统、方法、电子设备及存储介质 |
| CN113190583B (zh) * | 2021-05-14 | 2024-02-20 | 长春理工大学 | 一种数据采集系统、方法、电子设备及存储介质 |
| CN113419938A (zh) * | 2021-07-01 | 2021-09-21 | 中国工商银行股份有限公司 | 用户并发访问的控制方法、装置及设备 |
| CN117609248A (zh) * | 2023-12-07 | 2024-02-27 | 世纪鑫睿(北京)传媒科技有限公司 | 基于存储服务的对象存储管理方法 |
| CN117609248B (zh) * | 2023-12-07 | 2024-05-28 | 世纪鑫睿(北京)传媒科技有限公司 | 基于存储服务的对象存储管理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112035415A (zh) | 针对用户访问数据的处理系统、方法、设备及存储介质 | |
| US10664837B2 (en) | Method and system for real-time, load-driven multidimensional and hierarchical classification of monitored transaction executions for visualization and analysis tasks like statistical anomaly detection | |
| US7783605B2 (en) | Calculating cluster availability | |
| CN107748790B (zh) | 一种线上服务系统、数据加载方法、装置及设备 | |
| JP6823265B2 (ja) | 分析装置、分析システム、分析方法および分析プログラム | |
| US20210056073A1 (en) | Block data storage system in an event historian | |
| CN112527783B (zh) | 一种基于Hadoop的数据质量探查系统 | |
| WO2015136624A1 (ja) | アプリケーション性能監視方法および装置 | |
| CN108366012B (zh) | 一种社交关系建立方法、装置及电子设备 | |
| CN111061588A (zh) | 一种定位数据库异常来源的方法及装置 | |
| CN111258819A (zh) | MySQL数据库备份文件的数据获取方法、装置和系统 | |
| US10997171B2 (en) | Database performance analysis based on a random archive | |
| TWI757169B (zh) | 用於實時分析虛擬伺服器記錄的電腦實施系統以及方法 | |
| CN112529632B (zh) | 基于流式引擎的计费方法、装置、系统、介质与设备 | |
| CN109145109B (zh) | 基于社交网络的用户群体消息传播异常分析方法及装置 | |
| CN113010494A (zh) | 一种数据库审计方法、装置及数据库代理服务器 | |
| US9645877B2 (en) | Monitoring apparatus, monitoring method, and recording medium | |
| CN112800016A (zh) | 一种日志数据分类排序方法及装置 | |
| CN108880883B (zh) | 一种基于主被动数据的互联网接入网站数量的计算方法 | |
| US11797366B1 (en) | Identifying a root cause of an error | |
| CN117131059A (zh) | 报表数据处理方法、装置、设备及存储介质 | |
| CN114531361A (zh) | 一种分布式系统的服务拓扑分析方法、装置及存储介质 | |
| CN113656247A (zh) | 一种服务监控方法、装置、电子设备及可读存储介质 | |
| JP6926646B2 (ja) | 事業者間一括サービス管理装置および事業者間一括サービス管理方法 | |
| CN109508318B (zh) | 一种存储量统计方法、装置、电子设备和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |