CN114676127A - 一种服务器业务的分析方法、装置、介质及电子设备 - Google Patents
一种服务器业务的分析方法、装置、介质及电子设备 Download PDFInfo
- Publication number
- CN114676127A CN114676127A CN202011551263.3A CN202011551263A CN114676127A CN 114676127 A CN114676127 A CN 114676127A CN 202011551263 A CN202011551263 A CN 202011551263A CN 114676127 A CN114676127 A CN 114676127A
- Authority
- CN
- China
- Prior art keywords
- data table
- data
- priority
- counting
- structured data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/485—Task life-cycle, e.g. stopping, restarting, resuming execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例公开了一种服务器业务的分析方法、装置、介质及电子设备。本发明通过收集上来的用户操作信息、环境实际运行的压力信息，从数据接入和检索、软件定时服务的执行逻辑考虑，建立服务器软件学习机制，对当前服务的执行逻辑和执行时间进行持续的调整，并基于此模型解决上述三个典型问题。
Description
技术领域
本申请实施例涉及计算机应用技术领域，尤其涉及一种服务器业务的分析方法、装置、介质及电子设备。
背景技术
随着经济社会的快速发展，视频监控已经成为城市安全必不可少的元素。而在监控系统中，摄像机的数量逐渐增多，导致数据量剧增，业务需求也在越来越复杂。在这种情况下，后台运行的大数据服务器的数据存储和业务压力持续增加。而大数据服务器的硬件和软件资源是有限的，在有限的资源中，如何将用户行为进行统计分析，得到有利于系统运行的资源分配基础因素，已经成为行业里极为重视的技术难题。
发明内容
本申请实施例提供一种服务器业务的分析方法、装置、介质及电子设备，可以基于用户的行为信息分析的结果，为系统的资源分配提供数据基础，从而可以达到系统的资源能够合理化分配的目的。
第一方面，本申请实施例提供了一种服务器业务的分析方法，所述方法包括：
获取用户行为数据，并将所述用户行为数据写入至关系型数据库的行为数据表；
在分析周期内分时段对所述行为数据表按照数据类型进行次数统计，得到各数据类型的优先级，并将统计结果按照数据类型、数据类型统计次数以及优先级写入至第一结构化数据表；
并且，
在分析周期内分时段对所述行为数据表按照操作类型进行次数统计，得到各操作类型的优先级，并将统计结果按照操作类型、数据类型、所属时段以及优先级写入至第二结构化数据表；
并且，
在分析周期内分时段对所述行为数据表按照数据接入压力进行次数统计，得到各数据接入压力的优先级，并将统计结果按照数据类型、接入压力统计次数以及优先级写入至第三结构化数据表；
根据所述第一结构化数据表、所述第二结构化数据表以及所述第三结构化数据表，对分析周期内服务器业务进行分析。
进一步的，所述方法还包括：
对所述行为数据表按照操作类型进行反馈时长的统计，根据得到的统计结果判断是否存在风险，并将风险判断结果写入至行为数据表的风险关系字段中。
进一步的，根据所述第一结构化数据表、所述第二结构化数据表以及所述第三结构化数据表，对分析周期内服务器业务进行分析，包括：
对所述第一结构化数据表、所述第二结构化数据表以及所述第三结构化数据表中写入的优先级采用预设规则进行赋值；
以数据类型为统计对象，得到各统计对象的赋值总和；
根据所述各统计对象的赋值总和，确定各统计对象的数据写入策略。
进一步的，根据各统计对象的赋值总和，确定各统计对象的数据写入策略，包括：
读取预先确定的至少两个分数范围；
将赋值总和落在至少两个分数范围的至少两种数据类型，采用对应至少两种消费时长或批次消费数据量进行写入处理。
进一步的，根据所述第一结构化数据表、所述第二结构化数据表以及所述第三结构化数据表，对分析周期内服务器业务进行分析，包括：
对所述第一结构化数据表、所述第二结构化数据表以及所述第三结构化数据表中写入的优先级采用预设规则进行赋值；
以数据类型为统计对象，得到各统计对象的赋值总和；
根据各统计对象的赋值总和，以及行为数据表的风险关系字段更新结果，确定操作类型为检索且满足预设条件的目标对象；
将所述目标对象存储在预先划分的内存空间中。
进一步的，所述方法还包括：
获取环境定时任务执行信息，并写入至关系型数据库的任务信息数据表。
进一步的，所述方法还包括：
获取系统资源的指标采集结果；
根据所述指标采集结果，获得资源使用指标高于资源使用阈值的时段；根据所述行为数据表按照接入压力进行优先级统计，获得压力高于设定压力阈值的时段，并将获得的时段确定为忙碌时段；
根据所述忙碌时段，确定统计周期中的空闲时段；并根据所述空闲时段，确定系统定时任务的执行时间。
第二方面，本申请实施例提供了一种服务器业务的分析方法装置，所述装置包括：
行为数据表确定模块，用于获取用户行为数据，并将所述用户行为数据写入至关系型数据库的行为数据表；
结构化数据表生成模块，用于在分析周期内分时段对所述行为数据表按照数据类型进行次数统计，得到各数据类型的优先级，并将统计结果按照数据类型、数据类型统计次数以及优先级写入至第一结构化数据表；
并且，
在分析周期内分时段对所述行为数据表按照操作类型进行次数统计，得到各操作类型的优先级，并将统计结果按照操作类型、数据类型、所属时段以及优先级写入至第二结构化数据表；
并且，
在分析周期内分时段对所述行为数据表按照数据接入压力进行次数统计，得到各数据接入压力的优先级，并将统计结果按照数据类型、接入压力统计次数以及优先级写入至第三结构化数据表；
业务分析模块，用于根据所述第一结构化数据表、所述第二结构化数据表以及所述第三结构化数据表，对分析周期内服务器业务进行分析。
第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所述的服务器业务的分析方法。
第四方面，本申请实施例提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例所述的服务器业务的分析方法。
本申请实施例所提供的技术方案，获取用户行为数据，并将所述用户行为数据写入至关系型数据库的行为数据表；在分析周期内分时段对所述行为数据表按照数据类型进行次数统计，得到各数据类型的优先级，并将统计结果按照数据类型、数据类型统计次数以及优先级写入至第一结构化数据表；并且，在分析周期内分时段对所述行为数据表按照操作类型进行次数统计，得到各操作类型的优先级，并将统计结果按照操作类型、数据类型、所属时段以及优先级写入至第二结构化数据表；并且，在分析周期内分时段对所述行为数据表按照数据接入压力进行次数统计，得到各数据接入压力的优先级，并将统计结果按照数据类型、接入压力统计次数以及优先级写入至第三结构化数据表；根据所述第一结构化数据表、所述第二结构化数据表以及所述第三结构化数据表，对分析周期内服务器业务进行分析。本申请所提供的技术方案，可以基于用户的行为信息分析的结果，为系统的资源分配提供数据基础，从而可以达到系统的资源能够合理化分配的目的。
附图说明
图1是本申请实施例提供的服务器业务的分析方法的流程图；
图2是本申请实施例提供的服务器业务的分析方法的示意图；
图3是本申请实施例提供的服务器业务的分析方法装置的结构示意图；
图4是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
图1是本申请实施例提供的服务器业务的分析方法的流程图，本实施例可适用于混合数据类型接入的模式下，服务器的业务管理的情况，该方法可以由本申请实施例所提供的服务器业务的分析方法装置执行，该装置可以由软件和/或硬件的方式来实现，并可集成于运行此系统的电子设备中。
本方案针对监控系统中的摄像机数量越来越多，数据量越来越大，数据类型越来越多，业务功能越来越复杂。在这种情况下，后台大数据服务器的数据存储和业务压力也在持续的增长。然而，如果能够针对当前的用户行为习惯，实际环境运行的情况，优化软件层面业务执行逻辑，并以此来调整资源分配，可以保证在用户需要使用时提供最好的服务。
目前大数据系统运行时，提供对外服务和内部定时任务不会考虑环境的业务压力，以下三个方面是比较典型的情况：
1、提供混合数据类型数据接入模式，数据混合接入时，flume提供消费组同时启动消费数据入库；
2、用户下发检索等业务时，都是即刻下发检索条件进行数据检索；
3、目前服务器会有部分定时服务，到达指定的定时任务执行时间就会执行。
由于不考虑环境的业务压力，以及实时业务操作对服务器的影响，服务器对外服务环境无法实现自我的优化调整，就会导致对外服务环境因为压力较大无法更好的提供服务。目前，存在一些技术方案中，如，采用对外提供的数据接入功能对所有数据接入的标准都是相同的，这样就会导致环境数据压力增大的时候，由于服务器性能影响和内部组件缺陷，导致数据入库阻塞，进而导致用户需要的实时数据无法及时入库和应用。后续对外服务环境长期运行的时候，数据量会越来越大，用户即时下发的检索任务，立刻执行检索业务，会耗时比较长，需要用户等待较长时间。
另外，定时任务一般都是某个时间段执行，例如凌晨执行，定时任务都选择这个时间段执行就会存在服务器执行压力较大的风险。一方面如果此时因为性能不足就会导致环境异常，将会影响其他时间段使用。另一方面，部分定时任务在指定时间段内无法执行完成，就会直接退出，并在下一个指定时间段执行，这样依然会因为数据量大或者其他原因导致其无法执行完成，导致该定时任务每次都会无法执行完成。
以上现有方案中，对大数据服务器内部业务执行逻辑及资源分配基本是即时执行和获取，这会与用户的实际使用存在冲突。
本发明通过收集上来的用户操作信息、环境实际运行的压力信息，从数据接入和检索、软件定时服务的执行逻辑考虑，建立服务器的软件自学习机制，对当前服务的执行逻辑和执行时间在每个分析周期内进行持续的统计，并在下一分析周期进行有针对性的调整，并基于此循环自学习机制解决上述的几个典型问题。
如图1所示，所述服务器业务的分析方法包括：
S110、获取用户行为数据，并将所述用户行为数据写入至关系型数据库的行为数据表。
其中，用户的行为数据，可以包括数据检索、数据更新、数据删除以及研判分析等类型的数据。其中，数据检索为根据检索条件筛选数据，数据更新为对数据进行更新处理，数据删除为对某一数据进行删除处理，研判分析为对数据进行预先研究和判断。
关系型数据库是指采用了关系模型来组织数据的数据库，如SQLite，Oracle以及mysql等，关系型数据库的最大特点就是事务的一致性，关系模型指的就是二维表格模型，而一个关系型数据库就是由二维表及其之间的联系所组成的一个数据组织。
与此对应的，非关系型数据库，如MongoDb、redis和Hbase等。非关系型数据库的特点为使用键值对存储数据，分布式，一般不支持ACID特性，因此非关系型数据库严格上不是一种数据库，可以理解为是一种数据结构化存储方法的集合。
本方案中，具体的，可以通过收集服务接口调用信息的方式获取用户行为数据。服务器对外提供的接口被调用时会进行日志打印，打印日志的同时将用户行为按照以下形式生成用户行为数据，并可以写入关系型数据库表的行为数据表中。其中行为数据表可以包括如下字段：
| 业务 | 接口名 | 涉及数据类型 | 时段 | 压力 | 存在风险 |
其中，业务即为操作类型，如可以自定义，主要是：数据检索、数据更新、数据删除、研判分析业务等。
接口名可以是实际接口，以便于后续对接口进行限制。
涉及数据类型可自定义，比如在监控领域：可以包括车辆数据、MAC(Media AccessControl Address，媒体存取控制位址或物理地址)数据以及行人数据等；其中的MAC数据可以是用户所使用的移动设备的MAC地址。
时段可以是以小时进行划分的，如业务开始执行时间点所在的小时时段，比如12:30执行则记录12即可。
压力，可以是一小时的数据接入速率、执行时长等。其中，压力字段可以用来填写“有”或者“无”，表示服务器当前时段是否存在压力。
在执行过程中，如果有数据接入，每小时开始统计前一小时内的数据接入速率，数据接入速率可以是平均每台服务器每秒或者每小时的接入量。
本方案中，可选的，在数据采集的过程中，还可以获取环境定时任务执行信息，并写入至关系型数据库的任务信息数据表。
服务器定义的定时任务执行信息也可收集执行信息，执行结束后将执行记录写入关系型数据库的任务信息数据表，任务信息数据表可以包括如下字段：
| 任务名 | 开始时间 | 结束时间 | 是否执行完成 |
本方案通过监控脚本或者类似scollector组件，可以实现系统资源的指标采集，从而实现对CPU、Mem、disk空间以及IO的数据收集，以及部分组件的性能数据的收集，例如zookeeper组件、kafka组件和ES组件等。采取定时采集的方法，时长可以默认为5s，采集后生成数据正常入库，例如存储在Hbase中，可以将存储的信息定义为数据资源表。
S120、在分析周期内分时段对所述行为数据表按照数据类型进行次数统计，得到各数据类型的优先级，并将统计结果按照数据类型、数据类型统计次数以及优先级写入至第一结构化数据表；并且，在分析周期内分时段对所述行为数据表按照操作类型进行次数统计，得到各操作类型的优先级，并将统计结果按照操作类型、数据类型、所属时段以及优先级写入至第二结构化数据表；并且，在分析周期内分时段对所述行为数据表按照数据接入压力进行次数统计，得到各数据接入压力的优先级，并将统计结果按照数据类型、接入压力统计次数以及优先级写入至第三结构化数据表。
其中，可以设定一个分析周期，如每7天定义为一个分析周期，在每个分析周期中，对各种数据进行统计，可以采用全量统计，也可以采用分时段统计，例如采用7×24个小时的时段进行统计。本方案中，为了体现在一个分析周期内的数据随时段的分布情况，采用的是分时段进行统计的方式，以得到一个分析周期内各时段的数据接入、数据查询等情况，以更好的表现出分析周期内服务器的业务处理量随时间的分布情况。
图2是本申请实施例提供的服务器业务的分析方法的示意图，如图2所示，可以每隔7天对任务数据进行统计分析任务(任务为AnalyseTask)，其中涉及到的阈值均可通过产品化配置文件修改，分析逻辑如下：
用户行为信息分析：
从三个角度分析：数据类型分类，用户操作及时间分析，以及业务压力分类。
其中，数据类型统计即统计各数据类型次数，如车辆数据类型的数据接入量超过一定阈值的时段个数，作为数据类型统计次数，结果按照“数据类型”，“数据类型统计次数”，“优先级”写入第一结构化数据表；
用户操作和时间分析，按照用户操作类型和对应时段进行统计，将各个时段内的操作类型数据反映出来即可，例如各个时段内的数据检索次数，结果按照“业务”，“数据类型”，“时段”，“优先级”入第二结构化数据表。
数据接入压力参照流程中的维度统计即可，如数据的写入速度达到100条每秒的时段的次数，结果按照字段“数据类型”，“接入压力统计次数”，“优先级”写入第三结构化数据表；
在本实施例中，可选的，所述方法还包括：
对所述行为数据表按照操作类型进行反馈时长的统计，根据得到的统计结果判断是否存在风险，并将风险判断结果写入至行为数据表的风险关系字段中。
举例而言，对于研判分析业务，可以按照5分钟的执行时长更新行为数据表的表字段“存在风险”，研判超过5分钟更新为“是”，低于5分钟更新为“否”，对于数据检索、数据更新、数据删除等业务，可以按照5s的反馈时长更新行为数据表的表字段“存在风险”，检索超过5s更新为“是”，低于5s更新为“否”，对于其他业务，可视实际情况设置。相应的，得到风险判断结果之后，可以根据时段写入到相应的行为数据表当中。
S130、根据所述第一结构化数据表、所述第二结构化数据表以及所述第三结构化数据表，对分析周期内服务器业务进行分析。
可以根据以上得到的三个结构化数据表，确定服务器业务的繁忙程度，或者在某一时段的繁忙程度，并且可以规律性的分析出该时段内是否存在可以转移至其他时段执行的业务，从而可以达到量化的分析的目的。
并且，本方案所提供的统计分析任务(任务为AnalyseTask)，可以每到达一个周期(上述示例中的7天)对前一个周期进行统计分析，并得到前一周期的量化数据，从而可以周期性的迭代，为用户提供更加客观的服务器业务分析依据。
本申请实施例所提供的技术方案，基于收集的用户操作信息、系统环境信息创建服务器自学习的机制，从而达到对服务器任务进行及时分析的目的，为数据量巨大的情况下，服务器能够稳定的运行提供了技术保障。
在一个可行的实施例中，可选的，根据所述第一结构化数据表、所述第二结构化数据表以及所述第三结构化数据表，对分析周期内服务器业务进行分析，包括：
对所述第一结构化数据表、所述第二结构化数据表以及所述第三结构化数据表中写入的优先级采用预设规则进行赋值；
以数据类型为统计对象，得到各统计对象的赋值总和；
根据所述各统计对象的赋值总和，确定各统计对象的数据写入策略。
本方案中，在混合数据类型接入的情况下，不采用对每种数据类型都以同等速率消费入库，按照所述第一结构化数据表、所述第二结构化数据表以及所述第三结构化数据表的统计结果，以数据类型为统计对象，分别进行赋值。如高优先级5分，中优先级3分，低优先级1分，依次进行打分处理，具体的，可以将对应的优先级也存入数据表中，下一个分析周期将统计结果进行更新即可。对环境中接入的数据类型，在数据接入时，采用的策略可以是优先保证分数高的数据类型先入库。目前环境中对数据进行消费入库都是flume消费组件进行的，因此，可以通过分析后的优先级分数加和结果，对消费组件的内部配置进行调整。
在上述技术方案的基础上，可选的，根据所述各统计对象的赋值总和，确定各统计对象的数据写入策略，包括：
读取预先确定的至少两个分数范围；
将赋值总和落在至少两个分数范围的至少两种数据类型，采用对应至少两种消费时长或批次消费数据量进行写入处理。
具体的，可以以flume消费组件为例，目前是针对所有的数据类型的消费都是1秒或者1000条为一批进行消费，这些配置都是预先写入在flume消费组件对应的配置文件flume-conf.properties中。通过前面得到的赋值总和，可以对每种数据类型的消费批次进行重新定义。例如，高赋值总和的数据，可以每隔1秒或者累积批次数据量达到1000条消费一次；中赋值总和的数据，可以每隔30秒或者累积批次数据量达到5000条消费一次；低赋值总和的数据，可以每隔1分钟或者累积批次数据量到达10000条消费一次。由此，可以通过调整各数据类型的消费的速率，让高优先级的数据类型更快进入环境保证用户功能使用正常。
在一个可行的实施例中，可选的，根据所述第一结构化数据表、所述第二结构化数据表以及所述第三结构化数据表，对分析周期内服务器业务进行分析，包括：
对所述第一结构化数据表、所述第二结构化数据表以及所述第三结构化数据表中写入的优先级采用预设规则进行赋值；
以数据类型为统计对象，得到各统计对象的赋值总和；
根据所述各统计对象的赋值总和，以及行为数据表的风险关系字段更新结果，确定操作类型为检索且满足预设条件的目标对象；
将所述目标对象存储在预先划分的内存空间中。
本方案中，可以针对各统计对象的赋值总和以及行为数据表，将业务为检索、涉及数据类型为高优先级、存在风险为高风险条件进行过滤，即可得出高优先级的数据存在检索超时的风险。进而，可以读取超时部分的原因是底层的存储组件(Hbase、ES等)检索性能不足，导致检索耗时较长。因此直接在服务器中预留一块内存空间，这部分内存空间可以用于存放高频过滤条件得到的结果，而对应的过滤条件可以通过上述分析得到的检索操作。具体的，可以在读取对应的操作日志，分析检索条件中涉及到的最多的某一维度，例如视频监控行业的卡口或者相机字段，则将这个条件作为高频过滤条件。时间条件可以是以当天、前一天的顺序，直至将预留内存空间存满为止。
预留的内存空间的大小可以采用如下规则确定：
定时任务分析时，统计所有内存使用情况得到占用空间的最大值，结合当前服务器的总内存，取两者差值的一半。例如，总内存容量为200Gb，已经使用100Gb，则将剩余的100Gb的一半，也就是50Gb作为预留的内存空间的大小。
用户在下发检索条件时，先在预留的内存空间中结合条件过滤，由于内存中的检索速度相对于其他存储空间更快，因此检索的时间减少；如果存在不满足的条件范围，再次拼接条件下发检索任务，此时因为检索的范围小了，所以检索的耗时也会减少。
本方案通过这样的设置，可以将经常被检索的数据存储在内存中，从而可以提高检索的响应速度。同时，所存储的数据是经过设置好的规则筛选出来的，被检索的可能性较高，以避免存储数据过程的盲目，可以充分利用划分出来的内存空间。
在一个可行的实施例中，可选的，所述方法还包括：
获取系统资源的指标采集结果；
根据所述指标采集结果，获得资源使用指标高于资源使用阈值的时段；根据所述行为数据表按照接入压力进行优先级统计，获得压力高于设定压力阈值的时段，并将获得的时段确定为忙碌时段；
根据所述忙碌时段，确定统计周期中的空闲时段；并根据所述空闲时段，确定系统定时任务的执行时间。
其中，系统资源的指标采集结果，可以从采集后生成数据正常入库得到的数据资源表中读取。
系统定时任务的执行时间段，可以定义系统的任务时间为可调整，(每7天的定时任务固定在周日晚11点)，AnalyseTask可一方面分析数据资源表，以“总CPU大于80％”，“IOwait大于5％”等指标将系统高压力的时间段分析出来，行为数据表中所有业务对应执行时段结合为一个时间范围，其中去除数据接入压力小于预设值的时段，例如数据接入压力小于40的时段。上述两部分时间范围为忙碌时间段，则可以确定一天内剩下的时间为空闲时间段。再结合任务信息数据表，如果在忙碌时间段内存在定时任务，可以将该定时任务的执行时间更改至空闲时间段内。
除此，定时任务可以按照预先定义的定时任务优先级和任务信息数据表执行完成次数进行排序分配。其中定时检索的任务优先级最高，则后一周的定时任务可以按照调整后的时间段执行，这样就通过时间的积累持续优化，将系统的空闲时段合理利用。
此外，还可以创建白名单，将需要在某些时段内执行的定时任务加入，使其不进行时间段调整。
此模型将持续收集环境信息，利用收集的环境信息持续优化和调整，直至服务器的任务运行环境趋于稳定并合理。同时也可以建立清理机制，避免数据量累计过多。
本申请实施例所提供的技术方案，通过对用户的实际使用情况和系统环境的实际情况，对数据接入的配置进行优化调整，保证用户最需要的数据可以及时入库提供检索等业务；对数据检索进行提前的缓存操作，提前在缓存中存储部分结果，下一次用户的检索优先在缓存中执行，提升检索速度；系统任务执行不会考虑环境的业务压力，基于环境业务压力情况下的调整将更有利于服务的提供。
图3是本申请实施例提供的服务器业务的分析方法装置的结构示意图，如图3所示，该装置可以包括：
行为数据表确定模块310，用于获取用户行为数据，并将所述用户行为数据写入至关系型数据库的行为数据表；
结构化数据表生成模块320，用于
在分析周期内分时段对所述行为数据表按照数据类型进行次数统计，得到各数据类型的优先级，并将统计结果按照数据类型、数据类型统计次数以及优先级写入至第一结构化数据表；
并且，
在分析周期内分时段对所述行为数据表按照操作类型进行次数统计，得到各操作类型的优先级，并将统计结果按照操作类型、数据类型、所属时段以及优先级写入至第二结构化数据表；
并且，
在分析周期内分时段对所述行为数据表按照数据接入压力进行次数统计，得到各数据接入压力的优先级，并将统计结果按照数据类型、接入压力统计次数以及优先级写入至第三结构化数据表；
业务分析模块330，用于根据所述第一结构化数据表、所述第二结构化数据表以及所述第三结构化数据表，对分析周期内服务器业务进行分析。
本发明实施例所提供的一种服务器业务的分析方法装置可执行本发明任意实施例所提供的一种服务器业务的分析方法，具备执行一种服务器业务的分析方法相应的功能模块和有益效果。
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种服务器业务的分析方法，该方法包括：
获取用户行为数据，并将所述用户行为数据写入至关系型数据库的行为数据表；
在分析周期内分时段对所述行为数据表按照数据类型进行次数统计，得到各数据类型的优先级，并将统计结果按照数据类型、数据类型统计次数以及优先级写入至第一结构化数据表；
并且，
在分析周期内分时段对所述行为数据表按照操作类型进行次数统计，得到各操作类型的优先级，并将统计结果按照操作类型、数据类型、所属时段以及优先级写入至第二结构化数据表；
并且，
在分析周期内分时段对所述行为数据表按照数据接入压力进行次数统计，得到各数据接入压力的优先级，并将统计结果按照数据类型、接入压力统计次数以及优先级写入至第三结构化数据表；
根据所述第一结构化数据表、所述第二结构化数据表以及所述第三结构化数据表，对分析周期内服务器业务进行分析。
存储介质是指任何的各种类型的存储器电子设备或存储电子设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同未知中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的服务器业务的分析方法操作，还可以执行本申请任意实施例所提供的服务器业务的分析方法中的相关操作。
本申请实施例提供了一种电子设备，该电子设备中可集成本申请实施例提供的服务器业务的分析方法装置，该电子设备可以是配置于系统内的，也可以是执行系统内的部分或者全部功能的设备。图4是本申请实施例提供的一种电子设备的结构示意图。如图4所示，本实施例提供了一种电子设备400，其包括：一个或多个处理器420；存储装置410，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器420执行，使得所述一个或多个处理器420实现本申请实施例所提供的服务器业务的分析方法，该方法包括：
获取用户行为数据，并将所述用户行为数据写入至关系型数据库的行为数据表；
在分析周期内分时段对所述行为数据表按照数据类型进行次数统计，得到各数据类型的优先级，并将统计结果按照数据类型、数据类型统计次数以及优先级写入至第一结构化数据表；
并且，
在分析周期内分时段对所述行为数据表按照操作类型进行次数统计，得到各操作类型的优先级，并将统计结果按照操作类型、数据类型、所属时段以及优先级写入至第二结构化数据表；
并且，
在分析周期内分时段对所述行为数据表按照数据接入压力进行次数统计，得到各数据接入压力的优先级，并将统计结果按照数据类型、接入压力统计次数以及优先级写入至第三结构化数据表；
根据所述第一结构化数据表、所述第二结构化数据表以及所述第三结构化数据表，对分析周期内服务器业务进行分析。
当然，本领域技术人员可以理解，处理器420还实现本申请任意实施例所提供的服务器业务的分析方法的技术方案。
图4显示的电子设备400仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图4所示，该电子设备400包括处理器420、存储装置410、输入装置430和输出装置440；电子设备中处理器420的数量可以是一个或多个，图4中以一个处理器420为例；电子设备中的处理器420、存储装置410、输入装置430和输出装置440可以通过总线或其他方式连接，图4中以通过总线450连接为例。
存储装置410作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块单元，如本申请实施例中的服务器业务的分析方法对应的程序指令。
存储装置410可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置410可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置410可进一步包括相对于处理器420远程设置的存储器，这些远程存储器可以通过网络连接。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可用于接收输入的数字、字符信息或语音信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏、扬声器等电子设备。
本申请实施例提供的电子设备，可以基于用户的行为信息分析的结果，为系统的资源分配提供数据基础，从而可以达到系统的资源能够合理化分配的目的。
上述实施例中提供的服务器业务的分析方法装置、介质及电子设备可执行本申请任意实施例所提供的服务器业务的分析方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的服务器业务的分析方法。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。
Claims (10)
1.一种服务器业务的分析方法，其特征在于，所述方法包括：
获取用户行为数据，并将所述用户行为数据写入至关系型数据库的行为数据表；
在分析周期内分时段对所述行为数据表按照数据类型进行次数统计，得到各数据类型的优先级，并将统计结果按照数据类型、数据类型统计次数以及优先级写入至第一结构化数据表；
并且，
在分析周期内分时段对所述行为数据表按照操作类型进行次数统计，得到各操作类型的优先级，并将统计结果按照操作类型、数据类型、所属时段以及优先级写入至第二结构化数据表；
并且，
在分析周期内分时段对所述行为数据表按照数据接入压力进行次数统计，得到各数据接入压力的优先级，并将统计结果按照数据类型、接入压力统计次数以及优先级写入至第三结构化数据表；
根据所述第一结构化数据表、所述第二结构化数据表以及所述第三结构化数据表，对分析周期内服务器业务进行分析。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述行为数据表按照操作类型进行反馈时长的统计，根据得到的统计结果判断是否存在风险，并将风险判断结果写入至行为数据表的风险关系字段中。
3.根据权利要求1所述的方法，其特征在于，根据所述第一结构化数据表、所述第二结构化数据表以及所述第三结构化数据表，对分析周期内服务器业务进行分析，包括：
对所述第一结构化数据表、所述第二结构化数据表以及所述第三结构化数据表中写入的优先级采用预设规则进行赋值；
以数据类型为统计对象，得到各统计对象的赋值总和；
根据各统计对象的赋值总和，确定各统计对象的数据写入策略。
4.根据权利要求3所述的方法，其特征在于，根据所述各统计对象的赋值总和，确定各统计对象的数据写入策略，包括：
读取预先确定的至少两个分数范围；
将赋值总和落在至少两个分数范围的至少两种数据类型，采用对应至少两种消费时长或批次消费数据量进行写入处理。
5.根据权利要求2所述的方法，其特征在于，根据所述第一结构化数据表、所述第二结构化数据表以及所述第三结构化数据表，对分析周期内服务器业务进行分析，包括：
对所述第一结构化数据表、所述第二结构化数据表以及所述第三结构化数据表中写入的优先级采用预设规则进行赋值；
以数据类型为统计对象，得到各统计对象的赋值总和；
根据各统计对象的赋值总和，以及行为数据表的风险关系字段更新结果，确定操作类型为检索且满足预设条件的目标对象；
将所述目标对象存储在预先划分的内存空间中。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取环境定时任务执行信息，并写入至关系型数据库的任务信息数据表。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
获取系统资源的指标采集结果；
根据所述指标采集结果，获得资源使用指标高于资源使用阈值的时段；根据所述行为数据表按照接入压力进行优先级统计，获得压力高于设定压力阈值的时段，并将获得的时段确定为忙碌时段；
根据所述忙碌时段，确定统计周期中的空闲时段；并根据所述空闲时段，确定系统定时任务的执行时间。
8.一种服务器业务的分析装置，其特征在于，所述装置包括：
行为数据表确定模块，用于获取用户行为数据，并将所述用户行为数据写入至关系型数据库的行为数据表；
结构化数据表生成模块，用于在分析周期内分时段对所述行为数据表按照数据类型进行次数统计，得到各数据类型的优先级，并将统计结果按照数据类型、数据类型统计次数以及优先级写入至第一结构化数据表；
并且，
在分析周期内分时段对所述行为数据表按照操作类型进行次数统计，得到各操作类型的优先级，并将统计结果按照操作类型、数据类型、所属时段以及优先级写入至第二结构化数据表；
并且，
在分析周期内分时段对所述行为数据表按照数据接入压力进行次数统计，得到各数据接入压力的优先级，并将统计结果按照数据类型、接入压力统计次数以及优先级写入至第三结构化数据表；
根据所述第一结构化数据表、所述第二结构化数据表以及所述第三结构化数据表，对分析周期内服务器业务进行分析。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的服务器业务的分析方法。
10.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的服务器业务的分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011551263.3A CN114676127A (zh) | 2020-12-24 | 2020-12-24 | 一种服务器业务的分析方法、装置、介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011551263.3A CN114676127A (zh) | 2020-12-24 | 2020-12-24 | 一种服务器业务的分析方法、装置、介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114676127A true CN114676127A (zh) | 2022-06-28 |
Family
ID=82069621
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011551263.3A Pending CN114676127A (zh) | 2020-12-24 | 2020-12-24 | 一种服务器业务的分析方法、装置、介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114676127A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116665670A (zh) * | 2023-07-28 | 2023-08-29 | 深圳博瑞天下科技有限公司 | 基于资源配置分析的语音识别任务管理方法及系统 |
-
2020
- 2020-12-24 CN CN202011551263.3A patent/CN114676127A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116665670A (zh) * | 2023-07-28 | 2023-08-29 | 深圳博瑞天下科技有限公司 | 基于资源配置分析的语音识别任务管理方法及系统 |
| CN116665670B (zh) * | 2023-07-28 | 2023-10-31 | 深圳博瑞天下科技有限公司 | 基于资源配置分析的语音识别任务管理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20180365085A1 (en) | Method and apparatus for monitoring client applications | |
| US20150134913A1 (en) | Method and apparatus for cleaning files in a mobile terminal and associated mobile terminal | |
| WO2016141735A1 (zh) | 缓存数据的确定方法及装置 | |
| TWI738721B (zh) | 任務調度方法和裝置 | |
| CN102541884B (zh) | 数据库优化方法和装置 | |
| CN110381151A (zh) | 一种异常设备检测方法及装置 | |
| CN107688626B (zh) | 慢查询日志处理方法、装置及电子设备 | |
| CN111061758B (zh) | 数据存储方法、装置及存储介质 | |
| CN102111920B (zh) | 一种性能报表管理的方法及装置 | |
| CN111737168A (zh) | 一种缓存系统、缓存处理方法、装置、设备及介质 | |
| CN114676127A (zh) | 一种服务器业务的分析方法、装置、介质及电子设备 | |
| CN109523791B (zh) | 一种滞留车辆的预警分析方法及装置 | |
| CN103729417A (zh) | 一种数据扫描的方法及装置 | |
| CN107632926B (zh) | 业务数量统计方法、装置、设备及计算机可读存储介质 | |
| US20160253591A1 (en) | Method and apparatus for managing performance of database | |
| CN110298677B (zh) | 一种云计算资源计费的方法、装置、电子设备和存储介质 | |
| US20220382589A1 (en) | Fast shutdown of large scale-up processes | |
| CN109460411A (zh) | 一种基于hive的数据老化方法、装置及设备 | |
| CN113220992A (zh) | 一种信息流内容推荐方法、系统及介质 | |
| CN112597323A (zh) | 遥感影像存储迁移方法、装置和存储介质 | |
| CN109992468B (zh) | 一种进程性能分析方法、装置、系统及计算机存储介质 | |
| CN111737281B (zh) | 数据库查询方法、装置、电子设备以及可读存储介质 | |
| CN113297245A (zh) | 获取执行信息的方法及装置 | |
| CN111131393B (zh) | 用户活跃度数据统计方法、电子装置及存储介质 | |
| CN114443224B (zh) | 分布式集群逻辑卷数据管理方法、系统、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |