CN115544089A - 数据处理方法、装置、设备及存储介质 - Google Patents

数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115544089A
CN115544089A CN202211207309.9A CN202211207309A CN115544089A CN 115544089 A CN115544089 A CN 115544089A CN 202211207309 A CN202211207309 A CN 202211207309A CN 115544089 A CN115544089 A CN 115544089A
Authority
CN
China
Prior art keywords
data
target service
preset
service data
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211207309.9A
Other languages
English (en)
Inventor
高书增
倪尉添
姚倩
章杨新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongpu Software Co Ltd
Original Assignee
Dongpu Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongpu Software Co Ltd filed Critical Dongpu Software Co Ltd
Priority to CN202211207309.9A priority Critical patent/CN115544089A/zh
Publication of CN115544089A publication Critical patent/CN115544089A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G06F16/2445—Data retrieval commands; View definitions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/70—Software maintenance or management
    • G06F8/71—Version control; Configuration management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/70—Software maintenance or management
    • G06F8/73—Program documentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5011—Pool
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5018—Thread allocation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据处理技术领域，公开了一种数据处理方法、装置、设备及存储介质。本方法包括：通过采集静态数据，基于预设redis缓存机制对静态数据进行缓存，得到目标业务数据；通过预设Spring boot框架生成目标业务数据的配置参数；基于配置参数，确定目标业务数据之间的Maven依赖关系；基于Maven依赖关系对配置参数进行更新，并基于预设线程池对目标业务数据进行处理，得到处理文件；接收数据查询请求，并对数据查询请求进行解析，生成查询语句，并基于查询语句对处理文件进行解析，得到解析后的目标数据，并进行展示。本发明通过将代码从程序代码中彻底分离，提高了系统的稳定性和开发效率。

Description

数据处理方法、装置、设备及存储介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、设备及存储介质。
背景技术
现有系统功能模块规划混乱,相似的功能散落在多个页面,不利于系统后期维护。现有系统前后端不分离,后端服务器请求压力大,代码维护程度低。用户操作界面不友好,用户使用系统的流程复杂,学习成本高。现有系统角色权限的设计颗粒度粗糙且不灵活,已无法满足业务现有需求。现有系统为PHP代码书写,书写不规范,缺少注释,逻辑混乱,容易出现数据错乱或丢失。
发明内容
本发明的主要目的是通过支持基于容器、满足不同采集方式，降低了日志查询的复杂度，降低运维门槛。
本发明第一方面提供了一种数据处理方法，包括：采集静态数据，基于预设redis缓存机制对所述静态数据进行缓存，得到目标业务数据；
通过预设Spring boot框架生成所述目标业务数据的配置参数；
基于所述配置参数，确定所述目标业务数据之间的Maven依赖关系；
基于所述Maven依赖关系对所述配置参数进行更新，并基于预设线程池对所述目标业务数据进行处理，得到处理文件；
接收数据查询请求，并对所述数据查询请求进行解析，生成查询语句，并基于所述查询语句对所述处理文件进行解析，得到解析后的目标数据，并进行展示。
可选地，在本发明第一方面的第一种实现方式中，所述基于预设redis缓存机制对所述静态数据进行缓存，得到目标业务数据，包括：
接收将预置的数据缓存至预设的Redis数据库中的缓存请求；
对所述Redis数据库进行查询，并根据得到的查询结果确定所述Redis数据库中是否存在与所述缓存请求相匹配的Key值；
若是，则基于预设redis缓存机制和根据所述Key值，对所述静态数据进行缓存，得到目标业务数据。
可选地，在本发明第一方面的第二种实现方式中，所述通过预设Spring boot框架生成所述目标业务数据的配置参数，包括：
获取所述目标业务数据的配置类，对所述配置类进行类注解，得到配置类别；
根据所述配置类别，利用预设Spring boot框架配置所述目标业务数据的环境变量和所述目标业务数据的路径；
根据环境变量和所述路径，生成所述目标业务数据的配置参数。
可选地，在本发明第一方面的第三种实现方式中，所述基于所述Maven依赖关系对所述配置参数进行更新，包括：
获取属性注册数据；
基于所述属性注册数据，确定所述配置类别的实例；
根据所述配置类别的实例和所述Maven依赖关系对所述配置参数进行更新，生成更新配置数据。
可选地，在本发明第一方面的第四种实现方式中，所述基于预设线程池对所述目标业务数据进行处理，得到处理文件，包括：
判断所述预设的线程池是否有闲置线程；
若是，则通过所述闲置线程和所述更新配置数据，对所述目标业务数据进行处理；
若否，则将所述目标业务数据存储至所述线程池的暂时线程中，直到所述线程池中出现新增闲置线程时，利用所述新增闲置线程对所述目标业务数据进行处理，得到处理文件。
可选地，在本发明第一方面的第五种实现方式中，所述基于所述查询语句对所述处理文件进行解析，得到解析后的目标数据，并进行展示，包括：
确定所述处理文件的标识数据，并对所述标识数据的属性进行解析，得到解析后的目标数据；
根据所述标识数据的属性查询所述目标数据对应文件的依赖关系；
基于所述依赖关系，将所述目标数据发送至预设前端进行展示。
本发明第二方面提供了一种数据处理装置，包括：缓存模块，用于采集静态数据，基于预设redis缓存机制对所述静态数据进行缓存，得到目标业务数据；
生成模块，用于通过预设Spring boot框架生成所述目标业务数据的配置参数；
确定模块，用于基于所述配置参数，确定所述目标业务数据之间的Maven依赖关系；
更新模块，用于基于所述Maven依赖关系对所述配置参数进行更新，并基于预设线程池对所述目标业务数据进行处理，得到处理文件；
解析模块，用于接收数据查询请求，并对所述数据查询请求进行解析，生成查询语句，并基于所述查询语句对所述处理文件进行解析，得到解析后的目标数据，并进行展示。
可选地，在本发明第二方面的第一种实现方式中，所述缓存模块具体用于：
接收将预置的数据缓存至预设的Redis数据库中的缓存请求；
对所述Redis数据库进行查询，并根据得到的查询结果确定所述Redis数据库中是否存在与所述缓存请求相匹配的Key值；
若是，则基于预设redis缓存机制和根据所述Key值，对所述静态数据进行缓存，得到目标业务数据。
可选地，在本发明第二方面的第二种实现方式中，所述生成模块具体用于：获取所述目标业务数据的配置类，对所述配置类进行类注解，得到配置类别；
根据所述配置类别，利用预设Spring boot框架配置所述目标业务数据的环境变量和所述目标业务数据的路径；
根据环境变量和所述路径，生成所述目标业务数据的配置参数。
可选地，在本发明第二方面的第三种实现方式中，所述更新模块具体用于：获取属性注册数据；
基于所述属性注册数据，确定所述配置类别的实例；
根据所述配置类别的实例和所述Maven依赖关系对所述配置参数进行更新，生成更新配置数据。
可选地，在本发明第二方面的第四种实现方式中，所述更新模块具体还用于：判断所述预设的线程池是否有闲置线程；
若是，则通过所述闲置线程和所述更新配置数据，对所述目标业务数据进行处理；
若否，则将所述目标业务数据存储至所述线程池的暂时线程中，直到所述线程池中出现新增闲置线程时，利用所述新增闲置线程对所述目标业务数据进行处理，得到处理文件。
可选地，在本发明第二方面的第五种实现方式中，所述解析模块包括：解析单元，用于确定所述处理文件的标识数据，并对所述标识数据的属性进行解析，得到解析后的目标数据；
查询单元，用于根据所述标识数据的属性查询所述目标数据对应文件的依赖关系；
展示单元，用于基于所述依赖关系，将所述目标数据发送至预设前端进行展示。
可选地，在本发明第二方面的第五种实现方式中，所述调用模块具体用于：响应于所述数据处理请求和所述存储位置，将所述数据处理请求携带的标识ID与所述目标数据的数据标识进行比对；
若所述目标数据的数据标识与所述标识ID相匹配，则调用预设数据处理函数对所述目标数据执行数据处理操作。
本发明第三方面提供了一种数据处理设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述数据处理设备执行上述的数据处理方法的各个步骤。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的数据处理方法的各个步骤。
本发明提供的技术方案中，通过采集静态数据，基于预设redis缓存机制对静态数据进行缓存，得到目标业务数据；通过预设Spring boot框架生成目标业务数据的配置参数；基于配置参数，确定目标业务数据之间的Maven依赖关系；基于Maven依赖关系对配置参数进行更新，并基于预设线程池对目标业务数据进行处理，得到处理文件；接收数据查询请求，并对数据查询请求进行解析，生成查询语句，并基于查询语句对处理文件进行解析，得到解析后的目标数据，并进行展示。本发明通过将代码从程序代码中彻底分离，提高了系统的稳定性和开发效率。
附图说明
图1为本发明提供的数据处理方法的第一个实施例示意图；
图2为本发明提供的数据处理方法的第二个实施例示意图；
图3为本发明提供的数据处理方法的第三个实施例示意图；
图4为本发明提供的数据处理装置的第一个实施例示意图；
图5为本发明提供的数据处理装置的第二个实施例示意图；
图6为本发明提供的数据处理设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种数据处理方法、装置、设备及存储介质，本发明的技术方案中，首先通过采集静态数据，基于预设redis缓存机制对静态数据进行缓存，得到目标业务数据；通过预设Spring boot框架生成目标业务数据的配置参数；基于配置参数，确定目标业务数据之间的Maven依赖关系；基于Maven依赖关系对配置参数进行更新，并基于预设线程池对目标业务数据进行处理，得到处理文件；接收数据查询请求，并对数据查询请求进行解析，生成查询语句，并基于查询语句对处理文件进行解析，得到解析后的目标数据，并进行展示。本发明通过将代码从程序代码中彻底分离，提高了系统的稳定性和开发效率。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中数据处理方法的第一个实施例包括：
101、采集静态数据，基于预设redis缓存机制对静态数据进行缓存，得到目标业务数据；
本实施例中，接收将预置的数据缓存至预设的Redis数据库中的缓存请求；对Redis数据库进行查询，并根据得到的查询结果确定Redis数据库中是否存在与缓存请求相匹配的Key值；若是，则基于预设redis缓存机制和根据Key值，对静态数据进行缓存，得到目标业务数据。
其中，所述Redis数据库是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。对所述Redis数据库进行键值查询以得到所述Redis数据库中是否存在与所述缓存请求相匹配的Key的查询结果。
102、通过预设Spring boot框架生成目标业务数据的配置参数；
本实施例中，获取目标业务数据的配置类，对配置类进行类注解，得到配置类别；根据配置类别，利用预设Spring boot框架配置目标业务数据的环境变量和目标业务数据的路径。其中，所述类是指相同数据和相同的一组对象的集合，即类是对具有相同数据结构和相同操作的一类对象的描述。对象是描述其属性的数据以及对这些数据施加的一组操作封装在一起构成的统一体。对所述目标业务数据的配置类的主要作用是可以将目标业务数据中相同数据结构和属性相同的数据作为一类集合。
具体地，通过spring boot框架对目标业务数据进行配置，可以使开发人员不再需要定义样板化的配置，使用更加方便快捷，且通过spring boot框架还支持默认配置值功能，在不更改默认配置值情况下，可支持大多数场景。例如，所述环境变量的默认配置参数。
103、基于配置参数，确定目标业务数据之间的Maven依赖关系；
本实施例中，将数据信息进行可视化展示包括：根据组件标识信息的名称查询数据信息对应的文件包的依赖关系。具体地，从依赖关系中获取目标文件包的被依赖次数；根据被依赖次数的不同对待展示的图像信息进行处理，得到处理后的图像；将处理后的图像进行可视化展示。
104、基于Maven依赖关系对配置参数进行更新，并基于预设线程池对目标业务数据进行处理，得到处理文件；
本实施例中，获取属性注册数据；基于所述属性注册数据，确定所述配置类别的实例；根据所述配置类别的实例和所述Maven依赖关系对所述配置参数进行更新，生成更新配置数据。判断所述预设的线程池是否有闲置线程；若是，则通过所述闲置线程和所述更新配置数据，对所述目标业务数据进行处理；若否，则将所述目标业务数据存储至所述线程池的暂时线程中，直到所述线程池中出现新增闲置线程时，利用所述新增闲置线程对所述目标业务数据进行处理，得到处理文件。
其中，所述属性注册数据是指描述Bean实例属性的表格，所述属性注册数据包括Bean实例，不同的Bean实例包含不同的配置信息。通过属性注册数据可以将配置信息传输至预设配置管理中心。
进一步地，所述预设的线程池可包含闲置线程和暂时线程，所述闲置线程是指线程池中未执行目标业务数据的线程；若所述线程池中有闲置线程，利用所述闲置线程根据所述更新配置信息对所述目标业务数据进行处理。
105、接收数据查询请求，并对数据查询请求进行解析，生成查询语句，并基于查询语句对处理文件进行解析，得到解析后的目标数据，并进行展示。
本实施例中，将PaaS云容器节点上的所有beans以及依赖关系可视化、动态的展示出来。同时将beans及关系存入图数据库，支持更加灵活的查询。
可选地，在本申请实施例提供的基于Spring Boot的数据可视化方法中，在对处理文件的标识数据进行解析，得到解析后的目标数据之后，该方法还包括：将目标数据存储至第二数据库中；通过对第二数据库进行查询，获取目标数据。
具体的，将解析的结果可以保存在mysql数据库，也可以保存在图数据库中，其中，mysql数据库中的数据用来支持页面查询；图数据库中可以直接去图数据库中查询，并将查询结果以图像的形式更直观的展示出来。
本发明实施例中，通过采集静态数据，基于预设redis缓存机制对静态数据进行缓存，得到目标业务数据；通过预设Spring boot框架生成目标业务数据的配置参数；基于配置参数，确定目标业务数据之间的Maven依赖关系；基于Maven依赖关系对配置参数进行更新，并基于预设线程池对目标业务数据进行处理，得到处理文件；接收数据查询请求，并对数据查询请求进行解析，生成查询语句，并基于查询语句对处理文件进行解析，得到解析后的目标数据，并进行展示。本发明通过将代码从程序代码中彻底分离，提高了系统的稳定性和开发效率。
请参阅图2，本发明实施例中数据处理方法的第二个实施例包括：
201、接收将预置的数据缓存至预设的Redis数据库中的缓存请求；
本实施例中，接收用户发送将预置的数据缓存至预设的Redis数据库中的缓存请求。具体的，所述Redis数据库是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。随着企业的业务的扩展海量增加，需要对数据库进行频繁的操作，由于频繁的操作数据库非常消耗数据库的性能，最终导致数据的读写速度变慢。通过引入所述Redis数据库将一些常用的数据缓存到所述Redis数据库中，从而很好的提高了网站的加载效率，降低对数据库的读写次数。所述查询请求包括所述数据以及在所述Redis数据库中已经设置并用来标识所述数据的Key，通过该Key可从所述Redis数据库中获取所述Redis数据库中是否缓存有所述数据。
202、对Redis数据库进行查询，并根据得到的查询结果确定Redis数据库中是否存在与缓存请求相匹配的Key值；
本实施例中，对所述Redis数据库进行键值查询以得到所述Redis数据库中是否存在与所述缓存请求相匹配的Key的查询结果。具体的，所述查询结果为执行服务器在所述Redis数据库中进行键值查询以得到所述Redis数据库中是否存在与所述数据相对应的Key的结果信息，所述键值查询为对所述Redis数据库中与所述数据相对应的Key-Value的查询，所述数据缓存在所述Redis数据库中时，是以Key-Value(键值对)的形式缓存在所述Redis数据库中，其中，key value根据关键字取值，Key为关键字，Value为值，所述缓存请求中包含有所述Key，所述Redis数据库中缓存的数据指的就是Redis数据库的值Value的类型，通常所述Redis数据库中缓存的数据的结构类型包括string、l ist、set、sortedSet、hash等类型，所述Key在所述Redis数据库中有相对应的值Value，即所述Key为在所述Redis数据库中有相对应的值Value的身份标识信息。在本发明实施例中，所述Redis数据库中缓存的数据的结构类型为hash类型。当所述Redis数据库中不存在所述Key，则所述Redis数据库中即不存在与所述Key相对应的值Value数据，即所述Redis数据库中不存在与所述数据相对应的Key，用户也无法从所述Redis数据库中查询到与所述数据。
203、若是，则基于预设redis缓存机制和根据Key值，对静态数据进行缓存，得到目标业务数据；
本实施例中，若所述Key设置成功，将所述预置的数据缓存至所述Redis数据库中并将缓存结果发送给所述用户。具体的，所述Key在所述Redis数据库中设置成功表示为对所述Redis数据库加锁成功。所述对所述Redis数据库加锁成功后，便可执行将所述数据缓存到所述Redis数据库中并将缓存成功的结果发送给所述用户。在本发明实施例中，采用面向切面编程技术来整合所述数据以获取类路径、方法名，参数并作为所述Key的Value并缓存到所述Redis数据库中，从而保证所述数据的唯一性，同时，获取所述Key的过期时间并随所述数据缓存的结果一起发送给所述用户，另外，获取所述Key的过期时间为获取注解后所述Key的过期时间的参数值。
204、获取目标业务数据的配置类，对配置类进行类注解，得到配置类别；
本实施例中，根据所述自定义配置类利用所述Spring boot框架配置所述目标业务数据的环境变量及配置所述目标业务数据的类型；根据配置所述目标业务数据的环境及配置所述目标业务数据的类型，生成所述目标业务数据的配置参数。
本实施例中，所述类是指相同数据和相同的一组对象的集合，即类是对具有相同数据结构和相同操作的一类对象的描述。对象是描述其属性的数据以及对这些数据施加的一组操作封装在一起构成的统一体。对所述目标业务数据的配置类的主要作用是可以将目标业务数据中相同数据结构和属性相同的数据作为一类集合。
进一步地，通过对所述配置类进行类注解，通过对所述类的配置进行注解可以实现自定义配置，通过类注解可以保存、查询及删除目标业务数据中的数据，可以更好的实现目标业务数据的自定义配置。
205、根据配置类别，利用预设Spring boot框架配置目标业务数据的环境变量和目标业务数据的路径；
本实施例中，Spring boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。由于该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。
本实施例中，通过spring boot框架对目标业务数据进行配置，可以使开发人员不再需要定义样板化的配置，使用更加方便快捷，且通过spring boot框架还支持默认配置值功能，在不更改默认配置值情况下，可支持大多数场景。例如，所述环境变量的默认配置参数。
进一步地，所述目标业务数据的环境变量是指目标业务数据是处于开发环境、测试环境还是生产环境下，通过配置目标业务数据的路径可以准确的定位目标业务数据的路径变化。
206、根据环境变量和路径，生成目标业务数据的配置参数；
本实施例中，由于配置参数包含对多个属性的配置，可以将每个不同属性的配置参数进行注解，将配置参数封装为类的实例(如Bean实例)，通过Bean实例，便于后续直接查找配置参数中哪个属性发生了变化。
具体地，所述监听所述配置参数的变化，根据变化结果生成更新配置参数，包括：获取属性注册数据，所述属性注册数据中包括类的实例，不同的类的实例包含不同的配置参数；从所述属性注册数据中提取预设时间内存在变化的类的实例；根据所述变化的类的实例生成更新配置参数。
本实施例中，所述属性注册数据是指描述Bean实例属性的表格，所述属性注册数据包括Bean实例，不同的Bean实例包含不同的配置参数。例如，所述属性注册数据可以包括Bean实例的名称、参数、参数占位符和属性名称，当配置参数为目标业务数据类别的配置，则Bean的名称可以为目标业务数据类别、参数可以为system.type、参数占位符可以为{system.type}、属性名称可以为system type。
207、基于配置参数，确定目标业务数据之间的Maven依赖关系；
208、基于Maven依赖关系对配置参数进行更新，并基于预设线程池对目标业务数据进行处理，得到处理文件；
209、确定处理文件的标识数据，并对标识数据的属性进行解析，得到解析后的目标数据；
本实施例中，将PaaS云容器节点上的所有beans以及依赖关系可视化、动态的展示出来。同时将beans及关系存入图数据库，支持更加灵活的查询。
可选地，在本实施例中，在对处理文件的标识数据进行解析，得到解析后的目标数据。
210、根据标识数据的属性查询目标数据对应文件的依赖关系；
本实施例中，将解析的结果可以保存在mysql数据库，也可以保存在图数据库中，其中，mysql数据库中的数据用来支持页面查询；图数据库中可以直接去图数据库中查询，并将查询结果以图像的形式更直观的展示出来。
具体地，在本实施例中，将数据信息进行可视化展示包括：根据组件标识信息的名称查询数据信息对应的文件包的依赖关系。
211、基于依赖关系，将目标数据发送至预设前端进行展示。
本实施例中，从依赖关系中获取目标文件包的被依赖次数；根据被依赖次数的不同对待展示的图像信息进行处理，得到处理后的图像；将处理后的图像进行可视化展示。
本实施例中步骤207-208与第一实施例中的步骤103-104类似，此处不再赘述。
本发明实施例中，通过采集静态数据，基于预设redis缓存机制对静态数据进行缓存，得到目标业务数据；通过预设Spring boot框架生成目标业务数据的配置参数；基于配置参数，确定目标业务数据之间的Maven依赖关系；基于Maven依赖关系对配置参数进行更新，并基于预设线程池对目标业务数据进行处理，得到处理文件；接收数据查询请求，并对数据查询请求进行解析，生成查询语句，并基于查询语句对处理文件进行解析，得到解析后的目标数据，并进行展示。本发明通过将代码从程序代码中彻底分离，提高了系统的稳定性和开发效率。
请参阅图3，本发明实施例中数据处理方法的第三个实施例包括：
301、采集静态数据，基于预设redis缓存机制对静态数据进行缓存，得到目标业务数据；
302、通过预设Spring boot框架生成目标业务数据的配置参数；
303、基于配置参数，确定目标业务数据之间的Maven依赖关系；
304、获取属性注册数据，并基于属性注册数据，确定配置类别的实例；
本实施例中，所述属性注册数据是指描述Bean实例属性的表格，所述属性注册数据包括Bean实例，不同的Bean实例包含不同的配置信息。例如，所述属性注册数据可以包括Bean实例的名称、参数、参数占位符和属性名称，当配置信息为目标业务数据类别的配置，则Bean的名称可以为目标业务数据类别、参数可以为system.type、参数占位符可以为{system.type}、属性名称可以为system type。
305、根据配置类别的实例和Maven依赖关系对配置参数进行更新，生成更新配置数据；
本实施例中，通过属性注册数据可以将配置信息传输至预设配置管理中心中，其中，所述预设配置管理中心是与本发明实施例所述基于Spring boot的文件传输能够进行通信的上游或下游系统，通过预设配置管理中心可以实现配置信息的更新，无需像之前当配置信息改变时，重启应用程序，提高了文件传输过程中的效率。
306、判断预设的线程池是否有闲置线程；
本实施例中，所述预设的线程池可包含闲置线程和暂时线程，所述闲置线程是指线程池中未执行目标业务数据的线程；所述暂时线程是指在没有闲置线程时，可以执行目标业务数据的线程，当该目标业务数据执行完成，则该暂时线程在线程池中分解释放出新的内存，通过同时调用多个闲置线程和暂时线程可以并发处理多个目标业务数据实现目标业务数据的异步操作，减少目标业务数据等待处理的时间，且所述预设线程池通过标准接口与Spr ing boot相连接，当spring boot中有多个目标业务数据需要进行处理时，springboot通过标准接口将需要处理的目标业务数据发送至线程池中。
307、若是，则通过闲置线程和更新配置数据，对目标业务数据进行处理；
本实施例中，若所述线程池中有闲置线程，利用所述闲置线程根据所述更新配置信息对所述目标业务数据进行处理。
308、若否，则将目标业务数据存储至线程池的暂时线程中，直到线程池中出现新增闲置线程时，利用新增闲置线程对目标业务数据进行处理，得到处理文件；
本实施例中，若所述线程池中没有闲置线程，将所述目标业务数据存储至所述线程池的暂时线程中，直到所述线程池中出现新增闲置线程时，利用所述新增闲置线程对所述目标业务数据进行处理。
309、接收数据查询请求，并对数据查询请求进行解析，生成查询语句，并基于查询语句对处理文件进行解析，得到解析后的目标数据，并进行展示。
本实施例中，在数据可视化的过程中，需要先将持久化层的数据查询出来再做转化，持久化层的数据通常存储于不同的数据源中。从数据查询请求中，可以确定需要查询的数据标识以及数据源信息。
可理解的是，数据查询请求中指示的数据源信息提供了关于数据源的具体访问信息，也即通过数据源信息可以连接并访问对应的数据库中的数据源并进行数据查询。在数据可视化的过程中，可以在代码中直接写入数据库的查询语句以及数据源的访问地址、数据源类型、数据源的访问用户及访问密码等信息。这种简单集成数据源的方式对于一个或少数几个数据源来说比较高效。然而在数据源较多情况下，在代码中集成大量数据源的信息比较容易出错，而且重复性的代码会较多，对系统具有一定的侵入性。
具体地，当获取到数据查询请求后，需要根据不同数据源类型确定不同的查询语句，以便使用这些查询语句在对应的数据源中查询数据。
对于不同的数据库类型，所述SQL查询语句不完全相同，例如，Mysql和SQLServer的数据库查询语句相似，但也存在比较多的差异。因此为了屏蔽底层查询语句的具体细节，提取出通用的查询流程，减少代码的重复量，在本发明的一个实施例中，优选采用注解的机制来实现，其方式如下：通过调用配置有查询注解的接口，获取所述接口对应的查询注解及参数；所述参数包含了对应于所述数据标识的标准SQL语句；根据所述待查询数据库中的数据源信息包含的数据源类型，通过查询注解解释器，将所述标准SQL语句转化成所述数据源类型对应的查询语句。
本实施例中，通过查询注解解释器转化生成了与数据源类型对应的查询语言后，则可以将查询语句发送给数据源进行查询，以得到目标数据。
本实施例中步骤301-303、305与第一实施例中的步骤101-103、105类似，此处不再赘述。
本发明实施例中，通过采集静态数据，基于预设redis缓存机制对静态数据进行缓存，得到目标业务数据；通过预设Spring boot框架生成目标业务数据的配置参数；基于配置参数，确定目标业务数据之间的Maven依赖关系；基于Maven依赖关系对配置参数进行更新，并基于预设线程池对目标业务数据进行处理，得到处理文件；接收数据查询请求，并对数据查询请求进行解析，生成查询语句，并基于查询语句对处理文件进行解析，得到解析后的目标数据，并进行展示。本发明通过将代码从程序代码中彻底分离，提高了系统的稳定性和开发效率。
上面对本发明实施例中数据处理方法进行了描述，下面对本发明实施例中数据处理装置进行描述，请参阅图4，本发明实施例中数据处理装置的第一个实施例包括：
缓存模块401，用于采集静态数据，基于预设redis缓存机制对所述静态数据进行缓存，得到目标业务数据；
生成模块402，用于通过预设Spring boot框架生成所述目标业务数据的配置参数；
确定模块403，用于基于所述配置参数，确定所述目标业务数据之间的Maven依赖关系；
更新模块404，用于基于所述Maven依赖关系对所述配置参数进行更新，并基于预设线程池对所述目标业务数据进行处理，得到处理文件；
解析模块405，用于接收数据查询请求，并对所述数据查询请求进行解析，生成查询语句，并基于所述查询语句对所述处理文件进行解析，得到解析后的目标数据，并进行展示。
本发明实施例中，通过采集静态数据，基于预设redis缓存机制对静态数据进行缓存，得到目标业务数据；通过预设Spring boot框架生成目标业务数据的配置参数；基于配置参数，确定目标业务数据之间的Maven依赖关系；基于Maven依赖关系对配置参数进行更新，并基于预设线程池对目标业务数据进行处理，得到处理文件；接收数据查询请求，并对数据查询请求进行解析，生成查询语句，并基于查询语句对处理文件进行解析，得到解析后的目标数据，并进行展示。本发明通过将代码从程序代码中彻底分离，提高了系统的稳定性和开发效率。
请参阅图5，本发明实施例中数据处理装置的第二个实施例，该数据处理装置具体包括：
缓存模块401，用于采集静态数据，基于预设redis缓存机制对所述静态数据进行缓存，得到目标业务数据；
生成模块402，用于通过预设Spring boot框架生成所述目标业务数据的配置参数；
确定模块403，用于基于所述配置参数，确定所述目标业务数据之间的Maven依赖关系；
更新模块404，用于基于所述Maven依赖关系对所述配置参数进行更新，并基于预设线程池对所述目标业务数据进行处理，得到处理文件；
解析模块405，用于接收数据查询请求，并对所述数据查询请求进行解析，生成查询语句，并基于所述查询语句对所述处理文件进行解析，得到解析后的目标数据，并进行展示。
本实施例中，所述缓存模块401具体用于：
接收将预置的数据缓存至预设的Redis数据库中的缓存请求；
对所述Redis数据库进行查询，并根据得到的查询结果确定所述Redis数据库中是否存在与所述缓存请求相匹配的Key值；
若是，则基于预设redis缓存机制和根据所述Key值，对所述静态数据进行缓存，得到目标业务数据。
本实施例中，所述生成模块402具体用于：
获取所述目标业务数据的配置类，对所述配置类进行类注解，得到配置类别；
根据所述配置类别，利用预设Spring boot框架配置所述目标业务数据的环境变量和所述目标业务数据的路径；
根据环境变量和所述路径，生成所述目标业务数据的配置参数。
本实施例中，所述更新模块404具体用于：
获取属性注册数据；
基于所述属性注册数据，确定所述配置类别的实例；
根据所述配置类别的实例和所述Maven依赖关系对所述配置参数进行更新，生成更新配置数据。
本实施例中，所述更新模块404具体还用于：
判断所述预设的线程池是否有闲置线程；
若是，则通过所述闲置线程和所述更新配置数据，对所述目标业务数据进行处理；
若否，则将所述目标业务数据存储至所述线程池的暂时线程中，直到所述线程池中出现新增闲置线程时，利用所述新增闲置线程对所述目标业务数据进行处理，得到处理文件。
本实施例中，所述解析模块405包括：
解析单元4051，用于确定所述处理文件的标识数据，并对所述标识数据的属性进行解析，得到解析后的目标数据；
查询单元4052，用于根据所述标识数据的属性查询所述目标数据对应文件的依赖关系；
展示单元4053，用于基于所述依赖关系，将所述目标数据发送至预设前端进行展示。
本发明实施例中，采集静态数据，基于预设redis缓存机制对静态数据进行缓存，得到目标业务数据；通过预设Spring boot框架生成目标业务数据的配置参数；基于配置参数，确定目标业务数据之间的Maven依赖关系；基于Maven依赖关系对配置参数进行更新，并基于预设线程池对目标业务数据进行处理，得到处理文件；接收数据查询请求，并对数据查询请求进行解析，生成查询语句，并基于查询语句对处理文件进行解析，得到解析后的目标数据，并进行展示。本发明通过将代码从程序代码中彻底分离，提高了系统的稳定性和开发效率。
上面图4和图5从模块化功能实体的角度对本发明实施例中的数据处理装置进行详细描述，下面从硬件处理的角度对本发明实施例中数据处理设备进行详细描述。
图6是本发明实施例提供的一种数据处理设备的结构示意图，该数据处理设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)610(例如，一个或一个以上处理器)和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据处理设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在数据处理设备600上执行存储介质630中的一系列指令操作，以实现上述各方法实施例提供的数据处理方法的步骤。
数据处理设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图6示出的数据处理设备结构并不构成对本申请提供的数据处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行上述数据处理方法的步骤。
所述领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种数据处理方法，其特征在于，所述数据处理方法包括：
采集静态数据，基于预设redis缓存机制对所述静态数据进行缓存，得到目标业务数据；
通过预设Spring boot框架生成所述目标业务数据的配置参数；
基于所述配置参数，确定所述目标业务数据之间的Maven依赖关系；
基于所述Maven依赖关系对所述配置参数进行更新，并基于预设线程池对所述目标业务数据进行处理，得到处理文件；
接收数据查询请求，并对所述数据查询请求进行解析，生成查询语句，并基于所述查询语句对所述处理文件进行解析，得到解析后的目标数据，并进行展示。
2.根据权利要求1所述的数据处理方法，其特征在于，所述基于预设redis缓存机制对所述静态数据进行缓存，得到目标业务数据，包括：
接收将预置的数据缓存至预设的Redis数据库中的缓存请求；
对所述Redis数据库进行查询，并根据得到的查询结果确定所述Redis数据库中是否存在与所述缓存请求相匹配的Key值；
若是，则基于预设redis缓存机制和根据所述Key值，对所述静态数据进行缓存，得到目标业务数据。
3.根据权利要求1所述的数据处理方法，其特征在于，所述通过预设Spring boot框架生成所述目标业务数据的配置参数，包括：
获取所述目标业务数据的配置类，对所述配置类进行类注解，得到配置类别；
根据所述配置类别，利用预设Spring boot框架配置所述目标业务数据的环境变量和所述目标业务数据的路径；
根据环境变量和所述路径，生成所述目标业务数据的配置参数。
4.根据权利要求1所述的数据处理方法，其特征在于，所述基于所述Maven依赖关系对所述配置参数进行更新，包括：
获取属性注册数据；
基于所述属性注册数据，确定所述配置类别的实例；
根据所述配置类别的实例和所述Maven依赖关系对所述配置参数进行更新，生成更新配置数据。
5.根据权利要求1所述的数据处理方法，其特征在于，所述基于预设线程池对所述目标业务数据进行处理，得到处理文件，包括：
判断所述预设的线程池是否有闲置线程；
若是，则通过所述闲置线程和所述更新配置数据，对所述目标业务数据进行处理；
若否，则将所述目标业务数据存储至所述线程池的暂时线程中，直到所述线程池中出现新增闲置线程时，利用所述新增闲置线程对所述目标业务数据进行处理，得到处理文件。
6.根据权利要求1所述的数据处理方法，其特征在于，所述基于所述查询语句对所述处理文件进行解析，得到解析后的目标数据，并进行展示，包括：
确定所述处理文件的标识数据，并对所述标识数据的属性进行解析，得到解析后的目标数据；
根据所述标识数据的属性查询所述目标数据对应文件的依赖关系；
基于所述依赖关系，将所述目标数据发送至预设前端进行展示。
7.一种数据处理装置，其特征在于，所述数据处理装置包括：
缓存模块，用于采集静态数据，基于预设redis缓存机制对所述静态数据进行缓存，得到目标业务数据；
生成模块，用于通过预设Spring boot框架生成所述目标业务数据的配置参数；
确定模块，用于基于所述配置参数，确定所述目标业务数据之间的Maven依赖关系；
更新模块，用于基于所述Maven依赖关系对所述配置参数进行更新，并基于预设线程池对所述目标业务数据进行处理，得到处理文件；
解析模块，用于接收数据查询请求，并对所述数据查询请求进行解析，生成查询语句，并基于所述查询语句对所述处理文件进行解析，得到解析后的目标数据，并进行展示。
8.根据权利要求7所述的数据处理装置，其特征在于，所述缓存模块具体用于：
接收将预置的数据缓存至预设的Redis数据库中的缓存请求；
对所述Redis数据库进行查询，并根据得到的查询结果确定所述Redis数据库中是否存在与所述缓存请求相匹配的Key值；
若是，则基于预设redis缓存机制和根据所述Key值，对所述静态数据进行缓存，得到目标业务数据。
9.一种数据处理设备，其特征在于，所述数据处理设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述数据处理设备执行如权利要求1-6中任一项所述的数据处理方法的各个步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的数据处理方法的各个步骤。
CN202211207309.9A 2022-09-30 2022-09-30 数据处理方法、装置、设备及存储介质 Pending CN115544089A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211207309.9A CN115544089A (zh) 2022-09-30 2022-09-30 数据处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211207309.9A CN115544089A (zh) 2022-09-30 2022-09-30 数据处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115544089A true CN115544089A (zh) 2022-12-30

Family

ID=84731686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211207309.9A Pending CN115544089A (zh) 2022-09-30 2022-09-30 数据处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115544089A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117075956A (zh) * 2023-09-04 2023-11-17 上海易立德信息技术股份有限公司 一种应用于模块化项目的配置插拔方法和系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117075956A (zh) * 2023-09-04 2023-11-17 上海易立德信息技术股份有限公司 一种应用于模块化项目的配置插拔方法和系统

Similar Documents

Publication Publication Date Title
KR102279859B1 (ko) 파라미터 세트의 관리
CN106062751B (zh) 对与数据类型有关的数据剖析操作的管理
KR102126099B1 (ko) 데이터에 규칙 지정 및 적용
US10402310B1 (en) Systems and methods for reducing storage required for code coverage results
CN112506946A (zh) 业务数据查询方法、装置、设备及存储介质
CN110795455A (zh) 依赖关系解析方法、电子装置、计算机设备及可读存储介质
CN111177788A (zh) Hive的动态脱敏方法及动态脱敏系统
US20240354213A1 (en) Graph-based impact analysis of misconfigured or compromised cloud resources
CN107391528B (zh) 前端组件依赖信息搜索方法及设备
CN104679500B (zh) 实体类自动生成实现方法及装置
CN112286557B (zh) 一种非覆盖式更新代码内容的方法和装置
CN111221698A (zh) 任务数据采集方法与装置
CN115544089A (zh) 数据处理方法、装置、设备及存储介质
CN113297057A (zh) 内存分析方法、装置及系统
CN107330031B (zh) 一种数据存储的方法、装置及电子设备
CN112860812A (zh) 信息处理方法、装置、设备、存储介质及程序产品
US12093686B2 (en) Code maintenance system
US11755453B1 (en) Performing iterative entity discovery and instrumentation
CN115599520A (zh) 一种数据智能处理方法、装置、设备及存储介质
US11709726B2 (en) Error dynamics analysis
CN102591859B (zh) 一种重用行业标准格式文件的方法及相关装置
CN115292370A (zh) 一种业务单据数据处理方法、装置、介质
US11256602B2 (en) Source code file retrieval
JP2016194907A (ja) キャッシュメモリを更新する装置、プログラム、及び方法
CN106687999B (zh) 产生实现被设计为更新根据应用数据模型指定的对象的规则的指令集

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination