CN113553051B - 一种基于redis缓存技术的文件数据比对方法 - Google Patents

一种基于redis缓存技术的文件数据比对方法 Download PDF

Info

Publication number
CN113553051B
CN113553051B CN202110606547.6A CN202110606547A CN113553051B CN 113553051 B CN113553051 B CN 113553051B CN 202110606547 A CN202110606547 A CN 202110606547A CN 113553051 B CN113553051 B CN 113553051B
Authority
CN
China
Prior art keywords
data
redis
file
comparison
excel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110606547.6A
Other languages
English (en)
Other versions
CN113553051A (zh
Inventor
王挺屹
郭真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Wanwei Information Technology Co Ltd
Original Assignee
China Telecom Wanwei Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Wanwei Information Technology Co Ltd filed Critical China Telecom Wanwei Information Technology Co Ltd
Priority to CN202110606547.6A priority Critical patent/CN113553051B/zh
Publication of CN113553051A publication Critical patent/CN113553051A/zh
Application granted granted Critical
Publication of CN113553051B publication Critical patent/CN113553051B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/40—Transformation of program code
    • G06F8/41—Compilation
    • G06F8/42—Syntactic analysis
    • G06F8/427—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2428—Query predicate definition using graphical user interfaces, including menus and forms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/61—Installation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/70—Software maintenance or management
    • G06F8/71—Version control; Configuration management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及web开发、缓存技术领域，具体为一种基于redis缓存技术的文件数据比对方法，核心在于把上传的Excel文件数据与数据库中存储的业务数据进行比对匹配，验证上传数据的准确性以及业务数据的可用性。其中包括数据库、数据应用层和页面展示层，数据库通过springboot框架与数据应用层连接，本发明提出的基于redis缓存技术的文件数据比对方法解决了页面展示层上传Excel文件数据进行数据比对返回结果等待时间长，用户体验差等技术问题。在比对结果时，从Excel文件解析出来的数据存入redis高速缓存库中直接与redis已缓存的业务数据进行比对，能够快速反馈比对结果，从而提升数据比对的速度和反馈结果的效率，有效提高了用户的感知。

Description

一种基于redis缓存技术的文件数据比对方法
技术领域
本发明涉及web开发缓存技术领域，具体为一种基于redis缓存技术的文件数据比对方法。
背景技术
现有技术的数据比对都是直接从数据库查询汇总获取结果集，获取数据的基本流程为页面发送请求到服务接口，服务接口通过数据库连接等技术，将数据汇总出返回至服务接口，服务接口再将数据与Excel文件解析后的数据直接进行比对，并将比对结果推送到页面展示层进行展示。这种获取数据结果集与文件解析后的数据进行比对的程序，在页面点击上传文件比对请求，等待比对结果时不能快速进行响应，严重影响业务快速响应的需求，用户的体验效果不佳。因此，需要引进一些新技术和方法来提高文件数据比对的效率和用户在页面展示层操作的感知。
发明内容
本发明的目的在于提供一种基于redis缓存技术的文件数据比对方法，提高文件数据比对响应的速度，提高用户的感知度。
为解决上述技术问题，本发明一种基于redis缓存技术的文件数据比对方法，包括有如下步骤：
S1. 数据库通过springboot技术框架与数据应用层连接，进行连接调试，使Web应用程序能够连通数据库；
S2. 安装redis的应用程序,并将redis高速缓存编写到Web应用程序和springboot技术框架的配置文件中，进行测试调通，具体调通要求：可以保存数据到redis缓存中，并且可以调用redis缓存中已保存的数据；
S3. 编写Excel文件数据解析和文件数据比对逻辑，根据已编写的Excel文件，分别解析每行每列单元格的数据，每行为一条数据，每列为已经定义的对应业务字段，并将解析Excel后的数据根据不同业务字段存入到redis缓存库中；
S4. 页面展示层将Excel上传入口及结果反馈数据进行展示，结果反馈数据以Excel结果反馈数据文件展示到前端页面，提供下载。结果反馈数据主要为业务比对后的结果，例如在数据展示行最后列增加比对结果字段数据，并将页面展示层与Web应用程序连接，进行调试测通；
S5. 点击页面展示层页面时，页面发送请求到后端，后端通过springboot技术框架及配置文件连接数据库，后端根据已上传的Excel数据文件，通过apache的poi函式库解析出有数据的单元格及数据行，每列为具体业务字段数据，在解析结束的同时将已解析数据存入到redis的高速缓存库中，此时根据比对逻辑后台自动进行从redis缓存库中提取业务数据进行数据比对，并将比对结果返回到页面展示层。
进一步的，所述的应用程序通过JAVA语言架构逻辑，通过springboot技术框架和springboot的数据源配置文件与数据库连接。
进一步的，文件数据解析和比对逻辑都通过redis进行缓存和提取数据。
本发明主要核心在于把上传的Excel表格数据与数据库中存储的业务数据进行比对匹配，验证上传数据的准确性以及业务数据的可用性。其中包括数据库、数据应用层和页面展示层，数据库通过springboot框架与数据应用层连接。在比对结果时，从Excel文件解析出来的数据存入redis高速缓存中直接与redis已缓存的业务数据进行比对，能够快速反馈比对结果，从而提升数据比对的速度和反馈结果的效率，有效提高了用户的感知。
本发明的有益效果是：
1.将数据量较大的业务数据提前缓存到redis高速缓存中，在使用比对逻辑提取业务数据时从redis缓存中提取，可最大程度的提高业务数据提取速度；
2.页面展示层上传的Excel数据文件，通过springboot框架中写好的文件数据解析逻辑将解析后的数据直接存入到redis高速缓存中，直接与redis缓存中的业务数据进行比对，快速反馈比对结果到页面展示层，有效提高了用户的感知；
3.在大量文件数据比对的同时，通过redis缓存技术实现的文件数据比对方法有效缓解了数据库和服务接口的压力。
附图说明
图1为本发明原理图；
图2为本发明工作流程图；
图3为本发明工作框架图。
具体实施方式
如图1-图3所示，本发明一种基于redis缓存技术的文件数据比对方法，包括有如下步骤：
S1. 数据库通过springboot技术框架与数据应用层连接，进行连接调试，使Web应用程序能够连通数据库；
S2. 安装redis的应用程序,并将redis高速缓存编写到Web应用程序和springboot技术框架的配置文件中，进行测试调通，具体调通要求：可以保存数据到redis缓存中，并且可以调用redis缓存中已保存的数据；
S3. 编写Excel文件数据解析和文件数据比对逻辑，根据已编写的Excel文件，分别解析每行每列单元格的数据，每行为一条数据，每列为已经定义的对应业务字段，并将解析Excel后的数据根据不同业务字段存入到redis缓存库中；
S4. 页面展示层将Excel上传入口及结果反馈数据进行展示，结果反馈数据以Excel结果反馈数据文件展示到前端页面，提供下载。结果反馈数据主要为业务比对后的结果，例如在数据展示行最后列增加比对结果字段数据，并将页面展示层与Web应用程序连接，进行调试测通；
S5. 点击页面展示层页面时，页面发送请求到后端，后端通过springboot技术框架及配置文件连接数据库，后端根据已上传的Excel数据文件，通过apache的poi函式库解析出有数据的单元格及数据行，每列为具体业务字段数据，在解析结束的同时将已解析数据存入到redis的高速缓存库中，此时根据比对逻辑后台自动进行从redis缓存库中提取业务数据进行数据比对，并将比对结果返回到页面展示层。真实实施例如下：
例1. 编写的Excel文件中包含户主姓名、证件号码、所在地、贫困户状态、贫困户属性等业务数据，后台将Excel文件中的数据解析后存入redis缓存中，与redis缓存中已存在的建档立卡贫困户进行数据比对，如果匹配存在，在Excel最后一列增加数据比对结果为已匹配，否则为未匹配，并将Excel反馈数据返回到前端页面展示，并提供下载，使用人员可下载已成功比对结果。
例2. 编写的Excel文件中包含户成员姓名、证件号码、与户主关系、健康状况等业务数据，后台将Excel文件中的数据解析后存入redis缓存中，根据证件号码后台查询出系统已存在的残疾证办理信息，如果健康状况为残疾，但未匹配到残疾证办理信息，返回对应数据行，并在Excel最后一列增加比对结果字段（残疾证是否办理）为未办理，并将Excel反馈数据返回到前端页面展示，并提供下载，使用人员可下载已成功比对结果。
例3. 编写的Excel文件中包含户主姓名、证件号码、所在地、状态、属性、人均纯收入、劳动技能等业务数据，后台将Excel文件中的数据解析后存入redis缓存中，根据人均纯收入数据字段比较是否达到当地人均纯收入标准，根据证件号码查询已存在的户成员信息中的劳动技能进行判断整户人员是否有劳动能力。在Excel最后增加“是否达到当地人均纯收入标准”和“是否有劳动能力”比对结果字段，将Excel反馈数据返回到前端页面展示，并提供下载，使用人员可下载已成功比对结果。
进一步的，所述的应用程序通过JAVA语言架构逻辑，通过springboot技术框架和springboot的数据源配置文件与数据库连接。
进一步的，文件数据解析和比对逻辑都通过redis进行缓存和提取数据。
本发明主要核心在于把上传的Excel表格数据与数据库中存储的业务数据进行比对匹配，验证上传数据的准确性以及业务数据的可用性。其中包括数据库、数据应用层和页面展示层，数据库通过springboot框架与数据应用层连接。在比对结果时，从Excel解析出来的数据存入redis高速缓存中直接与redis已缓存的业务数据进行比对，能够快速反馈比对结果，从而提升数据比对的速度和反馈结果的效率，有效提高了用户的感知。

Claims (3)

1.一种基于redis缓存技术的文件数据比对方法，其特征在于：包括有数据库、数据应用层和页面展示层，数据库为Oracle数据库或Mysql数据库，数据应用层为web应用程序，包括有如下步骤：
S1. 数据库通过springboot技术框架与数据应用层连接，进行连接调试，使Web应用程序能够连通数据库；
S2. 安装redis的应用程序,并将redis高速缓存编写到Web应用程序和springboot技术框架的配置文件中，进行测试调通，保存数据到redis缓存中，并且调用redis缓存中已保存的数据；
S3. 编写Excel文件数据解析和文件数据比对逻辑，根据已编写的Excel文件，分别解析每行每列单元格的数据，每行为一条数据，每列为已经定义的对应业务字段，并将解析Excel后的数据根据不同业务字段存入到redis缓存库中；
S4. 页面展示层将Excel上传入口及结果反馈数据进行展示，结果反馈数据以Excel结果反馈数据文件展示到前端页面，提供下载，结果反馈数据为业务比对后的结果，在数据展示行最后列增加比对结果字段数据，并将页面展示层与Web应用程序连接，进行调试测通；
S5. 点击页面展示层页面时，页面发送请求到后端，后端通过springboot技术框架及配置文件连接数据库，后端根据已上传的Excel数据文件，通过apache的poi函式库解析出有数据的单元格及数据行，每列为具体业务字段数据，在解析结束的同时将已解析数据存入到redis的高速缓存库中，此时根据比对逻辑后台自动进行从redis缓存库中提取业务数据进行数据比对，并将比对结果返回到页面展示层。
2.根据权利要求1所述的一种基于redis缓存技术的文件数据比对方法，其特征在于：所述的应用程序通过JAVA语言架构逻辑，通过springboot技术框架和springboot的数据源配置文件与数据库连接。
3.根据权利要求1所述的一种基于redis缓存技术的文件数据比对方法，其特征在于：文件数据解析和比对逻辑都通过redis进行缓存和提取数据。
CN202110606547.6A 2021-06-01 2021-06-01 一种基于redis缓存技术的文件数据比对方法 Active CN113553051B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110606547.6A CN113553051B (zh) 2021-06-01 2021-06-01 一种基于redis缓存技术的文件数据比对方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110606547.6A CN113553051B (zh) 2021-06-01 2021-06-01 一种基于redis缓存技术的文件数据比对方法

Publications (2)

Publication Number Publication Date
CN113553051A CN113553051A (zh) 2021-10-26
CN113553051B true CN113553051B (zh) 2022-06-21

Family

ID=78101929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110606547.6A Active CN113553051B (zh) 2021-06-01 2021-06-01 一种基于redis缓存技术的文件数据比对方法

Country Status (1)

Country Link
CN (1) CN113553051B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107370786A (zh) * 2017-06-02 2017-11-21 广州杰赛科技股份有限公司 一种基于微服务架构的通用信息管理系统
CN110321152A (zh) * 2019-07-04 2019-10-11 青岛华正信息技术股份有限公司 一种软件开发平台
CN110602066A (zh) * 2019-08-29 2019-12-20 苏州浪潮智能科技有限公司 一种证书校验终端、方法及装置
CN111488143A (zh) * 2020-04-15 2020-08-04 南京及物智能技术有限公司 一种基于Springboot2代码自动生成装置和方法
CN112486461A (zh) * 2020-11-30 2021-03-12 彩讯科技股份有限公司 一种基于springboot框架的信息处理系统
CN112765221A (zh) * 2021-02-27 2021-05-07 中电万维信息技术有限责任公司 一种基于redis高速缓存的数据检索方法
CN112860238A (zh) * 2021-02-19 2021-05-28 中国建设银行股份有限公司 一种数据处理方法、装置、计算机设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10082983B2 (en) * 2016-04-05 2018-09-25 International Business Machines Corporation Monitoring storage systems

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107370786A (zh) * 2017-06-02 2017-11-21 广州杰赛科技股份有限公司 一种基于微服务架构的通用信息管理系统
CN110321152A (zh) * 2019-07-04 2019-10-11 青岛华正信息技术股份有限公司 一种软件开发平台
CN110602066A (zh) * 2019-08-29 2019-12-20 苏州浪潮智能科技有限公司 一种证书校验终端、方法及装置
CN111488143A (zh) * 2020-04-15 2020-08-04 南京及物智能技术有限公司 一种基于Springboot2代码自动生成装置和方法
CN112486461A (zh) * 2020-11-30 2021-03-12 彩讯科技股份有限公司 一种基于springboot框架的信息处理系统
CN112860238A (zh) * 2021-02-19 2021-05-28 中国建设银行股份有限公司 一种数据处理方法、装置、计算机设备及存储介质
CN112765221A (zh) * 2021-02-27 2021-05-07 中电万维信息技术有限责任公司 一种基于redis高速缓存的数据检索方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Design and Implementation of the Information System of Retired Veteran Cadres Bureau Based on SpringBoot Framework;F. Teng 等;《2021 IEEE International Conference on Consumer Electronics and Computer Engineering (ICCECE), 2021》;20210205;87-92 *
SpringBoot集成Redis缓存在电信运营系统中的应用研究;葛宝龙 等;《中国新通信》;20180116(第23期);102-104 *

Also Published As

Publication number Publication date
CN113553051A (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
CN111259303B (zh) 一种web信息系统前端页面自动生成的系统及其方法
CN107295050B (zh) 前端用户行为统计方法及装置
CN110347662B (zh) 一种基于通用数据模型的多中心医疗数据结构标准化系统
CN105373469B (zh) 一种基于接口的软件自动化测试系统和方法
US8028003B2 (en) System and method for presenting survey data over a network
CN107092625B (zh) 数据配置方法、数据处理方法及装置
CN109710250B (zh) 一种用于构建用户界面的可视化引擎系统及方法
CN104536965B (zh) 一种大数据条件下的数据查询展示系统及方法
CN106469140A (zh) 一种报表生成系统及其方法
CN111339171B (zh) 数据查询的方法、装置及设备
CN111552704A (zh) 一种数据报表生成方法、装置、计算机设备及存储介质
CN112434033B (zh) 一种应对灵活多变的表格类数据收集和展示的方法
US20230048310A1 (en) System and method for identifying members of a dynamic target segment
CN113553051B (zh) 一种基于redis缓存技术的文件数据比对方法
CN103488675A (zh) 一种多网页新闻评论内容自动精确提取装置
CN110334001A (zh) 一种批量自动生成回声测试的方法和装置
CN107643888A (zh) 图表分析的方法和装置
CN113962597A (zh) 一种数据分析方法、装置、电子设备及存储介质
CN113010208A (zh) 一种版本信息的生成方法、装置、设备及存储介质
CN106407099A (zh) 一种测试方法和客户端
CN105630997A (zh) 一种数据并行处理方法、装置及设备
CN116450723A (zh) 数据提取方法、装置、计算机设备及存储介质
CN113901034A (zh) 一种自动识别行政非诉执行案源的方法
CN113901097A (zh) 微服务架构下服务链路及业务的快速检索方法及系统
CN116136880A (zh) 数据展示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant