CN114489513A - 一种基于本地磁盘中转的数据返回方法及系统 - Google Patents

一种基于本地磁盘中转的数据返回方法及系统 Download PDF

Info

Publication number
CN114489513A
CN114489513A CN202210127424.9A CN202210127424A CN114489513A CN 114489513 A CN114489513 A CN 114489513A CN 202210127424 A CN202210127424 A CN 202210127424A CN 114489513 A CN114489513 A CN 114489513A
Authority
CN
China
Prior art keywords
data
service processing
processing request
local disk
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210127424.9A
Other languages
English (en)
Inventor
蒋烁淼
周逸灵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Cloudcare Information Technology Co ltd
Original Assignee
Shanghai Cloudcare Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Cloudcare Information Technology Co ltd filed Critical Shanghai Cloudcare Information Technology Co ltd
Priority to CN202210127424.9A priority Critical patent/CN114489513A/zh
Publication of CN114489513A publication Critical patent/CN114489513A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于本地磁盘中转的数据返回方法及系统，本方法包括如下步骤：接收到业务处理请求后，对所述业务处理请求进行处理，并将生成的数据写入本地磁盘；从本地磁盘获取到所述数据，并根据所述业务处理请求将数据返回。应用本方法及系统可以更有效的节省服务器的内存占用，并且大大加快对于业务处理请求的响应速度。

Description

一种基于本地磁盘中转的数据返回方法及系统
技术领域
本发明属于计算机技术领域，具体而言属于一种基于本地磁盘中转的数据返回方法及系统。
背景技术
对于服务器端应用程序，特别是业务处理系统，有时需要向客户端返回大量数据(如用于展示折线图的图表数据)。和普通的文件下载不同，返回的这些数据并不是固定的，需要业务处理系统参与处理后动态生成。针对这种情况，一般有以下几种处理方式：
直接返回，缺点是传输过程中会占据大量内存，如网络速度慢则会长期占用大量内存；
流式传输，即生成一段数据传输一段数据。可以减少内存消耗，但当网络速度慢，传输时间长时会长期占用业务处理进程。
也即是说上述常用的处理方式均存在内存占用大、系统的资源使用率不高、响应速度慢的问题，而实际开发过程中往往会遇到数据量过大而空间不足的情况，因此亟需一种资源利用率更高，响应速度更快的方法及系统。
有鉴于此，特提出本发明。
发明内容
本发明的第一目的在于提供一种基于本地磁盘中转的数据返回方法，该方法不同于常规的业务处理方法在请求处理完成后直接将生成的数据返回，本发明在业务处理系统和数据返回系统之间增加了本地磁盘进行中转，使得业务请求处理和数据返回这两个不同的工作由不同的模块完成，大大加快了系统的响应速度和缓解了内存空间的压力。
本发明的第二目的在于提供一种基于本地磁盘中转的数据返回系统，本系统基于上述方法所设计，也即是说本系统为上述方法的实现提供了底层的逻辑支持。
为了实现本发明的上述目的，特采用以下技术方案：
本发明的方法包括如下步骤：
接收到业务处理请求后，对所述业务处理请求进行处理，并将生成的数据写入本地磁盘；
从本地磁盘获取到所述数据，并根据所述业务处理请求将数据返回。
优选的，所述数据写入本地磁盘时，根据数据类型和所述业务处理请求的ID生成数据文件，从本地磁盘获取数据时，根据所述业务处理请求直接获取所述数据文件。
优选的，本地磁盘中的数据存放超过一个小时将会被清理以减轻存储空间压力。
其中删除数据采用的是定时清除的方式，具体而言即是定时检查磁盘中由本方法生成的数据的存放时间，若存放超过了一个小时，则将该数据删除，之所以采用这样的方式而非给每个数据设置一个定时器也是为了节省资源减少存储空间的占用。
优选的，服务器接收到重复的业务处理请求后，检查本地磁盘中是否存在所述业务处理请求对应的数据文件，若存在，则将所述业务处理请求跳转至所述数据文件。
本发明公开的数据返回系统包括：
业务处理模块：接收到业务处理请求后，对所述业务处理请求进行处理，并将生成的数据写入本地磁盘；
数据返回模块：从本地磁盘获取到所述数据，并根据所述业务处理请求将数据返回。
优选的，将数据写入本地磁盘后，将所述业务处理请求转发给所述数据返回模块，所述数据返回模块根据所述业务处理请求获取数据。
优选的，所述业务处理模块将所述业务处理请求转发给所述数据返回模块后立即处理其他请求以提高资源利用率。
综上，本方案的实现核心在于将请求处理和数据返回拆分到不同的服务器上，无论原本的业务处理系统使用何种语言编写、性能如何，只需要将需要返回的数据写入磁盘后，由另外的高性能文件服务器提供数据返回即可实现预期的效果。
并且本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，所述程序执行时实现上述方法的步骤。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
与现有技术相比，本发明的有益效果在于：
(1)大大提高了对于业务处理请求的响应速度。
(2)提高了服务器总体资源的使用率。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例提供的数据返回方法流程示意图；
图2为本发明实施例提供的数据返回系统示意图；
图3为本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合附图和具体实施方式对本发明的技术方案进行清楚、完整地描述，但是本领域技术人员将会理解，下列所描述的实施例是本发明一部分实施例，而不是全部的实施例，仅用于说明本发明，而不应视为限制本发明的范围。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了更加清晰的对本发明中的技术方案进行阐述，下面以具体实施例的形式进行说明。
实施例
如图1所示。本发明的方法包括如下步骤：
S1-1：接收到业务处理请求后，对所述业务处理请求进行处理，并将生成的数据写入本地磁盘；
S1-2：从本地磁盘获取到所述数据，并根据所述业务处理请求将数据返回。
所述数据写入本地磁盘时，根据数据类型和所述业务处理请求的ID生成数据文件，从本地磁盘获取数据时，根据所述业务处理请求直接获取所述数据文件。
本地磁盘中的数据存放超过一个小时将会被清理以减轻存储空间压力。
服务器接收到重复的业务处理请求后，检查本地磁盘中是否存在所述业务处理请求对应的数据文件，若存在，则将所述业务处理请求跳转至所述数据文件。
如图2所示，本发明公开的数据返回系统包括：
业务处理模块2-1：接收到业务处理请求后，对所述业务处理请求进行处理，并将生成的数据写入本地磁盘；
数据返回模块2-2从本地磁盘获取到所述数据，并根据所述业务处理请求将数据返回。
将数据写入本地磁盘后，将所述业务处理请求转发给所述数据返回模块，所述数据返回模块根据所述业务处理请求获取数据。
所述业务处理模块将所述业务处理请求转发给所述数据返回模块后立即处理其他请求以提高资源利用率。
本实施例中，提供了一个实例，请求为GET/api/get-data？id＝001，并且在请求处理结束后，生成一个名为id-001.json的数据文件，将所述数据文件写入磁盘后，业务处理模块2-1会给发起请求的客户端返回一个redirect命令，客户端接收到此命令后，会自动跳转至GET/statics/id-001.json，并获取该数据文件。
并且若是客户端发起重复请求，例如用户在浏览器反复刷新，则会首先检查GET/statics/id-001.json该文件是否存在于磁盘中，若存在，则再次返回一个redirect命令，要求客户端跳转；若是该文件不存在，则依照首次发起请求进行处理。
图3是本发明公开的一种计算机设备的结构示意图。参考图3所示，该计算机设备包括：输入装置63、输出装置64、存储器62和处理器61；所述存储器62，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器61执行，使得所述一个或多个处理器61实现如上述实施例提供的数据返回方法；其中输入装置63、输出装置64、存储器62和处理器61可以通过总线或者其他方式连接，图3中以通过总线连接为例。
存储器62作为一种计算设备可读写存储介质，可用于存储软件程序、计算机可执行程序，如本申请实施例所述的方法对应的程序指令；存储器62可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等；此外，存储器62可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件或其他非易失性固态存储器件；在一些实例中，存储器62可进一步包括相对于处理器61远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置63可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入；输出装置64可包括显示屏等显示设备。
处理器61通过运行存储在存储器62中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理。
上述提供的计算机设备可用于执行上述实施例提供的数据返回方法，具备相应的功能和有益效果。
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上述实施例提供的数据返回方法，存储介质是任何的各种类型的存储器设备或存储设备，存储介质包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等；存储介质可以还包括其它类型的存储器或其组合；存储介质包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种基于本地磁盘中转的数据返回方法，其特征在于，包括如下步骤：
接收到业务处理请求后，对所述业务处理请求进行处理，并将生成的数据写入本地磁盘；
从本地磁盘获取到所述数据，并根据所述业务处理请求将数据返回。
2.根据权利要求1所述的方法，其特征在于，所述数据写入本地磁盘时，根据数据类型和所述业务处理请求的ID生成数据文件，从本地磁盘获取数据时，根据所述业务处理请求直接获取所述数据文件。
3.根据权利要求1所述的方法，其特征在于，本地磁盘中的数据存放时限不能超过1h。
4.根据权利要求2所述的方法，其特征在于，服务器接收到重复的业务处理请求后，检查本地磁盘中是否存在所述业务处理请求对应的数据文件，若存在，则将所述业务处理请求跳转至所述数据文件。
5.基于上述权利要求1-4任一项所述方法的系统，其特征在于，包括：
业务处理模块：接收到业务处理请求后，对所述业务处理请求进行处理，并将生成的数据写入本地磁盘以及将所述业务处理请求转发给数据返回模块；
数据返回模块：从本地磁盘获取到所述数据，并根据所述业务处理请求将数据返回。
6.根据权利要求5所述的系统，其特征在于，所述数据返回模块还包括有数据获取单元，以用于接受业务处理模块转发的请求和根据所述业务处理请求获取数据。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序执行时实现权利要求1-4任一项所述方法的步骤。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4任一项所述方法的步骤。
CN202210127424.9A 2022-02-11 2022-02-11 一种基于本地磁盘中转的数据返回方法及系统 Pending CN114489513A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210127424.9A CN114489513A (zh) 2022-02-11 2022-02-11 一种基于本地磁盘中转的数据返回方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210127424.9A CN114489513A (zh) 2022-02-11 2022-02-11 一种基于本地磁盘中转的数据返回方法及系统

Publications (1)

Publication Number Publication Date
CN114489513A true CN114489513A (zh) 2022-05-13

Family

ID=81477869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210127424.9A Pending CN114489513A (zh) 2022-02-11 2022-02-11 一种基于本地磁盘中转的数据返回方法及系统

Country Status (1)

Country Link
CN (1) CN114489513A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104079656A (zh) * 2014-07-07 2014-10-01 用友软件股份有限公司 webService中soap消息的效率优化装置及方法
WO2015145454A1 (en) * 2014-03-28 2015-10-01 Hewlett-Packard Development Company, L.P. Data file hoarding
CN108924250A (zh) * 2018-07-27 2018-11-30 江西贪玩信息技术有限公司 基于区块链的业务请求处理方法、装置和计算机设备
CN108965450A (zh) * 2018-07-27 2018-12-07 江西贪玩信息技术有限公司 业务请求响应方法、装置、计算机设备和存储介质
CN109040227A (zh) * 2018-07-27 2018-12-18 江西贪玩信息技术有限公司 基于区块链的业务请求响应方法、装置和计算机设备
CN109358805A (zh) * 2018-09-03 2019-02-19 中新网络信息安全股份有限公司 一种数据缓存方法
CN110196681A (zh) * 2018-04-11 2019-09-03 腾讯科技（深圳）有限公司 业务写操作的磁盘数据写入控制方法及装置、电子设备
CN110263061A (zh) * 2019-06-17 2019-09-20 郑州阿帕斯科技有限公司 一种数据查询方法及系统
CN110865989A (zh) * 2019-11-22 2020-03-06 浪潮电子信息产业股份有限公司 一种大规模计算集群的业务处理方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015145454A1 (en) * 2014-03-28 2015-10-01 Hewlett-Packard Development Company, L.P. Data file hoarding
CN104079656A (zh) * 2014-07-07 2014-10-01 用友软件股份有限公司 webService中soap消息的效率优化装置及方法
CN110196681A (zh) * 2018-04-11 2019-09-03 腾讯科技（深圳）有限公司 业务写操作的磁盘数据写入控制方法及装置、电子设备
CN108924250A (zh) * 2018-07-27 2018-11-30 江西贪玩信息技术有限公司 基于区块链的业务请求处理方法、装置和计算机设备
CN108965450A (zh) * 2018-07-27 2018-12-07 江西贪玩信息技术有限公司 业务请求响应方法、装置、计算机设备和存储介质
CN109040227A (zh) * 2018-07-27 2018-12-18 江西贪玩信息技术有限公司 基于区块链的业务请求响应方法、装置和计算机设备
CN109358805A (zh) * 2018-09-03 2019-02-19 中新网络信息安全股份有限公司 一种数据缓存方法
CN110263061A (zh) * 2019-06-17 2019-09-20 郑州阿帕斯科技有限公司 一种数据查询方法及系统
CN110865989A (zh) * 2019-11-22 2020-03-06 浪潮电子信息产业股份有限公司 一种大规模计算集群的业务处理方法

Similar Documents

Publication Publication Date Title
CN113010818B (zh) 访问限流方法、装置、电子设备及存储介质
CN111459418B (zh) 一种基于rdma的键值存储系统传输方法
US10296485B2 (en) Remote direct memory access (RDMA) optimized high availability for in-memory data storage
US8516041B1 (en) Pre-fetching asynchronously requested content
CN109308170B (zh) 一种数据处理方法及装置
CN111782692B (zh) 一种频率控制方法及装置
WO2019041670A1 (zh) 一种降低功能页面请求次数的方法、存储介质、设备及系统
CN111367596A (zh) 一种实现业务数据处理的方法及装置和客户端
CN111475759A (zh) 一种消息推送平台、方法、装置、服务器和存储介质
CN113626184A (zh) 一种超融合性能优化方法、装置及设备
CN110851276A (zh) 一种业务请求处理方法、装置、服务器和存储介质
CN111737212A (zh) 一种分布式文件系统提升性能的方法和设备
US10599629B2 (en) Reduced locking in a distributed data store
CN111865687A (zh) 一种业务数据更新方法及设备
CN116069262B (zh) 一种分布式存储卸载方法、装置、电子设备及存储介质
CN108829498A (zh) 业务数据访问方法和装置
CN112463073A (zh) 一种对象存储分布式配额方法、系统、设备和存储介质
CN112052104A (zh) 基于多机房实现的消息队列的管理方法及电子设备
CN111770054A (zh) 一种针对smb协议读请求的交互加速方法与系统
CN111596864A (zh) 一种数据延时删除的方法、装置、服务器及存储介质
CN114489513A (zh) 一种基于本地磁盘中转的数据返回方法及系统
CN108062224B (zh) 基于文件句柄的数据读写方法、装置及计算设备
CN114064725A (zh) 一种数据处理方法、装置、设备及存储介质
CN113569173A (zh) 页面加载方法及装置、存储介质、电子设备
CN111382207A (zh) 一种数据处理方法、装置、系统和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination