CN102004773A - 数据读写处理方法及web应用服务器 - Google Patents
数据读写处理方法及web应用服务器 Download PDFInfo
- Publication number
- CN102004773A CN102004773A CN 201010545593 CN201010545593A CN102004773A CN 102004773 A CN102004773 A CN 102004773A CN 201010545593 CN201010545593 CN 201010545593 CN 201010545593 A CN201010545593 A CN 201010545593A CN 102004773 A CN102004773 A CN 102004773A
- Authority
- CN
- China
- Prior art keywords
- storage space
- target data
- read
- web application
- application server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
本发明提供一种数据读写处理方法及WEB应用服务器。该数据读写处理方法包括：在WEB应用服务器对目标数据进行读写操作的过程中，若判断获知内存中预置的存储空间内存储有目标数据，则直接对存储空间内的所述目标数据进行读写操作；若判断获知存储空间内没有存储目标数据，则将作为WEB应用服务器的存储介质的磁盘中所存储的目标数据同步存储到存储空间内，并对存储空间内的所述目标数据进行读写操作。本发明的数据读写处理方法及WEB应用服务器极大地提高了数据读写速度，从而实现在WEB应用中大规模数据的高并发读写。
Description
技术领域
本发明涉及一种数据处理方法和服务器，尤其涉及一种数据读写处理方法及WEB应用服务器。
背景技术
现有的WEB应用中，数据库的结构大多是客户端/服务端(C/S)结构。服务端接受客户端的请求，对请求进行分析和处理，转换成相应的从存储介质读取数据或向存储介质写入数据的输入/输出(I/O)操作。因此，随着互联网的快速发展，WEB应用的规模也越来越大，不仅需要解决巨大访问量对服务器的压力，尤其需要能够快速准确的对海量数据进行存储和定位。要解决大规模数据的高并发读写，一方面可以从算法、数据存储架构方面来考虑，一方面可以从存储介质的读写速度入手。
现有技术中，服务端从存储介质读取数据或向存储介质写入数据的操作是通过直接对用作存储介质的磁盘进行读/写来实现的，平均读取时间大约为5～10毫秒，针对WEB应用中高并发和大量随机读写的情况，这样的读写速度远不能满足要求。
发明内容
针对上述缺陷，本发明提供一种数据读写处理方法，包括：
在WEB应用服务器对目标数据进行读写操作的过程中，若判断获知内存中预置的存储空间内存储有所述目标数据，则直接对所述存储空间内的所述目标数据进行读写操作；
若判断获知所述存储空间内没有存储所述目标数据，则将作为所述WEB应用服务器的存储介质的磁盘中所存储的目标数据同步存储到所述存储空间内，并对所述存储空间内的所述目标数据进行读写操作。
本发明还提供一种WEB应用服务器，包括：
判断模块，用于在WEB应用服务器对目标数据进行读写操作的过程中。判断内存中预置的存储空间内是否存储有所述目标数据；
同步处理模块，用于若所述判断模块通过判断获知所述存储空间内没有存储所述目标数据，则将作为所述WEB应用服务器的存储介质的磁盘中所存储的目标数据同步存储到所述存储空间内；
读写模块，用于对所述存储空间内的所述目标数据进行读写操作。
本发明提供的数据读写处理方法和WEB应用服务器由于通过对内存进行数据读写，极大地提高了数据读写速度，从而实现在WEB应用中大规模数据的高并发读写。
附图说明
图1是本发明数据读写处理方法的流程图。
图2为本发明数据读写处理方法的数据读写过程示意图。
图3为本发明数据读写处理方法的WEB应用服务器操作流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图，对本发明的技术方案进行清楚、完整地描述。
图1是本发明的数据读写处理方法的流程图。如图1所示，本发明的数据读写处理方法包括以下步骤：
S100，在WEB应用服务器对目标数据进行读写操作的过程中，若判断获知内存中预置的存储空间内存储有目标数据，则直接对存储空间内的目标数据进行读写操作；
S200，若判断获知存储空间内没有存储目标数据，则将作为WEB应用服务器的存储介质的磁盘中所存储的目标数据同步存储到存储空间内，并对存储空间内的目标数据进行读写操作。
图2为本发明数据读写处理方法的数据读写过程示意图。如图2所示，在上述数据读写处理方法中，WEB应用服务器通过对内存中预置的存储空间进行读写来实现对磁盘中的数据的读写操作。读取数据时，WEB应用服务器根据存储空间的地址指针对存储空间进行访问，查找要读取的目标数据(数据2)。若查找到，则读取该目标数据，完成此次数据读取操作。若未查找到，获知该存储空间内未存储该要读取的数据2，则WEB应用服务器转而访问作为WEB应用服务器的存储介质的磁盘。该磁盘中存储有用于支持WEB服务的、该WEB应用服务器的全部数据(数据1～数据6)。WEB应用服务器通过该磁盘的I/O接口访问该磁盘、以从磁盘中查找到所要读取的数据2，并在查找到数据2后进行数据同步，将该其加载到内存中的存储空间中并实现读取。
写入数据或修改数据时，WEB应用服务器直接向该内存中的存储空间写入数据，或是在从内存空间中读取数据后对该数据进行修改。
根据上述实施例的数据读写处理方法，在WEB应用服务器进行数据读写时，不是直接通过磁盘的I/O接口访问磁盘以从磁盘中读取或向磁盘中写入数据，而是通过对内存中的一预置的存储空间进行操作。由于内存的读写速度(平均约为5～20纳秒)远远大于磁盘的I/O接口读写速度，因此通过上述实施例的数据读写处理方法能极大地提高数据读写速度，从而实现在WEB应用中大规模数据的高并发读写。
进一步地，在上述实施例的数据读写方法中，对存储空间内的目标数据进行读写操作的同时，还包括：将存储空间内的、经过修改的目标数据，同步存储到磁盘中。如图2所示，例如WEB应用服务器对数据2进行修改后，将修改的数据回写磁盘。
根据上述实施例的数据读写处理方法，能保证磁盘中存储的数据与内存的存储空间中存储的数据的一致性。
在上述实施例的数据读写处理方法中，将作为WEB应用服务器的存储介质的磁盘中所存储的目标数据同步存储到存储空间内可具体为：按照存储空间的地址，顺序同步存储磁盘中的目标数据。
进一步地，在上述实施例的数据读写方法中，内存中预置的存储空间为WEB应用服务器利用虚拟内存管理机制，调用读写操作的进程时，在内存中创建的一个虚拟地址空间。
进一步地，在上述实施例的数据读写方法的基础上，若判断获知存储空间内没有存储目标数据，则将作为WEB应用服务器的存储介质的磁盘中所存储的目标数据同步存储到存储空间内，并对存储空间内的目标数据进行读写操作的步骤具体包括：WEB应用服务器的应用程序对所述存储空间进行读写操作时，若所述目标数据没有加载到所述存储空间内，则产生一页面读取错误；
WEB应用服务器应用内存同步技术捕获所述页面读取错误后，将所述磁盘中所存储的目标数据同步存储到所述存储空间内。
图3为本发明数据读写处理方法的WEB应用服务器操作流程图。如图3所示，WEB应用服务器创建一虚拟地址空间，并从该虚拟地址空间读取需要的数据。若读取成功，则完成该次流程以进行后续操作；若读取失败，则产生页面读取错误。WEB应用服务器应用内存同步技术捕获该页面读取错误并从磁盘中将相应数据同步到该存储空间中，之后重新执行读取操作，成功读取后完成该次流程以进行后续操作。
根据上述实施例的数据读写处理方法，由于在创建虚拟地址空间时，并不将磁盘中的任何数据加载到内存的存储单元中，而是在WEB应用服务器读取需要的数据时，根据生成的页面读取错误将相应的数据加载到存储单元中，避免了将全部数据同时载入内存所造成的空间浪费。
根据本发明的另一方面，还提供一种WEB应用服务器，包括判断模块、同步处理模块和读写模块，具体为：
判断模块用于在WEB应用服务器对目标数据进行读写操作的过程中。判断内存中预置的存储空间内是否存储有所述目标数据；
同步处理模块用于若判断模块通过判断获知存储空间内没有存储目标数据，则将作为WEB应用服务器的存储介质的磁盘中所存储的目标数据同步存储到存储空间内；
读写模块用于对存储空间内的所述目标数据进行读写操作。
进一步地，在上述实施例的WEB应用服务器中，同步处理模块还用于，将存储空间内的、经过修改的目标数据，同步存储到磁盘中。
根据上述实施例的WEB应用服务器，由于可通过存储空间进行数据读写操作，能够提供高速的数据读写，从而可用于提供WEB应用中大规模数据的高并发读写。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种数据读写处理方法，其特征在于，包括：
在WEB应用服务器对目标数据进行读写操作的过程中，若判断获知内存中预置的存储空间内存储有所述目标数据，则直接对所述存储空间内的所述目标数据进行读写操作；
若判断获知所述存储空间内没有存储所述目标数据，则将作为所述WEB应用服务器的存储介质的磁盘中所存储的目标数据同步存储到所述存储空间内，并对所述存储空间内的所述目标数据进行读写操作。
2.根据权利要求1所述的数据读写处理方法，其特征在于，对所述存储空间内的所述目标数据进行读写操作的同时，还包括：
将所述存储空间内的、经过修改的目标数据，同步存储到所述磁盘中。
3.根据权利要求1或2所述的数据读写处理方法，其特征在于，所述若判断获知所述存储空间内没有存储所述目标数据，则将作为所述WEB应用服务器的存储介质的磁盘中所存储的目标数据同步存储到所述存储空间内包括：
WEB应用服务器的应用程序对所述存储空间进行读写操作时，若所述目标数据没有加载到所述存储空间内，则产生一页面读取错误；
WEB应用服务器应用内存同步技术捕获所述页面读取错误后，将所述磁盘中所存储的目标数据同步存储到所述存储空间内。
4.根据权利要求1或2所述的数据读写处理方法，其特征在于，所述内存中预置的存储空间为所述WEB应用服务器利用虚拟内存管理机制，调用读写操作的进程时，在所述内存中创建的一个虚拟地址空间。
5.根据权利要求1所述的数据读写处理方法，其特征在于，所述将作为所述WEB应用服务器的存储介质的磁盘中所存储的目标数据同步存储到所述存储空间内具体为：
按照所述存储空间的地址，顺序同步存储所述磁盘中的目标数据。
6.一种WEB应用服务器，其特征在于，包括：
判断模块，用于在WEB应用服务器对目标数据进行读写操作的过程中。判断内存中预置的存储空间内是否存储有所述目标数据；
同步处理模块，用于若所述判断模块通过判断获知所述存储空间内没有存储所述目标数据，则将作为所述WEB应用服务器的存储介质的磁盘中所存储的目标数据同步存储到所述存储空间内；
读写模块，用于对所述存储空间内的所述目标数据进行读写操作。
7.根据权利要求6所述的WEB应用服务器，其特征在于，所述同步处理模块还用于，将所述存储空间内的、经过修改的目标数据，同步存储到所述磁盘中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201010545593 CN102004773A (zh) | 2010-11-15 | 2010-11-15 | 数据读写处理方法及web应用服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201010545593 CN102004773A (zh) | 2010-11-15 | 2010-11-15 | 数据读写处理方法及web应用服务器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102004773A true CN102004773A (zh) | 2011-04-06 |
Family
ID=43812135
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201010545593 Pending CN102004773A (zh) | 2010-11-15 | 2010-11-15 | 数据读写处理方法及web应用服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102004773A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103020077A (zh) * | 2011-09-24 | 2013-04-03 | 国家电网公司 | 一种电力系统实时数据库内存管理方法 |
| CN105095397A (zh) * | 2015-07-03 | 2015-11-25 | 青岛海信传媒网络技术有限公司 | 一种文件读写处理方法及装置 |
| CN108243220A (zh) * | 2016-12-26 | 2018-07-03 | 航天信息股份有限公司 | 一种基于税控服务器的支持多类型发票终端的发票开具方法及系统 |
| CN108629456A (zh) * | 2018-05-08 | 2018-10-09 | 武汉轻工大学 | 公交数据的读取方法、装置、终端设备及可读存储介质 |
| CN109471671A (zh) * | 2017-09-06 | 2019-03-15 | 武汉斗鱼网络科技有限公司 | 一种程序冷启动方法和系统 |
| CN112230863A (zh) * | 2020-11-09 | 2021-01-15 | 平安普惠企业管理有限公司 | 用户数据读写方法、装置、电子设备及计算机存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1996266A (zh) * | 2006-12-15 | 2007-07-11 | 华为技术有限公司 | 一种多级缓冲的存储系统和方法 |
| CN101840310A (zh) * | 2009-12-25 | 2010-09-22 | 创新科存储技术有限公司 | 数据读写方法及应用该方法的磁盘阵列系统 |
-
2010
- 2010-11-15 CN CN 201010545593 patent/CN102004773A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1996266A (zh) * | 2006-12-15 | 2007-07-11 | 华为技术有限公司 | 一种多级缓冲的存储系统和方法 |
| CN101840310A (zh) * | 2009-12-25 | 2010-09-22 | 创新科存储技术有限公司 | 数据读写方法及应用该方法的磁盘阵列系统 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103020077A (zh) * | 2011-09-24 | 2013-04-03 | 国家电网公司 | 一种电力系统实时数据库内存管理方法 |
| CN105095397A (zh) * | 2015-07-03 | 2015-11-25 | 青岛海信传媒网络技术有限公司 | 一种文件读写处理方法及装置 |
| CN108243220A (zh) * | 2016-12-26 | 2018-07-03 | 航天信息股份有限公司 | 一种基于税控服务器的支持多类型发票终端的发票开具方法及系统 |
| CN108243220B (zh) * | 2016-12-26 | 2021-04-16 | 航天信息股份有限公司 | 一种基于税控服务器的支持多类型发票终端的发票开具方法及系统 |
| CN109471671A (zh) * | 2017-09-06 | 2019-03-15 | 武汉斗鱼网络科技有限公司 | 一种程序冷启动方法和系统 |
| CN108629456A (zh) * | 2018-05-08 | 2018-10-09 | 武汉轻工大学 | 公交数据的读取方法、装置、终端设备及可读存储介质 |
| CN108629456B (zh) * | 2018-05-08 | 2021-08-06 | 武汉轻工大学 | 公交数据的读取方法、装置、终端设备及可读存储介质 |
| CN112230863A (zh) * | 2020-11-09 | 2021-01-15 | 平安普惠企业管理有限公司 | 用户数据读写方法、装置、电子设备及计算机存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104969168B (zh) | 具有用于分级写入的nvram的持久性存储装置 | |
| CN102521147B (zh) | 一种使用高速非易失介质做缓存的管理方法 | |
| CN101252589B (zh) | 数据缓存装置和采用该装置的网络存储系统及缓存方法 | |
| US9772949B2 (en) | Apparatus, system and method for providing a persistent level-two cache | |
| CN102004773A (zh) | 数据读写处理方法及web应用服务器 | |
| CN107728937B (zh) | 一种使用非易失性内存介质的键值对持久存储方法及系统 | |
| CN104407933B (zh) | 一种数据的备份方法及装置 | |
| US20070162692A1 (en) | Power controlled disk array system using log storage area | |
| CN109800185B (zh) | 一种数据存储系统中的数据缓存方法 | |
| CN105183839A (zh) | 一种基于Hadoop的小文件分级索引的存储优化方法 | |
| CN102768645A (zh) | 混合缓存的固态硬盘预取方法和固态硬盘ssd | |
| CN110188108A (zh) | 数据存储方法、装置、系统、计算机设备及存储介质 | |
| US20230185480A1 (en) | Ssd-based log data storage method and apparatus, device and medium | |
| CN105210028A (zh) | 在持久存储器装置中的连续数据块和非连续组的逻辑地址块之间的读取和写入 | |
| US20130067289A1 (en) | Efficient non-volatile read cache for storage system | |
| CN103116627A (zh) | 一种高并发soa技术访问数据库的方法和系统 | |
| US20240086332A1 (en) | Data processing method and system, device, and medium | |
| CN104461925A (zh) | 一种存储设备地址对齐的自动纠正方法和装置 | |
| CN109144422A (zh) | 一种固态硬盘的写数据方法、装置、设备及存储介质 | |
| CN106469119B (zh) | 一种基于nvdimm的数据写缓存方法及其装置 | |
| CN103365926A (zh) | 在文件系统中用于保存快照的方法和装置 | |
| US8924652B2 (en) | Simultaneous eviction and cleaning operations in a cache | |
| CN107766258A (zh) | 内存存储方法与装置、内存查询方法与装置 | |
| JP4892812B2 (ja) | キャッシュ制御およびデータ処理システム並びにその処理プログラム | |
| CN101459599B (zh) | 一种实现缓存数据访问与加载并发进行的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20110406 |