CN102495710A - 一种处理数据只读访问请求的方法 - Google Patents

一种处理数据只读访问请求的方法 Download PDF

Info

Publication number
CN102495710A
CN102495710A CN2011103283028A CN201110328302A CN102495710A CN 102495710 A CN102495710 A CN 102495710A CN 2011103283028 A CN2011103283028 A CN 2011103283028A CN 201110328302 A CN201110328302 A CN 201110328302A CN 102495710 A CN102495710 A CN 102495710A
Authority
CN
China
Prior art keywords
disk
request
page
data
buffer memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011103283028A
Other languages
English (en)
Other versions
CN102495710B (zh
Inventor
姜国梁
付根希
彭成
苗艳超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dawning Information Industry Beijing Co Ltd
Dawning Information Industry Co Ltd
Original Assignee
Dawning Information Industry Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dawning Information Industry Beijing Co Ltd filed Critical Dawning Information Industry Beijing Co Ltd
Priority to CN201110328302.8A priority Critical patent/CN102495710B/zh
Publication of CN102495710A publication Critical patent/CN102495710A/zh
Application granted granted Critical
Publication of CN102495710B publication Critical patent/CN102495710B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Memory System Of A Hierarchy Structure (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种处理数据只读访问请求的方法，把服务器端数据分为页缓存数据和磁盘数据，存储系统管理页缓存，接收到只读请求后，由缓存查询线程查询请求是否完全命中缓存，如果成功且页面全部有效，立即应答客户端；否则分配不存在的页面，加入缓存中，并将请求提交至磁盘处理线程，磁盘处理线程执行磁盘IO操作，磁盘IO完成后，数据写入新分配的页面，标记页面有效，并应答客户端请求。

Description

一种处理数据只读访问请求的方法
技术领域
本发明涉及计算机存储系统技术领域，具体来说涉及一种在可以在服务器端高速处理数据只读操作的方法。
背景技术
在存储领域中，由于客户端较多，且数据的读写请求最终通过数据服务器完成，数据服务器往往面临着较大的压力，尤其是存在热点对象时，大量请求涌入一台或几台数据服务器，这时的数据服务器性能决定了存储系统的性能。
相比与提高硬件性能，在软件系统上使用合适的方法，提高软件的处理速度更为可行。
发明内容
本发明的目的在于提供一种快速的响应只读请求的方法。
一种处理数据只读访问请求的方法，把服务器端数据分为页缓存数据和磁盘数据，存储系统管理页缓存，接收到只读请求后，由缓存查询线程查询请求是否完全命中缓存，如果成功且页面全部有效，立即应答客户端；否则分配不存在的页面，加入缓存中，并将请求提交至磁盘处理线程，磁盘处理线程执行磁盘IO操作，磁盘IO完成后，数据写入新分配的页面，标记页面有效，并应答客户端请求。
优选的，所述磁盘处理线程在每次读取磁盘前，将取到的全部请求进行合并后提交至磁盘。
优选的，所述服务器根据缓存的访问情况与缓存压力，动态的调整页面的回收时间。
与传统的只读请求处理过程相比，本发明具有以下特点。
1.完全命中缓存的请求可以直接应答，响应间隔短。
2.相同页面仅存在一份缓存，减少了多次拷贝带来的性能损失及内存占用。
3.聚合了磁盘操作，提高了磁盘的使用率。
4.减少了线程数量，避免了线程切换带来的性能损失。
附图说明
图1为系统的交互模型工作过程图。
图2为本发明模型具体工作方式。
具体实施方式
数据服务器主动管理对象在内存中页面，接收到只读请求后，由缓存查询线程查询请求是否完全命中缓存，如果成功且页面全部有效，立即应答客户端。否则分配不存在的页面，加入缓存中，并将请求提交至磁盘处理线程，磁盘处理线程执行磁盘IO等操作，磁盘IO完成后，数据写入新分配的页面，标记页面有效，并应答客户端请求。磁盘处理线程在每次读取磁盘前，将取到的全部请求进行合并后提交至磁盘，以提高磁盘IO性能。数据服务器根据缓存的访问情况与缓存压力，动态的调整页面的回收时间，以提高缓存的命中率。
查询缓存过程全部是内存操作，少量线程即可完成此类操作。磁盘IO过程中，每一个磁盘对应一个线程，就可以使磁盘IO达到最大，也避免了多个线程对一个磁盘的竞争所带来的IO损耗。此方法使用的线程数量较少，避免了线程切换所带来的性能损耗，线程负载均匀，尽可能的使用了磁盘IO。

Claims (3)

1.一种处理数据只读访问请求的方法，其特征在于：把服务器端数据分为页缓存数据和磁盘数据，存储系统管理页缓存，接收到只读请求后，由缓存查询线程查询请求是否完全命中缓存，如果成功且页面全部有效，立即应答客户端；否则分配不存在的页面，加入缓存中，并将请求提交至磁盘处理线程，磁盘处理线程执行磁盘IO操作，磁盘IO完成后，数据写入新分配的页面，标记页面有效，并应答客户端请求。
2.如权利要求1所述的方法，其特征在于：所述磁盘处理线程在每次读取磁盘前，将取到的全部请求进行合并后提交至磁盘。
3.如权利要求1所述的方法，其特征在于：所述服务器根据缓存的访问情况与缓存压力，动态的调整页面的回收时间。
CN201110328302.8A 2011-10-25 2011-10-25 一种处理数据只读访问请求的方法 Active CN102495710B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110328302.8A CN102495710B (zh) 2011-10-25 2011-10-25 一种处理数据只读访问请求的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110328302.8A CN102495710B (zh) 2011-10-25 2011-10-25 一种处理数据只读访问请求的方法

Publications (2)

Publication Number Publication Date
CN102495710A true CN102495710A (zh) 2012-06-13
CN102495710B CN102495710B (zh) 2015-04-01

Family

ID=46187539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110328302.8A Active CN102495710B (zh) 2011-10-25 2011-10-25 一种处理数据只读访问请求的方法

Country Status (1)

Country Link
CN (1) CN102495710B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103543959A (zh) * 2013-10-08 2014-01-29 深圳市国泰安信息技术有限公司 海量数据高速缓存的方法及装置
CN104423982A (zh) * 2013-08-27 2015-03-18 阿里巴巴集团控股有限公司 请求的处理方法和处理设备
CN109032965A (zh) * 2017-06-12 2018-12-18 华为技术有限公司 一种数据读取方法、主机及存储设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04106616A (ja) * 1990-08-28 1992-04-08 Fujitsu Ltd キャッシュ付き磁気ディスク制御装置
JP2001014219A (ja) * 1999-06-30 2001-01-19 Nec Corp キャッシュ制御方法及びその装置
CN101236526A (zh) * 2007-01-30 2008-08-06 扬智科技股份有限公司 连接于非易失性存储装置的高速缓存系统的计算机系统
CN101377788A (zh) * 2008-09-28 2009-03-04 中国科学院计算技术研究所 一种机群文件系统中缓存管理的方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04106616A (ja) * 1990-08-28 1992-04-08 Fujitsu Ltd キャッシュ付き磁気ディスク制御装置
JP2001014219A (ja) * 1999-06-30 2001-01-19 Nec Corp キャッシュ制御方法及びその装置
CN101236526A (zh) * 2007-01-30 2008-08-06 扬智科技股份有限公司 连接于非易失性存储装置的高速缓存系统的计算机系统
CN101377788A (zh) * 2008-09-28 2009-03-04 中国科学院计算技术研究所 一种机群文件系统中缓存管理的方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
唐朔飞: "《计算机组成原理》", 31 January 2008, 高等教育出版社 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104423982A (zh) * 2013-08-27 2015-03-18 阿里巴巴集团控股有限公司 请求的处理方法和处理设备
CN104423982B (zh) * 2013-08-27 2018-03-06 阿里巴巴集团控股有限公司 请求的处理方法和处理设备
CN103543959A (zh) * 2013-10-08 2014-01-29 深圳市国泰安信息技术有限公司 海量数据高速缓存的方法及装置
CN103543959B (zh) * 2013-10-08 2016-12-07 深圳国泰安教育技术股份有限公司 海量数据高速缓存的方法及装置
CN109032965A (zh) * 2017-06-12 2018-12-18 华为技术有限公司 一种数据读取方法、主机及存储设备

Also Published As

Publication number Publication date
CN102495710B (zh) 2015-04-01

Similar Documents

Publication Publication Date Title
US8799409B2 (en) Server side data cache system
CN103856567A (zh) 基于Hadoop分布式文件系统的小文件存储方法
CN110909025A (zh) 数据库的查询方法、查询装置及终端
US9244980B1 (en) Strategies for pushing out database blocks from cache
CN109240946A (zh) 数据的多级缓存方法及终端设备
CN101789976B (zh) 嵌入式网络存储系统及其方法
US20140006687A1 (en) Data Cache Apparatus, Data Storage System and Method
CN104580437A (zh) 一种云存储客户端及其高效数据访问方法
CN111414389B (zh) 一种数据处理方法、装置、电子设备及存储介质
CN102541468B (zh) 虚拟化环境下的脏数据回写系统
US20150006591A1 (en) Memory storage apparatus, method of supporting transaction function for database, and memory system
CN101388824B (zh) 一种机群系统中分片存储模式下文件读取的方法及系统
CN101510209A (zh) 实现实时检索的方法、系统和服务器
CN105550338A (zh) 一种基于HTML5应用缓存的移动Web缓存优化方法
WO2023050712A1 (zh) 一种深度学习业务的任务调度方法及相关装置
CN109471843B (zh) 一种元数据缓存方法、系统及相关装置
CN102880671A (zh) 一种面向分布式文件系统的主动重复数据删除方法
CN106846024B (zh) 基于Redis的优惠券发放方法、系统和计算机可读存储介质
CN105589664A (zh) 虚拟存储高速传输方法
CN104391653A (zh) 一种基于数据块的高速缓存设计方法
US20240086332A1 (en) Data processing method and system, device, and medium
CN114327280A (zh) 一种基于冷热分离存储的消息存储方法及系统
CN102495710B (zh) 一种处理数据只读访问请求的方法
CN103123575A (zh) 一种数据写入方法
CN104376097A (zh) 基于Windows服务程序的主动式缓存方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220727

Address after: 100193 No. 36 Building, No. 8 Hospital, Wangxi Road, Haidian District, Beijing

Patentee after: Dawning Information Industry (Beijing) Co.,Ltd.

Patentee after: DAWNING INFORMATION INDUSTRY Co.,Ltd.

Address before: 100084 Beijing Haidian District City Mill Street No. 64

Patentee before: Dawning Information Industry (Beijing) Co.,Ltd.