CN104866473A - 存储单元的数据存储、访问方法以及服务器 - Google Patents

存储单元的数据存储、访问方法以及服务器 Download PDF

Info

Publication number
CN104866473A
CN104866473A CN201410058423.9A CN201410058423A CN104866473A CN 104866473 A CN104866473 A CN 104866473A CN 201410058423 A CN201410058423 A CN 201410058423A CN 104866473 A CN104866473 A CN 104866473A
Authority
CN
China
Prior art keywords
data
storage unit
parameter
address
repetition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410058423.9A
Other languages
English (en)
Inventor
刘锋
赵善亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ctrip Computer Technology Shanghai Co Ltd
Original Assignee
Ctrip Computer Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ctrip Computer Technology Shanghai Co Ltd filed Critical Ctrip Computer Technology Shanghai Co Ltd
Priority to CN201410058423.9A priority Critical patent/CN104866473A/zh
Publication of CN104866473A publication Critical patent/CN104866473A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种存储单元的数据存储、访问方法以及服务器,所述存储单元用于存储信息数据,信息数据包括若干参数,存储单元包括一重复数据集合,数据存储方法包括:S1、检测存储单元是否添加信息数据,若是则执行步骤S2,若否则结束流程;S2、判断添加的信息数据中是否存在参数与所述重复数据集合中重复参数相同,若是则执行步骤S3,若否则结束流程;S3、将添加的信息数据中与重复参数相同的参数替换为所述重复参数在重复数据集合中的地址以获得新增数据,然后存储新增数据于存储单元中。本发明能够显著提高存储装置的利用率,大幅度降低网站服务器的硬件投入以及硬件的维护成本,减轻数据库压力,进一步提高网站的响应速度。

Description

存储单元的数据存储、访问方法以及服务器
技术领域
本发明涉及一种存储单元的数据存储、访问方法以及服务器。
背景技术
目前市场上的大型网站具有很高的查询能力,且接收大量的数据库访问,由此给这些大型网站的数据库带来了极大的压力,降低了页面的响应速度。例如,网站在记录一个酒店的房型时,一个房型数据需要符合数据库设计标准,每个房型以一天一条数据的形式存储于存储,数据量增长非常之快。现有技术中解决上述问题的技术手段是添加硬件设备,如增加机器、内存来提高数据库、服务器的性能,但是这种方式无法适应数据的增长速度,而且会增加大量的资金投入与设备管理的开销。
发明内容
本发明要解决的技术问题是为了克服现有技术中数据服务的响应速度较慢,服务器硬件投入多且管理成本高,数据库压力大的缺陷,提供一种优化数据服务,降低服务器硬件投入以及硬件维护成本的存储单元的数据存储、访问方法以及服务器。
本发明是通过下述技术方案来解决上述技术问题:一种存储单元的数据存储方法,所述存储单元用于存储信息数据,所述信息数据包括若干参数,其特点在于,所述存储单元包括一重复数据集合,所述数据存储方法包括:
S1、检测所述存储单元是否添加信息数据,若是则执行步骤S2,若否则结束流程;
S2、判断添加的信息数据中是否存在参数与所述重复数据集合中重复参数相同,若是则执行步骤S3,若否则结束流程;
S3、将所述添加的信息数据中与所述重复参数相同的参数替换为所述重复参数在重复数据集合中的地址以获得新增数据,然后存储所述新增数据于所述存储单元中。
现有技术中存储单元的每一条信息数据当中包括若干参数,信息数据之间会有大部分的内容重复,存储单元的信息数据量越大重复率越高。通过本发明的数据存储方法,在所述存储单元中建立一重复数据集合,将信息数据中重复率较高的参数存放在所述重复数据集合当中,也就是说重复参数在存储单元中可以只存储一条,这样就大幅度压缩了存储单元中信息数据,在存储空间不变的情况下能够存储更多的信息数据。
例如,在所述存储单元中存储一条酒店房型的信息数据,信息数据包括:担保类型、支付方式、房间对应的有效日期、房间状态、每天调整的排序分值、床型、更新时间等数据,其中,不同房型不同日期的担保类型、支付方式、房间状态、床型等数据基本不变,只有房间对应的有效日期、每天调整的排序分值、更新时间等数据一直变动,将不同房型不同日期的担保类型、支付方式、房间状态、床型等数据设为重复参数,使得每一条添加的信息数据只包括小部分的参数加一条地址,大大减小了添加的信息数据的大小,如果大量的信息数据均是以本发明的存储方法进行存储,则会大幅度提高存储装置的利用率,降低对硬件设备的资金投入。本发明的存储单元可以为内存、数据库等用于存储数据的设备或系统。
较佳地,所述数据存储方法包括:在存储单元中,所有相同的参数的数量大于一阈值时,将相同内容的参数存储于重复数据集合中。
本发明的数据存储方法还可以根据存储单元中的相同内容的参数数量生产相应的重复数据供添加的信息数据所引用。通过上述方法可以使原本不能利用所述地址的信息数据在大量信息数据添加之后有机会以利用地址的方式存储在重复数据集合中,使存储单元更加智能,存储装置的利用率更高。
较佳地,所述存储单元包括一缓存,用于访问所述存储单元。
目前大型网站为了提高查询性能、降低存储单元访问量大多采用缓存技术,但是当数据量增长过快时,处理数据信息时缓存往往无法满足要求,而本发明中利用缓存处理数据时,缓存处理信息数据的大小降低,提高了缓存的处理速度。
较佳地,所述数据访问方法中的数据利用如上所述的数据存储方法存储,所述数据访问方法包括:
S01、所述缓存根据新增数据中地址从所述重复数据集合中获取在所述地址存储的重复参数;
S02、所述缓存将新增数据中地址替换为所述地址存储的重复参数以获得还原数据,然后输出所述还原数据。
所述缓存将添加的信息数据从参数和地址组成的形式还原为只包括参数的形式并输出。从而使输出的信息数据更容易处理。
本发明有提供一种服务器,其特点在于,所述服务器的存储单元利用如上所述的数据存储方法存储数据,所述服务器包括:一检测模块、一判断模块以及一处理模块,
所述检测模块用于检测所述存储单元是否添加信息数据,若是则调用所述判断模块;
所述判断模块用于判断添加的信息数据中是否存在参数与所述重复数据集合中重复参数相同,若是则调用所述处理模块;
所述处理模块用于将所述添加的信息数据中与所述重复参数相同的参数替换为所述重复参数在重复数据集合中的地址以获得新增数据,然后存储所述新增数据于所述存储单元中。
较佳地,所述处理模块还用于在存储单元中所有相同的参数的数量大于一阈值时,将相同内容的参数存储于重复数据集合中。
较佳地,所述存储单元包括一缓存,用于访问所述存储单元。
较佳地,所述缓存用于根据新增数据的地址从所述重复数据集合中获取在所述地址存储的重复参数,然后将新增数据中地址替换为所述地址存储的重复参数以获得还原数据并输出所述还原数据。
所述缓存将添加的信息数据从由参数和地址组成的形式还原为只包括参数的形式并输出。
在符合本领域常识的基础上,上述各优选条件,可任意组合,即得本发明各较佳实例。
本发明的积极进步效果在于:通过本发明的数据存储、访问以及服务器能够显著提高存储装置的利用率,大幅度降低网站服务器的硬件投入以及硬件的维护成本,减轻存储单元压力,进一步提高网站的响应速度。
附图说明
图1为本发明存储单元的数据存储方法的实施例的流程图。
图2为本发明存储单元的数据访问方法的实施例的流程图。
图3为本发明服务器的实施例的结构示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明,但并不因此将本发明限制在所述的实施例范围之中。
实施例
本发明提供一种存储单元的数据存储方法,所述存储单元用于存储信息数据,所述信息数据包括若干参数,参见图1,所述数据存储方法包括:
步骤100、检测所述存储单元是否添加信息数据,若是则执行步骤101,若否则结束流程。
步骤101、判断添加的信息数据中是否存在参数与所述重复数据集合中重复参数相同,若是则执行步骤102,若否则结束流程。
其中,添加的信息数据包括:担保类型、支付方式、房间对应的有效日期、房间状态、每天调整的排序分值、床型、更新时间,这七个数据。如果担保类型、支付方式、房间状态、床型在所述重复数据集合中有相同的数据则上述数据为重复参数。
步骤102、将所述添加的信息数据中与所述重复参数相同的参数替换为所述重复参数在重复数据集合中的地址以获得新增数据,然后存储所述新增数据于所述存储单元中。
即添加的信息数据包括每天调整的排序分值、房间对应的有效日期、更新时间和所述地址,所述信息数据的大小大幅度降低,而且在所述存储单元中与添加的信息数据类型相同的信息数据越多压缩比例越大,也就是说和上述添加的信息数据的担保类型、支付方式、房间状态、床型相同,每天调整的排序分值、房间对应的有效日期、更新时间不同的信息数据越多存储设备的利用率越高。其中,所述存储单元通过一缓存访问。
所述存储单元的数据存储方法还包括:在存储单元中,所有相同的参数的数量大于3时,将相同内容的参数存储于重复数据集合中。
也就是说,如果担保类型、支付方式、房间状态、床型在所述重复数据集合中不存在相同的数据时,当担保类型、支付方式、房间状态、床型在所述存储单元中的数量大于3时,则将担保类型、支付方式、房间状态、床型设为重复参数并存储于所述重复数据集合中。其中数量3是所述阈值的一种优选。
参见图2,本实施例还提供一种数据访问方法,所述数据访问方法中的数据利用如上所述的数据存储方法存储,所述数据访问方法包括:
步骤1000、所述缓存根据新增数据中地址从所述重复数据集合中获取在所述地址存储的重复参数。
步骤1001、所述缓存将新增数据中地址替换为所述地址存储的重复参数以获得还原数据,然后输出所述还原数据。
也就是说,缓存根据所述地址从重复数据集合中获取担保类型、支付方式、房间状态、床型。然后所述缓存输出包括担保类型、支付方式、房间对应的有效日期、房间状态、每天调整的排序分值、床型、更新时间的还原数据。
相应地,本实施例又提供一种服务器,所述服务器的存储单元利用如上所述的数据存储方法存储数据,所述存储单元包括一缓存,用于访问所述存储单元。参见图3,所述服务器包括:一检测模块11、一判断模块12以及一处理模块13。
所述检测模块11用于检测所述存储单元是否添加信息数据,若是则调用所述判断模块12;
所述判断模块12用于判断添加的信息数据中是否存在参数与所述重复数据集合中重复参数相同,若是则调用所述处理模块13;
所述处理模块13用于将所述添加的信息数据中与所述重复参数相同的参数替换为所述重复参数在重复数据集合中的地址以获得新增数据,然后存储所述新增数据于所述存储单元中。所述处理模块13还用于在存储单元中所有相同的参数的数量大于3时,将相同内容的参数存储于重复数据集合中。
所述缓存用于根据新增数据的地址从所述重复数据集合中获取在所述地址存储的重复参数,然后将新增数据中地址替换为所述地址存储的重复参数以获得还原数据并输出所述还原数据。
通过本实施例的数据存储、访问以及服务器能够显著提高存储装置的利用率,大幅度降低网站服务器的硬件投入以及硬件的维护成本,减轻存储单元压力,进一步提高网站的响应速度。
虽然以上描述了本发明的具体实施方式,但是本领域的技术人员应当理解,这些仅是举例说明,本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下,可以对这些实施方式做出多种变更或修改,但这些变更和修改均落入本发明的保护范围。

Claims (8)

1.一种存储单元的数据存储方法,所述存储单元用于存储信息数据,所述信息数据包括若干参数,其特征在于,所述存储单元包括一重复数据集合,所述数据存储方法包括:
S1、检测所述存储单元是否添加信息数据,若是则执行步骤S2,若否则结束流程;
S2、判断添加的信息数据中是否存在参数与所述重复数据集合中重复参数相同,若是则执行步骤S3,若否则结束流程;
S3、将所述添加的信息数据中与所述重复参数相同的参数替换为所述重复参数在重复数据集合中的地址以获得新增数据,然后存储所述新增数据于所述存储单元中。
2.如权利要求1所述的数据存储方法,其特征在于,所述数据存储方法包括:在存储单元中,所有相同的参数的数量大于一阈值时,将相同内容的参数存储于重复数据集合中。
3.如权利要求1所述的数据存储方法,其特征在于,所述存储单元包括一缓存,用于访问所述存储单元。
4.一种数据访问方法,其特征在于,所述数据访问方法中的数据利用如权利要求3所述的数据存储方法存储,所述数据访问方法包括:
S01、所述缓存根据新增数据中地址从所述重复数据集合中获取在所述地址存储的重复参数;
S02、所述缓存将新增数据中地址替换为所述地址存储的重复参数以获得还原数据,然后输出所述还原数据。
5.一种服务器,其特征在于,所述服务器的存储单元利用如权利要求1至3中任意一项所述的数据存储方法存储数据,所述服务器包括:一检测模块、一判断模块以及一处理模块,
所述检测模块用于检测所述存储单元是否添加信息数据,若是则调用所述判断模块;
所述判断模块用于判断添加的信息数据中是否存在参数与所述重复数据集合中重复参数相同,若是则调用所述处理模块;
所述处理模块用于将所述添加的信息数据中与所述重复参数相同的参数替换为所述重复参数在重复数据集合中的地址以获得新增数据,然后存储所述新增数据于所述存储单元中。
6.如权利要求5所述的服务器,其特征在于,所述处理模块还用于在存储单元中所有相同的参数的数量大于一阈值时,将相同内容的参数存储于重复数据集合中。
7.如权利要求5所述的服务器,其特征在于,所述存储单元包括一缓存,用于访问所述存储单元。
8.如权利要求7所述的服务器,其特征在于,所述缓存用于根据新增数据的地址从所述重复数据集合中获取在所述地址存储的重复参数,然后将新增数据中地址替换为所述地址存储的重复参数以获得还原数据并输出所述还原数据。
CN201410058423.9A 2014-02-20 2014-02-20 存储单元的数据存储、访问方法以及服务器 Pending CN104866473A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410058423.9A CN104866473A (zh) 2014-02-20 2014-02-20 存储单元的数据存储、访问方法以及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410058423.9A CN104866473A (zh) 2014-02-20 2014-02-20 存储单元的数据存储、访问方法以及服务器

Publications (1)

Publication Number Publication Date
CN104866473A true CN104866473A (zh) 2015-08-26

Family

ID=53912312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410058423.9A Pending CN104866473A (zh) 2014-02-20 2014-02-20 存储单元的数据存储、访问方法以及服务器

Country Status (1)

Country Link
CN (1) CN104866473A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557469A (zh) * 2015-09-24 2017-04-05 阿里巴巴集团控股有限公司 一种处理数据仓库中数据的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1716215A (zh) * 2004-06-30 2006-01-04 深圳市朗科科技有限公司 减少存储介质中的数据冗余的方法
CN101882141A (zh) * 2009-05-08 2010-11-10 北京众志和达信息技术有限公司 一种实现重复数据数据删除的方法和系统
CN102804800A (zh) * 2009-06-09 2012-11-28 Emc公司 带有加密段的段去除重复系统
CN103019887A (zh) * 2012-12-12 2013-04-03 华为技术有限公司 数据备份方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1716215A (zh) * 2004-06-30 2006-01-04 深圳市朗科科技有限公司 减少存储介质中的数据冗余的方法
CN101882141A (zh) * 2009-05-08 2010-11-10 北京众志和达信息技术有限公司 一种实现重复数据数据删除的方法和系统
CN102804800A (zh) * 2009-06-09 2012-11-28 Emc公司 带有加密段的段去除重复系统
CN103019887A (zh) * 2012-12-12 2013-04-03 华为技术有限公司 数据备份方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
柯婷: "基于重复数据删除的资料管理解决方案", 《计算机光盘软件与应用》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557469A (zh) * 2015-09-24 2017-04-05 阿里巴巴集团控股有限公司 一种处理数据仓库中数据的方法及装置

Similar Documents

Publication Publication Date Title
CN106202112B (zh) 缓存目录刷新方法和装置
CN104754036A (zh) 一种基于kafka的消息处理系统及处理方法
US20190034833A1 (en) Model Training Method and Apparatus
US8380680B2 (en) Piecemeal list prefetch
CN105068864A (zh) 处理异步消息队列的方法及系统
CN103488732A (zh) 一种静态页面生成方法及装置
CN104346354A (zh) 一种提供推荐词的方法及装置
CN103326958A (zh) 监控数据缓存方法及系统
CN103353850A (zh) 虚拟机热迁移内存处理方法、装置和系统
CN112000703B (zh) 数据入库处理方法、装置、计算机设备和存储介质
CN105868093A (zh) 一种日志写入方法及服务端
CN103581024A (zh) Mac地址硬件与软件相结合的学习方法及装置
WO2016101748A1 (zh) 一种网络连接的缓存方法和装置
CN105068875A (zh) 一种智能数据处理方法及装置
CN102929943B (zh) 数据输出方法及装置
CN111352915B (zh) 一种机器学习系统、一种机器学习参数服务器及实现方法
CN103457929A (zh) 一种数据访问处理方法及系统
CN105404672A (zh) 网页数据存储和操作的系统及方法
CN117519608A (zh) 一种以Hadoop为核心的大数据服务器
CN104866473A (zh) 存储单元的数据存储、访问方法以及服务器
CN105550523A (zh) 数据处理方法
CN116910314A (zh) 基于键值分离的键值存储系统中范围查询优化方法及装置
CN103365782A (zh) 内存管理方法
CN109739883A (zh) 提升数据查询性能的方法、装置和电子设备
CN106502775B (zh) 一种分时调度dsp算法的方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150826

RJ01 Rejection of invention patent application after publication