CN100461806C - 一种语音增值业务数据信息处理方法 - Google Patents
一种语音增值业务数据信息处理方法 Download PDFInfo
- Publication number
- CN100461806C CN100461806C CNB2005100634169A CN200510063416A CN100461806C CN 100461806 C CN100461806 C CN 100461806C CN B2005100634169 A CNB2005100634169 A CN B2005100634169A CN 200510063416 A CN200510063416 A CN 200510063416A CN 100461806 C CN100461806 C CN 100461806C
- Authority
- CN
- China
- Prior art keywords
- value
- service data
- added service
- file
- access section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种语音增值业务数据信息处理方法,该方法建立用于存储增值业务数据文件的缓冲(CACHE)存取区,并根据前一设定周期中增值业务数据文件的使用频率属性更新CACHE存取区;当系统需要使用增值业务数据文件时,依据所述增值业务数据文件标识在CACHE存取区中进行检索,判断所述增值业务数据文件是否在该CACHE存取区中,如果是,则直接从CACHE存取区调用所述增值业务数据文件;否则,从文件服务器上调用所述增值业务数据文件。通过本方法能够在基本不增加网络和文件服务器负荷的情况下替代原有的硬盘方案,从而提高系统的可靠性和集成度。
Description
技术领域
本发明涉及通信领域,更确切地说是涉及一种语音增值业务数据信息处理方法。
背景技术
各种语音增值业务,如多媒体语音增值业务,最近几年才在我国出现,但发展非常迅猛。多媒体语音增值业务的兴起对语音资源平台的集成度和可靠性都提出了更高的要求。
语音增值业务的数据需求非常大,以彩铃为例,一般中等局点可供用户选择的歌曲都在8000-10000首左右,加上其它的冗余数据大概占有15-20G的空间,而且还在迅速增长中。现有的语音资源平台大多使用硬盘缓存方式,将语音文件从文件服务器上同步到本地。但是硬盘存在存取速度慢,可靠性差等缺点,后续随着数据量的不断扩大,存储空间也将不能满足需求。
现有多数产品都将硬盘作为本地语音文件的缓存,优点是简单,缓存容量大,但缺点也很明显:
1、硬盘作为一个机械部件,其运行寿命是有限的,而在每年24×365的运行条件下,其安全和可靠性是很难达到电信级的运行要求。
2、随着彩铃用户的发展,铃音文件的数目也在迅速膨胀,硬盘的存储空间将很快耗尽。
3、由于硬盘的存在,考虑到散热和占有空间等问题,设备的集成度将很难提高。
4、硬盘的存取速度慢,如果经常访问的话会明显降低系统性能。
发明内容
本发明的主要目的在于提供一种语音增值业务数据信息处理方法,能够在基本不增加网络和文件服务器负荷的情况下替代原有的硬盘方案,从而提高系统的可靠性和集成度。
实现本发明的技术方案如下:
一种语音增值业务数据信息处理方法,其中,建立用于存储增值业务数据文件的缓冲(CACHE)存取区,并进行如下步骤:A、根据前一设定周期中增值业务数据文件的使用频率属性更新CACHE存取区;B、当系统需要使用增值业务数据文件时,依据所述增值业务数据文件标识在CACHE存取区中进行检索,判断所述增值业务数据文件是否在该CACHE存取区中,如果是,则直接从CACHE存取区调用所述增值业务数据文件;否则,从文件服务器上调用所述增值业务数据文件;在步骤B后,检测本次设定周期是否结束,并在周期结束时记录本次周期内增值业务数据文件的使用频率,以及将CACHE存取区内容清空和标识本次设定周期为前一周期后进入步骤A。
在CACHE存取区或文件服务器上检索到所述增值业务数据文件并调用后,更新该增值业务数据文件的使用频率值。在所述周期结束时,还包括:计算本次周期内增值业务数据文件的权值;以及在步骤A中还包括:根据前一设定周期中计算的文件权值更新CACHE存取区。
步骤A是指:依据增值业务数据文件在上一周期的使用频率属性依次将文件从文件服务器加载到CACHE存取区中,直到加满为止。
将存储CACHE存取区的普通内存虚拟成Ramdisk,在其上安装文件系统对CACHE存取区进行操作。
本发明通过方法实现了在基本不增加网络和文件服务器负荷的情况下替代原有的硬盘方案,从而提高系统的可靠性和集成度,同时:
1、因不用实时计算权值和进行换入换出操作,对CPU占用小。
2、因每天凌晨加载时都会清理掉原来的CACHE存取区内数据内容,而且平时运行时并不更新CACHE存取区,因此CACHE中不会有任何碎片。
3、使用随机存储器磁盘(Ramdisk)系统,可以利用操作系统来管理CACHE中的文件,实现简单,效率较高,同时操作方式和磁盘完全一致,对原有代码改动小。
附图说明
图1为彩铃业务使用频度分布图;
图2为全部彩铃音使用频度分布图;
图3为本发明所述方法系统组网图;
图4为本发明所述方法流程图。
具体实施方式
由于语音增值业务数据都有业务数据使用频度相差极大的特点,往往少部分业务数据被使用的频率极高,甚至占到总使用率的百分之九十以上,这就为超速缓存(CACHE)技术的使用提供了前提。本发明依据增值业务数据文件使用频率建立CACHE存取区,依增值业务数据文件使用频率对增值业务数据文件进行操作,但同CACHE算法操作CACHE存取区不同,该CACHE存取区的数据并不是实时更新,即不需要实时对增值业务数据文件换进换出。
以彩铃业务为例。首先,对彩铃业务的话务模型进行分析,表一是某省彩铃用户铃音的使用情况。从该表可以看出铃音总数为8000条,前10条音占到了登记总数的1/4,而后3000条音才占登记总数的0.4%,铃音的使用频度相差极大。
由于铃音文件使用频率的巨大差异性,就给CACHE的使用提供了前提,如图1、图2结合表一的数据分析可以看出,只需要缓存前800条语音,就可以达到90%以上的命中率。而一条铃音文件按300k计算,所需的内存大小为800×300k=240M,这在技术和成本上都是可以接受的。
表一
登记次数和 | 占总登记数(%) | |
前10条音 | 367702 | 24.44609323 |
前20条音 | 520756 | 34.6216494 |
前100条音 | 1008640 | 67.05785522 |
前200条音 | 1169832 | 77.77445361 |
前500条音 | 1318218 | 87.63966508 |
前800条音 | 1375390 | 91.44065622 |
前5000条音 | 1497964 | 99.58979719 |
全部8012条 | 1504134 | 100 |
要在语音增值业务系统中使用CACHE技术,主要存在这么几个问题:
1、CACHE算法通常要进行大量的换入换出操作,这样会很容易产生内存碎片,对于语音文件,由于其大小不定,这个问题更加严重。
2、CACHE算法往往比较复杂,涉及到权值的计算,换入换出的操作,CACHE块的查找等等,会占用大量的CPU资源。
通过对语音增值业务数据文件的使用情况进行分析可以发现,增值业务数据文件的使用频率是在平稳变化的,也就是说相邻一段时间内,增值业务数据文件的使用频率是基本相同的。
本发明通过建立缓冲(CACHE)存取区来存储增值业务数据文件,该CACHE存取区可以建立在普通内存上,其系统结构图如图3所示。
利用CACHE存取区来处理增值业务数据信息的具体过程如如图4所示:
A、依据增值业务数据文件上一设定周期中使用频率属性更新CACHE存取区。
B、系统需要使用增值业务数据文件时,依据所述增值业务数据文件标识在CACHE存取区中进行检索。
C、判断所述增值业务数据文件是否在该CACHE存取区中,如果是,直接调用;否则,在文件服务器上进行检索。
在检索到所述增值业务数据文件并调用后,更新该增值业务数据文件的使用频率值,如可以将该增值业务数据文件本周期的使用频率值加1。
系统还对本次设定周期是否结束进行检测,若本周期结束,则记录本次周期增值业务数据文件的使用频率,根据记录结果计算文件权值,将CACHE存取区内容清空,标识本次设定周期为上一周期,更新CACHE存取区。设定周期的结束点是系统负载最小的时间点。
文件的权值可以依据文件的使用次数和大小进行加权计算,比如W1×Num-W2×Size,其中Num是指文件被使用的次数,Size是指文件大小,W1和W2指加权系数,依据系统需要设定。也可以依据系统需要引入其他文件属性及使用属性确定权值,如文件更新时间等等。
更新CACHE存取区可以依据增值业务数据文件的上一周期的权值依次将语音文件从服务器加载到CACHE存取区中,直到加满为止。
CACHE存取区数据并不像现有CACHE算法对数据实时更新,平时运行时只记录当天语音文件的使用频率,在凌晨负荷很小的时候根据记录的结果计算文件权值,再将CACHE中的内容清空,然后依据权值依次将语音文件从服务器加载到CACHE中,直到加满为止。这样每次CACHE中保存的就是上一天统计的语音文件,由于当天语音文件的使用频率和上一天基本相同,所以这么作是符合实际的。
为了便于CACHE存取区的操作,可以将存储CACHE存取区的普通内存虚拟成Ramdisk,在其上安装文件系统,这样操作CACHE存取区就像操作普通磁盘一样。将存储CACHE存取区的普通内存虚拟成Ramdisk,就可以利用操作系统现有的文件管理功能来管理CACHE存取区中的文件,而不需要同现有的CACHE技术一样,进行手工管理,需要为文件建立索引,设计查找算法,管理存取等。文件系统可以建立CACHE存取区内增值业务数据文件内存索引、起始及结束点,并进行CACHE存取区内增值业务数据文件的换入换出操作。用户并不需要关心数据文件内存索引、起始及结束点,这些均由现有操作系统处理。
为了避免因文件服务器上的文件变化而未实时更新CACHE存取区数据,导致从CACHE存取区内调取的相应增值业务数据文件时产生错误,可在每次使用CACHE存取区增值业务数据文件数据前,将CACHE中的文件属性和服务器上的进行比较,如果相符才调取使用该增值业务数据文件,否则,到文件服务器取该相应增值业务数据文件,以避免误读失效数据。
因系统第一次运行时CACHE不能起作用,会对文件服务器产生较大的负载,为解决这一问题,系统第一次运行CACHE时对其进行初始化,即系统实时检查增值业务数据文件的使用情况,当某个文件被使用了多次而还没有被加载时,如某个文件使用超过了设定的阀值且还未被加载,且CACHE中还有空间时,将其复制至CACHE中。
Claims (10)
1.一种语音增值业务数据信息处理方法,其特征在于,建立用于存储增值业务数据文件的缓冲CACHE存取区,所述方法包括如下步骤:
A、根据前一设定周期中增值业务数据文件的使用频率属性更新CACHE存取区;
B、当系统需要使用增值业务数据文件时,依据增值业务数据文件标识在CACHE存取区中进行检索,判断所述增值业务数据文件是否在该CACHE存取区中,如果是,则直接从CACHE存取区调用所述增值业务数据文件;否则,从文件服务器上调用所述增值业务数据文件;
在步骤B后,检测本次设定周期是否结束,并在周期结束时记录本次周期内增值业务数据文件的使用频率,以及将CACHE存取区内容清空和标识本次设定周期为前一周期后进入步骤A。
2.如权利要求1所述的方法,其特征在于,在CACHE存取区或文件服务器上检索到所述增值业务数据文件并调用后,更新该增值业务数据文件的使用频率值。
3.如权利要求1所述的方法,其特征在于,在所述周期结束时,还包括:计算本次周期内增值业务数据文件的权值;以及
在步骤A中还包括:根据前一设定周期中计算的文件权值更新CACHE存取区。
4.如权利要求1所述的方法,其特征在于,步骤A是指:依据增值业务数据文件在前一周期的使用频率属性依次将文件从文件服务器加载到CACHE存取区中,直到加满为止。
5.如权利要求1所述的方法,其特征在于,所述设定周期的结束点为系统负载最小的时间点。
6.如权利要求1所述的方法,其特征在于,所述CACHE存取区设置在普通内存中。
7.如权利要求6所述的方法,其特征在于,将存储CACHE存取区的普通内存虚拟成随机存储器磁盘Ramdisk,在其上安装文件系统对CACHE存取区进行操作。
8.如权利要求7所述的方法,其特征在于,所述文件系统对CACHE存取区进行操作包括建立CACHE存取区内增值业务数据文件内存索引、起始及结束点,并进行CACHE存取区内增值业务数据文件的换入换出操作。
9.如权利要求1所述的方法,其特征在于,步骤B中,在判断所述增值业务数据文件在CACHE存取区中后,先将CACHE存取区中的文件属性和文件服务器上该文件属性进行比较,如果相一致则直接调用。
10.如权利要求1所述的方法,其特征在于,在初始设定周期运行时,实时检查增值业务数据文件的使用情况,并在未被加载的文件的使用次数超过了设定的阀值且CACHE还有空间时,将其复制至CACHE中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2005100634169A CN100461806C (zh) | 2005-04-07 | 2005-04-07 | 一种语音增值业务数据信息处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2005100634169A CN100461806C (zh) | 2005-04-07 | 2005-04-07 | 一种语音增值业务数据信息处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1845567A CN1845567A (zh) | 2006-10-11 |
CN100461806C true CN100461806C (zh) | 2009-02-11 |
Family
ID=37064477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2005100634169A Expired - Fee Related CN100461806C (zh) | 2005-04-07 | 2005-04-07 | 一种语音增值业务数据信息处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100461806C (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101470645B (zh) * | 2007-12-29 | 2012-04-25 | 华为技术有限公司 | 一种高速缓存数据恢复的方法和装置 |
CN101340633B (zh) * | 2008-08-12 | 2011-06-22 | 中兴通讯股份有限公司 | 一种增值服务消息过负荷控制装置及方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1124981A (ja) * | 1997-07-03 | 1999-01-29 | Nec Corp | 広域分散ファイルシステム |
CN1322315A (zh) * | 1998-10-09 | 2001-11-14 | 国际商业机器公司 | 负载均衡协同高速缓存服务器 |
-
2005
- 2005-04-07 CN CNB2005100634169A patent/CN100461806C/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1124981A (ja) * | 1997-07-03 | 1999-01-29 | Nec Corp | 広域分散ファイルシステム |
CN1322315A (zh) * | 1998-10-09 | 2001-11-14 | 国际商业机器公司 | 负载均衡协同高速缓存服务器 |
Non-Patent Citations (4)
Title |
---|
A case for delay-conscious caching of Web documents. Peter Scheuermann,Junho Shim,Radek Vingralek.Computer Networks and ISDN Systems,No.29. 1997 |
A case for delay-conscious caching of Web documents. Peter Scheuermann,Junho Shim,Radek Vingralek.Computer Networks and ISDN Systems,No.29. 1997 * |
Web缓存技术综述. 贺琛,陈肇雄,黄河燕.小型微型计算机系统,第25卷第5期. 2004 |
Web缓存技术综述. 贺琛,陈肇雄,黄河燕.小型微型计算机系统,第25卷第5期. 2004 * |
Also Published As
Publication number | Publication date |
---|---|
CN1845567A (zh) | 2006-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107423422B (zh) | 基于网格的空间数据分布式存储及检索方法和系统 | |
JP6356675B2 (ja) | 集約/グループ化動作:ハッシュテーブル法のハードウェア実装 | |
CN102819586B (zh) | 一种基于高速缓存的url分类方法和设备 | |
US8224813B2 (en) | Cost based analysis of direct I/O access | |
EP2397946A1 (en) | Storage system using a rapid storage device as a cache | |
US20090089334A1 (en) | Lazy updates to indexes in a database | |
CN101375241A (zh) | 集群文件系统中的有效数据管理 | |
CN101361065A (zh) | 分布式模型的编码和自适应、可扩展访问 | |
CN101236569B (zh) | 一种基于ContextFS上下文文件系统的高效动态路径解析方法 | |
CN108021717B (zh) | 一种轻量级嵌入式文件系统的实现方法 | |
CN107025243A (zh) | 一种资源数据的查询方法、查询客户端和查询系统 | |
JP2005267600A5 (zh) | ||
CN105159845A (zh) | 存储器读取方法 | |
CN101207799A (zh) | 一种节目存储方法、系统及节目点播系统 | |
CN102314506A (zh) | 基于动态索引的分布式缓冲区管理方法 | |
CN104035925A (zh) | 数据存储方法、装置和存储系统 | |
CN108647266A (zh) | 一种异构数据快速分布存储、交互方法 | |
CN101404649A (zh) | 一种基于cache的数据处理系统及其方法 | |
CN104156432A (zh) | 一种文件访问方法 | |
CN103543959B (zh) | 海量数据高速缓存的方法及装置 | |
CN105005567A (zh) | 兴趣点查询方法和系统 | |
CN103019956A (zh) | 一种对缓存数据的操作方法和装置 | |
CN100461806C (zh) | 一种语音增值业务数据信息处理方法 | |
CN107133334B (zh) | 基于高带宽存储系统的数据同步方法 | |
CN111752905B (zh) | 一种基于对象存储的大文件分布式缓存系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090211 Termination date: 20170407 |