CN101216855B - 消息类业务累计数据缓存方法及系统 - Google Patents

Abstract

本发明公开了一种消息类业务累计数据缓存方法：在综合业务管理平台和3G引擎之间建立二级缓存机制，采用除留余数法计算消息类业务累计数据存储地址，将消息类业务累计数据存储在缓冲区。本发明还公开了相应系统，3G引擎，用于根据用户选择业务向综合业务管理平台发送批价请求、批价确认消息；综合业务管理平台，用于对服务提供商或者内容提供商的产品进行管理；缓冲区包括一级缓存、二级缓存，分别用于存储访问频率高于、低于历史访问频率阈值的消息类业务累计数据；数据处理模块用于将数据库中原始累计数据按业务过滤为消息类业务累计数据，并存入缓冲区；数据库用于存储原始累计数据。本发明能有效的解决哈希冲突，实时性好。

Description

消息类业务累计数据缓存方法及系统

技术领域

本发明涉及管理提供商增值业务的综合业务管理平台领域，特别是一种消息类业务累计数据缓存方法及系统。

背景技术

在传统的消息类业务应用中，消息类数据产生后，直接存储到数据库中，如果需要使用消息类数据，则直接从数据库中查找。由于数据库容量巨大，查找费时，使得该方案中数据访问速度较低，实时性不高。

此外，传统的消息类业务应用中，对消息类数据查找常用直接定址法的哈希算法。直接定址法中哈希函数为关键字的线性函数：H(key)＝key或者H(key)＝a key+b，对于超出地址范围的哈希函数值，另建立一个数据链，再次分配地址。通常，使用哈希函数计算地址都会产生哈希地址冲突，在传统的消息类业务中，当出现哈希冲突时，依照空闲地址的顺序依次存储。该方法的缺点在于，数据存储较为杂乱，，容易产生空闲地址，造成空间浪费，在对数据链中存储的数据进行访问时，访问速度较慢，从而影响整个数据访问的速度。

发明内容

有鉴于此，本发明的主要目的在于提供一种消息类业务累计数据缓存方法，对系统性能影响更小，并能有效的解决哈希冲突。

本发明的另一目的在于提供一种消息类业务累计数据缓存系统，效率高、实时性好。

为达到上述目的，本发明的技术方案是这样实现的：

一种消息类业务累计数据缓存方法，该方法包括：

在综合业务管理平台和3G引擎之间建立二级缓存机制，将用户号码、产品代码中唯一标识产品的字符码组成中间串；对所述中间串加密，得到累计数据标识；将累计数据标识各字符的ASCII码相加结果作为哈希函数自变量；将所述哈希函数自变量代入除留余数法构建的哈希函数，所得哈希函数值为消息类业务累计数据的缓存存储地址，将消息类业务累计数据存储在缓存区。

所述存储地址计算还包括采用开放定址法解决缓存区存储地址冲突：

冲突的存储地址的新地址Hi＝(H(key)+di)％m；

其中，H(key)为冲突的存储地址，i＝1，2，...，k，(k＝＜m-1)，m为哈希表长；

di的选取采用线性探查再散列的方法，即di＝1，2，3，...，m-1，直到解决存储地址冲突为止。

所述二级缓存机制包括：

设置缓存更新周期和历史访问频率阈值；

缓存更新周期到达，搜索数据库中在此次缓存更新周期内的产生的消息类业务累计数据；

若消息类业务累计数据的历史访问频率高于历史访问频率阈值，则将该消息类业务累计数据更新到一级缓存，否则，更新到二级缓存。

该方法还包括：对用户请求的消息类业务，根据消息类业务累计数据进行批价。

所述根据消息类业务累计数据进行批价的过程包括：

3G引擎向综合业务管理平台发送批价请求消息，该消息包含用户号码、产品代码；

综合业务管理平台收到批价请求消息，根据该用户的历史使用情况进行批价，并将用户号码、产品代码存入一级缓存，向3G引擎返回批价请求响应消息；

3G引擎向综合业务管理平台发送批价确认消息；

综合业务管理平台根据批价确认消息，在一级缓存中获取用户号码和产品代码，计算累计数据标识，根据累计数据标识依次在一级缓存、二级缓存中寻找消息类业务累计数据，如果找到，根据消息类业务累计数据对该业务重新批价、更新消息类业务累计数据，并将更新后的消息类业务累计数据存入数据库；否则，将该消息类业务累计数据各项归零；

综合业务管理平台向3G引擎返回批价确认响应消息。

所述原始累计数据是线性结构，包括累计数据标识、本月累计资源、本月累计消费费用。

所述原始累计数据还包括本月包量累计资源和本月保底累计使用费用。

一种消息类业务累计数据缓存系统，该系统包括3G引擎、综合业务管理平台、缓存区、数据处理模块、数据库和消息类业务累计数据缓存单元，3G引擎、综合业务管理平台、缓存区、数据处理模块和数据库依次连接：

3G引擎，用于根据用户选择业务向综合业务管理平台发送批价请求、批价确认消息；

综合业务管理平台，用于对服务提供商或者内容提供商的产品进行管理，所述管理至少包括鉴权、批价；响应3G引擎发送的批价请求、批价确认消息，并根据批价确认消息从缓存区中检索累计数据标识；

缓存区，包括一级缓存、二级缓存，分别用于存储访问频率高于历史访问频率阈值的消息类业务累计数据、访问频率低于历史访问频率阈值的消息类业务累计数据；

数据处理模块用于将数据库中原始累计数据按业务过滤，并将过滤后的消息类业务累计数据存入缓存区；

数据库用于存储原始累计数据；

消息类业务累计数据缓存单元，在综合业务管理平台和3G引擎之间建立二级缓存机制，将用户号码、产品代码中唯一标识产品的字符码组成中间串；对所述中间串加密，得到累计数据标识；将累计数据标识各字符的ASCII码相加结果作为哈希函数自变量；将所述哈希函数自变量代入除留余数法构建的哈希函数，所得哈希函数值为消息类业务累计数据的缓存存储地址，将消息类业务累计数据存储在缓存区。

所述数据处理模块包括数据过滤模块和数据监控模块，

数据过滤模块将原始累计数据中的消息类业务累计数据过滤出来，并将消息类业务累计数据的历史访问频率与历史访问频率阈值比较结果，发送给数据监控模块；

数据监控模块采用哈希算法，将访问频率高于历史访问频率阈值的消息类业务累计数据移入一级缓存，访问频率低于历史访问频率阈值的消息类业务累计数据移入二级缓存。

附图说明

本发明以用户对数据的历史访问频率为依据，设置两级缓存，定时将消息类业务累计数据分割，并分别移入一级缓存和二级缓存。本发明对累计数据标识采用了独有的结构，即将用户号码与部分产品代码经过加密算法处理，形成累计数据标识，使用更高效的除留余数法存取消息类业务累计数据，并使用对系统性能影响最小的开放定址法有效解决哈希冲突。

图1为本发明应用系统结构示意图；

图2为本发明消息类业务累计数据存储流程图；

具体实施方式

图3为本发明的批价流程示意图。

本发明将多级缓存技术应用于使用日益频繁的SP增值业务管理平台的消息类业务中。在综合业务管理平台和3G引擎之间建立数据二级缓存机制，并采用除留余数法解决哈希地址冲突，以提高消息类业务在批价确认的处理中再次批价的准确率。

下面结合具体实施例对本发明的技术方案进一步说明。

本发明仅限于常见的对单个产品批价、单方计费的情况，不适用于对套餐中的产品批价、多方共同计费的情况；主要针对3G消息类增值业务的商业运作而设计，既支持下行计费(如用户点播天气预报，SP下发指定消息后收费)的情形，也支持上行计费(如用户参与选秀节目，发送成功即收费)的情形。

本发明应用系统结构如图1所示，该系统包括3G引擎、综合业务管理平台、缓存区、数据处理模块、数据库和消息类业务累计数据缓存单元(图中未示出)，3G引擎、综合业务管理平台、缓存区、数据处理模块和数据库依次连接：

3G引擎主要是指综合业务接入网关(ISAG，Integrated Service AccessGateWay)，是批价确认消息的请求发起方，当用户选择业务，费用发生变化时，3G引擎向综合业务管理平台发起批价请求、批价确认消息；

综合业务管理平台是指集成了各种3G增值业务(如短信、彩信、wap、流媒体等)于一体的管理平台，主要负责鉴权和批价，还用于响应3G引擎发送的批价请求、批价确认消息，并根据批价确认消息从缓存区中检索累计数据标识。鉴权是指保证综合业务管理平台内各个实体的存在性和有效性；批价即计算价格，以便出账单或交由实时扣费系统对指定用户扣费。综合业务管理平台包括批价模块、计费模块等多个功能模块，批价模块用于计算价格，是综合业务管理平台的核心和关键，直接关系到运营商的商业利润；计费模块用于根据历史使用情况计算用户费用，并提交扣费系统对用户扣费。

缓存区包括了一级缓存和二级缓存两部分，分别用于存储访问频率高于历史访问频率阈值的消息类业务累计数据、访问频率低于历史访问频率阈值的消息类业务累计数据。

数据库是原始累计数据的磁盘存储区；数据库通过数据处理模块与缓存区连接，数据处理模块用于将数据库中原始累计数据按业务过滤，并将过滤后的消息类业务累计数据存入缓存区，包括数据过滤模块和数据监控模块。数据过滤模块将原始累计数据中的消息类业务累计数据过滤出来，并将消息类业务累计数据的历史访问频率与历史访问频率阈值比较结果，发送给数据监控模块；数据监控模块采用哈希算法，将访问频率高于历史访问频率阈值的消息类业务累计数据移入一级缓存，访问频率低于历史访问频率阈值的消息类业务累计数据移入二级缓存。

消息类业务累计数据缓存单元，在综合业务管理平台和3G引擎之间建立二级缓存机制，将用户号码、产品代码中唯一标识产品的字符码组成中间串；对所述中间串加密，得到累计数据标识；将累计数据标识各字符的ASCII码相加结果作为哈希函数自变量；将所述哈希函数自变量代入除留余数法构建的哈希函数，所得哈希函数值为消息类业务累计数据的缓存存储地址，将消息类业务累计数据存储在缓存区。

在消息类业务中，消息类业务累计数据是每个用户所选业务、使用量和费用的重要记录。消息类业务累计数据在注册用户首次使用时，由系统根据用户信息生成，各项累计均为0，并此后逐渐统计用户对各项业务的使用情况。累计数据主要有两个作用：1)方便实时统计用户基于SP、业务、产品的月消费额和消费总额；2)作为重要的输入参数送给计费模块完成各种复杂的批价，尤其应用于计量分档、累计折扣等费用模式中。

原始累计数据是线性结构，主要包括累计数据标识、本月累计资源、本月累计消费费用、本月包量累计资源、本月保底累计使用费用。

累计数据标识是一个32位字符串，用于校验用户及产品信息的真实性，防止黑客利用木马程序任意窃取指定的累计数据；本月累计资源是指用户对产品的累计使用次数，不涉及wap、流媒体等内容类业务的细节；本月累计消费费用是指用户本月实际的开销；本月包量累计资源用于用户对包量产品的量内使用次数累计；本月保底累计使用费用是指用户对保底产品在保底范围内的虚拟使用费用累计，在保底范围内用户对产品的累计消费费用始终为零。

原始的累计数据是存储在数据库中的，涉及到12张数据结构完全一致的表，分别存储12个月份的累计数据，但是每个月份的累计数据是不分短信、彩信、wap还是流媒体业务的。对用户的费用统计时，需要按照不同的业务类型分别计费，通过数据过滤，将原始累计数据按照短信、彩信等业务类型划分，划分后的消息类业务累计数据在分别存入缓存区，以备计费使用。

原始累计数据在数据库中随时更新，而对于缓存区中的消息类业务累计数据，通过设置缓存更新周期，周期性更新缓存区消息类业务累计数据；设置历史访问频率阈值，以划分消息类业务累计数据是存入一级缓存还是二级缓存；还需设置当月累计数据浮动时间，用于确定哈希表的长度。每个缓存更新周期内可能会产生多条原始累计数据，缓存更新周期到达时，根据业务类型，过滤出原始累计数据中的消息类业务累计数据，对每条消息类业务累计数据处理的具体步骤是：

步骤2a、提取累计数据标识；

根据历史访问频率与历史访问频率阈值比较，高于阈值的单条消息类业务累计数据移入一级缓存，否则，存入二级缓存。单条消息类业务累计数据涉及用户号码和产品代码。产品代码为21位，其中右边10位是流水码，可以唯一确定一个产品。基于此，将用户号码与产品10位流水码联结成一个中间串，然后调用MD5算法对该中间串加密。例如，中间串为137000000300000000078，那么加密后的字符串就是d5c309a5bd038da0f7c4beb20b353540，所生成的32位加密字符串称为累计数据标识。

步骤2b、采用除留余数法构造哈希函数，将消息类业务累计数据存入缓存区；

步骤2b1、将消息类业务累计数据标识各个字符的ASCII码相加，得到一个数字和Sum1，作为哈希函数的自变量；

步骤2b2、根据当月累计数据的总量以及当月累计数据浮动时间段内的增减频率，估算出在缓存中需要建立的哈希表的长度p，一般的，哈希表的长度以当月累计数据总量的1.5倍为宜；

步骤2b3、根据哈希函数的自变量使用除留余数法计算函数值，即H(Sum1)＝Sum1％q(q＜p)，一般取q为质数较好，q越接近p，产生哈希冲突的机率越小，得到的H(Sum1)即为哈希函数值，也是累计数据的缓存存储地址。依照计算得到的缓存存储地址将消息类业务累计数据存入缓存区。

步骤2c、使用开放定址法解决哈希冲突。

在调用哈希函数计算存储地址，将消息类业务累计数据移入缓存区的过程中，不可避免地存在哈希冲突，即地址冲突。这里，采用开放定址法解决哈希冲突，即Hi＝(H(key)+di)％m，i＝1，2，......，k(k＜＝m-1)，其中di为增量，H(key)为哈希函数，m为哈希表长。这里对di的选取采用线性探查再散列的方法，即di＝1，2，3，......，m-1，直到解决哈希冲突为止，将地址冲突的单条消息类业务累计数据的存储地址按上述计算生成新的地址，并按照新地址将该消息类业务累计数据存入缓存区。

重复步骤2a至2c，直到将一个缓存周期内新增消息类业务累计数据全部处理完毕。

在业务层面，3G引擎与综合业务管理平台通讯，对用户的请求的消息类业务，根据消息类业务累计数据进行批价的流程如图3所示：

步骤3a、3G引擎向综合业务管理平台发送批价请求消息，该消息包含用户号码、产品代码、消息标识(msgid，唯一标识一条消息，它的格式为MMDDHHMMSSXXXXXXXXXX，MMDDHHMMSS代表当前时间，XXXXXXXXXX代表递增的序列号)；

步骤3b、综合业务管理平台收到批价请求消息，根据用户的历史使用情况对产品批价，例如，用户享有折扣、本次服务是否在折扣范围内等等；然后以批价请求消息的消息标识为索引，把用户号码和产品代码存储到一级缓存中，并响应3G引擎批价请求消息，批价请求响应消息包含批价请求结果、计费情况等，其中，批价请求结果为0表示批价成功，否则按照各种批价失败情况返回对应的结果码。

步骤3c、根据批价确认消息，获取消息类业务累计数据并重新批价；

3G引擎向综合业务管理平台发送批价确认消息，该消息包含3G引擎批价请求响应消息的接收情况，消息标识；综合业务管理平台以批价确认消息的msgid为索引，到一级缓存中获取用户号码和产品代码，获取过程与缓存区数据更新过程类似，即对用户号码+产品10位流水码串进行MD5加密得到累计数据标识，以累计数据标识为索引，到一级缓存获取消息类业务累计数据；如果获取失败，依然以累计数据标识为索引，到二级缓存获取消息类业务累计数据；如果再次获取失败，表明该消息类业务累计数据为初次使用，则将该消息类业务累计数据各项全部设置为零，作为本次获取的结果。

综合管理平台将获取的消息类业务累计数据、费率(例如50分/条)、折扣(例如累计10条折扣90％)作为输入参数传给批价模块，批价模块重新批价，并将重新批价后的新消息类业务累计数据存入数据库中，该存储消息包含用户号码、产品代码、存储时间等信息。缓存更新周期到达后，根据各新消息类业务累计数据的历史访问频率，将累计数据更新到缓存区中。

步骤3d、综合业务管理平台响应3G引擎的批价确认消息。

以上批价请求消息、批价请求响应消息、批价确认消息、批价确认响应消息是完成一次业务处理过程，实际中，3G引擎可能会连续发出多个批价请求消息，然而由于通信网络实际情况复杂，综合业务管理平台接收的消息可能会产生交错，用户的费用会随时发生变化，通过在每次业务操作的批价确认环节重新批价，以保证数据的一致性。此外，也可以采用如RIPEMD160、SHA1、SHA256、SHA384、SHA512等加密算法对用户号码和产品代码进行处理得到其他形式的累计数据标识，在查找消息类业务累计数据时，采用同样的加密处理过程得到累计数据标识即可。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (9)

1.一种消息类业务累计数据缓存方法，其特征在于，该方法包括：

在综合业务管理平台和3G引擎之间建立二级缓存机制，将用户号码、产品代码中唯一标识产品的字符码组成中间串；对所述中间串加密，得到累计数据标识；将累计数据标识各字符的ASCII码相加结果作为哈希函数自变量；将所述哈希函数自变量代入除留余数法构建的哈希函数，所得哈希函数值为消息类业务累计数据的缓存存储地址，将消息类业务累计数据存储在缓存区。

2.根据权利要求1所述的消息类业务累计数据缓存方法，其特征在于，所述存储地址计算还包括采用开放定址法解决缓存区存储地址冲突：

冲突的存储地址的新地址Hi＝(H(key)+di)％m；

其中，H(key)为冲突的存储地址，i＝1，2，...，k，(k＜＝m-1)，m为哈希表长；

di的选取采用线性探查再散列的方法，即di＝1，2，3，...，m-1，直到解决存储地址冲突为止。

3.根据权利要求1或2所述的消息类业务累计数据缓存方法，其特征在于，所述二级缓存机制包括：

设置缓存更新周期和历史访问频率阈值；

缓存更新周期到达，搜索数据库中在此次缓存更新周期内的产生的消息类业务累计数据；

若消息类业务累计数据的历史访问频率高于历史访问频率阈值，则将该消息类业务累计数据更新到一级缓存，否则，更新到二级缓存。

4.根据权利要求1所述的消息类业务累计数据缓存方法，其特征在于，该方法还包括：对用户请求的消息类业务，根据消息类业务累计数据进行批价。

5.根据权利要求4所述的消息类业务累计数据缓存方法，其特征在于，所述根据消息类业务累计数据进行批价的过程包括：

3G引擎向综合业务管理平台发送批价请求消息，该消息包含用户号码、产品代码；

综合业务管理平台收到批价请求消息，根据该用户的历史使用情况进行批价，并将用户号码、产品代码存入一级缓存，向3G引擎返回批价请求响应消息；

3G引擎向综合业务管理平台发送批价确认消息；

综合业务管理平台根据批价确认消息，在一级缓存中获取用户号码和产品代码，计算累计数据标识，根据累计数据标识依次在一级缓存、二级缓存中寻找消息类业务累计数据，如果找到，根据消息类业务累计数据对该业务重新批价、更新消息类业务累计数据，并将更新后的消息类业务累计数据存入数据库；否则，将该消息类业务累计数据各项归零；

综合业务管理平台向3G引擎返回批价确认响应消息。

6.根据权利要求5所述的消息类业务累计数据缓存方法，其特征在于，原始累计数据是线性结构，包括累计数据标识、本月累计资源、本月累计消费费用。

7.根据权利要求6所述的消息类业务累计数据缓存方法，其特征在于，所述原始累计数据还包括本月包量累计资源和本月保底累计使用费用。

8.一种消息类业务累计数据缓存系统，其特征在于，该系统包括3G引擎、综合业务管理平台、缓存区、数据处理模块、数据库和消息类业务累计数据缓存单元，3G引擎、综合业务管理平台、缓存区、数据处理模块和数据库依次连接：

3G引擎，用于根据用户选择业务向综合业务管理平台发送批价请求、批价确认消息；

综合业务管理平台，用于对服务提供商或者内容提供商的产品进行管理，所述管理至少包括鉴权、批价；响应3G引擎发送的批价请求、批价确认消息，并根据批价确认消息从缓存区中检索累计数据标识；

缓存区，包括一级缓存、二级缓存，分别用于存储访问频率高于历史访问频率阈值的消息类业务累计数据、访问频率低于历史访问频率阈值的消息类业务累计数据；

数据处理模块用于将数据库中原始累计数据按业务过滤，并将过滤后的消息类业务累计数据存入缓存区；

数据库用于存储原始累计数据；

消息类业务累计数据缓存单元，在综合业务管理平台和3G引擎之间建立二级缓存机制，将用户号码、产品代码中唯一标识产品的字符码组成中间串；对所述中间串加密，得到累计数据标识；将累计数据标识各字符的ASCII码相加结果作为哈希函数自变量；将所述哈希函数自变量代入除留余数法构建的哈希函数，所得哈希函数值为消息类业务累计数据的缓存存储地址，将消息类业务累计数据存储在缓存区。

9.根据权利要求8所述的消息类业务累计数据缓存系统，其特征在于，所述数据处理模块包括数据过滤模块和数据监控模块，

数据过滤模块将原始累计数据中的消息类业务累计数据过滤出来，并将消息类业务累计数据的历史访问频率与历史访问频率阈值比较结果，发送给数据监控模块；

数据监控模块采用哈希算法，将访问频率高于历史访问频率阈值的消息类业务累计数据移入一级缓存，访问频率低于历史访问频率阈值的消息类业务累计数据移入二级缓存。

Images