CN100565522C - 基于可变大小共享内存的面向对象的数据共享方法 - Google Patents

Abstract

基于可变大小共享内存的面向对象的数据共享方法，在资料存储使用空间换取性能方法开辟大共享内存，其步骤包括：1、采用多线程从文件中加载资料到私有内存中、采用多线程创建索引、采用多块可变大小共享内存方法保存数据、提供多种搜索算法、提供了IPC_API、SOCKET两种访问方式。本发明解决启动速度慢、内存需求大的问题，提高查询效率和稳定性。

Description

基于可变大小共享内存的面向对象的数据共享方法

技术领域

本发明涉及移动BOSS系统中的资料管理领域，特别涉及一种数据共享方法。

背景技术

随着移动业务的不断扩大，在移动BOSS系统中，资料管理成为最棘手的问题之一：用户量大、资料种类繁多、资料管理所需内存大、启动速度和实时查询效率要求高、稳定性要求高。另外，资料种类增加或修改频繁，要求相应速度快。

由此需求，很容易联想到内存数据库。国外有许多内存数据库的产品：ALTIBASE、FASTDB等。但这些产品虽然能够提供功能很全面的增删改操作，但也由于功能全面导致了启动时间长、内存需要大、接口开发难度大，成本也很高，不适合内嵌于专业运营支撑系统中。

在联创BILLING系统中，专门开发了一个资料管理系统TSERVER，其功能为内存数据库的子集，作为服务端为BILLING分拣批价模块提供资料查询，但是传统的实现方式仍然存在问题：启动速度慢、内存需求大、查询效率差。

发明内容

本发明目的是：为了解决TSERVER中存在的启动速度慢、内存需求大、查询效率差的问题，提出一个能够提供通用统一的查询功能、且在启动速度、内存需求、查询效率方面能够得到显著提高的新的资料管理方法，为BILLING提供一个通用的、高效的、稳定的资料管理功能。

本发明的核心技术是：将多线程技术(Multi Thread Distribute)应用于大容量资料的管理与查询，在资料存储使用了空间换取性能的技巧开辟大的share memory，并具备动态收缩扩展的能力，集成了多种搜索算法并根据查询需求智能化选择，对外提供了IPC_API，SOCKET多种服务接口。

基于可变大小共享内存的面向对象的数据共享方法，其步骤包括：

步骤1：采用多线程从文件中加载资料到私有内存中；

步骤2：采用多线程创建索引；

步骤3：采用多块可变大小共享内存方法保存数据；

步骤4：提供多种搜索算法；

步骤5：提供了IPC_API、SOCKET两种访问方式；

本发明具备动态收缩扩展的能力，方法是在步骤3中加入如下步骤：

步骤3.1计算最新所需的共享内存大小；

步骤3.2开辟新的共享内存；

步骤3.3将新的数据导入新的共享内存；

步骤3.4将目前使用的共享内存切换到新的共享内存中；

步骤3.5释放旧的共享内存。

本发明集成了多种搜索算法并根据查询需求智能化选择，方法是在步骤4中加入如下步骤：

步骤4.1提供二分法查询单条记录

步骤4.2提供二分法查询多条记录

步骤4.3提供遍历查询单条记录

步骤4.4提供遍历查询多条记录

步骤4.5提供复合查询1：一个子方法查询到结果结束

步骤4.6提供复合查询2：各个子方法查询到结果结束

对外提供了IPC_API，SOCKET多种服务接口，实现方法是：

IPC_API方法：该方式是本机使用API方式直接访问共享内存数据，从而提高查询效率。

SOCKET方法：该方式是远程使用SOCKET接口，通过SOCKET代理方式访问远端共享内存数据，实现数据的统一管理。

具体技术方案是：

一、为了解决共享内存空间大小固定的问题，采用了临时空间换取功能的技巧，从而实现动态收缩。具体步骤如下：

步骤1计算最新所需的共享内存大小

步骤2开辟新的共享内存

步骤3将新的数据导入新的共享内存

步骤4将目前使用的共享内存切换到新的共享内存中

步骤5释放旧的共享内存

二、为了满足检索时的多种访问需求，提供了多种搜索算法并根据查询需求智能化选择。

步骤1提供二分法查询单条记录

步骤2提供二分法查询多条记录

步骤3提供遍历查询单条记录

步骤4提供遍历查询多条记录

步骤5提供复合查询1：一个子方法查询到结果结束

步骤6提供复合查询2：各个子方法查询到结果结束

本发明的技术方案具有如下功能：

1.解决启动速度慢问题

为了解决启动速度慢问题，采用多线程技术提高并行度，同时优化启动环节(数据格式化、索引创建等)的算法。

2.解决内存需求大问题

为了解决内存需求大问题，采用共享内存技术。使资料统一管理，只保留一份。从而降低内存需求量。同时考虑到资料需要动态更新，采用可变大小共享内存的共享内存实现。但由于共享内存在操作系统实现时，必须指定固定大小才能申请到。为了解决定长问题，采用：数据句柄+2份数据共享内存(一份在用、另一份更新时存在并使用)。

3.提高查询效率

在考虑查询的通用统一功能的同时，需要尽可能提高查询效率。而提高效率的方法是：查询时尽可能使用索引和快速查询算法。另外，由于比较方式均需参数化，所以尽量在启动时将各种比较方式准备好。

4.提高稳定性

资料管理系统作为BOSS系统计费子系统的一部分。7×24小时不间断运行，稳定性极其重要。为了提高系统的稳定性，参数更新时在管理进程和访问进程间、访问代理和远程访问进程间增加了三次握手协议。

有益效果：

1.   启动速度：启动速度较TSERVER有显著提高，提高50％。

2.   内存需求：内存需求较TSERVER有明显降低，降低30％。

3.   查询效率：查询速度较TSERVER有显著提高，提高10倍。

4.   稳定性：系统运行稳定。

通过实践，本发明实施简单，运行稳定可靠。

附图说明

图1本发明的框图

图2共享内存中解决定长问题方法示意图

图3是本发明标准的软件模型

图4是PARAMMGR端功能类图

图5是IPC_API接口类图

具体实施方式

下面结合附图与具体实施方式对本发明作进一步说明。

基于可变大小共享内存的面向对象的数据共享方法，在资料存储使用空间换取性能方法开辟大共享内存，其步骤包括：

步骤1：采用多线程从文件中加载资料到私有内存中

步骤2：采用多线程创建索引

步骤3：采用多块可变大小共享内存方法保存数据

步骤4：提供多种搜索算法

步骤5：提供了IPC_API、SOCKET两种访问方式

本发明具备动态收缩扩展的能力，方法是在步骤3中加入如下步骤：

步骤3.1计算最新所需的共享内存大小

步骤3.2开辟新的共享内存

步骤3.3将新的数据导入新的共享内存

步骤3.4将目前使用的共享内存切换到新的共享内存中

步骤3.5释放旧的共享内存

本发明集成了多种搜索算法并根据查询需求智能化选择，方法是在步骤4中加入如下步骤：

步骤4.1提供二分法查询单条记录

步骤4.2提供二分法查询多条记录

步骤4.3提供遍历查询单条记录

步骤4.4提供遍历查询多条记录

步骤4.5提供复合查询1：一个子方法查询到结果结束

步骤4.6提供复合查询2：各个子方法查询到结果结束

对外提供了IPC_API，SOCKET多种服务接口，实现方法是：

IPC_API方法：该方式是本机使用API方式直接访问共享内存数据，从而提高查询效率。

SOCKET方法：该方式是远程使用SOCKET接口，通过SOCKET代理方式访问远端共享内存数据，实现数据的统一管理。

参考图1：

功能划分：

参数管理

●负责共享内存的创建、删除。

●参数(包括索引)的加载、更新。

●负责监控访问进程的状态，异常则强制踢出。

IPC_API接口

●提供对共享内存数据的查询接口。

●配合管理管理模块刷新参数。

●查询时，支持阻塞和非阻塞两种模式。

●负责和参数管理接口的事务自控制功能。

API直接访问

●对于本机已经部署参数管理进程的情况下，直接使用API接口进行参数查询。

SOCKET访问代理

●提供对共享内存数据的查询功能。

●配合管理管理模块刷新参数。

●为远程查询提供socket服务。

●支持socket查询，内部定义的一套协议。

●查询时，支持阻塞和非阻塞两种模式。

远程SOCKET代理

●通过socket代理查询参数。

●支持socket查询，内部定义的一套协议。

本发明内嵌于BILLING系统中TSERVER模块中，也可独立封装，做为第三方插件提供于其他适配模块，其标准的软件模型参考图3

●配置信息

实施过程中，TSERVER各功能模块的配置参数均采用XML格式保存在文件中。按照功能模块分为以下三种配置信息：

■PARAMMGR端的配置结构实例：

<paramMgr>

 <C1>

 <CtlShmKey> 400</CtlShmKey>       <！-控制区共享内存Key>

 <MaxWaitTime>600 </MaxWaitTime>

 <SemPath>             <！-信号量->

                  /bossjf01/personal/gaojf/paramMgr/data/scm/scmfile

 </SemPath>

 <ParamInfo>

   <ParamLogPath>   <！-参数日期存放路径->

                /bossjf01/personal/gaojf/paramMgr/data/param/

 </ParamLogPath>

<Data_Source>

  <Database><！-数据库数据源信息->

    <jfdb_test1>

          <server_name>jftcst</server_name>

      <user_name>param</user_name>

      <passwd      >linkage<passwd>

      <updataMethod>0  </updataMethod>

      <TimeSelect_Sql>select*from updata_flag</TimeSelect_Sql>

    </jfdb_test1>

    <jfdb_test2>

          <server_name>jftcst</server_name>

      <user_name>param</user_name>

      <passwd      >linkage<passwd>

      <updataMethod>1  </updataMethod>

    </jfdb_test2>

  </Database>

  <File><！-文件数据信息->

    <UserInfoFile>

      <file_path>   /bossjf01/personal/gaojf/paramMgr/data/param</file_path>

    </UserInfoFile>

  </File>

</Data_Source>

<ParamList>

       <UserInfoMsisdn><！-文件资料参考信息->

  <Data_Source><！-数据源信息，对应Data_Source中的数据源->

      UserInfoFile

  </Data_Source>

  <Param_File><！-对应的文件名->

      PO_UserInfoMsisdn_0

  </Param_File>

  <ShmKey  ><！-该参数对应的共享内存KEY对->

      401，402

  </ShmKey   >

  <fields_list><！-资料字段格式说明->

  userId，161；brandId，3d；cityId，2d；countyCode，4d；imsi，15s；msisdn，11s；payMode，1s；

  openDate，8d；startDate，8d；startTime，6d；endDate，8d；endTime，6s；fiestDate，8d

  </fields_list>

  <index> <！-索引定义->

    <IDX_IMSI>      imsi，1；startDate，1；startTime，1       </IDX_IMSI>

    <IDX_MSISDN>    msisdn，0；startDate，1；startTime，1         </IDX_MSISDN>

  </index>

       </UserInfoMsisdn>

     <Domenstic_Msisdn><！-数据库资料参数信息->

    <Data_Source><！-数据源信息，对应Data_Source中的数据源->

        jfdb_test

    </Data_Source>

     <Count_Sql>select count(*)from domestic_msisdn</Count_Sql>

     <Select_Sql><！-资料选取SQL语句->

        select begin_msisdn，end_msisdn，csp_type，area_code，business_type，

        home_type，begin_date，end_date from domestic_msisdn

     </Select_Sql>

      <fields_list><！-资料字段格式说明->

      Select begin_msisdn，11s；end_msisdn，csp_type，1s；area_code，5s；business_type，2s；

        home_type，1s；begin_date，14s；end_date，14s

      </fields_list>

    <ShmKey   ><！-该参数对应的共享内存KEY对->

        403，404

    </ShmKey>

    <index> <！-索引定义->

         <idx_msisdn >begin_msisdn，0；end_msisdn，1</idx_msisdn>

    </index>

          </Domestic_Msisdn>

            </ParamList>

       </ParamInfo>

    </C1>

</paramMgr>

该配置信息定义参数管理端的参数定义，包括：控制信息存放的共享内存定义、数据源定义、参数数据定义等。其中参数数据定义又包含了：数据源、记录格式定义、索引定义等。

■IPC_API的配置结构实例：

<paramIpcApi>

   <MgrInfoRootPath><！-对应PARAMMGR的配置路径->

   /paramMgr/1

   </MgrInfoRootPath>

   <queryMethodList><！-查询方法定义->

    <getServInfoByIMSIAII><！-简单查询方法定义->

     <query_mode>1</query_mode><！-查询方式->

     <in_fields><！-输入参数->

    in_imsi，in_startDate，in_startTime

     </in_fields>

     <out_fields><！-输入参数->

    userId，brandId，imsi，msisdn，payMode，opernDate，firtstDate

     </out_fields>

     <ParamName_Idx> <！-检索使用的索引->

                  UserInfoMsisdn.IDX_IMSI

     </ParamName_Idx>

     <Compare_LtExp><！-检索时的小于号表达式定义->

       imsi bg in_imsi or

       (imsi eq in_imsi and

       (startDate bg in_startDate or (startDate eq in_startDate and

startTime bg in_startTime))and

       (endDate bg in_startDate  or (endDate eq in_startDate and

endTime bg in_startTime)))

     </Compare_LtExp>

     <EqualExp><！-检索时的等于号表达式定义->

       (imsi eq in_imsi) and  ((startDate It in_startDate) or

      ((startDate   eq  in_startDate)    and      (startTime  le

in_startTime)))

       and((endDate bg in_startDate)or(endDate eq in_startDate)and

(endTime bg in_startTime)))

     </EqualExp>

    </getServInfoByIMSIAII>

该配置为查询方法定义。

MgrInfoRootPath项为指明参数管理端的配置信息，从而获得参数的定义信息。

queryMethodList项定义了方法的具体定义。

方法定义包含了：查询方式、输入输出信息、小于号比较方式、等于号比较方式。

在采用二分法检索时：先采用小于号找到第一个不小于输入信息的记录，再采用等于号判断是否符合检索条件。

■应用端配置结构实例：

<ipctest>  <！-IPCAPI应用案例->

 <C1>

   <IpcApiInfoRootPatb>  <！<-IPCAPI配置路径->

                  /paramIpcApi

   </IpcApiInfoRootPath>

 </C1>

</ipctest>

<SQPServer>   <！-SQP应用案例->

 <C1>

   <IpcApiInfoRootPath>  <！<-IPCAPI配置路径->

                  /paramIpcApi

   </IpcApiInfoRootPath>

 </C1>

   ■  </SQPServer>

该配置为访问应用对应的参数查询接口配置。指明对应的查询接口配置路径。

以上配置信息组成了一个完成的TSERVER配置信息。

●实现类图

■PARAMMGR端功能类，参考图4

说明：

ParamMgr类为总负责类，负责所有资料的加载到共享内存、更新、从共享内存卸载等功能。

ParamBase为资料抽象类，提供资料加载、更新、清除等接口。

FileParam为文件参数类，提供文件类参数的加载、更新、清除等功能接口。

DbParam为数据库参数类，提供数据库参数的加载、更新、清除等功能接口。

ShmBase为共享内存接口类，提供共享内存、信号量等操作接口。

■IPC_API接口类，参考图4

说明：

ShmParamCli类为共享内存接口类，提供和ParamMgr端参数信息接口。

ParamIpcApi类为查询接口提供类，为访问应用接口提供查询接口。

QueryDetailInfo类为查询内部实现类，为IPCAPI提供具体的实现接口。

Claims (3)

1、一种基于可变大小共享内存的面向对象的数据共享方法，其特征是步骤包括：

步骤1：采用多线程从文件中加载资料到私有内存中；

步骤2：采用多线程创建索引；

步骤3：采用多块可变大小共享内存方法保存数据；

步骤4：提供多种搜索算法；

步骤5：提供了IPC_API、SOCKET两种访问方式；

所述步骤3中包括如下步骤：

步骤3.1计算最新所需的共享内存大小；

步骤3.2开辟新的共享内存；

步骤3.3将新的数据导入新的共享内存；

步骤3.4将目前使用的共享内存切换到新的共享内存中；

步骤3.5释放旧的共享内存。

2、根据权利要求1所述基于可变大小共享内存的面向对象的数据共享方法，其特征是还集成了多种搜索算法并根据查询需求智能化选择，实现方法是在步骤4中加入如下步骤：

步骤4.1提供二分法查询单条记录；

步骤4.2提供二分法查询多条记录；

步骤4.3提供遍历查询单条记录；

步骤4.4提供遍历查询多条记录；

步骤4.5提供复合查询1：一个子方法查询到结果结束；

步骤4.6提供复合查询2：各个子方法查询到结果结束。

3、根据权利要求1所述基于可变大小共享内存的面向对象的数据共享方法，其特征是对外提供了IPC_AP工和SOCKET服务接口，实现方法是：

IPC_API方法：该方式是本机使用API方式直接访问共享内存数据，从而提高查询效率；

SOCKET方法：该方式是远程使用SOCKET接口，通过SOCKET代理方式访问远端共享内存数据，实现数据的统一管理。

Images