CN105138581B - 一种移动信息写入和读取方法及系统 - Google Patents
一种移动信息写入和读取方法及系统 Download PDFInfo
- Publication number
- CN105138581B CN105138581B CN201510463312.0A CN201510463312A CN105138581B CN 105138581 B CN105138581 B CN 105138581B CN 201510463312 A CN201510463312 A CN 201510463312A CN 105138581 B CN105138581 B CN 105138581B
- Authority
- CN
- China
- Prior art keywords
- information
- mobile message
- file
- module
- mobile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明涉及一种移动信息写入和读取方法及系统,其写入方法包括:步骤a1:接收移动信息,将移动信息解析为一组完整数组;步骤a2:为数组中所有移动信息分别分配唯一对应的查询索引,并将移动信息中的标示信息存入核心信息字段中,根据查询索引将数组中所有移动信息分别写入唯一的文件位置,完成数组的写入文件;步骤a3:写入成功后,将查询索引信息和核心信息字段写入数据库中。适应移动信息系统的,满足行业应用标准的数据存储方式,数据存储即要考虑满足信息上下行发送要求,又要满足异常情况下断网、停机等非正常情况下保证数据不丢失的持久化零故障要求。
Description
技术领域
本发明涉及一种移动信息写入和读取方法及系统,以及一种移动信息文件分配调度系统。
背景技术
协议 | 说明 |
CMPP3.0 | 中国移动网关协议 |
CMPP2.0 | 中国移动网关协议 |
SGIP1.2 | 中国联通网关协议 |
SMGP3.0 | 中国电信网关协议 |
EMPP2.0 | 上海移动企信通协议 |
华为MAS | 中国移动MAS机接入协议 |
MM7 | 彩信协议 |
定制协议 | 可支持灵活扩展,用以支持第三方网关协议 |
表1各种协议说明表
如表1所示,种类繁多的数据协议,要求提供一套能够兼容多种协议的数据存储协议,同时满足持久化要求,保证系统停机不丢数据的高一致性要求。
通信技术的进步、移动终端的普及和移动通信网络的能力提升为移动信息服务在中国的推广带来了机遇。面对以金融行业为主,交通运输、电子商务、零售商贸、文化传媒、公共服务等领域不断变化、深化的需求,对移动信息服务提出了更具扩展性和开放性,更加标准化、规范化,更加健壮、稳定的要求。
传统的行业移动信息服务,是以中国移动MAS机为代表的移动信息服务平台。该平台采用ADC(Application Data Center)应用数据中心的托管模式,需要将MAS服务器建立在行业集团客户的内网侧,投入及维护成本高,不能快速扩展开发,安装部署繁琐。标准MAS机无法满足机构的个性化需求,而中国移动的MAS机厂商不能提供定制化的技术服务。
NOSQL技术的不断革新,原来遗留在移动信息领域的技术难题不断被攻克,其中关于系统异常情况下,如停机、宕机等异常情况下,数据丢失等问题,现在也有了解决方法。
Kyoto Cabine(后面统一简称KC)的问世,一个数据库管理的lib.数据库是一个简单的包含记录的数据文件,每个记录是一个键值对 (key/value),key和value都是变长的字节序列。key和value既可以是二进制的,也可以是文本字符串。数据库中的key必须唯一。数据库既没有表的概念,也不存在数据类型。所有的记录被组织为hash表或B+树。该技术解决了数据高速存储的一致性问题,让查询索引化文件的发明成为可能。
发明内容
本发明所要解决的技术问题是提供一种面向行业集团客户短信、彩信、微信、易信等移动信息服务的消息中间件中,实现行业集团客户与其终端用户之间的消息传递与互动的移动信息写入和读取方法及系统,能够在任何情况下做到不丢数据的持久化存储技术。
本发明解决上述技术问题的技术方案如下:一种移动信息写入方法,包括以下步骤:
步骤a1:接收多个移动信息,将多个移动信息解析为一组完整数组;
步骤a2:为数组中所有移动信息分别分配唯一对应的查询索引,并将移动信息中的标示信息存入核心信息字段中,根据查询索引将数组中所有移动信息分别写入唯一的文件位置,完成数组的写入文件;
步骤a3:写入成功后,将查询索引信息和核心信息字段写入数据库中。
本发明的有益效果是:适应移动信息系统的,满足行业应用标准的数据存储方式,数据存储即要考虑满足信息上下行发送要求,又要满足异常情况下断网、停机等非正常情况下保证数据不丢失的持久化零故障要求。
在上述技术方案的基础上,本发明还可以做如下改进。
进一步,所述步骤a1具体包括以下步骤:
步骤a11:接收移动信息,解析移动信息的属性;
步骤a12:根据属性按照协议对所有移动信息逐个进行解析,解析后的所有移动信息构成一个完整的数组。
进一步,所述步骤a2具体包括以下步骤:
步骤a21:为数组中每个移动信息分配唯一的查询索引,其中查询索引的信息通过国际算法进行计算得出;
步骤a22:将数组中的移动信息中的标示信息、优先级和文件存储地址信息和数据大小等信息存入核心信息字段中;
步骤a23:根据查询索引在文件中查找当前可以写入文件句柄,获取存储移动信息的文件位置;
步骤a24:将每个移动信息分别存入唯一对应的的文件位置。
进一步,所述标示信息包括下行(submit)、下行响应(resp)、状态报告(rpt)、上行(deliver)等标识。
本发明解决上述技术问题的技术方案如下:一种移动信息写入系统,包括接收模块、写入模块和信息存储模块;
所述接收模块用于接收移动信息,将移动信息解析为一组完整数组;
所述写入模块用于为数组中所有移动信息分别分配唯一对应的查询索引,并将移动信息中的标示信息存入核心信息字段中,根据查询索引将数组中所有移动信息分别写入唯一的文件位置,完成数组的写入文件;
所述信息存储模块用于写入成功后,将查询索引信息和核心信息字段写入数据库中。
本发明解决上述技术问题的技术方案如下:一种移动信息读取方法,包括以下步骤:
步骤b1:接收查询索引,将所述查询索引信息与数据库中的索引信息进行匹配,获取索引信息对应的核心信息;
步骤b2:根据查询索引和核心信息查找移动信息对应的文件位置,并根据文件位置找到对应的文件句柄;
步骤b3:根据文件句柄获取移动信息,并对移动信息进行处理。
在上述技术方案的基础上,本发明还可以做如下改进。
进一步,所述步骤b2具体包括以下步骤:
步骤b21:根据核心信息确定标示信息、优先级和文件存储地址信息;
步骤b22:根据标示信息在文件中快速查找索引对应的文件句柄。
进一步,所述步骤b3具体包括以下步骤:
步骤b31:根据文件句柄获取移动信息;
步骤b32:判断是否对移动信息执行删除操作,如果是,执行步骤b33;否则,执行步骤b34;
步骤b33:查找并执行删除数据的文件句柄,实现移动信息删除,返回数据删除成功,结束;
步骤b34:读取移动信息,根据移动信息类型,将移动信息写入对应的数据对象内,结束。
本发明解决上述技术问题的技术方案如下:一种移动信息读取系统,包括索引模块、查询模块和信息获取模块;
所述索引模块用于接收查询索引,将所述查询索引信息与数据库中的索引信息进行匹配,获取索引信息对应的核心信息;
所述查询模块用于根据查询索引和核心信息查找移动信息对应的文件位置,并根据文件位置找到对应的文件句柄;
所述信息获取模块用于根据文件句柄获取移动信息,并对移动信息进行处理。
本发明解决上述技术问题的技术方案如下:一种移动信息文件分配调度系统,包括文件创建模块、写入模块、读取模块、删除模块和文件管理模块;
所述文件创建模块用于创建文件,并对文件进行初始化确定文件的打开大小,根据初始化的打开大小定义文件的最大容量;
所述写入模块用于,当执行写入操作时,读取最后一个文件的可用大小,当没有满足最大文件要求时,在文件的后面进行追加,直至文件满足最大要求;当没有所需要的最大写入空间时,告知要求重新申请新的文件空间,用于写入新的数据;
所述读取模块用于,当执行读取操作时,根据索引,找到core核心信息,从中获取address地址信息,通过address地址信息进一步获取打开的文件句柄,并找到对应的偏移量,读取头得知移动信息的总大小,并获取全部信息,返回给应用使用;
所述删除模块用于,当执行删除操作时,根据索引,找到core核心信息,从中获取address地址信息,通过address地址信息进一步获取打开的文件句柄,并找到文件对应的分区信息,设置该文件标识为已经删除;
所述文件管理模块用于定期扫描所有打开的文件句柄,当文件句柄内所有信息都已经删除后,关闭文件句柄,并删除整个文件,释放硬盘空间。
本发明的有益效果是:本发明作为现代服务业中基于云架构的移动信息综合服务平台开发与应用的重要组成部分,该技术进一步推进了移动综合服务平台在证券、保险、基金、银行等金融行业行业的应用,覆盖物流交通、电子商务、零售商贸、文化传媒、公共服务等领域。移动信息服务作为最快速、最有效的客服渠道,可借助短、彩信等进行账户提醒、业务开通、活动互动、关系管理等。有益效果主要体现在两个方面:
1.作为SaaS云架构的基础,创新设计了应用于移动信息服务的平台框架,在框架中,索引化文件作为核心模块,实现了对行业集团客户移动信息处理与服务的集中管理,又有效保证了移动信息数据的高速率运算与并发和多用户、海量数据的存储与分析。而基于索引化文件的云架构应用,使得行业集团客户无需再单独建立MAS系统,节约了大量的系统建设支出。
2.移动信息综合服务平台架构采用了“航站楼”式,其各个子系统是构建在云架构中的独立应用,可按照不同行业集团用户的个性化需求分别进行“积木式”的搭建,实现客户的按需使用。用户无需在进行相应的软件和硬件的投入,通过互联网即可立时享有移动信息化的应用于服务,有效降低用户投入。而此“航站楼”的飞机场,就是以索引化文件为基础,搭载了模块化插入模块后,构建而成的。
从网络接收模块接收到下行信息,并提取每条下行移动信息中包含的属性信息;第一时间将数据存储到索引化文件中,根据属性信息分别为每条下行移动信息选择并执行相应的下行预处理过程,得到信息数据包;将过滤成功的信息数据包存储到索引化文件中,将过滤错误的下行移动信息存储到下行表;将短信待发表中的信息数据包进行数据排队并存储到待发送队列;信息数据包进行再次过滤,将再次过滤成功的信息数据包发送到网关队列,将过滤错误的下行移动信息存储到下行表;将网关队列中的信息数据包通过网关进行发送。本发明实现了对行业集团客户移动信息处理与服务的集中管理,保证了移动信息数据的高速率运算与并发。
附图说明
图1为本发明所述的一种移动信息写入方法的流程图;
图2为本发明所述的一种移动信息写入系统结构框图;
图3为本发明所述的一种移动信息读取方法的流程图;
图4为本发明所述的一种移动信息读取系统结构框图;
图5为本发明所述的一种移动信息文件分配调度系统结构框图;
图6为本发明移动信息索引化文件结构逻辑图;
图7为本发明移动信息索引化文件类图。
附图中,各标号所代表的部件列表如下:
1、接收模块,2、写入模块,3、信息存储模块,4、索引模块,5、查询模块,6、信息获取模块,7、文件创建模块,8、写入模块,9、读取模块, 10、删除模块,11、文件管理模块。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
如图1所示,为本发明所述的一种移动信息写入方法,包括以下步骤:
步骤a1:接收多个移动信息,将多个移动信息解析为一组完整数组;
步骤a2:为数组中所有移动信息分别分配唯一对应的查询索引,并将移动信息中的标示信息存入核心信息字段中,根据查询索引将数组中所有移动信息分别写入唯一的文件位置,完成数组的写入文件;
步骤a3:写入成功后,将查询索引信息和核心信息字段写入数据库中。
如图2所示,为本发明所述的一种移动信息写入系统,包括接收模块1、写入模块2和信息存储模块3;
所述接收模块1用于接收移动信息,将移动信息解析为一组完整数组;
所述写入模块2用于为数组中所有移动信息分别分配唯一对应的查询索引,并将移动信息中的标示信息存入核心信息字段中,根据查询索引将数组中所有移动信息分别写入唯一的文件位置,完成数组的写入文件;
所述信息存储模块3用于写入成功后,将查询索引信息和核心信息字段写入数据库中。
如图3所示,为本发明所述的一种移动信息读取方法,包括以下步骤:
步骤b1:接收查询索引,将所述查询索引信息与数据库中的索引信息进行匹配,获取索引信息对应的核心信息;
步骤b2:根据查询索引和核心信息查找移动信息对应的文件位置,并根据文件位置找到对应的文件句柄;
步骤b3:根据文件句柄获取移动信息,并对移动信息进行处理。
如图4所示,为本发明所述的一种移动信息读取系统,包括索引模块4、查询模块5和信息获取模块6;
所述索引模块4 用于接收查询索引,将所述查询索引信息与数据库中的索引信息进行匹配,获取索引信息对应的核心信息;
所述查询模块5用于根据查询索引和核心信息查找移动信息对应的文件位置,并根据文件位置找到对应的文件句柄;
所述信息获取模块6用于根据文件句柄获取移动信息,并对移动信息进行处理。
如图5所示,为本发明所述的一种移动信息文件分配调度系统,包括文件创建模块7、写入模块8、读取模块9、删除模块10和文件管理模块11;
所述文件创建模块7用于创建文件,并对文件进行初始化确定文件的打开大小,根据初始化的打开大小定义文件的最大容量;
所述写入模块8用于,当执行写入操作时,读取最后一个文件的可用大小,当没有满足最大文件要求时,在文件的后面进行追加,直至文件满足最大要求;当没有所需要的最大写入空间时,告知要求重新申请新的文件空间,用于写入新的数据;
所述读取模块9用于,当执行读取操作时,根据索引,找到core信息,从中获取address信息,通过address信息进一步获取打开的文件句柄,并找到对应的偏移量,读取头得知移动信息的总大小,并获取全部信息,返回给应用使用;
所述删除模块10用于,当执行删除操作时,根据索引,找到core信息,从中获取address信息,通过address信息进一步获取打开的文件句柄,并找到文件对应的分区信息,设置该文件标识为已经删除;
所述文件管理模块11用于定期扫描所有打开的文件句柄,当文件句柄内所有信息都已经删除后,关闭文件句柄,并删除整个文件,释放硬盘空间。
一种移动信息写入方法,包括以下步骤:
步骤A1:系统将收到的信息,解析信息中的属性,并将属性按照协议要求,逐个组成一组完整的byte数组;
步骤A2:系统为要存储的数据分配唯一的查询索引(SID),索引信息按照国际算法计算出来UUID;
步骤A3:系统在索引化文件中查找当前可以存储该信息的文件位置;
步骤A4:将移动信息中标示信息,如下行(submit)、下行响应(resp)、状态报告(rpt)、上行(deliver)等标识,优先级,文件存储地址信息,数据大小等信息存储到核心信息(core)字段中;
步骤A5:查找可以写入文件句柄,并将信息写入到文件中;
步骤A6:当文件写入成功后,将SID信息和core信息写入到NOSQL持久化存储(KC,在后面有技术背景中有介绍)中。
所述移动信息为来自于多家运营商的数据对象,包括移动、联通、电信的短信对象和彩信对象;所述移动信息为来自于下行创建、处理、发送、完成等四个状态下,进行的数据写入操作中。
所述系统为要存储的数据分配唯一的查询索引(SID):主要是来自于国际算法计算出来的UUID信息。该算法得出来的ID,能够保证每秒钟产生上亿的ID信息,保证了ID的唯一性,从而保证了数据不会重复,为系统唯一处理作基础。
所述索引化文件查找写入采用了三层存储架构,分别为唯一查询索引 (SID)、文件核心信息(core)、数据信息(data)三部分,通过这三层组合;
所述使用的NOSQL数据库持久化存储,采用KC作为存储介质。
一种移动信息读取方法,其特征在于,包括以下步骤:
步骤B1:系统将收到的信息SID,;
步骤B2:系统根据SID信息查找持久化存储中包含的核心信息数据;并查找对应的地址信息;
步骤B3:根据核心信息确定移动信息类型,如下行(submit)、下行响应(resp)、状态报告(rpt)、上行(deliver)等,优先级,文件存储地址信息;
步骤B4:系统在索引化文件中查找地址信息对应的文件位置,并根据文件位置找到对应的文件句柄;
步骤B5:查找读取数据的文件句柄,并读取移动信息数据;
步骤B6:根据移动信息类型,将信息写入对应的数据对象内,并返回到系统中,用于系统处理。
一种移动信息删除方法,其特征在于,包括以下步骤:
步骤C1:系统将收到的信息SID,;
步骤C2:系统根据SID信息查找持久化存储中包含的核心信息数据;并查找对应的地址信息;
步骤C3:根据核心信息确定移动信息类型,如下行(submit)、下行响应(resp)、状态报告(rpt)、上行(deliver)等,优先级,文件存储地址信息;
步骤C4:系统在索引化文件中查找地址信息对应的文件位置,并根据文件位置找到对应的文件句柄;
步骤C5:查找删除数据的文件句柄,并执行移动信息数据删除;
步骤C6:返回数据删除成功。
一种移动信息文件分配调度方法,包括以下步骤:
步骤D1:创建文件初始化大小,定义最大文件大小,根据初始化的打开大小;
步骤D2:当执行读取操作时,根据SID,找到core信息,从中获取address 信息,通过address信息进一步获取打开的文件句柄,并找到对应的偏移量,读取头得知移动信息的总大小,并获取全部信息,返回给应用使用;
步骤D3:当执行写入操作时,读取最后一个文件的可用大小,当没有满足最大文件要求时,在文件的后面进行追加,直至文件满足最大要求。当没有所需要的最大写入空间时,告知要求重新申请新的文件空间,用于写入新的数据;
步骤D4:当执行删除操作时,根据SID,找到core信息,从中获取address 信息,通过address信息进一步获取打开的文件句柄,并找到文件对应的分区信息,设置该文件标识为已经删除;
步骤D5:文件管理模块定期扫描所有打开的文件句柄,当文件句柄内所有信息都已经删除后,关闭文件句柄,并删除整个文件,释放硬盘空间。
以下以具体示例对本发明进行解释:
如图6、7所示,索引化文件是翼信通平台的一套数据持久化技术,该文件系统是整个平台的数据中心,存放着每一条所有的发送数据,整个文件系统由三部分组成:一、SID;二、core;三、data;
SID:由三部分组成,格式为是:时间+节点编号+自增值;
Core:存放该信息的核心信息,主要由flag(阶段信息);prior(优先级);address(data的地址)等信息组成;
Data:主要存放各种对象的具体数据,目前用到的对象有以下几种: submit、resp、report、deliver,每个对象都有自己的定义信息;
数据的主要存储在文件中,数据在文件中的位置,通过Address来描述。 Address用8个字节标识,包含4个部分:
1所在文件组序号part--partition,0,1,2,...
2所在文件序号fno--file No.,1,2,3,4,...
3在文件的位置offset--;
4数据的字节数size。
数据存储在多个文件中,这些文件先分组,组里是多个固定尺寸的文件
DataFile管理上述的一个文件,主要实现:
1控制多线程同时读写;
2维护文件含的记录数。
数据存储在多个文件中,这些文件先分组,组里是多个固定尺寸的文件。
FilesAsOnePart管理一个文件组,主要实现:
1管理多个DataFile;
2扫描文件,决定最大文件号。
文件分组管理,选择组的依据是Address的最后字节的最后的几个bit,由上层IndexedFiles指定;
将数据存放在文件中,同时给数据建索引,有过索引可快速定位数据。所有数据按byte[]存放。
索引含key和core(address):key可以自由定义,但尺寸越少越小; core部分必须预留出address的空间(8个字节);数据是data。
基本操作方法如下:
1add,如key已存在,不能存入;
2set,若key已存在,改写数据,同时返回老数据;
3get,读取数据,可同时删除;
4get,删除数据。
实施示例1,下行对象写入过程:
1.平台收到下行对象,并将对象转化为索引化文件认识的对象 Entity;
2.给Entity分配对应的SID信息;
3.根据Entity对象的类型submit、resp、report、deliver,填写对应的flag信息;
4.然后根据对象所处阶段,填写对应flag信息;
5.填写对应的优先级信息prior;
6.提交索引化文件准备写入信息;
7.查找FilesAsOnePart文件,找到可以写入的文件(DataFile);
8.在DataFile中查找文件是否可以读写,如果文件写满了,需要告知FilesAsOnePart重新分配文件DataFile;
9.找到文件的地址address信息,并写入文件;
10.返回address信息,并将信息写入core中;
11.将SID和core作为Key、Value信息写入到KC中;
12.返回写入成功信息。
实施示例2,下行对象读取过程:
1.平台收到下行对象的SID;
2.从KC中查找,并返回core信息,该信息中包含了flag、prior、 address;
3.根据core中的flag信息得知获取对象的类型submit、resp、 report、deliver;
4.根据flag信息创建要处理的对象Entity;
5.根据address信息在FilesAsOnePart中查找文件,找到读取的文件(DataFile);
6.在DataFile中查找文件地址address,读取数据的长度;
7.根据数据长度,返回对应的数据块
8.将返回的数据写入到Entity对象中
9.返回Entity对象给系统使用。
实施示例3,下行对象删除过程:
1.平台收到下行对象的SID;
2.从KC中查找,并返回core信息,该信息中包含了flag、prior、 address;
3.根据core中的flag信息得知获取对象的类型submit、resp、 report、deliver;
4.根据flag信息创建要处理的对象Entity;
5.根据address信息在FilesAsOnePart中查找文件,找到读取的文件(DataFile);
6.在DataFile中查找文件地址address,设置该数据删除,减少 DataFile的数据个数,当DataFile的数据个数为0时,通知FilesAsOnePart 将DataFile删除;
7.返回系统,数据删除成功。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种移动信息写入方法,其特征在于,包括以下步骤:
步骤a1:接收多个移动信息,将多个移动信息解析为一组完整数组;
其中所述步骤a1具体包括以下步骤:
步骤a11:接收移动信息,解析移动信息的属性;
步骤a12:根据属性按照协议对所有移动信息逐个进行解析,解析后的所有移动信息构成一个完整的数组;
步骤a2:为数组中所有移动信息分别分配唯一对应的查询索引,并将移动信息中的标示信息存入核心信息字段中,根据查询索引将数组中所有移动信息分别写入唯一的文件位置,完成数组写入文件,其中,
所述步骤a2具体包括以下步骤:
步骤a21:为数组中每个移动信息分配唯一的查询索引,其中查询索引的信息通过国际算法进行计算得出;
步骤a22:将数组中的移动信息中的标示信息、优先级和文件存储地址信息和数据大小信息存入核心信息字段中;
步骤a23:根据查询索引在文件中查找当前可以写入文件句柄,获取存储移动信息的文件位置;
步骤a24:将每个移动信息分别存入唯一对应的的文件位置;
步骤a3:写入成功后,将查询索引信息和核心信息字段写入数据库中。
2.根据权利要求1所述的一种移动信息写入方法,其特征在于,所述标示信息包括下行、下行响应、状态报告、上行标识。
3.一种移动信息写入系统,其特征在于,包括接收模块、写入模块和信息存储模块;
所述接收模块用于接收移动信息,解析移动信息的属性,根据属性按照协议对所有移动信息逐个进行解析,解析后的所有移动信息构成一个完整的数组;
所述写入模块用于为数组中每个移动信息分配唯一的查询索引,其中查询索引的信息通过国际算法进行计算得出;以及用于将数组中的移动信息中的标示信息、优先级和文件存储地址信息和数据大小信息存入核心信息字段中;以及用于根据查询索引在文件中查找当前可以写入文件句柄,获取存储移动信息的文件位置;以及用于将每个移动信息分别存入唯一对应的的文件位置;
所述信息存储模块用于写入成功后,将查询索引信息和核心信息字段写入数据库中。
4.一种移动信息读取方法,其特征在于,包括以下步骤:
步骤b1:接收查询索引,将所述查询索引信息与数据库中的索引信息进行匹配,获取索引信息对应的核心信息;
步骤b2:根据查询索引和核心信息查找移动信息对应的文件位置,并根据文件位置找到对应的文件句柄;
其中,所述步骤b2具体包括以下步骤:
步骤b21:根据核心信息确定标示信息、优先级和文件存储地址信息;
步骤b22:根据标示信息在文件中快速查找索引对应的文件句柄;步骤b3:根据文件句柄获取移动信息,并对移动信息进行处理,其中所述步骤b3具体包括以下步骤:
步骤b31:根据文件句柄获取移动信息;
步骤b32:判断是否对移动信息执行删除操作,如果是,执行步骤b33;否则,执行步骤b34;
步骤b33:查找并执行删除数据的文件句柄,实现移动信息删除,返回数据删除成功,结束;
步骤b34:读取移动信息,根据移动信息类型,将移动信息写入对应的数据对象内,结束。
5.一种移动信息读取系统,其特征在于,包括索引模块、查询模块和信息获取模块;
所述索引模块用于接收查询索引,将所述查询索引信息与数据库中的索引信息进行匹配,获取索引信息对应的核心信息;
所述查询模块用于根据核心信息确定标示信息、优先级和文件存储地址信息,以及还用于根据标示信息在文件中快速查找索引对应的文件句柄;
所述信息获取模块用于根据文件句柄获取移动信息;以及用于判断是否对移动信息执行删除操作,如果是,查找并执行删除数据的文件句柄,实现移动信息删除,返回数据删除成功,结束;否则,读取移动信息,根据移动信息类型,将移动信息写入对应的数据对象内,结束。
6.一种移动信息文件分配调度系统,其特征在于,包括文件创建模块、写入模块、读取模块、删除模块和文件管理模块;
所述文件创建模块用于创建文件,并对文件进行初始化确定文件的打开大小,根据初始化的打开大小定义文件的最大容量;
所述写入模块用于当执行写入操作时,读取最后一个文件的可用大小,当没有满足最大文件要求时,在文件的后面进行追加,直至文件满足最大要求;当没有所需要的最大写入空间时,告知要求重新申请新的文件空间,用于写入新的数据;
所述读取模块用于当执行读取操作时,根据索引找到核心信息,从中获取地址信息,通过地址信息进一步获取打开的文件句柄,并找到对应的偏移量,读取头得知移动信息的总大小,并获取全部信息,返回给应用使用;
所述删除模块用于当执行删除操作时,根据索引找到核心信息,从中获取地址信息,通过地址信息进一步获取打开的文件句柄,并找到文件对应的分区信息,设置该文件标识为已经删除;
所述文件管理模块用于定期扫描所有打开的文件句柄,当文件句柄内所有信息都已经删除后,关闭文件句柄,并删除整个文件,释放硬盘空间。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510463312.0A CN105138581B (zh) | 2015-07-31 | 2015-07-31 | 一种移动信息写入和读取方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510463312.0A CN105138581B (zh) | 2015-07-31 | 2015-07-31 | 一种移动信息写入和读取方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105138581A CN105138581A (zh) | 2015-12-09 |
CN105138581B true CN105138581B (zh) | 2018-08-21 |
Family
ID=54723930
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510463312.0A Active CN105138581B (zh) | 2015-07-31 | 2015-07-31 | 一种移动信息写入和读取方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105138581B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106681859B (zh) * | 2016-11-25 | 2021-01-22 | 青岛海信移动通信技术股份有限公司 | 一种短信息的还原方法和装置 |
CN107342944B (zh) * | 2017-06-15 | 2019-09-17 | 烽火通信科技股份有限公司 | 一种id标识分配与持久化方法及系统 |
CN111400258B (zh) * | 2020-03-20 | 2023-07-14 | 深圳市凯沃尔电子有限公司 | 一种数据文件存储方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101908073A (zh) * | 2010-08-13 | 2010-12-08 | 清华大学 | 一种文件系统中实时删除重复数据的方法 |
CN102103611A (zh) * | 2009-12-21 | 2011-06-22 | 北大方正集团有限公司 | 一种信息存储、或读取的方法及装置 |
CN103064843A (zh) * | 2011-10-20 | 2013-04-24 | 北京中搜网络技术股份有限公司 | 数据处理装置和数据处理方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8280926B2 (en) * | 2003-08-05 | 2012-10-02 | Sepaton, Inc. | Scalable de-duplication mechanism |
-
2015
- 2015-07-31 CN CN201510463312.0A patent/CN105138581B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102103611A (zh) * | 2009-12-21 | 2011-06-22 | 北大方正集团有限公司 | 一种信息存储、或读取的方法及装置 |
CN101908073A (zh) * | 2010-08-13 | 2010-12-08 | 清华大学 | 一种文件系统中实时删除重复数据的方法 |
CN103064843A (zh) * | 2011-10-20 | 2013-04-24 | 北京中搜网络技术股份有限公司 | 数据处理装置和数据处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105138581A (zh) | 2015-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105897946B (zh) | 一种访问地址的获取方法及系统 | |
CN102638584B (zh) | 数据分布缓存方法及系统 | |
CN100586112C (zh) | 即时通讯中建立联系人列表、管理联系人信息的方法 | |
CN104539681B (zh) | 分布式gis加速系统和gis服务的处理方法 | |
CN103020078B (zh) | 分布式实时数据库数据层次索引方法 | |
US20120296866A1 (en) | System and method for implementing on demand cloud database | |
CN111460023A (zh) | 基于Elasticsearch的业务数据处理方法、装置、设备及存储介质 | |
CN102971732A (zh) | 键/值存储器的集成分级查询处理的系统结构 | |
CN102663007B (zh) | 一种支持敏捷开发和横向扩展的数据存储与查询方法 | |
CN102033912A (zh) | 一种分布式数据库访问方法及系统 | |
EP0957616A3 (en) | A protocol for exchanging configuration data in a computer network | |
CN103312624A (zh) | 一种消息队列服务系统和方法 | |
US10158709B1 (en) | Identifying data store requests for asynchronous processing | |
CN112765117B (zh) | 基于微服务架构的工业互联网标识解析系统 | |
CN109344122A (zh) | 一种基于文件预创策略的分布式元数据管理方法及系统 | |
CN105138581B (zh) | 一种移动信息写入和读取方法及系统 | |
US8015195B2 (en) | Modifying entry names in directory server | |
CN102420814A (zh) | 一种数据访问方法、装置及服务器 | |
CN101329686A (zh) | 一种实现网络查询缓存的系统和查询方法 | |
CN105930345A (zh) | 基于分布式实时数据库的层次索引方法 | |
CN102891768A (zh) | 网络管理的方法和网元 | |
CN106453576A (zh) | 一种基于混合云平台的交互方法、系统及调度中心 | |
US6230165B1 (en) | Method for encoding and transporting database objects over bandwidth constrained networks | |
CN103336782A (zh) | 一种关系型分布式数据库系统 | |
CN101344882B (zh) | 数据查询方法、插入方法及删除方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address |
Address after: 334000 room 139, building 2, cultural and creative center, Chasheng East Road, Shangrao High Speed Railway Economic Experimental Zone, Jiangxi Province Patentee after: Jiangxi Tianli Technology Co.,Ltd. Address before: 100144 9th floor, building 6, yard 30, Shixing street, Shijingshan District, Beijing Patentee before: BEIJING WIRELESS TIANLI MOBILE INFORMATION TECHNOLOGY Co.,Ltd. |
|
CP03 | Change of name, title or address |