CN101086709A - 通信设备快速加载海量数据的方法 - Google Patents
通信设备快速加载海量数据的方法 Download PDFInfo
- Publication number
- CN101086709A CN101086709A CN 200710137603 CN200710137603A CN101086709A CN 101086709 A CN101086709 A CN 101086709A CN 200710137603 CN200710137603 CN 200710137603 CN 200710137603 A CN200710137603 A CN 200710137603A CN 101086709 A CN101086709 A CN 101086709A
- Authority
- CN
- China
- Prior art keywords
- data
- data file
- veneer
- single board
- storage medium
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种通信设备快速加载海量数据的方法，所述方法包括以下步骤：(1)在单板启动前，将数据库中的数据备份至数据文件中，并将数据文件保存至存储介质中；(2)单板启动时，将存储介质上的数据文件中的数据加载至单板内存中。本发明所述方法实现了通信设备启动时海量数据的快速加载。
Description
技术领域
本发明涉及通信领域，更具体地涉及一种通信设备快速加载海量数据的方法。
背景技术
通信设备一般由多种单板组成，不同的单板完成不同的功能。同时，通信设备一般使用数据库系统存储相关的数据。通信设备本身的实时性要求将数据库中数据加载到单板内存中，实现数据的快速检索。
现有的数据加载方法是：将数据从数据库中检索出来，然后将数据通过网络数据包发到单板。当所有单板并发向数据库请求加载数据时，从数据库中检索数据的过程非常耗时，在多个通信设备级联时这种情况更加严重。
当通信设备升级或者在运行过程中一旦出现故障发生宕机时，如果不能快速启动，有可能长时间出现业务全部中断的灾难性事故。
在海量数据的情况下，通信设备如何快速加载数据，实现系统的快速启动，从而减少升级或者故障中断时间，降低风险是运营商和设备提供商非常关心的问题。
发明内容
本发明所要解决的技术问题在于提供一种通信设备快速加载海量数据的方法，实现了通信设备启动时海量数据的快速加载。
为解决上述问题，本发明提供了一种通信设备快速加载海量数据的方法，其特征在于，包括以下步骤：
(1)在单板启动前，将数据库中的数据备份至数据文件中，并将数据文件保存至存储介质中；
(2)单板启动时，将存储介质上的数据文件中的数据加载至单板内存中。
本发明所述的通信设备快速加载海量数据的方法，其中，步骤(2)进一步包括：
(21)单板启动时，在单板内存中开辟一块动态存储空间作为数据缓冲区；并在所述存储介质和单板间建立链接；
(22)定位并打开数据文件，将所述存储介质上的数据文件中的数据读取至所述数据缓冲区，读取至数据缓冲区的数据容量不超过所述数据缓冲区的容量；
(23)将所述数据缓冲区中的数据解析并插入到单板的内存表中；
(24)判断所述数据文件中的数据是否完全加载至单板内存中；如果否，转至步骤(22)；否则转至步骤(25)；
(25)判断是否所有数据文件中的数据加载完成；如果否，转至步骤(22)；否则，关闭单板与所述存储介质间的链接，释放所述数据缓冲区。
本发明所述的通信设备快速加载海量数据的方法，其中，单板启动时，单板与所述存储介质建立FTP链接，并通过FTP方式定位并打开数据文件。
本发明所述的通信设备快速加载海量数据的方法，其中，多个单板同时与所述存储介质建立FTP链接。
本发明所述的通信设备快速加载海量数据的方法，其中，多个单板定位并打开一个数据文件。
本发明所述的通信设备快速加载海量数据的方法，其中，在步骤(2)中，将发生变化的数据记录在数据库中的同步变化表中，将所述同步变化表传送至单板内存。
本发明所述的通信设备快速加载海量数据的方法，其中，在步骤(1)中，所述单板为多个，在存储介质中为每个单板建立一个目录，将需要加载至单板的数据文件备份到对应的目录下；建立公共目录，将公共的数据文件存放到该公共目录中。
本发明所述的通信设备快速加载海量数据的方法，其中，在步骤(1)中，将数据库中的数据以数据库关系表的形式，按照描述信息与数据相对应的分布关系，备份到数据文件中。
本发明所述的通信设备快速加载海量数据的方法，其中，步骤(2)进一步包括：在系统升级之前，执行数据备份操作，将数据库的记录导出到数据文件中。
本发明所述的通信设备快速加载海量数据的方法，其中，步骤(2)进一步包括：系统运行中发生宕机时，在系统启动恢复后，实时检查同步变化表，将发生变化的记录实时同步到单板内存中。
采用本发明所述方法，与现有技术相比，实现了通信设备启动时海量数据的快速加载。
附图说明
图1是本发明实施例所述方法采用的系统的结构图；
图2是本发明所述方法一种具体实施操作流程图；
图3是本发明所述方法另一种具体实施操作流程图。
具体实施方式
本发明为了解决传统技术方案存在的弊端，通过以下实施例进一步阐述本发明所述的一种通信设备快速加载海量数据的方法，以下对具体实施方式进行详细描述，但不作为对本发明的限定。
本发明实施例所述方法基于图1所示的系统而实现。如图1所示，所述系统包括数据库、存储介质、数据备份模块、数据同步模块和单板，所述单板包括数据加载模块，数据加载模块包括数据加载控制单元和数据插入单元，其中：
数据备份模块，用于将数据库中的数据备份至数据文件中；
数据同步模块，用于记录数据库中数据的变化，并将数据的变化实时写入数据库同步变化表中；
数据加载控制单元，用于在内存中开辟一块动态存储空间用作数据缓冲区，同时与存放数据文件的设备建立一条FTP(文件传输协议)链接；并通过FTP方式定位并打开数据文件，将文件的数据直接读取到单板开辟的数据缓冲区中，每次读取的数据可以设定，并且不超过数据缓冲区容量；
数据插入单元，用于将数据缓冲区的数据进行解析并插入到内存表中。
如图2所示，本发明所述方法一种具体实施操作流程图。本发明所述方法一种具体实施包括以下步骤：
步骤21，在单板启动前，将数据库中的数据备份至数据文件中，并将数据文件保存至存储介质中；
步骤22，单板启动时，将存储介质上的数据文件中的数据加载至单板内存中。
如图3所示，本发明所述方法另一种具体实施操作流程图。本发明所述方法另一种具体实施包括以下步骤：
步骤31，在单板启动前，将数据库中的数据备份至数据文件中，并将数据文件保存至存储介质中；
所述单板可以为多个，在存储介质中为每个单板建立一个目录，将需要加载至单板的数据文件备份到对应的目录下；建立公共目录，将公共的数据文件存放到该公共目录中。目录可以按照“前缀+单板顺序号”的方式命名。这样对于需要加载到不同单板的数据，只需要到存储介质中各个单板对应的目录下的文件中读取。对于公共数据表，只需到公共目录下读取。
将数据库中的数据以数据库关系表的形式，按照描述信息与数据相对应的分布关系，备份到数据文件中。即，所述数据文件中的数据记录具有一定的格式，如下所示：前面三行是字段的描述信息，从第四行开始是每一条记录。
字段1名分隔符字段2名分隔符......字段n名
字段1类型分隔符字段2类型分隔符......字段n类型
字段1长度分隔符字段2长度分隔符......字段n长度
字段1值分隔符字段2值分隔符......字段n值
字段1值分隔符字段2值分隔符......字段n值
.......
数据备份模块在备份需要加载至某单板的数据时，根据所述分布关系，生成需要加载至该单板的数据文件，并将相应的数据文件存放到对应的目录中。由此可以实现大量数据的分流，减少了网络流量，同时在加载数据时，不必再作检索操作，可以直接读取数据，缩短了加载时间。
步骤32，单板启动时，在单板内存中开辟一块动态存储空间作为数据缓冲区；并在所述存储介质和单板间建立FTP链接；
FTP是基于TCP的成熟可靠的大宗数据传输方式，可以控制FTP链接的数目，保证单板一批一批启动，防止拥塞，而且可以为每个FTP链接限制流量。
步骤33，通过FTP方式定位并打开数据文件，将所述存储介质上的数据文件中的数据读取至所述数据缓冲区，读取至数据缓冲区的数据容量不超过所述数据缓冲区的容量；
所述单板可以为多个，多个单板同时与所述存储介质建立FTP链接，互不干扰，多个单板可以定位并打开一个数据文件，从而读取同一个数据文件。
通过FTP方式每次单板可以快速读取大宗数据到内存中。并且单板在并发加载数据时，相互之间并不干扰，可靠性非常高。
步骤34，将所述数据缓冲区中的数据解析并插入到单板的内存表中；
步骤35，判断所述数据文件中的数据是否完全加载至单板内存中；如果否，转至步骤33；否则转至步骤36；
步骤36，判断是否所有数据文件中的数据加载完成；如果否，转至步骤33；否则，关闭单板与所述存储介质间的链接，释放所述数据缓冲区。
由于配置数据等原因，数据库中的数据会不断更新，数据同步模块将发生变化的数据记录在数据库中的同步变化表中，将所述同步变化表传送至单板内存。如果是系统升级，则在系统升级之前，执行数据备份操作，将数据库的数据导出到数据文件中；如果系统运行中发生宕机，数据文件来不及更新，则在系统启动恢复之后，由数据同步模块实时检查同步变化表，将发生变化的数据实时同步到单板内存中，实现单板内存与数据库数据的一致性。
当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (10)
1、一种通信设备快速加载海量数据的方法，其特征在于，包括以下步骤：
(1)在单板启动前，将数据库中的数据备份至数据文件中，并将数据文件保存至存储介质中；
(2)单板启动时，将存储介质上的数据文件中的数据加载至单板内存中。
2、根据权利要求1所述的方法，其特征在于，步骤(2)进一步包括：
(21)单板启动时，在单板内存中开辟一块动态存储空间作为数据缓冲区；并在所述存储介质和单板间建立链接；
(22)定位并打开数据文件，将所述存储介质上的数据文件中的数据读取至所述数据缓冲区，读取至数据缓冲区的数据容量不超过所述数据缓冲区的容量；
(23)将所述数据缓冲区中的数据解析并插入到单板的内存表中；
(24)判断所述数据文件中的数据是否完全加载至单板内存中；如果否，转至步骤(22)；否则转至步骤(25)；
(25)判断是否所有数据文件中的数据加载完成；如果否，转至步骤(22)；否则，关闭单板与所述存储介质间的链接，释放所述数据缓冲区。
3、根据权利要求1或2所述的方法，其特征在于，单板启动时，单板与所述存储介质建立FTP链接，并通过FTP方式定位并打开数据文件。
4、根据权利要求3所述的方法，其特征在于，多个单板同时与所述存储介质建立FTP链接。
5、根据权利要求4所述的方法，其特征在于，多个单板定位并打开一个数据文件。
6、根据权利要求1所述的方法，其特征在于，在步骤(2)中，将发生变化的数据记录在数据库中的同步变化表中，将所述同步变化表传送至单板内存。
7、根据权利要求1所述的方法，其特征在于，在步骤(1)中，所述单板为多个，在存储介质中为每个单板建立一个目录，将需要加载至单板的数据文件备份到对应的目录下；建立公共目录，将公共的数据文件存放到该公共目录中。
8、根据权利要求1所述的方法，其特征在于，在步骤(1)中，将数据库中的数据以数据库关系表的形式，按照描述信息与数据相对应的分布关系，备份到数据文件中。
9、根据权利要求6所述的方法，其特征在于，步骤(2)进一步包括：在系统升级之前，执行数据备份操作，将数据库的记录导出到数据文件中。
10、根据权利要求6所述的方法，其特征在于，步骤(2)进一步包括：系统运行中发生宕机时，在系统启动恢复后，实时检查同步变化表，将发生变化的记录实时同步到单板内存中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2007101376036A CN100535859C (zh) | 2007-07-19 | 2007-07-19 | 通信设备快速加载海量数据的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2007101376036A CN100535859C (zh) | 2007-07-19 | 2007-07-19 | 通信设备快速加载海量数据的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101086709A true CN101086709A (zh) | 2007-12-12 |
| CN100535859C CN100535859C (zh) | 2009-09-02 |
Family
ID=38937679
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2007101376036A Expired - Fee Related CN100535859C (zh) | 2007-07-19 | 2007-07-19 | 通信设备快速加载海量数据的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN100535859C (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101251861B (zh) * | 2008-03-18 | 2010-04-21 | 北京锐安科技有限公司 | 一种海量数据加载和查询的方法 |
| CN101634968B (zh) * | 2008-01-17 | 2011-12-14 | 四川格瑞特科技有限公司 | 一种用于备份系统的海量数据高速缓存器的构造方法 |
| CN108536839A (zh) * | 2018-04-13 | 2018-09-14 | 郑州云海信息技术有限公司 | 数据库数据导出方法、装置、设备及计算机可读存储介质 |
| CN110603798A (zh) * | 2017-02-21 | 2019-12-20 | 华为技术有限公司 | 多个单板中的弹性一致性高可用性 |
-
2007
- 2007-07-19 CN CNB2007101376036A patent/CN100535859C/zh not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101634968B (zh) * | 2008-01-17 | 2011-12-14 | 四川格瑞特科技有限公司 | 一种用于备份系统的海量数据高速缓存器的构造方法 |
| CN101251861B (zh) * | 2008-03-18 | 2010-04-21 | 北京锐安科技有限公司 | 一种海量数据加载和查询的方法 |
| CN110603798A (zh) * | 2017-02-21 | 2019-12-20 | 华为技术有限公司 | 多个单板中的弹性一致性高可用性 |
| CN110603798B (zh) * | 2017-02-21 | 2021-02-12 | 华为技术有限公司 | 一种提供具有高可用性的弹性一致性平台的系统和方法 |
| US11042430B2 (en) | 2017-02-21 | 2021-06-22 | Futurewei Technologies, Inc. | Elastic consistency high availability in multiple boards |
| CN108536839A (zh) * | 2018-04-13 | 2018-09-14 | 郑州云海信息技术有限公司 | 数据库数据导出方法、装置、设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN100535859C (zh) | 2009-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101198009B (zh) | 一种会议电视终端的升级方法 | |
| CN102955720B (zh) | 一种提高ext文件系统稳定性的方法 | |
| CN111880751B (zh) | 一种硬盘迁移方法、分布式存储集群系统和存储介质 | |
| CN100535859C (zh) | 通信设备快速加载海量数据的方法 | |
| CN104951474A (zh) | 一种用于获取MySQL binlog增量日志的方法和装置 | |
| CN111400312B (zh) | 一种基于改进lsm树的边缘存储数据库 | |
| CN103607462A (zh) | 一种集群nas部署系统及其部署方法 | |
| US6748552B2 (en) | Stored program controlled switching system | |
| CN102223410A (zh) | 信息智能终端搜索方法及终端 | |
| CN104778222A (zh) | 基于usb存储设备的媒体库建立及更新方法 | |
| CN101136690A (zh) | 一种操作维护中心与基站配置数据同步的系统和方法 | |
| CN102609479A (zh) | 一种内存数据库节点复制方法 | |
| CN103823807A (zh) | 一种去除重复数据的方法、装置及系统 | |
| CN101320392B (zh) | 内存数据库的大容量数据存取方法及装置 | |
| CN106708960A (zh) | 一种nas设备文件系统的修复方法及nas设备 | |
| CN114116611A (zh) | 一种文件扫描方法及相关装置 | |
| CN101304454B (zh) | 一种查看短信历史记录的方法 | |
| CN102075670B (zh) | 一种播出机的日志记录方法和装置 | |
| CN104636218B (zh) | 数据恢复方法及装置 | |
| CN110866068B (zh) | 一种基于hdfs的公告数据存储方法及其装置 | |
| CN102820982B (zh) | 数据传输方法和装置 | |
| CN107229554A (zh) | 移动终端稳定性测试方法及装置 | |
| CN101980195B (zh) | 一种基于移动通信终端的数据库索引修复方法及装置 | |
| CN101201766A (zh) | 设备信息修复系统及方法 | |
| CN102346757A (zh) | Ims数据库联机交易中数据影印方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090902 Termination date: 20190719 |