CN101183382A - 一种航天测试系统专用的实时海量的存储设备 - Google Patents
一种航天测试系统专用的实时海量的存储设备 Download PDFInfo
- Publication number
- CN101183382A CN101183382A CNA2007101795326A CN200710179532A CN101183382A CN 101183382 A CN101183382 A CN 101183382A CN A2007101795326 A CNA2007101795326 A CN A2007101795326A CN 200710179532 A CN200710179532 A CN 200710179532A CN 101183382 A CN101183382 A CN 101183382A
- Authority
- CN
- China
- Prior art keywords
- data
- real
- time
- data base
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明目的是提供一种航天测试系统专用的实时海量的存储设备。本发明由服务器上的商用数据库和实时数据库组成，采用了商用数据库和实时数据库融和一体的方案，以商用服务器作为运行平台，服务器上安装大型商用数据库，构成了可存储海量数据的存储设备，使设备具备了海量数据存储管理的功能；又开发了能和商用数据库有机结合的小型实时数据库，使设备具备了高速实时存储的能力，二者结合，实现了高速、海量存储的要求，可以实时存储长时间、高速度测试产生的海量数据，可以达到大于2Mbyte/s的存储带宽，连续存储时间大于30天，并可对数据管理，提供对数据查询、分析功能。
Description
技术领域
本发明属于监控测试领域，涉及一种存储设备，具体涉及一种航天测试系统专用的实时海量的存储设备。
背景技术
在航天器测试过程中，往往需要长时间高速测试，有时可以连续非循环测试30天以上，产生数据量大于2Mbyte/s。为了实验后详细分析测试结果，需要完整的保存所有的测试数据。为了实现这个存储要求，需要存储设备，既能够完整存储实时数据，又需要可靠地保存历史数据的存储设备，此设备还要支持数据的查询和分析。
过去的测试仪器，不能够自动存储测试数据，完全依靠人工读数、手工记录，不但记录数据量小、时间不准确，而且可靠性还很低。
随着虚拟仪器的出现，这种情况有所改观。虚拟仪器本身自带操作系统，一些公司产品中更安装了小型实时数据库，每次测试完毕，把实时数据库数导出，这样，可以部分的解决测试数据存储问题。但是，由于虚拟仪器自身性能有限，不能存储过多的数据，对于航天器测试连续产生的TB级数据量，更是难以应对。所以，过去实验人员常用的两种办法，第一种，把连续实验分成若干阶段，阶段中间停止测试，导出数据，这样实际达不到连续测试的目的，一些累积性问题难以出现。第二种，把测试数据采集频率降低，从而减少数据产生数量，这样，会遗漏了很多偶发性故障点，给航天器留下了故障隐患。
发明内容
本发明目的是提供一种航天测试系统专用的实时海量的存储设备。本发明以Intel X86架构高端PC作为运行平台服务器，构成了存储设备的物理装置，采用了商用数据库和实时数据库融和一体的方案，服务器上安装大型商用数据库，构成了可存储海量数据的存储设备，使设备具备了海量数据存储管理的功能；又开发了能和商用数据库有机结合的小型实时数据库，使设备具备了高速实时存储的能力，二者结合，实现了高速、海量存储的要求，可以实时存储由长时间、高速度测试产生的海量数据。
一种航天测试系统专用的实时海量的存储设备，包括建立在服务器上的商用数据库和实时数据库，实时数据库安装在平台服务器的内存中，并提供给商用数据库进行数据下载。
所述实时数据库包括网络通讯模块、数据分配模块、实时库管理模块、数据查询模块、数据导出模块和时钟触发模块；网络通讯模块与外部设备通讯，接收测试数据；数据分配模块将接收的测试数据按信号的名称归类；实时库管理模块对实时数据库中的数据进行管理；数据查询模块提供使用者对实时库内数据提出查询请求；数据导出模块将实时库中的数据，导出到商用数据库中；时钟触发模块提供运行触发时钟。
所述数据导出模块根据商用数据库当前的负载情况，向商用数据库提出导入请求，获得许可后，根据商用数据库表结构，将实时数据库数据写入商用数据库。
所述数据查询模块对查询者的查询请求分析，根据分析结果，找到实时库内相应的数据返回给查询者，如果是已导出的旧数据，会提示查询者数据已经在商用数据库中。
所述服务器中采用两块SCSI接口硬盘，且做RAID1镜像控制，并加装两块独立1000Mbps速率以太网卡，设置固定IP地址。
本发明一种航天测试系统专用的实时海量的存储设备的优点在于：
(1)本发明中采用了能和商用数据库有机结合的小型实时数据库，使设备具备了高速实时存储的能力，与可存储和管理TB级海量数据大型商用数据库结合，实现了高速、海量存储的要求。
(2)本发明中的数据导出模块根据商用数据库当前的负载情况，向商用数据库提出导入请求，保证了实时数据库和商用数据库之间的有效协调工作。
(3)本发明中的数据查询模块可以有效判断数据在实时数据库和商用数据库之间的归属，保证了数据的有效、正确的传输和存储。
附图说明
图1是本发明一种航天测试系统专用的实时海量的存储设备的模块结构图；
图2是本发明一种航天测试系统专用的实时海量的存储设备的实时数据库状态监视画面。
图中：1.实时数据库 101.网络通讯模块 102.数据分配模块
103.实时库管理模块 104.数据查询模块 105.数据导出模块
106.时钟触发模块 2.商用数据库
具体实施方式
本发明提供了一种航天测试系统专用的实时海量的存储设备，满足存储航天器测试过程中长时、连续、高速产生的测试数据的需要。本测试设备可以达到大于2Mbyte/s的存储带宽，连续存储时间大于30天，并可对数据管理，提供对数据查询、分析功能。
本发明由服务器上的商用数据库和实时数据库组成。服务器选用通用企业平台服务器作为存储设备的物理运行平台，里面安装大型商用数据库和自主研发的实时数据库。
本实施例中，商用数据库选用MS SQLServer2000数据库软件，可存储和管理TB级海量数据。平台服务器采用Intel X86架构高端PC作为基本装置，加装两块高速SCSI接口硬盘作为存储设备的数据物理存储介质，保证读写存储介质的的速度。加装RAID控制卡，对两块SCSI接口硬盘做RAID1镜像控制，保证数据高速读取过程中的安全性。加装两块独立1000Mbps速率以太网卡，设置固定IP地址，分别作为存储设备数据输入端口与数据输出端口，保证了高速进出存储设备的数据包，不会因为占用相同通讯物理介质而产生碰撞。
如图1所示，服务器上安装了自主开发的实时数据库1和商用数据库2，实时数据库1自主研发，由网络通讯模块101、数据分配模块102、实时库管理模块103、数据查询模块104、数据导出模块105和时钟触发模块106组成。网络通讯模块101与外部设备通讯，接收测试数据；数据分配模块102将接收的测试数据按信号的名称归类；实时库管理模块103对实时数据库中的数据进行管理；数据查询模块104提供使用者对实时库内数据，提出的查询请求；数据导出模块105将实时库中的数据，导出到商用数据库2中；时钟触发模块106提供运行触发时钟；
网络通讯模块101以TCP/IP协议与外部设备通讯，接收测试数据传给数据分配模块102；并由数据分配模块102将接收的测试数据解包TCP/IP数据包中的测试数据后按信号的种类、名称分类，然后分别存储于服务器内存不同位置；实时库管理模块103将归类的测试数据标注、统计，并调整、计算实时库有效空间，删除已导出的旧数据，计算剩余空间；数据查询模块104定时提供使用者对实时库内数据的查询请求，分析查询请求，根据分析结果，找到实时库内相应的数据返回给查询者，如果是已导出的旧数据，会提示查询者数据已经在商用数据库2中；数据导出模块105根据商用数据库2当前的负载情况，向商用数据库2提出导入请求，获得许可后，根据商用数据库2的表结构，将实时数据库1中的数据，定时地写入商用数据库2中；时钟触发模块106分别对实时库管理模块103、数据导出模块105、数据查询模块104进行时钟控制，提供准确的定时时钟触发信号，使三个模块定时执行相应的工作，防止数据积累和服务器的过度负载。
数据查询模块104接受实时库管理模块103发来的数据查询请求，数据请求以固定格式“信号名称+时标”表示，数据查询模块104在实时数据库内将数据查询指针定位在此“信号名称”的位置，计算当前实时数据库内此信号最大时标与最小时标，得知此次数据查询请求是否在当前时刻实时数据库中，如果在，即当前时刻在最大时标和最小时标之间，则将查到的数值，通过数据导出模块105输出，反之数据导出模块105输出数据未找到信号，并对商用数据库MS SQLServer2000进行查询。数据查询模块104的数据查询操作，需要在时钟触发模块106周期触发信号指示下进行。
数据导出模块105在收到时钟触发模块106的时钟触发信号后，尾随在数据查询模块104执行后执行，依据实时数据库中信号名称，按照时标的不同，采用标准SQL指令，将数据顺序存储到以RAID卡控制的、镜像高速硬盘上的商用数据库MSSQLServer2000中，然后调整实时数据库中循环队列的数据结构的指针位置。
如图2所示，消息窗口显示了网络通讯模块101连接状态和运行状态。IP地址及端口号显示了数据分配模块102解数据包后得出的数据来源信息。所属任务是数据分配模块102将数据根据数据类型和数据名称不同，分成的类别。数据包数，显示了数据分配模块102写入实时库与数据导出模块105导出实时库数值之差，经实时库管理模块103统计计算后，得出的当前实时库中，各不同类型数据的有效数据量。
Claims (5)
1.一种航天测试系统专用的实时海量的存储设备，包括建立在服务器上的商用数据库，其特征在于：还包括实时数据库，实时数据库安装在服务器的内存中，并提供给商用数据库进行数据下载。
2.根据权利要求1所述的一种航天测试系统专用的实时海量的存储设备，其特征在于，实时数据库包括网络通讯模块、数据分配模块、实时库管理模块、数据查询模块、数据导出模块和时钟触发模块；网络通讯模块与外部设备通讯，接收测试数据；数据分配模块将接收的测试数据按信号的名称归类；实时库管理模块对实时数据库中的数据进行管理；数据查询模块提供使用者对实时库内数据提出查询请求；数据导出模块将实时库中的数据，导出到商用数据库中；时钟触发模块提供运行触发时钟。
3.根据权利要求2所述的一种航天测试系统专用的实时海量的存储设备，其特征在于：所述数据导出模块根据商用数据库当前的负载情况，向商用数据库提出导入请求，获得许可后，根据商用数据库表结构，将实时数据库数据写入商用数据库。
4.根据权利要求2所述的一种航天测试系统专用的实时海量的存储设备，其特征在于：所述数据查询模块对查询者的查询请求分析，根据分析结果，找到实时库内相应的数据返回给查询者，如果是已导出的旧数据，会提示查询者数据已经在商用数据库中。
5.根据权利要求1所述的一种航天测试系统专用的实时海量的存储设备，其特征在于：所述服务器中采用两块SCSI接口硬盘，且做RAID1镜像控制，并加装两块独立1000Mbps速率以太网卡，设置固定IP地址。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNA2007101795326A CN101183382A (zh) | 2007-12-14 | 2007-12-14 | 一种航天测试系统专用的实时海量的存储设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNA2007101795326A CN101183382A (zh) | 2007-12-14 | 2007-12-14 | 一种航天测试系统专用的实时海量的存储设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101183382A true CN101183382A (zh) | 2008-05-21 |
Family
ID=39448658
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNA2007101795326A Pending CN101183382A (zh) | 2007-12-14 | 2007-12-14 | 一种航天测试系统专用的实时海量的存储设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101183382A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102073706A (zh) * | 2010-12-30 | 2011-05-25 | 北京锐安科技有限公司 | 分布式文件存储系统和关系数据库的结合应用方法 |
| CN104657462A (zh) * | 2015-02-10 | 2015-05-27 | 北京宇航系统工程研究所 | 一种海量测量数据准实时入库方法 |
| CN108111557A (zh) * | 2016-11-24 | 2018-06-01 | 杭州海康威视数字技术股份有限公司 | 一种获取云存储系统中数据的方法及装置 |
| CN108280129A (zh) * | 2017-12-20 | 2018-07-13 | 中国原子能科学研究院 | 反应堆计算机监控系统历史数据库专用调阅系统 |
| CN109579220A (zh) * | 2018-10-15 | 2019-04-05 | 平安科技（深圳）有限公司 | 空调系统故障检测方法、装置、电子设备 |
-
2007
- 2007-12-14 CN CNA2007101795326A patent/CN101183382A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102073706A (zh) * | 2010-12-30 | 2011-05-25 | 北京锐安科技有限公司 | 分布式文件存储系统和关系数据库的结合应用方法 |
| CN102073706B (zh) * | 2010-12-30 | 2013-02-13 | 北京锐安科技有限公司 | 分布式文件存储系统和关系数据库的结合应用方法 |
| CN104657462A (zh) * | 2015-02-10 | 2015-05-27 | 北京宇航系统工程研究所 | 一种海量测量数据准实时入库方法 |
| CN104657462B (zh) * | 2015-02-10 | 2017-12-22 | 北京宇航系统工程研究所 | 一种海量测量数据准实时入库方法 |
| CN108111557A (zh) * | 2016-11-24 | 2018-06-01 | 杭州海康威视数字技术股份有限公司 | 一种获取云存储系统中数据的方法及装置 |
| CN108280129A (zh) * | 2017-12-20 | 2018-07-13 | 中国原子能科学研究院 | 反应堆计算机监控系统历史数据库专用调阅系统 |
| CN109579220A (zh) * | 2018-10-15 | 2019-04-05 | 平安科技（深圳）有限公司 | 空调系统故障检测方法、装置、电子设备 |
| CN109579220B (zh) * | 2018-10-15 | 2022-04-12 | 平安科技（深圳）有限公司 | 空调系统故障检测方法、装置、电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101044513B (zh) | 对多格式时基文件记录及回放的时间线随机访问 | |
| CN105069048A (zh) | 一种小文件存储方法、查询方法和装置 | |
| CN106874320A (zh) | 分布式流式数据处理的方法和装置 | |
| CN108563711A (zh) | 一种基于时间节点的时序数据存储方法 | |
| CN103902623A (zh) | 用于在存储系统上存取文件的方法和系统 | |
| CN106100919B (zh) | 一种fc总线测试系统及fc总线测试方法 | |
| CN102346744B (zh) | 用于在多租户应用系统中处理物化表的装置 | |
| CN102523129A (zh) | 一种通用的航空总线测试分析方法及其装置 | |
| CN102779138B (zh) | 实时数据的硬盘存取方法 | |
| CN101183382A (zh) | 一种航天测试系统专用的实时海量的存储设备 | |
| US11321318B2 (en) | Dynamic access paths | |
| CN104978324A (zh) | 一种数据处理方法和装置 | |
| CN116301669B (zh) | 一种基于fpga的高速存储系统分区方法及系统 | |
| CN110531936A (zh) | 基于多种存储介质的分布式纠删码混合存储的林型存储结构及方法 | |
| CN101576854A (zh) | 文件访问的方法、装置及系统 | |
| CN104077082A (zh) | 网络投票数据存储方法和装置 | |
| CN101458655B (zh) | 内存管理方法、系统及内存控制装置 | |
| CN108694022A (zh) | 用于识别具有最低尾延迟的固态盘的系统和方法 | |
| CN106383897B (zh) | 数据库容量计算方法和装置 | |
| CN101290621B (zh) | 安全数字卡的存储检索方法 | |
| US20210056120A1 (en) | In-stream data load in a replication environment | |
| CN108665221B (zh) | 业绩数据的处理方法及装置、计算机设备及可读介质 | |
| CN110443062A (zh) | 多租户数据库的操作方法、装置和计算机设备 | |
| JP2006085208A (ja) | 情報ライフサイクル管理システム及びそのデータ配置決定方法 | |
| Frank et al. | Evolutionary trends in a supercomputing tertiary storage environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20080521 |