CN101277272A - 一种海量广播数据入库的实现方法 - Google Patents
一种海量广播数据入库的实现方法 Download PDFInfo
- Publication number
- CN101277272A CN101277272A CNA2008101117163A CN200810111716A CN101277272A CN 101277272 A CN101277272 A CN 101277272A CN A2008101117163 A CNA2008101117163 A CN A2008101117163A CN 200810111716 A CN200810111716 A CN 200810111716A CN 101277272 A CN101277272 A CN 101277272A
- Authority
- CN
- China
- Prior art keywords
- warehouse
- data
- server
- information
- name
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出了一种海量广播数据入库的实现方法，通过按照一定周期接收广播数据，以数据文件方式分类型、分时、分列缓存数据信息，并以轮询的方式完成数据解析和入库过程，在接收、解析与入库的过程中生成相应的接收统计信息，发送到入库监视客户端，以供用户对信息进行实时监视的方式，实现了海量广播数据稳定、及时地处理，通过使用双机热备份技术、多进程技术、文件存储技术及SQL*Loader技术，提升了实际应用中对海量数据的处理能力，保证了应用的稳定性与数据完整性，提高了应用系统性能。
Description
技术领域
本发明属于计算机数据采集领域，具体涉及一种海量广播数据入库的实现方法。
背景技术
在网络化日益发展的今天，很多金融、电信及大型系统测试领域的业务都是通过局域网络完成，业务数据通过网络进行采集与广播，而且这些领域的数据往往都属于海量数据范围，这种海量数据处理的典型特点有：
网络化传输：数据全部通过网络进行传输与交换，实时性强。
数据量大：数据量非常大，能达到TB级数据量要求。
数据格式复杂：由于数据在网络中传输，对数据的传输格式进行了协议约定，当有多种数据类型存在时，广播数据的格式将比较复杂。
高可靠性：由于需要及时、高效、不间断地处理网络中的广播数据，并且要保证数据完整性，因此对系统运行可靠性要求高，要能保证实际业务需要。
对于广播数据的通常处理方法有两种，第一种是系统首先接收报文数据，然后分块存储至内存的数据队列或者共享缓存区中，最后对数据进行进一步处理后，再以pro*c方式直接存储至数据库。第二种方法是接收报文后，对报文数据进行简单处理，直接存储成某指定格式的数据文件，然后设计一些控制文件，记录存储报文的基本控制信息，并通过程序实现对报文数据的二次分析。
第一种使用内存作为缓存的处理机制，存在如下一些问题。
1、缓存大小不容易确定，缓存易导致溢出。不论是采用数据队列还是共享缓存区，其空间大小均不易确定，需要根据运行状态实时调整，而且对于广播数据量非常大的业务，极易造成缓存溢出问题，从而导致系统异常。
2、系统实现复杂，可靠性较低。由于广播报文格式复杂，同时某些行业业务处理逻辑复杂，导致系统实现难度较大，结构复杂，这种复杂的系统结构与实现方式极易造成系统可靠性较差。
3、广播速度快时，数据易丢失。当广播数据量较大，广播速率很高时，系统处理速度可能满足不了数据处理实时要求，将导致数据丢失。
4、数据入库速度较低。虽然使用批量入库方式，可以提高数据入库速率，但在海量数据处理过程中，采用批量入库方式没有采用SQL*Loader方式的入库处理速度高。
第二种处理方式存在显而易见的问题就是需要建立一套文件系统访问策略，没有充分发挥数据库在存储海量数据方面的优势，同时对于数据的再次分析与利用难度较大。
发明内容
本发明提出了一种海量广播数据入库的实现方法，其基于双机热备份技术，通过按照一定周期接收广播数据，以数据文件方式分类型、分时、分列缓存数据信息，并以轮询的方式完成数据解析和入库过程，在接收、解析与入库的过程中生成相应的接收统计信息，发送到入库监视客户端，以供用户对信息进行实时监视，实现了海量广播数据稳定、及时地处理，解决了数据丢失或者系统运行不稳定的问题，保证了系统高效与稳定的运行。
本发明一种海量广播数据入库的实现方法，包括如下步骤：
步骤1：入库服务器读取配置信息，并根据配置信息初始化数据广播服务器的接收模块、解析模块、入库模块及数据广播服务器；
步骤2：数据广播服务器向局域网络中广播数据，供入库服务器的数据接收模块接收；
步骤3：入库服务器的接收模块监听网络端口，获取并检查收到的广播报文，如果是指定类型的广播报文，则入库服务器将其缓存在磁盘中，形成原数据文件，并生成接收统计信息传递到入库监视客户端；如果此时到达存储周期，则入库服务器关闭当前原数据文件，并在入库服务器上生成新数据文件，在新数据文件中继续写入广播报文的信息；否则仍在当前数据文件中写入内容；如果不是指定类型的广播报文，则入库服务器丢掉该广播报文，并继续接收新的广播报文；
步骤4：入库服务器的数据解析模块轮询相应目录下的原数据文件；如果原数据文件存在，则按照既定规则解析此原数据文件，并将解析结果存储成入库准备文件，解析完毕删除此原数据文件，并生成解析统计信息传递到入库监视客户端；反之则继续轮询；
步骤5：入库服务器的入库模块轮询查找指定目录下的入库准备文件；如果入库准备数据文件存在，则将入库准备数据录入至磁盘阵列的数据库中，并生成统计信息报文，发送到入库监视客户端，实现信息实时监视；反之则继续轮询。
所述数据广播服务器所选定的通讯机制为UDP广播通信方式；入库监视客户端与入库服务器之间所选定的通讯机制为TCP方式。
所述步骤1中配置信息包括：各类型数据广播地址及端口号、各类型数据文件存储路径、各类型数据文件存储周期。
所述步骤3中，数据接收模块接收到广播数据后，将其按照指定周期、指定类型分类存储至磁盘阵列中，形成原数据文件。
所述步骤4中，数据解析模块解析完相应的原数据文件后，将其按照指定分列规则，分别存储至磁盘阵列的服务器指定目录中，形成入库准备数据文件，等待入库处理。
所述步骤5中，数据入库模块查找到相应的入库准备数据文件后，调用SQL*Loader及此类型入库准备数据文件对应的控制文件，通过SCSI接口传输到磁盘阵列中，完成数据入库。
所述入库服务器采用双机热备份方式，主从服务器之间相互按照一定的时间间隔发送通讯信号，表明各自系统当前的运行状态；保证数据不丢失和设备永不停机。
所述广播报文和原数据文件由长度、时间、信息类型、来源、目的及数据内容组成；
长度代表一条广播报文的实际长度，2个字节，低字节在前，高字节在后，其值为数据内容长度加20字节的报文头长度；
时间为广播报文的发送实际时间，格式为无符号二进制数，7个字节，各字节意义如下：
1-2字节 当前年份的二进制表示，低字节在前高字节在后；
3字节 当前月份的二进制表示；
4字节 当前日的二进制表示；
5字节 当前时的二进制表示；
6字节 当前分的二进制表示；
7字节 当前秒的二进制表示；
信息类型，4个字节，为用户自定义，表示广播数据的类型，根据此信息对广播报文进行分类别存储；
来源表示信息的发出源，4个字节，表明数据是从产生的处；
目的表示信息的去向，3个字节，
数据内容表示发送信息的内容，其内容由一个或者多个属性名及属性值组成，字节数不固定。每个属性名定义为6位整数，属性值位数不定，定义为double类型，属性名与属性值之间以/号连接，两个属性名之间以空格区分。
所述入库准备数据文件由时间、信息类型、来源、目的、属性名1至n组成；其中n值大小由用户根据实际应用需要确定，表示了n个属性名，其他各项内容格式同广播报文格式；将所有属性名按照大小顺序进行排列，每种入库准备文件包括n个不同属性名。
所述统计信息报文格式由长度、时间、信息类型、来源、目的、接收报文数，解析报文数、解析错误报文数、入库报文数和入库错误报文数组成；统计信息报文格式与广播报文格式相同，其中长度、时间与广播报文格式定义相同，信息类型处填入STAT、来源填入SVR、目的填入MON、属性名1为接收报文数，以1表示；属性名2为解析报文数，以2表示；属性名3为解析错误报文数，以3表示；属性名4为入库报文数，以4表示；属性名5为入库错误报文数，以5表示；属性名与属性值之间以/隔开，各属性名之间以空格分隔。
本发明一种海量广播数据入库的实现方法的优点在于：
(1)可靠性：采用双机热备份，可以保持系统主机高度连续有效的运作，有力地保证了系统运行的可靠性。
(2)数据完整性：数据接收模块接收到指定类型广播报文后，直接将其存储至磁盘数据文件，可以有效保证数据接收完整性，不会因为系统处理延迟而导致广播报文中的数据丢失。
(3)稳定性：以文件方式定期缓存数据，降低了缓存管理复杂性，减少了系统运行出错机率，从增强了系统运行稳定性。
(4)数据入库高效性：SQL*Loader入库方式比其他数据入库方式更能提高数据入库速率，保证了系统数据入库高效性。
附图说明
图1为本发明一种海量广播数据入库的实现方法的硬件结构图；
图2为本发明一种海量广播数据入库的实现方法的软件结构图；
图3为本发明一种海量广播数据入库的实现方法的流程图；
图4为本发明一种海量广播数据入库的实现方法的广播报文的格式图；
图5为本发明一种海量广播数据入库的实现方法的原数据文件格式图；
图6为本发明一种海量广播数据入库的实现方法的入库准备数据文件格式图；
图7为本发明一种海量广播数据入库的实现方法的统计信息报文格式图；
具体实施方式
下面将结合附图和实施例对本发明作进一步的详细说明。
本发明的目的在于提出一种海量广播数据入库的实现方法，通过接收模块实现海量广播数据接收，并按照数据类型与存储周期将接收到的广播报文存储成原数据文件，然后通过解析模块完成海量数据处理，通过入库模块实现海量数据入库，通过广播模块实现对运行过程的监视，并以磁盘数据文件方式缓存数据，以解决海量广播数据入库处理中数据丢失、系统运行不稳定及缓存管理复杂等问题。
如图1所示，本发明采用双机热备份方式，主要由两台入库服务器、一个数据广播服务器、一个入库监视客户端及一个磁盘阵列组成。两台入库服务器采用“心跳线”连接。所谓“心跳”，指的是主从系统之间相互按照一定的时间间隔发送通讯信号，表明各自系统当前的运行状态。
本方法采取双机热备份方式的目的在于保证数据永不丢失和系统永不停机，是在高度网络化的整体系统结构中，保持系统主机高度连续有效的运作，并具有弹性的设置和方便扩充特性的整体建议方式。
以上设备通过100M局域网络相互连接，构成一个整体。数据广播服务器根据实际处理结果，以UDP方式向网络中广播报文数据，入库服务器上运行的入库程序对广播报文进行接收，解析报文后进行入库操作，最终写入到磁盘阵列的数据库中，并将接收、解析与入库的统计信息以TCP方式发送至网络中与其相连的入库监视客户端。入库监视客户端收到发送过来的统计信息后，对其进行显示，以使用户能够监视到入库的实时运行情况。
一种海量广播数据入库的实现方法，如图2所示，数据广播服务器提供海量数据来源，用户通过数据广播服务器完成数据广播，数据接收模块按约定接收网络中由数据广播服务器广播的各类型广播报文信息，并将符合条件的正确广播报文存储至磁盘，形成原数据文件；数据解析模块查找磁盘指定目录下的原数据文件，并按照一定规则对其进行解析，生成入库准备文件；数据入库模块查找磁盘指定目录下的入库准备文件，调用SQL*loader实现数据入库；数据接收模块、数据解析模块与数据入库模块在运行过程中生成处理统计信息，发送到入库监视客户端，实现信息实时监视。
系统部署时，数据广播服务器单独部署在网络上的一台服务器中，本实施例中数据广播服务器采用HP DL385 G2，主要实现业务数据处理，并按照约定协议格式，将处理后的数据向网络中进行广播；数据接收模块、数据解析模块与数据入库模块作为一个整体部署在入库服务器中，入库服务器采用小型工作站，本实施例中采用HP J6750，服务器操作系统为HPUX 11I，数据库采用ORACLE 9I。数据存储设备选用支持TB级别存储的磁盘阵列，本实施例中采用HP MSA 30(4454R)；入库监视客户端单独部署在网络中的一台普通PC机器中，配置为P4 2.4G/1G内存/80G硬盘。数据通过100M局域网络进行分发与接收，用户通过入库监视客户端可以获悉数据处理信息。
本实施例将以某仪器设备测试数据处理过程为例，通过具体步骤，说明本发明的具体实施步骤。仪器设备由多个相关部件组成，通过数据采集设备获取各部件的测试数据，数据广播服务器获取数据采集设备的测试数据，经过处理后，向网络中广播，数据入库服务器完成广播数据的接收、解析与入库过程。
本发明一种海量广播数据入库的实现方法，如图3所示，包括如下步骤：
步骤1：入库服务器读取配置信息，配置信息包括：报文广播端口号、文件存储路径、文件存储周期，并根据配置信息初始化入库服务器的接收模块、解析模块、入库模块及数据广播服务器；
步骤2：数据广播服务器向网络中广播数据信息，供入库服务器的数据接收模块接收；
广播报文格式如图4所示，包括如下内容：长度、时间、信息类型、来源、目的及数据内容。
长度代表一条广播报文的实际长度，2个字节，低字节在前，高字节在后，其值为数据内容长度加20字节的报文头长度。
时间为广播报文发送实际时间，格式为无符号二进制数，7个字节，各字节意义如下：
1-2字节 当前年份的二进制表示，低字节在前高字节在后；
3字节 当前月份的二进制表示；
4字节 当前日的二进制表示；
5字节 当前时的二进制表示；
6字节 当前分的二进制表示；
7字节 当前秒的二进制表示。
信息类型，4个字节，为用户自定义，表示广播数据的类型。系统主要根据此信息对广播报文进行分类别存储，本实施例中信息类型有两种，一种为采集数据(DACO)，一种为状态数据(DAST)；采集数据指某部件的工作信息，状态数据指某部件的自身状态信息。
来源表示信息的发出源，4个字节，在本实施例中，来源被定义为某部件的标识，表明数据是从哪个部件产生的，如0001，表示由1号部件发出的数据；
目的表示信息的去向，3个字节，本实施例中，目的地被定义为ALL，代表向局域网中广播；
数据内容表示发送信息的内容，其内容由一个或者多个属性名及属性值组成，字节数不固定。每个属性名定义为6位整数，属性值位数不定，定义为double类型，属性名与属性值之间以/号连接，两个属性名之间以空格区分。
下面以1号部件采集数据的一条广播报文为例，说明广播报文的数据格式：
692008-04-21-19:50:22DACO0001ALL000001/23.2 00002/22.03000004/11.00
本例中，69表示此广播报文的长度，2008-04-21-19:50:22表示此广播报文的时间，DACO表示此广播报文的数据类型为采集数据，O0001表示此广播报文来源于1号部件，ALL表示向网络中广播，000001/23.2表示了属性000001的值23.2、00002/22.03表示属性000002的值为22.03，000004/11.00表示属性000004的值为11.00。
步骤3：入库服务器的接收模块监听局域网的网络端口，获取指定端口的广播报文数据，并检查收到的广播报文是否是指定类型的广播报文。如果是指定类型广播报文，则入库服务器的接收模块按照一定时间周期、报文类型将其存储至入库服务器中，形成原数据文件，并生成接收统计信息通过以太网传递到入库监视客户端；
入库服务器的接收模块检查是否到达存储周期，如果到达存储周期，入库服务器关闭当前原数据文件，并在入库服务器上生成新数据文件，在新数据文件中继续写入广播报文信息。原数据文件格式如图5所示，包括如下内容，时间、信息类型、来源、目的及数据内容，各项内容格式同广播报文格式，各项内容之间以空格分开。
下面以1号部件的广播报文中的数据为例，说明原数据文件格式：
| 时间 | 信息类型 | 来源 | 目的 | 数据内容 |
| 2008-04-21-19:50:22 | DACO | 0001 | ALL | 000001/23.2 0002/22.03000004/11.00 |
| 2008-04-21-19:50:23 | DAST | 0001 | ALL | 000001/10.5 0002/8.2 000004/11.8 |
如果未到达存储周期，则仍在当前数据文件中写入内容，而且接收模块继续检查是否到达存储周期。
如果不是指定类型的广播报文，则入库服务器丢掉该广播报文，并继续接收新的广播报文。
步骤4：入库服务器的数据解析模块轮询入库服务器相应目录下的原数据文件；如果原数据文件存在，则入库服务器的解析模块按照既定解析规则解析此原数据文件，解析完毕则删除此原数据文件，将解析结果存储成入库准备文件，并生成解析统计信息通过以太网传递到入库监视客户端。
入库准备数据文件格式如图6所示，包括如下内容，时间、信息类型、来源、目的、属性名1至n，其中n值大小由用户根据实际应用需要确定，表示了n个属性名，其他各项内容格式同广播报文格式。入库准备文件按照信息类型进行划分，一种信息类型对应一种入库准备文件。将所有属性名按照大小顺序进行排列，每种入库准备文件包括n个不同属性名，因此每种信息类型下，其入库准备文件一共有(实际属性名个数/n)+1个。
在本实施例中，n取值为300，即每种入库准备数据文件中包含了300个属性名的值，需要处理的1号部件的属性值共有1000个，因此，对于1号部件的采集数据，需要建立(1000/300)+1，即为4个入库准备数据文件，第一个入库准备数据文件包括1至300个属性，第二个包括301至600，第三个包括601至900，最后一个包括901至1000。
其具体格式如例所示：
时间、信息类型、来源、目的000001 000002…000300
时间、信息类型、来源、目的000301 000302…000600
第一行表示第一个入库准备数据文件格式，第二行表示第二个入库准备数据文件格式，其余雷同。
对于1号设备的采集数据信息，其入库准备数据文件的两条信息实例为：
2008-04-21-19:50:22DACO 0001ALL 0 0…0
2008-04-21-19:50:23DACO 0001ALL 2.5 22.0…12.2
| 时间 | 信息类型 | 来源 | 目的 | 000001 | 000002 | … | 000300 |
| 2008-04-21-19:50:22 | DACO | 0001 | ALL | 0 | 0 | … | 0 |
| 2008-04-21-19:50:23 | DACO | 0001 | ALL | 2.5 | 22.0 | … | 12.2 |
解析规则定义为：解析模块首先读取原数据文件，按照信息类型进行分类，然后解析信息内容，将属性名与其值作为一个整体，按照属性名由小到大进行排列，并按照用户定义的入库准备文件中n值大小，对属性名进行模值运算，确定其应当存储于哪个入库准备文件的哪一列中，将各属性名的值按照属性名计算结果存储到不同信息类型的不同入库准备文件中相应属性名处。对于没有定义的属性名，则视为错误报文数据，记录至日志文件。
以本实施例的1号部件的一条原数据文件信息片断为例，来说明解析过程，本片断只包括了信息类型与数据内容，其他项内容略去。
DACO 000001/23.2 000302/22.4 000906/11.1 000604/98.0
当解析模块读到此格式的原数据文件中的一条信息时，将按照属性名大小由小到大进行排列，形成如下信息：
DACO 000001/23.2 000302/22.4 000604/98.0 000906/11.1
然后按照本实施例中约定的n值大小300，进行计算，可知，上述信息中四个属性名分别应当存放在DACO入库准备数据文件的四个文件中，具体为，000001存入在第一个文件的第一列，000302存放在第二个文件的第二列，000604存放在第三个文件的第四列，000906存放在第四个文件的第六列。
各属性名及其值在入库准备数据文件中实际存储格式如下所示：
000001存储于DACO的第一个入库准备文件的第一列；
| 时间 | 信息类型 | 来源 | 目的 | 000001 | 000002 | … | 000300 |
| 2008-04-21-19:50:22 | DACO | 0001 | ALL | 23.2 | 0 | … | 0 |
000302存储于DACO的第二个入库准备文件的第二列；
| 时间 | 信息类型 | 来源 | 目的 | 000301 | 000302 | … | 000300 |
| 2008-04-21-19:50:22 | DACO | 0001 | ALL | 0 | 22.4 | … | 0 |
000604与000906则分别存储于DACO的第三个入库准备文件的第四列与第四个入库准备文件的第六列，其格式与上表相同；
如果原数据文件不存在，继续轮询入库服务器相应目录下是否存在原数据文件。
步骤5：入库服务器的入库模块轮询查找指定目录下的入库准备文件；判断入库准备文件是否存在，如果存在，入库服务器的入库模块通过调用系统命令，调用SQL*loader将入库准备通过SCSI接口录入至磁盘阵列的数据库中并生成统计信息，通过以太网发送到入库监视客户端，实现信息实时监视。
SQL*Loader的系统调用命令为：
Sqlldr用户名/密码@网络服务名control＝控制文件名data＝数据文件名log＝日志文件名bad＝坏文件名skip_unusable_indexes＝true skip_index_maintenance＝true。
由于使用了SQL*Loader的直接路径装载方法，其不通过数据库快存，而是在内存中根据字段的特征构造整个数据块并且将数据块直接写到数据文件中，因而比传统路径装载速度较快，因此设置skip_unusable_indexes与skip_index_maintenance两个参数为真。
在数据接收、数据解析及数据入库的过程中，实时生成数据处理统计信息，通过网络形式传送至入库监视客户端，以供用户实时监视运行信息，直至整个入库过程结束。
统计信息主要包括接收报文数，解析报文数、解析错误报文数、入库报文数、入库错误报文数这五个指标。入库服务器各模块在运行过程中分别统计上述信息，并以一定时间间隔通过TCP连接方式向入库监视客户端发送。统计信息报文格式与广播报文格式相同，其结构如图7所示，其中长度、时间与广播报文格式定义相同，信息类型处填入STAT、来源填入SVR、目的填入MON、属性名1为接收报文数，以1表示；属性名2为解析报文数，以2表示；属性名3为解析错误报文数，以3表示；属性名4为入库报文数，以4表示；属性名5为入库错误报文数，以5表示。属性名与属性值之间以/隔开，各属性名之间以空格分隔。
统计信息报文格式如下例格式所示：
562008-04-21-19:50:22STATSVRMON1/200 2/200 3/0 4/200 5/0
其中56表示此报文长度，2008-04-21-19:50:22表示此报文的时间信息，STAT表示此报文为统计信息报文，SVR表示此报文来源于入库服务器，MON表示此报文的目的地为入库监视客户端，1/200表示接收报文数为200，2/200表示解析报文数为200，3/0表示解析错误报文数为0，4/200表示入库报文数200，5/0表示入库错误报文数为0。
如果不存在入库准备文件，则入库模块继续轮询查找指定目录下的入库准备文件。
Claims (10)
1、一种海量广播数据入库的实现方法，其特征在于，包括如下步骤：
步骤一：入库服务器读取配置信息，并根据配置信息初始化数据广播服务器的接收模块、解析模块、入库模块及数据广播服务器；
步骤二：数据广播服务器向局域网络中广播数据，供入库服务器的数据接收模块接收；
步骤三：入库服务器的接收模块监听网络端口，获取并检查收到的广播报文，如果是指定类型的广播报文，则入库服务器将其缓存在磁盘中，形成原数据文件，并生成接收统计信息传递到入库监视客户端；如果此时到达存储周期，则入库服务器关闭当前原数据文件，并在入库服务器上生成新数据文件，在新数据文件中继续写入广播报文的信息；否则仍在当前数据文件中写入内容；如果不是指定类型的广播报文，则入库服务器丢掉该广播报文，并继续接收新的广播报文；
步骤四：入库服务器的数据解析模块轮询相应目录下的原数据文件；如果原数据文件存在，则按照既定规则解析此原数据文件，并将解析结果存储成入库准备文件，解析完毕删除此原数据文件，并生成解析统计信息传递到入库监视客户端；反之则继续轮询；
步骤五：入库服务器的入库模块轮询查找指定目录下的入库准备文件；如果入库准备数据文件存在，则将入库准备数据录入至磁盘阵列的数据库中，并生成统计信息报文，发送到入库监视客户端，实现信息实时监视；反之则继续轮询。
2、根据权利要求1所述一种海量广播数据入库的实现方法，其特征在于：所述数据广播服务器所选定的通讯机制为UDP广播通信方式；入库监视客户端与入库服务器之间所选定的通讯机制为TCP方式。
3、根据权利要求1所述一种海量广播数据入库的实现方法，其特征在于：所述步骤一中配置信息包括：各类型数据广播地址及端口号、各类型数据文件存储路径、各类型数据文件存储周期。
4、根据权利要求1所述一种海量广播数据入库的实现方法，其特征在于：所述步骤三中，数据接收模块接收到广播数据后，将其按照指定周期、指定类型分类存储至磁盘阵列中，形成原数据文件。
5、根据权利要求1所述一种海量广播数据入库的实现方法，其特征在于：所述步骤四中，数据解析模块解析完相应的原数据文件后，将其按照指定分列规则，分别存储至磁盘阵列的服务器指定目录中，形成入库准备数据文件，等待入库处理。
6、根据权利要求1所述一种海量广播数据入库的实现方法，其特征在于：所述步骤五中，数据入库模块查找到相应的入库准备数据文件后，调用SQL*Loader及此类型入库准备数据文件对应的控制文件，通过SCSI接口传输到磁盘阵列中，完成数据入库。
7、根据权利要求1所述一种海量广播数据入库的实现方法，其特征在于：所述入库服务器采用双机热备份方式，主从服务器之间相互按照一定的时间间隔发送通讯信号，表明各自系统当前的运行状态；保证数据不丢失和设备永不停机。
8、根据权利要求1所述一种海量广播数据入库的实现方法，其特征在于：所述步骤三中的广播报文和原数据文件由长度、时间、信息类型、来源、目的及数据内容组成；
长度代表一条广播报文的实际长度，2个字节，低字节在前，高字节在后，其值为数据内容长度加20字节的报文头长度；
时间为广播报文的发送实际时间，格式为无符号二进制数，7个字节，各字节意义如下：
1-2字节 当前年份的二进制表示，低字节在前高字节在后；
3字节 当前月份的二进制表示；
4字节 当前日的二进制表示；
5字节 当前时的二进制表示；
6字节 当前分的二进制表示；
7字节 当前秒的二进制表示；
信息类型，4个字节，为用户自定义，表示广播数据的类型，根据此信息对广播报文进行分类别存储；
来源表示信息的发出源，4个字节，表明数据是从产生的处；
目的表示信息的去向，3个字节，
数据内容表示发送信息的内容，其内容由一个或者多个属性名及属性值组成，字节数不固定；每个属性名定义为6位整数，属性值位数不定，定义为double类型，属性名与属性值之间以/号连接，两个属性名之间以空格区分。
9、根据权利要求1和8所述一种海量广播数据入库的实现方法，其特征在于：所述步骤四中，入库准备数据文件由时间、信息类型、来源、目的、属性名1至n组成；其中n值大小由用户根据实际应用需要确定，表示了n个属性名，其他各项内容格式同广播报文格式；将所有属性名按照大小顺序进行排列，每种入库准备文件包括n个不同属性名。
10、根据权利要求1和8所述一种海量广播数据入库的实现方法，其特征在于：所述统计信息报文的格式由长度、时间、信息类型、来源、目的、接收报文数，解析报文数、解析错误报文数、入库报文数和入库错误报文数组成；统计信息报文格式与广播报文格式相同，其中长度、时间与广播报文格式定义相同，信息类型处填入STAT、来源填入SVR、目的填入MON、属性名1为接收报文数，以1表示；属性名2为解析报文数，以2表示；属性名3为解析错误报文数，以3表示；属性名4为入库报文数，以4表示；属性名5为入库错误报文数，以5表示；属性名与属性值之间以/隔开，各属性名之间以空格分隔。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2008101117163A CN101277272B (zh) | 2008-05-16 | 2008-05-16 | 一种海量广播数据入库的实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2008101117163A CN101277272B (zh) | 2008-05-16 | 2008-05-16 | 一种海量广播数据入库的实现方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101277272A true CN101277272A (zh) | 2008-10-01 |
| CN101277272B CN101277272B (zh) | 2010-12-15 |
Family
ID=39996291
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2008101117163A Expired - Fee Related CN101277272B (zh) | 2008-05-16 | 2008-05-16 | 一种海量广播数据入库的实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101277272B (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101982820A (zh) * | 2010-11-22 | 2011-03-02 | 北京航空航天大学 | 一种大数据量的曲线显示查询方法 |
| CN101996244A (zh) * | 2010-11-09 | 2011-03-30 | 中兴通讯股份有限公司 | 一种批量数据入库装置、系统及方法 |
| CN103186673A (zh) * | 2013-03-30 | 2013-07-03 | 马钢控制技术有限责任公司 | 一种海量数据存储及查询方法 |
| CN103457996A (zh) * | 2013-06-19 | 2013-12-18 | 重庆邮电大学 | 一种协议一致性测试系统内部数据存储方法及系统 |
| CN103530960A (zh) * | 2013-10-23 | 2014-01-22 | 浪潮齐鲁软件产业有限公司 | 一种海量网络发票数据集群播报方法 |
| CN103559217A (zh) * | 2013-10-17 | 2014-02-05 | 北京航空航天大学 | 一种面向异构数据库的海量组播数据入库实现方法 |
| CN103945013A (zh) * | 2013-01-17 | 2014-07-23 | 方正宽带网络服务股份有限公司 | 数据传输接口装置和数据传输方法 |
| CN104424360A (zh) * | 2013-09-03 | 2015-03-18 | 国际商业机器公司 | 用于访问源数据库中的一组数据表格的方法和系统 |
| CN104834860A (zh) * | 2015-05-09 | 2015-08-12 | 福建六壬网安股份有限公司 | 一种安全事件动态入库方法 |
| CN104967543A (zh) * | 2015-06-28 | 2015-10-07 | 国网山东济阳县供电公司 | 一种数据考核校验的系统及其方法 |
| CN106960043A (zh) * | 2017-03-30 | 2017-07-18 | 中国航空工业集团公司西安飞机设计研究所 | 一种飞机载荷设计中原始数据的处理方法 |
| CN107038289A (zh) * | 2017-03-23 | 2017-08-11 | 西安飞机工业（集团）有限责任公司 | 一种飞机载荷设计中原始数据的处理方法 |
| CN108241541A (zh) * | 2016-12-23 | 2018-07-03 | 北京国双科技有限公司 | 数据传输的方法和装置 |
| CN108415797A (zh) * | 2018-03-05 | 2018-08-17 | 山东超越数控电子股份有限公司 | 一种避免服务器故障切换时数据库数据丢失的方法 |
| CN108595511A (zh) * | 2018-03-23 | 2018-09-28 | 中国人民解放军91977部队 | 一种多样化气象水文数据分类存储处理方法和系统 |
| CN109359005A (zh) * | 2018-09-14 | 2019-02-19 | 厦门天锐科技股份有限公司 | 一种跨进程的数据采集处理方法 |
| CN109981554A (zh) * | 2017-12-28 | 2019-07-05 | 北京京东尚科信息技术有限公司 | 信息处理方法、系统和电子设备 |
| CN112764908A (zh) * | 2021-01-26 | 2021-05-07 | 北京鼎普科技股份有限公司 | 网络数据采集处理方法、装置和电子设备 |
| CN113641661A (zh) * | 2021-09-01 | 2021-11-12 | 中国银行股份有限公司 | 数据库批量导入方法、装置、电子设备及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6058418A (en) * | 1997-02-18 | 2000-05-02 | E-Parcel, Llc | Marketing data delivery system |
| PL374305A1 (en) * | 2001-12-28 | 2005-10-03 | Jeffrey James Jonas | Real time data warehousing |
| CN101170433A (zh) * | 2006-10-25 | 2008-04-30 | 中兴通讯股份有限公司 | 数据库入库方法 |
| CN101046825A (zh) * | 2007-04-18 | 2007-10-03 | 北京润乾信息系统技术有限公司 | 一种报表填写后数据入库的方法 |
-
2008
- 2008-05-16 CN CN2008101117163A patent/CN101277272B/zh not_active Expired - Fee Related
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101996244A (zh) * | 2010-11-09 | 2011-03-30 | 中兴通讯股份有限公司 | 一种批量数据入库装置、系统及方法 |
| WO2012062010A1 (zh) * | 2010-11-09 | 2012-05-18 | 中兴通讯股份有限公司 | 一种批量数据入库装置、系统及方法 |
| CN101982820B (zh) * | 2010-11-22 | 2011-12-07 | 北京航空航天大学 | 一种大数据量的曲线显示查询方法 |
| CN101982820A (zh) * | 2010-11-22 | 2011-03-02 | 北京航空航天大学 | 一种大数据量的曲线显示查询方法 |
| CN103945013A (zh) * | 2013-01-17 | 2014-07-23 | 方正宽带网络服务股份有限公司 | 数据传输接口装置和数据传输方法 |
| CN103186673A (zh) * | 2013-03-30 | 2013-07-03 | 马钢控制技术有限责任公司 | 一种海量数据存储及查询方法 |
| CN103457996B (zh) * | 2013-06-19 | 2016-06-01 | 重庆邮电大学 | 一种协议一致性测试系统内部数据存储方法及系统 |
| CN103457996A (zh) * | 2013-06-19 | 2013-12-18 | 重庆邮电大学 | 一种协议一致性测试系统内部数据存储方法及系统 |
| US9996558B2 (en) | 2013-09-03 | 2018-06-12 | International Business Machines Corporation | Method and system for accessing a set of data tables in a source database |
| CN104424360A (zh) * | 2013-09-03 | 2015-03-18 | 国际商业机器公司 | 用于访问源数据库中的一组数据表格的方法和系统 |
| CN103559217A (zh) * | 2013-10-17 | 2014-02-05 | 北京航空航天大学 | 一种面向异构数据库的海量组播数据入库实现方法 |
| CN103559217B (zh) * | 2013-10-17 | 2016-06-01 | 北京航空航天大学 | 一种面向异构数据库的海量组播数据入库实现方法 |
| CN103530960B (zh) * | 2013-10-23 | 2016-04-20 | 浪潮齐鲁软件产业有限公司 | 一种海量网络发票数据集群播报方法 |
| CN103530960A (zh) * | 2013-10-23 | 2014-01-22 | 浪潮齐鲁软件产业有限公司 | 一种海量网络发票数据集群播报方法 |
| CN104834860A (zh) * | 2015-05-09 | 2015-08-12 | 福建六壬网安股份有限公司 | 一种安全事件动态入库方法 |
| CN104834860B (zh) * | 2015-05-09 | 2018-01-12 | 福建六壬网安股份有限公司 | 一种安全事件动态入库方法 |
| CN104967543A (zh) * | 2015-06-28 | 2015-10-07 | 国网山东济阳县供电公司 | 一种数据考核校验的系统及其方法 |
| CN108241541A (zh) * | 2016-12-23 | 2018-07-03 | 北京国双科技有限公司 | 数据传输的方法和装置 |
| CN107038289A (zh) * | 2017-03-23 | 2017-08-11 | 西安飞机工业（集团）有限责任公司 | 一种飞机载荷设计中原始数据的处理方法 |
| CN106960043A (zh) * | 2017-03-30 | 2017-07-18 | 中国航空工业集团公司西安飞机设计研究所 | 一种飞机载荷设计中原始数据的处理方法 |
| CN109981554A (zh) * | 2017-12-28 | 2019-07-05 | 北京京东尚科信息技术有限公司 | 信息处理方法、系统和电子设备 |
| CN109981554B (zh) * | 2017-12-28 | 2021-11-02 | 北京京东乾石科技有限公司 | 信息处理方法、系统和电子设备 |
| CN108415797A (zh) * | 2018-03-05 | 2018-08-17 | 山东超越数控电子股份有限公司 | 一种避免服务器故障切换时数据库数据丢失的方法 |
| CN108595511A (zh) * | 2018-03-23 | 2018-09-28 | 中国人民解放军91977部队 | 一种多样化气象水文数据分类存储处理方法和系统 |
| CN108595511B (zh) * | 2018-03-23 | 2022-04-01 | 中国人民解放军91977部队 | 一种多样化气象水文数据分类存储处理方法和系统 |
| CN109359005A (zh) * | 2018-09-14 | 2019-02-19 | 厦门天锐科技股份有限公司 | 一种跨进程的数据采集处理方法 |
| CN109359005B (zh) * | 2018-09-14 | 2022-04-19 | 厦门天锐科技股份有限公司 | 一种跨进程的数据采集处理方法 |
| CN112764908A (zh) * | 2021-01-26 | 2021-05-07 | 北京鼎普科技股份有限公司 | 网络数据采集处理方法、装置和电子设备 |
| CN112764908B (zh) * | 2021-01-26 | 2024-01-26 | 北京鼎普科技股份有限公司 | 网络数据采集处理方法、装置和电子设备 |
| CN113641661A (zh) * | 2021-09-01 | 2021-11-12 | 中国银行股份有限公司 | 数据库批量导入方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101277272B (zh) | 2010-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101277272B (zh) | 一种海量广播数据入库的实现方法 | |
| US10956362B1 (en) | Searching archived data | |
| US20180278725A1 (en) | Converting a single-tenant application for multi-tenant use | |
| CN109063196B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| CN103559217B (zh) | 一种面向异构数据库的海量组播数据入库实现方法 | |
| CN112084258A (zh) | 一种数据同步方法和装置 | |
| US20140236889A1 (en) | Site-based search affinity | |
| CN107704728B (zh) | 一种基因序列比对的云计算加速方法 | |
| CN107241305B (zh) | 一种基于多核处理器的网络协议分析系统及其分析方法 | |
| CN107016027A (zh) | 实现业务信息快速搜索的方法和装置 | |
| CN108228322B (zh) | 一种分布式链路跟踪、分析方法及服务器、全局调度器 | |
| CN107181821A (zh) | 一种基于sse规范的消息推送方法及装置 | |
| CN106649828A (zh) | 一种数据查询方法及系统 | |
| EP3058684B1 (en) | Network interface | |
| CN104519103A (zh) | 网络数据的同步处理方法、服务器及相关系统 | |
| CN108228432A (zh) | 一种分布式链路跟踪、分析方法及服务器、全局调度器 | |
| CN109597903A (zh) | 图像文件处理装置和方法、文件存储系统及存储介质 | |
| CN103593442A (zh) | 日志数据的去重方法及装置 | |
| US20230336368A1 (en) | Block chain-based data processing method and related apparatus | |
| CN110417892A (zh) | 基于报文解析的数据复制链路优化方法及装置 | |
| CN111427920B (zh) | 数据采集方法、装置、系统、计算机设备及存储介质 | |
| CN112367540B (zh) | 在线直播推流数监控的方法、装置 | |
| CN115293685A (zh) | 物流订单的状态跟踪方法、装置、设备和存储介质 | |
| CN109063201B (zh) | 一种基于混合存储方案的impala在线交互式查询方法 | |
| US11934370B1 (en) | Data store indexing engine with automated refresh |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C17 | Cessation of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20101215 Termination date: 20130516 |