CN107729476A - 一种机器数据在线处理方法及系统 - Google Patents

一种机器数据在线处理方法及系统 Download PDF

Info

Publication number
CN107729476A
CN107729476A CN201710957384.XA CN201710957384A CN107729476A CN 107729476 A CN107729476 A CN 107729476A CN 201710957384 A CN201710957384 A CN 201710957384A CN 107729476 A CN107729476 A CN 107729476A
Authority
CN
China
Prior art keywords
data
abnormal
metadata
machine
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710957384.XA
Other languages
English (en)
Other versions
CN107729476B (zh
Inventor
程明
杨宁
魏昕路
杨锐
王晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunlun Zhihui Data Technology (beijing) Co Ltd
Original Assignee
Kunlun Zhihui Data Technology (beijing) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunlun Zhihui Data Technology (beijing) Co Ltd filed Critical Kunlun Zhihui Data Technology (beijing) Co Ltd
Priority to CN201710957384.XA priority Critical patent/CN107729476B/zh
Publication of CN107729476A publication Critical patent/CN107729476A/zh
Application granted granted Critical
Publication of CN107729476B publication Critical patent/CN107729476B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种机器数据在线处理方法及系统，该方法包括：对实时采集的机器数据进行元数据识别，将无法识别的异常机器数据缓存到异常消息队列；对异常消息队列中的异常机器数据分类，将异常机器数据中未注册元数据的异常数据存放在第一异常目录；读取第一异常目录中的异常数据，抽取该异常数据中包含的元数据，将元数据注册到元数据管理模块，对第一异常目录中的成功进行元数据注册的异常数据添加注册标识；提取第一异常目录中添加有注册标识的数据，将提取出的数据导入存放有有效机器数据的有效数据目录。本发明能够从实时接收的机器数据中自动识别出未注册元数据的异常数据，并直接从中抽取出元数据，有效提高了机器数据的处理效率和准确率。

Description

一种机器数据在线处理方法及系统
技术领域
本发明涉及机器数据在线处理技术领域，尤其涉及一种机器数据在线处理方法及系统。
背景技术
随着互联网技术的广泛应用，在科技行业，以及传统行业与互联网行业的结合的大背景下，企业的机器数据的增长呈现指数级，这些数据含有宝贵的价值。
目前，机器数据采集和管理系统中，元数据通常有缺失定义的情况，比如设备模板，设备实例和设备模板的映射关系等，进而导致这些数据无法被识别。其中，元数据是一种关于数据的数据，一般是结构化数据(如存储在数据库里的数据，规定了字段的长度、类型等)。具体的，对于机器数据而言，元数据是指从机器数据中抽取出来的用于说明其特征、内容的结构化的数据。对此，现有技术中通常需要采用人工方式，实现对元数据的抽取和对所缺失元数据的添加，以保证系统中的各分布式组件能够准确地对采集到的机器数据进行实时分析、批量处理和查询等后续处理。但是这种方式不仅耗时耗力，效率比较低，而且容易出错，准确率差。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的机器数据在线处理方法及系统。
本发明的一个方面，提供了一种机器数据在线处理方法，包括:
对实时采集的机器数据进行元数据识别，将无法识别的异常机器数据缓存到异常消息队列；
对所述异常消息队列中的异常机器数据进行分类，以将所述异常机器数据中由于未注册元数据而导致无法识别的异常数据存放在第一异常目录；
读取所述第一异常目录中的异常数据，抽取该异常数据中包含的元数据，将所述元数据注册到元数据管理模块，并对所述第一异常目录中的成功进行元数据注册的异常数据添加注册标识；
提取所述第一异常目录中添加有注册标识的数据，将提取出的数据导入存放有有效机器数据的有效数据目录。
其中，所述方法还包括：
周期性地对所述有效数据目录中的数据添加固定标记；
定时扫描所述有效数据目录，将所述有效数据目录中添加有固定标记的数据批量导入指定的文件目录。
其中，对所述异常消息队列中的异常机器数据进行分类，包括：
根据预设的数据过滤逻辑提取所述异常消息队列中的数据格式非法而导致无法识别的异常数据，并将该部分异常数据存放在第二异常目录；
将所述异常消息队列中的其他机器数据划分为由于未注册元数据而导致无法识别的异常数据。
其中，在所述将所述元数据注册到元数据管理模块之后，所述方法还包括:
对所述第一异常目录中的没有成功进行元数据注册的异常数据添加处理次数标记；
当再次对所述第一异常目录中的异常数据进行重新读取时，不再对对应的处理次数标记大于预设值的异常数据进行读取。
本发明的另一个方面，提供了一种机器数据在线处理系统，包括:
识别模块，用于对实时采集的机器数据进行元数据识别，将无法识别的异常机器数据缓存到异常消息队列；
分类模块，用于对所述异常消息队列中的异常机器数据进行分类，以将所述异常机器数据中由于未注册元数据而导致无法识别的异常数据存放在第一异常目录；
注册模块，用于读取所述第一异常目录中的异常数据，抽取该异常数据中包含的元数据，将所述元数据注册到元数据管理模块，并对所述第一异常目录中的成功进行元数据注册的异常数据添加注册标识；
提取模块，用于提取所述第一异常目录中添加有注册标识的数据，将提取出的数据导入存放有有效机器数据的有效数据目录。
其中，所述系统还包括：
标记模块，用于周期性地对所述有效数据目录中的数据添加固定标记；
数据导入模块，用于定时扫描所述有效数据目录，将所述有效数据目录中添加有固定标记的数据批量导入指定的文件目录。
其中，所述分类模块，具体用于根据预设的数据过滤逻辑提取所述异常消息队列中的数据格式非法而导致无法识别的异常数据，并将该部分异常数据存放在第二异常目录；将所述异常消息队列中的其他机器数据划分为由于未注册元数据而导致无法识别的异常数据。
其中，所述标记模块，还用于在所述注册模块将所述元数据注册到元数据管理模块之后，对所述第一异常目录中的没有成功进行元数据注册的异常数据添加处理次数标记；当再次对所述第一异常目录中的异常数据进行重新读取时，不再对对应的处理次数标记大于预设值的异常数据进行读取。
此外，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述方法的步骤。
此外，本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述方法的步骤。
本发明实施例提供的机器数据在线处理方法及系统，能够从实时接收的机器数据中自动识别出未注册元数据的异常数据，并直接从中抽取出元数据，使得后续数据能够顺利被识别。本发明解决了人工手动方式操作繁琐、效率低、容易出错的问题，也无需配备大量的专业人员来操作，从而极大地提高了机器数据的处理效率和准确率，同时节省了人工成本。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例的一种机器数据在线处理方法的流程图；
图2为本发明实施例的另一种机器数据在线处理方法的流程图；
图3为本发明实施例的机器数据在线处理方法的具体实现原理示意图；
图4为本发明实施例的一种机器数据在线处理系统的结构示意图；
图5为本发明实施例的另一种机器数据在线处理系统的结构示意图；
图6为本发明实施例的计算机设备的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。
本发明实施例提供的机器数据在线处理方法，实现了从实时接收的机器数据中自动识别出未注册元数据的异常数据，并直接从中抽取出元数据，解决了人工手动方式操作繁琐、效率低、容易出错的问题。
图1示意性示出了本发明一个实施例的机器数据在线处理方法的流程图。参照图1，本发明实施例的机器数据在线处理方法具体包括以下步骤：
S11、对实时采集的机器数据进行元数据识别，将无法识别的异常机器数据缓存到异常消息队列。
元数据是一种关于数据的数据，一般是结构化数据(如存储在数据库里的数据，规定了字段的长度、类型等)。具体的，对于机器数据而言，元数据是指从机器数据中抽取出来的用于说明其特征、内容的结构化的数据。本发明实施例通过预先对实时采集的机器数据进行元数据识别，将无法识别元数据的异常机器数据缓存到异常消息队列。
S12、对所述异常消息队列中的异常机器数据进行分类，以将所述异常机器数据中由于未注册元数据而导致无法识别的异常数据存放在第一异常目录。
本发明实施例中，具体通过以下方式实现对所述异常消息队列中的异常机器数据进行分类，具体如下：根据预设的数据过滤逻辑提取所述异常消息队列中的数据格式非法而导致无法识别的异常数据，并将该部分异常数据存放在第二异常目录；将所述异常消息队列中的其他机器数据划分为由于未注册元数据而导致无法识别的异常数据。
S13、读取所述第一异常目录中的异常数据，抽取该异常数据中包含的元数据，将所述元数据注册到元数据管理模块，并对所述第一异常目录中的成功进行元数据注册的异常数据添加注册标识。
S14、提取所述第一异常目录中添加有注册标识的数据，将提取出的数据导入存放有有效机器数据的有效数据目录。
本发明实施例提供的机器数据在线处理方法，能够从实时接收的机器数据中自动识别出未注册元数据的异常数据，并直接从中抽取出元数据，使得后续数据能够顺利被识别。本发明解决了人工手动方式操作繁琐、效率低、容易出错的问题，也无需配备大量的专业人员来操作，从而极大地提高了机器数据的处理效率和准确率，同时节省了人工成本。
在本发明的一个可选实施例中，参照图2，在步骤S14之后所述方法还包括以下步骤：
S15、周期性地对所述有效数据目录中的数据添加固定标记；
S16、定时扫描所述有效数据目录，将所述有效数据目录中添加有固定标记的数据批量导入指定的文件目录。
本发明实施例中，在所述将所述元数据注册到元数据管理模块之后，所述方法还包括以下步骤：对所述第一异常目录中的没有成功进行元数据注册的异常数据添加处理次数标记；当再次对所述第一异常目录中的异常数据进行重新读取时，不再对对应的处理次数标记大于预设值的异常数据进行读取。
本发明实施例通过对第一异常目录中的异常数据定期进行重新处理，并且每次对注册失败的数据添加处理次数标记，当超过预设的上限值之后，将不再对相应数据进行处理。
图3为本发明实施例的机器数据在线处理方法的具体实现原理示意图。参见图3，本发明实施例提供的机器数据在线处理方法在具体实现过程中，本实施例中，通过对实时采集的机器数据进行元数据识别，将无法识别的异常机器数据缓存到异常消息队列，将能够识别的正常数据缓存到正常消息队列，对于所述异常消息队列中的异常机器数据需要根据预设的数据过滤逻辑对其进行分类，以将所述异常机器数据中由于未注册元数据而导致无法识别的异常数据存放在第一异常目录，将所述异常机器数据中由于未注册元数据而导致无法识别的异常数据存放在第一异常目录，将异常消息队列中的数据格式非法而导致无法识别的异常数据存放在第二异常目录，周期性地读取所述第一异常目录中的异常数据，扫描文件中的数据，抽取该异常数据中包含的元数据，将所述元数据注册到元数据管理模块，如果注册成功，则对所述第一异常目录中的成功进行元数据注册的异常数据添加注册标识，否则对所述第一异常目录中的没有成功标记为失败，并添加处理次数标记，对于失败的数据，会在下一次处理过程中重新尝试注册，当再次对所述第一异常目录中的异常数据进行重新读取时，不再对对应的处理次数标记大于预设值的异常数据进行读取，具体的，这个过程可以重复执行3-5次，如果没有成功则不再继续重试。其中，异常数据中的数据会在元数据自动注册完成后，被成功补录到正常数据对应的有效数据目录中，对于无法成功补录的数据不作处理，仍然停留在异常目录中。对于有效数据目录中的数据，会被周期性地、批量地导入到最终的持久化目录中。
本发明实施例提供的机器数据在线处理方法，能够从实时接收的机器数据中自动识别出未注册元数据的异常数据，并直接从中抽取出元数据，并且同步到系统的实时分析，批量处理，查询等各分布式组件，使得后续数据能够顺利被识别。本发明解决了人工手动方式操作繁琐、效率低、容易出错的问题，也无需配备大量的专业人员来操作，从而极大地提高了机器数据的处理效率和准确率，同时节省了人工成本。
对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
图4示意性示出了本发明一个实施例的机器数据在线处理系统的结构示意图。参照图4，本发明实施例的机器数据在线处理系统具体包括识别模块401、分类模块402、注册模块403以及提取模块404，其中：
识别模块401，用于对实时采集的机器数据进行元数据识别，将无法识别的异常机器数据缓存到异常消息队列；
分类模块402，用于对所述异常消息队列中的异常机器数据进行分类，以将所述异常机器数据中由于未注册元数据而导致无法识别的异常数据存放在第一异常目录；
注册模块403，用于读取所述第一异常目录中的异常数据，抽取该异常数据中包含的元数据，将所述元数据注册到元数据管理模块，并对所述第一异常目录中的成功进行元数据注册的异常数据添加注册标识；
提取模块404，用于提取所述第一异常目录中添加有注册标识的数据，将提取出的数据导入存放有有效机器数据的有效数据目录。
在本发明的一个可选实施例中，如图5所示，所述系统还包括标记模块405和数据导入模块406，其中：
标记模块405，用于周期性地对所述有效数据目录中的数据添加固定标记；
数据导入模块406，用于定时扫描所述有效数据目录，将所述有效数据目录中添加有固定标记的数据批量导入指定的文件目录。
本发明实施例中，所述分类模块402，具体用于根据预设的数据过滤逻辑提取所述异常消息队列中的数据格式非法而导致无法识别的异常数据，并将该部分异常数据存放在第二异常目录；将所述异常消息队列中的其他机器数据划分为由于未注册元数据而导致无法识别的异常数据。
本发明实施例中，所述标记模块405，还用于在所述注册模块将所述元数据注册到元数据管理模块之后，对所述第一异常目录中的没有成功进行元数据注册的异常数据添加处理次数标记；当再次对所述第一异常目录中的异常数据进行重新读取时，不再对对应的处理次数标记大于预设值的异常数据进行读取。
对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例提供的机器数据在线处理方法及系统，能够从实时接收的机器数据中自动识别出未注册元数据的异常数据，并直接从中抽取出元数据，并且同步到系统的实时分析，批量处理，查询等各分布式组件，使得后续数据能够顺利被识别。本发明解决了人工手动方式操作繁琐、效率低、容易出错的问题，也无需配备大量的专业人员来操作，从而极大地提高了机器数据的处理效率和准确率，同时节省了人工成本。
此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述方法的步骤。
本实施例中，所述机器数据在线处理系统集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
图6为本发明实施例提供的计算机设备的示意图。本发明实施例提供的计算机设备，包括存储器501、处理器502及存储在存储器501上并可在处理器502上运行的计算机程序，所述处理器502执行所述计算机程序时实现上述各个机器数据在线处理方法实施例中的步骤，例如图1所示的S11、对实时采集的机器数据进行元数据识别，将无法识别的异常机器数据缓存到异常消息队列；S12、对所述异常消息队列中的异常机器数据进行分类，以将所述异常机器数据中由于未注册元数据而导致无法识别的异常数据存放在第一异常目录；S13、读取所述第一异常目录中的异常数据，抽取该异常数据中包含的元数据，将所述元数据注册到元数据管理模块，并对所述第一异常目录中的成功进行元数据注册的异常数据添加注册标识；S14、提取所述第一异常目录中添加有注册标识的数据，将提取出的数据导入存放有有效机器数据的有效数据目录。或者，所述处理器502执行所述计算机程序时实现上述各机器数据在线处理系统实施例中各模块/单元的功能，例如图4所示的识别模块401、分类模块402、注册模块403以及提取模块404。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述机器数据在线处理系统中的执行过程。例如，所述计算机程序可以被分割成识别模块401、分类模块402、注册模块403以及提取模块404，各模块具体功能如下：识别模块401，用于对实时采集的机器数据进行元数据识别，将无法识别的异常机器数据缓存到异常消息队列；分类模块402，用于对所述异常消息队列中的异常机器数据进行分类，以将所述异常机器数据中由于未注册元数据而导致无法识别的异常数据存放在第一异常目录；注册模块403，用于读取所述第一异常目录中的异常数据，抽取该异常数据中包含的元数据，将所述元数据注册到元数据管理模块，并对所述第一异常目录中的成功进行元数据注册的异常数据添加注册标识；提取模块404，用于提取所述第一异常目录中添加有注册标识的数据，将提取出的数据导入存放有有效机器数据的有效数据目录。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图6仅仅是计算机设备的示例，并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述计算机设备还可以包括输入输出设备、网络接入设备、总线等。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种机器数据在线处理方法，其特征在于，包括:
对实时采集的机器数据进行元数据识别，将无法识别的异常机器数据缓存到异常消息队列；
对所述异常消息队列中的异常机器数据进行分类，以将所述异常机器数据中由于未注册元数据而导致无法识别的异常数据存放在第一异常目录；
读取所述第一异常目录中的异常数据，抽取该异常数据中包含的元数据，将所述元数据注册到元数据管理模块，并对所述第一异常目录中的成功进行元数据注册的异常数据添加注册标识；
提取所述第一异常目录中添加有注册标识的数据，将提取出的数据导入存放有有效机器数据的有效数据目录。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
周期性地对所述有效数据目录中的数据添加固定标记；
定时扫描所述有效数据目录，将所述有效数据目录中添加有固定标记的数据批量导入指定的文件目录。
3.根据权利要求1或2所述的方法，其特征在于，对所述异常消息队列中的异常机器数据进行分类，包括：
根据预设的数据过滤逻辑提取所述异常消息队列中的数据格式非法而导致无法识别的异常数据，并将该部分异常数据存放在第二异常目录；
将所述异常消息队列中的其他机器数据划分为由于未注册元数据而导致无法识别的异常数据。
4.根据权利要求1或2所述的方法，其特征在于，在所述将所述元数据注册到元数据管理模块之后，所述方法还包括:
对所述第一异常目录中的没有成功进行元数据注册的异常数据添加处理次数标记；
当再次对所述第一异常目录中的异常数据进行重新读取时，不再对对应的处理次数标记大于预设值的异常数据进行读取。
5.一种机器数据在线处理系统，其特征在于，包括:
识别模块，用于对实时采集的机器数据进行元数据识别，将无法识别的异常机器数据缓存到异常消息队列；
分类模块，用于对所述异常消息队列中的异常机器数据进行分类，以将所述异常机器数据中由于未注册元数据而导致无法识别的异常数据存放在第一异常目录；
注册模块，用于读取所述第一异常目录中的异常数据，抽取该异常数据中包含的元数据，将所述元数据注册到元数据管理模块，并对所述第一异常目录中的成功进行元数据注册的异常数据添加注册标识；
提取模块，用于提取所述第一异常目录中添加有注册标识的数据，将提取出的数据导入存放有有效机器数据的有效数据目录。
6.根据权利要求5所述的系统，其特征在于，所述系统还包括：
标记模块，用于周期性地对所述有效数据目录中的数据添加固定标记；
数据导入模块，用于定时扫描所述有效数据目录，将所述有效数据目录中添加有固定标记的数据批量导入指定的文件目录。
7.根据权利要求5或6所述的系统，其特征在于，所述分类模块，具体用于根据预设的数据过滤逻辑提取所述异常消息队列中的数据格式非法而导致无法识别的异常数据，并将该部分异常数据存放在第二异常目录；将所述异常消息队列中的其他机器数据划分为由于未注册元数据而导致无法识别的异常数据。
8.根据权利要求5或6所述的系统，其特征在于，所述标记模块，还用于在所述注册模块将所述元数据注册到元数据管理模块之后，对所述第一异常目录中的没有成功进行元数据注册的异常数据添加处理次数标记；当再次对所述第一异常目录中的异常数据进行重新读取时，不再对对应的处理次数标记大于预设值的异常数据进行读取。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4任一项所述方法的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4任一项所述方法的步骤。
CN201710957384.XA 2017-10-16 2017-10-16 一种机器数据在线处理方法及系统 Active CN107729476B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710957384.XA CN107729476B (zh) 2017-10-16 2017-10-16 一种机器数据在线处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710957384.XA CN107729476B (zh) 2017-10-16 2017-10-16 一种机器数据在线处理方法及系统

Publications (2)

Publication Number Publication Date
CN107729476A true CN107729476A (zh) 2018-02-23
CN107729476B CN107729476B (zh) 2020-07-24

Family

ID=61211518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710957384.XA Active CN107729476B (zh) 2017-10-16 2017-10-16 一种机器数据在线处理方法及系统

Country Status (1)

Country Link
CN (1) CN107729476B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110275863A (zh) * 2019-06-26 2019-09-24 北京达佳互联信息技术有限公司 文件移动方法、装置及存储介质
CN112306959A (zh) * 2020-10-30 2021-02-02 广州朗国电子科技有限公司 一种移动存储设备的文件扫描方法、存储介质及设备终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1039398A2 (en) * 1999-03-23 2000-09-27 Kabushiki Kaisha Toshiba Scheme for systematically registering meta-data with respect to various types of data
JP2003296342A (ja) * 2002-03-29 2003-10-17 Hitachi Ltd メタデータ生成方法および装置
CN102254022A (zh) * 2011-07-27 2011-11-23 河海大学 一种面向多数据类型信息资源元数据的共享方法
CN102576362A (zh) * 2009-09-30 2012-07-11 株式会社日立解决方案 设置元数据的方法、设置元数据的系统以及程序
CN104750826A (zh) * 2015-03-31 2015-07-01 克拉玛依红有软件有限责任公司 一种结构化数据资源元数据自动甄别与动态注册方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1039398A2 (en) * 1999-03-23 2000-09-27 Kabushiki Kaisha Toshiba Scheme for systematically registering meta-data with respect to various types of data
JP2003296342A (ja) * 2002-03-29 2003-10-17 Hitachi Ltd メタデータ生成方法および装置
CN102576362A (zh) * 2009-09-30 2012-07-11 株式会社日立解决方案 设置元数据的方法、设置元数据的系统以及程序
CN102254022A (zh) * 2011-07-27 2011-11-23 河海大学 一种面向多数据类型信息资源元数据的共享方法
CN104750826A (zh) * 2015-03-31 2015-07-01 克拉玛依红有软件有限责任公司 一种结构化数据资源元数据自动甄别与动态注册方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110275863A (zh) * 2019-06-26 2019-09-24 北京达佳互联信息技术有限公司 文件移动方法、装置及存储介质
CN112306959A (zh) * 2020-10-30 2021-02-02 广州朗国电子科技有限公司 一种移动存储设备的文件扫描方法、存储介质及设备终端
CN112306959B (zh) * 2020-10-30 2023-10-17 广州朗国电子科技股份有限公司 一种移动存储设备的文件扫描方法、存储介质及设备终端

Also Published As

Publication number Publication date
CN107729476B (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
WO2020082579A1 (zh) 一种风险审批方法、装置、存储介质和服务器
CN107123047B (zh) 基于债券交易的数据采集系统及其数据采集方法
CN105138652B (zh) 一种企业关联关系识别方法及系统
CN110083623B (zh) 一种业务规则生成方法及装置
CN104182898B (zh) 银行系统对夜模式期间发生的联机交易进行补录的方法
CN109543663A (zh) 一种犬只身份识别方法、装置、系统及存储介质
CN108229924A (zh) 招聘信息匹配方法、装置以及计算机可读存储介质
CN111681091A (zh) 基于时间域信息的金融风险预测方法、装置及存储介质
CN111680504B (zh) 法律信息抽取模型及方法及系统及装置及辅助系统
CN107908796A (zh) 电子政务查重方法、装置以及计算机可读存储介质
CN110472246A (zh) 工单分类方法、装置及存储介质
CN107729476A (zh) 一种机器数据在线处理方法及系统
CN112329954A (zh) 物品召回方法、装置、终端设备及存储介质
CN110942066A (zh) 票据核对方法及装置
CN113205442A (zh) 基于区块链的电子政务数据反馈管理方法及装置
CN117807967A (zh) 一种基于ocr智能填单的财务报账方法、装置及电子设备
CN109508244B (zh) 数据处理方法及计算机可读介质
CN109324963B (zh) 自动测试收益结果的方法及终端设备
CN114490929A (zh) 一种招投标信息采集方法、装置、存储介质及终端设备
CN115169360A (zh) 基于人工智能的用户意图识别方法及相关设备
CN114511314A (zh) 一种支付账户管理的方法、装置、计算机设备和存储介质
CN112434965A (zh) 一种基于词频的专家标签产生方法、装置、终端
CN114547010A (zh) 数据分析方法、装置、电子设备及存储介质
CN109582795B (zh) 基于全生命周期的数据处理方法、设备、系统和介质
CN118332455B (zh) 一种管辖机构识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant