CN104036034A - 用于数据仓库的日志分析方法和装置 - Google Patents

用于数据仓库的日志分析方法和装置 Download PDF

Info

Publication number
CN104036034A
CN104036034A CN201410305348.1A CN201410305348A CN104036034A CN 104036034 A CN104036034 A CN 104036034A CN 201410305348 A CN201410305348 A CN 201410305348A CN 104036034 A CN104036034 A CN 104036034A
Authority
CN
China
Prior art keywords
daily record
dependence
metadata
record
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410305348.1A
Other languages
English (en)
Inventor
韩杰娇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING YINZHIBANG CULTURE TECHNOLOGY Co.,Ltd.
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201410305348.1A priority Critical patent/CN104036034A/zh
Publication of CN104036034A publication Critical patent/CN104036034A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种用于数据仓库的日志分析方法和装置。所述用于数据仓库的日志分析方法包括：生成记录日志之间的依赖关系的元数据；根据所述元数据对日志是否异常进行检查；若检查出异常的日志，向用户提示所述日志的异常，和/或修改异常的日志。本发明实施例公开的用于数据仓库的日志分析方法和装置保证了及时、准确的检查数据仓库中日志数据的异常。

Description

用于数据仓库的日志分析方法和装置
技术领域
本发明实施例涉及网络数据通信技术领域，尤其涉及一种用于数据仓库的日志分析方法和装置。
背景技术
随着大数据时代的来临，数据仓库技术受到了人们的青睐。数据仓库是支持管理决策过程、面向主体、集成、非易失、随时间不断变化的数据集合。它是一个信息提供平台，为用户提供各种手段从数据中获取信息和知识。也就是说，数据仓库为支持海量存储和高层决策分析提供了一种解决方案。
数据仓库本身是一来与大量的日志数据而运行的。但是，数据仓库内部日志的数据量非常之大。一个普通规模的数据仓库系统每天产生的日志条目通常在亿的数量级。而且，数据仓库系统的日志都是实时产生的，所以要求对数据仓库系统的日志的异常检查手段的实时性较高。因此，通过原有的人工手段对数据仓库系统的日志数据进行及时、准确的异常检查会十分困难。
发明内容
有鉴于此，本发明实施例提出一种用于数据仓库的日志分析方法和装置，以保证及时、准确的检查数据仓库中日志数据的异常。
第一方面，本发明实施例提供了一种用于数据仓库的日志分析方法，所述方法包括：
生成记录日志之间的依赖关系的元数据；
根据所述元数据对日志是否异常进行检查；
若检查出异常的日志，向用户提示所述日志的异常，和/或修改异常的日志。
第二方面，本发明实施例提供了一种用于数据仓库的日志分析装置，所述装置包括：
元数据生成模块，用于生成记录日志之间的依赖关系的元数据；
第一日志检查模块，用于根据所述元数据对日志是否异常进行检查；
提示修改模块，用于若检查出异常的日志，向用户提示所述日志的异常，和/或修改异常的日志。
本发明实施例提供的用于数据仓库的日志分析方法和装置，通过生成记录日志之间的依赖关系的元数据，根据所述元数据对日志是否异常进行检查，若检查出异常的日志，向用户提示所述日志的异常，和/或修改异常的日志，从而保证了及时、准确的检查数据仓库中日志数据的异常。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是本发明第一实施例提供的用于数据仓库的日志分析方法的流程图；
图2是本发明第一实施例提供的日志之间的依赖关系的示意图；
图3是本发明第二实施例提供的用于数据仓库的日志分析方法的流程图；
图4是本发明第二实施例提供的入库以后日志之间的依赖关系的示意图；
图5是本发明第三实施例提供的用于数据仓库的日志分析方法中根据元数据对日志是否异常进行检查的流程图；
图6是本发明第四实施例提供的用于数据仓库的日志分析方法的流程图；
图7是本发明第四实施例提供的可以实施所述日志分析方法的数据仓库系统的结构图；
图8是本发明第五实施例提供的用于数据仓库的日志分析装置的结构图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。
图1及图2示出了本发明的第一实施例。
图1是本发明第一实施例提供的用于数据仓库的日志分析方法的流程图。所述用于数据仓库的日志分析方法由用于数据仓库的日志分析装置执行。并且，所述用于数据仓库的日志分析装置集成与数据仓库系统的服务器中。参见图1，所述用于数据仓库的日志分析方法包括：
S110，生成记录日志之间的依赖关系的元数据。
数据仓库系统中的日志记录着数据仓库系统基本配置信息和数据仓库内的各种事件。这些事件包括数据仓库系统中关键模块的启动、关闭，管理员对数据仓库系统及其关键模块的维护操作以及用户对数据仓库系统的各种使用操作。由于数据仓库系统本身的规模巨大，其产生的日志的数据量也十分巨大。
在数据仓库系统的日志数据中，有一些日志数据以依赖与所述数据仓库系统中已有的其他日志数据而产生的。例如一条记录用户对音乐库中一首歌曲的播放行为的日志，该条日志的各个数据字段如下表所示：
date time action userID platform songID album artist
其中，该条日志的date字段和time字段表示用户执行操作的时间，action字段表示用户执行的操作类别，userID字段表示用户的ID号码，platform字段表示用户所使用的客户端的平台，songID字段表示用户执行操作的目标歌曲在音乐库中的ID号码，album字段表示目标歌曲所属的专辑名称，artist字段表示创作目标歌曲的艺术家的名字。
在这样的一条日志中，userID字段和platform字段可以依赖于记载用户信息的日志而生成，而songID字段、album字段以及artist字段可以依赖于记载音乐库中歌曲信息的日志而生成。
对于这样依赖于其他日志数据而产生的日志数据，在产生该日志数据的同时，生成记录本条日志对其他日志数据的依赖关系的元数据，用以记录日志之间的这种依赖关系。
使用元数据记录日志之间的依赖关系时，依赖于其他日志数据而生成的日志数据被称为下游日志，而作为下游日志生成的依据的日志数据被称为上游日志。所述元数据用于记录下游日志对上游日志的依赖关系。
图2是本发明第一实施例提供的日志之间的依赖关系的示意图。参见图2，下游日志203依据上游日志201、202而生成，则下游日志203对上游日志201、202有依赖关系。所述元数据就用于记录下游日志203对上游日志201、202的这种依赖关系。
优选的，所述元数据可以是可扩展标记语言(Extensible markup language,XML)文件。以上述的记录用户对音乐库中一首歌曲的播放行为的日志为例，记录它对上游日志的依赖关系的元数据可以是：
<dependency>
<userID>user_info:user_id</userID>
<platform>user_info:plat</platform>
<songID>song_info:song_id</songID>
<album>song_info:album_name</album>
<artist>song_info:artist_name</artist>
</dependency>
其中，user_info是用于记载用户信息的日志的名称，song_info是用于记载音乐库中歌曲信息的日志的名称。User_id和plat分别是用于记载用户信息的日志的字段，分别用于记录用户的ID号以及用户使用的平台的名称。Song_id、album_name以及artist_name分别是用于记载音乐库中歌曲信息的日志的字段，分别用于记录歌曲的ID号、歌曲所属专辑的名称以及创作歌曲的艺术家的名字。
当然，元数据还可以使用除了XML文件以外的其他数据格式对日志之间的依赖关系进行记录。
S120，根据所述元数据对日志是否异常进行检查。
在生成记录日志之间的依赖关系的元数据之后，可以根据元数据中记录的下游日志对上游日志的依赖关系对日志是否异常进行检查。
优选的，可以根据元数据中记录的下游日志对上游日志的依赖关系检查下游日志的数据与上游日志的数据是否一致。如果存在依赖关系的下游日志数据与上游日志数据一致，则表明日志数据正常；相反，如果存在依赖关系的下游日志数据与上游日志数据不一致，则表明日志数据出现了异常。
S130，若检查出异常的日志，向用户提示所述日志的异常，和/或修改异常的日志。
一旦检查出日志数据中的异常情况，需要向用户提示检查出的异常情况。提示异常情况有多种方式。可以通过显示提示消息、播放提示语音等方式向用户提示日志的异常。进一步优选的，还可以通过显示提示消息等方式提示用户对异常的日志进行修正。
检查出日志中的异常以后，也可以对日志数据自动进行修改。在对日志进行修改的操作中，是依照上游日志的数据对下游日志进行修改，除非上游日志的数据有明显错误。
进一步的，还可以在向用户提示异常的同时，对日志数据进行修改。
本实施例通过生成记录日志之间的依赖关系的元数据，根据所述元数据对日志是否异常进行检查，以及若检查出异常的日志，向用户提示所述日志的异常，使得能够在数据仓库内部明确的记录日志数据之间的依赖关系，并能够根据所述依赖关系对日志数据的异常及时进行检查，从而使得数据仓库系统能够及时、准确的检查数据仓库中日志数据的异常。
图3及图4示出了本发明的第二实施例。
图3是本发明第二实施例提供的用于数据仓库的日志分析方法的流程图。所述用于数据仓库的日志分析方法以本发明的第一实施例为基础，进一步的，在生成记录日志之间的依赖关系的元数据之前，还包括：将日志进行规范化处理，并将经过规范化处理的日志存入数据库。
参见图3，所述用于数据仓库的日志分析方法包括：
S310，将日志进行规范化处理，并将经过规范化处理的日志存入数据库。
由于数据仓库系统中日志数据的数量巨大，因此在生成元数据，并依据元数据对日志数据的异常进行检查之前，将日志数据存入数据库，以便提高对日志数据进行检查的效率。
在数据仓库系统中能够产生日志数据的软件模块众多，这就造成日志数据的内容不规范。因此，在将日志数据存入数据库之前，还需要对日志数据进行规范化处理。所述规范化处理主要是指去除明显不符合格式要求的日志，去除日志数据中的非法字符以及去除明显重复记录的日志数据。
在将日志存入数据库以后，假设只利用数据库中的数据表来存储日志数据，则日志之间的依赖关系就表现为数据表之间的依赖关系。所以存储上游日志的数据表可以被称为上游数据表。相应的，存储下游日志的数据表可以被称为下游数据表。图4是本发明第二实施例提供的入库以后日志之间的依赖关系的示意图。参见图4，下游数据表403对上游数据表401、402有依赖关系。
对日志数据的入库操作可以是在对日志进行检查之前，一次性将数据仓库系统中的所有日志全部入库，也可以是每隔固定的时间周期，定时的将新增的日志数据进行苦苦。
S320，生成记录日志之间的依赖关系的元数据。
S330，根据所述元数据对日志是否异常进行检查。
S340，若检查出异常的日志，向用户提示所述日志的异常，和/或修改异常的日志。
本实施例通过在生成记录日志之间的依赖关系的元数据之前，将日志进行规范化处理，并将经过规范化处理的日志存入数据库，使得数据仓库系统能够依据数据库的形式对日志数据是否异常进行检查，提高了对日志异常情况进行检查的效率。
图5示出了本发明的第三实施例。
图5是本发明第三实施例提供的用于数据仓库的日志分析方法中根据元数据对日志是否异常进行检查的流程图。所述用于数据仓库的日志分析方法以本发明第一实施例为基础，进一步的，根据所述元数据对日志是否异常进行检查包括：读取所述元数据记录的日志之间的依赖关系；根据所述日志之间的依赖关系，对日志进行血统分析。
参见图5，根据所述元数据对日志是否异常进行检查包括：
S121，读取所述元数据记录的日志之间的依赖关系。
所述元数据用于记录日志之间的依赖关系。优选的，所述元数据用于记录下游日志对上游日志的依赖关系。更为具体的，所述元数据中记录了下游日志中的具体字段对上游日志中的具体字段的依赖关系。
所述元数据可以采用多种形式记录日志之间的依赖关系。在本实施例中，所诉元数据采用XML文件的形式记录日志之间的依赖关系。
在根据元数据对日志是否异常进行检查时，首先从所述元数据的XML文件中读取日志之间的依赖关系。具体的，需要从所述元数据中读取下游日志的具体字段对上游日志中具体字段的依赖关系。比如，记载用户对音乐库中一首歌曲的播放行为的日志中的userID字段是依据记载用户信息的日志中的user_id字段生成的。
S122，根据所述日志之间的依赖关系，对日志进行血统分析。
读取所述元数据记录的日志之间的依赖关系以后，可以根据这种依赖关系对日志进行血统分析。
优选的，根据所述日志之间的依赖关系，对日志进行血统分析是指根据所述日志之间的依赖关系，并依据系统上线时间，检查所述依赖关系中上游日志与下游日志的数据一致性。
如果下游日志中的一个字段是依据上游日志中的另一个字段生成的，则可以将上游日志的所述字段为父字段，而将下游日志的所述字段为子字段。在对应的记录中，父字段的取值应当与子字段的取值相同。因此，可以通过对上游日志与下游日志之间对应数据字段的数据一致性的检查来判断日志中是否出现了异常。
对日志执行的血统分析还需要考虑系统的上线时间。也就是说，日志中如果出现记录时间早于数据仓库系统的上线时间的日志，则该条日志一定是异常日志。
需要说明的是，对上游数据与下游数据之间的数据一致性的检查以及根据系统的上线时间的检查是同时进行的。也就是说在对日志数据的异常检查的过程中，需要既考虑上游数据与下游数据之间的数据一致性，还考虑系统的上线时间。
本实施例通过读取所述元数据记录的日志之间的依赖关系，并根据所述日志之间的依赖关系，对日志进行血统分析，显示了对上游日志与下游日志之间的数据一致性的检查，从而对数据仓库中日志的异常进行了及时、准确的检查。
图6及图7示出了本发明的第四实施例。
图6是本发明第四实施例提供的用于数据仓库的日志分析方法的流程图。所述用于数据仓库的日志分析方法以本发明第一实施例为基础，进一步的，在根据所述元数据对日志是否异常进行检查之前，还包括：根据预先定义的日志规范对日志的格式规范性进行检查。
参见图6，所述用于数据仓库的日志分析方法包括：
S610，生成记录日志之间的依赖关系的元数据。
S620，根据预先定义的日志规范对日志的格式规范性进行检查。
所述日志规范是对日志数据的格式规范性进行定义的数据。示例的，所述日志规范可以定义日志中不能包含的非法字符，某一类型的日志记录的能否重复记录，应该记录的频次以及应该记录的时机。
在根据元数据对日志是否异常进行检查之前，还可以根据所述日志规范对日志的格式规范性进行检查。优选的，可以依据日志规范对日志是否重复记录、日志的记录频率以及日志的记录时机进行检查。
S630，根据所述元数据对日志是否异常进行检查。
S640，若检查出异常的日志，向用户提示所述日志的异常，和/或修改异常的日志。
如果在根据日志规范对日志的格式规范性进行检查的过程中，发现了日志的格式规范性问题，同样认为日志数据出现了异常，需要向用户提示所述日志的异常，和/或修改异常的日志。
图7是本发明第四实施例提供的可以实施所述日志分析方法的数据仓库系统的结构图。参见图7，所述数据仓库系统包括：日志规范710、元数据管理模块720、血统分析模块730以及扫描引擎模块740。
所述日志规范710是对数据仓库系统中日志的格式规范性进行定义的数据。所述元数据管理模块720用于产生和管理关于日志的元数据。所述血统分析模块730用于对日志数据进行血统分析。所述扫描引擎模块740用于根据所述日志规范710以及所述血统分析模块730的分析结果对日志进行扫描，已将日志中的异常情况提示给用户。
需要说明的是，所述扫描引擎模块740对日志数据的扫描，可以是对所述数据仓库系统内所有日志的扫描，也可以是根据日志的记录时间对日志数据进行选择后，对所选择的那部分日志数据的扫描。优选的，可以根据所述数据仓库系统的上线时间，选择仅对在系统上线时间以后记录的日志数据进行扫描。
所述元数据管理模块720又包括基础元数据管理单元721以及其他元数据管理单元722。其中，所述基础元数据管理单元721用于完成所述数据仓库系统中基础元数据的产生和管理，而所述其他元数据管理单元722则用于完成所述数据仓库系统中其他元数据的产生和管理。
本实施例通过利用日志规范定义日志的格式规范性，并在根据所述元数据对日志是否异常进行检查之前，根据所述日志规范检查日志的格式规范性，使得数据仓库系统能够根据日志规范及时发现日志数据中格式方面的异常，从而对数据仓库中日志的异常进行了及时、准确的检查。
图8示出了本发明的第五实施例。
图8是本发明第五实施例提供的用于数据仓库的日志分析装置的结构图。参见图8，所述用于数据仓库的日志分析装置包括：元数据生成模块820、第一日志检查模块840以及提示修改模块850。
所述元数据生成模块820用于生成记录日志之间的依赖关系的元数据。
所述第一日志检查模块840用于根据所述元数据对日志是否异常进行检查。
所述提示模块850用于若检查出异常的日志，向用户提示所述日志的异常，和/或修改异常的日志。
优选的，所述元数据用于记录下游日志对上游日志的依赖关系。
优选的，所述第一日志检查模块840包括：元数据读取单元841以及血统分析单元842。
所述元数据读取单元841用于读取所述元数据记录的日志之间的依赖关系。
所述血统分析单元842用于根据所述日志之间的依赖关系，对日志进行血统分析。
优选的，所述血统分析单元842具体用于：
根据所述日志之间的依赖关系，并依据系统上线时间，检查所述依赖关系中上游日志与下游日志的数据一致性。
优选的，所述用于数据仓库的日志分析装置还包括：第二日志检查模块830。
所述第二日志检查模块830用于在根据所述元数据对日志是否异常进行检查之前，根据预先定义的日志规范对日志的格式规范性进行检查。
优选的，所述第二日志检查模块830具体用于：
根据预先定义的日志规范对日志是否重复记录、日志的记录频率以及日志的记录时机进行检查。
优选的，所述用于数据仓库的日志分析装置还包括：日志入库模块810。
所述日志入库模块810用于在生成记录日志之间的依赖关系的元数据之前，将日志进行规范化处理，并将经过规范化处理的日志存入数据库。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间的相同或相似的部分互相参见即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系属于仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种用于数据仓库的日志分析方法，其特征在于，包括：
生成记录日志之间的依赖关系的元数据；
根据所述元数据对日志是否异常进行检查；
若检查出异常的日志，向用户提示所述日志的异常，和/或修改异常的日志。
2.根据权利要求1所述的方法，其特征在于，所述元数据用于记录下游日志对上游日志的依赖关系。
3.根据权利要求1所述的方法，其特征在于，根据所述元数据对日志是否异常进行检查包括：
读取所述元数据记录的日志之间的依赖关系；
根据所述日志之间的依赖关系，对日志进行血统分析。
4.根据权利要求3所述的方法，其特征在于，根据所述日志之间的依赖关系，对日志进行血统分析包括：
根据所述日志之间的依赖关系，并依据系统上线时间，检查所述依赖关系中上游日志与下游日志的数据一致性。
5.根据权利要求1所述的方法，其特征在于，在根据所述元数据对日志是否异常进行检查之前，还包括：
根据预先定义的日志规范对日志的格式规范性进行检查。
6.根据权利要求5所述的方法，其特征在于，根据预先定义的日志规范对日志的格式规范性进行检查包括：
根据预先定义的日志规范对日志是否重复记录、日志的记录频率以及日志的记录时机进行检查。
7.根据权利要求1所述的方法，其特征在于，在生成记录日志之间的依赖关系的元数据之前，还包括：
将日志进行规范化处理，并将经过规范化处理的日志存入数据库。
8.一种用于数据仓库的日志分析装置，其特征在于，包括：
元数据生成模块，用于生成记录日志之间的依赖关系的元数据；
第一日志检查模块，用于根据所述元数据对日志是否异常进行检查；
提示修改模块，用于若检查出异常的日志，向用户提示所述日志的异常，和/或修改异常的日志。
9.根据权利要求8所述的装置，其特征在于，所述元数据用于记录下游日志对上游日志的依赖关系。
10.根据权利要求8所述的装置，其特征在于，所述第一日志检查模块包括：
元数据读取单元，用于读取所述元数据记录的日志之间的依赖关系；
血统分析单元，用于根据所述日志之间的依赖关系，对日志进行血统分析。
11.根据权利要求10所述的装置，其特征在于，所述血统分析单元具体用于：
根据所述日志之间的依赖关系，并依据系统上线时间，检查所述依赖关系中上游日志与下游日志的数据一致性。
12.根据权利要求8所述的装置，其特征在于，还包括：
第二日志检查模块，用于在根据所述元数据对日志是否异常进行检查之前，根据预先定义的日志规范对日志的格式规范性进行检查。
13.根据权利要求12所述的装置，其特征在于，所述第二日志检查模块具体用于：
根据预先定义的日志规范对日志是否重复记录、日志的记录频率以及日志的记录时机进行检查。
14.根据权利要求8所述的装置，其特征在于，还包括：
日志入库模块，用于在生成记录日志之间的依赖关系的元数据之前，将日志进行规范化处理，并将经过规范化处理的日志存入数据库。
CN201410305348.1A 2014-06-30 2014-06-30 用于数据仓库的日志分析方法和装置 Pending CN104036034A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410305348.1A CN104036034A (zh) 2014-06-30 2014-06-30 用于数据仓库的日志分析方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410305348.1A CN104036034A (zh) 2014-06-30 2014-06-30 用于数据仓库的日志分析方法和装置

Publications (1)

Publication Number Publication Date
CN104036034A true CN104036034A (zh) 2014-09-10

Family

ID=51466804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410305348.1A Pending CN104036034A (zh) 2014-06-30 2014-06-30 用于数据仓库的日志分析方法和装置

Country Status (1)

Country Link
CN (1) CN104036034A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105653565A (zh) * 2014-12-03 2016-06-08 北京神州泰岳软件股份有限公司 一种数据核查方法和数据核查装置
CN106294478A (zh) * 2015-06-04 2017-01-04 阿里巴巴集团控股有限公司 数据仓库的数据处理方法及装置
CN106598764A (zh) * 2015-10-14 2017-04-26 北京国双科技有限公司 异常处理方法和装置
CN108304311A (zh) * 2015-06-26 2018-07-20 中兴通讯股份有限公司 一种日志信息检测方法及装置
CN109885467A (zh) * 2019-02-03 2019-06-14 北京字节跳动网络技术有限公司 数据波动的报警方法、装置、存储介质及电子设备
CN109947713A (zh) * 2017-10-31 2019-06-28 北京国双科技有限公司 一种日志的监控方法及装置
CN110162422A (zh) * 2019-04-30 2019-08-23 阿里巴巴集团控股有限公司 一种基于决策树的问题定位方法和装置
CN113176977A (zh) * 2021-04-27 2021-07-27 南开大学 一种构建物联网工作流的交错日志分析方法
CN113176977B (zh) * 2021-04-27 2024-10-18 南开大学 一种构建物联网工作流的交错日志分析方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100318858A1 (en) * 2009-06-15 2010-12-16 Verisign, Inc. Method and system for auditing transaction data from database operations
CN102750322A (zh) * 2012-05-22 2012-10-24 中国科学院计算技术研究所 一种机群文件系统分布式元数据一致性保证方法和系统
CN103077222A (zh) * 2012-12-31 2013-05-01 中国科学院计算技术研究所 机群文件系统分布式元数据一致性保证方法及系统
CN103532754A (zh) * 2013-10-12 2014-01-22 北京首信科技股份有限公司 一种通过高速内存、分布式处理海量日志的系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100318858A1 (en) * 2009-06-15 2010-12-16 Verisign, Inc. Method and system for auditing transaction data from database operations
CN102750322A (zh) * 2012-05-22 2012-10-24 中国科学院计算技术研究所 一种机群文件系统分布式元数据一致性保证方法和系统
CN103077222A (zh) * 2012-12-31 2013-05-01 中国科学院计算技术研究所 机群文件系统分布式元数据一致性保证方法及系统
CN103532754A (zh) * 2013-10-12 2014-01-22 北京首信科技股份有限公司 一种通过高速内存、分布式处理海量日志的系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨玢玢: "数据仓库元数据的管理与运用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105653565A (zh) * 2014-12-03 2016-06-08 北京神州泰岳软件股份有限公司 一种数据核查方法和数据核查装置
CN106294478A (zh) * 2015-06-04 2017-01-04 阿里巴巴集团控股有限公司 数据仓库的数据处理方法及装置
CN106294478B (zh) * 2015-06-04 2019-11-08 阿里巴巴集团控股有限公司 数据仓库的数据处理方法及装置
CN108304311A (zh) * 2015-06-26 2018-07-20 中兴通讯股份有限公司 一种日志信息检测方法及装置
CN106598764A (zh) * 2015-10-14 2017-04-26 北京国双科技有限公司 异常处理方法和装置
CN106598764B (zh) * 2015-10-14 2019-12-03 北京国双科技有限公司 异常处理方法和装置
CN109947713B (zh) * 2017-10-31 2021-08-10 北京国双科技有限公司 一种日志的监控方法及装置
CN109947713A (zh) * 2017-10-31 2019-06-28 北京国双科技有限公司 一种日志的监控方法及装置
CN109885467A (zh) * 2019-02-03 2019-06-14 北京字节跳动网络技术有限公司 数据波动的报警方法、装置、存储介质及电子设备
CN109885467B (zh) * 2019-02-03 2022-08-23 北京字节跳动网络技术有限公司 数据波动的报警方法、装置、存储介质及电子设备
CN110162422A (zh) * 2019-04-30 2019-08-23 阿里巴巴集团控股有限公司 一种基于决策树的问题定位方法和装置
CN113176977A (zh) * 2021-04-27 2021-07-27 南开大学 一种构建物联网工作流的交错日志分析方法
CN113176977B (zh) * 2021-04-27 2024-10-18 南开大学 一种构建物联网工作流的交错日志分析方法

Similar Documents

Publication Publication Date Title
CN104036034A (zh) 用于数据仓库的日志分析方法和装置
US8874600B2 (en) System and method for building a cloud aware massive data analytics solution background
Tiwari Professional nosql
US10372492B2 (en) Job-processing systems and methods with inferred dependencies between jobs
Mockus Engineering big data solutions
US20140297680A1 (en) Analyzing multiple data streams as a single data object
CN112825069B (zh) 数据库数据的分析方法、设备、系统及存储介质
US10083031B2 (en) Cognitive feature analytics
CN102289460A (zh) 一种向测试环境进行报表元数据同步的方法及系统
CN113609374A (zh) 基于内容推送的数据处理方法、装置、设备及存储介质
CN112559475A (zh) 数据实时捕获和传输方法及系统
US20190325258A1 (en) Early feedback of schematic correctness in feature management frameworks
Ghane Big data pipeline with ML-based and crowd sourced dynamically created and maintained columnar data warehouse for structured and unstructured big data
KR101171551B1 (ko) 이벤트 이력 기억 장치, 이벤트 이력 추적 장치, 이벤트 이력 기억 방법, 이벤트 이력 기억 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 및 데이터 구조를 기록한 컴퓨터 판독 가능한 기록 매체
JP2019537171A (ja) 警告メッセージを効率的に配信するためのシステム及び方法
Chen et al. Reliable Machine Learning
CN111881126A (zh) 一种大数据管理系统
CN108257034A (zh) 一种实验数据查询系统
US9773081B2 (en) Analytic model lifecycle maintenance and invalidation policies
CN112035566B (zh) 数据调用方法、装置、电子设备和存储介质
KR20090003040A (ko) 비즈니스 프로세스 수행시 메타데이터 규정을 통한 데이터품질관리 방법 및 시스템
Kumar Software Engineering for Big Data Systems
KR101926165B1 (ko) 웹 기반 hmi 솔루션의 문서 편집 시스템 및 그 방법
Kim et al. A Study of design with spatial rule-based engine using geospatial big-data
CN116484054B (zh) 数据处理方法及相关装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160315

Address after: 100085, Beijing, Haidian District Qinghe Anning East Road No. 23, building two, 18, 2108

Applicant after: BEIJING YINZHIBANG CULTURE TECHNOLOGY Co.,Ltd.

Address before: 100085 Beijing, Haidian District, No. ten on the ground floor, No. 10 Baidu building, layer three

Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20140910