CN104298671A - 数据统计分析方法及装置 - Google Patents

数据统计分析方法及装置 Download PDF

Info

Publication number
CN104298671A
CN104298671A CN201310298192.4A CN201310298192A CN104298671A CN 104298671 A CN104298671 A CN 104298671A CN 201310298192 A CN201310298192 A CN 201310298192A CN 104298671 A CN104298671 A CN 104298671A
Authority
CN
China
Prior art keywords
task
database
parameters
task parameters
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310298192.4A
Other languages
English (en)
Other versions
CN104298671B (zh
Inventor
梅迎春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE ICT Technologies Co Ltd
Original Assignee
ZTE ICT Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE ICT Technologies Co Ltd filed Critical ZTE ICT Technologies Co Ltd
Priority to CN201310298192.4A priority Critical patent/CN104298671B/zh
Publication of CN104298671A publication Critical patent/CN104298671A/zh
Application granted granted Critical
Publication of CN104298671B publication Critical patent/CN104298671B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据统计分析方法及装置，所述方法包括：解析所接收的任务参数，按照预设规则组装数据库的建表语句，并根据所述建表语句在所述数据库中执行建表操作；根据所述任务参数生成所述任务参数对应的任务，并根据所述任务参数调度分布式框架执行所生成的任务，将执行所生成的任务后确定的统计分析的结果存储至在所述数据库所建立的对应的表中。通过本发明的技术方案，解决了相关技术中无法获知任务的操作记录和执行任务后的统计分析结果的问题。

Description

数据统计分析方法及装置
技术领域
本发明涉及数据库技术，尤其涉及一种数据统计分析方法及装置。
背景技术
Hive是基于Apache分布式框架Hadoop的数据仓库工具，用于存储和处理海量结构化数据，Hive将数据存储于Hadoop分布式文件系统（HDFS，HadoopDistributed File System），采用类似数据库的数据存储和处理机制，并采用HQL（Hive Query Language）对这些数据进行自动化管理和处理。
分布式的、面向列的数据库HBase可以使用本地文件系统或HDFS存储数据，但为了提高数据可靠性和系统的健壮性，发挥HBase处理大数据量的优势时需要使用HDFS作为存储数据的文件系统。
Hive将海量结构化数据映射到一张数据库表中，而实际上这些数据分布式地存储在HDFS中，Hive对数据分析人员下达的命令语句进行解析和转换，最终生成一系列基于Hadoop的映射/规约（Map/Reduce）模型的任务（Job），由Hadoop执行这些任务完成对数据的统计分析。
目前，数据分析人员直接操作Hive时需要有较高的专业操作技能，不利于该技术的推广，并且，Hive的一些功能例如用户定义函数（UDF，User DefinedFunction）需要频繁加载，操作繁琐且效率低下；对于频繁执行或者定期执行的对HBase的数据文件进行统计分析的任务，通常编写脚本通过任务管理工具Cron来调度执行，实际应用中任务数量较多，且管理人员无从得知脚本具体的功能，因此无法得知相应任务的操作记录，任务失败时也就无法进行恢复操作。
综上所述，由于相关技术中无法获知脚本的具体功能，因此无法获知任务的操作记录以及任务的统计分析结果。
发明内容
有鉴于此，本发明的主要目的在于提供一种数据统计分析方法及装置，以解决相关技术中无法获知任务的操作记录以及任务的统计分析结果的问题。
为达到上述目的，本发明的技术方案是这样实现的：
本发明提供了一种数据统计分析方法，该方法支持数据仓库工具对基于分布式框架的数据库中的数据进行统计分析，所述数据库中的数据与对所述数据库中的数据进行统计分析的任务预关联，该方法包括：
解析所接收的任务参数，按照预设规则组装所述数据库的建表语句，并根据所述建表语句在所述数据库中执行建表操作；
根据所述任务参数生成所述任务参数对应的任务，并根据所述任务参数调度所述分布式框架执行所生成的任务，将执行所生成的任务后确定的统计分析的结果存储至在所述数据库所建立的对应的表中。
优选地，解析所接收的任务参数之前，该方法还包括：
将所接收的任务参数存储至缓冲存储器；
持久化所接收的任务参数至所述数据库；
在所述缓冲存储器存储的任务参数丢失时，将所述数据库中的任务参数发送至所述缓冲存储器。
优选地，所述任务参数包括：任务身份标识（ID，IDentity）、任务对应的命令语句；
相应地，所述解析所接收的任务参数之前，该方法还包括：
确定所述存储缓冲器中未存储所述任务ID，且所述命令语句有效。
优选地，所述解析所接收的任务参数，按照预设规则组装所述数据库的建表语句，并根据所述建表语句在所述数据库中执行建表操作，包括：
解析所述任务参数中的命令语句，从所述命令语句的解析结果中提取查询字段，在所述数据库中建立与所述任务ID对应的表，在所述对应的表中建立与所述查询字段对应的字段。
优选地，所述任务参数还包括：任务状态标识、任务执行日期、任务执行时间和任务关联的编程模型；
相应地，所述根据所述任务参数生成所述任务参数对应的任务，并根据所述任务参数调度所述分布式框架执行所生成的任务，将执行所生成的任务后确定的统计分析的结果存储至在所述数据库所建立的对应的表中，包括：
根据所述命令语句和所述任务关联的编程模型生成任务，在确定所生成的任务对应的状态标识为开启时，在所述任务执行日期的所述任务执行时间指定的时间到来时，调度所述分布式框架而执行所生成的任务，并将执行所述任务的记录和执行所述任务后确定的统计分析的结果，存储至所述数据库中所述查询字段对应的字段。
本发明还提供了一种数据统计分析装置，该装置支持数据仓库工具对基于分布式框架的数据库中的数据进行统计分析，所述数据库中的数据与对所述数据库中的数据进行统计分析的任务预关联，该装置包括：接收模块、解析建表模块、任务生成模块和调度执行模块；其中，
所述接收模块，用于接收任务参数；
所述解析建表模块，用于解析所接收的任务参数，按照预设规则组装所述数据库的建表语句，并根据所述建表语句在所述数据库中执行建表操作；
所述任务生成模块，用于根据所述任务参数生成所述任务参数对应的任务；
所述调度执行模块，用于根据所述任务参数调度所述分布式框架执行所生成的任务，将执行所生成的任务后确定的统计分析的结果，存储至在所述数据库所建立的对应的表中。
优选地，该装置还包括缓冲存储器和发送模块；其中，
所述接收模块，还用于将接收的任务参数存储至所述缓冲存储器；持久化所接收的任务参数至所述数据库；
所述发送模块，用于在所述缓冲存储器存储的任务参数丢失时，将所述数据库中的任务参数发送至所述缓冲存储器。
优选地，所述任务参数包括：任务ID、任务对应的命令语句；
该装置还包括：确定模块，用于确定所述存储缓冲器中未存储所述任务ID，且所述命令语句有效时，触发所述解析建表模块。
优选地，所述解析建表模块，还用于解析所述任务参数中的命令语句，从所述命令语句的解析结果中提取查询字段，在所述数据库中建立与所述任务ID对应的表，在所述对应的表中建立与所述查询字段对应的字段。
优选地，所述任务参数还包括：任务状态标识、任务执行日期、任务执行时间和任务关联的编程模型；
所述任务生成模块，还用于根据所述命令语句和所述任务关联的编程模型生成任务；
所述确定模块，还用于确定所生成的任务对应的状态标识为开启时，在所述任务执行日期的所述任务执行时间指定的时间到来时触发所述调度执行模块；
所述调度执行模块，还用于调度所述分布式框架执行所生成的任务，将执行所生成的任务后确定的统计分析的结果，存储至在所述数据库所建立的对应的表中。
本发明所提供的技术方案中，根据任务参数在数据库中建立与任务对应的表，并根据所述任务参数调度分布式框架执行根据任务参数生成的任务，而任务执行后统计分析的结果存储在所建立的表中，解决了无法获知任务操作记录及任务统计分析结果的问题；
进一步地，在所述缓冲存储器存储的任务参数丢失时，将所述数据库中的任务参数发送至所述缓冲存储器，保证了任务执行的健壮性和稳定性；
进一步地，确定所述存储缓冲器中未存储所述任务ID，且所述命令语句有效，如此，在任务ID重复或任务对应的命令语句无效时，方便了数据分析人员及时排查错误，提高了数据统计分析效率；
进一步地，从所述命令语句的解析结果中提取查询字段，在所述数据库中建立与所述任务ID对应的表，在所述对应的表中建立与所述查询字段对应的字段，方便了数据分析人员查询执行失败的任务，以及时恢复任务；
进一步地，通过任务对应的状态标识、任务执行日期和任务执行时间来调度分布式框架执行所生成的任务，实现了高效地对任务进行管理。
附图说明
图1为本发明实施例的数据统计分析方法的实现流程示意图；
图2为本发明实施例的数据统计分析装置的组成结构示意图；
图3为本发明实施例的预定义任务的实现流程示意图；
图4为本发明实施例的调度执行任务的实现流程示意图。
具体实施方式
本发明的基本思想是：通过预设类型的任务参数，例如任务ID、任务对应的命令语句，任务状态标识等区分任务，并根据任务参数在数据库中建立与任务ID对应的表，并在表中建立与任务对应命令语句的查询字段对应的字段，通过该字段存储任务的操作记录和统计分析结果。
下面结合附图及具体实施例对本发明做进一步详细的说明。
本发明实施例记载了一种数据统计分析方法，该方法支持数据仓库工具对基于分布式框架的数据库中的数据进行统计分析，所述数据库中的数据与对所述数据库中的数据进行统计分析的任务预关联，图1为本发明实施例的数据统计分析方法的实现流程示意图，如图1所示，主要包括以下步骤：
步骤101：解析所接收的任务参数，按照预设规则组装所述数据库的建表语句，并根据所述建表语句在所述数据库中执行建表操作；
步骤102：根据所述任务参数生成所述任务参数对应的任务，并根据所述任务参数调度所述分布式框架执行所生成的任务，将执行所生成的任务后确定的统计分析的结果存储至在所述数据库所建立的对应的表中。
优选地，解析所接收的任务参数之前，还包括：
将所接收的任务参数存储至缓冲存储器；
持久化所接收的任务参数至所述数据库；
在所述缓冲存储器存储的任务参数丢失时，将所述数据库中的任务参数发送至所述缓冲存储器。
优选地，所述任务参数包括：任务ID、任务对应的命令语句；
相应地，所述解析所接收的任务参数之前，该方法还包括：
确定所述存储缓冲器中未存储所述任务ID，且所述命令语句有效。
优选地，所述解析所接收的任务参数，按照预设规则组装所述数据库的建表语句，并根据所述建表语句在所述数据库中执行建表操作，包括：
解析所述任务参数中的命令语句，从所述命令语句的解析结果中提取查询字段，在所述数据库中建立与所述任务ID对应的表，在所述对应的表中建立与所述查询字段对应的字段。
优选地，所述任务参数还包括：任务状态标识、任务执行日期、任务执行时间和任务关联的编程模型；
相应地，所述根据所述任务参数生成所述任务参数对应的任务，并根据所述任务参数调度所述分布式框架执行所述任务，将执行所述任务后的统计分析的结果存储至在所述数据库建立的表中，包括：
根据所述命令语句和所述任务关联的编程模型生成任务，在确定所生成的任务对应的状态标识为开启时，在所述任务执行日期的所述任务执行时间指定的时间到来时，调度所述分布式框架而执行所生成的任务，并将执行所述任务的记录和执行所述任务后确定的统计分析的结果，存储至所述数据库中所述查询字段对应的字段。
其中，所述数据仓库工具可以采用Hive，所述分布式框架可以采用开源分布式框架Hadoop，相应地，所述数据库为对应Hadoop的数据库HBase，所述任务关联的编程模型为映射/规约（Map/Reduce）模型。
其中，所述任务对应的命令语句可以采用HQL语句，也可以根据实际的应用场景定义所使用的语句。
需要说明的是，本发明实施例中所述的任务参数不仅限于以上所述，例如，任务参数还可以包括：任务名称、任务描述（任务的功能或用途）。
本发明实施例还记载了一种数据统计分析装置，该装置支持数据仓库工具对基于分布式框架的数据库中的数据进行统计分析，所述数据库中的数据与对所述数据库中的数据进行统计分析的任务预关联，图2为本发明实施例的数据统计分析装置的组成结构示意图，如图2所示，该装置包括：接收模块21、解析建表模块22、任务生成模块23和调度执行模块24；其中，
所述接收模块21，用于接收任务参数；
所述解析建表模块22，用于解析所接收的任务参数，按照预设规则组装所述数据库的建表语句，并根据所述建表语句在所述数据库中执行建表操作；
所述任务生成模块23，用于根据所述任务参数生成所述任务参数对应的任务；
所述调度执行模块24，用于根据所述任务参数调度所述分布式框架执行所生成的任务，将执行所生成的任务后确定的统计分析的结果，存储至在所述数据库所建立的对应的表中。
所述接收模块21，可以通过显示器显示对应任务的界面，来提示操作人员输入任务对应的参数信息，并通过输入设备接收对应的任务参数。
优选地，该装置还包括缓冲存储器25和发送模块26；其中，
所述接收模块21，还用于将接收的任务参数存储至所述缓冲存储器25；持久化所接收的任务参数至所述数据库；
所述发送模块26，用于在所述缓冲存储器25存储的任务参数丢失时，将所述数据库中的任务参数发送至所述缓冲存储器25。
优选地，所述任务参数包括：任务ID、任务对应的命令语句；
该装置还包括：确定模块27，用于确定所述存储缓冲器25中未存储所述任务ID，且所述命令语句有效时，触发所述解析建表模块22。
优选地，所述解析建表模块22，还用于解析所述任务参数中的命令语句，从所述命令语句的解析结果中提取查询字段，在所述数据库中建立与所述任务ID对应的表，在所述对应的表中建立与所述查询字段对应的字段。
优选地，所述任务参数还包括：任务状态标识、任务执行日期、任务执行时间和任务关联的编程模型；
所述任务生成模块23，还用于根据所述命令语句和所述任务关联的编程模型生成任务；
所述确定模块27，还用于确定所生成的任务对应的状态标识为开启时，在所述任务执行日期的所述任务执行时间指定的时间到来时触发所述调度执行模块24；
所述调度执行模块24，还用于调度所述分布式框架执行所生成的任务，将执行所生成的任务后确定的统计分析的结果，存储至在所述数据库所建立的对应的表中。
其中，所述数据仓库工具可以采用Hive，所述分布式框架可以采用开源分布式框架Hadoop，相应地，所述数据库为对应Hadoop的数据库HBase，所述任务关联的编程模型为Map/Reduce模型。
其中，所述任务对应的命令语句可以采用HQL语句，也可以根据实际的应用场景定义所使用的语句。
需要说明的是，本发明实施例中所述的任务参数不仅限于以上所述，例如，任务参数还可以包括：任务名称、任务描述（任务的功能或用途）。
下面以预定义任务，即解析接收的任务参数，并进行相应的初始化为例，对本发明实施例记载的数据统计分析方法及装置作进一步详细说明，图3为本发明实施例的预定义任务的实现流程示意图，如图3所示，主要包括以下步骤：
步骤301：接收任务参数；
任务参数包括：任务ID、任务对应的HQL语句；任务参数还可以包括：任务状态标识、任务执行日期、任务执行时间和任务关联的Map/Reduce模型。
步骤302：检验任务参数；
步骤303：判断任务参数检验是否通过，如果通过则执行步骤305；否则，执行步骤304；
存储缓冲器中未存储所述任务ID，且所述命令语句有效时，则任务参数检验通过。
步骤304：返回检验失败消息；
步骤305：存储任务参数至缓冲存储器；
步骤306：持久化任务信息至HBase；
步骤307：初始化运行环境；
解析任务参数中的HQL语句，从HQL语句的解析结果中提取查询字段，在HBase中建立与任务ID对应的表，在对应的表中建立与查询字段对应的字段。
步骤308：返回初始化成功消息。
下面以调度执行任务，即调度分布式框架Hadoop执行所生成的任务，将执行所生成的任务后确定的统计分析的结果存储至在HBase所建立的对应的表中为例，对本发明实施例记载的数据统计分析方法即装置作进一步详细说明，图4为本发明实施例的调度执行任务的实现流程示意图，如图4所示，主要包括以下步骤：
步骤401：根据任务参数为任务分配资源；
本发明实施例中为任务分配的资源可以采用线程的形式。
步骤402：查找任务对应的HQL语句；
步骤403：读取任务关联的数据文件；
任务关联的数据文件位于HBase中。
步骤404：调用Map/Reduce模型执行生成的任务，对数据文件进行统计分析；
步骤405：解析统计分析后的数据文件，将解析后的数据文件存储至HBase；
步骤406：操作记录和执行任务后的统计分析的结果存储至HBase。
操作记录，即任务执行日志，通过任务跟踪（Jobtrace）对象获取。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种数据统计分析方法，其特征在于，该方法支持数据仓库工具对基于分布式框架的数据库中的数据进行统计分析，所述数据库中的数据与对所述数据库中的数据进行统计分析的任务预关联，该方法包括：
解析所接收的任务参数，按照预设规则组装所述数据库的建表语句，并根据所述建表语句在所述数据库中执行建表操作；
根据所述任务参数生成所述任务参数对应的任务，并根据所述任务参数调度所述分布式框架执行所生成的任务，将执行所生成的任务后确定的统计分析的结果存储至在所述数据库所建立的对应的表中。
2.根据权利要求1所述的方法，其特征在于，解析所接收的任务参数之前，该方法还包括：
将所接收的任务参数存储至缓冲存储器；
持久化所接收的任务参数至所述数据库；
在所述缓冲存储器存储的任务参数丢失时，将所述数据库中的任务参数发送至所述缓冲存储器。
3.根据权利要2所述的方法，其特征在于，所述任务参数包括：任务身份标识ID、任务对应的命令语句；
相应地，所述解析所接收的任务参数之前，该方法还包括：
确定所述存储缓冲器中未存储所述任务ID，且所述命令语句有效。
4.根据权利要3所述的方法，其特征在于，所述解析所接收的任务参数，按照预设规则组装所述数据库的建表语句，并根据所述建表语句在所述数据库中执行建表操作，包括：
解析所述任务参数中的命令语句，从所述命令语句的解析结果中提取查询字段，在所述数据库中建立与所述任务ID对应的表，在所述对应的表中建立与所述查询字段对应的字段。
5.根据权利要求4所述的方法，其特征在于，所述任务参数还包括：任务状态标识、任务执行日期、任务执行时间和任务关联的编程模型；
相应地，所述根据所述任务参数生成所述任务参数对应的任务，并根据所述任务参数调度所述分布式框架执行所生成的任务，将执行所生成的任务后确定的统计分析的结果存储至在所述数据库所建立的对应的表中，包括：
根据所述命令语句和所述任务关联的编程模型生成任务，在确定所生成的任务对应的状态标识为开启时，在所述任务执行日期的所述任务执行时间指定的时间到来时，调度所述分布式框架而执行所生成的任务，并将执行所述任务的记录和执行所述任务后确定的统计分析的结果，存储至所述数据库中所述查询字段对应的字段。
6.一种数据统计分析装置，其特征在于，该装置支持数据仓库工具对基于分布式框架的数据库中的数据进行统计分析，所述数据库中的数据与对所述数据库中的数据进行统计分析的任务预关联，该装置包括：接收模块、解析建表模块、任务生成模块和调度执行模块；其中，
所述接收模块，用于接收任务参数；
所述解析建表模块，用于解析所接收的任务参数，按照预设规则组装所述数据库的建表语句，并根据所述建表语句在所述数据库中执行建表操作；
所述任务生成模块，用于根据所述任务参数生成所述任务参数对应的任务；
所述调度执行模块，用于根据所述任务参数调度所述分布式框架执行所生成的任务，将执行所生成的任务后确定的统计分析的结果，存储至在所述数据库所建立的对应的表中。
7.根据权利要求6所述的装置，其特征在于，该装置还包括缓冲存储器和发送模块；其中，
所述接收模块，还用于将接收的任务参数存储至所述缓冲存储器；持久化所接收的任务参数至所述数据库；
所述发送模块，用于在所述缓冲存储器存储的任务参数丢失时，将所述数据库中的任务参数发送至所述缓冲存储器。
8.根据权利要求7所述的装置，其特征在于，所述任务参数包括：任务ID、任务对应的命令语句；
该装置还包括：确定模块，用于确定所述存储缓冲器中未存储所述任务ID，且所述命令语句有效时，触发所述解析建表模块。
9.根据权利要求8所述的装置，其特征在于，
所述解析建表模块，还用于解析所述任务参数中的命令语句，从所述命令语句的解析结果中提取查询字段，在所述数据库中建立与所述任务ID对应的表，在所述对应的表中建立与所述查询字段对应的字段。
10.根据权利要求9所述的装置，其特征在于，所述任务参数还包括：任务状态标识、任务执行日期、任务执行时间和任务关联的编程模型；
所述任务生成模块，还用于根据所述命令语句和所述任务关联的编程模型生成任务；
所述确定模块，还用于确定所生成的任务对应的状态标识为开启时，在所述任务执行日期的所述任务执行时间指定的时间到来时触发所述调度执行模块；
所述调度执行模块，还用于调度所述分布式框架执行所生成的任务，将执行所生成的任务后确定的统计分析的结果，存储至在所述数据库所建立的对应的表中。
CN201310298192.4A 2013-07-16 2013-07-16 数据统计分析方法及装置 Active CN104298671B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310298192.4A CN104298671B (zh) 2013-07-16 2013-07-16 数据统计分析方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310298192.4A CN104298671B (zh) 2013-07-16 2013-07-16 数据统计分析方法及装置

Publications (2)

Publication Number Publication Date
CN104298671A true CN104298671A (zh) 2015-01-21
CN104298671B CN104298671B (zh) 2018-02-13

Family

ID=52318399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310298192.4A Active CN104298671B (zh) 2013-07-16 2013-07-16 数据统计分析方法及装置

Country Status (1)

Country Link
CN (1) CN104298671B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105045602A (zh) * 2015-08-24 2015-11-11 北京金山安全软件有限公司 一种构建Hadoop应用开发框架的方法、装置及电子装置
CN106503210A (zh) * 2016-11-03 2017-03-15 北京集奥聚合科技有限公司 一种hive持久化函数的控制方法及系统
CN106528070A (zh) * 2015-09-15 2017-03-22 阿里巴巴集团控股有限公司 一种数据表生成方法及设备
CN109977139A (zh) * 2019-03-18 2019-07-05 京东数字科技控股有限公司 基于类结构化查询语句的数据处理方法和装置
CN111611077A (zh) * 2020-05-20 2020-09-01 北京字节跳动网络技术有限公司 任务参数处理方法、终端和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030120701A1 (en) * 2001-12-20 2003-06-26 Darren Pulsipher Mechanism for managing execution environments for aggregated processes
CN102214236A (zh) * 2011-06-30 2011-10-12 北京新媒传信科技有限公司 一种海量数据处理方法和系统
CN102880503A (zh) * 2012-08-24 2013-01-16 新浪网技术(中国)有限公司 数据分析系统及数据分析方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030120701A1 (en) * 2001-12-20 2003-06-26 Darren Pulsipher Mechanism for managing execution environments for aggregated processes
CN102214236A (zh) * 2011-06-30 2011-10-12 北京新媒传信科技有限公司 一种海量数据处理方法和系统
CN102880503A (zh) * 2012-08-24 2013-01-16 新浪网技术(中国)有限公司 数据分析系统及数据分析方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105045602A (zh) * 2015-08-24 2015-11-11 北京金山安全软件有限公司 一种构建Hadoop应用开发框架的方法、装置及电子装置
CN105045602B (zh) * 2015-08-24 2019-07-23 北京金山安全软件有限公司 一种构建Hadoop应用开发框架的方法、装置及电子装置
CN106528070A (zh) * 2015-09-15 2017-03-22 阿里巴巴集团控股有限公司 一种数据表生成方法及设备
CN106528070B (zh) * 2015-09-15 2019-09-03 阿里巴巴集团控股有限公司 一种数据表生成方法及设备
CN106503210A (zh) * 2016-11-03 2017-03-15 北京集奥聚合科技有限公司 一种hive持久化函数的控制方法及系统
CN109977139A (zh) * 2019-03-18 2019-07-05 京东数字科技控股有限公司 基于类结构化查询语句的数据处理方法和装置
CN109977139B (zh) * 2019-03-18 2022-12-02 京东科技控股股份有限公司 基于类结构化查询语句的数据处理方法和装置
CN111611077A (zh) * 2020-05-20 2020-09-01 北京字节跳动网络技术有限公司 任务参数处理方法、终端和存储介质

Also Published As

Publication number Publication date
CN104298671B (zh) 2018-02-13

Similar Documents

Publication Publication Date Title
CN108932294B (zh) 基于索引的简历数据处理方法、装置、设备及存储介质
CN107957940B (zh) 一种测试日志处理方法、系统及终端
CN104298671A (zh) 数据统计分析方法及装置
US8682935B2 (en) System and method for application navigation
CN103136107A (zh) 一种嵌入式程序动态分配内存的变量调试方法
US11113137B2 (en) Error incident fingerprinting with unique static identifiers
CN109101519B (zh) 信息采集系统和异构信息融合系统
CN105138312A (zh) 一种表格生成方法及装置
CN112148343B (zh) 规则发布方法、装置及终端设备
CN110727572A (zh) 埋点数据处理方法、装置、设备及存储介质
CN111859046A (zh) 一种基于污染要素源解析的水污染溯源系统及方法
CN111552665B (zh) 标注信息格式转换方法、装置、设备和介质
CN104391796A (zh) 一种测试用例解析方法
EP3230869A1 (en) Separating test verifications from test executions
CN104616100A (zh) 应急预案的管理系统
CN103235757B (zh) 基于自动化造数对输入域测试对象进行测试的装置和方法
CN110688315A (zh) 接口代码检测报告生成方法、电子装置及存储介质
CN104657248A (zh) Java线程堆栈分析方法及系统
US20180137036A1 (en) Determining potential test actions
CN112036843A (zh) 基于rpa及ai的流程元素定位方法、装置、设备和介质
CN117033309A (zh) 一种数据转换方法、装置、电子设备及可读存储介质
CN115237706A (zh) 埋点数据处理方法、装置、电子设备及存储介质
CN115481025A (zh) 自动化测试的脚本录制方法、装置、计算机设备及介质
CN111078905A (zh) 一种数据处理方法、装置、介质以及设备
CN105809577B (zh) 一种基于规则和组件的电厂信息化数据的分类处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant