CN108052654A - 数据提取方法、装置、设备及存储介质 - Google Patents

数据提取方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN108052654A
CN108052654A CN201711449594.4A CN201711449594A CN108052654A CN 108052654 A CN108052654 A CN 108052654A CN 201711449594 A CN201711449594 A CN 201711449594A CN 108052654 A CN108052654 A CN 108052654A
Authority
CN
China
Prior art keywords
predetermined keyword
data
target data
text file
keyword
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711449594.4A
Other languages
English (en)
Inventor
冯颖俏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhaoyi Innovation Technology Co Ltd
Original Assignee
Beijing Jingcun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingcun Technology Co Ltd filed Critical Beijing Jingcun Technology Co Ltd
Priority to CN201711449594.4A priority Critical patent/CN108052654A/zh
Publication of CN108052654A publication Critical patent/CN108052654A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种数据提取方法、装置、设备及存储介质，该方法包括：读取包含log数据的文本文件，所述log数据包含目标数据和若干关键词；搜索所述文本文件中的预设关键词；根据所述预设关键词定位目标数据，并将所述目标数据以预设格式输出至excel表格，解决了现有技术通过人工将log数据中的目标数据导出至excel表格效率较低的问题，达到了自动、准确和高效地提取目标数据的技术效果。

Description

数据提取方法、装置、设备及存储介质
技术领域
本发明实施例涉及数据处理，尤其涉及一种数据提取方法、装置、设备及存储介质。
背景技术
在软件、设备研发和生产阶段，为了更好地了解产品的性能或查找问题，通常需要对其进行测试，然后对测试过程中产生的数据进行分析，通常情况下，测试过程会产生大量的数据，而且数据的输出格式通常为txt格式，既不方便查看，也不方便对数据做进一步的分析，因此工程师需要手动搜索log文件中的目标数据，并将其复制到excel表格中，工作量较大，费时费力还容易出错。
发明内容
本发明实施例提供的数据提取方法、装置、设备及存储介质，解决了现有技术通过人工将log数据中的目标数据导出至excel表格效率较低的问题。
第一方面，本发明实施例提供了一种数据提取方法，包括：
读取包含log数据的文本文件，所述log数据包含目标数据和若干关键词；
搜索所述文本文件中的预设关键词；
根据所述预设关键词定位目标数据，并将所述目标数据以预设格式输出至excel表格。
进一步，所述搜索所述文本文件中的预设关键词，包括：
通过Config文件设置预设关键词，并在所述文本文件中搜索所述预设关键词。
进一步，所述搜索所述文本文件中的预设关键词，包括：
逐行搜索所述文本文件中的所述预设关键词，所述预设关键词为同一预设关键词或多个不同的预设关键词。
进一步，当所述预设关键词为多个不同的预设关键词时，将每个预设关键词对应的目标数据输出至一个excel表格。
进一步，当所述预设关键词为多个不同的预设关键词时，将存在对应关系的预设关键词所对应的目标数据输出至同一excel表格。
第二方面，本发明实施例还提供了一种数据提取装置，包括：
log数据读取模块，用于读取包含log数据的文本文件，所述log数据包含目标数据和若干关键词；
搜索模块，用于搜索所述文本文件中的预设关键词；
输出模块，用于根据所述预设关键词定位目标数据，并将所述目标数据以预设格式输出至excel表格。
第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的数据提取方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-5中任一所述的数据提取方法。
本发明实施例提供的数据提取方法的技术方案，首先读取包含log数据的文本文件，log数据包含目标数据和若干关键词；通过搜索文本文件中的预设关键词定位目标数据，将目标数据以预设格式输出至excel表格，实现了有针对性的选择目标数据，即可以根据数据分析需求确定目标数据和关键词，然后通过关键词定位目标数据，并将定位的目标数据以预设格式输出至excel表格中，达到了自动、准确和高效地提取目标数据的技术效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的数据提取方法的流程图；
图2是本发明实施例二提供的数据提取装置的流程图；
图3是本发明实施例三提供的计算机设备的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下将参照本发明实施例中的附图，通过实施方式清楚、完整地描述本发明的技术方案，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
图1是本发明实施例一提供的数据提取方法的流程图。本实施例的技术方案适用于从存放log数据的文本文件中提取所需要的目标数据的情况。该方法可以由本发明实施例提供的数据提取装置来执行，该装置可以采用软件和/或硬件的方式实现，并配置在处理器中应用。该方法具体包括如下步骤：
S101、读取包含log数据的文本文件，log数据包含目标数据和若干关键词。
在对软硬件产品进行测试前，通常先确定测试节点，然后对测试节点设置标识字符，从而使该标识字符能够与该节点生成的数据对应，因此读取待分析的包含log数据的文本文件后，可以通过标识字符定位与其存在对应关系的测试数据。另外，通常情况下，不同的分析需求通常对应不同的测试数据，或者说，通常情况下，一次数据分析仅对一个节点或是几个节点的数据进行分析，然后基于这些数据的分析结果，再分析其他节点的数据。本实施例将与单次分析需求或多次分析需求相关的测试数据作为目标数据，将与目标数据对应的标识字符作为关键词。
当存在多种分析需求，或是需要将多种数据进行比较分析时，预设关键词可能是多个不同的预设关键词。
S102、搜索文本文件中的预设关键词。
在Config文件中设置预设关键词，然后逐行搜索文本文件的数据，从而对预设关键词进行定位。很多情况下，log数据中的同一预设关键词会出现在log数据的不同位置，此时可以将所有的预设关键词进行定位，从而可以准确地定位该预设关键词对应的目标数据。
S103、根据预设关键词定位目标数据，并将目标数据以预设格式输出至excel表格。
预设关键词定位后，通过预设关键词和目标数据的对应关系定位目标数据，然后将目标数据以预设格式输出至excel表格。
在将目标数据输出至excel表格时，当预设关键词为多个不同的预设关键词时，将每个预设关键词对应的目标数据输出至一个excel表格，使预设关键词与目标数据具有很好的对应关系。
在将目标数据输出至excel表格时，当预设关键词为多个不同的预设关键词时，将存在对应关系的预设关键词所对应的目标数据输出至同一excel表格，从而便于数据的对比和分析。比如，同一节点在不同条件下会产生不同的数据，要想获取该节点工作的准确性和稳定性，需要对所有条件的数据进行分析。由于标识字符的设置通常与条件相关，因此可以将该节点对应的不同条件的不同标识字符作为预设关键词，并将这些预设关键词对应的目标数据全部以预设格式输出至同一个excel表格中，从而便于对该节点在不同条件下生成的数据进行分析，进而得出该节点工作的准确性和稳定性。
本发明实施例提供的数据提取方法的技术方案，首先读取包含log数据的文本文件，log数据包含目标数据和若干关键词；通过搜索文本文件中的预设关键词定位目标数据，将目标数据以预设格式输出至excel表格，实现了有针对性的选择目标数据，即可以根据数据分析需求确定目标数据和关键词，然后通过关键词定位目标数据，并将定位的目标数据以预设格式输出至excel表格中，达到了自动、准确和高效地提取目标数据的技术效果。
实施例二
图2是本发明实施例二中的数据提取装置的结构框图。该装置用于执行上述任意实施例所提供的数据提取方法，该装置可选为硬件或软件实现。如图2所示，该装置包括：
log数据读取模块11，用于读取包含log数据的文本文件，所述log数据包含目标数据和若干关键词。
在对软硬件产品进行测试前，通常先确定测试节点，然后对测试节点设置标识字符，从而使该标识字符能够与该节点生成的数据对应，因此读取待分析的包含log数据的文本文件后，可以通过标识字符定位与其存在对应关系的测试数据。另外，通常情况下，不同的分析需求通常对应不同的测试数据，或者说，通常情况下，一次数据分析仅对一个节点或是几个节点的数据进行分析，然后基于这些数据的分析结果，再分析其他节点的数据。本实施例将与单次分析需求或多次分析需求相关的测试数据作为目标数据，将与目标数据对应的标识字符作为关键词。
当存在多种分析需求，或是需要将多种数据进行比较分析时，预设关键词可能是多个不同的预设关键词。
搜索模块12，用于搜索所述文本文件中的预设关键词。
在Config文件中设置预设关键词，然后逐行搜索文本文件的数据，从而对预设关键词进行定位。很多情况下，log数据中的同一预设关键词会出现在log数据的不同位置，此时可以将所有的预设关键词进行定位，从而可以准确地定位该预设关键词对应的目标数据。
输出模块13，用于根据所述预设关键词定位目标数据，并将所述目标数据以预设格式输出至excel表格。
预设关键词定位后，通过预设关键词和目标数据的对应关系定位目标数据，然后将目标数据以预设格式输出至excel表格。
在将目标数据输出至excel表格时，当预设关键词为多个不同的预设关键词时，将每个预设关键词对应的目标数据输出至一个excel表格，使预设关键词与目标数据具有很好的对应关系。
在将目标数据输出至excel表格时，当预设关键词为多个不同的预设关键词时，将存在对应关系的预设关键词所对应的目标数据输出至同一excel表格，从而便于数据的对比和分析。比如，同一节点在不同条件下会产生不同的数据，要想获取该节点工作的准确性和稳定性，需要对所有条件的数据进行分析。由于标识字符的设置通常与条件相关，因此可以将该节点对应的不同条件的不同标识字符作为预设关键词，并将这些预设关键词对应的目标数据全部以预设格式输出至同一个excel表格中，从而便于对该节点在不同条件下生成的数据进行分析，进而得出该节点工作的准确性和稳定性。
本实施例提供的数据提取装置的技术方案，首先读取包含log数据的文本文件，log数据包含目标数据和若干关键词；通过搜索文本文件中的预设关键词定位目标数据，将目标数据以预设格式输出至excel表格，实现了有针对性的选择目标数据，即可以根据数据分析需求确定目标数据和关键词，然后通过关键词定位目标数据，并将定位的目标数据以预设格式输出至excel表格中，达到了自动、准确和高效地提取目标数据的技术效果。
本发明实施例所提供的数据提取装置可执行本发明任意实施例所提供的数据提取方法，具备执行方法相应的功能模块和有益效果。
实施例三
图3为本发明实施例三提供的计算机设备的结构示意图，如图3所示，该设备包括处理器201、存储器202、输入装置203以及输出装置204；设备中处理器201的数量可以是一个或多个，图3中以一个处理器201为例；设备中的处理器201、存储器202、输入装置203以及输出装置204可以通过总线或其他方式连接，图3中以通过总线连接为例。
存储器202作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的数据提取方法对应的程序指令/模块(例如，log数据读取模块11、搜索模块12以及输出模块13)。处理器201通过运行存储在存储器202中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的数据提取方法。
存储器202可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器202可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器202可进一步包括相对于处理器201远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置203可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。
输出装置204可包括显示屏等显示设备，例如，用户终端的显示屏。
实施例四
本发明实施例四还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行数据提取方法，该方法包括：
读取包含log数据的文本文件，所述log数据包含目标数据和若干关键词；
搜索所述文本文件中的预设关键词；
根据所述预设关键词定位目标数据，并将所述目标数据以预设格式输出至excel表格。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的数据提取方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(RandomAccess Memory，简称RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的数据提取方法。
值得注意的是，上述数据提取装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种数据提取方法，其特征在于，包括：
读取包含log数据的文本文件，所述log数据包含目标数据和若干关键词；
搜索所述文本文件中的预设关键词；
根据所述预设关键词定位目标数据，并将所述目标数据以预设格式输出至excel表格。
2.根据权利要求1所述的方法，其特征在于，所述搜索所述文本文件中的预设关键词，包括：
通过Config文件设置预设关键词，并在所述文本文件中搜索所述预设关键词。
3.根据权利要求1所述的方法，其特征在于，所述搜索所述文本文件中的预设关键词，包括：
逐行搜索所述文本文件中的所述预设关键词，所述预设关键词为同一预设关键词或多个不同的预设关键词。
4.根据权利要求3所述的方法，其特征在于，当所述预设关键词为多个不同的预设关键词时，将每个预设关键词对应的目标数据输出至一个excel表格。
5.根据权利要求3所述的方法，其特征在于，当所述预设关键词为多个不同的预设关键词时，将存在对应关系的预设关键词所对应的目标数据输出至同一excel表格。
6.一种数据提取装置，其特征在于，包括：
log数据读取模块，用于读取包含log数据的文本文件，所述log数据包含目标数据和若干关键词；
搜索模块，用于搜索所述文本文件中的预设关键词；
输出模块，用于根据所述预设关键词定位目标数据，并将所述目标数据以预设格式输出至excel表格。
7.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的数据提取方法。
8.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-5中任一所述的数据提取方法。
CN201711449594.4A 2017-12-27 2017-12-27 数据提取方法、装置、设备及存储介质 Pending CN108052654A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711449594.4A CN108052654A (zh) 2017-12-27 2017-12-27 数据提取方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711449594.4A CN108052654A (zh) 2017-12-27 2017-12-27 数据提取方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN108052654A true CN108052654A (zh) 2018-05-18

Family

ID=62127876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711449594.4A Pending CN108052654A (zh) 2017-12-27 2017-12-27 数据提取方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN108052654A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109062883A (zh) * 2018-07-18 2018-12-21 平安科技（深圳）有限公司 数据表动态导出方法、装置、计算机设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824069A (zh) * 2014-03-19 2014-05-28 北京邮电大学 一种基于多主机日志关联的入侵检测方法
WO2014175595A1 (ko) * 2013-04-25 2014-10-30 Yu Chun Ho 동일 서식을 갖는 엑셀파일의 취합분리 시스템을 이용한 취합 및 분리방법
CN105138563A (zh) * 2015-07-23 2015-12-09 浪潮电子信息产业股份有限公司 一种可实现快速提取测试log关键信息的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014175595A1 (ko) * 2013-04-25 2014-10-30 Yu Chun Ho 동일 서식을 갖는 엑셀파일의 취합분리 시스템을 이용한 취합 및 분리방법
CN103824069A (zh) * 2014-03-19 2014-05-28 北京邮电大学 一种基于多主机日志关联的入侵检测方法
CN105138563A (zh) * 2015-07-23 2015-12-09 浪潮电子信息产业股份有限公司 一种可实现快速提取测试log关键信息的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109062883A (zh) * 2018-07-18 2018-12-21 平安科技（深圳）有限公司 数据表动态导出方法、装置、计算机设备及存储介质
CN109062883B (zh) * 2018-07-18 2022-07-26 平安科技（深圳）有限公司 数据表动态导出方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
US8887135B2 (en) Generating test cases for functional testing of a software application
CN109800258B (zh) 数据文件部署方法、装置、计算机设备及存储介质
EP3251298B1 (en) Data extraction
CN110955608B (zh) 测试数据处理方法、装置、计算机设备和存储介质
CN110597708A (zh) 一种测试用例文件转换方法、装置、电子设备及存储介质
CN111859093A (zh) 敏感词处理方法、装置及可读存储介质
CN114090671A (zh) 数据导入方法、装置、电子设备及存储介质
CN112667802A (zh) 业务信息录入方法、装置、服务器和存储介质
CN112650529A (zh) 可配置生成移动端app代码的系统及方法
US10782942B1 (en) Rapid onboarding of data from diverse data sources into standardized objects with parser and unit test generation
CN110334262B (zh) 一种模型训练方法、装置及电子设备
US11853196B1 (en) Artificial intelligence driven testing
CN117493309A (zh) 一种标准模型生成方法、装置、设备及存储介质
CN108052654A (zh) 数据提取方法、装置、设备及存储介质
CN107025233B (zh) 一种数据特征的处理方法及装置
CN117008920A (zh) 引擎系统、请求处理方法、装置、计算机设备及存储介质
CN113806647A (zh) 识别开发框架的方法及相关设备
JP2015118562A (ja) スクリプト管理プログラム、スクリプト管理装置及びスクリプト管理方法
CN112567375A (zh) 形式验证方法、信息识别方法、设备和存储介质
CN111090668A (zh) 数据检索方法及装置、电子设备和计算机可读存储介质
CN112579472B (zh) 测试用例的自动生成方法及装置
CN110795915A (zh) xml文件批量修改方法、系统、设备和计算机可读存储介质
CN108334313A (zh) 用于大型soc研发的持续集成方法、装置及代码管理系统
US11720614B2 (en) Method and system for generating a response to an unstructured natural language (NL) query
CN113468339A (zh) 基于知识图谱的标签提取方法、系统、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200828

Address after: 100083 Beijing City, Haidian District Xueyuan Road No. 30, large industrial building A block 12 layer

Applicant after: Beijing Zhaoyi Innovation Technology Co.,Ltd.

Address before: 202, room 52, building 2, 100176 North View Garden, Daxing District economic and Technological Development Zone, Beijing

Applicant before: BEIJING JINGCUN TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20180518

RJ01 Rejection of invention patent application after publication