CN108388493B - 大数据提取分析方法、装置、存储介质及服务器 - Google Patents

大数据提取分析方法、装置、存储介质及服务器 Download PDF

Info

Publication number
CN108388493B
CN108388493B CN201810143137.0A CN201810143137A CN108388493B CN 108388493 B CN108388493 B CN 108388493B CN 201810143137 A CN201810143137 A CN 201810143137A CN 108388493 B CN108388493 B CN 108388493B
Authority
CN
China
Prior art keywords
data
copying
simulation
server
condition information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810143137.0A
Other languages
English (en)
Other versions
CN108388493A (zh
Inventor
李德豪
陈伟康
区灿彬
邓俊安
刘开杰
武梦洁
李家昆
曾子华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan Bizconline Information Technology Co ltd
Original Assignee
Foshan Bizconline Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Bizconline Information Technology Co ltd filed Critical Foshan Bizconline Information Technology Co ltd
Priority to CN201810143137.0A priority Critical patent/CN108388493B/zh
Publication of CN108388493A publication Critical patent/CN108388493A/zh
Application granted granted Critical
Publication of CN108388493B publication Critical patent/CN108388493B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/26—Functional testing
    • G06F11/261—Functional testing by simulating additional hardware, e.g. fault simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例提供一种大数据提取分析方法、装置、存储介质及服务器。该方法包括以下步骤：对生产服务器的第一数据进行复制，其中该第一数据包括系统数据以及运行数据；根据复制的第一数据在模拟服务器建立模拟系统并进行模拟运行；获取具有条件信息的数据获取请求；根据所述条件信息从模拟系统中抽出目标数据。本发明可以降低对生产服务器的压力，提高生产服务器的效率。

Description

大数据提取分析方法、装置、存储介质及服务器
技术领域
本发明涉及大数据处理领域，特别涉及一种大数据提取分析方法、装置、存储介质及服务器。
背景技术
现有技术中生产服务器不仅要接收外部设备的各种数据信息，并根据这些数据信息发出指示信号给各个外部设备，生产服务器还会对运行过程中满足一定条件的的运行结果数据以及原始数据进行提取、分析以及备份等处理。
但是，生产服务器对运行过程中满足一定条件的的运行结果数据以及原始数据进行提取、分析以及备份等处理会对占用服务器很大的CPU使用率，影响其对外部设备的正常控制。
因此，现有技术存在缺陷，急需改进。
发明内容
本发明实施例提供一种大数据提取分析方法、装置、存储介质及服务器，可以减小生产服务器的压力提高生产服务器的运行效率。
本发明实施例提供一种大数据提取分析方法，用于模拟服务器中，所述方法包括以下步骤：
对生产服务器的第一数据进行复制，其中该第一数据包括系统数据以及运行数据；
根据复制的第一数据在模拟服务器建立模拟系统并进行模拟运行；
获取具有条件信息的数据获取请求；
根据所述条件信息从模拟系统中抽出目标数据。
优选地，所述对生产服务器的第一数据进行复制的步骤包括：
每隔预设时间段对生产服务器的第一数据进行复制。
优选地，所述对生产服务器的第一数据进行复制的步骤包括：
当获取到复制触发信号时，识别复制触发信号的种类；
当所述复制触发信号的为第一类时，对所述第一数据中的系统数据以及运行数据进行复制；
当所述复制触发信号的为第二类时，对所述第一数据中的运行数据进行复制。
优选地，所述条件信息包括所述条件信息包括：模拟运行结果特征、数据类型特征、时间特征以及地点特征中的一种或多种。
优选地，所述根据所述条件信息从模拟系统中抽出目标数据的步骤包括：
根据所述条件信息中的数据类型特征从所述模拟系统中抽出对应数据类型的第二数据；
根据所述条件信息中的时间特征从所述第二数据中筛选出第三数据；
根据所述模拟系统的模拟运行结果特征从所述第三数据中抽出目标数据。
一种大数据提取分析装置，包括：
复制模块，用于对生产服务器的第一数据进行复制，其中该第一数据包括系统数据以及运行数据；
模拟运行模块，用于根据复制的第一数据在模拟服务器建立模拟系统并进行模拟运行；
获取模块，用于获取具有条件信息的数据获取请求；
提取模块，用于根据所述条件信息从模拟系统中抽出目标数据。
优选地，所述复制模块用于每隔预设时间段对生产服务器的第一数据进行复制。
优选地，所述复制模块包括：
识别单元，用于当获取到复制触发信号时，识别复制触发信号的种类；
第一复制单元，用于当所述复制触发信号的为第一类时，对所述第一数据中的系统数据以及运行数据进行复制；
第二复制单元，用于当所述复制触发信号的为第二类时，对所述第一数据中的运行数据进行复制。
本发明实施例还提供一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述方法。
本发明实施例还提供一种服务器，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行上述方法。
由上可知，本发明通过对从生产服务器获取的原始数据进行模拟演练，并生成模拟演练的结果数据；获取将要提取的目标数据的条件信息；根据所述条件信息从所述原始数据以及所述结果数据中获取目标数据；对所述目标数据进行分析处理；从而实现对生产服务器中的数据的提取分析处理，可以降低对生产服务器的压力，提高生产服务器的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的大数据提取分析方法的流程示意图。
图2是本发明实施例提供的大数据提取分析装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明的说明书和权利要求书以及上述附图中的术语“第一”、“第二”、“第三”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应当理解，这样描述的对象在适当情况下可以互换。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤的过程、方法或包含了一系列模块或单元的装置、服务器、系统不必限于清楚地列出的那些步骤或模块或单元，还可以包括没有清楚地列出的步骤或模块或单元，也可以包括对于这些过程、方法、装置、服务器或系统固有的其它步骤或模块或单元。
参考图1，图1为本发明实施例中的大数据提取分析方法的流程图。方法可以应用于模拟服务器中。在本实施例中，该方法包括以下步骤：
S101、对生产服务器的第一数据进行复制，其中该第一数据包括系统数据以及运行数据。
其中，该第一数据可以包括该构成该生产服务器的运行系统的系统数据以及该系统中运行的运行数据。该系统数据是每隔一断时间更新一次的，就像常用的操作系统一样。
在一些实施例中，该步骤S101包括：每隔预设时间段对生产服务器的第一数据进行复制。例如，可以每间隔12小时进行一次复次，后一次复制的内容全面覆盖前一次复制的内容。
在一些实施例中，该步骤S101包括：
S1011、当获取到复制触发信号时，识别复制触发信号的种类。
其中，该复制触发信号的种类根据预设生成。例如，系统设定是每周三对生产服务器的系统进行升级，因此，当周三时，模拟服务器的模拟系统同样需要进行更新，因此其生成的复制触发信号为第一类，其他时间生成的复制触发信号则为第二类。
S1012、当所述复制触发信号的为第一类时，对所述第一数据中的系统数据以及运行数据进行复制。
当所述复制触发信号的为第二类时，对所述第一数据中的运行数据进行复制。
S102、根据复制的第一数据在模拟服务器建立模拟系统并进行模拟运行。
该模拟服务器中设置有虚拟运行平台，其从生产服务器获取原始数据，并按照与生产服务器相同的演练逻辑，对该原始数据进行模拟演练。其中，该第一数据中的运行数据可以包括以下多种数据：影像数据、音频数据、图片数据、数字数据、文字数据、指纹数据等。
在一些实施例中，该步骤S102包括：
S1021、获取所述目标数据块要求满足的数据特征信息；
S1022、获取所述目标数据块要求满足的演练结果类型。
其中，该数据特征信息包括以下特征中的至少一种：数据类型特征、时间特征、地点特征、关键字特征。该演练结果类型可以是对原始数据进行识别的结果、加工的结果或者其他处理的结果。
S103、获取具有条件信息的数据获取请求。
优选地，所述条件信息包括所述条件信息包括：模拟运行结果特征、数据类型特征、时间特征以及地点特征中的一种或多种。
S104、根据所述条件信息从模拟系统中抽出目标数据。
其中，该目标数据可以是最开始的第一数据中的运行数据，也可以是运行数据经过模拟运行后产生的运行结果数据。
其中，可以根据现有的技术对提取出的目标数据进行备份、分类、关联、人工智能学习等处理。
例如，多个目标数据块的数据特征信息可以相同也可以不相同，多个目标数据块的演练模式不同，例如，可能有一些目标数据块是图片数据，有一些目标数据块是文字数据。而对图片数据的演练是识别对图片数据进行识别，而对文字数据的模拟演练是识别其中的关键字。
在一些实施例中，该步骤S104包括：
S1041、根据所述条件信息中的数据类型特征从所述模拟系统中抽出对应数据类型的第二数据；
S1042、根据所述条件信息中的时间特征从所述第二数据中筛选出第三数据；
S1043、根据所述模拟系统的模拟运行结果特征从所述第三数据中抽出目标数据。例如，该原始数据中包括有图片数据、文字数据以及视频数据。数据特征信息包括时间特征、数据类型特征、地点特征。在这里，该数据特征信息的筛选条件为XX年YY日ZZ时、图片数据以及地点位于天安门广场。而在本实施例中，模拟演练的类型为图片识别，运行结果类型的条件为：识别出待筛选图片中的黑色人种。
根据所述第二数据块的数据类型特征、时间特征以及地点特征以及所述第三数据块对所述多个目标数据块进行分组存储。
由上可知，本发明通过对从生产服务器获取的原始数据进行模拟演练，并生成模拟演练的结果数据；获取将要提取的目标数据的条件信息；根据所述条件信息从所述原始数据以及所述结果数据中获取目标数据；对所述目标数据进行分析处理；从而实现对生产服务器中的数据的提取分析处理，可以降低对生产服务器的压力，提高生产服务器的效率。
请参照图2，图2是本发明实施例中的一种大数据提取分析装置的结构图。该装置包括：
复制模块201，用于对生产服务器的第一数据进行复制，其中该第一数据包括系统数据以及运行数据；
模拟运行模块202，用于根据复制的第一数据在模拟服务器建立模拟系统并进行模拟运行；
获取模块203，用于获取具有条件信息的数据获取请求；
提取模块204，用于根据所述条件信息从模拟系统中抽出目标数据。
优选地，所述复制模块201用于每隔预设时间段对生产服务器的第一数据进行复制。
优选地，复制模块201包括：识别单元、第一复制单元以及第二复制单元。
其中，识别单元用于当获取到复制触发信号时，识别复制触发信号的种类。
其中，第一复制单元用于当所述复制触发信号的为第一类时，对所述第一数据中的系统数据以及运行数据进行复制。
其中，第二复制单元用于当所述复制触发信号的为第二类时，对所述第一数据中的运行数据进行复制。其中，该复制触发信号的种类根据预设生成。例如，系统设定是每周三对生产服务器的系统进行升级，因此，当周三时，模拟服务器的模拟系统同样需要进行更新，因此其生成的复制触发信号为第一类，其他时间生成的复制触发信号则为第二类。
本发明实施例还提供一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述实施例中的大数据提取分析方法。
本发明实施例还提供一种服务器，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行上述实施例中的大数据提取分析方法。
需要说明的是，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，该存储介质可以包括但不限于：只读存储器（ROM，Read Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁盘或光盘等。
以上对本发明实施例所提供的大数据提取分析方法、装置、存储介质及服务器进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种大数据提取分析方法，用于模拟服务器中，其特征在于，所述方法包括以下步骤：
对生产服务器的第一数据进行复制，其中，该第一数据包括系统数据以及运行数据；
根据复制的第一数据在模拟服务器建立模拟系统并进行模拟运行；
获取具有条件信息的数据获取请求；
根据所述条件信息从模拟系统中抽出目标数据；
所述对生产服务器的第一数据进行复制的步骤包括：每隔预设时间段对生产服务器的第一数据进行复制，后一次复制的内容全面覆盖前一次的内容；
当获取到复制触发信号时，识别复制触发信号的种类；
当复制触发信号的为第一类时，对所述第一数据中的系统数据以及运行数据进行复制；
当复制触发信号的为第二类时，对所述第一数据中的运行数据进行复制。
2.根据权利要求1所述的大数据提取分析方法，其特征在于，所述条件信息包括：模拟运行结果特
征、数据类型特征、时间特征以及地点特征中的一种或多种。
3.根据权利要求2所述的大数据提取分析方法，其特征在于，所述根据所述条件信息从模拟系统中抽出目标数据的步骤：
根据所述条件信息中的数据类型特征从所述模拟系统中抽出对应数据类型的第二数据；
根据所述条件信息中的时间特征从所述第二数据中抽出第三数据；
根据模拟系统的模拟运行结果特征从所述第三数据中抽出目标数据。
4.一种大数据提取分析装置，其特征在于，包括：
复制模块，用于对生产服务器的第一数据进行复制，其中该第一数据包括系统数据以及运行数据；
模拟运行模块，用于根据复制的第一数据在模拟服务器建立模拟系统并进行模拟运行；
获取模块，用于获取具有条件信息的数据获取请求；提取模块，用于根据所述条件信息从模拟系统中抽出目标数据；
所述复制模块用于每隔预设时间段对
生产服务器的第一数据进行复制，后一次复制的内容全面覆盖前一次的内容；
所述复制模块包括：
识别单元，用于当获取到复制触发信号时，识别复制触发信号的种类；
第一复制单元，用于当所述复制触发信号的为第一类时，对所述第一数据中的系统数据以及运行数据进行复制；
第二复制单元，用于当所述复制触发信号的为第二类时，对所述第一数据中的运行数据进行复制。
5.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行权利要求1至3任一项所述的方法。
6.一种服务器，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中的所述计算机程序，用于执行权利要求1至3任一项所述的方法。
CN201810143137.0A 2018-02-11 2018-02-11 大数据提取分析方法、装置、存储介质及服务器 Active CN108388493B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810143137.0A CN108388493B (zh) 2018-02-11 2018-02-11 大数据提取分析方法、装置、存储介质及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810143137.0A CN108388493B (zh) 2018-02-11 2018-02-11 大数据提取分析方法、装置、存储介质及服务器

Publications (2)

Publication Number Publication Date
CN108388493A CN108388493A (zh) 2018-08-10
CN108388493B true CN108388493B (zh) 2021-06-22

Family

ID=63068867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810143137.0A Active CN108388493B (zh) 2018-02-11 2018-02-11 大数据提取分析方法、装置、存储介质及服务器

Country Status (1)

Country Link
CN (1) CN108388493B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063150A (zh) * 2018-08-08 2018-12-21 湖南永爱生物科技有限公司 大数据提取方法、装置、存储介质及服务器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354113A (zh) * 2015-11-27 2016-02-24 上海爱数信息技术股份有限公司 一种服务器、管理服务器的系统和方法
CN105389335A (zh) * 2015-10-15 2016-03-09 佛山市云端容灾信息技术有限公司 一种基于自动演练的数据挖掘分析方法和装置
CN105488149A (zh) * 2015-11-26 2016-04-13 上海晶赞科技发展有限公司 一种数据处理方法及装置
CN107220382A (zh) * 2017-06-28 2017-09-29 环球智达科技（北京）有限公司 数据分析方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7751624B2 (en) * 2004-08-19 2010-07-06 Nextace Corporation System and method for automating document search and report generation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389335A (zh) * 2015-10-15 2016-03-09 佛山市云端容灾信息技术有限公司 一种基于自动演练的数据挖掘分析方法和装置
CN105488149A (zh) * 2015-11-26 2016-04-13 上海晶赞科技发展有限公司 一种数据处理方法及装置
CN105354113A (zh) * 2015-11-27 2016-02-24 上海爱数信息技术股份有限公司 一种服务器、管理服务器的系统和方法
CN107220382A (zh) * 2017-06-28 2017-09-29 环球智达科技（北京）有限公司 数据分析方法

Also Published As

Publication number Publication date
CN108388493A (zh) 2018-08-10

Similar Documents

Publication Publication Date Title
CN109710780B (zh) 一种归档方法及装置
US10713107B2 (en) Detecting a possible underlying problem among computing devices
WO2021129466A1 (zh) 检测水印的方法、装置、终端及存储介质
CN109446061B (zh) 一种页面检测方法、计算机可读存储介质及终端设备
CN111931809A (zh) 数据的处理方法、装置、存储介质及电子设备
CN111198815B (zh) 用户界面的兼容性测试方法及装置
CN113516251B (zh) 一种机器学习系统及模型训练方法
US20150373404A1 (en) Information processing device and method, and program
CN109800318A (zh) 一种归档方法及装置
CN111339368B (zh) 基于视频指纹的视频检索方法、装置和电子设备
CN114936269A (zh) 文档搜索平台、搜索方法、装置、电子设备及存储介质
CN108388493B (zh) 大数据提取分析方法、装置、存储介质及服务器
KR102520305B1 (ko) 키워드 빈도수와 영역 중요도 분석 기반 딥러닝 문서 분석 시스템 및 방법
JP2000357234A (ja) 画像処理装置およびその方法
CN111368128A (zh) 目标图片的识别方法、装置和计算机可读存储介质
WO2023115968A1 (zh) 用户端识别违规数据的方法、设备、介质及程序产品
CN112446850A (zh) 适配测试方法、装置及电子设备
CN106775701B (zh) 一种客户端自动取证方法和系统
CN110992299A (zh) 一种检测浏览器兼容性的方法及装置
CN115526859A (zh) 生产缺陷识别的方法、分布式处理平台、设备及存储介质
CN114090650A (zh) 一种样本数据识别方法、装置、电子设备及存储介质
US10474651B2 (en) Analysis of system information
CN109063150A (zh) 大数据提取方法、装置、存储介质及服务器
CN111897540A (zh) 基于私有云的数据收集方法、装置、服务器及存储介质
CN116361847B (zh) 一种基于移动设备的防截屏方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant