CN112261038B

CN112261038B - 大数据采集方法、系统、计算机设备及其存储介质

Info

Publication number: CN112261038B
Application number: CN202011125546.1A
Authority: CN
Inventors: 彭加山; 彭晓芳
Original assignee: Suzhou Laijin Electromechanical Automation Co ltd
Current assignee: Kunzhi big data technology (Harbin) Co.,Ltd.
Priority date: 2020-10-20
Filing date: 2020-10-20
Publication date: 2021-08-06
Anticipated expiration: 2040-10-20
Also published as: CN112261038A; WO2022082891A1

Abstract

本发明公开了大数据采集方法、系统、计算机设备及其存储介质，通过客户端提取相关的互联网数据并生成临时数据库；验证端发送验证信息至服务器；所述的服务器在接收到验证信息后会收录解压编码并向验证端反馈验证编码；所述的验证端提取客户端的临时数据库内的互联网数据并生成过渡文件；所述的服务器接收所述的过渡文件，并通过解压编码将其解压。而在数据采集过程中可以对庞大的实时数据进行筛选分类，能够减小数据量从而降低传输负荷；而通过验证端间歇性的向服务器发送验证信息可以根据是否得到反馈来有效的判断当前网络是否处于稳定状况；另外通过实时变化的解压编码更可以有效防止数据泄露或被他人拦截时出现泄密，安全性更高。

Description

大数据采集方法、系统、计算机设备及其存储介质

技术领域

本发明涉及大数据采集技术领域，具体涉及一种大数据采集方法、系统、计算机设备及其存储介质。

背景技术

“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

而传统的大数据的采集主要是运用互联网技术实现远程数据采集，通过采集软件收集用户使用互联网时所产生的各种信息，并经过多次汇聚转发，最终发送给大数据平台作为分析和应用的数据源。

但是数据源实时产生的数据量巨大，数据传输频率高，对采集服务器和传输网络的压力非常大，在传输网络不稳定的情况下，数据采集传输过程易发生数据泄露、丢失等问题，数据的安全性较差。

发明内容

本发明的目的在于提供一种大数据采集方法、系统、计算机设备及其存储介质，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

客户端获取相关的互联网数据，提取相关的互联网数据并生成临时数据库；

验证端间歇性地发送验证信息至服务器，所述的验证信息由解压编码和验证编码两部分组成，所述的解压编码在发送验证信息之前随机生成，不具有规律性，所述的验证编码为固定内容且所述的解压编码和验证编码的相对位置不能改变；

所述的服务器在接收到验证信息后会收录解压编码并向验证端反馈验证编码；

所述的验证端获取验证编码之后会提取客户端的临时数据库内的互联网数据，并将所述的互联网数据进行加密加压后生成过渡文件；

所述的服务器接收所述的过渡文件，并通过解压编码将其解压。

作为本发明进一步的方案：生成所述的临时数据库的方法包括以下具体步骤：

获取相关的互联网数据；

提取所述的互联网数据中的非重复项；

建立临时文件夹，并按日期和时间对其命名；

输入提取后的互联网数据至所述的临时文件夹中，生成所述的临时数据库。

作为本发明进一步的方案：所述的验证端和服务器之间进行以下步骤：

验证端发送验证信息；

服务器提取验证信息并在记录解压编码后向验证端反馈验证编码；

服务器若无法提取验证信息或者提取的验证信息不完整时，则不作应答。

作为本发明进一步的方案：所述的方法还包括：当验证端多次输出验证信息而得不到反馈时，临时文件夹会随着不间断的提取的互联网数据而使得容量不断增加，当增加到一定阈值时会再次生成新的临时文件夹，而接下来所提取的互联网数据会被存入其中并将原先的临时文件夹冻结。

作为本发明进一步的方案：一种大数据采集系统，所述的采集系统包括；

客户端，用于获取相关的互联网数据，并提取相关的互联网数据并生成临时数据库；

验证端，用于间歇性地发送验证信息至服务器，所述的验证信息由解压编码和验证编码两部分组成，所述的解压编码在发送验证信息之前随机生成，不具有规律性，所述的验证编码为固定内容且所述的解压编码和验证编码的相对位置不能改变；获取验证编码之后会提取客户端的临时数据库内的互联网数据，并将所述的互联网数据进行加密加压后生成过渡文件；

服务器，用于接收到验证信息后收录解压编码并向验证端反馈验证编码；接收所述的过渡文件，并通过解压编码将其解压。

作为本发明进一步的方案：所述的客户端包括以下步骤：

获取来自所收集的相关互联网数据；

剔除所述的互联网数据中的重复项和残缺项等无用数据；

整合所筛选出的互联网数据，并将其存储在临时文件夹中，所述的临时文件夹按照日期和时间进行命名以避免重复；

提取所有的所述的临时文件夹及其内部数据生成临时数据库。

作为本发明进一步的方案：所述的验证端与服务器之间进行如下步骤实现：

验证端向服务器间歇性的发送验证信息，所述的验证信息由解压编码和验证编码两部分组成，所述的解压编码为发送验证信息前随机生成，不具有规律性，所述的验证编码为固定编码且所述的解压编码和验证编码的相对位置不能改变；

当服务器在接收到验证信息之后会提取其中的解压编码和验证编码，若验证编码完整则向验证端发送相同的验证编码；

验证端在接收到验证编码之后会提取将临时数据库中的临时文件夹及其内部的互联网数据并将其加密加压后生成过渡文件；

服务器在接收到来自验证端的过渡文件后，利用提取的解压编码将其还原成原始数据；

当服务器无法接收到验证信息或者验证信息不完整和错误时，服务器则不会向验证端发送验证编码。

作为本发明进一步的方案：所述的验证端在断网或者网络不稳定的情况下，长期无法接收到来自服务器的验证编码时，临时文件夹会随着不间断的提取的互联网数据而使得容量不断增加，当增加到一定阈值时会再次生成新的临时文件夹，而接下来所提取的互联网数据会被存入其中并将原先的临时文件夹冻结。

作为本发明进一步的方案：一种计算机设备，包括显示屏、存储器、处理器以及计算机程序，其中所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的大数据采集方法的步骤。

作为本发明进一步的方案：一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述的大数据采集方法的步骤。

与现有技术相比，本发明的有益效果是：在数据采集过程中客户端可以对庞大的实时数据进行初期筛选分类，能够减小数据量从而降低传输负荷；而通过验证端间歇性的向服务器发送验证信息可以根据是否得到反馈来有效的判断当前网络是否处于稳定状况，从而避免在传输过程因为网络不稳定被打断而造成数据丢失；另外通过实时变化的解压编码更可以有效防止数据泄露或被他人拦截时出现泄密，安全性更高。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中的一些实施例。

图1为本发明实施例提供的适用于本发明实施例的一种大数据采集方法的网络架构图。

图2为本发明是实施例中提供的一种大数据采集方法的流程图。

图3为本发明实施例中提供的生成临时数据库的流程图。

图4为验证端与服务器之间的反馈回路的流程图。

图5为本发明实施例中提供的一种大数据采集系统的结构示意图。

图6为本发明另一个优选的实施例中提供的用于生成临时数据库的流程图。

图7为本发明实施例提供的用于生成临时数据库的装置的结构示意图。

图8为本发明实施例中客户端所在的计算机设备的结构示意图。

图9为本发明实施提供的一种可读存储介质与处理器的连接关系示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，若本发明实施例中有方向性指示(诸如上、下、左、右、前、后......)，则其仅用于解释在某一特定姿态下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若在本发明中涉及“第一”、“第二”等的描述，则其仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

以下结合具体实施例对本发明的具体实现进行详细描述：

在传统的大数据的采集主要是运用互联网技术实现远程数据采集，通过采集软件收集用户使用互联网时所产生的各种信息，并经过多次汇聚转发，最终发送给大数据平台作为分析和应用的数据源。而据源实时产生的数据量巨大，数据传输频率高，对采集服务器和传输网络的压力非常大，在传输网络不稳定的情况下，数据采集传输过程易发生数据泄露、丢失等问题，数据的安全性较差。

在本实施例中，通过客户端获取相关的互联网数据，提取相关的互联网数据并生成临时数据库；验证端间歇性地发送验证信息至服务器，所述的验证信息由解压编码和验证编码两部分组成，所述的解压编码在发送验证信息之前随机生成，不具有规律性，所述的验证编码为固定内容且所述的解压编码和验证编码的相对位置不能改变；所述的服务器在接收到验证信息后会收录解压编码并向验证端反馈验证编码；所述的验证端获取验证编码之后会提取客户端的临时数据库内的互联网数据，并将所述的互联网数据进行加密加压后生成过渡文件；所述的服务器接收所述的过渡文件，并通过解压编码将其解压，从而实现数据的采集。

实施例1

图2示出了本发明中大数据采集方法的的实现流程，该大数据采集方法应用于能够实时连接互联网的设备，该设备可以是手机、平板电脑和计算机等可以通信的设备，此处不做具体限定，所述的大数据采集方法详述如下：

步骤S100，客户端获取相关的互联网数据，提取相关的互联网数据并生成临时数据库。

在本发明实施例中，所述的客户端为用户所使用的手机、平板电脑和计算机等可以通信的设备上所运行的后台软件。当上述设备被使用时，其实时产生的各种信息会被运行的后台软件所自动收录，并生成临时数据库用于存储数据。

所述的后台软件也即是后台程序，是非用户直接接触的程序。如果是一台机器上，通常把用户正在操作的程序称为前台程序，而用户没有操作但也在运行的程序（如系统服务）称为后台程序。此处所述的后台软件会在设备开启时自动运行和具有实时记录设备使用数据的功能且不会影响设备的正常使用，具体类型此处不作限定。

另外，在图3中示出了本发明实施例中生成所述的临时数据库的方法，其具体包括如下步骤：

步骤S101，获取相关的互联网数据；

在本发明实施例中，所述的互联网数据由设备中运行的后台软件所实时记录获得。

步骤S102，提取所述的互联网数据中的非重复项和完整项；

步骤S103，建立临时文件夹，并按日期和时间对其命名；

步骤S104，输入提取后的互联网数据至所述的临时文件夹中，生成所述的临时数据库。

可以理解的是，经过筛选得到的有效数据被存放至历史文件夹中，而临时文件夹采用日期和时间来命名可以告知该临时文件夹内数据最早被采集时的时间，从而避免其余其他临时文件夹之间之间出现混乱，无法识别。

步骤S200，验证端间歇性地发送验证信息至服务器，所述的验证信息由解压编码和验证编码两部分组成，所述的解压编码在发送验证信息之前随机生成，不具有规律性，所述的验证编码为固定内容且所述的解压编码和验证编码的相对位置不能改变；

本发明实施例中，验证端每隔一定的时间间隔向服务器发送验证信息，此处的解压编码和验证编码可视为一段包括字母、数字或者其他字符的字符串。验证信息可表示为“解压编码+分隔字符+验证编码”，此处的分隔字符为固定字符且不可作为解压编码和验证编码的组成部分。解压编码为发送验证信息之前临时生成的字符串，并且其中不含有分隔字符，另外验证端会对该解压编码进行记录和保存，而且会在下一次发送验证信息时重新生成解压编码并删除上一次发送验证信息时所记录的解压编码。而验证编码为固定字符串，且与解压编码的相对位置无法改变。

步骤S300，所述的服务器在接收到验证信息后会收录解压编码并向验证端反馈验证编码；

本发明实施例中，服务器在接收到验证信息后会对其进行识别并提取处分隔字符后的字符串与验证编码进行对比来确定网络稳定情况，当所提取的字符串与验证编码相同时，本次验证过程成功，服务器会收录验证信息中的解压编码后保存，并向验证端反馈验证编码；当所提取的字符串与验证编码不同是，验证过程失败，服务器不做应答。

另外，在图4中示出了整个反馈回路的实现方式，其具体步骤如下：

步骤S301，验证端发送验证信息；

步骤S302，服务器提取验证信息并在记录解压编码和验证编码；

步骤S303，服务器将所提取的验证编码和数据库中的验证编码进行比对；若比对结果相同则执行步骤S304；若比对结果不同，则结束流程；

步骤S304，服务器发送验证编码至验证端。

步骤S400，所述的验证端获取验证编码之后会提取客户端的临时数据库内的互联网数据，并将所述的互联网数据进行加密加压后生成过渡文件；

本发明实施例中，在验证端收到来自服务器的反馈后，会将所得的反馈信息与验证编码相比对，从而再次确定网络传输是否稳定，当反馈信息与验证编码一一致时，验证端会提取临时数据库中的临时文件夹及其内部数据，并将其加密加压成过渡文件，而所述的过渡文件的解压密码则与验证端所收录的解压编码保持一致；当反馈信息与验证编码不一致时，验证端会删除所收录的解压编码并重复步骤S300。

步骤S500，所述的服务器接收所述的过渡文件，并通过解压编码将其解压。

本发明实施例中，服务器在将过渡文件解压之后其用于解压该过渡文件的解压编码会在再次收到验证信息被删除。

图6中示出了本发明提供的另一个优选的实施例，在该实施例中，所述的大数据采集方法还包括以下步骤：

步骤S600,检测临时文件夹容量大小是否等于所设定阈值，当临时文件夹容量等于所设定的阈值时，则重复步骤S103和步骤S104并将原先的临时文件夹冻结；当临时文件夹容量小于所设定的阈值时，继续步骤S104。

可以理解的是，当通过网络传输数据时，可能会因为网络不稳定而造成中断。且随着数据的容量的增大，传输时间也会增加，而传输时间增加则出现数据传输中断的概率也会大大增加，而数据传输中断会造成数据丢失和泄露等危险。所以通过将过量的数据分成多次进行传输可以有效的防止因为网络中断而造成的危险，并且可以在出现数据丢失时将损害降到最低。

图5中示出了本发明实施例中进一步提供的一种大数据采集系统的结构示意图图，该大数据采集系统10包括：

客户端11，用于采集用户在浏览互联网时所产生的的各种信息；剔除所采集的互联网信息中的重复和无用的部分，并生成临时数据库用于存储筛选后的数据；

在本发明实施例中，所述的客户端11主体为具有通信能力的互联网设备，该设备可以是手机、平板电脑和计算机等，此处不作具体限定。

验证端12，用于间歇性的发送验证信息和提取临时数据库中的临时文件夹及其内部互联网数据并将其加密后压后生成过渡文件；

服务器13，用于接收验证信息并反馈验证编码和将过渡文件还原成原始数据。

图7中示出了用于生成临时数据库的装置的结构示意图，其内包含有客户端11和验证端12。

图8中示出了本发明实施例中客户端所在的计算机设备20的结构示意图，该计算机设备20包括存储器21、处理器22、以及后台程序23，其中所述存储器21中存储有后台程序23，所述后台程序23被所述处理器22执行时，使得所述处理器22执行所述大数据采集方法的步骤。

可以理解的是，在本发明提供的优选实施例中，该计算机设备还可以为笔记本电脑、个人数字助理(Personal Digital Assistant，PDA)、平板电脑和手机等可以进行通信的设备。

图9示出了本发明实施提供的一种可读存储介质的示意图，所述可读存储介质30上存储有后台程序23，所述计算机程序23被处理器22执行时，使得所述处理器22执行所述大数据采集方法的步骤。

示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。例如，上述计算机程序可以被分割成上述各个系统实施例提供的泊位状态显示系统的单元或模块。

本领域技术人员可以理解，上述终端设备的描述仅仅是示例，并不构成对终端设备的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，上述处理器是上述终端设备的控制中心，利用各种接口和线路连接整个用户终端的各个部分。

上述存储器可用于存储计算机程序和/或模块，上述处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现上述终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如信息采集模板展示功能、产品信息发布功能等）等；存储数据区可存储根据泊位状态显示系统的使用所创建的数据（比如不同产品种类对应的产品信息采集模板、不同产品提供方需要发布的产品信息等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（SmartMedia Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例系统中的全部或部分模块/单元，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个系统实施例的功能。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、电载波信号、电信信号以及软件分发介质等。

本发明实施例中提供的大数据采集方法通过客户端获取相关的互联网数据，提取相关的互联网数据并生成临时数据库；验证端间歇性地发送验证信息至服务器，所述的验证信息由解压编码和验证编码两部分组成，所述的解压编码在发送验证信息之前随机生成，不具有规律性，所述的验证编码为固定内容且所述的解压编码和验证编码的相对位置不能改变；所述的服务器在接收到验证信息后会收录解压编码并向验证端反馈验证编码；所述的验证端获取验证编码之后会提取客户端的临时数据库内的互联网数据，并将所述的互联网数据进行加密加压后生成过渡文件；所述的服务器接收所述的过渡文件，并通过解压编码将其解压，从而实现数据的采集。而在数据采集过程中客户端可以对庞大的实时数据进行初期筛选分类，能够减小数据量从而降低传输负荷；而通过验证端间歇性的向服务器发送验证信息可以根据是否得到反馈来有效的判断当前网络是否处于稳定状况，从而避免在传输过程因为网络不稳定被打断而造成数据丢失；另外通过实时变化的解压编码更可以有效防止数据泄露或被他人拦截时出现泄密，安全性更高。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种大数据采集方法，其特征在于，所述的方法包括：

客户端获取相关的互联网数据，提取相关的互联网数据并生成临时数据库，生成所述的临时数据库包括：

获取相关的互联网数据；

提取所述的互联网数据中的非重复项和完整项；

建立临时文件夹，并按日期和时间对其命名；

输入提取后的互联网数据至所述的临时文件夹中，生成所述的临时数据库；

所述的服务器接收所述的过渡文件，并通过解压编码将其解压；

当验证端多次输出验证信息而得不到反馈时，临时文件夹会随着不间断的提取的互联网数据而使得容量不断增加，当增加到一定阈值时会再次生成新的临时文件夹，而接下来所提取的互联网数据会被存入其中并将原先的临时文件夹冻结。

2.根据权利要求1所述的一种大数据采集方法，其特征在于，所述的验证端和服务器之间进行以下步骤：

验证端发送验证信息；

3.一种大数据采集系统，其特征在于，所述的采集系统包括；

客户端，用于获取相关的互联网数据，并提取相关的互联网数据并生成临时数据库，生成所述的临时数据库包括：

获取相关的互联网数据；

提取所述的互联网数据中的非重复项和完整项；

建立临时文件夹，并按日期和时间对其命名；

服务器，用于接收到验证信息后收录解压编码并向验证端反馈验证编码；接收所述的过渡文件，并通过解压编码将其解压；

当所述的验证端在断网或者网络不稳定的情况下，长期无法接收到来自服务器的验证编码时，临时文件夹会随着不间断的提取的互联网数据而使得容量不断增加，当增加到一定阈值时所述客户端会再次生成新的临时文件夹，而接下来所提取的互联网数据会被存入其中并将原先的临时文件夹冻结。

4.根据权利要求3所述的一种大数据采集系统，其特征在于，所述的验证端和服务器之间进行如下步骤：

5.一种计算机设备，其特征在于，包括显示屏、存储器、处理器以及计算机程序，其中所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1-2任一项权利要求所述的大数据采集方法的步骤。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1-2任一项权利要求所述的大数据采集方法的步骤。