CN106850596A - 一种数据采集系统和方法 - Google Patents

Abstract

本发明实施例公开一种数据采集系统和方法，所述系统包括：依次连接的关联模块、任务处理模块以及数据采集模块；所述关联模块用于将不同的数据平台与所述数据平台对应的接口协议建立关联关系，并存储；所述任务处理模块用于根据待采集数据获取所述待采集数据对应的数据平台，并通过所述关联模块获取所述数据平台对应的接口协议，将所述接口协议发送至所述数据采集模块；所述数据采集模块用于根据所述接口协议采集所述待采集数据，并将所述待采集数据进行存储。所述方法是上述系统的使用方法。本发明实施例实现了不同接口数据的采集，不要人工数据处理，提高了数据采集的效率。

Description

一种数据采集系统和方法

技术领域

本发明实施例涉及软件开发技术领域，具体涉及一种数据采集系统和方法。

背景技术

随着互联网技术的发展，不同的系统可以采用不同协议进行数据的采集、交互以及存储等。

现有技术中，对于不同系统或应用采用各自共享接口对外提供数据，若协议方式不统一，不利于应用对数据的获取。接口协议有很多种，不同的系统或应用会采用不同的接口协议，在进行数据的交互时，不同接口协议对应的系统不能直接进行数据的交互。这给数据的交互带来极大的不便，尤其在新的接口协议出现时，需要开发人员对数据进行相应的处理，实现数据的交互，降低了数据交互的效率增加了数据，增加了软件开发的工作量

因此，如何提出一种方案，能够提高不同系统间数据交互的效率，成为亟待解决的问题。

发明内容

针对现有技术中的缺陷，本发明实施例提供一种数据采集系统和方法。

一方面，本发明实施例提出一种数据采集系统，包括：

依次连接的关联模块、任务处理模块以及数据采集模块；

所述关联模块用于将不同的数据平台与所述数据平台对应的接口协议建立关联关系，并存储；

所述任务处理模块用于根据待采集数据获取所述待采集数据对应的数据平台，并通过所述关联模块获取所述数据平台对应的接口协议，将所述接口协议发送至所述数据采集模块；

所述数据采集模块用于根据所述接口协议采集所述待采集数据，并将所述待采集数据进行存储。

进一步地，所述系统还包括：显示模块；

所述显示模块分别与所述任务处理模块以及所述数据采集模块连接，且所述显示模块用于实时显示所述任务处理模块以及所述数据采集模块的实时任务进程。

进一步地，所述任务处理模块包括优先级配置单元，所述优先级配置单元与所述数据采集模块连接，用于将不同的数据采集任务配置优先级，并将所述优先级发送至所述数据采集模块。

进一步地，所述任务处理模块包括任务定时单元，所述任务定时单元与所述数据采集模块连接，用于为不同的数据采集任务配置采集启动时间，并将所述采集启动时间发送至所述数据采集模块。

进一步地，所述数据采集模块包括：相互连接的数据转换单元和存储单元；

所述数据转换单元，用于根据所述接口协议将所要采集的数据进行格式转换；

所述存储单元，用于存储所述数据转换单元转换后的数据，并生成数据列表，以及，周期性更新所述数据列表。

进一步地，所述数据采集模块还包括数据编辑单元，所述数据编辑单元分别与所述数据转换单元和所述存储单元连接；

所述数据编辑单元，用于在所述存储单元存储所述数据之前，对所述数据进行编辑处理，所述编辑处理包括：重复数据删除及丢失数据增加。

另一方面，本发明实施例提供一种数据采集方法，包括：

接收数据采集任务，获取所述数据采集任务中的待采集数据对应的数据平台；

根据数据平台与接口协议的关联关系，获取所述数据平台对应的接口协议；

根据所述接口协议，采集所述待采集数据。

进一步地，所述方法还包括：多个所述数据采集任务同时进行。

进一步地，所述多个数据采集任务同时进行包括：不同的数据采集任务配置有不同的优先级，根据优先级高低进行执行所述数据采集任务。

进一步地，所述方法还包括：设置所述数据采集任务的采集启动时间，并根据所述采集启动时间执行所述数据采集任务。

本发明实施例提供的数据采集系统和方法，通过关联模块预先建立数据平台与接口协议的关联关系，任务处理模考根据数据采集任务中的待采集数据获取到对应的数据平台，进一步获取到数据平台对应的接口协议，根据不同的接口协议采集待采集的数据。实现了不同接口数据的采集，不要人工数据处理，提高了数据采集的效率。

附图说明

图1为本发明实施例中数据采集系统的结构示意图；

图2为本发明实施例中又一数据采集系统的结构示意图；

图3为本发明实施例中又一数据采集系统的结构示意图；

图4为本发明实施例中又一数据采集系统的结构示意图；

图5为本发明实施例中又一数据采集系统的结构示意图；

图6为本发明实施例中又一数据采集系统的结构示意图；

图7为本发明实施例中数据采集方法的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例中数据采集系统的结构示意图，如图1所示，本发明实施例提供的数据采集系统包括：依次连接的关联模块11、任务处理模块12以及数据采集模块13；

关联模块11用于将不同的数据平台与所述数据平台对应的接口协议建立关联关系，并存储；

任务处理模块12用于根据待采集数据获取所述待采集数据对应的数据平台，并通过关联模块11获取所述数据平台对应的接口协议，将所述接口协议发送至数据采集模块12；

数据采集模块12用于根据所述接口协议采集所述待采集数据，并将所述待采集数据进行存储。

具体地，本发明实施例提供一种数据采集系统，其包括关联模块11，关联模块11预先将不同的数据平台与对应的接口协议建立关联关系，并数据平台与接口协议之间的关联关系进行存储。当需要采集数据时，任务处理模块12获取待数据采集任务，并获取数据采集任务中的待采集数据对应的数据平台，具体根据待采集数据的字段信息或属性等获取到对应的数据平台，当然也可以是其他方式，如在数据采集任务中带有待采集数据的数据平台标识等，本发明实施例不作具体限定。获取到待采集数据对应的数据平台后，根据关联模块11建立的数据平台与接口协议的关联关系，获取到该数据平台对应的接口协议，并将获取到的接口协议发送至数据采集模块13。数据采集模块13接收到该接口协议后，根据接收到的接口协议采集对应的待采集数据并进行存储。

本发明实施例提供的数据采集系统，通过关联模块预先建立数据平台与接口协议的关联关系，任务处理模考根据数据采集任务中的待采集数据获取到对应的数据平台，进一步获取到数据平台对应的接口协议，根据不同的接口协议采集待采集的数据。实现了不同接口数据的采集，不要人工数据处理，提高了数据采集的效率。

图2为本发明实施例中又一数据采集系统的结构示意图，如图2所示，在上述实施例的基础上，所述系统还包括：显示模块21；

显示模块21分别与任务处理模块12以及数据采集模块13连接，且显示模块21用于实时显示任务处理模块12以及数据采集模块13的实时任务进程。

具体地，在数据采集系统中设置显示模块21，并将显示模块21和任务处理模块12以及数据采集模块13分别连接，可以显示任务处理模块12以及数据采集模块13的实时任务进程，便于用户实时监测数据采集任务的进行情况，提高了用户体验感。

图3为本发明实施例中又一数据采集系统的结构示意图，如图3所示，在上述实施例的基础上，任务处理模块12包括优先级配置单元121，优先级配置单元121与数据采集模块13连接，用于将不同的数据采集任务配置优先级，并将所述优先级发送至数据采集模块13。

具体地，本发明提供的数据采集系统可以实现多个数据采集任务的同时执行，在任务处理模块12中设置优先级配置单元121，用于对不同的数据采集任务配置不同的优先级，并将配置的优先级以及对应的数据采集任务发送至数据采集模块13。数据采集模块13根据不同的优先级设置数据采集任务的执行顺序，以实现数据采集任务的有序完成。其中数据采集任务的优先级可以由用户根据需要进行设置，也可以根据不同的数据采集任务中的待采集数据对应的数据平台设置数据采集任务的优先级，还可以根据数据采集任务的建立时间设置对应的优先级，当然还可以根据其他方式进行设置，本发明实施例不作具体限定。

例如：任务处理模块12中同时接收到3个数据采集任务A、B和C，任务处理模块12中的优先级配置单元121将数据采集任务A、B和C的优先级设置为从高至低设置，即数据采集任务A的优先级最高，数据采集任务B的优先级次之，数据采集任务C的优先级最低。优先级配置单元121将数据采集任务A、B和C对应的优先级发送至数据采集模块13，数据采集模块优先执行数据采集任务A，再执行数据采集任务B，最后执行数据采集任务C。

本发明实施例提供的数据采集系统，在任务处理模块中设置优先级设置单元，并将不同的数据采集任务设置不同的优先级，便于数据采集模块根据数据采集任务的优先级顺序的进行数据采集。提高了数据采集的有序性，和数据采集的效率。

图4为本发明实施例中又一数据采集系统的结构示意图，如图4所示，在上述实施例的基础上，任务处理模块12包括任务定时单元122，任务定时单元122与数据采集模块13连接，用于为不同的数据采集任务配置采集启动时间，并将所述采集启动时间发送至数据采集模块13。

具体地，在数据处理模考12中设置任务定时单元122，并将任务定时单元122和数据采集模块13连接。任务定时单元122为不同的数据采集任务配置采集启动时间，将配置好的采集启动时间以及对应的采集任务发送至数据采集模块13.数据采集模块13根据接收到的数据采集任务的采集启动时间开始进行数据采集。其中采集启动时间可以由用户根据实际使用情况设置，本发明实施例不作具体限定。例如：用户若想在1小时后采集数据D，则可以通过任务定时单元122将该数据采集任务的采集启动时间设置为1小时后，任务定时单元122将该数据采集任务的采集启动时间发送至数据采集模块13，数据采集模块13在1小时后自动执行该数据采集任务，采集对应的数据。

本发明实施例提供的数据采集系统，可以通过任务定时单元设置不同的数据采集任务的采集启动时间，到达采集启动时间后，自动采集数据，实现数据采集的自动化，提高了数据采集的效率和用户的体验感。

图5为本发明实施例中又一数据采集系统的结构示意图，如图5所示，在上述实施例的基础上，数据采集模块13包括：相互连接的数据转换单元131和存储单元132；

数据转换单元131，用于根据所述接口协议将所要采集的数据进行格式转换；

存储单元132，用于存储数据转换单元131转换后的数据，并生成数据列表，以及，周期性更新所述数据列表。

具体地，本发明实施例提供的数据采集系统，可以采集不同接口协议对应的数据，在任务处理模块12获取到待采集数据的接口协议后，数据采集模块13中的数据转换单元131会根据接口协议转换待采集数据的格式，以便于能够存储以及后续的使用。在关联模块11中存储了多种接口协议，在数据采集模块13中的数据转换单元131中可以存储每种接口协议对应的数据的转换方法，当需要采集不同接口协议对应的数据时，数据转换单元可以直接进行格式的转换。数据转换单元131将待采集数据的格式转换后，将转换后的数据发送至存储单元132，存储单元将数据存储，并生成数据列表，数据列表中可以包括源数据的来源、格式、存储时间等，存储单元132还可以周期性更新数据列表。

本发明实施例提供的数据采集系统，通过数据转换单元将根据接口协议将待采集数据进行格式转换，转换后的数据有存储单元存储，以便后期使用该数据，实现了不同接口协议的数据采集，提高了数据采集的效率。

图6为本发明实施例中又一数据采集系统的结构示意图，如图6所示，在上述实施例的基础上，数据采集模块13还包括数据编辑单元133，数据编辑单元133分别与数据转换单元131和存储单元132连接；

数据编辑单元133，用于在存储单元132存储所述数据之前，对所述数据进行编辑处理，所述编辑处理包括：重复数据删除及丢失数据增加。

具体地，在数据采集模块13中设置数据编辑单元133，当数据转换单元131将待采集数据转换格式后，将转换后的数据发送至数据编辑单元133，数据编辑单元对该数据进行相应的编辑。具体编辑包括判断该数据是否是已经存储的数据，若是，则将该数据删除，如判断该数据是新增的数据，或虽然之前存储过该数据但在存储单元132中没有具体内容即数据内容丢失，则将该数据发送至存储单元132，由存储单元132进行数据的存储。此外，存储单元132中的数据列表也可以由数据编辑单元133进行编辑后发送至存储单元132，当存储单元132中的数据不再需要时，还可以将已经存储的数据清空。

本发明实施例提供的数据采集系统，在数据采集模块中设置数据编辑单元，由数据编辑单元对已经采集到的数据进行相应的编辑，删除重复的数据，补充丢失数据，保证存储单元存储数据的完整性，同时避免存储单元存储空间的浪费。

图7为本发明实施例中数据采集方法的流程示意图，如图7所示，本发明实施例提供的数据采集方法包括：

S1、接收数据采集任务，获取所述数据采集任务中的待采集数据对应的数据平台；

S2、根据数据平台与接口协议的关联关系，获取所述数据平台对应的接口协议；

S3、根据所述接口协议，采集所述待采集数据。

具体地，本发明实施例提供的数据采集系统可以实现多种接口协议对应的数据采集，当需要采集数据时，数据采集系统中的任务处理模块接收到数据采集任务，并获取数据采集任务中待采集数据对应的数据平台。再根据数据采集系统中关联模块建立的数据平台与接口协议对应的关联关系，获取数据采集任务中待采集数据所在的数据平台对应的接口协议。获取到接口协议后，数据采集模块根据接口协议进行相应的数据格式转换，采集待采集数据。

本发明实施例提供的数据采集方法，根据数据采集任务中的待采集数据所在的数据平台对应的接口协议，采集待采集数据并进行存储，实现了多种接口协议对应数据的采集，提高了数据采集效率。

在上述实施例的基础上，所述方法还包括：多个所述数据采集任务同时进行。

具体地，本发明实施例提供的数据采集方法，可以实现多个数据采集任务的同时进行，并且可以多线程进行多个数据采集任务，以提高数据采集的速度和效率。

在上述实施例的基础上，所述多个数据采集任务同时进行包括：不同的数据采集任务配置有不同的优先级，根据优先级高低进行执行所述数据采集任务。

具体地，当数据采集任务有多个时，可以为每个数据采集任务配置不同的优先级，数据采集系统根据数据采集任务的优先级决定数据采集任务执行的先后顺序，实现数据采集的有序进行。其中数据采集任务优先级的设置方法同上述实施例一致，此处不再赘述。

在上述实施例的基础上，所述方法还包括：设置所述数据采集任务的采集启动时间，并根据所述采集启动时间执行所述数据采集任务。

具体地，在进行数据采集时，可以设置各个数据采集任务的采集启动时间，根据设置好的采集启动时间开始数据采集任务，当数据采集结束后，自动结束该数据采集任务，当然采集启动时间也可以设置为立即启动。用户可以根据需要设置不同的数据采集任务对应的采集启动时间，实现数据采集的自动化进行，提高用户的体验感。

本发明实施例提供的数据采集方法，可以实现多种接口协议对应的数据的采集，并可以多线程同时执行多个数据采集任务，还可以根据需要设置数据采集启动时间，实现数据采集的智能化，提高了数据采集效率。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种数据采集系统，其特征在于，所述系统包括：

依次连接的关联模块、任务处理模块以及数据采集模块；

所述关联模块用于将不同的数据平台与所述数据平台对应的接口协议建立关联关系，并存储；

所述任务处理模块用于根据待采集数据获取所述待采集数据对应的数据平台，并通过所述关联模块获取所述数据平台对应的接口协议，将所述接口协议发送至所述数据采集模块；

所述数据采集模块用于根据所述接口协议采集所述待采集数据，并将所述待采集数据进行存储。

2.根据权利要求1所述的系统，其特征在于，所述系统还包括：显示模块；

所述显示模块分别与所述任务处理模块以及所述数据采集模块连接，且所述显示模块用于实时显示所述任务处理模块以及所述数据采集模块的实时任务进程。

3.根据权利要求1所述的系统，其特征在于，所述任务处理模块包括优先级配置单元，所述优先级配置单元与所述数据采集模块连接，用于将不同的数据采集任务配置优先级，并将所述优先级发送至所述数据采集模块。

4.根据权利要求1所述的系统，其特征在于，所述任务处理模块包括任务定时单元，所述任务定时单元与所述数据采集模块连接，用于为不同的数据采集任务配置采集启动时间，并将所述采集启动时间发送至所述数据采集模块。

5.根据权利要求1所述的系统，其特征在于，所述数据采集模块包括：相互连接的数据转换单元和存储单元；

所述数据转换单元，用于根据所述接口协议将所要采集的数据进行格式转换；

所述存储单元，用于存储所述数据转换单元转换后的数据，并生成数据列表，以及，周期性更新所述数据列表。

6.根据权利要求5所述的系统，其特征在于，所述数据采集模块还包括数据编辑单元，所述数据编辑单元分别与所述数据转换单元和所述存储单元连接；

所述数据编辑单元，用于在所述存储单元存储所述数据之前，对所述数据进行编辑处理，所述编辑处理包括：重复数据删除及丢失数据增加。

7.一种数据采集方法，其特征在于，所述方法包括：

接收数据采集任务，获取所述数据采集任务中的待采集数据对应的数据平台；

根据数据平台与接口协议的关联关系，获取所述数据平台对应的接口协议；

根据所述接口协议，采集所述待采集数据。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：多个所述数据采集任务同时进行。

9.根据权利要求8所述的方法，其特征在于，所述多个数据采集任务同时进行包括：不同的数据采集任务配置有不同的优先级，根据优先级高低进行执行所述数据采集任务。

10.根据权利要求8所述的方法，其特征在于，所述方法还包括：设置所述数据采集任务的采集启动时间，并根据所述采集启动时间执行所述数据采集任务。