CN108009292B - 大数据收集方法和系统 - Google Patents

Abstract

本发明提供了一种大数据收集方法和系统，涉及大数据收集的技术领域，包括：接收不同来源的输入数据；当输入数据的格式与输出数据格式不相同时，将输入数据的格式转换为输出数据格式；将转换后的输出数据保存至存储空间，以便对外提供统一的数据调用服务。本发明将不同来源的输入数据转换为输出数据格式，并将输出的数据保存至存储空间从而能够对外提供统一的数据调用服务，本发明具有兼容性、完整性并且灵活性的优点。

Description

大数据收集方法和系统

技术领域

本发明涉及大数据收集技术领域，尤其是涉及一种大数据收集方法和系统。

背景技术

随着时代的发展，人们大多都是以代步出行，这就造成了道路的拥堵，导致人们出行的麻烦。车联网的出现很好的解决了这个问题，车联网能够按照约定的通信协议和数据交互标准，在车和车之间、车和路之间、车和行人之前、车和互联网之间等等，进行无线通信和信息交换，实现了更加智能化交通管理、具有更加智能化的信息交流和车辆智能控制。另外，车联网的出现不仅方便人们的出行，而且还能推动汽车的安全性和经济性能。

然而，车联网对于接收不同来源不同格式的大数据无法进行统一的接入，导致这些大数据不能统一的对外提供给消费者，给消费者带来很大的不便。

发明内容

有鉴于此，本发明的目的在于提供大数据收集方法和系统，解决了现有技术中对大数据的收集不能兼容的问题，即将不同来源的输入数据转换为输出数据格式，并将输出的数据保存至存储空间从而能够对外提供统一的数据调用服务，本发明具有兼容性、完整性并且灵活性的优点。

第一方面，本发明实施例提供了一种大数据收集方法，包括：接收不同来源的输入数据；当所述输入数据的格式与输出数据格式不相同时，将所述输入数据的格式转换为输出数据格式；将转换后的输出数据保存至存储空间，以便对外提供统一的数据调用服务。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述当所述输入数据的格式与输出数据格式不相同时，将所述输入数据的格式转换为输出数据格式，包括：根据不同来源的输入数据，得到不同来源的可读输入数据；将所述不同来源的可读输入数据进行提取得到记载相同信息的输入数据；当所述记载相同信息的输入数据的格式不同时，根据转换协议将所述记载相同信息的输入数据的格式转换为统一的输出数据格式。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述根据不同来源的输入数据，得到不同来源的可读输入数据，包括：对所述输入数据进行解压，得到不同来源的可读输入数据。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述对所述输入数据进行解压，得到不同来源的可读输入数据，包括：根据protobuf对所述输入数据进行解压，得到不同来源的可读输入数据。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，还包括：将所述输出数据通过统一的传输控制协议传输所述存储空间。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述大数据收集方法是应用于车联网。

第二方面，本发明实施例还提供一种大数据收集系统，包括：接收模块，用于接收不同来源的输入数据；转换模块，用于当所述输入数据的格式与输出数据格式不相同时，将所述输入数据的格式转换为输出数据格式；保存模块，用于将转换后的输出数据保存至存储空间，以便对外提供统一的数据调用服务。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述转换模块，用于：根据不同来源的输入数据，得到不同来源的可读输入数据；将所述不同来源的可读输入数据进行提取得到记载相同信息的输入数据；当所述记载相同信息的输入数据的格式不同时，根据转换协议将所述记载相同信息的输入数据的格式转换为统一的输出数据格式。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述根据不同来源的输入数据，得到不同来源的可读输入数据，包括：根据protobuf对所述输入数据进行解压，得到不同来源的可读输入数据。

结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，还包括：传输模块，用于将所述输出数据通过统一的传输控制协议传输所述存储空间。

本发明实施例带来了以下有益效果：可以将不同来源的输入数据转换为输出数据格式，并将输出的数据保存至存储空间从而能够对外提供统一的数据调用服务，本发明具有兼容性、完整性并且灵活性的优点。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例提供的大数据收集方法的流程图；

图2为本发明另一个实施例提供的大数据收集方法的流程图；

图3为本发明一个实施例提供的大数据收集系统的结构图；

图4为本发明另一个实施例提供的大数据收集系统的结构图。

图标：

200-大数据收集系统；210-接收模块；220-转换模块；230-保存模块；240-传输模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，车联网对于接收不同来源不同格式的大数据无法进行统一的接入，导致这些大数据不能统一的对外提供给消费者，给消费者带来很大的不便，基于此，本发明实施例提供的一种大数据收集方法和系统，可以将不同来源的输入数据转换为输出数据格式，并将输出的数据保存至存储空间从而能够对外提供统一的数据调用服务，本发明具有兼容性、完整性并且灵活性的优点。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种大数据收集方法进行详细介绍，包括：

S110：接收不同来源的输入数据。

具体来说，该方法接收来自第三方的数据，第三方可能为某个公司，也可能为某个课题组，等等。以车联网大数据为例，第三方可能为某个汽车公司，也可能为某个汽车公司的研究组，也可能是维修汽车的某个公司等等。

S120：当输入数据的格式与输出数据格式不相同时，将输入数据的格式转换为输出数据格式。

步骤S120，包括：

根据不同来源的输入数据，得到不同来源的可读输入数据；

将不同来源的可读输入数据进行提取得到记载相同信息的输入数据；

当记载相同信息的输入数据的格式不同时，根据转换协议将记载相同信息的输入数据的格式转换为统一的输出数据格式。

进一步的，根据不同来源的输入数据，得到不同来源的可读输入数据，包括：对输入数据进行解压，得到不同来源的可读输入数据。

进一步的，对输入数据进行解压，得到不同来源的可读输入数据，包括：根据protobuf对输入数据进行解压，得到不同来源的可读输入数据。

结合图2所示，举例来说，对于不同来源的数据，A来源、B来源、C来源、D来源的数据，如果来自第三方的A来源、B来源、C来源、D来源的数据需要解压，则将A来源、C来源、D来源的数据进行解压，解压后，得到可读的A来源、B来源、C来源、D来源的数据，在从A来源、B来源、C来源、D来源的数据中提取出记载相同内容的数据，例如，从A来源、B来源、C来源、D来源的数据中提取出记载车辆定位信息的数据。其记载相同内容的数据定义为E内容、F内容、G内容、H内容，如果E内容、F内容、G内容、H内容的各自的格式不同时，根据转换协议将E内容、F内容、G内容、H内容格式分别转换为统一的输出数据格式。即，E内容的格式转换为第一种输出数据格式、F内容的格式转换为第二种输出数据格式、G内容的格式转换为第三种输出数据格式、H内容的格式转换为第四种输出数据格式。其中，针对不同的格式，可以根据不同的转换协议对输入数据的格式进行转换，还可以根据protobuf对A来源、B来源、C来源、D来源的数据进行解压。

综上可知，本发明可以对不同来源的输入数据通过转换协议进行转换，转换为可以对外提供统一的输出数据，使得一份数据可以被多个消费者消费。所以，本发明可以兼容多种来源多种格式的数据统一对外提供调用服务，而且本发明对于不同的格式具有不同的转换方式，保护了数据的完整性和灵活性。

S130：将转换后的输出数据保存至存储空间，以便对外提供统一的数据调用服务。

步骤S120和步骤S130之间，还包括：将输出数据通过统一的传输控制协议(TCP，Transmission Control Protocol)传输所述存储空间。

其中，大数据收集方法是应用于车联网。

参见图3所示，一种大数据收集系统200，包括：接收模块210、转换模块220、保存模块230。

其中，接收模块210用于接收不同来源的输入数据。转换模块220与接收模块210相连，用于当输入数据的格式与输出数据格式不相同时，将输入数据的格式转换为输出数据格式。保存模块230转换模块220相连，用于将转换后的输出数据保存至存储空间，以便对外提供统一的数据调用服务。

值得注意的是，转换模块220可以包括多个组件，适用于不同来源的不同格式进行分别处理。

在一些实施例中，转换模块220用于：根据不同来源的输入数据，得到不同来源的可读输入数据；将不同来源的可读输入数据进行提取得到记载相同信息的输入数据；当记载相同信息的输入数据的格式不同时，根据转换协议将记载相同信息的输入数据的格式转换为统一的输出数据格式。

在一些实施例中，根据不同来源的输入数据，得到不同来源的可读输入数据，包括：根据protobuf对所述输入数据进行解压，得到不同来源的可读输入数据。

在一些实施例中，结合图4所示，还包括：传输模块240，传输模块240分别与转换模块220和保存模块230相连，用于将输出数据通过统一的传输控制协议传输存储空间。

本发明实施例所提供的系统，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，系统实施例部分未提及之处，可参考前述方法实施例中相应内容。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。

在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“相连”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”、“第四”、“第五”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明实施例所提供的进行大数据收集方法的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种大数据收集方法，其特征在于，包括：

接收不同来源的输入数据；

当所述输入数据的格式与输出数据格式不相同时，将所述输入数据的格式转换为输出数据格式；

将转换后的输出数据保存至存储空间，以便对外提供统一的数据调用服务；

其中，所述当所述输入数据的格式与输出数据格式不相同时，将所述输入数据的格式转换为输出数据格式，包括：

根据不同来源的输入数据，得到不同来源的可读输入数据；

将所述不同来源的可读输入数据进行提取，得到记载相同信息的输入数据；

当所述记载相同信息的输入数据的格式不同时，根据转换协议将所述记载相同信息的输入数据的格式转换为统一的输出数据格式。

2.根据权利要求1所述的大数据收集方法，其特征在于，所述根据不同来源的输入数据，得到不同来源的可读输入数据，包括：

对所述输入数据进行解压，得到不同来源的可读输入数据。

3.根据权利要求2所述的大数据收集方法，其特征在于，所述对所述输入数据进行解压，得到不同来源的可读输入数据，包括：

根据protobuf对所述输入数据进行解压，得到不同来源的可读输入数据。

4.根据权利要求1所述的大数据收集方法，其特征在于，还包括：

将所述输出数据通过统一的传输控制协议传输所述存储空间。

5.根据权利要求1所述的大数据收集方法，其特征在于，所述大数据收集方法是应用于车联网。

6.一种大数据收集系统，其特征在于，包括：

接收模块，用于接收不同来源的输入数据；

转换模块，用于当所述输入数据的格式与输出数据格式不相同时，将所述输入数据的格式转换为输出数据格式；

保存模块，用于将转换后的输出数据保存至存储空间，以便对外提供统一的数据调用服务；

其中，所述转换模块，用于：根据不同来源的输入数据，得到不同来源的可读输入数据；将所述不同来源的可读输入数据进行提取得到记载相同信息的输入数据；当所述记载相同信息的输入数据的格式不同时，根据转换协议将所述记载相同信息的输入数据的格式转换为统一的输出数据格式。

7.根据权利要求6所述的大数据收集系统，其特征在于，所述根据不同来源的输入数据，得到不同来源的可读输入数据，包括：根据protobuf对所述输入数据进行解压，得到不同来源的可读输入数据。

8.根据权利要求6所述的大数据收集系统，其特征在于，还包括：传输模块，用于将所述输出数据通过统一的传输控制协议传输所述存储空间。

Images