CN108052646A - 实时计算大数据系统和方法 - Google Patents

Abstract

本发明提供了一种实时计算大数据系统和方法，涉及大数据计算的技术领域，包括：接收模块用于分别与用户端和数据库相连，接收用户端的用户请求或者数据库的主动请求；发送模块用于与数据收集系统相连，以在接收到用户请求或者主动请求后根据用户请求或者主动请求生成处理请求，并将处理请求发送至数据收集系统；分配模块用于在接收到数据收集系统的数据后，根据每个并行处理模块的处理属性，将数据分配至多个并行处理模块；多个并行处理模块用于同时处理数据生成并行结果；结果模块用于将每个并行处理模块的并行结果进行合并生成处理结果，并将处理结果发送至用户端或者数据库。解决了在大数据下现有的处理器的计算速度不能满足业务需求的问题。

Description

实时计算大数据系统和方法

技术领域

本发明涉及大数据计算技术领域，尤其是涉及一种实时计算大数据系统和方法。

背景技术

随着时代的发展，人们大多都是以代步出行，这就造成了道路的拥堵，导致人们出行的麻烦。车联网的出现很好的解决了这个问题，车联网能够按照约定的通信协议和数据交互标准，在车和车之间、车和路之间、车和行人之前、车和互联网之间等等，进行无线通信和信息交换，实现了更加智能化交通管理、具有更加智能化的信息交流和车辆智能控制。另外，车联网的出现不仅方便人们的出行，而且还能推动汽车的安全性和经济性能。

然而，当用户想要从车联网中获取实时数据时，现有的计算方式，如分布式计算方式，在接收到用户请求时需要耗费大量的时间才能给出计算结果，所以，速度不能满足用户的业务要求，给消费者带来很大的不便。

发明内容

有鉴于此，本发明的目的在于提供大数据计算，通过接收模块能够接收所述用户端的用户请求或者所述数据库的主动请求，可以满足用户端和数据库的需求，并通过并行处理模块同时处理同一请求，解决了在大数据下现有的处理器的计算速度不能满足业务需求的问题。

第一方面，本发明实施例提供了一种实时计算大数据系统，所述系统分别与用户端、数据库和数据收集系统相连，所述系统包括：接收模块、发送模块，分配模块，多个并行处理模块，结果模块，所述接收模块、所述发送模块、所述分配模块、所述多个并行处理模块、所述结果模块一一相连；所述接收模块用于分别与所述用户端和所述数据库相连，接收所述用户端的用户请求或者所述数据库的主动请求，并将所述用户请求或所述主动请求发送至所述发送模块；所述发送模块用于与所述数据收集系统相连，以在接收到所述用户请求或者所述主动请求后，根据所述用户请求或者所述主动请求生成处理请求，并将所述处理请求发送至所述数据收集系统；所述分配模块用于在接收到所述数据收集系统的数据后，根据每个并行处理模块的处理属性，将所述数据分配至所述多个并行处理模块；所述多个并行处理模块用于同时处理所述数据，生成并行结果，并将所述并行结果发送至所述结果模块；所述结果模块用于将每个并行处理模块的并行结果进行合并，生成处理结果，并将所述处理结果发送至所述用户端或者所述数据库。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，每个并行处理模块包括：多个下级子模块，所述每个并行处理模块对应的各下级子模块相连，所述下级子模块用于辅助所述并行处理模块进行数据处理，并将处理子结果上报至对应的所述并行处理模块。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述并行处理模块与对应的下级子模块通过远程无线相连。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述主动请求是针对所述数据收集系统中的同一来源的数据进行请求，以能丰富所述数据库中同一来源的数据信息。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述实时计算大数据系统应用于车联网。

第二方面，本发明实施例还提供一种实时计算大数据方法，包括：接收用户端的用户请求或者数据库的主动请求；在接收到用户请求或者主动请求后，根据用户请求或者主动请求生成处理请求；在接收到数据收集系统的数据后，根据每个并行处理模块的处理属性，将所述数据分配至多个并行处理模块；同时处理所述数据，生成并行结果；将并行结果进行合并，生成处理结果，并将所述处理结果发送至所述用户端或者所述数据库。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，还包括：辅助所述并行处理模块进行数据处理，并将处理子结果上报至对应的所述并行处理模块。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述并行处理模块与对应的下级子模块通过远程无线通信。

结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，所述主动请求是针对所述数据收集系统中的同一来源的数据进行请求，以能丰富所述数据库中同一来源的数据信息。

结合第二方面，本发明实施例提供了第二方面的第四种可能的实施方式，其中，所述实时计算大数据系统应用于车联网。

本发明实施例带来了以下有益效果：通过接收模块能够接收所述用户端的用户请求或者所述数据库的主动请求，可以满足用户端和数据库的需求，并通过并行处理模块同时处理同一请求，解决了在大数据下现有的处理器的计算速度不能满足业务需求的问题。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的实时计算大数据系统的结构图；

图2为本发明实施例提供的实时计算大数据系统的工作原理图；

图3为本发明实施例提供的实时计算大数据系统中的并行处理模块的结构图；

图4为本发明实施例提供的实时计算大数据方法的流程图。

图标：

100-实时计算大数据系统；200-用户端；300-数据库；400-数据收集系统；110-接收模块；120-发送模块；130-分配模块；140-并行处理模块；150-结果模块；141-下级子模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，当用户想要从车联网中获取实时数据时，现有的计算方式，如分布式计算方式，在接收到用户请求时需要耗费大量的时间才能给出计算结果，所以，速度不能满足用户的业务要求，给消费者带来很大的不便，基于此，本发明实施例提供的一种实时计算大数据系统和方法，可以通过接收模块能够接收所述用户端的用户请求或者所述数据库的主动请求，可以满足用户端和数据库的需求，并通过并行处理模块同时处理同一请求，解决了在大数据下现有的处理器的计算速度不能满足业务需求的问题。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种实时计算大数据实时计算大数据系统100进行详细介绍，结合图1所示，实时计算大数据系统100分别与用户端200、数据库300和数据收集系统400相连，实时计算大数据系统100包括：接收模块110，发送模块120，分配模块130，多个并行处理模块140，结果模块150，接收模块110、发送模块120、分配模块130、多个并行处理模块140、结果模块150一一相连。

其中，接收模块110用于分别与用户端200和数据库300相连，接收用户端200的用户请求或者数据库300的主动请求，并将用户请求或主动请求发送至发送模块120。发送模块120用于与数据收集系统400相连，以在接收到用户请求或者主动请求后，根据用户请求或者主动请求生成处理请求，并将处理请求发送至数据收集系统400。分配模块130用于在接收到数据收集系统400的数据后，根据每个并行处理模块的处理属性，将数据分配至多个并行处理模块140。多个并行处理模块140用于同时处理数据，生成并行结果，并将并行结果发送至结果模块150。结果模块150用于将每个并行处理模块的并行结果进行合并，生成处理结果，并将处理结果发送至用户端200或者数据库300。

其中，数据收集系统400可以实时收集不同来源的数据。

结合图2所示，该实时计算大数据系统100的工作过程为：以处理车联网的事项为例，用户端200想要从车联网中获取自己在一定区域中的位置，且该区域内所有汽车的位置，用户端200向该实时计算大数据系统100发出用户请求，请求该位置内所有车辆的位置，实时计算大数据系统100收到用户请求后，向数据收集系统400发出请求，请求这些车辆的位置信息，然后数据收集系统400将这些车辆的位置信息发送到实时计算大数据系统100中，实时计算大数据系统100在接收到这些信息后，分配模块130根据用户的请求，和并行处理模块140的处理属性，将车辆的位置信息进行处理以能得到一个以该用户端的位置为中心，各个车辆与该用户端200的位置关系图，以供用户使用。该用户端的车辆与其他车辆的位置信息，包括用户端与其他车辆的相对速度和相对位移，路上交通情况，等等。其中，处理属性可以理解为并行处理模块140能够处理算法中的一小部分，例如：一个并行处理模块140可以处理加速度，一个并行处理模块可以处理相对位移，等等，当并行处理模块140将车辆的位置信息处理完后，将并行结果发送给结果模块150中，然后在结果模块150中将这些位置信息进行合并，整合一个最后处理结果，发到用户端200中。

同样的，对于数据库300发出的主动请求的处理过程也是一样的。数据库300可以将数据收集系统400中的信息都进行处理后整合到数据库300中进行存储，这样可以起到丰富数据库300数据的作用。

结合图3所示，每个并行处理模块140包括：多个下级子模块141，每个并行处理模块140对应的各下级子模块141相连，下级子模块141用于辅助并行处理模块140进行数据处理，并将处理子结果上报至对应的并行处理模块140。

具体来说，每个并行处理模块140都可以包括多个下级子模块141，在并行处理模块140可以包括分配子模块。并行处理模块140在处理大量数据时，可能会处理能力不足，如果处理能力不足时，分配子模块会被唤醒，即，使得并行处理模块140具有分配功能，将处理不了的数据分配给其下级子模块141中进行处理，而下级子模块141也是并行拓扑结构，多个下级子模块141同时处理由并行处理模块140分配的任务，然后将处理结果上报给并行处理模块140。并行处理模块在收到下级子模块141的多个处理结果时，将这些处理结果与自己本身的处理结果进行合并，得到并行结果，再将并行结果发送到结果模块150中。也就是说，并行处理模块140中具有分配任务和合并结果的功能，当只有当在并行结果模块140的处理能力不足时，这两个功能将会被唤醒，进行工作。这样可以满足大数据下对计算速度的要求。

在一些实施例中，并行处理模块140与对应的下级子模块141通过远程无线相连。

在一些实施例中，主动请求是针对数据收集系统中的同一来源的数据进行请求，以能丰富数据库中同一来源的数据信息。

具体来说，同一来源可以是同一个公司的数据，或者同一个地区的数据。以同一个公司的数据为例，数据库300向该实时计算大数据系统100发送主动请求，对数据收集系统400收集到的该公司的数据进行数据更新和数据累加，使得该数据库300中的数据能够保持数据的新鲜度和完整性，可以当用户向改数据库300请求数据时，能够为用户提供新鲜且完整的数据，增强了用户对该数据库的好感度。

在一些实施例中，实时计算大数据系统应用于车联网。

参见图4所述，实时计算大数据方法，包括：

S210：接收用户端的用户请求或者数据库的主动请求。

S220：在接收到用户请求或者主动请求后，根据用户请求或者主动请求生成处理请求。

S230：在接收到数据收集系统的数据后，根据每个并行处理模块的处理属性，将数据分配至多个并行处理模块。

S240：同时处理数据，生成并行结果。

S250：将并行结果进行合并，生成处理结果，并将处理结果发送至用户端或者数据库。

在一些实施例中，还包括：辅助所述并行处理模块进行数据处理，并将处理子结果上报至对应的所述并行处理模块。

在一些实施例中，并行处理模块与对应的下级子模块通过远程无线通信。

在一些实施例中，主动请求是针对数据收集系统中的同一来源的数据进行请求，以能丰富数据库中同一来源的数据信息。

在一些实施例中，实时计算大数据系统应用于车联网。

本发明实施例所提供的方法，其实现原理及产生的技术效果和前述系统实施例相同，为简要描述，方法实施例部分未提及之处，可参考前述系统实施例中相应内容。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。

在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种实时计算大数据系统，其特征在于，所述系统分别与用户端、数据库和数据收集系统相连，所述系统包括：接收模块，发送模块，分配模块，多个并行处理模块，结果模块，所述接收模块、所述发送模块、所述分配模块、所述多个并行处理模块、所述结果模块一一相连；

所述接收模块用于分别与所述用户端和所述数据库相连，接收所述用户端的用户请求或者所述数据库的主动请求，并将所述用户请求或所述主动请求发送至所述发送模块；

所述发送模块用于与所述数据收集系统相连，以在接收到所述用户请求或者所述主动请求后，根据所述用户请求或者所述主动请求生成处理请求，并将所述处理请求发送至所述数据收集系统；

所述分配模块用于在接收到所述数据收集系统的数据后，根据每个并行处理模块的处理属性，将所述数据分配至所述多个并行处理模块；

所述多个并行处理模块用于同时处理所述数据，生成并行结果，并将所述并行结果发送至所述结果模块；

所述结果模块用于将每个并行处理模块的并行结果进行合并，生成处理结果，并将所述处理结果发送至所述用户端或者所述数据库。

2.根据权利要求1所述的系统，其特征在于，每个并行处理模块包括：多个下级子模块，所述每个并行处理模块对应的各下级子模块相连，

所述下级子模块用于辅助所述并行处理模块进行数据处理，并将处理子结果上报至对应的所述并行处理模块。

3.根据权利要求2所述的系统，其特征在于，所述并行处理模块与对应的下级子模块通过远程无线相连。

4.根据权利要求1所述的系统，其特征在于，所述主动请求是针对所述数据收集系统中的同一来源的数据进行请求，以能丰富所述数据库中同一来源的数据信息。

5.根据权利要求1所述的系统，其特征在于，所述实时计算大数据系统应用于车联网。

6.一种实时计算大数据方法，其特征在于，包括：

接收用户端的用户请求或者数据库的主动请求；

在接收到所述用户请求或者所述主动请求后，根据所述用户请求或者所述主动请求生成处理请求，并将所述处理请求发送至所述数据收集系统；

在接收到所述数据收集系统的数据后，根据每个并行处理模块的处理属性，将所述数据分配至所述多个并行处理模块；

同时处理所述数据，生成并行结果，并将所述并行结果发送至所述结果模块；

将每个并行处理模块的并行结果进行合并，生成处理结果，并将所述处理结果发送至所述用户端或者所述数据库。

7.根据权利要求6所述的方法，其特征在于，还包括：

辅助所述并行处理模块进行数据处理，并将处理子结果上报至对应的所述并行处理模块。

8.根据权利要求7所述的方法，其特征在于，所述并行处理模块与对应的下级子模块通过远程无线通信。

9.根据权利要求6所述的方法，其特征在于，所述主动请求是针对所述数据收集系统中的同一来源的数据进行请求，以能丰富所述数据库中同一来源的数据信息。

10.根据权利要求6所述的方法，其特征在于，所述实时计算大数据系统应用于车联网。