CN108959442A - 基于预定义计算规则的流式实时计算方法、存储介质 - Google Patents

Abstract

本发明提供的提供一种基于预定义计算规则的流式实时计算方法、存储介质，方法包括：依据预设的接入数据源类型接收对应类型的数据；依据对应目标计算数据的匹配规则从接收到的数据中提取出目标计算数据；依据预设的计算方式表达式对所述目标计算数据进行计算；依据计算时间粒度存储所接收的数据的计算结果。本发明能够显著提高实时计算能力，快速得出精确的计算结果；并且不依赖于硬件要求；进一步的，还具备时间上的优势，能够体现时间段的数据趋势；再进一步的，支持多类型统计对象之间的逻辑运算，使方案更具备实用性。

Description

基于预定义计算规则的流式实时计算方法、存储介质

技术领域

本发明涉及实时计算领域，具体说的是一种基于预定义计算规则的流式实时计算方法、存储介质。

背景技术

随着互联网技术、游戏产业的快速发展，数据的快速增长导致传统数据库存储软件不足以支撑查询海量数据，针对特殊的统计业务场景，基于数据库的统计并没有时间上的优势，但是数据的快速反馈能给使用者带来良好的体验，使用者可以通过实时数据了解到系统的运行情况。

在传统的统计中，基于数据库或者以hadoop平台，全量数据扫描的统计势必会带来系统资源的大量消耗，查询代价高、查询效率慢。提高计算效率通常以提升硬件资源为代价，因此，有需求能够提供一种在低硬件配置下同样能够获取良好查询效率的数据库统计方法。

发明内容

本发明所要解决的技术问题是：提供一种基于预定义计算规则的流式实时计算方法、存储介质，实现不依赖于硬件要求而提高实时计算能力，快速得出计算结果。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于预定义计算规则的流式实时计算方法，包括：

依据预设的接入数据源类型接收对应类型的数据；

依据对应目标计算数据的匹配规则从接收到的数据中提取出目标计算数据；

依据预设的计算方式表达式对所述目标计算数据进行计算；

依据计算时间粒度存储所接收的数据的计算结果。

本发明提供的另一个技术方案为：

一种计算机可读存储介质，其上存储有计算机程序，所述程序在被处理器执行时，能够实现上述一种基于预定义计算规则的流式实时计算方法所包含的步骤。

本发明的有益效果在于：区别于传统的基于数据库或以hadoop平台进行全量数据扫描的统计方法在应对不断飞速增长的数据时将带来的系统资源的大量消耗、查询代价高、查询效率慢，且只能通过不断提升硬件资源为代价的不足。本发明提供一种全新的流式实时计算方法，可以在低硬件配置下进行流式数据实时计算，依据匹配规则实现对固定业务规则进行统计，通过实时处理数据，对数据按照时间粒度保存，从而实现快速累加计算并分时间跨度进行存储的目的。本发明能够显著提高数据的统计计算能力，高效、准确地计算获取统计结果，同时降低硬件要求，提高实用性。

附图说明

图1为本发明一种基于预定义计算规则的流式实时计算方法的流程示意图；

图2为本发明实施例一的方法流程示意图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

本发明最关键的构思在于：提供一种全新的流式实时计算方法，可以在低硬件配置下进行流式数据实时计算，依据匹配规则实现对固定业务规则进行统计，通过实时处理数据，对数据按照时间粒度保存，从而实现快速累加计算并分时间跨度进行存储的目的。

请参照图1，本发明提供一种基于预定义计算规则的流式实时计算方法，包括：

依据预设的接入数据源类型接收对应类型的数据；

依据对应目标计算数据的匹配规则从接收到的数据中提取出目标计算数据；

依据预设的计算方式表达式对所述目标计算数据进行计算；

依据计算时间粒度存储所接收的数据的计算结果。

进一步的，不同的目标计算数据分别对应不同的匹配规则；所述计算方式表达式对应不同目标计算数据之间的逻辑运算关系。

由上述描述可知，支持对不同的统计目标的数据统计，以及不同统计目标之间的逻辑运算统计，更具备实用性，更符合实际运用场景的需求。

进一步的，所述依据对应目标计算数据的匹配规则从接收到的数据中提取出目标计算数据，具体为：

依据目标计算数据预设对应的数据类型和匹配规则；

依据所述匹配规则对接收到的数据进行匹配，提取出目标计算数据，并将其按照所述数据类型进行表示。

由上述描述可知，对计算结果的数据类型进行设定，保证参与运算的数据都是同一数据类型，避免在运算过程中丢失数据精度，从而显著提高计算统计结果的精度。

进一步的，所述依据对应目标计算数据的匹配规则从接收到的数据中提取出目标计算数据，具体为：

从每条数据单行存储的接入数据中逐行读取每一条数据；

对所读取得到的当前条数据依据预设的时间正则表达式匹配获取其对应的时间，同时依据预设的对应目标计算数据的匹配规则从当前条数据中提取出目标计算数据。

由上述描述可知，以逐行读取统计计算的方式进行处理，实现统计分析处理的有序性，确保数据统计的准确度。

进一步的，所述依据计算时间粒度存储所述计算的结果，具体为：

依据预设的时间粒度单位分别累加对应时间范围内接收的数据的计算结果。

由上述描述可知，能够实现分时统计和存储，有利于统计结果的应用。

进一步的，预设的接入数据源类型包括命令行、文本文件、KAFKA消息中间件、TCP、UDP和/或HTTP。

由上述描述可知，同时支持多种类型的数据源接入，能实现对多种类型的数据进行统计，更具备实用性。

进一步的，预设的接入数据源类型为TCP和/或KAFKA。

由上述描述可知，针对上述两种类型的数据进行统计，系统将具备最高处理效率，获取最高效的统计分析过程。

本发明提供的另一个技术方案为：

一种计算机可读存储介质，其上存储有计算机程序，所述程序在被处理器执行时，能够实现上述一种基于预定义计算规则的流式实时计算方法所包含的步骤。

从上述描述可知，本发明的有益效果在于：对应本领域普通技术人员可以理解实现上述技术方案中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来实现的，所述的程序可存储于一计算机可读取的存储介质中，该程序在执行时，可包括如上述各方法的流程。

实施例一

请参照图2，本实施例提供一种基于预定义计算规则的流式实时计算方法，用于对所接入的数据进行高效率地统计分析，获取按照时间粒度存储的统计结果，本实施例特别适用于对海量数据的统计分析，且适用于低硬件配置。

本实施例的方法可以包括以下步骤：

S1：在系统中设定接入的数据源类型，进行数据接收适配。

数据源，在整个方法流程中扮演数据生产者的角色，是数据产生的源头，提供数据的地方，所提供的数据作为后续统计分析处理的原始数据。

为了适应不同系统场景的不同数据类型，本实施例支持对接入进行统计的数据源类型进行自定义设置。具体的，可接入的数据源类型可以是命令行、文本文件、KAFKA消息中间件、TCP、UDP和HTTP等；特别的，数据源的设定影响最终数据处理的效果，为维持系统最高处理效率，优选将数据源设定为TCP、KAFKA，同时，对应设定的参数信息可根据实际需求设定，具体有批量消息总数、单条消息最大长度、监听端口信息。

S2：依据预设的接入数据源类型接收对应类型的数据。

依据S1设定的接入数据类型实时接收对应类型的数据，作为统计的原始数据。在此，为了最大限度的提高统计分析的数据处理效率，本实施例要求待处理的数据采用一条数据单独一行进行存储的方式，以此实现快速、准确地读取单条待处理数据。

针对本实施例上述的所支持的各种类型的数据，数据本身均默认采用一条数据单独一行进行存储的方式，简称为“行化存储”，因此能够直接通过逐行读取的方式依次快速获取每一条待处理数据，不需要另外做“行化存储”处理。如命令行，默认一行一条数据，然后一个回车的存储形式；HTTP，一次请求对应一条数据单行进行存储；KAFKA，一条消息对应一个数据并单行进行存储。

而针对本身并非默认使用“行化存储”的数据，还需要在接入数据以后，进行统计分析处理之前，将其“行化存储”。

S3：标准化接收到的数据的格式。

可接入的数据类型多种多样，为了方便处理，提高统计分析效率，有必要进行数据格式的统一。在此，优选将接入的数据统一为JSON格式，使数据更清晰化、更方便处理。

S4：设定对应目标计算数据的匹配规则，并依据匹配规则从接收到的数据中提取出目标计算数据。

所述目标计算数据，指的是统计对象，如站点PV(Page Views)值，即网页浏览量；所述匹配规则对应的是目标计算数据，用于通过匹配规则从接入的数据中匹配提取出目标计算数据，即目标计算数据的提取方式。所述匹配规则可以是对应目标计算数据设定的正则表达式或其他匹配方式。

需要说明的是，对应一个统计对象，通常只需预设一个对应的匹配规则来实现目标计算数据的提取；若想实现对两个以上的对象同时进行统计，则可以通过分别预设对应不同统计对象的不同匹配规则来实现各自对应的目标计算数据的提取。例如，针对一家店面的水果月销售账本进行统计分析，想要统计得到苹果和梨的销售额，不管是二者的销售总和还是各自的销售额，对应该步骤，都需要对应“苹果”和“梨”分别预设各自对应的匹配规则，用于对接入的每一条数据进行匹配，提取数据中“苹果”的销售量，以及“梨”的销售量。

在本实施例中，在预设了匹配规则以后，每次获取一条数据进行处理，即数据处理以一条记录或一条请求为单位。具体的。该步骤具体为：

从每条数据单行存储的接入数据中逐行读取每一条数据；对读取到的每一条数据做如下处理：对所读取得到的当前条数据依据预设的时间正则表达式匹配获取其对应的时间，同时依据预设的对应目标计算数据的匹配规则从当前条数据中提取出目标计算数据。其中，时间正则表达式用于确定当前条数据的获取时间，为后续时间颗粒度存储提供依据。

由此步骤实现从每一条数据中匹配提取出所需的目标计算数据。

S5：预设对应目标计算数据的计算方式表达式，并依据该表达式对所述目标计算数据进行逻辑计算。

所述计算方式表达式，对应的是S4中统计得到的目标计算数据的逻辑运算关系，例如“加减乘除”。特别适用于多类型的目标计算数据的统计计算，例如，想要获取“梨”和“苹果”的销售总和，则该计算方式表达式对应的是“梨”和“苹果”的销售额的求和。该计算方式表达式也可以依据实际需求被用于目标计算数据的放大或缩小处理，例如通过计算方式表达式，将对应一商品的统计销售额进行两倍放大，具体可以通过对应设定表达式为${value}*2实现，所述${value}指的是S4中统计得到的目标计算数据，通过展示放大后的销售额，利用消费者的“从众”心理，吸引更多的消费者购买该商品。

当然，也存在无需作进一步计算的情况，此时，可以通过设定所述计算方式表达式对应求取原值的方式，例如表达式为“${value}”来实现。

S6：依据计算时间粒度存储所接收的数据的计算结果。

所述时间粒度，可以是秒钟粒度、分钟粒度、小时粒度等等，对应的是一时间段。假设设定为分钟粒度，则表示以一分钟为单位进行数据存储，默认对这一分钟内的数据进行求和作为这一分钟的统计计算结果。其中，数据时间的认定是以该数据从数据源接入时的时间为准，优选可以通过上述的时间正则表达式匹配确定时间。

以时间粒度存储数据，可以获取数据的趋势，通过获取一段时间内的数据可以得到不同时间段的数据趋势，也可以通过对时间粒度的操作，得到不同时间粒度的计算结果，例如通过累加60分钟的数据达到一小时的和。同时，存储介质可以选择传统的数据库。

例如，设定以小时级作为时间粒度对上述的“一家店面的水果月销售账本”的计算结果进行数据存储；可以以从数据源接入的第一条数据的时间点作为第一个时间段统计的起始点，例如接入的第一条数据确定时间为2:15，则以2:15-3:15为一个小时粒度进行统计，或者直接依据第一条数据的时间点所处的对应世界时钟的小时区间范围为起始进行统计。在此，选择后者作为标准来进行统计，累积2:00-3:00这一时间段内的“梨”的销售额和“苹果”的销售额，分别得到在这一时间段内“梨”的总销售额和“苹果”的总销售额；继续以小时为时间粒度，累积下一时间段内“梨”的总销售额和“苹果”的总销售额，如此反复。由此，便可获取对应不同的时间段，统计对象的统计结果，如对应不同小时段内，“梨”和“苹果”的销售情况。

实施例二

本实施例在实施例一的基础上作进一步地扩展，提供一种基于预定义计算规则的流式实时计算方法，能够在实施例一的基础上进一步提高最终统计结果的精度。

与实施例一相同的内容在此不进行复述，详见实施例一的记载；下面仅针对区别之处进行详细的说明。

针对上述实施例一的S4步骤，还包括同时设定对应目标计算数据的数据类型，匹配出的目标计算数据应该对应设定的数据类型的步骤，以保证后续参与运算的数据为同一数据类型，避免非同一数据类型的计算导致数据精度丢失，影响计算结果。

具体的，数据类型的设定需要依赖当前需求，所述数据类型包括整数型和浮点型；例如统计对象为PV网页访问量，PV为一个不断计数累加的长整型数字类型(Long)，因此，通过设定匹配得打的PV值的数据类型为长整型数字类型，以确保能获取完整格式的数据。特别针对涉及上述实施例一的S5需要进行逻辑计算的目标计算数据，只有保证参与运算的数据为同一数据类型，才能保证计算精度。例如，若没有进行数据类型的设定，则对应一条数据提取“梨”的销售额为20，“苹果”的销售额为10.1，会出现20+10.1＝30的计算结果，而非正确的包含浮点0.1的30.1。若设定数据类型为浮点型数据类型，则提取“梨”的销售额将会是20.00；苹果的销售额为10.10；计算得到30.10的准确结果。

实施例三

本实施例对应实施例一和实施例二，提供一种具体的运用场景：

实时计算获得一站点的某一商品(item/2242675.html)PV(浏览量统计)数据趋势，按分钟级、小时级时间粒度进行存储，统计一天内的浏览总量，假设商品URL地址为item/2242675.html：

S1：在系统中设定接入的数据源类型，进行数据接收适配。

获取一段历史nginx访问数据(access.log)，设定以文本作为数据源，并按行读取access.log数据，一行数据为一条PV数据S2：依据预设的接入数据源类型接收对应类型的数据

设定PV累计总和的数据类型长整型数字类型(Long)、设定时间正则表达式用于确定时间，设定PV数据存储的时间粒度为分钟，设定获取PV值的正则表达式，由于一行数据为一条PV数据，可以直接设定为数字常量1。

S3：标准化接收到的数据的格式。

将读取到的文本按照约定的字符集读取，保证读取文本是正确的，不出现乱码，错误字符，按照普通字符串格式读取。

S4：设定对应目标计算数据的匹配规则，并依据匹配规则从接收到的数据中提取出目标计算数据。

设定文本匹配规则，设定匹配规则为包含item/2242675.html，则满足触发计算条件，根据规则匹配返回结果成功(true)或者失败(false)的判断是否累加S1设定的PV值常量1

S5：预设对应目标计算数据的计算方式表达式，并依据该表达式对所述目标计算数据进行逻辑计算。设定匹配出来的PV值的计算方式表达式，由于不需要与其它参数参加计算，所以可以为原始值${value}即值为1，并进行累加。

S6：依据计算时间粒度存储所接收的数据的计算结果。

以分钟级时间粒度单位保存PV值，假设每秒钟的有一条PV数据，当前分钟数据变化为：

第1秒：1，第2秒：2以此类推不断累加至当前分钟完成，计算结果为60，当时间超过当前分钟后从0开始不断循环这个过程，将得到数据：

201804100001：60，201804100002：60

分别表示

2018年4月10号00点01分60PV

2018年4月10号00点02分60PV

如果需要按照小时级进行PV趋势计算，则只需要查询出对应的时间范围(1小时，201804100001～201804100100)进行累加数据即可得到201804100100：3600

实施例四

本实施例对应实施例一至实施例三，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序在被处理器执行时，能够实现上述实施例一或实施例二或实施例三所述的一种基于预定义计算规则的流式实时计算方法所包含的步骤。具体步骤流程在此不进行复述，详见上述实施例一或实施例二或实施例三的记载。

综上所述，本发明提供的提供一种基于预定义计算规则的流式实时计算方法、存储介质，为一种全新的流式实时计算方法，能够显著提高实时计算能力，快速得出精确的计算结果；并且不依赖于硬件要求；进一步的，还具备时间上的优势，能够体现时间段的数据趋势；再进一步的，支持多类型统计对象之间的逻辑运算，使方案更具备实用性。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于预定义计算规则的流式实时计算方法，其特征在于，包括：

依据预设的接入数据源类型接收对应类型的数据；

依据对应目标计算数据的匹配规则从接收到的数据中提取出目标计算数据；

依据预设的计算方式表达式对所述目标计算数据进行计算；

依据计算时间粒度存储所接收的数据的计算结果。

2.如权利要求1所述的一种基于预定义计算规则的流式实时计算方法，其特征在于，不同的目标计算数据分别对应不同的匹配规则；所述计算方式表达式对应不同目标计算数据之间的逻辑运算关系。

3.如权利要求1所述的一种基于预定义计算规则的流式实时计算方法，其特征在于，所述依据对应目标计算数据的匹配规则从接收到的数据中提取出目标计算数据，具体为：

依据目标计算数据预设对应的数据类型和匹配规则；

依据所述匹配规则对接收到的数据进行匹配，提取出目标计算数据，并将其按照所述数据类型进行表示。

4.如权利要求1所述的一种基于预定义计算规则的流式实时计算方法，其特征在于，所述依据对应目标计算数据的匹配规则从接收到的数据中提取出目标计算数据，具体为：

从每条数据单行存储的接入数据中逐行读取每一条数据；

对所读取得到的当前条数据依据预设的时间正则表达式匹配获取其对应的时间，同时依据预设的对应目标计算数据的匹配规则从当前条数据中提取出目标计算数据。

5.如权利要求1所述的一种基于预定义计算规则的流式实时计算方法，其特征在于，所述依据计算时间粒度存储所述计算的结果，具体为：

依据预设的时间粒度单位分别累加对应时间范围内接收的数据的计算结果。

6.如权利要求1所述的一种基于预定义计算规则的流式实时计算方法，其特征在于，预设的接入数据源类型包括命令行、文本文件、KAFKA消息中间件、TCP、UDP和/或HTTP。

7.如权利要求1所述的一种基于预定义计算规则的流式实时计算方法，其特征在于，预设的接入数据源类型为TCP和/或KAFKA。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序在被处理器执行时，能够实现上述权利要求1-7任意一项所述的一种基于预定义计算规则的流式实时计算方法所包含的步骤。