CN110795686B - 用于提供数据支持的数据处理方法及装置 - Google Patents

Abstract

本申请公开了一种用于提供数据支持的数据处理方法及装置，具体而言，提供了一种能给基础逻辑算法提供数据支持的大数据处理方法。该数据处理方法包括：响应基础逻辑算法的数据输入请求；获取所述基础逻辑算法所需数据的维度信息、特征信息以及时间信息；根据所述维度信息、特征信息以及时间信息从数据库中筛选出输入数据；将所述输入数据提供给所述基础逻辑算法。本申请解决了现有技术中基础逻辑算法无法得到较好的数据支持的问题。

Description

用于提供数据支持的数据处理方法及装置

技术领域

本申请涉及数据处理领域，具体而言，涉及一种用于提供数据支持的数据处理方法以及一种用于提供数据支持的数据处理装置。

背景技术

在互联网技术飞速发展的今天，计算机的应用已逐渐涉及到各个领域，对计算机的程序开发也要求越来越高。

现有的程序开发方案往往都没有将基础逻辑算法与底层数据服务完全分离，使得现有的算法开发出现方法繁琐、开发门槛高、效率低下、并且编程成本过高的问题。

现有的软件平台无法为程序提供较好的数据服务，基础逻辑算法无法实时获得需要的数据，使得基础逻辑算法无法得到较好的数据支持。

公开于本申请背景技术部分的信息仅仅旨在加深对本申请的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

申请内容

本申请的主要目的在于提供一种能给算法程序提供优化的数据支持的数据处理方法。

为了实现上述目的，根据本申请的一个方面，提供了一种用于提供数据支持的数据处理方法，该方法包括：响应基础逻辑算法的数据输入请求；获取所述基础逻辑算法所需数据的维度信息、特征信息以及时间信息；根据所述维度信息、特征信息以及时间信息从数据库中筛选出输入数据；将所述输入数据提供给所述基础逻辑算法。

进一步的，该方法还包括：获取所述基础逻辑算法对应的算法脚本；根据所述算法脚本以及所述输入数据创建计算实例。

进一步的，在所述根据所述算法脚本以及所述输入数据创建计算实例之后，还包括：根据运行规则运行所述计算实例并且输出计算出的输出数据。

进一步的，该方法还包括：对所述输出数据进行处理；其中，所述处理包括：对所述输出数据进行校验、裁剪、排序以及存储中的至少一种。

进一步的，该方法还包括：响应基础逻辑算法的数据处理请求；向所述基础逻辑算法提供所述数据处理请求对应的数据处理函数；其中，所述数据处理函数包括：数据时频对齐函数、数据长度对齐函数以及数据维度对齐函数中的至少一种。

进一步的，所述获取所述基础逻辑算法所需数据的维度信息、特征信息以及时间信息，包括：获取所述基础逻辑算法对应的算法脚本；获取所述算法脚本指定的所需数据的维度信息、特征信息以及时间信息。

为了实现上述目的，根据本申请的另一方面，还提供了一种用于提供数据支持的数据处理装置，该装置包括：响应模块，其配置为，响应基础逻辑算法的数据输入请求；数据信息获取模块，其配置为，获取所述基础逻辑算法所需数据的维度信息、特征信息以及时间信息；输入数据获取模块，其配置为，根据所述维度信息、特征信息以及时间信息从数据库中筛选出输入数据；数据输入模块，其配置为，将所述输入数据提供给所述基础逻辑算法。

进一步的，所述数据类型确定模块包括：算法脚本获取模块，其配置为，获取所述基础逻辑算法对应的算法脚本；计算实例生成模块，其配置为，根据所述算法脚本以及所述输入数据创建计算实例。

进一步的，该装置还包括：计算模块，其配置为，根据运行规则运行所述计算实例并且输出计算出的输出数据；输出数据处理模块，其配置为，对所述输出数据进行处理，其中，所述处理包括：对所述输出数据进行校验、裁剪、排序以及存储中的至少一种。

为了实现上述目的，根据本申请的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序在计算机处理器中执行时实现上述用于提供数据支持的数据处理方法中的步骤。

本申请的有益效果为：本申请采用将基础逻辑算法与数据服务进行分离的方式，在基础逻辑算法需要数据支持时，能够实时从数据库中实时提取基础逻辑算法需要的数据并提供给基础逻辑算法，达到了便于用户自己开发算法程序的目的；此外，本申请在为基础逻辑算法提供输入数据时，可以根据用户设定的基础逻辑算法的输入数据的条件，自动从数据库中筛选出对应的输入数据，使得基础逻辑算法得到较好的数据支持。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请实施例用于提供数据支持的数据处理方法流程示意图；

图2是本申请实施例数据计算的流程示意图；

图3是本申请实施例提供数据处理函数的流程示意图；

图4是本申请第一实施例数据处理装置的结构框图；以及

图5是本申请第二实施例数据处理装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本申请采用将基础逻辑算法与数据提供进行分离的方式，软件平台根据基础逻辑算法对应的算法脚本的计算需求，为算法脚本提供数据支持。此外，将基础逻辑算法与数据提供进行分离的方式也便于用户自己开发算法，用户只需将新的算法脚本加入到平台，平台会根据算法脚本的需求，为算法脚本提供数据服务和计算服务。

此外，在本申请中，软件平台规范所有基础逻辑算法的输入数据和输出数据的数据结构，使输入数据和输出数据均为以时间信息和维度信息为索引的字典结构。在为基础逻辑算法创建计算实例时，软件平台将统一格式的输入数据作为参数，将参数赋值到基础逻辑算法的算法脚本中，以生成计算实例。

如图1所示，本申请实施例的用于提供数据支持的数据处理方法包括步骤S101至步骤S104。

步骤S101，响应基础逻辑算法的数据输入请求。在本申请实施例中，当要对平台上的基础逻辑算法进行运算时，平台响应基础逻辑算法的数据请求，为基础逻辑算法提供输入数据。在本申请实施例中，该平台可以为软件平台，也可以为程序。

步骤S102，获取所述基础逻辑算法所需数据的维度信息、特征信息以及时间信息。在本步骤中，当平台接收到基础逻辑算法的数据请求时，获取基础逻辑算法对应的算法脚本，并确定出基础逻辑算法在算法脚本中指定所需数据的维度信息、特征信息以及时间信息等参数。在本申请中，数据的数据维度是指与数据相关的一切实体属性和虚拟资源属性的概括，例如对于广告数据来说，数据维度可以是广告位名称、广告位类型、城市、性别、内容渠道、广告主等；在本申请中，数据的特征信息是指数据中的标量信息对应的名称，例如可以是数量、油量等；在本申请中，数据的时间信息可以为日期、时间点等具体的时间，也可以为每天、每小时等周期或频率类时间数据，在本申请的可选实施例中所述数据的时间信息还可以为一定的时间范围。

例如，所述基础逻辑算法需要的输入数据为，6月25日生产的使用A面料的西装的件数，此时所需数据的维度信息为：西装和A面料，时间信息为6月25日，特征信息为件数。进而在平台的数据库中，以时间信息(6月25日)和维度信息(西装和A面料)为索引，筛选出特征信息(件数)的具体数值，进而将一整条数据作为输入数据推送给基础逻辑算法。

在本申请实施例中，所述算法脚本可以是由脚本语言(如python，matlab语言等)形成的脚本文件，也可以是由编译类语言(如C和JAVA语言等)形成的库文件。

步骤S103，根据所述维度信息、特征信息以及时间信息从数据库中筛选出输入数据。在本申请的实施例中，在确定出基础逻辑算法在算法脚本中指定所需数据的维度信息、特征信息以及时间信息等参数后，平台根据这些参数从数据库中筛选出参数对应的输入数据。在本申请的实施例中，对于每项输入数据，平台可以根据这些参数从数据库中筛选出唯一的输入数据。在本申请的实施例中，平台可以从时间信息和维度信息两个角度从数据库中筛选选出输入数据，并将该输入数据推送给基础逻辑算法。

步骤S104，将所述输入数据提供给所述基础逻辑算法。在本申请的实施例中，在从数据库中筛选确定出输入数据后，将该输入数据赋值到基础逻辑算法对应的算法脚本上，以生成基础逻辑算法对应的计算实例。

从以上的描述中，可以看出，本申请在基础逻辑算法需要数据支持时，能够实时从数据库中实时提取基础逻辑算法需要的数据并提供给基础逻辑算法，达到了便于用户自己开发算法程序的目的；此外，本申请在为基础逻辑算法提供输入数据时，可以根据用户设定的基础逻辑算法的输入数据的条件，自动从数据库中筛选出对应的输入数据，使得基础逻辑算法得到较好的数据支持。

如图2所示，本申请实施例的用于提供数据支持的数据处理方法还包括步骤S201至步骤S204。

步骤S201，获取所述基础逻辑算法对应的算法脚本。在本步骤中，平台获取待计算的基础逻辑算法在平台上对应的算法脚本。在本申请实施例中，该平台可以为软件平台，也可以为程序。在本申请实施例中，所述算法脚本可以是由脚本语言(如python，matlab语言等)形成的脚本文件，也可以是由编译类语言(如C和JAVA语言等)形成的库文件。

步骤S202，根据所述算法脚本以及所述输入数据创建计算实例。在本步骤中，在平台根据需求的输入数据的参数从数据库中筛选出参数对应的输入数据之后，将输入数据赋值给所述算法脚本，从而生成该算法脚本的计算实例。

步骤S203，根据运行规则运行所述计算实例并且输出计算出的输出数据。在本步骤中，平台对上述计算实例进行计算，并得到计算出的输出数据。在本申请的可选实施例中，在获取输出数据之后，还会将输出数据进行缓存，便于下次计算相同的计算实例时，可以直接获取输出数据。

步骤S204，对所述输出数据进行处理。在本申请中，平台在接收到基础逻辑算法的输出数据之后，还会对该输出数据进行处理，其中，所述处理包括：对所述输出数据进行校验、裁剪、排序以及存储等。所述校验可以用于验证输出数据的维度信息的粒度是否相同，并可以将相同粒度的维度数据储存在一个数据表中；所述裁剪可以用于剔除输出数据中不符合计算逻辑的时间信息和维度信息；所述排序用于对输出数据根据其时间信息和维度信息进行排序，在本申请实施例中，在二维索引中，可以先按照时间信息再按照维度信息进行排序；所述储存用于将平台处理后的输出数据以“行”的形式存入数据库或缓存中。

本申请的数据处理方法还可以为基础逻辑算法提供数据处理函数，如图3所示，为基础逻辑算法提供数据处理函数的方法包括步骤S301至步骤S302。

步骤S301，响应基础逻辑算法的数据处理请求。在本申请中，平台还可以为基础逻辑算法提供数据处理，当基础逻辑算法需要数据处理支持时，向平台发送数据处理请求，其中数据处理请求包含了具体数据处理的方法。

步骤S302，向所述基础逻辑算法提供所述数据处理请求对应的数据处理函数。在本申请中，当平台接收到基础逻辑算法的数据处理请求后，根据数据处理请求为基础逻辑算法提供对应的数据处理函数，在本申请实施例中，该数据处理函数包括：数据时频对齐函数、数据长度对齐函数以及数据维度对齐函数等数据处理函数。其中，数据时频对齐函数可以用于将低频数据以前值填充的方式对齐到高频数据上；数据长度对齐函数可以用于将数据长度短的数据通过填充的方式对齐到数据长度长的数据上；数据维度对齐函数可以用于将维度粒度大的数据对齐到维度粒度小的数据上。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本申请实施例，还提供了一种用于实施上述用于提供数据支持的数据处理方法的数据处理装置，如图4所示，该装置包括：响应模块1、数据信息获取模块2、输入数据获取模块3以及数据输入模块4，其中：

响应模块1，用于响应基础逻辑算法的数据输入请求；

数据信息获取模块2，容易获取所述基础逻辑算法所需数据的维度信息、特征信息以及时间信息；

输入数据获取模块3，用于根据所述维度信息、特征信息以及时间信息从数据库中筛选出输入数据；

数据输入模块4，用于将所述输入数据提供给所述基础逻辑算法。

如图5所示，该装置还包括：算法脚本获取模块5、计算实例生成模块6、计算模块7以及输出数据处理模块8，其中：

算法脚本获取模块5，用于获取所述基础逻辑算法对应的算法脚本；

计算实例生成模块6，用于根据所述算法脚本以及所述输入数据创建计算实例。

计算模块7，用于根据运行规则运行所述计算实例并且输出计算出的输出数据；

输出数据处理模块8，用于对所述输出数据进行处理，其中，所述处理包括：对所述输出数据进行校验、裁剪、排序以及存储中的至少一种。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (6)

1.一种用于提供数据支持的数据处理方法，其特征在于，包括：

响应基础逻辑算法的数据输入请求；

获取所述基础逻辑算法所需数据的维度信息、特征信息以及时间信息；

根据所述维度信息、特征信息以及时间信息从数据库中筛选出输入数据；

将所述输入数据提供给所述基础逻辑算法；

还包括：

获取所述基础逻辑算法对应的算法脚本；

根据所述算法脚本以及所述输入数据创建计算实例；

根据运行规则运行所述计算实例并且输出计算出的输出数据；

响应基础逻辑算法的数据处理请求；

向所述基础逻辑算法提供所述数据处理请求对应的数据处理函数；

其中，所述数据处理函数包括：数据时频对齐函数、数据长度对齐函数以及数据维度对齐函数中的至少一种。

2.根据权利要求1所述的用于提供数据支持的数据处理方法，其特征在于，还包括：

对所述输出数据进行处理；

其中，所述处理包括：对所述输出数据进行校验、裁剪、排序以及存储中的至少一种。

3.根据权利要求1所述的用于提供数据支持的数据处理方法，其特征在于，所述获取所述基础逻辑算法所需数据的维度信息、特征信息以及时间信息，包括：

获取所述基础逻辑算法对应的算法脚本；

获取所述算法脚本指定的所需数据的维度信息、特征信息以及时间信息。

4.一种用于提供数据支持的数据处理装置，其特征在于，包括：

响应模块，其配置为，响应基础逻辑算法的数据输入请求；

数据信息获取模块，其配置为，获取所述基础逻辑算法所需数据的维度信息、特征信息以及时间信息；

输入数据获取模块，其配置为，根据所述维度信息、特征信息以及时间信息从数据库中筛选出输入数据；

数据输入模块，其配置为，将所述输入数据提供给所述基础逻辑算法；

所述数据类型确定模块包括：

算法脚本获取模块，其配置为，获取所述基础逻辑算法对应的算法脚本；

计算实例生成模块，其配置为，根据所述算法脚本以及所述输入数据创建计算实例；

计算模块，其配置为，根据运行规则运行所述计算实例并且输出计算出的输出数据；

响应基础逻辑算法的数据处理请求；

向所述基础逻辑算法提供所述数据处理请求对应的数据处理函数；

其中，所述数据处理函数包括：数据时频对齐函数、数据长度对齐函数以及数据维度对齐函数中的至少一种。

5.根据权利要求4所述的用于提供数据支持的数据处理装置，其特征在于，还包括：

输出数据处理模块，其配置为，对所述输出数据进行处理，其中，所述处理包括：对所述输出数据进行校验、裁剪、排序以及存储中的至少一种。

6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序在计算机处理器中执行时实现如权利要求1至3任意一项所述方法中的步骤。