CN113986888A - 数据加工方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种数据加工方法、装置、设备及计算机可读存储介质，本发明通过获取自定义加工规则；根据所述自定义加工规则生成嵌入式数据库文件；根据所述嵌入式数据库文件，生成计算逻辑，并根据所述计算逻辑对原始数据进行加工，本发明可提高数据加工方法的扩展性。

Description

数据加工方法、装置、设备及计算机可读存储介质

技术领域

本发明涉及数据分析技术领域，尤其涉及一种数据加工方法、装置、设备及计算机可读存储介质。

背景技术

随着数字化时代的迅速发展，对数据的加工分析在各行各业的应用越来越普遍，目前通常是利用大数据流式计算技术，实时的对日志数据进行加工。但是在实际应用场景中，为实现使用自定义规则对日志数据进行加工，通常采取的手段为在专注处理实时计算的中间件中不断添加定制化的规则，而定制的规则通常仅适用于当前特定的场景，数据加工的扩展性较差。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种数据加工方法、装置、设备及计算机可读存储介质，旨在解决现有技术中数据加工的扩展性较差的技术问题。

为实现上述目的，本发明提供一种数据加工方法，所述数据加工方法包括：

获取自定义加工规则；

根据所述自定义加工规则生成嵌入式数据库文件；

根据所述嵌入式数据库文件生成计算逻辑，并根据所述计算逻辑对原始数据进行加工。

可选地，所述根据所述自定义加工规则生成嵌入式数据库文件的步骤包括：

获取自定义加工规则中的自定义函数和自定义规则；

对所述自定义函数和自定义规则进行预处理，生成嵌入式数据库文件。

可选地，所述对所述自定义函数和自定义规则进行预处理，生成嵌入式数据库文件的步骤包括：

对所述自定义函数进行解析，得到所述自定义函数的函数名称、函数返回值类型、参数和参数类型；

将所述自定义规则和所述函数名称、函数返回值类型、参数、参数类型存储至嵌入式数据库文件中，生成嵌入式数据库文件。

可选地，所述根据所述自定义加工规则生成嵌入式数据库文件的步骤包括：

获取自定义加工规则中的自定义外部扩展数据；

对所述自定义外部扩展数据进行结构化处理，生成嵌入式数据库文件。

可选地，所述根据所述嵌入式数据库文件生成计算逻辑的步骤包括：

通过中间件挂载所述嵌入式数据库文件，获得所述嵌入式数据库文件中的自定义函数、自定义规则和自定义外部扩展数据；

根据所述自定义函数和所述自定义外部扩展数据对所述自定义规则进行调整，得到计算逻辑。

可选地，根据所述自定义加工规则生成嵌入式数据库文件的步骤包括：

若监听到所述自定义加工规则存在更新，则获取更新后的自定义加工规则；

根据所述更新后的自定义加工规则，同步更新嵌入式数据库文件。

可选地，所述根据所述计算逻辑对原始数据进行加工的步骤包括：

若检测到原始数据传输，且检测到存在自定义加工规则，则在基础加工流程上追加所述自定义规则对所述原始数据进行数据加工。

此外，为实现上述目的，本发明还提供一种数据加工装置，所述数据加工装置包括：

规则获取单元，用于获取自定义加工规则；

规则处理单元，用于根据所述自定义加工规则生成嵌入式数据库文件；

数据加工单元，用于根据所述嵌入式数据库文件，生成计算逻辑，并根据所述计算逻辑对原始数据进行加工。

此外，为实现上述目的，本发明还提供一种数据加工设备，所述数据加工设备包括存储器、处理器、以及存储在所述存储器上并可在所述处理器上运行的数据加工程序，所述数据加工程序被处理器执行时实现如上述的数据加工方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据加工程序，所述数据加工程序被处理器执行时实现如上述的数据加工方法的步骤。

本发明提供一种数据加工方法、装置、设备及计算机可读存储介质，首先获取自定义的加工规则，然后根据自定义的加工规则生成嵌入式数据库文件，进而根据嵌入式数据库文件生成计算逻辑，并根据计算逻辑对原始数据进行加工，将自定义加工规则生成嵌入式数据库文件，将所有的自定义加工规则存储到嵌入式数据库文件中，以文件的形式存储仅需要进行一次传输操作，有效减少了流式计算中的网络调用，且根据嵌入式数据库文件中的自定义函数、自定义规则动态生成计算逻辑，根据计算逻辑对原始数据进行加工，用户可根据不同的场景配置多种自定义加工规则，增强了数据加工的扩展性。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的设备的结构示意图；

图2为本发明数据加工方法第一实施例的流程示意图；

图3为本发明数据加工方法涉及的一应用场景的流程示意图；

图4为本发明数据加工方法涉及的另一应用场景的流程示意图；

图5为本发明数据加工装置的装置结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图。

本发明实施例设备可以为PC（personal computer，个人计算机）、便携计算机、服务器等终端设备。

如图1所示，该数据加工设备可以包括：处理器1001，例如CPU（CentralProcessing Unit，中央处理器），通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选的用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（WIreless-FIdelity，WI-FI）。存储器1005可以是高速的随机存取存储器（Random AccessMemory，RAM）存储器，也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据加工程序。

在图1所示的设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端（用户端），与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的数据加工程序，并执行以下操作：

获取自定义加工规则；

根据所述自定义加工规则生成嵌入式数据库文件；

根据所述嵌入式数据库文件生成计算逻辑，并根据所述计算逻辑对原始数据进行加工。

基于上述硬件结构，提出本发明数据加工方法各个实施例。

本发明实施例提供了一种数据加工方法，参照图2，图2为本发明数据加工方法第一实施例的流程示意图。

在本实施例中，所述数据加工方法包括：

步骤S10，获取自定义加工规则；

在进行数据加工时，用户会希望通过自定义的加工规则来对数据进行加工，此时通常是在流式计算中间件中定制符合当前场景的客制化规则，但该添加了定制规则的流式计算中间件仅适合当前场景，而不适用于其他的加工场景，因此，该数据加工方法的扩展型较差。

在本实施例中，自定义加工规则为用户自定义的数据加工规则，可以根据不同的应用场景配置多种加工规则，获取自定义加工规则，根据自定义加工规则生成嵌入式数据库文件。其中嵌入式数据库是嵌入到应用程序中的轻量级数据库。本实施例设置规则配置中心，规则配置中心中内置常用加工规则、可配置的自定义数据加工规则、自由组合字段、统计方式、表达式和自定义函数等，规则配置中心支持本地数据和外部数据源导入，可根据外部数据源扩展或加工原始数据，用户可在规则配置中心的界面中配置自定义加工规则，自定义加工规则包括自定义函数、自定义规则和自定义外部扩展数据中的一种或多种。自定义函数包括设置函数名称、输入值和输出值类型、计算方式等，用户可自行实现单个或多个值的计算逻辑；自定义规则包括设置输入字段、输出字段（字段名称、类型）、外部扩展数据（可选）、统计方式（包括总和、平均值、最大值、最小值、自定义函数等）、计算方式（包括大于、小于、等于、表达式等），可设置多个输入输出字段，可选择多个来源字段，自定义外部扩展数据包括设置数据来源、数据名称、列分隔符、远程地址、远程文件更新间隔，外部数据可作为输出内容选择。需要说明的是，本实施例中可根据用户的实际需求定义自定义加工规则，当然，也可以使用固有的数据加工规则对数据进行加工处理。

自定义函数包括设置函数名称、输入值和输出值类型、计算方式等，用户可自行实现单个或多个值的计算逻辑。定义数据源包括设置数据来源、数据名称、列分隔符、远程地址、远程文件更新间隔，外部数据可作为输出内容选择，其中，数据来源可以为本地上传或远程获取；定义规则包括设置输入字段、输出字段、外部扩展数据（可选）、统计方式包括综合、平均值、最大值、最小值、自定义函数等、计算方式包括大于、小于、等于、表达式等，可设置多个输入输出字段，作用在于可选择多个来源字段，其中输出字段包括字段名称、类型，在数值计算时，如对多个字段进行加法处理，A字段加B字段，将该规则写入表达式中。自定义函数即对表达式命名，以使在需要使用表达式时，调用自定义函数即可执行对应的表达式，在规则配置中心中可支持本地数据和外部数据源的导入，用户的映射文件为ID和名称的对应关系文件，在页面上上传，上传之后存储至嵌入式的数据库中，可根据外部数据源扩展或加工日志数据。

步骤S20，根据所述自定义加工规则生成嵌入式数据库文件；

在本实施例中，用户在规则配置中心中配置自定义加工规则后，对配置的自定义加工规则进行处理，生成嵌入式数据库文件。可以理解的是，本实施例根据自定义加工规则生成嵌入式数据库文件，即将自定义加工规则存储至嵌入式数据库文件中。由于流式计算实时性较高，运行网络环境相对闭塞，远程查询数据库需要进行网络调用，响应时间受到第三方限制，本实施例将用户配置的多种自定义加工规则存入嵌入式数据库文件中，以一个文件的形式存储这些配置数据，只需要进行一次查询操作，有效减少了网络调用，进一步提高了数据加工的效率。嵌入式数据库为文件格式。

进一步地，上述步骤S20，根据所述自定义加工规则生成嵌入式数据库文件的步骤可以包括：

步骤E，若监听到所述自定义加工规则存在更新，则获取更新后的自定义加工规则；

步骤F，根据所述更新后的自定义加工规则，同步更新嵌入式数据库文件。

在本实施例中，可以设置定时器定时监听自定义加工规则或原始规则是否存在更新，若监听到自定义加工规则存在更新，则获取更新后的自定义加工规则，并根据更新后的自定义加工规则，同步更新嵌入式数据库文件，同样地，若监听到原始规则存在更新，则根据更新后的规则同步更新嵌入式数据库文件。在本实施例中通过写入热插拔的更新逻辑，支持数据热更新，动态的更新读取到的配置数据。

上述步骤S20之后，还包括步骤S30，根据所述嵌入式数据库文件，生成计算逻辑，并根据所述计算逻辑对原始数据进行加工。

在生成嵌入式数据库文件后，可根据嵌入式数据库文件中的配置数据，例如自定义函数、自定义规则和自定义外部扩展数据对应的配置数据，生成计算逻辑，生成计算逻辑的具体过程可参照下述实施例，此处不做赘述。

进一步地，上述步骤S30，根据所述计算逻辑对原始数据进行加工的细化步骤包括：

步骤G，若检测到原始数据传输，且检测到存在自定义加工规则，则在基础加工流程上追加所述自定义规则对所述原始数据进行数据加工。

在本实施例中，若检测到原始数据开始传输，则检测是否存在自定义加工规则，若存在自定义的加工规则，则根据自定义加工规则对所述原始数据进行数据加工，自定义的加工规则为在原有的基础加工规则之外追加的加工工序。

本实施例中，将自定义加工规则生成嵌入式数据库文件，将用户配置的自定义加工规则以和外部数据存入数据表中，以一个文件的方式保存数据，将所有的自定义加工规则配置以嵌入式数据库文件的形式存储，仅需要进行一次传输操作，有效减少了流式计算中的网络调用，且根据嵌入式数据库文件动态生成计算逻辑，根据计算逻辑对原始数据进行加工，用户可根据不同的场景配置多种自定义加工规则，提高了数据加工的扩展性。

进一步地，基于上述第一实施例，提出本发明数据加工方法的第二实施例，在本实施例中，上述步骤S20，根据所述自定义加工规则生成嵌入式数据库文件的细化步骤包括：

步骤A，获取自定义加工规则中的自定义函数和自定义规则；

步骤B，对所述自定义函数和自定义规则进行预处理，生成嵌入式数据库文件。

在本实施例中，还设置有异步任务处理模块，在配置好自定义加工规则后，获取自定义加工规则中的自定义函数和自定义规则，对自定义函数和自定义规则进行预处理，以生成嵌入式数据库文件，需要说明的是，本实施例中若存在自定义外部扩展数据时，将自定义函数、自定义规则和自定义外部扩展数据均进行存储，生成嵌入式数据库文件。

具体地，上述步骤B，对所述自定义函数和自定义规则进行预处理，生成嵌入式数据库文件的步骤包括：

步骤b1，对所述自定义函数进行解析，得到所述自定义函数的函数名称、函数返回值类型、参数和参数类型；

步骤b2，将所述自定义规则和所述函数名称、函数返回值类型、参数和参数类型存储至嵌入式数据库文件中。

在本实施例中，可在异步处理模块中，对自定义加工规则中的自定义函数进行解析，得到自定义函数的函数名称、参数和参数类型，参数包括输入参数、输出参数等，进而将自定义规则和函数名称、输入参数、输出参数和参数类型存储至嵌入式数据库文件中。获取到配置的自定义函数时，触发异步转换任务，解析出自定义函数的配置，并以数据表的形式存储到嵌入式数据库文件中的数据表中，同样的异步处理模块对自定义规则进行预处理，以数据表的形式存储到嵌入式数据库文件中的数据表中。

进一步地，上述步骤S10，根据所述自定义加工规则生成嵌入式数据库文件的细化步骤，还可以包括：

步骤I，获取自定义加工规则中的自定义外部扩展数据；

步骤J，对所述自定义外部扩展数据进行结构化处理，生成嵌入式数据库文件。

在本实施例中，若用户在规则配置中心配置有自定义外部扩展数据，则获取自定义加工规则中的自定义外部扩展数据，对自定义外部扩展数据进行结构化处理，生成嵌入式数据库文件，本实施例中，若需要添加外部信息进行数据加工，则可输入外部扩展数据，外部扩展数据包括本地上传的数据和/或外部数据源地址，本地上传的数据为手动上传导入，另一种实施方式可以在界面中配置一个链接，进而访问远程地址。

外部扩展数据包括本地上传的数据，例如用户手动上传CSV文件（Comma-Separated Values，逗号分隔值文件）或TXT文件（文本文件）等，外部数据源地址可以是配置一个链接，如文件传输协议（File Transfer Protocol，FTP）或阿里云的存储系统，根据外部数据源地址可以访问远程地址，通过异步任务的定时器抓取文件，异步处理模块处理获取的外部扩展数据，如外部扩展数据为上传的CSV文档，则对该CSV进行解析处理，根据CSV文件格式读取文件内容，表头等信息，例如，在很多情况下，为节省上传的流量，将CSV文件中的每一个字段用逗号或竖杠分隔，异步处理模块逗号或竖杠分隔符定义出来做拆分处理，进而将解析获得到信息按照数据表的形式进行结构化转换，存储至嵌入式数据库文件中，生成嵌入式数据库文件。本实施例中由于CSV等格式的文件不支持条件查询，可以理解的是用户提供多个规则条件，无法根据条件从CSV文件中进行查询，因此对CSV文件进行解析处理，转换为数据表的形式，数据表支持SQL查询；对自定义外部扩展数据进行结构化处理后再存储至嵌入式数据库文件中，作为另一实施例，由于在外部扩展数据（如CSV文件）较大时，一次性读取对程序内存消耗较大，因此本实施例优选地通过流式读取方式来获取自定义外部扩展数据，节省了资源，且提高了效率。

本实施例中，在配置自定义加工规则时，触发外部数据读取任务，通过流式读取外部数据源，导入到数据表中，按照数据来源分类存储，触发数据转换，将配置的自定义函数、自定义规则的配置分别以数据表的形式存储到数据表中。用户通过界面保存自定义规则和自定义函数，保存的内容只是结构化的配置，例如函数名称、表达式的配置，根据配置生成对应的执行逻辑，例如加值的函数配置即函数名称为总和、参数a和参数b、参数a和参数b的类型、表达式：参数a和参数b相加，或参数a和参数b相减等、返回的值、返回值的类型。

需要说明的是，在本实施例中，用户可选择地配置自定义函数、自定义规则、外部扩展数据，根据用户实际配置的配置信息生成嵌入式数据库文件。

进一步地，上述步骤S30，根据所述嵌入式数据库文件，生成计算逻辑的细化步骤包括：

步骤C，通过中间件挂载所述嵌入式数据库文件，获得所述嵌入式数据库文件中的自定义函数、自定义规则和自定义外部扩展数据；

步骤D，根据所述自定义函数、自定义规则和自定义外部扩展数据生成计算逻辑。

在本实施例中，配置完成自定义加工规则后，可触发异步处理任务，将自定义函数、自定义规则和自定义外部扩展数据中的一种或多种配置保存在嵌入式数据库文件中，

在配置自定义加工规则后，可触发外部数据读取和数据转换异步任务，生成嵌入式数据库文件，在中间件的共享目录下生成本地嵌入式数据库文件，将规则配置初始化，在流式实时计算通道中有数据开始传输时，根据规则对原始数据进行加工，挂载嵌入式数据库，对自定义函数配置和规则进行预处理，生成对应的逻辑代码，根据配置的规则对源数据进行数据加工，提取、转化。流式计算为实现数据实时产生、数据实时传输、数据实时计算、实时展示的计算方式。在规则配置中心中存在内置的固定场景，可以不用配置自定义的规则。若不需要从外部扩展数据，仅通过内置规则或自定义规则、函数可进行数据加工，将结构化的配置（函数名称、表达式）转换成对应的处理逻辑。正常定义函数、表达式时，可能只写一个公式，则需要将公式进行拆解，异步处理模块用于把配置转化成结构化的数据存到数据表中。将嵌入式数据库文件存放在消息中间件，需要做一个总文件的传输过程，文件的传输过程通过共享目录进行本地操作，另外一种方式为从远程下载文件，此方式存在网络的消耗，将所有的数据通过嵌入式数据库文件传输，以文件的形式那只需要一次操作，或者可以将文件存储至共享目录中，相当进行本地操作，有效减少了网络调用。

如图4所示，用户在规则配置中心进行规则定义，即配置自定义加工规则，具体可在规则配置中心定义自定义函数、定义数据源及定义自定义规则，一步任务处理模块定期抓取远程数据，将远程数据以及在规则配置中心中配置的自定义函数、自定义规则保存至嵌入式数据库中，通过流式读取将远程数据文件保存至嵌入式数据库中，向流式计算中间件发送通知更新规则，流式计算中间件即对自定义函数、自定义规则进行初始化，流式计算中间件挂载嵌入式数据库，对自定义函数配置和规则进行预处理，生成对应的计算逻辑，在用户上传日志数据到日志服务时，根据计算逻辑对日志数据进行加工，提取或转化为指标数据。

本实施例中用户可通过调用http发送请求来上报日志数据至日志服务中，日志数据即原始数据，在程序运行过程中产生总运行的日志数据，将运行日志数据上传至日志服务中，根据自定义规则动态生成计算逻辑，对期指数据进行大数据分析加工，在自定义加工规则保存之后，触发异步处理任务，首先将配置的规则、函数进行预处理并保存至嵌入式数据库中，对外部数据进行流式读取，或从外部数据源中拉取的数据进行流式读取，同样存储在嵌入式数据表中，得到完整的嵌入式数据库文件，从嵌入式数据库文件中读取保存的自定义函数、自定义规则及外部扩展数据，发送通知至流计算中间件，通知流计算中间件进行文件更新，更新用户原始创建的一套规则，日志上报之后，通过日志服务转发至流式计算中间件中，将自定义函数、自定义规则及外部扩展数据转换为处理逻辑，日志服务上报日志数据后，触发数据加工，根据处理逻辑对日志数据进行加工。

本发明还提供一种数据加工装置，如图5所示数据加工装置包括：规则获取单元A10，用于获取自定义加工规则；规则处理单元A20，用于根据所述自定义加工规则生成嵌入式数据库文件；数据加工单元A30，用于用于根据所述嵌入式数据库文件，生成计算逻辑，并根据所述计算逻辑对原始数据进行加工。本发明数据加工装置的具体实施例与上述数据加工方法各实施例基本相同，在此不作赘述。

本发明还提供一种数据加工设备，其特征在于，所述数据加工设备包括存储器、处理器、以及存储在所述存储器上并可在所述处理器上运行的数据加工程序，所述数据加工程序被处理器执行时实现如以上任一项实施例所述的数据加工方法的步骤。本发明数据加工设备的具体实施例与上述数据加工方法各实施例基本相同，在此不作赘述。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据加工程序，所述数据加工程序被处理器执行时实现如以上任一项实施例所述的数据加工方法的步骤。本发明计算机可读存储介质的具体实施例与上述数据加工方法各实施例基本相同，在此不作赘述。

可以理解的是，在本说明书的描述中，参考术语“一实施例”、“另一实施例”、“其他实施例”、或“第一实施例~第N实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据加工方法，其特征在于，所述数据加工方法包括步骤：

获取自定义加工规则；

根据所述自定义加工规则生成嵌入式数据库文件；

根据所述嵌入式数据库文件生成计算逻辑，并根据所述计算逻辑对原始数据进行加工。

2.如权利要求1所述的数据加工方法，其特征在于，所述根据所述自定义加工规则生成嵌入式数据库文件的步骤包括：

获取自定义加工规则中的自定义函数和自定义规则；

对所述自定义函数和自定义规则进行预处理，生成嵌入式数据库文件。

3.如权利要求2所述的数据加工方法，其特征在于，所述对所述自定义函数和自定义规则进行预处理，生成嵌入式数据库文件的步骤包括：

对所述自定义函数进行解析，得到所述自定义函数的函数名称、函数返回值类型、参数和参数类型；

将所述自定义规则和所述函数名称、函数返回值类型、参数、参数类型存储至嵌入式数据库文件中，生成嵌入式数据库文件。

4.如权利要求1所述的数据加工方法，其特征在于，所述根据所述自定义加工规则生成嵌入式数据库文件的步骤包括：

获取自定义加工规则中的自定义外部扩展数据；

对所述自定义外部扩展数据进行结构化处理，生成嵌入式数据库文件。

5.如权利要求1所述的数据加工方法，其特征在于，所述根据所述嵌入式数据库文件生成计算逻辑的步骤包括：

通过中间件挂载所述嵌入式数据库文件，获得所述嵌入式数据库文件中的自定义函数、自定义规则和自定义外部扩展数据；

根据所述自定义函数和所述自定义外部扩展数据对所述自定义规则进行调整，得到计算逻辑。

6.如权利要求1所述的数据加工方法，其特征在于，根据所述自定义加工规则生成嵌入式数据库文件的步骤包括：

若监听到所述自定义加工规则存在更新，则获取更新后的自定义加工规则；

根据所述更新后的自定义加工规则，同步更新嵌入式数据库文件。

7.如权利要求1所述的数据加工方法，其特征在于，所述根据所述计算逻辑对原始数据进行加工的步骤包括：

若检测到原始数据传输，且检测到存在自定义加工规则，则在基础加工流程上追加所述自定义规则对所述原始数据进行数据加工。

8.一种数据加工装置，其特征在于，所述数据加工装置包括：

规则获取单元，用于获取自定义加工规则；

规则处理单元，用于根据所述自定义加工规则生成嵌入式数据库文件；

数据加工单元，用于根据所述嵌入式数据库文件生成计算逻辑，并根据所述计算逻辑对原始数据进行加工。

9.一种数据加工设备，其特征在于，所述数据加工设备包括存储器、处理器、以及存储在所述存储器上并可在所述处理器上运行的数据加工程序，所述数据加工程序配置为实现如权利要求1至7中任一项所述的数据加工方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据加工程序，所述数据加工程序被处理器执行时实现如权利要求1至7中任一项所述的数据加工方法的步骤。

Images