CN116821944A - 一种基于数据元件的数据处理方法及系统 - Google Patents

Abstract

本发明提供了一种基于数据元件的数据处理方法及系统，方法包括：构建数据元件；以及，构建数据安全传输总线；所述数据应用通过所述数据安全传输总线向所述数据元件发送数据计算请求；所述数据元件对所述数据计算请求进行数据处理，得到数据处理结果；并通过所述数据安全传输总线将所述数据处理结果发送至所述数据应用。通过本发明，能够将数据资源与数据应用解耦，有效防止数据资源泄露，同时对于大规模数据计算场景没有任何额外的计算资源占用。在整个数据元件构建及应用过程中，对于计算结果的加密、传输、解密均在数据安全传输总线中自动完成，可以做到应用侧无改造、用户侧无感知，大大提高了用户体验感。

Description

一种基于数据元件的数据处理方法及系统

技术领域

本发明涉及计算机应用技术领域，具体涉及一种基于数据元件的数据处理方法及系统。

背景技术

随着信息化时代的到来，数据资源的种类和规模呈现爆炸式增长，数据应用的场景和方式日益丰富，已经覆盖了人们日常生活中的方方面面。但是，数据资源被窃取、被泄露、被滥用等情况时有发生。如何在不影响大规模数据计算效率的同时保障数据资源的安全及合规使用，成为了各级政府和企业最为关心的问题。在现有技术中，往往通过对数据资源进行脱敏和模糊化处理来降低数据泄露风险，但这种方法仅能够支撑数据统计和可视化展示等基础应用场景，无法支撑绝大部分数据分析应用要求的大规模数据计算场景。

发明内容

为此，本发明提供一种基于数据元件的数据处理方法及系统，旨在实现不影响大规模数据计算效率的同时保障数据资源的安全及合规使用。

为实现以上目的，本发明采用如下技术方案：

依据本发明第一方面，提供了一种基于数据元件的数据处理方法，所述方法包括：

构建数据元件；以及，构建数据安全传输总线；其中，所述数据安全传输总线分别连接有至少一个所述数据元件和至少一个数据应用；

所述数据应用通过所述数据安全传输总线向所述数据元件发送数据计算请求；

所述数据元件对所述数据计算请求进行数据处理，得到数据处理结果；并通过所述数据安全传输总线将所述数据处理结果发送至所述数据应用。

可选地，所述构建数据元件，包括：

利用应用容器引擎构建数据元件容器；

在所述数据元件容器中部署资源数据库；获取至少一条资源数据，将所述资源数据导入所述资源数据库；

在所述数据元件容器中搭建基于所述资源数据库的数据计算服务；并设置所述数据计算服务的外部服务接口。

可选地，所述构建数据安全传输总线，包括：

构建包含数据元件接口、数据应用接口和数据传输通道的数据安全传输总线；

所述数据安全传输总线通过所述数据元件接口连接有至少一个所述数据元件；以及，所述数据安全传输总线通过所述数据应用接口连接有至少一个所述数据应用。

可选地，所述数据应用通过所述数据安全传输总线向所述数据元件发送数据计算请求，包括：

目标数据应用向所述数据应用接口发送包含计算请求参数的数据计算请求；

所述数据应用接口对所述数据计算请求进行封装，得到目标计算信息；

所述数据安全传输总线通过数据传输通道将所述目标计算信息分发至对应的目标数据元件。

可选地，所述数据应用接口对所述数据计算请求进行封装，包括：

所述数据应用接口对所述数据计算请求的计算请求参数、发送所述数据计算请求的数据应用标识以及对所述数据计算请求进行数据处理的数据元件标识和计算服务标识进行封装。

可选地，所述数据安全传输总线通过数据传输通道将所述目标计算信息分发至对应的目标数据元件之前，还包括：

利用非对称加密算法生成密钥对；其中，所述密钥对包括传输公钥和传输私钥；

所述方法还包括：所述数据安全传输总线通过数据传输通道传输所述目标计算信息时将所述传输公钥传输至数据元件接口；

所述数据安全传输总线通过数据传输通道传输所述数据处理结果时将所述传输私钥传输至数据应用接口。

可选地，所述数据元件对所述数据计算请求进行数据处理，包括：

所述数据元件接口接收目标计算信息；并对所述目标计算信息进行解析，得到数据计算请求对应的计算请求参数和目标计算服务；

将所述计算请求参数传入所述目标计算服务进行数据处理，得到数据处理结果；

所述数据元件接口利用所述传输公钥对所述数据处理结果进行加密，得到目标计算结果。

可选地，所述通过所述数据安全传输总线将所述数据处理结果发送至所述数据应用，包括：

所述数据应用接口接收所述目标计算结果和所述传输私钥，利用所述传输私钥对所述目标计算结果进行解密，得到数据处理结果；

将所述数据处理结果发送至目标数据应用。

可选地，所述数据应用通过所述数据安全传输总线向所述数据元件发送数据计算请求之前，所述方法还包括：

分别对各所述数据元件、各数据计算服务以及各所述数据应用配置对应的数据元件标识、计算服务标识以及数据应用标识。

依据本发明第二方面，提供了一种基于数据元件的数据处理系统，所述系统包括：

至少一个数据元件，用于提供至少一个数据计算服务，并设置有资源数据库以及所述数据计算服务的外部服务接口；

至少一个数据应用，用于发送包含计算请求参数的数据计算请求以及接收数据处理结果；

数据安全传输总线，包含数据元件接口、数据应用接口和数据传输通道；分别通过所述数据元件接口和所述数据应用接口连接所述数据元件和所述数据应用；用于在所述数据元件与所述数据应用之间传输信息。

本发明采用以上技术方案，至少具备以下有益效果：

通过本发明方案，提出了一种基于数据元件的数据处理方法和系统，通过构建数据元件；以及，构建数据安全传输总线；所述数据应用通过所述数据安全传输总线向所述数据元件发送数据计算请求；所述数据元件对所述数据计算请求进行数据处理，得到数据处理结果；并通过所述数据安全传输总线将所述数据处理结果发送至所述数据应用。由此，能够将数据资源与数据应用解耦，有效防止数据资源泄露，同时对于大规模数据计算场景没有任何额外的计算资源占用。在整个数据元件构建及应用过程中，对于计算结果的加密、传输、解密均在数据安全传输总线中自动完成，可以做到应用侧无改造、用户侧无感知，大大提高了用户体验感。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明一实施例提供的基于数据元件的数据处理方法的流程示意图；

图2示出了本发明一实施例提供的基于数据元件的数据处理系统的结构示意图；

图3示出了本发明一实施例提供的利用基于数据元件的数据处理系统进行数据处理的流程示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明实施例提供了一种基于数据元件的数据处理方法，如图1所示，至少可以包括以下步骤S101~S104：

步骤S101，构建数据元件。

数据元件是对数据资源按照特定规则加工处理之后的数据产品，可以用于提供数据计算服务。本发明实施例中构建数据元件，具体可以包括以下步骤：利用应用容器引擎构建数据元件容器；在数据元件容器中部署资源数据库；获取至少一条资源数据，将资源数据导入资源数据库；在数据元件容器中搭建基于资源数据库的数据计算服务；并设置数据计算服务的外部服务接口。

也就是说，可以先使用应用容器引擎创建一个具有沙箱机制、容器内部与外部网络完全隔离的数据元件容器，并在创建的数据元件容器中部署资源数据库，并将获取的所有资源数据导入资源数据库（如MySQL、PostgreSQL等）中，且资源数据库具有独立的专网IP及端口，不对数据元件容器外部开放，使得容器外的应用系统无法直接通过宿主机IP和端口访问到容器内的资源数据。同时，还可以搭建基于资源数据的数据计算服务，数据计算服务可以包括但不仅限于数据查询、数据管理、数据共享、统计分析、模型运算、全文检索、知识图谱、时序分析、空间分析、AI分析等。另外，还需要在数据元件容器上添加相应的外部服务接口，以允许数据元件容器外的数据应用传入计算请求参数调用指定的数据计算服务进行数据处理以获取数据处理结果。至此，一个典型的数据元件构建完成。

步骤S102，构建数据安全传输总线。

本发明实施例中的安全传输总线包含数据元件接口、数据应用接口和数据传输通道，用于在数据元件和数据应用之间进行信息传输。其中，数据应用可以为多种需要进行数据处理的互联网业务应用，数据传输用于数据信息的加密传输。具体地，数据元件接口连接有至少一个数据元件，数据应用接口连接有至少一个数据应用，分别用于与数据元件和数据应用高效安全地交换信息。

步骤S103，数据应用通过数据安全传输总线向数据元件发送数据计算请求。

由于数据应用在进行多种不同的数据处理时可能需要调用不同的数据元件并使用数据元件中特定的数据计算服务，故为了分辨各数据元件和数据计算服务，以及将数据处理结果返回对应的数据应用，本发明实施例在进行信息传输和数据处理前，可以先对各数据元件、各数据计算服务以及各数据应用配置对应的数据元件标识、计算服务标识以及数据应用标识。

具体地，将需要进行数据处理的数据应用作为目标数据应用，目标数据应用向数据应用接口发送包含计算请求参数的数据计算请求；数据应用接口对数据计算请求进行封装，得到目标计算信息。同时，利用非对称加密算法生成密钥对；数据安全传输总线通过数据传输通道将目标计算信息和传输公钥分发至对应的目标数据元件。

也就是说，数据应用接口对数据计算请求进行封装时，可以对数据计算请求的计算请求参数、发送数据计算请求的数据应用标识以及对数据计算请求进行数据处理的数据元件标识和计算服务标识进行封装，得到包含计算请求参数、数据应用标识以及需要调用的数据元件标识和计算服务标识的目标计算信息。并且为了保证传输过程的安全性，数据安全传输总线同时利用非对称加密算法生成传输公钥和传输私钥，将传输公钥于目标计算信息一起分发至数据元件标识对应的目标数据元件。例如，目标数据应用A需要调用目标数据元件C执行数据计算服务S时，需通过数据应用接口向数据安全传输总线B发送包含计算请求参数的数据计算请求R。数据安全传输总线B通过数据应用接口接收到目标数据应用A发送的数据计算请求R后将自动进行封装，形成目标数据信息P = [PID, AID, CID, SID,R]，其中，PID为信息自增序列号，AID为目标数据应用A的唯一标识，CID为目标数据元件C的唯一标识，SID为数据计算服务S的唯一标识，R为数据计算请求。数据安全传输总线B完成目标数据信息P 的封装后，数据传输通道会自动触发密钥生成机制，通过非对称加密算法（如RSA、Rabin、ECC等算法）生成密钥对[K1, K2]，其中K1为传输公钥，K2为传输私钥。此时，数据传输通道会将私钥信息[PID, K2]返回给AID对应的数据应用接口，并将目标数据信息P连同传输公钥[P, K1]推送至CID对应的数据元件接口。

步骤S104，数据元件对数据计算请求进行数据处理，得到数据处理结果。

具体地，目标数据元件对应的数据元件接口接收目标计算信息，并对目标计算信息进行解析，得到数据计算请求对应的计算请求参数和目标计算服务；将计算请求参数传入目标计算服务进行数据处理，得到数据处理结果；数据元件接口利用传输公钥对数据处理结果进行加密，得到目标计算结果。

也就是说，在目标数据信息P连同传输公钥[P, K1]推送至CID对应的数据元件接口后，数据元件接口接收到目标数据信息P及传输公钥K1后，自动对目标数据信息P进行解析，提取出数据元件标识CID、数据计算服务标识SID以及数据计算请求R，通过CID及SID定位目标数据元件C中的数据计算服务S，并向数据计算服务S传入数据计算请求R的计算请求参数，得到数据处理解结果O（明文结果），并返回给数据元件接口。数据元件接口在获取到数据处理结果O后，使用非对称加密算法通过传输公钥K1进行加密，得到目标计算结果E（密文结果）。

步骤A105，通过数据安全传输总线将数据处理结果发送至数据应用。

具体地，数据应用接口接收目标计算结果和传输私钥，利用传输私钥对目标计算结果进行解密，得到数据处理结果；将数据处理结果发送至目标数据应用。

也就是说，数据安全传输总线B的数据传输通道将根据目标数据应用A的数据应用标识AID将信息自增序列号和目标计算结果[PID, E]推送至目标数据应用A对应的数据应用接口。当数据应用接口接收到[PID, E]后，根据PID对应的传输私钥K2，对目标计算结果E进行解密，还原出数据处理结果O并返回给目标数据应用A。由此，完成了一整套完整的数据处理。

需要说明的是，本发明实施例中提到的针对应用容器引擎、资源数据库、数据计算服务、非对称加密算法的设置，均可以根据不同应用场景需要进行灵活调整，本发明对此不做限定。

本发明实施例提供了一种基于数据元件的数据处理方法，包括以下步骤：构建数据元件；以及，构建数据安全传输总线；数据应用通过数据安全传输总线向数据元件发送数据计算请求；数据元件对数据计算请求进行数据处理，得到数据处理结果；并通过数据安全传输总线将数据处理结果发送至数据应用。本发明适用于大规模计算服务，能够将数据资源与数据应用解耦，有效防止数据资源泄露，同时对于大规模数据计算场景没有任何额外的计算资源占用。在整个数据元件构建及应用过程中，对于计算结果的加密、传输、解密均在数据安全传输总线中自动完成，可以做到应用侧无改造、用户侧无感知，大大提高了用户体验感。

进一步地，作为图1的具体实现，本发明实施例提供了一种基于数据元件的数据处理系统，如图2所示，该装置可以包括：数据元件210、数据安全传输总线220以及数据应用230。

数据元件210，用于提供至少一个数据计算服务，并设置有资源数据库以及数据计算服务的外部服务接口；

数据应用230，用于发送包含计算请求参数的数据计算请求以及接收数据处理结果；

数据安全传输总线220，包含数据元件接口、数据应用接口和数据传输通道；分别通过数据元件接口和数据应用接口连接数据元件和数据应用；用于在数据元件与数据应用之间传输信息。

需要说明的是，本发明实施例提供的一种基于数据元件的数据处理系统所涉及各功能模块的其他相应描述，可以参考图1所示方法的对应描述，在此不再赘述。

基于上述如图2所示系统，如图3所示，为利用基于数据元件的数据处理系统进行数据处理的流程示意图。需要说明的是，如图3提供的基于数据元件的数据处理系统进行数据处理的流程相应描述，可以参考图1所示方法的对应描述，在此不再赘述。

所属领域的技术人员可以清楚地了解到，上述描述的系统、装置、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，为简洁起见，在此不另赘述。

另外，在本发明各个实施例中的各功能单元可以物理上相互独立，也可以两个或两个以上功能单元集成在一起，还可以全部功能单元都集成在一个处理单元中。上述集成的功能单元既可以采用硬件的形式实现，也可以采用软件或者固件的形式实现。

本领域普通技术人员可以理解：所述集成的功能单元如果以软件的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，其包括若干指令，用以使得一台计算设备（例如个人计算机，服务器，或者网络设备等）在运行所述指令时执行本发明各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM）、随机存取存储器（RAM），磁碟或者光盘等各种可以存储程序代码的介质。

或者，实现前述方法实施例的全部或部分步骤可以通过程序指令相关的硬件（诸如个人计算机，服务器，或者网络设备等的计算设备）来完成，所述程序指令可以存储于一计算机可读取存储介质中，当所述程序指令被计算设备的处理器执行时，所述计算设备执行本发明各实施例所述方法的全部或部分步骤。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：在本发明的精神和原则之内，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案脱离本发明的保护范围。

Claims (10)

1.一种基于数据元件的数据处理方法，其特征在于，所述方法包括：

构建数据元件；以及，构建数据安全传输总线；其中，所述数据安全传输总线分别连接有至少一个所述数据元件和至少一个数据应用；

所述数据应用通过所述数据安全传输总线向所述数据元件发送数据计算请求；

所述数据元件对所述数据计算请求进行数据处理，得到数据处理结果；并通过所述数据安全传输总线将所述数据处理结果发送至所述数据应用。

2.根据权利要求1所述的方法，其特征在于，所述构建数据元件，包括：

利用应用容器引擎构建数据元件容器；

在所述数据元件容器中部署资源数据库；获取至少一条资源数据，将所述资源数据导入所述资源数据库；

在所述数据元件容器中搭建基于所述资源数据库的数据计算服务；并设置所述数据计算服务的外部服务接口。

3.根据权利要求1所述的方法，其特征在于，所述构建数据安全传输总线，包括：

构建包含数据元件接口、数据应用接口和数据传输通道的数据安全传输总线；

所述数据安全传输总线通过所述数据元件接口连接有至少一个所述数据元件；以及，所述数据安全传输总线通过所述数据应用接口连接有至少一个所述数据应用。

4.根据权利要求3所述的方法，其特征在于，所述数据应用通过所述数据安全传输总线向所述数据元件发送数据计算请求，包括：

目标数据应用向所述数据应用接口发送包含计算请求参数的数据计算请求；

所述数据应用接口对所述数据计算请求进行封装，得到目标计算信息；

所述数据安全传输总线通过数据传输通道将所述目标计算信息分发至对应的目标数据元件。

5.根据权利要求4所述的方法，其特征在于，所述数据应用接口对所述数据计算请求进行封装，包括：

所述数据应用接口对所述数据计算请求的计算请求参数、发送所述数据计算请求的数据应用标识以及对所述数据计算请求进行数据处理的数据元件标识和计算服务标识进行封装。

6.根据权利要求4所述的方法，其特征在于，所述数据安全传输总线通过数据传输通道将所述目标计算信息分发至对应的目标数据元件之前，还包括：

利用非对称加密算法生成密钥对；其中，所述密钥对包括传输公钥和传输私钥；

所述方法还包括：所述数据安全传输总线通过数据传输通道传输所述目标计算信息时将所述传输公钥传输至数据元件接口；

所述数据安全传输总线通过数据传输通道传输所述数据处理结果时将所述传输私钥传输至数据应用接口。

7.根据权利要求6所述的方法，其特征在于，所述数据元件对所述数据计算请求进行数据处理，包括：

所述数据元件接口接收目标计算信息；并对所述目标计算信息进行解析，得到数据计算请求对应的计算请求参数和目标计算服务；

将所述计算请求参数传入所述目标计算服务进行数据处理，得到数据处理结果；

所述数据元件接口利用所述传输公钥对所述数据处理结果进行加密，得到目标计算结果。

8.根据权利要求7所述的方法，其特征在于，所述通过所述数据安全传输总线将所述数据处理结果发送至所述数据应用，包括：

所述数据应用接口接收所述目标计算结果和所述传输私钥，利用所述传输私钥对所述目标计算结果进行解密，得到数据处理结果；

将所述数据处理结果发送至目标数据应用。

9.根据权利要求1~8任一项所述的方法，其特征在于，所述数据应用通过所述数据安全传输总线向所述数据元件发送数据计算请求之前，所述方法还包括：

分别对各所述数据元件、各数据计算服务以及各所述数据应用配置对应的数据元件标识、计算服务标识以及数据应用标识。

10.一种基于数据元件的数据处理系统，其特征在于，所述系统包括：

至少一个数据元件，用于提供至少一个数据计算服务，并设置有资源数据库以及所述数据计算服务的外部服务接口；

至少一个数据应用，用于发送包含计算请求参数的数据计算请求以及接收数据处理结果；

数据安全传输总线，包含数据元件接口、数据应用接口和数据传输通道；分别通过所述数据元件接口和所述数据应用接口连接所述数据元件和所述数据应用；用于在所述数据元件与所述数据应用之间传输信息。