CN113434854A - 一种基于沙箱环境生成数据元件的方法及存储介质 - Google Patents

Abstract

本发明公开了一种基于沙箱环境生成数据元件的方法及存储介质，本发明是基于沙箱环境通过数据元件模型来生成数据元件，从而消除了原始数据中的隐私安全风险问题，使得数据元件能够作为安全流通对象，在数据元件市场进行交易流转，实现数据从生产资源向生产要素的转变，另外本发明的数据元件是通过对原始信息进行提取加工，实现了数据到信息的转换，也消除了数据应用中“不确定性”的价值，成为数据元件定价的基础，使得数据能够形成可控制、可计量、可定价的数据初级产品，为数据安全流通奠定基础，最终有效解决了现有技术中不能在数据安全的基础上实现数据元件的按需流通等问题。

Description

一种基于沙箱环境生成数据元件的方法及存储介质

技术领域

本发明涉及计算机技术领域，特别是涉及一种基于沙箱环境生成数据元件的方法及存储介质。

背景技术

数据元件作为激发数据要素流通新活力的一种新业态，越来越受到业界的关注。但是由于数据面临国家安全、隐私泄露等等的安全保障问题，所以影响了数据元件的市场流通，也导致了数据元件的有效数据供给不足，以及跨地区、跨层级、跨部门、跨业务、跨系统的综合型大工程推进难度较大的问题，所以如何实现数据的共建、共治、共享的社会治理新格局成为现在亟待需要解决的问题。

发明内容

本发明提供了一种基于沙箱环境生成数据元件的方法及存储介质，以解决现有技术中不能在数据安全的基础上实现数据元件的按需流通的问题。

第一方面，本发明提供了一种基于沙箱环境生成数据元件的方法，包括：在沙箱环境下，构建、训练并优化数据元件模型；加载优化后的数据元件模型，以对预设数据进行加工生产得到相应的数据元件，所述数据元件为通过所述数据元件模型按照预设处理方法处理而得到的具有预设功能的数据集或者数据特征；其中，构建、训练以及优化所述数据元件模型的开发环境与所述数据元件的生产环境是分离的，以避免在生产环境下的数据外泄。

可选地，所述预设处理方法包括以下中的一种或多种：数据拼接、数据合并、特征选择、分组、区间化、数据聚合、指标以及特征提取处理。

可选地，训练所述数据元件模型的训练数据是脱敏处理后的样本数据。

可选地，所述方法还包括：对生产数据元件的生产环境内的所述预设数据进行访问权限控制，并设置对所有数据操作进行留痕处理，以基于所述留痕来对数据操作进行风险识别和分析。

可选地，所述方法还包括：对所述数据元件的输出结果进行申报和审核。

可选地，构建数据元件模型，包括：基于数据元件的不同需求定义不同的数据元件，并基于所定义的数据元件申请数据资源和计算资源来进行数据元件的开发，根据数据资源的分类分机确定所开发的数据元件的开发环境，通过样本数据对所开发的不同数据元件进行训练得到所述数据元件模型。

可选地，所述方法还包括：在运行所述数据元件模型过程中，使用全量数据来对所述数据元件模型进一步进行优化，所述全量数据为所有的所述预设数据。

可选地，得到所述数据元件之后，所述方法还包括：将所述数据元件存储到预设的数据元件库，以供后续调取使用，并将所述数据元件模型同时存储到所述数据元件库内。

可选地，所述数据元件包括标准数据元件和定制数据元件，其中，所述标准数据元件为通用的数据元件，所述定制数据元件为基于预设需求而设计的数据元件。

第二方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有信号映射的计算机程序，所述计算机程序被至少一个处理器执行时，以实现上述任一种所述的基于沙箱环境生成数据元件的方法。

本发明有益效果如下：

本发明是在沙箱环境中来生成数据元件，也即本发明是通过数据元件模型来生成数据元件，从而消除了原始数据中的隐私安全风险问题，使得数据元件能够作为安全流通对象，在数据元件市场进行交易流转，实现数据从生产资源向生产要素的转变，另外本发明的数据元件是通过对原始信息进行提取加工，实现了数据到信息的转换，也消除了数据应用中“不确定性”的价值，成为数据元件定价的基础，使得数据能够形成可控制、可计量、可定价的数据初级产品，为数据安全流通奠定基础，最终有效解决了现有技术中不能在数据安全的基础上实现数据元件的按需流通等问题。

使得数据能够在数据交易市场安全流通。上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明第一实施例提供的一种基于沙箱环境生成数据元件的方法的流程示意图；

图2是本发明第一实施例提供的构造数据元件模型的流程示意图；

图3是本发明第一实施例提供的生成数据元件的过程示意图。

具体实施方式

本发明实施例针对现有不能在数据安全的基础上实现数据元件的按需流通等问题，通过在沙箱环境中利用数据元件模型来对原始信息进行提取加工，实现了数据到信息的转换，消除了数据应用中不确定性的价值，也消除了原始数据中的隐私安全风险问题，使得数据元件能够作为安全流通对象，在数据元件市场进行交易流转，实现数据从生产资源向生产要素的转变。以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。

由于数据会涉及安全以及隐私等问题，所以就会导致有效数据供给不足，进而使得跨地区、跨层级、跨部门、跨业务、跨系统的综合型大工程推进难度较大，对共建、共治、共享的社会治理新格局的推动作用有待进一步加强。另外，在数据流通交易过程中，现阶段的网络边界安全机制无法实现有效保护，基于边界的安全管理和技术措施已无法适应当前的安全需要，破解数据流通交易安全难题，急需开辟数据可用不可见、全量数据不出库等全新模式。再者数据要素化进程中面临的安全风险是复杂、综合、立体的。防火墙、安全软件、入侵检测等传统外挂式安全手段具有严重滞后性，疲于找漏洞、找特征、打补丁，容易被威胁牵着鼻子走，也无法有效应对未知特征攻击，难以实现高效、高可用的安全防护能力，传统外挂式安全、被动防御方式难以满足数据全周期、全方位防护需求，亟待转型升级。

针对上述问题，本发明第一实施例提供了一种基于沙箱环境生成数据元件的方法，参见图1，该方法包括：

S101、在沙箱环境下，构建、训练并优化数据元件模型；

具体来说，本发明实施例是利用数据沙箱技术来构建调试环境（即开发所述数据元件模型的环境，也可以称为开发环境）和运行环境（即，通过数据元件模型的生产数据元件的环境，也可以称为生产环境）是分离的，在调试环境下利用样本数据实现对模型的训练和测试，然后基于训练好的数据元件模型在运行环境中利用真实全量数据生成数据元件，以支撑数据元件开发的技术合规性。

S102、加载优化后的数据元件模型，以对预设数据进行加工生产得到相应的数据元件，所述数据元件为通过所述数据元件模型按照预设处理方法处理而得到的具有预设功能的数据集或者数据特征。

即，加载数据元件模型后，利用该数据元件模型来生成数据元件，而本发明实施例所述的数据元件是通过数据元件模型进行处理得到的具有一定的功能的数据集或者数据特征，等等。具体本领域技术人员可以根据实际需要进行设置，本发明对此不作详细论述。

其中，本发明实施例所述的预设数据具体是指运行所述数据元件模型的数据库等载体中存储的各种数据，如、个人信息数据、系统运行数据等等。具体实施时，本领域技术人员可以进行任意设置，本发明对此不作具体限定。

本发明实施例构建、训练以及优化所述数据元件模型的环境与所述数据元件的生产环境（也即数据元件模型的实际运行环境）是分离的，以避免在运行环境下的数据外泄。也即，本发明实施例的调试环境与运行环境是分离的，数据分析师在调试环境来基于少量脱敏后的样本数据编写和调试数据分析程序（即，前述的数据元件模型），再将调试后的数据分析程序发送到运行环境执行全量数据的分析和挖掘，最后只能带走不含敏感数据的分析模型文件和分析结果，从而实现“数据可用不可见，数据不动程序动”，进而有效保证了数据交易流转的安全性，实现数据从生产资源向生产要素的转变。

需要说明的是，本发明实施例的数据元件为按照预设处理方法处理而得到的具有预设功能的数据集或者数据特征，具体来说，本发明实施例所述预设处理方法包括以下中的一种或多种：数据拼接、数据合并、特征选择、分组、区间化、数据聚合、指标以及特征提取处理。当然在具体实施时，本领域技术人员也可以通过其他处理方法来处理得到所述数据元件。

换句话来说，由于数据元件作为贴源数据的信息载体，要保留原始数据的信息，因此要采用安全可靠的方式来生产数据元件，因此，本发明采用数据沙箱环境为数据元件生产提供了安全隔离环境，保证数据不出库，同时又能够作为数据交易市场的交易标的物。

具体实施时，本发明实施例所述的训练数据元件模型的训练数据是脱敏处理后的样本数据，该样本数据是运行数据元件模型的系统或数据库中的脱敏处理后的数据，本领域技术人员可根据具体需要来进行选择，本发明对此不作具体限定。

进一步地，本发明实施例中，构建数据元件模型，包括：基于数据元件的不同需求定义不同的数据元件，并基于所定义的数据元件申请数据资源和计算资源来进行数据元件的开发，根据数据资源的分类分机确定所开发的数据元件的开发环境，通过样本数据对所开发的不同数据元件进行训练得到所述数据元件模型。

在具体实施时，本发明实施例提供了一种构造数据元件模型的方法，如图2所示，该方法具体包括：

a、对数据元件进行需求确认，即，本发明是基于用户的具体需求来进行数据元模型的设计；

b、对数据元件进行定义；

c、然后基于数据元件的不同要求来申请相应的数据资源和计算资源；

d、进行数据元件的开发，开发主要包括数据元件模型的调试和数据元件生产：

e、根据数据资源的分类分级确定数据元件的开发环境；

f、在调试环境利用样本数据进行模型训练，需要说明的是，本发明实施例所述的样本数据是脱敏后的预设数据；

g、在生产环境（即，上述的运行环境）加载数据元件模型进行全量数据的数据元件的生产；

需要说明的是，为了仅可能保证数据的安全性，本发明实施例会对数据元件模型以及各个数据元件的结果均进行人工审核，以尽可能保证数据的安全性。

在具体实施时，本发明实施例所述的方法还对运行环境下的所述预设数据进行访问权限控制，并设置对所有数据操作进行留痕处理，以基于所述留痕来对数据操作进行风险识别和分析。并对所述数据元件的输出结果进行申报和审核。

也就是说，本发明实施例支持对数据访问权限严格控制，支持对所有数据操作留痕审计，支持行为风险分析和识别，具备数据访问申请与授权体系和输出结果申报与审核机制，保证数据从访问、操作、存储、交互和删除等整个生命周期的安全可控。数据元件结果导出审核导出前进行审核，审核计算结果与数据产品用途是否一致。对结果数据进行审核，将进一步加强数据产品应用的全程监管，充分保障数据安全。

如图3所示，本发明的生成数据元件的过程包括：数据元件模型基于数据资源来生成数据元件，然后基于该数据元件生成数据产品以供用户调取使用。

进一步地，本发明实施例所述方法还包括：在运行所述数据元件模型过程中，使用全量数据来对所述数据元件模型进一步进行优化，所述全量数据为所有的预设数据，也即本发明实施例是在对数据元件模型使用过程中一直在对其做进一步优化，从而提高模型的输出准确率。

在具体实施时，本发明实施例所述的方法还包括：将所述数据元件存储到预设的数据元件库，以供后续调取使用，并将所述数据元件模型同时存储到所述数据元件库内。其中，所述数据元件包括标准数据元件和定制数据元件，其中，所述标准数据元件为通用的数据元件，所述定制数据元件为基于预设需求而设计的数据元件。

具体来说，本发明实施例的数据元件仓库主要存储有数据元件模型和数据元件结果，而本发明实施例的数据元件主要分为标准数据元件和定制数据元件。

具体地，本发明实施例的数据元件作为连接数据供需两端的“中间态”，具有以下基本特征：a) 原始数据与应用之间的数据初级产品；b) 作为数据交易市场中的交易标的物；c) 近源数据的信息载体；d) 数据资产计量和定价的基本单元。

本发明实施例的数据元件是对数据资源集合按照特定规则加工之后的初级数据产品，具有可控制、可计量、可定价等基本特性。数据元件是由模型和模型计算后生成的数据结果两部分组成。

需要说明的是，本发明实施例的数据元件模型是根据一定的业务逻辑，通过预设算法、规则等构造的数据处理模型。数据元件结果是数据资源经过元件模型运算处理后，所形成的数据单元或数据集。数据元件模型和数据元件结果是密切联系，不可或缺的，元件结果必须由元件模型作用于数据资源而产生，而元件模型则必须通过元件结果体现业务价值。二者有机结合，共同构成数据元件，成为数据流通中的信息载体。

总体来说，本发明提供了一种基于沙箱环境生成数据元件的方法，使得数据能够在数据交易市场安全流通。一方面，本发明通过数据元件模型消除了原始数据中的隐私安全风险，使得数据元件作为安全流通对象，在数据元件市场进行交易流转，实现数据从生产资源向生产要素转变。另一方面，本发明的数据元件通过对原始信息进行提取加工，实现了数据到信息的转换，具备消除数据应用中“不确定性”的价值，成为数据元件定价的基础，从而能够形成可控制、可计量、可定价的数据初级产品，为数据安全流通奠定基础。

在社会效益上来说，通过本发明能够解决政府数据利用难题，提升政府数字化决策、管理和服务能力，全面提升城市治理效能，加速公共数据资产化利用，提高民生福祉达到新水平，助力文化领域数字化发展，促进文化创新与时俱进同时还能丰富数字化支持手段，促进生态文明建设实现新进步。

在经济效益上来说，通过本发明能够盘活科研大数据资源，强化我国科技创新能力，扩大数字产业供需规模，提升数字产业发展势能，提升数据融合水平，加速数据赋能产业创新，优化全社会要素配置，构筑高质量发展的内生动力。

本发明第二实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有信号映射的计算机程序，所述计算机程序被至少一个处理器执行时，以实现本发明第一实施例中任一种所述的基于沙箱环境生成数据元件的方法。

本发明实施例的相关内容可参见本发明第一实施例进行理解，在此不做详细论述。

尽管为示例目的，已经公开了本发明的优选实施例，本领域的技术人员将意识到各种改进、增加和取代也是可能的，因此，本发明的范围应当不限于上述实施例。

Claims (10)

1.一种基于沙箱环境生成数据元件的方法，其特征在于，包括：

在沙箱环境下，构建、训练并优化数据元件模型；

加载优化后的数据元件模型，以对预设数据进行加工生产得到相应的数据元件，所述数据元件为通过所述数据元件模型按照预设处理方法处理而得到的具有预设功能的数据集或者数据特征；

其中，构建、训练以及优化所述数据元件模型的开发环境与所述数据元件的生产环境是分离的，以避免在生产环境下的数据外泄。

2.根据权利要求1所述的方法，其特征在于，

所述预设处理方法包括以下中的一种或多种：数据拼接、数据合并、特征选择、分组、区间化、数据聚合、指标以及特征提取处理。

3.根据权利要求1所述的方法，其特征在于，

训练所述数据元件模型的训练数据是脱敏处理后的样本数据。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对生产数据元件的生产环境内的所述预设数据进行访问权限控制，并设置对所有数据操作进行留痕处理，以基于所述留痕来对数据操作进行风险识别和分析。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

对所述数据元件的输出结果进行申报和审核。

6.根据权利要求1-5中任意一项所述的方法，其特征在于，构建数据元件模型，包括：

基于数据元件的不同需求定义不同的数据元件，并基于所定义的数据元件申请数据资源和计算资源来进行数据元件的开发，根据数据资源的分类分机确定所开发的数据元件的开发环境，通过样本数据对所开发的不同数据元件进行训练得到所述数据元件模型。

7.根据权利要求1-5中任意一项所述的方法，其特征在于，所述方法还包括：

在运行所述数据元件模型过程中，使用全量数据来对所述数据元件模型进一步进行优化，所述全量数据为所有的所述预设数据。

8.根据权利要求1-5中任意一项所述的方法，其特征在于，得到所述数据元件之后，所述方法还包括：

将所述数据元件存储到预设的数据元件库，以供后续调取使用，并将所述数据元件模型同时存储到所述数据元件库内。

9.根据权利要求8所述的方法，其特征在于，

所述数据元件包括标准数据元件和定制数据元件，其中，所述标准数据元件为通用的数据元件，所述定制数据元件为基于预设需求而设计的数据元件。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有信号映射的计算机程序，所述计算机程序被至少一个处理器执行时，以实现权利要求1-9中任意一项所述的基于沙箱环境生成数据元件的方法。

Images