CN116260823A - 受控数据共享方法、装置、计算机设备和存储介质 - Google Patents

受控数据共享方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN116260823A
CN116260823A CN202310539138.8A CN202310539138A CN116260823A CN 116260823 A CN116260823 A CN 116260823A CN 202310539138 A CN202310539138 A CN 202310539138A CN 116260823 A CN116260823 A CN 116260823A
Authority
CN
China
Prior art keywords
algorithm
verified
data set
controlled
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310539138.8A
Other languages
English (en)
Other versions
CN116260823B (zh
Inventor
梁锦照
陈彬
张喜铭
徐欢
于秋玲
陈康平
周婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern Power Grid Digital Grid Research Institute Co Ltd
Original Assignee
Southern Power Grid Digital Grid Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern Power Grid Digital Grid Research Institute Co Ltd filed Critical Southern Power Grid Digital Grid Research Institute Co Ltd
Priority to CN202310539138.8A priority Critical patent/CN116260823B/zh
Publication of CN116260823A publication Critical patent/CN116260823A/zh
Application granted granted Critical
Publication of CN116260823B publication Critical patent/CN116260823B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0209—Architectural arrangements, e.g. perimeter networks or demilitarized zones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45587—Isolation or security of virtual machine instances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种受控数据共享方法、装置、计算机设备和存储介质。所述方法包括：获取服务网络中的算法验证请求任务；其中，算法验证请求任务包括目标数据集和待验证算法；根据目标数据集调度对应的受控数据集所在的计算集群；通过计算集群运行待验证算法，得到运行结果；将运行结果上传至对象存储；其中，对象存储对服务网络提供数据访问入口。由于在内部网络的计算集群中才存储有受控数据，且待验证算法在运行的过程中，全程处于内部网络中，内部网络仅将最终的运行结果输出，以供服务网络获取，防止受控数据出现泄漏。

Description

受控数据共享方法、装置、计算机设备和存储介质
技术领域
本申请涉及数据共享技术领域，特别是涉及一种受控数据共享方法、装置、计算机设备和存储介质。
背景技术
随着数字电网技术的发展，电网在运行过程中会积累大量的电力能源方面的数据，但是这些数据大多涉及较为敏感的信息，不方便直接公开供高校、科研机构或其他合作单位使用。相关技术中的数据共享方案中，会将敏感的受控数据经过脱敏处理，然后将脱敏数据存放到互联网存储服务器上，如常见的网盘、对象存储、FTP服务器等此类方式以实现数据共享。但受控数据经过脱敏处理后，会影响数据的完整性，从而导致使用脱敏数据计算得到的算法模型在实际使用过程中不够准确，因此亟需一种受控数据的共享方法，在共享受控数据的同时，防止受控数据出现泄露。
发明内容
基于此，有必要针对上述技术问题，提供一种能够防止受控数据出现泄露的受控数据共享方法、装置、计算机设备和存储介质。
第一方面，本申请提供了一种受控数据共享方法。应用于内部网络，所述方法包括：
获取服务网络中的算法验证请求任务；其中，所述算法验证请求任务包括目标数据集和待验证算法；
根据所述目标数据集调度对应的受控数据集所在的计算集群；
通过所述计算集群运行所述待验证算法，得到运行结果；
将所述运行结果上传至对象存储；其中，所述对象存储对所述服务网络提供数据访问入口。
在其中一个实施例中，所述通过所述计算集群运行所述待验证算法的步骤，包括：
根据所述目标数据集得到对应的受控级别；
根据所述受控级别选择对应的虚拟机并运行所述待验证算法。
在其中一个实施例中，所述受控级别包括：低受控级别，所述根据所述受控级别选择对应的虚拟机并运行所述待验证算法的步骤，包括：
若所述受控级别为低受控级别，则根据计算任务需求创建虚拟机；
将待验证算法、环境配置和任务管理程序注入所述虚拟机；
通过所述任务管理程序挂载对应的所述受控数据集；
通过所述任务管理程序启动所述待验证算法；
通过所述任务管理程序持续收集算法执行日志并上传。
在其中一个实施例中，所述将待验证算法、环境配置和任务管理程序注入所述虚拟机的步骤，包括：
在所述虚拟机创建时，修改虚拟机磁盘并注入所述待验证算法、所述环境配置和所述任务管理程序；
或者在所述虚拟机启动镜像中部署所述任务管理程序，并在所述虚拟机启动后由所述任务管理程序获取所述待验证算法和所述环境配置。
在其中一个实施例中，所述受控级别包括：高受控级别，所述根据所述受控级别选择对应的虚拟机并运行所述待验证算法的步骤，包括：
若所述受控级别为高受控级别，则将所述待验证算法编译为WASM文件；
通过任务管理程序挂载对应的所述受控数据集；
根据计算任务需求创建目标数量的WASM计算实例；
通过任务管理程序持续收集WASM实例输出日志并上传。
在其中一个实施例中，所述算法验证请求任务为所述服务网络对获取的受控数据访问请求进行处理后得到。
在其中一个实施例中，所述待验证算法为根据所述服务网络中的测试数据集开发得到，所述测试数据集由所述受控数据集进行抽样和脱敏处理后得到。
第二方面，本申请还提供了一种受控数据共享装置。应用于内部网络，所述装置包括：
任务获取模块，用于获取服务网络中的算法验证请求任务；其中，所述算法验证请求任务包括目标数据集和待验证算法；
计算调度模块，用于根据所述目标数据集调度对应的受控数据集所在的计算集群；
算法运行模块，用于通过所述计算集群运行所述待验证算法，得到运行结果；
结果上传模块，用于将所述运行结果上传至对象存储；其中，所述对象存储对所述服务网络提供数据访问入口。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
上述受控数据共享方法、装置、计算机设备和存储介质，通过内部网络获取服务网络中的算法验证请求任务，并根据算法验证请求任务中的目标数据集调用对应的受控数据集所在的计算集群，通过得到的计算集群运行待验证算法，从而得到对应的运行结果。由于在内部网络的计算集群中才存储有受控数据，且待验证算法在运行的过程中，全程处于内部网络中，内部网络仅将最终的运行结果输出，以供服务网络获取，防止受控数据出现泄漏。
附图说明
图1为一个实施例中受控数据共享方法的流程示意图；
图2为一个实施例中服务网络与内部网络的系统架构示意图；
图3为一个实施例中运行待验证算法的流程示意图；
图4为一个实施例中内部网络计算环境隔离的示意图；
图5为一个实施例中受控级别为低受控级别时运行待验证算法的流程示意图；
图6为一个实施例中普通虚拟机的系统架构示意图；
图7为一个实施例中受控级别为高受控级别时运行待验证算法的流程示意图；
图8为一个实施例中WASM虚拟机的系统架构示意图；
图9为一个实施例中服务网络与内部网络隔离的示意图；
图10为一个实施例中受控数据共享方法的整体架构示意图；
图11为一个实施例中受控数据共享装置的模块示意图；
图12为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种受控数据共享方法，以该方法应用于内部网络为例进行说明，包括以下步骤：
步骤S100，获取服务网络中的算法验证请求任务。其中，算法验证请求任务包括目标数据集和待验证算法。
具体的，如图2所示，为本申请一实施例的服务网络与内部网络（计算网络）的系统架构示意图。在算法开发阶段，用户使用的是服务网络，当算法初步验证成功后，用户在服务网络中的数字电网开源社区平台提交受控数据访问请求，该请求经过服务层的处理后，得到算法验证请求任务并保存在数据库中。内部网络的计算调度层通过数据访问组件，来获取服务网络中存储的算法验证请求任务。算法验证请求任务中的目标数据集为用户选择的需要使用的受控数据集，待验证算法为待验证的算法源码。受控数据集为电网运行过程中收集的电力能源等敏感数据，其需要在控制下进行使用。
步骤S200，根据目标数据集调度对应的受控数据集所在的计算集群。具体的，内部网络的计算调度层根据获取到的目标数据集，自动调度到对应的受控数据集所在的计算集群，计算集群中包括多个计算资源和对应的受控数据集。
步骤S300，通过计算集群运行待验证算法，得到运行结果。具体的，计算集群启动计算实例并运行待验证算法脚本，根据预先设置的数据访问方式，待验证算法可以正常访问对应的受控数据集，并通过受控数据集进行模型训练、算法验证等，在算法程序运行结束后，得到对应的运行结果。
步骤S400，将运行结果上传至对象存储。其中，对象存储对服务网络提供数据访问入口。具体的，运行结果可以为模型参数或计算结果等，得到运行结果后，可以通过内部开发的任务管理程序（Agent）自动将运行结果上传到对象存储，对象存储对服务网络提供有数据访问接口，用户通过数字电网开源社区平台即可获得提交的待验证算法执行任务，并获取该算法的运行结果。
上述受控数据共享方法，通过内部网络获取服务网络中的算法验证请求任务，并根据算法验证请求任务中的目标数据集调用对应的受控数据集所在的计算集群，通过得到的计算集群运行待验证算法，从而得到对应的运行结果。由于在内部网络的计算集群中才存储有受控数据，且待验证算法在运行的过程中，全程处于内部网络中，内部网络仅将最终的运行结果输出，以供服务网络获取，防止受控数据出现泄漏。
在一个实施例中，如图3所示，步骤S300中，通过计算集群运行待验证算法的步骤，包括：
步骤S310，根据目标数据集得到对应的受控级别。具体的，用户的待验证算法会转移至内部网络中的计算集群环境进行运行，为避免待验证算法中存在恶意破坏攻击计算集群基础设施的问题，本申请实施例提出了在计算集群中提供虚拟机以解决计算环境出现的安全问题。首先，内部网络会根据用户选择的目标数据集，并根据与目标数据集对应的受控数据集中的数据的敏感程度，来得到与目标数据集对应的受控级别。例如，目标数据集中的受控数据集的数据越敏感，对应的受控级别越高。
步骤S320，根据受控级别选择对应的虚拟机并运行待验证算法。具体的，得到受控级别后，内部网络即会根据受控级别选择对应的虚拟机，并在虚拟机中运行待验证算法。具体示例，如图4所示，当受控级别为低受控级别时，通过普通虚拟机提供算法代码执行沙箱环境，主要实现算法代码执行环境和宿主机环境的隔离，避免算法代码破坏宿主机环境，同时，虚拟机沙箱环境对用户源码实现的限制较少，对用户较为友好。当受控级别为高受控级别时，除提供算法代码对宿主机环境的隔离之外，还需要进一步限制算法代码对数据集的访问和使用行为，此时采用WASM（WebAssembly）虚拟机提供算法源码的执行沙箱环境，WASM虚拟机通过自主设置WASM数据集访问和使用接口，限制算法代码访问和使用数据集的行为，同时WASM虚拟机提供的沙箱环境又保证了算法代码执行环境和宿主机环境的隔离，但WASM虚拟机隔离方案对用户编写算法限制较多，对用户相对不够友好，因此本申请实施例中只对受控级别较高的受控数据集采用WASM虚拟机的隔离方案。
在一个实施例中，受控级别包括：低受控级别，如图5所示，步骤S320中，根据受控级别选择对应的虚拟机并运行待验证算法的步骤，包括：
步骤S321，若受控级别为低受控级别，则根据计算任务需求创建虚拟机。具体的，如图6所示，为本申请实施例的普通虚拟机的系统架构示意图。当受控级别为低受控级别时，则执行普通虚拟机的隔离方案。首先根据计算任务需求创建指定数量、指定规格（包括CPU、内存、GPU卡等）的虚拟机计算实例。
步骤S322，将待验证算法、环境配置和任务管理程序注入虚拟机。具体的，将待验证算法中的算法程序、环境配置的配置信息和任务管理程序（任务管理Agent）注入到虚拟机内部。在一些实施例中，步骤S322可以通过以下两种方式实现：在虚拟机创建时，修改虚拟机磁盘并注入待验证算法、环境配置和任务管理程序；或者在虚拟机启动镜像中部署任务管理程序，并在虚拟机启动后由任务管理程序获取待验证算法和环境配置。
步骤S323，通过任务管理程序挂载对应的受控数据集。具体的，通过预先设置的任务管理程序来选择挂载与目标数据集对应的受控数据集。
步骤S324，通过任务管理程序启动待验证算法。具体的，通过设置的任务管理程序启动待验证算法，以执行计算任务。例如，开始进行模型训练等。
步骤S325，通过任务管理程序持续收集算法执行日志并上传。具体的，任务管理程序在待验证算法执行的过程中，会持续收集算法程序的算法执行日志，并将其上传到日志服务器中。可以理解的是，待验证算法执行完成后，任务管理程序会将运行结果以文件的形式上传到对象存储，从而完成待验证算法的运行。
在一个实施例中，受控级别包括：高受控级别，如图7所示，步骤S320中，根据受控级别选择对应的虚拟机并运行待验证算法的步骤，包括：
步骤S326，若受控级别为高受控级别，则将待验证算法编译为WASM文件。具体的，如图8所示，为本申请实施例的WASM虚拟机的系统架构示意图。若受控级别为高受控级别，用户在编写待验证算法时，需要遵循对应的数据集访问接口规范，并调用WASM接口规范SDK（软件开发工具包，Software DevelopmentKit）访问数据集，当获取到待验证算法后，首先会将待验证算法通过WASM编译器编译为WASM文件（即WASM格式的代码）。
步骤S327，通过任务管理程序挂载对应的受控数据集。具体的，任务管理程序（任务管理Agent）通过WASM执行引擎对WASM沙箱环境挂载根据目标数据集选择的受控数据集。
步骤S328，根据计算任务需求创建目标数量的WASM计算实例。具体的，任务管理程序通过WASM执行引擎按照计算任务需求创建目标数量的WASM计算实例。
步骤S329，通过任务管理程序持续收集WASM实例输出日志并上传。具体的，任务管理程序持续收集全部WASM计算实例输出的日志，得到WASM实例输出日志，并上传至日志服务器中。可以理解的是，当WASM计算实例执行结束后，任务管理程序即会将WASM计算实例的运行结果以文件形式上传至对象存储，从而完成待验证算法的运行。
在一个实施例中，算法验证请求任务为服务网络对获取的受控数据访问请求进行处理后得到。具体的，如图2所示，在开发算法阶段，用户使用的是服务网络，算法初步验证成功后，用户在服务网络中的数字电网开源社区平台提交受控数据访问请求，该请求经服务层处理后保存至数据库。其中，受控数据访问请求中包括需要访问的受控数据集和用户提交的待验证算法。
在一个实施例中，待验证算法为根据服务网络中的测试数据集开发得到，测试数据集由受控数据集进行抽样和脱敏处理后得到。具体的，如图2和图9所示，服务网络中存储有公开测试数据集群，公开测试数据集群中包括多个测试数据集（测试数据集01至测试数据集N），内部网络中存储有内部集群，内部集群中包括多个含有受控数据的数据集（数据集01至数据集N），其中，测试数据集由受控数据集进行抽样脱敏处理后得到。用户在编写待验证算法时，可以通过数字电网开源社区平台获取测试数据集，以用于算法源码的本地调试，调试成功后，通过提交受控数据访问请求，使用内部网络对调试好的待验证算法进行进一步的训练或测试，从而达到更好的效果。
具体示例，如图10所示，为本申请一实施例中受控数据共享方法的整体架构示意图。用户通过服务网络中的数字电网开源社区平台获取测试数据集，并使用测试数据集对待验证算法进行初步调试，调试完成后，通过数字电网开源社区平台发送受控数据访问请求，受控数据访问请求经过服务层的处理后，得到算法验证请求任务并保存至数据库中。内部网络通过数据访问组件获取算法验证请求任务，并通过计算调度层根据目标数据集调度对应的受控数据集所在的计算集群，且对用户需要访问的不同受控级别的受控数据库，采用不同的虚拟机沙箱进行计算环境的隔离。通过计算集群运行待验证算法后，得到对应的运行结果并将运行结果上传至对象存储。服务网络通过数据访问接口访问对象存储中的运行结果，并在数字电网开源社区平台进行结果展示。通过上述方法，可以在共享受控数据的同时，防止出现受控数据的泄露，提高了数据的安全性。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的受控数据共享方法的受控数据共享装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个受控数据共享装置实施例中的具体限定可以参见上文中对于受控数据共享方法的限定，在此不再赘述。
在一个实施例中，如图11所示，提供了一种受控数据共享装置，包括：任务获取模块510、计算调度模块520、算法运行模块530和结果上传模块540，其中：
任务获取模块510，用于获取服务网络中的算法验证请求任务；其中，算法验证请求任务包括目标数据集和待验证算法；
计算调度模块520，用于根据目标数据集调度对应的受控数据集所在的计算集群；
算法运行模块530，用于通过计算集群运行待验证算法，得到运行结果；
结果上传模块540，用于将运行结果上传至对象存储；其中，对象存储对服务网络提供数据访问入口。
上述受控数据共享装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图12所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种受控数据共享方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种受控数据共享方法，其特征在于，应用于内部网络，所述方法包括：
获取服务网络中的算法验证请求任务；其中，所述算法验证请求任务包括目标数据集和待验证算法；
根据所述目标数据集调度对应的受控数据集所在的计算集群；
通过所述计算集群运行所述待验证算法，得到运行结果；
将所述运行结果上传至对象存储；其中，所述对象存储对所述服务网络提供数据访问入口。
2.根据权利要求1所述的方法，其特征在于，所述通过所述计算集群运行所述待验证算法的步骤，包括：
根据所述目标数据集得到对应的受控级别；
根据所述受控级别选择对应的虚拟机并运行所述待验证算法。
3.根据权利要求2所述的方法，其特征在于，所述受控级别包括：低受控级别，所述根据所述受控级别选择对应的虚拟机并运行所述待验证算法的步骤，包括：
若所述受控级别为低受控级别，则根据计算任务需求创建虚拟机；
将待验证算法、环境配置和任务管理程序注入所述虚拟机；
通过所述任务管理程序挂载对应的所述受控数据集；
通过所述任务管理程序启动所述待验证算法；
通过所述任务管理程序持续收集算法执行日志并上传。
4.根据权利要求3所述的方法，其特征在于，所述将待验证算法、环境配置和任务管理程序注入所述虚拟机的步骤，包括：
在所述虚拟机创建时，修改虚拟机磁盘并注入所述待验证算法、所述环境配置和所述任务管理程序；
或者在所述虚拟机启动镜像中部署所述任务管理程序，并在所述虚拟机启动后由所述任务管理程序获取所述待验证算法和所述环境配置。
5.根据权利要求2所述的方法，其特征在于，所述受控级别包括：高受控级别，所述根据所述受控级别选择对应的虚拟机并运行所述待验证算法的步骤，包括：
若所述受控级别为高受控级别，则将所述待验证算法编译为WASM文件；
通过任务管理程序挂载对应的所述受控数据集；
根据计算任务需求创建目标数量的WASM计算实例；
通过任务管理程序持续收集WASM实例输出日志并上传。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述算法验证请求任务为所述服务网络对获取的受控数据访问请求进行处理后得到。
7.根据权利要求6所述的方法，其特征在于，所述待验证算法为根据所述服务网络中的测试数据集开发得到，所述测试数据集由所述受控数据集进行抽样和脱敏处理后得到。
8.一种受控数据共享装置，其特征在于，应用于内部网络，所述装置包括：
任务获取模块，用于获取服务网络中的算法验证请求任务；其中，所述算法验证请求任务包括目标数据集和待验证算法；
计算调度模块，用于根据所述目标数据集调度对应的受控数据集所在的计算集群；
算法运行模块，用于通过所述计算集群运行所述待验证算法，得到运行结果；
结果上传模块，用于将所述运行结果上传至对象存储；其中，所述对象存储对所述服务网络提供数据访问入口。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202310539138.8A 2023-05-15 2023-05-15 受控数据共享方法、装置、计算机设备和存储介质 Active CN116260823B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310539138.8A CN116260823B (zh) 2023-05-15 2023-05-15 受控数据共享方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310539138.8A CN116260823B (zh) 2023-05-15 2023-05-15 受控数据共享方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN116260823A true CN116260823A (zh) 2023-06-13
CN116260823B CN116260823B (zh) 2023-09-15

Family

ID=86684690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310539138.8A Active CN116260823B (zh) 2023-05-15 2023-05-15 受控数据共享方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN116260823B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102656559A (zh) * 2009-07-28 2012-09-05 空中客车公司 实施需要不同安全级别或责任限制的功能的多用途数据的自动处理
CN112347470A (zh) * 2020-11-27 2021-02-09 国家电网有限公司大数据中心 基于区块链和数据安全沙箱的电网数据保护方法及系统
CN113704117A (zh) * 2021-08-31 2021-11-26 北京三快在线科技有限公司 一种算法测试系统、方法及装置
CN114065190A (zh) * 2020-07-31 2022-02-18 南京方糖智行网络科技有限公司 一种高可用性与高安全性的算法自动化在线测试系统
CN114881235A (zh) * 2022-05-27 2022-08-09 北京百度网讯科技有限公司 推理服务调用方法、装置、电子设备及存储介质
CN115758326A (zh) * 2021-09-06 2023-03-07 中兴通讯股份有限公司 数据共享方法、网络侧设备、系统、电子设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102656559A (zh) * 2009-07-28 2012-09-05 空中客车公司 实施需要不同安全级别或责任限制的功能的多用途数据的自动处理
CN114065190A (zh) * 2020-07-31 2022-02-18 南京方糖智行网络科技有限公司 一种高可用性与高安全性的算法自动化在线测试系统
CN112347470A (zh) * 2020-11-27 2021-02-09 国家电网有限公司大数据中心 基于区块链和数据安全沙箱的电网数据保护方法及系统
CN113704117A (zh) * 2021-08-31 2021-11-26 北京三快在线科技有限公司 一种算法测试系统、方法及装置
CN115758326A (zh) * 2021-09-06 2023-03-07 中兴通讯股份有限公司 数据共享方法、网络侧设备、系统、电子设备和存储介质
CN114881235A (zh) * 2022-05-27 2022-08-09 北京百度网讯科技有限公司 推理服务调用方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN116260823B (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
EP3754496B1 (en) Data processing method and related products
Harman et al. Cloud engineering is search based software engineering too
US11379943B2 (en) Optimizing compilation of shaders
Liu et al. G3: when graph neural networks meet parallel graph processing systems on GPUs
US9715440B2 (en) Test scope determination based on code change(s)
CN102591771A (zh) 关于对访问请求的意外响应验证计算机程序的方法和装置
CN111389014A (zh) 游戏资源数据监控方法、装置、计算机设备和存储介质
US20140152680A1 (en) System and method for efficient resource management of a signal flow programmed digital signal processor code
Mohamed et al. Performance and Dependability evaluation of distributed event-based systems: a dynamic code-injection approach
CN112418447B (zh) 提供机器学习服务的系统、方法、介质和设备
CN116260823B (zh) 受控数据共享方法、装置、计算机设备和存储介质
CN114764296A (zh) 机器学习模型训练方法、装置、电子设备及存储介质
CN116483645A (zh) 设备虚拟调试方法、装置、设备、存储介质和程序产品
US20120311542A1 (en) Dynamic interface reduction for software model checking
Thomas et al. Simulation factory: Taming application configuration and workflow on high-end resources
CN116560924A (zh) 性能测试方法、装置、计算机设备和可读存储介质
CN114185566A (zh) 容器化部署的方法、装置、计算机设备和存储介质
CN110471828A (zh) 一种操作系统测试方法、装置及其设备
CN111950219B (zh) 用于实现模拟器的方法、装置、设备以及介质
CN111309297A (zh) 脚本开发系统及方法
Lee et al. Toward Heterogeneous Virtual Platforms For Early SW Development
CN115794651B (zh) 一种支持多二进制的无冲突插桩方法和系统
Gibson Deep learning on a low power gpu
Li et al. Automating Cloud Deployment for Real-Time Online Foundation Model Inference
CN113835832A (zh) 一种整合神经影像数据分析环境的构建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant