CN105868389A - 一种基于mongoDB的数据沙盒实现方法及系统 - Google Patents

一种基于mongoDB的数据沙盒实现方法及系统 Download PDF

Info

Publication number
CN105868389A
CN105868389A CN201610232811.3A CN201610232811A CN105868389A CN 105868389 A CN105868389 A CN 105868389A CN 201610232811 A CN201610232811 A CN 201610232811A CN 105868389 A CN105868389 A CN 105868389A
Authority
CN
China
Prior art keywords
data
sandbox
mongodb
service end
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610232811.3A
Other languages
English (en)
Inventor
严敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Si Tech Information Technology Co Ltd
Original Assignee
Beijing Si Tech Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Si Tech Information Technology Co Ltd filed Critical Beijing Si Tech Information Technology Co Ltd
Priority to CN201610232811.3A priority Critical patent/CN105868389A/zh
Publication of CN105868389A publication Critical patent/CN105868389A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45537—Provision of facilities of other operating environments, e.g. WINE
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5022—Mechanisms to release resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45583—Memory management, e.g. access or allocation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/508—Monitor

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于mongoDB的数据沙盒实现方法及系统。所述方法包括服务端接收用户端发送的创建数据沙盒的申请；服务端根据申请在mongoDB上为用户创建独立的数据沙盒；服务端进行数据沙盒的存储及运算资源配额的管理；服务端将数据仓库数据或者外部数据导入到数据沙盒中，在数据沙盒环境中进行数据处理；数据处理完毕，服务端将处理后的数据从数据沙盒中导出，并销毁数据沙盒，回收系统资源。本发明为用户提供一套弹性的数据运行环境，免除本地安装与管理交易数据库的需求；隔离的环境能够有效避免用户的误操作带来的数据风险，减少集中化方式带来的数据仓库被拖慢的情况，提高环境的可用性,降低数据仓库的开销的同时实现高效的数据访问。

Description

一种基于mongoDB的数据沙盒实现方法及系统
技术领域
本发明涉及计算机软件领域，尤其涉及一种基于mongoDB的数据沙盒实现方法及系统。
背景技术
为应对分析决策需求，企业通过建立集中化的数据仓库为分析人员提供数据分析环境，随着数据的不断积累，集中化的方式导致数据仓库日益庞大；业务的发展，对数据分析的需求增加，越来越多的人需要依赖数据仓库，更多个性化的分析需求需要数据环境支持；数据量的增加以及访问用户的增加，在这种情况下，集中的模式容易导致数据仓库被越拖越慢；分布式数据库或者大数据在性能方面解决了部分问题，仍然不能满足在数据复杂度以及数据量不断增长的情况下，支撑多变的业务需求和个性化分析需求。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供一种基于mongoDB的数据沙盒实现方法及系统。本发明是属于计算机软件领域，基于轻量化的mongoDB数据库，实现对mongoDB数据库的配额管理，以多租户的模式为用户提供安全隔离的数据实验环境，以服务的方式即Data-as-a-Service，为用户提供数据运行和分析环境。
本方案基于mongoDB实现配额管理功能，旨在为企业用户提供一套面向用户隔离的数据即服务的环境，将数据实验和数据仓库的生产数据库环境区别开来，提供配套的管理和工具支撑；一方面将分析人员进行数据探索、分析算法调试的工作转移到数据沙盒上，另一方面，数据沙盒为用户提供个性化数据管理功能，可以将未进入数据仓库的数据导入到自己的数据沙盒进行分析。
本发明解决上述技术问题的技术方案如下：一种基于mongoDB的数据沙盒实现方法，包括如下步骤：
S1，服务端接收用户端发送的创建数据沙盒的申请；
S2，服务端根据申请在mongoDB上为用户创建独立的数据沙盒；
S3，服务端进行数据沙盒的存储及运算资源配额的管理；
S4，服务端将数据仓库数据或者外部数据导入到数据沙盒中，在数据沙盒环境中进行数据处理；
S5，数据处理完毕，服务端将处理后的数据从数据沙盒中导出，并销毁数据沙盒，回收系统资源。
本发明的有益效果是：本发明通过轻量化的数据库，结合管理功能，快速的为企业实现数据即服务的环境，结合配额管理功能，实现资源的配额数据环境的隔离和硬件资源的高效利用；为用户提供一套弹性的数据运行环境，免除本地安装与管理交易数据库的需求；隔离的环境能够有效避免用户的误操作带来的数据风险，减少集中化方式带来的数据仓库被拖慢的情况，提高环境的可用性,用户模型演练、项目测试以及个性化的数据分析可以在数据沙盒上进行，降低数据仓库的开销的同时实现高效的数据访问。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，S2中根据硬件及操作系统环境自动部署mongoDB实例，所述mongoDB实例为数据沙盒，所述服务端采用云服务器或共享服务器，在服务端为云服务器时，为每个用户独立创建虚拟操作系统环境，直接在虚拟机上部署独立的mongoDB实例；在服务端为共享服务器时，共享环境部署共享mongoDB实例，对环境的元数据信息进行登记管理。
采用上述进一步方案的有益效果是，本发明根据硬件及操作系统环境自动部署mongoDB实例，在云化环境和非云化环境下均可实现，不受硬件及操作系统环境的限制，如果是云化环境直接在虚拟机上部署独立的mongoDB实例，共享环境部署共享实例；对环境的元数据信息进行登记管理。
进一步，S3中在服务端为云服务器时，通过虚拟化技术提供的存储及运算资源配额管理功能，实现数据沙盒的配额管理；在服务端为共享服务器时，通过启动不同端口上mongoDB实例的方式，结合操作系统的特性，进行存储及运算资源配额管理。
采用上述进一步方案的有益效果是，本发明对数据沙盒实现配额管理，在云化环境和非云化环境下均可实现，不受硬件及操作系统环境的限制，如果是云化环境则过虚拟环境提供存储及运算资源配额管理的功能；如果是非云化环境，则通过启动不同端口上mongoDB实例的方式，结合操作系统的特性，进行存储及运算资源配额管理。
进一步，在服务端为共享服务器时，进行如下存储及运算资源配额管理：存储空间的配额管理，通过每次用户执行数据更新前检测该用户对应的数据沙盒的状态，如果已使用量超过预设值，则禁止用户执行操作；内存的配额管理，通过监测实例进程，通过操作系统层面启动进程所占用资源的方式实现对数据沙盒的进程进行内存配额管理。
采用上述进一步方案的有益效果是，在共享环境下，由于mongoDB没有提供存储空间的配额管理功能，本发明通过在用户执行数据更新前检测该用户对应的数据沙盒的状态，如果已使用量超过预设值，则禁止用户执行操作，有效实现存储空间的配额管理；另外mongoDB内存是系统的虚拟内存管理的，MongoDB并不干涉内存管理工作，本发明通过系统监测实例进程，通过操作系统层面启动进程所占用资源的方式实现对数据沙盒的进程进行内存配额管理，实现内存的有效配额管理。
进一步，S4中通过随机抽样、分层抽样、整群抽样和系统抽样中的任一种抽样算法将数据仓库数据和/或外部数据抽取到数据沙盒；提供可视化界面，为用户提供可视化数据导入、操作和分析功能。
采用上述进一步方案的有益效果是，本发明为用户提供数据导入工具，将数据仓库数据或者外部数据导入到数据沙盒环境；为满足不同应用场景，系统提供典型的随机抽样、分层抽样、整群抽样、系统抽样等抽样算法，将数据仓库和外部数据抽取到数据沙盒；提供可视化数据探索分析工具，满足用户的分析需求。
为实现上述发明目的，本发明还提供一种基于mongoDB的数据沙盒实现系统，包括客户端和服务端，所述客户端用于向服务端发送创建数据沙盒的申请，所述服务端包括：
接收模块，用于接收用户端发送的创建数据沙盒的申请；
创建模块，用于根据申请在mongoDB上为用户创建独立的数据沙盒；
管理模块，用于进行数据沙盒的存储及运算资源配额的管理；
导入模块，用于将数据仓库数据或者外部数据导入到数据沙盒中；
处理模块，用于在数据沙盒环境中进行数据处理；
导出模块，用于在数据处理完毕，将处理后的数据从数据沙盒中导出，并销毁数据沙盒，回收系统资源。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，创建模块根据硬件及操作系统环境自动部署mongoDB实例，所述mongoDB实例为数据沙盒，所述服务端采用云服务器或共享服务器，在服务端为云服务器时，为每个用户独立创建虚拟操作系统环境，直接在虚拟机上部署独立的mongoDB实例；在服务端为共享服务器时，共享环境部署共享mongoDB实例，对环境的元数据信息进行登记管理。
进一步，管理模块在服务端为云服务器时，通过虚拟化技术提供的存储及运算资源配额管理功能，实现数据沙盒的配额管理；在服务端为共享服务器时，通过启动不同端口上mongoDB实例的方式，结合操作系统的特性，进行存储及运算资源配额管理。
进一步，在服务端为共享服务器时，进行如下存储及运算资源配额管理：存储空间的配额管理，通过每次用户执行数据更新前检测该用户对应的数据沙盒的状态，如果已使用量超过预设值，则禁止用户执行操作；内存的配额管理，通过监测实例进程，通过操作系统层面启动进程所占用资源的方式实现对数据沙盒的进程进行内存配额管理。
进一步，所述导入模块通过随机抽样、分层抽样、整群抽样和系统抽样中的任一种抽样算法将数据仓库数据和/或外部数据抽取到数据沙盒；还包括可视化界面，为用户提供可视化数据导入、操作和分析功能。
附图说明
图1为本发明所述一种基于mongoDB的数据沙盒实现方法流程图；
图2为本发明所述一种基于mongoDB的数据沙盒实现系统框图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，一种基于mongoDB的数据沙盒实现方法，包括如下步骤：
S1，服务端接收用户端发送的创建数据沙盒的申请；
S2，服务端根据申请在mongoDB上为用户创建独立的数据沙盒；
S3，服务端进行数据沙盒的存储及运算资源配额的管理；
S4，服务端将数据仓库数据或者外部数据导入到数据沙盒中，在数据沙盒环境中进行数据处理；
S5，数据处理完毕，服务端将处理后的数据从数据沙盒中导出，并销毁数据沙盒，回收系统资源。
具体地，S2中根据硬件及操作系统环境自动部署mongoDB实例，所述mongoDB实例为数据沙盒，所述服务端采用云服务器或共享服务器，在服务端为云服务器时，为每个用户独立创建虚拟操作系统环境，直接在虚拟机上部署独立的mongoDB实例；在服务端为共享服务器时，共享环境部署共享实例，对环境的元数据信息进行登记管理。本发明根据硬件及操作系统环境自动部署mongoDB实例，在云化环境和非云化环境下均可实现，不受硬件及操作系统环境的限制，如果是云化环境直接在虚拟机上部署独立的mongoDB实例，共享环境部署共享mongoDB实例；对环境的元数据信息进行登记管理。
S3中在服务端为云服务器时，通过虚拟化技术提供的存储及运算资源配额管理功能，实现数据沙盒的配额管理；在服务端为共享服务器时，通过启动不同端口上mongoDB实例的方式，结合操作系统的特性，进行存储及运算资源配额管理。本发明对数据沙盒实现配额管理，在云化环境和非云化环境下均可实现，不受硬件及操作系统环境的限制，如果是云化环境则过虚拟环境提供存储及运算资源配额管理的功能；如果是非云化环境，则通过启动不同端口上mongoDB实例的方式，结合操作系统的特性，进行存储及运算资源配额管理。
在服务端为共享服务器时，进行如下存储及运算资源配额管理：存储空间的配额管理，通过每次用户执行数据更新前检测该用户对应的数据沙盒的状态，如果已使用量超过预设值，则禁止用户执行操作；内存的配额管理，通过监测实例进程，通过操作系统层面启动进程所占用资源的方式实现对数据沙盒的进程进行内存配额管理。在共享环境下，由于mongoDB没有提供存储空间的配额管理功能，本发明通过在用户执行数据更新前检测该用户对应的数据沙盒的状态，如果已使用量超过预设值，则禁止用户执行操作，有效实现存储空间的配额管理；另外mongoDB内存是系统的虚拟内存管理的，MongoDB并不干涉内存管理工作，本发明通过系统监测实例进程，通过操作系统层面启动进程所占用资源的方式实现对数据沙盒的进程进行内存配额管理，实现内存的有效配额管理。
S4中通过随机抽样、分层抽样、整群抽样和系统抽样中的任一种抽样算法将数据仓库数据和/或外部数据抽取到数据沙盒；提供可视化界面，为用户提供可视化数据导入、操作和分析功能。本发明为用户提供数据导入工具，将数据仓库数据或者外部数据导入到数据沙盒环境；为满足不同应用场景，系统提供典型的随机抽样、分层抽样、整群抽样、系统抽样等抽样算法，将数据仓库和外部数据抽取到数据沙盒；提供可视化数据探索分析工具，满足用户的分析需求。
本技术方案主要包含3部分：1)数据沙盒的生命周期管理；2)数据沙盒的配额管理3)数据的导入、探索及分析。
1)数据沙盒的生命周期管理：
a)数据沙盒申请，通过管理化流程提供数据沙盒的申请；
b)数据沙盒创建，在mongoDB上为用户创建独立的实例，即数据沙盒；
c)数据沙盒配额，提供数据沙盒的存储及运算资源的配额管理；
d)数据导入及应用，提供可视化界面，为用户提供数据导入、操作、分析功能；
e)数据沙盒销毁，销毁为用户创建的数据沙盒，回收系统资源。
2)数据沙盒的配额及管理：
方案一：在有云计算环境下，采用独立实例的方式，通过虚拟环境提供配额管理功能；为每个用户独立创建虚拟操作系统环境，独立自动化部署mongoDB实例，通过虚拟机进行存储、内存及计算资源的配额管理；
方案二：在没有云计算的环境下，采用共享主机，通过为用户启动不同端口上的mongoDB实例方式，结合操作系统提供的特性，存储及CPU运算资源配额；
a)存储空间的配额管理，mongoDB没有提供存储空间的配额管理，本方案通过每次用户执行数据更新前检测mongoDB实例状态，如果mongoDB实例已用量超过阈值，则禁止用户执行操作；具体方法通过执行：db.stats()命令，获取storageSize大小进行判断；
b)内存的配额管理，mongoDB内存是系统的虚拟内存管理的，MongoDB并不干涉内存管理工作，不提供内存配额管理功能，系统监测实例进程，通过ulimit-v:address space(linux环境下)从系统层面实现对数据库进程进行内存配额管理。
3)数据导入、探索及分析：
为用户提供数据导入工具，将数据仓库数据或者外部数据导入到数据沙盒环境；为满足不同应用场景，系统提供典型的随机抽样、分层抽样、整群抽样、系统抽样等抽样算法，将数据仓库数据和/或外部数据抽取到数据沙盒；提供可视化数据探索分析工具，满足用户的分析需求。
如图2所示，一种基于mongoDB的数据沙盒实现系统，包括客户端和服务端，所述客户端用于向服务端发送创建数据沙盒的申请，所述服务端包括：接收模块，用于接收用户端发送的创建数据沙盒的申请；创建模块，用于根据申请在mongoDB上为用户创建独立的数据沙盒；管理模块，用于进行数据沙盒的存储及运算资源配额的管理；导入模块，用于将数据仓库数据或者外部数据导入到数据沙盒中；处理模块，用于在数据沙盒环境中进行数据处理；导出模块，用于在数据处理完毕，将处理后的数据从数据沙盒中导出，并销毁数据沙盒，回收系统资源。
创建模块根据硬件及操作系统环境自动部署mongoDB实例，所述mongoDB实例为数据沙盒，所述服务端采用云服务器或共享服务器，在服务端为云服务器时，为每个用户独立创建虚拟操作系统环境，直接在虚拟机上部署独立的mongoDB实例；在服务端为共享服务器时，共享环境部署共享mongoDB实例，对环境的元数据信息进行登记管理。
管理模块在服务端为云服务器时，通过虚拟化技术提供的存储及运算资源配额管理功能，实现数据沙盒的配额管理；在服务端为共享服务器时，通过启动不同端口上mongoDB实例的方式，结合操作系统的特性，进行存储及运算资源配额管理。
在服务端为共享服务器时，进行如下存储及运算资源配额管理：存储空间的配额管理，通过每次用户执行数据更新前检测该用户对应的数据沙盒的状态，如果已使用量超过预设值，则禁止用户执行操作；内存的配额管理，通过监测实例进程，通过操作系统层面启动进程所占用资源的方式实现对数据沙盒的进程进行内存配额管理。
所述导入模块通过随机抽样、分层抽样、整群抽样和系统抽样中的任一种抽样算法将数据仓库数据和/或外部数据抽取到数据沙盒；还包括可视化界面，为用户提供可视化数据导入、操作和分析功能。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于mongoDB的数据沙盒实现方法，其特征在于，包括如下步骤：
S1，服务端接收用户端发送的创建数据沙盒的申请；
S2，服务端根据申请在mongoDB上为用户创建独立的数据沙盒；
S3，服务端进行数据沙盒的存储及运算资源配额的管理；
S4，服务端将数据仓库数据或者外部数据导入到数据沙盒中，在数据沙盒环境中进行数据处理；
S5，数据处理完毕，服务端将处理后的数据从数据沙盒中导出，并销毁数据沙盒，回收系统资源。
2.根据权利要求1所述一种基于mongoDB的数据沙盒实现方法，其特征在于，S2中根据硬件及操作系统环境自动部署mongoDB实例，所述mongoDB实例为数据沙盒，所述服务端采用云服务器或共享服务器，在服务端为云服务器时，为每个用户独立创建虚拟操作系统环境，直接在虚拟机上部署独立的mongoDB实例；在服务端为共享服务器时，共享环境部署共享mongoDB实例，对环境的元数据信息进行登记管理。
3.根据权利要求2所述一种基于mongoDB的数据沙盒实现方法，其特征在于，S3中在服务端为云服务器时，通过虚拟化技术提供的存储及运算资源配额管理功能，实现数据沙盒的配额管理；在服务端为共享服务器时，通过启动不同端口上mongoDB实例的方式，结合操作系统的特性，进行存储及运算资源配额管理。
4.根据权利要求3所述一种基于mongoDB的数据沙盒实现方法，其特征在于，在服务端为共享服务器时，进行如下存储及运算资源配额管理：存储空间的配额管理，通过每次用户执行数据更新前检测该用户对应的数据沙盒的状态，如果已使用量超过预设值，则禁止用户执行操作；内存的配额管理，通过监测实例进程，通过操作系统层面启动进程所占用资源的方式实现对数据沙盒的进程进行内存配额管理。
5.根据权利要求1所述一种基于mongoDB的数据沙盒实现方法，其特征在于，S4中通过随机抽样、分层抽样、整群抽样和系统抽样中的任一种抽样算法将数据仓库数据和/或外部数据抽取到数据沙盒；提供可视化界面，为用户提供可视化数据导入、操作和分析功能。
6.一种基于mongoDB的数据沙盒实现系统，其特征在于，包括客户端和服务端，所述客户端用于向服务端发送创建数据沙盒的申请，所述服务端包括：
接收模块，用于接收用户端发送的创建数据沙盒的申请；
创建模块，用于根据申请在mongoDB上为用户创建独立的数据沙盒；
管理模块，用于进行数据沙盒的存储及运算资源配额的管理；
导入模块，用于将数据仓库数据或者外部数据导入到数据沙盒中；
处理模块，用于在数据沙盒环境中进行数据处理；
导出模块，用于在数据处理完毕，将处理后的数据从数据沙盒中导出，并销毁数据沙盒，回收系统资源。
7.根据权利要求6所述一种基于mongoDB的数据沙盒实现系统，其特征在于，创建模块根据硬件及操作系统环境自动部署mongoDB实例，所述mongoDB实例为数据沙盒，所述服务端采用云服务器或共享服务器，在服务端为云服务器时，为每个用户独立创建虚拟操作系统环境，直接在虚拟机上部署独立的mongoDB实例；在服务端为共享服务器时，共享环境部署共享mongoDB实例，对环境的元数据信息进行登记管理。
8.根据权利要求7所述一种基于mongoDB的数据沙盒实现系统，其特征在于，管理模块在服务端为云服务器时，通过虚拟化技术提供的存储及运算资源配额管理功能，实现数据沙盒的配额管理；在服务端为共享服务器时，通过启动不同端口上mongoDB实例的方式，结合操作系统的特性，进行存储及运算资源配额管理。
9.根据权利要求8所述一种基于mongoDB的数据沙盒实现系统，其特征在于，在服务端为共享服务器时，进行如下存储及运算资源配额管理：存储空间的配额管理，通过每次用户执行数据更新前检测该用户对应的数据沙盒的状态，如果已使用量超过预设值，则禁止用户执行操作；内存的配额管理，通过监测实例进程，通过操作系统层面启动进程所占用资源的方式实现对数据沙盒的进程进行内存配额管理。
10.根据权利要求6所述一种基于mongoDB的数据沙盒实现系统，其特征在于，所述导入模块通过随机抽样、分层抽样、整群抽样和系统抽样中的任一种抽样算法将数据仓库数据和/或外部数据抽取到数据沙盒；还包括可视化界面，为用户提供可视化数据导入、操作和分析功能。
CN201610232811.3A 2016-04-15 2016-04-15 一种基于mongoDB的数据沙盒实现方法及系统 Pending CN105868389A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610232811.3A CN105868389A (zh) 2016-04-15 2016-04-15 一种基于mongoDB的数据沙盒实现方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610232811.3A CN105868389A (zh) 2016-04-15 2016-04-15 一种基于mongoDB的数据沙盒实现方法及系统

Publications (1)

Publication Number Publication Date
CN105868389A true CN105868389A (zh) 2016-08-17

Family

ID=56638378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610232811.3A Pending CN105868389A (zh) 2016-04-15 2016-04-15 一种基于mongoDB的数据沙盒实现方法及系统

Country Status (1)

Country Link
CN (1) CN105868389A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408264A (zh) * 2016-09-29 2017-02-15 上海宝尊电子商务有限公司 基于管道的与生产环境可业务交互的线上沙箱环境方法
CN108829352A (zh) * 2018-06-06 2018-11-16 郑州云海信息技术有限公司 一种分布式存储系统的用户配额方法及系统
CN109246248A (zh) * 2018-11-02 2019-01-18 清华大学 基于区块链技术的数据可信安全共享系统和方法
CN109670340A (zh) * 2018-12-29 2019-04-23 湖南网数科技有限公司 一种医疗数据的安全可信交换共享方法和系统
CN109726592A (zh) * 2018-12-31 2019-05-07 联动优势科技有限公司 一种数据沙盒的处理方法及装置
CN109726593A (zh) * 2018-12-31 2019-05-07 联动优势科技有限公司 一种数据沙盒的实现方法及装置
CN110399209A (zh) * 2019-07-26 2019-11-01 中国工商银行股份有限公司 数据处理方法、系统、电子设备和存储介质
CN110826053A (zh) * 2019-10-11 2020-02-21 北京市天元网络技术股份有限公司 基于容器的数据沙箱运算结果安全输出方法以及装置
CN111046430A (zh) * 2019-12-12 2020-04-21 南京医渡云医学技术有限公司 数据处理方法及装置、存储介质及电子设备
WO2022166278A1 (zh) * 2021-02-03 2022-08-11 华为技术有限公司 数据处理方法、装置和存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
（美）雷佐 等: "《SharePoint2010开发高级教程》", 31 December 2012, 清华大学出版社 *
谢燕江: "一种基于轻量级虚拟化的沙盒机制", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
赖英旭 等: "基于虚拟机的安全技术研究", 《中国科学技术大学学报》 *
赵旭 等: "沙箱技术研究综述", 《中原工学院学报》 *
鲍爱华 等: "一种基于虚拟隔离机制的安全私有云存储系统", 《计算机科学》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408264A (zh) * 2016-09-29 2017-02-15 上海宝尊电子商务有限公司 基于管道的与生产环境可业务交互的线上沙箱环境方法
CN108829352A (zh) * 2018-06-06 2018-11-16 郑州云海信息技术有限公司 一种分布式存储系统的用户配额方法及系统
CN108829352B (zh) * 2018-06-06 2021-03-30 郑州云海信息技术有限公司 一种分布式存储系统的用户配额方法及系统
CN109246248A (zh) * 2018-11-02 2019-01-18 清华大学 基于区块链技术的数据可信安全共享系统和方法
CN109670340A (zh) * 2018-12-29 2019-04-23 湖南网数科技有限公司 一种医疗数据的安全可信交换共享方法和系统
CN109726592B (zh) * 2018-12-31 2021-02-23 联动优势科技有限公司 一种数据沙盒的处理方法及装置
CN109726593A (zh) * 2018-12-31 2019-05-07 联动优势科技有限公司 一种数据沙盒的实现方法及装置
CN109726592A (zh) * 2018-12-31 2019-05-07 联动优势科技有限公司 一种数据沙盒的处理方法及装置
CN110399209A (zh) * 2019-07-26 2019-11-01 中国工商银行股份有限公司 数据处理方法、系统、电子设备和存储介质
CN110399209B (zh) * 2019-07-26 2022-02-25 中国工商银行股份有限公司 数据处理方法、系统、电子设备和存储介质
CN110826053A (zh) * 2019-10-11 2020-02-21 北京市天元网络技术股份有限公司 基于容器的数据沙箱运算结果安全输出方法以及装置
CN111046430A (zh) * 2019-12-12 2020-04-21 南京医渡云医学技术有限公司 数据处理方法及装置、存储介质及电子设备
WO2022166278A1 (zh) * 2021-02-03 2022-08-11 华为技术有限公司 数据处理方法、装置和存储介质

Similar Documents

Publication Publication Date Title
CN105868389A (zh) 一种基于mongoDB的数据沙盒实现方法及系统
US11836578B2 (en) Utilizing machine learning models to process resource usage data and to determine anomalous usage of resources
US20230388188A1 (en) Enforcing policies in cloud domains with different application nomenclatures
Ageyev et al. Classification of existing virtualization methods used in telecommunication networks
CN104899126A (zh) 对宿主机中容器进行本地实时监控的方法、装置及系统
CN103902885A (zh) 面向多安全等级虚拟桌面系统虚拟机安全隔离系统及方法
US10706368B2 (en) Systems and methods for efficiently classifying data objects
US20190114210A1 (en) Distribution of tasks for execution using correlated data in microservices environments
CN112667362B (zh) Kubernetes上部署Kubernetes虚拟机集群的方法与系统
CN106210046A (zh) 一种基于Cinder的卷跨集群挂载方法及系统
US10269078B2 (en) Network analysis of transaction data for target identification
CN106020932A (zh) 一种用于kvm虚拟机系统的安全防护方法及系统
CN103458020A (zh) 一种基于xcp的云平台的监控方法及系统
CN108551764A (zh) 用于备份大型分布式横向扩展数据系统的系统和方法
dos Anjos et al. Smart: An application framework for real time big data analysis on heterogeneous cloud environments
CN109960579B (zh) 一种调整业务容器的方法及装置
CN113014608B (zh) 一种流量分发控制方法、装置、电子设备及存储介质
CN106648828A (zh) 一种面向领域的虚拟机快速部署方法
CN106656552A (zh) 一种数据平台系统的扩展方法、系统及电子设备
US10057274B1 (en) Systems and methods for profiling client systems
US20210136097A1 (en) Systems and methods for utilizing machine learning models to detect cloud-based network access anomalies
CN107273049B (zh) 一种应用在统一存储管理系统上的卷管理方法
CN109002345A (zh) 一种虚拟计算环境下的信息系统部署方法
CN104615485A (zh) 一种虚拟机域间通信模式的动态透明切换方法
CN106327405A (zh) 一种基于云平台的智慧城市管理系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160817

RJ01 Rejection of invention patent application after publication