CN115473930B - 一种跨运行环境的文件预置方法 - Google Patents
一种跨运行环境的文件预置方法 Download PDFInfo
- Publication number
- CN115473930B CN115473930B CN202211110123.1A CN202211110123A CN115473930B CN 115473930 B CN115473930 B CN 115473930B CN 202211110123 A CN202211110123 A CN 202211110123A CN 115473930 B CN115473930 B CN 115473930B
- Authority
- CN
- China
- Prior art keywords
- file
- preset
- presetting
- storage server
- constructing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000013500 data storage Methods 0.000 claims abstract description 12
- 238000012360 testing method Methods 0.000 claims abstract description 4
- 230000007246 mechanism Effects 0.000 claims description 11
- 230000003993 interaction Effects 0.000 claims description 3
- 238000011161 development Methods 0.000 abstract description 6
- 239000008186 active pharmaceutical agent Substances 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013467 fragmentation Methods 0.000 description 2
- 238000006062 fragmentation reaction Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000008531 maintenance mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/30—Profiles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种跨运行环境的文件预置方法，包括：步骤一、搭建基数据存储服务平台；设置用户和对应的访问权限，对外提供SFTP服务；步骤二、搭建不同环境的文件存储数据库；按照搭建、虚拟机复制、购买开通云对象存储服务器的顺序进行；步骤三、准备文件集合和文件预置配置文件，并上传到基数据存储服务平台，文件预置配置文件设置了每个文件对应的唯一性ObjectId；步骤四、编写并运行将文件预置配置文件自动化存储到对象存储服务器；步骤五、在不同环境编译、测试、部署、运行相应的预置服务程序，完成文件的预置，以供后续程序服务使用。本发明预置一次，可做到多种环境自动化复制、共享和协作使用，各环境适配，节省开发时间和运营成本、提高运行效率。
Description
技术领域
本发明涉及移动通讯技术领域，具体涉及一种跨运行环境的文件预置方法。
背景技术
现代信息化管理系统，都需要在后台系统中预置各类文件，供系统使用者查阅、编辑和相互直接进行交互协作。而随着软件服务SAAS化，分布式、容器化部署，开发方式由单体瀑布式转为微服务化、敏捷快速、多方协作化的方式，传统的点对点或者群组分享文件的模式也越来越不能适应数字化、智能化的世界。
1、随着数字化时代的发展，文件共享和协作交流一直在进化，但一直存在难以解决痛点，如：
2、最早基于磁带、软盘、光盘、U盘等传统媒介的文件共享和预置方式存在硬件结构、操作系统环境差异、多副本导致数据不一致、易丢失等缺陷；
3、基于局域网共享文件、FTP等方式的文件共享预置方式存在权限设置复杂、安全策略脆弱、不同环境需要重复预置等问题；
4、基于NAS、网(云)盘的文件共享预置方式也存在企业敏感、隐私数据易泄露、不同环境需要重复预置、不能自动化的难点；
5、基于WEB系统，将文件预置于服务器特定文件夹、或者存储于数据库的方式，会受制于文件大小的限制、数据库直接兼容性差、不同开发和运行环境多次拷贝复制或运行的难点。
随着分布式、智能化、大数据时代的到来，加之各类数据类型，如：高清视频、图片、各类设计模型，容量大小的急剧膨胀，急需要一种更先进的文件共享预置方案的实现，以满足不断进化的信息社会。
发明内容
有鉴于此，本发明提供一种跨运行环境的文件预置方法，本发明的文件预置方法预置一次，就可做到多种环境自动化复制、共享和协作使用，各环境适配，节省开发时间和运营成本、提高运行效率。
为达到上述技术效果，本发明提供一种跨运行环境的文件预置方法，采用如下技术方案：
一种跨运行环境的文件预置方法，包括如下步骤：
步骤一、搭建基数据存储服务平台；设置用户和对应的访问权限，对外提供SFTP服务；
步骤二、搭建不同环境的文件存储数据库；按照搭建、虚拟机复制、购买开通云对象存储服务器的顺序进行，用于供各种运行环境存储、查询使用；
步骤三、准备文件集合和文件预置配置文件，并上传到基数据存储服务平台，文件预置配置文件设置了每个文件对应的唯一性ObjectId；
步骤四、编写并运行将文件预置配置文件自动化存储到对象存储服务器；
步骤五、在不同环境编译、测试、部署、运行相应的预置服务程序，完成文件的预置，以供后续的程序服务使用。
进一步的，步骤一中，所述基数据存储服务平台包括NAS存储服务器、公共网盘、OSS存储服务器或第三方API接口中的任意一种。
进一步的，步骤二中，手动在相应宿主机上搭建或使用云数据库。
进一步的，步骤四中，所述对象存储服务器可以为手动安装、云购买运行Minio或MongoDb的文档存储服务器。
进一步的，文件预置程序提供了版本化的机制，预置成功后，下次服务启动后不会再次运行之前的预置条目，之后预置新配置的文档集合，每次预置完成之后，会在对象存储服务器的Collection集合中存储本次预置操作完成情况。
进一步的，本次预置操作完成情况包括ID、时间戳、操作类、执行主机、操作时长和成功与否。
进一步的，还包括详细日志集合，详细日志集合会存储本次操作条目的文件ObjectId、操作类型、操作时间，当需要特定的预置操作回滚、部分撤销时提供支持。
进一步的，通过消息中间件、短信平台交互、推送预置操作结果消息到PC通知中心、手机App推送或短信通知，满足相关人员的审核、撤回查询、操作和提醒要求。
本发明的上述技术方案至少包括以下有益效果：
1、设置一次、各环境自动化预置和适配、提升了运行效率；在NAS服务器上传文件和相关的操作配置后，通过步骤三和步骤四的实现机制，不同环境下的后续操作都是通过同一个程序完成实现，具体环境的差异设置是通过配置中心设定，所以后续预置操作的读文件，对文件的各种操作都是通过程序自动化完成；
2、支持大容量数据、分布式分片、分块存储和下载，主流的对象存储服务器本身提供了分布式、分块存储和读写操作，文件预置操作通过微服务、容器或者MapReduce大数据的处理方法就可以实现分布式、分批操作的读写操作；
3、有文档预置操作的版本信息、避免不同环境手动操作带来的数据不一致和业务环境的操作故障；
4、支持预置过程的事务操作，中途故障后可回滚(通过操作日志)，预置完成后，也可以根据需要撤销相应时间的操作(通过步骤四的程序实现机制和优点)。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
一种跨运行环境的文件预置方法，包括如下步骤：
步骤一、搭建基数据存储服务平台；设置用户和对应的访问权限(身份鉴定可通过用户名密码或私钥方式认证，对不同用途的文件夹，可设置分组权限，便于安全管理)，对外提供SFTP服务；基数据存储服务平台包括NAS存储服务器、公共网盘、OSS存储服务器或第三方API接口中的任意一种，本实施例中使用NAS存储服务器。
步骤二、搭建不同环境的文件存储数据库；按照搭建、虚拟机复制、购买开通云对象存储服务器的顺序进行(手动在相应宿主机上搭建或使用云数据库)，用于供各种运行环境存储、查询使用；类似MongoDB的文档数据库是新型的NoSQL范式的文档数据库，支持各种不同文件类型、不同容量大小的存储服务，具有高性能、高可用性、提供了集群、分片存储，丰富的查询支持等特点，可满足大数据、AI等数据、计算密集、查询低延迟的现代业务场景使用。
步骤三、准备文件集合和文件预置配置文件，并上传到基数据存储服务平台，文件预置配置文件设置了每个文件对应的唯一性ObjectId，因此能保证不同环境下文件的统一性和确定性，做到不同环境下访问的可达性。
步骤四、编写并运行将文件预置配置文件自动化存储到对象存储服务器，包括自运行程序、web服务和脚本等；文件预置程序提供了版本化的机制，预置成功后，下次服务启动后不会再次运行之前的预置条目，之后预置新配置的文档集合，每次预置完成之后，会在对象存储服务器的Collection集合中存储本次预置操作完成情况，本次预置操作完成情况包括ID、时间戳、操作类、执行主机、操作时长和成功与否；还包括详细日志集合，详细日志集合会存储本次操作条目的文件ObjectId、操作类型、操作时间等，类似于普通关系数据库的WAL(Write Ahead Log)日志，当需要特定的预置操作回滚、部分撤销时提供支持；而且由于预置操作是以程序这边灵活的机制实现，在预置文件到文档数据之后，还可以通过消息中间件、短信平台交互、推送预置操作结果消息到PC通知中心、手机App推送或短信通知，满足相关人员的审核、撤回查询、操作和提醒要求。
步骤五、在不同环境编译、测试、部署、运行相应的预置服务程序，完成文件的预置，以供后续的程序服务使用。
该跨运行环境的文件预置方法包括如下部分：
基数据存储服务平台：供首次文档数据的初始预置入，文件ObjectId，操作类型设定的配置；此平台可以是单位实体内部的NAS存储服务器、公共网盘、OSS存储服务器，甚至是第三方的API接口调用，本实施例采用NAS存储服务器。
对象存储服务器：通过手动按照搭建、虚拟机复制、购买开通云对象存储服务器，用于供各种运行环境存储、查询各类文档使用，就是把基数据透明、自动化地存储到该数据库，供业务功能操作使用。
文件预置核心服务平台：基于程序机制自动化、版本化的文档预置平台，相比于Flyway、Liquibase等数据库脚本化的数据维护机制、程序化机制，有更好的灵活性、可灵活设定和对接不同环境的数据来源，甚至可从外部、第三方API获取数据或文件进行预置，而且具有分布式适应、自动化集成等优势。
本发明基于代码机制、版本化的文件预置方法解决了无法通过脚本预置大文件、自动化、分布式存储数据到不同运行环境的难点，真正做到了一次设定，各环境适配的目的，为企业节省了开发时间和运营成本、提高了运行效率，具体有益效果如下：
1、设置一次、各环境自动化预置和适配、提升了运行效率；在NAS服务器上传文件和相关的操作配置后，通过步骤三和步骤四的实现机制，不同环境下的后续操作都是通过同一个程序完成实现，具体环境的差异设置是通过配置中心设定，所以后续预置操作的读文件，对文件的各种操作都是通过程序自动化完成；
2、支持大容量数据、分布式分片、分块存储和下载，主流的对象存储服务器本身提供了分布式、分块存储和读写操作，文件预置操作通过微服务、容器或者MapReduce大数据的处理方法就可以实现分布式、分批操作的读写操作；
3、有文档预置操作的版本信息、避免不同环境手动操作带来的数据不一致和业务环境的操作故障；
4、支持预置过程的事务操作，中途故障后可回滚(通过操作日志)，预置完成后，也可以根据需要撤销相应时间的操作(通过步骤四的程序实现机制和优点)。
以上是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (3)
1.一种跨运行环境的文件预置方法，其特征在于，包括如下步骤：
步骤一、搭建基数据存储服务平台；设置用户和对应的访问权限，对外提供SFTP服务；
步骤二、搭建不同环境的文件存储数据库；按照搭建、虚拟机复制、购买开通云对象存储服务器的顺序进行，用于供各种运行环境存储、查询使用；
步骤三、准备文件集合和文件预置配置文件，并上传到基数据存储服务平台，文件预置配置文件设置了每个文件对应的唯一性ObjectId；
步骤四、编写并运行将文件预置配置文件自动化存储到对象存储服务器的文件预置程序；
步骤五、在不同环境编译、测试、部署、运行相应的文件预置程序，完成文件的预置，以供后续的程序服务使用；
步骤一中，所述基数据存储服务平台包括NAS存储服务器、公共网盘、OSS存储服务器或第三方API接口中的任意一种；
步骤二中，手动在相应宿主机上搭建或使用云数据库；
步骤四中，所述对象存储服务器可为手动安装、云购买运行Minio或MongoDb的文档存储服务器；
文件预置程序提供了版本化的机制，预置成功后，下次服务启动后不会再次运行之前的预置条目，之后预置新配置的文档集合，每次预置完成之后，会在对象存储服务器的Collection集合中存储本次预置操作完成情况；
本次预置操作完成情况包括ID、时间戳、操作类、执行主机、操作时长和成功与否。
2.根据权利要求1所述的跨运行环境的文件预置方法，其特征在于，还包括详细日志集合，详细日志集合会存储本次操作条目的文件ObjectId、操作类型、操作时间，当需要特定的预置操作回滚、部分撤销时提供支持。
3.根据权利要求2所述的跨运行环境的文件预置方法，其特征在于，通过消息中间件、短信平台交互、推送预置操作结果消息到PC通知中心、手机App推送或短信通知，满足相关人员的审核、撤回查询、操作和提醒要求。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211110123.1A CN115473930B (zh) | 2022-09-13 | 2022-09-13 | 一种跨运行环境的文件预置方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211110123.1A CN115473930B (zh) | 2022-09-13 | 2022-09-13 | 一种跨运行环境的文件预置方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115473930A CN115473930A (zh) | 2022-12-13 |
| CN115473930B true CN115473930B (zh) | 2024-02-20 |
Family
ID=84332758
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211110123.1A Active CN115473930B (zh) | 2022-09-13 | 2022-09-13 | 一种跨运行环境的文件预置方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115473930B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107179907A (zh) * | 2017-05-15 | 2017-09-19 | 北京奇艺世纪科技有限公司 | 一种配置系统及方法 |
| CN109284839A (zh) * | 2018-10-25 | 2019-01-29 | 金税信息技术服务股份有限公司 | 云环境下移动运维管理平台安全运营及大数据应用系统 |
| CN109871241A (zh) * | 2019-01-02 | 2019-06-11 | 石化盈科信息技术有限责任公司 | 一种跨环境应用服务器的配置方法 |
| CN110389900A (zh) * | 2019-07-10 | 2019-10-29 | 深圳市腾讯计算机系统有限公司 | 一种分布式数据库集群测试方法、装置及存储介质 |
| CN113687858A (zh) * | 2021-08-05 | 2021-11-23 | 深圳集智数字科技有限公司 | 配置文件的检查方法、装置、电子设备及存储介质 |
-
2022
- 2022-09-13 CN CN202211110123.1A patent/CN115473930B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107179907A (zh) * | 2017-05-15 | 2017-09-19 | 北京奇艺世纪科技有限公司 | 一种配置系统及方法 |
| CN109284839A (zh) * | 2018-10-25 | 2019-01-29 | 金税信息技术服务股份有限公司 | 云环境下移动运维管理平台安全运营及大数据应用系统 |
| CN109871241A (zh) * | 2019-01-02 | 2019-06-11 | 石化盈科信息技术有限责任公司 | 一种跨环境应用服务器的配置方法 |
| CN110389900A (zh) * | 2019-07-10 | 2019-10-29 | 深圳市腾讯计算机系统有限公司 | 一种分布式数据库集群测试方法、装置及存储介质 |
| CN113687858A (zh) * | 2021-08-05 | 2021-11-23 | 深圳集智数字科技有限公司 | 配置文件的检查方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115473930A (zh) | 2022-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11907254B2 (en) | Provisioning and managing replicated data instances | |
| CN109542611B (zh) | 数据库即服务系统、数据库调度方法、设备及存储介质 | |
| US6539381B1 (en) | System and method for synchronizing database information | |
| EP3564835B1 (en) | Data redistribution method and apparatus, and database cluster | |
| CN110781525B (zh) | 一种基于区块链的档案信息安全管理系统和方法 | |
| CA2790734C (en) | Data synchronization between a data center environment and a cloud computing environment | |
| CN105512266A (zh) | 一种实现分布式数据库操作一致性的方法及装置 | |
| US10924587B1 (en) | Live migration for highly available data stores | |
| US11294866B2 (en) | Lazy optimistic concurrency control | |
| CN102077183A (zh) | 可移动存储设备上的外部文件系统元数据的维护 | |
| CN108234587B (zh) | 一种基于OpenStack多region镜像资源共享的方法 | |
| US20230145634A1 (en) | Techniques for data retrieval using cryptographic signatures | |
| WO2024159960A1 (zh) | 容器资源视图隔离的方法、装置以及电子设备 | |
| CN115473930B (zh) | 一种跨运行环境的文件预置方法 | |
| TWI571754B (zh) | 用來進行檔案同步控制之方法與裝置 | |
| CN111722957A (zh) | 一种块数据复制到os的定时备份方法 | |
| CN112199329B (zh) | 基于堡垒机的双机运维数据归档清理方法与设备 | |
| CN114745215A (zh) | 一种实现终端例外接入的方法、装置及设备 | |
| CN113312149A (zh) | 一种密码重置方法 | |
| US11455358B2 (en) | Data spaces for multi-tenant computing | |
| US20240356762A1 (en) | Database tenant-level move | |
| US20240281344A1 (en) | Tenant-level database recovery | |
| US20240232022A1 (en) | Backing up database files in a distributed system | |
| US11899651B2 (en) | Automatic reclamation of storage space for database systems | |
| CN109347811B (zh) | 异构通行证管理方法、设备及统一通行证系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |