CN112579525A - 一种基于web的统一文件处理方法及系统 - Google Patents

一种基于web的统一文件处理方法及系统 Download PDF

Info

Publication number
CN112579525A
CN112579525A CN201910941143.5A CN201910941143A CN112579525A CN 112579525 A CN112579525 A CN 112579525A CN 201910941143 A CN201910941143 A CN 201910941143A CN 112579525 A CN112579525 A CN 112579525A
Authority
CN
China
Prior art keywords
file
access
project
server
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910941143.5A
Other languages
English (en)
Inventor
王昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Changhong Network Technology Co ltd
Original Assignee
Chengdu Changhong Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Changhong Network Technology Co ltd filed Critical Chengdu Changhong Network Technology Co ltd
Priority to CN201910941143.5A priority Critical patent/CN112579525A/zh
Publication of CN112579525A publication Critical patent/CN112579525A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G06F16/152—File search processing using file content signatures, e.g. hash values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开一种基于WEB的统一文件处理系统，其包括：业务系统：发出访问文件系统请求路径URL1；文件上传管理子系统：对验证请求对应的项目字符projectKey，得到验证结果；当验证结果通过时，根据请求路径URL1得到并返回文件访问的真实访问地址URL2，地址URL2则为可访问文件服务器地址；根据可访问文件服务器地址得到对应的文件。各个业务系统的文件的管理，大大的提高了服务器资源的使用效率，降低了企业的成本，独立的统一文件处理系统可以让专人进行维护和升级，避免了各个业务系统都需要维护的尴尬局面，不仅提供了系统的可靠性，也提高了人员的使用率。

Description

一种基于WEB的统一文件处理方法及系统
技术领域
本发明涉及互联网领域技术领域，具体涉及一种基于WEB的统一文件处理方法及系统。
背景技术
目前所有WEB业务系统都有独立的文件上传、下载、储存等功能，然而每个业务系统为了保证用户对文件访问的友好性和文件的安全性，系统在设计和实施的过程中往往会对每个WEB业务系统提供高带宽的访问策略和高可用的存储方案，但是每个WEB业务系统对带宽和存储资源使用效率参差不齐，所以这种方案对带宽、存储资源造成了严重浪费。
发明内容
针对现有技术中所存在的不足，本发明提供了一种基于WEB的统一文件处理方法及系统，解决了服务器资源的使用效率低的问题。为实现上述目的，本发明采用了如下的技术方案：一种基于WEB的统一文件处理方法，包括以下步骤：
发出访问文件系统请求路径URL1；
对验证请求对应的项目字符projectKey，得到验证结果；
当验证结果通过时，根据URL1得到并返回数据库中的文件访问的真实访问地址URL2，真实访问地址URL2则为可访问文件服务器地址；
根据可访问文件服务器地址得到对应的文件。
进一步的，在发出访问文件系统请求路径URL1前的初始化包括以下步骤：
根据创建项目请求，在数据库中生成项目中所有文件对应的访问项目字符projectKey，所述项目字符projectKey用于验证是否有相应的访问权限；
将文件数据和项目字符projectKey进行上传，验证结果通过时，将文件数据存储到分布式文件存储系统，形成真实访问地址URL2，同时返回分布式文件存储系统中的访问文件系统请求路径URL1。
进一步的，请求路径URL1包括随机生成的文件名和项目字符projectKey对应的加密字符enProjectKey。
进一步的，将文件数据存储到分布式文件存储系统通过HTTPPOST的形式提交文件数据和项目字符projectKey。
进一步的，文件数据存储到分布式文件存储系统时，会分别存储到各个分布式文件存储服务器，各个分布式文件服务器具有相同的Linux存储目录。
进一步的，在形成访问路径后，访问路径定时访问各个分布式文件存储服务器的粗存文件，如发现访问路径对应的服务器储存文件不可访问，则标记该服务器上的文件不可访问。
方法对应的系统为基于WEB的统一文件处理系统，包括：
业务系统：发出访问文件系统请求路径URL1；
文件上传管理子系统：对验证请求对应的项目字符projectKey，得到验证结果；当验证结果通过时，根据请求路径URL1得到并返回文件访问的真实访问地址URL2，地址URL2则为可访问文件服务器地址；根据可访问文件服务器地址得到对应的文件。
进一步的，在发出访问文件系统请求路径URL1前，业务管理子系统根据创建项目请求，在数据库中生成项目中所有文件对应的访问项目字符projectKey，所述项目字符projectKey用于验证是否有相应的访问权限；还包括文件上传管理子系统，将文件数据和项目字符projectKey进行上传，验证结果通过时，将文件数据存储到分布式文件存储系统，形成真实访问地址URL2，同时返回分布式文件存储系统中的访问文件系统请求路径URL1。
进一步的，访问路径包括随机生成的文件名和项目字符projectKey对应的加密字符enProjectKey；文件数据存储到分布式文件存储系统通过HTTP POST的形式提交文件数据和项目字符projectKey；文件上传管理子系统将文件数据存储到分布式文件存储系统时，会分别存储到各个分布式文件存储服务器，各个分布式文件服务器具有相同的Linux存储目录。
进一步的，还包括文件访问路由管理子系统，文件访问路由管理子系统在形成访问路径后，访问路径定时访问各个分布式文件存储服务器的粗存文件，如发现访问路径对应的服务器储存文件不可访问，则标记该服务器上的文件不可访问。
相比于现有技术，本发明具有如下有益效果：
本发明统一了各个业务系统的文件的管理，大大的提高了服务器资源的使用效率，降低了企业的成本，独立的统一文件处理系统可以让专人进行维护和升级，避免了各个业务系统都需要维护的尴尬局面，不仅提供了系统的可靠性，也提高了人员的使用率。
附图说明
图1为本申请的系统图。
具体实施方式
现结合附图对方案做进一步的说明。
实施列1
一种基于WEB的统一文件处理方法，包括以下步骤：发出访问文件系统请求路径URL1；
对验证请求对应的项目字符projectKey，得到验证结果；当验证结果通过时，根据URL1得到并返回数据库中的文件访问的真实访问地址URL2，真实访问地址URL2则为可访问文件服务器地址；根据可访问文件服务器地址得到对应的文件。
在发出访问文件系统请求路径URL1前的初始化包括以下步骤：
根据创建项目请求，在数据库中生成项目中所有文件对应的访问项目字符projectKey，所述项目字符projectKey用于验证是否有相应的访问权限；
将文件数据和项目字符projectKey进行上传，验证结果通过时，将文件数据存储到分布式文件存储系统，形成真实访问地址URL2，同时返回分布式文件存储系统中的访问文件系统请求路径URL1。请求路径URL1可以是:http://domain:port/enProjectKey/randomFileName，其中randomFileName是文件存储子系统是随机生成的文件名,enProjectKey则是通过加密技术生成的加密projectKey，原文为projectKey，秘钥为randomFileName前8位字符。
请求路径URL1包括随机生成的文件名和项目字符projectKey对应的加密字符enProjectKey。
将文件数据存储到分布式文件存储系统通过HTTPPOST的形式提交文件数据和项目字符projectKey。
文件数据存储到分布式文件存储系统时，会分别存储到各个分布式文件存储服务器，各个分布式文件服务器具有相同的Linux存储目录。在形成访问路径后，访问路径定时访问各个分布式文件存储服务器的粗存文件，如发现访问路径对应的服务器储存文件不可访问，则标记该服务器上的文件不可访问。
实施例2
在实施例1的基础上，方法对应的系统为基于WEB的统一文件处理系统，包括业务系统和统一文件处理系统；统一文件处理系统包括业务管理子系统、文件上传管理子系统、分布式文件存储子系统和文件访问路由管理子系统；进一步的，业务系统：发出访问文件系统请求路径URL1；
文件上传管理子系统：对验证请求对应的项目字符projectKey，得到验证结果；当验证结果通过时，根据请求路径URL1得到并返回文件访问的真实访问地址URL2，地址URL2则为可访问文件服务器地址；根据可访问文件服务器地址得到对应的文件。
在发出访问文件系统请求路径URL1前，业务管理子系统根据创建项目请求，在数据库中生成项目中所有文件对应的访问项目字符projectKey，所述项目字符projectKey用于验证是否有相应的访问权限；业务系统：通过HTTP POST的方式提交文件数据和projectKey到文件上传子系统；还包括文件上传管理子系统，接收到业务系统HTTP POST方式提交的文件数据和projectKey后，验证请求的项目的字符projectKey,得到验证结果，当验证通过后，把文件储存分布式文件系统，然后返回文件访问路径URL1，同时返回分布式文件存储系统中的访问文件系统请求路径URL1。
访问路径包括随机生成的文件名和项目字符projectKey对应的加密字符enProjectKey；业务系统通过HTTP POST请求方式将文件数据和项目字符projectKey同时提交到统一文件系统；文件数据存储到分布式文件存储系统时，会分别存储到各个分布式文件存储服务器，各个分布式文件服务器具有相同的Linux存储目录，如/data/dfs目录，与此同时文件上传管理子系统在数据库中记录该文件数据存放到各个文件服务器的路径，如/data/dfs/RandomFileName.txt
系统还包括文件访问路由管理子系统：当文件数据存储到各个分布式文件存储服务器后，为了保证文件访问的有效性，统一文件系统会根据数据库中存储的记录定时去遍历每一台文件服务器文件，通过判断文件是否存在和文件大小去发现对应的服务器存储文件是否可访问，如果不能访问或者文件出错，则把数据库中的该记录标记为不可访问。。
具体过程为：当业务系统通过http://domain:port/enProjectKey/randomFileName访问真实文件数据，首先文件访问路由管理子系统会通过randomFileName对enProjectKey进行解密得到真实的projectKey，验证projectKey的有效性后，返回文件访问的真实路径，如http://ip:port/realFileName,文件访问路由管理子系统作用之一是把文件访问负负载均衡到每一个文件存储的服务器，让资源得到高效的使用，另一个作用是定时的通过http://domain:port/enProjectKey/randomFileName去检验分布式文件存储子系统文件的有效性，及时更正不能访问的文件和剔除不能访问的服务器地址。
实施例3
如图1为系统的具体实施流程为：
步骤一：业务系统通过统一文件处理系统填写业务申请表，具体填写项目等相关信息，统一文件系统管理员核实项目信息批准项目访问统一文件系统请求，生成项目访问projectKey。
步骤二：业务系统需要在统一文件处理系统上传文件，业务系统通过HTTPPOST的形式提交文件数据和projectKey。
步骤三：统一文件处理系统获取projectKey并在数据库中查找是否有该projectKey的存在，如果不存在返回没有权限访问系统，如果存在，则获取文件数据，保存到本地磁盘，文件名由系统随机生成，并把文件相关信息存储到数据库中，然后返回给业务系统文件的访问路径URL1。
步骤四：当文件保存到本地磁盘后，统一文件系统向分布式文件系统发情存储请求，然后该文件会分别存储到各个分布式文件存储服务器，需要说明的是各个分布式文件服务器具有相同的存储目录。
步骤五：统一文件系统定时的检查每个存储文件在每一个存储服务器的状态，当发现文件不可访问，则发送报警信息给系统管理员进行排查，如发现服务器不可访问，则标记该服务器上的文件不可访问。
步骤六：业务系统向统一文件处理系统进行文件下载，业务系统访问URL1，统一文件系统对URL1进行处理，形成文件真实访问地址URL2，URL2则为可访问文件服务器地址。
步骤七：业务系统获取从统一文件处理系统返回的URL2，得到文件进行使用。
此系统对文件的存储和访问进行统一的管理，不仅提高了资源使用的效率，同时也让文件高可用访问成为现实。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于WEB的统一文件处理方法，其特征在于，包括以下步骤：
发出访问文件系统请求路径URL1；
对验证请求对应的项目字符projectKey，得到验证结果；
当验证结果通过时，根据URL1得到并返回数据库中的文件访问的真实访问地址URL2，真实访问地址URL2则为可访问文件服务器地址；
根据可访问文件服务器地址得到对应的文件。
2.如权利要求1所述的一种基于WEB的统一文件处理方法，其特征在于，在发出访问文件系统请求路径URL1前的初始化包括以下步骤：
根据创建项目请求，在数据库中生成项目中所有文件对应的访问项目字符projectKey，所述项目字符projectKey用于验证是否有相应的访问权限；
将文件数据和项目字符projectKey进行上传，验证结果通过时，将文件数据存储到分布式文件存储系统，形成真实访问地址URL2，同时返回分布式文件存储系统中的访问文件系统请求路径URL1。
3.如权利要求2所述的一种基于WEB的统一文件处理方法，其特征在于，请求路径URL1包括随机生成的文件名和项目字符projectKey对应的加密字符enProjectKey。
4.如权利要求2所述的一种基于WEB的统一文件处理方法，其特征在于，将文件数据存储到分布式文件存储系统通过HTTPPOST的形式提交文件数据和项目字符projectKey。
5.如权利要求2所述的一种基于WEB的统一文件处理方法，其特征在于，文件数据存储到分布式文件存储系统时，会分别存储到各个分布式文件存储服务器，各个分布式文件服务器具有相同的Linux存储目录。
6.如权利要求5所述的一种基于WEB的统一文件处理方法，其特征在于，在形成访问路径后，访问路径定时访问各个分布式文件存储服务器的粗存文件，如发现访问路径对应的服务器储存文件不可访问，则标记该服务器上的文件不可访问。
7.一种基于WEB的统一文件处理系统，其特征在于，包括：
业务系统：发出访问文件系统请求路径URL1；
文件上传管理子系统：对验证请求对应的项目字符projectKey，得到验证结果；当验证结果通过时，根据请求路径URL1得到并返回文件访问的真实访问地址URL2，地址URL2则为可访问文件服务器地址；根据可访问文件服务器地址得到对应的文件。
8.如权利要求7所述的一种基于WEB的统一文件处理系统，其特征在于，在发出访问文件系统请求路径URL1前，业务管理子系统根据创建项目请求，在数据库中生成项目中所有文件对应的访问项目字符projectKey，所述项目字符projectKey用于验证是否有相应的访问权限；还包括文件上传管理子系统，将文件数据和项目字符projectKey进行上传，验证结果通过时，将文件数据存储到分布式文件存储系统，形成真实访问地址URL2，同时返回分布式文件存储系统中的访问文件系统请求路径URL1。
9.如权利要求8所述的一种基于WEB的统一文件处理系统，其特征在于，访问路径包括随机生成的文件名和项目字符projectKey对应的加密字符enProjectKey；文件数据存储到分布式文件存储系统通过HTTP POST的形式提交文件数据和项目字符projectKey；文件上传管理子系统将文件数据存储到分布式文件存储系统时，会分别存储到各个分布式文件存储服务器，各个分布式文件服务器具有相同的Linux存储目录。
10.如权利要求8所述的一种基于WEB的统一文件处理系统，其特征在于，还包括文件访问路由管理子系统，文件访问路由管理子系统在形成访问路径后，访问路径定时访问各个分布式文件存储服务器的粗存文件，如发现访问路径对应的服务器储存文件不可访问，则标记该服务器上的文件不可访问。
CN201910941143.5A 2019-09-30 2019-09-30 一种基于web的统一文件处理方法及系统 Pending CN112579525A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910941143.5A CN112579525A (zh) 2019-09-30 2019-09-30 一种基于web的统一文件处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910941143.5A CN112579525A (zh) 2019-09-30 2019-09-30 一种基于web的统一文件处理方法及系统

Publications (1)

Publication Number Publication Date
CN112579525A true CN112579525A (zh) 2021-03-30

Family

ID=75116258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910941143.5A Pending CN112579525A (zh) 2019-09-30 2019-09-30 一种基于web的统一文件处理方法及系统

Country Status (1)

Country Link
CN (1) CN112579525A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114979272A (zh) * 2022-06-17 2022-08-30 贵州东彩供应链科技有限公司 一种基于生态牧业平台文件存储系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104202384A (zh) * 2014-08-27 2014-12-10 四川长虹电器股份有限公司 一种分布式文件系统的文件上传及查找方法
CN105468643A (zh) * 2014-09-09 2016-04-06 博雅网络游戏开发（深圳）有限公司 分布式文件系统的访问方法和系统
CN106685932A (zh) * 2016-12-08 2017-05-17 努比亚技术有限公司 一种基于云服务的文件访问系统和方法
CN108289098A (zh) * 2018-01-12 2018-07-17 百度在线网络技术（北京）有限公司 分布式文件系统的权限管理方法和装置、服务器、介质
CN108833369A (zh) * 2018-05-28 2018-11-16 郑州云海信息技术有限公司 一种访问文件系统的方法、装置及设备
CN109120645A (zh) * 2018-10-25 2019-01-01 北京大米未来科技有限公司 一种文件上传方法、装置、电子设备及介质
CN109376133A (zh) * 2018-09-26 2019-02-22 中国平安人寿保险股份有限公司 文件访问方法及文件访问系统
CN109639819A (zh) * 2018-12-28 2019-04-16 腾讯科技（深圳）有限公司 文件传输方法、客户端、服务器及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104202384A (zh) * 2014-08-27 2014-12-10 四川长虹电器股份有限公司 一种分布式文件系统的文件上传及查找方法
CN105468643A (zh) * 2014-09-09 2016-04-06 博雅网络游戏开发（深圳）有限公司 分布式文件系统的访问方法和系统
CN106685932A (zh) * 2016-12-08 2017-05-17 努比亚技术有限公司 一种基于云服务的文件访问系统和方法
CN108289098A (zh) * 2018-01-12 2018-07-17 百度在线网络技术（北京）有限公司 分布式文件系统的权限管理方法和装置、服务器、介质
CN108833369A (zh) * 2018-05-28 2018-11-16 郑州云海信息技术有限公司 一种访问文件系统的方法、装置及设备
CN109376133A (zh) * 2018-09-26 2019-02-22 中国平安人寿保险股份有限公司 文件访问方法及文件访问系统
CN109120645A (zh) * 2018-10-25 2019-01-01 北京大米未来科技有限公司 一种文件上传方法、装置、电子设备及介质
CN109639819A (zh) * 2018-12-28 2019-04-16 腾讯科技（深圳）有限公司 文件传输方法、客户端、服务器及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114979272A (zh) * 2022-06-17 2022-08-30 贵州东彩供应链科技有限公司 一种基于生态牧业平台文件存储系统

Similar Documents

Publication Publication Date Title
US11757641B2 (en) Decentralized data authentication
US9577830B2 (en) Multi-tenant discovery and claiming of distributed storage nodes over an insecure network
US8887297B2 (en) Creating and validating cryptographically secured documents
CN111213147A (zh) 用于基于区块链的交叉实体认证的系统和方法
CN111316303A (zh) 用于基于区块链的交叉实体认证的系统和方法
US10951396B2 (en) Tamper-proof management of audit logs
Kumar et al. Blockchain-based framework for data storage in peer-to-peer scheme using interplanetary file system
US11886425B2 (en) Blockchain registry scaling
US9258120B1 (en) Distributed public key revocation
CN105577835B (zh) 一种基于云计算的跨平台单点登录系统
US11038835B2 (en) Systems and methods for managing domain name information
US10671709B2 (en) Data isolation in distributed hash chains
CN113468599B (zh) 文件存证方法、装置、系统、设备和存储介质
US11095705B2 (en) Content distributed over secure channels
CN103930881A (zh) 托管存储锁定
US8396969B1 (en) Domain name buckets in a hosted storage system
CN112579525A (zh) 一种基于web的统一文件处理方法及系统
CN115001707B (zh) 基于区块链的设备认证方法和相关设备
Thakur et al. Data integrity techniques in cloud computing: an analysis
Hwang et al. Fulfilling mutual nonrepudiation for cloud storage
CN118054909A (zh) 基于ceph对象存储ssl证书自动化校验管理的方法和系统
CN118394828A (zh) 一种数据即时共享系统
CN116933223A (zh) 一种基于中转站的权限配置方法与设备
CN117112526A (zh) 一种分布式文件系统的实现方法
CN112260841A (zh) 积分系统中基于token技术的可控认证方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210330

RJ01 Rejection of invention patent application after publication