CN114866571A - 一种企业资源库系统 - Google Patents
一种企业资源库系统 Download PDFInfo
- Publication number
- CN114866571A CN114866571A CN202210608973.8A CN202210608973A CN114866571A CN 114866571 A CN114866571 A CN 114866571A CN 202210608973 A CN202210608973 A CN 202210608973A CN 114866571 A CN114866571 A CN 114866571A
- Authority
- CN
- China
- Prior art keywords
- module
- user
- data
- storage
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013507 mapping Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000009411 base construction Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种企业资源库系统，包括服务器模块、网关模块、微服务群模块、分布式缓存模块以及存储模块；服务器模块用于接收用户请求，并将用户请求发送至网关模块，服务器模块包括多个具有关联关系的虚拟服务器，且每一个虚拟服务器均对应一个或者多个虚拟机；网关模块用于接收用户请求，并根据用户请求中的请求路径将用户请求转发到微服务群模块；本发明从用户的使用习惯角度来话设置出分布式缓存模块，将经常被访问的热数据存储在分布式缓存模块中，在时间阈值点内，当热数据被再次请求访问时，无需多次请求知识库模块以及存储模块，大大减少了系统中用户请求的数量，提高了系统的数据吞吐量，大大提高了系统的服务性能。
Description
技术领域
本发明涉及企业管理技术领域，特别是一种企业资源库系统。
背景技术
随着企业信息化的发展，IT行业等技术企业越来越重视内部的知识管理。如何管理企业内部的知识成了一个不容忽视的技术企业的需求。目前有一部分企业将这部分内容转移到了云上，以提供安全方便地访问。但大部分企业比较注重数据的敏感性，基本都选择内部私有构建知识库。传统的企业会选择搭建ftp服务器来保存知识或企业内部文件，虽然说ftp服务器能快速搭建快速使用，在内网使用上的确能带来一定的便利。
现有的企业资源库大多数是建立在虚拟服务器上，而虚拟服务器的建立就消耗了大量运行内存，当多个资源库中多个资源被请求查询时，运行内存会被用作了请求动作，导致了系统的运行内存被占用，使得系统的性能下降以及数据吞吐量下降，致使了现有的企业资源库无法支撑多人同时使用。
发明内容
针对上述缺陷，本发明的目的在于提出一种企业资源库系统。
为达此目的，本发明采用以下技术方案：一种企业资源库系统，包括服务器模块、网关模块、微服务群模块、分布式缓存模块以及存储模块；
所述服务器模块用于接收用户请求，并将用户请求发送至所述网关模块，所述服务器模块包括多个具有关联关系的虚拟服务器，且每一个所述虚拟服务器均对应一个或者多个虚拟机；
所述网关模块用于接收所述用户请求，并根据用户请求中的请求路径将用户请求转发到微服务群模块；
所述存储模块用于存储供用户查阅的知识信息，所述存储模块中的知识信息周期性更新；
所述微服务群模块包括用户模块、认证模块与知识库模块；
所述用户模块用于管理用户的ID以及ID所对应的权限；
所述认证模块用于验证用户请求中的ID信息是否与用户模块中的ID信息相匹配；
所述知识库模块用于根据用户的权限，提供与权限相对应的资源信息；其中所述知识库模块包括检索单元、浏览单元、下载单元、收藏单元以及上传单元；
所述检索单元用于对所述存储模块中的所述知识信息进行检索；
所述浏览单元用于对所述存储模块中的所述知识信息进行浏览；
所述下载单元用于对所述存储模块中的所述知识信息进行下载；
所述收藏单元用于对所述存储模块中的所述知识信息进行收藏；
上传单元用于将其他资料上传至所述存储模块中；
所述分布式缓存模块用于划出一部分缓存来记录将所述知识库模块中被所述用户请求所访问的数据，记录为热数据，并在热数据被访问的一刻添加时间阈值，若在阈值时间点内所述热数据没有被访问，则将所述热数据从所述分布式缓存模块中删除，若在阈值时间点前，所述热数据有被访问，则以当前被访问时间添加时间阈值，对于阈值时间点进行更新。
优选的，所述存储模块包括数据库模块以及对象存储模块；
所述数据库模块用于创建多个存储节点，每一个存储节点内存储有对应的所述知识信息；
对象存储模块用于每一个存储节点内的知识信息分割成K个数据单元，并K个数据单元进行编码生成M个校验单元；
将K个数据单元以及M个校验单元存储在所述存储节点内。
优选的，还包括分布式设置模块，所述分布式设置模块部署于多个台虚拟服务器中，形成分布式集群；所述分布式设置模块用于服务器模块的服务器名、服务器IP和端口映射元数据信息。
优选的，所述网关模块设置有过滤单元，所述过滤单元用于滤包含敏感字符或引起系统安全的一些字符。
优选的，所述日志模块用于记录系统运行时的操作日志以及错误日志。
上述技术方案中的一个技术方案具有如下优点或有益效果：本发明从用户的使用习惯角度来话设置出所述分布式缓存模块，将经常被访问的热数据存储在所述分布式缓存模块中，在时间阈值点内，当热数据被再次请求访问时，无需多次请求知识库模块以及存储模块，大大减少了系统中用户请求的数量，提高了系统的数据吞吐量，大大提高了系统的服务性能。
附图说明
图1是本发明的一个实施例的结构示意图。
图2是本发明的一个实施例中知识库模块的结构示意图。
图3是本发明的一个实施例中存储模块的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
如图1～3所示，一种企业资源库系统，包括服务器模块、网关模块、微服务群模块、分布式缓存模块以及存储模块；
所述服务器模块用于接收用户请求，并将用户请求发送至所述网关模块，所述服务器模块包括多个具有关联关系的虚拟服务器，且每一个所述虚拟服务器均对应一个或者多个虚拟机；
所述网关模块用于接收所述用户请求，并根据用户请求中的请求路径将用户请求转发到微服务群模块；
所述存储模块用于存储供用户查阅的知识信息，所述存储模块中的知识信息周期性更新；
所述微服务群模块包括用户模块、认证模块与知识库模块；
所述用户模块用于管理用户的ID以及ID所对应的权限；
所述认证模块用于验证用户请求中的ID信息是否与用户模块中的ID信息相匹配；
所述知识库模块用于根据用户的权限，提供与权限相对应的资源信息；其中所述知识库模块包括检索单元、浏览单元、下载单元、收藏单元以及上传单元；
所述检索单元用于对所述存储模块中的所述知识信息进行检索；
所述浏览单元用于对所述存储模块中的所述知识信息进行浏览；
所述下载单元用于对所述存储模块中的所述知识信息进行下载；
所述收藏单元用于对所述存储模块中的所述知识信息进行收藏；
上传单元用于将其他资料上传至所述存储模块中；
所述分布式缓存模块用于划出一部分缓存来记录将所述知识库模块中被所述用户请求所访问的数据，记录为热数据，并在热数据被访问的一刻添加时间阈值，若在阈值时间点内所述热数据没有被访问，则将所述热数据从所述分布式缓存模块中删除，若在阈值时间点前，所述热数据有被访问，则以当前被访问时间添加时间阈值，对于阈值时间点进行更新。
网关模块会根据用户请求的请求路径发送到对应的地方，例如在用户需要登入时，所述用户请求为登入的请求，此时网关模块会将用户请求发送至微服务群模块的认证模块中进行登入的认证。同理，当用户需要了解企业中的知识信息时，需要进行用户请求，该用户请求的请求路径为微服务群模块的知识库模块，而知识库模块中功能单元是请求调用所述存储模块内的内容，致使在请求知识库模块时，需要调用更多的缓存来执行相关的动作。这样导致了当存在有多个针对知识库模块的请求时，同一时间的请求增多，导致缓存不足影响到了用户的正常使用。
为此发明设置有分布式缓存模块，当有知识库模块被所述用户请求所访问时，就会划分出一部分缓存用于存储被访问的知识库模块数据，并记录其为热数据，并记录该热数据被访问的时间，以访问的时间加上时间阈值作为时间阈值点，在时间阈值点前，当有人需要请求访问该热数据时，只需要直接对应请求访问该分布式缓存模块即可，无需通过请求知识库模块后在请求存储模块的内容。大大减少了请求的数量，提高了系统的数据吞吐量，大大提高了系统的服务性能。另外当热数据在时间阈值点前，没有被请求访问，则删除分布式缓存模块内该热数据，以保证所述分布式缓存模块内的内存量。下面以一个实施例作为解释：
例如当某个用户登入后在11.30分发出请求对“生产”关键词的检索用户请求，此时服务器模块接收该请求，并将“生产”的检索用户请求发送至网关模块，网关模块获取到该用户请求的请求路径为检索单元，随后检索单元根据“生产”关键词检索到出数据库模块中含有“生产”的知识信息，并展示给用户观看，用户选择第一条数据以及第二条数据进行观看后，所述分布式缓存模块会将第一条数据以及第二条数据做为热数据。而所述时间阈值为30分钟。此时所述时间阈值点为12.00，若在11.58，有用户需要检索、收藏或者览单第一条数据或第二条数据时，服务器模块会将用户请求的请求路径改为所述分布式缓存模块，请求获取分布式缓存模块中的第一条数据或第二条数据，此时对时间阈值点进行更新，更新的值为访问的时间加上时间阈值，即11.58加上30分钟，更行后的时间阈值点为12.28。而若在12.01没有用户请求访问第一条数据或第二条数据，则删除分布式缓存模块中的第一条数据或第二条数据。
本申请从用户的使用习惯角度来话设置出所述分布式缓存模块，将经常被访问的热数据存储在所述分布式缓存模块中，在时间阈值点内，当热数据被再次请求访问时，无需多次请求知识库模块以及存储模块，大大减少了系统中用户请求的数量，提高了系统的数据吞吐量，大大提高了系统的服务性能。
优选的，所述存储模块包括数据库模块以及对象存储模块；
所述数据库模块用于创建多个存储节点，每一个存储节点内存储有对应的所述知识信息；
对象存储模块用于每一个存储节点内的知识信息分割成K个数据单元，并K个数据单元进行编码生成M个校验单元；
将K个数据单元以及M个校验单元存储在所述存储节点内。
在本申请中所述存储模块中设置有数据库模块，所述数据库模块设置有多个存储节点，每一个存储节点内仅存储于一类的知识信息，用户在使用所述上传单元上传知识信息时可以选择上传至那一个存储节点。而在进行检索时，可以通过关键词预先进入到相关的存储节点中，再进行检索，系统会根据选择的存储节点检索该目录链节点下的资源，达到更细化的搜索目的。
另外在由于知识信息的数量较多，在上传或者被请求访问时可能会出现丢失的情况发生。为此本申请中还设置有对象存储模块，在对象存储模块中会将知识信息分割成K个数据单元，并K个数据单元进行编码生成M个校验单元。当某个知识信息发生丢失时，可以使用纠删码(erasure coding，EC)功能进行修复，K表示将原始数据划分的块数和恢复原始数据的最小块数。K值越小，发生故障时，数据重构的代价越大；K值越大，需要多路数据拷贝，增加网络和IO的负载。m：编码块。M影响数据保存的可靠性和存储成本。取值越大，对故障的容忍度大，数据的冗余度也会增加，存储成本也会提高。以常见的reedsolomon(RS)纠删码为例，在6数据单元+3校验单元的情景，可以允许3个单元(任意数据单元+校验单元数量之和为3)损坏。在偏纯存储的场景会用到，例如对象存储。n数据块+M校验单元的纠删码配置，其中n为K+M，存储效率是n/n+M，但是在重构(Reconstruct)的时候，需要消耗cpu资源。
优选的，还包括分布式设置模块，所述分布式设置模块部署于多个台虚拟服务器中，形成分布式集群；所述分布式设置模块用于服务器模块的服务器名、服务器IP和端口映射元数据信息。
所述分布式设置模块是将服务名、服务器ip及端口做了一个映射，相当于路由映射，当访问请求的链接具有该服务名时，网关模块将寻找匹配该服务器模块的ip以及端口，找到后将请求转发到该ip地址具体的服务上，完成后续功能操作，并可通过分布式设置模块控制系统上下线。
优选的，所述网关模块设置有过滤单元，所述过滤单元用于滤包含敏感字符或引起系统安全的一些字符。
所述过滤单元能够过滤访问请求中不友好的请求，在一定程度减少了漏洞的出现。
优选的，所述日志模块用于记录系统运行时的操作日志以及错误日志。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (5)
1.一种企业资源库系统，其特征在于，包括服务器模块、网关模块、微服务群模块、分布式缓存模块以及存储模块；
所述服务器模块用于接收用户请求，并将用户请求发送至所述网关模块，所述服务器模块包括多个具有关联关系的虚拟服务器，且每一个所述虚拟服务器均对应一个或者多个虚拟机；
所述网关模块用于接收所述用户请求，并根据用户请求中的请求路径将用户请求转发到微服务群模块；
所述存储模块用于存储供用户查阅的知识信息，所述存储模块中的知识信息周期性更新；
所述微服务群模块包括用户模块、认证模块与知识库模块；
所述用户模块用于管理用户的ID以及ID所对应的权限；
所述认证模块用于验证用户请求中的ID信息是否与用户模块中的ID信息相匹配；
所述知识库模块用于根据用户的权限，提供与权限相对应的资源信息；其中所述知识库模块包括检索单元、浏览单元、下载单元、收藏单元以及上传单元；
所述检索单元用于对所述存储模块中的所述知识信息进行检索；
所述浏览单元用于对所述存储模块中的所述知识信息进行浏览；
所述下载单元用于对所述存储模块中的所述知识信息进行下载；
所述收藏单元用于对所述存储模块中的所述知识信息进行收藏；
上传单元用于将其他资料上传至所述存储模块中；
所述分布式缓存模块用于划出一部分缓存来记录将所述知识库模块中被所述用户请求所访问的数据，记录为热数据，并在热数据被访问的一刻添加时间阈值，若在阈值时间点内所述热数据没有被访问，则将所述热数据从所述分布式缓存模块中删除，若在阈值时间点前，所述热数据有被访问，则以当前被访问时间添加时间阈值，对于阈值时间点进行更新。
2.根据权利要求1所述的一种企业资源库系统，其特征在于，所述存储模块包括数据库模块以及对象存储模块；
所述数据库模块用于创建多个存储节点，每一个存储节点内存储有对应的所述知识信息；
对象存储模块用于每一个存储节点内的知识信息分割成K个数据单元，并K个数据单元进行编码生成M个校验单元；
将K个数据单元以及M个校验单元存储在所述存储节点内。
3.根据权利要求1所述的一种企业资源库系统，其特征在于，还包括分布式设置模块，所述分布式设置模块部署于多个台虚拟服务器中，形成分布式集群；所述分布式设置模块用于服务器模块的服务器名、服务器IP和端口映射元数据信息。
4.根据权利要求1所述的一种企业资源库系统，其特征在于，所述网关模块设置有过滤单元，所述过滤单元用于滤包含敏感字符或引起系统安全的一些字符。
5.根据权利要求1所述的一种企业资源库系统，其特征在于，还包括日志模块，所述日志模块用于记录系统运行时的操作日志以及错误日志。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210608973.8A CN114866571A (zh) | 2022-05-31 | 2022-05-31 | 一种企业资源库系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210608973.8A CN114866571A (zh) | 2022-05-31 | 2022-05-31 | 一种企业资源库系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114866571A true CN114866571A (zh) | 2022-08-05 |
Family
ID=82641799
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210608973.8A Pending CN114866571A (zh) | 2022-05-31 | 2022-05-31 | 一种企业资源库系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114866571A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105138587A (zh) * | 2015-07-31 | 2015-12-09 | 小米科技有限责任公司 | 数据访问方法、装置和系统 |
| CN109947668A (zh) * | 2017-12-21 | 2019-06-28 | 北京京东尚科信息技术有限公司 | 存储数据的方法和装置 |
| US20200314208A1 (en) * | 2019-03-27 | 2020-10-01 | Cloudflare, Inc. | Server-side resource prioritization |
| CN112765117A (zh) * | 2021-01-26 | 2021-05-07 | 中国船级社 | 基于微服务架构的工业互联网标识解析系统 |
| CN113961606A (zh) * | 2021-09-24 | 2022-01-21 | 上海精密计量测试研究所 | 一种企业知识服务系统 |
-
2022
- 2022-05-31 CN CN202210608973.8A patent/CN114866571A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105138587A (zh) * | 2015-07-31 | 2015-12-09 | 小米科技有限责任公司 | 数据访问方法、装置和系统 |
| CN109947668A (zh) * | 2017-12-21 | 2019-06-28 | 北京京东尚科信息技术有限公司 | 存储数据的方法和装置 |
| US20200314208A1 (en) * | 2019-03-27 | 2020-10-01 | Cloudflare, Inc. | Server-side resource prioritization |
| CN112765117A (zh) * | 2021-01-26 | 2021-05-07 | 中国船级社 | 基于微服务架构的工业互联网标识解析系统 |
| CN113961606A (zh) * | 2021-09-24 | 2022-01-21 | 上海精密计量测试研究所 | 一种企业知识服务系统 |
Non-Patent Citations (1)
| Title |
|---|
| 范涛;刘晓燕;: "基于纠删码的HDFS存储调度技术", 《软件》, vol. 39, no. 2 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10649827B2 (en) | Two level addressing in storage clusters | |
| CN103812939B (zh) | 一种大数据存储系统 | |
| US10210167B1 (en) | Multi-level page caching for distributed object store | |
| US10769177B1 (en) | Virtual file structure for data storage system | |
| US7743038B1 (en) | Inode based policy identifiers in a filing system | |
| KR101490090B1 (ko) | 웹 서비스 클라이언트 인터페이스를 갖는 분배형 저장 시스템 | |
| US7836023B2 (en) | System for managing access and storage of worm files without sending parameters for associated file access | |
| US8762353B2 (en) | Elimination of duplicate objects in storage clusters | |
| JP2017216010A (ja) | 分散型データベースシステムのシステム全体のチェックポイント回避 | |
| US8321487B1 (en) | Recovery of directory information | |
| US20100030791A1 (en) | Systems and methods for power aware data storage | |
| CN108108476A (zh) | 高可靠分布式日志系统的工作方法 | |
| BRPI0714328A2 (pt) | processamento de dados atravÉs de bancos de dados muito grandes | |
| KR20090063733A (ko) | 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의복구 방법 및 그에 적당한 메타데이터 스토리지 및 저장방법 | |
| US9626378B2 (en) | Method for handling requests in a storage system and a storage node for a storage system | |
| CN112148745A (zh) | 一种多HBase集群访问方法、装置及存储介质 | |
| CN114866571A (zh) | 一种企业资源库系统 | |
| JP2007293433A (ja) | 文書管理システム | |
| CN106855872A (zh) | 基于Hadoop平台的海量图片的快速检索方法 | |
| Yang et al. | PPMS: A peer to peer metadata management strategy for distributed file systems | |
| Atchley | Design and Implementation of the L-Bone and Logistical Tools |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |