CN106982247A - 一种基于web的图片分布式存储系统 - Google Patents

一种基于web的图片分布式存储系统 Download PDF

Info

Publication number
CN106982247A
CN106982247A CN201710099453.8A CN201710099453A CN106982247A CN 106982247 A CN106982247 A CN 106982247A CN 201710099453 A CN201710099453 A CN 201710099453A CN 106982247 A CN106982247 A CN 106982247A
Authority
CN
China
Prior art keywords
picture
web
server
cluster
servers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710099453.8A
Other languages
English (en)
Inventor
范正滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Gulu Information Technology Co Ltd
Original Assignee
Chengdu Gulu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Gulu Information Technology Co Ltd filed Critical Chengdu Gulu Information Technology Co Ltd
Priority to CN201710099453.8A priority Critical patent/CN106982247A/zh
Publication of CN106982247A publication Critical patent/CN106982247A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/09—Mapping addresses
    • H04L61/10—Mapping addresses of different types
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/45—Network directories; Name-to-address mapping
    • H04L61/4505—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种基于WEB的图片分布式存储系统，其特征在于：包括客户端、地址分析服务器、Web服务器集群、数据库接口映射服务器和图片服务器集群；所述客户端，用于接收该页面并根据页面中的图片URL路径自动从不同的图片服务器下载并显示相应图片；所述地址分析服务器，用于对图片服务集群中的图片服务器进行监控，动态的返回最优的IP地址给调用者；所述图片服务器集群，用于存放网站的所有图片信息。本发明只需增加很少的硬件成本，即可提升网站的访问速度，并且可以根据需要动态调整图片服务器的数量及图片的存储目录，确保系统具有可扩展性和伸缩性。

Description

一种基于WEB的图片分布式存储系统
技术领域
本发明涉及图片存储领域，尤其是一种基于WEB的图片分布式存储系统。
背景技术
随着互联网的发展，许多大中型的网站都保存了大量的图片资源，用户在访问这些图片资源异常丰富的网站时，网页中的图片信息占据了页面数据流量的很大部分，从而出现以下问题：
1、由于受客户端浏览器限制，无法从一台服务器上同时下载页面中所有图片信息；
2、由于图片保存在物理服务器上，访问图片需要频繁进行I/O操作：因此当并发用户数越来越多时，I/O操作就会成为整个系统的性能瓶颈；
3、由于受操作系统的限制,一个目录中能存放的图片文件数量也是有限的：随着图片资源不断增加，如何有效管理和维护图片也是一个难题。
对于少数大型网站系统，由于自身具有雄厚的资金和人力资源，可采用NFS、CDN、Lighttpd、反向代理、负载均衡等技术提高用户访问速度，但是，这些技术需要庞大的资金来支持。
对于小型网站，由于数据规模小，可以把网站所有页面和图片统一存放在一个主目录下，这样的网站对系统架构、性能要求都很简单。但大中型网站都保存有海量级的图片文件，所采用的技术更是涉及广泛，从硬件到软件、编程语言、数据库、Web服务器、防火墙等各个领域都有较高要求。因此，有必要设立单独的图片服务器来专门存放图片，把图片数据的流量从Web服务器上分离开，这样的架构可以有效缓解Web服务器的I/O性能瓶颈，提升用户的访问速度。
发明内容
本发明的发明目的在于：针对上述存在的问题，提供一种适用于中等规模商务网站的海量图片数据分布式动态存储及负载均衡的基于WEB的图片分布式存储系统，只需增加很少的
硬件成本，即可提升网站的访问速度，并且可以根据需要动态调整图片服务器的数量及图片的存储目录，确保系统具有可扩展性和伸缩性。
本发明采用的技术方案如下：
本发明一种基于WEB的图片分布式存储系统，包括客户端、地址分析服务器、Web服务器集群、数据库接口映射服务器和图片服务器集群；所述客户端，用于接收该页面并根据页面中的图片URL路径自动从不同的图片服务器下载并显示相应图片；所述地址分析服务器，用于对图片服务集群中的图片服务器进行监控，动态的返回最优的IP地址给调用者；所述Web服务器集群部署网站的Web页面，用于响应客户端用户的请求；所述数据库接口映射服务器，用于记录所有图片的编号以及图片的存放位置等信息，同时需要记录所有图片服务器的配置及当前状态信息；所述图片服务器集群，用于存放网站的所有图片信息。
以上结构中地址分析服务器的设置可以实现一个企业中如果有多个系统要使用图片的分布式存储，只需要调用映射服务接口即可，不需要再重新编写代码实现；提高代码通用性和复用性，减少代码量。
本发明一种基于WEB的图片分布式存储系统，所述Web服务器集群响应客户端用户的请求的方法：当用户浏览网页时，Web服务器响应请求并访问数据库接口映射服务器，获得网页中所有图片的URL路径，然后生成页面并返回给客户端。
本发明一种基于WEB的图片分布式存储系统，还包括基于WEB的图片分布式存储方法；所述基于WEB的图片分布式存储方法为：S1：客户端通过浏览器访问网站URL地址；S2：URL通过DNS解析和地址映射，从WEB服务器集群中访问站点，服务器根据数据库接口映射服务获取真实存储图片的地址，并获取到图片资源，显示到浏览器，返回给客户端；S3：用户在客户端上传图片，根据数据库接口映射服务器找到可用性高的图片服务器，然后将图片上传至图片服务器，并记录到数据库接口映射服务器中。
本发明一种基于WEB的图片分布式存储系统，所述图片采用Base64编码，直接存储到图片服务器集群中。
原来的图片存储系统直接存储图片文件到服务器目录中，数据库中记录文件的物理路径地址；而本发明将图片采用Base64编码，直接存储到图片服务器集群中，而不是直接存储图片文件；当服务器出现故障时迁移网站非常方便，不用去拷贝图片文件，因为在服务器之间拷贝超过G容量的图片文件会非常慢并且一旦数据丢失，将很难恢复，采用数据库编码后存储可以更好的解决这一问题，当数量达到一定程度，只需要新添加库即可。
本发明一种基于WEB的图片分布式存储系统，所述数据库接口映射服务器中设有图片服务器配置映射表。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明的图片分布式存储系统可以在不增加服务器硬件的情况下最大限度利用服务器资源，降低企业软件成本；只需增加很少的硬件成本，即可提升网站的访问速度，并且可以根据需要动态调整图片服务器的数量及图片的存储目录，确保系统具有可扩展性和伸缩性。
2、本发明的图片分布式存储系统可以有效减低网络IO，提高web系统的效应效率。
3、通过分布式技术，降低图片保存失败的几率，提高浏览器浏览图片的速度。
4、将web服务器和图片服务器分离，减低系统之间的耦合性，减少关联和依赖。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是本发明一种基于WEB的图片分布式存储系统的结构示意图。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书（包括任何附加权利要求、摘要）中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
如图1 ，本发明一种基于WEB的图片分布式存储系统，包括客户端、地址分析服务器、Web服务器集群、数据库接口映射服务器和图片服务器集群；所述客户端，用于接收该页面并根据页面中的图片URL路径自动从不同的图片服务器下载并显示相应图片；所述地址分析服务器，用于对图片服务集群中的图片服务器进行监控，动态的返回最优的IP地址给调用者；所述Web服务器集群部署网站的Web页面，用于响应客户端用户的请求；所述数据库接口映射服务器，用于记录所有图片的编号以及图片的存放位置等信息，同时需要记录所有图片服务器的配置及当前状态信息；所述图片服务器集群，用于存放网站的所有图片信息。
以上结构中地址分析服务器的设置可以实现一个企业中如果有多个系统要使用图片的分布式存储，只需要调用映射服务接口即可，不需要再重新编写代码实现；提高代码通用性和复用性，减少代码量。
本发明一种基于WEB的图片分布式存储系统，所述Web服务器集群响应客户端用户的请求的方法：当用户浏览网页时，Web服务器响应请求并访问数据库接口映射服务器，获得网页中所有图片的URL路径，然后生成页面并返回给客户端。
本发明一种基于WEB的图片分布式存储系统，还包括基于WEB的图片分布式存储方法；所述基于WEB的图片分布式存储方法为：S1：客户端通过浏览器访问网站URL地址；S2：URL通过DNS解析和地址映射，从WEB服务器集群中访问站点，服务器根据数据库接口映射服务获取真实存储图片的地址，并获取到图片资源，显示到浏览器，返回给客户端；S3：用户在客户端上传图片，根据数据库接口映射服务器找到可用性高的图片服务器，然后将图片上传至图片服务器，并记录到数据库接口映射服务器中。
本发明一种基于WEB的图片分布式存储系统，所述图片采用Base64编码，直接存储到图片服务器集群中。
原来的图片存储系统直接存储图片文件到服务器目录中，数据库中记录文件的物理路径地址；而本发明将图片采用Base64编码，直接存储到图片服务器集群中，而不是直接存储图片文件；当服务器出现故障时迁移网站非常方便，不用去拷贝图片文件，因为在服务器之间拷贝超过G容量的图片文件会非常慢并且一旦数据丢失，将很难恢复，采用数据库编码后存储可以更好的解决这一问题，当数量达到一定程度，只需要新添加库即可。
本发明一种基于WEB的图片分布式存储系统，所述数据库接口映射服务器中设有图片服务器配置映射表。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (5)

1.一种基于WEB的图片分布式存储系统，其特征在于：包括客户端、地址分析服务器、Web服务器集群、数据库接口映射服务器和图片服务器集群；所述客户端，用于接收该页面并根据页面中的图片URL路径自动从不同的图片服务器下载并显示相应图片；所述地址分析服务器，用于对图片服务集群中的图片服务器进行监控，动态的返回最优的IP地址给调用者；所述Web服务器集群部署网站的Web页面，用于响应客户端用户的请求；所述数据库接口映射服务器，用于记录所有图片的编号以及图片的存放位置等信息，同时需要记录所有图片服务器的配置及当前状态信息；所述图片服务器集群，用于存放网站的所有图片信息。
2.根据权利要求1所述的基于WEB的图片分布式存储系统，其特征在于：所述Web服务器集群响应客户端用户的请求的方法：当用户浏览网页时，Web服务器响应请求并访问数据库接口映射服务器，获得网页中所有图片的URL路径，然后生成页面并返回给客户端。
3.根据权利要求1所述的基于WEB的图片分布式存储系统，其特征在于：还包括基于WEB的图片分布式存储方法；所述基于WEB的图片分布式存储方法为：S1：客户端通过浏览器访问网站URL地址；S2：URL通过DNS解析和地址映射，从WEB服务器集群中访问站点，服务器根据数据库接口映射服务获取真实存储图片的地址，并获取到图片资源，显示到浏览器，返回给客户端；S3：用户在客户端上传图片，根据数据库接口映射服务器找到可用性高的图片服务器，然后将图片上传至图片服务器，并记录到数据库接口映射服务器中。
4.根据权利要求1或3所述的基于WEB的图片分布式存储系统，其特征在于：所述图片采用Base64编码，直接存储到图片服务器集群中。
5.根据权利要求1所述的基于WEB的图片分布式存储系统，其特征在于：所述数据库接口映射服务器中设有图片服务器配置映射表。
CN201710099453.8A 2017-02-23 2017-02-23 一种基于web的图片分布式存储系统 Pending CN106982247A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710099453.8A CN106982247A (zh) 2017-02-23 2017-02-23 一种基于web的图片分布式存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710099453.8A CN106982247A (zh) 2017-02-23 2017-02-23 一种基于web的图片分布式存储系统

Publications (1)

Publication Number Publication Date
CN106982247A true CN106982247A (zh) 2017-07-25

Family

ID=59339763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710099453.8A Pending CN106982247A (zh) 2017-02-23 2017-02-23 一种基于web的图片分布式存储系统

Country Status (1)

Country Link
CN (1) CN106982247A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108874472A (zh) * 2018-06-08 2018-11-23 福建天泉教育科技有限公司 一种用户头像的优化显示方法及系统
CN110134805A (zh) * 2019-05-20 2019-08-16 北京字节跳动网络技术有限公司 图片类评论数据的网络存储方法、装置、电子设备及介质
CN111385123A (zh) * 2018-12-29 2020-07-07 广州市百果园信息技术有限公司 Web服务分布式智能监控方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101207550A (zh) * 2007-03-16 2008-06-25 中国科学技术大学 负载均衡系统及多种业务实现负载均衡的方法
CN102104617A (zh) * 2010-11-30 2011-06-22 厦门雅迅网络股份有限公司 一种网站运营系统存储海量图片数据的方法
CN104965877A (zh) * 2015-06-12 2015-10-07 郑州悉知信息技术有限公司 网页图片获取方法、图片缓存服务器、协调服务器及系统
CN105701178A (zh) * 2016-01-05 2016-06-22 北京汇商融通信息技术有限公司 分布式图片存储系统
CN105847415A (zh) * 2016-05-12 2016-08-10 广西尊达电子商务有限公司 一种分布式服务器系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101207550A (zh) * 2007-03-16 2008-06-25 中国科学技术大学 负载均衡系统及多种业务实现负载均衡的方法
CN102104617A (zh) * 2010-11-30 2011-06-22 厦门雅迅网络股份有限公司 一种网站运营系统存储海量图片数据的方法
CN104965877A (zh) * 2015-06-12 2015-10-07 郑州悉知信息技术有限公司 网页图片获取方法、图片缓存服务器、协调服务器及系统
CN105701178A (zh) * 2016-01-05 2016-06-22 北京汇商融通信息技术有限公司 分布式图片存储系统
CN105847415A (zh) * 2016-05-12 2016-08-10 广西尊达电子商务有限公司 一种分布式服务器系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108874472A (zh) * 2018-06-08 2018-11-23 福建天泉教育科技有限公司 一种用户头像的优化显示方法及系统
CN108874472B (zh) * 2018-06-08 2022-04-12 福建天泉教育科技有限公司 一种用户头像的优化显示方法及系统
CN111385123A (zh) * 2018-12-29 2020-07-07 广州市百果园信息技术有限公司 Web服务分布式智能监控方法、装置、计算机设备及存储介质
CN110134805A (zh) * 2019-05-20 2019-08-16 北京字节跳动网络技术有限公司 图片类评论数据的网络存储方法、装置、电子设备及介质

Similar Documents

Publication Publication Date Title
US10785322B2 (en) Server side data cache system
US7904345B2 (en) Providing website hosting overage protection by transference to an overflow server
US9183319B2 (en) Method and apparatus for automatically optimizing the loading of images in a cloud-based proxy service
US9479564B2 (en) Browsing session metric creation
US8996610B1 (en) Proxy system, method and computer program product for utilizing an identifier of a request to route the request to a networked device
US10742600B2 (en) Domain name system bypass in user applications
CN105701178B (zh) 分布式图片存储系统
US20060253461A1 (en) Multi-tiered caching mechanism for the storage and retrieval of content multiple versions
US20080243536A1 (en) Providing website hosting overage protection by storage on an independent data server
CN106294365A (zh) 一种单页web应用的页面数据处理方法及设备
US20110231477A1 (en) System and method to service requests from a plurality of sources
WO2006103250A1 (en) Systems and methods for content-aware load balancing
JPH11503551A (ja) サーバ・コンピュータのプロセッサ全体にわたる負荷平衡化
CN113010818A (zh) 访问限流方法、装置、电子设备及存储介质
CN101631143A (zh) 负载均衡环境中多服务器系统及其文件传输方法
CN102104617A (zh) 一种网站运营系统存储海量图片数据的方法
CN106982247A (zh) 一种基于web的图片分布式存储系统
US11853806B2 (en) Cloud computing platform that executes third-party code in a distributed cloud computing network and uses a distributed data store
CN104615597B (zh) 浏览器中清除缓存文件的方法、装置和系统
US20070055663A1 (en) Programmatic response for detected variants of HTTP requests
US11714573B1 (en) Storage optimization in a distributed object store
US11093493B1 (en) Dynamically switching between query and scan for optimizing table reads
CN207234829U (zh) 低流量网页访问系统
US20130191444A1 (en) Environment aware business delegates
CN1182477C (zh) 零漏失信息网服务系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170725