CN106844600A - 一种网站图片处理系统及方法 - Google Patents

一种网站图片处理系统及方法 Download PDF

Info

Publication number
CN106844600A
CN106844600A CN201710028293.8A CN201710028293A CN106844600A CN 106844600 A CN106844600 A CN 106844600A CN 201710028293 A CN201710028293 A CN 201710028293A CN 106844600 A CN106844600 A CN 106844600A
Authority
CN
China
Prior art keywords
picture
url
processing
proxy server
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710028293.8A
Other languages
English (en)
Inventor
张韶峰
王勇睿
杨岳
陈德昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bai Rong (beijing) Financial Information Service Ltd By Share Ltd
Original Assignee
Bai Rong (beijing) Financial Information Service Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bai Rong (beijing) Financial Information Service Ltd By Share Ltd filed Critical Bai Rong (beijing) Financial Information Service Ltd By Share Ltd
Priority to CN201710028293.8A priority Critical patent/CN106844600A/zh
Publication of CN106844600A publication Critical patent/CN106844600A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例提供了一种网站图片处理系统及方法，所述方法包括：接收代理服务器发送来的请求读取图片的URL，所述URL中包括图片的链接，还包括请求对图片进行处理的参数；对所述URL进行解析以获取对图片进行处理的参数，并根据所述参数通过Lua软件对相应的图片进行处理。

Description

一种网站图片处理系统及方法
技术领域
本发明属于涉及计算机软件技术领域，尤其涉及一种网站图片处理系统及方法。
背景技术
随着社会的发展，互联网已经成为人们生活和工作中不可或缺的，互联网技术也随之得到了长足的发展。现有的网站不可避免要使用很多图片，因此需要使用各种图片优化处理技术和分布式存储技术。现有的图片优化及分布式存储技术包括以下几种：
一种是淘宝网使用的非开源的图片处理技术，其依托于淘宝网强大的服务器硬件投入和CDN资源，这是中小型网站无法承受的成本。
还有一种是普遍采用的，将图片进行处理后进行压缩和优化，然后存储在服务器中。这种技术大量占用服务器端的计算资源，很容易导致服务器不稳定。
由此可见，现有技术中缺少一种性能优越且不会过多增加硬件成本的针对中小型网站的图片处理方案。
发明内容
针对现有技术中中小型网站在图片处理方面存在的问题，本发明实施例的目的是提供一种有效且高效的网站图片处理系统及方法。
为了解决上述问题，本发明实施例提出了一种网站图片处理方法，包括：
接收代理服务器发送来的请求读取图片的URL，所述URL中包括图片的链接，还包括请求对图片进行处理的参数；
对所述URL进行解析以获取对图片进行处理的参数，并根据所述参数通过Lua软件对相应的图片进行处理。
其中，该URL为Http://网页链接_长x宽q分辨率.jpg，其中长x宽为所需图片的尺寸，q分辨率为所需的图片的分辨率。
其中，所述方法还包括：将通过Lua软件进行处理后的图片进行缓存。
其中，所述方法还包括：当接收到代理服务器发送来的请求读取图片的URL后，判断是否有缓存的图片，如果有则直接将缓存的图片发送到代理服务器。
同时，本发明实施例还提出了一种图片处理系统，包括请求模块、图片处理模块；其中，
所述请求模块用于接收代理服务器发送来的请求读取图片的URL，所述URL中包括图片的链接，还包括请求对图片进行处理的参数；
所述图片处理模块用于对所述URL进行解析以获取对图片进行处理的参数，并根据所述参数通过Lua软件对相应的图片进行处理。
其中，该URL为Http://网页链接_长x宽q分辨率.jpg，其中长x宽为所需图片的尺寸，q分辨率为所需的图片的分辨率。
其中，所述系统还包括：缓存模块，用于将通过Lua软件进行处理后的图片进行缓存。
其中，所述请求模块还用于执行以下操作：当接收到代理服务器发送来的请求读取图片的URL后，判断是否有缓存的图片，如果有则直接将缓存的图片发送到代理服务器。
本发明的上述技术方案的有益效果如下：上述的技术方案提出了一种面向中小型网站的图片处理系统和方法，为中小型网站提供图片分布式存储的解决方案的同时，还提供了图片缩放及图片质量压缩的功能，提高了前端开发者的开发效率，减少了后期对于网站优化的时间，并提高了网站的访问速度及高可用性。分布式服务，易于部署，减少了运维成本，2台服务器即可形成服务集群。将图片优化从服务中剥离，通过服务器端执行的lua脚本，充分利用服务器的强大计算能力，进行实时的优化处理，增加服务端的并发能力。一次性生成优化图片，并在服务端存储7天，节约服务器资源及避免了重复消耗。
附图说明
图1是本发明实施例的流程示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明实施例中应用到的现有技术包括：
1、Nginx：Nginx("engine x")是一个高性能的HTTP和反向代理服务器，也是一个IMAP/POP3/SMTP服务器。Nginx是由Igor Sysoev为俄罗斯访问量第二的Rambler.ru站点开发的，第一个公开版本0.1.0发布于2004年10月4日。其将源代码以类BSD许可证的形式发布，因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。2011年6月1日，nginx 1.0.4发布
2、Lua:Lua是一个小巧的脚本语言。是巴西里约热内卢天主教大学(PontificalCatholic University of Rio de Janeiro)里的一个研究小组，由RobertoIerusalimschy、WaldemarCeles和Luiz Henrique de Figueiredo所组成并于1993年开发。其设计目的是为了嵌入应用程序中，从而为应用程序提供灵活的扩展和定制功能。Lua由标准C编写而成，几乎在所有操作系统和平台上都可以编译，运行。
3、Fastdfs:FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问(文件上传、文件下载)等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。
4、GraphicsMagick：GraphicsMagick号称图像处理领域的瑞士军刀。短小精悍的代码却提供了一个鲁棒、高效的工具和库集合，来处理图像的读取、写入和操作，支持超过88种图像格式，包括重要的DPX、GIF、JPEG、JPEG-2000、PNG、PDF、PNM和TIFF。
本发明实施例提出了一种如图1所示的网站图片处理方法，包括：
接收代理服务器发送来的请求读取图片的URL，所述URL中包括图片的链接，还包括请求对图片进行处理的参数；
对所述URL进行解析以获取对图片进行处理的参数，并根据所述参数通过Lua软件对相应的图片进行处理。
具体的，该URL为Http://网页链接_长x宽q分辨率.jpg，其中长x宽为所需图片的尺寸，q分辨率为所需的图片的分辨率。
以一个具体的例子来说，
http://img.？？？？？.com/group1/M00/00/00/wKgX2Fgf9hmANBKVAEWAHUby31c483.jpg
该URL是一个典型的不对图片进行处理的请求读取图片的URL。
http://img.？？？？？.com/group1/M00/00/00/wKgX2Fgf9hmANBKVAEWAHUby31c483_200x200q50.jpg
该URL是本发明实施例中请求进行图片处理的例子。_200x200q50为优化参数，200x200为图片的最大宽度和最大高度，检测到该参数后，图片服务会自动将图片等比缩放到相应尺寸，而不会产生拉伸和形变；q50为质量优化参数，q50表示将图片按照50％的质量进行压缩处理，以减小图片尺寸。经过处理后的图片，前端可以直接在代码中使用，无需提前生成优化图片。
在实际使用中发现，未经处理的原始图片大小为4.3Mb；经过200x200q50压缩后，仅剩7.9Kb，优化了99.8％的尺寸。这样可以在服务器端通过简单的处理来降低数据传输量以及数据处理量。
进一步的，所述方法还包括：将通过Lua软件进行处理后的图片进行缓存。
进一步的，所述方法还包括：当接收到代理服务器发送来的请求读取图片的URL后，判断是否有缓存的图片，如果有则直接将缓存的图片发送到代理服务器。
同时，本发明实施例还提出了一种图片处理系统，包括请求模块、图片处理模块；其中，
所述请求模块用于接收代理服务器发送来的请求读取图片的URL，所述URL中包括图片的链接，还包括请求对图片进行处理的参数；
所述图片处理模块用于对所述URL进行解析以获取对图片进行处理的参数，并根据所述参数通过Lua软件对相应的图片进行处理。
进一步的，所述系统还包括：缓存模块，用于将通过Lua软件进行处理后的图片进行缓存。
进一步的，所述请求模块还用于执行以下操作：当接收到代理服务器发送来的请求读取图片的URL后，判断是否有缓存的图片，如果有则直接将缓存的图片发送到代理服务器。
在工作时，首先将图片通过上传平台存储至fastdfs集群中。当nginx接收到图片访问请求时，会先判断图片是否存在。如果所请求的图片已经存在(即是否已经缓存)，则直接将文件发送出去；否则，将根据图片的url判断是否存在优化参数，如果优化参数存在，则nginx会通过lua脚本调用GraphicsMagick对图片进行处理，生成相应优化参数的图片，并存储至fastdfs的storage路径中(可以只保存7天，以节省存储空间)，同时返回该优化后的图片。下次再次遇到相同请求时，则直接返回已存在的图片。如果图片不存在，且没有优化参数时，会自动返回原始图片，防止出现空白。
上述方案为中小型网站提供图片分布式存储的解决方案的同时，还提供了图片缩放及图片质量压缩的功能，提高了前端开发者的开发效率，减少了后期对于网站优化的时间，并提高了网站的访问速度及高可用性。分布式服务，易于部署，减少了运维成本，2台服务器即可形成服务集群。将图片优化从服务中剥离，通过服务器端执行的lua脚本，充分利用服务器的强大计算能力，进行实时的优化处理，增加服务端的并发能力。一次性生成优化图片，并在服务端存储7天，节约服务器资源及避免了重复消耗。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种网站图片处理方法，其特征在于，包括：
接收代理服务器发送来的请求读取图片的URL，所述URL中包括图片的链接，还包括请求对图片进行处理的参数；
对所述URL进行解析以获取对图片进行处理的参数，并根据所述参数通过Lua软件对相应的图片进行处理。
2.根据权利要求1所述的网站图片处理方法，其特征在于，该URL为Http://网页链接_长x宽q分辨率.jpg，其中长x宽为所需图片的尺寸，q分辨率为所需的图片的分辨率。
3.根据权利要求1所述的网站图片处理方法，其特征在于，所述方法还包括：将通过Lua软件进行处理后的图片进行缓存。
4.根据权利要求1所述的网站图片处理方法，其特征在于，所述方法还包括：当接收到代理服务器发送来的请求读取图片的URL后，判断是否有缓存的图片，如果有则直接将缓存的图片发送到代理服务器。
5.一种图片处理系统，其特征在于，包括请求模块、图片处理模块；其中，
所述请求模块用于接收代理服务器发送来的请求读取图片的URL，所述URL中包括图片的链接，还包括请求对图片进行处理的参数；
所述图片处理模块用于对所述URL进行解析以获取对图片进行处理的参数，并根据所述参数通过Lua软件对相应的图片进行处理。
6.根据权利要求5所述的图片处理系统，其特征在于，该URL为Http://网页链接_长x宽q分辨率.jpg，其中长x宽为所需图片的尺寸，q分辨率为所需的图片的分辨率。
7.根据权利要求5所述的图片处理系统，其特征在于，所述系统还包括：缓存模块，用于将通过Lua软件进行处理后的图片进行缓存。
8.根据权利要求5所述的图片处理系统，其特征在于，所述请求模块还用于执行以下操作：当接收到代理服务器发送来的请求读取图片的URL后，判断是否有缓存的图片，如果有则直接将缓存的图片发送到代理服务器。
CN201710028293.8A 2017-01-16 2017-01-16 一种网站图片处理系统及方法 Pending CN106844600A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710028293.8A CN106844600A (zh) 2017-01-16 2017-01-16 一种网站图片处理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710028293.8A CN106844600A (zh) 2017-01-16 2017-01-16 一种网站图片处理系统及方法

Publications (1)

Publication Number Publication Date
CN106844600A true CN106844600A (zh) 2017-06-13

Family

ID=59124707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710028293.8A Pending CN106844600A (zh) 2017-01-16 2017-01-16 一种网站图片处理系统及方法

Country Status (1)

Country Link
CN (1) CN106844600A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368550A (zh) * 2017-06-30 2017-11-21 广东欧珀移动通信有限公司 信息获取方法、装置、介质、电子设备、服务器及系统
CN108197281A (zh) * 2018-01-10 2018-06-22 武汉斗鱼网络科技有限公司 基于Nginx服务器的图片处理方法、存储介质、设备及系统
CN109448075A (zh) * 2018-10-15 2019-03-08 网宿科技股份有限公司 一种图片处理方法和服务器
CN109740073A (zh) * 2018-11-26 2019-05-10 国云科技股份有限公司 一种基于url的图片实时处理系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567014A (zh) * 2011-11-14 2012-07-11 南京天溯自动化控制系统有限公司 一种Lua脚本在SCADA系统中实现动画的方法
CN103617165A (zh) * 2013-10-22 2014-03-05 小米科技有限责任公司 一种加载图片的方法、装置及终端
CN103873918A (zh) * 2012-12-14 2014-06-18 腾讯科技（深圳）有限公司 图片处理方法、装置及终端
CN104954448A (zh) * 2015-05-29 2015-09-30 努比亚技术有限公司 图片处理方法、系统和服务器
CN105117350A (zh) * 2015-08-25 2015-12-02 摩贝（上海）生物科技有限公司 一种可配置的缓存系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567014A (zh) * 2011-11-14 2012-07-11 南京天溯自动化控制系统有限公司 一种Lua脚本在SCADA系统中实现动画的方法
CN103873918A (zh) * 2012-12-14 2014-06-18 腾讯科技（深圳）有限公司 图片处理方法、装置及终端
CN103617165A (zh) * 2013-10-22 2014-03-05 小米科技有限责任公司 一种加载图片的方法、装置及终端
CN104954448A (zh) * 2015-05-29 2015-09-30 努比亚技术有限公司 图片处理方法、系统和服务器
CN105117350A (zh) * 2015-08-25 2015-12-02 摩贝（上海）生物科技有限公司 一种可配置的缓存系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
林巧等: "Lua语言在轻量级Web服务器设计中的应用", 《计算机系统应用》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368550A (zh) * 2017-06-30 2017-11-21 广东欧珀移动通信有限公司 信息获取方法、装置、介质、电子设备、服务器及系统
CN107368550B (zh) * 2017-06-30 2019-12-31 Oppo广东移动通信有限公司 信息获取方法、装置、介质、电子设备、服务器及系统
CN108197281A (zh) * 2018-01-10 2018-06-22 武汉斗鱼网络科技有限公司 基于Nginx服务器的图片处理方法、存储介质、设备及系统
CN109448075A (zh) * 2018-10-15 2019-03-08 网宿科技股份有限公司 一种图片处理方法和服务器
CN109740073A (zh) * 2018-11-26 2019-05-10 国云科技股份有限公司 一种基于url的图片实时处理系统及方法

Similar Documents

Publication Publication Date Title
US7484007B2 (en) System and method for partial data compression and data transfer
CN106844600A (zh) 一种网站图片处理系统及方法
US7908344B2 (en) Methods, apparatus, and systems for providing local and online data services
RU2471227C2 (ru) Содействуемая обслуживающим узлом и одноранговая синхронизация
EP3624398A1 (en) Storage capacity evaluation method and apparatus based on cdn application
US20150324415A1 (en) Gathering transaction data associated with locally stored data files
US20150237113A1 (en) Method and system for file transmission
US20140019953A1 (en) Client-side script bundle management system
CA2840705A1 (en) Method and system for loading file in webgame
CN111680005A (zh) 文件在线预览方法、装置、系统、设备及存储介质
US8874687B2 (en) System and method for dynamically modifying content based on user expectations
CN102624910B (zh) 处理用户选取的网页内容的方法、装置及系统
US8656020B1 (en) Delta compression of files in web applications
CN109284428B (zh) 数据处理方法、装置及存储介质
US10719573B2 (en) Systems and methods for retrieving web data
CN1841383A (zh) 用于请求并查看预览移动通信设备上的表附件的预览的方法
US20140337708A1 (en) Method and apparatus for providing web browsing service
CN102110144B (zh) 文档访问方法和文档访问装置
CN110489697A (zh) 一种提升网站页面加载速度的方法
CN104219277A (zh) 重排服务器响应
CN102135988A (zh) 一种数据查询方法及客户端
CN104468740A (zh) 一种网页传输智能处理系统及其方法
CN112069771B (zh) 一种用于解析pdf文件中的图片的方法及装置
CN104978339A (zh) 一种文件处理方法、设备和网络系统
CN112667945A (zh) 一种基于前后端分离技术开发网站的seo优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170613

RJ01 Rejection of invention patent application after publication