CN103279343A - 一种基于分布式大型网站开发的技术框架系统 - Google Patents

Abstract

本发明公开了一种基于分布式大型网站开发的技术框架系统，包括单入口、路由层模块、输入验证模块、表单验证处理模块、控制层模块、模型层模块、表现层模块、统一资源模块、缓存模块、数据层模块和数据安全验证模块；所述单入口、路由层模块、控制层模块、输入验证模块和表单验证处理模块依次连接，所述输入验证模块和表单验证处理模块有机结合成一个整体，该整体分别连接统一资源模块、表现层模块和模型层模块，所述统一资源模块、表现层模块和模型层模块依次连接，所述模型层模块连接数据安全验证模块，所述数据安全验证模块分别连接缓存模块和数据层模块；本发明提供一个高效稳定、可高度扩展性的技术平台，可以满足于大负载大数量下的应用。

Description

一种基于分布式大型网站开发的技术框架系统

技术领域

本发明涉及一种基于分布式大型网站开发的技术框架系统。

背景技术

目前有很多网站需要处理越来越多的请求、越来越多的数据、以及根据运营需要不断增加新功能，很多网站系统在此情况下经常会发生宕机停止服务，原因就是框架设计的不足。

目前国内国外框架设计还是以数据库为核心的传统程序设计思路，当数据量与访问量过多时就会发生上述问题，所以必须要把数据库从数据存储和系统基本服务的核心中分离出来，必须要解决数据库的压力，否则数据库的瓶颈就是整个系统的瓶颈，因数据库的性能瓶颈很低，所以将会严重制约系统的性能。而缓存是解决数据库压力最好的方式，对系统影响较小，同时不改变传统的编程习惯与工作方式。目前的框架已经不能满足目前阶段的需求，对大数据量、大访问量的应用仍有不少问题，如：没有缓存处理机制、不支持分布式部署、不支持数据库的读写分离、不支持分库分表；同时不能满足快速开发需要、功能扩展性不好。

1、国内的ThinkPHP框架

ThinkPHP由上海顶想信息科技有限公司开发并提供商业化服务支持，在国内应用相对较多，基于此框架开发的应用有：ThinkSNS、ThinkCMS等产品。

ThinkPHP是一个吸收了很多Java面向对象编程的概念的框架，是PHP面向对象编程中一个优秀的框架，它在自己的框架中实现了很多功能，是一个功能体系较大的系统。

ThinkPHP的优点：功能多、使用简单、上手快，其功能：支持RoR的ORM映射和ActiveRecord模式；封装了CURD和一些常用操作；单一入口；独立模版引擎；认证机制；JSP的TagLib(标签库)；插件机制；角色认证；表单处理。

ThinkPHP框架有很多优秀的地方，当然也有其不足。ThinkPHP更多的为实现标准的面向对象的编程理论，为实际开发考虑得相对少，这也是其官方开发团队缺乏项目经验重理论导致的。TinkPHP的缺点：

1)TinkPHP对于分布式系统考虑不够：目前对于互联网互动性的应用，访问量大的情况要进行分布式部署，ThinkPHP在应用过程中暴露承压能力不足的问题，基于ThinkPHP开发一些产品在大数据量与大访问量的情况下也需要进行重构。

2)ThinkPHP对系统核心瓶颈数据库压力处理不够：ThinkPHP在处理数据过程中，还是直接对数据库进行操作，没有有效的缓存机制。

3)ThinkPHP的缓存功能太原始：ThinkPHP提供了缓存处理的一些基本类库，实现了一些基本功能，还没有将缓存处理的机制融入到数据处理过程中，实现缓存的功能需要自己编程实现。

4)ThinkPHP的缺乏数据安全验证机制：目前数据库最大的安全问题就是SQL注入，没有严格的数据安全验证机制，系统来说安全是没有任何保障的。ThinkPHP最近出现了一个非常严重的可以执行任意代码安全问题，也暴露了ThinkPHP在设计过程中对安全体系的忽视。

5)ThinkPHP在处理过程中对程序执行的效率优化不够：如模板的核心代码都是用正则匹配的，效率低，一些专业模板几乎都不用正则匹配。

6)ThinkPHP对程序的快速开发与未来的可扩展性考虑不够：ThinkPHP对于读写分离和分库分表的支持也比较弱。

7)ThinkPHP开放度差引入成熟的第三方能力弱：虽然目前已有成熟开发的Smarty模板引擎，却没有用，自己实现内置的模板引擎不但功能弱而且执行效率低，对于开发者学习成本也比较高。

2、国外的Zend Frame Work框架

ZendFrameWork是PHP官方出品的PHP框架，在国外使用较多，是目前功能最强大、成熟度最高的PHP框架。目前ZendFrameWork的应用范围主要是企业自己定制开发的管理系统与各种应用系统，基于ZendFrameWork开发的商业应用系统还比较少。

ZendFrameWork优点：

1)官方出品，自带了非常多的library，框架本身使用了很多设计模式来编写，架构上很优雅，执行效率中等；

2)MVC设计中，比较简洁，具有路由功能，配置文件比较强大(能够处理XML和php INI)，各种library很强大，是所有PHP框架中各种功能最全面的，包括它不仅是一个PHP框架，更是一个大类库(取代PEAR)，这是它的主要特色；

3)能够直观的支持除数据库操作之外的Model层(比CodeIgniter和CakePHP强)，并且能够很轻易的使用Loader功能加载其他新增加的Class；

4)Cache功能很强大，从前端Cache到后端Cache都支持，后端Cache支持Memcache、APC、SQLite、文件等等方式；

5)数据库操作功能很强大，支持各种驱动(适配器)。文档很全，在国内社区很成熟，并且目前不少Web2.0网站在使用。

ZendFrameWork的缺点：

1)ZendFrameWork对系统核心瓶颈数据库压力处理不够：ZendFrameWork在处理数据过程中，还是直接对数据库进行操作，没有有效的缓存机制。

2)ZendFrameWork的缓存功能不能有效减轻数据库的压力：ZendFrameWork提供了缓存处理的一些基本类库，实现了一些基本功能，还没有将缓存处理的机制融入到数据处理过程中，实现缓存的功能需要自己编程实现。

3)ZendFrameWork的MVC功能完成比较弱，View层简单实现(跟没实现一样)，无法很好的控制前端页面。

4)ZendFramework的执行效率低：ZendFramework作为一个功能全面庞大的框架，应用场景比较适合复杂关系管理、复杂数据管理的应用，所以在程序的执行效率上相对较低。

发明内容

本发明要解决的技术问题是提供一种可以为应用系统提供一个高效稳定、可高度扩展性的技术平台，可以满足于大负载大数量下的应用的基于分布式大型网站开发的技术框架系统。

为解决上述问题，本发明采用如下技术方案：

一种基于分布式大型网站开发的技术框架系统，包括单入口；路由层模块；输入验证模块；表单验证处理模块；控制层模块；模型层模块，模型层模块是数据处理的核心层，本层通过使用超级工厂实现了动静态类、单例，本层智能分析数据操作自动进行数据的读写分离操作，智能实现数据库集群服务，从而可以进行有效的负载均衡，提升负载能力，本层还可以监控数据层的故障并自动进行服务迁移，本层将数据层和缓存层的数据操作协调统一成一个数据处理的整体；表现层模块；缓存模块，缓存模块是负责缓存的统一处理，使用命名空间来保证数据的有效性，同时负责请求的并发控制；数据安全验证模块，实时过滤与验证数据库操作的指令与数据，保证数据的安全有效；数据层模块，数据层模块是负责最终的数据读取操作，兼容性强，使用统一的操作方式进行多种类型数据库操作；统一资源模块，统一资源是一种数据定义的方式，提供了便捷的数据读取操作，也为控制层、表现层提供了快速读取与显示数据方法；其中，所述单入口、路由层模块、控制层模块、输入验证模块和表单验证处理模块依次连接，所述输入验证模块和表单验证处理模块有机结合成一个整体，该整体分别连接统一资源模块、表现层模块和模型层模块，所述统一资源模块、表现层模块和模型层模块依次连接，所述模型层模块连接数据安全验证模块，所述数据安全验证模块分别连接缓存模块和数据层模块。

作为优选的技术方案，所述缓存模块和数据层模块有机结合形成一个整体，当对数据库进行读的操作时，从缓存中读取数据，加快读取速度减少对数据库的压力；当对数据进行写的操作时，清空对应的缓存空间，及时更新缓存的内容，保证数据的及时有效性。

作为优选的技术方案，所述数据层模块内包含有一个DB层数据调用的接口，该DB层数据调用的接口可以实现Model层与数据层的松耦合，同时也可以将数据操作统一归口进行处理。

作为优选的技术方案，所述数据安全验证模块内置于数据库操作过程，对一切与数据库操作进行数据安全的检查与校验，保障数据库的安全性，从而提升系统的整体安全级别。

本发明的基于分布式大型网站开发的技术框架系统具有以下有益效果：

目前互联网网站或互联网相关项目既存在数据量大、访问量高的压力问题，因网站自身的特点又会不断根据需求添加扩展新的功能，同时因为从业人员经验缺乏导致安全问题频出。本发明通过内置透明的缓存机制与数据库读写分离技术，可以有效解决数据量大、访问量高的问题；本发明提供了大量常用数据操作封装，可以有效解决功能扩展的问题；本发明内置了多层数据验证机制，可以有效避免系统安全问题。

1)有效降低数据库在大数据量、大访问量下压力问题

目前互联网应用程序需要处理越来越多的访问请求、处理越来越多的数据、以及不断增加新功能，很多网站系统在面对大数据量大访问的情况经常会发生数据库宕机停止服务，原因就是框架设计的不足。

针对这样的问题，以及目前国内国外框架设计的陈旧，在框架中通过内置透明缓存、数据库读写分离、分库分表支持、并发控制、统一资源等多种手段有效降低了数据库在大数据量、大访问量下压力问题。让网站系统在大数据量大访问的情况下仍然快速有效的提供服务。

2)有效解决系统安全问题

目前web系统功能性安全问题主要由sql注入攻击引起。而市面上框架将这类问题交给应用程序来处理，应用程序在进行安全检查时会做很多重复性的工作，同时安全检查会经常遗漏。

该发明在设计的时候充分考虑这样的问题，将由程序自身进行的数据安全检查，归口统一至框架中。在框架内置了严格的数据安全检查机制，一方面对用户输入内容进行安全与合理性检查，一方面在数据库层中进行Sql的安全性检查。从根本上杜绝了web系统的SQL注入攻击，也从根本上杜绝程序编写疏漏带来的安全隐患。

3)有效提高系统的可扩展性

这是目前市面上框架所欠缺的，就像前面所说目前市面上的框架比较注重系统实现过程中的开发效率，对于系统未来的扩展性考虑比较少。

该发明实现如此多的特性，但是仍然拥有非常高的可扩展性，这体现在3方面：框架功能的可扩展性；系统功能的可扩展性；系统部署的可扩展性可移植性。

A、框架功能的可扩展性：该发明在设计的时候考虑了可以使用第三方功能，所以就设计成开放的扩展结构，即可以将第三方成熟的功能引入到框架中，成为框架功能的一部分。如该发明的模板系统就是使用的功能强大成熟稳定的Smarty模板。

B、系统功能的可扩展性：使用框架开发的系统，其系统的功能可扩展性高，可以满足不断增加的功能需求，以及功能需求变更。功能的实现主要在控制器中，控制器根据业务需要，调用相关的Model与Widget实现相关操作；Model部分有独创的动态类的和类重载功能，既可快速开发又可不断扩展类的功能；Widget部分是实现过程，可以抽象出来，为其它模块提供服务。

C、系统部署的可移植性：该发明开发是基于PHP5、MySql、Memcache开发，以上系统可以运行于各种操作系统，拥有强大的跨平台部署能力支持：Linux、Unix、FreeBSD、windows、MacOS等主流操作系统；同时该发明还支持各种云服务。所以基于框架开发的系统将拥有非常强大的可移植性。

4)有效平衡高开发效率与高程序执行效率矛盾

目前市面上的框架比较注重程序的开发效率，不注重程序的执行效率，因为这两者是一对矛盾，能够解决这对矛盾的框架很少。该发明在这对矛盾中取得了非常好的平衡，既有高开发效率，又有高程序执行效率。

该发明高开效率体现在学习成本低，这是基于将复杂的功能与执行过程封装隐藏起来，暴露给开发使用者的就是基本的1个类与2个函数，开发者只要掌握这1个类与2个函数的使用就可以快速开发，开发出的程序即拥有框架的全部特性。同时该发明还有丰富的调试信息，可以显示系统的包含使用的文件、提交参数、执行的SQL语句和其效率分析、缓存操作信息、内存使用率、函数效率分析、程序使用的model信息等。

同时，该发明还拥有非常高的程序执行效率，这是基于框架提供了基于请求的并发控制及缓存技术，消除大量的重复请求，运行效率高；将经常操作的数据放在本机内存或网络服务器内存中，内存操作速度快效率高，可以极大提升数据的读取速度。同时在框架开发过程中，逻辑与功能设计力求简洁高效，针对大量常用函数都进行了相关的优化工作。

附图说明

图1为本发明基于分布式大型网站开发的技术框架系统的框架示意图。

具体实施方式

参阅图1所示的一种基于分布式大型网站开发的技术框架系统，包括单入口；路由层模块；输入验证模块；表单验证处理模块；控制层模块；模型层模块，模型层模块是数据处理的核心层，本层通过使用超级工厂实现了动静态类、单例，本层智能分析数据操作自动进行数据的读写分离操作，智能实现数据库集群服务，从而可以进行有效的负载均衡，提升负载能力，本层还可以监控数据层的故障并自动进行服务迁移，本层将数据层和缓存层的数据操作协调统一成一个数据处理的整体；表现层模块；缓存模块，缓存模块是负责缓存的统一处理，使用命名空间来保证数据的有效性，同时负责请求的并发控制；数据安全验证模块，实时过滤与验证数据库操作的指令与数据，保证数据的安全有效；数据层模块，数据层模块是负责最终的数据读取操作，兼容性强，使用统一的操作方式进行多种类型数据库操作；统一资源模块，统一资源是一种数据定义的方式，提供了便捷的数据读取操作，也为控制层、表现层提供了快速读取与显示数据方法；其中，所述单入口、路由层模块、控制层模块、输入验证模块和表单验证处理模块依次连接，所述输入验证模块和表单验证处理模块有机结合成一个整体，该整体分别连接统一资源模块、表现层模块和模型层模块，所述统一资源模块、表现层模块和模型层模块依次连接，所述模型层模块连接数据安全验证模块，所述数据安全验证模块分别连接缓存模块和数据层模块。

所述缓存模块和数据层模块有机结合形成一个整体，当对数据库进行读的操作时，从缓存中读取数据，加快读取速度减少对数据的压力；当对数据进行写的操作时，清空对应的缓存空间，及时更新缓存的内容，保证数据的及时有效性；所述数据层模块内包含有一个DB层数据调用的接口，该DB层数据调用的接口可以实现Model层与数据层的松耦合，同时也可以将数据操作统一归口进行处理；所述数据安全验证模块内置于数据库操作过程，对一切与数据库操作进行数据安全的检查与校验，保障数据库的安全性，从而提升系统的整体安全级别。

本发明的基于分布式大型网站开发的技术框架系统具有以下有益效果：

目前互联网网站或互联网相关项目既存在数据量大、访问量高的压力问题，因网站自身的特点又会不断根据需求添加扩展新的功能，同时因为从业人员经验缺乏导致安全问题频出。本发明通过内置透明的缓存机制与数据库读写分离技术，可以有效解决数据量大、访问量高的问题；本发明提供了大量常用数据操作封装，可以有效解决功能扩展的问题；本发明内置了多层数据验证机制，可以有效避免系统安全问题。

1)有效降低数据库在大数据量、大访问量下压力问题

目前互联网应用程序需要处理越来越多的访问请求、处理越来越多的数据、以及不断增加新功能，很多网站系统在面对大数据量大访问的情况经常会发生数据库宕机停止服务，原因就是框架设计的不足。

针对这样的问题，以及目前国内国外框架设计的陈旧，在框架中通过内置透明缓存、数据库读写分离、分库分表支持、并发控制、统一资源等多种手段有效降低了数据库在大数据量、大访问量下压力问题。让网站系统在大数据量大访问的情况下仍然快速有效的提供服务。

2)有效解决系统安全问题

目前web系统功能性安全问题主要由sql注入攻击引起。而市面上框架将这类问题交给应用程序来处理，应用程序在进行安全检查时会做很多重复性的工作，同时安全检查会经常遗漏。

该发明在设计的时候充分考虑这样的问题，将由程序自身进行的数据安全检查，归口统一至框架中。在框架内置了严格的数据安全检查机制，一方面对用户输入内容进行安全与合理性检查，一方面在数据库层中进行Sql的安全性检查。从根本上杜绝了web系统的SQL注入攻击，也从根本上杜绝程序编写疏漏带来的安全隐患。

3)有效提高系统的可扩展性

这是目前市面上框架所欠缺的，就像前面所说目前市面上的框架比较注重系统实现过程中的开发效率，对于系统未来的扩展性考虑比较少。

该发明实现如此多的特性，但是仍然拥有非常高的可扩展性，这体现在3方面：框架功能的可扩展性；系统功能的可扩展性；系统部署的可扩展性可移植性。

A、框架功能的可扩展性：该发明在设计的时候考虑了可以使用第三方功能，所以就设计成开放的扩展结构，即可以将第三方成熟的功能引入到框架中，成为框架功能的一部分。如该发明的模板系统就是使用的功能强大成熟稳定的Smarty模板。

B、系统功能的可扩展性：使用框架开发的系统，其系统的功能可扩展性高，可以满足不断增加的功能需求，以及功能需求变更。功能的实现主要在控制器中，控制器根据业务需要，调用相关的Model与Widget实现相关操作；Model部分有独创的动态类的和类重载功能，既可快速开发又可不断扩展类的功能；Widget部分是实现过程，可以抽象出来，为其它模块提供服务。

C、系统部署的可移植性：该发明开发是基于PHP5、MySql、Memcache开发，以上系统可以运行于各种操作系统，拥有强大的跨平台部署能力支持：Linux、Unix、FreeBSD、windows、MacOS等主流操作系统；同时该发明还支持各种云服务。所以基于框架开发的系统将拥有非常强大的可移植性。

4)有效平衡高开发效率与高程序执行效率矛盾

目前市面上的框架比较注重程序的开发效率，不注重程序的执行效率，因为这两者是一对矛盾，能够解决这对矛盾的框架很少。该发明在这对矛盾中取得了非常好的平衡，既有高开发效率，又有高程序执行效率。

该发明高开效率体现在学习成本低，这是基于将复杂的功能与执行过程封装隐藏起来，暴露给开发使用者的就是基本的1个类与2个函数，开发者只要掌握这1个类与2个函数的使用就可以快速开发，开发出的程序即拥有框架的全部特性。同时该发明还有丰富的调试信息，可以显示系统的包含使用的文件、提交参数、执行的SQL语句和其效率分析、缓存操作信息、内存使用率、函数效率分析、程序使用的model信息等。

同时，该发明还拥有非常高的程序执行效率，这是基于框架提供了基于请求的并发控制及缓存技术，消除大量的重复请求，运行效率高；将经常操作的数据放在本机内存或网络服务器内存中，内存操作速度快效率高，可以极大提升数据的读取速度。同时在框架开发过程中，逻辑与功能设计力求简洁高效，针对大量常用函数都进行了相关的优化工作。

Claims (6)

1.一种基于分布式大型网站开发的技术框架系统，其特征在于，包括：

单入口；

路由层模块；

输入验证模块；

表单验证处理模块；

控制层模块；

模型层模块，模型层模块是数据处理的核心层，本层通过使用超级工厂实现了动静态类、单例，本层智能分析数据操作自动进行数据的读写分离操作，智能实现数据库集群服务，从而可以进行有效的负载均衡，提升负载能力，本层还可以监控数据层的故障并自动进行服务迁移，本层将数据层和缓存层的数据操作协调统一成一个数据处理的整体；

表现层模块；

缓存模块，缓存模块是负责缓存的统一处理，使用命名空间来保证数据的有效性，同时负责请求的并发控制；

数据安全验证模块，实时过滤与验证数据库操作的指令与数据，保证数据的安全有效；

数据层模块，数据层模块负责最终的数据读写操作，兼容性强，使用统一的操作方式进行多种类型数据库操作；

统一资源模块，统一资源是一种数据定义的方式，提供了便捷的数据读取操作，也为控制层、表现层提供了快速读取与显示数据方法；

其中，所述单入口、路由层模块、控制层模块、输入验证模块和表单验证处理模块依次连接，所述输入验证模块和表单验证处理模块有机结合成一个整体，该整体分别连接统一资源模块、表现层模块和模型层模块，所述统一资源模块、表现层模块和模型层模块依次连接，所述模型层模块连接数据安全验证模块，所述数据安全验证模块分别连接缓存模块和数据层模块。

2.根据权利要求1所述的基于分布式大型网站开发的技术框架系统，其特征在于：所述缓存模块和数据层模块有机结合形成一个整体，当对数据库进行读的操作时，从缓存中读取数据，加快读取速度减少对数据库的压力；当对数据库进行写的操作时，清空对应的缓存空间，及时更新缓存的内容，保证数据的及时有效性。

3.根据权利要求1所述的基于分布式大型网站开发的技术框架系统，其特征在于：所述数据层模块内包含有一个DB层数据调用的接口，该DB层数据调用的接口可以实现Model层与数据层的松耦合，同时也可以将数据操作统一归口进行处理。

4.根据权利要求1所述的基于分布式大型网站开发的技术框架系统，其特征在于：所述数据安全验证模块内置于数据库操作过程，对一切与数据库操作进行数据安全的检查与校验，保障数据库的安全性，从而提升系统的整体安全级别。

5.根据权利要求1所述的基于分布式大型网站开发的技术框架系统，其特征在于：所述模型层模块内置可以监控数据层的服务状态功能，当数据层出现故障不能继续提供服务的问题，可以将故障服务器自动从服务器群中移出，并自动进行服务迁移，让系统拥有极高的高可用性。

6.根据权利要求1所述的基于分布式大型网站开发的技术框架系统，其特征在于：所述模型层模块内置独创的动态类，在开发过程中，可以在没有类定义之前，通过基类快速生成对象进行数据操作，后续如果要扩展类功能，只要进行类定义既可，实现了快速开发与不断扩展功能完美结合。

Images