CN110362567A - 一种分布式部署的话费前端平台和财务报表导出方法 - Google Patents

Abstract

本发明提出了一种分布式部署的话费前端平台和财务报表导出方法，通过在mysql数据库创建表单时，使用innooDB驱动选择表单，在表单常用的查询键值上做索引，可以快速的读取mysql数据库中的数据；同时，mysql数据库在常规的业务数据管理上，使用SQL_CALC_FOUND_ROWS分页技术，提高查询速度，即使总数据内容超过10万，仍旧能能够在几十毫秒内显示查询内容，并且分页显示速度也是如此；通过将mysql数据库查询内容直接生成csv写入响应的方法，可以解决导出超大数据表格的问题，导出的财务报表数据中文无乱码，无格式错乱，可一次性导出30万以上条数据。

Description

一种分布式部署的话费前端平台和财务报表导出方法

技术领域

本发明涉及数据库领域，尤其涉及一种分布式部署的话费前端平台和财务报表导出方法。

背景技术

现有大多API接口的平台为整合式，既前端、后端和数据库在一台服务器上，在面对高并发时，对服务器性能要求高，并且因为高并发后，每提升1并发所需要的性能远超过低并发，所以在性价比方面会低很多，前端主要作为业务管理使用，管理上的功能都大同小异，但是在财务方面，报表导出是个很关键的问题。市面大多平台对于导出excel表格的支持都不大好，容易出现中文乱码，格式不正确等问题，更容易出现无法导出超大表格的问题；再者数据都在一台服务器所含的数据安全隐患更大。因此，本发明提供一种分布式部署的话费前端平台和财务报表导出方法，可以提高数据安全性，并且可以快速查找和导出格式无误的财务报表。

发明内容

有鉴于此，本发明提出了本发明提供一种分布式部署的话费前端平台和财务报表导出方法，可以提高数据安全性，并且可以快速查找和导出格式无误的财务报表。

本发明的技术方案是这样实现的：本发明提供了一种分布式部署的话费前端平台，其包括发送请求的网页浏览器，接收请求并作出响应的服务器，存储、管理和访问数据的mysql数据库，快速生成数据库的存储表的Web应用Django，服务器包括实现反向代理、处理静态请求、索引文件以及自动索引的Nginx服务器和实现WSGI协议、uwsgi和http协议的uWSGI服务器；

mysql数据库创建表单时，使用innooDB驱动选择表单，在表单常用的查询建值上做索引；

网页浏览器向Nginx服务器发送导出财务报表的请求，Nginx服务器接收请求并分析请求，若是静态请求，则读取Nginx服务器磁盘并返回，若是动态请求，则将所有的请求信息转发给uWSGI服务器，uWSGI服务器接收请求，并通过Web应用Django进行url匹配找到请求的视图函数，在mysql数据库中提取相应的数据，返回响应，网页浏览器接收响应。

在以上技术方案的基础上，优选的，mysql数据库在财务报表数据管理上，使用SQL_CALC_FOUND_ROWS分页技术。

进一步优选的，uWSGI服务器将从mysql数据库中提取的财务报表数据生成csv文件，并将csv文件与响应导出请求的数据流进行绑定。

进一步优选的，网页浏览器通过绑定的数据流对导出财务报表请求进行响应下载。

在以上技术方案的基础上，优选的，Web应用Django的架构包括顺次信号连接的控制器、视图和模型，以及分别与控制器和视图信号连接的模板；

模型管理应用程序的状态；

视图负责把数据格式化后呈现给用户；

模板在页面或其他类型文档中显示获取数据；

控制器接受外部用户的操作，根据操作访问模型获取数据，并调用视图显示这些数据。

进一步优选的，UWSGI服务器通过Web应用Django调用mysql数据库中的数据流程为：在控制器中输入访问URL，根据URL匹配相应视图函数，视图根据视图函数到模型中获取相应的数据，模型到mysql数据库中获取相应的数据，并将数据返回给视图，视图把要展示的数据格式化后返回给模板，模板将格式为html的文件传送给控制器。

另一方面，本发明还提供了一种财务报表导出方法，包括以下步骤：

S1、通过nginx+uwsgi+Django的反向代理组成的高并发、高安全性的话费平台，在数据库方面使用mysql数据库；

S2、mysql数据库在创建表单时，使用innooDB驱动选择表单，并在表单常用的查询建值上做索引；

S3、mysql数据库在财务报表数据管理上，使用SQL_CALC_FOUND_ROWS分页技术；

S4、在mysql数据库导出财务报表数据时，话费平台将mysql数据库中查询的财务报表数据生成csv文件，并将csv文件与响应导出请求的数据流进行绑定；

S5、话费平台通过绑定的数据流对导出财务报表请求进行响应下载。

本发明的一种分布式部署的话费前端平台和财务报表导出方法相对于现有技术具有以下有益效果：

(1)通过nginx+uwsgi+Django的反向代理组成的高并发、高安全性的话费平台，可以利用分布式部署，将数据分散的存储于多台独立的机器设备上，采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，不但可以解决前端、后端和数据库在一台服务器而造成的数据不安全问题，还可以在前端性能占用很高时保证后端进行的业务没有任何影响；

(2)通过在mysql数据库创建表单时，使用innooDB驱动选择表单，在表单常用的查询键值上做索引，可以快速的读取mysql数据库中的数据；同时，mysql数据库在常规的业务数据管理上，使用SQL_CALC_FOUND_ROWS分页技术，提高查询速度，即使总数据内容超过10万，仍旧能能够在几十毫秒内显示查询内容，并且分页显示速度也是如此；

(3)通过将mysql数据库查询内容直接生成csv写入响应的方法，可以解决导出超大数据表格的问题，导出的财务报表数据中文无乱码，无格式错乱，可一次性导出30万以上条数据。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种分布式部署的话费前端平台的结构图；

图2为本发明一种分布式部署的话费前端平台提取相应数据的流程图；

图3为本发明一种分布式部署的话费前端平台中uWSGI服务器通过Web应用Django调用mysql数据库中的数据流程图；

图4为本发明一种财务报表导出方法的流程图。

具体实施方式

下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

实施例一、

如图1所示，本发明的一种分布式部署的话费前端平台，其包括发送请求的网页浏览器，接收请求并作出响应的服务器，存储、管理和访问数据的mysql数据库，快速生成数据库的存储表的Web应用Django。

在本实施例中，服务器包括实现反向代理、处理静态请求、索引文件以及自动索引的Nginx服务器和实现WSGI协议、uwsgi和http协议的uWSGI服务器。Nginx服务器是一个轻量级、高性能、稳定性高、并发性好的HTTP和反向代理服务器，在本实施例中，Nginx服务器的功能主要有以下三点功能：

第一点，主要用来代理要访问的目标服务器，可以根据不同的正则采用不同的转发策略，在本实施例中，Nginx服务器采用的转发策略是：若请求是静态请求，则读取服务器磁盘，若请求是动态请求，则将动态请求转发给uWSGI服务器；

第二点，用于负载均衡，多在高并发情况下需要使用，其原理就是将数据流量分摊到多个服务器执行，减轻每台服务器的压力，多台服务器共同完成工作任务，从而提高了数据的吞吐量，即使在高并发情况下，也不会出现查询速度慢，导出数据表格格式有问题的情况；

第三点，把动态请求和静态请求分离开，合适的服务器处理相应的请求，使整个服务器系统的性能、效率更高。Nginx服务器根据配置对不同的请求做不同转发，这是动态分离的基础。静态请求对应的静态资源可以直接放在Nginx服务器上做缓冲，动态请求由uWSGI服务器处理。

uWSGI服务器可以实现WSGI协议、uwsgi和http协议等协议，并且具有超快的性能、低内存占用、多app管理、详尽的日志功能和高度可定制特点，在本实施例中，主要用于处理由Nginx服务器转发的动态请求，并实现与Nginx服务器以uwsgi协议通信。

Web应用Django在mysql数据库建立好对应关系后，可以自动生成mysql数据库的存储表。Web应用Django的架构包括顺次信号连接的控制器、视图和模型，以及分别与控制器和视图信号连接的模板；其中，模型管理应用程序的状态；视图负责把数据格式化后呈现给用户；模板在页面或其他类型文档中显示获取数据；控制器接受外部用户的操作，根据操作访问模型获取数据，并调用视图显示这些数据。如图3所示，uWSGI服务器通过Web应用Django调用mysql数据库中的数据流程为：在控制器中输入访问URL，根据URL匹配相应视图函数，视图根据视图函数到模型中获取相应的数据，模型到mysql数据库中获取相应的数据，并将数据返回给视图，视图把要展示的数据格式化后返回给模板，模板将格式为html的文件传送给控制器。

如图2和图3所示，当需要导出财务报表时，网页浏览器向Nginx服务器发送导出财务报表的请求，Nginx服务器接收请求并分析请求，若是静态请求，则读取服务器磁盘并返回，若是动态请求，则将所有的请求信息转发给uWSGI服务器，uWSGI服务器接收请求，并将要访问的URL输入Web应用Django的控制器中，控制器根据URL匹配相应视图函数，视图根据视图函数到模型中获取相应的数据，进行url匹配找到请求的视图函数，模型到mysql数据库中获取相应的数据，并将数据返回给视图，视图把要展示的数据格式化后返回给模板，模板将格式为html的文件传送给控制器，控制器将html文件传输给uWSGI服务器，uWSGI服务器返回响应，网页浏览器接收响应。通过nginx+uwsgi+Django的反向代理组成的高并发、高安全性的话费前端平台，在高并发情况下，将数据流量分摊到多个服务器执行，减轻每台服务器的压力，多台服务器共同完成工作任务，从而提高了数据的吞吐量，可以为解决财务报表导出问题提供基础架构。

mysql数据库是一个关系型数据库管理数据库，将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。mysql数据库由一个或多个表格组成，其中一个表格包括表头、列、行、值和键，表头为每一列的名称；列为具有相同数据类型的数据的集合；行为每一行用来描述某条记录的具体信息；值为行的具体信息，每个值必须与该列的数据类型相同；键的值在当前列中具有唯一性；若干个行和列组成一张表单，若干个表单组成数据库。在本实施例中，mysql数据库创建表单时，使用innooDB驱动选择表单，在表单常用的查询键值上做索引，可以快速的读取mysql数据库中的数据；同时，mysql数据库在财务报表数据管理上，使用SQL_CALC_FOUND_ROWS分页技术，SQL_CALC_FOUND_ROWS分页技术可以简化SQL语句，并且在频繁使用查询的话费平台中，可以带来1/3的数据库性能提升，还可以提高查询速度，即使总数据内容超过10万，仍旧能能够在几十毫秒内显示查询内容，并且分页显示速度也是如此。在导出财务报表数据时，uWSGI服务器将从mysql数据库中提取的财务报表数据生成csv文件，并将csv文件与响应导出请求的数据流进行绑定，网页浏览器通过绑定的数据流对导出财务报表请求进行响应下载。通过将mysql数据库查询内容直接生成csv写入响应的方法，可以解决导出超大数据表格的问题，导出的财务报表数据中文无乱码，无格式错乱，可一次性导出30万以上条数据，虽然导出表格时的性能占用很高，但是因为本实施例中的话费前端平台为分布式部署，所以对于后端进行的业务也没有任何影响。

实施例二、

如图4所示，本实施例在实施例一的基础上，提供一种财务报表导出方法，包括以下步骤：

S1、通过nginx+uwsgi+Django的反向代理组成的高并发、高安全性的话费平台，在数据库方面使用mysql数据库；其中，话费平台为实施例一里的分布式部署的话费前端平台，因此，在此不再详细介绍。

S2、mysql数据库在创建表单时，使用innooDB驱动选择表单，并在表单常用的查询建值上做索引；选择innooDB驱动和在查询建值上做索引都是为了在请求导出财务报表数据时，可以快速准确地查找到所需的财务报表，提高查询速度，即使总数据内容超过10万，仍旧能能够在几十毫秒内显示查询内容。

S3、mysql数据库在财务报表数据管理上，使用SQL_CALC_FOUND_ROWS分页技术；SQL_CALC_FOUND_ROWS分页技术可以简化SQL语句，并且在频繁使用查询的话费平台中，可以带来1/3的数据库性能提升。

S4、在mysql数据库导出财务报表数据时，话费平台将mysql数据库中查询的财务报表数据生成csv文件，并将csv文件与响应导出请求的数据流进行绑定；可以解决导出超大数据表格的问题，导出的财务报表数据中文无乱码，无格式错乱，可一次性导出30万以上条数据。

S5、话费平台通过绑定的数据流对导出财务报表请求进行响应下载。

以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种分布式部署的话费前端平台，其包括发送请求的网页浏览器，接收请求并作出响应的服务器，存储、管理和访问数据的mysql数据库，快速生成数据库的存储表的Web应用Django，其特征在于：所述服务器包括实现反向代理、处理静态请求、索引文件以及自动索引的Nginx服务器和实现WSGI协议、uwsgi和http协议的uWSGI服务器；

所述mysql数据库创建表单时，使用innooDB驱动选择表单，在表单常用的查询建值上做索引；

所述网页浏览器向Nginx服务器发送导出财务报表的请求，Nginx服务器接收请求并分析请求，若是静态请求，则读取Nginx服务器磁盘并返回，若是动态请求，则将所有的请求信息转发给uWSGI服务器，uWSGI服务器接收请求，并通过Web应用Django进行url匹配找到请求的视图函数，在mysql数据库中提取相应的数据，返回响应，网页浏览器接收响应。

2.如权利要求1所述的一种分布式部署的话费前端平台，其特征在于：所述mysql数据库在财务报表数据管理上，使用SQL_CALC_FOUND_ROWS分页技术。

3.如权利要求2所述的一种分布式部署的话费前端平台，其特征在于：所述uWSGI服务器将从mysql数据库中提取的财务报表数据生成csv文件，并将csv文件与响应导出请求的数据流进行绑定。

4.如权利要求3所述的一种分布式部署的话费前端平台，其特征在于：所述网页浏览器通过绑定的数据流对导出财务报表请求进行响应下载。

5.如权利要求1所述的一种分布式部署的话费前端平台，其特征在于：所述Web应用Django的架构包括顺次信号连接的控制器、视图和模型，以及分别与控制器和视图信号连接的模板；

所述模型管理应用程序的状态；

所述视图负责把数据格式化后呈现给用户；

所述模板在页面或其他类型文档中显示获取数据；

所述控制器接受外部用户的操作，根据操作访问模型获取数据，并调用视图显示这些数据。

6.如权利要求5所述的一种分布式部署的话费前端平台，其特征在于：所述UWSGI服务器通过Web应用Django调用mysql数据库中的数据流程为：在控制器中输入访问URL，根据URL匹配相应视图函数，视图根据视图函数到模型中获取相应的数据，模型到mysql数据库中获取相应的数据，并将数据返回给视图，视图把要展示的数据格式化后返回给模板，模板将格式为html的文件传送给控制器。

7.一种财务报表导出方法，其特征在于：包括以下步骤：

S1、通过nginx+uwsgi+Django的反向代理组成的高并发、高安全性的话费平台，在数据库方面使用mysql数据库；

S2、mysql数据库在创建表单时，使用innooDB驱动选择表单，并在表单常用的查询建值上做索引；

S3、mysql数据库在财务报表数据管理上，使用SQL_CALC_FOUND_ROWS分页技术；

S4、在mysql数据库导出财务报表数据时，话费平台将mysql数据库中查询的财务报表数据生成csv文件，并将csv文件与响应导出请求的数据流进行绑定；

S5、话费平台通过绑定的数据流对导出财务报表请求进行响应下载。