CN111556039B - 一种通用微服务的web数据导出方法及装置 - Google Patents

Abstract

本发明公开了一种通用微服务的web数据导出方法及装置，通过微服务提供一个初始化注册接口I，用来获取Token鉴权码，便于使用该微服务，并根据配置的前端框架自适应给出相应数据处理策略G；该方法无需编写后端导出接口，导出字段与查询字段保持一致、使用方便，无需增加额外依赖包。同时该服务支持当前4大主流前端框架，可根据不同框架给出不同策略，根据第一次初始化配置框架，即可所有所属页面使用通用功能；用户后端导出接口即可省略，无需自己手动添加即可导出页面数据，简单易用。

Description

一种通用微服务的web数据导出方法及装置

技术领域

本发明涉及智能交通和计算机研究领域，具体涉及一种通用微服务的web数据导出方法及装置。

背景技术

随着大数据时代的到来，人们需要获取大量的数据来进行分析，而分析结果的展示和保存也就越来越重要，因此，如何利用一款便捷通用的微服务来实现结果的导出成为了一个重要的工作。在实现本发明过程中，发明人发现现有技术中至少存在如下问题：数据分析结果的呈现方式中，表格最常使用，可以根据不同查询条件、数据格式直观全面的展示目标数据，便于二次编辑或保留数据，而目前将web端的数据展示转换为表格文件导出的操作尤为繁琐，大多web项目中页面中每增加一个导出按钮，后台即需新增导出接口及javabean实体类，且页面列字段变更时前后端都需进行代码更改，重复且繁琐，或是基于前端技术进行表格导出，极易影响性能。

发明内容

为了克服现有技术的不足，本公开实施例提供了一种通用微服务的web数据导出方法及装置，提高了数据导出的便捷性。

第一方面，提供了一种通用微服务的web数据导出方法，所述方法包括：

步骤1，通过微服务提供一个初始化注册接口I，用来获取Token鉴权码，便于使用微服务，并根据配置的前端框架自适应给出相应数据处理策略G，初始化需要传入三个参数：前端框架类型Type、前端框架版本Version、使用者的公司名称Company。

步骤2.1，微服务提供导出接口H，对需导出的页面增加导出按钮后，调用导出接口H，向导出请求Q的报文头中传入Token鉴权码，并根据API接口文档格式传入对应的参数，若Token鉴权码校验失败，返回“未知身份错误”提示，若Token鉴权码校验成功，得到初始化时提交的类型Type相对应的数据解析策略C。

步骤2.2，根据传入参数页面源地址Path，利用python技术获取网页源代码HTML，利用python源代码解析规则解析网页展示的表格数据D，其中包含列名T以及第一行数据R1，形成列名T与数据R1的对应关系，即列名T与数据R的对应关系。

步骤3，根据参数中获取的查询接口Interface和查询条件Condition，利用httpClient调用Interface接口，获取到表格响应数据O，形式为json数据形式，json的key值即为字段F，Value值即为数据R，为页面渲染表格的源数据；根据表格响应数据O中第一组数据O1，得到数据R与字段F的对应关系，再与步骤2.2中列名T与数据R的对应关系进行比较，得到列名T与字段F的对应关系，即得到需导出的表格数据M。

步骤4，利用python的支撑库xlwt模块打开一个workbook文件并将数据M循环遍历写入生成表格文件流，xlwt模块专用于读写excel文件，根据xlwt.workbook()生成空白excel，然后将步骤3中的数据M遍历写入workbook，生成excel文件的http文件流，响应给用户，web数据导出结束。

第二方面，提供了一种通用微服务的web数据导出装置，该装置包括第一模块、第二模块、第三模块、第四模块，上述模块依次电连接。

所述第一模块，用于执行一种通用微服务的web数据导出方法的步骤1的步骤。

所述第二模块，用于执行一种通用微服务的web数据导出方法的步骤2的步骤。

所述第三模块，用于执行一种通用微服务的web数据导出方法的步骤3的步骤。

所述第四模块，用于执行一种通用微服务的web数据导出方法的步骤4的步骤。

与现有技术相比，上述技术方案中的一个技术方案具有如下有益效果：方便快捷且无需再编写各页面导出接口，导出与页面展示保持一致，字段更改只需更改前端即可，省时省力。

附图说明

图1为本公开实施例提供的一种通用微服务的web数据导出方法流程图。

具体实施方式

为了阐明本发明的技术方案和工作原理，下面将结合附图对本公开实施方式做进一步的详细描述。

本申请的说明书和权利要求书及上述附图中的术语“步骤1”、“步骤2”、“步骤3”等类似描述是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里描述的那些以外的顺序实施。

表1接口I

表2接口H

第一方面：本公开实施例提供了一种通用微服务的web数据导出方法：附图1为本公开实施例提供的一种通用微服务的web数据导出方法流程图，结合该图，并结合表1接口I和表2接口H的描述，该方法主要包括以下步骤：

步骤1，通过微服务提供一个初始化注册接口I，用来获取Token鉴权码，便于使用微服务，并根据配置的前端框架自适应给出相应数据处理策略G，初始化需要传入三个参数：前端框架类型Type、前端框架版本Version、使用者的公司名称Company。

优选的，步骤1中所述前端框架类型Type包括：Vue、Angular、React、Bootstrap中的任一种，针对不同的前端框架类型，微服务提供不同的数据解析策略。

Type为前端框架类型：传入Vue、Angular、React、Bootstrap中的任一种类型，这分别对应目前前端四大主流框架，针对不同框架生成html数据格式不同，微服务提供对应4种数据解析策略。

Version为前端框架版本：不同前端框架版本之间，某些数据处理已经数据展示格式不同，所以需要清楚给出使用框架版本。

Company为使用者的公司名称：公司全称，生成加密鉴权码转码需要，且后续便于统计该微服务使用状况。

优选的，步骤1还包括：微服务收到初始化请求并进行参数校验，参数正确时进行保存，并通过加密算法生成专属Token鉴权码返回用户，参数错误时提示用户错误。该操作类似网站授权，用于后续调用服务api时校验身份。

步骤2.1，微服务提供导出接口H，对需导出的页面增加导出按钮后，调用导出接口H，向导出请求Q的报文头中传入Token鉴权码，并根据API接口文档格式传入对应的参数，若Token鉴权码校验失败，返回“未知身份错误”提示，若Token鉴权码校验成功，得到初始化时提交的类型Type相对应的数据解析策略C。

步骤2.2，根据传入参数页面源地址Path，利用python技术获取网页源代码HTML，利用python源代码解析规则解析网页展示的表格数据D，其中包含列名T以及第一行数据R1，形成列名T与数据R的对应关系。

优选的，所述步骤2.1，具体为，导出接口H收到导出请求Q，校验导出请求Q的报文头中Token鉴权码，若Token鉴权码校验失败，返回未知身份错误，若Token鉴权码校验成功，得到初始化时提交的类型Type相对应的数据解析策略C，获取导出请求Q报文体中的请求参数，根据API接口文档的传参说明进行解析：所述API接口文档的传参说明包含：Path、Condition、Interface、PageNum、PageSize、FileName，其中Path为导出按钮所在页面源地址，通过Path获取响应HTML格式的数据；Condition为查询条件；Interface为查询接口，通过查询接口可以获取json格式的数据响应报文；PageNum和PageSize分别为导出的页数和每页展示的数据条数；FileName为导出文件的文件名。比如：参数为Path:"https://xingzheyi:8008/api/table",Condition:{"busId":7053,"date":"2020-03-10","endTime":"2020-03-10 23:59:59","interval":3600,"lineId":"1083","startTime":"2020-03-1005:00:00"},Interface:https://xingzheyi:8888/current/export",PageNum:20,PageSize:1,FileName:"月度报表展示.xlsx"。

优选的，所述步骤2.2，具体为，根据参数页面路径Path，利用python技术根据页面路径爬虫获取页面源代码HTML，同时根据对应的数据解析策略C利用正则表达式，匹配HTML中<thead>标签，获取整个<thead>标签的数据，赋值给python的变量中，然后通过正则表达式或者BeautifulSoup获取每一个<th>标签的innerText，即为列名T；然后获取HTML中的<tbody>标签的数据，通过正则表达式或者BeautifulSoup获取第一个<td>标签的innerText，即为表格内容B，获取第一行数据R1，(这里只获取第一行表格数据R，因为页面展示数据会有分页展示情况，所以需通过httpClient从后台获取得到数据)根据列名T以及第一行数据R1，形成列名T与数据R的对应关系。

<thead>标签定义表格的表头，用于组合HTML表格的表头内容，<tbody>标签表格主体或正文，用于组合HTML表格的主体内容。<th>标签为表头单元格，包含表头信息，<td>标签为包含数据的标准单元格，BeautifulSoup是一个HTML/XML的解析器，主要的功能是如何解析和提取HTML/XML数据。比如：获取到列名T：司机名、工号、部门ID，第一行数据R1：韦一、0108、1，所以列名T与数据R对应关系即为：司机名-韦一、工号-0108、部门ID-1。

步骤3，根据参数中获取的查询接口Interface和查询条件Condition，利用httpClient调用Interface接口，获取到表格响应数据O，形式为json数据形式，json的key值即为字段F，Value值即为数据R，为页面渲染表格的源数据；(其中第一组数据内容O1与步骤2.2中数据R必为相同数据，因为数据R为数据O经前端页面渲染而来)。根据表格响应数据O中第一组数据O1，得到数据R与字段F的对应关系，再与步骤2.2中列名T与数据R的对应关系进行比较，得到列名T与字段F的对应关系，也就意味着以字段F为key的数据值，即为列名T下所属数据。如此便即得到需导出的表格数据M。

比如：获取得到数据O：list:[{name:"韦一",jobNumber:"0108",orgId:1},{name:"张二",jobNumber:"0109",orgId:2}]，其中，字段F与数据O1的对应关系为，name-韦一、jobNumber-0108、orgId-1。

利用数据传递性，则列名T与字段的对应关系为司机名-name、工号-jobNumber、部门ID-orgId。

步骤4，利用python的支撑库xlwt模块打开一个workbook文件并将数据M循环遍历写入生成表格文件流，(python拥有一个强大的标准库，提供了系统管理、网络通信、文本处理、数据库接口、图形系统、XML处理等一系列的功能,)xlwt模块专用于读写excel文件，(功能强大且使用简便)根据xlwt.workbook()生成空白excel，然后将步骤3中的数据M遍历写入workbook，生成excel文件的http文件流，响应给用户，web数据导出结束。

上述实施例中的一个技术方案具有如下有益效果：无需编写后端导出接口、导出字段与查询字段保持一致、使用方便，无需增加额外依赖包。同时该服务支持当前4大主流前端框架，可根据不同框架给出不同策略，根据第一次初始化配置框架，即可所有所属页面使用通用功能；用户后端导出接口即可省略，无需自己手动添加即可导出页面数据，简单易用。

第二方面，本公开实施例提供了一种通用微服务的web数据导出装置，包括第一模块、第二模块、第三模块、第四模块，上述模块依次电连接。

所述第一模块，用于执行所有可能的实现方法中任一项所述的一种通用微服务的web数据导出方法的步骤1的步骤。

所述第二模块，用于执行所有可能的实现方法中任一项所述的一种通用微服务的web数据导出方法的步骤2的步骤。

所述第三模块，用于执行所有可能的实现方法中任一项所述的一种通用微服务的web数据导出方法的步骤3的步骤。

所述第四模块，用于执行所有可能的实现方法中任一项所述的一种通用微服务的web数据导出方法的步骤4的步骤。

需要说明的是，上述实施例提供的一种通用微服务的web数据导出装置在执行一种通用微服务的web数据导出方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外上述实施例提供的一种通用微服务的web数据导出装置与一种通用微服务的web数据导出方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

以上结合附图对本发明进行了示例性描述，显然，本发明具体实现并不受上述方式的限制，凡是采用了本发明的方法构思和技术方案进行的各种非实质性的改进；或者未经改进、等同替换，将本发明的上述构思和技术方案直接应用于其他场合的，均在本发明的保护范围之内。

Claims (6)

1.一种通用微服务的web数据导出方法，其特征在于，包括如下步骤：

步骤1，通过微服务提供一个初始化注册接口I，用来获取Token鉴权码，便于使用微服务，并根据配置的前端框架自适应给出相应数据处理策略G，初始化需要传入三个参数：前端框架类型Type、前端框架版本Version、使用者的公司名称Company；

步骤2，形成列名T与第一行数据R1的对应关系；

步骤2.1，微服务提供导出接口H，对需导出的页面增加导出按钮后，调用导出接口H，向导出请求Q的报文头中传入Token鉴权码，并根据API接口文档格式传入对应的参数，若Token鉴权码校验失败，返回“未知身份错误”提示，若Token鉴权码校验成功，得到初始化时提交的类型Type相对应的数据解析策略C；

步骤2.2，根据传入参数页面源地址Path，利用python技术获取网页源代码HTML，利用python源代码解析规则解析网页展示的表格数据D，其中包含列名T以及第一行数据R1，形成列名T与第一行数据R1的对应关系，即列名T与数据R的对应关系；

步骤3，根据参数中获取的查询接口Interface和查询条件Condition，利用httpClient调用Interface接口，获取到表格响应数据O，形式为json数据形式，json的key值即为字段F，Value值即为数据R，为页面渲染表格的源数据；根据表格响应数据O中第一组数据O₁，得到数据R与字段F的对应关系，再与步骤2.2中列名T与数据R的对应关系进行比较，得到列名T与字段F的对应关系，即得到需导出的表格数据M；

步骤4，利用python的支撑库xlwt模块打开一个workbook文件并将数据M循环遍历写入生成表格文件流，xlwt模块专用于读写excel文件，根据xlwt.workbook生成空白excel，然后将步骤3中的数据M遍历写入workbook，生成excel文件的http文件流，响应给用户，web数据导出结束。

2.根据权利要求1所述的一种通用微服务的web数据导出方法，其特征在于，步骤1中所述前端框架类型Type包括：Vue、Angular、React、Bootstrap中的任一种，针对不同的前端框架类型，微服务提供不同的数据解析策略。

3.根据权利要求1所述的一种通用微服务的web数据导出方法，其特征在于，步骤1还包括：微服务收到初始化请求并进行参数校验，参数正确时进行保存，并通过加密算法生成专属Token鉴权码返回用户，参数错误时提示用户错误。

4.根据权利要求1-3任一项所述的一种通用微服务的web数据导出方法，其特征在于，所述步骤2.1，具体为，导出接口H收到导出请求Q，校验导出请求Q的报文头中Token鉴权码，若Token鉴权码校验失败，返回未知身份错误，若Token鉴权码校验成功，得到初始化时提交的类型Type相对应的数据解析策略C，获取导出请求Q报文体中的请求参数，根据API接口文档的传参说明进行解析：所述API接口文档的传参说明包含：Path、Condition、Interface、PageNum、PageSize、FileName，其中Path为导出按钮所在页面源地址，通过Path获取响应HTML格式的数据；Condition为查询条件；Interface为查询接口，通过查询接口可以获取json格式的数据响应报文；PageNum和PageSize分别为导出的页数和每页展示的数据条数；FileName为导出文件的文件名。

5.根据权利要求4所述的一种通用微服务的web数据导出方法，其特征在于，所述步骤2.2，具体为，根据参数页面路径Path，利用python技术根据页面路径爬虫获取页面源代码HTML，同时根据对应的数据解析策略C利用正则表达式，匹配HTML中<thead>标签，获取整个<thead>标签的数据，赋值给python的变量，然后通过正则表达式或者BeautifulSoup获取每一个<th>标签的innerText，即为列名T；然后获取HTML中的<tbody>标签的数据，通过正则表达式或者BeautifulSoup获取第一个<td>标签的innerText，即为表格内容B，获取第一行数据R1，根据列名T以及第一行数据R1，形成列名T与数据R的对应关系。

6.一种通用微服务的web数据导出装置，其特征在于，该装置包括第一模块、第二模块、第三模块、第四模块，上述模块依次电连接，

所述第一模块，用于执行权利要求1-5任一项所述的一种通用微服务的web数据导出方法的步骤1的步骤；

所述第二模块，用于执行权利要求1-5任一项所述的一种通用微服务的web数据导出方法的步骤2的步骤；

所述第三模块，用于执行权利要求1-5任一项所述的一种通用微服务的web数据导出方法的步骤3的步骤；

所述第四模块，用于执行权利要求1-5任一项所述的一种通用微服务的web数据导出方法的步骤4的步骤。

Images