CN103226545A

CN103226545A - 数据格式转换的系统、批量导入贷款信息的方法和系统

Info

Publication number: CN103226545A
Application number: CN2013101370054A
Authority: CN
Inventors: 王伟; 邓玉; 周振; 邓梁; 周小伟; 李建华; 邓小茜; 张楠; 李友峰
Original assignee: China Construction Bank Corp
Current assignee: China Construction Bank Corp
Priority date: 2013-04-19
Filing date: 2013-04-19
Publication date: 2013-07-31

Abstract

本发明公开了一种数据格式转换的系统、批量导入贷款信息的方法和系统。其中，一种实现网站后台数据格式转换的系统包括：Web服务器，用于接收用户通过客户端浏览器提交的Excel文件；应用服务器，与所述Web服务器通信，所述应用服务器包括用于将所述Excel文件的数据转换为文本格式数据的基于Perl的格式转换模块。通过在网站后端应用服务器上统一进行数据格式转换，可有效避免由于客户端操作系统及所安装的Office软件版本不同所造成的字符编码、回车换行等问题，以及Excel数据格式转换VB宏无法运行的问题。

Description

数据格式转换的系统、批量导入贷款信息的方法和系统

技术领域

本发明涉及数据处理技术，更为具体而言，涉及一种在网站后台实现数据格式转换的系统以及采用该系统批量导入贷款信息的方法和系统。

背景技术

随着信息技术的发展，中国建设银行建立了“二手房电子交易平台”，称为“房e通”。通过“房e通”，客户可以足不出户，在线完成申请贷款、管理贷款、支用贷款、贷后管理及贷款归还等一系列流程。

由于个人贷款销售服务系统(Personal Loan Sale System，PLSS，是建设银行一种个人贷款申请和楼盘营销平台，用于行内用户录入楼盘营销产品信息以及处理客户贷款申请信息)后端每天定期接收并导入其系统的批量接口报文为文本形式，而“房e通”前端设计考虑便于用户操作和良好客户体验，则需采用Excel文件的形式输入批量贷款申请信息。

现有技术方案利用VB宏命令（VBA：Visual Basic for Applications，是一种Visual Basic的一种宏语言，主要能用来扩展Windows的应用程式功能，特别是Microsoft Office软件，也可说是一种应用程式视觉化的Basic Script。1994年发行的Excel5.0版本中，即具备了VBA的宏功能。）将Excel格式文件转换为文本文件，该方案由用户在客户端通过VB宏进行格式转换，如图1所示，流程如下：

首先，用户从“房e通”下载批量申请贷款模板，按照要求填写贷款申请信息。通过在提供给用户的Excel格式批量贷款申请模板上增加格式转换按钮，由用户在填完贷款申请信息后点击该按钮，在本机上自行转换为文本格式文件。从而通过VB宏将贷款申请信息的Excel文件转换为文本格式文件。

然后，用户通过“房e通”的提交用户数据文件模块将该文本文件导入上传。“房e通”将其发送到ECTIP（ECTIP：企业级电子渠道交易整合平台，是建设银行一种企业应用集成平台，用于在不同系统之间传递消息），通过ECTIP调用文件传输服务，将该报文传送给后端PLSS系统。

最后，PLSS系统接收批量贷款申请报文，进行数据加载，将其写入PLSS系统数据库，从而完成批量申请贷款信息的写入。

但在实际生产环境中，现有技术方案逐渐暴露出一系列问题。该方案往往在微软办公软件版本升级及或者相关库缺失时，导致用户在使用该附带宏的ECXEL模板过程中出现一系列格式转换出错及信息丢失的问题。现有技术方案主要缺点如下：

1）由于客户端操作系统及所安装的Office软件版本不同，运行于其上的数据格式转换程序需要考虑字符编码、回车换行等问题。并且由于VB宏运行环境的不同，经常会出现无法进行数据格式转换的问题。

2）在客户端的Excel模板中VB宏脚本专注于数据格式转换，无法对数据格式有效性进行预判断，导致错误数据的格式转换，需要后端PLSS系统在装载时进行格式检查。

3）VB宏运行环境的约束，要求客户端必须安装或者更新相关库。在离线条件下使用宏转换功能导致Excel文件频频报错，甚至死机。

发明内容

针对以上技术缺点，本发明提供了一种在网站后台实现数据格式转换的系统以及采用该系统批量导入贷款信息的方法和系统。

一方面，根据本发明实施方式，提供了一种实现网站后台数据格式转换的系统，包括：

Web服务器，用于接收用户通过客户端浏览器提交的Excel文件；

应用服务器，与所述Web服务器通信，所述应用服务器包括用于将所述Excel文件的数据转换为文本格式数据的基于实用报表提取语言（PracticalExtraction and Report Language，Perl,是一种高级、通用、直译式、动态的程序语言）的格式转换模块。

另一方面，根据本发明实施方式，提供了一种批量导入贷款信息的系统，包括：

Web服务器，用于接收用户通过客户端浏览器批量提交的包含贷款信息的Excel文件；

应用服务器，与所述Web服务器通信，所述应用服务器包括用于将所述Excel文件的数据转换为文本格式的数据的基于Perl的格式转换模块以及用于将存储有转换得到的文本格式数据的文本文件提交至后台个人贷款销售服务系统；

个人贷款销售服务系统，用于接收所述应用服务器提交的文本文件并将所述文本文件导入数据库服务器中。

相应的，根据本发明的另一实施方式，还提供了一种批量导入贷款信息的方法，包括：通过Web服务器接收用户通过客户端浏览器批量提交的包含贷款信息的Excel文件；所述Web服务器将所述Excel文件发送至应用服务器；利用设置在所述应用服务器上的Perl的格式转换模块，将所述Excel文件的数据转换为文本格式的数据；所述应用服务器将存储有转换得到的所述文本格式数据的文本文件提交至后台个人贷款销售服务系统；所述个人贷款销售服务系统接收所述应用服务器提交的文本文件并将所述文本文件导入数据库服务器中。

由上述可知，采用本发明技术方案，通过在网站后台有效将Excel格式文档转换为文本格式接口文件，而无需用户在客户端上进行格式转换操作，有效地克服了现有技术的上述缺陷。在客户端的Excel模板没有VB宏脚本执行，可以对数据格式有效性进行预判断，避免将错误数据提交后台数据格式转换程序。

用户可使用Excel模板随时随地完成批量贷款数据的填写，而不受网络和系统环境的影响。

格式转换处理过程移交中间服务器自动完成，避免了因办公软件的升级导致的兼容性问题，同时简化了用户的操作步骤。

附图说明

图1是现有技术导入贷款信息的方法流程图;

图2是根据本发明一种实施方式的实现网站后台数据格式转换的系统框图;

图3是根据本发明一种实施方式的批量导入贷款信息的系统框图；

图4是根据本发明各种实施方式的格式转换模块的框图；

图5是根据本发明另一种实施方式的应用服务器的框图；

图6是根据本发明另一种实施方式的格式转换模块的框图；

图7是根据本发明一种实施方式的批量导入贷款信息的方法的流程图；

图8是根据本发明另一种实施方式的批量导入贷款信息的系统框图；

图9是根据本发明另一种实施方式的批量导入贷款信息的方法的流程图。

具体实施方式

为了便于理解本发明技术方案的各个方面、特征以及优点，下面结合附图对本发明进行具体描述。应当理解，下述的各种实施方式只用于举例说明，而非用于限制本发明的保护范围。

参考图2，图示了根据本发明一种实施方式的实现网站后台数据格式转换的系统。在本实施方式中，所述系统包括：

Web服务器102，用于接收用户通过客户端浏览器101提交的Excel文件；

应用服务器103，与Web服务器102通信，其包括基于Perl的格式转换模块400，用于将所述Excel文件的数据转换为文本格式数据。

其中，如图4所示，所述基于Perl的格式转换模块400包括：

解析单元401，用于基于Spreadsheet::ParseExcel模块或Spreadsheet::XLSX模块解析Excel文件，从二进制的Excel文件中读取内容；例如，Spreadsheet::ParseExcel模块支持Excel95-2003格式的二进制文件，Spreadsheet::XLSX模块支持Excel2007格式的二进制文件，当然本发明不局限于此，本领技术人员可以根据实际需要对其进行变换或修改。

字符集转换单元402，用于基于Spreadsheet::ParseExcel::FmtUnicode模块进行字符集转换，设定输入Excel文件字符编码为CP936（CP936是Windows平台Excel文件默认字符编码集），输出字符编码为UTF-8（8-bit UnicodeTransformation Format，是一种针对Unicode的可变长度字符编码）；

输出单元403，用于根据字符集转换单元402的处理结果按行或列顺序读取解析单元401读取的内容并将其输出到文本文件中。

由此，本发明提供了一种能够在网站后台实现数据格式转换的系统，无需用户在客户端上进行格式转换操作，从而有效地避免了现有技术中，由于用户客户端操作系统或Office软件版本不同导致的各种问题。

在本发明的另一种实施方式中，如图5所示，所述应用服务器还包括：

合法性检查模块300，用于分析所述提交的Excel文件的合法性。

优选地，分析所述提交的Excel文件的合法性包括：检查来源渠道的固定值、数据起始行、行与行之间是否空行。

从而，可以对数据格式有效性进行预判断，避免导致错误数据的格式转换，无需后端其他系统在装载时进行格式检查。

参考图3，图示了根据本发明一种实施方式的批量导入贷款信息的系统。根据本实施方式，所述系统包括：

Web服务器102，用于接收用户通过客户端浏览器101批量提交的包含贷款信息的Excel文件；

应用服务器103，与Web服务器102通信，其包括用于将所述Excel文件的数据转换为文本格式的数据的基于Perl的格式转换模块400以及用于将存储有转换得到的文本格式数据的文本文件提交至后台个人贷款销售服务系统（PLSS）104，例如，通过ECTIP将文本文件提交至PLSS；

个人贷款销售服务系统104，用于接收所述应用服务器103提交的文本文件并将所述文本文件导入数据库服务器中。

优选地，如图4所示，所述基于Perl的格式转换模块包括：

解析单元401，用于基于Spreadsheet::ParseExcel模块或Spreadsheet::XLSX模块解析Excel文件，从二进制的Excel文件中读取内容；

字符集转换单元402，用于基于Spreadsheet::ParseExcel::FmtUnicode模块进行字符集转换，设定输入Excel文件字符编码为CP936，输出字符编码为UTF-8；

输出单元403，用于根据所述字符集转换单元的处理结果按行或列顺序读取所述解析单元读取的内容并将其输出到文本文件中。

从而，可有效避免由于客户端操作系统及所安装的Office软件版本不同所造成的字符编码、回车换行等问题，以及数据格式转换VB宏无法运行的问题。格式转换处理过程移交中间服务器自动完成，避免了因办公软件的升级导致的兼容性问题，同时简化了用户的操作步骤。用户可使用Excel模板随时随地完成批量贷款数据的填写，而不受网络和系统环境的影响。

其中，分析所述提交的Excel文件的合法性包括：检查来源渠道的固定值、数据起始行、行与行之间是否空行。

在本发明的另一种实施方式中，所述批量导入贷款信息的系统还包括：

参数检查模块，用于执行参数检查，所述参数包括贷款种类、输入文件、输出文件。例如，检查有没有贷款种类、输入文件名和输出文件名是否合法，并且在没有贷款种类或者输入文件名、输出文件名非法的情形下确定为参数检查不通过。

通过采用本发明技术方案，在客户端的Excel模板没有VB宏脚本执行，可以对数据格式有效性进行预判断，避免将错误数据提交后台数据格式转换程序。而且，网站后台数据格式转换程序在转换前后均可对数据格式有效性进行检查，有效避免由于数据错误造成的后端PLSS系统的运行压力。

在本发明的另一种实施方式中，如图6所示，所述格式转换模块还包括：

重命名单元404，用于按照批量接口文档命名规范对转换得到的文本文件自动重新命名。

相应的，本发明还提供了一种批量导入贷款信息的方法。如图7所示，在本发明的一种实施方式中，所述方法包括：

S100，通过Web服务器接收用户通过客户端浏览器批量提交的包含贷款信息的Excel文件；

S200，所述Web服务器将所述Excel文件发送至应用服务器；

S300，利用设置在所述应用服务器上的基于实用报表提取语言Perl的格式转换模块，将所述Excel文件的数据转换为文本格式的数据；

S400，所述应用服务器将存储有转换得到的所述文本格式数据的文本文件提交至后台个人贷款销售服务系统，例如，通过ECTIP将所述文本文件提交至后台个人贷款销售服务系统；

S500，所述个人贷款销售服务系统接收所述应用服务器提交的文本文件并将所述文本文件导入数据库服务器中。

在一个优选的实施方式中，将所述Excel格式的数据转换为文本格式的数据包括：

基于Spreadsheet::ParseExcel模块或Spreadsheet::XLSX模块解析Excel文件，从二进制的Excel文件中读取内容；

基于Spreadsheet::ParseExcel::FmtUnicode模块进行字符集转换，设定输入Excel文件字符编码为CP936，输出字符编码为UTF-8；

根据所述字符集转换单元的处理结果按行或列顺序读取所述解析单元读取的内容并将其输出到文本文件中。

在本发明的另一种实施方式中，所述方法在利用设置在应用服务器上的基于实用报表提取语言Perl的格式转换模块，将所述Excel文件的数据转换为文本格式的数据之前，分析所述提交的Excel文件的合法性。

具体地，分析所述提交的Excel文件的合法性包括：检查来源渠道的固定值、数据起始行、行与行之间是否空行。

在本发明的另一中实施方式中，所述方法还包括：在所述Web服务器将所述Excel文件发送至所述应用服务器之前，执行参数检查，所述参数包括贷款种类、输入文件、输出文件。

具体而言，执行参数检查包括：检查有没有贷款种类、输入文件名和输出文件名是否合法，并且在没有贷款种类或者输入文件名、输出文件名非法的情形下确定为参数检查不通过。

在本发明的其他实施方式中，所述方法还包括按照批量接口文档命名规范对所述格式转换模块转换得到的文本文件自动重新命名。

将数据格式转换程序部署在现有的App-Server上，不需要增加新的主机。直接利用现有UNIX环境自带的Perl脚本即可运行，不需要额外安装运行环境。

为了便于理解，下面以房e通为例对本发明的技术方案进行说明。

如图8所示，用户通过互联网（internet）与网站后台系统（即批量导入贷款信息的系统）通信，为了网络安全，网站后台系统通过防火墙接入互联网。根据具体网络配置要求，网站后台系统可以包括多台Web服务器（Web-Server）、应用服务器（App-Server）、以及数据库服务器（DB-Server）。

根据本发明的技术方案，房e通的“行内用户”及“机构用户”通过Web页面（即客户端浏览器）将编写好并通过本地数据格式校验的“批量贷款申请”Excel文件提交到网站App-Server，运行在App-Server上的格式转换模块（其可以运行数据格式转换程序xls2txt.pl）自动触发执行转换动作。完成后，网站后台处理程序将转换产生的txt文本数据文件通过ECTIP平台提交到后端PLSS中。PLSS将数据文件直接导入数据库中，完成了从用户到系统的个贷业务批量申请流程。

具体而言，如图9所示，在格式转换模块中，运行步骤如下：

1）在流程开始时进行参数检查，如果参数检查失败则流程结束，检查通过则继续；

检查参数项包括贷款种类、输入文件、输出文件，为后续的程序自动化做准备。如果无贷款种类或者输入文件名、输出文件名非法，则参数检查不通过，流程结束。

2）从系统后台文件服务器中查找并读取XLS格式文档，如果找到则打开该Excel文档；

作为举例，而非限制性，此处Excel文档是前端客户提交已经经过合法性校验的Excel文件。本领域技术人员应当理解，并非必须要前端客户对Excel文件进行检查。

3）分析该Excel文件的合法性；

对Excel文件内容的合法性检查，比如来源渠道固定值为0804，数据起始行为第6行，行与行之间不能空行。

4）指定该Excel的字符编码；

指定字符编码集为CP936（CP936是Windows平台Excel文件默认字符编码集），为跨平台数据转换做准备。

5）读取Excel中的数据；

6）生成文本格式文件并重新命名写出。至此，流程结束。

仅作为本发明的举例，而非限制本发明的保护范围，本发明实施方式的格式转换模块核心代码如下：

本发明的格式转换模块执行过程如下：

1.基于Spreadsheet::ParseExcel模块解析Excel文件，从95-2007格式的二进制Excel文件中读取内容；

2.基于Spreadsheet::ParseExcel::FmtUnicode模块进行字符集转换，设定输入Excel文件字符编码为CP936，输出字符编码统一为UTF-8。

3.按（行、列）顺序读取文件内容并将其输出到指定文本文件中。

其中，Spreadsheet::ParseExcel模块和Spreadsheet::ParseExcel::FmtUnicode模块包含在Perl模块包中。

由上述可知，本发明技术方案解决了格式转换的技术问题，实现了在线批量代客申请贷款的功能。其基本流程如下：

1）行内用户、合作机构用户填写批量贷款模板，根据产品种类分为四类：公积金贷款批量导入模板、消费类贷款批量导入模板、助业贷款批量导入模板、住房贷款批量导入模板。命名则符合用户习惯：XXX贷款批量导入模板.xls。

2）模板导入系统之后，发送到中间服务器，由运行在中间服务器的脚本（即格式转换模块）自动将Excel文件转换为文本文件，同时重新命名为符合PLSS端接收格式的文件：ccbcom2plss_loanapp_XXXXX_YYYYMMDD.dat。

3）ECTIP每天定期将ccbcom2plss_loanapp_XXXXX_YYYYMMDD.dat文件发送到PLSS后端系统。

4）PLSS接收文档并自动将其文本数据填入系统，从而完成批量申请贷款功能。

格式转换模块是基于Perl的，能够把接收到的Excel格式文件同步转换为内容无差别文本文件的。格式转换模块完成的两个功能主要包括：

1）将Excel格式文件内容无差异转换为文本格式文档；

2）将文本文档自动重命名以符合批量接口文档命名规范。

综上所述，通过实施本发明的技术方案，可以达到如下技术效果：

1）通过在网站后端应用服务器上统一进行数据格式转换，可有效避免由于客户端操作系统及所安装的Office软件版本不同所造成的字符编码、回车换行等问题，以及数据格式转换VB宏无法运行的问题。

2）在客户端的Excel模板没有VB宏脚本执行，可以对数据格式有效性进行预判断，避免将错误数据提交后台数据格式转换程序。

3）网站后台数据格式转换程序在转换前后均可对数据格式有效性进行检查，有效避免由于数据错误造成的后端PLSS系统的运行压力。

4）用户可使用Excel模板随时随地完成批量贷款数据的填写，而不受网络和系统环境的影响。

5）格式转换处理过程移交中间服务器自动完成，避免了因办公软件的升级导致的兼容性问题，同时简化了用户的操作步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件结合硬件平台的方式来实现，当然也可以全部通过硬件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。

Claims

1.一种实现网站后台数据格式转换的系统，其特征在于，所述系统包括：

应用服务器，与所述Web服务器通信，所述应用服务器包括用于将所述Excel文件的数据转换为文本格式数据的基于实用报表提取语言Perl的格式转换模块。

2.如权利要求1所述的系统，其特征在于，所述基于Perl的格式转换模块包括：

解析单元，用于基于Spreadsheet::ParseExcel模块或Spreadsheet::XLSX模块解析Excel文件，从二进制的Excel文件中读取内容；

字符集转换单元，用于基于Spreadsheet::ParseExcel::FmtUnicode模块进行字符集转换，设定输入Excel文件字符编码为CP936，输出字符编码为UTF-8；

输出单元，用于根据所述字符集转换单元的处理结果按行或列顺序读取所述解析单元读取的内容并将其输出到文本文件中。

3.如权利要求1或2所述的系统，其特征在于，所述应用服务器还包括：

合法性检查模块，用于分析所述提交的Excel文件的合法性。

4.如权利要求3所述的系统，其特征在于，分析所述提交的Excel文件的合法性包括：检查来源渠道的固定值、数据起始行、行与行之间是否空行。

5.一种批量导入贷款信息的系统，其特征在于，所述系统包括：

应用服务器，与所述Web服务器通信，所述应用服务器包括用于将所述Excel文件的数据转换为文本格式的数据的基于实用报表提取语言Perl的格式转换模块以及用于将存储有转换得到的文本格式数据的文本文件提交至后台个人贷款销售服务系统；

6.如权利要求5所述的系统，其特征在于，所述基于Perl的格式转换模块包括：

7.如权利要求5或6所述的系统，其特征在于，所述应用服务器还包括：

合法性检查模块，用于分析所述提交的Excel文件的合法性。

8.如权利要求7所述的系统，其特征在于，分析所述提交的Excel文件的合法性包括：检查来源渠道的固定值、数据起始行、行与行之间是否空行。

9.如权利要求5或6所述的系统，其特征在于，所述系统还包括：

参数检查模块，用于执行参数检查，所述参数包括贷款种类、输入文件、输出文件。

10.如权利要求9所述的系统，其特征在于，所述执行参数检查包括检查有没有贷款种类、输入文件名和输出文件名是否合法，并且在没有贷款种类或者输入文件名、输出文件名非法的情形下确定为参数检查不通过。

11.如权利要求5或6所述的系统，其特征在于，所述格式转换模块还包括：

重命名单元，用于按照批量接口文档命名规范对转换得到的文本文件自动重新命名。

12.如权利要求5或6所述的系统，其特征在于，所述应用服务器通过企业级电子渠道交易整合平台ECTIP将所述文本文件提交至后台个人贷款销售服务系统。

13.一种批量导入贷款信息的方法，其特征在于，所述方法包括：

通过Web服务器接收用户通过客户端浏览器批量提交的包含贷款信息的Excel文件；

所述Web服务器将所述Excel文件发送至应用服务器；

利用设置在所述应用服务器上的基于实用报表提取语言Perl的格式转换模块，将所述Excel文件的数据转换为文本格式的数据；

所述应用服务器将存储有转换得到的所述文本格式数据的文本文件提交至后台个人贷款销售服务系统；

所述个人贷款销售服务系统接收所述应用服务器提交的文本文件并将所述文本文件导入数据库服务器中。

14.如权利要求13所述的方法，其特征在于，将所述Excel格式的数据转换为文本格式的数据包括：

15.如权利要求13或14所述的方法，其特征在于，所述方法还包括：在利用设置在应用服务器上的基于实用报表提取语言Perl的格式转换模块，将所述Excel文件的数据转换为文本格式的数据之前，分析所述提交的Excel文件的合法性。

16.如权利要求15所述的方法，其特征在于，分析所述提交的Excel文件的合法性包括：检查来源渠道的固定值、数据起始行、行与行之间是否空行。

17.如权利要求13或14所述的方法，其特征在于，所述方法还包括：在所述Web服务器将所述Excel文件发送至所述应用服务器之前，执行参数检查，所述参数包括贷款种类、输入文件、输出文件。

18.如权利要求17所述的方法，其特征在于，执行参数检查包括：检查有没有贷款种类、输入文件名和输出文件名是否合法，并且在没有贷款种类或者输入文件名、输出文件名非法的情形下确定为参数检查不通过。

19.如权利要求13或14所述的方法，其特征在于，所述方法还包括：按照批量接口文档命名规范对所述格式转换模块转换得到的文本文件自动重新命名。

20.如权利要求13或14所述的方法，其特征在于，所述应用服务器将存储有转换得到的所述文本格式数据的文本文件提交至后台个人贷款销售服务系统包括：

所述应用服务器通过企业级电子渠道交易整合平台ECTIP将所述文本文件提交至后台个人贷款销售服务系统。