CN105302785B - 数据收集方法和系统 - Google Patents
数据收集方法和系统 Download PDFInfo
- Publication number
- CN105302785B CN105302785B CN201510616060.0A CN201510616060A CN105302785B CN 105302785 B CN105302785 B CN 105302785B CN 201510616060 A CN201510616060 A CN 201510616060A CN 105302785 B CN105302785 B CN 105302785B
- Authority
- CN
- China
- Prior art keywords
- group
- data
- subset
- access template
- link information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Storage Device Security (AREA)
Abstract
本发明涉及一种数据收集方法和系统。上述方法包括以下步骤:根据数据需求制作第一取数模板;将所述第一取数模板发送至各个子集团,以使得所述子集团将所述第一取数模板转化为自身的第二取数模板,并根据所述第二取数模板生成数据报表;接收由各个子集团发送的数据报表;根据所述第一取数模板合并所述数据报表。上述数据收集方法和系统,总集团不需要通过人工将需求下发子集团,也无需子集团根据需求手工编制报表等,实现了自动进行数据收集,节约人力资源和时间,简化了数据收集的操作且减少了数据错误。
Description
技术领域
本发明涉及数据处理技术领域,特别是涉及一种数据收集方法和系统。
背景技术
ERP(Enterprise Resource Planning,企业资源计划)系统是一种建立在信息技术基础上,以系统化的管理思想,为企业决策层及员工提供决策运行手段的管理平台。在传统的应用中,大部分的总集团与子集团之间使用不同的ERP系统进行管理,而当总集团做合并报表需要使用到子集团的数据报表时,总集团会将数据需求通过人工发送给子集团,子集团根据这些需求手工编制报表,再将报表从ERP系统中导出,人工上传给总集团,总集团接收数据报表后,再根据需要的格式人工进行合并。此种收集数据的方法,子集团对总集团的数据需求可能出现理解偏差造成数据出错,此外,需要人工完成的工作很多,浪费人力资源和时间,且各个环节容易出现错误。
发明内容
基于此,有必要提供一种数据收集方法,能自动完成数据收集,节约人力资源和时间,并减少数据错误。
此外,还有必要提供一种数据收集系统,能自动完成数据收集,节约人力资源和时间,并减少数据错误。
一种数据收集方法,包括以下步骤:
根据数据需求制作第一取数模板;
将所述第一取数模板发送至各个子集团,以使得所述子集团将所述第一取数模板转化为自身的第二取数模板,并根据所述第二取数模板生成数据报表;
接收由各个子集团发送的数据报表;
根据所述第一取数模板合并所述数据报表。
在其中一个实施例中,在所述根据数据需求制作第一取数模板的步骤之前,还包括以下步骤:
配置所有集团的连接信息;
将所述所有集团的连接信息发送至各个子集团。
在其中一个实施例中,所述方法还包括以下步骤:
接收由所述子集团发送的消息请求;
解析所述消息请求得到所述消息请求中包含的加密后的总集团的连接信息;
对所述总集团的连接信息进行解密;
判断所述解密后的总集团的连接信息是否正确,若是,则所述子集团登录成功,与所述子集团进行数据传输,若否,则所述子集团登录失败。
一种数据收集方法,包括以下步骤:
接收由总集团发送的第一取数模板,将所述第一取数模板转化为自身的第二取数模板;
根据所述第二取数模板获取所需求的数据并生成数据报表;
将所述数据报表发送至总集团。
在其中一个实施例中,在所述接收由总集团发送的第一取数模板的步骤之前,还包括以下步骤:
接收由所述总集团发送的各集团的连接信息;
根据所述总集团的连接信息进行登录操作;
将所述总集团的连接信息加密并生成消息请求,将所述消息请求发送给总集团;
判断是否登录成功,若是,则与所述总集团进行数据传输,若否,则重新进行登录操作。
在其中一个实施例中,所述将所述第一取数模板转化为自身的第二取数模板的步骤具体为:
通过预设的转化接口将所述第一取数模板中的取数公式转化为自身的取数公式,并生成对应的第二取数模板;
所述根据所述第二取数模板获取所需求的数据并生成数据报表的步骤,具体包括:
获取根据所述第二取数模板设置的定时任务;
根据所述定时任务及所述转化后的取数公式按照预定时间获取所需求的数据并生成数据报表。
一种数据收集系统,包括:
制作模块,用于根据数据需求制作第一取数模板;
发送模块,用于将所述第一取数模板发送至各个子集团,以使得所述子集团将所述第一取数模板转化为自身的第二取数模板,并根据所述第二取数模板生成数据报表;
接收模块,用于接收由各个子集团发送的数据报表;
合并模块,用于根据所述第一取数模板合并所述数据报表。
在其中一个实施例中,所述系统还包括:
配置模块,用于配置所有集团的连接信息;
所述发送模块还用于将所述所有集团的连接信息发送至各个子集团。
在其中一个实施例中,所述系统还包括:
消息模块,用于接收由所述子集团发送的消息请求;
解析模块,用于解析所述消息请求得到所述消息请求中包含的加密后的总集团的连接信息;
解密模块,用于对所述总集团的连接信息进行解密;
判断模块,用于判断所述解密后的总集团的连接信息是否正确,若是,则所述子集团登录成功,与所述子集团进行数据传输,若否,则所述子集团登录失败。
一种数据收集系统,包括:
转化模块,用于接收由总集团发送的第一取数模板,将所述第一取数模板转化为自身的第二取数模板;
生成模块,用于根据所述第二取数模板获取所需求的数据并生成数据报表;
发送模块,用于将所述数据报表发送至总集团。
在其中一个实施例中,所述系统还包括:
连接信息模块,用于接收由所述总集团发送的各集团的连接信息;
登录模块,用于根据所述总集团的连接信息进行登录操作;
加密模块,用于将所述总集团的连接信息加密并生成消息请求,将所述消息请求发送给总集团;
所述登录模块还用于判断是否登录成功,若是,则与所述总集团进行数据传输,若否,则重新进行登录操作。
在其中一个实施例中,所述转化模块还用于通过预设的转化接口将所述第一取数模板中的取数公式转化为自身的取数公式,并生成对应的第二取数模板;
所述生成模块具体包括:
定时单元,用于获取根据所述第二取数模板设置的定时任务;
生成单元,用于根据所述定时任务及所述转化后的取数公式按照预定时间获取所需求的数据并生成数据报表。
上述数据收集方法和系统,总集团根据数据需求制定取数模块,并将取数模板下发给子集团,子集团将取数模板转化为自身的取数模板并自动生成数据报表,然后将数据报表上传给总集团,再由总集团进行合并。整个流程均在ERP系统中完成,总集团不需要通过人工将需求下发子集团,也无需子集团根据需求手工编制报表等,实现了自动进行数据收集,节约人力资源和时间,简化了数据收集的操作且减少了数据错误。
附图说明
图1为一个实施例中数据收集方法及系统的架构示意图;
图2为一个实施例中数据收集方法的时序图;
图3为一个实施例中数据收集方法的流程示意图;
图4为一个实施例中总集团判断子集团是否登录成功的流程示意图;
图5为另一个实施例中数据收集方法的流程示意图;
图6为一个实施例中子集团进行登录操作的流程示意图;
图7为一个实施例中数据收集系统的结构示意图;
图8为另一个实施例中数据收集系统的结构示意图;
图9为另一个实施例中数据收集系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1所示,图1为一个实施例中数据收集方法及系统的架构示意图,包括总集团10及一个或多个子集团20。总集团10可配置所有集团的连接信息,并将所有集团的连接信息发送至各个子集团20。子集团20可根据其它集团的连接信息与总集团10或其它子集团20建立连接,并进行数据传输。总集团10将制作的第一取数模板发送至子集团20,并接收由子集团20发送的数据报表,然后根据第一取数模板合并各个子集团20的数据报表,实现自动数据收集。
图2为一个实施例中数据收集方法的时序图,如图2所示,数据收集方法中总集团与子集团的交互过程包括如下步骤:
1、总集团配置所有集团的连接信息,并将所有集团的连接信息发送至各个子集团。
2、总集团根据数据需求制作第一取数模板,并将第一取数模板发送至子集团。
3、子集团接收第一取数模板后,将第一取数模板转化为自身的第二取数模板,并根据第二取数模板生成数据报表。
4、子集团向总集团发送数据报表。
5、总集团接收数据报表,并根据第一取数模板合并数据报表。
如图3所示,一种数据收集方法,从总集团进行描述,包括以下步骤:
步骤S310,根据数据需求制作第一取数模板。
具体的,总集团根据数据需求制作第一取数模板,第一取数模板中包含定义的取数公式。取数公式中可包含多个数据参数,用于指定所需提取的数据的具体时间、公司、币别、项目类型、数据来源等,第一取数模板中可包含一个
或多个取数公式,取数公式的公式名称不同,取数公式的参数顺序及参数个数也不同,例如:定义ACCTITEM取数公式用于提取项目数据,ACCTITEM取数公式的公式参数如表1所示:
表1
合并范围 | 公司 | 项目 | 周期 | 币别 | 期间 | 取数类型 | 数据来源 | 数据类型 |
定义ACCT取数公式用于提取科目数据,ACCT取数公式的公式参数如表2
所示:
表2
合并范围 | 公司 | 年度 | 币别 | 取数类型 | 数据来源 | 开始期间 |
总集团制作第一取数模板后,将第一取数模板存储在第一数据库中。
在进一步的实施例中,在根据数据需求制作第一取数模板的步骤之前,该方法还包括以下步骤:
(1)配置所有集团的连接信息;
具体的,总集团配置整个组织树,组织树中包含每个集团的连接信息,以及每个集团的上下级关系。连接信息可包括登录用户名、密码、服务器IP(Internet Protocol,网络协议)、数据库编码等信息。根据目标集团的连接信息,各集团可与目标集团建立连接并进行数据传输。总集团配置所有集团的连接信息后,将配置的连接信息存储在第一数据库中。
(2)将所述所有集团的连接信息发送至各个子集团。
具体的,总集团配置所有集团的连接信息后,将所有集团的连接信息下发至各个子集团,各个子集团即可得知其它集团的连接信息,以及自身的上下集团关系,当需要连接目标集团时,只需输入目标集团的连接信息,该连接信息可包括目标集团的登录用户名、密码、服务器IP、数据库编码等信息,目标集团验证通过后即可与目标集团建立连接,并进行数据传输。
步骤S320,将第一取数模板发送至各个子集团,以使得子集团将第一取数模板转化为自身的第二取数模板,并根据第二取数模板生成数据报表。
具体的,总集团可即时进行发送操作将制作的第一取数模板下发至各个子集团,也可设置发送时间,在设定时间将制作的第一取数模板下发至各个子集团。因总集团与子集团所使用的ERP系统可能不同,子集团需将第一取数模板转化为自身的第二取数模板,再根据第二取数模板提取所需数据并生成数据报表。在进一步的实施例中,子集团将第一取数模板转化为自身的第二取数模板,具体可为子集团通过预设的转化接口将第一取数模板中的取数公式转化为自身的取数公式并生成第二取数模板。
例如:第一取数模板中的ACCTITEM取数公式的公式参数如表1所示,而子集团的ACCTITEM取数公式的公式参数如表3所示:
表3
合并范围 | 项目 | 周期 | 币别 | 取数类型 | 数据类型 |
子集团的ACCTITEM取数公式比第一取数模板中的ACCTITEM取数公式少了公司、期间、数据来源三个公式参数,子集团进行取数公式转化可为两种方式,一种方式为当总集团只取该子集团的数据时,则可去除总集团发送的第一取数模板的取数公式中多出的公式参数,即去除第一取数模板的ACCTITEM取数公式中的公司、期间、数据来源三个公式参数;另一种方式可为对子集团的取数公式进行扩展,即将子集团的ACCTITEM取数公式添加公司、期间、数据来源三个公式参数,使其支持第一取数模板的ACCTITEM取数公式。
步骤S330,接收由各个子集团发送的数据报表。
具体的,子集团根据其转化的第二取数模板生成数据报表,并将数据报表上传至总集团,总集团接收由各个子集团发送的数据报表,并将该数据报表存储至第一数据库中。
步骤S340,根据第一取数模板合并数据报表。
具体的,总集团从第一数据库中提取由各个子集团上传的数据报表,并根据制作的第一取数模板提取各个数据报表的数据,进行合并计算,生成总数据报表。
上述数据收集方法,总集团根据数据需求制定取数模块,并将取数模板下发给子集团,子集团将取数模板转化为自身的取数模板并自动生成数据报表,然后将数据报表上传给总集团,再由总集团进行合并。整个流程均在ERP系统中完成,总集团不需要通过人工将需求下发子集团,也无需子集团根据需求手工编制报表等,实现了自动进行数据收集,节约人力资源和时间,简化了数据收集的操作且减少了数据错误。
如图4所示,在另一个实施例中,上述方法还包括以下步骤:
步骤S402,接收由子集团发送的消息请求。
具体的,当子集团需要向总集团进行数据传输,例如上传数据报表时,向总集团发送消息请求,消息请求中包含加密后的子集团在登录时所用到的总集团的连接信息,该连接信息可包括总集团的登录用户名、密码、服务器IP、数据库编码等信息。
步骤S404,解析消息请求得到消息请求中包含的加密后的总集团的连接信息。
具体的,总集团对子集团的消息请求进行解析,并获取加密后的总集团的连接信息,子集团可使用DES(Data Encryption Standard,数据加密标准)算法进行加密,或使用IDEA(International Data Encryption Algorithm,国际数据加密算法)等其它加密算法进行加密。
步骤S406,对总集团的连接信息进行解密。
具体的,总集团使用对应的算法对获取的连接信息进行解密,并判断子集团所使用的连接信息是否与自身的连接信息相同。
步骤S408,判断解密后的总集团的连接信息是否正确,若是,则执行步骤S410,若否,则执行步骤S412。
具体的,若子集团发送的消息请求中包含的总集团的连接信息正确,则子集团登录成功,总集团与子集团进行数据传输,若该总集团的连接信息错误,则子集团登录失败,总集团不与子集团进行数据传输。
步骤S410,子集团登录成功,与子集团进行数据传输。
步骤S412,子集团登录失败。
在其它的实施例中,总集团在与子集团进行数据传输之前,总集团也需向子集团发送消息请求,该消息请求中包含目标子集团的连接信息,目标子集团可利用上述方法进行验证,验证通过后,目标子集团与总集团进行数据传输。
在进一步的实施例中,上述方法还包括步骤:使用Web service协议与各个子集团进行通信,使用json(JavaScript Object Notation,JavaScript对象表示法)格式作为数据传输格式。
具体的,总集团使用Web service协议与各个子集团进行通信,每个Web service消息请求中都可包含有加密后的连接信息。Web service协议使得无论各个集团所使用的语言、平台或内部协议是什么,都可以相互交换数据。总集团与子集团进行数据传输时,使用json格式,当数据太大时,可分批进行传输,先取部分数据,并将该部分数据转化为json格式进行传输,然后再取部分数据,直至数据传输完成。在其它的实施例中,总集团与各个子集团进行通信还可使用TCP(Transmission Control Protocol,传输控制协议)、UDP(User Datagram Protocol,用户数据报协议)等其它通信协议,也可使用xml(ExtensibleMarkup Language,可扩展标记语言)等其它数据格式进行数据传输。
上述数据收集方法,总集团与子集团进行数据传输时,需先进行安全验证,验证通过后才可进行数据传输,保证了数据的安全性。
如图5所示,一种数据收集方法,从子集团进行描述,包括以下步骤:
步骤S510,接收由总集团发送的第一取数模板,将第一取数模板转化为自身的第二取数模板。
具体的,子集团接收由总集团发送的第一取数模板,因总集团与子集团所使用的ERP系统可能不同,子集团需将第一取数模板转化为自身的第二取数模板,再根据第二取数模板提取所需数据并生成数据报表。在进一步的实施例中,子集团将第一取数模板转化为自身的第二取数模板,具体可为子集团通过预设的转化接口将第一取数模板中的取数公式转化为自身的取数公式,并生成对应的第二取数模板,子集团可调用预设的转化接口,并通过编码来实现取数公式转换。子集团将转化后的第二取数模板存储在第二数据库中。
步骤S520,根据第二取数模板获取所需求的数据并生成数据报表。
具体的,子集团可根据生成的第二取数模板提取所需数据,并生成数据报表。在进一步的实施例中,步骤根据第二取数模板获取所需求的数据并生成数据报表,具体包括:
(a)获取根据第二取数模板设置的定时任务。
具体的,第二取数模板中若指定报表年期、周期等时间,子集团可根据该时间期限设置定时任务,并根据报表年期、周期等信息自动提取该时间段内所需数据并生成数据报表,若第二取数模板中未指定报表年期、周期等时间,可进行创建指定报表年期、周期等时间的报表,再根据创建的报表年期、周期等信息自动提取该时间段内所需数据并生成数据报表。
(b)根据定时任务及转化后的取数公式按照预定时间获取所需求的数据并生成数据报表。
具体的,子集团可根据定时任务中设置的报表年期、周期等信息,按照预定时间,定时自动提取该时间段内所需数据并生成数据报表,例如设置的报表周期为1周,则从设置定时任务起,每隔一周子集团都将根据第二取数模板中转化后的取数公式提取所需数据,并生成数据报表。
步骤S530,将数据报表发送至总集团。
具体的,子集团可即时进行发送操作,将生成的数据报表发送至总集团,也可设置发送时间,定时自动进行数据报表上传。
上述数据收集方法,总集团根据数据需求制定取数模块,并将取数模板下发给子集团,子集团将取数模板转化为自身的取数模板并自动生成数据报表,然后将数据报表上传给总集团,再由总集团进行合并。整个流程均在ERP系统中完成,总集团不需要通过人工将需求下发子集团,也无需子集团根据需求手工编制报表等,实现了自动进行数据收集,节约人力资源和时间,简化了数据收集的操作且减少了数据错误。
如图6所示,在一个实施例中,在接收由总集团发送的第一取数模板的步骤之前,还包括:
步骤S602,接收由总集团发送的各集团的连接信息。
具体的,子集团接收由总集团发送的各集团的连接信息,并将各集团的连接信息存储在第二数据库中。连接信息可包括登录用户名、密码、服务器IP、数据库编码等信息。根据目标集团的连接信息,子集团可与目标集团建立连接并进行数据传输。
步骤S604,根据总集团的连接信息进行登录操作。
具体的,当子集团与总集团进行数据传输之前,子集团需先根据总集团的连接信息进行登录操作,由总集团进行验证通过后,登录成功,才可与总集团进行数据传输。
步骤S606,将总集团的连接信息加密并生成消息请求,将消息请求发送给总集团。
具体的,子集团可使用DES算法对总集团的连接信息进行加密,或使用IDEA等其它加密算法进行加密。
步骤S608,判断是否登录成功,若是,则执行步骤S610,若否,则执行步骤S604。
具体的,若子集团登录成功,即可与总集团进行数据传输,若登录失败,则重新进行登录操作。在其它的实施例中,当子集团与子集团进行数据传输时,也可使用上述方法进行安全验证。例如,当子集团A与子集团B进行数据传输时,子集团A根据子集团B的连接信息进行登录操作,子集团B的连接信息可包括子集团B的登录用户名、密码、服务器IP、数据库编码等信息,经由子集团B验证通过后,子集团A方可与子集团B进行数据传输。
步骤S610,与总集团进行数据传输。
上述数据收集方法,总集团与子集团进行数据传输时,需先进行安全验证,验证通过后才可进行数据传输,保证了数据传输时的安全性。
如图7所示,一种数据收集系统,包括配置模块710、制作模块720、发送模块730、接收模块740及合并模块750。
配置模块710,用于配置所有集团的连接信息。
具体的,总集团配置整个组织树,组织树中包含每个集团的连接信息,以及每个集团的上下级关系。连接信息可包括登录用户名、密码、服务器IP、数据库编码等信息。根据目标集团的连接信息,各集团可与目标集团建立连接并进行数据传输。总集团配置所有集团的连接信息后,将配置的连接信息存储在第一数据库中。
制作模块720,用于根据数据需求制作第一取数模板。
具体的,总集团根据数据需求制作第一取数模板,第一取数模板中包含定义的取数公式。取数公式中可包含多个数据参数,用于指定所需提取的数据的具体时间、公司、币别、项目类型、数据来源等,第一取数模板中可包含一个或多个取数公式,取数公式的公式名称不同,取数公式的参数顺序及参数个数也不同,例如:定义ACCTITEM取数公式用于提取项目数据,ACCTITEM取数公式的公式参数如表1所示;定义ACCT取数公式用于提取科目数据,ACCT取数公式的公式参数如表2所示。总集团制作第一取数模板后,将第一取数模板存储在第一数据库中。
发送模块730,用于将第一取数模板发送至各个子集团,以使得子集团将第一取数模板转化为自身的第二取数模板,并根据第二取数模板生成数据报表。
具体的,总集团可即时进行发送操作将制作的第一取数模板下发至各个子集团,也可设置发送时间,在设定时间将制作的第一取数模板下发至各个子集团。因总集团与子集团所使用的ERP系统可能不同,子集团需将第一取数模板转化为自身的第二取数模板,再根据第二取数模板提取所需数据并生成数据报表。在进一步的实施例中,子集团将第一取数模板转化为自身的第二取数模板,具体可为子集团通过预设的转化接口将第一取数模板中的取数公式转化为自身的取数公式并生成第二取数模板。
例如:第一取数模板中的ACCTITEM取数公式的公式参数如表1所示,而子集团的ACCTITEM取数公式的公式参数如表3所示。
子集团的ACCTITEM取数公式比第一取数模板中的ACCTITEM取数公式少了公司、期间、数据来源三个公式参数,子集团进行取数公式转化可为两种方式,一种方式为当总集团只取该子集团的数据时,则可去除总集团发送的第一取数模板的取数公式中多出的公式参数,即去除第一取数模板的ACCTITEM取数公式中的公司、期间、数据来源三个公式参数;另一种方式可为对子集团的取数公式进行扩展,即将子集团的ACCTITEM取数公式添加公司、期间、数据来源三个公式参数,使其支持第一取数模板的ACCTITEM取数公式。
发送模块730还用于将所有集团的连接信息发送至各个子集团。
具体的,总集团配置所有集团的连接信息后,将所有集团的连接信息下发至各个子集团,各个子集团即可得知其它集团的连接信息,以及自身的上下集团关系,当需要连接目标集团时,只需输入目标集团的连接信息,该连接信息可包括目标集团的登录用户名、密码、服务器IP、数据库编码等信息,目标集团验证通过后即可与目标集团建立连接,并进行数据传输。
接收模块740,用于接收由各个子集团发送的数据报表。
具体的,子集团根据其转化的第二取数模板生成数据报表,并将数据报表上传至总集团,总集团接收由各个子集团发送的数据报表,并将该数据报表存储至第一数据库中。
合并模块750,用于根据第一取数模板合并所述数据报表。
具体的,总集团从第一数据库中提取由各个子集团上传的数据报表,并根据制作的第一取数模板提取各个数据报表的数据,进行合并计算,生成总数据报表。
上述数据收集系统,总集团根据数据需求制定取数模块,并将取数模板下发给子集团,子集团将取数模板转化为自身的取数模板并自动生成数据报表,然后将数据报表上传给总集团,再由总集团进行合并。整个流程均在ERP系统中完成,总集团不需要通过人工将需求下发子集团,也无需子集团根据需求手工编制报表等,实现了自动进行数据收集,节约人力资源和时间,简化了数据收集的操作且减少了数据错误。
如图8所示,在一个实施例中,上述系统,除了包括配置模块710、制作模块720、发送模块730、接收模块740及合并模块750,还包括消息模块810、解析模块820、解密模块830及判断模块840。
消息模块810,用于接收由子集团发送的消息请求。
具体的,当子集团需要向总集团进行数据传输,例如上传数据报表时,向总集团发送消息请求,消息请求中包含加密后的子集团在登录时所用到的总集团的连接信息,该连接信息可包括总集团的登录用户名、密码、服务器IP、数据库编码等信息。
解析模块820,用于解析该消息请求得到消息请求中包含的加密后的总集团的连接信息。
具体的,总集团对子集团的消息请求进行解析,并获取加密后的总集团的连接信息,子集团可使用DES算法进行加密,或使用IDEA等其它加密算法进行加密。
解密模块830,用于对总集团的连接信息进行解密。
具体的,总集团使用对应的算法对获取的连接信息进行解密,并判断子集团所使用的连接信息是否与自身的连接信息相同。
判断模块840,用于判断解密后的总集团的连接信息是否正确,若是,则所述子集团登录成功,与所述子集团进行数据传输,若否,则所述子集团登录失败。
具体的,若子集团发送的消息请求中包含的总集团的连接信息正确,则子集团登录成功,总集团与子集团进行数据传输,若该总集团的连接信息错误,则子集团登录失败,总集团不与子集团进行数据传输。
在进一步的实施例中,上述系统还包括通信模块,用于使用Web service协议与各个子集团进行通信,使用json格式作为数据传输格式。
具体的,总集团使用Web service协议与各个子集团进行通信,每个Web service消息请求中都可包含有加密后的连接信息。Web service协议使得无论各个集团所使用的语言、平台或内部协议是什么,都可以相互交换数据。总集团与子集团进行数据传输时,使用json格式,当数据太大时,可分批进行传输,先取部分数据,并将该部分数据转化为json格式进行传输,然后再取部分数据,直至数据传输完成。在其它的实施例中,总集团与各个子集团进行通信还可使用TCP(Transmission Control Protocol,传输控制协议)、UDP(User Datagram Protocol,用户数据报协议)等其它通信协议,也可使用xml(ExtensibleMarkup Language,可扩展标记语言)等其它数据格式进行数据传输。
上述数据收集系统,总集团与子集团进行数据传输时,需先进行安全验证,验证通过后才可进行数据传输,保证了数据的安全性。
如图9所示,在一个实施例中,一种数据收集系统,包括转化模块910、生成模块920及发送模块930。
转化模块910,用于接收由总集团发送的第一取数模板,将第一取数模板转化为自身的第二取数模板。
具体的,子集团接收由总集团发送的第一取数模板,因总集团与子集团所使用的ERP系统可能不同,子集团需将第一取数模板转化为自身的第二取数模板,再根据第二取数模板提取所需数据并生成数据报表。在进一步的实施例中,转化模块910还用于通过预设的转化接口将第一取数模板中的取数公式转化为自身的取数公式,并生成对应的第二取数模板。子集团可调用预设的转化接口,并通过编码来实现取数公式转换。子集团将转化后的第二取数模板存储在第二数据库中。
生成模块920,用于根据第二取数模板获取所需求的数据并生成数据报表。
具体的,子集团可根据生成的第二取数模板提取所需数据,并生成数据报表。
生成模块920包括定时单元922和生成单元924。
定时单元922,用于获取根据第二取数模板设置的定时任务。
具体的,第二取数模板中若指定报表年期、周期等时间,子集团可根据该时间期限设置定时任务,并根据报表年期、周期等信息自动提取该时间段内所需数据并生成数据报表,若第二取数模板中未指定报表年期、周期等时间,可进行创建指定报表年期、周期等时间的报表,再根据创建的报表年期、周期等信息自动提取该时间段内所需数据并生成数据报表。
生成单元924,用于根据定时任务及转化后的取数公式按照预定时间获取所需求的数据并生成数据报表。
具体的,子集团可根据定时任务中设置的报表年期、周期等信息,按照预定时间,定时自动提取该时间段内所需数据并生成数据报表,例如设置的报表周期为1周,则从设置定时任务起,每隔一周子集团都将根据第二取数模板中转化后的取数公式提取所需数据,并生成数据报表。
发送模块930,用于将数据报表发送至总集团。
具体的,子集团可即时进行发送操作,将生成的数据报表发送至总集团,也可设置上传时间,定时自动进行数据报表上传。
上述数据收集系统,总集团根据数据需求制定取数模块,并将取数模板下发给子集团,子集团将取数模板转化为自身的取数模板并自动生成数据报表,然后将数据报表上传给总集团,再由总集团进行合并。整个流程均在ERP系统中完成,总集团不需要通过人工将需求下发子集团,也无需子集团根据需求手工编制报表等,实现了自动进行数据收集,节约人力资源和时间,简化了数据收集的操作且减少了数据错误。
在另一个实施例中,上述系统除了包括转化模块910、生成模块920及发送模块930,还包括连接信息模块912、登录模块914及加密模块916。
连接信息模块912,用于接收由总集团发送的各集团的连接信息。
具体的,子集团接收由总集团发送的各集团的连接信息,并将各集团的连接信息存储在第二数据库中。连接信息可包括登录用户名、密码、服务器IP、数据库编码等信息。根据目标集团的连接信息,子集团可与目标集团建立连接并进行数据传输。
登录模块914,用于根据总集团的连接信息进行登录操作。
具体的,当子集团与总集团进行数据传输之前,子集团需先根据总集团的连接信息进行登录操作,由总集团进行验证通过后,登录成功,才可与总集团进行数据传输。
加密模块916,用于将总集团的连接信息加密并生成消息请求,将消息请求发送给总集团。
具体的,子集团可使用DES算法对总集团的连接信息进行加密,或使用IDEA等其它加密算法进行加密。
登录模块914还用于判断是否登录成功,若是,则与总集团进行数据传输,若否,则重新进行登录操作。
具体的,若子集团登录成功,即可与总集团进行数据传输,若登录失败,则重新进行登录操作。在其它的实施例中,当子集团与子集团进行数据传输时,也可使用上述系统进行安全验证。例如,当子集团A与子集团B进行数据传输时,子集团A根据子集团B的连接信息进行登录操作,子集团B的连接信息可包括子集团B的登录用户名、密码、服务器IP、数据库编码等信息,经由子集团B验证通过后,子集团A方可与子集团B进行数据传输。
上述数据收集系统,总集团与子集团进行数据传输时,需先进行安全验证,验证通过后才可进行数据传输,保证了数据传输时的安全性。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据收集方法,其特征在于,包括以下步骤:
根据数据需求制作第一取数模板;
将所述第一取数模板发送至各个子集团,以使得所述子集团通过预设的转化接口将所述第一取数模板中的取数公式转化为自身的取数公式,并生成对应的第二取数模板,以及根据所述第二取数模板设置的定时任务,根据所述定时任务及所述转化后的取数公式按照预定时间获取所需求的数据并生成数据报表;
接收由各个子集团发送的数据报表;
根据所述第一取数模板合并所述数据报表。
2.根据权利要求1所述的数据收集方法,其特征在于,在所述根据数据需求制作第一取数模板的步骤之前,还包括以下步骤:
配置所有集团的连接信息;
将所述所有集团的连接信息发送至各个子集团。
3.根据权利要求2所述的数据收集方法,其特征在于,所述方法还包括以下步骤:
接收由所述子集团发送的消息请求;
解析所述消息请求得到所述消息请求中包含的加密后的总集团的连接信息;
对所述总集团的连接信息进行解密;
判断所述解密后的总集团的连接信息是否正确,若是,则所述子集团登录成功,与所述子集团进行数据传输,若否,则所述子集团登录失败。
4.一种数据收集方法,其特征在于,包括以下步骤:
接收由总集团发送的第一取数模板,通过预设的转化接口将所述第一取数模板中的取数公式转化为自身的取数公式,并生成对应的第二取数模板;
获取根据所述第二取数模板设置的定时任务;
根据所述定时任务及所述转化后的取数公式按照预定时间获取所需求的数据并生成数据报表;
将所述数据报表发送至总集团。
5.根据权利要求4所述的数据收集方法,其特征在于,在所述接收由总集团发送的第一取数模板的步骤之前,还包括以下步骤:
接收由所述总集团发送的各集团的连接信息;
根据所述总集团的连接信息进行登录操作;
将所述总集团的连接信息加密并生成消息请求,将所述消息请求发送给总集团;
判断是否登录成功,若是,则与所述总集团进行数据传输,若否,则重新进行登录操作。
6.一种数据收集系统,其特征在于,包括:
制作模块,用于根据数据需求制作第一取数模板;
发送模块,用于将所述第一取数模板发送至各个子集团,以使得所述子集团通过预设的转化接口将所述第一取数模板中的取数公式转化为自身的取数公式,并生成对应的第二取数模板,以及根据所述第二取数模板设置的定时任务,根据所述定时任务及所述转化后的取数公式按照预定时间获取所需求的数据并生成数据报表;
接收模块,用于接收由各个子集团发送的数据报表;
合并模块,用于根据所述第一取数模板合并所述数据报表。
7.根据权利要求6所述的数据收集系统,其特征在于,所述系统还包括:
配置模块,用于配置所有集团的连接信息;
所述发送模块还用于将所述所有集团的连接信息发送至各个子集团。
8.根据权利要求7所述的数据收集系统,其特征在于,所述系统还包括:
消息模块,用于接收由所述子集团发送的消息请求;
解析模块,用于解析所述消息请求得到所述消息请求中包含的加密后的总集团的连接信息;
解密模块,用于对所述总集团的连接信息进行解密;
判断模块,用于判断所述解密后的总集团的连接信息是否正确,若是,则所述子集团登录成功,与所述子集团进行数据传输,若否,则所述子集团登录失败。
9.一种数据收集系统,其特征在于,包括:
转化模块,用于接收由总集团发送的第一取数模板,通过预设的转化接口将所述第一取数模板中的取数公式转化为自身的取数公式,并生成对应的第二取数模板;
生成模块,用于获取根据所述第二取数模板设置的定时任务;根据所述定时任务及所述转化后的取数公式按照预定时间获取所需求的数据并生成数据报表;
发送模块,用于将所述数据报表发送至总集团。
10.根据权利要求9所述的数据收集系统,其特征在于,所述系统还包括:
连接信息模块,用于接收由所述总集团发送的各集团的连接信息;
登录模块,用于根据所述总集团的连接信息进行登录操作;
加密模块,用于将所述总集团的连接信息加密并生成消息请求,将所述消息请求发送给总集团;
所述登录模块还用于判断是否登录成功,若是,则与所述总集团进行数据传输,若否,则重新进行登录操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510616060.0A CN105302785B (zh) | 2015-09-24 | 2015-09-24 | 数据收集方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510616060.0A CN105302785B (zh) | 2015-09-24 | 2015-09-24 | 数据收集方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105302785A CN105302785A (zh) | 2016-02-03 |
CN105302785B true CN105302785B (zh) | 2019-01-01 |
Family
ID=55200064
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510616060.0A Active CN105302785B (zh) | 2015-09-24 | 2015-09-24 | 数据收集方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105302785B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107992462B (zh) * | 2017-11-28 | 2021-04-16 | 中国银行股份有限公司 | 一种基于接口规范的数据采集方法及装置 |
CN108256340B (zh) * | 2017-12-22 | 2020-06-12 | 中国平安人寿保险股份有限公司 | 数据采集方法、装置、终端设备及存储介质 |
CN110442766A (zh) * | 2019-07-11 | 2019-11-12 | 新华三大数据技术有限公司 | 网页数据采集方法、装置、设备及存储介质 |
CN112463885A (zh) * | 2020-11-26 | 2021-03-09 | 北京宏景世纪软件股份有限公司 | 数据同步实现方法、集分式数据系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103092890A (zh) * | 2011-11-08 | 2013-05-08 | 苏州中茵泰格科技有限公司 | 报表自动生成及发送的系统及方法 |
CN103793778A (zh) * | 2013-11-08 | 2014-05-14 | 远光软件股份有限公司 | 报表数据的实时稽核方法及装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101271447A (zh) * | 2007-11-23 | 2008-09-24 | 金蝶软件(中国)有限公司 | 一种完成报表分析的方法及系统 |
CN101719131B (zh) * | 2009-12-01 | 2013-08-07 | 金蝶软件(中国)有限公司 | 一种报表数据的处理方法、装置和系统 |
CN101876969B (zh) * | 2009-12-04 | 2012-01-11 | 金蝶软件(中国)有限公司 | 报表开发方法及装置 |
CN101876970A (zh) * | 2009-12-22 | 2010-11-03 | 金蝶软件(中国)有限公司 | 一种合并报表方法和装置 |
CN101887548A (zh) * | 2010-06-22 | 2010-11-17 | 用友软件股份有限公司 | 报表表样分配方法和系统 |
CN102567828A (zh) * | 2010-12-21 | 2012-07-11 | 金蝶软件(中国)有限公司 | 一种合并报表的编制方法和装置 |
CN103440557B (zh) * | 2013-08-19 | 2017-01-04 | 远光软件股份有限公司 | 一种集团合并账和合并报表的生成方法及系统 |
CN103699618B (zh) * | 2013-12-16 | 2017-12-08 | 广东威创视讯科技股份有限公司 | 数据报表的生成方法和系统 |
CN103942184B (zh) * | 2013-12-30 | 2018-01-05 | 远光软件股份有限公司 | 具有附加项汇总报表的配置方法、生成方法及系统 |
CN104484762A (zh) * | 2014-12-19 | 2015-04-01 | 浪潮通用软件有限公司 | 一种基于并表的多维度报表合并方法 |
-
2015
- 2015-09-24 CN CN201510616060.0A patent/CN105302785B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103092890A (zh) * | 2011-11-08 | 2013-05-08 | 苏州中茵泰格科技有限公司 | 报表自动生成及发送的系统及方法 |
CN103793778A (zh) * | 2013-11-08 | 2014-05-14 | 远光软件股份有限公司 | 报表数据的实时稽核方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN105302785A (zh) | 2016-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105302785B (zh) | 数据收集方法和系统 | |
CN103546576B (zh) | 一种嵌入式设备远程自动升级方法和系统 | |
CN110519297B (zh) | 一种基于区块链私钥的数据处理方法以及设备 | |
CN107171805A (zh) | 一种物联网终端数字证书签发系统和方法 | |
CN104580246B (zh) | WiFi环境下动态智能安全密钥产生和管控系统及方法 | |
CN110601853A (zh) | 一种区块链私钥生成方法以及设备 | |
CN110765112B (zh) | 基于物联网标识技术的能源设备数据关联方法及系统 | |
CN106341372A (zh) | 终端的认证处理、认证方法及装置、系统 | |
CN101741908A (zh) | 一种应用层协议特征的识别方法 | |
CN101753622B (zh) | 一种应用层协议特征的提取方法 | |
CN110574342A (zh) | 运行自动化网络的方法、自动化网络和计算机程序产品 | |
CN103035041A (zh) | 一种新型现场设备巡检系统及其巡检方法 | |
CN113254947B (zh) | 一种车辆数据保护方法、系统、设备和存储介质 | |
CN104869099A (zh) | 一种基于指纹账户的多网络帐号登录方法及系统 | |
CN102223237A (zh) | 一种数据签名认证方法及系统 | |
CN105516157A (zh) | 基于独立加密的网络信息安全输入系统和方法 | |
CN102045201A (zh) | 一种内网服务器集群自动升级方法及其系统 | |
CN107103410A (zh) | 一种建筑工程质量检测的监管系统及方法 | |
CN105306423A (zh) | 用于分布式web网站系统的统一登录方法 | |
CN104539421A (zh) | 一种基于动态算法种子的手机令牌的实现方法 | |
CN107516210A (zh) | 一种用于轨道交通的基于二维码和蓝牙的移动支付方法 | |
CN104301875A (zh) | 短消息处理方法和装置 | |
CN109388419B (zh) | 一种光伏电站设备软件升级系统、方法及装置 | |
CN107105045B (zh) | 一种有线安全终端固件便捷灌装方法以及系统 | |
CN107181795B (zh) | 一种无线安全终端固件便捷灌装方法以及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |