CN102629263A - 对企业间交互的业务数据进行格式转换的方法及系统 - Google Patents
对企业间交互的业务数据进行格式转换的方法及系统 Download PDFInfo
- Publication number
- CN102629263A CN102629263A CN2012100535430A CN201210053543A CN102629263A CN 102629263 A CN102629263 A CN 102629263A CN 2012100535430 A CN2012100535430 A CN 2012100535430A CN 201210053543 A CN201210053543 A CN 201210053543A CN 102629263 A CN102629263 A CN 102629263A
- Authority
- CN
- China
- Prior art keywords
- file
- data
- source
- enterprise
- business datum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种对企业间交互的业务数据进行格式转换的方法,先对源业务数据文件进行解析,提取样本数据文件、生成特征数据文件,并按数据字段分拆出一组列块数据文件;再根据特征数据文件和样本数据文件等信息识别出每个列块数据文件对应的标准字段;再将相同数据字段分拆出的列块数据文件进行包装;再根据标准字段文件格式分别对包装后的列块数据文件进行修正检查;最后按照标准字段文件格式,转换为与源业务数据文件对应的目标业务数据文件。本发明同时公开了相应的对企业间交互的业务数据进行格式转换的系统。本发明实现了将不同企业间交互的业务数据用统一的方法和系统进行格式转换,能够提高准确性和处理效率,降低系统资源浪费及成本。
Description
技术领域
本发明涉及对企业间交互的业务数据进行数据处理的技术,特别涉及一种对企业间交互的业务数据进行格式转换的方法及系统。
背景技术
随着企业规模及其业务系统的不断发展,各个企业的业务系统在业务数据交互及数据共享方面存在的局限越来越大。传统的不同业务系统间电子业务数据交互通常是由第三方数据加工企业分别与数据发送企业和数据接收企业建立点对点的连接,将数据发送企业发送的数据进行处理后,转发给数据接收企业。
主要实施过程包括如下步骤:
1、第三方数据加工企业,根据数据发送企业和数据接收企业的需求定制或开发一个数据交互系统,该系统的功能主要是从数据发送企业的业务系统中按照一定的规则和时间要求采集所需的数据,对采集的数据进行数据处理后转发给数据接收企业的业务系统。
这种数据交互系统主要包括安装在数据发送企业业务系统的数据采集客户端软件,和安装在第三方数据加工企业的数据接收服务器等。
2、第三方数据加工企业分别与多个数据发送企业间建立点对点的信息传输链接,由数据采集客户端软件按照设定的逻辑(时间点、数据字段、范围等)搜集企业的数据。
3、通过互联网数据传输途径,数据发送企业将数据采集客户端软件搜集的数据发送给第三方数据加工企业,第三方数据加工企业的数据接收服务器接收采集客户端定时上传的数据文件。
4、第三方数据加工企业的数据接收服务器经过简单的判别,或者不作判别将接收上来的数据文件保存到数据库中。
5、第三方数据加工企业根据数据接收企业的需求,从数据库中读取数据转发给数据接收企业。
由于各企业使用的数据库产品可能来自不同的软件提供商,即使是使用相同的数据库产品,由于各个企业建立方式的不同,都会造成各个企业数据库系统在数据格式上的差异,故而如何统一数据格式是企业间实现数据交互的关键。目前统一数据格式主要用两种技术方法完成:
方案1:数据采集软件完成数据格式转换和数据规则检查
在这个方案下,数据采集软件需要按照数据需求企业对数据的要求定制,采集数据时,就必须把数据处理到符合交付标准,当把数据发送到服务器端时,只要完成一个数据的简单汇集,即可交付。整个采集、转换和交付过程是完全自动的。
方案2:服务器端后台程序完成数据格式转换和数据规则检查
在这个方案下,数据接收企业和数据提供企业必须约定数据格式,数据采集软件只是按照数据需求企业约定的数据格式上传数据文件。服务器端后台程序按照事先的定义转换数据格式。整个采集、转换和交付的过程也是完全自动的,如果数据文件格式不符合约定,就不能够处理。
可见,现有技术有如下的缺陷:
1、在这种点对点的业务数据交换方式下,如多个数据接收企业同时需要从多个数据发送企业间获取业务数据,则需要在这些接收企业和数据提供企业之间点对点的建立多个传输通道。这种每一个数据交互就要建立一个数据传输通道的方式为应用开发和后期维护带来了很大困难,对社会资源也造成了巨大的浪费。
2、由于数据采集软件是为数据需求企业定制的,所以作为数据发送企业,就存在被迫安装多个数据采集软件的可能,当出现这种情形时,数据发送企业的计算机资源将被不仅大量被占用,安全存在隐患,管理也会存在困难。
3、由于数据采集软件包含了复杂的处理逻辑,这将进一步占用数据发送企业的计算机资源。尤其在数据采集软件经过改进,为多个数据接收企业与这一个数据发送企业交换数据时,占用的计算机资源就会更大。
4、上述技术方法,都必须和定制的数据采集软件配合。否则,当第三方数据加工企业进行数据处理,数据格式与数据质量都不够稳定时,自动运行的程序极易发生故障,数据交换的完整程度和及时程度都会受到影响。
5、上述技术方法,一般都只能满足一个数据接收企业与多个数据发送企业之间的数据转换。当需要多个数据接收企业,都与共同的一组数据发送企业进行数据交换时,就需要安装多套这样技术方法的系统装置,造成重复建设,运营成本大幅增加。
同时,由于不能采用统一的方法处理,故障率将大幅增加,完整率和准确率将大幅下降。
6、上述技术方法、当需要进行海量数据的交换时,由于无法统一处理方法,也无法统一使用计算资源,导致无法充分利用计算资源,无法使用分布式计算能力进行交换。无法真正满足海量数据较换,交换效率低。
7、由于不能采用统一的处理方法交换,每个数据接收企业都有自己的规则,也导致第三方数据加工企业进行数据处理的成本过高。
发明内容
有鉴于此,本发明的目的在于提供一种对企业间交互的业务数据进行格式转换的方法及系统,实现将不同企业间交互的业务数据用统一的方法和系统进行格式转换。
为达到上述目的的一个方面,本发明提供了一种对企业间交互的业务数据进行格式转换的方法,包括如下步骤:
A、对源业务数据文件进行解析,提取样本数据文件、生成特征数据文件,并按数据字段分拆出一组列块数据文件。
B、根据特征数据文件和样本数据文件对源业务数据文件进行识别,确定来源企业和目标企业。
C、根据来源企业和目标企业,确定对应的标准字段文件格式,并识别出每个列块数据文件对应的标准字段。
D、将来源企业和目标企业均相同的不同源业务数据文件中,相同数据字段分拆出的列块数据文件进行包装。
E、根据标准字段文件格式分别对包装后的列块数据文件进行修正检查。
F、将经过修正检查的包装后的列块数据文件打散,按照标准字段文件格式,转换为与源业务数据文件对应的目标业务数据文件。
为达到上述目的的另一个方面,本发明提供了一种对企业间交互的业务数据进行格式转换的系统,包括:
解析分拆计算单元,其对源业务数据文件进行解析,提取样本数据文件、生成特征数据文件,并按数据字段分拆出一组列块数据文件。
文件识别工作台,根据解析分拆计算单元提供的特征数据文件和样本数据文件对源业务数据文件进行识别,确定来源企业和目标企业;并根据来源企业和目标企业,确定对应的标准字段文件格式,识别出每个列块数据文件对应的标准字段。
列块包装计算单元,对文件识别工作台发送的源业务数据文件和列块数据文件,将来源企业和目标企业均相同的不同源业务数据文件中,相同数据字段分拆出的列块数据文件进行包装。
修正检查工作台,根据标准字段文件格式分别对列块包装计算单元发送的包装后的列块数据文件进行修正检查。
文件重组计算单元,将经过修正检查的包装后的列块数据文件打散,按照标准字段文件格式,转换为与源业务数据文件对应的目标业务数据文件。
由上述的技术方案可见,通过先对源业务数据文件进行解析,提取样本数据文件、生成特征数据文件,并按数据字段分拆出一组列块数据文件;再根据特征数据文件和样本数据文件等信息识别出每个列块数据文件对应的标准字段;再将相同数据字段分拆出的列块数据文件进行包装;再根据标准字段文件格式分别对包装后的列块数据文件进行修正检查;最后按照标准字段文件格式,转换为与源业务数据文件对应的目标业务数据文件。实现了将不同企业间交互的业务数据用统一的方法和系统进行格式转换。因此,将该方法和系统用于第三方数据加工企业对企业间交互的业务数据进行数据处理,能够提高数据准确性和数据处理效率,降低系统资源浪费及成本。
附图说明
图1为本发明一较佳实施例的数据格式转换方法的流程图;
图2为本发明一较佳实施例的转换系统结构示意图;
图3为图2所示实施例中解析分析计算单元结构示意图;
图4为图2所示实施例中文件识别工作台结构示意图。
具体实施方式
本发明公开了一种对企业间交互的业务数据进行格式转换的方法及系统,以下参照附图并举实施例对本发明进行详细说明。
如图1所示,本发明一较佳实施例的对企业间交互的业务数据进行格式转换的方法,包括如下步骤:
步骤101、接收企业间交互的业务数据,将接收的业务数据登记注册为源业务数据文件。
步骤102、判断该源业务数据文件是否能够被解析,如果是,则执行步骤103,否则将该源业务数据文件返回给业务数据提供者。
本步骤中,可以根据源业务数据文件名称和原始文件头信息,确定源业务数据文件格式,找到匹配的解析器。如果不能直接解析,还可以再根据优先规则,在候选列表中选择其他解析器。例如:可以根据文件名称的后缀是.xml还是.xls来判断是用XML解析器还是用Excel解析器。但有时在数据传输过程中,可能后缀有错,这时就需要重新选择解析器。
如果经过几次选择,仍不能找到匹配的解析器,则将该源业务数据文件返回给业务数据提供者。
步骤103,解析器对源业务数据文件进行解析,提取样本数据文件、生成特征数据文件,并按数据字段分拆出一组列块数据文件。
本步骤中,采用的解析器都是现有技术已有的解析器。具体的,当文件能够解析时,先搜集并记录原始信息,由前30行样本数据生成样本数据文件,然后分析文件特征,生成文件特征数据。如果能够读出列块数据,则生成列块数据文件。
文件在此步骤只是分拆成一组过程文件,供后续使用,原始数据仍然保留,不被改变。后续的所有工作台处理和计算单元处理,都是对这组过程数据的处理。
这里特征数据文件的结构如表1和表2所示,其中表1是针对行列表类的文件,例如:Excel文件;表2是针对结构化数据文件的,例如:XML文件。
文件名称 | |
文件来源 | |
邮件标题 | |
文件标题所在行号N | |
文件标题有效列号M | |
1~N行,1~M列数据块 |
表1
在很多情况下,源业务数据文件是通过邮件发送来的,所以这个表中包括邮件的标题。
另外,最后1行是可选项目,可以用来判断是否与上次收到的源业务数据的格式相同。在相同的情况下,可以直接按照之前已经转换的格式进行转换。
文件名称 | |
文件来源 | |
邮件标题 | |
结构定义 | |
标题名称数组 |
表2
这里样本数据文件的结构如表3和表4所示,其中表3是针对行列表类的文件,例如:Excel文件;表4是针对结构化数据文件的,例如:XML文件。
第1行 | 对应原始数据第1行 | 1024*m |
第2行 | 对应原始数据第2行 | 1024*m |
... | ... | |
第30行 | 对应原始数据第30行 | 1024*m |
表3
第1行(标题行) | 对应原始数据标题行 | 1024*m |
第2行 | 对应原始数据第1行 | 1024*m |
... | ... | |
第30行 | 对应原始数据第29行 | 1024*m |
表4
列块数据文件的格式如表5所示。
文件标识 | |
列块标识 | |
列块偏移 | |
全部行数 | |
数据行数 | |
标题所在位置 | |
数据起始位置 | |
数据结束位置 | |
第1个数据 | 1024字节(1K) |
第2个数据 | 1024字节(1K) |
... | ... |
第N个数据 | 1024字节(1K) |
表5
回到图1的步骤104,根据特征数据文件和样本数据文件对源业务数据文件进行识别,确定标准字段文件格式并标记。
本步骤中,首先根据特征数据文件中的文件名称、文件来源及文件标题,以及样板数据文件中的原始数据,确定来源企业和目标企业。
然后,对每个列块数据文件标记其来源企业和目标企业及源业务数据文件。
步骤105,根据来源企业和目标企业,从数据库中查找该来源企业和目标企业预设的标准字段文件格式。
步骤106、判断是否能识别出每个列块数据文件对应的标准字段,如果是,则只需步骤107;否则,将源业务数据文件返回给业务数据提供者。
本步骤中,可以辅助人工进一步进行识别,判断从列块数据文件中,能够获得全部正确的标准字段,如果可以则继续步骤107;否则将源业务数据文件返回给业务数据提供者。
例如:源业务数据文件中的字段“商品名称”实际与标准字段“产品名称”为同一字段,则可以继续步骤107。如果出现了人工也完全无法对应标准字段的字段名,则将源业务数据文件返回给业务数据提供者。
步骤107,将来源企业和目标企业均相同的不同源业务数据文件中,相同数据字段分拆出的列块数据文件进行包装。
本步骤中,首先找出来源企业和目标企业均相同的不同源业务数据文件中,相同数据字段分拆出的列块数据文件。然后将找出的列块数据文件按预定的数据量进行包装。
例如,从A企业收到发送给B企业的业务数据文件1和业务数据文件2,它们的格式相同,都具有“商品名”字段,则把文件1和文件2“商品名”字段对应的列块数据文件包装成一个固定大小的数据包(通常为10000个数据单元),压缩加密后暂存。
步骤108,根据标准字段文件格式分别对包装后的列块数据文件进行修正检查。
本步骤中,可以由多台计算机同时进行,每一台计算机对一个数据字段对应的包装后的列块数据文件进行修正检查。
本步骤中,可以人工辅助计算机实现,当出现人工修正检查仍不能处理的数据,则将相应的源业务数据文件返回给业务数据提供者。
步骤109,将经过修正检查的包装后的列块数据文件打散,按照标准字段文件格式,转换为与源业务数据文件对应的目标业务数据文件。
本步骤中,首先按照每个列块数据文件标记,将包装后的列块数据文件打散。然后,按照标准字段文件格式,将各个标准字段对应的列块数据文件进行组合,转换为与源业务数据文件对应的标准字段文件格式的目标业务数据文件。
步骤110,对标准字段文件格式的目标业务数据文件进行整体质检并存入数据库。
本步骤中,可以人工辅助计算机实现,当出现人工质检不能处理的数据,则将相应的源业务数据文件返回给业务数据提供者。
这里,需要说明的是,图1所示的流程图是针对一个源业务数据文件进行处理的流程。实际应用中,通常会有海量数据要进行处理。这种情况下,在各个步骤中需要对不同业务数据进行并行处理,因此可以设置调度程序,将不同业务数据在不同步骤中进行调度,以提高数据处理效率。
如图2所示,本发明一较佳实施例的对企业间交互的业务数据进行格式转换的系统包括:调度台200、接收文件注册单元210、解析分拆计算单元220、文件识别工作台230、列块包装计算单元240、修正检查工作台250、文件重组计算单元260和整体质检工作台270。
如图2所示,由于本实施例中解析分拆计算单元220、文件识别工作台230、列块包装计算单元240、修正检查工作台250、文件重组计算单元260和整体质检工作台270的数量均为多个,所以本系统中设置了调度台200,其按照预设的规则将业务数据调度到系统的各个部分。
调度台200包括总调度模块201和分别与接收文件注册单元210、解析分拆计算单元220、文件识别工作台230、列块包装计算单元240、修正检查工作台250、文件重组计算单元260和整体质检工作台270对应的6个子调度模块202-207,每个子调度模块202-207设置有相应的等待队列,每个等待队列暂存需要调度的数据。
如图2所示,总调度模块201与接收文件注册单元210及各个子调度模块202-207分别相连,用于将接收文件注册单元210和各个子调度模块202-207发送来的要处理数据,发送给下一步处理对应的子调度模块202-207。下一步处理对应的子调度模块202-207将要处理的数据发送给该步处理对应的接收文件注册单元210、解析分拆计算单元220、文件识别工作台230、列块包装计算单元240、修正检查工作台250、文件重组计算单元260或整体质检工作台270。
图2中接收文件注册单元210接收企业间交互的业务数据,将接收的业务数据登记注册为源业务数据文件,通过总调度模块201和第一子调度模块202,发送给解析分拆计算单元220。
解析分拆计算单元220,对源业务数据文件进行解析,提取样本数据文件、生成特征数据文件,并按数据字段分拆出一组列块数据文件,通过第一子调度模块202、总调度模块201和第二子调度模块203发送给文件识别工作台230。
文件识别工作台230,根据解析分拆计算单元提供的特征数据文件和样本数据文件对源业务数据文件进行识别,确定来源企业和目标企业;并根据来源企业和目标企业,确定对应的标准字段文件格式,识别出每个列决数据文件对应的标准字段,通过第二子调度模块203、总调度模块201和第三子调度模块204发送给列决包装计算单元240。
列块包装计算单元240,对文件识别工作台发送的源业务数据文件和列块数据文件,将来源企业和目标企业均相同的不同源业务数据文件中,相同数据字段分拆出的列块数据文件进行包装,通过第三子调度模块204、总调度模块201和第四子调度模块205发送给修正检查工作台250。
修正检查工作台250,根据标准字段文件格式分别对列块包装计算单元发送的包装后的列块数据文件进行修正检查,通过第四子调度模块205、总调度模块201和第五子调度模块206发送给文件重组计算单元260。
文件重组计算单元260,将经过修正检查的包装后的列块数据文件打散,按照标准字段文件格式,转换为与源业务数据文件对应的目标业务数据文件,通过第五子调度模块206、总调度模块201和第六子调度模块207发送给整体质检工作台270。
整体质检工作台270,对标准字段文件格式的目标业务数据文件进行整体质检并存入数据库。
本实施例中的文件识别工作台230、修正检查工作台250和整体质检工作台270由人工辅助计算机实现,各个工作台进一步将人工辅助仍不能处理的源业务数据文件返回给业务数据提供者。
本实施例中的修正检查工作台250由多台计算机实现,其中一台计算机对一个数据字段对应的包装后的列块数据文件进行修正检查。
本实施例中的解析分拆计算单元220的结构如图3所示,包括:解析器选择模块301和多个解析器302。其中,解析器选择模块301根据源业务数据文件名称和原始文件头信息,确定源业务数据文件格式,找到匹配的解析器302。各个解析器302提取样本数据文件、分析文件特征,生成特征数据文件,并将源业务数据文件中的每一个数据字段分拆出一个列块数据文件,组成一组列块数据文件。
本实施例中的文件识别工作台230如图4所示,包括:第一识别模块401、标记模块402、标准字段文件格式确定模块403、标准字段文件格式数据库404和第二识别模块405。其中,第一识别模块401,根据特征数据文件确定来源企业和目标企业。标记模块402,对每个列块数据文件标记其来源企业和目标企业及源业务数据文件。标准字段文件格式确定模块403,根据来源企业和目标企业,从标准字段文件格式数据库404中查找该来源企业和目标企业预设的标准字段文件格式。第二识别模块405,根据标准字段文件格式,识别出每个列块数据文件对应的标准字段。
本实施例中,文件识别工作台230采用人工辅助计算机实现。
其中第一识别模块401和第二识别模块405,可以包括自动识别模块和一组人机交互界面。自动识别模块,根据文件解析时候做的匹配,提供默认推荐值,由人工确认和修改。人机交互界面显示文件的原始信息,文件特征和数据样本。生产人员根据数据样本来完成文件识别工作,包括根据文件的原始信息获得来源企业、目标企业等文件识别信息,并根据标准字段文件格式,识别出每个列块数据文件对应的标准字段。
每次人工操作,系统都会对自动匹配的正确情况作记录,同时根据人工选择的匹配和映射情况自动学习,通过记录特征信息完善特征库,记录特征与匹配情况记录信息库这两种方式完成学习。这个工作台包含顺序的初次操作和复审操作两组相同的人机交互界面,通过两次操作来提高识别的准确性,降低人工识别错误率。
本实施例中的修正检查工作台250可以包括数据读取模块和一组人机交互界面,显示列块数据文件中所有的数据。数据读取模块将从子调度台接收数据并读取,通过人机交互界面显示给生产人员。生产人员在界面中,通过界面功能的辅助,快速浏览这些数据,找出错误的数据。当操作人员发现数据有错时,会对这些数据进行标记,并在每个数据操作页进行保存标记,标记包括直接修正,建议删除,建议忽略和退回文件。当标记完这个数据包后,提交对这个数据包的修正和标记。当数据包的修正和标记提交后,并不直接对数据包进行修改。而是把标记和修正信息保存的临时数据库,然后由整体质检工作台270完成对应数据的审核。
由于本实施例中的修正检查工作台250由一个生产人员,在一台计算机对一个数据字段对应的包装后的列块数据文件进行修正检查,提高了数据的安全性。
本实施例中的整体质检工作台270包括一组人机交互界面,把转换为标准字段格式的目标数据,按列进行导出,通过Excel的功能对数据的正确性进行最后的检查和确认。并通过比对工具,通过结果数据和原始数据,重点确认有疑问的数据和文件。最后,根据系统的统计情况,分析各种文件状态的文件数量,判断文件处理是否完整。完成质量检查后,根据系统设置的偏好,如果选择不保留过程数据,则除原始文件外的所有过程数据将被删除。
由于本实施例中的文件识别工作台230、修正检查工作台和整体质检工作台270采用了人工辅助计算机来实现的方式,因此进一步提高了系统进行数据处理的准确性。
另外,本实施例中的列块包装计算单元240包括:列数据文件查找模块和包装模块。其中,找列数据文件查找模块出来源企业和目标企业均相同的不同源业务数据文件中,相同数据字段分拆出的列块数据文件,包装模块,其将找出的列块数据文件按预定的数据量进行包装。
本实施例中的文件重组计算单元260包括:文件打散单元和文件重组单元。其中,文件打散单元,其按照每个列块数据文件标记,将包装后的列块数据文件打散。文件重组单元,按照标准字段文件格式,将各个标准字段对应的列块数据文件进行组合,转换为与源业务数据文件对应的标准字段文件格式的目标业务数据文件。
由上述的实施例可见,本发明实现了将不同企业间交互的业务数据用统一的方法和系统进行格式转换。将上述实施例的方法和系统用于第三方数据加工企业对企业间交互的业务数据进行数据处理,能够提高数据准确性和数据处理效率,降低系统资源浪费及成本。
Claims (20)
1.一种对企业间交互的业务数据进行格式转换的方法,其特征在于,包括如下步骤:
A、对源业务数据文件进行解析,提取样本数据文件、生成特征数据文件,并按数据字段分拆出一组列块数据文件;
B、根据特征数据文件和样本数据文件对源业务数据文件进行识别,确定来源企业和目标企业;
C、根据来源企业和目标企业,确定对应的标准字段文件格式,并识别出每个列块数据文件对应的标准字段;
D、将来源企业和目标企业均相同的不同源业务数据文件中,相同数据字段分拆出的列块数据文件进行包装;
E、根据标准字段文件格式分别对包装后的列块数据文件进行修正检查;
F、将经过修正检查的包装后的列块数据文件打散,按照标准字段文件格式,转换为与源业务数据文件对应的目标业务数据文件。
2.如权利要求1所述的方法,其特征在于,所述步骤A之前进一步包括:接收企业间交互的业务数据,将接收的业务数据登记注册为源业务数据文件。
3.如权利要求2所述的方法,其特征在于,所述步骤A包括:
A1、根据源业务数据文件名称和原始文件头信息,确定源业务数据文件格式,找到匹配的解析器;
A2、提取样本数据文件,并分析文件特征,生成特征数据文件;
A3、将源业务数据文件中的每一个数据字段分拆出一个列块数据文件,组成一组列块数据文件。
4.如权利要求3所述的方法,其特征在于,所述特征数据文件包括:文件名称、文件来源及文件标题;所述样本数据文件包括源业务数据文件中多个预定行的原始数据;
所述步骤B包括:
B1、根据特征数据文件中的文件名称、文件来源及文件标题,以及样板数据文件中的原始数据,确定来源企业和目标企业;
B2、对每个列块数据文件标记其来源企业和目标企业及源业务数据文件。
5.如权利要求4所述的方法,其特征在于,所述步骤C包括:
C1、根据来源企业和目标企业,从数据库中查找该来源企业和目标企业预设的标准字段文件格式;
C2、根据标准字段文件格式,识别出每个列块数据文件对应的标准字段。
6.如权利要求5所述的方法,其特征在于,所述步骤D包括:
D1、找出来源企业和目标企业均相同的不同源业务数据文件中,相同数据字段分拆出的列块数据文件;
D2、将找出的列块数据文件按预定的数据量进行包装。
7.如权利要求6所述的方法,其特征在于,所述步骤E为:由一台计算机对一个数据字段对应的包装后的列块数据文件进行修正检查。
8.如权利要求6所述的方法,其特征在于,所述步骤F包括:
F1、按照每个列块数据文件标记,将包装后的列块数据文件打散;
F2、按照标准字段文件格式,将各个标准字段对应的列块数据文件进行组合,转换为与源业务数据文件对应的标准字段文件格式的目标业务数据文件。
9.如权利要求8所述的方法,其特征在于,该方法进一步包括步骤G:对标准字段文件格式的目标业务数据文件进行整体质检并存入数据库。
10.如权利要求9所述的方法,其特征在于,
所述步骤B、C、E和步骤G由人工辅助计算机实现,各步骤中进一步将人工辅助仍不能处理的源业务数据文件返回给业务数据提供者。
11.一种对企业间交互的业务数据进行格式转换的系统,其特征在于,包括:
解析分拆计算单元,其对源业务数据文件进行解析,提取样本数据文件、生成特征数据文件,并按数据字段分拆出一组列块数据文件;
文件识别工作台,根据解析分拆计算单元提供的特征数据文件和样本数据文件对源业务数据文件进行识别,确定来源企业和目标企业;并根据来源企业和目标企业,确定对应的标准字段文件格式,识别出每个列块数据文件对应的标准字段;
列块包装计算单元,对文件识别工作台发送的源业务数据文件和列块数据文件,将来源企业和目标企业均相同的不同源业务数据文件中,相同数据字段分拆出的列块数据文件进行包装;
修正检查工作台,根据标准字段文件格式分别对列块包装计算单元发送的包装后的列块数据文件进行修正检查;
文件重组计算单元,将经过修正检查的包装后的列块数据文件打散,按照标准字段文件格式,转换为与源业务数据文件对应的目标业务数据文件。
12.如权利要求11所述的系统,其特征在于:该系统还包括接收文件注册单元,其接收企业间交互的业务数据,将接收的业务数据登记注册为源业务数据,发送给解析分拆计算单元。
13.如权利要求12所述的系统,其特征在于,所述解析分拆计算单元包括:解析器选择模块和多个解析器;
所述解析器选择模块根据源业务数据文件名称和原始文件头信息,确定源业务数据文件格式,找到匹配的解析器;
所述各个解析器提取样本数据文件、分析文件特征,生成特征数据文件,并将源业务数据文件中的每一个数据字段分拆出一个列块数据文件,组成一组列块数据文件。
14.如权利要求13所述的系统,其特征在于,所述文件识别工作台包括:第一识别模块、标记模块、标准字段文件格式确定模块、标准字段文件格式数据库和第二识别模块;
所述第一识别模块,根据特征数据文件确定来源企业和目标企业;
所述标记模块,对每个列块数据文件标记其来源企业和目标企业及源业务数据文件;
所述标准字段文件格式确定模块,根据来源企业和目标企业,从标准字段文件格式数据库中查找该来源企业和目标企业预设的标准字段文件格式;
所述第二识别模块,根据标准字段文件格式,识别出每个列块数据文件对应的标准字段。
15.如权利要求14所述的系统,其特征在于:所述修正检查工作台由多台计算机实现,其中一台计算机对一个数据字段对应的包装后的列块数据文件进行修正检查。
16.如权利要求15所述的系统,其特征在于:所述列块包装计算单元包括:
列数据文件查找模块,其找出来源企业和目标企业均相同的不同源业务数据文件中,相同数据字段分拆出的列块数据文件;
包装模块,其将找出的列块数据文件按预定的数据量进行包装。
17.如权利要求16所述的系统,其特征在于,所述文件重组计算单元包括:
文件打散单元,其按照每个列块数据文件标记,将包装后的列块数据文件打散;
文件重组单元,按照标准字段文件格式,将各个标准字段对应的列块数据文件进行组合,转换为与源业务数据文件对应的标准字段文件格式的目标业务数据文件。
18.如权利要求17所述的系统,其特征在于:该系统进一步包括整体质检工作台,其对标准字段文件格式的目标业务数据文件进行整体质检并存入数据库。
19.如权利要求18所述的系统,其特征在于:所述解析分拆计算单元、文件识别工作台、列块包装计算单元、修正检查工作台、文件重组计算单元和整体质检工作台的数量均为多个;
该系统进一步包括:调度台,其按照预设的规则将业务数据调度到系统的各个部分。
20.如权利要求19所述的系统,其特征在于:所述文件识别工作台、修正检查工作台和整体质检工作台由人工辅助计算机实现,各个工作台进一步将人工辅助仍不能处理的源业务数据文件返回给业务数据提供者。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210053543.0A CN102629263B (zh) | 2012-02-29 | 2012-02-29 | 对企业间交互的业务数据进行格式转换的方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210053543.0A CN102629263B (zh) | 2012-02-29 | 2012-02-29 | 对企业间交互的业务数据进行格式转换的方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102629263A true CN102629263A (zh) | 2012-08-08 |
CN102629263B CN102629263B (zh) | 2014-08-20 |
Family
ID=46587523
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210053543.0A Active CN102629263B (zh) | 2012-02-29 | 2012-02-29 | 对企业间交互的业务数据进行格式转换的方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102629263B (zh) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102880669A (zh) * | 2012-09-05 | 2013-01-16 | 华为软件技术有限公司 | 一种基于文件的业务处理方法和装置 |
CN104317601A (zh) * | 2014-10-31 | 2015-01-28 | 北京思特奇信息技术股份有限公司 | 一种文件接口开发方法及系统 |
CN105245521A (zh) * | 2015-10-14 | 2016-01-13 | 海能达通信股份有限公司 | 协议格式转换方法、装置及接口平台 |
CN106227710A (zh) * | 2016-07-26 | 2016-12-14 | 浪潮通用软件有限公司 | 一种基于excel的数据文件转换配置方法 |
CN106777309A (zh) * | 2016-12-30 | 2017-05-31 | 中国民航信息网络股份有限公司 | 非正常航班旅客通知数据的处理方法及系统 |
CN106909570A (zh) * | 2015-12-23 | 2017-06-30 | 阿里巴巴集团控股有限公司 | 一种数据转换方法及装置 |
WO2018027391A1 (zh) * | 2016-08-06 | 2018-02-15 | 柳柏宏 | 信息转发技术的使用情况收集方法以及转发系统 |
WO2018027390A1 (zh) * | 2016-08-06 | 2018-02-15 | 柳柏宏 | 论坛信息一键转发的方法以及转发系统 |
CN109241499A (zh) * | 2018-08-10 | 2019-01-18 | 四川译讯信息科技有限公司 | 一种在线图文转换方法 |
CN109960683A (zh) * | 2019-03-27 | 2019-07-02 | 泰信利美信息科技(常州)有限公司 | 基于大数据库的信息数据存储整合系统 |
CN109995643A (zh) * | 2017-12-29 | 2019-07-09 | 中国移动通信集团河南有限公司 | 业务邮件推送方法及装置 |
CN110569296A (zh) * | 2019-08-29 | 2019-12-13 | 南宁学院 | 一种流程数据格式转换方法 |
CN111061793A (zh) * | 2019-12-18 | 2020-04-24 | 中国建设银行股份有限公司 | 一种数据处理系统和方法 |
CN111626019A (zh) * | 2020-04-15 | 2020-09-04 | 中国人民解放军军事科学院战争研究院 | 一种开放式企业级信息系统的信息转换方法 |
CN112799673A (zh) * | 2021-01-19 | 2021-05-14 | 烽火通信科技股份有限公司 | 一种网络协议数据的校核方法及装置 |
CN113010588A (zh) * | 2019-12-20 | 2021-06-22 | 北京国基科技股份有限公司 | 一种数据表格的处理方法 |
CN113423093A (zh) * | 2021-05-25 | 2021-09-21 | 江铃汽车股份有限公司 | 一种基于车载终端的蓝牙通信方法及系统 |
CN117010323A (zh) * | 2023-08-17 | 2023-11-07 | 上海倍通医药科技咨询有限公司 | 一种用于电子邮件中的文件的数据格式化方法及系统 |
CN117499504A (zh) * | 2023-12-29 | 2024-02-02 | 万联易达物流科技有限公司 | 一种报文格式转换方法和系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050228765A1 (en) * | 2004-01-16 | 2005-10-13 | Taiwan Semiconductor Manufacturing Co. | Mechanism for synchronizing manafacturing information systems and document content management systems data |
CN101400043A (zh) * | 2007-09-25 | 2009-04-01 | 中兴通讯股份有限公司 | 移动通信系统中前后台数据一致性比较的方法及系统 |
CN101571861A (zh) * | 2008-04-29 | 2009-11-04 | 阿里巴巴集团控股有限公司 | 一种对数据表进行转换的方法及装置 |
-
2012
- 2012-02-29 CN CN201210053543.0A patent/CN102629263B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050228765A1 (en) * | 2004-01-16 | 2005-10-13 | Taiwan Semiconductor Manufacturing Co. | Mechanism for synchronizing manafacturing information systems and document content management systems data |
CN101400043A (zh) * | 2007-09-25 | 2009-04-01 | 中兴通讯股份有限公司 | 移动通信系统中前后台数据一致性比较的方法及系统 |
CN101571861A (zh) * | 2008-04-29 | 2009-11-04 | 阿里巴巴集团控股有限公司 | 一种对数据表进行转换的方法及装置 |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102880669A (zh) * | 2012-09-05 | 2013-01-16 | 华为软件技术有限公司 | 一种基于文件的业务处理方法和装置 |
CN104317601B (zh) * | 2014-10-31 | 2017-10-17 | 北京思特奇信息技术股份有限公司 | 一种文件接口开发方法及系统 |
CN104317601A (zh) * | 2014-10-31 | 2015-01-28 | 北京思特奇信息技术股份有限公司 | 一种文件接口开发方法及系统 |
CN105245521B (zh) * | 2015-10-14 | 2019-11-15 | 海能达通信股份有限公司 | 协议格式转换方法、装置及接口平台 |
CN105245521A (zh) * | 2015-10-14 | 2016-01-13 | 海能达通信股份有限公司 | 协议格式转换方法、装置及接口平台 |
CN106909570B (zh) * | 2015-12-23 | 2020-12-15 | 创新先进技术有限公司 | 一种数据转换方法及装置 |
CN106909570A (zh) * | 2015-12-23 | 2017-06-30 | 阿里巴巴集团控股有限公司 | 一种数据转换方法及装置 |
CN106227710A (zh) * | 2016-07-26 | 2016-12-14 | 浪潮通用软件有限公司 | 一种基于excel的数据文件转换配置方法 |
WO2018027391A1 (zh) * | 2016-08-06 | 2018-02-15 | 柳柏宏 | 信息转发技术的使用情况收集方法以及转发系统 |
WO2018027390A1 (zh) * | 2016-08-06 | 2018-02-15 | 柳柏宏 | 论坛信息一键转发的方法以及转发系统 |
CN106777309A (zh) * | 2016-12-30 | 2017-05-31 | 中国民航信息网络股份有限公司 | 非正常航班旅客通知数据的处理方法及系统 |
CN109995643A (zh) * | 2017-12-29 | 2019-07-09 | 中国移动通信集团河南有限公司 | 业务邮件推送方法及装置 |
CN109241499A (zh) * | 2018-08-10 | 2019-01-18 | 四川译讯信息科技有限公司 | 一种在线图文转换方法 |
CN109241499B (zh) * | 2018-08-10 | 2023-07-18 | 四川译讯信息科技有限公司 | 一种在线图文转换方法 |
CN109960683A (zh) * | 2019-03-27 | 2019-07-02 | 泰信利美信息科技(常州)有限公司 | 基于大数据库的信息数据存储整合系统 |
CN110569296A (zh) * | 2019-08-29 | 2019-12-13 | 南宁学院 | 一种流程数据格式转换方法 |
CN111061793A (zh) * | 2019-12-18 | 2020-04-24 | 中国建设银行股份有限公司 | 一种数据处理系统和方法 |
CN111061793B (zh) * | 2019-12-18 | 2023-10-31 | 中国建设银行股份有限公司 | 一种数据处理系统和方法 |
CN113010588A (zh) * | 2019-12-20 | 2021-06-22 | 北京国基科技股份有限公司 | 一种数据表格的处理方法 |
CN113010588B (zh) * | 2019-12-20 | 2023-07-04 | 北京国基科技股份有限公司 | 一种数据表格的处理方法 |
CN111626019A (zh) * | 2020-04-15 | 2020-09-04 | 中国人民解放军军事科学院战争研究院 | 一种开放式企业级信息系统的信息转换方法 |
CN112799673A (zh) * | 2021-01-19 | 2021-05-14 | 烽火通信科技股份有限公司 | 一种网络协议数据的校核方法及装置 |
CN112799673B (zh) * | 2021-01-19 | 2022-03-25 | 烽火通信科技股份有限公司 | 一种网络协议数据的校核方法及装置 |
CN113423093A (zh) * | 2021-05-25 | 2021-09-21 | 江铃汽车股份有限公司 | 一种基于车载终端的蓝牙通信方法及系统 |
CN117010323A (zh) * | 2023-08-17 | 2023-11-07 | 上海倍通医药科技咨询有限公司 | 一种用于电子邮件中的文件的数据格式化方法及系统 |
CN117499504A (zh) * | 2023-12-29 | 2024-02-02 | 万联易达物流科技有限公司 | 一种报文格式转换方法和系统 |
CN117499504B (zh) * | 2023-12-29 | 2024-03-22 | 万联易达物流科技有限公司 | 一种报文格式转换方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN102629263B (zh) | 2014-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102629263B (zh) | 对企业间交互的业务数据进行格式转换的方法及系统 | |
Shah et al. | Defining and developing measures of lean production | |
CN104063314B (zh) | 一种测试数据自动生成装置及方法 | |
US20070088743A1 (en) | Information processing device and information processing method | |
CN111708774B (zh) | 一种基于大数据的产业分析系统 | |
CN105144080A (zh) | 用于元数据管理的系统 | |
EP2431896A1 (en) | Database, management server, and management program | |
CN101976394A (zh) | 数据采集和统计系统及方法 | |
CN112330299A (zh) | 业务流程管理方法、装置、设备及存储介质 | |
KR20110043292A (ko) | 커스터마이징 리서치 시스템 및 그 방법 | |
CN117875293A (zh) | 一种业务表单模板快速数字化的生成方法 | |
JP2019185394A (ja) | データカタログ自動生成システム及びその自動生成方法 | |
JPH09212353A (ja) | 再利用設計支援方法および設計支援装置 | |
CN109902215A (zh) | 一种交易匹配的方法及系统 | |
Pereira et al. | A literature review on lean manufacturing in small manufacturing companies | |
Puuska et al. | Proof of concept of a European database for social sciences and humanities publications: Description of the VIRTA-ENRESSH pilot | |
JP2021140430A (ja) | データベースマイグレーション方法、データベースマイグレーションシステム、及びデータベースマイグレーションプログラム | |
CN112527818A (zh) | 报表生成方法、装置、设备及存储介质 | |
CN113255310A (zh) | 一种医学检验lims系统中检验报告可视化配置方法 | |
US8856152B2 (en) | Apparatus and method for visualizing data | |
CN116881512A (zh) | 一种跨系统元数据血缘自动解析方法 | |
CN113377952B (zh) | 水利水电工程质量验评电子文件归档档号自动生成方法 | |
CN115660493A (zh) | 一种基于大数据的企业产品标准建立方法及系统 | |
CN114357967A (zh) | 一种票据文件的解析方法和装置 | |
CN102521717A (zh) | 一种配置管理资源库信息统计的方法与装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |