CN114676124B - 基于配置式的数据字段差异解决方法、装置、设备及介质 - Google Patents

基于配置式的数据字段差异解决方法、装置、设备及介质 Download PDF

Info

Publication number
CN114676124B
CN114676124B CN202210584096.5A CN202210584096A CN114676124B CN 114676124 B CN114676124 B CN 114676124B CN 202210584096 A CN202210584096 A CN 202210584096A CN 114676124 B CN114676124 B CN 114676124B
Authority
CN
China
Prior art keywords
data
field
type
difference
configuring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210584096.5A
Other languages
English (en)
Other versions
CN114676124A (zh
Inventor
梁益欣
黄木旺
黄华伟
麦伟雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Guangdong Co ltd
Original Assignee
Aerospace Information Guangdong Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Guangdong Co ltd filed Critical Aerospace Information Guangdong Co ltd
Priority to CN202210584096.5A priority Critical patent/CN114676124B/zh
Publication of CN114676124A publication Critical patent/CN114676124A/zh
Application granted granted Critical
Publication of CN114676124B publication Critical patent/CN114676124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Stored Programmes (AREA)

Abstract

本发明涉及数据处理领域,揭露基于配置式的数据字段差异解决方法、装置、设备及介质,方法包括:获取业务端所产生的应用数据,定义应用数据的数据差异对象,识别数据差异对象的字段类型;在字段类型为SQL类型时,配置数据差异对象的字段别名;在字段类型为HTTP类型时,配置数据差异对象的数据结构;在字段类型为Excel类型时,配置数据差异对象的位置结构;在字段类型为文本类型时,配置数据差异对象的序列结构;根据字段别名、数据结构、位置结构以及序列结构,对应用数据中的数据进行格式转换,得到目标对象数据,并将目标对象数据导入至目标程序中。本发明可以对应用数据中不同类型数据的统一化处理,提高应用之间的数据交互效率。

Description

基于配置式的数据字段差异解决方法、装置、设备及介质
技术领域
本发明涉及数据处理领域,尤其涉及一种基于配置式的数据字段差异解决方法、装置、电子设备以及存储介质。
背景技术
在今世界是一个充满着数据的互联网世界,充斥着大量的数据。即这个互联网世界就是数据世界。随着计算机技术的发展,每个公司业务和规模都在不断的扩大,涉及到的应用软件种类和数据量都会爆炸性的增长,而不同应用软件之间的切换,就需要保证数据字段的一致性。
现如今,对于不同应用软件间的数据字段的一致性处理,大多通过工作人员从一个应用软件获取数据后,进行手工处理配置,再导入到另一个应用软件,形成另一个应用软件的需求格式,从而会影响不同应用之间数据交互的效率过低。
发明内容
为了解决上述问题,本发明提供了一种基于配置式的数据字段差异解决方法、装置、电子设备以及计算机可读存储介质,可以对应用数据中不同类型数据的统一化处理,提高应用之间的数据交互效率。
第一方面,本发明提供了一种基于配置式的数据字段差异解决方法,包括:
获取业务端所产生的应用数据,定义所述应用数据的数据差异对象,并识别所述数据差异对象的字段类型;
在所述字段类型为SQL类型时,配置所述数据差异对象的字段别名;
在所述字段类型为HTTP类型时,配置所述数据差异对象的数据结构;
在所述字段类型为Excel类型时,配置所述数据差异对象的位置结构;
在所述字段类型为文本类型时,配置所述数据差异对象的序列结构;
根据所述字段别名、所述数据结构、所述位置结构以及所述序列结构,对所述应用数据中的数据进行格式转换,得到目标对象数据,并将所述目标对象数据导入至目标程序中。
在第一方面的一种可能实现方式中,所述数据差异对象包括常用字段对象、备用字段对象以及扩展字段对象,其特征在于,所述定义所述应用数据的数据差异对象,包括:
识别所述应用数据中每个数据的数据类型,根据所述数据类型,识别所述应用数据中每个数据的特征属性;
在所述特征属性符合预设的差异属性时,将所述特征属性对应的数据作为所述数据差异对象。
在第一方面的一种可能实现方式中,所述识别所述数据差异对象的字段类型,包括:
提取所述数据差异对象的数据字段,识别描述所述数据字段的语义信息;
根据所述语义信息,识别所述数据字段的字段类型,得到所述数据差异对象的字段类型。
在第一方面的一种可能实现方式中,所述配置所述数据差异对象的字段别名,包括:
获取所述数据差异对象的数据字段,确定所述数据字段的位置序列;
提取所述位置序列对应的序列名称;
利用预设名称转换语句将所述序列名称转换为字段别名。
在第一方面的一种可能实现方式中,所述配置所述数据差异对象的数据结构,包括:
识别所述数据差异对象的数据格式;
在所述数据格式为JSON格式时,构建所述数据差异对象的JSON对象,并配置所述JSON对象的JSON结构;
在所述数据结构为XML格式时,构建所述数据差异对象的XML对象,并配置所述XML对象的XML结构;
根据所述JSON结构和所述XML结构,生成所述数据差异对象的数据结构。
在第一方面的一种可能实现方式中,所述根据所述字段别名、所述数据结构、所述位置结构以及所述序列结构,对所述应用数据中的数据进行格式转换,得到目标对象数据,包括:
根据所述字段别名,将所述应用数据中属于SQL类型的对象数据进行别名转换,得到初始对象数据;
根据所述数据结构,将所述初始对象数据中属于HTTP类型的对象数据进行HTTP格式转换,得到标准对象数据;
根据所述位置结构,将所述标准对象数据中属于Excel类型的对象数据进行Excel格式转换,得到转换对象数据;
根据所述序列结构,将所述转换对象数据中属于文本类型的对象数据进行文本格式转换,得到目标对象数据。
在第一方面的一种可能实现方式中,所述将所述目标对象数据导入至目标程序中,包括:
获取所述目标对象数据对应业务端的第一配置文件,及所述目标程序的第二配置文件;
根据所述第一配置文件和所述第二配置文件,构建所述业务端与所述目标程序的文件传输通道;
根据所述文件传输通道,将所述目标对象数据传输至所述目标程序中。
第二方面,本发明提供了一种基于配置式的数据字段差异解决装置,所述装置包括:
字段类型识别模块,用于获取业务端所产生的应用数据,定义所述应用数据的数据差异对象,并识别所述数据差异对象的字段类型;
字段别名配置模块,用于在所述字段类型为SQL类型时,配置所述数据差异对象的字段别名;
数据结构配置模块,用于在所述字段类型为HTTP类型时,配置所述数据差异对象的数据结构;
位置结构配置模块,用于在所述字段类型为Excel类型时,配置所述数据差异对象的位置结构;
序列结构配置模块,用于在所述字段类型为文本类型时,配置所述数据差异对象的序列结构;
应用数据导入模块,用于根据所述字段别名、所述数据结构、所述位置结构以及所述序列结构,对所述应用数据中的数据进行格式转换,得到目标对象数据,并将所述目标对象数据导入至目标程序中。
第三方面,本发明提供一种电子设备,包括:
至少一个处理器;以及与所述至少一个处理器通信连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,以使所述至少一个处理器能够执行如上述第一方面中任意一项所述的基于配置式的数据字段差异解决方法。
第四方面,本发明提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面中任意一项所述的基于配置式的数据字段差异解决方法。
与现有技术相比,本方案的技术原理及有益效果在于:
本发明实施例首先通过定义应用数据的数据差异对象,并识别所述数据差异对象的字段类型,可以确定后续所述数据差异对象的字段配置方式,保障后续数据差异对象的字段差异性解决前提;其次,本发明实施例在所述字段类型为SQL类型时,配置所述数据差异对象的字段别名,和在所述字段类型为HTTP类型时,配置所述数据差异对象的数据结构,及在所述字段类型为Excel类型时,配置所述数据差异对象的位置数据结构,并在所述字段类型为文本类型时,配置所述数据差异对象的序列结构,可以确定所述应用数据中数据差异对象的转换结构,可以解决后续在进行数据导入时因Excel格式而出现差异性的问题,实现后续数据的归一化处理,提高后续不同应用之间的数据交互效率;进一步地,本发明实施例通过根据所述字段别名、所述数据结构、所述位置结构以及所述序列结构,对所述应用数据中的数据进行格式转换,得到目标对象数据,并将所述目目标对象数据导入至目标程序中,以实现不同应用之间的数据交互。因此,本发明实施例提出的一种基于配置式的数据字段差异解决方法、装置、电子设备以及计算机可读存储介质,可以对应用数据中不同类型数据的统一化处理,提高应用之间的数据交互效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种基于配置式的数据字段差异解决方法的流程示意图;
图2为本发明一实施例中图1提供的一种基于配置式的数据字段差异解决方法的其中一个步骤的流程示意图;
图3为本发明一实施例中图1提供的一种基于配置式的数据字段差异解决方法的另外一个步骤的流程示意图;
图4为本发明一实施例提供的一种基于配置式的数据字段差异解决装置的模块示意图;
图5为本发明一实施例提供的实现基于配置式的数据字段差异解决方法的电子设备的内部结构示意图。
具体实施方式
应在理解,此处所描述的具体实施方式仅仅用以解释本发明,并不用于限定本发明。
本发明实施例提供一种基于配置式的数据字段差异解决方法,所述基于配置式的数据字段差异解决方法的执行主体包括但不限于服务端、终端等能够被配置为执行本发明实施例提供的该方法的电子设备中的至少一种。换言之,所述基于配置式的数据字段差异解决方法可以由安装在终端设备或服务端设备的软件或硬件来执行,所述软件可以是区块链平台。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参阅图1所示,是本发明一实施例提供的基于配置式的数据字段差异解决方法的流程示意图。其中,图1中描述的基于配置式的数据字段差异解决方法包括:
S1、获取业务端所产生的应用数据,定义所述应用数据的数据差异对象,并识别所述数据差异对象的字段类型。
本发明实施例中,所述业务端是指基于不同业务场景中所形成的业务客户端,如在发票开具场景中,所述业务端可以为开票系统,在医疗挂号场景中,所述业务端可以为挂号系统,所述应用数据是指基于不同业务端对应应用程序中所产生的数据集合,如在商城应用程序中,所述应用数据可以为订单购买、物流查询以及订单支付等数据,在医疗应用程序中,所述应用数据可以为就诊、挂号以及预约等数据,应该了解的是,由于实际业务应用场景的复杂多变性,通过业务端所产生的数据会包含不同的结构类型(如结构化、半结构以及非结构等),这样容易导致在不同业业务端进行数据迁移或传输过程中出现数据差异性的现象,因此,本发明实施例通过定义所述应用数据中的数据差异对象,以保障后续解决所述数据差异对象在进行数据导入时出现数据差异性的前提。其中,所述数据差异对象是指在所述应用数据中需要进行数据差异性解决的对象,其包括常用字段对象、备用字段对象以及扩展字段对象,所述常用字段对象可以理解为在所述业务端中需要经常用到的字段对象,如对于开票系统来说,所述常用字段对象可以设置为税号、抬头、时间等字段对象,所述备用字段对象可以理解为在所述业务端前端中可能需要用到的字段对象,其基于不同前端用户进行设置,如在对于开票系统来说,所述备用字段对象可以设置为地址、日期等字段对象,所述扩展字段对象是指在所述业务端后台中需要进行新增的字段对象,其基于不同后台开发用户进行设置,如在对于开票系统来说,所述拓展字段对象可以设置为税率、真伪号等字段对象。
作为本发明的一个实施例,所述定义所述应用数据中的数据差异对象,包括:识别所述应用数据中每个数据的数据类型,根据所述数据类型,识别所述应用数据中每个数据的特征属性,在所述特征属性符合预设的差异属性时,将所述特征属性对应的数据作为所述数据差异对象。
其中,所述数据类型用于表征所述应用数据中每个数据的数据类别信息,如时间、日期、位置等类型,所述特征属性用于表征所述应用数据中每个数据的数据语义信息。
进一步地,本发明一可选实施例中,所述预设的差异属性可以通过定义接口方法类进行设置,如implements方法类,所述特征属性是否符合所述预设的差异属性可以通过相似度算法实现。
进一步地,本发明实施例通过识别所述数据差异对象的字段类型,以确定后续所述数据差异对象的字段配置方式,保障后续数据差异对象的字段差异性解决前提。
作为本发明的一个实施例,所述识别所述数据差异对象的字段类型,包括:提取所述数据差异对象的数据字段,识别描述所述数据字段的语义信息,根据所述语义信息,识别所述数据字段的字段类型,得到所述数据差异对象的字段类型。
其中,所述数据字段是指用于表示与对象或类关联的数据变量,其常用于数据表中,以记录数据表中的行列属性,所述语义信息可以理解为用于表征所述数据字段的字段属性信息。
进一步地,本发明一可选实施例中,所述数据字段可以通过构建自动化脚本实现,所述自动化脚本可以通过脚本语言进行编译,如JS脚本语言,所述语义信息可以通过深度学习网络进行识别。
S2、在所述字段类型为SQL类型时,配置所述数据差异对象的字段别名。
本发明实施例在所述字段类型为SQL类型时,表示所述数据差异对象的数据格式为SQL格式,即在向目标程序导入时需要考虑因SQL格式而导致的数据差异性问题,因此,本发明实施例通过配置所述数据差异对象的字段别名,以避免后续在进行数据导入时因SQL格式而出现差异性的问题,实现后续数据的归一化处理,提高后续不同应用之间的数据交互效率。
作为本发明的一个实施例,参阅图2所示,所述配置所述数据差异对象的字段别名,包括:
S201、获取所述数据差异对象的数据字段,确定所述数据字段的位置序列;
S202、提取所述位置序列对应的序列名称;
S203、利用预设名称转换语句将所述序列名称转换为字段别名。
其中,所述位置序列是指所述数据字段的存储位置信息,如行列位置序列,所述序列名称是指所述数据字段的字段信息,如name、age等,所述预设名称转换语句包括AS语句,例如通过AS语句可以将name(序列名称)转换为姓名(字段别名)。
S3、在所述字段类型为HTTP类型时,配置所述数据差异对象的数据结构。
应该了解,在所述字段类型为HTTP类型时,表示所述数据差异对象的数据格式为HTTP格式,即应用数据在向目标程序导入或接收时需要考虑因HTTP格式而导致的数据差异性问题,因此,本发明实施例通过配置所述数据差异对象的数据结构,以解决后续在进行数据导入时因HTTP格式而出现差异性的问题,实现后续数据的归一化处理,提高后续不同应用之间的数据交互效率。
作为本发明的一个实施例,所述配置所述数据差异对象的数据结构,包括:识别所述数据差异对象的数据格式,在所述数据格式为JSON格式时,构建所述数据差异对象的JSON对象,并配置所述JSON对象的JSON结构,在所述数据结构为XML格式时,构建所述数据差异对象的XML对象,并配置所述XML对象的XML结构,根据所述JSON结构和所述XML结构,生成所述数据差异对象的数据结构。
其中,所述JSON对象用于表征所述数据差异对象在转换成JSON格式的数据实例,所述XML对象用于表征所述数据差异对象在转换成XML式的数据实例。
进一步地,本发明一可选实施例中,所述数据差异对象的JSON对象即XML对象可以通过JAVA语言进行构建,所述数据差异对象的JSON对象可以通过JSONpath工具中JSONObject实例化方法进行构建,所述数据差异对象的XML数据结构配置可以通过Xpath工具实现。
S4、在所述字段类型为Excel类型时,配置所述数据差异对象的位置结构。
应该了解,在所述字段类型为Excel类型时,表示所述数据差异对象的数据格式为Excel格式,即应用数据在向目标程序切换时需要考虑因Excel格式而导致的数据差异性问题,因此,本发明实施例通过配置所述数据差异对象的位置结构,以解决后续在进行数据导入时因Excel格式而出现差异性的问题,实现后续数据的归一化处理,提高后续不同应用之间的数据交互效率。
其中,所述位置结构可以理解为所述数据差异对象在向目标程序切换后所存在的单元格位置序列,可选的,所述数据差异对象的位置结构可以通过Excel表格中的单元格函数进行配置。
S5、在所述字段类型为文本类型时,配置所述数据差异对象的序列结构。
应该了解,在所述字段类型为文本类型时,表示所述数据差异对象的数据格式为文本格式,即应用数据在向目标程序切换时需要考虑因文本格式而导致的数据差异性问题,因此,本发明实施例通过配置所述数据差异对象的位置结构,以解决后续在进行数据导入时因文本格式而出现差异性的问题,实现后续数据的归一化处理,提高后续不同应用之间的数据交互效率。
其中,所述序列结构是指所述数据差异对象在向目标程序切换后所存在的数据行列位置,可选的,所述数据差异对象的序列结构基于主从行模式或平面主模式进行配置,详细地,所述主从行模式可以理解为是指按照文本中数据所存在主行和从行的序列属性形式配置所述数据差异对象的序列结构,所述平面主模式可以理解为是指按照文本中分割符形式配置所述数据差异对象的序列结构。
S6、根据所述字段别名、所述数据结构、所述位置结构以及所述序列结构,对所述应用数据中的数据进行格式转换,得到目标对象数据,并将所述目目标对象数据导入至目标程序中。
本发明实施例通过根据所述字段别名、所述数据结构、所述位置结构以及所述序列结构,对所述应用数据中的数据进行格式转换,可以将影响所述应用数据在进行导入时会出现字段差异的数据进行格式转换,实现所述应用数据的字段自动化配置,避免所述应用数据在不同程序导入时出现字段差异性现象,实现所述应用数据的统一化处理,保障所述应用数据的导入效率。
作为本发明的一个实施例,参阅图3所示,所述根据所述字段别名、所述数据结构、所述位置结构以及所述序列结构,对所述应用数据中的数据进行格式转换,得到目标对象数据,包括:
S301、根据所述字段别名,将所述应用数据中属于SQL类型的对象数据进行别名转换,得到初始对象数据;
S302、根据所述数据结构,将所述初始对象数据中属于HTTP类型的对象数据进行HTTP格式转换,得到标准对象数据;
S303、根据所述位置结构,将所述标准对象数据中属于Excel类型的对象数据进行Excel格式转换,得到转换对象数据;
S304、根据所述序列结构,将所述转换对象数据中属于文本类型的对象数据进行文本格式转换,得到目标对象数据。
其中,所述对象数据的别名、HTTP、Excel以及文本的格式转换可以分别参阅上述的字段别名、数据结构、位置结构以及序列结构对应的配置手段进行实现。
进一步地,本发明实施例通过将所述目标对象数据导入至目标程序中,以实现所述应用数据在不同应用程序之间的稳定导入。其中,所述目标程序是指需要使用所述应用数据中对象数据的程序。
作为本发明的一个实施例,所述将所述目标对象数据导入至目标程序中,包括:获取所述目标对象数据对应业务端的第一配置文件,及所述目标程序的第二配置文件,根据所述第一配置文件和所述第二配置文件,构建所述业务端与所述目标程序的文件传输通道,根据所述文件传输通道,将所述目标对象数据传输至所述目标程序中。
其中,所述配置文件用于确定程序的配置信息,其包括程序接口参数、程序环境参数以及程序地址参数等。
可以看出,本发明实施例首先通过定义应用数据的数据差异对象,并识别所述数据差异对象的字段类型,可以确定后续所述数据差异对象的字段配置方式,保障后续数据差异对象的字段差异性解决前提;其次,本发明实施例在所述字段类型为SQL类型时,配置所述数据差异对象的字段别名,和在所述字段类型为HTTP类型时,配置所述数据差异对象的数据结构,及在所述字段类型为Excel类型时,配置所述数据差异对象的位置数据结构,并在所述字段类型为文本类型时,配置所述数据差异对象的序列结构,可以确定所述应用数据中数据差异对象的转换结构,可以解决后续在进行数据导入时因Excel格式而出现差异性的问题,实现后续数据的归一化处理,提高后续不同应用之间的数据交互效率;进一步地,本发明实施例通过根据所述字段别名、所述数据结构、所述位置结构以及所述序列结构,对所述应用数据中的数据进行格式转换,得到目标对象数据,并将所述目目标对象数据导入至目标程序中,以实现不同应用之间的数据交互。因此,本发明实施例提出的一种基于配置式的数据字段差异解决方法可以对应用数据中不同类型数据的统一化处理,提高应用之间的数据交互效率。
如图4所示,是本发明基于配置式的数据字段差异解决装置功能模块图。
本发明所述基于配置式的数据字段差异解决装置400可以安装于电子设备中。根据实现的功能,所述基于配置式的数据字段差异解决装置可以包括字段类型识别模块401、字段别名配置模块402、数据结构配置模块403、位置结构配置模块404、序列结构配置模块405以及应用数据导入模块406。本发明所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
在本发明实施例中,关于各模块/单元的功能如下:
所述字段类型识别模块401,用于获取业务端所产生的应用数据,定义所述应用数据的数据差异对象,并识别所述数据差异对象的字段类型;
所述字段别名配置模块402,用于在所述字段类型为SQL类型时,配置所述数据差异对象的字段别名;
所述数据结构配置模块403,用于在所述字段类型为HTTP类型时,配置所述数据差异对象的数据结构;
所述位置结构配置模块404,用于在所述字段类型为Excel类型时,配置所述数据差异对象的位置结构;
所述序列结构配置模块405,用于在所述字段类型为文本类型时,配置所述数据差异对象的序列结构;
所述应用数据导入模块406,用于根据所述字段别名、所述数据结构、所述位置结构以及所述序列结构,对所述应用数据中的数据进行格式转换,得到目标对象数据,并将所述目标对象数据导入至目标程序中。
详细地,本发明实施例中所述基于配置式的数据字段差异解决装置400中的所述各模块在使用时采用与上述的图1至图3中所述的基于配置式的数据字段差异解决方法一样的技术手段,并能够产生相同的技术效果,这里不再赘述。
如图5所示,是本发明实现基于配置式的数据字段差异解决方法的电子设备的结构示意图。
所述电子设备可以包括处理器50、存储器51、通信总线52以及通信接口53,还可以包括存储在所述存储器51中并可在所述处理器50上运行的计算机程序,如基于配置式的数据字段差异解决程序。
其中,所述处理器50在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器50是所述电子设备的控制核心(ControlUnit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器51内的程序或者模块(例如执行基于配置式的数据字段差异解决程序等),以及调用存储在所述存储器51内的数据,以执行电子设备的各种功能和处理数据。
所述存储器51至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器51在一些实施例中可以是电子设备的内部存储单元,例如该电子设备的移动硬盘。所述存储器51在另一些实施例中也可以是电子设备的外部存储设备,例如电子设备上配备的插接式移动硬盘、智能存储卡(Smart Media Card, SMC)、安全数字(Secure Digital,SD)卡、闪存卡(Flash Card)等。进一步地,所述存储器51还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器51不仅可以用于存储安装于电子设备的应用软件及各类数据,例如数据库配置化连接程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
所述通信总线52可以是外设部件互连标准(peripheral componentinterconnect,简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器51以及至少一个处理器50等之间的连接通信。
所述通信接口53用于上述电子设备5与其他设备之间的通信,包括网络接口和用户接口。可选地,所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)),可选地,所述用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适在的称为显示屏或显示单元,用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
图5仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图5示出的结构并不构成对所述电子设备的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
例如,尽管未示出,所述电子设备还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器50逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
应该了解,所述实施例仅为说明之用,在专利发明范围上并不受此结构的限制。
所述电子设备中的所述存储器51存储的数据库配置化连接程序是多个计算机程序的组合,在所述处理器50中运行时,可以实现:
获取业务端所产生的应用数据,定义所述应用数据的数据差异对象,并识别所述数据差异对象的字段类型;
在所述字段类型为SQL类型时,配置所述数据差异对象的字段别名;
在所述字段类型为HTTP类型时,配置所述数据差异对象的数据结构;
在所述字段类型为Excel类型时,配置所述数据差异对象的位置结构;
在所述字段类型为文本类型时,配置所述数据差异对象的序列结构;
根据所述字段别名、所述数据结构、所述位置结构以及所述序列结构,对所述应用数据中的数据进行格式转换,得到目标对象数据,并将所述目标对象数据导入至目标程序中。
具体地,所述处理器50对上述计算机程序的具体实现方法可参考图1对应实施例中相关步骤的描述,在此不赘述。
进一步地,所述电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个非易失性计算机可读取存储介质中。所述存储介质可以是易失性的,也可以是非易失性的。例如,所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。
本发明还提供一种存储介质,所述可读存储介质存储有计算机程序,所述计算机程序在被电子设备的处理器所执行时,可以实现:
获取业务端所产生的应用数据,定义所述应用数据的数据差异对象,并识别所述数据差异对象的字段类型;
在所述字段类型为SQL类型时,配置所述数据差异对象的字段别名;
在所述字段类型为HTTP类型时,配置所述数据差异对象的数据结构;
在所述字段类型为Excel类型时,配置所述数据差异对象的位置结构;
在所述字段类型为文本类型时,配置所述数据差异对象的序列结构;
根据所述字段别名、所述数据结构、所述位置结构以及所述序列结构,对所述应用数据中的数据进行格式转换,得到目标对象数据,并将所述目标对象数据导入至目标程序中。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所发明的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种基于配置式的数据字段差异解决方法,其特征在于,所述方法包括:
获取业务端所产生的应用数据,定义所述应用数据的数据差异对象,并识别所述数据差异对象的字段类型;
在所述字段类型为SQL类型时,配置所述数据差异对象的字段别名;
在所述字段类型为HTTP类型时,配置所述数据差异对象的数据结构;
在所述字段类型为Excel类型时,配置所述数据差异对象的位置结构;
在所述字段类型为文本类型时,配置所述数据差异对象的序列结构;
根据所述字段别名、所述数据结构、所述位置结构以及所述序列结构,对所述应用数据中的数据进行格式转换,得到目标对象数据,并将所述目标对象数据导入至目标程序中;
所述数据差异对象包括常用字段对象、备用字段对象以及扩展字段对象,所述定义所述应用数据的数据差异对象,包括:
识别所述应用数据中每个数据的数据类型,根据所述数据类型,识别所述应用数据中每个数据的特征属性;
在所述特征属性符合预设的差异属性时,将所述特征属性对应的数据作为所述数据差异对象;
所述配置所述数据差异对象的字段别名,包括:
获取所述数据差异对象的数据字段,确定所述数据字段的位置序列;
提取所述位置序列对应的序列名称;
利用预设名称转换语句将所述序列名称转换为字段别名。
2.根据权利要求1所述的方法,其特征在于,所述识别所述数据差异对象的字段类型,包括:
提取所述数据差异对象的数据字段,识别描述所述数据字段的语义信息;
根据所述语义信息,识别所述数据字段的字段类型,得到所述数据差异对象的字段类型。
3.根据权利要求1所述的方法,其特征在于,所述配置所述数据差异对象的数据结构,包括:
识别所述数据差异对象的数据格式;
在所述数据格式为JSON格式时,构建所述数据差异对象的JSON对象,并配置所述JSON对象的JSON结构;
在所述数据结构为XML格式时,构建所述数据差异对象的XML对象,并配置所述XML对象的XML结构;
根据所述JSON结构和所述XML结构,生成所述数据差异对象的数据结构。
4.根据权利要求1所述的方法,其特征在于,所述根据所述字段别名、所述数据结构、所述位置结构以及所述序列结构,对所述应用数据中的数据进行格式转换,得到目标对象数据,包括:
根据所述字段别名,将所述应用数据中属于SQL类型的对象数据进行别名转换,得到初始对象数据;
根据所述数据结构,将所述初始对象数据中属于HTTP类型的对象数据进行HTTP格式转换,得到标准对象数据;
根据所述位置结构,将所述标准对象数据中属于Excel类型的对象数据进行Excel格式转换,得到转换对象数据;
根据所述序列结构,将所述转换对象数据中属于文本类型的对象数据进行文本格式转换,得到目标对象数据。
5.根据权利要求1至4中任意一项所述的方法,其特征在于,所述将所述目标对象数据导入至目标程序中,包括:
获取所述目标对象数据对应业务端的第一配置文件,及所述目标程序的第二配置文件;
根据所述第一配置文件和所述第二配置文件,构建所述业务端与所述目标程序的文件传输通道;
根据所述文件传输通道,将所述目标对象数据传输至所述目标程序中。
6.用于实现如权利要求1-5任一项所述方法的一种基于配置式的数据字段差异解决方法装置,其特征在于,所述装置包括:
字段类型识别模块,用于获取业务端所产生的应用数据,定义所述应用数据的数据差异对象,并识别所述数据差异对象的字段类型;
字段别名配置模块,用于在所述字段类型为SQL类型时,配置所述数据差异对象的字段别名;
数据结构配置模块,用于在所述字段类型为HTTP类型时,配置所述数据差异对象的数据结构;
位置结构配置模块,用于在所述字段类型为Excel类型时,配置所述数据差异对象的位置结构;
序列结构配置模块,用于在所述字段类型为文本类型时,配置所述数据差异对象的序列结构;
应用数据导入模块,用于根据所述字段别名、所述数据结构、所述位置结构以及所述序列结构,对所述应用数据中的数据进行格式转换,得到目标对象数据,并将所述目标对象数据导入至目标程序中。
7.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至5中任意一项所述的基于配置式的数据字段差异解决方法。
8.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5中任意一项所述的基于配置式的数据字段差异解决方法。
CN202210584096.5A 2022-05-27 2022-05-27 基于配置式的数据字段差异解决方法、装置、设备及介质 Active CN114676124B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210584096.5A CN114676124B (zh) 2022-05-27 2022-05-27 基于配置式的数据字段差异解决方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210584096.5A CN114676124B (zh) 2022-05-27 2022-05-27 基于配置式的数据字段差异解决方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN114676124A CN114676124A (zh) 2022-06-28
CN114676124B true CN114676124B (zh) 2022-08-23

Family

ID=82080136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210584096.5A Active CN114676124B (zh) 2022-05-27 2022-05-27 基于配置式的数据字段差异解决方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114676124B (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19535306A1 (de) * 1995-09-22 1997-03-27 Siemens Ag Verfahren zum Konvertieren sich unterscheidender Datenformate
US10558645B2 (en) * 2016-06-15 2020-02-11 Level 3 Communications, Llc Systems and methods for an enterprise data integration and troubleshooting tool
CN110855555B (zh) * 2019-11-12 2023-04-07 深圳前海微众银行股份有限公司 邮件发送方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN114676124A (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
CN112948427B (zh) 数据查询方法、装置、设备及存储介质
CN110941614A (zh) 表单生成方法、装置、电子设备及计算机可读存储介质
CN113239106A (zh) Excel文件导出方法、装置、电子设备及存储介质
CN111897856A (zh) 监管报文生成方法、装置、电子设备及可读存储介质
CN112949278A (zh) 数据核对方法、装置、电子设备及可读存储介质
CN112650909A (zh) 产品展示方法、装置、电子设备及存储介质
CN112162748A (zh) 应用程序首页配置方法、装置、电子设备及可读存储介质
CN113468175B (zh) 数据压缩方法、装置、电子设备及存储介质
CN113434542B (zh) 数据关系识别方法、装置、电子设备及存储介质
CN114640707A (zh) 一种消息异步处理方法、装置、电子设备及存储介质
CN112328656B (zh) 基于中台架构的服务查询方法、装置、设备及存储介质
CN112561486A (zh) 自动化立案方法、装置、电子设备及存储介质
CN112948380A (zh) 基于大数据的数据存储方法、装置、电子设备及存储介质
CN114676124B (zh) 基于配置式的数据字段差异解决方法、装置、设备及介质
CN114612065B (zh) 一种工艺造纸的关联设备组合方法、装置、设备及介质
CN115033605A (zh) 数据查询方法、装置、电子设备及存储介质
CN114840388A (zh) 数据监控方法、装置、电子设备及存储介质
CN115544488A (zh) 项目云权限管理方法、装置、电子设备及存储介质
CN113935663A (zh) 一种面板产品的设备组合分析方法、装置、设备及介质
CN111553133B (zh) 报表生成方法、装置、电子设备及存储介质
CN114996427A (zh) 基于智能问答的消息展示方法、装置、设备及存储介质
CN114003661A (zh) 离线数据录入方法、装置、电子设备及存储介质
CN112686759A (zh) 对账监测方法、装置、设备及介质
CN112527443A (zh) 提示框显示方法、装置、电子设备及计算机可读存储介质
CN112380820A (zh) 数据自动回填方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant