CN112925749A - 一种数据处理方法、装置、电子设备及存储介质 - Google Patents
一种数据处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112925749A CN112925749A CN202110193764.7A CN202110193764A CN112925749A CN 112925749 A CN112925749 A CN 112925749A CN 202110193764 A CN202110193764 A CN 202110193764A CN 112925749 A CN112925749 A CN 112925749A
- Authority
- CN
- China
- Prior art keywords
- data
- mapping
- reading
- file
- rule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据处理方法、装置、电子设备及存储介质。其中,该方法包括:获取待处理文件中的原始数据;识别所述原始数据,确定所述待处理文件对应的文件类型,以及所述文件类型对应的数据读取规则;按照所述数据读取规则从所述原始数据中读取目标数据;将所述目标数据映射至指定字段,得到实体对象。本申请实施例根据文件类型对应数据读取规则对待处理文件的原始数据进行读取得到目标数据,增加数据读取的灵活性,并提高了读取效率。另外按照映射规则将目标数据映射值java中的指定字段,从而生成实体对象,相比现有技术不再需要对数据进行编码操作。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术
在处理不同的业务时,需要获取大量的基础数据。例如:金融业务需要收集一些金融产品以及相应的产品数据。然而这些的基础数据基本上都存储在文件中,因此在处理业务之前需要对文件中的基础数据进行读取,目前,读取文件数据通常采用以下几种方式:
(1)Apache POI技术:提供API给Java程序对Microsoft Office格式档案读和写的功能。(2)JXL:提供纯java API读写Excel类库。(3)EasyExcel技术:是一个基于Java的简单、省内存的读写Excel的开源项目。
在实现本申请的过程中,发明人发现采用上述方式读取文件数据时,不能针对文件类型进行读取,导致灵活性较差。且在待处理文件的数据量过大的情况下,数据读取效率低。另外,采用上述方式将读取的数据映射到java字段后,还需要开发员人员对映射后的数据进行编码,导致开发人员的任务量增加。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本申请提供了一种数据处理方法、装置、电子设备及存储介质。
根据本申请实施例的一个方面,提供了一种数据处理方法,包括:
获取待处理文件中的原始数据;
识别所述原始数据,确定所述待处理文件对应的文件类型,以及所述文件类型对应的数据读取规则;
按照所述数据读取规则从所述原始数据中读取目标数据;
将所述目标数据映射至指定字段,得到实体对象。
进一步的,所述识别所述原始数据,确定所述待处理文件对应的文件类型,以及所述文件类型对应的数据读取规则,包括:
识别所述原始数据中携带的至少一个数据项;
查询所述数据项对应的字段标识;
根据所述字段标识确定所述待处理文件对应的文件类型;
根据预设文件类型与数据读取规则的对应关系,获取所述文件类型对应的数据读取规则。
进一步的,所述按照所述数据读取规则从所述原始数据中读取目标数据,包括:
根据所述数据读取规则确定读取条件;
从所述原始数据中读取与所述读取条件相匹配的数据,作为所述目标数据。
进一步的,所述将所述目标数据映射至指定字段,得到实体对象,包括:
根据转换规则确定所述目标数据对应的预设格式;
按照所述转换规则对所述目标数据进行转换,得到所述预设格式的目标数据;
将所述预设格式的目标数据映射至指定字段,得到实体对象。
进一步的,所述将所述预设格式的目标数据映射至指定字段,得到实体对象,包括:
获取与所述目标数据对应的目标映射规则以及指定字段集合;
将所述目标数据按照所述目标映射规则映射至所述指定字段集合中的指定字段;
根据所述指定字段生成所述实体对象。
进一步的,所述获取与所述目标数据对应的目标映射规则,包括:
确定所述目标数据的数据类型;
将映射规则集合中关键字段与所述数据类型相匹配的映射规则,确认为所述目标映射规则。
进一步的,所述方法还包括:
根据接收的代码编辑操作获取代码文件;
解析所述代码文件,得到包括至少一个关键字段的映射表达式;
根据每个所述映射表达式生成映射规则,得到所述映射规则集合。
根据本申请实施例的再一个方面,还提供了一种文件处装置,包括:
获取模块,用于获取待处理文件中的原始数据;
识别模块,用于识别所述原始数据,确定所述待处理文件对应的文件类型,以及所述文件类型对应的数据读取规则;
读取模块,用于按照所述数据读取规则从所述原始数据中读取目标数据;
映射模块,用于将所述目标数据映射至指定字段,得到实体对象。
根据本申请实施例的另一方面,还提供了一种存储介质,该存储介质包括存储的程序,程序运行时执行上述的步骤。
根据本申请实施例的另一方面,还提供了一种电子装置,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;其中:存储器,用于存放计算机程序;处理器,用于通过运行存储器上所存放的程序来执行上述方法中的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述方法中的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点:本申请实施例根据文件类型对应数据读取规则对待处理文件的原始数据进行读取得到目标数据,增加数据读取的灵活性,并提高了读取效率。另外按照映射规则将目标数据映射值java中的指定字段,从而生成实体对象,相比现有技术不再需要对数据进行编码操作
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数据处理方法的流程图;
图2为本申请实施例提供的一种待处理文件的示意图;
图3为本申请另一实施例提供的一种待处理文件的示意图;
图4为本申请另一实施例提供的一种字段标识的示意图;
图5为本申请另一实施例提供的一种映射规则的示意图;
图6为本申请另一实施例提供的一种数据处理方法的流程图;
图7为本申请实施例提供的一种数据处理装置的框图;
图8为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个类似的实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Apache POI缺点如下:
对开发人员不友好:如果不经过二次封装,直接使用底层类库会造成团队所有开发人员都必须对POI的调用方法非常熟悉,然而,POI的学习也有一定的成本,并且每个开发人员都去调用不能形成一个统一的规范,代码会非常凌乱。
大文件解析易OOM:Excel底层存储其实是以若干个xml文件进行存储的,而POI底层采用DOM4j解析xml,这对于非常大的Excel文件来说,xml文件可能会很多,则有可能引发OOM。
JXL缺点:
JXL效率低下
功能支持不完善
EasyExcel缺点:
ORM映射灵活性不够:目前仅支持常规格式,java中对象的字段需要对应Excel中的指定列,但现实中,往往有时候并不是正规的格式,而类似于表格的形式,对象中的某个字段可能对应Excel中的某一行的某一列。
解析和转换解耦:Excel映射出来的内容映射到类字段有时候往往我们需要做一层转换,这时候就需要侵入代码自定义很多个类型转换器(如枚举和数值的转换),而有时候这些转换规则我们是希望不要侵入代码的:
本申请实施例提供了一种数据处理方法、装置、电子设备及存储介质。本发明实施例所提供的方法可以应用于任意需要的电子设备,例如,可以为服务器、终端等电子设备,在此不做具体限定,为描述方便,后续简称为电子设备。
根据本申请实施例的一方面,提供了一种数据处理方法的方法实施例。图1为本申请实施例提供的一种数据处理方法的方法的流程图,如图1所示,该方法包括:
步骤S11,获取待处理文件中的原始数据;
在本申请实施例中,待处理文件可以是excle文件,word文件以及xml文件等等。原始数据为待处理文件中包含的数据。
作为一个示例,当待处理文件为excle文件时,对待处理文件进行检测,得到待处理文件中的原始数据,如图2所示,待处理文件中的原始数据包括:债券代码、001、002、003、债券简称、国债1、国债2、国债3、清算速度、T+1、T+2以及T+3。
步骤S12,识别原始数据,确定待处理文件对应的文件类型,以及文件类型对应的数据读取规则;
在本申请实施例中,识别原始数据,确定待处理文件对应的文件类型,以及文件类型对应的数据读取规则,包括以下步骤A1-A4:
步骤A1,识别原始数据中携带的至少一个数据项;
在本申请实施例中,对原始数据进行按照首行或首列的方式进行识别,得到至少一个数据项,如图2所示,识别到的数据项包括:债券代码、债券简称以及清算速度。
步骤A2,查询数据项对应的字段标识;
在本申请实施例中,从数据库中查询各个数据项的字段标识,例如:债券代码对应的字段标识为bond Code、债券简称对应的字段标识为bond Name以及清算速度对应的字段标识为settle Type。
步骤A3,根据字段标识确定待处理文件对应的文件类型;
在本申请实施例中,对得到的字段标识进行分析,能够得到待处理文件的文件类型,文件类型包括:金融数据表、用户个人信息表、财务报表等等。
步骤A4,根据预设文件类型与数据读取规则的对应关系,获取文件类型对应的数据读取规则。
在本申请实施例中,预先设置文件类型与数据读取规则的对应关系,例如:金融数据表对应一种金融类数据的数据读取规则,用户个人信息表对应一种用户数据的数据读取规则,财务报表对应一种财务数据的数据读取规则。
在本申请实施例中,每个数据读取规则中至少包括一个读取条件,读取条件用于读取不同类型的数据。例如:金融数据表对应的数据读取规则中包括:债券代码的读取条件,债券简称的读取条件以及清算速度的读取条件。
步骤S13,按照数据读取规则从原始数据中读取目标数据;
在本申请实施例中,步骤S13,按照数据读取规则从原始数据中读取目标数据,包括:
步骤B1,根据数据读取规则确定读取条件;
在本申请实施例中,每个数据读取规则包括至少一个读取条件,作为一个示例,获取金融数据表对应的数据读取规则,该数据读取规则包括多个读取条件,其中,读取条件可以是:债券代码不能为空,清算速度不在枚举值范围内。
步骤B2,从原始数据中读取与读取条件相匹配的数据,作为目标数据。
在本申请实施例中,遍历原始数据中与读取条件相匹配的数据,并将匹配成功的数据作为目标数据。
作为一个示例,待处理文件为用户个人信息表时,用户个人信息表中包括的数据项有:用户的用户名,用户的年龄,用户的性别,用户的居住地等等。然后获取用户个人信息表对应的数据读取规则,并数据读取规则包括的读取条件有:用户名不能为空,年龄的读取范围18-59,居住地点为北京、上海、广州、深圳。在确定各个读取条件后,按照读取条件对原始数据进行匹配,将匹配成功的数据作为目标数据。
步骤S14,将目标数据映射至指定字段,得到实体对象。
在本申请实施例中,步骤S14,将目标数据映射至指定字段,得到实体对象,包括以下步骤C1-C3:
步骤C1,根据转换规则确定目标数据对应的预设格式;
在本申请实施例中,由于待处理文件中存在不同数据的数据格式不统一,或者数据的数据格式不规范的问题。因此,本申请实施例中首先获取转换规则,其中不同的数据对应不同的转换规则,例如数字及英文对应的数据格式为Time New Roma,汉字对应的数据格式为宋体。
步骤C2,按照转换规则对目标数据进行转换,得到预设格式的目标数据;
在本申请实施例中,按照转换规则对目标数据中各种数据格式的数据进行转换,得到预设格式的目标数据。
在本申请实施例中,通过将读取到的目标数据按照转换规则进行转换,从而保证目标数据的数据格式保证一致,在后续映射过程中能够保证映射结果的准确性。
步骤C3,将预设格式的目标数据映射至指定字段,得到实体对象。
在本申请实施例中,步骤C3,将预设格式的目标数据映射至指定字段,得到实体对象,包括以下步骤C301-C303:
步骤C301,获取与目标数据对应的目标映射规则以及指定字段集合;
在本申请实施例中,获取与目标数据对应的目标映射规则,包括:确定目标数据的数据类型;将映射规则集合中关键字段与数据类型相匹配的映射规则,确认为目标映射规则。
步骤C302,将目标数据按照目标映射规则映射至指定字段集合中的指定字段;
步骤C303,根据指定字段生成实体对象。
在本申请实施例中,通过引入读取,转换和映射规则引擎,提供了Excel文件按需读取功能,和灵活解决了对象与Excel内容映射的问题,并且基于配置功能提供了强大的Excel文件自定义读取和对象转换映射功能。
本申请实施例根据文件类型对应数据读取规则对待处理文件的原始数据进行读取得到目标数据,增加数据读取的灵活性,并提高了读取效率。另外按照映射规则将目标数据映射值java中的指定字段,从而生成实体对象,相比现有技术不再需要对数据进行编码操作
作为一个示例,如图3所示,待处理文件为excle文件,对待处理文件的首行或者首列进行识别,得到待处理文件中原始数据中的数据项,该数据项包括:用户名,用户真实姓名,年龄以及性别。如图4所示,获取各个数据项的字段标识,用户名对应的字段标识为username,用户真实姓名对应的字段标识为real name,年龄对应的字段标识为age,性别对应的字段标识为sex。并基于字段标识进行分析,得到待处理文件的文件类型为用户个人信息表。
然后获取用户个人信息表对应的数据读取规则,从数据读取规则中获取至少一个读取条件,读取条件为“用户名不为空,真实姓名不为空,年龄读取范围为10-20,性别为男或女。”按照读取条件从原始数据中读取目标数据。
得到目标数据之后,按照转换规则将目标数据转换为预设格式的目标数据,获取目标数据对应的目标映射规则,然后按照目标映射规则将预设格式的目标数据映射到指定字段,得到实体对象。如图5所示,映射规则如下:
user name:“cond:‘用户名’.equals([0])|[1]”。
real name:“cond:‘真实姓名’.equals([0])|[1]”。
age:“cond:‘年龄’.equals([0])|[1]”。
Sex:“cond:‘年龄’.equals([0])|[1]”==‘男’?1:0。
在本申请实施例中,根据文件类型对应数据读取规则对待处理文件的原始数据进行读取得到目标数据,增加数据读取的灵活性,并提高了读取效率。另外按照映射规则将目标数据映射值java中的指定字段,从而生成实体对象,解决java中实体对象与文件数据之间的映射问题。
图6为本申请实施例提供的一种数据处理方法的流程图,如图6所示,该方法可以包括以下步骤:
步骤S61,根据接收的代码编辑操作获取代码文件;
在本申请实施例中,首先在检测代码编辑操作后,读取基于代码编码操作输入的代码文件,其中代码编辑操作可以是由开发人员触发生成,代码文件可以是开发人员输入的代码。
步骤S62,解析代码文件,得到包括至少一个关键字段的映射表达式;
在本申请实施例中,在得到代码文件后,对代码文件的完整度进行检测,当代码文件的完整度大于或等于预设完整度时,对代码文件进行解析,得到包括至少一个关键字段内的映射表达式,例如:“cond:‘用户名’.equals([0])|[1]”、“cond:‘真实姓名’.equals([0])|[1]”等等。
另外,映射的结果在代码文件中同样可以通过表达式进行设置,如取第一列值的前5位,则表达式为“[0].substring(5)”。
步骤S63,根据每个映射表达式生成映射规则,得到映射规则集合。
在本申请实施例中,通过解析代码文件得到用于映射待处理文件中目标数据的映射规则,且基于配置功能提供了强大的自定义读取和映射功能。解决了JAVA对象与文件中数据之间映射的问题,相比现有技术,能够更灵活的适用于各种不同类型的文件。
图7为本申请实施例提供的一种数据处理装置的框图,该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图7所示,该装置包括:
获取模块71,用于获取待处理文件中的原始数据;
识别模块72,用于识别原始数据,确定待处理文件对应的文件类型,以及文件类型对应的数据读取规则;
读取模块73,用于按照数据读取规则从原始数据中读取目标数据;
映射模块74,用于将目标数据映射至指定字段,得到实体对象。
在本申请实施例中,识别模块72,用于识别原始数据中携带的至少一个数据项;查询数据项对应的字段标识;根据字段标识确定待处理文件对应的文件类型;根据预设文件类型与数据读取规则的对应关系,获取文件类型对应的数据读取规则。
在本申请实施例中,读取模块73,用于根据数据读取规则确定读取条件;从原始数据中读取与读取条件相匹配的数据,作为目标数据。
在本申请实施例中,映射模块74,包括:
确定子模块,用于根据转换规则确定目标数据对应的预设格式;
转换子模块,用于按照转换规则对目标数据进行转换,得到预设格式的目标数据;
处理子模块,用于将预设格式的目标数据映射至指定字段,得到实体对象。
在本申请实施例中,处理子模块,包括:
获取单元,用于获取与目标数据对应的目标映射规则以及指定字段集合;
执行单元,用于将目标数据按照目标映射规则映射至指定字段集合中的指定字段;
生成单元,用于根据指定字段生成实体对象。
在本申请实施例中,获取单元,用于确定目标数据的数据类型;
将映射规则集合中关键字段与数据类型相匹配的映射规则,确认为目标映射规则。
在本申请实施例中,数据处理装置还包括:配置模块,用于根据接收的代码编辑操作获取代码文件;解析代码文件,得到包括至少一个关键字段的映射表达式;根据每个映射表达式生成映射规则,得到映射规则集合。
本申请实施例还提供一种电子设备,如图8所示,电子设备可以包括:处理器1501、通信接口1502、存储器1503和通信总线1504,其中,处理器1501,通信接口1502,存储器1503通过通信总线1504完成相互间的通信。
存储器1503,用于存放计算机程序;
处理器1501,用于执行存储器1503上所存放的计算机程序时,实现上述实施例的步骤。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的数据处理方法。
在本申请提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行下述的数据处理方法:
获取待处理文件中的原始数据;
识别所述原始数据,确定所述待处理文件对应的文件类型,以及所述文件类型对应的数据读取规则;
按照所述数据读取规则从所述原始数据中读取目标数据;
将所述目标数据映射至指定字段,得到实体对象。
进一步的,所述识别所述原始数据,确定所述待处理文件对应的文件类型,以及所述文件类型对应的数据读取规则,包括:
识别所述原始数据中携带的至少一个数据项;
查询所述数据项对应的字段标识;
根据所述字段标识确定所述待处理文件对应的文件类型;
根据预设文件类型与数据读取规则的对应关系,获取所述文件类型对应的数据读取规则。
进一步的,所述按照所述数据读取规则从所述原始数据中读取目标数据,包括:
根据所述数据读取规则确定读取条件;
从所述原始数据中读取与所述读取条件相匹配的数据,作为所述目标数据。
进一步的,所述将所述目标数据映射至指定字段,得到实体对象,包括:
根据转换规则确定所述目标数据对应的预设格式;
按照所述转换规则对所述目标数据进行转换,得到所述预设格式的目标数据;
将所述预设格式的目标数据映射至指定字段,得到实体对象。
进一步的,所述将所述预设格式的目标数据映射至指定字段,得到实体对象,包括:
获取与所述目标数据对应的目标映射规则以及指定字段集合;
将所述目标数据按照所述目标映射规则映射至所述指定字段集合中的指定字段;
根据所述指定字段生成所述实体对象。
进一步的,所述获取与所述目标数据对应的目标映射规则,包括:
确定所述目标数据的数据类型;
将映射规则集合中关键字段与所述数据类型相匹配的映射规则,确认为所述目标映射规则。
进一步的,所述方法还包括:
根据接收的代码编辑操作获取代码文件;
解析所述代码文件,得到包括至少一个关键字段的映射表达式;
根据每个所述映射表达式生成映射规则,得到所述映射规则集合。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘SolidState Disk)等。
以上所述仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。
以上所述仅是本申请的具体实施方式,使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种数据处理方法,其特征在于,包括:
获取待处理文件中的原始数据;
识别所述原始数据,确定所述待处理文件对应的文件类型,以及所述文件类型对应的数据读取规则;
按照所述数据读取规则从所述原始数据中读取目标数据;
将所述目标数据映射至指定字段,得到实体对象。
2.根据权利要求1所述的方法,其特征在于,所述识别所述原始数据,确定所述待处理文件对应的文件类型,以及所述文件类型对应的数据读取规则,包括:
识别所述原始数据中携带的至少一个数据项;
查询所述数据项对应的字段标识;
根据所述字段标识确定所述待处理文件对应的文件类型;
根据预设文件类型与数据读取规则的对应关系,获取所述文件类型对应的数据读取规则。
3.根据权利要求1所述的方法,其特征在于,所述按照所述数据读取规则从所述原始数据中读取目标数据,包括:
根据所述数据读取规则确定读取条件;
从所述原始数据中读取与所述读取条件相匹配的数据,作为所述目标数据。
4.根据权利要求2所述的方法,其特征在于,所述将所述目标数据映射至指定字段,得到实体对象,包括:
根据转换规则确定所述目标数据对应的预设格式;
按照所述转换规则对所述目标数据进行转换,得到所述预设格式的目标数据;
将所述预设格式的目标数据映射至指定字段,得到实体对象。
5.根据权利要求4所述的方法,其特征在于,所述将所述预设格式的目标数据映射至指定字段,得到实体对象,包括:
获取与所述目标数据对应的目标映射规则以及指定字段集合;
将所述目标数据按照所述目标映射规则映射至所述指定字段集合中的指定字段;
根据所述指定字段生成所述实体对象。
6.根据权利要求5所述的方法,其特征在于,所述获取与所述目标数据对应的目标映射规则,包括:
确定所述目标数据的数据类型;
将映射规则集合中关键字段与所述数据类型相匹配的映射规则,确认为所述目标映射规则。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
根据接收的代码编辑操作获取代码文件;
解析所述代码文件,得到包括至少一个关键字段的映射表达式;
根据每个所述映射表达式生成映射规则,得到所述映射规则集合。
8.一种文件处装置,其特征在于,包括:
获取模块,用于获取待处理文件中的原始数据;
识别模块,用于识别所述原始数据,确定所述待处理文件对应的文件类型,以及所述文件类型对应的数据读取规则;
读取模块,用于按照所述数据读取规则从所述原始数据中读取目标数据;
映射模块,用于将所述目标数据映射至指定字段,得到实体对象。
9.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序运行时执行上述权利要求1至7中任一项所述的方法步骤。
10.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;其中:
存储器,用于存放计算机程序;
处理器,用于通过运行存储器上所存放的程序来执行权利要求1-7中任一项所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110193764.7A CN112925749A (zh) | 2021-02-20 | 2021-02-20 | 一种数据处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110193764.7A CN112925749A (zh) | 2021-02-20 | 2021-02-20 | 一种数据处理方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112925749A true CN112925749A (zh) | 2021-06-08 |
Family
ID=76170022
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110193764.7A Pending CN112925749A (zh) | 2021-02-20 | 2021-02-20 | 一种数据处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112925749A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113407599A (zh) * | 2021-06-30 | 2021-09-17 | 上海万物新生环保科技集团有限公司 | 一种基于文本数据的标准化处理方法及设备 |
CN113743082A (zh) * | 2021-09-16 | 2021-12-03 | 京东科技信息技术有限公司 | 一种数据处理方法、系统、存储介质及电子设备 |
CN114154020A (zh) * | 2021-12-01 | 2022-03-08 | 南方电网深圳数字电网研究院有限公司 | 基于动态标签映射的大容量数据处理方法及装置 |
CN114942750A (zh) * | 2022-05-19 | 2022-08-26 | 北京金堤科技有限公司 | 对外接口的字段处理方法和装置 |
CN115118778A (zh) * | 2022-06-28 | 2022-09-27 | 中国农业银行股份有限公司 | 一种数据处理方法、装置、设备及介质 |
CN115297183A (zh) * | 2022-07-29 | 2022-11-04 | 天翼云科技有限公司 | 一种数据处理方法、装置、电子设备和存储介质 |
CN115983222A (zh) * | 2023-03-20 | 2023-04-18 | 苏州清研精准汽车科技有限公司 | 基于EasyExcel的文件数据读取方法、装置、设备及介质 |
CN115118778B (zh) * | 2022-06-28 | 2024-06-07 | 中国农业银行股份有限公司 | 一种数据处理方法、装置、设备及介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109542965A (zh) * | 2018-11-07 | 2019-03-29 | 平安医疗健康管理股份有限公司 | 一种数据处理方法、电子设备及存储介质 |
CN110222110A (zh) * | 2019-06-13 | 2019-09-10 | 中国农业科学院农业信息研究所 | 一种基于etl工具的资源描述框架数据转换存储一体化方法 |
CN110457260A (zh) * | 2019-08-14 | 2019-11-15 | 深圳前海微众银行股份有限公司 | 文件处理方法、装置、设备及计算机可读存储介质 |
CN110968322A (zh) * | 2019-11-27 | 2020-04-07 | 北京旷视科技有限公司 | Json数据的处理方法、装置和电子系统 |
CN111209736A (zh) * | 2020-01-03 | 2020-05-29 | 恩亿科(北京)数据科技有限公司 | 文本文件解析方法、装置、计算机设备及存储介质 |
CN111898351A (zh) * | 2020-08-03 | 2020-11-06 | 上海嗨酷强供应链信息技术有限公司 | 基于Aviator的Excel数据自动导入方法、装置、终端设备及存储介质 |
US20200409946A1 (en) * | 2019-06-28 | 2020-12-31 | Informatica Llc | Method, apparatus, and computer-readable medium for dynamic hierarchical data flow mapping |
-
2021
- 2021-02-20 CN CN202110193764.7A patent/CN112925749A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109542965A (zh) * | 2018-11-07 | 2019-03-29 | 平安医疗健康管理股份有限公司 | 一种数据处理方法、电子设备及存储介质 |
CN110222110A (zh) * | 2019-06-13 | 2019-09-10 | 中国农业科学院农业信息研究所 | 一种基于etl工具的资源描述框架数据转换存储一体化方法 |
US20200409946A1 (en) * | 2019-06-28 | 2020-12-31 | Informatica Llc | Method, apparatus, and computer-readable medium for dynamic hierarchical data flow mapping |
CN110457260A (zh) * | 2019-08-14 | 2019-11-15 | 深圳前海微众银行股份有限公司 | 文件处理方法、装置、设备及计算机可读存储介质 |
CN110968322A (zh) * | 2019-11-27 | 2020-04-07 | 北京旷视科技有限公司 | Json数据的处理方法、装置和电子系统 |
CN111209736A (zh) * | 2020-01-03 | 2020-05-29 | 恩亿科(北京)数据科技有限公司 | 文本文件解析方法、装置、计算机设备及存储介质 |
CN111898351A (zh) * | 2020-08-03 | 2020-11-06 | 上海嗨酷强供应链信息技术有限公司 | 基于Aviator的Excel数据自动导入方法、装置、终端设备及存储介质 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113407599A (zh) * | 2021-06-30 | 2021-09-17 | 上海万物新生环保科技集团有限公司 | 一种基于文本数据的标准化处理方法及设备 |
CN113743082A (zh) * | 2021-09-16 | 2021-12-03 | 京东科技信息技术有限公司 | 一种数据处理方法、系统、存储介质及电子设备 |
CN113743082B (zh) * | 2021-09-16 | 2024-04-05 | 京东科技信息技术有限公司 | 一种数据处理方法、系统、存储介质及电子设备 |
CN114154020A (zh) * | 2021-12-01 | 2022-03-08 | 南方电网深圳数字电网研究院有限公司 | 基于动态标签映射的大容量数据处理方法及装置 |
CN114154020B (zh) * | 2021-12-01 | 2024-05-14 | 南方电网数字平台科技(广东)有限公司 | 基于动态标签映射的大容量数据处理方法及装置 |
CN114942750A (zh) * | 2022-05-19 | 2022-08-26 | 北京金堤科技有限公司 | 对外接口的字段处理方法和装置 |
CN115118778A (zh) * | 2022-06-28 | 2022-09-27 | 中国农业银行股份有限公司 | 一种数据处理方法、装置、设备及介质 |
CN115118778B (zh) * | 2022-06-28 | 2024-06-07 | 中国农业银行股份有限公司 | 一种数据处理方法、装置、设备及介质 |
CN115297183A (zh) * | 2022-07-29 | 2022-11-04 | 天翼云科技有限公司 | 一种数据处理方法、装置、电子设备和存储介质 |
CN115297183B (zh) * | 2022-07-29 | 2023-11-03 | 天翼云科技有限公司 | 一种数据处理方法、装置、电子设备和存储介质 |
CN115983222A (zh) * | 2023-03-20 | 2023-04-18 | 苏州清研精准汽车科技有限公司 | 基于EasyExcel的文件数据读取方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112925749A (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
US20150169320A1 (en) | Verification of backward compatibility of software components | |
CN108334609B (zh) | Oracle中实现JSON格式数据存取的方法、装置、设备及存储介质 | |
CN109359194B (zh) | 用于预测信息类别的方法和装置 | |
CN115146712B (zh) | 物联网资产识别方法、装置、设备及存储介质 | |
CN112231281A (zh) | 层叠样式表文件的处理方法、装置、设备及存储介质 | |
CN110688096A (zh) | 包含插件的应用程序的构建方法、装置、介质及电子设备 | |
CN112181924A (zh) | 文件转换方法、装置、设备及介质 | |
CN107766036B (zh) | 一种模块的构建方法、构建装置及终端设备 | |
CN116644213A (zh) | Xml文件读取方法、装置、设备及存储介质 | |
CN111984262A (zh) | 微信层叠样式表文件的处理方法、装置、设备及存储介质 | |
CN110704432A (zh) | 数据索引的建立方法和装置、可读存储介质、电子设备 | |
CN115357286B (zh) | 一种程序文件对比方法、装置、电子设备及存储介质 | |
CN114625373A (zh) | 应用转换方法、装置、电子设备和存储介质 | |
CN114611500A (zh) | 表达式处理方法、装置、电子设备及计算机可读存储介质 | |
CN114090135A (zh) | 具有纠错功能且支持跨平台调用组件的方法和装置 | |
CN111353279A (zh) | 字符编码的转换方法、装置和计算机存储介质 | |
CN111881220A (zh) | 列表存储下的数据操作方法、装置、电子设备和存储介质 | |
CN112130860A (zh) | Json对象解析方法、装置、电子设备及存储介质 | |
CN111400623A (zh) | 用于搜索信息的方法和装置 | |
CN113408250B (zh) | 一种项目文件的处理方法和装置 | |
CN110704617A (zh) | 新闻文本的分类方法、装置、电子设备和存储介质 | |
CN116483735B (zh) | 一种代码变更的影响分析方法、装置、存储介质及设备 | |
CN114880523A (zh) | 字符串处理方法、装置、电子设备及存储介质 | |
CN107704374B (zh) | 测试方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |