CN110851400A - 文本数据的处理方法及装置 - Google Patents
文本数据的处理方法及装置 Download PDFInfo
- Publication number
- CN110851400A CN110851400A CN201810824240.1A CN201810824240A CN110851400A CN 110851400 A CN110851400 A CN 110851400A CN 201810824240 A CN201810824240 A CN 201810824240A CN 110851400 A CN110851400 A CN 110851400A
- Authority
- CN
- China
- Prior art keywords
- column
- text data
- data
- data file
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于数据处理技术领域,公开了一种一种文本数据的处理方法及装置,文本数据的处理方法,应用于服务器,所述方法通过接收客户端发送的文本数据文件;自动将所述文本数据文件中数目最多的空白符号或标点符号确定为数据分隔符;并根据所述数据分隔符对所述文本数据文件中的内容进行列名解析,得到包括列名、该列名对应的列属性以及该列名对应的列数据的解析结果;最终依据所述解析结果中的所述列名、列属性以及列数据生成目标数据表。因此,实现了服务器中文本数据的全自动解析和全自动数据库录入,极大提高了运算效率和工作效率。
Description
技术领域
本发明涉及数据处理技术领域,具体涉及一种文本数据的处理方法及装置。
背景技术
随着大数据和人工智能技术的不断发展,用来执行大数据分析的数据分析系统以及用来实现人工智能功能的机器学习系统等相关系统的应用也越来越广泛。
在使用机器学习等系统时,需要将基础数据保存在系统的数据库中,将录入了基础数据的数据库作为系统的数据源使用。
其中,基础数据通常采用文本数据文件的形式,由用户将文本数据文件上传到系统服务器,然后人工分析文本数据文件,然后在数据库中建立与之匹配的数据表,完成基础数据的录入。
但是,现有技术中对文本数据文件的解析方式以及录入数据库的方式是采用的是人工进行分析文本数据后人工录入数据库的方式,此种方式费时费力,效率极低,当基础数据较多时,无法达到用户的使用需求。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的文本数据的处理方法以及相关装置,以实现对文本数据的自动解析和自动录入,提高工作效率。
借由上述技术方案,本发明提供了一种文本数据的处理方法,应用于服务器,所述方法包括:
接收客户端发送的文本数据文件;
将所述文本数据文件中数目最多的空白符号或标点符号确定为数据分隔符;
根据所述数据分隔符对所述文本数据文件中的内容进行列名解析,得到包括列名、该列名对应的列属性以及该列名对应的列数据的解析结果;
依据所述解析结果中的所述列名、列属性以及列数据生成目标数据表。
优选的,所述确定所述文本数据文件中数目最多的特殊字符确定为数据分隔符之前,所述处理方法包括:
使用二进制模式打开所述文本数据文件;
在所述二进制模式下选取所述文本数据文件中预设个数的字符;
提取所述预设个数的字符的特征值;
将所述特征值对应的编码格式确定为所述文本数据文件的编码格式;
根据所述文本数据文件的编码格式打开所述文本数据文件。
优选的,所述接收客户端发送的文本数据文件后,所述处理方法还包括:
将对应信息保存在数据源表中,所述对应信息用于表征客户端的客户端标识和文本数据文件的文本标识之间的对应关系。
优选的,所述依据所述解析结果中的所述列名、列属性以及列数据生成目标数据表包括:
将所述列名确定为需要创建的数据表的列名、将以及该列名对应的列属性确定为需要创建的数据表的列属性创建空的数据表;其中,所述空的数据表的数据表名为随机生成的字符串;
将所述列名对应的列数据插入到所述空的数据表中生成目标数据表。
优选的,还包括:
将所述数据表名插入到所述对应信息所在数据源表中的位置。
优选的,还包括:
若根据所述数据分隔符对所述文本数据文件中的内容进行列名解析的过程中发生错误,则根据所述文本标识查找所述数据源表得到与该文本标识对应的客户端标识;
将已经解析出来的解析结果以及用于表征错误类型的报错信息发送给该客户端标识对应的客户端。
优选的,所述根据所述数据分隔符对所述文本数据文件中的内容进行列名解析包括:
根据所述数据分隔符以及所述文本数据文件的编码格式确定所述文本数据文件的是否包含有表头,得到用于表征有无表头的表头状态信息;
将所述数据分隔符、所述文本数据文件的编码格式以及所述表头状态信息确定为预设列名解析函数的输入参数进行列名解析运算。
本发明另一方面提供各类一种文本数据的处理装置,应用于服务器,所述装置包括:
接收单元,用于接收客户端发送的文本数据文件;
确定单元,用于将所述文本数据文件中数目最多的空白符号或标点符号确定为数据分隔符;
分析单元,用于根据所述数据分隔符对所述文本数据文件中的内容进行列名解析,得到包括列名、该列名对应的列属性以及该列名对应的列数据的解析结果;
生成单元,用于依据所述解析结果中的所述列名、列属性以及列数据生成目标数据表。
本发明另一方面还提供了一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在的设备执行如上述所述的文本数据的处理方法。
本发明另一方面还公开了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行如上述所述的文本数据的处理方法。
借由上述技术方案,本发明提供了一种文本数据的处理方法及相关装置,本发明中的文本数据的处理方法,应用于服务器,所述方法通过接收客户端发送的文本数据文件;自动将所述文本数据文件中数目最多的空白符号或标点符号确定为数据分隔符;并根据所述数据分隔符对所述文本数据文件中的内容进行列名解析,得到包括列名、该列名对应的列属性以及该列名对应的列数据的解析结果;最终依据所述解析结果中的所述列名、列属性以及列数据生成目标数据表。因此,实现了服务器中文本数据的全自动解析和全自动数据库录入,极大提高了运算效率和工作效率。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例公开的一种文本数据的处理方法的一种流程示意图;
图2示出了本发明实施例公开的一种文本数据的处理方法的另一种流程示意图;
图3示出了本发明实施例公开的一种文本数据的处理装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明的应用场景是使用数据分析系统以及机器学习系统等系统时,需要预先对基础数据进行文本数据文件的解析和数据库的录入。本发明实施例中,本发明实施例公开了一种文本数据的处理方法、系统及相关装置,用以实现自动化的文本数据文件的解析和数据库的录入。下面对本发明的技术方案进行详细介绍。
参见图1,图1是本发明公开的一种文本数据的处理方法的一种流程示意图。
本发明公开的一种文本数据的处理方法,应用于服务器。
本发明实施例中,应用于服务器,服务器可以是数据分析系统以及机器学习系统的系统服务器。
所述方法包括:
S10、接收客户端发送的文本数据文件;
本发明实施例中,首先接收用户通过客户端所发送的文本数据文件。其中,文本数据文件为具有分隔符的文本文件,例如,CSV文件、TSV文件等,其中,CSV文件中包含有逗号分隔符,TSV文件包括有制表符。
实际使用中,客户端通过HTTP请求将文本数据文件发送到服务器。客户端通过服务器提供的HTTP网页将文本数据文件拖拽到HTTP网页中,然后点击网页中所设置的上次按钮,完成发送文本数据文件的操作。由服务器进行接收。
优选的,接收了文本数据文件后,会将对应信息保存在数据源表中,对应信息用于表征客户端的客户端标识和文本数据文件的文本标识之间的对应关系。其中,所述文本标识除了表征文本数据文本本身之外还用于表征文本所在服务器的存储位置。
实际使用中,数据源表中可以记录客户端标识,当然,由于是采用HTTP网页的方式上传文本数据文件,因此,客户端标识可以为操作客户端的用户的用户标识。
S20、将所述文本数据文件中数目最多的空白符号或标点符号确定为数据分隔符;
本发明实施例中,接收文本数据文件之后,会确定数据分隔符。其中,是根据文本数据文件中数据最多的空白符号或标点符号来确定为数据分隔符的。
实际使用中,统计文本数据文件中空白符号以及标点符号各自的数量,其中,空白符号可以包括空格符号,制表符号,回车符号等,标点符号可以包括逗号、句号、冒号、分号等。
统计出各自数量后,将数量最多的空白符号或者标点符号确定为数据分隔符,来对数据文本文件进行列名解析。
S30、根据所述数据分隔符对所述文本数据文件中的内容进行列名解析,得到包括列名、该列名对应的列属性以及该列名对应的列数据的解析结果;
得到数据分隔符之后,会对文本数据文件执行列名解析的操作。列名解析是指以数据分隔符为划分依据将文本数据文件中的内容进行重新划分,得到包括列名、该列名对应的列属性以及该列名对应的列数据的解析结果。
其中,所述根据所述数据分隔符对所述文本数据文件中的内容进行列名解析包括:
根据所述数据分隔符以及所述文本数据文件的编码格式确定所述文本数据文件的是否包含有表头,得到用于表征有无表头的表头状态信息;
将所述数据分隔符、所述文本数据文件的编码格式以及所述表头状态信息确定为预设列名解析函数的输入参数进行列名解析运算。
本发明实施例中,还需要先确定出文本数据文件是否包含有表头,其中表头具体是指文本数据文件中列数据的列名,得到用于表征有无表头结果的表头状态信息。
实际使用中,可以利用数据分析工具pandas工具来执行上述操作,将文本数据文件的编码格式和数据分隔符传入到pandas工具中,依据有表头和无表头两种方式分别对文本数据文件进行解析,得到第一数据类型信息和第二数据类型信息,如果第一数据类型信息和第二数据类型信息中每一列的数据类型均相同且所有列均为同一类型,则表头状态信息为无表头,否则表头状态信息为有表头。
然后,将数据分隔符、文本数据文件的编码格式以及有无表头的表头状态信息传入到pandas工具中,输出解析结果。解析结果中包括列名、列名对应的类型以及列名下的具体列数据。
S40、依据所述解析结果中的所述列名、列属性以及列数据生成目标数据表。
本发明实施例中,得到解析结果后,依据解析结果在数据库中创建目标数据表。其中,目标数据表的列名和列属性是依据解析结果中的列名和列属性所生成的,列数据是根据解析结果中的列数据所添加的。因此,实现了自动创建目标数据表的过程。无需人工参与。
实际使用中,解析结果中可以包括:
{
"type":"int",
"name":"id",
},
{
"type":"text",
"name":"title",
},
{
"type":"text",
"name":"content",
};
其中,type为列属性,name为列名。
解析结果中还包括列数据:
1,别克昂科拉现发机灯,别克昂科拉和威朗哪个更合适长途
2,16款帕萨特安全气囊哪公司,16款帕萨特的安全气囊是哪个公司的
3,底每打叮响现几秒见,2017款帕萨特最新价格钜降
目标数据表中,列名为:id、title、content,id对应的列属性为:int,列数据分别为1,2,3。类似的,title对应的列属性为:text,content对应的列属性为:text。
通过上述技术方案可以看出,本发明技术方案中,通过接收客户端发送的文本数据文件;自动将所述文本数据文件中数目最多的空白符号或标点符号确定为数据分隔符;并根据所述数据分隔符对所述文本数据文件中的内容进行列名解析,得到包括列名、该列名对应的列属性以及该列名对应的列数据的解析结果;最终依据所述解析结果中的所述列名、列属性以及列数据生成目标数据表。因此,实现了服务器中文本数据的全自动解析和全自动数据库录入,极大提高了运算效率和工作效率。
参见图2,图2是本发明实施例提供的一种文本数据的处理方法的另一种流程示意图。
所述处理方法包括:
S100、接收客户端发送的文本数据文件;
本发明实施例中,步骤S100参照上述实施例中是步骤S10即可,在此不进行多余赘述。
S110、使用二进制模式打开所述文本数据文件;
S120、在所述二进制模式下选取所述文本数据文件中预设个数的字符;
S130、提取所述预设个数的字符的特征值;
S140、将所述特征值对应的编码格式确定为所述文本数据文件的编码格式;
S150、根据所述文本数据文件的编码格式打开所述文本数据文件。
本发明实施例中,得到文本数据文件后,如果按照预设编码方式打开文本数据文件,很可能出现读取不了文本数据文件中的内容或者乱码较多无法解析的情况,因此,如果先对文本数据文件的格式进行了确定,则会提高文本数据文件解析的成功率。
本发明实施例中,在接收了文本数据文件之后,先在二进制模式下打开该文本数据文件。在该模式下,文本数据文件是由“0”和“1”所组成的字符串。
然后读取其中预设个数的字符。其中预设个数可以是由用户预先设置,也可以是在一定范围内随机选择。之后,提取这些字符的特征值,将特征值与预设的规则进行比对,该特征值所对应的编码格式即为文本文件的编码格式。其中,预设的规则可以有很多种,确定方式可以是特征值与预设的规则中预设特征值相似度最高的确定为编码格式,当然还可以是其它方式,只要能够确定出该文本数据文件的编码格式即可。如此,可以确定出该文本数据文件的准确的编码格式。
可以理解的是,为了提高准确性,可预设格式可以是文本数据文件中的全部字符,当然,此种方式的执行效率相比于部分字符要低。
然后利用该编码格式打开所述文本数据文件。
实际使用中,编码格式gb18030编码兼容gbk编码和gb2312编码,因此,对gbk编码和gb2312编码统一调整为gb18030编码,这样,有利于用户只读取部分数据而造成误识别的问题。
S200、将所述文本数据文件中数目最多的空白符号或标点符号确定为数据分隔符;
S300、根据所述数据分隔符对所述文本数据文件中的内容进行列名解析,得到包括列名、该列名对应的列属性以及该列名对应的列数据的解析结果;
S400、依据所述解析结果中的所述列名、列属性以及列数据生成目标数据表。
其中,步骤S200-步骤S400的执行过程参照上述实施例中的步骤S20-步骤S40,在此不进行赘述。
因此,本申请实施例可以准确的确定出文本数据文件的编码格式,提高识别的成功率和准确率。
前述实施例中介绍了一句解析结果生成目标数据表,下面对此过程进行详细介绍。
所述依据所述解析结果中的所述列名、列属性以及列数据生成目标数据表包括:
将所述列名确定为需要创建的数据表的列名,将以及该列名对应的列属性确定为需要创建的数据表的列属性,创建空的数据表;其中,所述空的数据表的数据表名为随机生成的字符串;
将所述列名对应的列数据插入到所述空的数据表中生成目标数据表。
本发明实施例中,会自动根据解析结果生成数据表。其中,数据表是数据库中的,生成数据表就是自动在数据库中创建了新的数据表并插入了对应的数据。
本发明实施例中,解析结果中有了列名以及列属性,如列名是title,该列的属性为text,则根据此信息先在数据库中建立空的数据表。数据表名使用随机算法生成,只要保证每一次生成的表名是唯一的即可,具体算法并不具体限定。空的数据表所表征的是没有具体数据内容而只有列名的数据表。
实际使用中,可以调用预设SQL生成函数来创建数据表,将列名、列属性确定为输入参数即可。
例如:
CREATE TABLE data_a42c900e_2e4f_4ad5_bcee_14751b4cf681
(
id integer,
title text,
content text
)
其中,id,title以及content为列名,integer,text为列属性。如此,创建了一个表名为“data_a42c900e_2e4f_4ad5_bcee_14751b4cf681”的空的数据表。
然后按照解析结果中每一列对应的具体数据将空的数据表进行数据插入,得到完整的目标数据表。
实际使用中,可以调用预设SQL插入函数来插入具体数据,将列数据确定为插入参数即可。
因此,本发明实施例可以自动在数据库中创建目标数据表,无需人工操作。
本发明实施例中,在创建了目标数据表后,还包括:
将所述数据表名插入到所述对应信息所在数据源表中的位置。
来记录客户端、文本数据文件和目标数据表的对应关系。
本发明实施例中,还包括:
若根据所述数据分隔符对所述文本数据文件中的内容进行列名解析的过程中发生错误,则根据所述文本标识查找所述数据源表得到与该文本标识对应的客户端标识;
将已经解析出来的解析结果以及用于表征错误类型的报错信息发送给该客户端标识对应的客户端。
本发明实施例中,如果在列名解析的过程中发生错误,此时会将已经解析出来的解析结果以及发生错误时的报错信息返回给文本数据文件所对应的客户端。
实际使用中,如果文本数据文件的一部分内容开始进行列名解析,难免会出现气郁部分数据变化大、数据类型不一致等问题,此时会无法继续进行列名解析,出现错误,因此,会将已经解析出来的解析结果以及报错信息返回给文本数据文件的用户,使得用户可以根据报错信息来修改对应的文本数据文件。提高差错的准确性,进而提高工作效率。
与上述一种文本数据的处理方法相对应的,本发明另一方面还公开了一种文本数据的处理装置。
参见图3,图3是本发明公开的一种文本数据的处理装置的结构示意图。
本发明公开的一种文本数据的处理装置,应用于服务器,所述装置包括:
接收单元1,用于接收客户端发送的文本数据文件;
确定单元2,用于将所述文本数据文件中数目最多的空白符号或标点符号确定为数据分隔符;
分析单元3,用于根据所述数据分隔符对所述文本数据文件中的内容进行列名解析,得到包括列名、该列名对应的列属性以及该列名对应的列数据的解析结果;
生成单元4,用于依据所述解析结果中的所述列名、列属性以及列数据生成目标数据表。
优选的,所述处理装置还包括预处理单元,该预处理单元用于执行下列步骤:
使用二进制模式打开所述文本数据文件;
在所述二进制模式下选取所述文本数据文件中预设个数的字符;
提取所述预设个数的字符的特征值;
将所述特征值对应的编码格式确定为所述文本数据文件的编码格式;
根据所述文本数据文件的编码格式打开所述文本数据文件。
优选的,所述处理装置还包括:
保存单元,用于将对应信息保存在数据源表中,所述对应信息用于表征客户端的客户端标识和文本数据文件的文本标识之间的对应关系。
优选的,所述生成单元包括:
第一模块,用于将所述列名确定为需要创建的数据表的列名、将以及该列名对应的列属性确定为需要创建的数据表的列属性创建空的数据表;其中,所述空的数据表的数据表名为随机生成的字符串;
第二模块,用于将所述列名对应的列数据插入到所述空的数据表中生成目标数据表。
优选的,所述生成单元还包括:
插入模块,用于将所述数据表名插入到所述对应信息所在数据源表中的位置。
优选的,还包括:
错误判断单元,用于若根据所述数据分隔符对所述文本数据文件中的内容进行列名解析的过程中发生错误,则根据所述文本标识查找所述数据源表得到与该文本标识对应的客户端标识;
错误信息发送单元,用于将已经解析出来的解析结果以及用于表征错误类型的报错信息发送给该客户端标识对应的客户端。
优选的,所述分析单元包括:
判断模块,用于根据所述数据分隔符以及所述文本数据文件的编码格式确定所述文本数据文件的是否包含有表头,得到用于表征有无表头的表头状态信息;
运算模块,用于将所述数据分隔符、所述文本数据文件的编码格式以及所述表头状态信息确定为预设列名解析函数的输入参数进行列名解析运算。
需要说明的是,本实施例的一种文本数据的处理装置可以采用上述方法实施例中的一种文本数据的处理方法,用于实现上述方法实施例中的全部技术方案,其各个模块的功能可以根据上述方法实施例中的方法具体实现,其具体实现过程可参照上述实施例中的相关描述,此处不再赘述。
本发明提供了一种文本数据的处理装置,应用于服务器,接收单元1通过接收客户端发送的文本数据文件;确定单元2自动将所述文本数据文件中数目最多的空白符号或标点符号确定为数据分隔符;分析单元3根据所述数据分隔符对所述文本数据文件中的内容进行列名解析,得到包括列名、该列名对应的列属性以及该列名对应的列数据的解析结果;生成单元4依据所述解析结果中的所述列名、列属性以及列数据生成目标数据表。因此,实现了服务器中文本数据的全自动解析和全自动数据库录入,极大提高了运算效率和工作效率。
所述文本数据处理装置包括处理器和存储器,上述接收单元、确定单元、分析单元和生成单元等均确定为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来实现服务器中文本数据的全自动解析和全自动数据库录入,极大提高了运算效率和工作效率。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flashRAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现所述一种文本数据的处理方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述一种文本数据的处理方法。
本发明实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:接收客户端发送的文本数据文件;
将所述文本数据文件中数目最多的空白符号或标点符号确定为数据分隔符;
根据所述数据分隔符对所述文本数据文件中的内容进行列名解析,得到包括列名、该列名对应的列属性以及该列名对应的列数据的解析结果;
依据所述解析结果中的所述列名、列属性以及列数据生成目标数据表。
优选的,所述确定所述文本数据文件中数目最多的特殊字符确定为数据分隔符之前,所述处理方法包括:
使用二进制模式打开所述文本数据文件;
在所述二进制模式下选取所述文本数据文件中预设个数的字符;
提取所述预设个数的字符的特征值;
将所述特征值对应的编码格式确定为所述文本数据文件的编码格式;
根据所述文本数据文件的编码格式打开所述文本数据文件。
优选的,所述接收客户端发送的文本数据文件后,所述处理方法还包括:
将对应信息保存在数据源表中,所述对应信息用于表征客户端的客户端标识和文本数据文件的文本标识之间的对应关系。
优选的,所述依据所述解析结果中的所述列名、列属性以及列数据生成目标数据表包括:
将所述列名确定为需要创建的数据表的列名、将以及该列名对应的列属性确定为需要创建的数据表的列属性创建空的数据表;其中,所述空的数据表的数据表名为随机生成的字符串;
将所述列名对应的列数据插入到所述空的数据表中生成目标数据表。
优选的,还包括:
将所述数据表名插入到所述对应信息所在数据源表中的位置。
优选的,还包括:
若根据所述数据分隔符对所述文本数据文件中的内容进行列名解析的过程中发生错误,则根据所述文本标识查找所述数据源表得到与该文本标识对应的客户端标识;
将已经解析出来的解析结果以及用于表征错误类型的报错信息发送给该客户端标识对应的客户端。
优选的,所述根据所述数据分隔符对所述文本数据文件中的内容进行列名解析包括:
根据所述数据分隔符以及所述文本数据文件的编码格式确定所述文本数据文件的是否包含有表头,得到用于表征有无表头的表头状态信息;
将所述数据分隔符、所述文本数据文件的编码格式以及所述表头状态信息确定为预设列名解析函数的输入参数进行列名解析运算。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:接收客户端发送的文本数据文件;
将所述文本数据文件中数目最多的空白符号或标点符号确定为数据分隔符;
根据所述数据分隔符对所述文本数据文件中的内容进行列名解析,得到包括列名、该列名对应的列属性以及该列名对应的列数据的解析结果;
依据所述解析结果中的所述列名、列属性以及列数据生成目标数据表。
优选的,所述确定所述文本数据文件中数目最多的特殊字符确定为数据分隔符之前,所述处理方法包括:
使用二进制模式打开所述文本数据文件;
在所述二进制模式下选取所述文本数据文件中预设个数的字符;
提取所述预设个数的字符的特征值;
将所述特征值对应的编码格式确定为所述文本数据文件的编码格式;
根据所述文本数据文件的编码格式打开所述文本数据文件。
优选的,所述接收客户端发送的文本数据文件后,所述处理方法还包括:
将对应信息保存在数据源表中,所述对应信息用于表征客户端的客户端标识和文本数据文件的文本标识之间的对应关系。
优选的,所述依据所述解析结果中的所述列名、列属性以及列数据生成目标数据表包括:
将所述列名确定为需要创建的数据表的列名、将以及该列名对应的列属性确定为需要创建的数据表的列属性创建空的数据表;其中,所述空的数据表的数据表名为随机生成的字符串;
将所述列名对应的列数据插入到所述空的数据表中生成目标数据表。
优选的,还包括:
将所述数据表名插入到所述对应信息所在数据源表中的位置。
优选的,还包括:
若根据所述数据分隔符对所述文本数据文件中的内容进行列名解析的过程中发生错误,则根据所述文本标识查找所述数据源表得到与该文本标识对应的客户端标识;
将已经解析出来的解析结果以及用于表征错误类型的报错信息发送给该客户端标识对应的客户端。
优选的,所述根据所述数据分隔符对所述文本数据文件中的内容进行列名解析包括:
根据所述数据分隔符以及所述文本数据文件的编码格式确定所述文本数据文件的是否包含有表头,得到用于表征有无表头的表头状态信息;
将所述数据分隔符、所述文本数据文件的编码格式以及所述表头状态信息确定为预设列名解析函数的输入参数进行列名解析运算。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flashRAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种文本数据的处理方法,其特征在于,应用于服务器,所述方法包括:
接收客户端发送的文本数据文件;
将所述文本数据文件中数目最多的空白符号或标点符号确定为数据分隔符;
根据所述数据分隔符对所述文本数据文件中的内容进行列名解析,得到包括列名、该列名对应的列属性以及该列名对应的列数据的解析结果;
依据所述解析结果中的所述列名、列属性以及列数据生成目标数据表。
2.根据权利要求1所述的处理方法,其特征在于,所述确定所述文本数据文件中数目最多的特殊字符确定为数据分隔符之前,所述处理方法包括:
使用二进制模式打开所述文本数据文件;
在所述二进制模式下选取所述文本数据文件中预设个数的字符;
提取所述预设个数的字符的特征值;
将所述特征值对应的编码格式确定为所述文本数据文件的编码格式;
根据所述文本数据文件的编码格式打开所述文本数据文件。
3.根据权利要求1所述的处理方法,其特征在于,所述接收客户端发送的文本数据文件后,所述处理方法还包括:
将对应信息保存在数据源表中,所述对应信息用于表征客户端的客户端标识和文本数据文件的文本标识之间的对应关系。
4.根据权利要求1至3任意一项所述的处理方法,其特征在于,所述依据所述解析结果中的所述列名、列属性以及列数据生成目标数据表包括:
将所述列名确定为需要创建的数据表的列名、将以及该列名对应的列属性确定为需要创建的数据表的列属性创建空的数据表;其中,所述空的数据表的数据表名为随机生成的字符串;
将所述列名对应的列数据插入到所述空的数据表中生成目标数据表。
5.根据权利要求4所述的处理方法,其特征在于,还包括:
将所述数据表名插入到所述对应信息所在数据源表中的位置。
6.根据权利要求4所述的处理方法,其特征在于,还包括:
若根据所述数据分隔符对所述文本数据文件中的内容进行列名解析的过程中发生错误,则根据所述文本标识查找所述数据源表得到与该文本标识对应的客户端标识;
将已经解析出来的解析结果以及用于表征错误类型的报错信息发送给该客户端标识对应的客户端。
7.根据权利要求2所述的处理方法,其特征在于,所述根据所述数据分隔符对所述文本数据文件中的内容进行列名解析包括:
根据所述数据分隔符以及所述文本数据文件的编码格式确定所述文本数据文件的是否包含有表头,得到用于表征有无表头的表头状态信息;
将所述数据分隔符、所述文本数据文件的编码格式以及所述表头状态信息确定为预设列名解析函数的输入参数进行列名解析运算。
8.一种文本数据的处理装置,其特征在于,应用于服务器,所述装置包括:
接收单元,用于接收客户端发送的文本数据文件;
确定单元,用于将所述文本数据文件中数目最多的空白符号或标点符号确定为数据分隔符;
分析单元,用于根据所述数据分隔符对所述文本数据文件中的内容进行列名解析,得到包括列名、该列名对应的列属性以及该列名对应的列数据的解析结果;
生成单元,用于依据所述解析结果中的所述列名、列属性以及列数据生成目标数据表。
9.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在的设备执行如权利要求1至7中任一项所述的文本数据的处理方法。
10.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行如权利要求1至7中任一项所述的文本数据的处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810824240.1A CN110851400B (zh) | 2018-07-25 | 2018-07-25 | 文本数据的处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810824240.1A CN110851400B (zh) | 2018-07-25 | 2018-07-25 | 文本数据的处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110851400A true CN110851400A (zh) | 2020-02-28 |
CN110851400B CN110851400B (zh) | 2023-01-17 |
Family
ID=69594368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810824240.1A Active CN110851400B (zh) | 2018-07-25 | 2018-07-25 | 文本数据的处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110851400B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113239105A (zh) * | 2021-05-21 | 2021-08-10 | 武汉一格空间科技有限公司 | 一种野外科学观测数据表头表尾自动检测入库的方法 |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060106763A1 (en) * | 2004-11-12 | 2006-05-18 | Dirisala Siva K | Method and apparatus for facilitating a database query using a query criteria template |
CN101110812A (zh) * | 2007-08-29 | 2008-01-23 | 中兴通讯股份有限公司 | 文本命令解析处理方法 |
CN101599011A (zh) * | 2008-06-05 | 2009-12-09 | 北京书生国际信息技术有限公司 | 文档处理系统和方法 |
CN101930455A (zh) * | 2010-07-30 | 2010-12-29 | 南京莱斯信息技术股份有限公司 | 一种结构化数据交换方法 |
CN103488643A (zh) * | 2012-06-12 | 2014-01-01 | 阿里巴巴集团控股有限公司 | 一种浏览云端海量数据的方法及装置 |
CN103778185A (zh) * | 2013-12-27 | 2014-05-07 | 北京天融信软件有限公司 | 一种用于数据库审计系统的sql语句解析方法和系统 |
CN104504160A (zh) * | 2015-01-20 | 2015-04-08 | 中国地质大学(武汉) | 基于SSH框架的Excel文档在线批量写入方法 |
CN104598625A (zh) * | 2015-02-04 | 2015-05-06 | 中国人民解放军总后勤部军事交通运输研究所 | 基于自动识别标识符的数据表存储方法 |
CN104933162A (zh) * | 2015-06-26 | 2015-09-23 | 河海大学 | 一种从元数据标注的csv数据到rdf数据的转换方法 |
CN106227575A (zh) * | 2016-07-26 | 2016-12-14 | 浪潮通用软件有限公司 | 一种生成与解析文本文件的方法 |
CN106254313A (zh) * | 2016-07-15 | 2016-12-21 | 国云科技股份有限公司 | 一种通用的大数据采集字节流解析系统及其实现方法 |
CN106534267A (zh) * | 2016-10-19 | 2017-03-22 | 中国银行股份有限公司 | 文件上传解析方法及装置 |
CN106600206A (zh) * | 2016-11-07 | 2017-04-26 | 中广核(深圳)辐射监测技术有限公司 | 实现核电厂剂量数据从管理网单向传输至工业网的方法 |
CN106776512A (zh) * | 2016-12-02 | 2017-05-31 | 浪潮通信信息系统有限公司 | 一种通用的文本数据处理方法 |
CN107436872A (zh) * | 2016-05-25 | 2017-12-05 | 阿里巴巴集团控股有限公司 | 一种异构数据的处理方法及装置 |
CN107958057A (zh) * | 2017-11-29 | 2018-04-24 | 苏宁云商集团股份有限公司 | 一种用于异构数据库中数据迁移的代码生成方法及装置 |
CN108255966A (zh) * | 2017-12-25 | 2018-07-06 | 太极计算机股份有限公司 | 一种数据迁移方法及存储介质 |
-
2018
- 2018-07-25 CN CN201810824240.1A patent/CN110851400B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060106763A1 (en) * | 2004-11-12 | 2006-05-18 | Dirisala Siva K | Method and apparatus for facilitating a database query using a query criteria template |
CN101110812A (zh) * | 2007-08-29 | 2008-01-23 | 中兴通讯股份有限公司 | 文本命令解析处理方法 |
CN101599011A (zh) * | 2008-06-05 | 2009-12-09 | 北京书生国际信息技术有限公司 | 文档处理系统和方法 |
CN101930455A (zh) * | 2010-07-30 | 2010-12-29 | 南京莱斯信息技术股份有限公司 | 一种结构化数据交换方法 |
CN103488643A (zh) * | 2012-06-12 | 2014-01-01 | 阿里巴巴集团控股有限公司 | 一种浏览云端海量数据的方法及装置 |
CN103778185A (zh) * | 2013-12-27 | 2014-05-07 | 北京天融信软件有限公司 | 一种用于数据库审计系统的sql语句解析方法和系统 |
CN104504160A (zh) * | 2015-01-20 | 2015-04-08 | 中国地质大学(武汉) | 基于SSH框架的Excel文档在线批量写入方法 |
CN104598625A (zh) * | 2015-02-04 | 2015-05-06 | 中国人民解放军总后勤部军事交通运输研究所 | 基于自动识别标识符的数据表存储方法 |
CN104933162A (zh) * | 2015-06-26 | 2015-09-23 | 河海大学 | 一种从元数据标注的csv数据到rdf数据的转换方法 |
CN107436872A (zh) * | 2016-05-25 | 2017-12-05 | 阿里巴巴集团控股有限公司 | 一种异构数据的处理方法及装置 |
CN106254313A (zh) * | 2016-07-15 | 2016-12-21 | 国云科技股份有限公司 | 一种通用的大数据采集字节流解析系统及其实现方法 |
CN106227575A (zh) * | 2016-07-26 | 2016-12-14 | 浪潮通用软件有限公司 | 一种生成与解析文本文件的方法 |
CN106534267A (zh) * | 2016-10-19 | 2017-03-22 | 中国银行股份有限公司 | 文件上传解析方法及装置 |
CN106600206A (zh) * | 2016-11-07 | 2017-04-26 | 中广核(深圳)辐射监测技术有限公司 | 实现核电厂剂量数据从管理网单向传输至工业网的方法 |
CN106776512A (zh) * | 2016-12-02 | 2017-05-31 | 浪潮通信信息系统有限公司 | 一种通用的文本数据处理方法 |
CN107958057A (zh) * | 2017-11-29 | 2018-04-24 | 苏宁云商集团股份有限公司 | 一种用于异构数据库中数据迁移的代码生成方法及装置 |
CN108255966A (zh) * | 2017-12-25 | 2018-07-06 | 太极计算机股份有限公司 | 一种数据迁移方法及存储介质 |
Non-Patent Citations (1)
Title |
---|
王允富: "半结构化文本信息抽取方法研究及应用", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113239105A (zh) * | 2021-05-21 | 2021-08-10 | 武汉一格空间科技有限公司 | 一种野外科学观测数据表头表尾自动检测入库的方法 |
CN113239105B (zh) * | 2021-05-21 | 2022-05-31 | 武汉一格空间科技有限公司 | 一种野外科学观测数据表头表尾自动检测入库的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110851400B (zh) | 2023-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109448100B (zh) | 三维模型格式转换方法、系统、计算机设备及存储介质 | |
CN109597983B (zh) | 一种拼写纠错方法及装置 | |
CN110533018B (zh) | 一种图像的分类方法及装置 | |
CN111160045B (zh) | 一种游戏资源文件翻译方法、装置及设备 | |
CN115391439B (zh) | 文档数据导出方法、装置、电子设备和存储介质 | |
CN110019784B (zh) | 一种文本分类方法及装置 | |
CN114090671A (zh) | 数据导入方法、装置、电子设备及存储介质 | |
US10782942B1 (en) | Rapid onboarding of data from diverse data sources into standardized objects with parser and unit test generation | |
US10678514B2 (en) | Method and device for generating code assistance information | |
CN110851400B (zh) | 文本数据的处理方法及装置 | |
CN113536734B (zh) | 一种生僻字标准化的处理方法、系统及相关产品 | |
CN107092671B (zh) | 一种元信息管理的方法及设备 | |
CN110929188A (zh) | 服务端页面渲染方法及装置 | |
CN115796146A (zh) | 一种文件对比方法及装置 | |
CN112241445B (zh) | 一种标注方法及装置、电子设备、存储介质 | |
CN115238653A (zh) | 一种报告生成方法、装置、设备和介质 | |
CN110717131B (zh) | 页面改版的监控方法及相关系统 | |
CN109710833B (zh) | 用于确定内容节点的方法与设备 | |
CN113723047A (zh) | 一种基于法律文件的图谱构建方法、设备及介质 | |
CN110991164B (zh) | 法律文书处理方法及装置 | |
JP5824429B2 (ja) | スパムアカウントスコア算出装置、スパムアカウントスコア算出方法、及びプログラム | |
CN113535737B (zh) | 特征的生成方法、装置、电子设备及计算机存储介质 | |
CN117093589B (zh) | 一种非结构化数据入库方法及装置 | |
CN115455035B (zh) | 数据查询模型构建方法和计算机可读存储介质 | |
CN117251384B (zh) | 一种接口自动化测试用例生成方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |