CN113850081A - 基于人工智能的文本处理方法、装置、设备及介质 - Google Patents
基于人工智能的文本处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113850081A CN113850081A CN202111162204.1A CN202111162204A CN113850081A CN 113850081 A CN113850081 A CN 113850081A CN 202111162204 A CN202111162204 A CN 202111162204A CN 113850081 A CN113850081 A CN 113850081A
- Authority
- CN
- China
- Prior art keywords
- text
- key
- name
- information
- key text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明涉及人工智能技术领域,提供了一种基于人工智能的文本处理方法、装置、设备及存储介质。所述方法包括:查找并删除待处理文本中预设类型的词得到第一关键文本,查询并删除第一关键文本中的关键数值信息得到第二关键文本;将第二关键文本拆分为单字得到多个单字并执行分词操作得到多个分词,将多个单字及多个分词拼接成序列数据后输入名称识别模型,得到名称信息;删除名称信息后提取出文本的各级地址信息,将关键数值信息、名称信息及各级地址信息填充至预设的编辑栏位置。本发明可以提高文本自动录入的准确性。本发明还涉及区块链技术领域,上述待处理文本可以存储于一区块链的节点中。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种基于人工智能的文本处理方法、装置、设备及存储介质。
背景技术
目前,文本信息的录入大多依靠人工进行手动录入,虽然现有技术中有出现自动录入文本的相关技术方案,但这些方案大多仅是将文本信息进行简单的分词后进行填充,由于待录入的文本信息大多是人工手动编辑的,其格式繁多且不统一,利用该方案往往会出现分词错误,导致录入的相关栏位的文本出现错误。
发明内容
鉴于以上内容,本发明提供一种基于人工智能的文本处理方法、装置、设备及存储介质,其目的在于解决现有技术中由于文本格式不统一导致自动录入文本时准确性较低的技术问题。
为实现上述目的,本发明提供一种基于人工智能的文本处理方法,该方法包括:
读取用户输入的待处理文本,查找所述待处理文本中预设类型的词,并从所述待处理文本中删除所述预设类型的词得到第一关键文本;
基于预先构建的正则表达式集判断所述第一关键文本中是否存在关键数值信息,若是,从所述第一关键文本中删除所述关键数值信息得到第二关键文本;
拆分所述第二关键文本得到多个单字,并对所述第二关键文本执行分词操作得到多个分词,将所述多个单字及所述多个分词拼接成序列数据后输入预先训练好的名称识别模型,判断所述名称识别模型是否识别出所述第二关键文本中的名称信息;
当所述名称识别模型识别出所述第二关键文本中的名称信息时,从所述第二关键文本中删除所述名称信息得到第三关键文本,基于预先构建的地址词词典树判断所述第三关键文本中是否存在各级地址信息,若是,将所述关键数值信息、所述名称信息及所述各级地址信息填充至预设的编辑栏位置。
优选的,所述基于预先构建的正则表达式集判断所述第一关键文本中是否存在关键数值信息,包括:
将所述第一关键文本与所述正则表达式集进行匹配,判断所述第一关键文本与所述正则表达式集是否匹配成功,当判断所述第一关键文本与所述正则表达式集中任一正则表达式匹配成功时,则判断所述第一关键文本中存在关键数值信息,并将匹配成功的正则表达式对应的匹配结果作为所述关键数值信息。
优选的,所述判断所述第一关键文本与所述正则表达式集是否匹配成功,包括:
当判断所述第一关键文本与所述正则表达式集中所有正则表达式均匹配失败时,生成第一提示信息并将所述第一提示信息反馈至所述用户。
优选的,所述名称识别模型的训练过程,包括:
获取预设数量的样本文本,为各样本文本标注名称标签,将各样本文本作为自变量、各样本文本的名称标签作为因变量生成样本集;
将所述样本集中每个样本输入预先构建的模型,得到所述样本集中每个样本的预测名称,所述预先构建的模型包括BiLSTM-CRF模型;
基于所述样本集中每个样本的名称标签读取所述样本集中每个样本的真实名称;
通过最小化所述预测名称与所述真实名称之间的损失值确定所述名称识别模型的结构参数,得到训练好的名称识别模型。
优选的,所述方法还包括:
当所述名称识别模型未识别出所述第二关键文本中的名称信息时,生成第二提示信息并将所述第二提示信息反馈至所述用户。
优选的,所述基于预先构建的地址词词典树判断所述第三关键文本中是否存在各级地址信息,包括:
对所述第三关键文本执行分词操作得到所述第三关键文本的分词,将所述第三关键文本的分词与所述地址词词典树进行匹配,判断所述第三关键文本的分词与所述地址词词典树是否匹配成功,若均匹配成功,则判断所述第三关键文本中存在各级地址信息,并将与分词匹配成功的地址词作为该分词对应的地址信息。
优选的,所述判断所述第三关键文本的分词与所述地址词词典树是否匹配成功,包括:
当判断所述第三关键文本的分词与所述地址词词典树匹配失败时,将匹配失败的分词转换成拼音,再将所述拼音与预先构建的拼音词典树进行匹配,当所述拼音与所述拼音词典树的任一节点匹配成功时,将匹配成功的节点对应的地址词作为该分词的地址信息。
为实现上述目的,本发明还提供一种基于人工智能的文本处理装置,该基于人工智能的文本处理装置包括:
第一查询模块:用于读取用户输入的待处理文本,查找所述待处理文本中预设类型的词,并从所述待处理文本中删除所述预设类型的词得到第一关键文本;
第二查询模块:用于基于预先构建的正则表达式集判断所述第一关键文本中是否存在关键数值信息,若是,从所述第一关键文本中删除所述关键数值信息得到第二关键文本;
识别模块:用于拆分所述第二关键文本得到多个单字,并对所述第二关键文本执行分词操作得到多个分词,将所述多个单字及所述多个分词拼接成序列数据后输入预先训练好的名称识别模型,判断所述名称识别模型是否识别出所述第二关键文本中的名称信息;
提取模块:用于当所述名称识别模型识别出所述第二关键文本中的名称信息时,从所述第二关键文本中删除所述名称信息得到第三关键文本,基于预先构建的地址词词典树判断所述第三关键文本中是否存在各级地址信息,若是,将所述关键数值信息、所述名称信息及所述各级地址信息填充至预设的编辑栏位置。
为实现上述目的,本发明还提供一种电子设备,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的程序,所述程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上所述的基于人工智能的文本处理方法的任意步骤。
为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有基于人工智能的文本处理程序,所述基于人工智能的文本处理程序被处理器执行时,实现如上所述基于人工智能的文本处理方法的任意步骤。
本发明提出的基于人工智能的文本处理方法、装置、设备及存储介质,对待处理文本的各关键信息(电话号码、人名、地址)进行逐层识别,相对于一次性识别各地理要素,减少了问题的复杂度,具有更高的识别效率和准确性。结合规则和深度学习算法来识别文本中的名称(人名)信息,识别准确率高,且在名称识别模型识别过程中融入了词汇信息,增强了模型的识别准确性,提高文本自动录入的准确性。
附图说明
图1为本发明基于人工智能的文本处理方法较佳实施例的流程图示意图;
图2为本发明基于人工智能的文本处理装置较佳实施例的模块示意图;
图3为本发明电子设备较佳实施例的示意图;
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
需要说明的是,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
本发明提供一种基于人工智能的文本处理方法。参照图1所示,为本发明基于人工智能的文本处理方法的实施例的方法流程示意图。该方法可以由一个电子设备执行,该电子设备可以由软件和/或硬件实现。基于人工智能的文本处理方法包括:
步骤S10:读取用户输入的待处理文本,查找所述待处理文本中预设类型的词,并从所述待处理文本中删除所述预设类型的词得到第一关键文本。
本方案的应用场景可以是识别文本的各项信息并自动填充至各项信息对应的编辑栏位的文本,例如,在保险或快递行业中,用户提供的地址信息、姓名、联系方式的文本格式不统一,识别出用户的提供的文本信息中的各项内容并自动填充至编辑栏对应的位置。可以理解的是,本方案的实际应用场景并不仅限于此,还可以是处理医疗领域中的处方单、病历单或医疗结算单据。
当接收到用户发出的文本处理请求之后,解析该请求并获取请求中携带待处理文本,其中,请求中可以包括待处理文本,也可以包括待处理文本的存储路径。文本处理请求可以是指用户将文本粘贴至相关编辑栏,也可以是指用户将含有文本信息的非结构化文档(例如,JPG格式)上传,进一步地,若用户上传的文本信息为图片格式,则可以利用OCR识别模型提取出结构化的待处理文本。可以理解的是,文本处理请求可以是通过人机交互界面由用户主动发起。
由于不同用户输入的待处理文本可能具有多种格式,因此需要将待处理文本中无关的内容删除,使文本尽可能简洁。因此读取待处理文本之后,可以通过正则表达式查找中待处理文本中预设类型的词,并删除预设类型的词从而得到第一关键文本。其中,预设类型的词包括标点符号、人名描述词、地址描述词、联系方式描述词。
例如,对于某用户输入的待处理文本为“姓名:谢海明,电话:15689389247,地址:四川省乐山市市中区棉竹镇乐夹路31号”,可以理解的是,用户输入的待处理文本也可能是以下格式的文本:
“谢海明,0734-65289560,四川省乐山市市中区棉竹镇乐夹路31号;
谢海明156-8938-9247四川省乐山市市中区棉竹镇乐夹路31号;
谢海明四川省乐山市市中区棉竹镇乐夹路31号15689389247;
四川省乐山市市中区棉竹镇乐夹路31号谢海明15689389247;”
将待处理文本中的人名描述词“姓名”,“名字”删除,将联系方式描述词“联系方式、手机号码、电话、号码、座机号”删除,将地址描述词“地址、住址、详细地址”等信息删除。并将待处理文本中的标点符号“,”、“、”、“:”、“。”等删除,得到的第一关键文本只包含电话、姓名、地址信息。对于待处理文本:“姓名:谢海明,电话:15689389247,地址:四川省乐山市市中区棉竹镇乐夹路31号”,得到的第一关键文本为:
“谢海明15689389247四川省乐山市市中区棉竹镇乐夹路31号”。
步骤S20:基于预先构建的正则表达式集判断所述第一关键文本中是否存在关键数值信息,若是,从所述第一关键文本中删除所述关键数值信息得到第二关键文本。
在本实施例中,在得到第一关键文本后,利用正则表达式集判断是否能匹配出第一关键文本中的关键数值信息,关键数值信息是指联系方式(手机号码或者座机号码),若匹配出手机号码或者电话号码,则将手机号码或者电话号码删除得到第二关键文本,第二关键文本为仅包含地址信息和人名信息的文本,例如,“谢海明四川省乐山市市中区棉竹镇乐夹路31号”,“四川省乐山市市中区棉竹镇乐夹路31号谢海明”,将删除的关键数值信息存储至预设存储路径,预设存储路径可以是缓存,以便后续填充时快速读取关键数值信息。
在一个实施例中,所述基于预先构建的正则表达式集判断所述第一关键文本中是否存在关键数值信息,包括:
将所述第一关键文本与所述正则表达式集进行匹配,判断所述第一关键文本与所述正则表达式集是否匹配成功,当判断所述第一关键文本与所述正则表达式集中任一正则表达式匹配成功时,则判断所述第一关键文本中存在关键数值信息,并将匹配成功的正则表达式对应的匹配结果作为所述关键数值信息。
电话号码分为座机号和手机号码,由于座机号码和手机号码均具有明显的特定格式,因此通过预先构建正则表达式集与第一关键文本进行匹配,以提取第一关键文字中的号码。由于第一关键文本中可能会出现区号“+86”,可以将文本中的“+86”数据先删除再进行匹配,联系方式分为如下两种:
座机号码的结构为:{3-4个数字}-{7-8个数字},
手机号码的结构为:1{3|4|5|7|8|9}{9个数字}
结合这两种联系方式的结构,构建如下规则{3-4个数字}-{7-8个数字}或者1{3|4|5|7|8|9}{9个数字}的正则表达式集来获取第一关键文本中的关键数值信息。
进一步地,所述判断所述第一关键文本与所述正则表达式集是否匹配成功,包括:
当判断所述第一关键文本与所述正则表达式集中所有正则表达式均匹配失败时,生成第一提示信息并将所述第一提示信息反馈至所述用户。
当第一关键文本与正则表达式集中所有正则表达式均匹配失败时,说明第一关键文本中的联系方式的格式可能错误(例如,少了一位数字)或号码缺失,因此可以生成第一提示信息反馈至用户,以提示用户输入正确的联系方式,第一提示信息可以是“电话号码错误或缺失,请输入正确联系方式”。
步骤S30:拆分所述第二关键文本得到多个单字,并对所述第二关键文本执行分词操作得到多个分词,将所述多个单字及所述多个分词拼接成序列数据后输入预先训练好的名称识别模型,判断所述名称识别模型是否识别出所述第二关键文本中的名称信息。
在本实施例中,第二关键文本为仅包含地址信息和人名信息的文本,需要将地址信息和人名信息分别提取出来,提取人名信息时可以利用实体命名模型提取,具体地,将第二关键文本拆分成单字得到多个单字,将第二关键文本执行分词操作得到多个分词,分词时可以利用jieba分词进行分词,将多个单字及多个分词拼接成序列数据后输入预先训练好的名称识别模型,判断名称识别模型是否识别出第二关键文本中的名称信息,若是,得到第二关键文本中的人名信息,将人名信息存储至预设存储路径(如,缓存)。名称识别模型可以是根据BiLSTM-CRF模型、IDCNN-CRF模型训练得到的。
在一个实施例中,所述名称识别模型的训练过程,包括:
获取预设数量的样本文本,为各样本文本标注名称标签,将各样本文本作为自变量、各样本文本的名称标签作为因变量生成样本集;
将所述样本集中每个样本输入预先构建的模型,得到所述样本集中每个样本的预测名称,所述预先构建的模型包括BiLSTM-CRF模型;
基于所述样本集中每个样本的名称标签读取所述样本集中每个样本的真实名称;
通过最小化所述预测名称与所述真实名称之间的损失值确定所述名称识别模型的结构参数,得到训练好的名称识别模型。
其中,预先构建的模型可以是只含2层Bert模型的基础上,同时去掉Bert模型的segment嵌入层,再连接一个CRF层得到的模型,该模型的主要优势在于轻量化和融入了词汇信息。
为了识别“地址+人名”或“人名+地址”文本中的姓名,需要构造数据样本用于模型的训练,可以从第三方数据库获得包含中文百家姓的人名数据,然后将各省市的标的数据导出得到了人名和地址数据,通过随机按照“人名+地址”或“地址+人名”的形式来生成样本文本。
例如,对于样本文本:“广东省深圳市福田区八卦三路平安大厦张三”采用jieba分词后的词汇信息为:“广东省/深圳市/福田区/八卦/三路/平安/大厦/张三”,融入词汇信息拼接后的样本文本为:“广、东、省、深、圳、市、福、田、区、八、卦、三、路、平、安、大、厦、张、三、广东省、深圳市、福田区、八卦、三路、平安、大厦、张三”。
再对每一条样本数据进行标注,具体地,设置标注序列{O,B_PER,I_PER},其中,B_PER表示姓名的开始,I_PER表示姓名的内部,O表示其他信息。例如,对于文本“四川省乐山市市中区棉竹镇乐夹路3 1号谢海明”,其对应的标签序列为:“O OOOOOOOOOOOOOOOOO B_PER I_PER I_PER”。
需要说明的是,输入的字实际上为字对应字典中的id,单个词实际上对应两个输入id_head,id_tail,,其中id_head表示该词汇中第一个字的id,id_tail表示该词汇中最后一个字对应的id。由于词汇信息只提供了实体的边界信息,因此词汇信息可融入多种分词算法的结果,在输出标注中只需要关注字对应的标注即可。
在一个实施例中,所述方法还包括:
当所述名称识别模型未识别出所述第二关键文本中的名称信息时,生成第二提示信息并将所述第二提示信息反馈至所述用户。
若通过名称识别模型无法获取到第二关键文本中的人名信息,则想用户反馈第二提示信息,第二提示信息可以是“无法获取人名信息请手动输入”。
步骤S40:当所述名称识别模型识别出所述第二关键文本中的名称信息时,从所述第二关键文本中删除所述名称信息得到第三关键文本,基于预先构建的地址词词典树判断所述第三关键文本中是否存在各级地址信息,若是,将所述关键数值信息、所述名称信息及所述各级地址信息填充至预设的编辑栏位置。
在本实施例中,当名称识别模型识别出第二关键文本中的名称信息时,删除第二关键文本中的名称信息后得到第三关键文本即为地址信息,由于地址信息按照省、市、区、街道、详细地址的顺序来进行填写的,因此可以利用地址词词典树根据省的关键词来提取省级信息,再依次根据市、区、街道的关键词来提取市、区、街道的信息,其中,关键词可以是预先配置好的,省、市、区、街道的关键词信息如下表:
地址划分 | 关键词 |
省 | 省、直辖市、特别行政区、自治区 |
市 | 市、盟、自治州 |
区 | 区、县、旗 |
街道 | 街道、镇、乡 |
剩下的信息即为详细地址,从而完成第三关键文本的拆分,得到各级地址信息。之后将关键数值信息(联系方式)、名称信息(人名)及各级地址信息填充至对应的编辑栏位置,例如,快递收件人的详细信息栏或保单的受保人的详细信息栏。
在一个实施例中,所述基于预先构建的地址词词典树判断所述第三关键文本中是否存在各级地址信息,包括:
对所述第三关键文本执行分词操作得到所述第三关键文本的分词,将所述第三关键文本的分词与所述地址词词典树进行匹配,判断所述第三关键文本的分词与所述地址词词典树是否匹配成功,若均匹配成功,则判断所述第三关键文本中存在各级地址信息,并将与分词匹配成功的地址词作为该分词对应的地址信息。
由于用户输入的文本可能是简写的,例如,“四川省绵阳市”写成“四川绵阳市”,分词“四川”与地址词词典树的“四川省”匹配成功,则将“四川省”作为该分词的地址信息。
进一步地,所述判断所述第三关键文本的分词与所述地址词词典树是否匹配成功,包括:
当判断所述第三关键文本的分词与所述地址词词典树匹配失败时,将匹配失败的分词转换成拼音,再将所述拼音与预先构建的拼音词典树进行匹配,当所述拼音与所述拼音词典树的任一节点匹配成功时,将匹配成功的节点对应的地址词作为该分词的地址信息。
当分词与地址词词典树节点对应的关键词均匹配失败时,可以对分词以拼音的形式进行纠错,由于在实际输入时,音同字不同的错误情况较多,因此在构建地址词词典树时,可以同时构建地址词对应的拼音词典树,将匹配失败的分词转换成拼音,在拼音词典树中再匹配一遍,若匹配成功,则将匹配成功的拼音词典树中的地址词作为该分词的地址信息,例如,若分词为“棉阳市”,会在地址词词典树中匹配失败,在拼音词典树会匹配到“绵阳市”。
参照图2所示,为本发明基于人工智能的文本处理装置100的功能模块示意图。
本发明所述基于人工智能的文本处理装置100可以安装于电子设备中。根据实现的功能,所述基于人工智能的文本处理装置100可以包括第一查询模块110、第二查询模块120、识别模块130及提取模块140。本发明所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
在本实施例中,关于各模块/单元的功能如下:
第一查询模块110:用于读取用户输入的待处理文本,查找所述待处理文本中预设类型的词,并从所述待处理文本中删除所述预设类型的词得到第一关键文本;
第二查询模块120:用于基于预先构建的正则表达式集判断所述第一关键文本中是否存在关键数值信息,若是,从所述第一关键文本中删除所述关键数值信息得到第二关键文本;
识别模块130:用于拆分所述第二关键文本得到多个单字,并对所述第二关键文本执行分词操作得到多个分词,将所述多个单字及所述多个分词拼接成序列数据后输入预先训练好的名称识别模型,判断所述名称识别模型是否识别出所述第二关键文本中的名称信息;
提取模块140:用于当所述名称识别模型识别出所述第二关键文本中的名称信息时,从所述第二关键文本中删除所述名称信息得到第三关键文本,基于预先构建的地址词词典树判断所述第三关键文本中是否存在各级地址信息,若是,将所述关键数值信息、所述名称信息及所述各级地址信息填充至预设的编辑栏位置。
在一个实施例中,所述基于预先构建的正则表达式集判断所述第一关键文本中是否存在关键数值信息,包括:
将所述第一关键文本与所述正则表达式集进行匹配,判断所述第一关键文本与所述正则表达式集是否匹配成功,当判断所述第一关键文本与所述正则表达式集中任一正则表达式匹配成功时,则判断所述第一关键文本中存在关键数值信息,并将匹配成功的正则表达式对应的匹配结果作为所述关键数值信息。
在一个实施例中,所述判断所述第一关键文本与所述正则表达式集是否匹配成功,包括:
当判断所述第一关键文本与所述正则表达式集中所有正则表达式均匹配失败时,生成第一提示信息并将所述第一提示信息反馈至所述用户。
在一个实施例中,所述名称识别模型的训练过程,包括:
获取预设数量的样本文本,为各样本文本标注名称标签,将各样本文本作为自变量、各样本文本的名称标签作为因变量生成样本集;
将所述样本集中每个样本输入预先构建的模型,得到所述样本集中每个样本的预测名称,所述预先构建的模型包括BiLSTM-CRF模型;
基于所述样本集中每个样本的名称标签读取所述样本集中每个样本的真实名称;
通过最小化所述预测名称与所述真实名称之间的损失值确定所述名称识别模型的结构参数,得到训练好的名称识别模型。
在一个实施例中,所述识别模块130还用于:
当所述名称识别模型未识别出所述第二关键文本中的名称信息时,生成第二提示信息并将所述第二提示信息反馈至所述用户。
在一个实施例中,所述基于预先构建的地址词词典树判断所述第三关键文本中是否存在各级地址信息,包括:
对所述第三关键文本执行分词操作得到所述第三关键文本的分词,将所述第三关键文本的分词与所述地址词词典树进行匹配,判断所述第三关键文本的分词与所述地址词词典树是否匹配成功,若均匹配成功,则判断所述第三关键文本中存在各级地址信息,并将与分词匹配成功的地址词作为该分词对应的地址信息。
在一个实施例中,所述判断所述第三关键文本的分词与所述地址词词典树是否匹配成功,包括:
当判断所述第三关键文本的分词与所述地址词词典树匹配失败时,将匹配失败的分词转换成拼音,再将所述拼音与预先构建的拼音词典树进行匹配,当所述拼音与所述拼音词典树的任一节点匹配成功时,将匹配成功的节点对应的地址词作为该分词的地址信息。
参照图3所示,为本发明电子设备1较佳实施例的示意图。
该电子设备1包括但不限于:存储器11、处理器12、显示器13及网络接口14。所述电子设备1通过网络接口14连接网络,获取原始数据。其中,所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobilecommunication,GSM)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi、通话网络等无线或有线网络。
其中,存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,所述存储器11可以是所述电子设备1的内部存储单元,例如该电子设备1的硬盘或内存。在另一些实施例中,所述存储器11也可以是所述电子设备1的外部存储设备,例如该电子设备1配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,所述存储器11还可以既包括所述电子设备1的内部存储单元也包括其外部存储设备。本实施例中,存储器11通常用于存储安装于所述电子设备1的操作系统和各类应用软件,例如基于人工智能的文本处理程序10的程序代码等。此外,存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器12在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子设备1的总体操作,例如执行数据交互或者通信相关的控制和处理等。本实施例中,所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据,例如运行基于人工智能的文本处理程序10的程序代码等。
显示器13可以称为显示屏或显示单元。在一些实施例中显示器13可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-EmittingDiode,OLED)触摸器等。显示器13用于显示在电子设备1中处理的信息以及用于显示可视化的工作界面,例如显示数据统计的结果。
网络接口14可选地可以包括标准的有线接口、无线接口(如WI-FI接口),该网络接口14通常用于在所述电子设备1与其它电子设备之间建立通信连接。
图3仅示出了具有组件11-14以及基于人工智能的文本处理程序10的电子设备1,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
可选地,所述电子设备1还可以包括用户接口,用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard),可选的用户接口还可以包括标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode,OLED)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
该电子设备1还可以包括射频(Radio Frequency,RF)电路、传感器和音频电路等等,在此不再赘述。
在上述实施例中,处理器12执行存储器11中存储的基于人工智能的文本处理程序10时可以实现如下步骤:
读取用户输入的待处理文本,查找所述待处理文本中预设类型的词,并从所述待处理文本中删除所述预设类型的词得到第一关键文本;
基于预先构建的正则表达式集判断所述第一关键文本中是否存在关键数值信息,若是,从所述第一关键文本中删除所述关键数值信息得到第二关键文本;
拆分所述第二关键文本得到多个单字,并对所述第二关键文本执行分词操作得到多个分词,将所述多个单字及所述多个分词拼接成序列数据后输入预先训练好的名称识别模型,判断所述名称识别模型是否识别出所述第二关键文本中的名称信息;
当所述名称识别模型识别出所述第二关键文本中的名称信息时,从所述第二关键文本中删除所述名称信息得到第三关键文本,基于预先构建的地址词词典树判断所述第三关键文本中是否存在各级地址信息,若是,将所述关键数值信息、所述名称信息及所述各级地址信息填充至预设的编辑栏位置。
所述存储设备可以为电子设备1的存储器11,也可以为与电子设备1通讯连接的其它存储设备。
关于上述步骤的详细介绍,请参照上述图2关于基于人工智能的文本处理装置100实施例的功能模块图以及图1关于基于人工智能的文本处理方法实施例的流程图的说明。
此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质可以是非易失性的,也可以是易失性的。该计算机可读存储介质可以是硬盘、多媒体卡、SD卡、闪存卡、SMC、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器等等中的任意一种或者几种的任意组合。所述计算机可读存储介质中包括存储数据区和存储程序区,存储数据区存储根据区块链节点的使用所创建的数据,存储程序区存储有基于人工智能的文本处理程序10,所述基于人工智能的文本处理程序10被处理器执行时实现如下操作:
读取用户输入的待处理文本,查找所述待处理文本中预设类型的词,并从所述待处理文本中删除所述预设类型的词得到第一关键文本;
基于预先构建的正则表达式集判断所述第一关键文本中是否存在关键数值信息,若是,从所述第一关键文本中删除所述关键数值信息得到第二关键文本;
拆分所述第二关键文本得到多个单字,并对所述第二关键文本执行分词操作得到多个分词,将所述多个单字及所述多个分词拼接成序列数据后输入预先训练好的名称识别模型,判断所述名称识别模型是否识别出所述第二关键文本中的名称信息;
当所述名称识别模型识别出所述第二关键文本中的名称信息时,从所述第二关键文本中删除所述名称信息得到第三关键文本,基于预先构建的地址词词典树判断所述第三关键文本中是否存在各级地址信息,若是,将所述关键数值信息、所述名称信息及所述各级地址信息填充至预设的编辑栏位置。
本发明之计算机可读存储介质的具体实施方式与上述基于人工智能的文本处理方法的具体实施方式大致相同,在此不再赘述。
在另一个实施例中,本发明所提供的基于人工智能的文本处理方法,为进一步保证上述所有出现的数据的私密和安全性,上述所有数据还可以存储于一区块链的节点中。例如第一、第二及第三关键文本等,这些数据均可存储在区块链节点中。
需要说明的是,本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
需要说明的是,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,电子装置,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于人工智能的文本处理方法,应用于电子设备,其特征在于,所述方法包括:
读取用户输入的待处理文本,查找所述待处理文本中预设类型的词,并从所述待处理文本中删除所述预设类型的词得到第一关键文本;
基于预先构建的正则表达式集判断所述第一关键文本中是否存在关键数值信息,若是,从所述第一关键文本中删除所述关键数值信息得到第二关键文本;
拆分所述第二关键文本得到多个单字,并对所述第二关键文本执行分词操作得到多个分词,将所述多个单字及所述多个分词拼接成序列数据后输入预先训练好的名称识别模型,判断所述名称识别模型是否识别出所述第二关键文本中的名称信息;
当所述名称识别模型识别出所述第二关键文本中的名称信息时,从所述第二关键文本中删除所述名称信息得到第三关键文本,基于预先构建的地址词词典树判断所述第三关键文本中是否存在各级地址信息,若是,将所述关键数值信息、所述名称信息及所述各级地址信息填充至预设的编辑栏位置。
2.如权利要求1所述的基于人工智能的文本处理方法,其特征在于,所述基于预先构建的正则表达式集判断所述第一关键文本中是否存在关键数值信息,包括:
将所述第一关键文本与所述正则表达式集进行匹配,判断所述第一关键文本与所述正则表达式集是否匹配成功,当判断所述第一关键文本与所述正则表达式集中任一正则表达式匹配成功时,则判断所述第一关键文本中存在关键数值信息,并将匹配成功的正则表达式对应的匹配结果作为所述关键数值信息。
3.如权利要求2所述的基于人工智能的文本处理方法,其特征在于,所述判断所述第一关键文本与所述正则表达式集是否匹配成功,包括:
当判断所述第一关键文本与所述正则表达式集中所有正则表达式均匹配失败时,生成第一提示信息并将所述第一提示信息反馈至所述用户。
4.如权利要求1所述的基于人工智能的文本处理方法,其特征在于,所述名称识别模型的训练过程,包括:
获取预设数量的样本文本,为各样本文本标注名称标签,将各样本文本作为自变量、各样本文本的名称标签作为因变量生成样本集;
将所述样本集中每个样本输入预先构建的模型,得到所述样本集中每个样本的预测名称,所述预先构建的模型包括BiLSTM-CRF模型;
基于所述样本集中每个样本的名称标签读取所述样本集中每个样本的真实名称;
通过最小化所述预测名称与所述真实名称之间的损失值确定所述名称识别模型的结构参数,得到训练好的名称识别模型。
5.如权利要求1所述的基于人工智能的文本处理方法,其特征在于,所述方法还包括:
当所述名称识别模型未识别出所述第二关键文本中的名称信息时,生成第二提示信息并将所述第二提示信息反馈至所述用户。
6.如权利要求1所述的基于人工智能的文本处理方法,其特征在于,所述基于预先构建的地址词词典树判断所述第三关键文本中是否存在各级地址信息,包括:
对所述第三关键文本执行分词操作得到所述第三关键文本的分词,将所述第三关键文本的分词与所述地址词词典树进行匹配,判断所述第三关键文本的分词与所述地址词词典树是否匹配成功,若均匹配成功,则判断所述第三关键文本中存在各级地址信息,并将与分词匹配成功的地址词作为该分词对应的地址信息。
7.如权利要求6所述的基于人工智能的文本处理方法,其特征在于,所述判断所述第三关键文本的分词与所述地址词词典树是否匹配成功,包括:
当判断所述第三关键文本的分词与所述地址词词典树匹配失败时,将匹配失败的分词转换成拼音,再将所述拼音与预先构建的拼音词典树进行匹配,当所述拼音与所述拼音词典树的任一节点匹配成功时,将匹配成功的节点对应的地址词作为该分词的地址信息。
8.一种基于人工智能的文本处理装置,其特征在于,所述装置包括:
第一查询模块:用于读取用户输入的待处理文本,查找所述待处理文本中预设类型的词,并从所述待处理文本中删除所述预设类型的词得到第一关键文本;
第二查询模块:用于基于预先构建的正则表达式集判断所述第一关键文本中是否存在关键数值信息,若是,从所述第一关键文本中删除所述关键数值信息得到第二关键文本;
识别模块:用于拆分所述第二关键文本得到多个单字,并对所述第二关键文本执行分词操作得到多个分词,将所述多个单字及所述多个分词拼接成序列数据后输入预先训练好的名称识别模型,判断所述名称识别模型是否识别出所述第二关键文本中的名称信息;
提取模块:用于当所述名称识别模型识别出所述第二关键文本中的名称信息时,从所述第二关键文本中删除所述名称信息得到第三关键文本,基于预先构建的地址词词典树判断所述第三关键文本中是否存在各级地址信息,若是,将所述关键数值信息、所述名称信息及所述各级地址信息填充至预设的编辑栏位置。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的程序,所述程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的基于人工智能的文本处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有基于人工智能的文本处理程序,所述基于人工智能的文本处理程序被处理器执行时,实现如权利要求1至7中任一项所述基于人工智能的文本处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111162204.1A CN113850081A (zh) | 2021-09-30 | 2021-09-30 | 基于人工智能的文本处理方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111162204.1A CN113850081A (zh) | 2021-09-30 | 2021-09-30 | 基于人工智能的文本处理方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113850081A true CN113850081A (zh) | 2021-12-28 |
Family
ID=78977545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111162204.1A Pending CN113850081A (zh) | 2021-09-30 | 2021-09-30 | 基于人工智能的文本处理方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113850081A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114255839A (zh) * | 2022-01-26 | 2022-03-29 | 广州天鹏计算机科技有限公司 | 一种医疗大数据治理系统及方法 |
CN114861658A (zh) * | 2022-05-24 | 2022-08-05 | 北京百度网讯科技有限公司 | 地址信息解析方法及装置、设备和介质 |
-
2021
- 2021-09-30 CN CN202111162204.1A patent/CN113850081A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114255839A (zh) * | 2022-01-26 | 2022-03-29 | 广州天鹏计算机科技有限公司 | 一种医疗大数据治理系统及方法 |
CN114861658A (zh) * | 2022-05-24 | 2022-08-05 | 北京百度网讯科技有限公司 | 地址信息解析方法及装置、设备和介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111177184A (zh) | 基于自然语言的结构化查询语言转换方法、及其相关设备 | |
US9489372B2 (en) | Web-based spell checker | |
CN111695439A (zh) | 图像结构化数据提取方法、电子装置及存储介质 | |
WO2021135469A1 (zh) | 基于机器学习的信息抽取方法、装置、计算机设备及介质 | |
CN113850081A (zh) | 基于人工智能的文本处理方法、装置、设备及介质 | |
CN109766072B (zh) | 信息校验输入方法、装置、计算机设备和存储介质 | |
CN109189888B (zh) | 电子装置、侵权分析的方法及存储介质 | |
CN113707300A (zh) | 基于人工智能的搜索意图识别方法、装置、设备及介质 | |
EP2790111A1 (en) | Method and device for acquiring structured information in layout file | |
CN112632278A (zh) | 一种基于多标签分类的标注方法、装置、设备及存储介质 | |
WO2022100154A1 (zh) | 基于人工智能的地址标准化方法、装置、设备和存储介质 | |
CN111160030A (zh) | 一种信息抽取方法、装置、及存储介质 | |
CN111831920A (zh) | 用户需求分析方法、装置、计算机设备及存储介质 | |
CN112052305A (zh) | 信息提取方法、装置、计算机设备及可读存储介质 | |
CN112214997A (zh) | 语音信息录入方法、装置、电子设备及存储介质 | |
CN113656547A (zh) | 文本匹配方法、装置、设备及存储介质 | |
CN113961768B (zh) | 敏感词检测方法、装置、计算机设备和存储介质 | |
CN111723870A (zh) | 基于人工智能的数据集获取方法、装置、设备和介质 | |
CN113837113A (zh) | 基于人工智能的文档校验方法、装置、设备及介质 | |
CN116956954A (zh) | 文本翻译方法、装置、电子设备及存储介质 | |
KR102468975B1 (ko) | 인공지능 기반의 판례 인식의 정확도 향상 방법 및 장치 | |
CN114528851B (zh) | 回复语句确定方法、装置、电子设备和存储介质 | |
CN111046627A (zh) | 一种中文文字显示方法及系统 | |
CN115186240A (zh) | 基于关联性信息的社交网络用户对齐方法、装置、介质 | |
CN115203445A (zh) | 多媒体资源搜索方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |