CN110909112B - 数据提取方法、装置、终端设备及介质 - Google Patents
数据提取方法、装置、终端设备及介质 Download PDFInfo
- Publication number
- CN110909112B CN110909112B CN201910992720.3A CN201910992720A CN110909112B CN 110909112 B CN110909112 B CN 110909112B CN 201910992720 A CN201910992720 A CN 201910992720A CN 110909112 B CN110909112 B CN 110909112B
- Authority
- CN
- China
- Prior art keywords
- data
- data item
- target reference
- document
- reference word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例适用于数据处理技术领域,提供了一种数据提取方法、装置、终端设备及介质,所述方法包括:获取纯文本格式的公告文档;将所述公告文档中的各个关键词替换为基准词;确定待提取的数据项,所述数据项包括数据项名称;识别与所述数据项名称相同的目标基准词,提取所述目标基准词对应的数据值;对所述数据项名称和所述数据值进行关联存储。本实施例通过对公告文档中的关键词进行标准化处理,可以实现对公告文档的快速解析,从而在按照需求进行数据提取时,也能够快速地定位至所需的数据项位置,并提取出与之对应的数据值,提高了数据提取的效率,节省了采编公告文档的时间。
Description
技术领域
本申请属于数据处理技术领域,特别是涉及一种数据提取方法、装置、终端设备及介质。
背景技术
目前,投资者获取上市公司经营情况等信息主要来源于上市公司公告。例如,反应上市公司经营状况的定期报告中的财务数据、反应上市公司资本整合情况的重大资产重组交易数据,等等。由于上市公司公告可能涉及各种不同业务类型的信息,人们想要从公告中找出自己需要的那部分信息,就必须对公告进行阅读、理解,从公告中找到自己想要的信息,或者通过对几份公告进行关联分析才能找到自己想要的信息。当机构或者专业人士希望研究上市公司经营情况、财务投资情况的时候,就必须人工阅读大量的公告文本,然后提取出有用的数据来支持相应的研究。
现有技术中,可以通过格式匹配等方式,依据某些特定类型的公告文档所固有的披露格式,从这些文档中提取一些关键数据。但简单地根据公告文档格式提取数据的方式准确率较低,一旦公告内容的组织顺序发生了变化,或者公告涉及到大篇幅的内容时,根据公告文档格式提取数据就会出现很多错误。
发明内容
有鉴于此,本申请实施例提供了一种数据提取方法、装置、终端设备及介质,以解决现有技术中通过格式匹配的方式提取公告文档中的数据时准确率较低的问题。
本申请实施例的第一方面提供了一种数据提取方法,包括:
获取纯文本格式的公告文档;
将所述公告文档中的各个关键词替换为基准词;
确定待提取的数据项,所述数据项包括数据项名称;
识别与所述数据项名称相同的目标基准词,提取所述目标基准词对应的数据值;
对所述数据项名称和所述数据值进行关联存储。
本申请实施例的第二方面提供了一种数据提取装置,包括:
获取模块,用于获取纯文本格式的公告文档;
替换模块,用于将所述公告文档中的各个关键词替换为基准词;
确定模块,用于确定待提取的数据项,所述数据项包括数据项名称;
提取模块,用于识别与所述数据项名称相同的目标基准词,提取所述目标基准词对应的数据值;
存储模块,用于对所述数据项名称和所述数据值进行关联存储。
本申请实施例的第三方面提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述数据提取方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述数据提取方法的步骤。
与现有技术相比,本申请实施例包括以下优点:
本申请实施例,通过获取纯文本格式的公告文档,并在将公告文档中的各个关键词替换为基准词后,可以针对待提取的数据项,首先识别与数据项名称相同的目标基准词,从而提取出目标基准词对应的数据值,然后对数据项名称和数据值进行关联存储。本实施例通过对公告文档中的关键词进行标准化处理,可以实现对公告文档的快速解析,从而在按照需求进行数据提取时,也能够快速地定位至所需的数据项位置,并提取出与之对应的数据值,提高了数据提取的效率,节省了采编公告文档的时间。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个实施例的一种数据提取方法的步骤流程示意图;
图2是本申请一个实施例的另一种数据提取方法的步骤流程示意图;
图3是本申请一个实施例的又一种数据提取方法的步骤流程示意图;
图4是本申请一个实施例的一种数据提取装置的示意图;
图5是本申请一个实施例的一种终端设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域技术人员应当清楚,在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
下面通过具体实施例来说明本申请的技术方案。
参照图1,示出了本申请一个实施例的一种数据提取方法的步骤流程示意图,具体可以包括如下步骤:
S101、获取纯文本格式的公告文档;
需要说明的是,本方法可以适用于终端设备。即,本实施例的执行主体可以是终端设备,通过终端设备对公告文档进行处理,提取出用户所需的关键数据。上述终端设备可以是具有数据处理能力的手机、平板电脑等电子设备,也可以是台式计算机等设备,本实施例对此不作限定。
在本实施例中,待处理的公告文档可以是纯文本格式的公告文档。通过对原始的公告文档进行去格式化处理,可以减少在后续的处理中,文档中的格式信息对数据处理和提取带来的误操作。
本实施例中的公告文档可以是上市公司发布的财务数据,也可以是其他组织、机构或公司所发布的包含数据内容的信息,如政府部门发布的规划方案、经济统计数据等等,本实施例对公告文档的具体类型亦不作限定。
S102、将所述公告文档中的各个关键词替换为基准词;
在本实施例中,公告文档中的关键词可以是指后续需要作统一处理的一些名词。通常,这类名词在不同的文档中可能使用不同的词语来表示,但其所表达的含义却是相同的。
以公告文档为上市公司的财务数据为例,不同公司所发布的数据中可能使用“股东”、“持股人”等词语,但这两个词语所表达的含义却是一致的。
因此,在对公告文档进行处理时,可以首先将这类能够用多个不同的词去表达同一个意思的关键词统一替换为某个特定的基准词。例如,将所有“持股人”替换为“股东”。
S103、确定待提取的数据项,所述数据项包括数据项名称;
待提取的数据项可以是指针对当前的公告文档进行处理时,所需要提取的数据。
例如,采编上市公司股东质押的数据,需要从公告中提取出披露的质押股东、质押股份数量、质押股份占股东持股比例等信息,这些信息即是待提取的数据项。
需要说明的是,数据项包括数据项名称。即,根据该数据项名称从公告文档中提取出这一名称对应的数据值。
例如,对于质押股份数量,质押股份数量本身即是待提取的数据项名称,而在公告文档中记录的具体的质押股份数量数值就是与质押股份数量这一数据项名称对应的数据值。
S104、识别与所述数据项名称相同的目标基准词,提取所述目标基准词对应的数据值;
在本实施例中,在对公告文档中的各个关键词进行替换后,在实际的数据提取时,应当按照替换后的基准词来进行。也就是说,针对某一待提取的数据项,需要首先在公告文档中识别出与该数据项名称相同的目标基准词。
例如,若待提取的数据项为KA渠道销售额,则首先应当在去格式化处理后的公告文档中找到“KA渠道销售额”这一目标基准词。
在找到目标基准词后,便可以将目标基准词对应的数据值提取出来。
需要说明的是,在根据目标基准词提取数据值时,还需要对公告文档中的句子语义进行分析,从而确定出与该目标基准词具有匹配关系的数据值所处的具体位置,从而才能准确地将数据值提取出来。
S105、对所述数据项名称和所述数据值进行关联存储。
在完成数据值的提取后,可以将数据项名称和对应的数据值进行格式化存储,以方便其他用户查找这些数据。
通常,针对一份公告文档,待提取的数据项可能包括多个。因此,在对提取出的数据值进行关联存储时,可以在每一个数据项对应的数据值被提取出来后,将该数据项和数据值存放在临时文件中,待完成全部数据项对应的数据值的提取后,统一将全部数据项和数据值存放至数据库中。
在本申请实施例中,通过获取纯文本格式的公告文档,并在将公告文档中的各个关键词替换为基准词后,可以针对待提取的数据项,首先识别与数据项名称相同的目标基准词,从而提取出目标基准词对应的数据值,然后对数据项名称和数据值进行关联存储。本实施例通过对公告文档中的关键词进行标准化处理,可以实现对公告文档的快速解析,从而在按照需求进行数据提取时,也能够快速地定位至所需的数据项位置,并提取出与之对应的数据值,提高了数据提取的效率,节省了采编公告文档的时间。
参照图2,示出了本申请一个实施例的另一种数据提取方法的步骤流程示意图,具体可以包括如下步骤:
S201、获取待处理的公告文档,将所述公告文档转换为纯文本格式;对所述纯文本格式的公告文档中的计数方式进行统一;
需要说明的是,本实施例的执行主体可以是终端设备,通过终端设备对公告文档进行处理,提取出用户所需的关键数据。
通常,公告文档是以word或pdf等文件形式存在的。因此,在本实施例执行提取公告文档中关键数据的任务时,可以首先将word或pdf等格式的文档进行去格式化处理,将其转换为纯文本格式的文档。
另一方面,不同的公告文档采用的计数方式可能是不同的。在对公告文档进行去格式化处理后,还可以对其中的计数方式进行统一。
例如,某些文档中的数值可能包括千位分隔符,而在另一写文档中则可能不包括该分隔符;或者,在某些文档中,对于整数型数值则直接记录该数值不包括小数点部分,而在另一些文档中,即使是整数值,也可能在记录时被精确到百分位。因此,对于这一类的不同的计数方式,在进行文档的去格式化后,可以将其进行统一。
S202、对所述公告文档中的文本内容进行分词,识别分词后获得的各个词语的词性信息;根据所述各个词语的词性信息,确定所述公告文档中的多个关键词;
在本实施例中,公告文档中的关键词可以是指后续需要作统一处理的一些名词。通常,这类名词在不同的文档中可能使用不同的词语来表示,但其所表达的含义却是相同的。
因此,在处理时,可以对公告文档中的全部词语进行分词,然后标记出每个词语的词性,然后针对被标记为名词的各个词语进行判断,找出存在多词一意的关键词。
S203、采用预设数据库中的基准词对各个关键词进行替换;
在本实施例中,可以针对不同的应用场景分别配置一数据库,用于存储基准词和与之关联的关键词。
在具体实现中,可以针对上市公司公告,预先采集大量的公告文档,然后通过对公告文档中的名词进行分析,形成针对上市公司公告的基准词数据库。在该数据库中,可以存储有多个常用的可能存在多词一意的基准词以及与该基准词相关联的至少一个关键词。
例如,以“股东”为基准词,与之关联的关键词可能包括“持股人”。当然,如果以“持股人”作为基准词,则“股东”即是该基准词关联的关键词。
在本实施例中,针对各个关键词,可以采用数据库中的基准词进行替换,以使整个公告文档的用词保持统一,也便于后续对数据项的识别。
在对关键词进行替换时,可以针对公告文档中的任一关键词,在上述预设数据库中进行查找,确认预设数据库是否包含该关键词,若预设数据库包含该关键词,则表示将公告文档中的该关键词应当被替换为关联的基准词,则可以按照数据库中记录的基准词进行替换。
需要说明的是,数据库中存储的关键词和基准词具有相应的属性信息,该属性信息可以用于表示某个词语是关键词还是基准词。因此,在对某一词语进行查找时,如果数据库中包含该词语,且该词语的属性信息为关键词,则可以将公告文档中的该词语替换为关联的基准词。若数据库中包含该词语,但该词语的属性信息为基准词,则表示公告文档中已经是按照一定要求规范用词的,则无需对该词语进行替换。
S204、确定待提取的数据项,所述数据项包括数据项名称以及与所述数据项名称匹配的对象名称;
待提取的数据项可以是指针对当前的公告文档进行处理时,所需要提取的数据。
通常,针对一份公告文档,待提取的数据项可能包括多个。因此,待提取的数据项可以以一份模板文件的形式进行记录,该文件中可以记录有多个不同的数据项名称,后续的数据提取即是需要将公告文档中存在的多个数据项对应的数据值均提取出来。
作为本申请的一种示例,待提取的数据项可以包括数据项名称以及与数据项名称匹配的对象名称。
例如,若希望从公告文档中提取出xx公司a产品KA渠道的销售额,则相应的数据项可以包括数据项名称“销售额”及匹配的对象名称“a产品”。
S205、识别与所述数据项名称相同的目标基准词,确定在所述目标基准词所在句子中是否包含所述对象名称;
在本实施例中,在对包含有对象名称的数据项进行提取时,可以首先从公告文档中找到与数据项名称相同的目标基准词。在上述示例中,即是需要首先找到“销售额”这一目标基准词。
然后通过对句子的语义分析,判断目标基准词所在的句子中是否包含该对象名称。例如,需要判断公告文档中包含“销售额”的这个句子中是否包含“a产品”这一对象名称。
S206、从所述句子中提取与所述目标基准词对应的数据值;
若目标基准词所在句子包含该对象名称,则表示这个句子描述的正式这一对象名称的某一数值。此时,可以根据句子内各个词语之间的依存关系,将目标基准词对应的数据值提取出来。
当然,如果目标基准词所在句子不包含该对象名称,则表示当前识别出的句子中并没有记录该对象名称的数据值,可以继续查找其他句子。如果整份公告文档中均没有既包含与数据项名称相同的目标基准词,也没有包含该对象名称的句子时,可以表示公告文档中没有用户所需的数据,无法从当前这份公告文档中提取出所需的数据值。
S207、对所述数据项名称和所述数据值进行关联存储。
在完成数据值的提取后,可以将数据项名称和对应的数据值进行格式化存储,方便其他用户查找。
在本实施例中,通过设定包含对象名称的数据项,可以在对公告文档中各个句子进行语义分析的基础上,依据各个词语之间的依存关系,准确地提取出满足一定要求或条件的数据值,提高了数据提取的效率。
参照图3,示出了本申请一个实施例的又一种数据提取方法的步骤流程示意图,具体可以包括如下步骤:
S301、获取待处理的公告文档,将所述公告文档转换为纯文本格式;对所述纯文本格式的公告文档中的计数方式进行统一;
S302、对所述公告文档中的文本内容进行分词,识别分词后获得的各个词语的词性信息;根据所述各个词语的词性信息,确定所述公告文档中的多个关键词;
S303、采用预设数据库中的基准词对各个关键词进行替换;
由于本实施例步骤S301-S303与前述实施例中步骤S201-S203类似,可以相互参阅,本实施例对此不再赘述。
S304、确定待提取的数据项,所述数据项包括数据项名称以及与所述数据项名称关联的数据计算式;
作为本申请的一种示例,待提取的数据项可以包括数据项名称以及与数据项名称关联的数据计算式。通过设定与数据项名称关联的数据计算式,可以从公告文档中提取出需要经过二次处理的数据。
例如,若要提取质押股东、质押股份数量、质押股份占股东持股比例、股东持股数量等数据,如果公告文档中没有股东持股数量这一数据项,则可以将该数据项设定为基于股东名称、质押数量、质押股份占持股比例等数据的一个数据计算式,通过在公告文档中提取出股东名称、质押数量、质押股份占持股比例等数据,就能够按照该数据计算式计算出股东持股数量。
S305、确定所述数据计算式中包括的多个目标基准词;
S306、分别提取所述多个目标基准词对应的中间数据值;
与单一数据项的提取类似,在针对需要经二次计算才能获得的数据项时,可以首先确定该数据计算式中包括的多个目标基准词,如上述示例中的股东名称、质押数量、质押股份占持股比例等目标基准词。
然后逐一提取出这些目标基准词对应的数据值作为中间数据值。
S307、按照所述数据计算式,对所述多个目标基准词对应的中间数据值进行计算,得到目标数据值;
当提取出数据计算式中所涉及的各个数据值后,可以按照数据计算式进行计算,得到待提取的数据项对应的目标数据值。
S308、将所述数据项名称、所述多个目标基准词、所述多个目标基准词对应的中间数据值,以及所述数据项名称对应的目标数据值进行关联存储。
对于需要二次计算才能获得的目标数据值,在进行存储时除了存储该目标数据值本身外,还可以将数据计算式中涉及到的目标基准词以及与目标基准词对应的中间数据值一并进行存储,方便后续用户通过原始数值判断二次处理过程中是否发生计算错误。
在本实施例中,通过设定包含数据计算式的数据项,不仅可以从公告文档中提取出原始的数据项和数据值,还能够基于二次计算,从公告文档中提取出其他类型的关联数据,有助于提高数据使用的广泛性。
需要说明的是,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
参照图4,示出了本申请一个实施例的一种数据提取装置的示意图,具体可以包括如下模块:
获取模块401,用于获取纯文本格式的公告文档;
替换模块402,用于将所述公告文档中的各个关键词替换为基准词;
确定模块403,用于确定待提取的数据项,所述数据项包括数据项名称;
提取模块404,用于识别与所述数据项名称相同的目标基准词,提取所述目标基准词对应的数据值;
存储模块405,用于对所述数据项名称和所述数据值进行关联存储。
在本申请实施例中,所述获取纯文本格式的公告文档的步骤包括:
获取待处理的公告文档,将所述公告文档转换为纯文本格式;
对所述纯文本格式的公告文档中的计数方式进行统一。
在本申请实施例中,所述替换模块402具体可以包括如下子模块:
词性信息识别子模块,用于对所述公告文档中的文本内容进行分词,识别分词后获得的各个词语的词性信息;
关键词确定子模块,用于根据所述各个词语的词性信息,确定所述公告文档中的多个关键词;
关键词替换子模块,用于采用预设数据库中的基准词对各个关键词进行替换。
在本申请实施例中,所述关键词替换子模块具体可以包括如下单元:
关键词查找单元,用于针对所述公告文档中的任一关键词,在所述预设数据库中进行查找,确认所述预设数据库是否包含所述关键词,所述预设数据库中存储有多个基准词以及与任一基准词相关联的至少一个关键词;
关键词替换单元,用于若所述预设数据库包含所述关键词,则将所述公告文档中的所述关键词替换为关联的基准词。
在本申请实施例中,所述数据项还包括与所述数据项名称匹配的对象名称,所述提取模块404具体可以包括如下子模块:
对象名称确定子模块,用于识别与所述数据项名称相同的目标基准词,确定在所述目标基准词所在句子中是否包含所述对象名称;
数据值提取子模块,用于若所述目标基准词所在句子包含所述对象名称,则从所述句子中提取与所述目标基准词对应的数据值。
在本申请实施例中,所述数据项还包括与所述数据项名称关联的数据计算式,所述提取模块404还可以包括如下子模块:
目标基准词确定子模块,用于确定所述数据计算式中包括的多个目标基准词;
中间数据值提取子模块,用于分别提取所述多个目标基准词对应的中间数据值;
目标数据值计算子模块,用于按照所述数据计算式,对所述多个目标基准词对应的中间数据值进行计算,得到目标数据值。
在本申请实施例中,所述存储模块405具体可以包括如下子模块:
数据关联存储子模块,用于将所述数据项名称、所述多个目标基准词、所述多个目标基准词对应的数据值,以及所述数据项名称对应的所述目标数据值进行关联存储。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述得比较简单,相关之处参见方法实施例部分的说明即可。
参照图5,示出了本申请一个实施例的一种终端设备的示意图。如图5所示,本实施例的终端设备500包括:处理器510、存储器520以及存储在所述存储器520中并可在所述处理器510上运行的计算机程序521。所述处理器510执行所述计算机程序521时实现上述数据提取方法各个实施例中的步骤,例如图1所示的步骤S101至S105。或者,所述处理器510执行所述计算机程序521时实现上述各装置实施例中各模块/单元的功能,例如图4所示模块401至405的功能。
示例性的,所述计算机程序521可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器520中,并由所述处理器510执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段可以用于描述所述计算机程序521在所述终端设备500中的执行过程。例如,所述计算机程序521可以被分割成获取模块、替换模块、确定模块、提取模块和存储模块,各模块具体功能如下:
获取模块,用于获取纯文本格式的公告文档;
替换模块,用于将所述公告文档中的各个关键词替换为基准词;
确定模块,用于确定待提取的数据项,所述数据项包括数据项名称;
提取模块,用于识别与所述数据项名称相同的目标基准词,提取所述目标基准词对应的数据值;
存储模块,用于对所述数据项名称和所述数据值进行关联存储。
所述终端设备500可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备500可包括,但不仅限于,处理器510、存储器520。本领域技术人员可以理解,图5仅仅是终端设备500的一种示例,并不构成对终端设备500的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端设备500还可以包括输入输出设备、网络接入设备、总线等。
所述处理器510可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器520可以是所述终端设备500的内部存储单元,例如终端设备500的硬盘或内存。所述存储器520也可以是所述终端设备500的外部存储设备,例如所述终端设备500上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等等。进一步地,所述存储器520还可以既包括所述终端设备500的内部存储单元也包括外部存储设备。所述存储器520用于存储所述计算机程序521以及所述终端设备500所需的其他程序和数据。所述存储器520还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制。尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (8)
1.一种数据提取方法,其特征在于,包括:
获取纯文本格式的公告文档;
将所述公告文档中的各个关键词替换为基准词;所述关键词为所述公告文档中存在多词一意的名词;
确定待提取的数据项,所述数据项包括数据项名称以及与所述数据项名称关联的数据计算式;
识别与所述数据项名称相同的目标基准词,提取所述目标基准词对应的数据值;具体包括:确定所述数据计算式中包括的多个目标基准词;分别提取所述多个目标基准词对应的中间数据值;按照所述数据计算式,对所述多个目标基准词对应的中间数据值进行计算,得到目标数据值;
对所述数据项名称和所述数据值进行关联存储;具体包括:将所述数据项名称、所述多个目标基准词、所述多个目标基准词对应的中间数据值,以及所述数据项名称对应的目标数据值进行关联存储。
2.根据权利要求1所述的方法,其特征在于,所述获取纯文本格式的公告文档的步骤包括:
获取待处理的公告文档,将所述公告文档转换为纯文本格式;
对所述纯文本格式的公告文档中的计数方式进行统一。
3.根据权利要求1所述的方法,其特征在于,所述将所述公告文档中的各个关键词替换为基准词的步骤包括:
对所述公告文档中的文本内容进行分词,识别分词后获得的各个词语的词性信息;
根据所述各个词语的词性信息,确定所述公告文档中的多个关键词;
采用预设数据库中的基准词对各个关键词进行替换。
4.根据权利要求3所述的方法,其特征在于,所述采用预设数据库中的基准词对各个关键词进行替换的步骤包括:
针对所述公告文档中的任一关键词,在所述预设数据库中进行查找,确认所述预设数据库是否包含所述关键词,所述预设数据库中存储有多个基准词以及与任一基准词相关联的至少一个关键词;
若所述预设数据库包含所述关键词,则将所述公告文档中的所述关键词替换为关联的基准词。
5.根据权利要求1所述的方法,其特征在于,所述数据项还包括与所述数据项名称匹配的对象名称,所述识别与所述数据项名称相同的目标基准词,提取所述目标基准词对应的数据值的步骤包括:
识别与所述数据项名称相同的目标基准词,确定在所述目标基准词所在句子中是否包含所述对象名称;
若所述目标基准词所在句子包含所述对象名称,则从所述句子中提取与所述目标基准词对应的数据值。
6.一种数据提取装置,其特征在于,包括:
获取模块,用于获取纯文本格式的公告文档;
替换模块,用于将所述公告文档中的各个关键词替换为基准词;所述关键词为所述公告文档中存在多词一意的名词;
确定模块,用于确定待提取的数据项,所述数据项包括数据项名称以及与所述数据项名称关联的数据计算式;
提取模块,用于识别与所述数据项名称相同的目标基准词,提取所述目标基准词对应的数据值;具体包括:确定所述数据计算式中包括的多个目标基准词;分别提取所述多个目标基准词对应的中间数据值;按照所述数据计算式,对所述多个目标基准词对应的中间数据值进行计算,得到目标数据值;
存储模块,用于对所述数据项名称和所述数据值进行关联存储;具体包括:将所述数据项名称、所述多个目标基准词、所述多个目标基准词对应的中间数据值,以及所述数据项名称对应的目标数据值进行关联存储。
7.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述数据提取方法的步骤。
8.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述数据提取方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910992720.3A CN110909112B (zh) | 2019-10-18 | 2019-10-18 | 数据提取方法、装置、终端设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910992720.3A CN110909112B (zh) | 2019-10-18 | 2019-10-18 | 数据提取方法、装置、终端设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110909112A CN110909112A (zh) | 2020-03-24 |
CN110909112B true CN110909112B (zh) | 2022-08-26 |
Family
ID=69815723
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910992720.3A Active CN110909112B (zh) | 2019-10-18 | 2019-10-18 | 数据提取方法、装置、终端设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110909112B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112214987B (zh) * | 2020-09-08 | 2023-02-03 | 深圳价值在线信息科技股份有限公司 | 一种信息提取方法、提取装置、终端设备及可读存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10146751B1 (en) * | 2014-12-31 | 2018-12-04 | Guangsheng Zhang | Methods for information extraction, search, and structured representation of text data |
CN109933796A (zh) * | 2019-03-19 | 2019-06-25 | 厦门商集网络科技有限责任公司 | 一种公告文本关键信息提取方法及设备 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10740372B2 (en) * | 2015-04-02 | 2020-08-11 | Canon Information And Imaging Solutions, Inc. | System and method for extracting data from a non-structured document |
CN106776822B (zh) * | 2016-11-25 | 2018-05-08 | 国网山东省电力公司 | 集团企业报表数据提取方法及系统 |
CN109062874B (zh) * | 2018-06-12 | 2022-03-04 | 平安科技(深圳)有限公司 | 财政数据的获取方法、终端设备及介质 |
CN109117479B (zh) * | 2018-08-13 | 2022-07-22 | 数据地平线(广州)科技有限公司 | 一种金融文档智能核查方法、装置及存储介质 |
CN109543985A (zh) * | 2018-11-15 | 2019-03-29 | 李志东 | 企业风险评估方法、系统及介质 |
CN109800303A (zh) * | 2018-12-28 | 2019-05-24 | 深圳市世强元件网络有限公司 | 一种文档信息提取方法、存储介质及终端 |
-
2019
- 2019-10-18 CN CN201910992720.3A patent/CN110909112B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10146751B1 (en) * | 2014-12-31 | 2018-12-04 | Guangsheng Zhang | Methods for information extraction, search, and structured representation of text data |
CN109933796A (zh) * | 2019-03-19 | 2019-06-25 | 厦门商集网络科技有限责任公司 | 一种公告文本关键信息提取方法及设备 |
Non-Patent Citations (1)
Title |
---|
病理镜检文本数据的结构化处理方法;陈德华等;《计算机与现代化》;20160415(第04期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110909112A (zh) | 2020-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109062874B (zh) | 财政数据的获取方法、终端设备及介质 | |
US8140468B2 (en) | Systems and methods to extract data automatically from a composite electronic document | |
CN110851598B (zh) | 文本分类方法、装置、终端设备及存储介质 | |
US10163063B2 (en) | Automatically mining patterns for rule based data standardization systems | |
RU2613846C2 (ru) | Метод и система извлечения данных из изображений слабоструктурированных документов | |
CN110909123B (zh) | 一种数据提取方法、装置、终端设备及存储介质 | |
CN106528511B (zh) | 表单的分析方法和装置 | |
CN109992752B (zh) | 合同文件的标签标记方法、装置、计算机装置及存储介质 | |
CN112199588A (zh) | 舆情文本筛选方法及装置 | |
CN111553556A (zh) | 业务数据分析方法、装置、计算机设备及存储介质 | |
CN112613285A (zh) | 一种基于分区域处理的招标文件审查分析方法 | |
CN115392235A (zh) | 字符匹配方法、装置、电子设备及可读存储介质 | |
CN110909112B (zh) | 数据提取方法、装置、终端设备及介质 | |
US20210390488A1 (en) | Citation and policy based document classification | |
CN108073678B (zh) | 应用于大数据分析中的文档解析处理方法、系统及装置 | |
CN110287338B (zh) | 行业热点确定方法、装置、设备和介质 | |
CN110377891B (zh) | 事件分析文章的生成方法、装置、设备及计算机可读存储介质 | |
CN110941952A (zh) | 一种完善审计分析模型的方法及装置 | |
US20140201193A1 (en) | Intellectual property asset information retrieval system | |
CN114495138A (zh) | 一种智能文档识别与特征提取方法、装置平台和存储介质 | |
CN113609271A (zh) | 基于知识图谱的业务处理方法、装置、设备及存储介质 | |
CN113032515A (zh) | 基于多数据源生成图表的方法、系统、设备及存储介质 | |
CN111428497A (zh) | 一种自动抽取出资信息的方法、装置及设备 | |
CN110909538A (zh) | 问答内容的识别方法、装置、终端设备及介质 | |
CN111460152A (zh) | 一种公告文本内容的提取方法、提取装置以及提取设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |