CN111209411A - 一种文档分析的方法及装置 - Google Patents
一种文档分析的方法及装置 Download PDFInfo
- Publication number
- CN111209411A CN111209411A CN202010006078.XA CN202010006078A CN111209411A CN 111209411 A CN111209411 A CN 111209411A CN 202010006078 A CN202010006078 A CN 202010006078A CN 111209411 A CN111209411 A CN 111209411A
- Authority
- CN
- China
- Prior art keywords
- document
- analyzed
- entities
- entity
- knowledge graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000013507 mapping Methods 0.000 claims abstract description 24
- 238000004590 computer program Methods 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Abstract
本发明提供了一种文档分析的方法及装置，其中，该方法通过确定待分析文档所属的业务类型，依据所述待分析文档所属的业务类型映射的实体类型集合，提取所述待分析文档中包含的实体，依据实体在所述待分析文档中出现的位置以及实体与实体之间的句法结构，获取实体与实体之间的关系，以实体为节点，实体之间的关系为边，构建知识图谱以及所述知识图谱与所述待分析文档的映射关系，存储所述待分析文档、所述知识图谱与所述映射关系。这样，后续在查询锁定文档后，通过映射关系，将该文档映射的知识图谱进行展示，从而使得查询者通过浏览该文档映射的知识图谱，对照分析锁定文档，可以提高文档分析的效率。
Description
技术领域
本发明涉及数据处理技术领域，具体而言，涉及一种文档分析的方法及装置。
背景技术
随着人类社会进入大数据时代，如何快捷有效地获取数据信息，已成为当前各业界迫切需要解决的问题。尤其对于金融行业、司法部门、公安机关等具有海量信息的行业领域来说，在通过查询关键词，从存储的文档库中，锁定包含该关键词的文档后，如何快速从锁定的文档中了解其核心内容，从而确定该文档是否是自己所需的文档，是一个迫切需要解决的问题。
目前的方法，在锁定文档后，需要查询者通过浏览锁定文档的方式，自行提炼整理锁定文档中的核心内容，确定该文档是否是所需的文档，使得文档分析效率较低。
发明内容
有鉴于此，本发明的目的在于提供文档分析的方法及装置，以提升文档的分析效率。
第一方面，本发明实施例提供了一种文档分析的方法，所述方法包括:
确定待分析文档所属的业务类型，依据所述待分析文档所属的业务类型映射的实体类型集合，提取所述待分析文档中包含的实体；
依据实体在所述待分析文档中出现的位置以及实体与实体之间的句法结构，获取实体与实体之间的关系；
以实体为节点，实体之间的关系为边，构建知识图谱以及所述知识图谱与所述待分析文档的映射关系；
存储所述待分析文档、所述知识图谱与所述映射关系。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述确定待分析文档所属的业务类型，包括：
获取上传所述待分析文档的用户的标签，依据所述用户的标签匹配预设的业务类型库，获取所述待分析文档所属的业务类型；或，
提取所述待分析文档中的关键词，分别与预设的业务类型库中的每一业务类型包含的业务关键词进行匹配，依据匹配结果确定所述待分析文档所属的业务类型。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述提取所述待分析文档中包含的实体，包括：
针对所述实体类型集合中的每一实体类型，从所述待分析文档中，提取与所述实体类型相匹配的实体。
结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述从所述待分析文档中，提取与所述实体类型相匹配的实体，包括：
获取待分析文档中的文本信息，对所述文本信息进行分词；
基于分词结果，选取与所述实体类型相匹配的词或词组，得到所述待分析文档中包含的实体。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述依据实体在所述待分析文档中出现的位置以及实体与实体之间的句法结构，获取实体与实体之间的关系，包括：
获取提取出的所述实体在所述待分析文档中分别出现的位置；
基于获取的位置，计算两实体之间的一个或多个距离；
若两实体之间的距离小于预设的距离阈值，依据小于预设的距离阈值内的该两实体之间的文本信息对应的句法结构，获取该两实体之间的关系。
结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述依据小于预设的距离阈值内的该两实体之间的文本信息对应的句法结构，获取该两实体之间的关系，包括：
依据标点对所述两实体之间的文本信息进行拆分，得到一个或多个拆分句；
针对每一拆分句，依据以谓语为核心的句法结构，对该拆分句进行依存句法分析，得到该拆分句中所述两实体之间的关系；
合并各拆分句中所述两实体之间的关系，得到所述两实体之间的关系。
结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述方法还包括：
接收文档查询请求，依据所述文档查询请求中包含的查询关键词，获取查询文档；
依据所述映射关系，获取所述查询文档映射的知识图谱；
展示所述查询文档以及获取的知识图谱。
第二方面，本发明实施例还提供了一种文档分析的装置，所述装置包括：
实体提取模块，用于确定待分析文档所属的业务类型，依据所述待分析文档所属的业务类型映射的实体类型集合，提取所述待分析文档中包含的实体；
实体关系提取模块，用于依据实体在所述待分析文档中出现的位置以及实体与实体之间的句法结构，获取实体与实体之间的关系；
知识图谱构建模块，用于以实体为节点，实体之间的关系为边，构建知识图谱以及所述知识图谱与所述待分析文档的映射关系；
信息存储模块，用于存储所述待分析文档、所述知识图谱与所述映射关系。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述文档分析的方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述文档分析的方法的步骤。
本发明实施例提供的存储文档的方法及装置，通过确定待分析文档所属的业务类型，依据所述待分析文档所属的业务类型映射的实体类型集合，提取所述待分析文档中包含的实体，依据实体在所述待分析文档中出现的位置以及实体与实体之间的句法结构，获取实体与实体之间的关系，以实体为节点，实体之间的关系为边，构建知识图谱以及所述知识图谱与所述待分析文档的映射关系，存储所述待分析文档、所述知识图谱与所述映射关系。这样，后续在查询锁定文档后，通过映射关系，将该文档映射的知识图谱进行展示，从而使得查询者通过浏览该文档映射的知识图谱，能够快速确定该文档是否是所需的文档，并依据所述知识图谱对照分析锁定文档，有效提升了文档分析的效率。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例所提供的文档分析的方法流程示意图；
图2示出了本发明实施例所提供的提取所述待分析文档中包含的实体的方法流程示意图；
图3示出了本发明实施例所提供的文档分析的装置结构示意图；
图4为本申请实施例提供的一种计算机设备400的结构示意图。
元件符号说明：301-实体提取模块；302-实体关系提取模块；303-知识图谱构建模块；304-信息存储模块；400-计算机设备；401-存储器；402-处理器。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
考虑到公安、司法部门在处理案件卷宗时，由于案件卷宗所包含的文本信息具有保密性及其信息特有的繁琐性，使得公安、司法部门在进行案件卷宗的文档分析时，很难快速提取案件关键信息和理清案件线索。基于此，本申请实施例提供了一种文档分析的方法及装置，下面通过实施例进行描述。
为便于对本实施例进行理解，首先对本申请实施例所公开的一种文档分析的方法进行详细介绍。
实施例一
图1示出了本发明实施例所提供的存储文档的方法流程示意图，该方法包括步骤S101-S104；具体的：
S101，确定待分析文档所属的业务类型，依据所述待分析文档所属的业务类型映射的实体类型集合，提取所述待分析文档中包含的实体。
本申请实施例中，业务类型可以为司法卷宗、金融交易等，在预设由业务类型组成的业务类型库时，每种业务类型都对应的预设一个包含业务关键词的实体类型集合。
本申请实施例中，作为一可选实施例，可以通过获取上传所述待分析文档的用户的标签，依据所述用户的标签匹配预设的业务类型库，获取所述待分析文档所属的业务类型。
示例性的说明，例如，获取到上传所述待分析文档的用户的标签为司法机构，依据所述用户的标签匹配预设的业务类型库中各业务类型映射的实体类型集合，获取匹配度最高的业务类型为待分析文档所属的业务类型，例如，若匹配度最高的业务类型为司法卷宗，则该待分析文档所属的业务类型为司法卷宗。
本申请实施例中，作为另一可选实施例，还可以通过提取所述待分析文档中的关键词，分别与预设的业务类型库中的每一业务类型包含的业务关键词进行匹配，依据匹配结果确定所述待分析文档所属的业务类型。
示例性的说明，例如，根据提取到的所述待分析文档中的关键词“嫌疑人”，将该关键词分别与预设的业务类型库中的每一业务类型包含的业务关键词进行匹配，得到该关键词与各业务类型的匹配度，若该关键词与司法卷宗的匹配度最高，则确定所述待分析文档所属的业务类型为司法卷宗。
这样，作为一可选实施例，确定待分析文档所属的业务类型包括：
获取上传所述待分析文档的用户的标签，依据所述用户的标签匹配预设的业务类型库，获取所述待分析文档所属的业务类型；或，
提取所述待分析文档中的关键词，分别与预设的业务类型库中的每一业务类型包含的业务关键词进行匹配，依据匹配结果确定所述待分析文档所属的业务类型。
本申请实施例中，作为一可选实施例，提取所述待分析文档中包含的实体包括：
针对所述实体类型集合中的每一实体类型，从所述待分析文档中，提取与所述实体类型相匹配的实体。
示例性的说明，例如，在确定所述待分析文档所属的业务类型为司法卷宗之后，依据司法卷宗映射的实体类型集合包括的：司法机构、嫌疑人、姓名、日期、地点、身份证号码、车牌号码等实体类型，针对所述实体类型集合中的每一实体类型，从所述待分析文档中，提取与所述实体类型相匹配的实体。
本申请实施例中，作为一可选实施例，所述从所述待分析文档中，提取与所述实体类型相匹配的实体，包括：
获取待分析文档中的文本信息，对所述文本信息进行分词；
基于分词结果，选取与所述实体类型相匹配的词或词组，得到所述待分析文档中包含的实体。
S102，依据实体在所述待分析文档中出现的位置以及实体与实体之间的句法结构，获取实体与实体之间的关系。
本申请实施例中，作为一可选实施例，实体在所述待分析文档中出现的位置可通过相对文档起点的距离特征值来表征，例如，可以将提取出的所述实体在所述待分析文档中出现的位置与文档起点之间所包含的字符的个数作为所述实体在所述待分析文档中出现位置的距离特征值。
示例性的说明，例如，实体A在所述待分析文档中出现的位置与文档起点之间所包含的字符的个数为20个字符，则实体A在所述待分析文档中出现位置的距离特征值为20。
本申请实施例中，作为一可选实施例，依据实体在所述待分析文档中出现的位置以及实体与实体之间的句法结构，获取实体与实体之间的关系，包括：
获取提取出的所述实体在所述待分析文档中分别出现的位置；
基于获取的位置，计算两实体之间的一个或多个距离；
若两实体之间的距离小于预设的距离阈值，依据小于预设的距离阈值内的该两实体之间的文本信息对应的句法结构，获取该两实体之间的关系。
本申请实施例中，作为一可选实施例，可以基于所述实体在所述待分析文档中出现位置的距离特征值，规定两实体之间的距离为两个实体在所述待分析文档中出现位置的距离特征值之差的绝对值，计算两实体之间的一个或多个距离，若两实体之间的距离小于预设的距离阈值，则依据小于预设的距离阈值内的该两实体之间的文本信息对应的句法结构，获取该两实体之间的关系。
示例性的说明，例如，实体A在所述待分析文档中出现位置的距离特征值为20，实体B在所述待分析文档中出现位置的距离特征值分别为27和40，实体C在所述待分析文档中出现位置的距离特征值为34和42，预设的距离阈值为10，实体A与实体B之间的距离分别为7和20，实体A与实体C之间的距离为14和22，实体B与实体C之间的距离分别为7、15、6、2，由于实体A与实体B之间的最小距离、实体B与实体C之间的最小距离小于预设的距离阈值，实体A与实体C之间的最小距离大于预设的距离阈值，所以依据实体A与实体B之间、实体B与实体C之间文本信息对应的句法结构，获取实体A与实体B之间的关系以及实体B与实体C之间的关系。
本申请实施例中，所述依据小于预设的距离阈值内的该两实体之间的文本信息对应的句法结构，获取该两实体之间的关系，包括：
依据标点对所述两实体之间的文本信息进行拆分，得到一个或多个拆分句；
针对每一拆分句，依据以谓语为核心的句法结构，对该拆分句进行依存句法分析，得到该拆分句中所述两实体之间的关系；
合并各拆分句中所述两实体之间的关系，得到所述两实体之间的关系。
示例性的说明，例如，在获取实体A与实体B之间的关系时，针对每一含有实体A与实体B的拆分句，依据以谓语为核心的句法结构，作为一可选实施例，可以利用自然语言处理技术对该拆分句进行依存句法分析，得到该拆分句中实体A与实体B之间的关系，合并各拆分句中实体A与实体B之间相同的关系，得到实体A与实体B之间的关系。
S103，以实体为节点，实体之间的关系为边，构建知识图谱以及所述知识图谱与所述待分析文档的映射关系。
本申请实施例中，以所述提取的所述待分析文档中包含的实体为节点，实体与实体之间的关系为边，作为一可选实施例，可以使用自然语言处理技术构建知识图谱；对所述待分析文档以及为该文档所构建的知识图谱生成对应的共用存储标识，基于该共用存储标识，使得存储后的所述待分析文档与存储后的所述知识图谱形成映射关系。
示例性的说明，例如，提取出待分析文档C中包含的实体A与实体B，进一步，提取实体A与实体B之间的关系为D，则以实体A与实体B为节点，关系D为边，使用自然语言处理技术构建知识图谱F，在后续存储文档C与知识图谱F时，对文档C与知识图谱F生成共用的存储标识G，所述存储标识G即为文档C与知识图谱F之间的映射关系。
S104，存储所述待分析文档、所述知识图谱与所述映射关系。
本申请实施例中，作为一可选实施例，可以为所述待分析文档以及所述知识图谱设置共用存储标识，基于所述共用存储标识，在接收到文档查询请求时，依据所述文档查询请求中包含的查询关键词，获取查询文档，依据设置有共用存储标识的所述映射关系，获取与所述查询文档具有同一共用存储标识的知识图谱，展示所述查询文档以及获取的知识图谱。
示例性的说明，例如，在接收到文档查询请求时，依据所述文档查询请求中包含的查询关键词，获取查询文档，在展示所述查询文档以及获取的知识图谱时，可以使所述查询文档中的高亮部分对应知识图谱中的实体节点，以使用户根据知识图谱对照分析文档信息，作为一可选实施例，若用户根据自身理解认为所述知识图谱存在细节错误，用户可以对知识图谱进行手动修正，在存储时，修正后的知识图谱与所述查询文档的所述映射关系保持不变。
实施例二
图2示出了本发明实施例所提供的提取所述待分析文档中包含的实体的方法流程示意图，该方法包括步骤S201-S203；具体的：
S201，获取待分析文档中的文本信息，对获取到的所述文本信息进行分词以及词性标记，得到待分析文档中词的序列。
本申请实施例中，获取待分析文档中的文本信息，包括：
基于待分析文档的格式，对待分析文档进行格式转换，获取待分析文档中的文本信息。
本申请实施例中，作为一可选实施例，可以基于分词算法，调用现有词库对所述待分析文档中的文本信息进行分词以及词性标记，得到待分析文档中的词的序列。
S202，依据预存的实体类型识别规则信息库，识别所述待分析文档中词的序列中的词或词组所属的实体类型。
本申请实施例中，作为一可选实施例，以词的词性标记作为序列特征，依据预存的实体类型识别规则信息库，利用CRF算法识别出所述待分析文档中词的序列中符合预存的实体类型识别规则信息库的词或词组。
本申请实施例中，作为一可选实施例，预存的实体类型识别规则信息库中的实体类型识别规则信息可以为从词的字面形式或是相邻词的组合中可以识别出该词或词组所属实体类型的信息。例如，词或词组的末尾字符是省、市、县，则将该词或词组的实体识别为地点；词或词组内字符包含年、月、日，则将该词或词组的实体识别为时间。
示例性的说明，例如，若所述词的序列中出现“北京市”，则可将“北京市”所属的实体类型识别为“地点”；若所述词的序列中出现相邻的词：“方正”“科技”“集团”，则可将词组“方正科技集团”所属的实体类型识别为“企业名称”。
进一步的，作为一可选实施例，还可以利用LSTM-CRF算法将分词后的所述待分析文档中的词提前用word2vec转换成词向量，得到待分析文档中词的词向量序列，以相邻的词向量作为序列特征，依据预存的实体类型识别规则信息库，利用CRF算法识别出所述待分析文档中词的词向量序列中符合预存的实体类型识别规则信息库的词或词组。
S203，与图1所示的S101过程一致，在此不再赘述。
实施例三
本申请实施例提供了一种文档分析的装置，参见图3所示的是文档分析的装置结构示意图，具体的：
实体提取模块301，用于确定待分析文档所属的业务类型，依据所述待分析文档所属的业务类型映射的实体类型集合，提取所述待分析文档中包含的实体；
本申请实施例中，作为一可选实施例，可以获取上传所述待分析文档的用户的标签，依据所述用户的标签匹配预设的业务类型库，确定所述待分析文档所属的业务类型。作为另一可选实施例，也可以提取所述待分析文档中的关键词，分别与预设的业务类型库中的每一业务类型包含的业务关键词进行匹配，依据匹配结果确定所述待分析文档所属的业务类型。
实体关系提取模块302，用于依据实体在所述待分析文档中出现的位置以及实体与实体之间的句法结构，提取实体与实体之间的关系；
本申请实施例中，作为一可选实施例，实体在待分析文档中出现的位置可通过相对文档起点的距离特征值来表征，例如，可以将提取出的所述实体在所述待分析文档中出现的位置与文档起点之间所包含的字符的个数作为所述实体在所述待分析文档中出现位置的距离特征值。
知识图谱构建模块303，用于以实体为节点，实体之间的关系为边，构建知识图谱以及所述知识图谱与所述待分析文档的映射关系；
信息存储模块304，用于存储所述待分析文档、所述知识图谱与所述映射关系。
本申请实施例中，作为一可选实施例，实体提取模块301，包括:
业务类型确定单元，用于确定待分析文档所属的业务类型；
分词单元，用于获取待分析文档中的文本信息，对所述文本信息进行分词；
实体匹配单元，用于基于分词结果，选取与所述实体类型相匹配的词或词组，得到所述待分析文档中包含的实体。
本申请实施例中，作为一可选实施例，实体关系提取模块302，包括:
位置获取单元,用于获取提取出的所述实体在所述待分析文档中分别出现的位置；
距离计算单元，基于获取的位置，计算两实体之间的一个或多个距离；
实体间距筛选单元，若两实体之间的距离小于预设的距离阈值，依据小于预设的距离阈值内的该两实体之间的文本信息对应的句法结构，获取该两实体之间的关系。
作为一可选实施例，所述装置还包括：
文档查询模块(图中未示出)，用于接收文档查询请求，依据所述文档查询请求中包含的查询关键词，获取查询文档，依据所述映射关系，获取所述查询文档映射的知识图谱，展示所述查询文档以及获取的知识图谱。
实施例四
基于同一技术构思，参见图4所示，本申请一实施例提供了一种计算机设备400，用于执行图1中的文档分析的方法，该设备包括存储器401、处理器402及存储在该存储器401上并可在该处理器402上运行的计算机程序，其中，上述处理器402执行上述计算机程序时实现上述文档分析的方法的步骤。
具体地，上述存储器401和处理器402能够为通用的存储器和处理器，这里不做具体限定，当处理器402运行存储器401存储的计算机程序时，能够执行上述文档分析的方法。
对应于图1中的文档分析的方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述文档分析的方法的步骤。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述文档分析的方法。
在本申请所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种文档分析的方法，其特征在于，所述方法包括：
确定待分析文档所属的业务类型，依据所述待分析文档所属的业务类型映射的实体类型集合，提取所述待分析文档中包含的实体；
依据实体在所述待分析文档中出现的位置以及实体与实体之间的句法结构，获取实体与实体之间的关系；
以实体为节点，实体之间的关系为边，构建知识图谱以及所述知识图谱与所述待分析文档的映射关系；
存储所述待分析文档、所述知识图谱与所述映射关系。
2.根据权利要求1所述的方法，其特征在于，所述确定待分析文档所属的业务类型，包括：
获取上传所述待分析文档的用户的标签，依据所述用户的标签匹配预设的业务类型库，获取所述待分析文档所属的业务类型；或，
提取所述待分析文档中的关键词，分别与预设的业务类型库中的每一业务类型包含的业务关键词进行匹配，依据匹配结果确定所述待分析文档所属的业务类型。
3.根据权利要求1所述的方法，其特征在于，所述提取所述待分析文档中包含的实体，包括：
针对所述实体类型集合中的每一实体类型，从所述待分析文档中，提取与所述实体类型相匹配的实体。
4.根据权利要求3所述的方法，其特征在于，所述从所述待分析文档中，提取与所述实体类型相匹配的实体，包括：
获取待分析文档中的文本信息，对所述文本信息进行分词；
基于分词结果，选取与所述实体类型相匹配的词或词组，得到所述待分析文档中包含的实体。
5.根据权利要求1所述的方法，其特征在于，所述依据实体在所述待分析文档中出现的位置以及实体与实体之间的句法结构，获取实体与实体之间的关系，包括：
获取提取出的所述实体在所述待分析文档中分别出现的位置；
基于获取的位置，计算两实体之间的一个或多个距离；
若两实体之间的距离小于预设的距离阈值，依据小于预设的距离阈值内的该两实体之间的文本信息对应的句法结构，获取该两实体之间的关系。
6.根据权利要求5所述的方法，其特征在于，所述依据小于预设的距离阈值内的该两实体之间的文本信息对应的句法结构，获取该两实体之间的关系，包括：
依据标点对所述两实体之间的文本信息进行拆分，得到一个或多个拆分句；
针对每一拆分句，依据以谓语为核心的句法结构，对该拆分句进行依存句法分析，得到该拆分句中所述两实体之间的关系；
合并各拆分句中所述两实体之间的关系，得到所述两实体之间的关系。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：
接收文档查询请求，依据所述文档查询请求中包含的查询关键词，获取查询文档；
依据所述映射关系，获取所述查询文档所映射的知识图谱；
展示所述查询文档以及获取的知识图谱。
8.一种文档分析的装置，其特征在于，包括：
实体提取模块，用于确定待分析文档所属的业务类型，依据所述待分析文档所属的业务类型映射的实体类型集合，提取所述待分析文档中包含的实体；
实体关系提取模块，用于依据实体在所述待分析文档中出现的位置以及实体与实体之间的句法结构，获取实体与实体之间的关系；
知识图谱构建模块，用于以实体为节点，实体之间的关系为边，构建知识图谱以及所述知识图谱与所述待分析文档的映射关系；
信息存储模块，用于存储所述待分析文档、所述知识图谱与所述映射关系。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的文档分析的方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的文档分析的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010006078.XA CN111209411B (zh) | 2020-01-03 | 2020-01-03 | 一种文档分析的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010006078.XA CN111209411B (zh) | 2020-01-03 | 2020-01-03 | 一种文档分析的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111209411A true CN111209411A (zh) | 2020-05-29 |
| CN111209411B CN111209411B (zh) | 2023-12-12 |
Family
ID=70785521
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010006078.XA Active CN111209411B (zh) | 2020-01-03 | 2020-01-03 | 一种文档分析的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111209411B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111753517A (zh) * | 2020-06-30 | 2020-10-09 | 北京来也网络科技有限公司 | 基于rpa及ai的文档对比方法、装置、设备及介质 |
| CN112015909A (zh) * | 2020-08-19 | 2020-12-01 | 普洛斯科技(重庆)有限公司 | 知识图谱的构建方法及装置、电子设备、存储介质 |
| CN112486919A (zh) * | 2020-11-13 | 2021-03-12 | 北京北大千方科技有限公司 | 文档管理方法、系统及存储介质 |
| CN112597277A (zh) * | 2020-12-26 | 2021-04-02 | 中国农业银行股份有限公司 | 文档查询方法、装置、存储介质及电子设备 |
| CN112883248A (zh) * | 2021-01-29 | 2021-06-01 | 北京百度网讯科技有限公司 | 信息推送方法、装置以及电子设备 |
| CN113298914A (zh) * | 2021-07-28 | 2021-08-24 | 北京明略软件系统有限公司 | 知识组块提取方法、装置、电子设备和存储介质 |
| CN113468339A (zh) * | 2021-06-24 | 2021-10-01 | 北京明略软件系统有限公司 | 基于知识图谱的标签提取方法、系统、电子设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140289176A1 (en) * | 2000-09-28 | 2014-09-25 | Yimin Zhang | Method and Apparatus for Extracting Entity Names and Their Relations |
| CN104933027A (zh) * | 2015-06-12 | 2015-09-23 | 华东师范大学 | 一种利用依存分析的开放式中文实体关系抽取方法 |
| CN106844658A (zh) * | 2017-01-23 | 2017-06-13 | 中山大学 | 一种中文文本知识图谱自动构建方法及系统 |
| CN107291687A (zh) * | 2017-04-27 | 2017-10-24 | 同济大学 | 一种基于依存语义的中文无监督开放式实体关系抽取方法 |
| CN109635120A (zh) * | 2018-10-30 | 2019-04-16 | 百度在线网络技术（北京）有限公司 | 知识图谱的构建方法、装置和存储介质 |
| CN110377745A (zh) * | 2018-04-11 | 2019-10-25 | 阿里巴巴集团控股有限公司 | 信息处理方法、信息检索方法、装置及服务器 |
-
2020
- 2020-01-03 CN CN202010006078.XA patent/CN111209411B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140289176A1 (en) * | 2000-09-28 | 2014-09-25 | Yimin Zhang | Method and Apparatus for Extracting Entity Names and Their Relations |
| CN104933027A (zh) * | 2015-06-12 | 2015-09-23 | 华东师范大学 | 一种利用依存分析的开放式中文实体关系抽取方法 |
| CN106844658A (zh) * | 2017-01-23 | 2017-06-13 | 中山大学 | 一种中文文本知识图谱自动构建方法及系统 |
| CN107291687A (zh) * | 2017-04-27 | 2017-10-24 | 同济大学 | 一种基于依存语义的中文无监督开放式实体关系抽取方法 |
| CN110377745A (zh) * | 2018-04-11 | 2019-10-25 | 阿里巴巴集团控股有限公司 | 信息处理方法、信息检索方法、装置及服务器 |
| CN109635120A (zh) * | 2018-10-30 | 2019-04-16 | 百度在线网络技术（北京）有限公司 | 知识图谱的构建方法、装置和存储介质 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111753517A (zh) * | 2020-06-30 | 2020-10-09 | 北京来也网络科技有限公司 | 基于rpa及ai的文档对比方法、装置、设备及介质 |
| CN112015909A (zh) * | 2020-08-19 | 2020-12-01 | 普洛斯科技(重庆)有限公司 | 知识图谱的构建方法及装置、电子设备、存储介质 |
| CN112015909B (zh) * | 2020-08-19 | 2024-04-30 | 普洛斯科技(重庆)有限公司 | 知识图谱的构建方法及装置、电子设备、存储介质 |
| CN112486919A (zh) * | 2020-11-13 | 2021-03-12 | 北京北大千方科技有限公司 | 文档管理方法、系统及存储介质 |
| CN112597277A (zh) * | 2020-12-26 | 2021-04-02 | 中国农业银行股份有限公司 | 文档查询方法、装置、存储介质及电子设备 |
| CN112883248A (zh) * | 2021-01-29 | 2021-06-01 | 北京百度网讯科技有限公司 | 信息推送方法、装置以及电子设备 |
| CN112883248B (zh) * | 2021-01-29 | 2024-01-09 | 北京百度网讯科技有限公司 | 信息推送方法、装置以及电子设备 |
| CN113468339A (zh) * | 2021-06-24 | 2021-10-01 | 北京明略软件系统有限公司 | 基于知识图谱的标签提取方法、系统、电子设备及介质 |
| CN113298914A (zh) * | 2021-07-28 | 2021-08-24 | 北京明略软件系统有限公司 | 知识组块提取方法、装置、电子设备和存储介质 |
| CN113298914B (zh) * | 2021-07-28 | 2021-10-15 | 北京明略软件系统有限公司 | 知识组块提取方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111209411B (zh) | 2023-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111209411B (zh) | 一种文档分析的方法及装置 | |
| US7269544B2 (en) | System and method for identifying special word usage in a document | |
| WO2019174132A1 (zh) | 数据处理方法、服务器及计算机存储介质 | |
| US9645979B2 (en) | Device, method and program for generating accurate corpus data for presentation target for searching | |
| Homem et al. | Authorship identification and author fuzzy “fingerprints” | |
| CN109145110B (zh) | 标签查询方法和装置 | |
| CN111428503B (zh) | 同名人物的识别处理方法及处理装置 | |
| US20180181646A1 (en) | System and method for determining identity relationships among enterprise data entities | |
| CN112507160A (zh) | 商标侵权的自动化判定方法、装置、电子设备和存储介质 | |
| TW201826145A (zh) | 從中文語料庫提取知識的方法和系統 | |
| Beheshti et al. | Big data and cross-document coreference resolution: Current state and future opportunities | |
| CN111191454A (zh) | 一种实体匹配的方法及装置 | |
| JP2010262577A (ja) | 抽出規則作成システム、抽出規則作成方法及び抽出規則作成プログラム | |
| CN115098440A (zh) | 电子档案查询方法、装置、存储介质和设备 | |
| US11941565B2 (en) | Citation and policy based document classification | |
| CN113591476A (zh) | 一种基于机器学习的数据标签推荐方法 | |
| Nanba et al. | Bilingual PRESRI-Integration of Multiple Research Paper Databases. | |
| CN111984797A (zh) | 客户身份识别装置及方法 | |
| CN113449063B (zh) | 一种构建文档结构信息检索库的方法及装置 | |
| CN115827817A (zh) | 一种文本类别的确定方法、相关装置以及设备 | |
| Murata et al. | Using machine learning for automatic estimation of emphases in Japanese documents | |
| Ohta et al. | Empirical evaluation of CRF-based bibliography extraction from reference strings | |
| CN112015888B (zh) | 摘要信息提取方法和摘要信息提取系统 | |
| CN110737750B (zh) | 分析文本受众的数据处理方法、装置与电子设备 | |
| CN112989814B (zh) | 检索图谱构建方法、检索方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |