CN113312489A - 一种基于nlp和图数据库的全景检索系统及方法 - Google Patents

Abstract

一种基于NLP和图数据库的全景检索系统，包括抽取模块、图谱模块、检索模块；抽取模块将SPO全量知识数据存储到图数据库中，作为图谱模块的底层数据来源支撑，基于图谱模块形成的语义网络图谱，整合NLP语义分析，将海量知识以更直观的方式进行呈现，为检索模块的全景检索提供服务，三大模块相辅相成，以实现在面对大数据量及复杂业务需求时，提高检索精准度及应用效率。并且本发明对安全行业各类数据进行融合整理，依托图数据库构建知识图谱，进而摆脱跨平台数据查询的限制，盘活存量数据，消除信息孤岛。

Description

一种基于NLP和图数据库的全景检索系统及方法

技术领域

本发明涉及的是数据检索领域，特别涉及一种基于NLP和图数据库的全景检索系统及方法。

背景技术

近年来，随着安全信息化建设的持续推进，我国安全机关的警务改革已开始迈上智能化发展的快车道，警务和人之间的相互感知、联系越来越紧密，智慧警务建设已成为当代警务发展的新趋势。面对打造数据警务，建设智慧安全的目标和需求，如何在当前数据越发多元化、关系越发复杂化场景下挖掘出精准的数据信息和潜在的关系、事件信息，成为了一个智能检索系统越来越迫切的需求。

现有的一些安全领域检索系统或搜索引擎主要基于指定的有限数据表和字段属性值进行单一的静态数据匹配检索，无法提取用户的关键问题要素并精确性向用户反馈问题答案，无法进一步做深层及隐性关系挖掘和推演，导致安全知识获取不全面、检索准确率不高、需求场景覆盖单一等问题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于NLP和图数据库的全景检索系统和方法。

为了解决上述技术问题，本申请实施例公开了如下技术方案：

一种基于NLP和图数据库的全景检索系统，其特征在于，包括抽取模块、图谱模块、检索模块；其中：

抽取模块，用于将SPO全量知识数据存储到图数据库中，得到图谱信息；

图谱模块，用于根据图谱信息，以图数据库建模的形式来表示安全行业中的实体或概念以及它们之间的关联关系，形成一张巨大的语义网络图谱；

检索模块，用于获取用户的问题文本，基于NLP提取出问题文本的问题要素，根据问题要素分场景针对性检索出对应的问题答案，达到全景检索的目的。

进一步地，SPO全量知识数据以键值对的格式存储到图数据库中。

进一步地，抽取模块，通过其他多数据源中提取知识，并将其存入到图数据库中。

进一步地，多数据源，可以为关系型数据库、消息队列、分布式数据仓库。

进一步地，图谱模块，可针对性的对部分实体属性创建索引，所述索引可以是图数据库系统本身内置的已经实现的索引系统或可通过图数据库系统支持的外部化配置的方式进行创建。

进一步地，图谱模块，可通过多节点集群的部署方式并行处理，快速响应用户请求，为进一步提高数据加载、数据查询性能可随节点数量线性扩展。

进一步地，检索模块，获取用户的问题文本，对文本进行分析，包括：实体类别及属性识别、语义分析、组合分析、智能联想和拼音识别，得到基于NLP提取出问题文本的问题要素。

进一步地，检索模块，可对用户输入的文本进行实时匹配智能推荐或补全。

进一步地，检索模块，可对用户输入的文本信息中拼音及通配符的识别和提取。

本发明还公开了一种基于NLP和图数据库的全景检索方法，包括：

抽取模块将SPO全量知识数据存储到图数据库中，得到图谱信息；

图谱模块根据图谱信息，以图数据库建模的形式来表示安全行业中的实体或概念以及它们之间的关联关系，形成一张巨大的语义网络图谱；

检索模块获取用户的问题文本，基于NLP提取出问题文本的问题要素，根据问题要素分场景针对性检索出对应的问题答案，达到全景检索的目的。

本发明实施例提供的上述技术方案的有益效果至少包括：

本发明公开的一种基于NLP和图数据库的全景检索系统和方法，抽取模块将SPO全量知识数据存储到图数据库中，作为图谱模块的底层数据来源支撑，基于图谱模块形成的语义网络图谱，整合NLP语义分析，将海量知识以更直观的方式进行呈现，为检索模块的全景检索提供服务，三大模块相辅相成，以实现在面对大数据量及复杂业务需求时，提高检索精准度及应用效率。并且本发明对安全行业各类数据进行融合整理，依托图数据库构建知识图谱，进而摆脱跨平台数据查询的限制，盘活存量数据，消除信息孤岛。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例1中，一种基于NLP和图数据库的全景检索系统的结构图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为了解决现有技术中存在的问题，本发明实施例提供一种基于NLP和图数据库的全景检索系统和方法。

实施例1

本实施例公开了一种基于NLP和图数据库的全景检索系统，如图1，包括抽取模块1、图谱模块2、检索模块3；其中：

抽取模块1，用于将SPO全量知识数据存储到图数据库中，得到图谱信息。

具体的，所述NLP(Natural Language Processing，自然语言处理)，用于将半结构化数据通过自动化的方式抽取出包含实体、关系以及属性共三个知识要素的知识单元，以RDF(Resource Description Framework，资源描述框架)的三元组SPO(Subject，Predicate，Object)知识来符号性描述实体之间的关系。

优选的，所述NLP，为提高安全领域专业化术语分词精准度，宜支持导入自定义分词词典及热更新。

优选的，所述NLP，可以对碎片化、离散化的文本信息进行自然语言处理，能够优先基于所述自定义词典进行分词、命名实体识别、分词结果词性标注及对分词后的各个词项作依存句法分析。

在本实施例中，所述抽取模块1，用于将所述SPO全量知识数据以键值对的格式存储到图数据库中，得到所述图谱。采用一系列自动或者半自动的技术手段，从其他多数据源中提取知识，并将其存入所述图谱模块2。所述多数据源，可以是关系型数据库(MySQL、Oracle等)、消息队列(ActiveMQ、Kafka等)、分布式数据仓库(Hive等)。抽取过程可包含数据清洗、转换及基于所述NLP的半结构化数据信息抽取、SPO知识表示、知识融合、链接、关联等过程。

可选的，所述抽取模块1，可以通过内置映射模型和自定义模型的方式实现可视化知识建模过程。

图谱模块2，用于根据图谱信息，以图数据库建模的形式来表示安全行业中的实体或概念以及它们之间的关联关系，形成一张巨大的语义网络图谱。

在本实施例中，所述图谱模块2，用于以图数据库建模的形式来表示安全行业中的实体或概念以及它们之间的关联关系，形成一张巨大的语义网络图谱，将海量知识以更直观的方式进行呈现，并且作为图数据存储系统，能够进行图谱实体拓展及实体间关系推演。

所述图数据库包括多个顶点，其中的每个所述顶点可包含多个属性，通过所述属性完整描述所述顶点的详细信息。所述顶点之间可通过一条或多条有方向的边进行连接，所述连接边表征所述顶点之间的关系信息。

所述关系，可划分为静态关系和动态关系，也可称为直接关系和间接关系。静态显性关系为实体之间直接存在的关系；动态隐性关系为基于实体的动态事件，根据战法规则、模型，建立的高级关系，例如人与人之间的同住宿、同上网、同乘飞机、同乘火车关系，机动车之间的同行关系，手机号之间的通话关系、互发短信息关系等。静态关系可通过原始数据暴露出来的关联关系在数据抽取过程中映射到所述三元组SPO上。动态关系可以基于实体的动态事件数据，根据设计的一系列技战法模型，进行数据多维度碰撞后的生成的结果再度映射到相对应的所述三元组SPO上。

所述图谱实体拓展，获取从所述待拓展的所述顶点到周围所述顶点之间所需经过的所有或满足待筛选所述关系所述连接边对应的所述关系信息；以及根据获取到的所述关系信息生成所述待拓展的顶点与所述周围顶点之间的关系信息。

所述图谱实体间关系推演，以所述待推演的所述顶点为中心，逐级获取从所述待推演的所述顶点到周围所述顶点之间所需经过的所有连接边对应的所述关系信息；以及当从所述待推演的所述顶点到另一待推演所述顶点之间所需经过的连接边数量达到阈值时，停止所述逐级获取的过程。

优选的，所述图谱模块2，为提高检索速率，可针对性的对部分实体属性创建索引，所述索引可以是图数据库系统本身内置的已经实现的索引系统或可通过图数据库系统支持的外部化配置的方式进行创建。

优选的，所述图谱模块2索引系统，为进一步提高条件过滤检索场景时的并发量，可以是支持分布式多节点并行处理的设计架构。

优选的，所述图谱模块2，为支持海量数据的安全存储，所述图数据存储系统可以支持数据存储节点的动态扩展及高可用配置。

优选的，所述图谱模块2，可通过多节点集群的部署方式并行处理，快速响应用户请求，为进一步提高数据加载、数据查询性能可随节点数量线性扩展。

所述图数据库可采用开源的JanusGraph、Neo4J、HugeGraph等图数据库。

所述图谱模块2索引系统可采用开源的ElasticSearch、Solr组件。

检索模块3，用于获取用户的问题文本，基于NLP提取出问题文本的问题要素，根据问题要素分场景针对性检索出对应的问题答案，达到全景检索的目的。

在本实施例中，检索模块3，获取用户的问题文本，对文本进行分析，包括：实体类别及属性识别、语义分析、组合分析、智能联想和拼音识别，得到基于NLP提取出问题文本的问题要素。

所述问题要素的提取需要用到NLP技术，即把问题文本按照中文语义进行合理分词，并按照分词结果的词性及对分词后的各个词项作依存句法分析划分出所述三元组SPO成分，并将划分出的多对SPO进行排序，从而达到理解问题要素的目的。中文分词也有很多成熟产品，可以是本领域人员知晓的任意一种成熟产品。这里可以采用中文分词器HanLP。

在HanLP分词中加入公安领域相关的词典，可以是实体词典、关系词典、属性词典等，以识别提取出公安领域相关的专有名称实体，并可借助于所述索引系统进行查找匹配，实现命名实体识别。

优选的，所述检索模块3，为消除中文语义矛盾和歧义，解决同义词实体产生歧义的问题，可创建实体同义词词典、关系同义词词典、属性同义词词典等，对所述三元组SPO出现的同义词做统一替换处理。

优选的，所述检索模块3，基于所述NLP进行实体类别及属性识别，所述实体类别可以是例如人员、机动车、案件、警情、非机动车、电话号码、实有单位等。

优选的，所述检索模块3，可对用户输入的文本进行实时匹配智能推荐或补全，提升用户操作体验度。

优选的，所述检索模块3，为满足同音检索及通配符(“？”、“*”)检索的需求场景，应支持对文本信息中拼音及通配符的识别和提取。

本实施例还公开了一种基于NLP和图数据库的全景检索方法，包括：

抽取模块1将SPO全量知识数据存储到图数据库中，得到图谱信息；

图谱模块2根据图谱信息，以图数据库建模的形式来表示安全行业中的实体或概念以及它们之间的关联关系，形成一张巨大的语义网络图谱；

检索模块3获取用户的问题文本，基于NLP提取出问题文本的问题要素，根据问题要素分场景针对性检索出对应的问题答案，达到全景检索的目的。

其中，抽取模块1、图谱模块2和检索模块3的具体工作方法和作用已在上述一种基于NLP和图数据库的全景检索系统中进行了详细描述，再此不再进行赘述。

在本实施例中，每个模块可以同时包含多个实例，每个模块的每个实例可以部署于不同服务器，也可以均部署于同一服务器，可以是单节点方式，也可是支撑高可用、高并发的分布式集群方式，本发明对系统的部署方式不做限定。

在本实施例中，每个模块均可以采用微服务架构，采用这种架构可以将功能分解到各个离散的服务(模块)中以实现对解决方案的解耦，并提供更加灵活的服务支持。采用松耦合的设计原则，可以最大限度地减少服务与其消费者之间的依赖关系。通过标准化的业务API表达的契约，消费者不会受到服务内部实现变化的影响。这也就允许服务的所有者可以自由实现并更改可能位于API后面的数据处理或者组合服务系统，并在不对下游的API消费者产生任何影响的情况下替换它们。

本实施例对系统所在的服务器类型不做限定，例如可以为安装了Linux系统或Windows系统或Unix系统的服务器。

本实施例公开的一种基于NLP和图数据库的全景检索系统和方法，抽取模块将SPO全量知识数据存储到图数据库中，作为图谱模块的底层数据来源支撑，基于图谱模块形成的语义网络图谱，整合NLP语义分析，将海量知识以更直观的方式进行呈现，为检索模块的全景检索提供服务，三大模块相辅相成，以实现在面对大数据量及复杂业务需求时，提高检索精准度及应用效率。并且本发明对安全行业各类数据进行融合整理，依托图数据库构建知识图谱，进而摆脱跨平台数据查询的限制，盘活存量数据，消除信息孤岛。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。

结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该ASIC可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。

对于软件实现，本申请中描述的技术可用执行本申请所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

Claims (10)

1.一种基于NLP和图数据库的全景检索系统，其特征在于，包括抽取模块、图谱模块、检索模块；其中：

抽取模块，用于将SPO全量知识数据存储到图数据库中，得到图谱信息；

图谱模块，用于根据图谱信息，以图数据库建模的形式来表示安全行业中的实体或概念以及它们之间的关联关系，形成一张巨大的语义网络图谱；

检索模块，用于获取用户的问题文本，基于NLP提取出问题文本的问题要素，根据问题要素分场景针对性检索出对应的问题答案，达到全景检索的目的。

2.如权利要求1的一种基于NLP和图数据库的全景检索系统，其特征在于，SPO全量知识数据以键值对的格式存储到图数据库中。

3.如权利要求1的一种基于NLP和图数据库的全景检索系统，其特征在于，抽取模块，通过其他多数据源中提取知识，并将其存入到图数据库中。

4.如权利要求3的一种基于NLP和图数据库的全景检索系统，其特征在于，多数据源，可以为关系型数据库、消息队列、分布式数据仓库。

5.如权利要求1的一种基于NLP和图数据库的全景检索系统，其特征在于，图谱模块，可针对性的对部分实体属性创建索引，所述索引可以是图数据库系统本身内置的已经实现的索引系统或可通过图数据库系统支持的外部化配置的方式进行创建。

6.如权利要求1的一种基于NLP和图数据库的全景检索系统，其特征在于，图谱模块，可通过多节点集群的部署方式并行处理，快速响应用户请求，为进一步提高数据加载、数据查询性能可随节点数量线性扩展。

7.如权利要求1的一种基于NLP和图数据库的全景检索系统，其特征在于，检索模块，获取用户的问题文本，对文本进行分析，包括：实体类别及属性识别、语义分析、组合分析、智能联想和拼音识别，得到基于NLP提取出问题文本的问题要素。

8.如权利要求1的一种基于NLP和图数据库的全景检索系统，其特征在于，检索模块，可对用户输入的文本进行实时匹配智能推荐或补全。

9.如权利要求1的一种基于NLP和图数据库的全景检索系统，其特征在于，检索模块，可对用户输入的文本信息中拼音及通配符的识别和提取。

10.一种基于NLP和图数据库的全景检索方法，其特征在于，包括：

抽取模块将SPO全量知识数据存储到图数据库中，得到图谱信息；

图谱模块根据图谱信息，以图数据库建模的形式来表示安全行业中的实体或概念以及它们之间的关联关系，形成一张巨大的语义网络图谱；

检索模块获取用户的问题文本，基于NLP提取出问题文本的问题要素，根据问题要素分场景针对性检索出对应的问题答案，达到全景检索的目的。

Images