CN110781315B

CN110781315B - 一种食品安全知识图谱及相关智能问答系统的构建方法

Info

Publication number: CN110781315B
Application number: CN201910981977.9A
Authority: CN
Inventors: 秦丽; 郝志刚; 赵良; 倪福川
Original assignee: Huazhong Agricultural University
Current assignee: Huazhong Agricultural University
Priority date: 2019-10-16
Filing date: 2019-10-16
Publication date: 2022-11-08
Anticipated expiration: 2039-10-16
Also published as: CN110781315A

Abstract

本发明公开了一种食品安全知识图谱及相关智能问答系统的构建方法，所述的食品安全知识图谱整理了大量近年来官方发布的不合格食品的数据，让人们可以方便查询到自己想要了解的相关食品信息，通过设计食品安全本体，可以解决知识图谱中相关知识融合与知识推理的问题，本体整理了与食品生产和食品检测相关的概念、分类与关系，帮助人们分析不合格食品出现的原因和分布，并通过设计HACCP体系的本体模型，为实现以HACCP为基础的食品安全溯源提供推理机制，帮助人们为未来可能出现的食品问题提供溯源与预警，所述的基于食品安全知识图谱的智能问答系统，通过搭建web网站方便用户在线访问，用自然语言访问知识图谱。

Description

一种食品安全知识图谱及相关智能问答系统的构建方法

技术领域

本发明涉及计算机数据处理技术领域，具体是指一种食品安全知识图谱及相关安全问答系统的构建方法。

背景技术

近年来食品安全问题一直是大众舆论关注的焦点，但是目前几乎没有办法能够帮助人们了解这些不合格食品产生的原因以及未来可能出现的关于食品安全问题的溯源和预警。

知识图谱是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合，并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论，能够为学科研究提供切实的、有价值的参考。所以可以将食品安全知识与知识图谱相结合来解决现在人们所遇到的食品安全方面的问题。

发明内容

本发明的目的在于提供一种食品安全知识图谱及相关安全问答系统的构建方法以解决食品安全方面的问题。

其采用技术方案如下，

一种食品安全知识图谱的构建方法为：

(1)采集数据集：使用Python脚本对网上的不合格食品信息进行爬取，根据《市场监管总局关于印发2019年食品安全监督抽检计划的通知》上附带的食品安全抽检品种和项目表将不合格食品信息分为33 个大类，并将其进行初步过滤，得到初始文本数据集，再将初始文本数据集处理后导入postgrsql数据库进行清洗，得到结构化文本库；

(2)实体抽取：实体抽取分为两个部分，一个是通用实体的抽取，采用命名实体识别技术，工具为斯坦福的CoreNLP，另一个部分是领域实体的抽取，主要依据关键词匹配算法；

(3)关系抽取：首先对已经抽取的实体确定两种实体间的关系，一是公司-食品的生产关系，二是食品-不合格项目的抽检关系，再确定实体所拥有的属性关系，一是食品与生产地，二是食品与生产时间；

(4)同义词库构建：建立同义词库对实体关系和属性进行识别；

(5)RDF三元组映射：将抽取到的实体与关系转化成RDF图模型，主要为借助D2Rq工具生成映射规则并依据数据表的结构以及表间关系对其进行相应调整，可分为实体表的映射和实体表对关系表的映射；

(6)本体构建：为从网上爬取得来的数据建立食品安全本体；

(7)知识图谱存储与可视化：采用gStore对知识图谱进行存储，使用的查询语言是SPARQL，同时使用d3js脚本程序对三元组文件进行图形化展示，每个节点代表一个实体，节点之间的连线代表实体之间的关系。

作为进一步说明的，步骤(1)中初始文本数据集中共收集77560篇文本。

作为进一步说明的，步骤(2)中领域实体指不能被CoreNLP直接标注的实体，关键词匹配算法为：通过分析语法结构，对常出现的关键词进行收集并定义一个关键词库KeyDase和一个食品类型词库 FoodtypeDase，依据KeyDase与FoodtypeDase获取“食品”在句中的开始位置和结束位置，实现领域实体的识别，然后在抽取食品的不合格项目时，依据国家标准文档《市场监管总局关于印发2019年食品安全监督抽检计划的通知》建立食品抽检项目词库FoodSampleDase，具体方法是通过CoreNLP对该标准文档进行分词抽取，将抽取结果存入FoodSampleDase中，依据FoodSampleDase到分词的集合C中进行匹配，将抽取到的食品不合格项目实体集，记为UQE。

作为进一步说明的，步骤(5)中实体表的映射为：将实体表，如表名为Company的表作为实体，表中的字段作为实体的属性，即将C_id和text作为Company的属性，字段的值作为实体的属性值；实体表对关系表的映射为：将联系表T_C_F中的C_id、F_id,映射到Company和Food相应的id字段上，表明这两种实体具有某种关系，并为关系定义相应的名称。

作为进一步说明的，步骤(6)中食品安全本体主要包括(1)食品的分类与名称，食物产品的属性关系，食品检测项目及与食品类别的关系，食品添加剂、食品微生物、化学、生物污染物及与食品类别的关系，涉及的食品安全国家标准有《GB 2760食品添加剂使用标准》，《GB 2761食品中真菌毒素限量》，《GB 2762食品中污染物限量》，《GB 2763食品中农药最大残留限量》，《GB 2715粮食》，《GB 2716 植物油》等(2)HACCP体系本体模型，HACCP体系参考《GBT19538危害分析及关键控制点(HACCP)体系及其应用指南》。

一种基于食品安全知识图谱的智能问答系统的构建方法为：

(1)建立查询接口:基于python的Django框架来搭建安全问答系统的接口；

(2)问题解析：解析用户提出的问题，将问题中的“食品”映射为知识图谱中的实体，“食品的属性” 映射为知识图谱中的关系和属性，“公司”、“产地”、“时间”作为属性值映射为知识图谱中的实体和属性值；

(3)匹配问题模板与SPARQL生成：通过解析结果匹配相应的问题模板并转换成SPARQL查询语句提交给服务器，最后将返回数据展示给用户。

作为进一步说明的，步骤(1)中接口界面包括一个搜索栏用来输入问题和对结果进行展示的列表，在展示文字结果的同时连同“原因”以图谱的形式进行描述。

作为进一步说明的，步骤(2)中解析用户提出的问题指对句子进行分词，并对分词进行合并，判断合并后的词是否属于关键信息，如公司的名称，食品的名称以及表示属性的关键词。

采用上述技术方案，具有如下有益效果：

1.本发明所述的食品安全知识图谱整理了大量近年来官方发布的不合格食品的数据，让人们可以方便查询到自己想要了解的相关食品信息，通过设计食品安全本体，本体整理了与食品生产与食品检测相关的概念、分类与关系，可以帮助人们分析不合格食品出现的原因和分布，通过设计HACCP体系的本体模型，为实现以HACCP为基础的食品安全溯源提供推理机制，帮助人们为未来可能出现的食品问题提供溯源与预警。

2.本发明所述的基于食品安全知识图谱的智能问答系统，通过搭建web网站方便用户在线访问，用自然语言访问知识图谱。

附图说明

图1为构建食品安全知识图谱的流程示意图；

图2为食品安全本体的结构示意图；

图3为基于食品安全知识图谱的智能问答系统的结构示意图；

图4为基于食品安全知识图谱的智能问答系统的展示界面。

具体实施方式

下面结合附图对本发明做进一步说明。

实施例1：

一种食品安全知识图谱的构建方法为：

(2)实体抽取：实体抽取分为两个部分，一个是通用实体的抽取，采用命名实体识别技术，工具为斯坦福的CoreNLP。另一个部分是领域实体的抽取，主要依据关键词匹配算法；

(6)本体构建：为从网上爬取得来的数据建立食品安全本体；

一种基于食品安全知识图谱的智能问答系统的构建方法为：

构建食品安全知识图谱及相关智能问答系统所用算法如下：

通用实体抽取算法为，

输入：分词的集合C{ci}，分词类型的集合T{ti}，分词句中的位置L{li}，i∈(1,2,...n)，指定类型T’。

输出：实体集E{ej}以及实体在句中的位置信息EL{elj},j∈(1,2,...m)。

(1)建一个游标p，使其指向分词ci。

(2)判断P所指向的ci的ti是否等于T’，如果是，则进行第(3)步，否则，P指向下一个分词，循环步骤(2)。

(3)记录ci的li，记ej的elj＝li，并记实体的起始位置lstart＝li。

(4)P指向下一个分词，判断ci的ti是否是T’，若是，循环(4)；若不是，置实体的结束位置 lend＝li-1，拼接lstart与lend之间的分词为ej，继续步骤(2)直到P遍历所有的分词。

领域实体-食品名称识别算法，

输入：分词的集合C{ci}，分词句中的位置L{li}，公司实体GE{gej，ej|tj＝“ORGANIZATION”}， i∈(1,2,...n),j∈(1,2,...m)与KeyDase、FoodtypeDase。

输出：食品实体FE{fek}以及其位置信息FEL{felk}，k∈(1,2,...q)。

(1)建一个游标P，指向gej。

(2)判断其后是否有KeyDase中的关键词。若有，后移P到关键词所对应的ci，记录ci的位置li，并设fek的开始位置lstart＝li+1，同时记felk＝li+1，进行步骤(3)。若没有，指向下一个gei，循环步骤(2)。

(3)后移P指向下一个ci。

(4)判断ci是否在FoodtypeDase中，若不在，继续后移P，循环(4)，直到P遇到句号；若在 FoodtypeDase中，将ci的li记录为fek的结束位置lend＝li。

(5)根据lstart和lend对ci进行拼接，得到fek。

关系抽取算法，

(1)IF X∈GE{ge，e|t＝“ORGANIZATION”},Y∈FE{fe，e|t＝“FOOD”}AND kw{x|x∈Between(X,Y)} ∩GE＝nil AND kw∩Keybase≠nil THEN X-Y具有生产关系。

(2)IF X∈FE{fe，e|t＝“FOOD”},Y∈SE{se，e|t＝“FOODSample”}AND kw{x|x∈Between(X,Y)} ∩FE＝nil AND kw∩{“查出”，“检查”，“抽检”,…}≠nil THEN X-Y具有抽检关系。

(3)IF X∈FE{fe，e|t＝“FOOD”},Y∈AE{ae，e|t＝“GPE”}AND Distance(X,Y)<TDTHEN X-Y 具有属性关系。

(4)IF X∈FE{fe，e|t＝“FOOD”},Y∈DE{de，e|t＝“MISC”}AND Distance(X,Y)<TDTHEN X-Y具有属性关系。

其中Between(X,Y)表示X、Y之间的文本分词，Distance(X,Y)表示X、Y之间的文本距离，TD是一个经验值，代表文本距离的阈值。

问题解析算法，

输入：用户问题分词的集合C{ci},i∈(1,2,…,n)。

输出：实体集S{ej},属性集P{pk},属性值集O{ol},j∈(1,2,…,m),k∈(1,2,…,q),l∈(1,2,…,r)。

(1)设定指向第一个分词的游标t＝1,分词合并数目初始值N＝1。

(2)t从1迭代到n，其中j每取一个值，N从1迭代到n-t+1,将Kt,Kt+1，Kt+2,…,Kt+N-1这些连续的分词进行合并得到W。

(3)利用之前的三元组数据，将其中的实体、属性(关系)和属性值作为关键词，将W与其进行比对，如果W在实体中则ej＝W；若W在属性中则pk＝W；若W在属性值中则ol＝W。

以上描述了本发明的基本原理和主要特征，本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内，发明要求保护范围由所附的权利要求书及其等效物界定。

Claims

1.一种食品安全知识图谱的构建方法，其特征在于，构建方法为：

(1)采集数据集：使用Python脚本对网上的不合格食品信息进行爬取，根据《市场监管总局关于印发2019年食品安全监督抽检计划的通知》上附带的食品安全抽检品种和项目表将不合格食品信息分为33个大类，并将其进行初步过滤，得到初始文本数据集，再将初始文本数据集处理后导入postgrsql数据库进行清洗，得到结构化文本库；

(5)RDF三元组映射：将抽取到的实体与关系转化成RDF图模型，借助D2Rq工具生成映射规则并依据数据表的结构以及表间关系对其进行相应调整，分为实体表的映射和实体表对关系表的映射；

(6)本体构建：为从网上爬取得来的数据建立食品安全本体；

(7)知识图谱存储与可视化：采用gStore对知识图谱进行存储，使用的查询语言是SPARQL，同时使用d3js脚本程序对三元组文件进行图形化展示，每个节点代表一个实体，节点之间的连线代表实体之间的关系；

步骤(2)中领域实体指不能被CoreNLP直接标注的实体，关键词匹配算法为：通过分析语法结构，对常出现的关键词进行收集并定义一个关键词库KeyDase和一个食品类型词库FoodtypeDase，依据KeyDase与FoodtypeDase获取“食品”在句中的开始位置和结束位置，实现领域实体的识别，然后在抽取食品的不合格项目时，依据国家标准文档《市场监管总局关于印发2019年食品安全监督抽检计划的通知》建立食品抽检项目词库FoodSampleDase，具体方法是通过CoreNLP对该标准文档进行分词抽取，将抽取结果存入FoodSampleDase中，依据FoodSampleDase到分词的集合C中进行匹配，将抽取到的食品不合格项目实体集，记为UQE；

步骤(5)中实体表的映射为：

将表名为Company的表作为实体，表中的字段作为实体的属性，即将C_id和text作为Company的属性，字段的值作为实体的属性值；实体表对关系表的映射为：将关系表T_C_F中的C_id、F_id,映射到Company和Food相应的id字段上，表明这两种实体具有某种关系，并为关系定义相应的名称。

2.根据权利要求1所述的一种食品安全知识图谱的构建方法，其特征在于，步骤(1)中初始文本数据集中共收集77560篇文本。

3.根据权利要求1所述一种食品安全知识图谱的构建方法，其特征在于，步骤(6)中食品安全本体主要包括食品的分类与名称，食物产品的属性关系，食品检测项目及与食品类别的关系，食品添加剂、食品微生物、化学、生物污染物及与食品类别的关系。

4.一种食品安全知识图谱的智能问答系统的构建方法，所述食品安全知识图谱是基于权利要求1所述的一种食品安全知识图谱的构建方法构建的，其特征在于，构建方法为：

(2)问题解析：解析用户提出的问题，将问题中的“食品”映射为知识图谱中的实体，“食品的属性”映射为知识图谱中的关系和属性，“公司”、“产地”、“时间”作为属性值映射为知识图谱中的实体和属性值；

5.根据权利要求4所述的一种食品安全知识图谱的智能问答系统的构建方法，其特征在于，步骤(1)中接口界面包括一个搜索栏用来输入问题和对结果进行展示的列表，在展示文字结果的同时连同“原因”以图谱的形式进行描述。

6.根据权利要求4所述的一种食品安全知识图谱的智能问答系统的构建方法，其特征在于，步骤(2)中解析用户提出的问题指对句子进行分词，并对分词进行合并，判断合并后的词是否属于关键信息，所述关键信息包括公司的名称，食品的名称以及表示属性的关键词。