CN116467482A - 多模态植物知识查询方法、系统及计算机设备 - Google Patents

多模态植物知识查询方法、系统及计算机设备 Download PDF

Info

Publication number
CN116467482A
CN116467482A CN202310362413.3A CN202310362413A CN116467482A CN 116467482 A CN116467482 A CN 116467482A CN 202310362413 A CN202310362413 A CN 202310362413A CN 116467482 A CN116467482 A CN 116467482A
Authority
CN
China
Prior art keywords
mode
plant
text
graph
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310362413.3A
Other languages
English (en)
Other versions
CN116467482B (zh
Inventor
侯志伟
尹超
孙嘉
刘樾
荆文龙
杨骥
高真
邓应彬
李勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Institute of Geography of GDAS
Southern Marine Science and Engineering Guangdong Laboratory Guangzhou
Original Assignee
Guangzhou Institute of Geography of GDAS
Southern Marine Science and Engineering Guangdong Laboratory Guangzhou
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Institute of Geography of GDAS, Southern Marine Science and Engineering Guangdong Laboratory Guangzhou filed Critical Guangzhou Institute of Geography of GDAS
Priority to CN202310362413.3A priority Critical patent/CN116467482B/zh
Publication of CN116467482A publication Critical patent/CN116467482A/zh
Application granted granted Critical
Publication of CN116467482B publication Critical patent/CN116467482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种多模态植物知识查询方法、系统及计算机设备；包括以下步骤：获取植物的图文多模态要素和图文跨模态关系，构建多模态植物知识图谱的模式层，其中，模式层包括植物本体；根据植物本体，结合图文多模态数据，构建多模态植物知识图谱的文本数据层和图像数据层；建立图文多模态数据与植物本体之间的映射关系；根据映射关系，将文本数据层和图像数据层映射到模式层，构建多模态植物知识图谱；将多模态植物知识图谱存入图数据库，通过图文检索，调用多模态植物知识图谱，查询植物知识。本发明所述的多模态植物知识查询方法、系统及计算机设备具有利用多模态数据，强化植物知识的查询检索功能，提高对植物知识的查询应用的优点。

Description

多模态植物知识查询方法、系统及计算机设备
技术领域
本发明涉及知识图谱领域，特别是涉及一种多模态植物知识查询方法、系统及计算机设备。
背景技术
植物是生命的主要形态之一，现存植物有几十万个物种，分为种子植物、苔藓植物、蕨类植物和藻类植物等不同类别。植物有重要的生态、经济和社会价值。例如，生长在热带和亚热带海岸潮间带的红树林，在净化水体、防风消浪、护岸固堤等方面发挥着重要作用。红树林还具有极高的生态系统服务价值，可以维持海岸带生态系统平衡，保护海岸生物多样性，减缓全球气候变化。同时，红树林能提供多种生物技术产品,具有生态旅游、自然教育和科学研究等功能和价值。准确认识植物的种类、特点、分布、功用和价值，是保护和合理利用植物资源的必要前提。
植物知识包括：(1)物种分类知识。包括门、纲、目、科、属、种的概念以及概念间的关系。(2)物种的器官及解剖结构知识。包括植物器官和解剖结构的概念以及概念间的关系，和物种与结构概念间的关系。(3)物种的形态特征知识。包括生长方式、形态、形状、颜色、质地的概念，以及物种及其器官、解剖结构与形态特征概念间的关系。(4)环境和地域知识。包括生境、栖息地、保护区、行政区域和环境条件的概念，以及物种与地域和环境概念间的关系。
但是，目前的植物知识仍以百科网站和植物志网站的半结构化图片和文本数据，或者植物图谱等纸质图集数据为主，有多源分散、碎片化、冗余、存在结构和语义冲突等问题，而且不同概念、概念属性文本、概念对应图像之间缺少关联关系或关系不明确。同时，半结构化或非结构化的数据形式使得这些数据难以被计算机自动处理和计算，也不支持逻辑推理，知识的查询检索功能较弱，较难进行诸如语义检索、问答等具体的知识应用。
发明内容
基于此，本发明的目的在于，提供一种多模态植物知识查询方法、系统及计算机设备，其具有利用多模态数据，强化植物知识的查询检索功能，提高对植物知识的查询应用的优点。可以支持植物学、农林、医药、海洋、生态、检验检疫等科研人员、教师和学生查询和学习，也可供普通大众全面学习植物科学使用。
一种多模态植物知识查询方法，包括以下步骤：
获取植物的图文多模态要素和图文跨模态关系，构建多模态植物知识图谱的模式层，其中，所述模式层包括植物本体；
根据所述植物本体，结合图文多模态数据，构建所述多模态植物知识图谱的文本数据层和图像数据层；
建立所述图文多模态数据与所述植物本体之间的映射关系；
根据所述映射关系，将所述文本数据层和所述图像数据层映射到所述模式层，构建多模态植物知识图谱；
将所述多模态植物知识图谱存入图数据库，通过图文检索，调用所述多模态植物知识图谱，查询植物知识。
一种植物知识查询系统，包括：
模式层构建模块，用于获取植物的图文多模态要素和图文跨模态关系，构建多模态植物知识图谱的模式层，其中，所述模式层包括所述植物本体；
数据层生成模块，用于根据所述植物本体，结合图文多模态数据，构建所述多模态植物知识图谱的文本数据层和图像数据层；
映射关系建立模块，用于建立所述图文多模态数据与所述植物本体之间的映射关系；
知识图谱生成模块，用于根据所述映射关系，将所述文本数据层和所述图像数据层映射到所述植物本体，构建多模态植物知识图谱；
查询模块，用于将所述多模态植物知识图谱存入图数据库，通过图文检索，调用所述多模态植物知识图谱，查询植物知识。
一种计算机设备，包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的多模态植物知识查询方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述的多模态植物知识查询方法的步骤。
本发明所述的多模态植物知识查询方法、系统及计算机设备，通过获取植物的多模态要素和图文跨模态关系，构建多模态植物知识图谱的模式层，结合图文多模态数据，分别生成所述多模态植物知识图谱的文本数据层和图像数据层。通过建立所述图文多模态数据与所述概念层次体系之间的映射关系，将所述文本数据层和图像数据映射到所述模式层，最终构建多模态植物知识图谱，并将所述多模态植物知识图谱存入图数据库中，用于知识查询。
本申请实施例中的多模态植物知识查询方法主要用于构建多模态红树林知识图谱，并存入图数据库中，用于红树林植物知识查询。
本申请中的多模态植物知识查询方法，通过构建多模态植物知识图谱，并存入图数据库中，明确了不同概念、概念属性文本、概念对应图像之间的关系，实现了植物知识及其复杂语义关系的形式化描述，利用多模态数据，实现了碎片化、扁平化知识的发现、表达、关联与融合、服务，支撑智能化植物知识服务，强化了植物知识检索查询功能，使得植物知识更加简单便捷的被应用。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1为本申请实施例中所述多模态植物知识查询方法的步骤流程图；
图2为本申请实施例中构建所述多模态植物知识图谱的模式层的步骤流程图；
图3为本申请实施例中构建所述多模态植物知识图谱的文本数据层的步骤流程图；
图4为本申请实施例中构建所述多模态植物知识图谱的图像数据层的步骤流程图；
图5为本申请实施例中建立所述图文多模态数据与所述植物本体之间的映射关系的步骤流程图；
图6为本申请实施例中合并所述多模态植物知识图谱中相似的文本和图像的步骤流程图；
图7为本申请实施例中所述植物知识查询系统的结构图；
图8为本申请实施例中的多模态植物知识查询方法的计算机设备示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
请参阅图1，图1为本申请实施例中所述多模态植物知识查询方法的步骤流程图。
一种多模态植物知识查询方法，包括以下步骤：
S101，获取植物的图文多模态要素和图文跨模态关系，构建多模态植物知识图谱的模式层，其中，所述模式层包括植物本体；
S102，根据所述植物本体，结合图文多模态数据，构建所述多模态植物知识图谱的文本数据层和图像数据层；
S103，建立所述图文多模态数据与所述植物本体之间的映射关系；
S104，根据所述映射关系，将所述文本数据层和所述图像数据层映射到所述模式层，构建多模态植物知识图谱；
S105，将所述多模态植物知识图谱存入图数据库，通过图文检索，调用所述多模态植物知识图谱，查询植物知识。
本申请中的多模态植物知识查询方法，通过获取植物的多模态要素和图文跨模态关系，构建多模态植物知识图谱的模式层，结合图文多模态数据，分别生成所述多模态植物知识图谱的文本数据层和图像数据层。通过建立所述图文多模态数据与所述概念层次体系之间的映射关系，将所述文本数据层和图像数据映射到所述模式层，最终构建多模态植物知识图谱，并将所述多模态植物知识图谱存入图数据库中，用于植物知识查询。本申请实施例中的多模态植物知识查询方法主要用于构建多模态红树林知识图谱，并存入图数据库中，用于红树林植物知识查询。本申请中的多模态植物知识查询方法明确了不同概念、概念属性文本、概念对应图像之间的关系，实现了植物知识及其复杂语义关系的形式化描述，利用多模态数据，实现了碎片化、扁平化知识的发现、表达、关联与融合、服务，支撑智能化植物知识服务，强化了植物知识检索查询功能，使得植物知识更加简单便捷的被应用。
对于步骤S101，获取植物的图文多模态要素和图文跨模态关系，构建多模态植物知识图谱的模式层，其中，所述模式层包括植物本体；
其中，所述图文多模态要素包括所述植物的分类信息、形态特征、分布特征以及植物图片信息。所述模式层是知识图谱的概念模型和逻辑基础，对数据层进行规范约束。
在一个实施例中，所述多模态植物知识图谱的模式层又被称为多模态植物知识图谱的概念框架，包括“红树林植物概念–红树林植物概念层次关系–红树林植物文本符号实体–红树林植物图像实体–红树林植物符号实体与图像跨模态关系”5个层次的红树林植物知识表达模型。
在一个实施例中，采用本体作为知识图谱的模式层，借助本体定义的规则和公理约束知识图谱的数据层。
请参阅图2，图2为本申请实施例中构建所述多模态植物知识图谱的模式层的步骤流程图。在一个实施例中，所述构建多模态植物知识图谱的模式层，包括以下步骤：
S201，根据所述多模态要素和所述图文跨模态关系，生成植物的概念层次体系，并基于本体构建工具，建立所述植物本体；
S202，将所述植物本体中的概念定义为类，所述概念层次体系定义为类层次体系，概念之间的关系定义为对象属性，概念的属性定义为数据属性，构建所述多模态植物知识图谱的模式层。
对于步骤S201，根据所述多模态要素和所述图文跨模态关系，生成植物的概念层次体系，并基于本体构建工具，建立所述植物本体；
其中，所述本体是语义数据模型，用于定义事物的类型以及描述事物的属性。所述本体构建工具是用于计算机构建知识图谱本体的工具。
在本实施例中，首先根据所述多模态要素和所述图文跨模态关系，生成植物的概念层次，进一步通过本体构建工具，建立所述植物本体。
对于步骤S202，将所述植物本体中的概念定义为类，所述概念层次体系定义为类层次体系，概念之间的关系定义为对象属性，概念的属性定义为数据属性，构建所述多模态植物知识图谱的模式层；
在构建所述植物本体后，进一步将所述植物本体中的概念定义为类，所述概念层次体系定义为类层次体系，概念之间的关系定义为对象属性，概念的属性定义为数据属性，用于形成所述多模态植物知识图谱的模式层。
对于步骤S102，根据所述植物本体，结合图文多模态数据，构建所述多模态植物知识图谱的文本数据层和图像数据层；
其中，所述图文多模态数据包括植物志、植物图像库、红树林植物图谱等半结构化、非结构化数据。
在本实施例中，通过根据所述植物本体，并结合所述图文多模态数据，从而生成所述多模态植物知识图谱的文本数据层和图像数据层。
请参阅图3，图3为本申请实施例中构建所述多模态植物知识图谱的文本数据层的步骤流程图。在一个实施例中，所述构建所述多模态植物知识图谱的文本数据层和图像数据层，包括以下步骤：
S301，从所述文本数据中抽取植物的种类和树种属性；
S302，将所述种类和所述树种属性保存为文本数据JSON文件，构建所述多模态植物知识图谱的文本数据层。
对于步骤S301，从所述文本数据中抽取植物的种类和树种属性；
其中，所述树种属性包括植物的形态、结构、生态习性、空间分布以及对环境的适应性。
在一个实施例中，从所述文本数据抽取植物的种类和树种属性的方法包括，利用网络爬虫或数据抽取脚本，其中所述脚本包括可实现数据抽取功能的Python脚本。
对于步骤S302，将所述种类和所述树种属性保存为文本数据JSON文件，生成所述多模态植物知识图谱的文本数据层；
其中，所述JSON文件是一种轻量级的、基于文本的、开放的数据交换格式。在本实施例中，通过将所述种类和所述树种属性保存为文本数据JSON文件，从而构建所述多模态植物知识图谱的文本数据层。
请参阅图4，图4为本申请实施例中构建所述多模态植物知识图谱的图像数据层的步骤流程图。在一个实施例中，所述构建所述多模态植物知识图谱的文本数据层和图像数据层，包括以下步骤：
S401，从所述图文多模态数据中获取植物的图像文件以及图像对应的描述文本，将所述图像文件保存至本地文件，所述描述文本保存为图像数据JSON文件；
S402，计算每张图像的方向梯度直方图数值，将所述方向梯度直方图数值作为图像属性保存至所述图像数据JSON文件中，构建多模态植物知识图谱的图像数据层。
对于步骤S401～S402，其中，所述描述文本包括树种名称、图像超链接以及图像标题。所述方向梯度直方图是应用在计算机视觉和图像处理领域，用于目标检测的特征描述器，通过计算所述图像的所述方向梯度直方图数值，用于判断所述图像之间的相似度。
在本实施例中，采用网络爬虫或数据抽取脚本的方式，从所述图文多模态数据中获取植物的图像文件以及图像对应的描述文本，形成图文对数据。并将所述图像文件保存至本地文件，所述描述文本保存为图像数据JSON文件。
并且进一步的，利用基于计算机视觉库OpenCV，计算每张图像的方向梯度直方图数值，并将所述方向梯度直方图数值作为图像的属性保存到所述图像数据JSON文件中。
对于步骤S103，建立所述图文多模态数据与所述植物本体之间的映射关系；
请参阅图5，图5为本申请实施例中建立所述图文多模态数据与所述植物本体之间的映射关系的步骤流程图。在一个实施例中，所述建立所述图文多模态数据与所述植物本体之间的映射关系，包括以下步骤：
S501，建立JSON文件中的对象与所述植物本体中的类的关系，根据所述对象，创建所述类的实例；
S502，若所述对象的键对应所述植物本体中的所述概念之间的关系，则根据所述键对应的值创建实例，并根据所述概念之间的关系在所述植物本体中定义的取值范围，确认所述实例所属的类；
S503，若所述对象的键对应所述植物本体中的所述概念属性，则将所述键对应的值作为根据对象创建的实例的属性。
对于步骤S501，建立所述JSON文件中的对象与所述植物本体中的类的关系，根据所述对象，创建所述类的实例；
其中，所述JSON文件是由一系列对象组成，所述对象之间可以相互嵌套。所述对象是由一组有序的键值对数据组成。通过将所述JSON文件的对象与所述植物本体中的类对应的概念相对应，从而建立两者之间的联系。在一个实施例中，所述JSON文件包括文本数据JSON文件和图像数据JSON文件。
通过建立所述JSON文件中的对象与所述植物本体中的类的关系，并且根据所述对象，创建所述类对应的实例。
对于步骤S502，若所述对象的键对应所述植物本体中的所述概念之间的关系，则根据所述键对应的值创建实例，并根据所述概念之间的关系在所述植物本体中定义的取值范围，确认所述实例所属的类；
当所述对象的键与所述植物本体中所述概念之间的关系相对应时，则根据所述键对应的值创建实例，并根据所述概念之间的关系在所述植物本体中定义的取值范围，确认所述实例所属的类。
对于步骤S503，若所述对象的键对应所述植物本体中的所述概念属性，则将所述键对应的值作为根据对象创建的实例的属性；
当所述对象的键与所述植物本体中的所述概念属性相对应时，则将所述键对应的值作为根据所述对象创建的实例的属性。
对于步骤S104，根据所述映射关系，将所述文本数据层和所述图像数据层映射到所述模式层，构建多模态植物知识图谱。
在获取所述映射关系后，将所述文本数据层和所述图像数据层中的JSON文件和图像文件，根据所述映射关系，映射到所述模式层中的植物本体对应的概念、关系和属性中。进一步的，建立图像与文本之间的超链接，将所述文本与所述图像相联系，最终构建所述多模态植物知识图谱。
对于步骤S105，将所述多模态植物知识图谱存入图数据库，通过图文检索，调用所述多模态植物知识图谱，查询植物知识。
其中，所述图数据库是以点、边为基础存储单元，以高效存储、查询图数据为设计原理的数据管理系统，在本实施例中，通过将所述多模态植物知识图谱存入所述图数据库中，用以多模态植物知识查询。
在构建好所述多模态植物知识图谱后，将所述植物知识图谱存入图数据库中，从而可以通过图文检索的方式，调用所述多模态植物知识图谱，查询植物知识。在一个实施例中，所述图数据库包括图数据库neo4j。
请参阅图6，图6为本申请实施例中合并所述多模态植物知识图谱中相似的文本和图像的步骤流程图。在一个实施例中，在所述构建所述多模态植物知识图谱后，还包括以下步骤：
S601，基于开源知识图谱融合工具，将所述多模态植物知识图谱中文本符号实体表示为向量，并计算所述文本符号实体之间的余弦相似度；
S602，若所述余弦相似度超过预设文本相似度阈值，则合并所述文本符号实体；
S603，根据所述图像的方向梯度直方图数值，计算图像之间的相似度；
S604，若所述相似度超过预设图像相似度阈值，则建立两张图像之间的相似关系。
对于步骤S601～S604，其中，所述文本符号实体是所述多模态植物知识图谱中文本符号对应的实体，所述余弦相似度又称为余弦相似性，是通过计算两个向量的夹角余弦值来评估他们的相似度。在本实施例中，通过将所述文本符号实体表示为向量，进一步计算文本符号实体之间的余弦相似度，用于查找并合并近似的文本符号实体。
在构建所述多模态植物知识图谱后，通过使用开源知识图谱融合工具OpenEA，计算所述多模态植物知识图谱中文本符号实体，并表示为向量，进一步根据所述向量，计算所述文本符号实体之间的余弦相似度，当所述余弦相似度超过预设文本相似度阈值时，则合并所述文本符号实体，其中所述合并所述文本符号实体包括将其中一个文本符号实体合并到另一个文本符号实体。从而避免冗余和歧义问题。在一个实施例中，所述预设文本相似度阈值设置为0.8.
进一步，根据所述图像的方向梯度直方图数值，计算图像之间的相似度，当所述图像之间的相似度超过预设图像相似度阈值，则建立所述图像之间的相似关系。从而优化所述多模态植物知识图谱。
本申请中的多模态植物知识查询方法，通过获取植物的多模态要素和图文跨模态关系，构建包括植物本体的模式层，并结合图文跨模态数据，构建所述文本数据层和所述图像数据层；再通过建立所述图文跨模态数据与所述植物本体之间的映射关系，将所述文本数据层和所述图像数据层映射到所述模式层中，构建多模态植物知识图谱，并进一步，通过计算多模态植物知识图谱中的文本符号实体之间的余弦相似度以及图像之间的相似度，对多模态植物知识图谱中的冗余和歧义等问题进行处理，优化所述多模态植物知识图谱，最终将所述多模态植物知识图谱输入至图数据库用于知识查询。
在本实施例中，本申请中的多模态植物知识查询方法，主要应用于红树林植物知识查询，通过构建多模态红树林植物知识图谱，并将所述多模态红树林植物知识图谱存入图数据库中，从而实现对所述红树林植物知识的查询，进一步的提高了红树林植物知识查询效率。
本申请中的多模态植物知识查询方法，通过构建多模态植物知识图谱，实现了植物知识及其复杂语义关系的形式化描述，利用多模态数据，实现了碎片化、扁平化知识的发现、表达、关联与融合、服务，支撑智能化植物知识服务，强化了植物知识检索查询功能，使得植物知识更加简单便捷的被应用。
请参阅图7，图7为本申请实施例中所述植物知识查询系统的结构图。本申请还提供了一种植物知识查询系统，包括：
模式层构建模块11，用于获取植物的图文多模态要素和图文跨模态关系，构建多模态植物知识图谱的模式层，其中，所述模式层包括所述植物本体；
数据层生成模块12，用于根据所述植物本体，结合图文多模态数据，构建所述多模态植物知识图谱的文本数据层和图像数据层；
映射关系建立模块13，用于建立所述图文多模态数据与所述植物本体之间的映射关系；
知识图谱生成模块14，用于根据所述映射关系，将所述文本数据层和所述图像数据层映射到所述模式层，构建多模态植物知识图谱；
查询模块15，用于将所述多模态植物知识图谱存入图数据库，通过图文检索，调用所述多模态植物知识图谱，查询植物知识。
请参阅图8，图8为本申请实施例中的多模态植物知识查询方法的计算机设备示意图。如图8所示，该计算机设备21包括：处理器211，存储器212以及存储在所述存储器212并可以在所述处理器211上运行的计算机程序213，例如：多模态植物知识查询程序；所述处理器211执行所述计算机程序213可以实现上述实施例所述的多模态植物知识查询方法。
其中，该处理器211可以包括一个或多个处理核心。处理器211利用各种接口和线路连接计算机设备21内的各个部分，通过运行或执行存储在存储器212内的指令、程序、代码集或指令集，以及调用存储器212内的数据，执行计算机设备21的各种功能和处理数据，可选的，处理器211可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一个硬件形式来实现。处理器211可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责触摸显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器211中，单独通过一块芯片进行实现。
其中，存储器212可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器212包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器212可用于存储指令、程序、代码、代码集或指令集。存储器212可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控指令等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器212可选的还可以是至少一个位于远离前述处理器211的存储装置。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以存储有多条指令，该指令适用于由处理器加载并执行上述实施例的方法步骤，具体执行过程可以参见上述实施例的具体说明，在此不进行赘述。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (9)

1.一种多模态植物知识查询方法，其特征在于，包括以下步骤：
获取植物的图文多模态要素和图文跨模态关系，构建多模态植物知识图谱的模式层，其中，所述模式层包括植物本体；
根据所述植物本体，结合图文多模态数据，构建所述多模态植物知识图谱的文本数据层和图像数据层；
建立所述图文多模态数据与所述植物本体之间的映射关系；
根据所述映射关系，将所述文本数据层和所述图像数据层映射到所述模式层，构建多模态植物知识图谱；
将所述多模态植物知识图谱存入图数据库，通过图文检索，调用所述多模态植物知识图谱，查询植物知识。
2.根据权利要求1所述的多模态植物知识查询方法，其特征在于，所述构建多模态植物知识图谱的模式层，包括以下步骤：
根据所述多模态要素和所述图文跨模态关系，生成植物的概念层次体系，并基于本体构建工具，建立所述植物本体；
将所述植物本体中的概念定义为类，所述概念层次体系定义为类层次体系，概念之间的关系定义为对象属性，概念的属性定义为数据属性，构建所述多模态植物知识图谱的模式层。
3.根据权利要求2所述的多模态植物知识查询方法，其特征在于，构建所述多模态植物知识图谱的文本数据层和图像数据层，包括以下步骤：
从所述图文多模态数据中抽取植物的种类和树种属性；
将所述种类和所述树种属性保存为文本数据JSON文件，构建所述多模态植物知识图谱的文本数据层。
4.根据权利要求3所述的多模态植物知识查询方法，其特征在于，构建所述多模态植物知识图谱的文本数据层和图像数据层，还包括以下步骤：
从所述图文多模态数据中获取植物的图像文件以及图像对应的描述文本，将所述图像文件保存至本地文件，所述描述文本保存为图像数据JSON文件中；
计算每张图像的方向梯度直方图数值，将所述方向梯度直方图数值作为图像属性保存至所述图像数据JSON文件中，构建多模态植物知识图谱的图像数据层。
5.根据权利要求4所述的多模态植物知识查询方法，其特征在于，所述建立所述图文多模态数据与所述植物本体之间的映射关系，包括以下步骤：
建立JSON文件中的对象与所述植物本体中的类的关系，根据所述对象，创建所述类的实例；
若所述对象的键对应所述植物本体中的所述概念之间的关系，则根据所述键对应的值创建实例，并根据所述概念之间的关系在所述植物本体中定义的取值范围，确认所述实例所属的类；
若所述对象的键对应所述植物本体中的所述概念属性，则将所述键对应的值作为根据对象创建的实例的属性。
6.根据权利要求4所述的多模态植物知识查询方法，其特征在于，在构建所述多模态植物知识图谱后，还包括以下步骤：
基于开源知识图谱融合工具，将所述多模态植物知识图谱中文本符号实体表示为向量，并计算所述文本符号实体之间的余弦相似度；
若所述余弦相似度超过预设文本相似度阈值，则合并所述文本符号实体；
根据所述图像的方向梯度直方图数值，计算图像之间的相似度；
若所述相似度超过预设图像相似度阈值，则建立两张图像之间的相似关系。
7.一种植物知识查询系统，其特征在于，包括：
模式层构建模块，用于获取植物的图文多模态要素和图文跨模态关系，构建多模态植物知识图谱的模式层，其中，所述模式层包括所述植物本体；
数据层生成模块，用于根据所述植物本体，结合图文多模态数据，构建所述多模态植物知识图谱的文本数据层和图像数据层；
映射关系建立模块，用于建立所述图文多模态数据与所述植物本体之间的映射关系；
知识图谱生成模块，用于根据所述映射关系，将所述文本数据层和所述图像数据层映射到所述植物本体，构建多模态植物知识图谱；
查询模块，用于将所述多模态植物知识图谱存入图数据库，通过图文检索，调用所述多模态植物知识图谱，查询植物知识。
8.一种计算机设备，包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任意一项所述的多模态植物知识查询方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至6任意一项所述的多模态植物知识查询方法的步骤。
CN202310362413.3A 2023-04-04 2023-04-04 多模态植物知识查询方法、系统及计算机设备 Active CN116467482B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310362413.3A CN116467482B (zh) 2023-04-04 2023-04-04 多模态植物知识查询方法、系统及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310362413.3A CN116467482B (zh) 2023-04-04 2023-04-04 多模态植物知识查询方法、系统及计算机设备

Publications (2)

Publication Number Publication Date
CN116467482A true CN116467482A (zh) 2023-07-21
CN116467482B CN116467482B (zh) 2024-04-09

Family

ID=87183639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310362413.3A Active CN116467482B (zh) 2023-04-04 2023-04-04 多模态植物知识查询方法、系统及计算机设备

Country Status (1)

Country Link
CN (1) CN116467482B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110035418A1 (en) * 2009-08-06 2011-02-10 Raytheon Company Object-Knowledge Mapping Method
US20180108066A1 (en) * 2016-10-16 2018-04-19 Ebay Inc. Intelligent online personal assistant with multi-turn dialog based on visual search
US20190303498A1 (en) * 2018-03-28 2019-10-03 International Business Machines Corporation Generation of knowledge graph responsive to query
CN111444351A (zh) * 2020-03-24 2020-07-24 清华苏州环境创新研究院 一种行业工艺领域知识图谱构建方法及装置
CN112527915A (zh) * 2020-11-17 2021-03-19 北京科技大学 线性文化遗产知识图谱构建方法、系统、计算设备和介质
CN114202691A (zh) * 2021-12-09 2022-03-18 广东省科学院广州地理研究所 基于遥感图像的水稻识别方法、装置以及设备
CN114491071A (zh) * 2022-01-27 2022-05-13 北京工商大学 一种基于跨媒体数据的食品安全知识图谱构建方法及系统
KR20220074576A (ko) * 2020-11-27 2022-06-03 주식회사 데이터마케팅코리아 마케팅 지식 그래프 구축을 위한 딥러닝 기반 신조어 추출 방법 및 그 장치
JP2022135734A (ja) * 2021-03-05 2022-09-15 Kddi株式会社 マルチモーダルな知識グラフを用いて雑談的に対話するプログラム、装置及び方法
CN115391586A (zh) * 2022-10-08 2022-11-25 浙江力石科技股份有限公司 基于知识图谱的视觉问答处理方法、设备及存储介质
CN115714001A (zh) * 2022-11-14 2023-02-24 北京航空航天大学 一种面向健康饮食的多模态知识图谱服务平台构建方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110035418A1 (en) * 2009-08-06 2011-02-10 Raytheon Company Object-Knowledge Mapping Method
US20180108066A1 (en) * 2016-10-16 2018-04-19 Ebay Inc. Intelligent online personal assistant with multi-turn dialog based on visual search
US20190303498A1 (en) * 2018-03-28 2019-10-03 International Business Machines Corporation Generation of knowledge graph responsive to query
CN111444351A (zh) * 2020-03-24 2020-07-24 清华苏州环境创新研究院 一种行业工艺领域知识图谱构建方法及装置
CN112527915A (zh) * 2020-11-17 2021-03-19 北京科技大学 线性文化遗产知识图谱构建方法、系统、计算设备和介质
KR20220074576A (ko) * 2020-11-27 2022-06-03 주식회사 데이터마케팅코리아 마케팅 지식 그래프 구축을 위한 딥러닝 기반 신조어 추출 방법 및 그 장치
JP2022135734A (ja) * 2021-03-05 2022-09-15 Kddi株式会社 マルチモーダルな知識グラフを用いて雑談的に対話するプログラム、装置及び方法
CN114202691A (zh) * 2021-12-09 2022-03-18 广东省科学院广州地理研究所 基于遥感图像的水稻识别方法、装置以及设备
CN114491071A (zh) * 2022-01-27 2022-05-13 北京工商大学 一种基于跨媒体数据的食品安全知识图谱构建方法及系统
CN115391586A (zh) * 2022-10-08 2022-11-25 浙江力石科技股份有限公司 基于知识图谱的视觉问答处理方法、设备及存储介质
CN115714001A (zh) * 2022-11-14 2023-02-24 北京航空航天大学 一种面向健康饮食的多模态知识图谱服务平台构建方法

Also Published As

Publication number Publication date
CN116467482B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
Ghaffarian et al. Post-disaster building database updating using automated deep learning: An integration of pre-disaster OpenStreetMap and multi-temporal satellite data
Linardos et al. Machine learning in disaster management: recent developments in methods and applications
Nakoinz et al. Modelling human behaviour in landscapes
Duckham et al. Foundations of geographic information science
CN107807986B (zh) 一种描述地物空间关系语义的遥感影像智能理解的方法
Varanka et al. The map as knowledge base
Ayala et al. A deep learning approach to an enhanced building footprint and road detection in high-resolution satellite imagery
CN107679221A (zh) 面向减灾任务的时空数据获取与服务组合方案生成方法
Widyaningrum et al. Airborne laser scanning point cloud classification using the DGCNN deep learning method
Zhao et al. MS-YOLOv7: YOLOv7 based on multi-scale for object detection on UAV aerial photography
Qiao et al. Simple weakly supervised deep learning pipeline for detecting individual red-attacked trees in VHR remote sensing images
Xu et al. A modified change vector approach for quantifying land cover change
Kijewski-Correa et al. CyberEye: Development of integrated cyber-infrastructure to support rapid hurricane risk assessment
Tao et al. TOV: The original vision model for optical remote sensing image understanding via self-supervised learning
Manso-Callejo et al. Optimizing the recognition and feature extraction of wind turbines through hybrid semantic segmentation architectures
Ahmed et al. Learning to extract buildings from ultra-high-resolution drone images and noisy labels
Chen et al. Multi-feature aggregation for semantic segmentation of an urban scene point cloud
Cui et al. Monocular depth estimation with self-supervised learning for vineyard unmanned agricultural vehicle
Erwig Toward spatio-temporal patterns
Atik et al. An Efficient Ensemble Deep Learning Approach for Semantic Point Cloud Segmentation Based on 3D Geometric Features and Range Images
Yang et al. Deep learning-based method for detection of external air conditioner units from street view images
Maduako et al. Automated school location mapping at scale from satellite imagery based on deep learning
Sboui et al. A machine-learning-based approach to predict deforestation related to oil palm: Conceptual framework and experimental evaluation
CN116226408B (zh) 农产品生长环境知识图谱构建方法及装置、存储介质
CN116467482B (zh) 多模态植物知识查询方法、系统及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant