CN114881047B - 一种蔬菜病虫害图片问答方法及装置 - Google Patents

一种蔬菜病虫害图片问答方法及装置 Download PDF

Info

Publication number
CN114881047B
CN114881047B CN202210815432.2A CN202210815432A CN114881047B CN 114881047 B CN114881047 B CN 114881047B CN 202210815432 A CN202210815432 A CN 202210815432A CN 114881047 B CN114881047 B CN 114881047B
Authority
CN
China
Prior art keywords
vegetable
pest
agricultural
disease
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210815432.2A
Other languages
English (en)
Other versions
CN114881047A (zh
Inventor
嵇望
安毫亿
陈默
梁青
王伟凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yuanchuan Xinye Technology Co ltd
Original Assignee
Hangzhou Yuanchuan Xinye Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yuanchuan Xinye Technology Co ltd filed Critical Hangzhou Yuanchuan Xinye Technology Co ltd
Priority to CN202210815432.2A priority Critical patent/CN114881047B/zh
Publication of CN114881047A publication Critical patent/CN114881047A/zh
Application granted granted Critical
Publication of CN114881047B publication Critical patent/CN114881047B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种蔬菜病虫害图片问答方法及装置，其方法包括：获取与蔬菜病虫害相关的数据集；使用数据集对蔬菜病虫害图片问答模型进行训练，以得到训练好的蔬菜病虫害图片问答模型，蔬菜病虫害图片问答模型的输出向量为混合了病虫害症状描述文本的文本特征和涉及的农业蔬菜知识信息以及蔬菜症状图片的通道维度特征和空间维度特征之后所得到的，蔬菜症状图片的通道维度特征和空间维度特征分别采用注意力机制所得到；通过训练好的蔬菜病虫害图片问答模型对输入的待识别数据进行处理，以得到蔬菜病虫害类型。本发明能够提升蔬菜病虫害图片问答结果的准确性。

Description

一种蔬菜病虫害图片问答方法及装置
技术领域
本发明属于机器学习技术领域，具体涉及一种蔬菜病虫害图片问答方法及装置。
背景技术
随着计算机视觉与自然语言处理领域的不断进步，人们也希望计算机能够像人一样思考、对话和行动等。像人一样完成人的一些基本行为。在智能问答领域，人们对获取问题答案的形式越来越多样化，图像问答也是其中的一种形式。在蔬菜种植过程种，最难的就是“各种病害的识别”，如果不能辨别病虫害就没办法对蔬菜对症下药，那么会严重的影响作物的生长，蔬菜病虫害的图片问答就是利用用户的病虫害症状描述文本和蔬菜症状图片信息，将分析出的病虫害类型返回给用户作为答案。在现有技术中，由于用户描述文本信息所能提供的信息有限，图像问答的准确度有待提高。
发明内容
本发明的目的是提供一种蔬菜病虫害图片问答方法及装置，能够提升蔬菜病虫害图片问答结果的准确性。
为了解决上述技术问题，本发明公开了一种蔬菜病虫害图片问答方法，包括：
获取与蔬菜病虫害相关的数据集；
使用所述数据集对蔬菜病虫害图片问答模型进行训练，以得到训练好的蔬菜病虫害图片问答模型，所述蔬菜病虫害图片问答模型的输出向量为混合了病虫害症状描述文本的文本特征和涉及的农业蔬菜知识信息以及蔬菜症状图片的通道维度特征和空间维度特征之后所得到的，所述蔬菜症状图片的通道维度特征和空间维度特征分别采用注意力机制所得到；
通过训练好的蔬菜病虫害图片问答模型对输入的待识别数据进行处理，以得到蔬菜病虫害类型。
进一步地，得到所述蔬菜病虫害图片问答模型的输出向量包括：
对所述数据集中的病虫害症状描述文本进行分词和编码，得到词语级向量的文本特征a；
对所述数据集中的病虫害症状描述文本所包含的农业蔬菜知识图谱实体进行编码，得到词语级向量的农业蔬菜知识信息b；
对所述数据集中的蔬菜症状图片在通道维度和空间维度上分别使用注意力机制进行表示，得到通道维度特征d和空间维度特征g；
混合所述文本特征a、农业蔬菜知识信息b、通道维度特征d和空间维度特征g以得到输出向量。
进一步地，所述混合所述文本特征a、农业蔬菜知识信息b、通道维度特征d和空间维度特征g以得到输出向量包括：
对文本特征a基于通道维度特征d的注意力机制表示t1为：
Figure 771515DEST_PATH_IMAGE001
；
Figure 924892DEST_PATH_IMAGE002
；
Figure 160701DEST_PATH_IMAGE003
；
其中，W1和W2为所述数据集对蔬菜病虫害图片问答模型的待训练参数，病虫害症状描述文本S=（ω1,ω2,……，ωM），M为病虫害症状描述文本的特征数量；
对农业蔬菜知识信息b基于通道维度特征d的注意力机制表示t2为：
Figure 735164DEST_PATH_IMAGE004
；
Figure 765437DEST_PATH_IMAGE005
；
Figure 64831DEST_PATH_IMAGE006
；
其中，病虫害症状描述文本所包含的农业蔬菜知识图谱实体为（e1,e2,……，eT），T为病虫害症状描述文本所包含的农业蔬菜知识图谱的实体数量；
对文本特征a基于空间维度特征g的注意力机制表示t3为：
Figure 369910DEST_PATH_IMAGE007
；
Figure 562994DEST_PATH_IMAGE008
；
Figure 905114DEST_PATH_IMAGE009
；
对农业蔬菜知识信息b基于空间维度特征g的注意力机制表示t4为：
Figure 314973DEST_PATH_IMAGE010
；
Figure 627006DEST_PATH_IMAGE011
；
Figure 205755DEST_PATH_IMAGE012
；
混合所述注意力机制t1、t2、t3、t4以得到输出向量。
进一步地，在使用所述数据集对蔬菜病虫害图片问答模型进行训练之前还包括：
获取农业领域文本语料，对所述农业领域文本语料进行清洗并分词，之后使用Bert模型对分词后的所述农业领域文本语料进行词向量的预训练，得到基于农业领域的词语级向量；
根据构建的农业蔬菜知识图谱，训练以得到所述农业蔬菜知识图谱的TransE向量，所述TransE向量将所述农业蔬菜知识图谱中的实体和关系映射到向量空间；
所述对所述数据集中的病虫害症状描述文本所包含的农业蔬菜知识图谱实体进行编码包括：对所述数据集中的病虫害症状描述文本所包含的农业蔬菜知识图谱实体用训练好TransE向量进行编码。
进一步地，所述对所述数据集中的病虫害症状描述文本和其所包含的农业蔬菜知识图谱实体的编码均为通过BiGRU进行编码。
为了解决上述技术问题，本发明还公开了一种蔬菜病虫害图片问答装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取与蔬菜病虫害相关的数据集；
使用所述数据集对蔬菜病虫害图片问答模型进行训练，以得到训练好的蔬菜病虫害图片问答模型，所述蔬菜病虫害图片问答模型的输出向量为混合了病虫害症状描述文本的文本特征和涉及的农业蔬菜知识信息以及蔬菜症状图片的通道维度特征和空间维度特征之后所得到的，所述蔬菜症状图片的通道维度特征和空间维度特征分别采用注意力机制所得到；
通过训练好的蔬菜病虫害图片问答模型对输入的待识别数据进行处理，以得到蔬菜病虫害类型。
进一步地，得到所述蔬菜病虫害图片问答模型的输出向量包括：
对所述数据集中的病虫害症状描述文本进行分词和编码，得到词语级向量的文本特征a；
对所述数据集中的病虫害症状描述文本所包含的农业蔬菜知识图谱实体进行编码，得到词语级向量的农业蔬菜知识信息b；
对所述数据集中的蔬菜症状图片在通道维度和空间维度上分别使用注意力机制进行表示，得到通道维度特征d和空间维度特征g；
混合所述文本特征a、农业蔬菜知识信息b、通道维度特征d和空间维度特征g以得到输出向量。
进一步地，所述混合所述文本特征a、农业蔬菜知识信息b、通道维度特征d和空间维度特征g以得到输出向量包括：
对文本特征a基于通道维度特征d的注意力机制表示t1为：
Figure 718776DEST_PATH_IMAGE013
；
Figure 382975DEST_PATH_IMAGE014
；
Figure 905224DEST_PATH_IMAGE015
；
其中，W1和W2为所述数据集对蔬菜病虫害图片问答模型的待训练参数，病虫害症状描述文本S=（ω1,ω2,……，ωM），M为病虫害症状描述文本的特征数量；
对农业蔬菜知识信息b基于通道维度特征d的注意力机制表示t2为：
Figure 167840DEST_PATH_IMAGE016
；
Figure 445238DEST_PATH_IMAGE017
；
Figure 206520DEST_PATH_IMAGE018
；
其中，病虫害症状描述文本所包含的农业蔬菜知识图谱实体为（e1,e2,……，eT），T为病虫害症状描述文本所包含的农业蔬菜知识图谱的实体数量；
对文本特征a基于空间维度特征g的注意力机制表示t3为：
Figure 657093DEST_PATH_IMAGE019
；
Figure 177811DEST_PATH_IMAGE020
；
Figure 298214DEST_PATH_IMAGE021
；
对农业蔬菜知识信息b基于空间维度特征g的注意力机制表示t4为：
Figure 671426DEST_PATH_IMAGE022
；
Figure 394531DEST_PATH_IMAGE023
；
Figure 5641DEST_PATH_IMAGE024
；
混合所述注意力机制t1、t2、t3、t4以得到输出向量。
进一步地，在使用所述数据集对蔬菜病虫害图片问答模型进行训练之前还包括：
获取农业领域文本语料，对所述农业领域文本语料进行清洗并分词，之后使用Bert模型对分词后的所述农业领域文本语料进行词向量的预训练，得到基于农业领域的词语级向量；
根据构建的农业蔬菜知识图谱，训练以得到所述农业蔬菜知识图谱的TransE向量，所述TransE向量将所述农业蔬菜知识图谱中的实体和关系映射到向量空间；
所述对所述数据集中的病虫害症状描述文本所包含的农业蔬菜知识图谱实体进行编码包括：对所述数据集中的病虫害症状描述文本所包含的农业蔬菜知识图谱实体用训练好TransE向量进行编码。
进一步地，所述对所述数据集中的病虫害症状描述文本和其所包含的农业蔬菜知识图谱实体的编码均为通过BiGRU进行编码。
本项发明提供了一种蔬菜病虫害图片问答方法及装置，通过混合了病虫害症状描述文本的文本特征和涉及的农业蔬菜知识信息以及蔬菜症状图片的通道维度特征和空间维度特征之后所得到的蔬菜病虫害图片问答模型，由训练好的蔬菜病虫害图片问答模型来对蔬菜病虫害类型进行识别。由此，本发明将病虫害症状描述文本关联的农业知识图谱中相关的信息结合起来，以回答广泛的病虫害问题，此外还使用注意力机制从图片的空间维度和通道维度两个方向来进行丰富语义信息的捕获，有效利用图片和文本及外部知识之间具有的语义关联，进而减少整体语义理解上的偏差，进一步提升蔬菜病虫害图片问答结果的准确度，给与用户更好的用户体验。
附图说明
图1为本实施例的一种的蔬菜病虫害图片问答方法的流程示意图。
图2为本实施例涉及的蔬菜病虫害图片问答模型的结构示意图。
图3为本实施例的一种的蔬菜病虫害图片问答装置的结构示意图。
标号说明：
1、一种蔬菜病虫害图片问答装置；2、处理器；3、存储器。
具体实施方式
下面通过实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
应当理解，本文所使用的诸如“具有”，“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。
实施例一
现有的蔬菜病虫害问答系统都是基于文本信息，大都没有依据蔬菜症状的图片信息，或者仅仅使用了部分特征而忽略了图片通道维度信息，且没有使用如农业知识图谱等外部知识特征，导致蔬菜病虫害图片问答结果的准确度较低。
由此，本实施例融合多种特征的模型能够结合用户提供的病虫害图片信息，相关联的知识图谱信息等多个维度的信息，进行丰富的语义信息的捕获，提升答案的准确度，给与用户更好的用户体验。即本实施例提供的一种融合知识图谱的双注意力机制蔬菜病虫害图片问答方法具有重要的理论价值和广阔的应用前景。
具体而言，如图1所示，本实施例公开了一种蔬菜病虫害图片问答方法，包括：
步骤S1、获取农业领域文本语料，对农业领域文本语料进行清洗并分词，之后使用Bert模型对分词后的农业领域文本语料进行词向量的预训练，得到基于农业领域的词语级向量；
即在模型训练之前，基于现有海量的农业领域文本语料，先进行词向量的预训练，以得到基于农业领域的词语级向量，便于后续模型的使用。
步骤S2、根据构建的农业蔬菜知识图谱，训练以得到农业蔬菜知识图谱的TransE向量，TransE向量将农业蔬菜知识图谱中的实体和关系映射到向量空间；
如图2所示，训练以得到农业蔬菜知识图谱的TransE向量作为后续建模特征之一。其中，TransE将知识图谱中的实体和关系映射到向量空间，实体和关系的表示变成了向量之间的表示。
步骤S3、获取与蔬菜病虫害相关的数据集；
其中，获取到的数据集的一部分作为训练集，一部分作为测试集，可以按照训练集：测试集=8:2的比例去划分。同时，数据集包括问题描述、症状图片以及对应的问题答案。
步骤S4、使用数据集对蔬菜病虫害图片问答模型进行训练，以得到训练好的蔬菜病虫害图片问答模型，蔬菜病虫害图片问答模型的输出向量为混合了病虫害症状描述文本的文本特征和涉及的农业蔬菜知识信息以及蔬菜症状图片的通道维度特征和空间维度特征之后所得到的，蔬菜症状图片的通道维度特征和空间维度特征分别采用注意力机制所得到；
其中，如图2所示，步骤S4中得到蔬菜病虫害图片问答模型的输出向量包括：
步骤S41、对数据集中的病虫害症状描述文本进行分词和编码，得到词语级向量的文本特征a；
其中，如图2中的褐色水溃状、淡褐色、椭圆形等等描述内容。
在本实施例中，病虫害症状描述文本S=（ω1,ω2,……，ωM），M为病虫害症状描述文本的特征数量。
其中，对数据集中的病虫害症状描述文本编码为通过BiGRU进行编码，公式为：
Figure 562525DEST_PATH_IMAGE025
；
Figure 658919DEST_PATH_IMAGE026
；
Figure 326661DEST_PATH_IMAGE027
；
其中，GRU是gated recurrent unit的简称，意为门控循环单元，它是一种常用的门控循环神经网络，上述公式中的ai即为第i个文本特征a。
步骤S42、对数据集中的病虫害症状描述文本所包含的农业蔬菜知识图谱实体进行编码，得到词语级向量的农业蔬菜知识信息b；
在本实施例中，病虫害症状描述文本所包含的农业蔬菜知识图谱实体为（e1,e2,……，eT），T为病虫害症状描述文本所包含的农业蔬菜知识图谱的实体数量。
其中，对病虫害症状描述文本进行分词，命名实体识别，查询知识图谱获取实体图谱关系，之后对数据集中的病虫害症状描述文本所包含的农业蔬菜知识图谱实体用训练好TransE向量进行编码，且通过BiGRU进行编码，如公式所示：
Figure 323435DEST_PATH_IMAGE028
；
Figure 910275DEST_PATH_IMAGE029
；
Figure 867866DEST_PATH_IMAGE030
；
得到的bi即为第i个文本特征b。
步骤S43、对数据集中的蔬菜症状图片在通道维度和空间维度上分别使用注意力机制进行表示，得到通道维度特征d和空间维度特征g；
具体而言，通道维度特征d为：
Figure 667195DEST_PATH_IMAGE031
；
空间维度特征g为：
Figure 344908DEST_PATH_IMAGE032
；
其中，MLP（Multilayer Perceptron，多层感知器）是一种前馈人工神经网络模型，其将输入的多个数据集映射到单一的输出的数据集上；MixPool是基于最大池化和平均池化的混合池化，表达式为MixPool=λMeanPool+(1−λMaxPool)，MaxPool是区域最大值，MeanPool是局部接受域中的所有值求均值，λ范围为[0，1]，f为卷积操作。
步骤S44、混合文本特征a、农业蔬菜知识信息b、通道维度特征d和空间维度特征g以得到输出向量。
其中，如图2所示，步骤S44包括：
步骤S441、对文本特征a基于通道维度特征d的注意力机制表示t1为：
Figure 243594DEST_PATH_IMAGE033
；
Figure 813115DEST_PATH_IMAGE034
；
Figure 681714DEST_PATH_IMAGE035
；
其中，W1和W2为数据集对蔬菜病虫害图片问答模型的待训练参数，tanh为双曲正切激活函数，softmax为归一化指数函数。
步骤S442、对农业蔬菜知识信息b基于通道维度特征d的注意力机制表示t2为：
Figure 528447DEST_PATH_IMAGE036
；
Figure 692975DEST_PATH_IMAGE037
；
Figure 484213DEST_PATH_IMAGE038
；
应当说明的是，农业蔬菜知识图谱实体中的e和上述公式的ebd并不是同个含义，应当以其上下标关系进行区分。
步骤S443、对文本特征a基于空间维度特征g的注意力机制表示t3为：
Figure 156503DEST_PATH_IMAGE039
；
Figure 857743DEST_PATH_IMAGE040
；
Figure 957286DEST_PATH_IMAGE041
；
步骤S444、对农业蔬菜知识信息b基于空间维度特征g的注意力机制表示t4为：
Figure 642345DEST_PATH_IMAGE042
；
Figure 351282DEST_PATH_IMAGE043
；
Figure 766082DEST_PATH_IMAGE044
；
其中，图2中的ead、eag、ebd、ebg分别对应上述的ead、eag、ebd、ebg。
步骤S445、混合所述注意力机制t1、t2、t3、t4以得到输出向量。
如图2所示，具体输出向量表示为：
Figure 770948DEST_PATH_IMAGE045
。
其中，w1、w2、w3、w4分别为注意力机制t1、t2、t3、t4对应的权重。
由此，蔬菜病虫害图片问答模型参照图2所示，本实施例使用数据集对蔬菜病虫害图片问答模型进行训练，以寻找最优参数，将最优参数对应的最优模型作为训练好的蔬菜病虫害图片问答模型。
步骤S5、通过训练好的蔬菜病虫害图片问答模型对输入的待识别数据进行处理，以得到蔬菜病虫害类型。
实施例二
如图3所示，一种蔬菜病虫害图片问答装置1，包括存储器2、处理器3及存储在存储器2上并可在处理器3上运行的计算机程序，处理器3执行计算机程序时实现实施例一中的一种蔬菜病虫害图片问答方法的步骤。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的实施例。

Claims (8)

1.一种蔬菜病虫害图片问答方法，其特征在于，包括：
获取与蔬菜病虫害相关的数据集；
使用所述数据集对蔬菜病虫害图片问答模型进行训练，以得到训练好的蔬菜病虫害图片问答模型，所述蔬菜病虫害图片问答模型的输出向量为混合了病虫害症状描述文本的文本特征和涉及的农业蔬菜知识信息以及蔬菜症状图片的通道维度特征和空间维度特征之后所得到的，所述蔬菜症状图片的通道维度特征和空间维度特征分别采用注意力机制所得到；
通过训练好的蔬菜病虫害图片问答模型对输入的待识别数据进行处理，以得到蔬菜病虫害类型；
所述混合所述文本特征a、农业蔬菜知识信息b、通道维度特征d和空间维度特征g以得到输出向量包括：
对文本特征a基于通道维度特征d的注意力机制表示t1为：
Figure DEST_PATH_IMAGE002
其中，W1和W2为所述数据集对蔬菜病虫害图片问答模型的待训练参数，病虫害症状描述文本S=（ω1,ω2,……，ωM），M为病虫害症状描述文本的特征数量；
对农业蔬菜知识信息b基于通道维度特征d的注意力机制表示t2为：
Figure DEST_PATH_IMAGE004
其中，病虫害症状描述文本所包含的农业蔬菜知识图谱实体为（e1,e2,……，eT），T为病虫害症状描述文本所包含的农业蔬菜知识图谱的实体数量；
对文本特征a基于空间维度特征g的注意力机制表示t3为：
Figure DEST_PATH_IMAGE006
对农业蔬菜知识信息b基于空间维度特征g的注意力机制表示t4为：
Figure DEST_PATH_IMAGE008
混合所述注意力机制t1、t2、t3、t4以得到输出向量；
所述输出向量表示为：
Figure DEST_PATH_IMAGE010
其中，w1、w2、w3、w4分别为注意力机制t1、t2、t3、t4对应的权重。
2.如权利要求1所述的一种蔬菜病虫害图片问答方法，其特征在于，得到所述蔬菜病虫害图片问答模型的输出向量包括：
对所述数据集中的病虫害症状描述文本进行分词和编码，得到词语级向量的文本特征a；
对所述数据集中的病虫害症状描述文本所包含的农业蔬菜知识图谱实体进行编码，得到词语级向量的农业蔬菜知识信息b；
对所述数据集中的蔬菜症状图片在通道维度和空间维度上分别使用注意力机制进行表示，得到通道维度特征d和空间维度特征g；
混合所述文本特征a、农业蔬菜知识信息b、通道维度特征d和空间维度特征g以得到输出向量。
3.如权利要求2所述的一种蔬菜病虫害图片问答方法，其特征在于，在使用所述数据集对蔬菜病虫害图片问答模型进行训练之前还包括：
获取农业领域文本语料，对所述农业领域文本语料进行清洗并分词，之后使用Bert模型对分词后的所述农业领域文本语料进行词向量的预训练，得到基于农业领域的词语级向量；
根据构建的农业蔬菜知识图谱，训练以得到所述农业蔬菜知识图谱的TransE向量，所述TransE向量将所述农业蔬菜知识图谱中的实体和关系映射到向量空间；
所述对所述数据集中的病虫害症状描述文本所包含的农业蔬菜知识图谱实体进行编码包括：对所述数据集中的病虫害症状描述文本所包含的农业蔬菜知识图谱实体用训练好TransE向量进行编码。
4.如权利要求2所述的一种蔬菜病虫害图片问答方法，其特征在于，所述对所述数据集中的病虫害症状描述文本和其所包含的农业蔬菜知识图谱实体的编码均为通过BiGRU进行编码。
5.一种蔬菜病虫害图片问答装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：
获取与蔬菜病虫害相关的数据集；
使用所述数据集对蔬菜病虫害图片问答模型进行训练，以得到训练好的蔬菜病虫害图片问答模型，所述蔬菜病虫害图片问答模型的输出向量为混合了病虫害症状描述文本的文本特征和涉及的农业蔬菜知识信息以及蔬菜症状图片的通道维度特征和空间维度特征之后所得到的，所述蔬菜症状图片的通道维度特征和空间维度特征分别采用注意力机制所得到；
通过训练好的蔬菜病虫害图片问答模型对输入的待识别数据进行处理，以得到蔬菜病虫害类型；
所述混合所述文本特征a、农业蔬菜知识信息b、通道维度特征d和空间维度特征g以得到输出向量包括：
对文本特征a基于通道维度特征d的注意力机制表示t1为：
Figure DEST_PATH_IMAGE012
其中，W1和W2为所述数据集对蔬菜病虫害图片问答模型的待训练参数，病虫害症状描述文本S=（ω1,ω2,……，ωM），M为病虫害症状描述文本的特征数量；
对农业蔬菜知识信息b基于通道维度特征d的注意力机制表示t2为：
Figure DEST_PATH_IMAGE014
其中，病虫害症状描述文本所包含的农业蔬菜知识图谱实体为（e1,e2,……，eT），T为病虫害症状描述文本所包含的农业蔬菜知识图谱的实体数量；
对文本特征a基于空间维度特征g的注意力机制表示t3为：
Figure DEST_PATH_IMAGE016
对农业蔬菜知识信息b基于空间维度特征g的注意力机制表示t4为：
Figure DEST_PATH_IMAGE018
混合所述注意力机制t1、t2、t3、t4以得到输出向量；
所述输出向量表示为：
Figure DEST_PATH_IMAGE020
其中，w1、w2、w3、w4分别为注意力机制t1、t2、t3、t4对应的权重。
6.如权利要求5所述的一种蔬菜病虫害图片问答装置，其特征在于，得到所述蔬菜病虫害图片问答模型的输出向量包括：
对所述数据集中的病虫害症状描述文本进行分词和编码，得到词语级向量的文本特征a；
对所述数据集中的病虫害症状描述文本所包含的农业蔬菜知识图谱实体进行编码，得到词语级向量的农业蔬菜知识信息b；
对所述数据集中的蔬菜症状图片在通道维度和空间维度上分别使用注意力机制进行表示，得到通道维度特征d和空间维度特征g；
混合所述文本特征a、农业蔬菜知识信息b、通道维度特征d和空间维度特征g以得到输出向量。
7.如权利要求6所述的一种蔬菜病虫害图片问答装置，其特征在于，在使用所述数据集对蔬菜病虫害图片问答模型进行训练之前还包括：
获取农业领域文本语料，对所述农业领域文本语料进行清洗并分词，之后使用Bert模型对分词后的所述农业领域文本语料进行词向量的预训练，得到基于农业领域的词语级向量；
根据构建的农业蔬菜知识图谱，训练以得到所述农业蔬菜知识图谱的TransE向量，所述TransE向量将所述农业蔬菜知识图谱中的实体和关系映射到向量空间；
所述对所述数据集中的病虫害症状描述文本所包含的农业蔬菜知识图谱实体进行编码包括：对所述数据集中的病虫害症状描述文本所包含的农业蔬菜知识图谱实体用训练好TransE向量进行编码。
8.如权利要求6所述的一种蔬菜病虫害图片问答装置，其特征在于，所述对所述数据集中的病虫害症状描述文本和其所包含的农业蔬菜知识图谱实体的编码均为通过BiGRU进行编码。
CN202210815432.2A 2022-07-12 2022-07-12 一种蔬菜病虫害图片问答方法及装置 Active CN114881047B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210815432.2A CN114881047B (zh) 2022-07-12 2022-07-12 一种蔬菜病虫害图片问答方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210815432.2A CN114881047B (zh) 2022-07-12 2022-07-12 一种蔬菜病虫害图片问答方法及装置

Publications (2)

Publication Number Publication Date
CN114881047A CN114881047A (zh) 2022-08-09
CN114881047B true CN114881047B (zh) 2022-10-25

Family

ID=82682934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210815432.2A Active CN114881047B (zh) 2022-07-12 2022-07-12 一种蔬菜病虫害图片问答方法及装置

Country Status (1)

Country Link
CN (1) CN114881047B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937689B (zh) * 2022-12-30 2023-08-11 安徽农业大学 一种农业害虫智能识别与监测技术

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001142888A (ja) * 1999-11-10 2001-05-25 Nippon Software Prod:Kk 病害虫防除支援データベースシステム
CN110851620A (zh) * 2019-10-29 2020-02-28 天津大学 一种基于文本嵌入和结构嵌入联合的知识表示方法
CN112348191A (zh) * 2020-10-26 2021-02-09 福州大学 一种基于多模态表示学习的知识库补全方法
CN112800203A (zh) * 2021-02-05 2021-05-14 江苏实达迪美数据处理有限公司 一种融合文本和知识表征的问答匹配方法及系统
CN113516164A (zh) * 2021-04-30 2021-10-19 辽宁工程技术大学 一种融合知识图谱与深度学习的果树病虫害诊断方法
CN113538390A (zh) * 2021-07-23 2021-10-22 仲恺农业工程学院 一种柚子病虫害的快速识别方法
CN113673246A (zh) * 2021-07-29 2021-11-19 中国科学院自动化研究所 语义融合和知识蒸馏的农业实体识别方法和装置
CN113779220A (zh) * 2021-09-13 2021-12-10 内蒙古工业大学 一种基于三通道认知图谱和图注意力网络的蒙语多跳问答方法
CN114565826A (zh) * 2022-04-28 2022-05-31 南京绿色科技研究院有限公司 一种农业病虫害识别诊断方法、系统及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150169758A1 (en) * 2013-12-17 2015-06-18 Luigi ASSOM Multi-partite graph database
CN108182262B (zh) * 2018-01-04 2022-03-04 华侨大学 基于深度学习和知识图谱的智能问答系统构建方法和系统
CN111143540B (zh) * 2020-04-03 2020-07-21 腾讯科技（深圳）有限公司 智能问答方法、装置、设备及存储介质
CN112487826A (zh) * 2020-11-30 2021-03-12 北京百度网讯科技有限公司 信息抽取方法、抽取模型训练方法、装置以及电子设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001142888A (ja) * 1999-11-10 2001-05-25 Nippon Software Prod:Kk 病害虫防除支援データベースシステム
CN110851620A (zh) * 2019-10-29 2020-02-28 天津大学 一种基于文本嵌入和结构嵌入联合的知识表示方法
CN112348191A (zh) * 2020-10-26 2021-02-09 福州大学 一种基于多模态表示学习的知识库补全方法
CN112800203A (zh) * 2021-02-05 2021-05-14 江苏实达迪美数据处理有限公司 一种融合文本和知识表征的问答匹配方法及系统
CN113516164A (zh) * 2021-04-30 2021-10-19 辽宁工程技术大学 一种融合知识图谱与深度学习的果树病虫害诊断方法
CN113538390A (zh) * 2021-07-23 2021-10-22 仲恺农业工程学院 一种柚子病虫害的快速识别方法
CN113673246A (zh) * 2021-07-29 2021-11-19 中国科学院自动化研究所 语义融合和知识蒸馏的农业实体识别方法和装置
CN113779220A (zh) * 2021-09-13 2021-12-10 内蒙古工业大学 一种基于三通道认知图谱和图注意力网络的蒙语多跳问答方法
CN114565826A (zh) * 2022-04-28 2022-05-31 南京绿色科技研究院有限公司 一种农业病虫害识别诊断方法、系统及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
基于BIGRU的番茄病虫害问答系统问句分类研究;赵明等;《农业机械学报》;20180327(第05期);278-283 *
基于深度学习的小麦抗寒性识别研究及应用;来纯晓;《中国优秀硕士学位论文全文数据库农业科技辑(月刊)》;20210715(第07期);D047-66 *
自动术语抽取研究综述;张雪等;《软件学报》;20200715(第07期);136-168 *
融合实体描述及类型的知识图谱表示学习方法;杜文倩等;《中文信息学报》;20200715(第07期);54-63 *

Also Published As

Publication number Publication date
CN114881047A (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
Shridhar et al. Ingress: Interactive visual grounding of referring expressions
Born Artificial intelligence: The case against
US20210375294A1 (en) Inter-channel feature extraction method, audio separation method and apparatus, and computing device
Yurovsky et al. The role of partial knowledge in statistical word learning
US20230030419A1 (en) Machine Learning Model Training Method and Device and Electronic Equipment
CN116563707B (zh) 一种基于图文多模态特征融合的枸杞虫害识别方法
CN114881047B (zh) 一种蔬菜病虫害图片问答方法及装置
CN110210540B (zh) 基于注意力机制的跨社交媒体用户身份识别方法及系统
CN110580516A (zh) 一种基于智能机器人的交互方法及装置
US20210326634A1 (en) Image analysis method and system
CN116910213A (zh) 一种基于深度强化学习的自动问答系统
Younis et al. Machine learning for human emotion recognition: a comprehensive review
Elton Applying Deutsch’s concept of good explanations to artificial intelligence and neuroscience–an initial exploration
CN113821615A (zh) 自助对话方法、装置、设备及存储介质
Edelman et al. Learning as formation of low-dimensional representation spaces
CN115631852B (zh) 证型推荐方法、装置、电子设备及非易失性存储介质
Zhang Domain robustness in multi-modality learning and visual question answering
Levelt On learnability, empirical foundations, and naturalness
Vu Deep learning for automatic facial expression assessment with application to the expression of pain
Clark Training Models to Ignore Dataset Bias
Bac et al. Scheme-based Alethic Realism: Agency, the environment, and truthmaking
Pascual Leveraging and Understanding Deep Learning Models from Brain Activity to Language Processing
Lamberts et al. What can psychologists learn from hidden-unit nets?
Suppes Problems of extension, representation, and computational irreducibility
Haberlandt Expose hidden assumptions in network theory

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A question and answer method and device for vegetable pests and diseases pictures

Effective date of registration: 20230405

Granted publication date: 20221025

Pledgee: Hangzhou High-tech Financing Guarantee Co.,Ltd.

Pledgor: Hangzhou Yuanchuan Xinye Technology Co.,Ltd.

Registration number: Y2023330000681