CN113408663A - 融合模型构建方法、融合模型使用方法、装置和电子设备 - Google Patents

融合模型构建方法、融合模型使用方法、装置和电子设备 Download PDF

Info

Publication number
CN113408663A
CN113408663A CN202110819549.3A CN202110819549A CN113408663A CN 113408663 A CN113408663 A CN 113408663A CN 202110819549 A CN202110819549 A CN 202110819549A CN 113408663 A CN113408663 A CN 113408663A
Authority
CN
China
Prior art keywords
knowledge
crop
fusion model
classification
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110819549.3A
Other languages
English (en)
Other versions
CN113408663B (zh
Inventor
黄翀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Geographic Sciences and Natural Resources of CAS
Original Assignee
Institute of Geographic Sciences and Natural Resources of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Geographic Sciences and Natural Resources of CAS filed Critical Institute of Geographic Sciences and Natural Resources of CAS
Priority to CN202110819549.3A priority Critical patent/CN113408663B/zh
Publication of CN113408663A publication Critical patent/CN113408663A/zh
Application granted granted Critical
Publication of CN113408663B publication Critical patent/CN113408663B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种融合模型构建方法、融合模型使用方法、装置和电子设备，涉及遥感影像处理技术领，融合模型构建方法包括：根据目标作物群的遥感分类知识构建静态知识图谱；根据各个时间点的静态知识图谱，构建动态知识图谱；将动态知识图谱与深度学习模型进行融合，得到融合模型，其中，融合模型用于对目标作物群的作物类型进行分类。本申请实施例根据需要进行作物类型分类的作物群的遥感分类知识进行知识图谱的构建，通过将知识图谱与深度学习模型进行融合训练，能够提高融合模型对作物类型进行分类的准确率，为智慧农业发展提供支撑。

Description

融合模型构建方法、融合模型使用方法、装置和电子设备
技术领域
本申请涉及遥感影像处理技术领域，具体而言，涉及一种融合模型构建方法、融合模型使用方法、装置和电子设备。
背景技术
随着卫星技术的迅猛发展，出现了利用遥感影像对农作物进行分类识别的多种方法，传统的农作物遥感分类方法的实施要求采用高分辨率的遥感图像，使用深度学习模型对农作物的种类进行遥感分类。随着遥感数据的获取、存储和分析技术有了重大发展，光学的分辨率和重访频率大大增加，更高分辨率的时间序列遥感数据获取成为可能，应用深度学习算法开展多时态影像分析的研究已经出现，但这些研究多是将多时态遥感数据作为独立的多变量数据处理。
因此，现有技术中，在使用深度学习模型进行作物遥感分类时，通常只学习图像中包含的信息，由于深度学习缺乏这种基本而重要的知识认知和推理能力，在对农作物进行分类识别时导致分类结果的准确率较低。
发明内容
有鉴于此，本申请实施例的目的在于提供一种融合模型构建方法、融合模型使用方法、装置和电子设备，以改善现有技术中存在的对农作物类型进行分类时准确率较低的问题。
第一方面，本申请实施例提供了一种融合模型构建方法，所述方法包括：
根据目标作物群的遥感分类知识构建静态知识图谱；
根据各个时间点的所述静态知识图谱，构建动态知识图谱；
将所述动态知识图谱与深度学习模型进行融合，得到融合模型，其中，所述融合模型用于对所述目标作物群的作物类型进行分类。
在上述实现过程中，根据需要进行作物类型分类的目标作物群的遥感分类知识，建立每个时间点对应的静态知识图谱，通过各个时间点的静态知识图谱结合，得到动态化的动态知识图谱。通过将动态知识图谱与深度学习模型进行融合，得到用于对目标作物群的作物进行分类的融合模型，能够在深度学习模型的基础上，结合具有时间序列的知识图谱，有效地提高了融合模型的分类准确率，使融合模型具有认知和推理能力，为智慧农业发展提供支撑。
可选地，所述根据目标作物群的遥感分类知识构建静态知识图谱，包括：
获取所述遥感分类知识中所述目标作物群的作物类型；
计算得到所述作物类型中任意两个作物类型之间的分类相似度；
根据所述分类相似度获取每一个所述作物类型对应的关系子图；
根据多个所述关系子图，构建静态知识图谱。
在上述实现过程中，通过遥感分类知识获取目标作物群中每个作物类型分类相似度的关系子图，能够根据多个关系子图获取整个目标作物群的静态知识图谱。通过对任意两种作物类型之间分类相似度计算的准确度进行获取，增加了各个关系子图的准确度，从而增加静态知识图谱的准确度，适用于多种具有不同作物类型的情况。
可选地，所述计算得到所述作物类型中任意两个作物类型之间的分类相似度，包括：
基于第一表达式计算所述作物类型中任意两个作物类型之间的分类相似度，所述第一表达式包括：
Figure BDA0003171543830000021
其中，assocB(ci，cj)表示所述作物类型中第i类型与第j类型的分类相似度，Cij表示所述第i类型划分为所述第j类型的概率，N表示所述作物类型的类型数量。
在上述实现过程中，通过第一表达式对目标作物群中任意两个作物类型之间的分类相似度进行计算，能够对目标作物群中作物类型进行实体关系的表达与量化，有效地提高了分类相似度的针对性和有效性。
可选地，所述根据各个时间点的所述静态知识图谱，构建动态知识图谱，包括：
根据所述遥感分类知识，确定对应的时间数据；
根据所述时间数据计算各个时间点中归一化植被指数的时序相似性；
将所述时序相似性添加到对应的所述静态知识图谱中，以对各个时间点的所述静态知识图谱进行更新，得到动态知识图谱。
在上述实现过程中，通过对各个时间点的时间数据中的时序相似性进行计算，在对应的静态知识图谱中添加相应的时序相似性进行更新，能够对静态知识图谱进行动态化，得到遥感分类知识对应的动态知识图谱。静态知识图谱随着时间的推移而变化、递归或演化，不断地对知识图谱进行更新，进行知识图谱的进化，以实现知识图谱与时间对应的动态化，有效地提高了动态知识图谱的精度、准确性和实时性。
可选地，所述将所述动态知识图谱与深度学习模型进行融合，得到融合模型，包括：
在深度学习模型中导入所述动态知识图谱；
根据所述知识图谱对所述深度学习模型进行训练，以对所述动态知识图谱与深度学习模型进行融合，得到融合模型。
在上述实现过程中，通过深度学习模型与动态知识图谱的结合，能够在深度学习模型的基础上，将动态知识图谱代入进行训练，以将深度学习模型与动态知识图谱进行融合，获取融合模型。有效地提高了在遥感分类知识的基础上，深度学习模型进行作物类型分类时的精度和准确率。
可选地，所述根据目标作物群的遥感分类知识构建静态知识图谱之前，所述方法还包括：
接收目标作物群对应的影像数据；
对所述影像数据和所述目标作物群的领域知识进行结合，将结合结果作为遥感分类知识。
在上述实现过程中，通过在目标作物群的场景对应的影像数据的基础上，结合目标作物群对应的领域知识进行数据结合，能够获取与目标作物群对应的遥感分类知识，为后续根据遥感分类知识构建知识图谱提供准确的数据支持。
第二方面，本申请实施例还提供了一种融合模型使用方法，所述方法包括：
根据上述任意一项所述的融合模型构建方法中得到的融合模型进行数据聚合，得到聚合信息；
根据所述聚合信息进行数据输出，根据输出结果确定目标作物群中作物类型的分类结果。
在上述实现过程中，通过对融合模型构建方法中构建得到的融合模型进行聚合和输出，能够对目标作物群的作物类型进行准确地分类，得到对应的分类结果，以实现融合模型在农业中的相应使用。
可选地，所述根据输出结果确定目标作物群中作物类型的分类结果之后，所述方法还包括：
根据所述分类结果进行制图，得到制图数据。
在上述实现过程中，通过对分类结果进行制图，能够对目标作物群的种群信息和分类结果进行对应地显示，以供用户对目标作物群的种群信息和分类结果进行直接地查看和分析，提升了融合模型的使用体验，满足多种用户需求。
第三方面，本申请实施例还提供了一种融合模型构建装置，所述装置包括：
静态模块，用于根据目标作物群的遥感分类知识构建静态知识图谱；
动态模块，用于根据各个时间点的所述静态知识图谱，构建动态知识图谱；
融合模块，用于将所述动态知识图谱与深度学习模型进行融合，得到融合模型，其中，所述融合模型用于对所述目标作物群的作物类型进行分类。
在上述实现过程中，通过静态模块根据目标作物群的遥感分类知识构建静态知识图谱，通过动态模块基于静态知识图谱的时间信息构建动态知识图谱，通过融合模块对动态知识图谱和深度学习模型进行融合，以得到融合模型。能够在深度学习模型的基础上，结合具有时间序列的知识图谱，有效地提高了融合模型的分类准确率，使融合模型具有认知和推理能力，为智慧农业发展提供支撑。
第四方面，本申请实施例还提供了一种融合模型使用装置，所述装置包括：
聚合模块，用于根据上述任意一项所述的融合模型构建方法中得到的融合模型进行数据聚合，得到聚合信息；
输出模块，用于根据所述聚合信息进行数据输出，根据输出结果确定目标作物群中作物类型的分类结果。
在上述实施过程中，通过聚合模块对融合模型进行数据聚合，以得到聚合信息，通过输出模块对聚合信息进行输出，以得到分类结果。能够对目标作物群的作物类型进行准确地分类，得到对应的分类结果，以实现融合模型在农业中的相应使用。
第五方面，本申请实施例还提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行上述的融合模型构建方法和融合模型使用方法中的任一实现方式中的步骤。
综上所述，本申请提供一种融合模型构建方法、融合模型使用方法、装置和电子设备，根据需要进行作物类型分类的作物群的遥感分类知识进行知识图谱的构建，通过将知识图谱与深度学习模型进行融合训练，能够提高融合模型对作物类型进行分类的准确率，为智慧农业发展提供支撑。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种融合模型构建方法的流程示意图；
图2为本申请实施例提供的一种步骤S1的详细流程示意图；
图3为本申请实施例提供的一种步骤S2的详细流程示意图；
图4为本申请实施例提供的一种融合模型使用方法的流程示意图；
图5为本申请实施例提供的一种融合模型构建装置的结构示意图；
图6为本申请实施例提供的一种融合模型使用装置的结构示意图。
图标：100-融合模型构建装置；110-静态模块；120-动态模块；130-融合模块；200-融合模型使用装置；210-聚合模块；220-输出模块。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请实施例的一部分实施例，而不是全部的实施例。基于本申请实施例的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请实施例保护的范围。
本申请实施例提供了一种融合模型构建方法和融合模型使用方法，应用于服务器，服务器可以为个人电脑(Personal Computer，PC)、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)等具有逻辑计算功能的电子设备。本方法能够根据目标作物群的遥感分类知识，构建对应的知识图谱，并将知识图谱与深度模型进行融合，以根据融合模型对目标作物群进行作物类型的分类，提高分类的准确率和精度。
请参阅图1，图1为本申请实施例提供的一种融合模型构建方法的流程示意图，包括以下步骤：
步骤S1，根据目标作物群的遥感分类知识构建静态知识图谱。
其中，根据遥感分类知识进行静态知识图谱的构建，知识图谱(Knowledge Graph，KG)，是指由实体和关系组成的多关系图，通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法，利用图像分类任务中的知识图思想，可以将类别之间的相关性视为知识图中的一种关系。应用范围从语义解析扩展到信息提取，显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。
值得说明的是，目标作物群的遥感分类知识可以包括通过卫星获取的卫星遥感影像数据(Remote Sensing Image，RS)与农业领域的领域知识。遥感分类知识能够分析不同作物对遥感信号的响应，获取不同作物的光谱、纹理、植被指数及其变化特征等数据。
可选地，在步骤S1之前，所述方法还包括步骤Sa1-Sa2：
步骤Sa1，接收目标作物群对应的影像数据。
其中，接收卫星或检测终端发送的目标作物群对应的影像数据，影像数据中包括目标作物群的影像特征，影像数据可以为记录各种地物电磁波大小的胶片或照片等图片信息，例如卫星照片或航空相片等。
示例地，影像数据可以为多时相Sentinel-2(哨兵2号)卫星遥感影像数据，也可以为其他卫星的影像数据。
步骤Sa2，对所述影像数据和所述目标作物群的领域知识进行结合，将结合结果作为遥感分类知识。
可选地，领域知识可以为农业领域的先验知识，例如来源于农业专家，文本形式的文献的数据、以网络结构数据的网页；影像特征可以包括不同作物影像光谱特征观测试验及其他分类先验知识，观测试验包括无人机观测与近地相机观测。示例地，获取领域知识的方式可以为接收农业专家或文本形式的文献。
值得说明的是，通过在目标作物群的场景对应的影像数据基础上，结合目标作物群对应的领域知识，能够获取与目标作物群对应的遥感分类知识，为后续根据遥感分类知识构建知识图谱提供准确的数据支持。
执行完步骤S1后，继续执行步骤S2。
步骤S2，根据各个时间点的所述静态知识图谱，构建动态知识图谱。
其中，由于遥感分类知识中包括时间数据，不同的时间点都具有对应的静态知识图谱，因此在每一个静态知识图谱中加入对应的时间数据，对静态知识图谱进行更新，以构建动态的知识图谱。
值得说明的是，各个时间点的静态知识图谱的模型构架相同，由于时间的变化，根据目标作物群产生的变化对静态知识图谱进行对应的填充，以得到各个时间点对应的静态知识图谱。
示例地，动态知识图谱中的时间知识演化表达，通过动态知识图谱的模型，知识随着时间的推移而发生、递归或演化。例如，动态知识图谱中可以包括某种作物在3、4、5三个月份中的生长状态，动态知识图谱随着该作物的生长，基于时间的变化进行相应地变化，根据时间维度的变化增加知识图谱的准确性和实时性。
执行完步骤S2后，继续执行步骤S3。
步骤S3，将所述动态知识图谱与深度学习模型进行融合，得到融合模型。
其中，所述融合模型用于对所述目标作物群的作物类型进行分类，有效地提高了作物分类的准确率、精度和计算效率，深度学习(Deep Learning，DL)是机器学习(MachineLearning，ML)领域中一个研究方向，深度学习是学习样本数据的内在规律和表示层次，在学习过程中获得的信息对诸如文字，图像和声音等数据。深度学习能够识别文字、图像和声音等数据。
可选地，步骤S3中还可以包括步骤S31-S32：
步骤S31，在深度学习模型中导入所述动态知识图谱。
其中，深度学习模型可以为基于受限玻尔兹曼机(Restricted BoltzmannMachine，RBM)的深度信念网络(Deep Belief Network，DBN)、基于自动编码器(AutoEncoder，AE)的堆叠自动编码器(Stacked Auto Encoders，SAE)；卷积神经网络(Convolutional Neural Networks，CNN)、递归神经网络(Recurrent Neural Networks，RNN)等模型中的任意一种。
步骤S32，根据所述知识图谱对所述深度学习模型进行训练，以对所述动态知识图谱与深度学习模型进行融合，得到融合模型。
可选地，以CNN为例，在进行融合训练时，可以先将遥感分类知识中的影像数据输入CNN卷积神经网络，输入COVN卷积层求卷积，将卷积层结果输入全连接层FLC(动画文件格式)，连接所有的特征，在模型构架中，全连接层之后增加了一个图卷积层，图卷积包含了动态知识图谱中的类相似性信息，得到最终的融合模型。
值得说明的是，通过深度学习模型与动态知识图谱的结合，能够在深度学习模型的基础上，将动态知识图谱代入进行训练，以将深度学习模型与动态知识图谱进行融合，获取融合模型。有效地提高了在遥感分类知识的基础上，根据深度学习模型进行作物类型分类时的精度和准确率。
在图1所示的实施例中，通过将动态知识图谱与深度学习模型进行融合，得到用于对目标作物群的作物进行分类的融合模型，能够在深度学习模型的基础上，结合具有时间序列的知识图谱，有效地提高了融合模型的分类准确率，使融合模型具有认知和推理能力，为智慧农业发展提供支撑。
请参阅图2，图2为本申请实施例提供的一种步骤S1的详细流程示意图，包括以下步骤：
步骤S11，获取所述遥感分类知识中所述目标作物群的作物类型。
其中，目标作物群中可以包括多个不同种类的作物类型，例如小麦、水稻、大豆等。
值得说明的是，可以对遥感分类知识进行概念和实体抽取，进行实体关系表达与量化，以获取目标作物群的作物类型之间的实体关系，根据实体关系计算目标作物群中各个作物类型之间的分类相似度。在概念和实体抽取中，可以先将遥感分类知识建模为一个三元组，建模方式如下：
KG＝{(s，r，o)|s，o∈E，r∈R}；
其中，KG表示静态知识图谱，E表示实体的集合，R表示本体中可能的关系集，s表示主体，r表示关系，o表示客体。在知识图谱的构建中，主体s是图谱构建的基本单位，合理的关系图构建可以使得实体的相关信息变得更加清晰，还有利于后续融合模型进行作物类型分类。选取遥感影像内所有可能的作物类型作为实体节点，如冬小麦、夏玉米、春玉米、高粱、大豆、水稻、棉花等。每一种作物都会伴随着遥感影像光谱特征或植被指数特征的表现，可以将其作为作物实体的属性值对其进行属性的填充。
执行完步骤S11后，继续执行步骤S12。
步骤S12，计算得到所述作物类型中任意两个作物类型之间的分类相似度。
其中，可以采用影像类别误分比的先验知识，例如，使用分类混淆矩阵或关联矩阵误差等方式表达分类相似度，关联矩阵计算类别对之间的交叉误差，隐含了类别之间的相似程度。
可选地，可以基于第一表达式计算所述作物类型中任意两个作物类型之间的分类相似度，所述第一表达式包括：
Figure BDA0003171543830000111
其中，assocB(Ci，cj)表示所述作物类型中第i类型与第j类型的分类相似度，Cij表示所述第i类型划分为所述第j类型的概率，N表示所述作物类型的类型数量。
执行完步骤S12后，继续执行步骤S13。
步骤S13，根据所述分类相似度获取每一个所述作物类型对应的关系子图。
其中，根据目标作物群中实体关系之间关联的分类相似度，建立单个作物类型的实体关系图，然后将每个相关的单个类型的实体关系图组合成关系子图，每个关系子图都是一个主类。
执行完步骤S13后，继续执行步骤S14。
步骤S14，根据多个所述关系子图，构建静态知识图谱。
其中，将所有关系子图进行组合，构建一个完整的静态知识图谱。
值得说明的是，若一个类的数据经常被误分类为另一个类，就认为这两个类有很高的相似性。
在图2所示的实施例中，通过对遥感分类知识进行概念和实体抽取，根据实体关系表达与量化对任意两种作物类型之间分类相似度计算的准确度进行获取，增加了各个关系子图的准确度，从而增加静态知识图谱的准确度，适用于多种具有不同作物类型的情况。
请参阅图3，图3为本申请实施例提供的一种步骤S2的详细流程示意图，包括以下步骤：
步骤S21，根据所述遥感分类知识，确定对应的时间数据。
可选地，可以将原有的静态知识图谱的三元组进行修改，得到四元组，四元组如下：
TKG＝{(s,r,o,t)|s,o∈E,r∈R,t∈T}；
其中，TKG表示动态知识图谱，t为时间，T为所有的时间戳集合。
值得说明的是，在深度学习算法在土地利用、覆盖分类、场景分类和物体检测的农业领域的检测中，将多时态遥感分类知识作为独立的多变量数据处理，忽略了时间维度，数据的时间和光谱维数都没有得到充分利用，导致分类效果较差。而获取的遥感分类知识的时间数据，可以捕捉到不同类别物体不同表现的时间模式知识，为深度学习算法添加基本而重要的认知和推理能力。
执行完步骤S21后，继续执行步骤S22。
步骤S22，根据所述时间数据计算各个时间点中归一化植被指数的时序相似性。
其中，根据动态知识图谱中的时间知识演化表达，在静态知识图谱的模型基础上，由于知识随着时间的推移而发生、递归或演化，可以根据时间序列遥感分类的实际，通过DTW(Dynamic Time Warping，动态时间规整)算法计算NDVI(Normalized DifferenceVegetation Index，归一化植被指数)形态时序相似性。
可选地，DTW距离，即动态时间规整距离，是基于动态规划的时序距离测量的主要方法之一，其原理如下：
设两条时间序列S1(t)＝{s1 1,s2 1,…,sm 1}，S2(t)＝{s12,s2 2,…,sn 2}，其长度分别为m和n。按照他们的时间位置进行排序，构造m×n矩阵Am×n。矩阵Am×n中的每个元素间距离为
Figure BDA0003171543830000121
在矩阵Am×n中，把一组相邻的矩阵元素的集合称为弯曲路径，记弯曲路径为W＝{w1,w2,…,wk}，W的第k个元素为wk＝(aij)k。将两个时间序列构成矩阵，矩阵中的值即元素间的距离(序列中相应元素之差开平方的平方根)。因此，DTW算法可以归结为运用动态规划思想寻找一条具有最小弯曲代价的最佳路径，即：
Figure BDA0003171543830000131
式中，i＝2,3,4,…,m，j＝2,3,…,n，Am×n中弯曲路径的最小累加值D(m,n)。通过DTW距离进行时序距离的匹配，其时序点对点的对齐方式可以错位，以解决因物候或耕作方式造成同类作物生长条件的延滞，提高鲁棒性。将DTW距离作为作物类间的相似性先验知识进行学习。这样，随着遥感分类知识的加入，更新NDVI时序构建，根据构建的NDVI的时序相似性变化，不断更新模型，实现知识进化。
值得说明的是，可以使用ENVI(The Environment for Visualizing Images，遥感图像处理软件)等软件，基于python编程环境和上述公式，对各个时间点的NDVI动态时间规整距离DTW进行计算和处理，获得NDVI形态的时序相似性。
执行完步骤S22后，继续执行步骤S23。
步骤S23，将所述时序相似性添加到对应的所述静态知识图谱中，以对各个时间点的所述静态知识图谱进行更新，得到动态知识图谱。
其中，将NDVI形态的时序相似性加入到对应的静态知识图谱中，即在静态知识图谱中加入结构化时态维信息，完成动态知识图谱的构建。
在图3所示的实施例中，通过对各个时间点的时间数据中的时序相似性进行计算，在对应的静态知识图谱中添加相应的时序相似性进行更新，能够对静态知识图谱进行动态化，得到遥感分类知识对应的动态知识图谱。静态知识图谱随着时间的推移而变化、递归或演化，不断地对知识图谱进行更新，进行知识图谱的进化，以实现知识图谱与时间对应的动态化，有效地提高了动态知识图谱的精度、准确性和实时性。
请参阅图4，图4为本申请实施例提供的一种融合模型使用方法的流程示意图，包括以下步骤：
步骤S4，根据融合模型进行数据聚合，得到聚合信息。
其中，融合模型可以为上述实施例中任意一项融合模型构建方法中得到的融合模型，通过数据聚合，对隐数据进行表达，对类嵌入信息进行接收，并在类之间做卷积，并聚合邻域信息，得到对应的聚合信息。
执行完步骤S4后，继续执行步骤S5。
步骤S5，根据所述聚合信息进行数据输出，根据输出结果确定目标作物群中作物类型的分类结果。
其中，根据聚合信息进行数据输出，输出结果可以为新的数据和类嵌入，根据输出结果计算出分类结果，例如，新的数据和类嵌入被进一步用来计算类的得分，示例地，可以将输出结果输入Softmax(输出层激励函数)概率分类器中产生最终分类结果。
可选地，分类结果可以为图像、表格或文字的表达形式进行显示，服务器还可以将分类结果发送给对应的用户终端，例如检测人员、研究人员等工作人员的工作终端上，以供工作人员对分类结果进行查看和分析，服务器还可以接受工作人员根据分类结果提交的反馈数据，以提高分类结果的准确率，提升了用户的使用体验。
可选地，在步骤S5之后，所述方法还可以包括：
步骤S6，根据所述分类结果进行制图，得到制图数据。
其中，制图数据能够对目标作物群的作物类型以及分布位置进行对应的绘制，以供用户进行查看和分析，还可以对制图数据保存在历史数据库中，以供工作人员根据时间维度对目标作物群的作物类型进行纵向分析等操作。
可选地，通过对分类结果进行制图，能够对目标作物群的种群信息和分类结果进行对应地显示。以供用户对目标作物群的种群信息和分类结果进行直接地查看和分析，提升了融合模型的使用体验，满足多种用户需求。
在图4所示的实施例中，通过对融合模型构建方法中构建得到的融合模型进行聚合和输出，能够对目标作物群的作物类型进行准确地分类，得到对应的分类结果，以实现融合模型在农业中的相应使用。
请参阅图5，图5为本申请实施例提供的一种融合模型构建装置的结构示意图，该融合模型构建装置100包括：
静态模块110，用于根据目标作物群的遥感分类知识构建静态知识图谱；
动态模块120，用于根据各个时间点的所述静态知识图谱，构建动态知识图谱；
融合模块130，用于将所述动态知识图谱与深度学习模型进行融合，得到融合模型，其中，所述融合模型用于对所述目标作物群的作物类型进行分类。
静态模块110还包括计算子模块和图谱子模块；
计算子模块，用于获取所述遥感分类知识中所述目标作物群的作物类型；
计算得到所述作物类型中任意两个作物类型之间的分类相似度；
图谱子模块，用于根据所述分类相似度获取每一个所述作物类型对应的关系子图；
根据多个所述关系子图，得到静态知识图谱。
计算子模块，还用于基于第一表达式计算所述作物类型中任意两个作物类型之间的分类相似度，所述第一表达式包括：
Figure BDA0003171543830000151
其中，assocB(Ci，cj)表示所述作物类型中第i类型与第j类型的分类相似度，C∈RN*N表示关联矩阵，Cij表示所述第i类型划分为所述第j类型的概率，N表示所述作物类型的类型数量。
动态模块120还包括：时序子模块和更新子模块；
时序子模块，用于根据所述遥感分类知识，确定对应的时间数据；
根据所述时间数据计算各个时间点中归一化植被指数的时序相似性；
更新子模块，用于将所述时序相似性添加到对应的所述静态知识图谱中，以对各个时间点的所述静态知识图谱进行更新，得到动态知识图谱。
融合模块130还包括：导入子模块和训练子模块；
导入子模块，用于在深度学习模型中导入所述动态知识图谱；
训练子模块，用于根据所述知识图谱对所述深度学习模型进行训练，以对所述动态知识图谱与深度学习模型进行融合，得到融合模型。
融合模型构建装置100还包括：结合模块；
结合模块，用于接收目标作物群对应的影像数据；
对所述影像数据和所述目标作物群的领域知识进行结合，将结合结果作为遥感分类知识。
由于本申请实施例中的融合模型构建装置中解决问题的原理与前述的融合模型构建方法实施例相似，因此本实施例中的融合模型构建装置的实施可以参见上述融合模型构建方法的实施例中的描述，重复之处不再赘述。
在图5所示的实施例中，通过各个模块构建得到的融合模型，能够在深度学习模型的基础上，结合具有时间序列的知识图谱，有效地提高了融合模型的分类准确率，使融合模型具有认知和推理能力，为智慧农业发展提供支撑。
请参阅图6，图6为本申请实施例提供的一种融合模型使用装置的结构示意图，该融合模型使用装置200包括：聚合模块210和输出模块220。
聚合模块210，用于根据实施例1中任意一项融合模型构建方法中得到的融合模型进行数据聚合，得到聚合信息；
输出模块220，用于根据所述聚合信息进行数据输出，根据输出结果确定目标作物群中作物类型的分类结果。
融合模型使用装置200还包括：制图模块230；
制图模块230，用于根据所述分类结果进行制图，得到制图数据。
由于本申请实施例中的融合模型使用装置中解决问题的原理与前述的融合模型使用方法实施例相似，因此本实施例中的融合模型使用装置的实施可以参见上述融合模型使用方法的实施例中的描述，重复之处不再赘述。
在图6所示的实施例中，通过各个模块对融合模型进行使用，能够对目标作物群的作物类型进行准确地分类和显示，得到对应的分类结果和制图数据，以实现融合模型在农业中的相应使用。
本申请实施例还提供了一种电子设备，该电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行本实施例提供的融合模型构建方法和融合模型使用方法中任一项所述方法中的步骤。
应当理解是，该电子设备可以是个人电脑(Personal Computer，PC)、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)等具有逻辑计算功能的电子设备。
本申请实施例还提供了一种可读取存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行融合模型构建方法和融合模型使用方法中的步骤。
综上所述，本申请提供一种融合模型构建方法、融合模型使用方法、装置和电子设备，根据需要进行作物类型分类的作物群的遥感分类知识进行知识图谱的构建，通过将知识图谱与深度学习模型进行融合训练，能够提高融合模型对作物类型进行分类的准确率，为智慧农业发展提供支撑。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的框图显示了根据本申请的多个实施例的设备的可能实现的体系架构、功能和操作。在这点上，框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图中的每个方框、以及框图的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。因此本实施例还提供了一种可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行区块数据存储方法中任一项所述方法中的步骤。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RanDom Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (11)

1.一种融合模型构建方法，其特征在于，所述方法包括：
根据目标作物群的遥感分类知识构建静态知识图谱；
根据各个时间点的所述静态知识图谱，构建动态知识图谱；
将所述动态知识图谱与深度学习模型进行融合，得到融合模型，其中，所述融合模型用于对所述目标作物群的作物类型进行分类。
2.根据权利要求1所述的方法，其特征在于，所述根据目标作物群的遥感分类知识构建静态知识图谱，包括：
获取所述遥感分类知识中所述目标作物群的作物类型；
计算得到所述作物类型中任意两个作物类型之间的分类相似度；
根据所述分类相似度获取每一个所述作物类型对应的关系子图；
根据多个所述关系子图，构建静态知识图谱。
3.根据权利要求2所述的方法，其特征在于，所述计算得到所述作物类型中任意两个作物类型之间的分类相似度，包括：
基于第一表达式计算所述作物类型中任意两个作物类型之间的分类相似度，所述第一表达式包括：
Figure FDA0003171543820000011
其中，assocB(ci，cj)表示所述作物类型中第i类型与第j类型的分类相似度，Cij表示所述第i类型划分为所述第j类型的概率，N表示所述作物类型的类型数量。
4.根据权利要求1所述的方法，其特征在于，所述根据各个时间点的所述静态知识图谱，构建动态知识图谱，包括：
根据所述遥感分类知识，确定对应的时间数据；
根据所述时间数据计算各个时间点中归一化植被指数的时序相似性；
将所述时序相似性添加到对应的所述静态知识图谱中，以对各个时间点的所述静态知识图谱进行更新，得到动态知识图谱。
5.根据权利要求1所述的方法，其特征在于，所述将所述动态知识图谱与深度学习模型进行融合，得到融合模型，包括：
在深度学习模型中导入所述动态知识图谱；
根据所述知识图谱对所述深度学习模型进行训练，以对所述动态知识图谱与深度学习模型进行融合，得到融合模型。
6.根据权利要求1所述的方法，其特征在于，所述根据目标作物群的遥感分类知识构建静态知识图谱之前，所述方法还包括：
接收目标作物群对应的影像数据；
对所述影像数据和所述目标作物群的领域知识进行结合，将结合结果作为遥感分类知识。
7.一种融合模型使用方法，其特征在于，所述方法包括：
根据权利要求1-6中任意一项所述的融合模型构建方法中得到的融合模型进行数据聚合，得到聚合信息；
根据所述聚合信息进行数据输出，根据输出结果确定目标作物群中作物类型的分类结果。
8.根据权利要求7所述的方法，其特征在于，所述根据输出结果确定目标作物群中作物类型的分类结果之后，所述方法还包括：
根据所述分类结果进行制图，得到制图数据。
9.一种融合模型构建装置，其特征在于，所述装置包括：
静态模块，用于根据目标作物群的遥感分类知识构建静态知识图谱；
动态模块，用于根据各个时间点的所述静态知识图谱，构建动态知识图谱；
融合模块，用于将所述动态知识图谱与深度学习模型进行融合，得到融合模型，其中，所述融合模型用于对所述目标作物群的作物类型进行分类。
10.一种融合模型使用装置，其特征在于，所述装置包括：
聚合模块，用于根据权利要求1-6中任意一项所述的融合模型构建方法中得到的融合模型进行数据聚合，得到聚合信息；
输出模块，用于根据所述聚合信息进行数据输出，根据输出结果确定目标作物群中作物类型的分类结果。
11.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器运行所述程序指令时，执行权利要求1-8中任一项所述方法中的步骤。
CN202110819549.3A 2021-07-20 2021-07-20 融合模型构建方法、融合模型使用方法、装置和电子设备 Active CN113408663B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110819549.3A CN113408663B (zh) 2021-07-20 2021-07-20 融合模型构建方法、融合模型使用方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110819549.3A CN113408663B (zh) 2021-07-20 2021-07-20 融合模型构建方法、融合模型使用方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN113408663A true CN113408663A (zh) 2021-09-17
CN113408663B CN113408663B (zh) 2022-04-08

Family

ID=77687038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110819549.3A Active CN113408663B (zh) 2021-07-20 2021-07-20 融合模型构建方法、融合模型使用方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN113408663B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114112992A (zh) * 2022-01-20 2022-03-01 武汉工程大学 一种奶油亮蓝色素的检测方法、装置及存储介质
CN114636882A (zh) * 2022-03-24 2022-06-17 国网江西省电力有限公司电力科学研究院 一种基于数字孪生的变压器偏磁检测系统及方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800671A (zh) * 2018-12-28 2019-05-24 北京市遥感信息研究所 面向目标解译的多源遥感信息知识图谱构建方法和系统
CN109918478A (zh) * 2019-02-26 2019-06-21 北京悦图遥感科技发展有限公司 基于知识图谱获取地理产品数据的方法和装置
CN110990627A (zh) * 2019-12-05 2020-04-10 北京奇艺世纪科技有限公司 一种知识图谱构建的方法、装置、电子设备及介质
CN111367961A (zh) * 2020-02-27 2020-07-03 西安交通大学 基于图卷积神经网络的时序数据事件预测方法、系统及其应用
CN111915090A (zh) * 2020-08-10 2020-11-10 哈尔滨安天科技集团股份有限公司 基于知识图谱的预测方法、装置、电子设备及存储介质
CN112231460A (zh) * 2020-10-27 2021-01-15 中国科学院合肥物质科学研究院 一种基于农业百科知识图谱的问答系统的构建方法
CN112365171A (zh) * 2020-11-16 2021-02-12 广州杰赛科技股份有限公司 基于知识图谱的风险预测方法、装置、设备及存储介质
CN112527999A (zh) * 2020-12-22 2021-03-19 江苏省农业科学院 引入农业领域知识的抽取式智能问答方法及系统
CN112579813A (zh) * 2020-12-24 2021-03-30 上海湃星信息科技有限公司 一种基于知识图谱的遥感图像检索方法及其装置
CN112732939A (zh) * 2021-01-15 2021-04-30 中国科学院空天信息创新研究院 基于GraphDB的时空知识图谱构建方法、装置、介质及设备
CN112905738A (zh) * 2021-02-05 2021-06-04 中山大学 一种基于时态知识图谱推理的社交关系演变预测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800671A (zh) * 2018-12-28 2019-05-24 北京市遥感信息研究所 面向目标解译的多源遥感信息知识图谱构建方法和系统
CN109918478A (zh) * 2019-02-26 2019-06-21 北京悦图遥感科技发展有限公司 基于知识图谱获取地理产品数据的方法和装置
CN110990627A (zh) * 2019-12-05 2020-04-10 北京奇艺世纪科技有限公司 一种知识图谱构建的方法、装置、电子设备及介质
CN111367961A (zh) * 2020-02-27 2020-07-03 西安交通大学 基于图卷积神经网络的时序数据事件预测方法、系统及其应用
CN111915090A (zh) * 2020-08-10 2020-11-10 哈尔滨安天科技集团股份有限公司 基于知识图谱的预测方法、装置、电子设备及存储介质
CN112231460A (zh) * 2020-10-27 2021-01-15 中国科学院合肥物质科学研究院 一种基于农业百科知识图谱的问答系统的构建方法
CN112365171A (zh) * 2020-11-16 2021-02-12 广州杰赛科技股份有限公司 基于知识图谱的风险预测方法、装置、设备及存储介质
CN112527999A (zh) * 2020-12-22 2021-03-19 江苏省农业科学院 引入农业领域知识的抽取式智能问答方法及系统
CN112579813A (zh) * 2020-12-24 2021-03-30 上海湃星信息科技有限公司 一种基于知识图谱的遥感图像检索方法及其装置
CN112732939A (zh) * 2021-01-15 2021-04-30 中国科学院空天信息创新研究院 基于GraphDB的时空知识图谱构建方法、装置、介质及设备
CN112905738A (zh) * 2021-02-05 2021-06-04 中山大学 一种基于时态知识图谱推理的社交关系演变预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIALI LIANG ET AL: "A Deep Neural Network Combined CNN and GCN for Remote Sensing Scene Classification", 《IEEE JOURNAL OF SELECTED TOPICE IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》 *
姜强等: "面向深度学习的动态知识图谱建构模型及评测", 《学习环境与资源》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114112992A (zh) * 2022-01-20 2022-03-01 武汉工程大学 一种奶油亮蓝色素的检测方法、装置及存储介质
CN114112992B (zh) * 2022-01-20 2022-04-12 武汉工程大学 一种奶油亮蓝色素的检测方法、装置及存储介质
CN114636882A (zh) * 2022-03-24 2022-06-17 国网江西省电力有限公司电力科学研究院 一种基于数字孪生的变压器偏磁检测系统及方法

Also Published As

Publication number Publication date
CN113408663B (zh) 2022-04-08

Similar Documents

Publication Publication Date Title
Jiang A survey on spatial prediction methods
CN111666313B (zh) 基于多源异构遥感数据关联构建及多用户数据匹配方法
CN106909924B (zh) 一种基于深度显著性的遥感影像快速检索方法
US7512273B2 (en) Digital ink labeling
Ibrahim et al. URBAN-i: From urban scenes to mapping slums, transport modes, and pedestrians in cities using deep learning and computer vision
Zhu et al. Spatial regression graph convolutional neural networks: A deep learning paradigm for spatial multivariate distributions
Sisodia et al. A comparative analysis of remote sensing image classification techniques
CN113408663B (zh) 融合模型构建方法、融合模型使用方法、装置和电子设备
Gao et al. Small sample classification of hyperspectral image using model-agnostic meta-learning algorithm and convolutional neural network
Hu et al. Improving the accuracy of landslide detection in “off-site” area by machine learning model portability comparison: A case study of Jiuzhaigou earthquake, China
Hamedianfar et al. Synergistic use of particle swarm optimization, artificial neural network, and extreme gradient boosting algorithms for urban LULC mapping from WorldView-3 images
Ahmed et al. Knowledge graph based trajectory outlier detection in sustainable smart cities
CN113222068B (zh) 基于邻接矩阵指导标签嵌入的遥感图像多标签分类方法
Yang et al. Detecting interchanges in road networks using a graph convolutional network approach
CN116310850B (zh) 基于改进型RetinaNet的遥感图像目标检测方法
Guo et al. Predicting potential distributions of geographic events using one-class data: concepts and methods
Rivas-Perea et al. Statistical and neural pattern recognition methods for dust aerosol detection
Xiao et al. A point selection method in map generalization using graph convolutional network model
Sen et al. Unsupervised extraction of urban features from airborne lidar data by using self-organizing maps
Wang et al. A Comparative Study of a Fully-Connected Artificial Neural Network and a Convolutional Neural Network in Predicting Bridge Maintenance Costs
CN116383441A (zh) 社群检测方法、装置、计算机设备和存储介质
CN112015937B (zh) 一种图片地理定位方法及系统
CN115310672A (zh) 城市发展预测模型的构建方法、城市发展预测方法及装置
Berkani et al. Spatio-temporal forecasting: A survey of data-driven models using exogenous data
Luo et al. Multi‐scale information extraction from high resolution remote sensing imagery and region partition methods based on GMRF–SVM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant