CN110909181A - 一种面向多类型海洋数据的跨模态检索方法及系统 - Google Patents

一种面向多类型海洋数据的跨模态检索方法及系统 Download PDF

Info

Publication number
CN110909181A
CN110909181A CN201910943576.4A CN201910943576A CN110909181A CN 110909181 A CN110909181 A CN 110909181A CN 201910943576 A CN201910943576 A CN 201910943576A CN 110909181 A CN110909181 A CN 110909181A
Authority
CN
China
Prior art keywords
data
network model
ocean
gan network
source data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910943576.4A
Other languages
English (en)
Inventor
杨永全
刘园园
魏志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Qingdao National Laboratory for Marine Science and Technology Development Center
Original Assignee
Ocean University of China
Qingdao National Laboratory for Marine Science and Technology Development Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China, Qingdao National Laboratory for Marine Science and Technology Development Center filed Critical Ocean University of China
Priority to CN201910943576.4A priority Critical patent/CN110909181A/zh
Publication of CN110909181A publication Critical patent/CN110909181A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向多类型海洋数据的跨模态检索方法及系统，包括：对多个不同类型的海洋源数据进行预处理，以获取处理数据；对第一GAN网络模型进行优化，以确定最优权重对应的第一最优GAN网络模型；对第二GAN网络模型进行优化，以确定第二最优GAN网络模型；利用第一最优GAN网络模型和第二最优GAN网络模型对获取的海洋待检索数据进行处理，以获取所述海洋待检索数据对应的最优检索结果。本发明将人工智能的图像技术和文本技术进行有效的结合，能够深度挖掘文本与图像特征之间的联系，实现了基于文字的图像生成与检索功能和基于图像的文本生成与检索功能，实现了不同模态数据的跨模态检索，建立了高性能、高效率的面向海洋多类型数据的跨模态检索系统。

Description

一种面向多类型海洋数据的跨模态检索方法及系统
技术领域
本发明涉及计量校准领域，并且更具体地，涉及一种面向多类型海洋数据的跨模态检索方法及系统。
背景技术
随着海洋信息技术的发展以及国内以高速网络、物联网、云计算、人工智能等新一代技术为核心的“数字海洋”、“智慧海洋”国家战略的提出，海洋数据量呈现爆炸性的增长，包括来自船只(商业、海军、研究)的测量或观测数据，系泊浮标和漂浮浮标数据，海岸站点数据以及其他海岸台站数据，海洋数据格式多样化，同时数据量不断累计增加，但如何有效利用多维、海量以及实时监测的海洋数据获取海洋专业的信息，是挖掘海洋大数据潜在价值的关键。因此，海洋大数据跨模态检索具有重要意义。
用户对海洋大数据跨模态检索的需求主要体现在三方面：(1)给一段海洋文字描述检索匹配的图像，因此，对检索的图像内容无疑成为用户关注的重点；(2)给一幅海洋图片检索匹配的文字描述，因此，对检索的文字描述内容无疑成为用户关注的重点；(3)由于每个人对文字和图片的认知不同，需要对检索目标脑补预期的结果，以此来体现出该发明的智慧。
人工智能是研究计算机来模拟人的某些思维过程和智能行为，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，从人工智能诞生以来，应用领域不断扩大，实现了图像的修复、语音识别、文字翻译的功能。
因此，需要一种将人工智能的图像技术和文本技术进行有效的结合，以实现面向海洋多类型数据的跨模太检索的方法。
发明内容
本发明提出一种面向多类型海洋数据的跨模态检索方法及系统，以解决如何实现跨模态数据的检索问题。
为了解决上述问题，根据本发明的一个方面，提供了一种面向多类型海洋数据的跨模态检索方法，所述方法包括：
对多个不同类型的海洋源数据进行预处理，以获取每个海洋源数据对应的处理数据；其中，所述类型包括：图像类型和文本类型；
根据每层网络的当前的权重确定当前的第一GAN网络模型，在当前的第一GAN网络模型中根据每个海洋源数据的类型确定每个处理数据对应的编码器和解码器，并依次进行编码和解码处理，以获取每个海洋源数据对应的解析描述数据；
利用当前的第一GAN网络模型，计算每个海洋源数据对应的解析描述数据与对应的真实描述数据之间的损失函数，并根据所述损失函数按照预设的优化策略对所述第一GAN网络中每层网络对应的权重进行优化，以确定最优权重对应的第一最优GAN网络模型；
将利用所述第一最优GAN网络模型生成的每个海洋源数据对应的描述解析数据输入至第二GAN网络模型，并对所述第二GAN网络模型进行优化，以确定第二最优GAN网络模型；
利用所述第一最优GAN网络模型和第二最优GAN网络模型对获取的海洋待检索数据进行处理，以获取所述海洋待检索数据对应的最优检索结果。
优选地，其中所述对多个不同类型的海洋源数据进行预处理，以获取每个海洋源数据对应的处理数据，包括：
对每个图像类型的海洋源数据进行归一化处理，以获取每个图像类型的海洋源数据对应的处理数据；
对每个文本类型的海洋源数据按照预设的规则进行符号去除处理，并将经过符号去除处理的文本进行分词处理，将获取的词向量作为每个文本类型的海洋源数据对应的处理数据。
优选地，其中所述根据每层网络的当前的权重确定当前的第一GAN网络模型，在当前的第一GAN网络模型中根据每个海洋源数据的类型确定每个处理数据对应的编码器和解码器，并依次进行编码和解码处理，以获取每个海洋源数据对应的解析描述数据，包括：
根据每层网络的当前的权重确定当前的第一GAN网络模型；
对于每个图像类型的海洋源数据，在当前的第一GAN网络模型中确定编码器为卷积神经网络编码器，解码器为BiLSTM解码器，利用卷积神经网络编码器对每个图像类型的海洋源数据进行编码处理，以获取每个图像类型的海洋源数据的图像特征，并发送至BiLSTM解码器进行解码处理，以获取每个图像类型的海洋源数据对应的文本类型的解析描述数据；
对于每个文本类型的海洋源数据，在当前的第一GAN网络模型中确定编码器为BiLSTM编码器，解码器为卷积神经网络解码器，利用BiLSTM编码器对每个文本类型的海洋源数据进行编码处理，以获取每个文本类型的海洋源数据的文本特征，并发送至卷积神经网络解码器进行解码处理，以获取每个文本类型的海洋源数据对应的图像类型的解析描述数据。
优选地，其中所述利用如下方式计算每个海洋源数据对应的解析描述数据与对应的真实描述数据之间的损失函数：
Figure BDA0002223579170000031
其中，fcorr(vi,ti)为解析描述数据和真实描述数据之间的损失函数；fv(vi；Θr)为解析描述数据；fv(ti；Θr)为真实描述数据。
优选地，其中所述将利用所述第一最优GAN网络模型生成的每个海洋源数据对应的描述解析数据输入至第二GAN网络模型，并对所述第二GAN网络模型进行优化，以确定第二最优GAN网络模型，包括：
对于每个图像类型的海洋源数据，将利用所述第一最优GAN网络模型生成的文本类型的描述解析数据输入至所述第二GAN网络模型的第一生成器中作为强化学习的学习体，将第一生成器生成的文本序列输入至第一判别器，第一判别器基于生成的文本序列产生反馈结果并回传给第一生成器，通过强化学习策略更新生成器，以确定能够生成最优文本序列的生成网络；
对于每个文本类型的海洋源数据，将利用所述第一最优GAN网络模型生成的图像类型的描述解析数据输入至所述第二GAN网络模型的第二生成器中，所述第二生成器使用Resnet残差网络实现，通过残差网络将接收到的图像类型的描述解析数据生成高精度图像数据，并发送至第二判别器，所述第二判别器根据所述高精度图像和真实图像确定判别结果，并根据所述判别结果进行训练，以确定能够生成高精度图像的生成网络；
所述第二GAN网络模型包括：能够生成最优文本序列的生成网络和能够生成高精度图像的生成网络。
优选地，其中所述方法还包括：
在利用所述第一最优GAN网络模型和第二最优GAN网络模型对获取的海洋待检索数据进行处理前，根据所述海洋待检索数据的类型进行预处理，以获取所述海洋待检索数据对应的处理数据。
根据本发明的另一个方面，提供了一种面向多类型海洋数据的跨模态检索系统，所述系统包括：
预处理单元，用于对多个不同类型的海洋源数据进行预处理，以获取每个海洋源数据对应的处理数据；其中，所述类型包括：图像类型和文本类型；
解析描述数据获取单元，用于根据每层网络的当前的权重确定当前的第一GAN网络模型，在当前的第一GAN网络模型中根据每个海洋源数据的类型确定每个处理数据对应的编码器和解码器，并依次进行编码和解码处理，以获取每个海洋源数据对应的解析描述数据；
第一最优GAN网络模型确定单元，用于利用当前的第一GAN网络模型，计算每个海洋源数据对应的解析描述数据与对应的真实描述数据之间的损失函数，并根据所述损失函数按照预设的优化策略对所述第一GAN网络中每层网络对应的权重进行优化，以确定最优权重对应的第一最优GAN网络模型；
第二最优GAN网络模型确定单元，用于将利用所述第一最优GAN网络模型生成的每个海洋源数据对应的描述解析数据输入至第二GAN网络模型，并对所述第二GAN网络模型进行优化，以确定第二最优GAN网络模型；
最优检索结果获取单元，用于利用所述第一最优GAN网络模型和第二最优GAN网络模型对获取的海洋待检索数据进行处理，以获取所述海洋待检索数据对应的最优检索结果。
优选地，其中所述预处理单元，对多个不同类型的海洋源数据进行预处理，以获取每个海洋源数据对应的处理数据，包括：
对每个图像类型的海洋源数据进行归一化处理，以获取每个图像类型的海洋源数据对应的处理数据；
对每个文本类型的海洋源数据按照预设的规则进行符号去除处理，并将经过符号去除处理的文本进行分词处理，将获取的词向量作为每个文本类型的海洋源数据对应的处理数据。
优选地，其中所述解析描述数据获取单元，根据每层网络的当前的权重确定当前的第一GAN网络模型，在当前的第一GAN网络模型中根据每个海洋源数据的类型确定每个处理数据对应的编码器和解码器，并依次进行编码和解码处理，以获取每个海洋源数据对应的解析描述数据，包括：
根据每层网络的当前的权重确定当前的第一GAN网络模型；
对于每个图像类型的海洋源数据，在当前的第一GAN网络模型中确定编码器为卷积神经网络编码器，解码器为BiLSTM解码器，利用卷积神经网络编码器对每个图像类型的海洋源数据进行编码处理，以获取每个图像类型的海洋源数据的图像特征，并发送至BiLSTM解码器进行解码处理，以获取每个图像类型的海洋源数据对应的文本类型的解析描述数据；
对于每个文本类型的海洋源数据，在当前的第一GAN网络模型中确定编码器为BiLSTM编码器，解码器为卷积神经网络解码器，利用BiLSTM编码器对每个文本类型的海洋源数据进行编码处理，以获取每个文本类型的海洋源数据的文本特征，并发送至卷积神经网络解码器进行解码处理，以获取每个文本类型的海洋源数据对应的图像类型的解析描述数据。
优选地，其中所述第一最优GAN网络模型确定单元，利用如下方式计算每个海洋源数据对应的解析描述数据与对应的真实描述数据之间的损失函数：
Figure BDA0002223579170000061
其中，fcorr(vi,ti)为解析描述数据和真实描述数据之间的损失函数；fv(vi；Θr)为解析描述数据；fv(ti；Θr)为真实描述数据。
优选地，其中所述第二最优GAN网络模型确定单元，将利用所述第一最优GAN网络模型生成的每个海洋源数据对应的描述解析数据输入至第二GAN网络模型，并对所述第二GAN网络模型进行优化，以确定第二最优GAN网络模型，包括：
对于每个图像类型的海洋源数据，将利用所述第一最优GAN网络模型生成的文本类型的描述解析数据输入至所述第二GAN网络模型的第一生成器中作为强化学习的学习体，将第一生成器生成的文本序列输入至第一判别器，第一判别器基于生成的文本序列产生反馈结果并回传给第一生成器，通过强化学习策略更新生成器，以确定能够生成最优文本序列的生成网络；
对于每个文本类型的海洋源数据，将利用所述第一最优GAN网络模型生成的图像类型的描述解析数据输入至所述第二GAN网络模型的第二生成器中，所述第二生成器使用Resnet残差网络实现，通过残差网络将接收到的图像类型的描述解析数据生成高精度图像数据，并发送至第二判别器，所述第二判别器根据所述高精度图像和真实图像确定判别结果，并根据所述判别结果进行训练，以确定能够生成高精度图像的生成网络；
所述第二GAN网络模型包括：能够生成最优文本序列的生成网络和能够生成高精度图像的生成网络。
优选地，其中所述预处理单元，还包括：
在利用所述第一最优GAN网络模型和第二最优GAN网络模型对获取的海洋待检索数据进行处理前，根据所述海洋待检索数据的类型进行预处理，以获取所述海洋待检索数据对应的处理数据。
本发明提供了一种面向多类型海洋数据的跨模态检索方法及系统，包括：对多个不同类型的海洋源数据进行预处理，以获取每个海洋源数据对应的处理数据；对第一GAN网络模型进行优化，以确定最优权重对应的第一最优GAN网络模型；对第二GAN网络模型进行优化，以确定第二最优GAN网络模型；利用所述第一最优GAN网络模型和第二最优GAN网络模型对获取的海洋待检索数据进行处理，以获取所述海洋待检索数据对应的最优检索结果。本发明将人工智能的图像技术和文本技术进行有效的结合，能够深度挖掘文本与图像特征之间的联系，实现了基于文字的图像生成与检索功能和基于图像的文本生成与检索功能，实现了不同模态数据的跨模态检索，建立了高性能、高效率的面向海洋多类型数据的跨模太检索系统。
附图说明
通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：
图1为根据本发明实施方式的面向多类型海洋数据的跨模态检索方法100的流程图；
图2为根据本发明实施方式的对不同类型的海洋数据进行预处理的流程图；
图3为根据本发明实施方式的基于文本的BiLSTM自编码器和基于图片的卷积神经网络自编码器的内部结构示意图；
图4为根据本发明实施方式的利用第二GAN网络模型提升图像分辨率的流程图；
图5为根据本发明实施方式的利用第二GAN网络模型提升文本流畅度的流程图；
图6为根据本发明实施方式的客户端检索的流程示意图；
图7为根据本发明实施方式的客户端实现面向多类型海洋数据的跨模态检索的流程图；以及
图8为根据本发明实施方式的面向多类型海洋数据的跨模态检索系统800的结构示意图。
具体实施方式
现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。
除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。
图1为根据本发明实施方式的面向多类型海洋数据的跨模态检索方法100的流程图。如图1所示，本发明的实施方式提供的面向多类型海洋数据的跨模态检索方法，将人工智能的图像技术和文本技术进行有效的结合，能够深度挖掘文本与图像特征之间的联系，实现了基于文字的图像生成与检索功能和基于图像的文本生成与检索功能，实现了不同模态数据的跨模态检索，建立了高性能、高效率的面向海洋多类型数据的跨模太检索系统。本发明的实施方式提供的面向多类型海洋数据的跨模态检索方法100从步骤101处开始，在步骤101对多个不同类型的海洋源数据进行预处理，以获取每个海洋源数据对应的处理数据；其中，所述类型包括：图像类型和文本类型。
优选地，其中所述对多个不同类型的海洋源数据进行预处理，以获取每个海洋源数据对应的处理数据，包括：
对每个图像类型的海洋源数据进行归一化处理，以获取每个图像类型的海洋源数据对应的处理数据；
对每个文本类型的海洋源数据按照预设的规则进行符号去除处理，并将经过符号去除处理的文本进行分词处理，将获取的词向量作为每个文本类型的海洋源数据对应的处理数据。
本发明实施方式的面向多类型海洋数据的跨模态检索技术，主要包括数据的预处理，基于BiLSTM自编码器和卷积神经网络自编码器的GAN网络，以及用于提升图片分辨率和文本流畅度的GAN网络组成，三者构成面向海洋多类型数据的跨模态检索系统，实现通过文本自动画出图片、通过图片自动生成文本的功能。训练完成的神经网络模型存储在主控服务器中，以便高效的实现客户端提交的检索需求。
图2为根据本发明实施方式的对不同类型的海洋数据进行预处理的流程图。如图2所示，在本发明的实施方式中，在预处理环节，服务器获取大量海洋图片数据和与图片内容相对应的文字描述数据，并对上述数据据进行预处理，并将预处理完成的数据发送至跨模态检索系统。对于文本类型的海洋源数据，使用正则表达式去除符号，之后进行分词，进而生成词向量，生成的词向量即为获取的处理数据；对于图像类型的海洋源数据，使用归一化方法将图片数据归一化为特定的像素尺寸，具有特定的像素尺寸的图像即为获取的处理数据。
在步骤102，根据每层网络的当前的权重确定当前的第一GAN网络模型，在当前的第一GAN网络模型中根据每个海洋源数据的类型确定每个处理数据对应的编码器和解码器，并依次进行编码和解码处理，以获取每个海洋源数据对应的解析描述数据。
优选地，其中所述根据每层网络的当前的权重确定当前的第一GAN网络模型，在当前的第一GAN网络模型中根据每个海洋源数据的类型确定每个处理数据对应的编码器和解码器，并依次进行编码和解码处理，以获取每个海洋源数据对应的解析描述数据，包括：
根据每层网络的当前的权重确定当前的第一GAN网络模型；
对于每个图像类型的海洋源数据，在当前的第一GAN网络模型中确定编码器为卷积神经网络编码器，解码器为BiLSTM解码器，利用卷积神经网络编码器对每个图像类型的海洋源数据进行编码处理，以获取每个图像类型的海洋源数据的图像特征，并发送至BiLSTM解码器进行解码处理，以获取每个图像类型的海洋源数据对应的文本类型的解析描述数据；
对于每个文本类型的海洋源数据，在当前的第一GAN网络模型中确定编码器为BiLSTM编码器，解码器为卷积神经网络解码器，利用BiLSTM编码器对每个文本类型的海洋源数据进行编码处理，以获取每个文本类型的海洋源数据的文本特征，并发送至卷积神经网络解码器进行解码处理，以获取每个文本类型的海洋源数据对应的图像类型的解析描述数据。
在步骤103，利用当前的第一GAN网络模型，计算每个海洋源数据对应的解析描述数据与对应的真实描述数据之间的损失函数，并根据所述损失函数按照预设的优化策略对所述第一GAN网络中每层网络对应的权重进行优化，以确定最优权重对应的第一最优GAN网络模型。
优选地，其中所述利用如下方式计算每个海洋源数据对应的解析描述数据与对应的真实描述数据之间的损失函数：
Figure BDA0002223579170000101
其中，fcorr(vi,ti)为解析描述数据和真实描述数据之间的损失函数fv(vi；Θr)为解析描述数据；fv(ti；Θr)为真实描述数据。
在本发明的实施方式中，使用He initialization方法对各层网络的权重进行初始化，尽可能的让输入和输出服从相同的分布，以避免在深层网络使用激活函数的输出值趋向于0，之后，分别使用卷积神经网络编码器和BiLSTM编码器对输入的图片与其类别信息和对应的文本与其类别进行编码输出其特征，并根据不同的模态之间呈现出底层特征与高层语义相关的特点，在训练过程通过训练集学习出公共语义空间以将不同的模态映射到此空间中，以此度量不同模态间的相似性，寻找海洋文本与海洋图片之间的关系。
图3为根据本发明实施方式的基于文本的BiLSTM自编码器和基于图片的卷积神经网络自编码器的内部结构示意图。如图3所示，在第一优化GAN网络模型的确定中，对于图像类型的数据，将预处理完成的图像数据输入至卷积神经网络CNN编码器，获取图像的高层次特征和局部特征，并将卷积神经网络编码器输出的图像特征发送至BiLSTM解码器中，BiLSTM编码器对图像特征进行解码，生成描述图像内容的文本类型的解析描述数据。然后在判别器中，通过损失函数
Figure BDA0002223579170000102
计算生成的文本类型的解析描述数据与真实的文本描述数据之间的差值，并根据损失函数不断对权重进行优化确保生成的文本和真实的文本之间有最大的相似度。
在第一优化GAN网络模型的确定中，对于文本类型的数据，将预处理完成的文本数据输入至BiLSTM编码器获取文本特征，并将BiLSTM编码器输出的文本特征输入至卷积神经网络CNN编码器，通过卷积神经网络编码器生成描述文本内容的图像类型的解析描述数据。然后在判别器中，通过损失函数
Figure BDA0002223579170000111
计算生成的图像类型的解析描述数据与真实的图像描述数据之间的差值，并根据损失函数不断对权重进行优化确保生成的图像和真实的图像之间有最大的相似度。
此时，当前的权要对应的第一GAN网络模型即为第一最优GAN网络模型。
在步骤104，将利用所述第一最优GAN网络模型生成的每个海洋源数据对应的描述解析数据输入至第二GAN网络模型，并对所述第二GAN网络模型进行优化，以确定第二最优GAN网络模型。
优选地，其中所述将利用所述第一最优GAN网络模型生成的每个海洋源数据对应的描述解析数据输入至第二GAN网络模型，并对所述第二GAN网络模型进行优化，以确定第二最优GAN网络模型，包括：
对于每个图像类型的海洋源数据，将利用所述第一最优GAN网络模型生成的文本类型的描述解析数据输入至所述第二GAN网络模型的第一生成器中作为强化学习的学习体，将第一生成器生成的文本序列输入至第一判别器，第一判别器基于生成的文本序列产生反馈结果并回传给第一生成器，通过强化学习策略更新生成器，以确定能够生成最优文本序列的生成网络；
对于每个文本类型的海洋源数据，将利用所述第一最优GAN网络模型生成的图像类型的描述解析数据输入至所述第二GAN网络模型的第二生成器中，所述第二生成器使用Resnet残差网络实现，通过残差网络将接收到的图像类型的描述解析数据生成高精度图像数据，并发送至第二判别器，所述第二判别器根据所述高精度图像和真实图像确定判别结果，并根据所述判别结果进行训练，以确定能够生成高精度图像的生成网络；
所述第二GAN网络模型包括：能够生成最优文本序列的生成网络和能够生成高精度图像的生成网络。
图4为根据本发明实施方式的利用第二GAN网络模型提升图像分辨率的流程图。如图4所示，在本发明的实施方式中，在确定了第一最优GAN网络模型后，其输出的图像输入至第二GAN网络模型中。在第二GAN网络模型中，对于处理图像数据的分支，含有一组生成器和判别器，生成器使用Resnet残差网络实现，用来接收上一个网络生成的低精度图片作为输入，通过残差网络，生成高精度图片。判别器接受生成器生成的图片，当判别器无法分辨出真实的图片和生成器生成的高分辨率图片时，认为该第二GAN网络模型已经完成了训练，此时的模型为第二优化GAN网络模型，其生成器可以接收低精度图片，判别器可以生成高精度图片。
图5为根据本发明实施方式的利用第二GAN网络模型提升文本流畅度的流程图。在确定了第一最优GAN网络模型后，其输出的文本输入至第二GAN网络模型中。在第二GAN网络模型中，对于处理文本数据的分支也包含一个生成器和一个判别器。在该分支中，将生成器视为强化学习的学习体，学习体生成的结果视为生成器生成的文本序列，而判别器对生成的文本序列产生一个回复，回传给生成器，通过强化学习策略更新生成器，以训练出可以产生最优文本序列的生成网络。将能够生成最优文本序列的网络作为第二优化GAN网络模型，其生成器可以接收可读性不高的文本，判别器可以生成可读性高的文本序列。
在将上述跨模态特征生成学习训练至最优的状态后，将训练结果保存为神经网络模型，并将训练完成的模型上传到所述服务器，以用于实现多类型海洋数据的跨模态检索。
在步骤105，利用所述第一最优GAN网络模型和第二最优GAN网络模型对获取的海洋待检索数据进行处理，以获取所述海洋待检索数据对应的最优检索结果。
优选地，其中所述方法还包括：
在利用所述第一最优GAN网络模型和第二最优GAN网络模型对获取的海洋待检索数据进行处理前，根据所述海洋待检索数据的类型进行预处理，以获取所述海洋待检索数据对应的处理数据。
图6为根据本发明实施方式的客户端检索的流程示意图。如图6所示，在本发明的实施方式中，客户端进行多模态数据检索的过程为：所述客户端向所述服务器发送图片或者文字，服务器根据客户端上传的数据类型对数据进行预处理，并将处理完成的数据发送至跨模态检索系统。跨模态检索系统获取输出结果，并将其发送至所述客户端。
图7为根据本发明实施方式的客户端实现面向多类型海洋数据的跨模态检索的流程图。如图7所示，客户端提交一个检索请求信息，向所述服务器发送图像或者一段文字描述等海洋数据，服务器根据客户端上传的数据类型对数据进行预处理，并将预处理完成的数据发送至跨模态检索系统。跨模态检索系统对客户端上传的数据的特征进行判断。对于图像类型的数据，将预处理完成的图像数据输入至卷积神经网络自编码器，获取图像的高层次特征和局部特征，并将卷积神经网络自编码器提取的图像特征发送至BiLSTM解码器中，BiLSTM解码器对图像特征进行解码，生成描述图像内容的文本，再将生成的文本输入至另一个GAN网络中进行优化，输出优化后的文字，即可读性高的文本序列。对于文本类型的海洋数据，将预处理完成的文本数据输入至BiLSTM编码器，获取文字的高层次特征和局部特征，之后，把文本数据特征发送至卷积神经网络解码器中，卷机神经网络解码器对文本数据特征进行解码，生成与文本内容对应的图像，之后，将生成的图像输入至另一个GAN网络中进行优化，输出优化图片，即高分辨率的图像。最后，跨模态检索系统将输出结果发送至客户端。
图8为根据本发明实施方式的面向多类型海洋数据的跨模态检索系统800的结构示意图。如图8所示，本发明的实施方式提供的面向多类型海洋数据的跨模态检索系统800，包括：预处理单元801、解析描述数据获取单元802、第一最优GAN网络模型确定单元803、第二最优GAN网络模型确定单元804和最优检索结果获取单元805。
优选地，所述预处理单元801，用于对多个不同类型的海洋源数据进行预处理，以获取每个海洋源数据对应的处理数据；其中，所述类型包括：图像类型和文本类型。
优选地，其中所述预处理单元801，对多个不同类型的海洋源数据进行预处理，以获取每个海洋源数据对应的处理数据，包括：
对每个图像类型的海洋源数据进行归一化处理，以获取每个图像类型的海洋源数据对应的处理数据；
对每个文本类型的海洋源数据按照预设的规则进行符号去除处理，并将经过符号去除处理的文本进行分词处理，将获取的词向量作为每个文本类型的海洋源数据对应的处理数据。
优选地，所述解析描述数据获取单元802，用于根据每层网络的当前的权重确定当前的第一GAN网络模型，在当前的第一GAN网络模型中根据每个海洋源数据的类型确定每个处理数据对应的编码器和解码器，并依次进行编码和解码处理，以获取每个海洋源数据对应的解析描述数据。
优选地，其中所述解析描述数据获取单元802，根据每层网络的当前的权重确定当前的第一GAN网络模型，在当前的第一GAN网络模型中根据每个海洋源数据的类型确定每个处理数据对应的编码器和解码器，并依次进行编码和解码处理，以获取每个海洋源数据对应的解析描述数据，包括：
根据每层网络的当前的权重确定当前的第一GAN网络模型；
对于每个图像类型的海洋源数据，在当前的第一GAN网络模型中确定编码器为卷积神经网络编码器，解码器为BiLSTM解码器，利用卷积神经网络编码器对每个图像类型的海洋源数据进行编码处理，以获取每个图像类型的海洋源数据的图像特征，并发送至BiLSTM解码器进行解码处理，以获取每个图像类型的海洋源数据对应的文本类型的解析描述数据；
对于每个文本类型的海洋源数据，在当前的第一GAN网络模型中确定编码器为BiLSTM编码器，解码器为卷积神经网络解码器，利用BiLSTM编码器对每个文本类型的海洋源数据进行编码处理，以获取每个文本类型的海洋源数据的文本特征，并发送至卷积神经网络解码器进行解码处理，以获取每个文本类型的海洋源数据对应的图像类型的解析描述数据。
优选地，所述第一最优GAN网络模型确定单元803，用于利用当前的第一GAN网络模型，计算每个海洋源数据对应的解析描述数据与对应的真实描述数据之间的损失函数，并根据所述损失函数按照预设的优化策略对所述第一GAN网络中每层网络对应的权重进行优化，以确定最优权重对应的第一最优GAN网络模型。
优选地，其中所述第一最优GAN网络模型确定单元803，利用如下方式计算每个海洋源数据对应的解析描述数据与对应的真实描述数据之间的损失函数：
Figure BDA0002223579170000151
其中，fcorr(vi,ti)为解析描述数据和真实描述数据之间的损失函数；fv(vi；Θr)为解析描述数据；fv(ti；Θr)为真实描述数据。
优选地，所述第二最优GAN网络模型确定单元804，用于将利用所述第一最优GAN网络模型生成的每个海洋源数据对应的描述解析数据输入至第二GAN网络模型，并对所述第二GAN网络模型进行优化，以确定第二最优GAN网络模型。
优选地，其中所述第二最优GAN网络模型确定单元804，将利用所述第一最优GAN网络模型生成的每个海洋源数据对应的描述解析数据输入至第二GAN网络模型，并对所述第二GAN网络模型进行优化，以确定第二最优GAN网络模型，包括：
对于每个图像类型的海洋源数据，将利用所述第一最优GAN网络模型生成的文本类型的描述解析数据输入至所述第二GAN网络模型的第一生成器中作为强化学习的学习体，将第一生成器生成的文本序列输入至第一判别器，第一判别器基于生成的文本序列产生反馈结果并回传给第一生成器，通过强化学习策略更新生成器，以确定能够生成最优文本序列的生成网络；
对于每个文本类型的海洋源数据，将利用所述第一最优GAN网络模型生成的图像类型的描述解析数据输入至所述第二GAN网络模型的第二生成器中，所述第二生成器使用Resnet残差网络实现，通过残差网络将接收到的图像类型的描述解析数据生成高精度图像数据，并发送至第二判别器，所述第二判别器根据所述高精度图像和真实图像确定判别结果，并根据所述判别结果进行训练，以确定能够生成高精度图像的生成网络；
所述第二GAN网络模型包括：能够生成最优文本序列的生成网络和能够生成高精度图像的生成网络。
优选地，所述最优检索结果获取单元805，用于利用所述第一最优GAN网络模型和第二最优GAN网络模型对获取的海洋待检索数据进行处理，以获取所述海洋待检索数据对应的最优检索结果。
优选地，其中所述预处理单元，还包括：在利用所述第一最优GAN网络模型和第二最优GAN网络模型对获取的海洋待检索数据进行处理前，根据所述海洋待检索数据的类型进行预处理，以获取所述海洋待检索数据对应的处理数据。
本发明的实施例的面向多类型海洋数据的跨模态检索系统800与本发明的另一个实施例的面向多类型海洋数据的跨模态检索方法100相对应，在此不再赘述。
已经通过参考少量实施方式描述了本发明。然而，本领域技术人员所公知的，正如附带的专利权利要求所限定的，除了本发明以上公开的其他的实施例等同地落在本发明的范围内。
通常地，在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释，除非在其中被另外明确地定义。所有的参考“一个/所述/该[装置、组件等]”都被开放地解释为所述装置、组件等中的至少一个实例，除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行，除非明确地说明。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (12)

1.一种面向多类型海洋数据的跨模态检索方法，其特征在于，所述方法包括：
对多个不同类型的海洋源数据进行预处理，以获取每个海洋源数据对应的处理数据；其中，所述类型包括：图像类型和文本类型；
根据每层网络的当前的权重确定当前的第一GAN网络模型，在当前的第一GAN网络模型中根据每个海洋源数据的类型确定每个处理数据对应的编码器和解码器，并依次进行编码和解码处理，以获取每个海洋源数据对应的解析描述数据；
利用当前的第一GAN网络模型，计算每个海洋源数据对应的解析描述数据与对应的真实描述数据之间的损失函数，并根据所述损失函数按照预设的优化策略对所述第一GAN网络中每层网络对应的权重进行优化，以确定最优权重对应的第一最优GAN网络模型；
将利用所述第一最优GAN网络模型生成的每个海洋源数据对应的描述解析数据输入至第二GAN网络模型，并对所述第二GAN网络模型进行优化，以确定第二最优GAN网络模型；
利用所述第一最优GAN网络模型和第二最优GAN网络模型对获取的海洋待检索数据进行处理，以获取所述海洋待检索数据对应的最优检索结果。
2.根据权利要求1所述的方法，其特征在于，所述对多个不同类型的海洋源数据进行预处理，以获取每个海洋源数据对应的处理数据，包括：
对每个图像类型的海洋源数据进行归一化处理，以获取每个图像类型的海洋源数据对应的处理数据；
对每个文本类型的海洋源数据按照预设的规则进行符号去除处理，并将经过符号去除处理的文本进行分词处理，将获取的词向量作为每个文本类型的海洋源数据对应的处理数据。
3.根据权利要求1所述的方法，其特征在于，所述根据每层网络的当前的权重确定当前的第一GAN网络模型，在当前的第一GAN网络模型中根据每个海洋源数据的类型确定每个处理数据对应的编码器和解码器，并依次进行编码和解码处理，以获取每个海洋源数据对应的解析描述数据，包括：
根据每层网络的当前的权重确定当前的第一GAN网络模型；
对于每个图像类型的海洋源数据，在当前的第一GAN网络模型中确定编码器为卷积神经网络编码器，解码器为BiLSTM解码器，利用卷积神经网络编码器对每个图像类型的海洋源数据进行编码处理，以获取每个图像类型的海洋源数据的图像特征，并发送至BiLSTM解码器进行解码处理，以获取每个图像类型的海洋源数据对应的文本类型的解析描述数据；
对于每个文本类型的海洋源数据，在当前的第一GAN网络模型中确定编码器为BiLSTM编码器，解码器为卷积神经网络解码器，利用BiLSTM编码器对每个文本类型的海洋源数据进行编码处理，以获取每个文本类型的海洋源数据的文本特征，并发送至卷积神经网络解码器进行解码处理，以获取每个文本类型的海洋源数据对应的图像类型的解析描述数据。
4.根据权利要求1所述的方法，其特征在于，所述利用如下方式计算每个海洋源数据对应的解析描述数据与对应的真实描述数据之间的损失函数：
Figure FDA0002223579160000021
其中，fcorr(vi,ti)为解析描述数据和真实描述数据之间的损失函数；fv(vi；Θr)为解析描述数据；fv(ti；Θr)为真实描述数据。
5.根据权利要求1所述的方法，其特征在于，所述将利用所述第一最优GAN网络模型生成的每个海洋源数据对应的描述解析数据输入至第二GAN网络模型，并对所述第二GAN网络模型进行优化，以确定第二最优GAN网络模型，包括：
对于每个图像类型的海洋源数据，将利用所述第一最优GAN网络模型生成的文本类型的描述解析数据输入至所述第二GAN网络模型的第一生成器中作为强化学习的学习体，将第一生成器生成的文本序列输入至第一判别器，第一判别器基于生成的文本序列产生反馈结果并回传给第一生成器，通过强化学习策略更新生成器，以确定能够生成最优文本序列的生成网络；
对于每个文本类型的海洋源数据，将利用所述第一最优GAN网络模型生成的图像类型的描述解析数据输入至所述第二GAN网络模型的第二生成器中，所述第二生成器使用Resnet残差网络实现，通过残差网络将接收到的图像类型的描述解析数据生成高精度图像数据，并发送至第二判别器，所述第二判别器根据所述高精度图像和真实图像确定判别结果，并根据所述判别结果进行训练，以确定能够生成高精度图像的生成网络；
所述第二GAN网络模型包括：能够生成最优文本序列的生成网络和能够生成高精度图像的生成网络。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在利用所述第一最优GAN网络模型和第二最优GAN网络模型对获取的海洋待检索数据进行处理前，根据所述海洋待检索数据的类型进行预处理，以获取所述海洋待检索数据对应的处理数据。
7.一种面向多类型海洋数据的跨模态检索系统，其特征在于，所述系统包括：
预处理单元，用于对多个不同类型的海洋源数据进行预处理，以获取每个海洋源数据对应的处理数据；其中，所述类型包括：图像类型和文本类型；
解析描述数据获取单元，用于根据每层网络的当前的权重确定当前的第一GAN网络模型，在当前的第一GAN网络模型中根据每个海洋源数据的类型确定每个处理数据对应的编码器和解码器，并依次进行编码和解码处理，以获取每个海洋源数据对应的解析描述数据；
第一最优GAN网络模型确定单元，用于利用当前的第一GAN网络模型，计算每个海洋源数据对应的解析描述数据与对应的真实描述数据之间的损失函数，并根据所述损失函数按照预设的优化策略对所述第一GAN网络中每层网络对应的权重进行优化，以确定最优权重对应的第一最优GAN网络模型；
第二最优GAN网络模型确定单元，用于将利用所述第一最优GAN网络模型生成的每个海洋源数据对应的描述解析数据输入至第二GAN网络模型，并对所述第二GAN网络模型进行优化，以确定第二最优GAN网络模型；
最优检索结果获取单元，用于利用所述第一最优GAN网络模型和第二最优GAN网络模型对获取的海洋待检索数据进行处理，以获取所述海洋待检索数据对应的最优检索结果。
8.根据权利要求7所述的系统，其特征在于，所述预处理单元，对多个不同类型的海洋源数据进行预处理，以获取每个海洋源数据对应的处理数据，包括：
对每个图像类型的海洋源数据进行归一化处理，以获取每个图像类型的海洋源数据对应的处理数据；
对每个文本类型的海洋源数据按照预设的规则进行符号去除处理，并将经过符号去除处理的文本进行分词处理，将获取的词向量作为每个文本类型的海洋源数据对应的处理数据。
9.根据权利要求7所述的系统，其特征在于，所述解析描述数据获取单元，根据每层网络的当前的权重确定当前的第一GAN网络模型，在当前的第一GAN网络模型中根据每个海洋源数据的类型确定每个处理数据对应的编码器和解码器，并依次进行编码和解码处理，以获取每个海洋源数据对应的解析描述数据，包括：
根据每层网络的当前的权重确定当前的第一GAN网络模型；
对于每个图像类型的海洋源数据，在当前的第一GAN网络模型中确定编码器为卷积神经网络编码器，解码器为BiLSTM解码器，利用卷积神经网络编码器对每个图像类型的海洋源数据进行编码处理，以获取每个图像类型的海洋源数据的图像特征，并发送至BiLSTM解码器进行解码处理，以获取每个图像类型的海洋源数据对应的文本类型的解析描述数据；
对于每个文本类型的海洋源数据，在当前的第一GAN网络模型中确定编码器为BiLSTM编码器，解码器为卷积神经网络解码器，利用BiLSTM编码器对每个文本类型的海洋源数据进行编码处理，以获取每个文本类型的海洋源数据的文本特征，并发送至卷积神经网络解码器进行解码处理，以获取每个文本类型的海洋源数据对应的图像类型的解析描述数据。
10.根据权利要求7所述的系统，其特征在于，所述第一最优GAN网络模型确定单元，利用如下方式计算每个海洋源数据对应的解析描述数据与对应的真实描述数据之间的损失函数：
Figure FDA0002223579160000051
其中，fcorr(vi,ti)为解析描述数据和真实描述数据之间的损失函数；fv(vi；Θr)为解析描述数据；fv(ti；Θr)为真实描述数据。
11.根据权利要求7所述的系统，其特征在于，所述第二最优GAN网络模型确定单元，将利用所述第一最优GAN网络模型生成的每个海洋源数据对应的描述解析数据输入至第二GAN网络模型，并对所述第二GAN网络模型进行优化，以确定第二最优GAN网络模型，包括：
对于每个图像类型的海洋源数据，将利用所述第一最优GAN网络模型生成的文本类型的描述解析数据输入至所述第二GAN网络模型的第一生成器中作为强化学习的学习体，将第一生成器生成的文本序列输入至第一判别器，第一判别器基于生成的文本序列产生反馈结果并回传给第一生成器，通过强化学习策略更新生成器，以确定能够生成最优文本序列的生成网络；
对于每个文本类型的海洋源数据，将利用所述第一最优GAN网络模型生成的图像类型的描述解析数据输入至所述第二GAN网络模型的第二生成器中，所述第二生成器使用Resnet残差网络实现，通过残差网络将接收到的图像类型的描述解析数据生成高精度图像数据，并发送至第二判别器，所述第二判别器根据所述高精度图像和真实图像确定判别结果，并根据所述判别结果进行训练，以确定能够生成高精度图像的生成网络；
所述第二GAN网络模型包括：能够生成最优文本序列的生成网络和能够生成高精度图像的生成网络。
12.根据权利要求7所述的系统，其特征在于，所述预处理单元，还包括：
在利用所述第一最优GAN网络模型和第二最优GAN网络模型对获取的海洋待检索数据进行处理前，根据所述海洋待检索数据的类型进行预处理，以获取所述海洋待检索数据对应的处理数据。
CN201910943576.4A 2019-09-30 2019-09-30 一种面向多类型海洋数据的跨模态检索方法及系统 Pending CN110909181A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910943576.4A CN110909181A (zh) 2019-09-30 2019-09-30 一种面向多类型海洋数据的跨模态检索方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910943576.4A CN110909181A (zh) 2019-09-30 2019-09-30 一种面向多类型海洋数据的跨模态检索方法及系统

Publications (1)

Publication Number Publication Date
CN110909181A true CN110909181A (zh) 2020-03-24

Family

ID=69815372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910943576.4A Pending CN110909181A (zh) 2019-09-30 2019-09-30 一种面向多类型海洋数据的跨模态检索方法及系统

Country Status (1)

Country Link
CN (1) CN110909181A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666071A (zh) * 2020-04-17 2020-09-15 中国海洋大学 一种基于目标众核的对抗网络移植与优化的方法及系统
CN111914950A (zh) * 2020-08-20 2020-11-10 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于深度对偶变分哈希的无监督跨模态检索模型训练方法
CN112199462A (zh) * 2020-09-30 2021-01-08 三维通信股份有限公司 跨模态的数据处理方法、装置、存储介质以及电子装置
CN113177132A (zh) * 2021-06-30 2021-07-27 中国海洋大学 基于联合语义矩阵的深度跨模态哈希的图像检索方法
CN113204522A (zh) * 2021-07-05 2021-08-03 中国海洋大学 基于结合生成对抗网络的哈希算法的大规模数据检索方法
CN114301637A (zh) * 2021-12-11 2022-04-08 河南大学 一种用于医疗物联网的入侵检测方法和系统
CN114385601A (zh) * 2022-03-24 2022-04-22 山东省计算中心（国家超级计算济南中心） 基于超算的云边协同高通量海洋数据智能处理方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334497A (zh) * 2018-02-06 2018-07-27 北京航空航天大学 自动生成文本的方法和装置
JP2018190091A (ja) * 2017-04-28 2018-11-29 富士通株式会社 検索プログラム、検索装置及び検索方法
CN109213876A (zh) * 2018-08-02 2019-01-15 宁夏大学 基于生成对抗网络的跨模态检索方法
CN109299342A (zh) * 2018-11-30 2019-02-01 武汉大学 一种基于循环生成式对抗网络的跨模态检索方法
CN109543159A (zh) * 2018-11-12 2019-03-29 南京德磐信息科技有限公司 一种文本生成图像方法及装置
CN109671018A (zh) * 2018-12-12 2019-04-23 华东交通大学 一种基于生成式对抗网络和ResNets技术的图像转换方法及系统
CN109671125A (zh) * 2018-12-17 2019-04-23 电子科技大学 一种高度融合的gan网络模型及实现文本生成图像的方法
US20190130221A1 (en) * 2017-11-02 2019-05-02 Royal Bank Of Canada Method and device for generative adversarial network training
CN109948691A (zh) * 2019-03-14 2019-06-28 齐鲁工业大学 基于深度残差网络及注意力的图像描述生成方法和装置
CN110033008A (zh) * 2019-04-29 2019-07-19 同济大学 一种基于模态变换与文本归纳的图像描述生成方法
CN110059217A (zh) * 2019-04-29 2019-07-26 广西师范大学 一种两级网络的图像文本跨媒体检索方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018190091A (ja) * 2017-04-28 2018-11-29 富士通株式会社 検索プログラム、検索装置及び検索方法
US20190130221A1 (en) * 2017-11-02 2019-05-02 Royal Bank Of Canada Method and device for generative adversarial network training
CN108334497A (zh) * 2018-02-06 2018-07-27 北京航空航天大学 自动生成文本的方法和装置
CN109213876A (zh) * 2018-08-02 2019-01-15 宁夏大学 基于生成对抗网络的跨模态检索方法
CN109543159A (zh) * 2018-11-12 2019-03-29 南京德磐信息科技有限公司 一种文本生成图像方法及装置
CN109299342A (zh) * 2018-11-30 2019-02-01 武汉大学 一种基于循环生成式对抗网络的跨模态检索方法
CN109671018A (zh) * 2018-12-12 2019-04-23 华东交通大学 一种基于生成式对抗网络和ResNets技术的图像转换方法及系统
CN109671125A (zh) * 2018-12-17 2019-04-23 电子科技大学 一种高度融合的gan网络模型及实现文本生成图像的方法
CN109948691A (zh) * 2019-03-14 2019-06-28 齐鲁工业大学 基于深度残差网络及注意力的图像描述生成方法和装置
CN110033008A (zh) * 2019-04-29 2019-07-19 同济大学 一种基于模态变换与文本归纳的图像描述生成方法
CN110059217A (zh) * 2019-04-29 2019-07-26 广西师范大学 一种两级网络的图像文本跨媒体检索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨惟高: "最优估计和控制", 武汉工业大学出版社, pages: 53 - 55 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666071A (zh) * 2020-04-17 2020-09-15 中国海洋大学 一种基于目标众核的对抗网络移植与优化的方法及系统
CN111914950A (zh) * 2020-08-20 2020-11-10 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于深度对偶变分哈希的无监督跨模态检索模型训练方法
CN112199462A (zh) * 2020-09-30 2021-01-08 三维通信股份有限公司 跨模态的数据处理方法、装置、存储介质以及电子装置
WO2022068195A1 (zh) * 2020-09-30 2022-04-07 三维通信股份有限公司 跨模态的数据处理方法、装置、存储介质以及电子装置
CN113177132A (zh) * 2021-06-30 2021-07-27 中国海洋大学 基于联合语义矩阵的深度跨模态哈希的图像检索方法
CN113177132B (zh) * 2021-06-30 2021-09-14 中国海洋大学 基于联合语义矩阵的深度跨模态哈希的图像检索方法
CN113204522A (zh) * 2021-07-05 2021-08-03 中国海洋大学 基于结合生成对抗网络的哈希算法的大规模数据检索方法
CN114301637A (zh) * 2021-12-11 2022-04-08 河南大学 一种用于医疗物联网的入侵检测方法和系统
CN114301637B (zh) * 2021-12-11 2022-09-02 河南大学 一种用于医疗物联网的入侵检测方法和系统
CN114385601A (zh) * 2022-03-24 2022-04-22 山东省计算中心（国家超级计算济南中心） 基于超算的云边协同高通量海洋数据智能处理方法及系统

Similar Documents

Publication Publication Date Title
CN110909181A (zh) 一种面向多类型海洋数据的跨模态检索方法及系统
US20240143700A1 (en) Multimodal Image Classifier using Textual and Visual Embeddings
CN107273458B (zh) 深度模型训练方法及装置、图像检索方法及装置
CN111898696A (zh) 伪标签及标签预测模型的生成方法、装置、介质及设备
CN110188158B (zh) 关键词及话题标签生成方法、装置、介质及电子设备
CN110956038B (zh) 图文内容重复判断方法及装置
CN113705313A (zh) 文本识别方法、装置、设备及介质
WO2023134082A1 (zh) 图像描述语句生成模块的训练方法及装置、电子设备
CN114638960A (zh) 模型的训练方法、图像描述生成方法和装置、设备、介质
CN115658955B (zh) 跨媒体检索及模型训练方法、装置、设备、菜谱检索系统
CN111597807B (zh) 分词数据集生成方法、装置、设备及其存储介质
CN115640394A (zh) 文本分类方法、文本分类装置、计算机设备及存储介质
CN116994021A (zh) 图像检测方法、装置、计算机可读介质及电子设备
US20220188636A1 (en) Meta pseudo-labels
CN114330483A (zh) 数据处理方法及模型训练方法、装置、设备、存储介质
CN111445545B (zh) 一种文本转贴图方法、装置、存储介质及电子设备
CN116612466B (zh) 基于人工智能的内容识别方法、装置、设备及介质
CN116843030B (zh) 基于预训练语言模型的因果图像生成方法、装置及设备
CN117011650B (zh) 一种图像编码器的确定方法及相关装置
CN116702094B (zh) 一种群体应用偏好特征表示方法
CN110909688B (zh) 人脸检测小模型优化训练方法、人脸检测方法及计算机系统
CN117830451A (zh) 文本插图生成方法、装置、设备及存储介质
CN117392488A (zh) 一种数据处理方法、神经网络及相关设备
CN112017253A (zh) 图像生成方法、装置和设备
CN117011743A (zh) 数据处理方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination