CN117351257A - 一种基于多模态信息的航运数据抽取方法及系统 - Google Patents

一种基于多模态信息的航运数据抽取方法及系统 Download PDF

Info

Publication number
CN117351257A
CN117351257A CN202311079498.0A CN202311079498A CN117351257A CN 117351257 A CN117351257 A CN 117351257A CN 202311079498 A CN202311079498 A CN 202311079498A CN 117351257 A CN117351257 A CN 117351257A
Authority
CN
China
Prior art keywords
shipping
data
feature
image
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311079498.0A
Other languages
English (en)
Other versions
CN117351257B (zh
Inventor
杜经农
熊劲磊
邓燕
芦伟
张罡
张娜
张博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangtze River Water Traffic Monitoring And Emergency Response Center
Original Assignee
Yangtze River Water Traffic Monitoring And Emergency Response Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangtze River Water Traffic Monitoring And Emergency Response Center filed Critical Yangtze River Water Traffic Monitoring And Emergency Response Center
Priority to CN202311079498.0A priority Critical patent/CN117351257B/zh
Publication of CN117351257A publication Critical patent/CN117351257A/zh
Application granted granted Critical
Publication of CN117351257B publication Critical patent/CN117351257B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种基于多模态信息的航运数据抽取方法及系统，该方法包括：获取航运数据的样本，所述样本包括：航运结构化数据、航运图像数据和航运视频数据，对所述航运结构化数据、所述航运图像数据和所述航运视频数据分别进行预处理，生成预处理后的航运结构化数据、预处理后的航运图像数据和预处理后的航运视频数据；分别提取预处理后的航运结构化数据的航运结构化数据特征、预处理后的航运图像数据的航运图像特征和预处理后的航运视频数据的航运视频数据特征，设置多模态关联性模型，计算所述航运结构化数据特征、所述航运图像特征和所述航运视频数据特征之间的关联性度量，根据所述关联性度量，将所述航运结构化数据特征、所述航运图像特征和所述航运视频数据特征进行特征融合，对融合后的特征进行特征抽取。

Description

一种基于多模态信息的航运数据抽取方法及系统
技术领域
本发明属于航运数据抽取技术领域，更具体地，涉及一种基于多模态信息的航运数据抽取方法及系统。
背景技术
现有技术中关于航运数据的抽取方法基本都是对单一数据进行抽取，但是现实中航运数据多为多模态信息，多模态的航运数据抽取是指从多种不同类型的数据源中提取有关航运领域的信息的技术方法。这些数据源可以包括航运结构化数据、航运图像数据和航运视频数据等多种形式的数据。
因此亟需一种基于多模态信息的航运数据抽取方法。
发明内容
为解决以上技术特征，本发明提出一种基于多模态信息的航运数据抽取方法，包括：
获取航运数据的样本，所述样本包括：航运结构化数据、航运图像数据和航运视频数据，对所述航运结构化数据、所述航运图像数据和所述航运视频数据分别进行预处理，生成预处理后的航运结构化数据、预处理后的航运图像数据和预处理后的航运视频数据；
分别提取预处理后的航运结构化数据的航运结构化数据特征、预处理后的航运图像数据的航运图像特征和预处理后的航运视频数据的航运视频数据特征，设置多模态关联性模型，计算所述航运结构化数据特征、所述航运图像特征和所述航运视频数据特征之间的关联性度量，根据所述关联性度量，将所述航运结构化数据特征、所述航运图像特征和所述航运视频数据特征进行特征融合，对融合后的特征进行特征抽取。
进一步的，对所述航运结构化数据、所述航运图像数据和所述航运视频数据分别进行预处理包括：
对于所述航运结构化数据，进行去噪操作；
对于所述航运图像数据，进行图像增强操作和尺寸标准化操作；
对于航运视频数据，进行视频信号增强操作。
进一步的，所述多模态关联性模型包括：
C＝WTI*K(T，I)+WTA*K(T，A)+WIA*K(I，A)
其中，C为关联性度量，WTI为航运结构化数据特征T和航运图像特征I的关联权重，K(T，I)为计算航运结构化数据特征T和航运图像特征I相似度的核函数，WTA为航运结构化数据特征T和航运视频数据特征A的关联权重，K(T，A)为计算航运结构化数据特征T和航运视频数据特征A相似度的核函数，WIA为航运图像特征I和航运视频数据特征A的关联权重，K(I，A)为计算航运图像特征I和航运视频数据特征A相似度的核函数。
进一步的，还包括设置航运数据抽取效率模型，计算航运数据抽取效率，具体为：
其中，Ei为第i个样本的航运数据抽取效率，M为模态数量，Wij为第i个样本的第j个模态与其他模态之间的关联权重，Sij为在第i个样本的第j个模态中成功抽取的信息数量，Eij为第i个样本的第j个模态中信息的丰富度，Cij为在第i个样本的第j个模态中预期抽取的信息数量，Fij为第i个样本的第j个模态的特征权重。
进一步的，还包括在航运数据抽取效率模型的基础上，设置航运数据抽取指数模型，计算航运数据抽取指数，具体为：
其中，E′为航运数据抽取指数，N为样本数量。
本发明还提出一种基于多模态信息的航运数据抽取系统，包括：
获取样本模块，用于获取航运数据的样本，所述样本包括：航运结构化数据、航运图像数据和航运视频数据，对所述航运结构化数据、所述航运图像数据和所述航运视频数据分别进行预处理，生成预处理后的航运结构化数据、预处理后的航运图像数据和预处理后的航运视频数据；
抽取特征模块，用于分别提取预处理后的航运结构化数据的航运结构化数据特征、预处理后的航运图像数据的航运图像特征和预处理后的航运视频数据的航运视频数据特征，设置多模态关联性模型，计算所述航运结构化数据特征、所述航运图像特征和所述航运视频数据特征之间的关联性度量，根据所述关联性度量，将所述航运结构化数据特征、所述航运图像特征和所述航运视频数据特征进行特征融合，对融合后的特征进行特征抽取。
进一步的，对所述航运结构化数据、所述航运图像数据和所述航运视频数据分别进行预处理包括：
对于所述航运结构化数据，进行去噪操作；
对于所述航运图像数据，进行图像增强操作和尺寸标准化操作；
对于航运视频数据，进行视频信号增强操作。
进一步的，所述多模态关联性模型包括：
C＝WTI*K(T，I)+WTA*K(T，A)+WIA*K(I，A)
其中，C为关联性度量，WTI为航运结构化数据特征T和航运图像特征I的关联权重，K(T，I)为计算航运结构化数据特征T和航运图像特征I相似度的核函数，WTA为航运结构化数据特征T和航运视频数据特征A的关联权重，K(T，A)为计算航运结构化数据特征T和航运视频数据特征A相似度的核函数，WIA为航运图像特征I和航运视频数据特征A的关联权重，K(I，A)为计算航运图像特征I和航运视频数据特征A相似度的核函数。
进一步的，还包括设置航运数据抽取效率模型，计算航运数据抽取效率，具体为：
其中，Ei为第i个样本的航运数据抽取效率，M为模态数量，Wij为第i个样本的第j个模态与其他模态之间的关联权重，Sij为在第i个样本的第j个模态中成功抽取的信息数量，Eij为第i个样本的第j个模态中信息的丰富度，Cij为在第i个样本的第j个模态中预期抽取的信息数量，Fij为第i个样本的第j个模态的特征权重。
进一步的，还包括在航运数据抽取效率模型的基础上，设置航运数据抽取指数模型，计算航运数据抽取指数，具体为：
其中，E′为航运数据抽取指数，N为样本数量。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：
本发明获取航运数据的样本，所述样本包括：航运结构化数据、航运图像数据和航运视频数据，对所述航运结构化数据、所述航运图像数据和所述航运视频数据分别进行预处理，生成预处理后的航运结构化数据、预处理后的航运图像数据和预处理后的航运视频数据；分别提取预处理后的航运结构化数据的航运结构化数据特征、预处理后的航运图像数据的航运图像特征和预处理后的航运视频数据的航运视频数据特征，设置多模态关联性模型，计算所述航运结构化数据特征、所述航运图像特征和所述航运视频数据特征之间的关联性度量，根据所述关联性度量，将所述航运结构化数据特征、所述航运图像特征和所述航运视频数据特征进行特征融合，对融合后的特征进行特征抽取。本发明通过以上技术方案，能够自动对包含多模态信息的航运数据进行抽取，并判断抽取效率和指数。
附图说明
图1是本发明实施例1的方法的流程图；
图2是本发明实施例2的系统的结构图。
具体实施方式
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。
本发明提供的方法可以在如下的终端环境中实施，所述终端可以包括一个或多个如下部件：处理器、存储介质和显示屏。其中，存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现下述实施例所述的方法。
处理器可以包括一个或者多个处理核心。处理器利用各种接口和线路连接整个终端内的各个部分，通过运行或执行存储在存储介质内的指令、程序、代码集或指令集，以及调用存储在存储介质内的数据，执行终端的各种功能和处理数据。
存储介质可以包括随机存储介质(Random Access Memory，RAM)，也可以包括只读存储介质(Read-Only Memory，ROM)。存储介质可用于存储指令、程序、代码、代码集或指令。
显示屏用于显示各个应用程序的用户界面。
本发明公式中所有下角标只为了区分个参数，并没有实际含义。
除此之外，本领域技术人员可以理解，上述终端的结构并不构成对终端的限定，终端可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，终端中还包括射频电路、输入单元、传感器、音频电路、电源等部件，在此不再赘述。
实施例1
如图1所示，本发明实施例提供一种基于多模态信息的航运数据抽取方法，包括：
步骤101，获取航运数据的样本，收集来自不同数据源的多模态数据，例如航运报告文本(航运结构化数据)、航运图像、声音记录等，将这些数据整合到一个统一的存储库中。所述样本包括：航运结构化数据、航运图像数据和航运视频数据，对所述航运结构化数据、所述航运图像数据和所述航运视频数据分别进行预处理，生成预处理后的航运结构化数据、预处理后的航运图像数据和预处理后的航运视频数据，具体的，对所述航运结构化数据、所述航运图像数据和所述航运视频数据分别进行预处理包括：
对于所述航运结构化数据，进行去噪操作；
对于所述航运图像数据，进行图像增强操作和尺寸标准化操作；
对于航运视频数据，进行视频信号增强操作。
步骤102，分别提取预处理后的航运结构化数据的航运结构化数据特征、预处理后的航运图像数据的航运图像特征和预处理后的航运视频数据的航运视频数据特征(例如，对于航运结构化数据，可以使用词袋模型、TF-IDF等方法提取航运结构化数据特征；对于图像数据，可以使用卷积神经网络(CNN)提取图像特征；对于航运视频数据，可以使用声音处理技术提取航运视频数据特征)，设置多模态关联性模型，计算所述航运结构化数据特征、所述航运图像特征和所述航运视频数据特征之间的关联性度量，根据所述关联性度量，将所述航运结构化数据特征、所述航运图像特征和所述航运视频数据特征进行特征融合，对融合后的特征进行特征抽取。
具体的，在本实施例中的一个实例为有航运结构化数据(T)、航运图像数据(I)和航运视频数据(A)，并且希望从中抽取船舶的状态信息，在这个实例中，定义不同数据类型之间的关联性为船舶的位置和状态，假设：
CTI表示航运结构化数据(T)中描述航运图像数据(I)中的船舶位置和状态的相关信息。
CTA表示航运结构化数据(T)中描述航运视频数据(A)中的船舶位置和状态的相关信息。
CIA表示航运图像数据(I)中描述航运视频数据(A)中的船舶位置和状态的相关信息。
通过所述多模态关联性模型分别计算CTI、CTA和CIA中的关联性度量，具体为：
C＝WTI*K(T，I)+WTA*K(T，A)+WIA*K(I，A)
其中，C为关联性度量，WTI为航运结构化数据特征T和航运图像特征I的关联权重，K(T，I)为计算航运结构化数据特征T和航运图像特征I相似度的核函数，WTA为航运结构化数据特征T和航运视频数据特征A的关联权重，K(T，A)为计算航运结构化数据特征T和航运视频数据特征A相似度的核函数，WIA为航运图像特征I和航运视频数据特征A的关联权重，K(I，A)为计算航运图像特征I和航运视频数据特征A相似度的核函数，核函数K可以为径向基函数(RBF)核。
具体的，还包括设置航运数据抽取效率模型，计算航运数据抽取效率，具体为：
其中，Ei为第i个样本的航运数据抽取效率，M为模态数量，Wij为第i个样本的第j个模态与其他模态之间的关联权重(不同模态之间的关联可能不同，引入一个权重矩阵来表示模态之间的信息关联程度，从而考虑不同模态对于信息抽取的贡献)，Sij为在第i个样本的第j个模态中成功抽取的信息数量，Rij为第i个样本的第j个模态中信息的丰富度(考虑不同模态中信息的丰富度，引入一个信息丰富度因子，衡量每个模态中信息的重要性)，Cij为在第i个样本的第j个模态中预期抽取的信息数量，Fij为第i个样本的第j个模态的特征权重(每个模态的特征可能对于抽取不同类型的信息有不同的影响，引入一个模态特征权重，用于调整每个模态的影响力)。
具体的，还包括在航运数据抽取效率模型的基础上，设置航运数据抽取指数模型，计算航运数据抽取指数，具体为：
其中，E′为航运数据抽取指数，N为样本数量。
实施例2
如图2所示，本发明实施例还提供一种基于多模态信息的航运数据抽取系统，包括：
获取样本模块，用于获取航运数据的样本，收集来自不同数据源的多模态数据，例如航运报告文本(航运结构化数据)、航运图像、声音记录等，将这些数据整合到一个统一的存储库中。所述样本包括：航运结构化数据、航运图像数据和航运视频数据，对所述航运结构化数据、所述航运图像数据和所述航运视频数据分别进行预处理，生成预处理后的航运结构化数据、预处理后的航运图像数据和预处理后的航运视频数据，具体的，对所述航运结构化数据、所述航运图像数据和所述航运视频数据分别进行预处理包括：
对于所述航运结构化数据，进行去噪操作；
对于所述航运图像数据，进行图像增强操作和尺寸标准化操作；
对于航运视频数据，进行视频信号增强操作。
抽取特征模块，用于分别提取预处理后的航运结构化数据的航运结构化数据特征、预处理后的航运图像数据的航运图像特征和预处理后的航运视频数据的航运视频数据特征(例如，对于航运结构化数据，可以使用词袋模型、TF-IDF等方法提取航运结构化数据特征；对于图像数据，可以使用卷积神经网络(CNN)提取图像特征；对于航运视频数据，可以使用声音处理技术提取航运视频数据特征)，设置多模态关联性模型，计算所述航运结构化数据特征、所述航运图像特征和所述航运视频数据特征之间的关联性度量，根据所述关联性度量，将所述航运结构化数据特征、所述航运图像特征和所述航运视频数据特征进行特征融合，对融合后的特征进行特征抽取。
具体的，在本实施例中的一个实例为有航运结构化数据(T)、航运图像数据(I)和航运视频数据(A)，并且希望从中抽取船舶的状态信息，在这个实例中，定义不同数据类型之间的关联性为船舶的位置和状态，假设：
CTI表示航运结构化数据(T)中描述航运图像数据(I)中的船舶位置和状态的相关信息。
CTA表示航运结构化数据(T)中描述航运视频数据(A)中的船舶位置和状态的相关信息。
CIA表示航运图像数据(I)中描述航运视频数据(A)中的船舶位置和状态的相关信息。
通过所述多模态关联性模型分别计算CTI、CTA和CIA中的关联性度量，具体为：
C＝WTI*K(T，I)+WTA*K(T，A)+WIA*K(I，A)
其中，C为关联性度量，WTI为航运结构化数据特征T和航运图像特征I的关联权重，K(T，I)为计算航运结构化数据特征T和航运图像特征I相似度的核函数，WTA为航运结构化数据特征T和航运视频数据特征A的关联权重，K(T，A)为计算航运结构化数据特征T和航运视频数据特征A相似度的核函数，WIA为航运图像特征I和航运视频数据特征A的关联权重，K(I，A)为计算航运图像特征I和航运视频数据特征A相似度的核函数，核函数K可以为径向基函数(RBF)核。
具体的，还包括设置航运数据抽取效率模型，计算航运数据抽取效率，具体为：
其中，Ei为第i个样本的航运数据抽取效率，M为模态数量，Wij为第i个样本的第j个模态与其他模态之间的关联权重(不同模态之间的关联可能不同，引入一个权重矩阵来表示模态之间的信息关联程度，从而考虑不同模态对于信息抽取的贡献)，Sij为在第i个样本的第j个模态中成功抽取的信息数量，Eij为第i个样本的第j个模态中信息的丰富度(考虑不同模态中信息的丰富度，引入一个信息丰富度因子，衡量每个模态中信息的重要性)，Cij为在第i个样本的第j个模态中预期抽取的信息数量，Fij为第i个样本的第j个模态的特征权重(每个模态的特征可能对于抽取不同类型的信息有不同的影响，引入一个模态特征权重，用于调整每个模态的影响力)。
具体的，还包括在航运数据抽取效率模型的基础上，设置航运数据抽取指数模型，计算航运数据抽取指数，具体为：
其中，E′为航运数据抽取指数，N为样本数量。
实施例3
本发明实施例还提出一种存储介质，存储有多条指令，所述指令用于实现所述的一种基于多模态信息的航运数据抽取方法。
可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
可选地，在本实施例中，存储介质被设置为存储用于执行实施例1方法的程序代码；
实施例4
本发明实施例还提出一种电子设备，包括处理器和与所述处理器连接的存储介质，所述存储介质存储有多条指令，所述指令可被所述处理器加载并执行，以使所述处理器能够执行一种基于多模态信息的航运数据抽取方法。
具体的，本实施例的电子设备可以是计算机终端，所述计算机终端可以包括：一个或多个处理器、以及存储介质。
其中，存储介质可用于存储软件程序以及模块，如本发明实施例中的一种基于多模态信息的航运数据抽取方法，对应的程序指令/模块，处理器通过运行存储在存储介质内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种基于多模态信息的航运数据抽取方法。存储介质可包括高速随机存储介质，还可以包括非易失性存储介质，如一个或者多个磁性存储系统、闪存、或者其他非易失性固态存储介质。在一些实例中，存储介质可进一步包括相对于处理器远程设置的存储介质，这些远程存储介质可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输系统调用存储介质存储的信息及应用程序，以执行实施例1方法步骤；
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本发明所提供的几个实施例中，应所述理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的系统实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的全部或部分可以以软件产品的形式体现出来，所述计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储介质(ROM，Read-Only Memory)、随机存取存储介质(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种基于多模态信息的航运数据抽取方法，其特征在于，包括：
获取航运数据的样本，所述样本包括：航运结构化数据、航运图像数据和航运视频数据，对所述航运结构化数据、所述航运图像数据和所述航运视频数据分别进行预处理，生成预处理后的航运结构化数据、预处理后的航运图像数据和预处理后的航运视频数据；
分别提取预处理后的航运结构化数据的航运结构化数据特征、预处理后的航运图像数据的航运图像特征和预处理后的航运视频数据的航运视频数据特征，设置多模态关联性模型，计算所述航运结构化数据特征、所述航运图像特征和所述航运视频数据特征之间的关联性度量，根据所述关联性度量，将所述航运结构化数据特征、所述航运图像特征和所述航运视频数据特征进行特征融合，对融合后的特征进行特征抽取。
2.如权利要求1所述的一种基于多模态信息的航运数据抽取方法，其特征在于，对所述航运结构化数据、所述航运图像数据和所述航运视频数据分别进行预处理包括：
对于所述航运结构化数据，进行去噪操作；
对于所述航运图像数据，进行图像增强操作和尺寸标准化操作；
对于航运视频数据，进行视频信号增强操作。
3.如权利要求1所述的一种基于多模态信息的航运数据抽取方法，其特征在于，所述多模态关联性模型包括：
C＝WTI*K(T，I)+WIA*K(T，A)+WIA*K(I，A)
其中，C为关联性度量，WTI为航运结构化数据特征T和航运图像特征I的关联权重，K(T，I)为计算航运结构化数据特征T和航运图像特征I相似度的核函数，WTA为航运结构化数据特征T和航运视频数据特征A的关联权重，K(T，A)为计算航运结构化数据特征T和航运视频数据特征A相似度的核函数，WIA为航运图像特征I和航运视频数据特征A的关联权重，K(I，A)为计算航运图像特征I和航运视频数据特征A相似度的核函数。
4.如权利要求1所述的一种基于多模态信息的航运数据抽取方法，其特征在于，还包括设置航运数据抽取效率模型，计算航运数据抽取效率，具体为：
其中，Ei为第i个样本的航运数据抽取效率，M为模态数量，Wij为第i个样本的第j个模态与其他模态之间的关联权重，Sij为在第i个样本的第j个模态中成功抽取的信息数量，Eij为第i个样本的第j个模态中信息的丰富度，Cij为在第i个样本的第j个模态中预期抽取的信息数量，Fij为第i个样本的第j个模态的特征权重。
5.如权利要求4所述的一种基于多模态信息的航运数据抽取方法，其特征在于，还包括在航运数据抽取效率模型的基础上，设置航运数据抽取指数模型，计算航运数据抽取指数，具体为：
其中，E′为航运数据抽取指数，N为样本数量。
6.一种基于多模态信息的航运数据抽取系统，其特征在于，包括：
获取样本模块，用于获取航运数据的样本，所述样本包括：航运结构化数据、航运图像数据和航运视频数据，对所述航运结构化数据、所述航运图像数据和所述航运视频数据分别进行预处理，生成预处理后的航运结构化数据、预处理后的航运图像数据和预处理后的航运视频数据；
抽取特征模块，用于分别提取预处理后的航运结构化数据的航运结构化数据特征、预处理后的航运图像数据的航运图像特征和预处理后的航运视频数据的航运视频数据特征，设置多模态关联性模型，计算所述航运结构化数据特征、所述航运图像特征和所述航运视频数据特征之间的关联性度量，根据所述关联性度量，将所述航运结构化数据特征、所述航运图像特征和所述航运视频数据特征进行特征融合，对融合后的特征进行特征抽取。
7.如权利要求6所述的一种基于多模态信息的航运数据抽取系统，其特征在于，对所述航运结构化数据、所述航运图像数据和所述航运视频数据分别进行预处理包括：
对于所述航运结构化数据，进行去噪操作；
对于所述航运图像数据，进行图像增强操作和尺寸标准化操作；
对于航运视频数据，进行视频信号增强操作。
8.如权利要求6所述的一种基于多模态信息的航运数据抽取系统，其特征在于，所述多模态关联性模型包括：
C＝WTI*K(T，I)+WTA*K(T，A)+WIA*K(I，A)
其中，C为关联性度量，WTI为航运结构化数据特征T和航运图像特征I的关联权重，K(T，I)为计算航运结构化数据特征T和航运图像特征I相似度的核函数，WTA为航运结构化数据特征T和航运视频数据特征A的关联权重，K(T，A)为计算航运结构化数据特征T和航运视频数据特征A相似度的核函数，WIA为航运图像特征I和航运视频数据特征A的关联权重，K(I，A)为计算航运图像特征I和航运视频数据特征A相似度的核函数。
9.如权利要求6所述的一种基于多模态信息的航运数据抽取系统，其特征在于，还包括设置航运数据抽取效率模型，计算航运数据抽取效率，具体为：
其中，Ei为第i个样本的航运数据抽取效率，M为模态数量，Wij为第i个样本的第j个模态与其他模态之间的关联权重，Sij为在第i个样本的第j个模态中成功抽取的信息数量，Eij为第i个样本的第j个模态中信息的丰富度，Cij为在第i个样本的第j个模态中预期抽取的信息数量，Fij为第i个样本的第j个模态的特征权重。
10.如权利要求9所述的一种基于多模态信息的航运数据抽取系统，其特征在于，还包括在航运数据抽取效率模型的基础上，设置航运数据抽取指数模型，计算航运数据抽取指数，具体为：
其中，E′为航运数据抽取指数，N为样本数量。
CN202311079498.0A 2023-08-24 2023-08-24 一种基于多模态信息的航运数据抽取方法及系统 Active CN117351257B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311079498.0A CN117351257B (zh) 2023-08-24 2023-08-24 一种基于多模态信息的航运数据抽取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311079498.0A CN117351257B (zh) 2023-08-24 2023-08-24 一种基于多模态信息的航运数据抽取方法及系统

Publications (2)

Publication Number Publication Date
CN117351257A true CN117351257A (zh) 2024-01-05
CN117351257B CN117351257B (zh) 2024-04-02

Family

ID=89354708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311079498.0A Active CN117351257B (zh) 2023-08-24 2023-08-24 一种基于多模态信息的航运数据抽取方法及系统

Country Status (1)

Country Link
CN (1) CN117351257B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359592A (zh) * 2018-10-16 2019-02-19 北京达佳互联信息技术有限公司 视频帧的处理方法、装置、电子设备及存储介质
CN111666313A (zh) * 2020-05-25 2020-09-15 中科星图股份有限公司 基于多源异构遥感数据关联构建及多用户数据匹配方法
CN113590766A (zh) * 2021-09-28 2021-11-02 中国电子科技集团公司第二十八研究所 一种基于多模态数据融合的航班推出状态监视方法
KR102322883B1 (ko) * 2021-06-09 2021-11-05 (주)디.엠항공교역 항행 안전시설과 항행 안전 시설 운영 환경의 검사 및 운영 분석 시스템
CN114168777A (zh) * 2020-09-10 2022-03-11 阿里巴巴集团控股有限公司 图像数据的处理方法、装置、存储介质和处理器
CN114237110A (zh) * 2021-12-13 2022-03-25 中国民用航空飞行学院 基于多模态数据驱动的通用航空机队可靠性监测预警系统
CN114239683A (zh) * 2021-11-12 2022-03-25 国网浙江省电力有限公司宁波供电公司 一种面向电力系统的数据融合处理方法、系统及设备
CN114821622A (zh) * 2022-03-10 2022-07-29 北京百度网讯科技有限公司 文本抽取方法、文本抽取模型训练方法、装置及设备
CN115205729A (zh) * 2022-06-08 2022-10-18 智己汽车科技有限公司 基于多模态特征融合的行为识别方法、系统
US20220402626A1 (en) * 2021-09-28 2022-12-22 The 28Th Research Institute Of China Electronics Technology Group Corporation Flight pushback state monitoring method based on multi-modal data fusion
CN116049397A (zh) * 2022-12-29 2023-05-02 北京霍因科技有限公司 基于多模态融合的敏感信息发现并自动分类分级方法
CN116303670A (zh) * 2023-02-21 2023-06-23 同济大学 一种航空发动机健康管理人机交互方法与系统
CN116451175A (zh) * 2023-04-25 2023-07-18 北京远舢智能科技有限公司 一种多模态数据处理方法、装置、电子设备及存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359592A (zh) * 2018-10-16 2019-02-19 北京达佳互联信息技术有限公司 视频帧的处理方法、装置、电子设备及存储介质
CN111666313A (zh) * 2020-05-25 2020-09-15 中科星图股份有限公司 基于多源异构遥感数据关联构建及多用户数据匹配方法
CN114168777A (zh) * 2020-09-10 2022-03-11 阿里巴巴集团控股有限公司 图像数据的处理方法、装置、存储介质和处理器
KR102322883B1 (ko) * 2021-06-09 2021-11-05 (주)디.엠항공교역 항행 안전시설과 항행 안전 시설 운영 환경의 검사 및 운영 분석 시스템
US20220402626A1 (en) * 2021-09-28 2022-12-22 The 28Th Research Institute Of China Electronics Technology Group Corporation Flight pushback state monitoring method based on multi-modal data fusion
CN113590766A (zh) * 2021-09-28 2021-11-02 中国电子科技集团公司第二十八研究所 一种基于多模态数据融合的航班推出状态监视方法
WO2023050935A1 (zh) * 2021-09-28 2023-04-06 中国电子科技集团公司第二十八研究所 一种基于多模态数据融合的航班推出状态监视方法
CN114239683A (zh) * 2021-11-12 2022-03-25 国网浙江省电力有限公司宁波供电公司 一种面向电力系统的数据融合处理方法、系统及设备
CN114237110A (zh) * 2021-12-13 2022-03-25 中国民用航空飞行学院 基于多模态数据驱动的通用航空机队可靠性监测预警系统
CN114821622A (zh) * 2022-03-10 2022-07-29 北京百度网讯科技有限公司 文本抽取方法、文本抽取模型训练方法、装置及设备
CN115205729A (zh) * 2022-06-08 2022-10-18 智己汽车科技有限公司 基于多模态特征融合的行为识别方法、系统
CN116049397A (zh) * 2022-12-29 2023-05-02 北京霍因科技有限公司 基于多模态融合的敏感信息发现并自动分类分级方法
CN116303670A (zh) * 2023-02-21 2023-06-23 同济大学 一种航空发动机健康管理人机交互方法与系统
CN116451175A (zh) * 2023-04-25 2023-07-18 北京远舢智能科技有限公司 一种多模态数据处理方法、装置、电子设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LIU SHUAI等: "Multi-modal fusion network with complementarity and importance for emotion recognition", 《INFORMATION SCIENCES》, vol. 619, 31 January 2023 (2023-01-31) *
官维;梁艺多;: "航运关联数据的发布及查询应用研究", 价值工程, no. 33, 15 October 2018 (2018-10-15) *
相子喜;吕学强;张凯;: "基于有向图模型的多模态新闻图像检索研究", 科学技术与工程, no. 03, 28 January 2016 (2016-01-28) *
胡甚平;施朝健;刘宇宏;: "基于数据融合的船舶航行评价系统", 航海教育研究, no. 1, 15 August 2007 (2007-08-15) *

Also Published As

Publication number Publication date
CN117351257B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
CN112069319B (zh) 文本抽取方法、装置、计算机设备和可读存储介质
CN111209970A (zh) 视频分类方法、装置、存储介质及服务器
CN111832449B (zh) 工程图纸的显示方法及相关装置
CN112749300B (zh) 用于视频分类的方法、装置、设备、存储介质和程序产品
WO2021114936A1 (zh) 信息推荐方法、装置、电子设备及计算机可读存储介质
CN109548691A (zh) 一种宠物识别方法、装置、介质和电子设备
CN112328735A (zh) 热点话题确定方法、装置及终端设备
Xu et al. Multi‐pyramid image spatial structure based on coarse‐to‐fine pyramid and scale space
CN117611272A (zh) 商品推荐方法、装置及电子设备
CN117351257B (zh) 一种基于多模态信息的航运数据抽取方法及系统
CN116662495A (zh) 问答处理方法、训练问答处理模型的方法及装置
US11790650B2 (en) Contrastive captioning for image groups
CN111401317A (zh) 视频分类方法、装置、设备及存储介质
CN116383391B (zh) 一种文本分类方法及装置
CN112507698B (zh) 字向量生成方法、装置、终端设备及计算机可读存储介质
CN111563159B (zh) 文本排序方法及装置
US20230144571A1 (en) Retrieval Method, Index Construction Method, and Related Device
CN111950259A (zh) 一种文本展示方法、装置、设备和存储介质
CN117764075A (zh) 文本语义关系识别模型训练方法、识别方法、介质及设备
CN115995030A (zh) 目标检测中大规模数据集的生成方法及装置
CN116501871A (zh) 基于多模态数据的用户画像构建方法、装置、设备及介质
CN111967518A (zh) 应用标注方法、应用标注装置及终端设备
CN116955430A (zh) 一种需求反馈方法、系统及相关装置
CN118132727A (zh) 一种对话数据处理方法、装置、设备及介质
CN117312508A (zh) 基于图像的问答方法、装置、设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant