CN117235662A - 一种海洋生物探测系统中的缺失值填补方法 - Google Patents

Abstract

本发明提供了一种海洋生物探测系统中的缺失值填补方法，涉及海洋数据预处理技术领域，包括如下步骤：S1：数据获取：对获得到的多模态数据包括图像以及文本数据进行标准化和归一化处理，获得预处理后的数据；S2：特征提取及融合：分别训练VGG16模型以及textCNN模型对于获取到的图像以及文本数据分别使用以上两种模型提取特征，并通过训练不断更新模型获取更有效的特征。将获取到的图像以及文本特征通过特征融合模型得到融合后的特征以实现信息互补；S3：数据填补：基于S2获取到的融合特征，进行迭代式地更新模型以及缺失值填补。本发明解决了已有数据填补方法无法适应多模态高缺失率数据的问题。

Description

一种海洋生物探测系统中的缺失值填补方法

技术领域

本发明涉及海洋数据预处理技术领域，具体而言，尤其涉及一种海洋生物探测系统中的缺失值填补方法。

背景技术

海洋生物监测系统是一项利用自动化技术对海洋生物进行监测的先进技术。随着科技的不断发展，这种技术已经得到了广泛的应用。在过去，对海洋生物的监测主要依赖浮游生物网和底栖生物网等传统方法。然而，这些方法不仅劳动强度大，而且具有很大的主观性和不可靠性。为了解决这些问题，一些新的技术被引入到海洋生物监测领域。例如，声学方法和光学方法被用来探测和识别海洋生物。此外，传感器技术和图像处理技术也被用来监测海洋生物的数量、种类和分布情况。随着互联网和物联网技术的发展，远程海洋生物监测系统也逐渐被开发出来。这种系统利用传感器、摄像机等设备，将海洋生物的信息传输到远程服务器上，通过人工智能技术对数据进行分析和处理，从而实现远程监测和管理海洋生物的目的。由上可知，海洋生物相关数据多是多模态形式呈现的。

然而，海洋环境是极其复杂和多变的，包括水流、温度、盐度、混度等因素的变化，这些变化可能导致监测系统的传感器和摄像头等设备性能的波动，从而影响海洋生物数据的准确性和完整性。另外，海洋生物监测系统在监测范围和精度上存在局限性，特定的监测系统可能受到视角、距离、光照等因素的限制，可能会导致某些区域或物种被忽略或无法完全覆盖，从而产生缺失值。考虑到以上因素，在海洋生物检测领域，对含有缺失值的海洋生物数据进行基于多模态特征融合的缺失值填补对于提高数据的完整性和准确性以及保护海洋生态环境和资源具有重要意义。

区别于传统的单模态数据，海洋生物数据具有如下特点：1)海洋生物数据通常是多模态的，涵盖了海洋生物的声音、图像、体温，人为记录信息等，使得数据更加丰富和全面；2)海洋生物数据存在较强的关联性，因此需要考虑多模态数据之间的关联关系；3)海洋生物数据的多模态特性导致数据处理和分析的复杂性增加，使用单模态缺失值填补方法效果欠佳；4)相对于到模态数据，海洋生物数据融合不同模态的数据可以提供更加全面和准确的信息。

目前，现有的单模态缺失值填补方法处理海洋生物数据时具有如下限制：1)单模态缺失值填补方法通常只针对一个模态的信息，而海洋生物数据通常涉及多个模态数据，例如海洋生物图像、声音、水温、盐度等。忽略多模态数据之间的关联性可能导致填补结果不准确；2)单模态缺失值填补方法只考虑当前特征的信息而不会综合考虑其他特征的影响，无法捕捉全局信息；3)由于单模态填补算法通常基于数据分布的假设来填补数据，对于海洋生物数据的复杂分布，例如多峰分布以及长尾分布，这样的假设可能无法很好地适应实际数据，导致填补效果欠佳；4)对于海洋生物数据可能存在异常值或噪声，单模态填补算法可能对异常值较敏感，异常值的存在可能会影响填补结果。

发明内容

有鉴于此，本发明的目的在于提出一种海洋生物探测系统中的缺失值填补方法，充分利用海洋生物多模态数据之间关联性的优势，在考虑多模态数据之间关联性可以更好地信息互补的同时，进一步考虑高缺失率时多模态数据的影响，设计在高缺失率下基于多模态特征融合的缺失值填补方法，实现对海洋生物监测系统中获取到的含有缺失值的图像数据进行填补，并为海洋生物应用分析提供良好的数据基础，解决了已有单模态缺失值填补方法无法适应多模态高缺失率数据的问题。

本发明采用的技术手段如下：

一种海洋生物探测系统中的缺失值填补方法，包括如下步骤：

S1、数据获取：给定传感器网络检测区域，使用水下摄像设备以及传感器设备分别获取检测区域的图像和文本数据，将图像和文本数据保持信息对齐并进行标准化或归一化处理得到预处理后的图像和文本数据，其中预处理后的图像数据包含观测数据与缺失值数据；

S2、特征提取及融合：针对预处理后的图像数据使用预训练的VGG16模型进行图像特征提取，得到图像数据特征；

针对预处理后的文本数据使用textCNN模型进行特征提取，得到文本数据特征；

建立融合模型，所述融合模型的两个输入分别为图像特征以及文本特征，所述融合模型采用多头注意力机制，通过计算图像和文本之间的相似度得到加权图像特征以及文本特征，对加权图像特征和加权文本特征通过拼接操作进行特征融合，保证图像和文本严格一一对应从而实现信息互补的作用，最终得到图像和文本融合后的融合特征；

S3、数据填补：通过预处理后的图像数据得到掩码矩阵，用掩码矩阵来标识缺失值的位置信息，将VGG16模型的结构进行逆向，得到decode模型，将融合后的特征作为decode模型的输入，通过迭代的方式得到填补后的图像数据。

进一步地，S1具体包括如下步骤：

S11：对于检测区域中的所有数据项S＝{S1,S2,...,Sn}进行整合并保证数据对齐，将此作为数据集；

S12：将S11中得到的数据集进行标准化和归一化的预处理操作，并将预处理后的每个图像数据分为观测属性A_o和缺失属性A_m，记录缺失属性的位置生成掩码矩阵data_m，如果当前位置为观测属性A_o，则对应的掩码矩阵位置为1，反之则为0。

进一步地，S2具体包括：

S21：使用ImageNet数据集训练VGG16模型，得到预训练后的图像特征提取的模型，使提取的特征更符合图像的主要特征；

S22：使用VGG16模型分别对每张图像进行特征提取，并整合得到整体的图像特征F_i＝{F_i ¹,F_i ²,...,F_i ⁿ}，其中每张图像特征F_i ^j被展开成d维向量；

S23：使用传感器得到的不包含缺失值的文本数据对textCNN模型进行初始化训练，并确定相关参数；

S24：将数据集中的文本数据输入到textCNN模型中，使用大小为2、3、4的卷积核对文本进行卷积从而捕捉不同大小的n-gram特征并拼接到一起获取最终的文本特征表示Ft＝{Ft¹,Ft²,...,Ftⁿ}；

S25：定义多头注意力机制的头数n_h以及每个头的注意力维度d_h，并将图像特征和文本特征分别映射到d_h维度；

S26：对于每个注意力头，使用点积操作计算图像特征和文本特征之间的相似度，经过softmax函数获得注意力权重a_w；

S27：将a_w与图像特征矩阵相乘得到加权图像特征F_i_w，将a_w与文本特征矩阵相乘得到加权文本特征Ft_w；

S28：将加权图像特征F_i_w和加权文本特征Ft_w进行拼接操作，以此将图像特征和文本特征融合为一个综合向量F_f作为后续模型输入。

进一步地，S3具体包括：

S31：超步训练，设定指定的训练次数epochs，将训练次数epochs均分为n份，对VGG16模型、textCNN模型和decode模型进行训练；将S2得到的融合特征输入到模型的decode部分，使用迭代的方式得到填补后的数据X_imp；

S32：对于每个epoch已经获得到填补数据X_imp，利用掩码矩阵data_m的位置信息获取X_imp在缺失值位置的数据，使用X＝X⊙data_m+X_imp⊙(1-data_m)更新其中的观测属性为原始观测属性的值以保证填补的数据只针对缺失属性；

S33：每个超步训练完成后同样使用X＝X⊙data_m+X_imp⊙(1-data_m)更新数据集，目的是让输入数据含有更少的缺失值以获得更准确的特征表示。

本发明还提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时，执行上述任一项海洋生物探测系统中的缺失值填补方法。

本发明还提供了一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器通过所述计算机程序运行执行上述任一项海洋生物探测系统中的缺失值填补方法。

较现有技术相比，本发明具有以下优点：

本发明提供的海洋生物探测系统中的缺失值填补方法，解决了已有单模态缺失值填补方法无法适应多模态高缺失率数据的问题；在利用深度学习方法学习数据特征分布的同时，利用多模态数据之间的关联性，提出有效的特征融合方法，有效应对在高缺失率下单模态数据提供信息不足导致填补效果欠佳的情况。在特征融合阶段，使用多头注意力机制融合特征，从不同的角度关注输入特征的不同部分从而提高模型的表现力。针对海洋生物数据中常见的噪声，多头注意力机制可以更好地处理噪声从而提高模型的鲁棒性。这样既保证了本发明提出的模型能够利用不同模态数据之间的关联性实现特征互补，又可以保证很好地适应高缺失率时缺失值的有效填补。

综上，应用本发明的技术方案在考虑高缺失率缺失值有效填补的同时，考虑了多模态数据之间的关联性，利用不同模态数据之间的关联性可以进行信息互补的特点，提出了一种高效的高缺失率下基于多模态特征融合的缺失值填补算法，完成海洋生物数据的缺失值填补工作，为上层的数据分析提供了良好的数据基础。因此，本发明的技术方案解决了已有单模态缺失值填补方法无法适应多模态高缺失率数据的问题。

基于上述理由本发明可在海洋生物监测等领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所述数据填补系统结构示意图。

图2为本发明缺失值填补方法整体模型图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

如图1所示，本发明提供了一种海洋生物探测系统中的缺失值填补方法包括以下步骤：

S1：数据获取：给定传感器网络检测区域，使用水下摄像设备以及传感器设备分别获取图像X_img和文本数据X_text。将图像和文本数据保持信息对齐并进行标准化或归一化处理得到预处理后的数据，其中预处理后的图像数据包含观测数据与缺失值数据。

S11：对于指定传感器网络区域中的所有数据项S＝{S1,S2,...,Sn}进行整合并保证数据对齐，将此作为数据集；

S12：将S11中得到的数据集进行标准化和归一化的预处理操作，将数值归一化到(0，1)之间，以便于将所有特征保持在相同的尺度从而加快学习速度，并将预处理后的每个图像数据分为观测属性A_o和缺失属性A_m。

S13：记录缺失属性的位置生成掩码矩阵data_m，如果当前位置为观测属性A_o，则对应的掩码矩阵位置为1，反之则为0。数据集与掩码矩阵data_m的对应关系如下(左侧为数据矩阵，右侧为对应的掩码矩阵)：

S2：特征提取及融合：在预训练好的图像模型VGG16和文本模型textCNN上，使用S1处理后的数据进行图像和文本的特征提取，根据提取到的特征使用多头注意力机制进行特征融合；

S21：使用Imagenet数据集预训练过的VGG16作为图像特征提取模型，它有不同大小的卷积核构成的卷积层以及池化层组成，不同大小的卷积核可以用来学习图像不同角度不同层次的特征。通过VGG16来学习输入的图像数据之间的数据分布从而从不同角度提取到图像特征。由于此模型时由Imagenet数据集预训练得到的，所以由VGG16提取到的图像特征是非常有效的；

S22：在使用VGG16提取图像特征时，我们最后一个卷积层的输出作为特征表示，通常定义为X¹⁶＝f¹⁶(X)，其中X为输入图像，f为卷积层的映射函数。由于卷积层的输出是一个3维的张量，我们使用全局平均池化对其降维到1维向量，对于特征图我们可以将其平均值计算为V＝(1/(H*W))*ΣΣX_ij，其中V是卷积层的特征向量，H和W分别为特征图的高度和宽度，X_ij为特征图中位置为(i，j)的像素值；

S23：使用大量海洋生物文本数据对textCNN模型进行训练，此数据不包含缺失值。textCNN模型包括多个不同大小卷积核的卷积层以及池化层和全连接层，每个卷积核在整个输入上滑动并生成一个特征图，其中每个元素代表该卷积核在相应位置的特征值。

S24：我们将每个文本表示为一个d维向量，因此文本数据可以视为一个(n,d)的矩阵T，其中n表示文本的数量。对于输入矩阵T，我们使用几个不同尺寸的卷积核进行卷积操作以获得多个特征图。本发明中，使用3个尺寸为2、3、4的卷积核，在第i个卷积核的作用下，我们将得到一个形状为(n-h_i+1)的特征图，其中h_i为卷积核的尺寸大小，对于每个特征图我们使用最大池化操作获得一个f维向量，将所有特征图池化后获得的向量拼接得到最终的文本特征t；

S25：定义多头注意力机制的头数n_h以及每个头的注意力维度d_h,为了将图像特征映射到注意力维度d_h，使用全连接层对原始特征进行投影操作，这样可以通过学习一组权重矩阵W_i∈(d_x,d_h),假设图像特征为x_i，则图像特征的映射结果为h_i＝x_iW_i；与图像特征类似，文本特征也要映射到注意力维度d_h，实现方式与图像相同，使用全连接层对原始特征进行投影操作，通过学习一组权重矩阵V_j∈(d_y,d_h),将设文本特征为y_j，则文本特征的映射结果为g_j＝y_jV_j；

S26：对于每个注意力头，我们要计算图像特征与文本特征之间的相似度并将其转换为注意力权重。我们使用点积操作计算相似度，使用h_i ^Tg_j来表示第i个图像特征和第j个文本特征之间的相似度，通过对所有注意力头中的相似度归一化得到注意力权重a_ij＝exp(h_i ^Tg_j)/(Σexp(h_i ^Tg_j)，其中Σ的范围是k从1到nh；

S27：将S26得到的注意力权重与图像特征矩阵和文本特征矩阵分别相乘得到加权图像特征F_i_w以及加权文本特征Ft_w。以文本特征为例(图像特征方法一样)：对于每个注意力头i，将注意力权重a_ij与对应的文本特征y_j相乘，并对所有文本特征进行求和，得到该头注意力下的文本表示c_i＝Σa_ijy_j，其中Σ的范围是j从1到dy，dy是文本特征的原始维度。

S28：将S27的每个注意力头的特征表示拼接得到最终的图像特征F_i_w和文本特征Ft_w进行拼接操作，以此将图像特征和文本特征融合为一个综合向量F_f作为后续模型输入。

S3：数据填补：数据填补是本发明最重要的部分，我们先用一些真实的不含缺失值的海洋生物数据来训练我们的多模态缺失值填补模型MIMF，使用填补后的图像数据与原始图像数据之间的RMSE损失函数来优化模型。使用S2得到的融合向量F_f作为模型decode部分的输入，整体使用迭代的方式填补缺失值，在此期间继续用填补后的图像数据与原始图像数据在观测位置的RMSE损失函数更新模型。另外我们还引入超步的概念更新训练数据，以保证训练数据在观测位置上的值不受填补后值的影响。

S31：训练初始，我们指定训练的次数epochs，将S2得到的融合特征F_f作为MIMF模型decode部分的输入，使用迭代的方式获得填补的图像数据X_imp，并用原始图像数据X与填补数据X_imp在掩码矩阵中值为1的位置的值作RMSE计算，通过梯度下降更新模型的参数；

S32：在每一轮迭代中，通过S31都可以得到该迭代中的填补数据X_imp，由于我们填补的值是掩码矩阵中值为0所在位置的数据，所以我们利用掩码矩阵data_m的位置信息，更新其中的观测属性为原始观测属性的值以保证填补的数据只针对缺失属性；

S33：在训练过程中，训练数据是一直不变的，但是为了训练更快的收敛以及得到更好的效果，我们引入了超步的概念。将训练次数epochs均分为n份，每个超步训练完成后使用X＝X⊙data_m+X_imp⊙(1-data_m)更新数据集，这样一来每个超步后训练数据的缺失值会比上一个超步的缺失值少，同时保证在迭代过程中输入数据尽可能的准确从而不被填补数据影响到原本准确的观测属性值。

图2显示了提出模型的整体框架图，可以看到包括VGG16模型(在图中显示为VGG16_en)、textCNN模型以及decode模型(在图中显示为VGG16_de)。

表1显示了本发明在多模态缺失值填补方法与单模态缺失值填补方法效果对比。实验使用了两个数据集，一个是由Flickr30k数据集中的海洋生物数据构成的数据集，另一个是COCO数据集中的海洋生物数据构成的数据集。我们在缺失率70％-95％之间进行实验，判定标准为原图像与填补后图像之间的RMSE值，该值越小表示填补后的图像与原图像差别越小，即效果越好。由此可以看出多模态缺失值填补的效果要优于单模态缺失值填补。

表1本发明所述多模态缺失值填补方法与单模态缺失值填补方法效果对比表

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种海洋生物探测系统中的缺失值填补方法，其特征在于，包括如下步骤：

S1、数据获取：给定传感器网络检测区域，使用水下摄像设备以及传感器设备分别获取检测区域的图像和文本数据，将图像和文本数据保持信息对齐并进行标准化或归一化处理得到预处理后的图像和文本数据，其中预处理后的图像数据包含观测数据与缺失值数据；

S2、特征提取及融合：针对预处理后的图像数据使用预训练的VGG16模型进行图像特征提取，得到图像数据特征；

针对预处理后的文本数据使用textCNN模型进行特征提取，得到文本数据特征；

建立融合模型，所述融合模型的两个输入分别为图像特征以及文本特征，所述融合模型采用多头注意力机制，通过计算图像和文本之间的相似度得到加权图像特征以及文本特征，对加权图像特征和加权文本特征通过拼接操作进行特征融合，保证图像和文本严格一一对应从而实现信息互补的作用，最终得到图像和文本融合后的融合特征；

S3、数据填补：通过预处理后的图像数据得到掩码矩阵，用掩码矩阵来标识缺失值的位置信息，将VGG16模型的结构进行逆向，得到decode模型，将融合后的特征作为decode模型的输入，通过迭代的方式得到填补后的图像数据。

2.根据权利要求1所述的海洋生物探测系统中的缺失值填补方法，其特征在于，S1具体包括如下步骤：

S11：对于检测区域中的所有数据项S＝{S1,S2,...,Sn}进行整合并保证数据对齐，将此作为数据集；

S12：将S11中得到的数据集进行标准化和归一化的预处理操作，并将预处理后的每个图像数据分为观测属性A_o和缺失属性A_m，记录缺失属性的位置生成掩码矩阵data_m，如果当前位置为观测属性A_o，则对应的掩码矩阵位置为1，反之则为0。

3.根据权利要求1所述的海洋生物探测系统中的缺失值填补方法，其特征在于，S2具体包括：

S21：使用ImageNet数据集训练VGG16模型，得到预训练后的图像特征提取的模型，使提取的特征更符合图像的主要特征；

S22：使用VGG16模型分别对每张图像进行特征提取，并整合得到整体的图像特征F_i＝{F_i ¹,F_i ²,...,F_i ⁿ}，其中每张图像特征F_i ^j被展开成d维向量；

S23：使用传感器得到的不包含缺失值的文本数据对textCNN模型进行初始化训练，并确定相关参数；

S24：将数据集中的文本数据输入到textCNN模型中，使用大小为2、3、4的卷积核对文本进行卷积从而捕捉不同大小的n-gram特征并拼接到一起获取最终的文本特征表示Ft＝{Ft¹,Ft²,...,Ftⁿ}；

S25：定义多头注意力机制的头数n_h以及每个头的注意力维度d_h，并将图像特征和文本特征分别映射到d_h维度；

S26：对于每个注意力头，使用点积操作计算图像特征和文本特征之间的相似度，经过softmax函数获得注意力权重a_w；

S27：将a_w与图像特征矩阵相乘得到加权图像特征F_i_w，将a_w与文本特征矩阵相乘得到加权文本特征Ft_w；

S28：将加权图像特征F_i_w和加权文本特征Ft_w进行拼接操作，以此将图像特征和文本特征融合为一个综合向量F_f作为后续模型输入。

4.根据权利要求1所述的海洋生物探测系统中的缺失值填补方法，其特征在于，S3具体包括：

S31：超步训练，设定指定的训练次数epochs，将训练次数epochs均分为n份，对VGG16模型、textCNN模型和decode模型进行训练；将S2得到的融合特征输入到模型的decode部分，使用迭代的方式得到填补后的数据X_imp；

S32：对于每个epoch已经获得到填补数据X_imp，利用掩码矩阵data_m的位置信息获取X_imp在缺失值位置的数据，使用X＝X⊙data_m+X_imp⊙(1-data_m)更新其中的观测属性为原始观测属性的值以保证填补的数据只针对缺失属性；

S33：每个超步训练完成后同样使用X＝X⊙data_m+X_imp⊙(1-data_m)更新数据集，目的是让输入数据含有更少的缺失值以获得更准确的特征表示。

5.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时，执行所述权利要求1至4中任一项权利要求所述的海洋生物探测系统中的缺失值填补方法。

6.一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器通过所述计算机程序运行执行所述权利要求1至4中任一项权利要求所述的海洋生物探测系统中的缺失值填补方法。