CN115757857A - 一种水下三维跨模态联合检索方法、存储介质和电子设备 - Google Patents
一种水下三维跨模态联合检索方法、存储介质和电子设备 Download PDFInfo
- Publication number
- CN115757857A CN115757857A CN202310024866.5A CN202310024866A CN115757857A CN 115757857 A CN115757857 A CN 115757857A CN 202310024866 A CN202310024866 A CN 202310024866A CN 115757857 A CN115757857 A CN 115757857A
- Authority
- CN
- China
- Prior art keywords
- local feature
- modal
- descriptor
- underwater
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013507 mapping Methods 0.000 claims abstract description 37
- 238000011176 pooling Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 28
- 238000005259 measurement Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000011524 similarity measure Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种水下三维跨模态联合检索方法、存储介质和电子设备，涉及水下三维视觉技术领域，实现了水下目标生物的精准检索。S1、利用全局特征提取器和局部特征提取器分别对多模态水下目标数据进行特征提取，得到对应不同源域空间的全局特征描述子和局部特征描述子集合，并分别映射到高维语义空间；S2、针对映射到高维语义空间的局部特征描述子集合，使用双线性池化方法将局部特征描述子集合映射为局部特征集合紧致描述子；S3、隐式建模全局特征描述子与局部特征集合紧致描述子，生成统一的域间差异层次特征表达；S4、使用跨模态中心损失函数和平方差损失函数联合优化跨模态检索网络，最终获得在多个目标模态之间精确的检索结果。
Description
技术领域
本发明涉及水下三维视觉技术领域，具体涉及一种水下三维跨模态联合检索方法、存储介质和电子设备。
背景技术
海洋是所有人类的共同家园，向人类提供了氧气、食品、药品等能源。因此，开发海洋、保护海洋都离不开科学技术的支撑，对海洋生物的探索也逐渐深入。然而，不同于陆地环境，水下环境的数据采集较为困难，三维数据模态随不同环境、不同设备的改变而有所变化，常规方法针对水下目标检索往往使用单一模态的数据作为输入源，这导致其检索精度不高，鲁棒性也较差，很难具有大规模水下目标检索的潜力。同时，这也较为明显地制约了对水下生物的探索与研究。
三维多模态数据之间聚合了多源数据的大量信息，这些信息可以互相补充，弥补单一数据模态间的信息不足，使得相关检索模型算法的表征更加完备。例如，在视频检索过程中，同时结合字幕和标题等文字信息、音频信息以及画面动作等视觉信息作为多模态数据作为输入源，得到的检索结果显著高于任意单一模态的数据作为输入源。进一步地，三维跨模态检索的核心问题是如何获得模态不变的和具有区分性的特征描述子。
近年来，深度学习在图像-文本跨模态检索任务中实现了良好的表现，但在三维数据的跨模态检索任务中探索不多。现有的三维数据跨模态检索方法大部分是直接使用全局特征提取器去获得模态间的全局特征描述子，并在高维语义特征空间中减少跨模态数据特征间的差异性。然而，这些方法仅仅关注模态间的全局特征，而没有关注局部的细节信息，相反这些局部细节往往带有丰富的语义信息。特别地，在水下的复杂场景中，局部特征间相似性度量在减少多模态实例间距离差异时，往往扮演着比全局特征更为积极和重要的角色。因此，针对水下目标的检索任务，探究如何恰当使用三维跨模态数据间的互补信息，实现水下目标生物的精准检索，已经成为本领域需要深入研究的问题。
发明内容
为了实现水下目标生物的精准检索，本发明提出了一种水下三维跨模态联合检索方法、存储介质和电子设备。
本发明的技术方案如下：
一种水下三维跨模态联合检索方法，包括如下步骤：
S1、利用全局特征提取器和局部特征提取器分别对多模态水下目标数据进行特征提取，得到对应不同源域空间的全局特征描述子和局部特征描述子集合，并分别映射到高维语义空间；
S2、针对映射到高维语义空间的局部特征描述子集合，使用双线性池化方法将局部特征描述子集合映射为局部特征集合紧致描述子；
S3、隐式建模全局特征描述子与局部特征集合紧致描述子，生成统一的域间差异层次特征表达；
S4、使用跨模态中心损失函数和平方差损失函数对以上步骤中的进程进行联合优化训练，最终获得在多个目标模态之间精确的检索结果。
优选地，所述多模态水下目标数据包括网格数据、点云数据以及多视角图像数据。
优选地，所述步骤S1具体包括：
S1.1、使用全局特征提取器来提取每种模态的全局特征描述子；
S1.2、采用一个基于全局特征的映射函数将S1.1中的多种模态的全局特征描述子分别映射到一个高维统一的全局语义特征空间，映射后的局部特征描述子集合表示如下：
式中，K表示局部特征数，
代表第i个物体的第
种模态的局部特征集合，
代表第j个物体的第
种模态的局部特征集合，
代表不同于m的任何一种模态；
S1.3、使用局部特征提取器来提取每种模态的局部特征描述子集合；
S1.4、采用一个基于局部特征的映射函数将S1.3中的多种模态局部特征描述子集合分别映射到多个高维统一的局部特征语义空间。
优选地，所述步骤S2通过以下方式实现：
将局部特征集合之间的相似性度量等价转化为局部特征集合紧致描述子之间的相似性度量，具体计算过程如下：
其中，u和v均为介于1~K的整数，
代表对两个局部特征的相似性度量，vec（.）代表矩阵向量化操作，
和
代表对
和
双线性池化的结果，进而将局部特征描述子集合
和
映射为局部特征集合紧致描述子
和
。
优选地，所述步骤S3通过以下方式实现：
将全局特征描述子和局部特征集合紧致描述子隐式表达为统一的层次特征描述子，映射过程如下：
其中，
代表连结操作，
代表第i个物体的第m种模态的全局特征描述子，
代表第j个物体的第
种模态的全局特征描述子，
代表不同于m的任何一种模态，
和
为得到的层次特征描述子。
优选地，步骤S3中所述跨模态中心损失函数如下：
其中，N代表目标物体个数，M代表同一目标间的模态个数，
代表第i个目标的类别，
和
分别代表在yi类别下全局特征空间的中心点和局部特征空间的中心点。
优选地，步骤S3中所述平方差损失函数如下：
其中，M代表同一目标间的模态个数。
一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序执行如上所述的水下三维跨模态联合检索方法。
一种电子设备，包括处理器和存储器，其中处理器、存储器通过通信总线完成相互间的通信；存储器，用于存储计算机程序；处理器，用于执行存储器上所存放的计算机程序时，实现如上所述的水下三维跨模态联合检索方法。
与现有技术相比，本发明的具体有益效果为：
本发明通过三维水下目标数据多种模态的联合建模，构建了基于不同目标多种模态下计算高效、细节丰富的层次特征描述子，通过计算层次特征描述子间的相似性，来衡量目标物体间的相似度，联合优化三维目标检索的训练进程，进而能够实现三维水下目标跨模态间的精准检索。
附图说明
图1为本发明提供的水下三维跨模态联合检索方法流程示意图；
图2为所示局部特征描述子集合提取流程示意图。
具体实施方式
为使本发明的技术方案更加清楚，下面将结合本发明的说明书附图，对本发明实施例中的技术方案进行清楚、完整地描述，需要说明的是，以下实施例仅用于更好地理解本发明的技术方案，而不应理解为对本发明的限制。
实施例1.
本实施例提供了一种水下三维跨模态联合检索方法，如图1所示，包括如下步骤：
S1、利用全局特征提取器和局部特征提取器分别对多模态水下目标数据进行特征提取，得到对应不同源域空间的全局特征描述子和局部特征描述子集合，并分别映射到高维语义空间；
S2、针对映射到高维语义空间的局部特征描述子集合，使用双线性池化方法将局部特征描述子集合映射为局部特征集合紧致描述子，所使用的映射能够保持原有的局部特征集合之间的距离相似不变性；
S3、隐式建模全局特征描述子与局部特征集合紧致描述子，生成统一的低级别域间差异层次特征表达，同时，在层次特征集合上执行的相似性度量运算即代表目标特征之间的相似性度量；
S4、使用跨模态中心损失函数和平方差损失函数联合优化跨模态检索网络，最终获得在多个目标模态之间精确的检索结果。
本实施例将水下目标的多模态数据作为输入源，目标数据可以为不同类型的环境或者不同种类的生物，如：岩石、珊瑚、鱼群和潜水员等，采集设备可以用不同类型的传感器元件，如Kinect深度传感相机、Davis 346事件相机、激光雷达和全景相机等，提取其丰富的全局特征描述子和局部特征描述子集合，并通过衡量高维语义空间层次特征描述子间的相似性，实现水下三维目标的联合检索。
实施例2.
本实施例为对实施例1的进一步举例说明，所述多模态水下目标数据包括网格数据、点云数据以及多视角图像数据。
实施例3.
本实施例为对实施例1的进一步举例说明，所述S1具体包括：
S1.1、使用全局特征提取器来提取每种模态的全局特征描述子；考虑每种模态数据的域间差异，可以使用不同种类的三维特征提取器提取不同三维模态数据的全局特征描述子，例如，可以使用MeshNet网络提取三角网格数据的全局特征描述子、可以使用DGCNN网络提取点云数据的全局特征描述子以及可以使用MVCNN网络提取多视角图像的全局特征描述子；
S1.2、采用一个基于全局特征的映射函数将S1.1中的多种模态的全局特征描述子分别映射到一个高维统一的全局语义特征空间，映射后的局部特征描述子集合表示如下：
式中，K表示局部特征数，
代表第i个物体的第
种模态的局部特征集合，
代表第j个物体的第
种模态的局部特征集合，
代表不同于m的任何一种模态，可以消除各个模态之间的域间差异性，进而，可使用余弦相似性度量全局特征描述子之间的距离；为了便于理解和计算，后面计算过程中的全局特征描述子和局部特征描述子集合均为映射到高维统一的局部特征语义空间后的描述子集合；
具体的，基于全局特征的映射函数可以为不同种类的非线性映射函数或神经网络，例如：MLP或CNN等，其映射过程如下：
式中，
和
分别代表映射到高维语义特征空间之前和之后的第
个水下目标数据的第
种模态的全局特征描述子，
为映射关系。进而，可以使用全局特征描述子
代表目标模态进行后续的余弦相似性度量；
S1.3、如图2所示，使用局部特征提取器来提取每种模态的局部特征描述子集合；与步骤S1.1保持一致，考虑每种模态数据的域间差异，可以使用不同种类的三维特征提取器提取不同三维模态数据的局部特征描述子集合；例如，可以使用MeshNet网络提取三角网格数据的局部特征描述子集合、可以使用DGCNN网络提取点云数据的局部特征描述子集合以及可以使用MVCNN网络提取多视角图像的局部特征描述子集合；
S1.4、采用一个基于局部特征的映射函数将S1.3中的多种模态局部特征描述子集合分别映射到多个高维统一的局部特征语义空间，消除了各个模态局部特征描述子集合的域间差异性；
具体的，基于局部特征的映射函数可以为不同种类的非线性映射函数或神经网络，如：MLP或CNN等，其映射过程如下：
式中，
和
分别代表映射到高维语义特征空间之前和之后的第
个水下目标数据的第
种模态的局部特征描述子集合，
为映射关系。为了便于理解和计算，后面计算过程中局部特征描述子集合均为映射到高维统一的局部特征语义空间后的局部特征描述子集合。
实施例4.
本实施例为对实施例3的进一步举例说明，所述S2通过以下方式实现：
将局部特征集合之间的相似性度量等价转化为向量（局部特征集合紧致描述子）之间的相似性度量，具体计算过程如下：
其中，u和v均为介于1~K的整数，
代表对两个局部特征的相似性度量，vec（.）代表矩阵向量化操作，
和
代表对
和
双线性池化的结果，进而将局部特征描述子集合
和
映射为局部特征集合紧致描述子
和
。
本实施例通过双线性池化方法得到局部特征集合紧致描述子，进而可以使用局部特征集合紧致描述子之间的相似性度量表示局部特征集合之间的相似性。
实施例5.
本实施例为对实施例4的进一步举例说明，所述S3通过以下方式实现：
将全局特征描述子和局部特征集合紧致描述子隐式表达为统一的层次特征描述子，映射过程如下：
其中，
代表连结操作，
代表第i个物体的第m种模态的全局特征描述子，
代表第j个物体的第
种模态的全局特征描述子，
代表不同于m的任何一种模态，
和
为得到的层次特征描述子。
由于建立一个衡量两个目标模态间相似度的方法，那么既要考虑全局特征描述子之间的相似度，也要考虑局部特征集合紧致描述子之间的相似度。因此，本实施例将全局特征描述子和局部特征集合紧致描述子隐式表达为统一的层次特征描述子。
将两种特征描述子相似性度量转化为一个层次特征描述子的相似性度量，进而通过衡量层次特征描述子之间的相似度确定两个目标模态之间的相似性，，结合层次特征描述子的表达，其整体显式计算过程如下：
其中，
使用余弦距离度量两个特征描述子间的相似性，
和
作为权重系数用来平衡全局特征相似度和局部特征相似度，其计算公式如下：
实施例6.
本实施例为对实施例5的进一步举例说明，步骤S3中所述跨模态中心损失函数如下：
其中，N代表目标物体个数，M代表同一目标间的模态个数，yi代表第i个目标的类别，
和
分别代表在yi类别下全局特征空间的中心点和局部特征空间的中心点。
本实施例在全局特征空间和局部特征空间中找寻两个中心点，使属于此类的所有目标均聚焦在同一点，进而消除了模态间的差异干扰。
实施例7.
本实施例为对实施例5的进一步举例说明，步骤S3中所述平方差损失函数如下：
其中，M代表同一目标间的模态个数。
本实施例通过拉近同一目标间不同模态特征，进而继续消除模态间的差异。
进一步地，由跨模态中心损失函数和平方差损失函数构成总体的损失函数，实现对多模态目标数据的检索过程的优化，其总体损失函数为：
其中，每个损失函数前面的系数λ1、λ2、μ1和μ2作为权重参数，用于平衡整体损失函数，可依据不同场景的优化任务而动态调整。
实施例8.
本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序执行如实施例1-7中任意一项所述的水下三维跨模态联合检索方法。
实施例9.
本实施例提供了一种电子设备，包括处理器和存储器，其中处理器、存储器通过通信总线完成相互间的通信；存储器，用于存储计算机程序；处理器，用于执行存储器上所存放的计算机程序时，实现如实施例1-7中任意一项所述的水下三维跨模态联合检索方法。
以上实施例仅为本发明的较佳实施例及所运用技术原理，本领域技术人员应当理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (9)
1.一种水下三维跨模态联合检索方法，其特征在于，包括如下步骤：
S1、利用全局特征提取器和局部特征提取器分别对多模态水下目标数据进行特征提取，得到对应不同源域空间的全局特征描述子和局部特征描述子集合，并分别映射到高维语义空间；
S2、针对映射到高维语义空间的局部特征描述子集合，使用双线性池化方法将局部特征描述子集合映射为局部特征集合紧致描述子；
S3、隐式建模全局特征描述子与局部特征集合紧致描述子，生成统一的域间差异层次特征表达；
S4、使用跨模态中心损失函数和平方差损失函数对以上步骤中的进程进行联合优化训练，最终获得在多个目标模态之间精确的检索结果。
2.根据权利要求1所述的水下三维跨模态联合检索方法，其特征在于，所述多模态水下目标数据包括网格数据、点云数据以及多视角图像数据。
3.根据权利要求1所述的水下三维跨模态联合检索方法，其特征在于，所述步骤S1具体包括：
S1.1、使用全局特征提取器来提取每种模态的全局特征描述子；
S1.2、采用一个基于全局特征的映射函数将S1.1中的多种模态的全局特征描述子分别映射到一个高维统一的全局语义特征空间，映射后的局部特征描述子集合表示如下：
式中，
代表第i个物体的第
种模态的局部特征集合，
代表第j个物体的第
种模态的局部特征集合，
代表不同于m的任何一种模态；
S1.3、使用局部特征提取器来提取每种模态的局部特征描述子集合；
S1.4、采用一个基于局部特征的映射函数将S1.3中的多种模态局部特征描述子集合分别映射到多个高维统一的局部特征语义空间。
4.根据权利要求3所述的水下三维跨模态联合检索方法，其特征在于，所述步骤S2通过以下方式实现：
将局部特征集合之间的相似性度量等价转化为局部特征集合紧致描述子之间的相似性度量，具体计算过程如下：
其中，
代表对两个局部特征的相似性度量，vec（.）代表矩阵向量化操作，
和
代表对
和
双线性池化的结果，进而将局部特征描述子集合
和
映射为局部特征集合紧致描述子
和
。
5.根据权利要求4所述的水下三维跨模态联合检索方法，其特征在于，所述步骤S3通过以下方式实现：
将全局特征描述子和局部特征集合紧致描述子隐式表达为统一的层次特征描述子，映射过程如下：
其中，
代表连结操作，
代表第i个物体的第m种模态的全局特征描述子，
代表第j个物体的第
种模态的全局特征描述子，
代表不同于m的任何一种模态，
和
为得到的层次特征描述子。
6.根据权利要求5所述的水下三维跨模态联合检索方法，其特征在于，步骤S3中所述跨模态中心损失函数如下：
其中，
代表第i个目标的类别，
和
分别代表在yi类别下全局特征空间的中心点和局部特征空间的中心点。
7.根据权利要求5所述的水下三维跨模态联合检索方法，其特征在于，步骤S3中所述平方差损失函数如下：
其中，M代表同一目标间的模态个数。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序执行如权利要求1-7中任意一项所述的水下三维跨模态联合检索方法。
9.一种电子设备，其特征在于，包括处理器和存储器，其中处理器、存储器通过通信总线完成相互间的通信；存储器，用于存储计算机程序；处理器，用于执行存储器上所存放的计算机程序时，实现如权利要求1-7中任意一项所述的水下三维跨模态联合检索方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310024866.5A CN115757857B (zh) | 2023-01-09 | 2023-01-09 | 一种水下三维跨模态联合检索方法、存储介质和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310024866.5A CN115757857B (zh) | 2023-01-09 | 2023-01-09 | 一种水下三维跨模态联合检索方法、存储介质和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115757857A true CN115757857A (zh) | 2023-03-07 |
| CN115757857B CN115757857B (zh) | 2023-05-23 |
Family
ID=85348436
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310024866.5A Active CN115757857B (zh) | 2023-01-09 | 2023-01-09 | 一种水下三维跨模态联合检索方法、存储介质和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115757857B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116309781A (zh) * | 2023-05-18 | 2023-06-23 | 吉林大学 | 一种基于跨模态融合的水下视觉目标测距方法及装置 |
| CN117473105A (zh) * | 2023-12-28 | 2024-01-30 | 浪潮电子信息产业股份有限公司 | 基于多模态预训练模型的三维内容生成方法及相关组件 |
| CN117541810A (zh) * | 2023-11-17 | 2024-02-09 | 粤港澳大湾区(广东)国创中心 | 三维特征提取方法、装置、电子设备以及可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110188228A (zh) * | 2019-05-28 | 2019-08-30 | 北方民族大学 | 基于草图检索三维模型的跨模态检索方法 |
| WO2020143137A1 (zh) * | 2019-01-07 | 2020-07-16 | 北京大学深圳研究生院 | 基于受限文本空间的多步自注意力跨媒体检索方法及系统 |
| CN114495010A (zh) * | 2022-02-14 | 2022-05-13 | 广东工业大学 | 一种基于多特征学习的跨模态行人重识别方法及系统 |
| CN114743217A (zh) * | 2022-03-29 | 2022-07-12 | 南京信息工程大学 | 一种基于局部特征感知图文跨模态模型的行人识别方法和模型的训练方法 |
| CN114911967A (zh) * | 2022-05-25 | 2022-08-16 | 北方民族大学 | 一种基于自适应域增强的三维模型草图检索方法 |
| CN114996502A (zh) * | 2022-06-23 | 2022-09-02 | 天津理工大学 | 一种联合图文匹配和视觉推理的多任务学习模型、视觉常识推理方法及计算机设备 |
-
2023
- 2023-01-09 CN CN202310024866.5A patent/CN115757857B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020143137A1 (zh) * | 2019-01-07 | 2020-07-16 | 北京大学深圳研究生院 | 基于受限文本空间的多步自注意力跨媒体检索方法及系统 |
| CN110188228A (zh) * | 2019-05-28 | 2019-08-30 | 北方民族大学 | 基于草图检索三维模型的跨模态检索方法 |
| CN114495010A (zh) * | 2022-02-14 | 2022-05-13 | 广东工业大学 | 一种基于多特征学习的跨模态行人重识别方法及系统 |
| CN114743217A (zh) * | 2022-03-29 | 2022-07-12 | 南京信息工程大学 | 一种基于局部特征感知图文跨模态模型的行人识别方法和模型的训练方法 |
| CN114911967A (zh) * | 2022-05-25 | 2022-08-16 | 北方民族大学 | 一种基于自适应域增强的三维模型草图检索方法 |
| CN114996502A (zh) * | 2022-06-23 | 2022-09-02 | 天津理工大学 | 一种联合图文匹配和视觉推理的多任务学习模型、视觉常识推理方法及计算机设备 |
Non-Patent Citations (1)
| Title |
|---|
| 聂婕 等: ""面向海洋的多模态智能计算: 挑战、进展和展望"" * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116309781A (zh) * | 2023-05-18 | 2023-06-23 | 吉林大学 | 一种基于跨模态融合的水下视觉目标测距方法及装置 |
| CN116309781B (zh) * | 2023-05-18 | 2023-08-22 | 吉林大学 | 一种基于跨模态融合的水下视觉目标测距方法及装置 |
| CN117541810A (zh) * | 2023-11-17 | 2024-02-09 | 粤港澳大湾区(广东)国创中心 | 三维特征提取方法、装置、电子设备以及可读存储介质 |
| CN117473105A (zh) * | 2023-12-28 | 2024-01-30 | 浪潮电子信息产业股份有限公司 | 基于多模态预训练模型的三维内容生成方法及相关组件 |
| CN117473105B (zh) * | 2023-12-28 | 2024-04-05 | 浪潮电子信息产业股份有限公司 | 基于多模态预训练模型的三维内容生成方法及相关组件 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115757857B (zh) | 2023-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108288067B (zh) | 图像文本匹配模型的训练方法、双向搜索方法及相关装置 | |
| CN115757857A (zh) | 一种水下三维跨模态联合检索方法、存储介质和电子设备 | |
| CN110503076B (zh) | 基于人工智能的视频分类方法、装置、设备和介质 | |
| CN111862213A (zh) | 定位方法及装置、电子设备、计算机可读存储介质 | |
| CN112307940A (zh) | 模型训练方法、人体姿态检测方法、装置、设备及介质 | |
| CN111652974B (zh) | 三维人脸模型的构建方法、装置、设备及存储介质 | |
| CN106897295B (zh) | 一种基于Hadoop的输电线路监控视频分布式检索方法 | |
| CN111462324B (zh) | 一种在线时空语义融合方法和系统 | |
| CN111368733B (zh) | 一种基于标签分布学习的三维手部姿态估计方法、存储介质及终端 | |
| CN111784776A (zh) | 视觉定位方法及装置、计算机可读介质和电子设备 | |
| US20220398402A1 (en) | Detecting objects in a video using attention models | |
| CN115686868B (zh) | 一种基于联邦哈希学习的面向跨节点多模态检索方法 | |
| CN112330825A (zh) | 一种基于二维图像信息的三维模型检索方法 | |
| CN111598149B (zh) | 一种基于注意力机制的回环检测方法 | |
| CN115344727A (zh) | 基于法向球谐的大规模三维点云检索方法、装置及系统 | |
| CN113628329B (zh) | 一种零样本草图三维点云检索方法 | |
| CN116823816B (zh) | 一种基于安防监控静态存储器的检测设备及检测方法 | |
| Liu et al. | Ground camera image and large-scale 3-D image-based point cloud registration based on learning domain invariant feature descriptors | |
| CN110826726B (zh) | 目标处理方法、目标处理装置、目标处理设备及介质 | |
| CN115344736A (zh) | 一种渐进式的图像文本匹配方法 | |
| CN111414802B (zh) | 蛋白质数据特征提取方法 | |
| CN113537143A (zh) | 一种基于图卷积神经网络的3d形状识别方法与设备 | |
| CN106326395A (zh) | 一种局部视觉特征选择方法及装置 | |
| Liu et al. | 6d object pose estimation based on 2d bounding box | |
| Hettiarachchi et al. | Depth as attention to learn image representations for visual localization, using monocular images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |