CN113886625A - 基于点云与视图融合的对象检索方法和系统 - Google Patents

基于点云与视图融合的对象检索方法和系统 Download PDF

Info

Publication number
CN113886625A
CN113886625A CN202110914373.XA CN202110914373A CN113886625A CN 113886625 A CN113886625 A CN 113886625A CN 202110914373 A CN202110914373 A CN 202110914373A CN 113886625 A CN113886625 A CN 113886625A
Authority
CN
China
Prior art keywords
view
point
point cloud
data
modal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110914373.XA
Other languages
English (en)
Inventor
高跃
丰一帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110914373.XA priority Critical patent/CN113886625A/zh
Publication of CN113886625A publication Critical patent/CN113886625A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提出了一种基于点云与视图融合的对象检索方法和系统，该方法包括：获取立体视觉对象的多张视图数据和点云数据，并对点云数据和视图数据分别进行数据模态的预处理转化；通过单模态的网络模型分别提取视图数据的单视图特征和视图模态特征，以及点云数据的逐点特征和点云模态特征；对单视图特征和点云模态特征进行交叉融合，并对视图模态特征和逐点特征进行交叉融合，以获得多模态融合特征；从多模态融合特征中提取出立体视觉对象的统一表示特征，并根据统一表示特征进行立体视觉对象的分类与检索。该方法通过点云与视图联合表示与多模态交叉融合，实现了对立体视觉对象的精准刻画，进一步的优化了立体视觉对象的分类和检索的性能。

Description

基于点云与视图融合的对象检索方法和系统
技术领域
本申请涉及立体视觉对象检索技术领域，尤其涉及一种基于点云与视图融合的对象检索方法和系统。
背景技术
目前，立体视觉对象检索任务由于其广泛的应用领域，受到了学术界和工业界的广泛关注。VR和AR技术的发展很大程度上都依赖于立体视觉对象的表示、识别与检索。常见的立体视觉对象的表示方式有点云、体素、网格和视图等。通常情况下立体视觉对象检索大多都是基于单模态表示的检索，然而单模态数据中的噪声会对其精度造成很大的干扰，因此很难在实际的场景中落地应用。
相关技术中的一些基于多模态的方法进行立体视觉对象表示与检索，大多都是直接将多模模态的结果进行先融合或者后融合。其中，先融合指的是在输入数据上直接进行简单的模态转换和合并，而后融合指的是在输出的结果上进行概率分布的融合或者特征的拼接。然而这两种方式都不能对多模态之间的关联进行充分的建模，也就导致很难对立体视觉对象数据的噪声具有一定的抵抗力。即相关技术中的立体视觉对象检索存在以下问题：
(1)立体视觉对象数据采集方式的有限性；在很多场景下，采集数据的方式会受到很大的限制，只能获取单模态的点云或者视图的数据。
(2)多模态数据间的语义鸿沟；立体视觉对象的不同模态数据建模方式差异巨大，很难直接从原始数据上进行匹配和融合，同时这也使得跨模态检索任务的难度大大增加。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种基于点云与视图融合的对象检索方法，该方法使用点云和视图两种模态同时对立体视觉对象进行建模，并通过多模态交叉融合的算法对点云和视图两种模态的数据分别进行全局和局部融合，使得模态间的互补信息被更加重复的利用，从而，有效的弥补了多模态间建模能力的差异性，提升了立体对象统一表示特征的表达能力，使得不同模态的数据能够更加深度的进行融合，有效提升了立体视觉对象检索的性能和鲁棒性。
本发明的第二个目的在于提出一种基于点云与视图融合的对象检索系统。
本发明的第三个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的，本发明第一方面实施例提出了一种基于点云与视图融合的对象检索方法，包括以下步骤：
S1：通过在不同角度设置的多个相机拍摄立体视觉对象，获取所述立体视觉对象的多张视图数据，对所述立体视觉对象的表面进行最远点采样，以生成所述立体视觉对象的点云数据，并对所述点云数据和视图数据分别进行数据模态的预处理转化；
S2：通过单模态的网络模型分别提取所述视图数据的单视图特征和视图模态特征，以及所述点云数据的逐点特征和点云模态特征；
S3：对所述单视图特征和所述点云模态特征进行交叉融合，并对所述视图模态特征和所述逐点特征进行交叉融合，以获得多模态融合特征；
S4：从所述多模态融合特征中提取出所述立体视觉对象的统一表示特征，并根据所述统一表示特征进行所述立体视觉对象的分类与检索。
可选地，在本申请的一个实施例中，步骤S1具体包括：获取原始数据，并根据所述原始数据重建所述立体视觉对象；将所述立体视觉对象按预设方向设置在三维空间中，并在所述立体视觉对象的水平面中的不同位置处设置多个相机对所述立体视觉对象进行拍摄；通过最远点采样算法从所述立体视觉对象的表面均匀采集第一预设数量的点作为初始点云集合，并从所述初始点云集合中再随机选出第二预设数量的点作为初始点云模态数据；删除所述多张视图数据的背景，并对每张所述视图数据进行随机的旋转和放缩；将所述初始点云模态数据的坐标进行归一化处理，并对每个点进行随机的抖动。
可选地，在本申请的一个实施例中，步骤S2具体包括：构建多视图全卷积网络，通过所述多视图全卷积网络提取每张视图数据的底层特征；构建深度卷积网络，通过所述深度卷积网络从所述每张视图数据的底层特征中提取出对应单视图特征，并且将各个视图数据的所述单视图特征进行最大池化融合，生成视图模态特征；通过连接多个边卷积、池化层和激活层构建点云特征提取网络，并通过所述点云特征提取网络提取点云数据的逐点特征；对各个逐点特征进行全局池化融合，以生成点云模态特征。
可选地，在本申请的一个实施例中，步骤S3具体包括：将每个所述单视图特征分别与所述点云模态特征进行融合，获得对应的联合点云的单视图特征；将每个所述联合点云的单视图特征进行融合，生成逐视图与点云交叉融合特征；将每个所述逐点特征分别与所述视图模态特征进行融合，获得对应的联合视图的逐点特征；将每个联合视图的逐点特征进行融合，生成逐点与视图模态融合特征。
可选地，在本申请的一个实施例中，步骤S4具体包括：通过深度卷积网络从所述多模态融合特征中提取出所述立体视觉对象的统一表示特征；计算所述统一表示特征与数据库中的每个对象特征间的距离，并对每个距离进行排序，根据排序结果确定检索出的最相似立体视觉对象。
为达上述目的，本申请第二方面实施例提出一种基于点云与视图融合的对象检索系统，包括以下模块：
数据采样模块，用于通过在不同角度设置的多个相机拍摄立体视觉对象，获取所述立体视觉对象的多张视图数据，对所述立体视觉对象的表面进行最远点采样，以生成所述立体视觉对象的点云数据，并对所述点云数据和视图数据分别进行数据模态的预处理转化；
第一特征提取模块，用于通过单模态的网络模型分别提取所述视图数据的单视图特征和视图模态特征，以及所述点云数据的逐点特征和点云模态特征；
交叉融合模块，用于对所述单视图特征和所述点云模态特征进行交叉融合，并对所述视图模态特征和所述逐点特征进行交叉融合，以获得多模态融合特征；
第二特征提取模块，用于从所述多模态融合特征中提取出所述立体视觉对象的统一表示特征，并根据所述统一表示特征进行所述立体视觉对象的分类与检索。
可选地，在本申请的一个实施例中，所述数据采样模块具体用于：获取原始数据，并根据所述原始数据重建所述立体视觉对象；将所述立体视觉对象按预设方向设置在三维空间中，并在所述立体视觉对象的水平面中的不同位置处设置多个相机对所述立体视觉对象进行拍摄；通过最远点采样算法从所述立体视觉对象的表面均匀采集第一预设数量的点作为初始点云集合，并从所述初始点云集合中再随机选出第二预设数量的点作为初始点云模态数据；删除所述多张视图数据的背景，并对每张所述视图数据进行随机的旋转和放缩；将所述初始点云模态数据的坐标进行归一化处理，并对每个点进行随机的抖动。
可选地，在本申请的一个实施例中，所述第一特征提取模块具体用于：构建多视图全卷积网络，通过所述多视图全卷积网络提取每张视图数据的底层特征；构建深度卷积网络，通过所述深度卷积网络从所述每张视图数据的底层特征中提取出对应单视图特征，并且将各个视图数据的所述单视图特征进行最大池化融合，生成视图模态特征；通过连接多个边卷积、池化层和激活层构建点云特征提取网络，并通过所述点云特征提取网络提取点云数据的逐点特征；对各个逐点特征进行全局池化融合，以生成点云模态特征。
可选地，在本申请的一个实施例中，所述交叉融合模块具体用于：将每个所述单视图特征分别与所述点云模态特征进行融合，获得对应的联合点云的单视图特征；将每个所述联合点云的单视图特征进行融合，生成逐视图与点云交叉融合特征；将每个所述逐点特征分别与所述视图模态特征进行融合，获得对应的联合视图的逐点特征；将每个联合视图的逐点特征进行融合，生成逐点与视图模态融合特征。
可选地，在本申请的一个实施例中，第二特征提取模块具体用于：通过深度卷积网络从所述多模态融合特征中提取出所述立体视觉对象的统一表示特征；计算所述统一表示特征与数据库中的每个对象特征间的距离，并对每个距离进行排序，根据排序结果确定检索出的最相似立体视觉对象。
本申请的技术效果：本申请使用两种模态点云和视图同时对立体视觉对象进行建模，并通过多模态交叉融合的算法对点云和视图两种模态的数据分别进行全局和局部融合，使得模态间的互补信息被更加重复的利用，从而，有效的弥补了多模态间建模能力的差异性，提升了立体对象统一表示特征的表达能力，使得不同模态的数据能够更加深度的进行融合，有效提升了立体视觉对象检索的性能和鲁棒性。
为达上述目的，本申请第三方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请第一方面实施例所述的基于点云与视图融合的对象检索方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本申请一个实施例提供的基于点云与视图融合的对象检索方法的流程图；
图2是本申请一个实施例提供的生成点云模态数据与视图模态数据的示意图；
图3是本申请一个实施例提供的提取视图模态特征与点云模态特征的流程示意图；
图4是本申请一个实施例提供的对多模态特征进行融合的流程示意图；
图5为本申请一个实施例提供的具体的基于点云与视图融合的对象检索方法的流程图；
图6是本申请一个实施例提供的基于点云与视图融合的对象检索系统的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本申请实施例的基于点云与视图融合的对象检索方法及系统。
图1是本申请一个实施例提供的基于点云与视图融合的对象检索方法的流程图，如图1所示，该方法包括以下步骤：
S1：通过在不同角度设置的多个相机拍摄立体视觉对象，获取立体视觉对象的多张视图数据，对立体视觉对象的表面进行最远点采样，以生成立体视觉对象的点云数据，并对点云数据和视图数据分别进行数据模态的预处理转化。
在本申请一个实施例中，先获取待检索的立体视觉对象相关的原始数据，再根据获取的原始数据重建立体视觉对象。比如，根据获取的原始数据中的off等格式的三维数据重建出立体视觉对象。
然后，将重建的立体视觉对象按预设方向设置在三维空间中，并在立体视觉对象的水平面中的不同位置处设置多个相机对立体视觉对象进行拍摄。其中，预设方向可以是竖直向上等，此处不做限制，即将立体视觉对象竖直向上摆放到三维空间中的某一平面，同时在立体视觉对象所处的的水平面上，在对象的周围一圈摆放若干数量的相机，从不同的角度对其进行拍摄，进而搜集拍摄出的图像，得到立体视觉对象视图模态的数据。举例而言，以图2所示，在立体视觉对象周围摆放三个相机，从侧前方、正后方和正前方对其进行拍摄，获得三张视图数据。
再通过最远点采样算法从立体视觉对象的表面均匀采集第一预设数量的点作为初始点云集合，并从初始点云集合中再随机选出第二预设数量的点作为初始点云模态数据。其中，第一预设数量和第二预设数量可以根据检索的精确度等实际需求进行设置，此处不做限制，比如，继续参照图2，使用最远点采样算法从立体视觉对象的表面均匀采集10000个点作为初始点云集合，再从10000个点中再随机选出2048个点作为初始点云模态数据。
最后，删除多张视图数据的背景，并对每张视图数据进行随机的旋转和放缩，并且将初始点云模态数据的坐标进行归一化处理，并对每个点进行随机的抖动。具体的，该步骤对点云与视图数据进行预处理，以实现数据增强，转化成易于深度模型学习的数据模态。其中，针对视图数据，删除视图数据的背景，同时对每张视图数据进行随机的旋转和放缩操作来对其进行数据增强，针对点云数据，将其坐标归一化到0-1之间，并对每个点进行随机的抖动来对其进行数据增强。
S2：通过单模态的网络模型分别提取视图数据的单视图特征和视图模态特征，以及点云数据的逐点特征和点云模态特征。
其中，单模态的网络模型可以包括视图特征提取网络和点云特征提取网络，即如图3所示，可以通过视图特征提取网络提取视图模态特征，并且通过点云特征提取网络提取点云模态特征。
在本申请一个实施例中，具体实施时，先构建多视图全卷积网络，通过多视图全卷积网络提取每张视图数据的底层特征，再构建深度卷积网络，通过深度卷积网络从每张视图数据的底层特征中提取出对应单视图特征，然后将各个视图数据的单视图特征进行最大池化融合，生成视图模态特征。并且，通过连接多个边卷积、池化层和激活层构建点云特征提取网络，通过点云特征提取网络提取点云数据的逐点特征，再对各个逐点特征进行全局池化融合，以生成点云模态特征。
举例而言，参照图3所示，在提取视图模态特征时，构建多视图神经网络，具体可通过构建与视图数据的数量对应的多个单视图卷积神经网络，比如，如图3所示的根据3个视图数据对应构建3个单视图卷积神经网络，通过单视图全卷积网络提取出对应的单张视图的底层特征。进一步构建深度卷积网络提取单视图特征表示，即vo＝{v0，v1，...，vm}，其中，m表示视图数据的数量为m张，再将所有视图的单视图特征进行最大池化融合生成视图模态特征va，具体可通过如下所示的公式实现：
Figure BDA0003205115470000061
其中，viewpool()是视图特征池化层，作为一种示例，本申请可使用最大池化函数maxpool()作为视图特征池化层。
进一步的，在提取点云特征时，先连接多个边卷积、池化、激活层构建出点云特征提取网络。再通过点云特征提取网络提起出点云的逐点特征
Figure BDA0003205115470000062
其中，n表示点云数据一共包含了n个点。然后对所有点的逐点特征进行全局池化融合，从而生成点云模态特征pa，具体可通过如下所示的公式实现：
Figure BDA0003205115470000063
其中，pointpool()可以是最大池化或者平均池化等聚合函数，作为一种示例，本申请中以最大池化为例进行模态特征的生成。
S3：对单视图特征和点云模态特征进行交叉融合，并对视图模态特征和逐点特征进行交叉融合，以获得多模态融合特征。
在本申请一个实施例中，先将每个单视图特征分别与点云模态特征进行融合，获得对应的联合点云的单视图特征，再将每个联合点云的单视图特征进行融合，生成逐视图与点云交叉融合特征，然后将每个逐点特征分别与视图模态特征进行融合，获得对应的联合视图的逐点特征，最后将每个联合视图的逐点特征进行融合，生成逐点与视图模态融合特征。
具体实施时，作为一种可能的实现方式，以图4所示的方式对多模态特征进行融合。其中，先进行逐视图与点云交叉融合，将生成的点云模态特征pa和单视图特征
Figure BDA0003205115470000064
输入到模态对融合函数hα()中，得到联合点云的单视图特征VFi，接下来对获得的所有的联合点云单视图特征进行融合生成逐视图与点云交叉融合特征Fvp，具体的公式如下所示：
Figure BDA0003205115470000065
其中，Maxpool()是最大池化函数。
进一步的，进行逐点与视图交叉融合，将生成的视图模态特征va和逐点特征
Figure BDA0003205115470000066
输入到模态对融合函数hβ(·，·)中，得到联合视图的逐点特征PFi，接下来对融合获取的所有的联合视图的逐点特征进行融合生成逐点与视图模态融合特征Fpv，具体的公式如下所示：
Figure BDA0003205115470000071
S4：从多模态融合特征中提取出立体视觉对象的统一表示特征，并根据统一表示特征进行立体视觉对象的分类与检索。
在本申请一个实施例中，通过深度卷积网络从多模态融合特征中提取出立体视觉对象的统一表示特征，再计算统一表示特征与数据库中的每个对象特征间的距离，并对每个距离进行排序，根据排序结果确定检索出的最相似立体视觉对象。
在该实施例中，先通过深度网络从多模态特征中提取出立体对象统一表示用于对象检索任务。对于待检索的未知立体视觉对象，通过本申请的上述步骤得到立体视觉对象统一特征表示后，将立体视觉对象统一特征表示与数据库中预先存储的所有的对象特征表示计算距离，然后根据距离从小到大进行排序，根据排序结果检索得到与数据库中与待检索的未知立体视觉对象最相似的立体视觉对象，比如，以排序后位于第一位的对象特征对应的对象，为检索出的该未知立体视觉对象的最相似的立体视觉对象。
综上所述，本申请的基于点云与视图融合的对象检索方法，使用点云和视图两种模态同时对立体视觉对象进行建模，并通过多模态交叉融合的算法对点云和视图两种模态的数据分别进行全局和局部融合，使得模态间的互补信息被更加重复的利用，从而，有效的弥补了多模态间建模能力的差异性，提升了立体对象统一表示特征的表达能力，使得不同模态的数据能够更加深度的进行融合，有效提升了立体视觉对象检索的性能和鲁棒性。
以一个具体的示例进行说明，如图5所示，本申请在确定立体视觉对象后，通过多视角相机采集视图模态数据，再对图像进行预处理后，通过视图特征提取网路提取单个视图的单视图特征，再通过最大池化融合等计算，生成视图模态特征。同时，通过最远点采样算法从立体视觉对象的表面采集点云模态数据，再进行点云规范化处理后，通过点云特征提取网路提取点云的逐点特征，再通过最大池化融合等计算，生成点云模态特征。进而，对单视图特征、视图模态特征、逐点特征和点云模态特征进行多模态交叉融合，对多模态融合特征进行深度特征提取，提出立体视觉对象的统一表示特征，通过统一表示特征进行立体视觉对象的检索。
如图6所示，为达上述目的，本申请第二方面实施例提出本申请的一种基于点云与视图融合的对象检索系统，包括：数据采样模块100、第一特征提取模块200、交叉融合模块300和第二特征提取模块400。
其中，数据采样模块100，用于通过在不同角度设置的多个相机拍摄立体视觉对象，获取立体视觉对象的多张视图数据，对立体视觉对象的表面进行最远点采样，以生成立体视觉对象的点云数据，并对点云数据和视图数据分别进行数据模态的预处理转化。
第一特征提取模块200，用于通过单模态的网络模型分别提取视图数据的单视图特征和视图模态特征，以及点云数据的逐点特征和点云模态特征。
交叉融合模块300，用于对单视图特征和点云模态特征进行交叉融合，并对视图模态特征和逐点特征进行交叉融合，以获得多模态融合特征。
第二特征提取模块，用于从多模态融合特征中提取出立体视觉对象的统一表示特征，并根据统一表示特征进行立体视觉对象的分类与检索。
可选地，在本申请的一个实施例中，数据采样模块具体用于：获取原始数据，并根据所述原始数据重建所述立体视觉对象；将立体视觉对象按预设方向设置在三维空间中，并在立体视觉对象的水平面中的不同位置处设置多个相机对立体视觉对象进行拍摄；通过最远点采样算法从立体视觉对象的表面均匀采集第一预设数量的点作为初始点云集合，并从初始点云集合中再随机选出第二预设数量的点作为初始点云模态数据；删除多张视图数据的背景，并对每张视图数据进行随机的旋转和放缩；将初始点云模态数据的坐标进行归一化处理，并对每个点进行随机的抖动。
可选地，在本申请的一个实施例中，第一特征提取模块具体用于：构建多视图全卷积网络，通过多视图全卷积网络提取每张视图数据的底层特征；构建深度卷积网络，通过深度卷积网络从所述每张视图数据的底层特征中提取出对应单视图特征，并且将各个视图数据的单视图特征进行最大池化融合，生成视图模态特征；通过连接多个边卷积、池化层和激活层构建点云特征提取网络，并通过所述点云特征提取网络提取点云数据的逐点特征；对各个逐点特征进行全局池化融合，以生成点云模态特征。
可选地，在本申请的一个实施例中，交叉融合模块具体用于：将每个单视图特征分别与点云模态特征进行融合，获得对应的联合点云的单视图特征；将每个联合点云的单视图特征进行融合，生成逐视图与点云交叉融合特征；将每个逐点特征分别与视图模态特征进行融合，获得对应的联合视图的逐点特征；将每个联合视图的逐点特征进行融合，生成逐点与视图模态融合特征。
可选地，在本申请的一个实施例中，第二特征提取模块具体用于：通过深度卷积网络从多模态融合特征中提取出所述立体视觉对象的统一表示特征；计算统一表示特征与数据库中的每个对象特征间的距离，并对每个距离进行排序，根据排序结果确定检索出的最相似立体视觉对象。
综上所述，本申请实施例的基于点云与视图融合的对象检索系统，使用两种模态点云和视图同时对立体视觉对象进行建模，并通过多模态交叉融合的算法对点云和视图两种模态的数据分别进行全局和局部融合，使得模态间的互补信息被更加重复的利用，从而，有效的弥补了多模态间建模能力的差异性，提升了立体对象统一表示特征的表达能力，使得不同模态的数据能够更加深度的进行融合，有效提升了立体视觉对象检索的性能和鲁棒性。
为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请第一方面实施例所述的一种基于点云与视图融合的对象检索方法。
尽管参考附图详地公开了本申请，但应理解的是，这些描述仅仅是示例性的，并非用来限制本申请的应用。本申请的保护范围由附加权利要求限定，并可包括在不脱离本申请保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于点云与视图融合的对象检索方法，其特征在于，包括以下步骤：
S1：通过在不同角度设置的多个相机拍摄立体视觉对象，获取所述立体视觉对象的多张视图数据，对所述立体视觉对象的表面进行最远点采样，以生成所述立体视觉对象的点云数据，并对所述点云数据和视图数据分别进行数据模态的预处理转化；
S2：通过单模态的网络模型分别提取所述视图数据的单视图特征和视图模态特征，以及所述点云数据的逐点特征和点云模态特征；
S3：对所述单视图特征和所述点云模态特征进行交叉融合，并对所述视图模态特征和所述逐点特征进行交叉融合，以获得多模态融合特征；
S4：从所述多模态融合特征中提取出所述立体视觉对象的统一表示特征，并根据所述统一表示特征进行所述立体视觉对象的分类与检索。
2.根据权利要求1所述的方法，其特征在于，步骤S1具体包括：
获取原始数据，并根据所述原始数据重建所述立体视觉对象；
将所述立体视觉对象按预设方向设置在三维空间中，并在所述立体视觉对象的水平面中的不同位置处设置多个相机对所述立体视觉对象进行拍摄；
通过最远点采样算法从所述立体视觉对象的表面均匀采集第一预设数量的点作为初始点云集合，并从所述初始点云集合中再随机选出第二预设数量的点作为初始点云模态数据；
删除所述多张视图数据的背景，并对每张所述视图数据进行随机的旋转和放缩；
将所述初始点云模态数据的坐标进行归一化处理，并对每个点进行随机的抖动。
3.根据权利要求1所述的方法，其特征在于，步骤S2具体包括：
构建多视图全卷积网络，通过所述多视图全卷积网络提取每张视图数据的底层特征；
构建深度卷积网络，通过所述深度卷积网络从所述每张视图数据的底层特征中提取出对应单视图特征，并且将各个视图数据的所述单视图特征进行最大池化融合，生成视图模态特征；
通过连接多个边卷积、池化层和激活层构建点云特征提取网络，并通过所述点云特征提取网络提取点云数据的逐点特征；
对各个逐点特征进行全局池化融合，以生成点云模态特征。
4.根据权利要求1所述的方法，其特征在于，步骤S3具体包括：
将每个所述单视图特征分别与所述点云模态特征进行融合，获得对应的联合点云的单视图特征；
将每个所述联合点云的单视图特征进行融合，生成逐视图与点云交叉融合特征；
将每个所述逐点特征分别与所述视图模态特征进行融合，获得对应的联合视图的逐点特征；
将每个联合视图的逐点特征进行融合，生成逐点与视图模态融合特征。
5.根据权利要求1所述的方法，其特征在于，步骤S4具体包括：
通过深度卷积网络从所述多模态融合特征中提取出所述立体视觉对象的统一表示特征；
计算所述统一表示特征与数据库中的每个对象特征间的距离，并对每个距离进行排序，根据排序结果确定检索出的最相似立体视觉对象。
6.一种基于点云与视图融合的对象检索系统，其特征在于，包括：
数据采样模块，用于通过在不同角度设置的多个相机拍摄立体视觉对象，获取所述立体视觉对象的多张视图数据，对所述立体视觉对象的表面进行最远点采样，以生成所述立体视觉对象的点云数据，并对所述点云数据和视图数据分别进行数据模态的预处理转化；
第一特征提取模块，用于通过单模态的网络模型分别提取所述视图数据的单视图特征和视图模态特征，以及所述点云数据的逐点特征和点云模态特征；
交叉融合模块，用于对所述单视图特征和所述点云模态特征进行交叉融合，并对所述视图模态特征和所述逐点特征进行交叉融合，以获得多模态融合特征；
第二特征提取模块，用于从所述多模态融合特征中提取出所述立体视觉对象的统一表示特征，并根据所述统一表示特征进行所述立体视觉对象的分类与检索。
7.根据权利要求6所述的系统，其特征在于，所述数据采样模块具体用于：
获取原始数据，并根据所述原始数据重建所述立体视觉对象；
将所述立体视觉对象按预设方向设置在三维空间中，并在所述立体视觉对象的水平面中的不同位置处设置多个相机对所述立体视觉对象进行拍摄；
通过最远点采样算法从所述立体视觉对象的表面均匀采集第一预设数量的点作为初始点云集合，并从所述初始点云集合中再随机选出第二预设数量的点作为初始点云模态数据；
删除所述多张视图数据的背景，并对每张所述视图数据进行随机的旋转和放缩；
将所述初始点云模态数据的坐标进行归一化处理，并对每个点进行随机的抖动。
8.根据权利要求6所述的系统，其特征在于，所述第一特征提取模块具体用于：
构建多视图全卷积网络，通过所述多视图全卷积网络提取每张视图数据的底层特征；
构建深度卷积网络，通过所述深度卷积网络从所述每张视图数据的底层特征中提取出对应单视图特征，并且将各个视图数据的所述单视图特征进行最大池化融合，生成视图模态特征；
通过连接多个边卷积、池化层和激活层构建点云特征提取网络，并通过所述点云特征提取网络提取点云数据的逐点特征；
对各个逐点特征进行全局池化融合，以生成点云模态特征。
9.根据权利要求6所述的系统，其特征在于，所述交叉融合模块具体用于：
将每个所述单视图特征分别与所述点云模态特征进行融合，获得对应的联合点云的单视图特征；
将每个所述联合点云的单视图特征进行融合，生成逐视图与点云交叉融合特征；
将每个所述逐点特征分别与所述视图模态特征进行融合，获得对应的联合视图的逐点特征；
将每个联合视图的逐点特征进行融合，生成逐点与视图模态融合特征。
10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的基于点云与视图融合的对象检索方法。
CN202110914373.XA 2021-08-10 2021-08-10 基于点云与视图融合的对象检索方法和系统 Pending CN113886625A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110914373.XA CN113886625A (zh) 2021-08-10 2021-08-10 基于点云与视图融合的对象检索方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110914373.XA CN113886625A (zh) 2021-08-10 2021-08-10 基于点云与视图融合的对象检索方法和系统

Publications (1)

Publication Number Publication Date
CN113886625A true CN113886625A (zh) 2022-01-04

Family

ID=79011031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110914373.XA Pending CN113886625A (zh) 2021-08-10 2021-08-10 基于点云与视图融合的对象检索方法和系统

Country Status (1)

Country Link
CN (1) CN113886625A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082689A (zh) * 2022-04-27 2022-09-20 清华大学 跨模态视觉对象检索方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082689A (zh) * 2022-04-27 2022-09-20 清华大学 跨模态视觉对象检索方法及装置

Similar Documents

Publication Publication Date Title
US8953024B2 (en) 3D scene model from collection of images
JP6216508B2 (ja) ３ｄシーンにおける３ｄ物体の認識および姿勢決定のための方法
EP3382644A1 (en) Method for 3d modelling based on structure from motion processing of sparse 2d images
Choudhary et al. Visibility probability structure from sfm datasets and applications
JP6471448B2 (ja) 視差深度画像のノイズ識別方法及びノイズ識別装置
US20130215239A1 (en) 3d scene model from video
US20130215221A1 (en) Key video frame selection method
Li et al. A tutorial review on point cloud registrations: principle, classification, comparison, and technology challenges
Ulusoy et al. Semantic multi-view stereo: Jointly estimating objects and voxels
Panek et al. Meshloc: Mesh-based visual localization
CN113838005B (zh) 基于维度转换的岩体裂隙智能识别与三维重构方法及系统
CN110490915B (zh) 一种基于卷积受限玻尔兹曼机的点云配准方法
CN107025647B (zh) 图像篡改取证方法及装置
Pintore et al. Recovering 3D existing-conditions of indoor structures from spherical images
Shi et al. An improved lightweight deep neural network with knowledge distillation for local feature extraction and visual localization using images and LiDAR point clouds
CN112330825A (zh) 一种基于二维图像信息的三维模型检索方法
JP2017010549A (ja) ライトフィールドデータベースでのデータ取り出しのための方法及び装置
Ekekrantz et al. Adaptive iterative closest keypoint
CN113886625A (zh) 基于点云与视图融合的对象检索方法和系统
Fehr et al. Reshaping our model of the world over time
Kang et al. Progressive 3D model acquisition with a commodity hand-held camera
Teney et al. Sampling-based multiview reconstruction without correspondences for 3D edges
Elharrouss et al. 3d objects and scenes classification, recognition, segmentation, and reconstruction using 3d point cloud data: A review
CN112288817B (zh) 基于图像的三维重建处理方法及装置
Lyra et al. Development of an efficient 3D reconstruction solution from permissive open-source code

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination