CN117813621A - 点云处理方法和装置 - Google Patents

点云处理方法和装置 Download PDF

Info

Publication number
CN117813621A
CN117813621A CN202180101127.0A CN202180101127A CN117813621A CN 117813621 A CN117813621 A CN 117813621A CN 202180101127 A CN202180101127 A CN 202180101127A CN 117813621 A CN117813621 A CN 117813621A
Authority
CN
China
Prior art keywords
feature
point cloud
inputting
geometric
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180101127.0A
Other languages
English (en)
Inventor
元辉
刘昊
王婷婷
李明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN117813621A publication Critical patent/CN117813621A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种基于GAN的点云处理方法和装置。该方法包括：将第一点云输入特征提取模块，得到第一点云的点的第一特征；将第一特征输入粗特征扩展模块，得到第二特征；将第二特征输入几何生成模块，以将第二特征从特征空间映射到几何空间，得到第二点云；将第二特征和第二点云输入几何偏移预测模块，以确定第二点云中的点在几何空间的偏移量；根据第二点云和偏移量，得到第三点云。本申请实施例通过对上采样的第二点云进行纠正，能够使得上采样获得的点云分布更加接近真实样本，进而有助于提升点云精度。

Description

点云处理方法和装置 技术领域
本申请实施例涉及计算机视觉领域，并且更具体地，涉及点云处理方法和装置。
背景技术
点云(point cloud)已经开始普及到各个领域，例如，虚拟/增强现实、机器人、地理信息系统、医学领域等。通过光电雷达、激光雷达、激光扫描仪、多视角相机等采集设备，可以采集得到物体表面的点云(数据)。在点云数据采集的过程中，可能因为物体遮挡、设备噪音或者光线影响，使得点云数据比较稀疏或不均匀，从而精度较低。在实际应用中，可能需要使用较高精度的点云数据。例如，自动驾驶领域对雷达采集的稀疏点云，需要做大量的后处理(例如去噪，或上采样等)工作来提升点云的精度，以提升驾驶的安全性。
目前，可以基于生成对抗网络(generative adversarial networks,GAN)来提升点云数据的精度。但是，现有的GAN生成的点云仍然精度较低，不能满足更高质量点云的要求。
发明内容
提供了一种点云处理方法和装置，能够提升点云精度。
第一方面，提供了一种基于GAN的点云处理方法，该GAN包括生成器，该生成器包括特征提取模块、粗特征扩展模块、几何生成模块和几何偏移预测模块，该方法包括：
将第一点云输入所述特征提取模块，得到所述第一点云的点的第一特征；
将所述第一特征输入所述粗特征扩展模块，以对所述第一特征进行上采样，得到第二特征；
将所述第二特征输入所述几何生成模块，以将所述第二特征从特征空间映射到几何空间，得到第二点云；
将所述第二特征和所述第二点云输入所述几何偏移预测模块，以确定所述第二点云中的点在几何空间的偏移量；
根据所述第二点云和所述偏移量，得到第三点云。
第二方面，提供了一种点云处理装置，用于执行上述第一方面或其各实现方式中的方法。具体地，所述装置包括用于执行上述第一方面或其各实现方式中的方法的功能模块。
第三方面，提供了一种电子设备，包括处理器和存储器。所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行上述第一方面或其各实现方式中的方法。
第四方面，提供了一种解码器，包括处理器和存储器。所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程 序，以执行上述第一方面或其各实现方式中的方法。
第五方面，提供了一种芯片，用于实现上述第一方面中任一方面或其各实现方式中的方法。具体地，所述芯片包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如上述第一方面中任一方面或其各实现方式中的方法。
第六方面，提供了一种计算机可读存储介质，用于存储计算机程序，所述计算机程序使得计算机执行上述第一方面中任一方面或其各实现方式中的方法。
第七方面，提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令使得计算机执行上述第一方面中任一方面或其各实现方式中的方法。
第八方面，提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面中任一方面或其各实现方式中的方法。
本申请实施例中，生成器在通过特征提取模块对输入的第一点云的点提取特征之后，可以通过粗特征扩展模块对第一特征进行上采样得到第二特征，并通过几何生成模块将该第二特征映射到几何空间以获得上采样的第二点云，然后将第二特征和第二点云输入几何偏移预测模块，得到第二点云中的点在几何空间的偏移量，从而根据该偏移量对第二点云进行纠正，获得第三点云。因此，本申请实施例通过对上采样的第二点云进行纠正，能够使得上采样获得的点云分布更加接近真实样本，进而有助于提升点云精度。
附图说明
图1是本申请实施例提供的GAN的结构的一个示意图；
图2是本申请实施例提供的一种点云处理方法的示意性流程图；
图3是本申请实施例提供的生成器的网络架构的一个示意图；
图4是本申请实施例提供的生成器的网络架构的另一个示意图；
图5是本申请实施例提供的粗特征扩展的网络框架的一个示意图；
图6是本申请实施例提供的几何细化的网络框架的一个示意图；
图7是本申请实施例提供的多头点偏移转换器的网架构的一个示意图；
图8是本申请实施例提供的判别器的网络架构的一个示意图；
图9是本申请实施例提供的点云处理装置的示意性框图；
图10是本申请实施例提供的电子设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。针对本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
首先，对本申请实施例涉及的相关术语进行说明。
点云，是物体表面的三维表现形式，可以指海量三维点的集合。点云中的点可以包括点的位置信息和点的属性信息。作为示例，点的位置信息可以是点的三维坐标信息。点的位置信息也可称为点的几何信息。作为示例，点的属性信息可包括颜色信息和/或反射率等等，不做限定。
为了提升点云精度，本申请实施例在对点云提取特征之后，可以通过上采样得到点云的粗特征，并将该粗特征映射到几何空间以获得上采样的粗点云，然后通过该上采样的粗点云和粗特征，获得粗点云中每个点在几何空间的偏移量，从而根据该偏移量对粗点云进行纠正，使得粗点云分布更加接近真实样本，进而有助于提升点云精度。
示例性的，本申请实施例能够应用于需要使用较高精度的点云数据的场景，例如自动驾驶领域、医学领域、机器人领域、虚拟/增强现实，或者其他需要提升点云精度的场景或领域，不做限定。
作为一个具体的示例，在实际应用中，通过尺度渐进式编码能够得到不同精度的点云。在尺度渐进式的点云编码方案的编码端，对于点云的集合信息，按照八叉树尺度(octree level)顺序地编码，对于点云的属性信息，使用颜色压缩方法对当前已编码的几何信息对应的属性值编码。在尺度渐进式的点云编码方案的解码端，可以根据实际需求，顺序地解码octree level至指定的阈值以获得对应几何精度的点云，然后解码出相应的属性信息，最终得到指定精度下的重建点云。
但是，尺度渐进式的点云编码方案最多只能把点云重建至点云采集时的原始尺度，并不能获得比原始精度更高的高质量点云。基于此，在通过尺度渐进式的点云编解码方案获得低精度的点云之后，还可以应用本申请实施例提供的点云处理方法，对低精度的点云进行处理，来获取更高精度(或分辨率)的点云，进而满足对高精度点云的任务需求。
本申请实施例可以基于GAN架构来实现点云的上采样，得到较高精度的点云。图1示出了GAN的结构100的一个示意图。如图1所示，GAN包括生成器110和判别器120。在GAN技术中，将生成问题视作判别器和生成器这两个网络的对抗和博弈，其中生成器产生合成数据，例如将输入的低分辨率的点云上采样到高分辨率的点云，判别器分辨生成器的输出和真实数据，例如辨别输入点云是来自生成器的输出还是真实样本(ground truth)，以使得生成器产生更接近真实样本的数据。前者试图产生更接近真实的数据，后者试图更完美的分辨真实数据与生成数据。由此，生成器和判别器两个网络在对抗中进步，而后继续对抗，使得生成器得到的数据越来越逼近真实数据，从而可以生成想要得到的数据，例如图片、序列、视频等。
本申请中，以数据为点云为例进行说明。需要说明的是，本申请实施例以对点云的几何信息的上采样为例进行说明，不做限定。例如，可以根据本申请实施例的点云处理方法，对点云的属性信息或其他信息进行上采样。
图2示出了本申请实施例提供的一种点云处理方法200的示意性流程图。方法200可以由GAN来执行，例如图1所示的GAN架构100。如图2所示， 方法200包括步骤210至步骤250。
其中，步骤210至步骤250可以由GAN架构100中的生成器110执行。其中，生成器110的目的是将输入的低分辨率点云上采样到高分辨率点云。图3示出了本申请实施例提供的生成器110的网络架构的一个示意图，其中生成器110可以包括特征提取模块301，粗特征扩展模块302，几何生成模块303和几何偏移预测模块304。下面，将结合图3中的网络架构，对方法200的各个流程进行说明。
可以理解的是，本申请实施例以生成器110包含特征提取模块301，粗特征扩展模块302，几何生成模块303和几何偏移预测模块304为例描述点云处理方法，在实际应用中任意包含能够实现上述特征提取模块301，粗特征扩展模块302，几何生成模块303和几何偏移预测模块304的功能的模块或单元的装置(例如点云处理装置)均能够实现本申请实施例提供的方法，都属于本申请实施例的保护范围。
210，确定第一点云的点的第一特征。
示例性的，可以将第一点云输入到特征提取模块，得到该第一点云的点的第一特征。即特征提取模块对输入的第一点云进行特征提取，得到第一点云的点的第一特征。
在一些可选的实施例中，第一点云可以是解码器通过解码得到的点云。例如，第一点云可以是编码器利用尺度渐进式编码方式得到的低精度的点云。可选的，步骤210可以在点云后处理的流程中执行，本申请对此不做限定。
在一些可选的实施例中，第一点云可以为点云补丁(patch)。在步骤210之前，可以随机从采集的点云中采样指定个数的种子点，然后获取该指定个数的种子点中每个点的N个邻近点，以得到第一点云(可表示为P ori)。
作为示例，对于每个点云，可以采用蒙特卡洛随机采样法随机地从点云中采样指定个数的种子点，对于每个种子点找到其N个近邻点，作为一个点云
此时，该第一点云 其中，N为该第一点云P ori中点的个数，3为几何信息维度。作为示例，N可以为256，或512等，不做限定。
本申请实施例通过将点云patch作为第一点云，使得GAN可以基于点云patch进行训练，从而能够使得GAN可以学习到更多细节特征，进而有助于提高获得的点云的精度。
本申请实施例中，步骤210可以由特征提取模块301执行，即特征提取模块301可以提取输入的第一点云P ori的每个点的第一特征(可表示为F)。也就是说，特征提取模块301的目的是提取第一点云P ori中每个点的具有表现力的特征。
图4示出了生成器110的网络架构的另一个示意图。其中，特征提取(feature extraction)401可以为图3中特征提取模块301的一个示例。如图4所示，可以将低分辨率的点云(例如一盏台灯的点云) 输入到特征提取401，特征提取401输出每个点的第一特征 其中C为第 一特征F的特征维度。
作为一个示例，特征提取401可以为微处理器单元(micro processor unit，MPU)中的基于密集连接的动态图特征提取网络，本申请对此不做限定。
220，对所述第一特征进行上采样，得到第二特征。
示例性的，可以将第一特征输入粗特征扩展模块，以对第一特征进行上采样，得到第二特征，即通过粗特征扩展模块对第一特征进行上采样，得到第二特征。
这里，步骤220可以由粗特征扩展(coarse feature expansion)模块302执行，即粗特征扩展模块302可以对步骤210中获取的第一特征F进行上采样，得到第二特征(可表示为F up)。也就是说，粗特征扩展模块302的目的是将经过特征提取模块301提取到的有表现力的点的第一特征 上采样至一个粗的特征，即第二特征 其中，r为上采样率，C′为第二特征F up的特征维度。
继续参见图4，其中粗特征扩展402可以为图3中粗特征扩展模块302的一个示例。如图4所示，可以将第一点云的第一特征 输入到粗特征扩展402，粗特征扩展402输出第一点云中每个点的第二特征
作为一种可能的实现方式，可以对第一特征F在特征维度上增加m维向量，得到第六特征，然后将所述第六特征输入到第一多层感知机(multilayer perception，MLP)，并将所述第一MLP输出的结果输入到自相关注意力(self-attention)机制，得到第二特征F up。其中，r为正整数，m为正整数。作为一个示例，m可以为2。
图5示出了粗特征扩展402的网络框架的一个示意图。如图5所示，在粗特征扩展402中，首先将第一特征 复制r份(duplicate r times)，然后，对于每一份特征赋值，并在其特征维度上增加一个2维向量(attach 2D vectors)，使得每份被复制的特征之间具有差异。这里，具有差异的该r份特征即为上述第六特征的一个示例。
作为一个具体的例子，上述向量的值可以等间隔分布，例如从-0.2至0.2等间隔分布。此时每个点的特征维度是(C+2)。
然后，可以将经过处理的具有差异的r份特征可以输入至MLP 501以提取更多的特征细节。之后，可以将MLP 501输出的特征输入至自相关注意力502机制来增强复制特征之间的交互性，从而得到上述粗的上采样特征，即第二特征
需要说明的是，图5中以一个MLP和一个自相关注意力机制为例进行描述，本申请实施例对MLP以及自相关注意力机制的数量不做限定，例如还可以为两个，或更多，这些都在本申请的保护范围之内。
230，将所述第二特征从特征空间映射到几何空间，得到第二点云。
示例性的，可以将该第二特征输入到几何生成模块，以将第二特征从特征空间映射到几何空间，得到第二点云。即，可以通过几何生成模块将所述第二特征从特征空间映射到几何空间，得到第二点云。
步骤230可以由几何生成模块303执行，即几何特征扩展模块303可以将步骤220中获取的第二特征F up从特征空间映射到集合空间，得到第二点云(可表示为P up_c)。也就是说，几何生成模块303的作用是将上采样得到的粗特征(即上述第二特征F up)从特征空间重新映射回几何空间，获得一个上采样的粗点云，即上述第二点云P up_c。
继续参见图4，其中几何生成403可以为图3中几何生成模块303的一个示例。如图4所示，几何生成403可以将第二特征F up回归到上采样的粗点云的几何信息，即上述第二点云 其中，3指的是第二点云P up_c几何信息的维度。
作为一个示例，几何生成403可以包括2层全连接(full connection，FC)层。也就是说，可以直接将F up送入2层FC层，即可输出上述第二点云P up_c。
240，根据所述第二特征和所述第二点云，确定所述第二点云中的点在几何空间的偏移量。
示例性的，可以将第二特征和第二点云输入几何偏移预测模块，以确定第二点云中的点在几何空间的偏移量。
步骤240可以由几何偏移预测模块304执行，即几何偏移预测模块304可以根据步骤230中获取的第二点云P up_c和步骤220中获取的第二特征F up，得到第二点云P up_c中每个点在几何空间的偏移量(可表示为ΔO)。
250，根据所述第二点云和所述偏移量，确定第三点云。
示例性的，可以根据几何偏移预测模块304在步骤240中确定的第二点云P up_c中每个点在几何空间的偏移量ΔO，对第二点云P up_c进行纠正，使得第二点云P up_c向着更加接近真实样本的上采样点云分布逼近，得到更加接近真实样本的第三点云(可表示为P up)。
继续参见图4，其中几何细化404至几何细化405可以为图3中几何偏移预测模块204的示例。如图4所示，可以将几何生成403生成的第二点云 和粗特征扩展402上采样得到的每个点的第二特征 输入几何细化404，几何细化404输出每个点的几何空间偏移量ΔO，然后将第二点云P up_c与ΔO相加，可以得到经过一次修正的上采样点云。类似的，可以继续将修正过的上采样点云和每个点的第二特征 输入几何细化405，由几何细化405对点云进行进一步的修正。
如图4所示，几何偏移预测模块中可以包括至少一个几何细化。当几何细化的数量为多个时，本申请实施例能够以渐进式的方式连续多次不断地纠正P up_c，在经过最后一个几何细化的处理之后，可以得到最终的上采样点云，即第三点云 作为示例，几何细化的个数可以为2个，3个，4个或其他，本申请对此不做限定。
本申请实施例中，由于几何生成模块203只生成了粗的上采样点云 所以P up_c的精度并不高。而经过几何细化预测P up_c中每个点的几何空间偏移量ΔO，并根据该偏移量ΔO的对P up_c进行一次或多次逐 渐纠正，使得P up_c向着更加接近ground truth的上采样点云分布逼近，进而本申请实施例能够提升上采样点云的精度。
作为一种可能的实现方式，可以获取第二特征F up在特征空间内的k个近邻点，获取第二点云P up_c中的点在几何空间内的k个近邻点，将第二特征与第二特征在特征空间内的k个近邻点在特征维度上进行拼接，得到第三特征，将第二点云中的点与所述第二点云中的点在几何空间内的k个近邻点在几何维度上进行拼接，得到第四特征。其中，k为正整数，例如可以为8,16,24或32等，不做限定。
然后，可以根据第三特征和第四特征，确定上述第二点云中每个点在几何空间的偏移量。
作为一种实现方式，可以将第三特征和第四特征在特征维度进行拼接，得到第五特征，并将第五特征作为查询值Q和键值K输入到第一自相关注意力机制，将第四特征作为值向量V输入到第一自相关注意力机制，得到该第二点云中的点在几何空间的偏移量。
图6示出了几何细化404的网络框架的一个示意图。如图6所示，在几何细化404中，可以将粗点云(即第二点云P up_c)和粗上采样特征(即第二特征F up)作为几何细化404的输入。随后，可以使用K近邻(k-nearest neighbor,KNN)搜索算法获得第二点云P up_c在几何空间内每个点的k个近邻点。同时，可以使用K近邻搜索算法，采用与第二点云相同的KNN索引(KNNindex)来找到第二特征F up在特征空间的k个近邻点。然后，可以把第二特征F up复制k份并与其对应的k个近邻点在特征维度上分别进行拼接，得到第三特征，表示为 把第二点云P up_c中的每个点分别复制k份并与其对应的k个近邻点在几何维度上分别进行拼接(concatenate)，得到第四特征，表示为
然后，可以根据第三特征 和第四特征 确定上述偏移量ΔO。
继续参见图6，作为一种可能的实现方式，为了获得更具表现力的特征，可以把F xyz和F feature又进行了一次特征拼接，得到一个全局特征，即上述第五特征，表示为 然后，可以根据上述第四特征F xyz和第五特征F global，并利用self-attention机制，来得到上述偏移量ΔO。
作为示例，可以将一个多头点偏移转换器(multi-head point offset transformer)作为上述self-attention机制，来高效地预测点云中每个点在空间的几何偏移的特征，以获得点云中每一个点的几何偏移量ΔO。
图7示出了多头点偏移转换器603的网架构的一个示意图。如图7所示，可以将第五特征F global作为查询值Q和键值K，将第四特征F xyz作为值向量V输入至多头点偏移转换器603，第四特征F xyz和第五特征F global将经过图7所示网络架构的进行处理。
继续参见图6，多头点偏移转换器603输出的结果可以输入至残差块 (residual block，RB)604，以及FC层605，以得到最终的点云中每一个点的几何偏移量ΔO。作为示例，RB 604中可以包括5层RB，每层RB由3个线性(linear)层和线性整流函数(rectified linear unit，ReLU)组成，本申请对此不做限定。作为示例，FC层605可以包括2层FC层，本申请对此不做限定。
继续参见图4，在得到第二点云中每个点的几何偏移量ΔO之后，可以将第二点云P up_c中的每个点与其对应的几何偏移量相加，即可得到经过修正的上采样点云。示例性的，可以通过渐进式的方式连续地使用了3次几何细化来得到最终的上采样点云，即第三点云patch
因此，本申请实施例中，生成器在通过特征提取模块对输入的第一点云的点提取特征之后，可以通过粗特征扩展模块对第一特征进行上采样得到第二特征，并通过几何生成模块将该第二特征映射到几何空间以获得上采样的第二点云，然后将第二特征和第二点云输入几何偏移预测模块，以确定第二点云中的点在几何空间的偏移量，从而根据该偏移量对第二点云进行纠正，获得第三点云。本申请实施例通过对上采样的第二点云进行纠正，能够使得上采样获得的点云分布更加接近真实样本，进而有助于提升点云精度。
在一些可选的实施例中，还可以将第三点云输入判别器，得到所述第三点云中的点的置信值，该置信值用于表示所述第三点云是否为真实样本。该置信值可以用于对生成器的参数进行更新。
示例性的，判别器120可以判别输入点云是来自于生成器的输出还是ground truth，使得生成器产生更接近ground truth的上采样点云。例如，当置信值接近0时，输入点云对应于生成器的输出；当置信值接近1时，输入点云对应于ground truth。基于该置信值，可以对生成器110的参数进行更新。
在一些实施例中，在步骤210之前，可以对GAN进行训练，例如将训练点云输入生成器，得到上采样训练点云。然后将上采样训练点云输入判别器，通过判别器输出的置信值对生成器的参数进行更新。具体的，生成器对输入的训练点云进行上采样得到上采样点云，以及判别器得到上采样点云的置信值的过程可以参见上文中生成器和判别器的描述，不再赘述。
作为一种可能的实现方式，可以将第三点云作为训练样本，输入至少两个连续的MLP层(第二MLP层的一个示例)，使用该至少两个连续的MLP层提取第三点云P up的特征。然后对该至少两个连续的MLP层中的最后一层MLP层输出的特征进行最大池操作，以获得第三点云的全局特征向量。之后，可以将全局特征向量与所述至少两个连续的ML层输出的特征聚合，确定聚合特征，将聚合特征输入第三自相关注意力机制，并将所述第三自相关注意力机制输出的结果输入到FC层，确定上述置信值。
图8示出了本申请实施例提供的判别器120的网络架构的一个示意图。如图8所示，首先可以使用连续的4个MLP层，即MLP 801至MLP 804提取第三点云P up的不同层级的特征，然后可以对最后一层MLP层，即MLP 804的输出执行最大池操作以获取全局特征向量。随后，可以将全局特征向量进 行复制，并将复制过的全局特征向量与MLP 801至MLP 804层输出的特征聚合(concatenate)。随后，可以将聚合之后的特征输入自相关注意力(self-attention)机制806，以提升每个点之间的特征交互。最后，将自相关注意力(self-attention)机制806输出的结果输入至FC层807，来获取每个点的置信值。
本申请实施例中，通过使用多个连续的MLP层的进行不同层级的特征提取，并对这些多层级的特征进行聚合，能够使得网络在学习全局特征向量的同时，还能够学习各层级的特征，从而有助于增加网络的判别能力，进而提升网络的判别效果。
需要说明的是，图8中以连续4个MLP层为例进行说明，但本申请实施例并不限于此，例如MLP层的数量还可以为其他，例如2个，3个或者5个等。另外，作为示例，FC层807可以包括多个(比如2个，3个或其他)FC层，本申请对此也不做限定。
本申请实施例中，可以基于损失函数(Loss)对GAN的参数进行优化更新。在一些可选的实施例中，可以根据对抗损失函数、重建损失函数和均匀损失函数来确定损失函数。
对于对抗损失函数，可以采用最小二乘损失函数去训练生成器和判别器。示例性的，生成器G和判别器D的对抗损失函数分别如以下公式(1)和(2)所示：
其中，L gen(P up)表示生成器的对抗损失函数，L dis(P up,P T)表示判别器的对抗损失函数，P up指的是生成器生成的点云patch，P T是与P up具有相同点数的ground truth的点云patch，D(P up)表示把P up送入判别器D时，D输出的置信值，D(P T)表示把P T送入D时，D输出的置信值。
对于重建损失函数，其目的是让重建点云与ground truth具有一致的几何分布。作为示例，可以采用倒角距离(chamfer distance，CD)作为重建损失函数L rec，具体可以如下公式(3)所示：
其中，p和q是P up和P T内任意的一个点，N指的是P up中点的数目。
为了让重建过程中生成的多个粗点云P up_c更加贴近ground truth点云的表面，本申请实施例提出一个粗重建损失函数L coarse：
其中，M是粗点云的个数，w i指的是第i个权重。
对于均匀损失函数，其目的是为了让生成器产生空间分布更均匀的点云。作为示例，均匀损失函数L uni可以如下公式(5)所示：
其中， S i指的是通过半径球(半径为r q)方法获得的局部表面i，T是通过最远点采样(farthest point sampling，FPS)获得的种子点个数，d i,j表示第i个局部表面内第j个点与其最近邻点的距离， 是期望的每个局部表面包含的点的个数， 是期望的局部表面内每个点与其最近邻点的空间距距离。
基于上述描述，本申请实施例最终的损失函数可以如下公式(6)和(7)所示：
L G＝w genL gen(P up)+w recL rec+L coarse+w uniL uni (6)
L D＝w disL dis(P up,P T) (7)
其中，L G和L D分别表示生成器以及判别器损失函数，w gen，w rec，w uni以及w dis指的是对应下角标的损失函数的权重。示例性的，w gen，w rec，w uni以及w dis可以分布设置为1,3900,10,1，不做限定。
本申请实施例提供的点云处理方法可以在TensorFlow 1.15.0上实现。表1对本申请实施例的点云的点云处理方法(即PU-Refiner)与其他点云上采样方法得到的点云的性能进行了对比。示例性的，可以分别使用倒角距离(CD)、豪斯多夫距离(Hausdorff distance,HD)、点到面距离(point to face distance，P2FD)或均匀度(uniformity)来衡量生成点云与ground truth之间的相似程度。其中，本申请实施例中，可以将上采样率r设置为4。从表1的实验数据可以看出，本申请实施例的点云处理方法能够显著提升上采样性能，提升点云精度。
表1
上文结合图1至图8，详细描述了本申请的方法实施例，下文结合图9至图10，详细描述本申请的装置实施例。
图9是本申请实施例的点云处理装置900的示意性框图。如图9所示，所述点云处理装置900可包括特征提取模块910、粗特征扩展模块920、几何生成模块930、几何偏移预测模块940和处理单元950。
所述特征提取模块910用于对输入第一点云进行特征提取，得到所述第一点云的点的第一特征。
所述粗特征扩展模块920用于对输入的所述第一特征进行上采样，得到 第二特征。
所述几何生成模块930用于将输入的所述第二特征从特征空间映射到几何空间，得到第二点云。
所述几何偏移预测模块940用于输入所述第二特征和所述第二点云，得到所述第二点云中的点在几何空间的偏移量。
所处理模块950用于根据所述第二点云和所述偏移量，得到第三点云。
在一些可选的实施例中，所述几何偏移预测模块940具体用于：
确定所述第二点云中的点在几何空间的k个近邻点，k为正整数；
确定所述第二特征在特征空间的k个近邻点；
将所述第二特征与所述第二特征在特征空间内的k个近邻点在特征维度上进行拼接，得到第三特征；
将所述第二点云中的点与所述第二点云中的点在几何空间内的k个近邻点在几何维度上进行拼接，得到第四特征；
根据所述第三特征和所述第四特征，确定所述第二点云中的点在几何空间的偏移量。
在一些可选的实施例中，所述几何偏移预测模块940具体用于：
将所述第三特征和所述第四特征在特征维度进行拼接，得到第五特征；
将所述第五特征作为查询值Q和键值K输入到第一自相关注意力机制，将所述第四特征作为值向量V输入到所述第一自相关注意力机制，得到所述第二点云中的点在几何空间的偏移量。
在一些可选的实施例中，所述第一自相关注意力机制为多头自相关注意力机制。
在一些可选的实施例中，所述粗特征扩展模块920具体用于：
对所述第一特征在特征维度上增加m维向量，得到第六特征，m为正整数；
将所述第六特征输入到第一多层感知机MLP，并将所述第一MLP输出的结果输入到第二自相关注意力机制，得到所述第二特征。
在一些可选的实施例中，所述m维向量的向量值等间隔分布。
在一些可选的实施例中，所述m维向量为2维向量。
在一些可选的实施例中，所述几何生成模块930具体用于：
将所述第二特征输入到第一全连接FC层，得到所述第二点云。
在一些可选的实施例中，所述装置900还包括判别模块，所述判别模块用于输入所述第三点云，得到所述第三点云中的点的置信值表示所述第三点云是否为真实样本。
在一些可选的实施例中，所述判别模块具体用于：
将所述第三点云输入至少两个连续的第二MLP层；
对所述至少两个连续的第二MLP层中的最后一个第二MLP层输出的特征进行最大池操作，以得到所述第三特征的全局特征向量；
对所述全局特征向量与所述至少两个连续的第二MLP层输出的特征进 行聚合，确定聚合特征；
将所述聚合特征输入第三自相关注意力机制，并将所述第三自相关注意力机制输出的结果输入到第二FC层，得到所述置信值。
在一些可选的实施例中，所述第一点云为解码器通过解码获得的点云。
应理解，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，图9所示的点云处理装置900可以对应于执行本申请实施例的方法200中的相应主体，并且装置900中的各个模块的前述和其它操作和/或功能分别为了实现图2中的各个方法中的相应流程，为了简洁，在此不再赘述。
上文中结合附图从功能模块的角度描述了本申请实施例的装置和系统。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。
如10是本申请实施例提供的电子设备1000的示意性框图。
如图10所示，该电子设备1000可包括：
存储器1010和处理器1020，该存储器1010用于存储计算机程序，并将该程序代码传输给该处理器1020。换言之，该处理器1020可以从存储器1010中调用并运行计算机程序，以实现本申请实施例中的点云处理方法。
例如，该处理器1020可用于根据该计算机程序中的指令执行上述方法200中的步骤。
在本申请的一些实施例中，该处理器1020可以包括但不限于：
通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。
在本申请的一些实施例中，该存储器1010包括但不限于：
易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM， DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。
在本申请的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器1010中，并由该处理器1020执行，以完成本申请提供的点云处理方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在该电子设备1000中的执行过程。
可选的，如图10所示，该电子设备1000还可包括：
收发器1030，该收发器1030可连接至该处理器1020或存储器1010。
其中，处理器1020可以控制该收发器1030与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器1030可以包括发射机和接收机。收发器1030还可以进一步包括天线，天线的数量可以为一个或多个。
应当理解，该电子设备1000中的各个组件通过总线系统相连，其中，总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
根据本申请的一个方面，提供了一种解码器，包括处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用并运行所述存储器中存储的计算机程序，使得所述解码器执行上述方法实施例的方法。
根据本申请的一个方面，提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说，本申请实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。
根据本申请的另一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方法实施例的方法。
换言之，当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该 计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
综上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以该权利要求的保护范围为准。

Claims (26)

  1. 一种基于GAN的点云处理方法，其特征在于，所述GAN包括生成器，所述生成器包括特征提取模块、粗特征扩展模块、几何生成模块和几何偏移预测模块，所述方法包括：
    将第一点云输入所述特征提取模块，得到所述第一点云的点的第一特征；
    将所述第一特征输入所述粗特征扩展模块，以对所述第一特征进行上采样，得到第二特征；
    将所述第二特征输入所述几何生成模块，以将所述第二特征从特征空间映射到几何空间，得到第二点云；
    将所述第二特征和所述第二点云输入所述几何偏移预测模块，以确定所述第二点云中的点在几何空间的偏移量；
    根据所述第二点云和所述偏移量，得到第三点云。
  2. 根据权利要求1所述的方法，其特征在于，所述将所述第二特征和所述第二点云输入所述几何偏移预测模块，以确定所述第二点云中的点在几何空间的偏移量，包括：
    确定所述第二点云中的点在几何空间的k个近邻点，k为正整数；
    确定所述第二特征在特征空间的k个近邻点；
    将所述第二特征与所述第二特征在特征空间内的k个近邻点在特征维度上进行拼接，得到第三特征；
    将所述第二点云中的点与所述第二点云中的点在几何空间内的k个近邻点在几何维度上进行拼接，得到第四特征；
    根据所述第三特征和所述第四特征，确定所述第二点云中的点在几何空间的偏移量。
  3. 根据权利要求2所述的方法，其特征在于，所述根据所述第三特征和所述第四特征，确定所述第二点云中的点在几何空间的偏移量，包括：
    将所述第三特征和所述第四特征在特征维度进行拼接，得到第五特征；
    将所述第五特征作为查询值Q和键值K输入到第一自相关注意力机制，将所述第四特征作为值向量V输入到所述第一自相关注意力机制，得到所述第二点云中的点在几何空间的偏移量。
  4. 根据权利要求3所述的方法，其特征在于，所述第一自相关注意力机制为多头自相关注意力机制。
  5. 根据权利要求1-4任一项所述的方法，其特征在于，所述通过所述粗特征扩展模块对所述第一特征进行上采样，得到第二特征，包括：
    对所述第一特征在特征维度上增加m维向量，得到第六特征，m为正整数；
    将所述第六特征输入到第一多层感知机MLP，并将所述第一MLP输出的结果输入到第二自相关注意力机制，得到所述第二特征。
  6. 根据权利要求5所述的方法，其特征在于，所述m维向量的向量值等间隔分布。
  7. 根据权利要求5所述的方法，其特征在于，所述m维向量为2维向量。
  8. 根据权利要求1-4任一项所述的方法，其特征在于，所述通过所述几何生成模块将所述第二特征从特征空间映射到几何空间，得到第二点云，包括：
    将所述第二特征输入到第一全连接FC层，得到所述第二点云。
  9. 根据权利要求1-4任一项所述的方法，其特征在于，所述GAN还包括判别器，所述方法还包括：
    将所述第三点云输入所述判别器，得到所述第三点云中的点的置信值，所述置信值用于表示所述第三点云是否为真实样本。
  10. 根据权利要求9所述的方法，其特征在于，所述将所述第三点云输入所述判别器，得到所述第三点云中的点的置信值，包括：
    将所述第三点云输入至少两个连续的第二MLP层；
    对所述至少两个连续的第二MLP层中的最后一个第二MLP层输出的特征进行最大池操作，以得到所述第三特征的全局特征向量；
    对所述全局特征向量与所述至少两个连续的第二MLP层输出的特征进行聚合，确定聚合特征；
    将所述聚合特征输入第三自相关注意力机制，并将所述第三自相关注意力机制输出的结果输入到第二FC层，得到所述置信值。
  11. 根据权利要求1-4任一项所述的方法，其特征在于，所述第一点云为解码器通过解码获得的点云。
  12. 一种点云处理装置，其特征在于，包括特征提取模块、粗特征扩展模块、几何生成模块、几何偏移预测模块和处理模块，
    所述特征提取模块用于对输入第一点云进行特征提取，得到所述第一点云的点的第一特征；
    所述粗特征扩展模块用于对输入的所述第一特征进行上采样，得到第二特征；
    所述几何生成模块用于将输入的所述第二特征从特征空间映射到几何空间，得到第二点云；
    所述几何偏移预测模块用于输入所述第二特征和所述第二点云，得到所述第二点云中的点在几何空间的偏移量；
    所处理模块用于根据所述第二点云和所述偏移量，得到第三点云。
  13. 根据权利要求12所述的装置，其特征在于，所述几何偏移预测模块具体用于：
    确定所述第二点云中的点在几何空间的k个近邻点，k为正整数；
    确定所述第二特征在特征空间的k个近邻点；
    将所述第二特征与所述第二特征在特征空间内的k个近邻点在特征维度上进行拼接，得到第三特征；
    将所述第二点云中的点与所述第二点云中的点在几何空间内的k个近邻 点在几何维度上进行拼接，得到第四特征；
    根据所述第三特征和所述第四特征，确定所述第二点云中的点在几何空间的偏移量。
  14. 根据权利要求13所述的装置，其特征在于，所述几何偏移预测模块具体用于：
    将所述第三特征和所述第四特征在特征维度进行拼接，得到第五特征；
    将所述第五特征作为查询值Q和键值K输入到第一自相关注意力机制，将所述第四特征作为值向量V输入到所述第一自相关注意力机制，得到所述第二点云中的点在几何空间的偏移量。
  15. 根据权利要求14所述的装置，其特征在于，所述第一自相关注意力机制为多头自相关注意力机制。
  16. 根据权利要求12-15任一项所述的装置，其特征在于，所述粗特征扩展模块具体用于：
    对所述第一特征在特征维度上增加m维向量，得到第六特征，m为正整数；
    将所述第六特征输入到第一多层感知机MLP，并将所述第一MLP输出的结果输入到第二自相关注意力机制，得到所述第二特征。
  17. 根据权利要求16所述的装置，其特征在于，所述m维向量的向量值等间隔分布。
  18. 根据权利要求16所述的装置，其特征在于，所述m维向量为2维向量。
  19. 根据权利要求12-15任一项所述的装置，其特征在于，所述几何生成模块具体用于：
    将所述第二特征输入到第一全连接FC层，得到所述第二点云。
  20. 根据权利要求12-15任一项所述的装置，其特征在于，所述GAN还包括判别模块，所述判别模块用于输入所述第三点云，得到所述第三点云中的点的置信值，所述置信值表示所述第三点云是否为真实样本。
  21. 根据权利要求20所述的装置，其特征在于，所述判别模块具体用于：
    将所述第三点云输入至少两个连续的第二MLP层；
    对所述至少两个连续的第二MLP层中的最后一个第二MLP层输出的特征进行最大池操作，以得到所述第三特征的全局特征向量；
    对所述全局特征向量与所述至少两个连续的第二MLP层输出的特征进行聚合，确定聚合特征；
    将所述聚合特征输入第三自相关注意力机制，并将所述第三自相关注意力机制输出的结果输入到第二FC层，得到所述置信值。
  22. 根据权利要求12-15任一项所述的装置，其特征在于，所述第一点云为解码器通过解码获得的点云。
  23. 一种电子设备，其特征在于，包括处理器和存储器；
    所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，使得所述电子设备执行如权利要求1-11任一项所述的方法。
  24. 一种解码器，其特征在于，包括处理器和存储器；
    所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，使得所述解码器执行如权利要求1-11任一项所述的方法。
  25. 一种芯片，其特征在于，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如权利要求1-11任一项所述的方法。
  26. 一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1-11任一项所述的方法。
CN202180101127.0A 2021-08-06 2021-08-06 点云处理方法和装置 Pending CN117813621A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/111300 WO2023010562A1 (zh) 2021-08-06 2021-08-06 点云处理方法和装置

Publications (1)

Publication Number Publication Date
CN117813621A true CN117813621A (zh) 2024-04-02

Family

ID=85154113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180101127.0A Pending CN117813621A (zh) 2021-08-06 2021-08-06 点云处理方法和装置

Country Status (2)

Country Link
CN (1) CN117813621A (zh)
WO (1) WO2023010562A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862293B (zh) * 2017-09-14 2021-05-04 北京航空航天大学 基于对抗生成网络的雷达生成彩色语义图像系统及方法
US20190147320A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. "Matching Adversarial Networks"
CN111862289B (zh) * 2020-08-04 2022-04-19 天津大学 一种基于gan网络的点云上采样方法
CN112348959B (zh) * 2020-11-23 2024-02-13 杭州师范大学 一种基于深度学习的自适应扰动点云上采样方法
CN112561796B (zh) * 2020-12-02 2024-04-16 西安电子科技大学 基于自注意生成对抗网络的激光点云超分辨率重建方法

Also Published As

Publication number Publication date
WO2023010562A1 (zh) 2023-02-09

Similar Documents

Publication Publication Date Title
CN112771583B (zh) 处理点云数据的方法、装置和存储介质
CN111179177B (zh) 图像重建模型训练方法、图像重建方法、设备及介质
CN109816615B (zh) 图像修复方法、装置、设备以及存储介质
KR101622344B1 (ko) 적응적 영역 가중치가 적용된 센서스 변환 기반 스테레오 정합을 통한 시차 계산 방법 및 그 시스템
EP3295368A1 (en) Deepstereo: learning to predict new views from real world imagery
JP6613749B2 (ja) 視差画像生成方法及び視差画像生成装置
US20230328285A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
CN111797891A (zh) 基于生成对抗网络的非成对异质人脸图像生成方法、装置
Pizzolante et al. A secure low complexity approach for compression and transmission of 3-D medical images
Khan et al. Sparse to dense depth completion using a generative adversarial network with intelligent sampling strategies
WO2022121650A1 (zh) 点云属性的预测方法、编码器、解码器及存储介质
CN113592709B (zh) 图像超分处理方法、装置、设备及存储介质
CN113269823A (zh) 深度数据获取方法、装置、存储介质与电子设备
CN117813621A (zh) 点云处理方法和装置
CN116342677A (zh) 一种深度估计方法、装置、车辆及计算机程序产品
CN115272667B (zh) 农田图像分割模型训练方法、装置、电子设备和介质
CN115965961A (zh) 局部到全局的多模态融合方法、系统、设备及存储介质
US20240177353A1 (en) Point cloud processing method, decoder and storage medium
US20230377180A1 (en) Systems and methods for neural implicit scene representation with dense, uncertainty-aware monocular depth constraints
CN115086658B (zh) 点云数据的处理方法、装置、存储介质及编解码设备
CN113689435B (zh) 图像分割方法、装置、电子设备及存储介质
CN114648757A (zh) 三维目标的检测方法及装置
US11550387B2 (en) Stereo correspondence search
Wang et al. Sgnet: Structure guided network via gradient-frequency awareness for depth map super-resolution
CN115830408B (zh) 伪标签生成方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication