CN114049398A - 一种三维数据处理方法、装置、电子设备及存储介质 - Google Patents

一种三维数据处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114049398A
CN114049398A CN202111337396.5A CN202111337396A CN114049398A CN 114049398 A CN114049398 A CN 114049398A CN 202111337396 A CN202111337396 A CN 202111337396A CN 114049398 A CN114049398 A CN 114049398A
Authority
CN
China
Prior art keywords
input
output
feature
rotation
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111337396.5A
Other languages
English (en)
Inventor
林杰鸿
李弘洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cross Dimension Shenzhen Intelligent Digital Technology Co ltd
Original Assignee
Cross Dimension Shenzhen Intelligent Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cross Dimension Shenzhen Intelligent Digital Technology Co ltd filed Critical Cross Dimension Shenzhen Intelligent Digital Technology Co ltd
Priority to CN202111337396.5A priority Critical patent/CN114049398A/zh
Publication of CN114049398A publication Critical patent/CN114049398A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明公开了一种三维数据处理方法、装置、电子设备及存储介质。该方法包括：构建旋转可控的三维卷积核，旋转可控的三维卷积核满足旋转可控约束条件；获取输入特征的稀疏张量，根据稀疏张量的输入位置信息确定同一卷积层对应的输出特征的位置状态，并根据输出特征的位置状态确定输出特征的输出位置信息；根据输入位置信息和输出位置信息确定输入特征中的第一特征，将第一特征输入旋转可控的三维卷积核进行稀疏卷积，得到输出特征的稀疏张量。即本发明实施例，通过构建旋转可控的三维卷积核进行稀疏卷积，保证卷积具有等变性，仅对输出特征中处于激活状态的位置对应的输入特征进行卷积，减少了卷积过程中的计算量和运算过程中的存储负担。

Description

一种三维数据处理方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及计算机技术，尤其涉及一种三维数据处理方法、装置、电子设备及存储介质。
背景技术
在计算机视觉技术领域中，对三维数据的处理与理解的要求逐渐提高，三维数据由于本身不具有二维图像有效的规则的格点表达形式，给卷积神经网络的直接应用带来了很大的不便。利用三维可控卷积建立三维卷积核后,直接利用传统密集连接的三维卷积来进行卷积，忽略了三维数据本身的不规则性和稀疏性，造成了计算过程中计算量大和计算设备的资源存储要求高的问题。
发明内容
本发明提供一种三维数据处理方法、装置、电子设备及存储介质，以实现在进行稀疏卷积时，保证卷积具有等变性，并减少了卷积过程中的计算量和运算过程中的存储负担。
第一方面，本发明实施例提供了一种三维数据处理方法，该方法包括：
构建旋转可控的三维卷积核，所述旋转可控的三维卷积核满足旋转可控约束条件；
获取输入特征的稀疏张量，根据所述稀疏张量的输入位置信息确定同一卷积层对应的输出特征的位置状态，并根据所述输出特征的位置状态确定所述输出特征的输出位置信息，所述输入特征为三维数据的特征；
根据所述输入位置信息和所述输出位置信息确定所述输入特征中的第一特征，将所述第一特征输入所述旋转可控的三维卷积核进行稀疏卷积，得到所述输出特征的稀疏张量，所述第一特征为所述输出特征处于激活状态的位置对应的输入特征。
进一步的，根据所述稀疏张量的输入位置信息确定同一卷积层对应的输出特征的位置状态，包括：
根据所述输入位置信息中各位置是否存在激活值确定所述输入特征的位置状态；
根据所述输入特征的位置状态确定同一卷积层对应的输出特征的位置状态。
进一步的，根据所述输入特征的位置状态确定同一卷积层对应的输出特征的位置状态，包括：
确定场景对应的各体素块中的输入特征是否存在处于激活状态的位置；
当所述体素块内的输入特征存在处于激活状态的位置，则确定所述体素块中心位置的输出特征处于激活状态；
当所述体素块内的输入特征不存在处于激活状态的位置，则确定所述体素块中心位置的输出特征处于未激活状态。
进一步的，构建旋转可控的三维卷积核，包括：
根据预设的所述旋转可控的三维卷积核对应的输入阶数和输出阶数构建卷积核，得到三维卷积核；
根据高斯径向函数和球谐波函数，确定所述三维卷积核对应的基核的线性组合；
根据所述三维卷积核和所述基核的线性组合确定出所述旋转可控的三维卷积核。
进一步的，所述旋转可控约束条件：
k(rx)＝ρn+1(r)k(x)ρn(r)-1
其中，x表示场景中三维坐标的任意一个位置，r表示一个三维旋转，rx表示x三维坐标经过旋转变换后的三维坐标，k(x)为三维坐标x位置的卷积核，k(rx)为三维坐标rx位置的卷积核，ρn(r)为三维旋转r关于对应的输入阶数的旋转矩阵，ρn+1(r)为三维旋转r关于对应的输出阶数的旋转矩阵。
进一步的，根据所述输入位置信息和所述输出位置信息确定所述输入特征中的第一特征，包括：
根据所述输入位置信息和所述输出位置信息确定所述稀疏卷积对应的规则词典；
根据所述规则词典和所述输入特征的稀疏张量确定所述输入特征的第一特征。
进一步的，根据所述输入位置信息和所述输出位置信息确定所述稀疏卷积对应的规则词典，包括：
确定所述输出位置信息的第一位置与所述输入位置信息的第二位置是否属于同一体素块内，如果所述第一位置和所述第二位置属于同一体素块内，则根据所述第一位置和所述第二位置在初始化的规则词典中添加一条卷积规则，直至遍历所述输入位置信息中的所有位置；
确定所述输出位置信息的第三位置和所述输入位置信息的第二位置是否属于同一体素块内，如果所述第三位置和所述第二位置属于同一体素块内，则根据所述第三位置和所述第二位置属于在所述规则词典中添加条卷积规则，直至遍历所述输入位置信息中的所有位置，并遍历所述输出位置信息中的所有位置。
第二方面，本发明实施例还提供了一种三维数据处理装置，该装置包括：
卷积核构建模块，用于构建旋转可控的三维卷积核，所述旋转可控的三维卷积核满足旋转可控约束条件；
状态确定模块，用于获取输入特征的稀疏张量，根据所述稀疏张量的输入位置信息确定同一卷积层对应的输出特征的位置状态，并根据所述输出特征的位置状态确定所述输出特征的输出位置信息，所述输入特征为三维数据的特征；
可控卷积模块，用于根据所述输入位置信息和所述输出位置信息确定所述输入特征中的第一特征，将所述第一特征输入所述旋转可控的三维卷积核进行稀疏卷积，得到所述输出特征的稀疏张量，所述第一特征为所述输出特征处于激活状态的位置对应的输入特征。
第三方面，本发明实施例还提供了一种电子设备，该电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现所述的三维数据处理方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的三维数据处理方法。
本发明通过构建旋转可控的三维卷积核，所述旋转可控的三维卷积核满足旋转可控约束条件；获取输入特征的稀疏张量，根据所述稀疏张量的输入位置信息确定同一卷积层对应的输出特征的位置状态，并根据所述输出特征的位置状态确定所述输出特征的输出位置信息；根据所述输入位置信息和所述输出位置信息确定所述输入特征中的第一特征，将所述第一特征输入所述旋转可控的三维卷积核进行稀疏卷积，得到所述输出特征的稀疏张量。即，本发明实施例，通过构建旋转可控的三维卷积核进行稀疏卷积，可以保证输入三维数据在卷积过程中的完整性，同时保证卷积具有等变性，在根据输入特征的位置状态确定出输出特征的位置状态，仅对输出特征中处于激活状态的位置上对应的输入特征进行卷积，可以根据输入数据的稀疏性进行卷积，减少了卷积过程中的计算量和运算过程中的存储负担。
附图说明
图1是本发明实施例提供的三维数据处理方法的一个流程示意图；
图2是本发明实施例提供的三维数据处理方法的另一流程示意图；
图3是本发明实施例提供的三维数据处理装置的结构示意图；
图4是本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
图1为本发明实施例提供的三维数据处理方法的一个流程示意图，该方法可以由本发明实施例提供的三维数据处理装置来执行，该装置可采用软件和/或硬件的方式实现。在一个具体的实施例中，该装置可以集成在电子设备中，电子设备比如可以是服务器。以下实施例将以该装置集成在电子设备中为例进行说明，参考图1，该方法具体可以包括如下步骤：
步骤110、构建旋转可控的三维卷积核，旋转可控的三维卷积核满足旋转可控约束条件；
示例地，旋转可控的三维卷积核可以用于构建欧式SE(3)等变的卷积层，使用SE(3)等变的卷积层堆砌而成的深度网络在特征学习中保留三维输入数据的姿态信息，其中，SE(3)是三维空间中三维数据的旋转和位移的变换。比如：给定一个SE(3)等变的卷积层，对三维输入特征，使用一个任意的SE(3)变换(r,t)，将诱导其输出特征进行同步的姿态变换，其中，r表示一个三维旋转，t表示一个三维平移。可以看出SE(3)等变的性质诱发了输入特征对应的特征空间进行一种可控性的姿态变化，可以利用SE(3)变换操纵输入特征的特征空间来实现不同的输出特征，而并不需要更换输入特征。
具体实现中，根据实际需求预设构建旋转可控的三维卷积核，可以基于球谐波函数确定基核进行线性组合的方式来构建旋转可控的三维卷积核，使旋转可控的三维卷积核满足旋转可控的约束条件。其中，旋转可控的约束条件为旋转后的三维位置处的旋转可控的卷积核等价于对未旋转的三维位置处的旋转可控的卷积核进行旋转变换。其中，球谐波函数实际是李代数中一组不可约表示的基，为函数空间中特定基底的元素。
步骤120、获取输入特征的稀疏张量，根据稀疏张量的输入位置信息确定同一卷积层对应的输出特征的位置状态，并根据输出特征的位置状态确定输出特征的输出位置信息，输入特征为三维数据的特征；
示例地，输入特征的稀疏张量可以理解为上一层卷积层卷积后的三维数据的特征对应的稀疏张量或直接从三维数据确定出的输入特征对应的稀疏张量，其中，稀疏张量包括索引、关联值和密集形状，索引为关联值中每个非零值出现的位置信息，关联值为同一稀疏张量中非零数值，密集形状表示同一稀疏张量中数值零的个数。稀疏张量的输入位置信息可以理解为输入特征的稀疏张量中索引对应的位置信息，用于记录稀疏张量中非零数值所在的位置。同一卷积层对应的输出特征的位置状态可以理解为与输入特征处于同一卷积层中的输出特征中每个位置对应的激活状态，其中，位置状态可以分为两种，第一种激活状态，第二种未激活状态。输出特征的输出位置信息可以理解为输出特征中处于激活状态的位置的位置信息，也可以是输出特征的稀疏张量中的索引对应的位置信息。
具体实现中，获取需要进行稀疏卷积的输入特征的稀疏张量，可以是上一层卷积层卷积后的三维数据的特征对应的稀疏张量，也可以直接从三维数据确定出的输入特征对应的稀疏张量，根据输入特征的稀疏张量中的索引确定出稀疏张量的输入位置信息，根据输入位置信息确定输入特征的位置状态。其中，索引对应的位置信息为非零值对应的位置信息，激活状态的位置为输入特征中所在位置存在激活值的位置，此处的激活值可以理解为当前位置存在非零值。根据输入位置信息中非零值的位置信息确定输入特征的位置状态，并根据输入特征的位置状态确定同一卷积层对应的输出特征的位置状态。再根据输出特征的位置状态确定出输出特征的输出位置信息。
步骤130、根据输入位置信息和输出位置信息确定输入特征中的第一特征，将第一特征输入旋转可控的三维卷积核进行稀疏卷积，得到输出特征的稀疏张量，第一特征为输出特征处于激活状态的位置对应的输入特征。
示例地，第一特征可以理解为输出特征处于激活状态的位置上对应的输入特征，即输出特征处于激活状态的位置上对应的输入特征进行稀疏卷积，得到输出特征处于激活状态的位置上的特征值。输出特征的稀疏张量可以理解为第一特征进行稀疏卷积得到输出特征处于激活状态位置上的特征值和输出位置信息共同组成的张量信息，其中，特征值作为输出特征的稀疏张量中的关联值，输出位置作为输出特征的系数张量中索引信息，同时输出特征的稀疏张量中还包括根据预设的输出阶数确定输出特征的稀疏张量的密集形状。
具体实现中，根据输入位置信息和输出位置信息确定出输入特征和输出特征对应的卷积规则，即输入位置信息中通过位置变换可以得到输出位置信息，并根据卷积规则确定输出特征处于激活状态位置上对应的输入特征的位置，确定出第一特征。将第一特征输入旋转可控的三维卷积核进行稀疏卷积得到输出特征的稀疏张量，通过第一特征作为输入特征的部分特征，不用对所有输入特征进行稀疏卷积，利用输入数据的稀疏性进行卷积，减少了卷积过程中的计算量和运算过程中的存储负担。
本发明实施例中，通过构建旋转可控的三维卷积核，旋转可控的三维卷积核满足旋转可控约束条件；获取输入特征的稀疏张量，根据稀疏张量的输入位置信息确定同一卷积层对应的输出特征的位置状态，并根据输出特征的位置状态确定输出特征的输出位置信息；根据输入位置信息和输出位置信息确定输入特征中的第一特征，将第一特征输入旋转可控的三维卷积核进行稀疏卷积，得到输出特征的稀疏张量。即，本发明实施例，通过构建旋转可控的三维卷积核进行稀疏卷积，可以保证输入三维数据在卷积过程中的完整性，同时保证卷积具有等变性，在根据输入特征的位置状态确定出输出特征的位置状态，仅对输出特征中处于激活状态的位置上对应的输入特征进行卷积，可以根据输入数据的稀疏性进行卷积，减少了卷积过程中的计算量和运算过程中的存储负担。
下面进一步描述本发明实施例提供的三维数据处理方法，如图2所示，该方法具体可以包括如下步骤：
步骤210、根据预设的旋转可控的三维卷积核对应的输入阶数和输出阶数构建卷积核，得到三维卷积核；
具体实现中，预设的旋转可控的三维卷积核对应的输入阶数可以理解为根据需求预设的旋转可控的三维卷积核对应的输入通道数或输入数据对应的维度；预设的所述旋转可控的三维卷积核对应的输出阶数可以理解为根据需求预设的旋转可控的三维卷积核对应的输出通道数或输出数据对应的维度，由于输出阶数与输入阶数具有一定对应性，在构建旋转可控的三维卷积核中，可以根据输入阶数和输出阶数确定出旋转可控的三维卷积核的卷积深度。根据预设的旋转可控的三维卷积对应的输入阶数和输出阶数确定旋转可控的三维卷积核的卷积深度，根据卷积深度构建卷积核，得到三维卷积核，
比如：先假设卷积的输入特征和输出特征都是不可约的表征，输入特征的阶数为l和输出特征的阶数为p，根据输入输出阶数构建三维卷积核kpl(x)，x表示场景中三维坐标的任意一个位置。其中，基于如下公式构建的三维卷积核kpl(x)：
Figure BDA0003348883210000101
其中，kpl，Jm(x)为x位置上对应的基核，wpl，Jm为一组可学习的系数，J为球谐波函数的度数，m为高斯径向函数的径向数值，p为输出阶数，l为输入阶数。
步骤220、根据高斯径向函数和球谐波函数，确定三维卷积核对应的基核的线性组合；
具体实现中，可以根据高斯径向函数和三维卷积核对应的网格点对应的值，确定出高斯径向函数的相关参数的取值范围。其中，在确定出三维卷积核对应的基核的线性组合时，将根据高斯径向函数作为核函数，并将球谐波函数作为基函数，利用高斯径向函数、球谐波函数和基变换矩阵进行运算，确定出卷积核对应的基核的线性组合。基于如下公式计算基核的线性组合kpl，Jm(x)：
Figure BDA0003348883210000102
其中，
Figure BDA0003348883210000103
为x位置上对应的高斯径向函数值，
Figure BDA0003348883210000104
为x位置上对应的球谐波函数值，
Figure BDA0003348883210000105
是大小为(2p+1)(2l+1)的基变换矩阵，其中，p为输出阶数，l为输入阶数，m为高斯径向函数的径向数值，J为球谐波函数的度数，j为球谐波函数的阶数。
步骤230、根据三维卷积核和基核的线性组合确定出旋转可控的三维卷积核，旋转可控的三维卷积核满足旋转可控约束条件；
具体实现中，根据三维卷积核和基核的线性组合确定出旋转可控的三维卷积核，实际上是将公式(2)代入公式(1)中，确定出旋转可控的三维卷积核的表达式，根据高斯径向函数和球谐波函数构建的旋转可控的三维卷积核，在卷积过程中计算量呈线性增长，具有一定的规律性，可满足旋转可控的三维卷积核的旋转可控的约束条件。
比如：输入特征和输出特征由不可约的表征堆叠而成，阶数分别为(l1，…，ln)和(p1，…，pn+1)，则x位置处整个旋转可控的卷积核k(x)可表示为：
Figure BDA0003348883210000111
步骤240、获取输入特征的稀疏张量，根据稀疏张量的输入位置信息确定同一卷积层对应的输出特征的位置状态，并根据输出特征的位置状态确定输出特征的输出位置信息，输入特征为三维数据的特征；
步骤250、根据输入位置信息和输出位置信息确定输入特征中的第一特征，将第一特征输入旋转可控的三维卷积核进行稀疏卷积，得到输出特征的稀疏张量，第一特征为输出特征处于激活状态的位置对应的输入特征。
进一步的，根据所述稀疏张量的输入位置信息确定同一卷积层对应的输出特征的位置状态，包括：
根据所述输入位置信息中各位置是否存在激活值确定所述输入特征的位置状态；
根据所述输入特征的位置状态确定同一卷积层对应的输出特征的位置状态。
示例地，激活值可以理解为根据预设的激活条件确定出具有激活属性的数值，激活条件可以是输入位置信息中各位置上是否存储在非零值，也可以预设的阈值，可以通过激活条件确定各位上数值是否为激活值。
具体实现中，在旋转可控的三维卷积核对应的输入特征的输入位置信息上的激活条件为输入位置信息中各位置是否存在非零值，根据激活条件确定输入位置信息上是否存在激活值，当输入位置信息中任意一位置上存在激活值，则确定输入特征在该位置上处于激活状态；当输入位置信息中任意一位置上不存在激活值，则确定出入特征在该位置上处于未激活状态。确定出输入位置信息中各位置对应的激活状态，即确定出输入特征的位置状态。根据输入特征的位置状态确定同一卷积层对应的输出特征的位置状态。
进一步的，根据所述输入特征的位置状态确定同一卷积层对应的输出特征的位置状态，包括：
确定场景对应的各体素块中的输入特征是否存在处于激活状态的位置；
当所述体素块内的输入特征存在处于激活状态的位置，则确定所述体素块中心位置的输出特征处于激活状态；
当所述体素块内的输入特征不存在处于激活状态的位置，则确定所述体素块中心位置的输出特征处于未激活状态。
具体实现中，场景对应的各体素块可以理解为三维数据对应的场景中根据实际需求粒度确定相同空间大小，一个三维数据中包含多个体素块。确定三维数据中场景对应的各体素块中输入特征是否处于激活状态的位置，实际上根据确定出的输入特征的位置状态与各体素块进行一一对应，当任意一个体素块内的输入特征存在处于激活状态的位置，则确定该体素块中心位置的输出特征处于激活状态，即确定该体素块中心位置为输出特征处于激活状态的位置；当任意一个体素块内的输入特征不存在处于激活状态的位置，则确定该体素块中心位置的输出特征处于为激活位置，即确定该体素块中心位置为输出特征处于未激活状态的位置。根据上述方法确定，输出特征的位置状态，并确定输出位置信息。
进一步的，所述旋转可控约束条件：
k(rx)＝ρn+1(r)k(x)ρn(r)-1 公式(4)；
其中，x表示场景中三维坐标的任意一个位置，r表示一个三维旋转，rx表示x三维坐标经过旋转变换后的三维坐标，k(x)为三维坐标x位置的卷积核，k(rx)为三维坐标rx位置的卷积核，ρn(r)为三维旋转r关于对应的输入阶数的旋转矩阵，ρn+1(r)为三维旋转r关于对应的输出阶数的旋转矩阵。
具体实现中，根据场景中三维坐标中的任意位置x和旋转变换后的三维坐标rx，可以根据输入阶数对应的旋转矩阵、输出阶数对应的旋转矩阵和x位置的旋转可控的卷积核对应的矩阵进行运算，得到rx位置的旋转可控的卷积核对应的矩阵，因此，满足该变换公式的旋转可控的三维卷积核满足旋转可控的约束条件。
进一步的，根据所述输入位置信息和所述输出位置信息确定所述输入特征中的第一特征，包括：
根据所述输入位置信息和所述输出位置信息确定所述稀疏卷积对应的规则词典；
根据所述规则词典和所述输入特征的稀疏张量确定所述输入特征的第一特征。
具体实现中，规则词典可以理解为记录输入特征和输出特征中处于激活状态的位置的卷积规则的数据集，在根据输入位置信息和输出位置信息确定规则词典之前，先将规则词典初始化为多个空集。根据输入位置信息中任意一位置与输出位置信息任意一位置是否同处于同一体素块中，确定是否添加卷积规则，并记录相应的位置，确定出输入位置信息与输出位置信息之间的卷积规则，形成输入特征和输出特征处于激活状态的位置之间的规则词典。规则词典中包括输入位置信息和输出位置信息之间的对应关系、输入位置信息和输出位置信息。在确定出规则词典之后，仅需要将输入特征的稀疏张量与规则词典进行比对，确定输入位置信息中与输出位置信息具有卷积规则的位置，并根据输入特征的稀疏张量确定出第一特征，其中，第一特征为输出特征处于激活状态的位置对应的输入特征。
进一步的，根据所述输入位置信息和所述输出位置信息确定所述稀疏卷积对应的规则词典，包括：
确定所述输出位置信息的第一位置与所述输入位置信息的第二位置是否属于同一体素块内，如果所述第一位置和所述第二位置属于同一体素块内，则根据所述第一位置和所述第二位置在初始化的规则词典中添加一条卷积规则，直至遍历所述输入位置信息中的所有位置；
确定所述输出位置信息的第三位置和所述输入位置信息的第二位置是否属于同一体素块内，如果所述第三位置和所述第二位置属于同一体素块内，则根据所述第三位置和所述第二位置属于在所述规则词典中添加条卷积规则，直至遍历所述输入位置信息中的所有位置，并遍历所述输出位置信息中的所有位置。
示例地，输出位置信息的第一位置可以理解为从输出位置信息选取第一个位置信息标记为第一位置；输入位置信息的第二位置信息可以理解为从输入位置信息中选取第一个位置信息作为第二位置。输出位置信息的第三位置可以理解为从不包含第一位置的输出位置信息中选出的第三位置。
具体实现中，根据输入位置信息和输出位置信息确定稀疏卷积对应的规则词典，实际上是根据输出位置信息和输入位置信息确定是否添加卷积规则，仅对同一体素块内的输出位置和输入位置添加卷积规则。从输出位置信息中选取第一位置与输入位置信息中选取第二位置信息，确定第一位置与第二位置是否属于同一体素块内，如果第一位置和第二位置属于同一体素块内，则根据第一位置和第二位置在初始化的规则词典中添加一条卷积规则，如果第一位置和第二位置不属于同一体素块内，则第一位置与第二位置信息，不存在与之对应的卷积规则。将第一位置与输入位置信息中各位置一一进行判断，确定出第一位置对应的输入位置信息中各位置之间的卷积规则。确定输入位置信息的第三位置与输出位置信息中第二位置是否属于同一体素块内，如果第三位置和第二位置属于同一体素块内，则根据第三位置和第二位置在规则词典中添加一条卷积规则，如果第三位置和第二位置不属于同一体素块内，则第三位置与第二位置信息，不存在与之对应的卷积规则。将第三位置与输入位置信息中各位置一一进行判断，确定出第三位置对应的输入信息中各位置之间的卷积规则。当所有输出位置信息中的位置与输入位置信息各位置一一判断，确定出输出位置信息与输入位置信息之间的规则词典。
比如：将输出位置信息Hn+1中选择一个位置x，在输入位置信息Hn选择一位置y，如果x和y满足x-y∈S，其中，S为体素块空间，则在规则词典中添加卷积规则(rn+1,x,rn,y)，其中，rn+1,x表示x在Hn+1中的行数，rn,y表示y在Hn中的行数。
本发明实施例中，通过构建旋转可控的三维卷积核，旋转可控的三维卷积核满足旋转可控约束条件；获取输入特征的稀疏张量，根据稀疏张量的输入位置信息确定同一卷积层对应的输出特征的位置状态，并根据输出特征的位置状态确定输出特征的输出位置信息；根据输入位置信息和输出位置信息确定输入特征中的第一特征，将第一特征输入旋转可控的三维卷积核进行稀疏卷积，得到输出特征的稀疏张量。即，本发明实施例，通过构建旋转可控的三维卷积核进行稀疏卷积，可以保证输入三维数据在卷积过程中的完整性，同时保证卷积具有等变性，在根据输入特征的位置状态确定出输出特征的位置状态，仅对输出特征中处于激活状态的位置上对应的输入特征进行卷积，可以根据输入数据的稀疏性进行卷积，减少了卷积过程中的计算量和运算过程中的存储负担。
图3是本发明实施例提供的三维数据处理装置的结构示意图，如图3所示，该三维数据处理装置包括：
卷积核构建模块310，用于构建旋转可控的三维卷积核，所述旋转可控的三维卷积核满足旋转可控约束条件；
状态确定模块320，用于获取输入特征的稀疏张量，根据所述稀疏张量的输入位置信息确定同一卷积层对应的输出特征的位置状态，并根据所述输出特征的位置状态确定所述输出特征的输出位置信息，所述输入特征为三维数据的特征；
可控卷积模块330，用于根据所述输入位置信息和所述输出位置信息确定所述输入特征中的第一特征，将所述第一特征输入所述旋转可控的三维卷积核进行稀疏卷积，得到所述输出特征的稀疏张量，所述第一特征为所述输出特征处于激活状态的位置对应的输入特征。
一实施例中，所述状态确定模块320根据所述稀疏张量的输入位置信息确定同一卷积层对应的输出特征的位置状态，包括：
根据所述输入位置信息中各位置是否存在激活值确定所述输入特征的位置状态；
根据所述输入特征的位置状态确定同一卷积层对应的输出特征的位置状态。
一实施例中，所述状态确定模块320根据所述输入特征的位置状态确定同一卷积层对应的输出特征的位置状态，包括：
确定场景对应的各体素块中的输入特征是否存在处于激活状态的位置；
当所述体素块内的输入特征存在处于激活状态的位置，则确定所述体素块中心位置的输出特征处于激活状态；
当所述体素块内的输入特征不存在处于激活状态的位置，则确定所述体素块中心位置的输出特征处于未激活状态。
一实施例中，所述卷积核构建模块310构建旋转可控的三维卷积核，包括：
根据预设的所述旋转可控的三维卷积核对应的输入阶数和输出阶数构建卷积核，得到三维卷积核；
根据高斯径向函数和球谐波函数，确定所述三维卷积核对应的基核的线性组合；
根据所述三维卷积核和所述基核的线性组合确定出所述旋转可控的三维卷积核。
一实施例中，所述卷积核构建模块310中所述旋转可控约束条件：
k(rx)＝ρn+1(r)k(x)ρn(r)-1
其中，x表示场景中三维坐标的任意一个位置，r表示一个三维旋转，rx表示x三维坐标经过旋转变换后的三维坐标，k(x)为三维坐标x位置的卷积核，k(rx)为三维坐标rx位置的卷积核，ρn(r)为三维旋转r关于对应的输入阶数的旋转矩阵，ρn+1(r)为三维旋转r关于对应的输出阶数的旋转矩阵。
一实施例中，所述可控卷积模块330根据所述输入位置信息和所述输出位置信息确定所述输入特征中的第一特征，包括：
根据所述输入位置信息和所述输出位置信息确定所述稀疏卷积对应的规则词典；
根据所述规则词典和所述输入特征的稀疏张量确定所述输入特征的第一特征。
一实施例中，所述可控卷积模块330根据所述输入位置信息和所述输出位置信息确定所述稀疏卷积对应的规则词典，包括：
确定所述输出位置信息的第一位置与所述输入位置信息的第二位置是否属于同一体素块内，如果所述第一位置和所述第二位置属于同一体素块内，则根据所述第一位置和所述第二位置在初始化的规则词典中添加一条卷积规则，直至遍历所述输入位置信息中的所有位置；
确定所述输出位置信息的第三位置和所述输入位置信息的第二位置是否属于同一体素块内，如果所述第三位置和所述第二位置属于同一体素块内，则根据所述第三位置和所述第二位置属于在所述规则词典中添加条卷积规则，直至遍历所述输入位置信息中的所有位置，并遍历所述输出位置信息中的所有位置。
本发明装置实施例中，通过构建旋转可控的三维卷积核，旋转可控的三维卷积满足旋转可控约束条件；获取输入特征的稀疏张量，根据稀疏张量的输入位置信息确定同一卷积层对应的输出特征的位置状态，并根据输出特征的位置状态确定输出特征的输出位置信息；根据输入位置信息和输出位置信息确定输入特征中的第一特征，将第一特征输入旋转可控的三维卷积核进行稀疏卷积，得到输出特征的稀疏张量。即，本发明实施例，通过构建旋转可控的三维卷积核进行稀疏卷积，可以保证输入三维数据在卷积过程中的完整性，同时保证卷积具有等变性，在根据输入特征的位置状态确定出输出特征的位置状态，仅对输出特征中处于激活状态的位置上对应的输入特征进行卷积，可以根据输入数据的稀疏性进行卷积，减少了卷积过程中的计算量和运算过程中的存储负担。
图4为本发明实施例提供的一种电子设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图4显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的三维数据处理方法，该方法包括：
构建旋转可控的三维卷积核，所述旋转可控的三维卷积核满足旋转可控约束条件；
获取输入特征的稀疏张量，根据所述稀疏张量的输入位置信息确定同一卷积层对应的输出特征的位置状态，并根据所述输出特征的位置状态确定所述输出特征的输出位置信息，所述输入特征为三维数据的特征；
根据所述输入位置信息和所述输出位置信息确定所述输入特征中的第一特征，将所述第一特征输入所述旋转可控的三维卷积核进行稀疏卷积，得到所述输出特征的稀疏张量，所述第一特征为所述输出特征处于激活状态的位置对应的输入特征。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的三维数据处理方法，该方法包括：
构建旋转可控的三维卷积核，所述旋转可控的三维卷积核满足旋转可控约束条件；
获取输入特征的稀疏张量，根据所述稀疏张量的输入位置信息确定同一卷积层对应的输出特征的位置状态，并根据所述输出特征的位置状态确定所述输出特征的输出位置信息，所述输入特征为三维数据的特征；
根据所述输入位置信息和所述输出位置信息确定所述输入特征中的第一特征，将所述第一特征输入所述旋转可控的三维卷积核进行稀疏卷积，得到所述输出特征的稀疏张量，所述第一特征为所述输出特征处于激活状态的位置对应的输入特征。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种三维数据处理方法，其特征在于，包括：
构建旋转可控的三维卷积核，所述旋转可控的三维卷积核满足旋转可控约束条件；
获取输入特征的稀疏张量，根据所述稀疏张量的输入位置信息确定同一卷积层对应的输出特征的位置状态，并根据所述输出特征的位置状态确定所述输出特征的输出位置信息，所述输入特征为三维数据的特征；
根据所述输入位置信息和所述输出位置信息确定所述输入特征中的第一特征，将所述第一特征输入所述旋转可控的三维卷积核进行稀疏卷积，得到所述输出特征的稀疏张量，所述第一特征为所述输出特征处于激活状态的位置对应的输入特征。
2.根据权利要求1所述的方法，其特征在于，根据所述稀疏张量的输入位置信息确定同一卷积层对应的输出特征的位置状态，包括：
根据所述输入位置信息中各位置是否存在激活值确定所述输入特征的位置状态；
根据所述输入特征的位置状态确定同一卷积层对应的输出特征的位置状态。
3.根据权利要求2所述的方法，其特征在于，根据所述输入特征的位置状态确定同一卷积层对应的输出特征的位置状态，包括：
确定场景对应的各体素块中的输入特征是否存在处于激活状态的位置；
当所述体素块内的输入特征存在处于激活状态的位置，则确定所述体素块中心位置的输出特征处于激活状态；
当所述体素块内的输入特征不存在处于激活状态的位置，则确定所述体素块中心位置的输出特征处于未激活状态。
4.根据权利要求1所述的方法，其特征在于，构建旋转可控的三维卷积核，包括：
根据预设的所述旋转可控的三维卷积核对应的输入阶数和输出阶数构建卷积核，得到三维卷积核；
根据高斯径向函数和球谐波函数，确定所述三维卷积核对应的基核的线性组合；
根据所述三维卷积核和所述基核的线性组合确定出所述旋转可控的三维卷积核。
5.根据权利要求1所述的方法，其特征在于，所述旋转可控约束条件：
k(rx)＝ρn+1(r)k(x)ρn(r)-1
其中，x表示场景中三维坐标的任意一个位置，r表示一个三维旋转，rx表示x三维坐标经过旋转变换后的三维坐标，k(x)为三维坐标x位置的卷积核，k(rx)为三维坐标rx位置的卷积核，ρn(r)为三维旋转r关于对应的输入阶数的旋转矩阵，ρn+1(r)为三维旋转r关于对应的输出阶数的旋转矩阵。
6.根据权利要求1所述的方法，其特征在于，根据所述输入位置信息和所述输出位置信息确定所述输入特征中的第一特征，包括：
根据所述输入位置信息和所述输出位置信息确定所述稀疏卷积对应的规则词典；
根据所述规则词典和所述输入特征的稀疏张量确定所述输入特征的第一特征。
7.根据权利要求6所述的方法，其特征在于，根据所述输入位置信息和所述输出位置信息确定所述稀疏卷积对应的规则词典，包括：
确定所述输出位置信息的第一位置与所述输入位置信息的第二位置是否属于同一体素块内，如果所述第一位置和所述第二位置属于同一体素块内，则根据所述第一位置和所述第二位置在初始化的规则词典中添加一条卷积规则，直至遍历所述输入位置信息中的所有位置；
确定所述输出位置信息的第三位置和所述输入位置信息的第二位置是否属于同一体素块内，如果所述第三位置和所述第二位置属于同一体素块内，则根据所述第三位置和所述第二位置属于在所述规则词典中添加条卷积规则，直至遍历所述输入位置信息中的所有位置，并遍历所述输出位置信息中的所有位置。
8.一种三维数据处理装置，其特征在于，包括：
卷积核构建模块，用于构建旋转可控的三维卷积核，所述旋转可控的三维卷积核满足旋转可控约束条件；
状态确定模块，用于获取输入特征的稀疏张量，根据所述稀疏张量的输入位置信息确定同一卷积层对应的输出特征的位置状态，并根据所述输出特征的位置状态确定所述输出特征的输出位置信息，所述输入特征为三维数据的特征；
可控卷积模块，用于根据所述输入位置信息和所述输出位置信息确定所述输入特征中的第一特征，将所述第一特征输入所述旋转可控的三维卷积核进行稀疏卷积，得到所述输出特征的稀疏张量，所述第一特征为所述输出特征处于激活状态的位置对应的输入特征。
9.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至7中任一所述的三维数据处理方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一所述的三维数据处理方法。
CN202111337396.5A 2021-11-11 2021-11-11 一种三维数据处理方法、装置、电子设备及存储介质 Pending CN114049398A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111337396.5A CN114049398A (zh) 2021-11-11 2021-11-11 一种三维数据处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111337396.5A CN114049398A (zh) 2021-11-11 2021-11-11 一种三维数据处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114049398A true CN114049398A (zh) 2022-02-15

Family

ID=80208536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111337396.5A Pending CN114049398A (zh) 2021-11-11 2021-11-11 一种三维数据处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114049398A (zh)

Similar Documents

Publication Publication Date Title
WO2021223262A1 (zh) 物体转移装箱过程策略生成方法、装置、计算机设备
CN112906865B (zh) 神经网络架构搜索方法、装置、电子设备及存储介质
CN116227209A (zh) 一种点云数据多维线性差值方法、终端设备及存储介质
JP4885558B2 (ja) エンティティルックアップシステム
US20150277435A1 (en) Computing apparatus and computing method
WO2022039741A1 (en) Method and system for providing a three-dimensional computer aided-design (cad) model in a cad environment
CN114049398A (zh) 一种三维数据处理方法、装置、电子设备及存储介质
CN111079082A (zh) 一种提高涉及稀疏矩阵计算速率的方法和系统
Du Toit Radial basis function interpolation
CN115544257A (zh) 网盘文档快速分类方法、装置、网盘及存储介质
US10262021B2 (en) Methods and systems for processing data using QR factorization
US9436731B2 (en) Index-based optimization of convex hull and minimum bounding circle queries
CN114690786A (zh) 一种移动机器的路径规划方法和装置
CN110945499B (zh) 应用维度混洗变换的实时三维空间搜索与点云配准的方法与系统
CN112528016A (zh) 一种基于低维球面投影的文本分类方法
CN111507265A (zh) 表格关键点检测模型训练方法、装置、设备以及存储介质
CN114581676B (zh) 特征图像的处理方法、装置和存储介质
CN111712811A (zh) Hd地图的可扩展图形slam
Sharon et al. On multiscale quasi-interpolation of scattered scalar-and manifold-valued functions
CN117609412B (zh) 一种基于网络结构信息的空间对象关联方法及装置
EP4083793B1 (en) Rendering of persistent particle trails for dynamic displays
US11847746B2 (en) Server and method for generating best view spots
TWI719379B (zh) 光線追蹤方法與電腦程式產品
US20230315965A1 (en) Method and system for generating a three-dimensional model of a multi-thickness object a computer-aided design environment
US7522164B2 (en) Using self-adjustable three-dimensional matrix to simplify the construction of a complex 3D scene

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination