CN108090404A - 三维图像处理方法 - Google Patents

三维图像处理方法 Download PDF

Info

Publication number
CN108090404A
CN108090404A CN201611046880.1A CN201611046880A CN108090404A CN 108090404 A CN108090404 A CN 108090404A CN 201611046880 A CN201611046880 A CN 201611046880A CN 108090404 A CN108090404 A CN 108090404A
Authority
CN
China
Prior art keywords
leaf node
convolution operation
current
octree structure
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201611046880.1A
Other languages
English (en)
Inventor
殷鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fafa Automobile China Co ltd
Original Assignee
Faraday Beijing Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Faraday Beijing Network Technology Co Ltd filed Critical Faraday Beijing Network Technology Co Ltd
Priority to CN201611046880.1A priority Critical patent/CN108090404A/zh
Publication of CN108090404A publication Critical patent/CN108090404A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例公开一种三维图像处理方法，方法包括：将三维图像转换为相应的八叉树结构；对所述八叉树结构进行卷积运算，得到卷积运算后的八叉树结构。本发明实施例通过将三维图像转换为八叉树结构，能大量节省空间，同时大量节省运算时间，提高效率，实现对三维图形的卷积运算。

Description

三维图像处理方法
技术领域
本发明涉及图像处理相关技术领域，特别是一种三维图像处理方法。
背景技术
环境感知是决定无人车系统对于环境信息识别能力的关键技术，基于激光(Velodyne 64e)的环境感知算法可以有效的提取道路可行驶区域、对象识别与追踪等任务，但是传统的基于激光点云数据的场景感知算法需要根据3D点云数据的几何特征信息，通过设计有监督的分类分割方法以对场景进行简单分类。
然而，发明人在实现发明的过程中发现，现有的卷积计算方法无法应用于三维图像处理中。
传统的二维图片的卷积网络采用对整张图片进行卷积计算，如果三维卷积网络采用直接对整个空间进行卷积计算则会带来很大的计算问题。以ImageNet为例，如果在第一层卷积网络的输入图片的规格为224×224×3(3通道RGB)，输出为96×7×7(96个滤波器，7x7的卷积核)，则其所需要的操作数为96×(224/2)×(224/2)；
对于同样边大小的三维数据224×224×224×3(每个点三个通道RGB)，输出为96×7×7×7，则其所需要的操作为96×(224/2)×(224/2)×(224/2)，是二维空间卷积计算的112倍。对于ImageNet的Model C模型，二维卷积网络总共所需要的操作约为5.3×10^10次计算，三维卷积所需要的计算约为6.1×10^12。但是针对于无人车环境感知的3D点云数据，取50m×50m×10m的三维空间，栅格分辨率取0.1m，则对应的数据大小为500×500×100(不考虑颜色信息)，这样带来的计算复杂度远不能满足实时性的要求。这里有三个问题需要引出：
a.由于激光点云数据是稀疏的，这个计算过程大部分计算浪费在了对0元素的操作上；
b.三维数据进行卷积网络需要确定每个元素的相邻单元，但是三维空间的近邻确定相比于图像非常耗时；
c.对于每个元素的卷积操作还需要知道其几何特征、颜色特征等信息，只有点云的几何位置信息无法获取比较好的卷积效果。
发明内容
基于此，有必要针对现有技术无法实现较好的三维卷积计算，提供一种三维图像处理方法。
本发明实施例提供一种三维图像处理方法，包括：
将三维图像转换为相应的八叉树结构；
对所述八叉树结构进行卷积运算，得到卷积运算后的八叉树结构。
进一步的，所述对所述八叉树结构进行卷积运算，得到卷积运算后的八叉树结构，包括：
选择八叉树结构中一个未进行卷积运算的叶节点作为当前叶节点；
根据卷积核的大小，确定当前叶节点的邻近节点；
将当前叶节点及其邻近节点与卷积核进行卷积运算，得到当前叶节点对应的卷积运算结果；
当所述八叉树结构中还有未进行卷积运算的叶节点，则执行所述选择八叉树结构的一个未进行卷积运算的叶节点作为当前叶节点；
当所述八叉树结构中没有未进行卷积运算的叶节点，则将每个叶节点的值替换为对应的卷积运算结果，得到卷积运算后的八叉树结构。
更进一步的，所述确定当前叶节点的邻近节点，包括：
根据卷积核的大小，确定当前叶节点的邻近节点的数量作为当前叶节点的搜索数量，将当前叶节点的父节点作为当前父节点，将当前父节点的子节点的数量作为当前子节点数量；
如果当前子节点数量大于或等于当前叶节点的搜索数量，则从当前父节点的子节点中选择搜索数量的子节点作为当前叶节点的邻近节点；
如果当前子节点数量小于当前叶节点的搜索数量，则将当前父节点的所有子节点作为当前叶节点的邻近节点，且计算剩余数量为搜索数量减去当前子节点数量，将当前父节点的相邻节点作为相邻父节点，从相邻父节点的子节点中选择剩余数量的子节点作为当前叶节点的邻近节点。
更进一步的，所述当所述八叉树结构中没有未进行卷积运算的叶节点，则将每个叶节点的值替换为对应的卷积运算结果，得到卷积运算后的八叉树结构，具体包括：
当所述八叉树结构中没有未进行卷积运算的叶节点，如果执行下采样，则获取下采样步幅参数M1，M1为大于0的自然数；
如果M1>1，重复执行以下步骤，直到M1＝1：计算同一父节点的所有叶节点对应的卷积运算结果的平均值，作为对应父节点的卷积运算结果，将父节点作为新的八叉树结构的叶结点，新的八叉树结构层次减一，将M1更新为M1-1；
如果M1＝1，则将每个叶节点的值替换为对应的卷积运算结果，得到卷积运算后的八叉树结构。
更进一步的，所述当所述八叉树结构中没有未进行卷积运算的叶节点，则将每个叶节点的值替换为对应的卷积运算结果，得到卷积运算后的八叉树结构，具体包括：
当所述八叉树结构中没有未进行卷积运算的叶节点，如果执行上采样，则获取上采样步幅参数M2，M2为大于0的自然数；
将每个叶节点的值替换为对应的卷积运算结果；
如果M2>0，重复执行以下步骤，直到M2＝0：对每个叶结点进行插值处理，以每个叶结点为父节点向下层扩展，将插值处理得到的插值结果，作为对应子节点的值，输出八叉树的层次加一，将M2更新为M2-1；
当M2＝0，则输出八叉树结构。
再进一步的，所述将三维图像转换为相应的八叉树结构，具体包括：
根据三维图像中每个像素点的位置关系，确定八叉树结构的树型结构，确定每个叶节点的特征信息向量。
再进一步的，所述确定每个叶节点的特征信息向量，具体包括：
基于每个叶结点对应像素点的K近邻点云计算特征信息向量，K为大于1的自然数。
本发明实施例提供一种三维图像处理装置，包括：
转换模块，用于：将三维图像转换为相应的八叉树结构；
卷积模块，用于：对所述八叉树结构进行卷积运算，得到卷积运算后的八叉树结构。
进一步的，所述卷积模块，具体用于：
选择八叉树结构中一个未进行卷积运算的叶节点作为当前叶节点；
根据卷积核的大小，确定当前叶节点的邻近节点；
将当前叶节点及其邻近节点与卷积核进行卷积运算，得到当前叶节点对应的卷积运算结果；
当所述八叉树结构中还有未进行卷积运算的叶节点，则执行所述选择八叉树结构的一个未进行卷积运算的叶节点作为当前叶节点；
当所述八叉树结构中没有未进行卷积运算的叶节点，则将每个叶节点的值替换为对应的卷积运算结果，得到卷积运算后的八叉树结构。
更进一步的，所述确定当前叶节点的邻近节点，包括：
根据卷积核的大小，确定当前叶节点的邻近节点的数量作为当前叶节点的搜索数量，将当前叶节点的父节点作为当前父节点，将当前父节点的子节点的数量作为当前子节点数量；
如果当前子节点数量大于或等于当前叶节点的搜索数量，则从当前父节点的子节点中选择搜索数量的子节点作为当前叶节点的邻近节点；
如果当前子节点数量小于当前叶节点的搜索数量，则将当前父节点的所有子节点作为当前叶节点的邻近节点，且计算剩余数量为搜索数量减去当前子节点数量，将当前父节点的相邻节点作为相邻父节点，从相邻父节点的子节点中选择剩余数量的子节点作为当前叶节点的邻近节点。
更进一步的，所述当所述八叉树结构中没有未进行卷积运算的叶节点，则将每个叶节点的值替换为对应的卷积运算结果，得到卷积运算后的八叉树结构，具体包括：
当所述八叉树结构中没有未进行卷积运算的叶节点，如果执行下采样，则获取下采样步幅参数M1，M1为大于0的自然数；
如果M1>1，重复执行以下步骤，直到M1＝1：计算同一父节点的所有叶节点对应的卷积运算结果的平均值，作为对应父节点的卷积运算结果，将父节点作为新的八叉树结构的叶结点，新的八叉树结构层次减一，将M1更新为M1-1；
如果M1＝1，则将每个叶节点的值替换为对应的卷积运算结果，得到卷积运算后的八叉树结构。
更进一步的，所述当所述八叉树结构中没有未进行卷积运算的叶节点，则将每个叶节点的值替换为对应的卷积运算结果，得到卷积运算后的八叉树结构，具体包括：
当所述八叉树结构中没有未进行卷积运算的叶节点，如果执行上采样，则获取上采样步幅参数M2，M2为大于0的自然数；
将每个叶节点的值替换为对应的卷积运算结果；
如果M2>0，重复执行以下步骤，直到M2＝0：对每个叶结点进行插值处理，以每个叶结点为父节点向下层扩展，将插值处理得到的插值结果，作为对应子节点的值，输出八叉树的层次加一，将M2更新为M2-8；
当M2＝0，则输出八叉树结构。
再进一步的，所述转换模块，具体用于：
根据三维图像中每个像素点的位置关系，确定八叉树结构的树型结构，确定每个叶节点的特征信息向量。
再进一步的，所述确定每个叶节点的特征信息向量，具体包括：
基于每个叶结点对应像素点的K近邻点云计算特征信息向量，K为大于1的自然数。
本发明实施例提供一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
将三维图像转换为相应的八叉树结构；
对所述八叉树结构进行卷积运算，得到卷积运算后的八叉树结构。
进一步的，所述对所述八叉树结构进行卷积运算，得到卷积运算后的八叉树结构，包括：
选择八叉树结构中一个未进行卷积运算的叶节点作为当前叶节点；
根据卷积核的大小，确定当前叶节点的邻近节点；
将当前叶节点及其邻近节点与卷积核进行卷积运算，得到当前叶节点对应的卷积运算结果；
当所述八叉树结构中还有未进行卷积运算的叶节点，则执行所述选择八叉树结构的一个未进行卷积运算的叶节点作为当前叶节点；
当所述八叉树结构中没有未进行卷积运算的叶节点，则将每个叶节点的值替换为对应的卷积运算结果，得到卷积运算后的八叉树结构。
更进一步的，所述确定当前叶节点的邻近节点，包括：
根据卷积核的大小，确定当前叶节点的邻近节点的数量作为当前叶节点的搜索数量，将当前叶节点的父节点作为当前父节点，将当前父节点的子节点的数量作为当前子节点数量；
如果当前子节点数量大于或等于当前叶节点的搜索数量，则从当前父节点的子节点中选择搜索数量的子节点作为当前叶节点的邻近节点；
如果当前子节点数量小于当前叶节点的搜索数量，则将当前父节点的所有子节点作为当前叶节点的邻近节点，且计算剩余数量为搜索数量减去当前子节点数量，将当前父节点的相邻节点作为相邻父节点，从相邻父节点的子节点中选择剩余数量的子节点作为当前叶节点的邻近节点。
更进一步的，所述当所述八叉树结构中没有未进行卷积运算的叶节点，则将每个叶节点的值替换为对应的卷积运算结果，得到卷积运算后的八叉树结构，具体包括：
当所述八叉树结构中没有未进行卷积运算的叶节点，如果执行下采样，则获取下采样步幅参数M1，M1为大于0的自然数；
如果M1>1，重复执行以下步骤，直到M1＝1：计算同一父节点的所有叶节点对应的卷积运算结果的平均值，作为对应父节点的卷积运算结果，将父节点作为新的八叉树结构的叶结点，新的八叉树结构层次减一，将M1更新为M1-1；
如果M1＝1，则将每个叶节点的值替换为对应的卷积运算结果，得到卷积运算后的八叉树结构。
更进一步的，所述当所述八叉树结构中没有未进行卷积运算的叶节点，则将每个叶节点的值替换为对应的卷积运算结果，得到卷积运算后的八叉树结构，具体包括：
当所述八叉树结构中没有未进行卷积运算的叶节点，如果执行上采样，则获取上采样步幅参数M2，M2为大于0的自然数；
将每个叶节点的值替换为对应的卷积运算结果；
如果M2>0，重复执行以下步骤，直到M2＝0：对每个叶结点进行插值处理，以每个叶结点为父节点向下层扩展，将插值处理得到的插值结果，作为对应子节点的值，输出八叉树的层次加一，将M2更新为M2-15；
当M2＝0，则输出八叉树结构。
再进一步的，所述将三维图像转换为相应的八叉树结构，具体包括：
根据三维图像中每个像素点的位置关系，确定八叉树结构的树型结构，确定每个叶节点的特征信息向量。
再进一步的，所述确定每个叶节点的特征信息向量，具体包括：
基于每个叶结点对应像素点的K近邻点云计算特征信息向量，K为大于1的自然数。
本发明实施例通过将三维图像转换为八叉树结构，能大量节省空间，同时大量节省运算时间，提高效率，实现对三维图形的卷积运算。
附图说明
图1为本发明一实施例提供的一种三维图像处理方法的工作流程图；
图2为本发明可选实施例提供的一种三维图像处理方法的工作流程图；
图3为本发明可选实施例提供的八叉树结构示意图；
图4为本发明一实施例提供的一种三维图像处理装置的装置模块图；
图5为本发明可选实施例提供的执行三维图像处理方法的电子设备的硬件结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步详细的说明。
实施例一
如图1所示为本发明一实施例提供的一种三维图像处理方法的工作流程图，包括：
步骤S101，将三维图像转换为相应的八叉树结构；
步骤S102，对所述八叉树结构进行卷积运算，得到卷积运算后的八叉树结构。
八叉树(octree)是一种用于描述三维空间的树状数据结构。如图3所示，八叉树的每个节点31表示一个正方体的体积元素，每个节点有八个子节点，这八个子节点所表示的体积元素加在一起就等于父节点的体积。一般中心点作为节点的分叉中心。由于八叉树仅根据存在的点云信息进行构图，因此可以避免大量的0元空间；另一方面，八叉树采用树型结构表达，因此对于节点的查找、修改可以在log(N)时间内完成，其中N为空间边长大小。
本发明实施例通过将三维图像转换为八叉树结构，能大量节省空间，同时大量节省运算时间，提高效率，实现对三维图形的卷积运算。
实施例二
如图2所示为本发明可选实施例提供的本发明实施例提供一种三维图像处理方法的工作流程图，包括：
步骤S201，根据三维图像中每个像素点的位置关系，确定八叉树结构的树型结构，确定每个叶节点的特征信息向量。
具体来说，
基于每个叶结点对应像素点的K近邻点云计算特征信息向量，K为大于1的自然数。
特征信息向量可以包括表明物体表面特性的特征根信息(线、面、体特征根信息)、曲率信息、反射回率信息，从而将每个叶结点转变为一个5维向量。进而初始输入数据转化为5n(n为叶结点个数)的数据信息，其中的数据索引采用八叉树的索引方式。
步骤S202，选择八叉树结构中一个未进行卷积运算的叶节点作为当前叶节点。
步骤S203，根据卷积核的大小，确定当前叶节点的邻近节点。
具体来说，根据卷积核的大小，确定当前叶节点的邻近节点的数量作为当前叶节点的搜索数量，将当前叶节点的父节点作为当前父节点，将当前父节点的子节点的数量作为当前子节点数量；
如果当前子节点数量大于或等于当前叶节点的搜索数量，则从当前父节点的子节点中选择搜索数量的子节点作为当前叶节点的邻近节点；
如果当前子节点数量小于当前叶节点的搜索数量，则将当前父节点的所有子节点作为当前叶节点的邻近节点，且计算剩余数量为搜索数量减去当前子节点数量，将当前父节点的相邻节点作为相邻父节点，从相邻父节点的子节点中选择剩余数量的子节点作为当前叶节点的邻近节点。
步骤S204，将当前叶节点及其邻近节点与卷积核进行卷积运算，得到当前叶节点对应的卷积运算结果。
以3×3×3的卷积核为例，如果对其八叉树叶结点a进行卷积操作，则需提取出当前节点所在父节点的全部子节点，以及相邻父节点的对应相邻子节点，总共为1个当前节点以及26个相邻节点，然后与卷积核进行卷积运算，得到当前节点的卷积运算结果。
步骤S205，当所述八叉树结构中还有未进行卷积运算的叶节点，则执行所述选择八叉树结构的一个未进行卷积运算的叶节点作为当前叶节点，即步骤S202；
当所述八叉树结构中没有未进行卷积运算的叶节点，则将每个叶节点的值替换为对应的卷积运算结果，得到卷积运算后的八叉树结构。
具体来说，
当所述八叉树结构中没有未进行卷积运算的叶节点，如果执行下采样，则获取下采样步幅参数M1，M1为大于0的自然数；
如果M1>1，重复执行以下步骤，直到M1＝1：计算同一父节点的所有叶节点对应的卷积运算结果的平均值，作为对应父节点的卷积运算结果，将父节点作为新的八叉树结构的叶结点，新的八叉树结构层次减一，将M1更新为M1-1；
如果M1＝1，则将每个叶节点的值替换为对应的卷积运算结果，得到卷积运算后的八叉树结构。
例如，如果M1为1，则卷积结果直接更新叶结点信息；如果M1为2，则8个叶结点的卷积结果经过平均求和，其结果返回给父节点，父节点作为新的八叉树结构叶结点，输出的八叉树结构层次减一；如果M1大于2，以此类推。
当所述八叉树结构中没有未进行卷积运算的叶节点，如果执行上采样，则获取上采样步幅参数M2，M2为大于0的自然数；
将每个叶节点的值替换为对应的卷积运算结果；
如果M2>0，重复执行以下步骤，直到M2＝0：对每个叶结点进行插值处理，以每个叶结点为父节点向下层扩展，将插值处理得到的插值结果，作为对应子节点的值，输出八叉树的层次加一，将M2更新为M2-1；
当M2＝0，则输出八叉树结构。
步骤S206，构建多层次的网络架构，包括Caffe中的Relu，Pool，Softmax等实现层次。进而完成训练、学习过程。
本发明实施例通过将三维图像转换为八叉树结构，能大量节省空间，同时大量节省运算时间，提高效率，实现对三维图形的卷积运算。另外，具体实现八叉树结构的卷积运算，以及相应的下采样和上采样运算。
实施例三
如图4为本发明一实施例提供的一种三维图像处理装置的装置模块图，包括：
转换模块401，用于：将三维图像转换为相应的八叉树结构；
卷积模块402，用于：对所述八叉树结构进行卷积运算，得到卷积运算后的八叉树结构。
本发明实施例通过将三维图像转换为八叉树结构，能大量节省空间，同时大量节省运算时间，提高效率，实现对三维图形的卷积运算。
实施例四
本发明可选实施例提供的一种三维图像处理装置，包括：
转换模块，用于：根据三维图像中每个像素点的位置关系，确定八叉树结构的树型结构，确定每个叶节点的特征信息向量。
具体来说，基于每个叶结点对应像素点的K近邻点云计算特征信息向量，K为大于1的自然数。
卷积模块，用于：选择八叉树结构中一个未进行卷积运算的叶节点作为当前叶节点。
根据卷积核的大小，确定当前叶节点的邻近节点。
具体来说，根据卷积核的大小，确定当前叶节点的邻近节点的数量作为当前叶节点的搜索数量，将当前叶节点的父节点作为当前父节点，将当前父节点的子节点的数量作为当前子节点数量；
如果当前子节点数量大于或等于当前叶节点的搜索数量，则从当前父节点的子节点中选择搜索数量的子节点作为当前叶节点的邻近节点；
如果当前子节点数量小于当前叶节点的搜索数量，则将当前父节点的所有子节点作为当前叶节点的邻近节点，且计算剩余数量为搜索数量减去当前子节点数量，将当前父节点的相邻节点作为相邻父节点，从相邻父节点的子节点中选择剩余数量的子节点作为当前叶节点的邻近节点。
将当前叶节点及其邻近节点与卷积核进行卷积运算，得到当前叶节点对应的卷积运算结果；
当所述八叉树结构中还有未进行卷积运算的叶节点，则执行所述选择八叉树结构的一个未进行卷积运算的叶节点作为当前叶节点；
当所述八叉树结构中没有未进行卷积运算的叶节点，则将每个叶节点的值替换为对应的卷积运算结果，得到卷积运算后的八叉树结构。
具体来说，当所述八叉树结构中没有未进行卷积运算的叶节点，如果执行下采样，则获取下采样步幅参数M1，M1为大于0的自然数；
如果M1>1，重复执行以下步骤，直到M1＝1：计算同一父节点的所有叶节点对应的卷积运算结果的平均值，作为对应父节点的卷积运算结果，将父节点作为新的八叉树结构的叶结点，新的八叉树结构层次减一，将M1更新为M1-1；
如果M1＝1，则将每个叶节点的值替换为对应的卷积运算结果，得到卷积运算后的八叉树结构。
当所述八叉树结构中没有未进行卷积运算的叶节点，如果执行上采样，则获取上采样步幅参数M2，M2为大于0的自然数；
将每个叶节点的值替换为对应的卷积运算结果；
如果M2>0，重复执行以下步骤，直到M2＝0：对每个叶结点进行插值处理，以每个叶结点为父节点向下层扩展，将插值处理得到的插值结果，作为对应子节点的值，输出八叉树的层次加一，将M2更新为M2-8；
当M2＝0，则输出八叉树结构。
本发明实施例通过将三维图像转换为八叉树结构，能大量节省空间，同时大量节省运算时间，提高效率，实现对三维图形的卷积运算。另外，具体实现八叉树结构的卷积运算，以及相应的下采样和上采样运算。
本发明第五实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施方式中的三维图像处理方法。
如图5所示为本发明第六实施例提供的执行三维图像处理方法的电子设备的硬件结构示意图，其主要包括：至少一个处理器510；以及，与所述至少一个处理器510通信连接的存储器520；其中，所述存储器520存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器510执行，以使所述至少一个处理器能够执行如图1、图2所示的方法流程，图5中以一个处理器510为例。
执行三维图像处理方法的电子设备还可以包括：输入装置530和输出装置540。
处理器510、存储器520、输入装置530及显示装置540可以通过总线或者其他方式连接，图5中以通过总线连接为例。
存储器520作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的三维图像处理方法对应的程序指令/模块，例如，图1、图2所示的方法流程，或者附图4所示的转换模块401和卷积模块402。处理器510通过运行存储在存储器520中的非易失性软件程序、指令以及模块，从而执行各种功能应用以及数据处理，即实现上述实施例中的三维图像处理方法。
存储器520可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据三维图像处理装置的使用所创建的数据等。此外，存储器520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器520可选包括相对于处理器510远程设置的存储器，这些远程存储器可以通过网络连接至执行三维图像处理方法的装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置530可接收输入的用户点击，以及产生与三维图像处理装置的用户设置以及功能控制有关的信号输入。显示装置540可包括显示屏等显示设备。
在所述一个或者多个模块存储在所述存储器520中，当被所述一个或者多个处理器510运行时，执行上述任意方法实施例中的三维图像处理方法。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本发明实施例的电子设备以多种形式存在，包括但不限于:
(1)电子控制单元(Electronic Control Unit，ECU)又称“行车电脑”、“车载电脑”等。主要由微处理器(CPU)、存储器(ROM、RAM)、输入/输出接口(I/O)、模数转换器(A/D)以及整形、驱动等大规模集成电路组成。
(2)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(3)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。
(4)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(5)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(6)其他具有数据交互功能的电子装置。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台移动终端(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管参照前述实施例对本发明实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种三维图像处理方法，其特征在于，包括：
将三维图像转换为相应的八叉树结构；
对所述八叉树结构进行卷积运算，得到卷积运算后的八叉树结构。
2.根据权利要求1所述的三维图像处理方法，其特征在于，所述对所述八叉树结构进行卷积运算，得到卷积运算后的八叉树结构，包括：
选择八叉树结构中一个未进行卷积运算的叶节点作为当前叶节点；
根据卷积核的大小，确定当前叶节点的邻近节点；
将当前叶节点及其邻近节点与卷积核进行卷积运算，得到当前叶节点对应的卷积运算结果；
当所述八叉树结构中还有未进行卷积运算的叶节点，则执行所述选择八叉树结构的一个未进行卷积运算的叶节点作为当前叶节点；
当所述八叉树结构中没有未进行卷积运算的叶节点，则将每个叶节点的值替换为对应的卷积运算结果，得到卷积运算后的八叉树结构。
3.根据权利要求2所述的三维图像处理方法，其特征在于，所述确定当前叶节点的邻近节点，包括：
根据卷积核的大小，确定当前叶节点的邻近节点的数量作为当前叶节点的搜索数量，将当前叶节点的父节点作为当前父节点，将当前父节点的子节点的数量作为当前子节点数量；
如果当前子节点数量大于或等于当前叶节点的搜索数量，则从当前父节点的子节点中选择搜索数量的子节点作为当前叶节点的邻近节点；
如果当前子节点数量小于当前叶节点的搜索数量，则将当前父节点的所有子节点作为当前叶节点的邻近节点，且计算剩余数量为搜索数量减去当前子节点数量，将当前父节点的相邻节点作为相邻父节点，从相邻父节点的子节点中选择剩余数量的子节点作为当前叶节点的邻近节点。
4.根据权利要求2所述的三维图像处理方法，其特征在于，所述当所述八叉树结构中没有未进行卷积运算的叶节点，则将每个叶节点的值替换为对应的卷积运算结果，得到卷积运算后的八叉树结构，具体包括：
当所述八叉树结构中没有未进行卷积运算的叶节点，如果执行下采样，则获取下采样步幅参数M1，M1为大于0的自然数；
如果M1>1，重复执行以下步骤，直到M1＝1：计算同一父节点的所有叶节点对应的卷积运算结果的平均值，作为对应父节点的卷积运算结果，将父节点作为新的八叉树结构的叶结点，新的八叉树结构层次减一，将M1更新为M1-1；
如果M1＝1，则将每个叶节点的值替换为对应的卷积运算结果，得到卷积运算后的八叉树结构。
5.根据权利要求2所述的三维图像处理方法，其特征在于，所述当所述八叉树结构中没有未进行卷积运算的叶节点，则将每个叶节点的值替换为对应的卷积运算结果，得到卷积运算后的八叉树结构，具体包括：
当所述八叉树结构中没有未进行卷积运算的叶节点，如果执行上采样，则获取上采样步幅参数M2，M2为大于0的自然数；
将每个叶节点的值替换为对应的卷积运算结果；
如果M2>0，重复执行以下步骤，直到M2＝0：对每个叶结点进行插值处理，以每个叶结点为父节点向下层扩展，将插值处理得到的插值结果，作为对应子节点的值，输出八叉树的层次加一，将M2更新为M2-1；
当M2＝0，则输出八叉树结构。
6.根据权利要求1～5任一项所述的三维图像处理方法，其特征在于，所述将三维图像转换为相应的八叉树结构，具体包括：
根据三维图像中每个像素点的位置关系，确定八叉树结构的树型结构，确定每个叶节点的特征信息向量。
7.根据权利要求6所述的三维图像处理方法，其特征在于，所述确定每个叶节点的特征信息向量，具体包括：
基于每个叶结点对应像素点的K近邻点云计算特征信息向量，K为大于1的自然数。
CN201611046880.1A 2016-11-23 2016-11-23 三维图像处理方法 Withdrawn CN108090404A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611046880.1A CN108090404A (zh) 2016-11-23 2016-11-23 三维图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611046880.1A CN108090404A (zh) 2016-11-23 2016-11-23 三维图像处理方法

Publications (1)

Publication Number Publication Date
CN108090404A true CN108090404A (zh) 2018-05-29

Family

ID=62171676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611046880.1A Withdrawn CN108090404A (zh) 2016-11-23 2016-11-23 三维图像处理方法

Country Status (1)

Country Link
CN (1) CN108090404A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060143202A1 (en) * 2002-11-27 2006-06-29 Parker Eric G Efficient data structure
CN102999937A (zh) * 2011-09-08 2013-03-27 上海翰攀信息科技有限公司 心脏散乱点云数据曲面重建的方法
CN104616345A (zh) * 2014-12-12 2015-05-13 浙江大学 一种基于八叉树森林压缩的三维体素存取方法
CN104966104A (zh) * 2015-06-30 2015-10-07 孙建德 一种基于三维卷积神经网络的视频分类方法
EP2933777A1 (en) * 2014-04-17 2015-10-21 amberMind Three dimensional modeling
CN105808672A (zh) * 2016-03-01 2016-07-27 重庆市勘测院 基于浏览器的海量三维点云数据的发布方法
CN106095907A (zh) * 2016-06-08 2016-11-09 江西理工大学 基于八叉树与三维r星树集成的激光点云数据管理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060143202A1 (en) * 2002-11-27 2006-06-29 Parker Eric G Efficient data structure
CN102999937A (zh) * 2011-09-08 2013-03-27 上海翰攀信息科技有限公司 心脏散乱点云数据曲面重建的方法
EP2933777A1 (en) * 2014-04-17 2015-10-21 amberMind Three dimensional modeling
CN104616345A (zh) * 2014-12-12 2015-05-13 浙江大学 一种基于八叉树森林压缩的三维体素存取方法
CN104966104A (zh) * 2015-06-30 2015-10-07 孙建德 一种基于三维卷积神经网络的视频分类方法
CN105808672A (zh) * 2016-03-01 2016-07-27 重庆市勘测院 基于浏览器的海量三维点云数据的发布方法
CN106095907A (zh) * 2016-06-08 2016-11-09 江西理工大学 基于八叉树与三维r星树集成的激光点云数据管理方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DONALD MEAGHER: "Geometric Modeling Using Octree Encoding", 《COMPUTER GRAPHICS AND IMAGE PROCESSING》 *
GERNOT RIEGLER ET AL.: "OctNet: Learning Deep 3D Representations at High Resolutions", 《ARXIV:1611.05009V2》 *
HARI SUNDAR ET AL.: "Bottom Up Construction and 2:1 Balance Refinement of Linear Octrees in Parallel", 《SIAM》 *
胡敏捷等: "海量点云数据管理方法的研究", 《船舶设计通讯》 *
赵亚龙: "基于卷积神经网络的三维人脸识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Similar Documents

Publication Publication Date Title
CN108345890B (zh) 图像处理方法、装置和相关设备
CN108416327B (zh) 一种目标检测方法、装置、计算机设备及可读存储介质
CN111144242B (zh) 一种三维目标检测方法、装置及终端
CN108645411B (zh) 基于粒子群算法的机器人路径规划方法、装置及终端设备
CN112396645B (zh) 一种基于卷积残差学习的单目图像深度估计方法和系统
CN109583509B (zh) 数据生成方法、装置及电子设备
KR20210013150A (ko) 조명 추정
CN108986197B (zh) 3d骨架线构建方法及装置
TWI643137B (zh) 物件辨識方法及物件辨識系統
CN110222726A (zh) 图像处理方法、装置及电子设备
CN110490203A (zh) 图像分割方法及装置、电子设备和计算机可读存储介质
CN113705515B (zh) 语义分割模型的训练和高精地图车道线的生成方法和设备
CN113902061A (zh) 一种点云补全方法和装置
CN113378756A (zh) 一种三维人体语义分割方法、终端设备及存储介质
CN116977531A (zh) 三维纹理图像的生成方法、装置、计算机设备和存储介质
CN109697748A (zh) 模型压缩处理方法、模型贴图处理方法装置、存储介质
CN111768353A (zh) 一种三维模型的孔洞填补方法及装置
CN113240789B (zh) 虚拟对象构建方法及装置
CN108961268B (zh) 一种显著图计算方法及相关装置
CN112669431B (zh) 图像处理方法、装置、设备、存储介质以及程序产品
CN111161289B (zh) 图像中物体轮廓精度提升方法、装置
CN117292007A (zh) 图像生成方法及装置
CN111462015A (zh) 地图轨迹的处理方法、装置、电子设备及存储介质
CN116704203A (zh) 目标检测方法、装置、电子设备、计算机可读存储介质
CN108090404A (zh) 三维图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100026 8 floor 909, 105 building 3, Yao Yuan Road, Chaoyang District, Beijing.

Applicant after: Lexus Automobile (Beijing) Co.,Ltd.

Address before: 100026 8 floor 909, 105 building 3, Yao Yuan Road, Chaoyang District, Beijing.

Applicant before: FARADAY (BEIJING) NETWORK TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20180906

Address after: 511458 9, Nansha District Beach Road, Guangzhou, Guangdong, 9

Applicant after: Evergrande Faraday Future Smart Car (Guangdong) Co.,Ltd.

Address before: 100026 8 floor 909, 105 building 3, Yao Yuan Road, Chaoyang District, Beijing.

Applicant before: Lexus Automobile (Beijing) Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190314

Address after: 100015 Building No. 7, 74, Jiuxianqiao North Road, Chaoyang District, Beijing, 001

Applicant after: FAFA Automobile (China) Co.,Ltd.

Address before: 511458 9, Nansha District Beach Road, Guangzhou, Guangdong, 9

Applicant before: Evergrande Faraday Future Smart Car (Guangdong) Co.,Ltd.

TA01 Transfer of patent application right
WW01 Invention patent application withdrawn after publication

Application publication date: 20180529

WW01 Invention patent application withdrawn after publication