CN114004856A - 一种深度图像滤波方法、装置、电子设备 - Google Patents

一种深度图像滤波方法、装置、电子设备 Download PDF

Info

Publication number
CN114004856A
CN114004856A CN202111336215.7A CN202111336215A CN114004856A CN 114004856 A CN114004856 A CN 114004856A CN 202111336215 A CN202111336215 A CN 202111336215A CN 114004856 A CN114004856 A CN 114004856A
Authority
CN
China
Prior art keywords
pixel point
filtering
point
depth
normal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111336215.7A
Other languages
English (en)
Inventor
刘玉丹
李常颢
王士玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong 3vjia Information Technology Co Ltd
Original Assignee
Guangdong 3vjia Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong 3vjia Information Technology Co Ltd filed Critical Guangdong 3vjia Information Technology Co Ltd
Priority to CN202111336215.7A priority Critical patent/CN114004856A/zh
Publication of CN114004856A publication Critical patent/CN114004856A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供一种深度图像滤波方法、装置、电子设备，方法包括：获取点云图像；根据所述点云图像的深度信息和法向信息对所述点云图像进行滤波。实施上述方法，能够与现有技术只考虑深度信息相比，该方法能够有效地保留点云图像的尖锐特征。

Description

一种深度图像滤波方法、装置、电子设备
技术领域
本申请涉及图像技术领域，具体而言，涉及一种深度图像滤波方法、装置、电子设备。
背景技术
点云滤波指针对带噪声的点云数据，通过滤波的方法尽可能消除噪声，获得更准确和易用的点云数据。目前，出于可视化或者物体几何测量等需求，需要对物体进行基于深度相机的扫描和三维重建；但是在扫描过程中，由于目前深度相机的精度普遍不高，往往会引入很多噪声，导致原本比较光滑的物体表面变得粗糙甚至出现错误，现有的点云滤波大多基于相机获得的深度信息，在点云中扭曲较大的连续区域，深度的变化往往较小，因此进行滤波后会损失甚至丢失部分尖锐特征。
发明内容
本申请实施例的目的在于提供一种深度图像滤波方法、装置、电子设备和可读存储介质。在滤波的过程中充分考虑深度信息，能够在滤波过后保留尖锐特征。
第一方面，本申请实施例提供了一种深度图像滤波方法，包括：
获取点云图像；
根据所述点云图像的深度信息和法向信息对所述点云图像进行滤波。
在上述实现过程中，深度信息和法向信息反映了点云图像的尖锐特征，在滤波的过程中充分考虑上述两个特征。与现有技术只考虑深度信息相比，该方法能够有效地保留点云图像的尖锐特征。
进一步地，所述根据所述点云图像的深度信息和法向信息对所述点云图像进行滤波的步骤，包括：
为所述点云图像的每个像素点生成多个局部片段，其中所述每个像素点在其对应的所述多个局部片段中的每个局部片段的位置不同；
获取所述每个像素点的每个局部片段的误差系数；
根据所述每个像素点的每个局部片段的误差系数获取所述每个像素点的指导法向；
利用联合双边滤波优化滤指导法向算法对所述每个像素点的指导法向进行处理，得到每个像素点滤波后的指导法向；
根据所述每个像素点滤波后的指导法向更新所述每个像素点的坐标。
在上述实现过程中，为每个像素点生成多个局部片段，根据每个像素点的每个局部片段的误差系数获取每个像素点的指导法向，生成多个局部片段，能够将滤波过程中的误差分配到多个局部片段上，减少滤波误差。利用联合双边滤波优化滤指导法对每个像素点的指导法向进行优化，有效提高滤波效果。
进一步地，所述根据所述每个像素点滤波后的指导法向更新所述每个像素点的坐标的步骤，包括：
根据所述像素点的原始坐标、所述每个像素点滤波后的指导法向获取所述每个像素点在深度方向上的位移向量；
将所述每个像素点在所述深度方向上移动所述位移向量，得到更新后的每个像素点。
在上述实现过程中，在更新点的坐标时，保证其对应的新的深度图像的连接关系不变，因此对每个点进行更新时，只允许其在深度方向上移动。基于上述实施方式，保证了滤波后的点云图像保留大部分的有用信息。
进一步地，通过下述公式获取所述每个像素点在深度方向上的位移向量：
Figure BDA0003350592220000031
其中，ΔP为所述位移向量，P所述每个像素点在所述点云图像中的空间位置坐标，Ni为i第个像素点pi滤波后的指导法向，Ni[Z]为Ni在深度方向z上的分量。
在上述实现过程中，可以快速地计算出位移向量。
进一步地，在将所述每个像素点在所述深度方向上移动所述位移向量，得到更新后的每个像素点的步骤之后，方法还包括：
根据所述每个像素点在深度方向上的位移向量和所述每个像素点的相邻像素点的位置获取所述每个像素点在深度方向上的自适应位移向量；
所述将所述每个像素点在所述深度方向上移动所述位移向量之后，方法还包括：
将所述每个像素点在所述深度方向上移动所述自适应位移向量。
在上述实现过程中，考虑到每个点在移动时会直接影响到周围多个相邻点的法向，所以将这部分位移分为多个相同长度的小步长位移。基于上述实施方式，有效地像素点移动时的误差。
进一步地，所述获取所述每个像素点的每个局部片段的误差系数的步骤包括：
建立第一误差函数、第二误差函数和第三误差函数，所述第一误差函数用于衡量所述每个像素点的多个局部片段中的每个局部片段的光滑程度；
所述第二误差函数用于衡量所述每个像素点的多个局部片段中的每个局部片段是否有尖锐边缘；
所述第三误差函数用于计算每个像素点的多个局部片段中的每个局部片段不同像素点间颜色的最大差异；
根据所述第一误差函数、所述第二误差函数和所述第二误差函数和所述第三误差函数获取所述每个像素点的每个局部片段的误差系数。
在上述实现过程中，通过第一误差函数、第二误差函数和第三误差函数获取误差系数，能够使得误差系数准确地反应出每个像素点的每个局部片段的误差系数。
进一步地，所述根据所述每个像素点的每个局部片段的误差系数获取所述每个像素点的指导法向的步骤包括：
选取所述每个像素点的多个局部片段中的误差系数最小的局部片段的法线法向为所述每个像素点的指导法向。
在上述实现过程中，通过判断每个像素点的多个局部片段误差系数的大小，可以快速筛选出最能代表像素点的指导法向。
第二方面，本申请提供一种深度图像滤波装置，包括：
获取模块，用于获取点云图像；
滤波模块，用于根据所述点云图像的深度信息和法向信息对所述点云图像进行滤波。
第三方面，本申请实施例提供的一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的方法的步骤。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的深度图像滤波方法的流程示意图；
图2为本申请实施例提供的局部片段的示意图；
图3为本申请实施例提供的滤波的流程示意图；
图4为本申请实施例提供的深度图像滤波装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1
参见图1，本申请实施例提供一种深度图像滤波方法，包括：
S1：获取点云图像；
S2：根据点云图像的深度信息和法向信息对点云图像进行滤波。
深度信息和法向信息反映了点云图像的尖锐特征，在滤波的过程中充分考虑上述两个特征，与现有技术只考虑深度信息相比，该方法能够有效地保留点云图像的尖锐特征。
上述实施例中，点云图像是由深度相机拍摄得到，S2中，为了加快计算速度，一般根据点云图像计算出点云图像的深度图像，再根据深度图像的深度信息和法向信息对点云图像进行滤波。
透视投影是多对一的关系，投影线上的任何一点对应同一个像点。如果用两个摄像机，则可以消除这种多对一的关系，确定每个像素点三维坐标的值，即深度信息。法向信息指的是每个像素点对应的法向。
参见图3，在一种可能的实施方式中，S2包括以下子步骤：
S21：为点云图像的每个像素点生成多个局部片段，其中每个像素点在其对应的多个局部片段中的每个局部片段的位置不同；
S22：获取每个像素点的每个局部片段的误差系数；
S23：根据每个像素点的每个局部片段的误差系数获取每个像素点的指导法向；
S24：利用联合双边滤波优化滤指导法向算法对每个像素点的指导法向进行处理，得到每个像素点滤波后的指导法向；
S25：根据每个像素点滤波后的指导法向更新每个像素点的坐标。
可以理解的是，更新坐标后的每个像素点组成的图像即为滤波后的点云图像。
上述实施例中，每个像素点生成多个局部片段，根据每个像素点的每个局部片段的误差系数获取每个像素点的指导法向，生成多个局部片段，能够将滤波过程中的误差分配到多个局部片段上，减少滤波误差。利用联合双边滤波优化滤指导法对每个像素点的指导法向进行优化，有效提高滤波效果。
本申请实施例提供一种生成多个局部片段的方法，示例性地，参见图2，对于每一个非边缘点(即四个相邻像素点均有深度信息的像素点)，取一个包括k*k个小格且包含该像素点的局部区域，称作一个局部片段。因此，每个像素点将被最多k个不同的局部片段所覆盖，且局部像素点位于每个局部片段的不同位置，图3中五角星为同一个像素点，图3所示为包含对应顶点的大小的不同局部片段。
在一种可能的实施方式中，S23包括：
建立第一误差函数、第二误差函数和第三误差函数，第一误差函数用于衡量每个像素点的多个局部片段中的每个局部片段的光滑程度；
第二误差函数用于衡量每个像素点的多个局部片段中的每个局部片段是否有尖锐边缘；
第三误差函数用于计算每个像素点的多个局部片段中的每个局部片段不同像素点间颜色的最大差异；
根据第一误差函数、第二误差函数和第二误差函数和第三误差函数获取每个像素点的每个局部片段的误差系数。
示例性地，第一误差函数为：
Figure BDA0003350592220000071
其中，S为点云图像每个像素点的每个局部片段所包含的全部像素点的集合，fi为S中的第i个像素点，fj为S中的第j个像素点，ni为fi的与其上下左右相邻的四个顶点的平均法向，nj为fj的与其上下左右相邻的四个顶点的平均法向，ψ(S)为S上差异最大的两个像素的法向的差距，用来衡量每个像素点的每个局部片段的光滑程度。
需要说明的是，在计算ni、nj的过程中，如果fi、fj的上下左右相邻的顶点不超过四个，则认为fi、fj对应的ni、nj不存在。
第二误差函数为：
Figure BDA0003350592220000072
φ(ej)＝||nj1-nj2||；
Figure BDA0003350592220000073
其中，ε为一个充分小的正数，EP为S中任意两个相邻像素之间的边组成的边集，ej为EP中的边，nj1为像素点pj1在三维空间中对应的点的法向量，nj2为像素点pj2在三维空间中对应的点的法向量，pj1、pj2为ej的顶点，R(S)为边缘检测函数，用来检测该片段是否包含一条尖锐的边缘，如果包含一条尖锐边缘，则其误差系数增大。
第三误差函数为：
C(S)＝||ci-cj||；
其中，ci为fi的颜色，cj为fj的颜色，C(S)片段上不同像素点间颜色的最大差异。由于现在的RGB相机精度已经很高了，因此该参数可以起到用高精度信息指导低精度信息滤波的作用。
上述实施例中，通过第一误差函数、第二误差函数和第三误差函数获取误差系数，能够使得误差系数准确地反应出每个像素点的每个局部片段的误差系数。
基于上述三个函数，通过以下公式获取每个像素点的每个局部片段的误差系数：
H(S)＝ψ(S)R(S)C(S)；
基于上述公式计算的误差可以更全面地衡量每个局部片段的法向的置信程度，并且，误差系数越低，代表对应的片段越光滑，其估计法向的可信程度也越高。
基于上述误差系数的计算公式，本申请提供一种S23的实现方法：
选取每个像素点的多个局部片段中的误差系数最小的局部片段的法线法向为每个像素点的指导法向。
在此基础上，S24可以通过以下公式实现：
Figure BDA0003350592220000081
Figure BDA0003350592220000082
Figure BDA0003350592220000083
Figure BDA0003350592220000084
p为当前进行滤波的像素点，q为和p相邻的三维空间点；
Figure BDA0003350592220000091
为点p的指导法向；
Figure BDA0003350592220000092
为点q的指导法向。指导法向的计算方法见S23，x，y为p或q的坐标，σp为依赖p的参数，σq为依赖q的参数，N'p为滤波后的指导法向。
本申请实施例还提供一种S25的实现方法：
根据像素点的原始坐标、每个像素点滤波后的指导法向获取每个像素点在深度方向上的位移向量；
将每个像素点在深度方向上移动位移向量，得到更新后的每个像素点；
在一种可能的实施方式中，在将每个像素点在深度方向上移动位移向量，得到更新后的每个像素点的步骤之后，方法还包括：
根据每个像素点在深度方向上的位移向量和每个像素点的相邻像素点的位置获取每个像素点在深度方向上的自适应位移向量；
将每个像素点在深度方向上移动位移向量之后，方法还包括：
将每个像素点在深度方向上移动自适应位移向量。
在更新点的坐标时，保证其对应的新的深度图像的连接关系不变，因此对每个点进行更新时，只允许其在深度方向上移动。基于上述实施方式，保证了滤波后的点云图像保留大部分的有用信息。考虑到每个点在移动时会直接影响到周围多个相邻点的法向，所以将这部分位移分为多个相同长度的小步长位移。基于上述实施方式，有效地像素点移动时的误差。
在一种可能的实施方式中，位移向量和自适应位移向量的计算公式如下：
Figure BDA0003350592220000093
其中，ΔP为所述位移向量，P所述每个像素点在所述点云图像中的空间位置坐标，Ni为点云图像第i个像素点pi滤波后的指导法向，Ni[Z]为Ni在深度方向z上的分量。
Figure BDA0003350592220000101
其中，pnew为自适应位移向量，np为点pi的相邻点个数。
通过上面的公式，我们即可对所有的像素均遍历其四个相邻点，求出新的空间位置并更新其所有相邻点的空间位置坐标，得到更新后的点云和深度图像；更进一步的，由于以上的所有方法对深度图像中的每个像素点而言都是分别计算的，因此可以将前面提及的所有计算操作全部交给GPU(graphics processing unit，图形处理器)来进行并行计算，从而达到了该方法的实时性。
实施例2
参见图4，本申请实施例提供一种深度图像滤波装置，包括：
获取模块1，用于获取点云图像；
滤波模块2，用于根据点云图像的深度信息和法向信息对点云图像进行滤波。
在一种可能的实施方式中，滤波模块3还用于为点云图像的每个像素点生成多个局部片段，其中每个像素点在其对应的多个局部片段中的每个局部片段的位置不同；获取每个像素点的每个局部片段的误差系数；根据每个像素点的每个局部片段的误差系数获取每个像素点的指导法向；利用联合双边滤波优化滤指导法向算法对每个像素点的指导法向进行处理，得到每个像素点滤波后的指导法向；根据每个像素点滤波后的指导法向更新每个像素点的坐标。
在一种可能的实施方式中，滤波模块2还用于根据像素点的原始坐标、每个像素点滤波后的指导法向获取每个像素点在深度方向上的位移向量；将每个像素点在深度方向上移动位移向量，得到更新后的每个像素点。
在一种可能的实施方式中，滤波模块2还用于通过下述公式获取每个像素点在深度方向上的位移向量：
Figure BDA0003350592220000111
其中，ΔP为所述位移向量，P所述每个像素点在所述点云图像中的空间位置坐标，Ni为点云图像第i个像素点pi滤波后的指导法向，Ni[Z]为Ni在深度方向Z上的分量。
在一种可能的实施方式中，滤波模块2还用于在根据像素点的原始坐标、每个像素点滤波后的指导法向获取每个像素点在深度方向上的位移向量的步骤之后，根据每个像素点在深度方向上的位移向量和每个像素点的相邻像素点的位置获取每个像素点在深度方向上的自适应位移向量。
在一种可能的实施方式中，滤波模块2还用于通过以下方式获取自适应位移向量，
Figure BDA0003350592220000112
其中，pnew为自适应位移向量，np为点pi的相邻点个数。
在一种可能的实施方式中，滤波模块2还用于建立第一误差函数、第二误差函数和第三误差函数，第一误差函数用于衡量每个像素点的多个局部片段中的每个局部片段的光滑程度；第二误差函数用于衡量每个像素点的多个局部片段中的每个局部片段是否有尖锐边缘；第三误差函数用于计算每个像素点的多个局部片段中的每个局部片段不同像素点间颜色的最大差异；根据第一误差函数、第二误差函数和第二误差函数和第三误差函数获取每个像素点的每个局部片段的误差系数。
在一种可能的实施方式中，滤波模块2还用于选取每个像素点的多个局部片段中的误差系数最小的局部片段的法线法向为每个像素点的指导法向。
本申请还提供一种电子设备电子设备可以包括处理器、通信接口、存储器和至少一个通信总线。其中，通信总线用于实现这些组件直接的连接通信。其中，本申请实施例中电子设备的通信接口用于与其他节点设备进行信令或数据的通信。处理器可以是一种集成电路芯片，具有信号的处理能力。
上述的处理器可以是通用处理器，包括中央处理器(CPU，Central ProcessingUnit)、网络处理器(NP，Network Processor)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以是，但不限于，随机存取存储器(RAM，Random Access Memory)，只读存储器(ROM，Read Only Memory)，可编程只读存储器(PROM，Programmable Read-OnlyMemory)，可擦除只读存储器(EPROM，Erasable Programmable Read-Only Memory)，电可擦除只读存储器(EEPROM，Electric Erasable Programmable Read-Only Memory)等。存储器中存储有计算机可读取指令，当计算机可读取指令由处理器执行时，电子设备可以执行上述实施例涉及的各个步骤。
可选地，电子设备还可以包括存储控制器、输入输出单元。
存储器、存储控制器、处理器、外设接口、输入输出单元各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通信总线实现电性连接。处理器用于执行存储器中存储的可执行模块，例如电子设备包括的软件功能模块或计算机程序。
输入输出单元用于提供给用户创建任务以及为该任务创建启动可选时段或预设执行时间以实现用户与服务器的交互。输入输出单元可以是，但不限于，鼠标和键盘等。
本申请实施例还提供一种存储介质，存储介质上存储有指令，当指令在计算机上运行时，计算机程序被处理器执行时实现方法实施例的方法，为避免重复，此处不再赘述。
本申请还提供一种计算机程序产品，计算机程序产品在计算机上运行时，使得计算机执行方法实施例的方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种深度图像滤波方法，其特征在于，包括：
获取点云图像；
根据所述点云图像的深度信息和法向信息对所述点云图像进行滤波。
2.根据权利要求1所述的深度图像滤波方法，其特征在于，
所述根据所述点云图像的深度信息和法向信息对所述点云图像进行滤波的步骤，包括：
为所述点云图像的每个像素点生成多个局部片段，其中所述每个像素点在其对应的所述多个局部片段中的每个局部片段的位置不同；
获取所述每个像素点的每个局部片段的误差系数；
根据所述每个像素点的每个局部片段的误差系数获取所述每个像素点的指导法向；
利用联合双边滤波优化滤指导法向算法对所述每个像素点的指导法向进行处理，得到每个像素点滤波后的指导法向；
根据所述每个像素点滤波后的指导法向更新所述每个像素点的坐标。
3.根据权利要求2所述的深度图像滤波方法，其特征在于，所述根据所述每个像素点滤波后的指导法向更新所述每个像素点的坐标的步骤，包括：
根据所述像素点的原始坐标、所述每个像素点滤波后的指导法向获取所述每个像素点在深度方向上的位移向量；
将所述每个像素点在所述深度方向上移动所述位移向量，得到更新后的每个像素点。
4.根据权利要求2所述的深度图像滤波方法，其特征在于，通过下述公式获取所述每个像素点在深度方向上的位移向量：
Figure FDA0003350592210000021
其中，ΔP为所述位移向量，P所述每个像素点在所述点云图像中的空间位置坐标，Ni为i第个像素点pi滤波后的指导法向，Ni[Z]为Ni在深度方向z上的分量。
5.根据权利要求3所述的深度图像滤波方法，其特征在于，在将所述每个像素点在所述深度方向上移动所述位移向量，得到更新后的每个像素点的步骤之后，方法还包括：
根据所述每个像素点在深度方向上的位移向量和所述每个像素点的相邻像素点的位置获取所述每个像素点在深度方向上的自适应位移向量；
所述将所述每个像素点在所述深度方向上移动所述位移向量的步骤之后，方法还包括：
将所述每个像素点在所述深度方向上移动所述自适应位移向量。
6.根据权利要求5所述的深度图像滤波方法，其特征在于，通过以下方式获取所述自适应位移向量，
Figure FDA0003350592210000022
其中，pnew为所述自适应位移向量，np为点pi的相邻点个数。
7.根据权利要求6所述的深度图像滤波方法，其特征在于，所述获取所述每个像素点的每个局部片段的误差系数的步骤包括：
建立第一误差函数、第二误差函数和第三误差函数，所述第一误差函数用于衡量所述每个像素点的多个局部片段中的每个局部片段的光滑程度；
所述第二误差函数用于衡量所述每个像素点的多个局部片段中的每个局部片段是否有尖锐边缘；
所述第三误差函数用于计算每个像素点的多个局部片段中的每个局部片段不同像素点间颜色的最大差异；
根据所述第一误差函数、所述第二误差函数和所述第二误差函数和所述第三误差函数获取所述每个像素点的每个局部片段的误差系数。
8.根据权利要求7所述的深度图像滤波方法，其特征在于，所述根据所述每个像素点的每个局部片段的误差系数获取所述每个像素点的指导法向的步骤包括：
选取所述每个像素点的多个局部片段中的误差系数最小的局部片段的法线法向做为所述每个像素点的指导法向。
9.一种深度图像滤波装置，其特征在于，包括：
获取模块，用于获取点云图像；
滤波模块，用于根据所述点云图像的深度信息和法向信息对所述点云图像进行滤波。
10.一种电子设备，其特征在于，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-8任一项所述的方法的步骤。
CN202111336215.7A 2021-11-12 2021-11-12 一种深度图像滤波方法、装置、电子设备 Pending CN114004856A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111336215.7A CN114004856A (zh) 2021-11-12 2021-11-12 一种深度图像滤波方法、装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111336215.7A CN114004856A (zh) 2021-11-12 2021-11-12 一种深度图像滤波方法、装置、电子设备

Publications (1)

Publication Number Publication Date
CN114004856A true CN114004856A (zh) 2022-02-01

Family

ID=79928834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111336215.7A Pending CN114004856A (zh) 2021-11-12 2021-11-12 一种深度图像滤波方法、装置、电子设备

Country Status (1)

Country Link
CN (1) CN114004856A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169475A (zh) * 2017-06-19 2017-09-15 电子科技大学 一种基于kinect相机的人脸三维点云优化处理方法
CN111354043A (zh) * 2020-02-21 2020-06-30 集美大学 一种基于多传感器融合的三维姿态估计方法及装置
CN111415310A (zh) * 2020-03-26 2020-07-14 Oppo广东移动通信有限公司 一种图像处理方法及装置、存储介质
CN112258565A (zh) * 2019-07-22 2021-01-22 华为技术有限公司 图像处理方法以及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169475A (zh) * 2017-06-19 2017-09-15 电子科技大学 一种基于kinect相机的人脸三维点云优化处理方法
CN112258565A (zh) * 2019-07-22 2021-01-22 华为技术有限公司 图像处理方法以及装置
CN111354043A (zh) * 2020-02-21 2020-06-30 集美大学 一种基于多传感器融合的三维姿态估计方法及装置
CN111415310A (zh) * 2020-03-26 2020-07-14 Oppo广东移动通信有限公司 一种图像处理方法及装置、存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
崇斯杰: "深度图像的法向指导GPU滤波", 《图学学报》, 4 August 2021 (2021-08-04), pages 1 - 10 *

Similar Documents

Publication Publication Date Title
TWI520078B (zh) Optical flow tracking method and device
TW201616451A (zh) 點雲套索選取系統及方法
JP2012048393A (ja) 情報処理装置およびその動作方法
CN116958145B (zh) 图像处理方法、装置、视觉检测系统及电子设备
US20230237777A1 (en) Information processing apparatus, learning apparatus, image recognition apparatus, information processing method, learning method, image recognition method, and non-transitory-computer-readable storage medium
CN111340693B (zh) 一种Bayer图像的插值方法、装置及电子设备
CN110546687B (zh) 图像处理装置及二维图像生成用程序
CN116823639A (zh) 一种图像畸变矫正方法、装置、设备及存储介质
US20220051055A1 (en) Training data generation method and training data generation device
JP2018063693A (ja) 画像処理装置、画像処理方法およびプログラム
CN107256540B (zh) 图像修复方法、装置及三维重建系统
CN109948605B (zh) 一种针对小目标的图片增强方法及装置
CN114004856A (zh) 一种深度图像滤波方法、装置、电子设备
WO2022254854A1 (ja) ３次元計測装置
KR100933304B1 (ko) 단일 카메라를 이용한 객체 정보 추정기, 그 방법, 상기 추정기를 포함하는 멀티미디어 기기 및 컴퓨터 기기, 및 상기 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체
JP6867766B2 (ja) 情報処理装置およびその制御方法、プログラム
CN109410304B (zh) 一种投影确定方法、装置及设备
JP2007156954A (ja) 信頼度テーブル作成方法、オプティカルフロー推定方法、信頼度テーブル作成装置、オプティカルフロー推定装置、及びプログラム
JP2010039968A (ja) オブジェクト検出装置及び検出方法
JP4351090B2 (ja) 画像処理装置および画像処理方法
JP5760827B2 (ja) 物体認識装置、物体認識方法、プログラム
JP7527532B1 (ja) 画像点群データ処理装置、画像点群データ処理方法、及び画像点群データ処理プログラム
WO2023008509A1 (ja) 情報処理プログラム及び情報処理装置
CN111476821B (zh) 基于在线学习的目标跟踪方法
WO2024150430A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination