CN111369611B - 图像像素深度值优化方法及其装置、设备和存储介质 - Google Patents

图像像素深度值优化方法及其装置、设备和存储介质 Download PDF

Info

Publication number
CN111369611B
CN111369611B CN201811594485.6A CN201811594485A CN111369611B CN 111369611 B CN111369611 B CN 111369611B CN 201811594485 A CN201811594485 A CN 201811594485A CN 111369611 B CN111369611 B CN 111369611B
Authority
CN
China
Prior art keywords
pixel
depth
depth value
value
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811594485.6A
Other languages
English (en)
Other versions
CN111369611A (zh
Inventor
吴旻烨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yaoke Intelligent Technology Shanghai Co ltd
Original Assignee
Yaoke Intelligent Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yaoke Intelligent Technology Shanghai Co ltd filed Critical Yaoke Intelligent Technology Shanghai Co ltd
Priority to CN201811594485.6A priority Critical patent/CN111369611B/zh
Publication of CN111369611A publication Critical patent/CN111369611A/zh
Application granted granted Critical
Publication of CN111369611B publication Critical patent/CN111369611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供的一种图像像素深度值优化方法及其装置、设备和存储介质，通过获取当前帧的深度图像、及其对应的色彩图像，并根据对应的边缘信息，对以任意一目标像素为中心的滤波区域内的每个像素赋权重值，将所述滤波区域内每个像素的权重值和当前深度值进行加权平均运算，得到新的深度值，然后判断滤波区域内有效深度值的像素个数是否小于预设第一阈值，若是则针对有效深度值的像素进行去最值平均运算，最后依据所述目标像素对应的新的深度值，重复一次或多次上述步骤以对所述深度值进行优化。本发明能够针对图像中深度值缺失的像素进行弥补，并且有效减少噪声，同时能够适用多种型号或类型的深度相机。

Description

图像像素深度值优化方法及其装置、设备和存储介质
技术领域
本发明涉及深度图像处理技术领域。尤其是涉及一种图像像素深度值优化方法及其装置、设备和存储介质。
背景技术
随着机器视觉、安防、监控、物流分拣、自动驾驶、机器人的快速发展，采用深度相机采集环境的深度信息然后进行物体识别、环境建模等越来普遍。相对于传统2D相机，3D相机增加了一维的深度信息，能够更好的对真实世界进行描述。在许多领域如安防、监控、机器视觉、机器人等，拓展了更多的可能，如自动驾驶中的物体识别和障碍物检测，工业中散乱码放物体的识别、分拣、拆垛、码垛，物流场景中物体的货架抓取等。
从原理上来讲，深度相机测量深度主要分为两大类：基于特征匹配的深度测量原理、及基于反射时间的深度测量原理，而上述两类原理的深度相机所产生的深度图或多或多或少都存在一些瑕疵。比如深度值的缺失和噪声等。这些瑕疵不仅在视觉上照成影响，也会对使用到深度图的算法程序照成性能上的影响，为了优化基于深度相机数据的算法性能，对深度相机采集到的数据进行优化处理就显得格外重要。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种，用于解决现有技术中对深度值的缺失和噪声优化不足的问题。
为实现上述目的及其他相关目的，本发明提供一种图像像素深度值优化方法，所述方法包括：S1、获取当前帧的深度图像、及其对应的色彩图像；S2、根据所述深度图像、及色彩图像中的边缘信息，对以任意一目标像素为中心的滤波区域内的每个像素赋权重值，并将所述滤波区域内每个像素的权重值和当前深度值进行加权平均运算，以得到所述目标像素对应的新的深度值；S3、判断以任意一目标像素为中心的滤波区域内有效深度值的像素个数是否小于预设第一阈值；若是，则针对有效深度值的像素进行去最值平均运算，以得到所述目标像素对应的新的深度值；S4、依据所述目标像素对应的新的深度值，重复一次或多次步骤S2和/或步骤S3，以对所述深度值进行优化。
于本发明的一实施例中，所述权重值和/或所述第一阈值通过修改以适用不同型号或类型的深度图像获取设备。
于本发明的一实施例中，所述权重值的确定是依据所述滤波区域内的色彩像素域内的数值、空间像素域内的数值、及深度像素域内的数值。
于本发明的一实施例中，所述针对以任意一目标像素为中心的滤波区域内的每个像素赋权重值的方法包括：
Figure BDA0001921037900000021
其中，p表示目标像素，目标像素p的坐标为滤波区域S的中心，q表示滤波区域内的任意一像素；wq表示任意一像素的权重值；/>
Figure BDA0001921037900000022
及/>
Figure BDA0001921037900000023
对应所述色彩像素域表示像素的色彩数值；q、及p对应所述空间像素域表示像素的坐标值；Ip、及Iq对应所述深度像素域表示像素的深度数值；/>
Figure BDA0001921037900000024
表示一维的高斯分布。
于本发明的一实施例中，所述第一阈值为所述滤波区域任意一边长长度的一定倍数；或，所述第一阈值为所述滤波区域内全部像素个数的一定比例。
于本发明的一实施例中，所述步骤S2在得到所述目标像素对应的新的深度值后的方法还包括：判断所述滤波区域内有效深度值的像素个数是否小于预设第二阈值；若是，则判定所述滤波区域对应的所述目标像素的新的深度值无效。
于本发明的一实施例中，所述第二阈值为所述滤波区域任意一边长长度的一定倍数；或，所述第二阈值为所述滤波区域内全部像素个数的一定比例。
为实现上述目的及其他相关目的，本发明提供一种图像像素深度值优化装置，所述装置包括：获取模块，用于获取当前帧的深度图像、及其对应的色彩图像；双边滤波模块，用于根据所述深度图像、及色彩图像中的边缘信息，对以任意一目标像素为中心的滤波区域内的每个像素赋权重值，并将所述滤波区域内每个像素的权重值和当前深度值进行加权平均运算，以得到所述目标像素对应的新的深度值；以及依据所述目标像素对应的新的深度值，重复一次或多次该步骤，以对所述深度值进行优化；均值滤波模块，用于判断以任意一目标像素为中心的滤波区域内有效深度值的像素个数是否小于预设阈值；若是，则针对有效深度值的像素进行去最值平均运算，以得到所述目标像素对应的新的深度值；以及依据所述目标像素对应的新的深度值，重复一次或多次该步骤，以对所述深度值进行优化。
为实现上述目的及其他相关目的，本发明提供一种图像像素深度值优化设备，所述设备包括：存储器、及处理器；所述存储器用于存储程序；所述处理器运行程序实现如上所述的图像像素深度值优化方法。
为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的图像像素深度值优化方法。
综上所述，本发明提供的一种图像像素深度值优化方法及其装置、设备和存储介质。具有以下有益效果：
能够针对图像中深度值缺失的像素进行弥补，并且有效减少噪声，同时能够适用多种型号或类型的深度相机。
附图说明
图1显示为本发明于一实施例中的图像像素深度值优化方法的流程示意图。
图2显示为本发明于一实施例中的图像像素深度值优化装置的模块示意图。
图3显示为本发明于一实施例中的图像像素深度值优化设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
深度相机，顾名思义，指的是可以测量物体到相机距离(深度)的相机，如微软的Kinect，Kinect2，Intel的RealSense甚至包括激光雷达也可以归为深度相机。
从原理上来讲，深度相机测量深度主要分为两大类：
1)基于特征匹配的深度测量原理，如基于红外散斑结构光原理的Kinect1，基于红外条纹结构光的Intel RealSense，基于可见条纹结构光的Enshape，甚至单纯采用双目视觉的BumbleBee等等；上述几类相机无论采用哪种结构光或者不采用结构光，其最终计算深度时本质上采用的均可以看作是特征匹配的方法。
2)基于反射时间的深度测量原理，如Kinect2.0，MESA的SR4000，SR4500，GoogleProject Tango采用的PMD Tech的相机，Intel的SoftKinect DepthSense甚至包括无人驾驶领域L3和L4的分水量激光雷达等等；上述几类相机在计算深度信息时无一例外地均采用发射光与反射光之间的时间差计算深度。
如图1所示，展示本发明于一实施例中的图像像素深度值优化方法的流程示意图。如图所示，所述方法包括：
步骤S1：获取当前帧的深度图像、及其对应的色彩图像。
于本发明的一实施例中，可通过如上举例的深度相机获取对应一场景的深度图像、及其对应的色彩图像，从中提取出当前帧的深度图像、及其对应的色彩图像。
其中，所述深度图像中包含对应当前帧场景中的深度信息，所述色彩图像则包含对应当前帧场景中的色彩信息。
步骤S2：根据所述深度图像、及色彩图像中的边缘信息，对以任意一目标像素为中心的滤波区域内的每个像素赋权重值，并将所述滤波区域内每个像素的权重值和当前深度值进行加权平均运算，以得到所述目标像素对应的新的深度值。
其中，所述边缘信息是指对应当前帧场景中边缘处的信息，通常图像中边缘处的像素深度值容易破损或损失，而本发明所述的图像像素深度值优化方法也侧重与优化深度图中物体边缘的深度值破损和缺失。
于本发明的一实施例中，所述权重值的确定是依据所述滤波区域内的色彩像素域内的数值、空间像素域内的数值、及深度像素域内的数值。
这里所述色彩像素域、空间像素域、及深度像素域是分别对应像素中色彩、空间、深度数据的一种说法。
于本发明的一实施例中，所述针对以任意一目标像素为中心的滤波区域内的每个像素赋权重值的方法包括：
Figure BDA0001921037900000041
其中，p表示目标像素，目标像素p的坐标为滤波区域S的中心，q表示滤波区域内的任意一像素；wq表示任意一像素的权重值；
Figure BDA0001921037900000042
及/>
Figure BDA0001921037900000043
对应所述色彩像素域表示像素的色彩数值；q、及p对应所述空间像素域表示像素的坐标值；Ip、及Iq对应所述深度像素域表示像素的深度数值；/>
Figure BDA0001921037900000044
表示一维的高斯分布。
需要注意的是，Ip、及Iq对应的深度像素域部分没有使用绝对值进行处理，这是为了尽可能用近处的物体来填充破缺的深度。
于本实施例中，当在图像的平坦区域时，深度(彩色)像素值变化很小，对应的深度像素域的权重接近于1，此时空间像素域权重起主要作用，相当于进行高斯模糊；而当在图像的边缘区域时，像素值变化很大，深度像素域的权重变大，从而保持了边缘的信息。
另外，如果不提供彩色图像，该算法还可以在去除第一部分权重的情况下继续运行得到结果，或者将彩色值取0带入计算。
于本发明的一实施例中，在得到所述滤波区域中任意一像素的权重值后，将所述滤波区域内每个像素的权重值和当前深度值进行加权平均运算，以得到所述目标像素对应的新的深度值。具体公式如下：
新的深度值为：
Figure BDA0001921037900000051
其中，其中wq表示任意一像素q在当前所述滤波区域内的权重；T＝∑q∈Swq。
举例来说，应用于具体仿真或处理系统中时，可以进行如下操作：
输入项：1)原始深度图I，对应的彩色图像Ic；2)采样区域矩形框的长w和高h；3)阈值t；4)高斯分布的方差：σs，σt，σu。
对于每个目标图像中的像素深度值I′ij：
Figure BDA0001921037900000052
于本发明的一实施例中，所述步骤S2在得到所述目标像素对应的新的深度值后的方法还包括：判断所述滤波区域内有效深度值的像素个数是否小于预设第二阈值；若是，则判定所述滤波区域对应的所述目标像素的新的深度值无效。
于本实施例中，前文可知图像中边缘处的像素深度值容易破损或损失，所以所述有效深度值的像素是指深度值没有出现破损或损失的像素。
所述判断所述滤波区域内有效深度值的像素个数是否小于预设第二阈值，那么与之相对地，还可以通过判断或统计深度值破损和缺失的像素点的个数进行对应的判断，例如深度值为0的像素点。
于本发明的一实施例中，所述第二阈值为所述滤波区域任意一边长长度的一定倍数；或，所述第二阈值为所述滤波区域内全部像素个数的一定比例。
举例来说，所述滤波区域任意一边长包含了10个像素点，那么可以算该边长长度为10像素点，故所述第二阈值可设置为10的倍数的，如5(0.5倍)、10(1倍)、20(2倍)等等。或者，所述第二阈值还可以使所述滤波区域内全部像素个数的一定比例，如5％、10％等。
步骤S3：判断以任意一目标像素为中心的滤波区域内有效深度值的像素个数是否小于预设阈值；若是，则针对有效深度值的像素进行去最值平均运算，以得到所述目标像素对应的新的深度值。
于本实施例中，双边滤波可以弥补深度图缺失的部分，完善深度图的数据，但是会引入一些不期望的深度噪声，所以就需要使用均匀滤波来抑制噪声。
于本发明的一实施例中，所述第一阈值为所述滤波区域任意一边长长度的一定倍数；或，所述第一阈值为所述滤波区域内全部像素个数的一定比例。
于本实施例中，所述第一阈值与所述第二阈值相互独立，各自设置不同数值，互无影响，并且各自对应的所述滤波区域也相互独立，可以相同，也可以不同。
举例来说，原始深度值为D，步骤S2处理得到新的深度值D1，假设这里通过判断所述滤波区域内有效深度值的像素个数，判断为无效，那么步骤S3所依据的深度值则为D；而如果D1判断为有效，那么步骤S3所依据的深度值则为D1，并经过处理得到D2。
再举例来说，应用于具体仿真或处理系统中时，可以进行如下操作：
输入项：1)原始深度图I，对应的彩色图像Ic；2)采样区域矩形框的长w和高h；3)阈值t。
对于每个目标图像中的像素深度值I′ij：
Figure BDA0001921037900000061
Figure BDA0001921037900000071
/>
于本发明的一实施例中，所述权重值和/或所述第一阈值通过修改以适用不同型号或类型的深度图像获取设备。
通过修改权重值和/或第一阈值，可以起到不同的效果，从而使用不同型号或类型的深度图像获取设备(如各类型的深度相机)。
步骤S4：依据所述目标像素对应的新的深度值，重复一次或多次步骤S2和/或步骤S3，以对所述深度值进行优化。
于本实施例中，重复一次或多次步骤S2和/或步骤S3，包括各自重复，以及作为整体的重复。
如，原始深度值为D，经步骤S2处理的到D1，再经步骤S2重复处理可以得到D2～Dn，相应的，步骤S3重复也是一样。
当步骤S2与步骤S3作为整体进行重复时则有：如原始深度值为D，经步骤S2处理的到D1，再经步骤S3处理得到D2，再进行一次或多次重复时，步骤S2依据D2进行处理并得到D3，步骤S3依据D3进行处理并得到D4，依次类推。
于本实施例中，针对步骤S2和/或步骤S3重复几次以及如何重复，则依据每次得到的深度值的情况而定。
如图2所示，展示本发明于一实施例中的图像像素深度值优化装置的模块示意图。如图所示，所述图像像素深度值优化装置200包括：
获取模块201，用于获取当前帧的深度图像、及其对应的色彩图像。
双边滤波模块202，用于根据所述深度图像、及色彩图像中的边缘信息，对以任意一目标像素为中心的滤波区域内的每个像素赋权重值，并将所述滤波区域内每个像素的权重值和当前深度值进行加权平均运算，以得到所述目标像素对应的新的深度值；以及依据所述目标像素对应的新的深度值，重复一次或多次该步骤，以对所述深度值进行优化。
均值滤波模块203，用于判断以任意一目标像素为中心的滤波区域内有效深度值的像素个数是否小于预设阈值；若是，则针对有效深度值的像素进行去最值平均运算，以得到所述目标像素对应的新的深度值；以及依据所述目标像素对应的新的深度值，重复一次或多次该步骤，以对所述深度值进行优化。
于本发明的一实施例中，通过各模块配合使用能够实现如图1所述的图像像素深度值优化方法的各步骤。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，双边滤波模块202可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上双边滤波模块202的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital signal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
如图3所示，展示本发明于一实施例中的图像像素深度值优化设备的结构示意图。如图所示，所述图像像素深度值优化设备300包括：存储器301、及处理器302；所述存储器301用于存储程序；所述处理器302运行程序实现如图1所述的图像像素深度值优化方法。
所述存储器301可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
所述处理器302可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图1所述的图像像素深度值优化方法。
所述计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本发明提供的一种图像像素深度值优化方法及其装置、设备和存储介质，通过获取当前帧的深度图像、及其对应的色彩图像，根据所述深度图像、及色彩图像中的边缘信息，对以任意一目标像素为中心的滤波区域内的每个像素赋权重值，并将所述滤波区域内每个像素的权重值和当前深度值进行加权平均运算，以得到所述目标像素对应的新的深度值，然后判断以任意一目标像素为中心的滤波区域内有效深度值的像素个数是否小于预设第一阈值；若是，则针对有效深度值的像素进行去最值平均运算，以得到所述目标像素对应的新的深度值，最后依据所述目标像素对应的新的深度值，重复一次或多次上述步骤以对所述深度值进行优化。
本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (8)

1.一种图像像素深度值优化方法，其特征在于，所述方法包括：
S1、获取当前帧的深度图像、及其对应的色彩图像；
S2、根据所述深度图像、及色彩图像中的边缘信息，对以任意一目标像素为中心的滤波区域内的每个像素赋权重值，并将所述滤波区域内每个像素的权重值和当前深度值进行加权平均运算，以得到所述目标像素对应的新的深度值；
S3、判断以任意一目标像素为中心的滤波区域内有效深度值的像素个数是否小于预设第一阈值；若是，则针对有效深度值的像素进行去最值平均运算，以得到所述目标像素对应的新的深度值；
S4、依据所述目标像素对应的新的深度值，重复一次或多次步骤S2和/或步骤S3，以对所述深度值进行优化；
其中，所述权重值的确定是依据所述滤波区域内的色彩像素域内的数值、空间像素域内的数值、及深度像素域内的数值；所述针对以任意一目标像素为中心的滤波区域内的每个像素赋权重值的方法包括：
Figure FDA0004133496100000011
其中，p表示目标像素，目标像素p的坐标为滤波区域S的中心，q表示滤波区域内的任意一像素；wq表示任意一像素的权重值；
Figure FDA0004133496100000012
及/>
Figure FDA0004133496100000013
对应所述色彩像素域表示像素的色彩数值；q、及p对应所述空间像素域表示像素的坐标值；Ip、及Iq对应所述深度像素域表示像素的深度数值；/>
Figure FDA0004133496100000014
表示一维的高斯分布。
2.根据权利要求1所述的图像像素深度值优化方法，其特征在于，所述权重值和/或所述第一阈值通过修改以适用不同型号或类型的深度图像获取设备。
3.根据权利要求1所述的图像像素深度值优化方法，其特征在于，所述第一阈值为所述滤波区域任意一边长长度的一定倍数；或，所述第一阈值为所述滤波区域内全部像素个数的一定比例。
4.根据权利要求1所述的图像像素深度值优化方法，其特征在于，所述步骤S2在得到所述目标像素对应的新的深度值后的方法还包括：
判断所述滤波区域内有效深度值的像素个数是否小于预设第二阈值；若是，则判定所述滤波区域对应的所述目标像素的新的深度值无效。
5.根据权利要求4所述的图像像素深度值优化方法，其特征在于，所述第二阈值为所述滤波区域任意一边长长度的一定倍数；或，所述第二阈值为所述滤波区域内全部像素个数的一定比例。
6.一种图像像素深度值优化装置，其特征在于，所述装置包括：
获取模块，用于获取当前帧的深度图像、及其对应的色彩图像；
双边滤波模块，用于根据所述深度图像、及色彩图像中的边缘信息，对以任意一目标像素为中心的滤波区域内的每个像素赋权重值，并将所述滤波区域内每个像素的权重值和当前深度值进行加权平均运算，以得到所述目标像素对应的新的深度值；以及依据所述目标像素对应的新的深度值，重复一次或多次该步骤，以对所述深度值进行优化；
均值滤波模块，用于判断以任意一目标像素为中心的滤波区域内有效深度值的像素个数是否小于预设阈值；若是，则针对有效深度值的像素进行去最值平均运算，以得到所述目标像素对应的新的深度值；以及依据所述目标像素对应的新的深度值，重复一次或多次该步骤，以对所述深度值进行优化；
其中，所述权重值的确定是依据所述滤波区域内的色彩像素域内的数值、空间像素域内的数值、及深度像素域内的数值；所述针对以任意一目标像素为中心的滤波区域内的每个像素赋权重值的方法包括：
Figure FDA0004133496100000021
其中，p表示目标像素，目标像素p的坐标为滤波区域S的中心，q表示滤波区域内的任意一像素；wq表示任意一像素的权重值；
Figure FDA0004133496100000022
及/>
Figure FDA0004133496100000023
对应所述色彩像素域表示像素的色彩数值；q、及p对应所述空间像素域表示像素的坐标值；Ip、及Iq对应所述深度像素域表示像素的深度数值；/>
Figure FDA0004133496100000024
表示一维的高斯分布。
7.一种图像像素深度值优化设备，其特征在于，所述设备包括：存储器、及处理器；
所述存储器用于存储程序；所述处理器运行程序实现权利要求1至5中任意一项所述的图像像素深度值优化方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至5中任意一项所述的图像像素深度值优化方法。
CN201811594485.6A 2018-12-25 2018-12-25 图像像素深度值优化方法及其装置、设备和存储介质 Active CN111369611B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811594485.6A CN111369611B (zh) 2018-12-25 2018-12-25 图像像素深度值优化方法及其装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811594485.6A CN111369611B (zh) 2018-12-25 2018-12-25 图像像素深度值优化方法及其装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN111369611A CN111369611A (zh) 2020-07-03
CN111369611B true CN111369611B (zh) 2023-06-02

Family

ID=71206041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811594485.6A Active CN111369611B (zh) 2018-12-25 2018-12-25 图像像素深度值优化方法及其装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN111369611B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436242B (zh) * 2021-07-22 2024-03-29 西安电子科技大学 基于移动深度相机的获取静态物体高精度深度值方法
CN115457099B (zh) * 2022-09-09 2023-05-09 梅卡曼德（北京）机器人科技有限公司 深度补全方法、装置、设备、介质及产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413276A (zh) * 2013-08-07 2013-11-27 清华大学深圳研究生院 一种基于纹理分布特征的深度增强方法
WO2014063373A1 (zh) * 2012-10-23 2014-05-01 青岛海信信芯科技有限公司 深度图提取、判断视频场景切换及深度图边缘优化方法
CN106651938A (zh) * 2017-01-17 2017-05-10 湖南优象科技有限公司 一种融合高分辨率彩色图像的深度图增强方法
CN108399610A (zh) * 2018-03-20 2018-08-14 上海应用技术大学 一种融合rgb图像信息的深度图像增强方法
CN108648221A (zh) * 2018-05-10 2018-10-12 重庆大学 一种基于混合滤波的深度图空洞修复方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9349169B2 (en) * 2012-05-17 2016-05-24 The Regents Of The University Of California Sampling-based multi-lateral filter method for depth map enhancement and codec
US9514522B2 (en) * 2012-08-24 2016-12-06 Microsoft Technology Licensing, Llc Depth data processing and compression
TWI595771B (zh) * 2016-10-20 2017-08-11 聚晶半導體股份有限公司 影像深度資訊的優化方法與影像處理裝置
KR102320198B1 (ko) * 2017-04-05 2021-11-02 삼성전자주식회사 깊이 영상 보정 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014063373A1 (zh) * 2012-10-23 2014-05-01 青岛海信信芯科技有限公司 深度图提取、判断视频场景切换及深度图边缘优化方法
CN103413276A (zh) * 2013-08-07 2013-11-27 清华大学深圳研究生院 一种基于纹理分布特征的深度增强方法
CN106651938A (zh) * 2017-01-17 2017-05-10 湖南优象科技有限公司 一种融合高分辨率彩色图像的深度图增强方法
CN108399610A (zh) * 2018-03-20 2018-08-14 上海应用技术大学 一种融合rgb图像信息的深度图像增强方法
CN108648221A (zh) * 2018-05-10 2018-10-12 重庆大学 一种基于混合滤波的深度图空洞修复方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘继忠 ; 吴文虎 ; 程承 ; 王光辉 ; 曾成 ; .基于像素滤波和中值滤波的深度图像修复方法.光电子・激光.2018,(05),全文. *

Also Published As

Publication number Publication date
CN111369611A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
US10510148B2 (en) Systems and methods for block based edgel detection with false edge elimination
CN109685141B (zh) 一种基于深度神经网络的机器人物品分拣视觉检测方法
CN111210429B (zh) 点云数据划分方法及装置、障碍物检测方法及装置
EP3168812B1 (en) System and method for scoring clutter for use in 3d point cloud matching in a vision system
US9384556B2 (en) Image processor configured for efficient estimation and elimination of foreground information in images
CN111582054B (zh) 点云数据处理方法及装置、障碍物检测方法及装置
CN113643378A (zh) 多相机环境中主动式刚体的位姿定位方法及相关设备
CN110879994A (zh) 基于形状注意力机制的三维目测检测方法、系统、装置
KR100911814B1 (ko) 스테레오 영상 매칭오류 제거장치 및 이를 이용한 제거방법
US20160283792A1 (en) Information processing apparatus, information processing method, and storage medium
JPWO2020176304A5 (zh)
CN109272546B (zh) 一种鱼苗长度测量方法及系统
CN111950543A (zh) 一种目标检测方法和装置
CN111553946B (zh) 用于去除地面点云的方法及装置、障碍物检测方法及装置
JP6431404B2 (ja) 姿勢推定モデル生成装置及び姿勢推定装置
CN111768450A (zh) 基于散斑图的结构光相机行偏差的自动检测方法和装置
CN111369611B (zh) 图像像素深度值优化方法及其装置、设备和存储介质
TW201436552A (zh) 用於使用至少一較高訊框率之影像流而增加影像流之訊框率之方法及裝置
US11189053B2 (en) Information processing apparatus, method of controlling information processing apparatus, and non-transitory computer-readable storage medium
CN111275625B (zh) 一种图像去模糊方法、装置及电子设备
KR100691855B1 (ko) 영상정보의 특징 추출장치 및 그 방법
KR101129220B1 (ko) 레인지 영상의 노이즈 제거장치 및 방법
CN117292076A (zh) 工程机械局部作业场景动态三维重构方法及系统
CN110770722B (zh) 二维数据匹配方法、装置和逻辑电路
CN115049827A (zh) 目标物体检测分割方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant