CN109615596B - 一种深度图像的去噪方法、装置和电子设备 - Google Patents
一种深度图像的去噪方法、装置和电子设备 Download PDFInfo
- Publication number
- CN109615596B CN109615596B CN201811479174.5A CN201811479174A CN109615596B CN 109615596 B CN109615596 B CN 109615596B CN 201811479174 A CN201811479174 A CN 201811479174A CN 109615596 B CN109615596 B CN 109615596B
- Authority
- CN
- China
- Prior art keywords
- image
- depth
- edge
- original
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000001914 filtration Methods 0.000 claims abstract description 47
- 238000003708 edge detection Methods 0.000 claims abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 10
- 238000001559 infrared map Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000006002 Pepper Substances 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种深度图像的去噪方法、装置和电子设备，方法包括：读取TOF相机同时采集的原始深度图像和原始红外图像；对所述原始深度图像和所述原始红外图像进行边缘检测和融合，得到最终的边缘区域图像；对所述原始深度图像进行滤波，得到滤波后的深度图像；利用所述边缘区域图像，对滤波后的深度图像的边缘部分进行去噪，得到去噪后的图像。本发明实施例的技术方案降低了深度图像的抖动，提高了图像处理的实时性和鲁棒性。有效去除了深度图像的边缘飞点，避免了图像运动拖影的问题。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种深度图像的去噪方法、装置和电子设备。
背景技术
与传统的灰度图像或彩色图像相比，深度图像具有物体的三维特征信息，因而越来越多的应用于计算机视觉、计算机图形学等领域。然而TOF相机所获得的深度图像易受到显著的噪声干扰，主要的是下列两种噪声：一种是因为光线的反射和遮挡造成的深度值缺失；另一种是由于光线折射造成的图像边缘轮廓突出从而与彩色图像形状不一致。因此需要对深度图像进行去噪，目前一般使用传统的图像去噪技术对深度图像进行处理，图像去噪技术如中值滤波，双边滤波等。
如前述，深度图像中的噪声主要源于物体间遮挡及物体对红外光的反射率、透射率差异所造成的受光不均，并非常见的椒盐噪声或白噪声，因此，传统的图像去噪技术效果不理想，而且也无法有效解决深度图像边缘部分的飞点(Flying Pixel)问题。
发明内容
本发明提供了一种深度图像的去噪方法、装置和电子设备，具体是飞行时间TOF相机采集的深度图像的去噪，以用于深度数据的平滑滤波，在避免运动拖影的问题的同时，有效降低了深度数据的抖动，而且可以有效去除边缘飞点。
根据本申请的一个方面，提供了深度图像的去噪方法，包括：
读取TOF相机同时采集的原始深度图像和原始红外图像；
对所述原始深度图像和所述原始红外图像进行边缘检测和融合，得到最终的边缘区域图像；
对所述原始深度图像进行滤波，得到滤波后的深度图像；
利用所述边缘区域图像，对滤波后的深度图像的边缘部分进行去噪，得到去噪后的图像。
可选地，对所述原始深度图像和所述原始红外图像进行边缘检测和融合，得到最终的边缘区域图像包括：
对所述原始深度图像和所述原始红外图像进行灰度化，得到深度灰度图像和红外灰度图像；
对所述深度灰度图像和所述红外灰度图像进行基于Canny算子的边缘检测，得到深度边缘图像和红外边缘图像；
将深度边缘图像和红外边缘图像进行融合，得到融合边缘图像；
对融合边缘图像进行膨胀操作，得到最终的边缘区域图像。
可选地，对所述原始深度图像进行滤波，得到滤波后的深度图像包括：
对所述原始深度图像进行中值滤波，得到中值滤波后的图像blur_depth；
对中值滤波后的图像blur_depth进行引导滤波，得到滤波后的深度图像smooth_depth，其中，引导滤波处理中的引导图像为其本身。
可选地，利用所述边缘区域图像，对滤波后的深度图像的边缘部分进行去噪，得到去噪后的图像包括：
遍历滤波后的深度图像smooth_depth，并判断滤波后的深度图像smooth_depth上的像素点是否在边缘区域图像指示的边缘位置上，是则，将该像素点的深度值设为0，以对边缘部分进行去噪。
可选地，判断滤波后的深度图像smooth_depth上的像素点是否在边缘区域图像指示的边缘位置上包括：
判断深度图像smooth_depth上的像素点对应的边缘区域图像上的像素点的像素值是否等于255，如果等于255，则确定深度图像smooth_depth上的像素点在边缘区域图像指示的边缘位置上。
根据本申请的另一个方面，提供了一种深度图像的去噪装置，包括：
图像读取单元，用于读取TOF相机同时采集的原始深度图像和原始红外图像；
边缘单元，用于对所述原始深度图像和所述原始红外图像进行边缘检测和融合，得到最终的边缘区域图像；
滤波单元，用于对所述原始深度图像进行滤波，得到滤波后的深度图像；
去噪单元，用于利用所述边缘区域图像，对滤波后的深度图像的边缘部分进行去噪，得到去噪后的图像。
可选地，所述边缘单元，具体用于对所述原始深度图像和所述原始红外图像进行灰度化，得到深度灰度图像和红外灰度图像；
对所述深度灰度图像和所述红外灰度图像进行基于Canny算子的边缘检测，得到深度边缘图像和红外边缘图像；
将深度边缘图像和红外边缘图像进行融合，得到融合边缘图像；对融合边缘图像进行膨胀操作，得到最终的边缘区域图像。
可选地，所述滤波单元具体用于对所述原始深度图像进行中值滤波，得到中值滤波后的图像blur_depth；对中值滤波后的图像blur_depth进行引导滤波，得到滤波后的深度图像smooth_depth，其中，引导滤波处理中的引导图像为其本身。
可选地，所述去噪单元，具体用于遍历滤波后的深度图像smooth_depth，并判断滤波后的深度图像smooth_depth上的像素点是否在边缘区域图像指示的边缘位置上，是则，将该像素点的深度值设为0，以对边缘部分进行去噪；
其中，判断深度图像smooth_depth上的像素点对应的边缘区域图像上的像素点的像素值是否等于255，如果等于255，则确定深度图像smooth_depth上的像素点在边缘区域图像指示的边缘位置上。
根据本申请的又一个方面，提供了一种电子设备，电子设备包括：存储器和处理器，所述存储器和所述处理器之间通过内部总线通讯连接，所述存储器存储有能够被所述处理器执行的程序指令，所述程序指令被所述处理器执行时能够实现本申请一个方面所述的方法。
应用本发明实施例的深度图像的去噪方案，读取TOF相机同时采集的原始深度图像和原始红外图像，对原始深度图像和原始红外图像进行边缘检测和融合，得到最终的边缘区域图像，对原始深度图像进行滤波，得到滤波后的深度图像，从而降低了深度图像的抖动，提高了图像处理的实时性和鲁棒性。接着，利用边缘区域图像，对滤波后的深度图像的边缘部分进行去噪，得到去噪后的图像，即，将红外图像和深度图像相结合，寻找置信度较高的边缘，有效去除了深度图像的边缘飞点。此外，本申请实施例的去噪处理不使用时间域的信息，从而也避免了图像运动拖影的问题。
附图说明
图1是本发明一个实施例的深度图像的去噪方法流程图；
图2是本发明一个实施例的深度图像的去噪方法流程示意图；
图3是本发明一个实施例的深度图像的去噪装置的框图；
图4是本发明一个实施例的电子设备的结构示意图.
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的设计构思在于：提供一种深度图像去噪方案，通过只使用图像的空间信息(不使用时间信息)，对深度图像平滑滤波，在避免运动拖影的问题的同时有效降低深度图像的抖动。此外，通过将TOF相机采集的红外图像和深度图像相结合，寻找到置信度较高的图像的边缘，有效去除深度图像边缘的飞点，图像处理效果好，解决了现有技术中去噪技术效果不理想，而且也无法有效解决深度图像边缘部分的飞点的技术问题。飞点，是介于图像前景和背景之间的点，其产生是由于TOF相机本身的深度测量原理导致的。
图1是本发明一个实施例的深度图像的去噪方法流程图，参见图1，本实施例的深度图像的方法包括下列步骤：
步骤S101，读取TOF相机同时采集的原始深度图像和原始红外图像；
步骤S102，对所述原始深度图像和所述原始红外图像进行边缘检测和融合，得到最终的边缘区域图像；
步骤S102，对所述原始深度图像进行滤波，得到滤波后的深度图像；
步骤S104，利用所述边缘区域图像，对滤波后的深度图像的边缘部分进行去噪，得到去噪后的图像。
由图1所示可知，本实施例的深度图像的去噪方法，读取原始深度图和红外图，并对原始深度图和红外图进行边缘检测、融合以得到高置信度的边缘，并且对原始深度图像进行滤波，使用图像的空间信息进行去抖动，避免了运动拖影的问题。最后，利用边缘对滤波后的深度图像进行去噪，有效去除了深度图像的边缘的飞点，保证了图像处理效果。
以下借助图2来详细地说明根据本发明的对深度图像进行去噪的一个具体实例。
参见图2，流程开始，先读取一帧数据。
需要说明的是，这里的一帧数据为TOF飞行时间相机拍摄的一帧图像，TOF相机可以同时输出深度图像和红外图像，可以理解为从一帧图像数据中可以解析出一张红外图像和一张深度图像。
接下来，对原始深度图像和原始红外图像进行边缘检测和融合，得到最终的边缘区域图像。
本实施例中是先对原始深度图像和原始红外图像进行灰度化，得到深度灰度图像和红外灰度图像；对所述深度灰度图像和所述红外灰度图像进行基于Canny算子的边缘检测，得到深度边缘图像和红外边缘图像；将深度边缘图像和红外边缘图像进行融合，得到融合边缘图像；对融合边缘图像进行膨胀操作，得到最终的边缘区域图像。
这里的对原始深度图像和原始红外图像进行灰度化与三通道彩色图像的灰度化有所区别。本实施例的灰度化，例如，对于深度图，假设其中的深度数据的最大值为depth_max，那么将深度图中的每一个数据乘以数值(255/depth_max)，得到的图就是一个深度灰度图。同理，对于红外图，假设其中的红外数据的最大值为ir_max，那么将红外图中的每一个数据乘以数值(255/ir_max)，得到的图就是一个红外灰度图。本实施例中灰度化原始深度图像和原始红外图像后得到深度灰度图gray_depth和红外灰度图gray_ir。
接着，参见图2，对这两张灰度图分别进行Canny边缘检测得到深度边缘图depth_edge和红外边缘图ir_edge。
根据红外图像和深度图像同分辨率(能实现一一映射)的特点，如图2所示，将这两图(深度边缘图depth_edge和红外边缘图ir_edg)进行融合，得到高置信度的融合边缘图merge_edge，其中merge_edge＝depth_edg+ir_edge)。图像融合的目的是将两张或两张以上的图像信息的融合到一张图像上，使得融合的图像含有更多的信息、以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率。
需要说明的是，经过边缘融合后得到的融合边缘图像merge_edge仍是单边缘图像，而由于边缘飞点的存在，这里对得到的merge_edge图像进行膨胀操作处理以扩张边缘，得到最终所需的边缘区域图像final_edge，其中边缘区域图像final_edge的背景的像素点的像素值为0，前景的像素点的像素值为255。
需要说明的是，对得到的merge_edge图像进行膨胀操作为现有技术，可以采用现有技术来实现，比如传统的灰度图像膨胀方法都是基于在每个像素点的一个邻域内(通常是一个矩形区域内)找出最大灰度值来实现灰度图像的膨胀。
接着看图2，本实施例中还对原始深度数据进行滤波，得到滤波后的深度图像。比如对所述原始深度图像进行中值滤波，得到中值滤波后的图像blur_depth；对中值滤波后的图像blur_depth进行引导滤波，得到滤波后的深度图像smooth_depth，其中，引导滤波处理中的引导图像为其本身。这里的中值滤波以及引导滤波的目的是为了去除抖动，提高鲁棒性。
根据引导滤波后的图像以及前述得到的边缘区域图像final_edge进行边缘滤除。需要说明的是，边缘滤除的目的是滤除深度图像的边缘的飞点。一个实施例中，边缘滤除是利用边缘区域图像，对滤波后的深度图像的边缘部分进行去噪，得到去噪后的图像。比如，遍历滤波后的深度图像smooth_depth，并判断滤波后的深度图像smooth_depth上的像素点是否在边缘区域图像指示的边缘位置上，是则，将该像素点的深度值设为0，以对边缘部分进行去噪。
这里的判断滤波后的深度图像smooth_depth上的像素点是否在边缘区域图像指示的边缘位置上包括：判断深度图像smooth_depth上的像素点对应的边缘区域图像上的像素点的像素值是否等于255，如果等于255，则确定深度图像smooth_depth上的像素点在边缘区域图像指示的边缘位置上。
也就是说，遍历滤波后的深度图像smooth_depth，如果像素点在边缘位置(即，对应在边缘区域图像final_edge上的值为255)就将该像素点的深度值设为0，以此去除边缘点。由于边缘区域图像final_edge是根据红外图像和深度图像融合以及进行了膨胀处理后得到的图像，其置信度较高，进而高置信度确定深度图像的边缘，并去除边缘的飞点(飞点，是介于图像前景和背景之间的点，其产生是由于TOF相机本身的深度测量原理导致的)，由此，本实施例中方法有效去除了深度图像的边缘飞点，提高了降噪效果。
图3是本发明一个实施例的深度图像的去噪装置的框图，参见图3，本实施例的深度图像的去噪装置300包括：
图像读取单元301，用于读取TOF相机同时采集的原始深度图像和原始红外图像；
边缘单元302，用于对所述原始深度图像和所述原始红外图像进行边缘检测和融合，得到最终的边缘区域图像；
滤波单元303，用于对所述原始深度图像进行滤波，得到滤波后的深度图像；
去噪单元304，用于利用所述边缘区域图像，对滤波后的深度图像的边缘部分进行去噪，得到去噪后的图像。
在本发明的一个实施例中，边缘单元302具体用于对所述原始深度图像和所述原始红外图像进行灰度化，得到深度灰度图像和红外灰度图像；对所述深度灰度图像和所述红外灰度图像进行基于Canny算子的边缘检测，得到深度边缘图像和红外边缘图像；
将深度边缘图像和红外边缘图像进行融合，得到融合边缘图像；对融合边缘图像进行膨胀操作，得到最终的边缘区域图像。
在本发明的一个实施例中，滤波单元303具体用于对所述原始深度图像进行中值滤波，得到中值滤波后的图像blur_depth；对中值滤波后的图像blur_depth进行引导滤波，得到滤波后的深度图像smooth_depth，其中，引导滤波处理中的引导图像为其本身。
在本发明的一个实施例中，去噪单元304，具体用于遍历滤波后的深度图像smooth_depth，并判断滤波后的深度图像smooth_depth上的像素点是否在边缘区域图像指示的边缘位置上，是则，将该像素点的深度值设为0，以对边缘部分进行去噪；
其中，判断深度图像smooth_depth上的像素点对应的边缘区域图像上的像素点的像素值是否等于255，如果等于255，则确定深度图像smooth_depth上的像素点在边缘区域图像指示的边缘位置上。
需要说明的是，关于图3所示深度图像的去噪装置中的各单元所执行的各功能的举例解释说明，与前述方法实施例中的举例解释说明一致，这里不再一一赘述。
图4是本发明一个实施例的电子设备的结构示意图。如图4所示，该电子设备包括存储器401和处理器402，存储器401和处理器402之间通过内部总线403通讯连接，存储器401存储有能够被处理器402执行的程序指令，程序指令被处理器402执行时能够实现上述的深度图像的去噪方法。
此外，上述的存储器401中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明的另一个实施例提供一种计算机可读存储介质，计算机可读存储介质存储计算机指令，计算机指令使所述计算机执行上述的方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图的一个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能的装置。
需要说明的是术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，正如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围以权利要求的保护范围为准。
Claims (10)
1.一种深度图像的去噪方法，其特征在于，包括：
读取TOF相机同时采集的原始深度图像和原始红外图像；
对所述原始深度图像和所述原始红外图像进行边缘检测和融合，得到最终的边缘区域图像；
对所述原始深度图像进行滤波，得到滤波后的深度图像；
利用所述边缘区域图像，对滤波后的深度图像的边缘部分进行去噪，得到去噪后的图像。
2.根据权利要求1所述的方法，其特征在于，对所述原始深度图像和所述原始红外图像进行边缘检测和融合，得到最终的边缘区域图像包括：
对所述原始深度图像和所述原始红外图像进行灰度化，得到深度灰度图像和红外灰度图像；
对所述深度灰度图像和所述红外灰度图像进行基于Canny算子的边缘检测，得到深度边缘图像和红外边缘图像；
将深度边缘图像和红外边缘图像进行融合，得到融合边缘图像；
对融合边缘图像进行膨胀操作，得到最终的边缘区域图像。
3.根据权利要求1或2所述的方法，其特征在于，对所述原始深度图像进行滤波，得到滤波后的深度图像包括：
对所述原始深度图像进行中值滤波，得到中值滤波后的图像blur_depth；
对中值滤波后的图像blur_depth进行引导滤波，得到滤波后的深度图像smooth_depth，其中，引导滤波处理中的引导图像为其本身。
4.根据权利要求3所述的方法，其特征在于，利用所述边缘区域图像，对滤波后的深度图像的边缘部分进行去噪，得到去噪后的图像包括：
遍历滤波后的深度图像smooth_depth，并判断滤波后的深度图像smooth_depth上的像素点是否在边缘区域图像指示的边缘位置上，是则，将该像素点的深度值设为0，以对边缘部分进行去噪。
5.根据权利要求4所述的方法，其特征在于，判断滤波后的深度图像smooth_depth上的像素点是否在边缘区域图像指示的边缘位置上包括：
判断深度图像smooth_depth上的像素点对应的边缘区域图像上的像素点的像素值是否等于255，如果等于255，则确定深度图像smooth_depth上的像素点在边缘区域图像指示的边缘位置上。
6.一种深度图像的去噪装置，其特征在于，包括：
图像读取单元，用于读取TOF相机同时采集的原始深度图像和原始红外图像；
边缘单元，用于对所述原始深度图像和所述原始红外图像进行边缘检测和融合，得到最终的边缘区域图像；
滤波单元，用于对所述原始深度图像进行滤波，得到滤波后的深度图像；
去噪单元，用于利用所述边缘区域图像，对滤波后的深度图像的边缘部分进行去噪，得到去噪后的图像。
7.根据权利要求6所述的装置，其特征在于，
所述边缘单元，具体用于对所述原始深度图像和所述原始红外图像进行灰度化，得到深度灰度图像和红外灰度图像；对所述深度灰度图像和所述红外灰度图像进行基于Canny算子的边缘检测，得到深度边缘图像和红外边缘图像；将深度边缘图像和红外边缘图像进行融合，得到融合边缘图像；对融合边缘图像进行膨胀操作，得到最终的边缘区域图像。
8.根据权利要求6或7所述的装置，其特征在于，
所述滤波单元具体用于对所述原始深度图像进行中值滤波，得到中值滤波后的图像blur_depth；对中值滤波后的图像blur_depth进行引导滤波，得到滤波后的深度图像smooth_depth，其中，引导滤波处理中的引导图像为其本身。
9.根据权利要求8所述的装置，其特征在于，
所述去噪单元，具体用于遍历滤波后的深度图像smooth_depth，并判断滤波后的深度图像smooth_depth上的像素点是否在边缘区域图像指示的边缘位置上，是则，将该像素点的深度值设为0，以对边缘部分进行去噪；其中，判断深度图像smooth_depth上的像素点对应的边缘区域图像上的像素点的像素值是否等于255，如果等于255，则确定深度图像smooth_depth上的像素点在边缘区域图像指示的边缘位置上。
10.一种电子设备，其特征在于，所述电子设备包括：存储器和处理器，所述存储器和所述处理器之间通过内部总线通讯连接，所述存储器存储有能够被所述处理器执行的程序指令，所述程序指令被所述处理器执行时能够实现权利要求1-5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811479174.5A CN109615596B (zh) | 2018-12-05 | 2018-12-05 | 一种深度图像的去噪方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811479174.5A CN109615596B (zh) | 2018-12-05 | 2018-12-05 | 一种深度图像的去噪方法、装置和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109615596A CN109615596A (zh) | 2019-04-12 |
| CN109615596B true CN109615596B (zh) | 2020-10-30 |
Family
ID=66007048
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811479174.5A Active CN109615596B (zh) | 2018-12-05 | 2018-12-05 | 一种深度图像的去噪方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109615596B (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110097513B (zh) * | 2019-04-16 | 2021-06-25 | 北京工业大学 | 一种基于脉冲型ToF深度图像去噪的方法 |
| CN110199706A (zh) * | 2019-06-05 | 2019-09-06 | 安徽工程大学 | 一种人工智能绿化修剪机 |
| CN110378946B (zh) | 2019-07-11 | 2021-10-01 | Oppo广东移动通信有限公司 | 深度图处理方法、装置以及电子设备 |
| CN110400339B (zh) * | 2019-07-11 | 2021-04-16 | Oppo广东移动通信有限公司 | 深度图处理方法和装置 |
| CN110400272B (zh) * | 2019-07-11 | 2021-06-18 | Oppo广东移动通信有限公司 | 深度数据的滤波方法、装置、电子设备和可读存储介质 |
| CN110400338B (zh) * | 2019-07-11 | 2022-02-18 | Oppo广东移动通信有限公司 | 深度图处理方法、装置和电子设备 |
| CN112241015B (zh) * | 2019-07-19 | 2023-03-24 | 北醒（北京）光子科技有限公司 | 一种单点激光雷达去除拖点的方法 |
| CN110866946A (zh) * | 2019-11-25 | 2020-03-06 | 歌尔股份有限公司 | 深度模组的图像处理方法、装置、存储介质及深度相机 |
| CN113096024B (zh) * | 2020-01-09 | 2023-05-09 | 舜宇光学（浙江）研究院有限公司 | 用于深度数据的去飞点方法及其系统和电子设备 |
| CN111538024B (zh) * | 2020-03-24 | 2022-09-16 | 奥比中光科技集团股份有限公司 | 一种滤波ToF深度测量方法及装置 |
| CN113012077B (zh) * | 2020-10-20 | 2023-04-07 | 杭州微帧信息科技有限公司 | 一种基于卷积导向图滤波的去噪方法 |
| CN112819739B (zh) * | 2021-01-28 | 2024-03-01 | 浙江祺跃科技有限公司 | 一种扫描电子显微镜图像处理方法和系统 |
| CN112918956A (zh) * | 2021-02-20 | 2021-06-08 | 陆伟凤 | 一种基于图像识别技术的垃圾分类系统 |
| CN113313658B (zh) * | 2021-07-29 | 2021-11-30 | 南昌虚拟现实研究院股份有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113658134A (zh) * | 2021-08-13 | 2021-11-16 | 安徽大学 | 一种多模态对齐校准的rgb-d图像显著目标检测方法 |
| CN115393224A (zh) * | 2022-09-02 | 2022-11-25 | 点昀技术(南通)有限公司 | 一种深度图像的滤波方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018106505A1 (en) * | 2016-12-07 | 2018-06-14 | Sony Corporation | Color noise reduction in 3d depth map |
| US10147216B1 (en) * | 2017-11-01 | 2018-12-04 | Essential Products, Inc. | Intelligent camera |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103455984B (zh) * | 2013-09-02 | 2016-08-31 | 清华大学深圳研究生院 | 一种Kinect深度图像获取方法与装置 |
| CN106327464A (zh) * | 2015-06-18 | 2017-01-11 | 南京理工大学 | 一种边缘检测方法 |
| CN107016360A (zh) * | 2017-03-27 | 2017-08-04 | 国网江苏省电力公司电力科学研究院 | 电力变电站基于动态特征及区域融合的目标检测方法 |
| CN108399610A (zh) * | 2018-03-20 | 2018-08-14 | 上海应用技术大学 | 一种融合rgb图像信息的深度图像增强方法 |
-
2018
- 2018-12-05 CN CN201811479174.5A patent/CN109615596B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018106505A1 (en) * | 2016-12-07 | 2018-06-14 | Sony Corporation | Color noise reduction in 3d depth map |
| US10147216B1 (en) * | 2017-11-01 | 2018-12-04 | Essential Products, Inc. | Intelligent camera |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109615596A (zh) | 2019-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109615596B (zh) | 一种深度图像的去噪方法、装置和电子设备 | |
| US9412040B2 (en) | Method for extracting planes from 3D point cloud sensor data | |
| US10007972B2 (en) | Image processing apparatus and method for performing preprocessing to obtain image with improved sharpness | |
| Liu et al. | Guided inpainting and filtering for kinect depth maps | |
| JP4934701B2 (ja) | ステレオ画像処理装置およびステレオ画像処理方法 | |
| JP5982719B2 (ja) | 画像霧除去装置、画像霧除去方法及び画像処理システム | |
| US11379988B2 (en) | Method and apparatus for extracting edge of object in depth image and computer readable storage medium | |
| EP2806396A1 (en) | Sparse light field representation | |
| CN109564687B (zh) | 学习方法和记录介质 | |
| CN103455984A (zh) | 一种Kinect深度图像获取方法与装置 | |
| CN111080662A (zh) | 车道线的提取方法、装置及计算机设备 | |
| CN111179189A (zh) | 基于生成对抗网络gan的图像处理方法、装置以及电子设备、存储介质 | |
| CN113762253B (zh) | 散斑的提取方法、装置、电子设备及存储介质 | |
| CN114693760A (zh) | 图像校正方法、装置及系统、电子设备 | |
| JP6844223B2 (ja) | 情報処理装置、撮像装置、機器制御システム、情報処理方法およびプログラム | |
| KR102327304B1 (ko) | 깊이영상 카메라로부터 획득된 3d 영상의 품질 향상 방법 | |
| RU2580466C1 (ru) | Устройство восстановления карты глубины сцены | |
| CN109211919B (zh) | 磁瓦崩缺区域的识别方法及装置 | |
| CN116310889A (zh) | 无人机环境感知数据的处理方法、控制终端以及存储介质 | |
| CN115546764A (zh) | 一种障碍物检测方法、装置、设备及存储介质 | |
| CN116030430A (zh) | 铁轨识别方法、装置、设备及存储介质 | |
| Cao et al. | Depth image vibration filtering and shadow detection based on fusion and fractional differential | |
| WO2021114030A1 (zh) | 点云孔洞填充方法、装置和存储介质 | |
| Viacheslav et al. | Kinect depth map restoration using modified exemplar-based inpainting | |
| CN110880173A (zh) | 空调底板的外轮廓提取方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |