CN104835164A - 一种双目摄像头深度图像的处理方法及装置 - Google Patents

一种双目摄像头深度图像的处理方法及装置 Download PDF

Info

Publication number
CN104835164A
CN104835164A CN201510236717.0A CN201510236717A CN104835164A CN 104835164 A CN104835164 A CN 104835164A CN 201510236717 A CN201510236717 A CN 201510236717A CN 104835164 A CN104835164 A CN 104835164A
Authority
CN
China
Prior art keywords
pixel
depth
image
cutting unit
depth value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510236717.0A
Other languages
English (en)
Other versions
CN104835164B (zh
Inventor
赵骥伯
赵星星
靳小利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201510236717.0A priority Critical patent/CN104835164B/zh
Publication of CN104835164A publication Critical patent/CN104835164A/zh
Priority to US15/026,870 priority patent/US9811921B2/en
Priority to EP15839095.5A priority patent/EP3296953B1/en
Priority to JP2017500972A priority patent/JP6577565B2/ja
Priority to PCT/CN2015/093867 priority patent/WO2016179979A1/zh
Priority to KR1020167031512A priority patent/KR101881243B1/ko
Application granted granted Critical
Publication of CN104835164B publication Critical patent/CN104835164B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20152—Watershed segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种双目摄像头深度图像的处理方法及装置，以提升传输给中间件的深度图像的品质，使深度图像更易被中间件识别，从而有利于提升双目摄像头在体感设备中的应用价值。所述方法包括：获取双目摄像头所采集的原始深度图像，以及双目摄像头中主摄像头的摄取图像；对所述原始深度图像进行分割，得到多个分割单元；针对每个分割单元计算出对应的深度参考值，并根据所述深度参考值确定深度值标准范围；遍历所述原始深度图像的像素，调整像素的深度值位于像素所在分割单元对应的深度值标准范围。

Description

一种双目摄像头深度图像的处理方法及装置
技术领域
本发明涉及体感设备技术领域，特别是涉及一种双目摄像头深度图像的处理方法及装置。
背景技术
目前，市面上主流的体感设备，例如Kinect、Prime Sence通常使用TOF(Time of Flight，飞行时间法3D成像)原理的深度摄像头成像，然后再把获取的深度图像传输给中间件，例如NITE(NITE可实现手势的识别和运动捕获等功能)，通过软件的计算获取人体的骨架及关节点信息，从而可以进行体感操控。该现有技术由于采用红外线装置而使成本比普通的双目摄像头高出三到四倍。
双目摄像头与TOF原理的深度摄像头相比，价格较为低廉。然而，双目摄像头由于其成像原理的局限，在获取深度图像时会有一定的信息缺失，图像噪声较大，从而导致难以稳定的被中间件识别。因此，双目摄像头在体感设备中的应用受限。
发明内容
本发明实施例的目的是提供一种双目摄像头深度图像的处理方法及装置，以对双目摄像头获取的原始深度图像进行去噪，提升传输给中间件的深度图像的品质，使深度图像更易被中间件识别。
本发明实施例提供了一种双目摄像头深度图像的处理方法，包括：
获取双目摄像头所采集的原始深度图像，以及双目摄像头中主摄像头的摄取图像；
对所述原始深度图像进行分割，得到多个分割单元；
针对每个分割单元计算出对应的深度参考值，并根据所述深度参考值确定深度值标准范围；
遍历所述原始深度图像的像素，调整像素的深度值位于像素所在分割单元对应的深度值标准范围。
在本发明实施例的技术方案中，对原始深度图像进行分割，得到多个分割单元；针对每个分割单元计算出对应的深度参考值和深度值标准范围；之后，再遍历原始深度图像的像素，调整像素的深度值位于分割单元对应的深度值标准范围内。通过该方案，可以对原始深度图像进行去噪处理，处理后的深度图像轮廓较为清晰，容易被中间件识别，因此，有利于提升双目摄像头在体感设备中的应用价值。
较佳的，所述对所述原始深度图像进行分割，得到多个分割单元，包括：
对所述摄取图像进行轮廓分割，得到轮廓分割信息；
根据所述轮廓分割信息分割所述原始深度图像，得到多个分割单元。
优选的，所述对所述摄取图像进行轮廓分割，得到轮廓分割信息，包括：
对所述摄取图像进行灰度化处理，得到灰度化图像；
对所述灰度化图像进行边缘提取，得到轮廓图像；
对所述轮廓图像进行轮廓膨胀处理，得到轮廓膨胀图像；
对所述轮廓膨胀图像进行取反，得到取反图像；
采用分水岭算法计算所述取反图像的轮廓分割信息。
采用该方案可以在较短的时间内计算出实时摄取图像的轮廓分割信息，从而有利于提高对原始深度图像进行去噪处理的速度。
优选的，所述针对每个分割单元计算出对应的深度参考值，包括：
去除所述分割单元中的黑点像素和亮点像素；
针对去除黑点像素和亮点像素的分割单元，统计不同深度值的像素数量，将像素数量最多的深度值作为该所述分割单元的深度参考值。
去除分割单元中的黑点像素和亮点像素，即去除噪点像素，可以提高计算结果的准确度。
较佳的，针对每个分割单元，所述深度值标准范围为0.5～1.3倍的深度参考值。
优选的，所述遍历所述原始深度图像的像素，调整像素的深度值位于像素所在分割单元对应的深度值标准范围，包括：
沿设定方向遍历所述原始深度图像的像素，并在遍历过程中，若当前像素的深度值超出所在分割单元对应的深度值标准范围，则按照设定方向顺序读取原始深度图像中以当前像素为中心的周边像素的深度值并向外展开循环设定次数；
若当前读取像素位于所述分割单元内并且深度值位于所在分割单元对应的深度值标准范围，则跳出循环并将所述当前像素的深度值调整为当前读取像素的深度值；
若所述循环设定次数结束且所述当前像素的深度值未被调整，则将所述当前像素的深度值调整为所在分割单元对应的深度参考值。
采用该方案，可以使被调整像素与周围像素的深度值过渡较为平滑，从而有利于提高处理后的深度图像的品质。
优选的，原始深度图像中，所述周边像素位于所述当前像素的十字方向上。这样可提高计算处理速度，从而提高对原始深度图像进行去噪处理的速度。
较佳的，所述循环设定次数为五次；所述设定方向为行方向从左至右，或者行方向从右至左，或者列方向从上至下，或者列方向从下至上。
采用该方案可以以较小的计算量，在较短的时间内对像素进行有效填充，从而有利于提高对原始深度图像进行去噪处理的速度。
本发明实施例还提供了一种双目摄像头深度图像的处理装置，包括：
获取模块，用于获取双目摄像头所采集的原始深度图像，以及双目摄像头中主摄像头的摄取图像；
分割模块，用于对所述原始深度图像进行分割，得到多个分割单元；
计算模块，用于针对每个分割单元计算出对应的深度参考值，并根据所述深度参考值确定深度值标准范围；
填充模块，用于遍历所述原始深度图像的像素，调整像素的深度值位于像素所在分割单元对应的深度值标准范围。
较佳的，所述分割模块，具体用于对所述摄取图像进行轮廓分割，得到轮廓分割信息；及根据所述轮廓分割信息分割所述原始深度图像，得到多个分割单元。
优选的，所述分割模块，具体用于对所述摄取图像进行灰度化处理，得到灰度化图像；对所述灰度化图像进行边缘提取，得到轮廓图像；对所述轮廓图像进行轮廓膨胀处理，得到轮廓膨胀图像；对所述轮廓膨胀图像进行取反，得到取反图像；采用分水岭算法计算所述取反图像的轮廓分割信息。
优选的，所述计算模块，具体用于去除所述分割单元中的黑点像素和亮点像素；针对去除黑点像素和亮点像素的分割单元，统计不同深度值的像素数量，将像素数量最多的深度值作为该所述分割单元的深度参考值。
较佳的，针对每个分割单元，所述深度值标准范围为0.5～1.3倍的深度参考值。
具体的，所述填充模块，具体用于沿设定方向遍历所述原始深度图像的像素，并在遍历过程中，若当前像素的深度值超出所在分割单元对应的深度值标准范围，则按照设定方向顺序读取原始深度图像中以当前像素为中心的周边像素的深度值并向外展开循环设定次数；
若当前读取像素位于所述分割单元内并且深度值位于所在分割单元对应的深度值标准范围，则跳出循环并将所述当前像素的深度值调整为当前读取像素的深度值；
若所述循环设定次数结束且所述当前像素的深度值未被调整，则将所述当前像素的深度值调整为所在分割单元对应的深度参考值。
优选的，原始深度图像中，所述周边像素位于所述当前像素的十字方向上。
优选的，所述循环设定次数为五次；所述设定方向为行方向从左至右，或者行方向从右至左，或者列方向从上至下，或者列方向从下至上。
采用本发明实施例提供的处理装置，可以对原始深度图像进行去噪处理，处理后的深度图像轮廓较为清晰，容易被中间件识别，因此，有利于提升双目摄像头在体感设备中的应用价值。
附图说明
图1为本发明实施例双目摄像头深度图像的处理方法流程示意图；
图2为本发明实施例中对摄取图像进行轮廓分割示意图；
图3为本发明实施例中分割单元的深度值与像素数量直方图；
图4为本发明实施例中像素填充原理示意图；
图5为深度图像去噪处理前后对比图；
图6为本发明实施例双目摄像头深度图像的处理装置结构示意图。
具体实施方式
为了提升传输给中间件的深度图像的品质，使深度图像更易被中间件识别，本发明实施例提供了一种双目摄像头深度图像的处理方法及装置。为使本发明的目的、技术方案和优点更加清楚，以下举实施例对本发明作进一步详细说明。
如图1所示，本发明实施例提供的双目摄像头深度图像的处理方法，包括以下步骤：
步骤S101、获取双目摄像头所采集的原始深度图像，以及双目摄像头中主摄像头的摄取图像；
步骤S102、对原始深度图像进行分割，得到多个分割单元；
步骤S103、针对每个分割单元计算出对应的深度参考值，并根据深度参考值确定深度值标准范围；
步骤S104、遍历原始深度图像的像素，调整像素的深度值位于像素所在分割单元对应的深度值标准范围。
双目摄像头包括主摄像头和辅摄像头，辅摄像头与主摄像头的坐标系有一定的位置偏差，双目摄像头的控制芯片通过计算得到目标体在空间中的深度信息图像，即原始深度图像。通常，双目摄像头所采集的原始深度图像采用与主摄像头摄取图像一致的坐标系。双目摄像头的两个摄像头所摄取的图像通常为RGB彩色图像。
对原始深度图像进行分割，可以通过多种方式来实现。在本发明的一个较佳实施例中，步骤S102可包括：
对摄取图像进行轮廓分割，得到轮廓分割信息；
根据轮廓分割信息分割原始深度图像，得到多个分割单元。
对于主摄像头的摄取图像，可以认为每一个小轮廓范围在现实中对应同一物体或者某个物体的同一部位，其轮廓范围内的深度值应当比较接近。因此，可以对主摄像头的摄取图像进行轮廓分割，并以得到的轮廓分割信息，对原始深度图像进行分割。在步骤S104中，“调整像素的深度值”可以理解为对原始深度图像的像素重新进行深度值填充。
对主摄像头的摄取图像进行轮廓分割所采用的具体算法不限，例如可以采用金字塔分割算法、均值漂移分割算法、分水岭分割算法等等。考虑到体感设备需要在较短的时间内对实时深度图像进行处理(轮廓分割与像素填充需要在30ms内完成)，优选采用分水岭算法。
请结合图2所示，在本发明的一个优选实施例中，步骤S102，包括以下子步骤：
对摄取图像进行灰度化处理，得到灰度化图像(即图2的第二幅图片)；
对灰度化图像进行边缘提取，得到轮廓图像(即图2的第三幅图片)；
对轮廓图像进行轮廓膨胀处理，得到轮廓膨胀图像(即图2的第四幅图片)；
对轮廓膨胀图像进行取反，得到取反图像(即图2的第五幅图片)；
采用分水岭算法计算取反图像的轮廓分割信息(即图2的第六幅图片)。
采用上述方法可以在较短的时间内计算出主摄像头实时摄取图像的轮廓分割信息，从而有利于提高对原始深度图像进行去噪处理的速度。其中，轮廓分割信息可以包括分割单元的轮廓位置信息和编码信息。对灰度化图像进行边缘提取，具体可以采用canny边缘提取算法。canny边缘提取算法是一种快速实现图像边缘检测的算法，通过canny边缘提取算法所获得的结果为白色轮廓线条和黑底背景的二值图像。
在本发明的一个优选实施例中，步骤S103，可以具体包括以下子步骤：
去除分割单元中的黑点像素和亮点像素；
针对去除黑点像素和亮点像素的分割单元，统计不同深度值的像素数量，将像素数量最多的深度值作为该分割单元的深度参考值。
去除分割单元中的黑点像素(深度值为0)和亮点像素(深度值为255)，即去除噪点像素，这些像素的可信度不高，去除后可以提高计算结果的准确度。
如图3所示，在本发明的一个具体实施例中，深度参考值可通过如下方式确定：针对去除黑点像素和亮点像素的分割单元，以深度值为横坐标，深度值的像素数量为纵坐标作直方图，将像素数量最多的深度值(即直方图的峰值)作为该分割单元所对应的深度参考值depth(i)。
在计算出深度参考值depth(i)后，可以得到深度值标准范围。具体的，针对每个分割单元，深度值标准范围为0.5～1.3倍的depth(i)。本申请的发明人经过大量统计分析后得到，同一分割单元的有效深度值通常集中于上述范围，因此，采用上述范围作为深度值标准范围对分割单元的像素进行填充，可以使得深度图像的处理结果更为准确。
在步骤S104中，所采用的具体遍历方式不限。在本发明的一个较优实施例中，步骤S104具体为：
沿设定方向遍历原始深度图像的像素，并在遍历过程中，若当前像素的深度值超出所在分割单元对应的深度值标准范围，则按照设定方向顺序读取原始深度图像中以当前像素为中心的周边像素的深度值并向外展开循环设定次数；
若当前读取像素位于分割单元内并且深度值位于所在分割单元对应的深度值标准范围，则跳出循环并将当前像素的深度值调整为当前读取像素的深度值；
若循环设定次数结束且当前像素的深度值未被调整，则将当前像素的深度值调整为所在分割单元对应的深度参考值。
对原始深度图像进行处理，得到处理后的深度图像，可通过如下三种方式实现：
一、建立一空白图像，根据原始深度图像并按照步骤S104逐点对应填充空图像的像素，最终得到处理后的深度图像；
二、建立一原始深度图像的复制图像，根据原始深度图像并按照步骤S104逐点对应刷新复制图像的像素，最终得到处理后的深度图像；
三、根据原始深度图像的像素深度值信息按照步骤S104逐点重新确定处理后的深度图像信息，并存储于记忆元件中，例如内存，整幅原始深度图像像素遍历结束后，再将内存中存储的重新确定后的信息，覆盖原始深度图像，最终得到处理后的深度图像。
原始深度图像中，周边像素可以位于当前像素的斜向方向上，例如30°、45°等斜向，但优选的，周边像素位于当前像素的十字方向上。这样可提高计算处理速度，从而提高对原始深度图像进行去噪处理的速度。
考虑到设备的计算处理速度，优选的，循环设定次数为五次。遍历所遵循的设定方向可以为行方向从左至右，也可以为行方向从右至左，可以为列方向从上至下，也可以为列方向从下至上，等等，此外，在十字方向上读取像素的顺序不限，可以顺时针读取或逆时针读取。在本发明的一个优选实施例中，设定方向为行方向从左至右，读取以当前像素为中心的十字方向上的像素的深度值按照右、下、左、上的顺序。
具体的，请结合图4所示，沿行方向从左至右依次访问双目摄像头所采集原始深度图像的每个像素，当当前访问像素的深度值位于所在分割单元对应的深度值标准范围内时，继续访问下一像素。当当前像素的深度值超出所在分割单元对应的深度值标准范围时(如图中的A1像素)，按照右、下、左、上的顺序读取原始深度图像中以当前像素为中心的十字方向上的像素的深度值并向外展开循环5次，即第一次读取B1、B2、B3、B4，第二次读取C1、C2、C3、C4，以此类推。在循环读取过程中，当当前读取像素位于分割单元内并且深度值位于所在分割单元对应的深度值标准范围内时，跳出循环并调整当前像素的深度值为当前读取像素的深度值。如图4所示，在循环读取过程中，C2位于分割单元外，因此不满足条件，而C3位于分割单元内并且深度值位于所在分割单元对应的深度值标准范围内，因此，在读取到C3之后跳出循环，并调整A1的深度值为C3的深度值。假如5次循环结束后未读取到符合上述条件的像素，则调整当前像素的深度值为所在分割单元对应的深度参考值depth(i)。
采用上述方案，可以使整个分割单元内，深度值过渡较为平滑，减少空洞，从而有利于提高深度图像的品质。
在本发明实施例的技术方案中，对原始深度图像进行分割，得到多个分割单元；针对每个分割单元计算出对应的深度参考值和深度值标准范围；之后，再遍历原始深度图像的像素，调整像素的深度值位于分割单元对应的深度值标准范围内。通过该方案，可以对原始深度图像进行去噪处理，处理后的深度图像轮廓较为清晰(请参照图5对比)，容易被中间件识别，因此，有利于提升双目摄像头在体感设备中的应用价值。
基于相同的发明构思，如图6所示，本发明实施例还提供了一种双目摄像头深度图像的处理装置，包括：
获取模块21，用于获取双目摄像头所采集的原始深度图像，以及双目摄像头中主摄像头的摄取图像；
分割模块22，用于对原始深度图像进行分割，得到多个分割单元；
计算模块23，用于针对每个分割单元计算出对应的深度参考值，并根据深度参考值确定深度值标准范围；
填充模块24，用于遍历原始深度图像的像素，调整像素的深度值位于像素所在分割单元对应的深度值标准范围。
较佳的，分割模块22，具体用于对摄取图像进行轮廓分割，得到轮廓分割信息；及根据轮廓分割信息分割原始深度图像，得到多个分割单元。
在本发明的其中一个实施例中，分割模块22，具体用于对摄取图像进行灰度化处理，得到灰度化图像；对灰度化图像进行边缘提取，得到轮廓图像；对轮廓图像进行轮廓膨胀处理，得到轮廓膨胀图像；对轮廓膨胀图像进行取反，得到取反图像；采用分水岭算法计算取反图像的轮廓分割信息。
在本发明的其中一个实施例中，计算模块23，具体用于去除分割单元中的黑点像素和亮点像素；针对去除黑点像素和亮点像素的分割单元，统计不同深度值的像素数量，将像素数量最多的深度值作为该分割单元的深度参考值。
较佳的，针对每个分割单元，深度值标准范围为0.5～1.3倍的深度参考值。
在本发明的其中一个实施例中，填充模块24，具体用于沿设定方向遍历原始深度图像的像素，并在遍历过程中，若当前像素的深度值超出所在分割单元对应的深度值标准范围，则按照设定方向顺序读取原始深度图像中以当前像素为中心的周边像素的深度值并向外展开循环设定次数；
若当前读取像素位于分割单元内并且深度值位于所在分割单元对应的深度值标准范围，则跳出循环并将当前像素的深度值调整为当前读取像素的深度值；
若循环设定次数结束且当前像素的深度值未被调整，则将当前像素的深度值调整为所在分割单元对应的深度参考值。
优选的，原始深度图像中，周边像素位于当前像素的十字方向上。
优选的，循环设定次数为五次；设定方向为行方向从左至右，或者行方向从右至左，或者列方向从上至下，或者列方向从下至上。
采用上述实施例的双目摄像头深度图像的处理装置，可以对原始深度图像进行去噪处理，处理后的深度图像轮廓较为清晰，容易被中间件识别，因此，有利于提升双目摄像头在体感设备中的应用价值。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (16)

1.一种双目摄像头深度图像的处理方法，其特征在于，包括：
获取双目摄像头所采集的原始深度图像，以及双目摄像头中主摄像头的摄取图像；
对所述原始深度图像进行分割，得到多个分割单元；
针对每个分割单元计算出对应的深度参考值，并根据所述深度参考值确定深度值标准范围；
遍历所述原始深度图像的像素，调整像素的深度值位于像素所在分割单元对应的深度值标准范围。
2.如权利要求1所述的处理方法，其特征在于，所述对所述原始深度图像进行分割，得到多个分割单元，包括：
对所述摄取图像进行轮廓分割，得到轮廓分割信息；
根据所述轮廓分割信息分割所述原始深度图像，得到多个分割单元。
3.如权利要求2所述的方法，其特征在于，所述对所述摄取图像进行轮廓分割，得到轮廓分割信息，包括：
对所述摄取图像进行灰度化处理，得到灰度化图像；
对所述灰度化图像进行边缘提取，得到轮廓图像；
对所述轮廓图像进行轮廓膨胀处理，得到轮廓膨胀图像；
对所述轮廓膨胀图像进行取反，得到取反图像；
采用分水岭算法计算所述取反图像的轮廓分割信息。
4.如权利要求1所述的方法，其特征在于，所述针对每个分割单元计算出对应的深度参考值，包括：
去除所述分割单元中的黑点像素和亮点像素；
针对去除黑点像素和亮点像素的分割单元，统计不同深度值的像素数量，将像素数量最多的深度值作为该所述分割单元的深度参考值。
5.如权利要求1所述的方法，其特征在于，针对每个分割单元，所述深度值标准范围为0.5～1.3倍的深度参考值。
6.如权利要求1所述的方法，其特征在于，所述遍历所述原始深度图像的像素，调整像素的深度值位于像素所在分割单元对应的深度值标准范围，包括：
沿设定方向遍历所述原始深度图像的像素，并在遍历过程中，若当前像素的深度值超出所在分割单元对应的深度值标准范围，则按照设定方向顺序读取原始深度图像中以当前像素为中心的周边像素的深度值并向外展开循环设定次数；
若当前读取像素位于所述分割单元内并且深度值位于所在分割单元对应的深度值标准范围，则跳出循环并将所述当前像素的深度值调整为当前读取像素的深度值；
若所述循环设定次数结束且所述当前像素的深度值未被调整，则将所述当前像素的深度值调整为所在分割单元对应的深度参考值。
7.如权利要求6所述的方法，其特征在于，原始深度图像中，所述周边像素位于所述当前像素的十字方向上。
8.如权利要求7所述的方法，其特征在于，所述循环设定次数为五次；所述设定方向为行方向从左至右，或者行方向从右至左，或者列方向从上至下，或者列方向从下至上。
9.一种双目摄像头深度图像的处理装置，其特征在于，包括：
获取模块，用于获取双目摄像头所采集的原始深度图像，以及双目摄像头中主摄像头的摄取图像；
分割模块，用于对所述原始深度图像进行分割，得到多个分割单元；
计算模块，用于针对每个分割单元计算出对应的深度参考值，并根据所述深度参考值确定深度值标准范围；
填充模块，用于遍历所述原始深度图像的像素，调整像素的深度值位于像素所在分割单元对应的深度值标准范围。
10.如权利要求9所述的装置，其特征在于，所述分割模块，具体用于对所述摄取图像进行轮廓分割，得到轮廓分割信息；及根据所述轮廓分割信息分割所述原始深度图像，得到多个分割单元。
11.如权利要求10所述的装置，其特征在于，所述分割模块，具体用于对所述摄取图像进行灰度化处理，得到灰度化图像；对所述灰度化图像进行边缘提取，得到轮廓图像；对所述轮廓图像进行轮廓膨胀处理，得到轮廓膨胀图像；对所述轮廓膨胀图像进行取反，得到取反图像；采用分水岭算法计算所述取反图像的轮廓分割信息。
12.如权利要求9所述的装置，其特征在于，所述计算模块，具体用于去除所述分割单元中的黑点像素和亮点像素；针对去除黑点像素和亮点像素的分割单元，统计不同深度值的像素数量，将像素数量最多的深度值作为该所述分割单元的深度参考值。
13.如权利要求9所述的装置，其特征在于，针对每个分割单元，所述深度值标准范围为0.5～1.3倍的深度参考值。
14.如权利要求9所述的装置，其特征在于，所述填充模块，具体用于沿设定方向遍历所述原始深度图像的像素，并在遍历过程中，若当前像素的深度值超出所在分割单元对应的深度值标准范围，则按照设定方向顺序读取原始深度图像中以当前像素为中心的周边像素的深度值并向外展开循环设定次数；
若当前读取像素位于所述分割单元内并且深度值位于所在分割单元对应的深度值标准范围，则跳出循环并将所述当前像素的深度值调整为当前读取像素的深度值；
若所述循环设定次数结束且所述当前像素的深度值未被调整，则将所述当前像素的深度值调整为所在分割单元对应的深度参考值。
15.如权利要求14所述的装置，其特征在于，原始深度图像中，所述周边像素位于所述当前像素的十字方向上。
16.如权利要求15所述的装置，其特征在于，所述循环设定次数为五次；所述设定方向为行方向从左至右，或者行方向从右至左，或者列方向从上至下，或者列方向从下至上。
CN201510236717.0A 2015-05-11 2015-05-11 一种双目摄像头深度图像的处理方法及装置 Active CN104835164B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201510236717.0A CN104835164B (zh) 2015-05-11 2015-05-11 一种双目摄像头深度图像的处理方法及装置
US15/026,870 US9811921B2 (en) 2015-05-11 2015-11-05 Apparatus and method for processing a depth image
EP15839095.5A EP3296953B1 (en) 2015-05-11 2015-11-05 Method and device for processing depth images
JP2017500972A JP6577565B2 (ja) 2015-05-11 2015-11-05 深度画像処理用の方法及び装置
PCT/CN2015/093867 WO2016179979A1 (zh) 2015-05-11 2015-11-05 一种用于处理深度图像的方法及装置
KR1020167031512A KR101881243B1 (ko) 2015-05-11 2015-11-05 깊이 이미지를 프로세싱하기 위한 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510236717.0A CN104835164B (zh) 2015-05-11 2015-05-11 一种双目摄像头深度图像的处理方法及装置

Publications (2)

Publication Number Publication Date
CN104835164A true CN104835164A (zh) 2015-08-12
CN104835164B CN104835164B (zh) 2017-07-28

Family

ID=53813029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510236717.0A Active CN104835164B (zh) 2015-05-11 2015-05-11 一种双目摄像头深度图像的处理方法及装置

Country Status (6)

Country Link
US (1) US9811921B2 (zh)
EP (1) EP3296953B1 (zh)
JP (1) JP6577565B2 (zh)
KR (1) KR101881243B1 (zh)
CN (1) CN104835164B (zh)
WO (1) WO2016179979A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016179979A1 (zh) * 2015-05-11 2016-11-17 京东方科技集团股份有限公司 一种用于处理深度图像的方法及装置
CN106713890A (zh) * 2016-12-09 2017-05-24 宇龙计算机通信科技(深圳)有限公司 一种图像处理方法及其装置
CN107891813A (zh) * 2017-10-31 2018-04-10 北京新能源汽车股份有限公司 一种车辆的控制方法、装置及汽车
CN108195305A (zh) * 2018-02-09 2018-06-22 京东方科技集团股份有限公司 一种双目检测系统及其深度检测方法
CN108765482A (zh) * 2018-05-31 2018-11-06 长春博立电子科技有限公司 一种基于硬件加速的低功耗实时双目摄像头及使用方法
CN105825494B (zh) * 2015-08-31 2019-01-29 维沃移动通信有限公司 一种图像处理方法及移动终端
CN112154477A (zh) * 2019-08-30 2020-12-29 深圳市大疆创新科技有限公司 图像处理方法、装置和可移动平台
US10937184B2 (en) 2016-11-29 2021-03-02 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Camera assembly, method for tracking target portion based on the same, and electronic device
CN114155262A (zh) * 2021-11-29 2022-03-08 合肥安达创展科技股份有限公司 一种基于opencv相关算法的体感深度图获取系统
CN114956287A (zh) * 2022-06-14 2022-08-30 西安清源盈科环保科技有限公司 一种污水除磷方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10558855B2 (en) * 2016-08-17 2020-02-11 Technologies Holdings Corp. Vision system with teat detection
CN106919928A (zh) * 2017-03-08 2017-07-04 京东方科技集团股份有限公司 手势识别系统、方法及显示设备
KR102158034B1 (ko) * 2018-05-24 2020-09-22 주식회사 탑 엔지니어링 기판 절단 장치 및 기판 절단 방법
TWI670467B (zh) * 2018-10-15 2019-09-01 立普思股份有限公司 使用深度影像偵測的加工方法
CN110390681B (zh) * 2019-07-17 2023-04-11 海伯森技术（深圳）有限公司 一种基于深度相机的深度图物体轮廓快速提取方法及装置
CN111242137B (zh) * 2020-01-13 2023-05-26 江西理工大学 一种基于形态成分分析的椒盐噪声滤波方法、装置
CN112085675B (zh) * 2020-08-31 2023-07-04 四川大学 深度图像去噪方法、前景分割方法及人体运动监测方法
KR102599855B1 (ko) * 2020-12-22 2023-11-07 주식회사 포스코디엑스 철강제품용 태그 부착 시스템 및 방법
CN112819878B (zh) * 2021-01-28 2023-01-31 北京市商汤科技开发有限公司 一种深度检测方法、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750694A (zh) * 2012-06-04 2012-10-24 清华大学 基于局部最优置信传播算法的双目视频深度图求取方法
CN103136775A (zh) * 2013-03-19 2013-06-05 武汉大学 基于局部约束重建的kinect深度图空洞填充方法
CN103455984A (zh) * 2013-09-02 2013-12-18 清华大学深圳研究生院 一种Kinect深度图像获取方法与装置
US20140015830A1 (en) * 2012-07-12 2014-01-16 Samsung Electronics Co., Ltd. Image processing apparatus and method
CN104581123A (zh) * 2014-12-30 2015-04-29 友达光电股份有限公司 立体影像显示系统与显示方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3850541B2 (ja) * 1998-02-18 2006-11-29 富士重工業株式会社 高度計測装置
JP2007048006A (ja) * 2005-08-09 2007-02-22 Olympus Corp 画像処理装置および画像処理プログラム
KR101367282B1 (ko) * 2007-12-21 2014-03-12 삼성전자주식회사 깊이 정보에 대한 적응적 정보 표현 방법 및 그 장치
US8379101B2 (en) * 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
KR101175196B1 (ko) * 2010-12-28 2012-08-20 강원대학교산학협력단 모바일 환경의 입체영상 생성방법 및 장치
KR101978172B1 (ko) * 2011-11-29 2019-05-15 삼성전자주식회사 깊이 영상을 고해상도로 변환하는 방법 및 장치
US8873835B2 (en) * 2011-11-30 2014-10-28 Adobe Systems Incorporated Methods and apparatus for correcting disparity maps using statistical analysis on local neighborhoods
JP5951367B2 (ja) * 2012-01-17 2016-07-13 シャープ株式会社 撮像装置、撮像画像処理システム、プログラムおよび記録媒体
CN104574342B (zh) * 2013-10-14 2017-06-23 株式会社理光 视差深度图像的噪声识别方法和噪声识别装置
US9630318B2 (en) * 2014-10-02 2017-04-25 Brain Corporation Feature detection apparatus and methods for training of robotic navigation
CN104835164B (zh) * 2015-05-11 2017-07-28 京东方科技集团股份有限公司 一种双目摄像头深度图像的处理方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750694A (zh) * 2012-06-04 2012-10-24 清华大学 基于局部最优置信传播算法的双目视频深度图求取方法
US20140015830A1 (en) * 2012-07-12 2014-01-16 Samsung Electronics Co., Ltd. Image processing apparatus and method
CN103136775A (zh) * 2013-03-19 2013-06-05 武汉大学 基于局部约束重建的kinect深度图空洞填充方法
CN103455984A (zh) * 2013-09-02 2013-12-18 清华大学深圳研究生院 一种Kinect深度图像获取方法与装置
CN104581123A (zh) * 2014-12-30 2015-04-29 友达光电股份有限公司 立体影像显示系统与显示方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LI CHEN 等: "Depth Image Enhancement for Kinect Using Region Growing and Bilateral Filter", 《21ST INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION(ICPR 2012)》 *
徐欢 等: "Kinect深度图像修复算法", 《微电子学与计算机》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016179979A1 (zh) * 2015-05-11 2016-11-17 京东方科技集团股份有限公司 一种用于处理深度图像的方法及装置
US9811921B2 (en) 2015-05-11 2017-11-07 Boe Technology Group Co., Ltd. Apparatus and method for processing a depth image
CN105825494B (zh) * 2015-08-31 2019-01-29 维沃移动通信有限公司 一种图像处理方法及移动终端
US10937184B2 (en) 2016-11-29 2021-03-02 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Camera assembly, method for tracking target portion based on the same, and electronic device
CN106713890A (zh) * 2016-12-09 2017-05-24 宇龙计算机通信科技(深圳)有限公司 一种图像处理方法及其装置
CN107891813A (zh) * 2017-10-31 2018-04-10 北京新能源汽车股份有限公司 一种车辆的控制方法、装置及汽车
CN107891813B (zh) * 2017-10-31 2020-04-24 北京新能源汽车股份有限公司 一种车辆的控制方法、装置、汽车及计算机可读存储介质
CN108195305A (zh) * 2018-02-09 2018-06-22 京东方科技集团股份有限公司 一种双目检测系统及其深度检测方法
CN108765482A (zh) * 2018-05-31 2018-11-06 长春博立电子科技有限公司 一种基于硬件加速的低功耗实时双目摄像头及使用方法
CN112154477A (zh) * 2019-08-30 2020-12-29 深圳市大疆创新科技有限公司 图像处理方法、装置和可移动平台
CN114155262A (zh) * 2021-11-29 2022-03-08 合肥安达创展科技股份有限公司 一种基于opencv相关算法的体感深度图获取系统
CN114956287A (zh) * 2022-06-14 2022-08-30 西安清源盈科环保科技有限公司 一种污水除磷方法
CN114956287B (zh) * 2022-06-14 2023-08-29 西安清源盈科环保科技有限公司 一种污水除磷方法

Also Published As

Publication number Publication date
US9811921B2 (en) 2017-11-07
EP3296953A1 (en) 2018-03-21
KR20160148577A (ko) 2016-12-26
KR101881243B1 (ko) 2018-07-23
US20170132803A1 (en) 2017-05-11
EP3296953A4 (en) 2018-11-21
CN104835164B (zh) 2017-07-28
EP3296953B1 (en) 2021-09-15
WO2016179979A1 (zh) 2016-11-17
JP2018515743A (ja) 2018-06-14
JP6577565B2 (ja) 2019-09-18

Similar Documents

Publication Publication Date Title
CN104835164A (zh) 一种双目摄像头深度图像的处理方法及装置
US10825184B2 (en) Maximum connected domain marking method, target tracking method, and augmented reality/virtual reality apparatus
US9995578B2 (en) Image depth perception device
CN111369666A (zh) 一种基于多台rgbd相机的动态目标重建方法和装置
CN103927016A (zh) 一种基于双目视觉的实时三维双手手势识别方法及其系统
CN105160703A (zh) 一种使用时域视觉传感器的光流计算方法
US9406140B2 (en) Method and apparatus for generating depth information
CN104205826A (zh) 用于重建高密度三维图像的设备和方法
WO2007052191A2 (en) Filling in depth results
CN111080776B (zh) 人体动作三维数据采集和复现的处理方法及系统
CN110544300B (zh) 一种基于二维手绘图像特征自动生成三维模型的方法
EP3216006B1 (en) An image processing apparatus and method
KR20160098012A (ko) 영상 매칭 방법 및 장치
CN104778673B (zh) 一种改进的高斯混合模型深度图像增强方法
US20100220893A1 (en) Method and System of Mono-View Depth Estimation
CN109903322B (zh) 一种深度摄像头深度图像修复方法
CN111899277B (zh) 运动目标检测方法及装置、存储介质、电子装置
CN113225589A (zh) 一种视频插帧处理方法
CN111160362B (zh) 一种fast特征均匀化提取与帧间特征误匹配去除方法
CN106570879A (zh) 一种应用在大屏幕交互系统中的图像处理方法
CN116740375A (zh) 一种图像特征提取方法、系统及介质
CN106683113A (zh) 特征点跟踪方法和装置
CN116092035A (zh) 车道线检测方法、装置、计算机设备和存储介质
CN109493301B (zh) 一种地图图像处理方法、装置和机器人
CN112529943A (zh) 一种物体检测方法、物体检测装置及智能设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant