CN110288543B - 一种深度图像保边处理方法和装置 - Google Patents

一种深度图像保边处理方法和装置 Download PDF

Info

Publication number
CN110288543B
CN110288543B CN201910542557.0A CN201910542557A CN110288543B CN 110288543 B CN110288543 B CN 110288543B CN 201910542557 A CN201910542557 A CN 201910542557A CN 110288543 B CN110288543 B CN 110288543B
Authority
CN
China
Prior art keywords
point
processed
corrected
depth image
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910542557.0A
Other languages
English (en)
Other versions
CN110288543A (zh
Inventor
许姜严
刘平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201910542557.0A priority Critical patent/CN110288543B/zh
Publication of CN110288543A publication Critical patent/CN110288543A/zh
Application granted granted Critical
Publication of CN110288543B publication Critical patent/CN110288543B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及深度图像保边处理方法及装置。其中方法包括：获取步骤：获取同一场景下深度图像和RGB图像；修正步骤：在深度图像中获取待修正点，根据待修正点在RGB图像中获取与待修正点对应的待处理点，以待处理点为中心，在RGB图像内确定待处理点的待处理窗口，得到待处理窗口内非待处理点与待处理点的像素差的绝对值；根据像素差的绝对值，获取深度图像中与待处理点对应的待修正点的修正深度值；生成步骤：根据修正深度值，生成场景的修正深度图像。通过深度图像保边处理方法，令待修正的深度图片更加清晰、准确、平滑。

Description

一种深度图像保边处理方法和装置
技术领域
本公开涉及深度图像的处理技术领域，具体是涉及一种深度图像保边处理方法和装置。
背景技术
目前，在双摄虚化领域，由于不论是双目立体成像、TOF成像还是结构光三维成像，其得到的深度图像都可能存在错误数据或遮挡区域数据不完整，因此，导致获得的深度图像边缘与RGB图像边缘存在不一致情况的发生。图1为未进行保边处理的深度图像的示意图，由图1可以看出，未进行保边处理的深度图像的边缘存在错误数据，其处于同一平面上的深度值不够平滑。
发明内容
为了克服现有技术中存在的问题，本公开提供一种深度图像保边处理方法和装置。
第一方面，本公开实施例提供一种深度图像保边处理方法，其包括，获取步骤：获取同一场景下的深度图像和RGB图像；修正步骤：在深度图像中获取待修正点，根据待修正点在RGB图像中获取与待修正点对应的待处理点，以待处理点为中心，在RGB图像内确定待处理点的待处理窗口，得到待处理窗口内的非待处理点与待处理点的像素差的绝对值；根据像素差的绝对值，获取深度图像中与待处理点对应的待修正点的修正深度值；生成步骤：根据修正深度值，生成场景的修正深度图像。
在一例中，RGB图像的待处理点与对应的深度图像的待修正点为相互配准点。
在一例中，待修正点的修正深度值为深度图像中与待处理窗口内的非待处理点对应的辅助点的深度值的加权平均值；加权平均值中的权重根据非待处理点与待处理点的像素差的绝对值而确定，权重与像素差的绝对值呈负相关。
在一例中，修正步骤还包括：若像素差的绝对值超过像素差阈值，则在根据像素差的绝对值，获取深度图像中与待处理点对应的待修正点的修正深度值时，去除与绝对值超过像素差阈值的非待处理点相对应的辅助点。
在一例中，获取步骤包括：通过左右双目立体成像获取深度图像；处理窗口尺寸设置为水平方向大于垂直方向。
在一例中，像素差的绝对值包括R、G、B三个通道的像素差的绝对值之和，或，R、G、B三个通道中像素差的绝对值的最大值。
在一例中，在修正步骤之前，一种深度图像保边处理方法还包括中值滤波步骤，使用中值滤波的方式对RGB图像进行滤波处理。
在一例中，一种深度图像保边处理方法还包括，区域获取步骤，根据获取的深度图像，指定修正区域；修正步骤包括：在深度图像的修正区域中获取待修正点。
第二方面，本公开实施例提供一种深度图像保边处理装置，该处理装置具有实现上述第一方面涉及的深度图像保边的处理方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一例中，一种深度图像保边处理装置包括，获取模块：用于获取同一场景下的深度图像和RGB图像；修正模块：用于在深度图像中获取待修正点，根据待修正点在RGB图像中获取与待修正点对应的待处理点，以待处理点为中心，在RGB图像内确定待处理点的待处理窗口，得到待处理窗口内的非待处理点与待处理点的像素差的绝对值；根据像素差的绝对值，获取深度图像中与待处理点对应的待修正点的修正深度值；生成模块：用于根据修正深度值，生成场景的修正深度图像。
第三方面，本公开实施例提供一种电子设备，其中，电子设备包括：存储器，用于存储指令；以及处理器，用于调用存储器存储的指令执行第一方面的深度图像保边处理方法。
第四方面，本公开实施例提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在由处理器执行时，执行第一方面的深度图像保边处理方法。
本公开提供的一种深度图像保边处理方法和装置。其中，深度图像保边处理方法通过计算RGB图像在待处理窗口内的非待处理点与待处理点间的像素差的绝对值，根据该像素差的绝对值，得到在修正深度图像中与待处理点相对应的待修正点的修正深度值；并根据该修正深度值生成修正深度图片，以保证修正深度图片的边缘更加清晰、准确、平滑。
附图说明
通过参考附图阅读下文的详细描述，本公开实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的实施方式，其中：
图1示出了未进行保边处理的深度图像的示意图；
图2示出了图1所示深度图像实施本公开实施例提供的一种深度图像保边处理方法后的示意图；
图3示出了本公开实施例提供的深度图像保边处理方法示意图；
图4示出了本公开实施例提供的另一种深度图像保边处理方法示意图；
图5示出了本公开实施例提供的一种深度图像保边处理装置示意图；
图6示出了本公开实施例提供的另一种深度图像保边处理装置示意图；
图7示出了本公开实施例提供的一种电子设备示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。
需要注意，虽然本文中使用“第一”、“第二”等表述来描述本公开的实施方式的不同模块、步骤和数据等，但是“第一”、“第二”等表述仅是为了在不同的模块、步骤和数据等之间进行区分，而并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。
图1为未进行保边处理的深度图像的示意图，通过图示可以看出，该深度图像的边缘存在一定的错误数据，因此导致该深度图像的处于同一平面的深度值不够平滑。图2为图1所示的深度图像实施本公开实施例提供的一种深度图像保边处理方法后的示意图。将图1和图2进行对比可以看出，实施本公开实施例提供的一种深度图像保边处理方法的深度图像的边缘的错误数据可以被修正，使得该深度图像处于同一平面的深度值更加平滑。
图3为本公开实施例提供的一种深度图像保边处理方法示意图。如图3所示，该处理方法10包括获取步骤110、修正步骤120和生成步骤130。
在实际操作过程中，深度图像保边处理方法10获取同一场景下的深度图像和RGB图像，并分别确定深度图像中需要修正的待修正点，依次计算各个待修正点的修正深度值。通过计算得到的修正深度值，依次对各个待修正点的深度值进行修正，并生成该场景下的修正深度图像。
以其中的某一待修正点为例，在RGB图像中，获取与该待修正点对应的待处理点，以该待处理点为中心，并在RGB图像内确定该待处理点的待处理窗口，通过确定该待处理窗口，进而也确定了该待处理窗口内的除去待处理点的其他点，即其他的非待处理点。计算该待处理窗口内的非待处理点与待处理点的像素差的绝对值，根据该绝对值，获取深度图像中的待修正点的修正深度值。
下面对图3中的各个步骤进行详细说明。
获取步骤110，分别获取同一场景下的深度图像和RGB图像，并且根据获取的深度图像和RGB图像，可以分别获得该场景下的深度值和RGB像素值。需要说明的是，此处的“获取同一场景下的深度图像和RGB图像”是指，对于同一个被拍摄对象，在同一拍摄角度下，获取该被拍摄对象的深度图像和RGB图像，其中，深度图像和RGB图像是相对应的，两者只是对同一被拍摄对象的不同表现方式。
修正步骤120，以待处理点为中心，在相应的RGB图像内确定该待处理点的待处理窗口，其中，待处理窗口的大小可以是11x11～31x31个像素，待处理窗口的大小可以根据实际情况而定。
其中的“待处理点”是根据深度图像中的需要进行深度值修正的待修正点而确定的。由于同一场景下的图像包括深度图像和RGB图像，并且深度图像和RGB图像是相互对应的，因此RGB图像中的待处理点与深度图像中的待修正点也是相对应的。
在处理窗口内，分别计算并得到RGB图像在该待处理窗口内的所有非待处理点与待处理点之间的像素差的绝对值，并根据像素差的绝对值，得到在深度图像中与待处理点相对应的待修正点的修正深度值。也就是说，在RGB图像中，待处理窗口内所有的点，包括非待处理点和待处理点，均存在像素值。在实际的应用中，通过对待处理窗口内的所有非待处理点与待处理点之间的像素值作差，获得每个非待处理点与待处理点的像素差的绝对值，并根据该非待处理点和与该待处理点对应的像素差的绝对值，对与待处理点相对应的待修正点的深度值进行修正。
生成步骤130，根据待修正点的修正深度值，生成该场景下的修正深度图像。也就是说，在实际应用中，利用修正步骤120计算得到的待修正点的修正深度值，来修正原深度图像中该待修正点的原深度值，并根据修正后的修正深度值生成该场景的修正深度图像。
本公开提供的一种深度图像保边处理方法，通过计算RGB图像在待处理窗口内的非待处理点与待处理点间的像素差的绝对值，根据该像素差的绝对值，计算在修正深度图像中与待处理点相对应的待修正点的修正深度值；并根据该修正深度值生成修正深度图片，以保证修正深度图片的边缘更加清晰、准确、平滑。
在一例中，为了在RGB图像中获取待处理点，可以根据深度图像中需要修正的待修正点进行确定。由于RGB图像的待处理点与对应的深度图像的待修正点为相互配准点，也就是说，RGB图像中的待处理点与深度图像中的待修正点是一一对应的，因此，如果深度图像中的待修正点为n个，那么，相应的RGB图像中的待处理点也是n个。在实际操作中，可以依次确定RGB图像中的待处理点，并根据该待处理点，对深度图像中的待修正点进行一一修正。
在一例中，待修正点的修正深度值为深度图像中与待处理窗口内的所有非待处理点对应的辅助点的深度值的加权平均值；其中，加权平均值中的权重根据非待处理点与待处理点的像素差的绝对值而确定，并且，权重与像素差的绝对值呈负相关关系。
由于RGB图像与深度图像是相互对应的，因此，RGB图像中的非待处理点与深度图像中的辅助点也是一一对应的。在实际应用中，在对深度图像中的待修正点的深度值进行修正时，可以利用待处理窗口中包含的所有辅助点的深度值对该待修正点的深度值进行修正。进一步地，也就是通过对待处理窗口中所有辅助点的深度值进行加权平均计算，即计算出每一个辅助点的深度值与该深度值所占的权重的乘积，再将所有的辅助点的深度值与相应深度值所占权重的乘积求和，即可得到该待处理窗口中的待修正点的修正深度值。
其中，权重与像素差的绝对值呈负相关是指，非待处理点与待处理点的像素差的绝对值越大，其相应的权重就越小，两者负相关的程度，可以根据实际情况的不同而不同。RGB图像中，在一个待处理窗口中，临近的像素点的像素值越接近，代表其更可能是一个物体，并具有相近的深度值，因此根据像素值的差来确定权重，能够提高深度值的准确性，从而降低深度图片边缘的误差。
根据深度图像中与待处理窗口内的所有非待处理点对应的辅助点的深度值的加权平均值来确定待修正点的修正深度值，并且在进行加权平均计算中，其中的权重与像素差的绝对值呈负相关，这样可以综合待修正点周围的其他辅助点来修正该待修正点的深度值，并且减少与待修正点差异较大的其他辅助点对待修正点的修正深度值的影响，使得该待处理窗口中的深度值更加平滑。
在一例中，修正步骤120还包括，若像素差的绝对值超过像素差阈值，则在得到深度图像中与待处理点对应的待修正点的修正值时，也就是在进行待修正点的修正深度值计算时，去除与绝对值超过像素差阈值的非待处理点相对应的辅助点。其中，像素差阈值的大小可以根据待处理场景的不同而确定。如果待处理的场景需要图像更加平滑，那么则可以提高像素差阈值的大小；若待处理的场景需要图像的保边效果更好，那么则可以降低像素差阈值的大小。
也就是说，在待处理窗口内获得的所有非待处理点与待处理点之间的像素差的绝对值后，对所有的像素差的绝对值的大小进行判定，若该像素差的绝对值超过像素差阈值，那么在根据深度图像中与待处理窗口内的所有非待处理点对应的辅助点的深度值的加权平均值来确定待修正点的修正深度值时，可以去除掉像素差的绝对值超过像素差阈值的非待处理点的相对应的辅助点，也就是说，在利用辅助点的深度值的加权平均值来确定待修正点的修正深度值时，像素差的绝对值超过像素差阈值的相应的辅助点不参与待修正点的修正深度值的计算。通过这种方法，可以剔除掉某些辅助点的异常深度值，减少对待修正点的修正深度值的影响，使得该处理窗口中的深度值更加平滑。
在一例中，获取步骤110包括，深度图像可以通过左右双目立体成像获得，其中，由于通过双目立体成像而获得的深度图像，其左右视差比较容易出错，因此，待处理窗口尺寸可以设置为水平方向大于垂直方向。通过增加在待处理窗口在水平方向上的尺寸，在计算待修正点的修正深度值时，可以更多的利用水平方向上的辅助点对待修正点进行修正，进而增加图像在水平方向上修正效果。
需要说明的是，深度图像的获取方式也可以通过TOF成像或结构光三维成像而获得，还可以是通过其他的成像模式而获得。在实际应用中，可以根据选择的成像方式不同，或是已成像的图像的实际情况的不同，确定待处理窗口的尺寸，如果获取的图像在水平方向上错误数据更多，则将待处理窗口的尺寸设置为水平方向大于垂直方向；如果获取的图像在垂直方向上错误数据更多，则将待处理窗口的尺寸设置为垂直方向大于水平方向。
在一例中，修正步骤120包括，像素差的绝对值可以是R、G、B三个通道的像素差的绝对值之和，也可以是R、G、B三个通道中的像素差的绝对值的最大值。
例如，若某一场景中，在RGB图像的某一待处理窗口内，待处理点的像素为(Ra,Gb,Bc)，该待处理窗口中的其他的非待处理点的像素分别为(Rd,Ge,Bf)、(Rg,Gh,Bj)和(Ri,Gm,Bn)。现在令像素差的绝对值是R、G、B三个通道的像素差的绝对值之和，通过计算可以得到，该待处理窗口中，所有非待处理点与待处理点的像素差的绝对值分别为(|Rd-Ra|+|Ge-Gb|+|Bf-Bc|)、(|Rg-Ra|+|Gh-Gb|+|Bj-Bc|)和(|Ri-Ra|+|Gm-Gb|+|Bn-Bc|)，若只有(|Rd-Ra|+|Ge-Gb|+|Bf-Bc|)大于绝对值阈值，那么在根据深度图像中与待处理窗口内的所有非待处理点对应的辅助点的深度值的加权平均值来确定待修正点的修正深度值时，去除掉与该非待处理点(Rd,Ge,Bf)相对应的辅助点，也就是说，在进行待修正点的修正深度值计算时，该非待处理点(Rd,Ge,Bf)对应的辅助点不参与待修正点的修正深度值的计算。对于这两个非待处理点(Rg,Gh,Bj)和(Ri,Gm,Bn)对应的辅助点，在进行加权平均值计算时，若(|Rg-Ra|+|Gh-Gb|+|Bj-Bc|)大于(|Ri-Ra|+|Gm-Gb|+|Bn-Bc|)，那么，非待处理点(Ri,Gm,Bn)对应的辅助点在进行对待修正点的修正深度值的计算时，其所占的权重更大。
图4为本公开实施例提供的另一种深度图像保边处理方法示意图。如图4所示，在一例中，在修正步骤120之前，深度图像保边处理方法10还包括中值滤波步骤140，使用中值滤波的方式对RGB图像进行滤波处理。通过预先对RGB图像进行中值滤波，降低RGB图像中的噪声干扰，提高像素的准确性，从而避免图像噪声对深度图像保边处理的影响。
在实际应用中，可以首先对与需要进行深度值修正的待修正点对应的待处理点的RGB图像进行中值滤波处理，以去除掉噪声干扰，然后再进行之后的修正步骤120和生成步骤130。
在一例中，一种深度图像保边处理方法还包括区域获取步骤，可以根据获取的深度图像，指定深度图像中的修正区域；修正步骤包括，在深度图像的修正区域中获取待修正点。由于深度图像的边缘是易于出现错误数据的区域，因此可以利用本公开实施例提供的一种深度图像保边处理方法，着重对保边处理需求较高的深度图像的边缘，进行保边处理。或者，也可以根据需要，对深度图像中指定的区域进行保边处理，以满足不同的深度图像对保边处理需求。
基于相同的发明构思，本公开实施例还提供一种深度图像保边处理装置20，参见图5，所述深度图像保边处理装置20包括：获取模块210，用于获取同一场景下的深度图像和RGB图像；修正模块220，用于深度图像中获取待修正点，根据待修正点在RGB图像中获取与待修正点对应的待处理点，以待处理点为中心，在RGB图像内确定待处理点的待处理窗口，得到待处理窗口内的非待处理点与待处理点的像素差的绝对值；根据像素差的绝对值，获取深度图像中与待处理点对应的待修正点的修正深度值；生成模块230，用于根据修正深度值，生成场景的修正深度图像。
在一例中，RGB图像的待处理点与对应的深度图像的待处理点为相互配准点。因此，在RGB图像中获取待处理点包括：根据深度图像中的待修正点，来获取RGB图像中与待修正点相对应的待处理点。
在一例中，待修正点的修正深度值为深度图像中与待处理窗口内的非待处理点对应的辅助点的深度值的加权平均值；加权平均值中的权重根据非待处理点与待处理点的像素差的绝对值而确定，权重与像素差的绝对值呈负相关。
在一例中，修正模块220还用于：若像素差的绝对值超过像素差阈值，则在根据像素差的绝对值，获取深度图像中与待处理点对应的待修正点的修正值时，去除与绝对值超过像素差阈值的非待处理点相对应的辅助点。
在一例中，获取模块210用于：深度图像通过左右双目立体成像获得；处理窗口尺寸设置为水平方向大于垂直方向。
在一例中，像素差的绝对值包括R、G、B三个通道的像素差的绝对值之和，或，R、G、B三个通道中的像素差的绝对值的最大值。
在一例中，参见图6，在修正模块220之前，深度图像保边处理装置20还包括：中值滤波模块240，用于使用中值滤波的方式对RGB图像进行滤波处理。
在一例中，深度图像保边处理装置还包括，区域获取步骤，其中，区域获取步骤用于根据获取的深度图像，指定修正区域；修正步骤用于，在深度图像的修正区域中获取待修正点。
图7示出了本公开的一个实施方式提供的一种电子设备30。如图5所示，本公开的一个实施方式提供的一种电子设备30，其中，该电子设备30包括存储器310、处理器320、输入/输出(Input/Output，I/O)接口330。其中，存储器310，用于存储指令。处理器320，用于调用存储器310存储的指令执行本公开深度图像保边处理方法。其中，处理器320分别与存储器310、I/O接口330连接，例如可通过总线系统和/或其他形式的连接机构(未示出)进行连接。存储器310可用于存储程序和数据，包括本公开实施例中涉及的深度图像保边处理的程序，处理器320通过运行存储在存储器310的程序从而执行电子设备30的各种功能应用以及数据处理。
本公开实施例中处理器320可以采用数字信号处理器(Digital SignalProcessing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现，所述处理器320可以是中央处理单元(Central Processing Unit，CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元中的一种或几种的组合。
本公开实施例中的存储器310可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(Random Access Memory，RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(Read-OnlyMemory，ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)等。
本公开实施例中，I/O接口330可用于接收输入的指令(例如数字或字符信息，以及产生与电子设备30的用户设置以及功能控制有关的键信号输入等)，也可向外部输出各种信息(例如，图像或声音等)。本公开实施例中I/O接口330可包括物理键盘、功能按键(比如音量控制按键、开关按键等)、鼠标、操作杆、轨迹球、麦克风、扬声器、和触控面板等中的一个或多个。
在一些实施方式中，本公开提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在由处理器执行时，执行上文所述的任何方法。
尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。
本公开的方法和装置能够利用标准编程技术来完成，利用基于规则的逻辑或者其他逻辑来实现各种方法步骤。还应当注意的是，此处以及权利要求书中使用的词语“装置”和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收输入的设备。
此处描述的任何步骤、操作或程序可以使用单独的或与其他设备组合的一个或多个硬件或软件模块来执行或实现。在一个实施方式中，软件模块使用包括包含计算机程序代码的计算机可读介质的计算机程序产品实现，其能够由计算机处理器执行用于执行任何或全部的所描述的步骤、操作或程序。
出于示例和描述的目的，已经给出了本公开实施的前述说明。前述说明并非是穷举性的也并非要将本公开限制到所公开的确切形式，根据上述教导还可能存在各种变形和修改，或者是可能从本公开的实践中得到各种变形和修改。选择和描述这些实施例是为了说明本公开的原理及其实际应用，以使得本领域的技术人员能够以适合于构思的特定用途来以各种实施方式和各种修改而利用本公开。

Claims (8)

1.一种深度图像保边处理方法，其中，所述方法包括：
获取步骤：获取同一场景下的深度图像和RGB图像，所述深度图像是通过左右双目立体成像、TOF成像以及结构光三维成像之一或组合获取的；
区域获取步骤，根据获取的所述深度图像，指定修正区域；
修正步骤：在所述深度图像的所述修正区域中获取待修正点，根据所述待修正点在所述RGB图像中获取与所述待修正点对应的待处理点，以所述待处理点为中心，在所述RGB图像内确定所述待处理点的待处理窗口，得到所述待处理窗口内的非待处理点与所述待处理点的像素差的绝对值；根据所述像素差的绝对值，获取所述深度图像中与所述待处理点对应的待修正点的修正深度值；
其中，所述待修正点的所述修正深度值为所述深度图像中与所述待处理窗口内的所述非待处理点对应的辅助点的深度值的加权平均值；
所述加权平均值中的权重根据所述非待处理点与所述待处理点的所述像素差的绝对值而确定，所述权重与所述像素差的绝对值呈负相关；
若所述深度图像是通过左右双目立体成像获取的，则所述待处理窗口尺寸设置为水平方向大于垂直方向；
生成步骤：根据所述修正深度值，生成所述场景的修正深度图像。
2.根据权利要求1所述的方法，其中，
所述RGB图像的待处理点与对应的所述深度图像的待修正点为相互配准点。
3.根据权利要求1所述的方法，其中，所述修正步骤还包括：
若所述像素差的绝对值超过像素差阈值，则在所述根据所述像素差的绝对值，获取所述深度图像中与所述待处理点对应的待修正点的修正深度值时，去除与所述绝对值超过所述像素差阈值的所述非待处理点相对应的所述辅助点。
4.根据权利要求1所述的方法，其中，
所述像素差的绝对值包括R、G、B三个通道的像素差的绝对值之和，或，所述R、G、B三个通道中像素差的绝对值的最大值。
5.根据权利要求1所述的方法，其中，在所述修正步骤之前，所述方法还包括：
中值滤波步骤，使用中值滤波的方式对所述RGB图像进行滤波处理。
6.一种深度图像保边处理装置，其中，所述装置包括：
获取模块：用于获取同一场景下的深度图像和RGB图像，所述深度图像是通过左右双目立体成像、TOF成像以及结构光三维成像之一或组合获取的；
区域获取模块：用于根据获取的深度图像，指定修正区域；
修正模块：用于在所述深度图像的所述修正区域中获取待修正点，根据所述待修正点在所述RGB图像中获取与所述待修正点对应的待处理点，以所述待处理点为中心，在所述RGB图像内确定所述待处理点的待处理窗口，得到所述待处理窗口内的非待处理点与所述待处理点的像素差的绝对值；根据所述像素差的绝对值，获取所述深度图像中与所述待处理点对应的待修正点的修正深度值；其中，所述待修正点的所述修正深度值为所述深度图像中与所述待处理窗口内的所述非待处理点对应的辅助点的深度值的加权平均值；所述加权平均值中的权重根据所述非待处理点与所述待处理点的所述像素差的绝对值而确定，所述权重与所述像素差的绝对值呈负相关；若所述深度图像是通过左右双目立体成像获取的，则所述待处理窗口尺寸设置为水平方向大于垂直方向；
生成模块：用于根据所述修正深度值，生成所述场景的修正深度图像。
7.一种电子设备，其中，所述电子设备包括：
存储器，用于存储指令；以及
处理器，用于调用所述存储器存储的指令执行权利要求1-5中任一项所述深度图像保边的处理方法。
8.一种计算机可读存储介质，其中，
所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在由处理器执行时，执行权利要求1-5中任一项所述深度图像保边的处理方法。
CN201910542557.0A 2019-06-21 2019-06-21 一种深度图像保边处理方法和装置 Active CN110288543B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910542557.0A CN110288543B (zh) 2019-06-21 2019-06-21 一种深度图像保边处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910542557.0A CN110288543B (zh) 2019-06-21 2019-06-21 一种深度图像保边处理方法和装置

Publications (2)

Publication Number Publication Date
CN110288543A CN110288543A (zh) 2019-09-27
CN110288543B true CN110288543B (zh) 2021-11-30

Family

ID=68005304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910542557.0A Active CN110288543B (zh) 2019-06-21 2019-06-21 一种深度图像保边处理方法和装置

Country Status (1)

Country Link
CN (1) CN110288543B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112165575B (zh) * 2020-09-25 2022-03-18 Oppo（重庆）智能科技有限公司 图像虚化处理方法及装置、存储介质和电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102428501A (zh) * 2009-09-18 2012-04-25 株式会社东芝 图像处理装置
CN103248909A (zh) * 2013-05-21 2013-08-14 清华大学 平面视频转化为立体视频的方法及系统
CN106603942A (zh) * 2016-12-15 2017-04-26 杭州艾芯智能科技有限公司 一种tof相机降噪方法
CN108269280A (zh) * 2018-01-05 2018-07-10 厦门美图之家科技有限公司 一种深度图像的处理方法及移动终端
CN109345580A (zh) * 2018-10-23 2019-02-15 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
CN109903321A (zh) * 2018-10-16 2019-06-18 迈格威科技有限公司 图像处理方法、图像处理装置及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679641B (zh) * 2012-09-26 2016-12-21 株式会社理光 深度图像增强方法和装置
US9530215B2 (en) * 2015-03-20 2016-12-27 Qualcomm Incorporated Systems and methods for enhanced depth map retrieval for moving objects using active sensing technology
CN109582880B (zh) * 2018-12-04 2021-07-09 百度在线网络技术（北京）有限公司 兴趣点信息处理方法、装置、终端及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102428501A (zh) * 2009-09-18 2012-04-25 株式会社东芝 图像处理装置
CN103248909A (zh) * 2013-05-21 2013-08-14 清华大学 平面视频转化为立体视频的方法及系统
CN106603942A (zh) * 2016-12-15 2017-04-26 杭州艾芯智能科技有限公司 一种tof相机降噪方法
CN108269280A (zh) * 2018-01-05 2018-07-10 厦门美图之家科技有限公司 一种深度图像的处理方法及移动终端
CN109903321A (zh) * 2018-10-16 2019-06-18 迈格威科技有限公司 图像处理方法、图像处理装置及存储介质
CN109345580A (zh) * 2018-10-23 2019-02-15 北京字节跳动网络技术有限公司 用于处理图像的方法和装置

Also Published As

Publication number Publication date
CN110288543A (zh) 2019-09-27

Similar Documents

Publication Publication Date Title
CN110189285B (zh) 一种多帧图像融合方法及装置
US20100142828A1 (en) Image matching apparatus and method
CN110349086B (zh) 一种非同心成像条件的图像拼接方法
KR101706216B1 (ko) 고밀도 삼차원 영상 재구성 장치 및 방법
CN109859314B (zh) 三维重建方法、装置、电子设备和存储介质
JP2019215622A5 (zh)
US20230214981A1 (en) Method for detecting appearance defects of a product and electronic device
KR102074555B1 (ko) 비디오 처리를 위한 블록 기반 정적 영역 검출
WO2015177845A1 (ja) 画像処理装置
CN112785635A (zh) 用于深度图像生成的方法和设备
JP2017021759A (ja) 画像処理装置、画像処理方法及びプログラム
CN111161299B (zh) 影像分割方法、存储介质及电子装置
CN110288543B (zh) 一种深度图像保边处理方法和装置
JP2019091122A (ja) デプスマップフィルタ処理装置、デプスマップフィルタ処理方法及びプログラム
US8155386B2 (en) Method and apparatus for obtaining depth information
JP2015207090A (ja) 画像処理装置、及びその制御方法
JPWO2013161839A1 (ja) 画像処理方法、及び画像処理装置
JP6221333B2 (ja) 画像処理装置、画像処理回路及び画像処理方法
CN111885371A (zh) 图像遮挡检测方法、装置、电子设备和计算机可读介质
KR101920159B1 (ko) 지원점 보간법을 이용한 스테레오 매칭 방법 및 장치
JP6601893B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN110852958A (zh) 基于物体倾斜角度的自适应校正方法和装置
JP6175878B2 (ja) 画像処理回路、画像処理装置及び画像処理方法
US9454801B2 (en) Image processing apparatus, method for processing image, and program
CN112200730B (zh) 图像滤波处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant