CN111415310A - 一种图像处理方法及装置、存储介质 - Google Patents

一种图像处理方法及装置、存储介质 Download PDF

Info

Publication number
CN111415310A
CN111415310A CN202010221841.0A CN202010221841A CN111415310A CN 111415310 A CN111415310 A CN 111415310A CN 202010221841 A CN202010221841 A CN 202010221841A CN 111415310 A CN111415310 A CN 111415310A
Authority
CN
China
Prior art keywords
image
edge
filtering
depth image
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010221841.0A
Other languages
English (en)
Other versions
CN111415310B (zh
Inventor
熊伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010221841.0A priority Critical patent/CN111415310B/zh
Publication of CN111415310A publication Critical patent/CN111415310A/zh
Application granted granted Critical
Publication of CN111415310B publication Critical patent/CN111415310B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种图像处理方法及装置、存储介质，方法包括：获取深度图像对应的深度图像边缘，以及彩色图像对应的彩色图像边缘；彩色图像与深度图像为同一拍摄场景的图像信息；利用彩色图像和彩色图像边缘，从深度图像中确定深度图像边缘中每个像素点对应的滤波窗口，得到多个滤波窗口；针对深度图像边缘中每个像素点，利用多个滤波窗口中对应的滤波窗口进行盒式滤波处理。

Description

一种图像处理方法及装置、存储介质
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种图像处理方法及装置、存储介质。
背景技术
深度图像，能够反映真实三维场景在二维成像平面上投影时缺失的景深信息，在三维重建和虚化等应用中具有重要作用。
目前，深度图像获取技术主要包括两种：主动采集和被动计算。其中，主动采集主要是利用深度相机直接对三维场景的空间深度信息进行采集获取，被动计算主要是通过多视角图像进行立体匹配以计算视差，根据多视角几何关系获取深度信息。
采用上述两种技术进行深度图像获取，得到的深度图像通常存在噪声和错误等问题，因此，需要利用联合双边滤波、引导滤波和加权中值滤波等算法对深度图像进行优化处理。然而，采用常用的滤波方式进行深度图像处理，容易导致深度图像中处于边缘部分模糊，深度图像质量较差。
发明内容
本申请实施例提供一种图像处理方法及装置、存储介质，对深度图像中深度图像边缘的像素点进行合理的滤波窗口划分，以进行滤波处理，增强了深度图像边缘的锐利程度，提高了深度图像质量。
本申请实施例的技术方案是这样实现的：
本申请实施例提供了一种图像处理方法，所述方法包括：
获取深度图像对应的深度图像边缘，以及彩色图像对应的彩色图像边缘；所述彩色图像与所述深度图像为同一拍摄场景的图像信息；
利用所述彩色图像和所述彩色图像边缘，从所述深度图像中确定所述深度图像边缘中每个像素点对应的滤波窗口，得到多个滤波窗口；
针对所述深度图像边缘中每个像素点，利用所述多个滤波窗口中对应的滤波窗口进行盒式滤波处理。
在上述方法中，所述获取深度图像对应的深度图像边缘，以及彩色图像对应的彩色图像边缘，包括：
从所述深度图像中获取图像边缘，得到待处理图像边缘；
从所述彩色图像中获取图像边缘，得到所述彩色图像边缘；
利用所述彩色图像边缘对所述待处理图像边缘进行修正处理，得到所述深度图像边缘。
在上述方法中，所述利用所述彩色图像和所述彩色图像边缘，从所述深度图像中确定所述深度图像边缘中每个像素点对应的滤波窗口，得到多个滤波窗口，包括：
从所述彩色图像边缘中，获取与所述深度图像边缘中第一像素点对应的第二像素点；所述第一像素点为所述深度图像边缘中任一像素点；
在所述彩色图像中，划分包括第二像素点的多个局部窗口；
对所述第二像素点在所述多个局部窗口内分别进行加权中值滤波处理，得到多个滤波结果；
基于所述多个滤波结果和所述第二像素点的像素值，确定所述多个滤波窗口中所述第一像素点对应的第一滤波窗口；
继续确定所述深度图像边缘中与所述第一像素点不同的像素点分别对应的滤波窗口，直至得到所述多个滤波窗口。
在上述方法中，所述基于所述多个滤波结果和所述第二像素点的像素值，确定所述多个滤波窗口中所述第一像素点对应的第一滤波窗口，包括：
将所述多个滤波结果中，与所述第二像素点的像素值最接近的滤波结果确定为目标滤波结果；
将所述多个局部窗口中，与所述目标滤波结果对应的局部窗口确定为目标局部窗口；
将所述深度图像中，与所述目标局部窗口对应的图像区域确定为所述第一滤波窗口。
在上述方法中，所述获取深度图像对应的深度图像边缘，以及彩色图像对应的彩色图像边缘之后，所述方法还包括：
将所述深度图像中，与所述深度图像边缘不同的图像区域确定为非边缘区域；
对所述非边缘区域中每个像素点按照预设滤波方式进行滤波处理。
本申请实施例提供了一种图像处理装置，所述装置包括：
获取模块，用于获取深度图像对应的深度图像边缘，以及彩色图像对应的彩色图像边缘；所述彩色图像与所述深度图像为同一拍摄场景的图像信息；
确定模块，用于利用所述彩色图像和所述彩色图像边缘，从所述深度图像中确定所述深度图像边缘中每个像素点对应的滤波窗口，得到多个滤波窗口；
处理模块，用于针对所述深度图像边缘中每个像素点，利用所述多个滤波窗口中对应的滤波窗口进行盒式滤波处理。
在上述装置中，所述获取模块，具体用于从所述深度图像中获取图像边缘，得到待处理图像边缘；从所述彩色图像中获取图像边缘，得到所述彩色图像边缘；利用所述彩色图像边缘对所述待处理图像边缘进行修正处理，得到所述深度图像边缘。
在上述装置中，所述确定模块，具体用于从所述彩色图像边缘中，获取与所述深度图像边缘中第一像素点对应的第二像素点；所述第一像素点为所述深度图像边缘中任一像素点；在所述彩色图像中，划分包括第二像素点的多个局部窗口；对所述第二像素点在所述多个局部窗口内分别进行加权中值滤波处理，得到多个滤波结果；基于所述多个滤波结果和所述第二像素点的像素值，确定所述多个滤波窗口中所述第一像素点对应的第一滤波窗口；继续确定所述深度图像边缘中与所述第一像素点不同的像素点分别对应的滤波窗口，直至得到所述多个滤波窗口。
在上述装置中，所述确定模块，具体用于将所述多个滤波结果中，与所述第二像素点的像素值最接近的滤波结果确定为目标滤波结果；将所述多个局部窗口中，与所述目标滤波结果对应的局部窗口确定为目标局部窗口；将所述深度图像中，与所述目标局部窗口对应的图像区域确定为所述第一滤波窗口。
在上述装置中，所述处理模块，还用于将所述深度图像中，与所述深度图像边缘不同的图像区域确定为非边缘区域；对所述非边缘区域中每个像素点按照预设滤波方式进行滤波处理。
本申请实施例提供了一种图像处理装置，所述装置包括处理器、存储器和通信总线；
所述通信总线，用于实现所述处理器和所述存储器之间的通信连接；
所述处理器，用于执行所述存储器中存储的图像处理程序，以实现上述图像处理方法。
本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述图像处理方法。
本申请实施例提供了一种图像处理方法，包括：获取深度图像对应的深度图像边缘，以及彩色图像对应的彩色图像边缘；彩色图像与深度图像为同一拍摄场景的图像信息；利用彩色图像和彩色图像边缘，从深度图像中确定深度图像边缘中每个像素点对应的滤波窗口，得到多个滤波窗口；针对深度图像边缘中每个像素点，利用多个滤波窗口中对应的滤波窗口进行盒式滤波处理。本申请实施例提供的技术方案，对深度图像中深度图像边缘的像素点进行合理的滤波窗口划分，以进行滤波处理，增强了深度图像边缘的锐利程度，提高了深度图像质量。
附图说明
图1为本申请实施例提供的一种图像处理方法的流程示意图；
图2为本申请实施例提供的一种示例性的局部窗口示意图一；
图3为本申请实施例提供的一种示例性的局部窗口示意图二；
图4为本申请实施例提供的一种示例性的局部窗口示意图三；
图5为本申请实施例提供的一种图像处理装置的结构示意图一；
图6为本申请实施例提供的一种图像处理装置的结构示意图二。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供了一种图像处理方法，通过图像处理装置实现。图像处理装置可以为手机、平板电脑等终端，本申请实施例不作限定。图1为本申请实施例提供的一种图像处理方法的流程示意图。如图1所示，图像处理方法主要包括以下步骤：
S101、获取深度图像对应的深度图像边缘，以及彩色图像对应的彩色图像边缘；彩色图像与深度图像为同一拍摄场景的图像信息。
在本申请的实施例中，图像处理装置可以获取深度图像和彩色图像的图像边缘，从而得到深度图像对应的深度图像边缘和彩色图像对应的彩色图像边缘。
需要说明的是，在本申请的实施例中，彩色图像和深度图像是针对同一拍摄场景进行的两种不同类型拍摄所得到的图像信息。其中，彩色图像反映了拍摄场景的色彩组成，深度图像反映了拍摄场景的深度信息。具体的彩色图像和深度图像本申请实施例不作限定。
需要说明的是，在本申请的实施例中，在图像处理装置包括获取特定的成像器件的情况下，可以直接自主采集彩色图像和深度图像，此外，图像处理装置也可以接收成像装置采集并传输的彩色图像和深度图像。具体的彩色图像和深度图像的来源本申请实施例不作限定。
具体的，在本申请的实施例中，图像处理装置获取深度图像对应的深度图像边缘，以及彩色图像对应的彩色图像边缘，包括：从深度图像中获取图像边缘，得到待处理图像边缘；从彩色图像中获取图像边缘，得到彩色图像边缘；利用彩色图像边缘对待处理图像边缘进行修正处理，得到深度图像边缘。
需要说明的是，在本申请的实施例中，图像处理装置可以利用边缘检测算法对深度图像和彩色图像分别进行图像边缘提取，从而得到待处理图像边缘和彩色图像边缘。当然，图像处理装置还可以利用其它的算法或方式进行图像边缘的提取，具体的获取图像边缘的方式可以根据实际需求进行选择，本申请实施例不作限定。
需要说明的是，在本申请的实施例中，图像处理装置利用彩色图像边缘对待处理图像边缘进行修正处理，具体可以包括：对待处理图像边缘进行膨胀处理，得到已膨胀图像边缘，之后，根据彩色图像边缘对已膨胀图像边缘进行修正处理，得到深度图像边缘。
需要说明的是，在本申请的实施例中，图像处理装置根据彩色图像边缘对已膨胀图像边缘进行修正处理，可以是将已膨胀图像边缘中，与彩色图像边缘对应位置处缺失的像素点进行补充，或者，多余的像素点进行删除，当然，也可以进行其它方式的修正，本申请实施例不作限定。
可以理解的是，在本申请的实施例中，图像处理装置利用彩色图像中提取的彩色图像边缘，对深度图像中提取的待处理图像边缘进行修正，从而能够得到更为准确的深度图像对应的图像边缘，后续进行滤波处理也能够得到更佳的处理效果。
S102、利用彩色图像和彩色图像边缘，从深度图像中确定深度图像边缘中每个像素点对应的滤波窗口，得到多个滤波窗口。
在本申请的实施例中，图像处理装置在获得深度图像对应的深度图像边缘，以及彩色图像对应的彩色图像边缘之后，进一步的，利用彩色图像和彩色图像边缘，从深度图像中确定深度图像边缘中每个像素点对应的滤波窗口，从而得到多个滤波窗口。
具体的，在本申请的实施例中，图像处理装置利用彩色图像和彩色图像边缘，从深度图像中确定深度图像边缘中每个像素点对应的滤波窗口，得到多个滤波窗口，包括：从彩色图像边缘中，获取与深度图像边缘中第一像素点对应的第二像素点；第一像素点为深度图像边缘中任一像素点；在彩色图像中，划分包括第二像素点的多个局部窗口；对第二像素点在多个局部窗口内分布进行加权中值滤波处理，得到多个滤波结果；基于多个滤波结果和第二像素点的像素值，确定多个滤波窗口中第一像素点对应的第一滤波窗口；继续确定深度图像边缘中与第一像素点不同的像素点分别对应的滤波窗口，直至得到多个滤波窗口。
可以理解的是，在本申请的实施例中，深度图像边缘和彩色图像边缘是对应关系，即深度图像边缘中的每个像素点，在彩色图像边缘中存在对应的像素点。第一像素点为深度图像边缘中任一像素点，第二像素点为彩色图像边缘中与第一像素点处于同一位置的像素点。
需要说明的是，在本申请的实施例中，图像处理装置可以在彩色图像中，按照特定的划分方式进行第二像素点的多个局部窗口的划分，其中，每个局部窗口均包括第二像素点。具体的划分方式和局部窗口的数量可以根据实际需求确定，本申请实施例不作限定。
示例性的，在本申请的实施例中，如图2至图4所示，针对第二像素点i，图像处理装置可以以i(x，y)为中心，在r×r的窗口内，按照左、右、上、下、西北、东北、西南和东南进行划分，得到8个局部窗口，分别为L、R、U、D、NW、NE、SW和SE。
需要说明的是，在本申请的实施例中，图像处理装置对第二像素点在多个局部窗口中每个局部窗口，分别进行加权中值滤波处理，从而得到相应的滤波结果。也就是说，一个局部窗口实际上对应一个滤波结果。
具体的，在本申请的实施例中，图像处理装置按照以下公式(1)至公式(3)对第二像素点在每个局部窗口内进行加权中值滤波处理：
Figure BDA0002426362540000071
Figure BDA0002426362540000072
Wij＝exp((qi-qj)/2×σ) (3)
其中，In为第二像素点在多个局部窗口S中，局部窗口n所包括的图像区域
Figure BDA0002426362540000081
内进行加权中值滤波处理得到的滤波结果，qj为
Figure BDA0002426362540000082
中像素点j的像素值，qi为第二像素点i的像素值，Wij为像素点j的权重，σ为权重参数，该权重可以根据实际需求预先设置，本申请实施例不作限定。
需要说明的是，在本申请的实施例中，图像处理装置针对于第二像素点分布在其划分出的多个局部窗口进行加权中值滤波处理，具体均利用公式(1)至公式(3)实现，再次不再赘述。
具体的，在本申请的实施例中，图像处理装置在得到多个滤波结果之后，基于多个滤波结果和第二像素点的像素值，确定多个滤波窗口中第一像素点对应的第一滤波窗口，包括：将多个滤波结果中，与第二像素点的像素值最接近的滤波结果确定为目标滤波结果；将多个局部窗口中，与目标滤波结果对应的局部窗口确定为目标局部窗口；将深度图像中，与目标局部窗口对应的图像区域确定为第一滤波窗口。
需要说明的是，在本申请的实施例中，图像处理装置可以通过分别计算第二像素点的像素值和多个滤波结果中的每个滤波结果之间的范数，衡量滤波结果和下第二像素点的像素值差异，从而确定目标滤波结果，具体可以采用以下公式(4)：
Figure BDA0002426362540000083
其中，Im为目标滤波结果。
可以理解的是，在本申请的实施例中，多个滤波结果中，每个滤波结果为第二像素点在多个局部窗口中一个局部窗口内进行加权中值滤波的结果，因此，图像处理装置可以从多个局部窗口中，确定出与目标滤波结果对应的局部窗口，以作为目标局部窗口。
需要说明的是，在本申请的实施例中，深度图像边缘中第一像素点与彩色图像边缘中的第二像素点为对应关系，在彩色图像中包括第二像素点的目标局部窗口，在深度图像中对应存在大小位置和目标局部窗口对应的图像区域，该图像区域中包括第一像素点，第一像素点在该图像区域中所处位置与第二像素点在目标局部窗口所处位置是相同的，图像处理装置可以将该图像区域确定为第一像素点对应的第一滤波窗口。
可以理解的是，在本申请的实施例中，图像处理装置针对于深度图像对应的深度图像边缘中每个像素点，即边缘像素点，均可以采用上述方式确定相应的滤波窗口，从而得到多个滤波窗口，在此不再赘述。
S103、针对深度图像边缘中的每个像素点，利用多个滤波窗口中对应的滤波窗口进行盒式滤波处理。
在本申请的实施例中，图像处理装置在得到深度图像边缘中每个像素点对应的滤波窗口，即可针对深度图像边缘中每个像素点，利用相应的滤波窗口进行盒式滤波处理。
需要说明的是，在本申请的实施例中，图像处理装置可以针对深度图像边缘中每个像素点，将相应滤波窗口内的像素点的像素值进行均值计算，从而将深度图像边缘中相应像素点的像素值更新为得到的平均像素值。
需要说明的是，在本申请的实施例中，图像处理装置在执行步骤S101之后，还可以执行以下步骤：将深度图像中，与深度图像边缘不同的图像区域确定为非边缘区域；对非边缘区域中每个像素点按照预设滤波方式进行滤波处理。
需要说明的是，在本申请的实施例中，对于深度图像中与深度图像边缘不同的图像区域，图像处理装置其可以采用常用的滤波处理方式进行处理，例如，也可以采用盒式滤波处理，但是，其非边缘区域中每个像素点的滤波窗口，实际上是以该像素点为中心的特定尺寸的窗口，与上述针对深度图像边缘中像素点不同，非边缘区域中像素点的相邻像素点不涉及到变化较大的情况，因此，不需要去划分多个窗口进行滤波窗口的选择。此外，图像处理装置还可以采用最小二乘法等全局性的算法对非边缘区域的像素点进行滤波处理，能够进一步提升深度图像的平滑渐变特性。具体的预设滤波方式可以根据实际处理能力和需求选择，本申请实施例不作限定。
需要说明的是，在本申请的实施例中，图像处理装置在获取到置信度图像和强度图像的情况下，还可以融合强度图像和彩色图像提升深度图像边缘检测的准确性，此外，在对深度图像进行滤波处理时，结合置信度图像进行加权，也可以有效的提升深度图像的质量。
本申请实施例提供了一种图像处理方法，包括：获取深度图像对应的深度图像边缘，以及彩色图像对应的彩色图像边缘；彩色图像与深度图像为同一拍摄场景的图像信息；利用彩色图像和彩色图像边缘，从深度图像中确定深度图像边缘中每个像素点对应的滤波窗口，得到多个滤波窗口；针对深度图像边缘中每个像素点，利用多个滤波窗口中对应的滤波窗口进行盒式滤波处理。本申请实施例提供的技术方案，对深度图像中深度图像边缘的像素点进行合理的滤波窗口划分，以进行滤波处理，增强了深度图像边缘的锐利程度，提高了深度图像质量。
本申请实施例还提供了一种图像处理装置。图5为本申请实施例提供的一种图像处理装置的结构示意图一。如图5所示，图像处理装置包括：
获取模块501，用于获取深度图像对应的深度图像边缘，以及彩色图像对应的彩色图像边缘；所述彩色图像与所述深度图像为同一拍摄场景的图像信息；
确定模块502，用于利用所述彩色图像和所述彩色图像边缘，从所述深度图像中确定所述深度图像边缘中每个像素点对应的滤波窗口，得到多个滤波窗口；
处理模块503，用于针对所述深度图像边缘中每个像素点，利用所述多个滤波窗口中对应的滤波窗口进行盒式滤波处理。
可选的，所述获取模块501，具体用于从所述深度图像中获取图像边缘，得到待处理图像边缘；从所述彩色图像中获取图像边缘，得到所述彩色图像边缘；利用所述彩色图像边缘对所述待处理图像边缘进行修正处理，得到所述深度图像边缘。
可选的，所述确定模块502，具体用于从所述彩色图像边缘中，获取与所述深度图像边缘中第一像素点对应的第二像素点；所述第一像素点为所述深度图像边缘中任一像素点；在所述彩色图像中，划分包括第二像素点的多个局部窗口；对所述第二像素点在所述多个局部窗口内分别进行加权中值滤波处理，得到多个滤波结果；基于所述多个滤波结果和所述第二像素点的像素值，确定所述多个滤波窗口中所述第一像素点对应的第一滤波窗口；继续确定所述深度图像边缘中与所述第一像素点不同的像素点分别对应的滤波窗口，直至得到所述多个滤波窗口。
可选的，所述确定模块502，具体用于将所述多个滤波结果中，与所述第二像素点的像素值最接近的滤波结果确定为目标滤波结果；将所述多个局部窗口中，与所述目标滤波结果对应的局部窗口确定为目标局部窗口；将所述深度图像中，与所述目标局部窗口对应的图像区域确定为所述第一滤波窗口。
可选的，所述处理模块503，还用于将所述深度图像中，与所述深度图像边缘不同的图像区域确定为非边缘区域；对所述非边缘区域中每个像素点按照预设滤波方式进行滤波处理。
图6为本申请实施例提供的一种图像处理装置的结构示意图二。如图6所示，所述装置包括处理器601、存储器602和通信总线603；
所述通信总线603，用于实现所述处理器601和所述存储器602之间的通信连接；
所述处理器601，用于执行所述存储器602中存储的图像处理程序，以实现上述图像处理方法。
本申请实施例提供了一种图像处理装置，获取深度图像对应的深度图像边缘，以及彩色图像对应的彩色图像边缘；彩色图像与深度图像为同一拍摄场景的图像信息；利用彩色图像和彩色图像边缘，从深度图像中确定深度图像边缘中每个像素点对应的滤波窗口，得到多个滤波窗口；针对深度图像边缘中每个像素点，利用多个滤波窗口中对应的滤波窗口进行盒式滤波处理。本申请实施例提供的图像处理装置，对深度图像中深度图像边缘的像素点进行合理的滤波窗口划分，以进行滤波处理，增强了深度图像边缘的锐利程度，提高了深度图像质量。
本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述图像处理方法。计算机可读存储介质可以是是易失性存储器(volatile memory)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatile memory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；也可以是包括上述存储器之一或任意组合的各自设备，如移动电话、计算机、平板设备、个人数字助理
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本实用申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括：
获取深度图像对应的深度图像边缘，以及彩色图像对应的彩色图像边缘；所述彩色图像与所述深度图像为同一拍摄场景的图像信息；
利用所述彩色图像和所述彩色图像边缘，从所述深度图像中确定所述深度图像边缘中每个像素点对应的滤波窗口，得到多个滤波窗口；
针对所述深度图像边缘中每个像素点，利用所述多个滤波窗口中对应的滤波窗口进行盒式滤波处理。
2.根据权利要求1所述的方法，其特征在于，所述获取深度图像对应的深度图像边缘，以及彩色图像对应的彩色图像边缘，包括：
从所述深度图像中获取图像边缘，得到待处理图像边缘；
从所述彩色图像中获取图像边缘，得到所述彩色图像边缘；
利用所述彩色图像边缘对所述待处理图像边缘进行修正处理，得到所述深度图像边缘。
3.根据权利要求1所述的方法，其特征在于，所述利用所述彩色图像和所述彩色图像边缘，从所述深度图像中确定所述深度图像边缘中每个像素点对应的滤波窗口，得到多个滤波窗口，包括：
从所述彩色图像边缘中，获取与所述深度图像边缘中第一像素点对应的第二像素点；所述第一像素点为所述深度图像边缘中任一像素点；
在所述彩色图像中，划分包括第二像素点的多个局部窗口；
对所述第二像素点在所述多个局部窗口内分别进行加权中值滤波处理，得到多个滤波结果；
基于所述多个滤波结果和所述第二像素点的像素值，确定所述多个滤波窗口中所述第一像素点对应的第一滤波窗口；
继续确定所述深度图像边缘中与所述第一像素点不同的像素点分别对应的滤波窗口，直至得到所述多个滤波窗口。
4.根据权利要求3所述的方法，其特征在于，所述基于所述多个滤波结果和所述第二像素点的像素值，确定所述多个滤波窗口中所述第一像素点对应的第一滤波窗口，包括：
将所述多个滤波结果中，与所述第二像素点的像素值最接近的滤波结果确定为目标滤波结果；
将所述多个局部窗口中，与所述目标滤波结果对应的局部窗口确定为目标局部窗口；
将所述深度图像中，与所述目标局部窗口对应的图像区域确定为所述第一滤波窗口。
5.根据权利要求1所述的方法，其特征在于，所述获取深度图像对应的深度图像边缘，以及彩色图像对应的彩色图像边缘之后，所述方法还包括：
将所述深度图像中，与所述深度图像边缘不同的图像区域确定为非边缘区域；
对所述非边缘区域中每个像素点按照预设滤波方式进行滤波处理。
6.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取深度图像对应的深度图像边缘，以及彩色图像对应的彩色图像边缘；所述彩色图像与所述深度图像为同一拍摄场景的图像信息；
确定模块，用于利用所述彩色图像和所述彩色图像边缘，从所述深度图像中确定所述深度图像边缘中每个像素点对应的滤波窗口，得到多个滤波窗口；
处理模块，用于针对所述深度图像边缘中每个像素点，利用所述多个滤波窗口中对应的滤波窗口进行盒式滤波处理。
7.根据权利要求6所述的装置，其特征在于，
所述获取模块，具体用于从所述深度图像中获取图像边缘，得到待处理图像边缘；从所述彩色图像中获取图像边缘，得到所述彩色图像边缘；利用所述彩色图像边缘对所述待处理图像边缘进行修正处理，得到所述深度图像边缘。
8.根据权利要求6所述的装置，其特征在于，
所述确定模块，具体用于从所述彩色图像边缘中，获取与所述深度图像边缘中第一像素点对应的第二像素点；所述第一像素点为所述深度图像边缘中任一像素点；在所述彩色图像中，划分包括第二像素点的多个局部窗口；对所述第二像素点在所述多个局部窗口内分别进行加权中值滤波处理，得到多个滤波结果；基于所述多个滤波结果和所述第二像素点的像素值，确定所述多个滤波窗口中所述第一像素点对应的第一滤波窗口；继续确定所述深度图像边缘中与所述第一像素点不同的像素点分别对应的滤波窗口，直至得到所述多个滤波窗口。
9.根据权利要求8所述的装置，其特征在于，
所述确定模块，具体用于将所述多个滤波结果中，与所述第二像素点的像素值最接近的滤波结果确定为目标滤波结果；将所述多个局部窗口中，与所述目标滤波结果对应的局部窗口确定为目标局部窗口；将所述深度图像中，与所述目标局部窗口对应的图像区域确定为所述第一滤波窗口。
10.根据权利要求6所述的装置，其特征在于，
所述处理模块，还用于将所述深度图像中，与所述深度图像边缘不同的图像区域确定为非边缘区域；对所述非边缘区域中每个像素点按照预设滤波方式进行滤波处理。
11.一种图像处理装置，其特征在于，所述装置包括处理器、存储器和通信总线；
所述通信总线，用于实现所述处理器和所述存储器之间的通信连接；
所述处理器，用于执行所述存储器中存储的图像处理程序，以实现权利要求1-5任一项所述的图像处理方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-5任一项所述的图像处理方法。
CN202010221841.0A 2020-03-26 2020-03-26 一种图像处理方法及装置、存储介质 Active CN111415310B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010221841.0A CN111415310B (zh) 2020-03-26 2020-03-26 一种图像处理方法及装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010221841.0A CN111415310B (zh) 2020-03-26 2020-03-26 一种图像处理方法及装置、存储介质

Publications (2)

Publication Number Publication Date
CN111415310A true CN111415310A (zh) 2020-07-14
CN111415310B CN111415310B (zh) 2023-06-30

Family

ID=71494709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010221841.0A Active CN111415310B (zh) 2020-03-26 2020-03-26 一种图像处理方法及装置、存储介质

Country Status (1)

Country Link
CN (1) CN111415310B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112346076A (zh) * 2020-11-25 2021-02-09 Oppo（重庆）智能科技有限公司 电子装置的控制方法、电子装置及计算机可读存储介质
CN112446837A (zh) * 2020-11-10 2021-03-05 浙江大华技术股份有限公司 图像滤波方法、电子设备及存储介质
CN113487514A (zh) * 2021-07-22 2021-10-08 Oppo广东移动通信有限公司 图像处理方法、装置、终端和可读存储介质
CN113793349A (zh) * 2021-01-05 2021-12-14 北京京东乾石科技有限公司 目标检测方法及装置、计算机可读存储介质、电子设备
CN113916192A (zh) * 2021-11-05 2022-01-11 郑州信息科技职业学院 喀斯特溶洞图像采集监测与成像系统
CN114004856A (zh) * 2021-11-12 2022-02-01 广东三维家信息科技有限公司 一种深度图像滤波方法、装置、电子设备
CN114972123A (zh) * 2022-07-28 2022-08-30 点昀技术(南通)有限公司 图像去噪处理方法及装置、计算机设备和可读存储介质
CN115205156A (zh) * 2022-07-27 2022-10-18 上海物骐微电子有限公司 无失真的中值滤波边界填充方法及装置、电子设备、存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120002863A1 (en) * 2010-07-02 2012-01-05 Samsung Electronics Co., Ltd. Depth image encoding apparatus and depth image decoding apparatus using loop-filter, method and medium
CN103927717A (zh) * 2014-03-28 2014-07-16 上海交通大学 基于改进型双边滤波的深度图像恢复方法
CN109598736A (zh) * 2018-11-30 2019-04-09 深圳奥比中光科技有限公司 深度图像与彩色图像的配准方法及装置
CN109636748A (zh) * 2018-12-04 2019-04-16 青岛小鸟看看科技有限公司 一种深度图像的去噪方法、装置和电子设备
US20190333237A1 (en) * 2016-07-19 2019-10-31 Fotonation Limited Systems and methods for providing depth map information
CN110490829A (zh) * 2019-08-26 2019-11-22 北京华捷艾米科技有限公司 一种深度图像的滤波方法及系统
CN110490797A (zh) * 2019-07-05 2019-11-22 苏州江奥光电科技有限公司 一种基于双流深层卷积网络的深度图像超分辨率重建方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120002863A1 (en) * 2010-07-02 2012-01-05 Samsung Electronics Co., Ltd. Depth image encoding apparatus and depth image decoding apparatus using loop-filter, method and medium
CN103927717A (zh) * 2014-03-28 2014-07-16 上海交通大学 基于改进型双边滤波的深度图像恢复方法
US20190333237A1 (en) * 2016-07-19 2019-10-31 Fotonation Limited Systems and methods for providing depth map information
CN109598736A (zh) * 2018-11-30 2019-04-09 深圳奥比中光科技有限公司 深度图像与彩色图像的配准方法及装置
CN109636748A (zh) * 2018-12-04 2019-04-16 青岛小鸟看看科技有限公司 一种深度图像的去噪方法、装置和电子设备
CN110490797A (zh) * 2019-07-05 2019-11-22 苏州江奥光电科技有限公司 一种基于双流深层卷积网络的深度图像超分辨率重建方法
CN110490829A (zh) * 2019-08-26 2019-11-22 北京华捷艾米科技有限公司 一种深度图像的滤波方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
李宇翔等: "纹理边缘引导的深度图像超分辨率重建" *
潘云峰等: "一种面向视点绘制的深度图像后处理方法" *
钱钧;李良福;周锋飞;王超;邹彬;: "基于结构特征引导滤波的深度图像增强算法研究" *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446837A (zh) * 2020-11-10 2021-03-05 浙江大华技术股份有限公司 图像滤波方法、电子设备及存储介质
CN112346076A (zh) * 2020-11-25 2021-02-09 Oppo（重庆）智能科技有限公司 电子装置的控制方法、电子装置及计算机可读存储介质
CN113793349A (zh) * 2021-01-05 2021-12-14 北京京东乾石科技有限公司 目标检测方法及装置、计算机可读存储介质、电子设备
CN113487514A (zh) * 2021-07-22 2021-10-08 Oppo广东移动通信有限公司 图像处理方法、装置、终端和可读存储介质
CN113916192A (zh) * 2021-11-05 2022-01-11 郑州信息科技职业学院 喀斯特溶洞图像采集监测与成像系统
CN113916192B (zh) * 2021-11-05 2023-06-23 郑州信息科技职业学院 喀斯特溶洞图像采集监测与成像系统
CN114004856A (zh) * 2021-11-12 2022-02-01 广东三维家信息科技有限公司 一种深度图像滤波方法、装置、电子设备
CN115205156A (zh) * 2022-07-27 2022-10-18 上海物骐微电子有限公司 无失真的中值滤波边界填充方法及装置、电子设备、存储介质
CN114972123A (zh) * 2022-07-28 2022-08-30 点昀技术(南通)有限公司 图像去噪处理方法及装置、计算机设备和可读存储介质

Also Published As

Publication number Publication date
CN111415310B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN111415310B (zh) 一种图像处理方法及装置、存储介质
KR101706216B1 (ko) 고밀도 삼차원 영상 재구성 장치 및 방법
CN112116639B (zh) 一种图像配准方法、装置及电子设备和存储介质
US8363985B2 (en) Image generation method and apparatus, program therefor, and storage medium which stores the program
EP2811457B1 (en) Image processing method and apparatus
US8355596B2 (en) Image generation method and apparatus, program therefor, and storage medium which stores the program
JP7116262B2 (ja) 画像深度推定方法および装置、電子機器、ならびに記憶媒体
CN108449543A (zh) 图像合成的方法、装置、计算机存储介质及电子设备
CN109859314B (zh) 三维重建方法、装置、电子设备和存储介质
CN106952247B (zh) 一种双摄像头终端及其图像处理方法和系统
KR20170070620A (ko) 스테레오 영상 매칭 방법 및 장치
CN111161136B (zh) 图像虚化方法、图像虚化装置、设备及存储装置
CN109257540B (zh) 多摄镜头组的摄影校正方法及摄影装置
CN105466399A (zh) 快速半全局密集匹配方法和装置
CN111385461A (zh) 全景拍摄方法及装置、相机、移动终端
KR100943635B1 (ko) 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법
CN113793257B (zh) 图像处理方法及装置、电子设备、计算机可读存储介质
CN116012432A (zh) 立体全景图像的生成方法、装置和计算机设备
CN117274605B (zh) 一种从无人机拍摄的照片中提取水域轮廓的方法及装置
CN112529773B (zh) Qpd图像后处理方法及qpd相机
CN109712230B (zh) 三维模型补充方法、装置、存储介质及处理器
CN116456191A (zh) 图像生成方法、装置、设备及计算机可读存储介质
CN111524075B (zh) 深度图像滤波方法、图像合成方法、装置、设备及介质
CN113888614B (zh) 深度恢复方法、电子设备和计算机可读存储介质
KR102633159B1 (ko) 이미지 프로세싱을 이용한 3차원 모델 복원 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant