CN107204011A - 一种深度图生成方法和装置 - Google Patents

一种深度图生成方法和装置 Download PDF

Info

Publication number
CN107204011A
CN107204011A CN201710487012.5A CN201710487012A CN107204011A CN 107204011 A CN107204011 A CN 107204011A CN 201710487012 A CN201710487012 A CN 201710487012A CN 107204011 A CN107204011 A CN 107204011A
Authority
CN
China
Prior art keywords
original
block
image
picture block
image block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710487012.5A
Other languages
English (en)
Inventor
张毅军
徐小丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wanwei Yunshi (shanghai) Digital Technology Co Ltd
Original Assignee
Wanwei Yunshi (shanghai) Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wanwei Yunshi (shanghai) Digital Technology Co Ltd filed Critical Wanwei Yunshi (shanghai) Digital Technology Co Ltd
Priority to CN201710487012.5A priority Critical patent/CN107204011A/zh
Publication of CN107204011A publication Critical patent/CN107204011A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种深度图生成方法和装置，包括：将接收到的原始图像转换为原始灰度图，将接收到的参考图像转换为参考灰度图；将原始灰度图划分为多个原始图像块，将参考灰度图划分为多个参考图像块；针对多个原始图像块中的每个原始图像块，利用预设的搜索算法，在多个参考图像块中，确定与该原始图像块匹配的目标参考图像块，根据目标参考图像块和该原始图像块，计算该原始图像块的深度值；基于确定的各个原始图像块的深度值，对原始灰度图进行融合处理，得到第一图像；对原始图像进行聚类和滤波处理，得到第二图像；根据第二图像，对第一图像进行滤波处理，得到原始图像的深度图。本发明还公开相应的深度图生成装置。

Description

一种深度图生成方法和装置
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种深度图生成方法 和装置。
背景技术
目前，从不同视角获取的两个图像，可通过在两个图像中标识匹配的 图像区域，通过在这些图像区域的位置之间的相对偏移来估计图像的深度。 因此，可应用块匹配算法来估计两个图像之间的像差(disparity)，该像 差直接指示对应图像的深度。然而，很多深度图的问题，特别是由多个图 像中的像差估计所生成的深度图的问题在于它们往往不如期望的那样在空 间上和时间上稳定，另外，生成的深度图不够滤波、噪声也比较大。
发明内容
有鉴于此，本发明的目的在于提供一种深度图生成方法和装置，用于 解决现有技术无法降低深度图的噪声得到滤波深度图的问题。
第一方面，本发明提供一种深度图生成方法，包括：
将接收到的原始图像转换为原始灰度图，将接收到的参考图像转换为 参考灰度图；
将所述原始灰度图划分为多个原始图像块，将所述参考灰度图划分为 多个参考图像块；
针对多个原始图像块中的每个原始图像块，利用预设的搜索算法，在 所述多个参考图像块中，确定与该原始图像块匹配的目标参考图像块，根 据所述目标参考图像块和该原始图像块，采用运动估计算法计算该原始图 像块的运动矢量，根据所述运动矢量，计算该原始图像块的深度值，所述 运动矢量为原始图像块与确定的目标参考图像块之间的偏移量；
基于确定的各个原始图像块的深度值和所述原始灰度图，生成第一图 像；
对所述原始图像进行聚类和滤波处理，得到第二图像；
根据所述第二图像，对所述第一图像进行滤波处理，得到原始图像的 深度图。
可选地，所述针对多个原始图像块中的每个原始图像块，利用预设的 搜索算法，在所述多个参考图像块中，确定与该原始图像块匹配的目标参 考图像块，包括：
针对多个原始图像块中的每个原始图像块，根据该原始图像块的位置， 在所述多个参考图像块中，确定第一预设范围内的至少一个参考图像块和 该第一预设范围的第一中心点，计算该原始图像块与第一预设范围内的各 个参考图像块之间的第一相关度，基于各个所述第一相关度，确定所述第 一中心点对应的参考图像块是否与该原始图像块匹配；
在确定所述第一中心点对应的参考图像块与该原始图像块匹配后，根 据该第一中心点对应的参考图像块的位置，在所述多个参考图像块中，确 定第二预设范围内的至少一个参考图像块和该第二预设范围的第二中心点， 计算该原始图像块与第二预设范围内的各个参考图像块之间的第二相关度， 基于各个所述第二相关度，确定所述第二中心点对应的参考图像块是否与 该原始图像块匹配；
在确定所述第二中心点对应的参考图像块与该原始图像块匹配后，将 该第二中心点对应的参考图像块确定为目标参考图像块。
可选地，所述采用运动估计算法计算该原始图像块的运动矢量，包括：
在确定与该原始图像块匹配的目标参考图像块后，根据该目标参考图 像块与该原始图像块之间的相关度，以及该目标参考图像块的灰度值和该 原始图像块的灰度值，确定该原始图像块的运动矢量。
可选地，所述根据所述运动矢量，计算该原始图像块的深度值，包括：
确定该原始图像块的运动矢量是否在预设的矢量范围内；
在确定该原始图像块的运动矢量在预设的矢量范围内时，则确定该原 始图像块的深度值为预设深度值；
在确定该原始图像块的运动矢量不在预设的矢量范围内时，则基于所 述矢量范围的上界限值和运动矢量，以及各个原始图像块的运动矢量中的 最大值和最小值，计算该原始图像块的深度值。
可选地，所述对所述原始图像进行降噪和滤波处理，得到第二图像， 包括：
采用颜色聚类算法对原始图像进行聚类处理，得到聚类图像；
根据所述聚类图像，采用联合双边滤波算法对所述原始图像进行滤波 处理，得到第二图像。
第二方面，本发明实施例提供一种深度图生成装置，包括：
第一处理单元，用于将接收到的原始图像转换为原始灰度图，将接收 到的参考图像转换为参考灰度图；
第二处理单元，用于将所述原始灰度图划分为多个原始图像块，将所 述参考灰度图划分为多个参考图像块；
第三处理单元，用于针对多个原始图像块中的每个原始图像块，利用 预设的搜索算法，在所述多个参考图像块中，确定与该原始图像块匹配的 目标参考图像块，根据所述目标参考图像块和该原始图像块，采用运动估 计算法计算该原始图像块的运动矢量，根据所述运动矢量，计算该原始图 像块的深度值，所述运动矢量为原始图像块与确定的目标参考图像块之间 的偏移量；
第四处理单元，用于基于确定的各个原始图像块的深度值和所述原始 灰度图，生成第一图像；
第五处理单元，用于对所述原始图像进行聚类和滤波处理，得到第二 图像；
第六处理单元，用于根据所述第二图像，对所述第一图像进行滤波处 理，得到原始图像的深度图。
可选地，所述第三处理单元具体用于：
针对多个原始图像块中的每个原始图像块，根据该原始图像块的位置， 在所述多个参考图像块中，确定第一预设范围内的至少一个参考图像块和 该第一预设范围的第一中心点，计算该原始图像块与第一预设范围内的各 个参考图像块之间的第一相关度，基于各个所述第一相关度，确定所述第 一中心点对应的参考图像块是否与该原始图像块匹配；
在确定所述第一中心点对应的参考图像块与该原始图像块匹配后，根 据该第一中心点对应的参考图像块的位置，在所述多个参考图像块中，确 定第二预设范围内的至少一个参考图像块和该第二预设范围的第二中心点， 计算该原始图像块与第二预设范围内的各个参考图像块之间的第二相关度， 基于各个所述第二相关度，确定所述第二中心点对应的参考图像块是否与 该原始图像块匹配；
在确定所述第二中心点对应的参考图像块与该原始图像块匹配后，将 该第二中心点对应的参考图像块确定为目标参考图像块。
可选地，所述第三处理单元具体用于：
在确定与该原始图像块匹配的目标参考图像块后，根据该目标参考图 像块与该原始图像块之间的相关度，以及该目标参考图像块的灰度值和该 原始图像块的灰度值，确定该原始图像块的运动矢量。
可选地，所述第三处理单元具体用于：
确定该原始图像块的运动矢量是否在预设的矢量范围内；
在确定该原始图像块的运动矢量在预设的矢量范围内时，则确定该原 始图像块的深度值为预设深度值；
在确定该原始图像块的运动矢量不在预设的矢量范围内时，则基于所 述矢量范围的上界限值和运动矢量，以及各个原始图像块的运动矢量中的 最大值和最小值，计算该原始图像块的深度值。
可选地，所述第五处理单元具体用于：
采用颜色聚类算法对原始图像进行聚类处理，得到聚类图像；
采用联合双边滤波算法对所述原始图像进行滤波处理，得到第二图像。
根据本发明的技术方案，计算各个原始图像块的深度值，基于确定的 各个原始图像块的深度值，对所述原始灰度图进行融合处理，得到第一图 像；对所述原始图像进行聚类和滤波处理，得到第二图像；根据所述第二 图像，对所述第一图像进行滤波处理，得到原始图像的深度图，可有效降 低像素点的噪声，减少颜色块效应的影响，使得深度图更加滤波。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实 施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需 要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些 实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种深度图生成方法的流程图；
图2为本发明实施例提供的一种原始图像的示意图；
图3为本发明实施例提供的一种搜索区域的示意图；
图4为本发明实施例提供的另一种搜索区域的示意图；
图5为供本发明实施例参考的一种色度标准的示意图；
图6为本发明实施例提供的一种原始图像的深度图的示意图；
图7为本发明实施例提供的一种深度图生成装置的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本 发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述， 显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。 通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配 置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描 述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实 施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前 提下所获得的所有其他实施例，都属于本发明保护的范围。
本本发明的实施例提供一种深度图生成方法和装置，用以解决现有技 术无法降低深度图的噪声得到滤波后的深度图的问题。其中，本发明所述 装置和方法基于同一发明构思，由于装置及方法解决问题的原理相似，因 此装置与方法的实施可以相互参见，重复之处不再赘述。
图1为本发明实施例提供的一种深度图生成方法的流程图。如图1所 示，该方法始于步骤S110。
在步骤S110中，将接收到的原始图像转换为原始灰度图，将接收到的 参考图像转换为参考灰度图。
在步骤S120中，将所述原始灰度图划分为多个原始图像块，将所述参 考灰度图划分为多个参考图像块。
在步骤S130中，针对多个原始图像块中的每个原始图像块，利用预设 的搜索算法，在所述多个参考图像块中，确定与该原始图像块匹配的目标 参考图像块，根据所述目标参考图像块和该原始图像块，采用运动估计算 法计算该原始图像块的运动矢量，根据所述运动矢量，计算该原始图像块 的深度值，所述运动矢量为原始图像块与确定的目标参考图像块之间的偏 移量。
在步骤S140中，基于确定的各个原始图像块的深度值和所述原始灰度 图，生成第一图像。
在步骤S150中，对所述原始图像进行聚类和滤波处理，得到第二图像。
在步骤S160中，根据所述第二图像，对所述第一图像进行滤波处理， 得到原始图像的深度图。
具体地，在步骤S110中，原始图像和参考图像可以为同一个视频中的 相邻两帧图像或者间隔预设数目的图像，原始图像(参考图2)和参考图像 的格式一般为bmp格式、jpg格式等等，本发明对此不做任何限制。
将原始图像和参考图像进行转换的算法，在现有技术中已有详细的介 绍，此处不再进行过多说明。
在执行步骤S120时，可以按照预设的像素范围，对原始灰度图和参考 灰度图进行划分，得到的原始图像块的数目与参考图像块的数目相同，原 始图像块的数目和参考图像块的数目根据实际情况进行确定，此处不做任 何限定。
可选地，在执行步骤S130时，所述针对多个原始图像块中的每个原始 图像块，利用预设的搜索算法，在所述多个参考图像块中，确定与该原始 图像块匹配的目标参考图像块，包括：
针对多个原始图像块中的每个原始图像块，根据该原始图像块的位置， 在所述多个参考图像块中，确定第一预设范围内的至少一个参考图像块和 该第一预设范围的第一中心点，计算该原始图像块与第一预设范围内的各 个参考图像块之间的第一相关度，基于各个所述第一相关度，确定所述第 一中心点对应的参考图像块是否与该原始图像块匹配；
在确定所述第一中心点对应的参考图像块与该原始图像块匹配后，根 据该第一中心点对应的参考图像块的位置，在所述多个参考图像块中，确 定第二预设范围内的至少一个参考图像块和该第二预设范围的第二中心点， 计算该原始图像块与第二预设范围内的各个参考图像块之间的第二相关度， 基于各个所述第二相关度，确定所述第二中心点对应的参考图像块是否与 该原始图像块匹配；
在确定所述第二中心点对应的参考图像块与该原始图像块匹配后，将 该第二中心点对应的参考图像块确定为目标参考图像块。
其中，所述第一预设范围大于所述第二预设范围。
具体地，在将原始灰度图划分为多个原始图像块、参考灰度图划分为 多个参考图像块后，按照预定的编码规则，如，按照从左到右、从上到下 的顺序，分别为各个原始图像块编码和为各个参考灰度图编码，该编码可 以标识该原始图像块在原始灰度图中的位置和参考图像块在参考灰度图中 的位置，如，编码可以为1、2、3等等。将编码为1的原始图像块(下称1 号)作为初始图像块，在编码为1的参考图像块周围确定第一预设范围， 编码为1的参考图像块作为第一预设范围的第一中心点，其中，第一预设 范围可以为半径为2像素的圆形范围。在第一预设范围中选取8个参考图 像块(参考图3)，计算该原始图像块与8个参考图像块之间的第一相关度， 判断所述第一中心点对应的参考图像块与1号原始图像块的第一相关度是 否为最大值。
如果第一中心点对应的参考图像块与1号原始图像块的第一相关度不 是最大值，则选取最大值的第一相关度对应的参考图像块更新为第一中心 点，将该第一中心点周围确定第一预设范围并选取8个参考图像块，计算 该原始图像块与重新选取的8个参考图像块之间的第一相关度，判断所述 第一中心点对应的参考图像块与1号原始图像块的第一相关度是否为最大 值，直到第一中心点对应的参考图形块与1号原始图像块的第一相关度为最大值。
在确定第一中心点对应的参考图像块与1号原始图像块的第一相关度 为最大值后，在第一中心点周围确定第二预设范围内的4个参考图像块(参 考图4)，该第一中心点即为第二预设范围的第二中心点，计算该原始图像 块与4个参考图像块之间的第二相关度，判断所述第二中心点对应的参考 图像块与1号原始图像块的第二相关度是否为最大值。
在确定第二中心点对应的参考图像块与1号原始图像块的第二相关度 为最大值后，确定第二中心对应的参考图像块为目标参考图像块。
第一相关度R1可以通过公式计算得到：
其中，M为参考图像块的长度，单位为像素；
N为参考图像块的宽度，单位为像素；
m为参考图像块的像素点的横坐标；
n为参考图像块的像素点的纵坐标；
ft(m，n)为原始图像块中(m，n)点的灰度值；
ft-1(m，n)为参考图像块中(m,n)点的灰度值。
第二相关度R2和第一相关度的计算方法相同，不再进行过多说明。
可选地，所述针对多个原始图像块中的每个原始图像块，利用预设的 搜索算法，在所述多个参考图像块中，确定与该原始图像块匹配的目标参 考图像块，还包括：
针对多个原始图像块中的每个原始图像块，根据该原始图像块的位置， 在所述多个参考图像块中，确定第三预设范围内至少一个参考图像块，计 算该原始图像块与第三预设范围内的各个参考图像块之间的第三相关度， 将最大值的第三相关度对应的参考图像块确定为目标参考图像块。
其中，第三预设范围根据实际情况确定，此处不做任何限定。
第三相关度R3可通过以下公式计算得到：
其中，M为参考图像块或原始图像块的长度，单位为像素；
N为参考图像块或原始图像块的宽度，单位为像素；
m为参考图像块的像素点的横坐标；
n为参考图像块的像素点的纵坐标；
ft(m，n)为原始图像块中(m，n)点的灰度值；
ft-1(m，n)为参考图像块中(m+x,n+y)点的灰度值；
x、y分别为是预设范围内的值。
在确定所述第一中心点对应的参考图像块与该原始图像块匹配后，根 据该第一中心点对应的参考图像块的位置，在所述多个参考图像块中，确 定第二预设范围内的至少一个参考图像块和该第二预设范围的第二中心点， 计算该原始图像块与第二预设范围内的各个参考图像块之间的第二相关度， 基于各个所述第二相关度，确定所述第二中心点对应的参考图像块是否与 该原始图像块匹配；
在确定所述第二中心点对应的参考图像块与该原始图像块匹配后，将 该第二中心点对应的参考图像块确定为目标参考图像块
可选地，在执行步骤S130时，所述采用运动估计算法计算该原始图像 块的运动矢量，包括：
在确定与该原始图像块匹配的目标参考图像块后，根据该目标参考图 像块与该原始图像块之间的相关度，以及该目标参考图像块的灰度值和该 原始图像块的灰度值，确定该原始图像块的运动矢量。
其中，各个原始图像块的运动矢量MV可以通过以下公式计算得到：
MV＝(Vx,Vy)＝{(x,y)|R(ft(m,n)，ft-1(m+x,n+y))＝Max；m∈[0，M-1]， n∈[0，N-1]，x∈[-△X，△X]，y∈[-△y，△y]}
其中，R为原始图像块与目标参考图像块之间的相关度，此时R取R3；
M为参考图像块或原始图像块的长度，单位为像素；
N为参考图像块或原始图像块的宽度，单位为像素；
m为参考图像块的像素点的横坐标；
n为参考图像块的像素点的纵坐标；
ft(m，n)为原始图像块中(m，n)点的灰度值；
ft-1(m，n)为参考图像块中(m+x,n+y)点的灰度值；
Vx为原始图像块的横坐标方向的子运动矢量；
Vy为原始图像块的纵坐标方向的子运动矢量。
可选地，在执行步骤S130时，所述根据所述运动矢量，计算该原始 图像块的深度值，包括：
确定该原始图像块的运动矢量是否在预设的矢量范围内；
在确定该原始图像块的运动矢量在预设的矢量范围内时，则确定该原 始图像块的深度值为预设深度值；
在确定该原始图像块的运动矢量不在预设的矢量范围内时，则基于所 述矢量范围的上界限值和运动矢量，以及各个原始图像块的运动矢量中的 最大值和最小值，计算该原始图像块的深度值。
具体地，预设的矢量范围可以为小于或等于预设阈值，当该原始图像 块的运动矢量在上述矢量范围内时，确定该原始图像块为背景区域，确定 该原始图像块的深度值为预设深度值，该预设深度值可以为所有原始图像 块的运动矢量的平均值，也可以根据场景任意设置，本发明对此不予限制。 当该原始图像块的运动矢量不在上述矢量范围内时，通过以下公式计算得 到该原始图像块的深度值d。
d＝[MV-MVth]/(MVmax-MVmin)*255
其中，MV为该原始图像块的运动矢量；
MVth为矢量范围的上界限值，即预设阈值；
MVmax为各个原始图像块的运动矢量中的最大值；
MVmin为各个原始图像块的运动矢量中的最小值。
可选地，在执行步骤S150时，所述对所述原始图像进行降噪和滤波 处理，得到第二图像，包括：
采用颜色聚类算法对原始图像进行聚类处理，得到聚类图像；
根据所述聚类图像，采用联合双边滤波算法对所述原始图像进行滤波 处理，得到第二图像。
不过应当理解，本发明步骤聚类处理算法和滤波处理算法的限制，所 有能够对原始图像进行聚类处理和滤波处理的算法都在本发明的保护范围 内。
颜色聚类算法的原理如下：
在CIE1931坐标系上截取横轴和纵轴[0,1]的区间，以0.001为间隔， 采样1000个点，将相应的平面坐标划分为1000*1000区域，设定一个区域 为一种颜色，图像中的每个像素是用RGB数据来表示(参考图5)。
按照各个方格区域的色度值进行聚类，计算过程如下：
Cx＝[x/0.001]/1000；Cy＝[y/0.001]/1000；0<x<1,0<y<1。
其中，Cx为方格区域横坐标方向的色度，Cy为方格区域纵坐标方向的 色度。
读取原始图像中每个像素点的RGB数据，将像素点的RGB数据转换 CIE1931坐标系的色度空间坐标，统计各个方格区域的分布像素点的数目 H(Cx,Cy)＝n。
构建分布函数G(x,y,n)＝H(Cx,Cy)。
对分布函数进行高通滤波，确定需要识别的最小数目，即H(Cx,Cy) 的最小数目，设定其像素点数量的阈值为Nmin，滤波公式为：
当n>＝Nmin时，G(x,y,n)＝n
当n<Nmin时，G(x,y,n)＝0
设定n>＝Nmin的数据对应的网格区域的色彩阈值，如果两个数据点的 色彩差别小于色彩阈值，将上述两个数据点合并，形成m个连通区域Uk。
在各个连通区域中查找极值点，即出现频率最高的方格，该方格的坐 标为(xk,yk)，定义为聚类中心，记为Ck。
遍历整个图像，计算每个像素点与聚类中心点的欧式距离，将离类聚 中心满足预设距离的像素点汇聚为一类，生成颜色聚类图像。
根据该颜色聚类图像，采用联合双边滤波算法对原始图像进行滤波处 理，得到第二图像。可有效去除颜色块效应的影响，有效降低像素点的噪 声，使得图像更加滤波。
联合双边滤波算法的原理如下：
对输入图像进行滤波，通过参考图像实现联合双边滤波中权重的计算， 遍历输入图像中的像素点，得到每个像素点的像素值Jp。
其中，p为输入图像中的像素点；
q为预设范围Ω内的像素点，预设范围Ω根据实际情况确定；
Ip为p像素点的像素值；
f、g分别是权重分布函数，一般为高斯函数；
为参考图像中与输入图像中像素点p对应的像素点的值；
为参考图像中与输入图像中像素点q对应的像素点的值；
kp为调节系数，一般为常数；
Jp为滤波后p像素点的额像素值。
其中，颜色聚类图像作为输入图像，原始图像作为参考图像进行联合 双边滤波得到第二图像。第二图像作为输入图像，第一图像作为参考图像， 进行联合双边滤波处理，得到原始图像的深度图。原始图像的深度图可参 考图6，此处不在进行过多说明。
图7为本发明实施例提供的一种深度图生成装置的结构图。如图7所 示，该装置包括：第一处理单元510、第二处理单元520、第三处理单元530、 第四处理单元540、第五处理单元550和第六处理单元560。
第一处理单元510，用于将接收到的原始图像转换为原始灰度图，将接 收到的参考图像转换为参考灰度图；
第二处理单元520，用于将所述原始灰度图划分为多个原始图像块，将 所述参考灰度图划分为多个参考图像块；
第三处理单元530，用于针对多个原始图像块中的每个原始图像块，利 用预设的搜索算法，在所述多个参考图像块中，确定与该原始图像块匹配 的目标参考图像块，根据所述目标参考图像块和该原始图像块，采用运动 估计算法计算该原始图像块的运动矢量，根据所述运动矢量，计算该原始 图像块的深度值，所述运动矢量为原始图像块与确定的目标参考图像块之 间的偏移量；
第四处理单元540，用于基于确定的各个原始图像块的深度值和所述原 始灰度图，生成第一图像；
第五处理单元550，用于对所述原始图像进行聚类和平滑处理，得到第 二图像；
第六处理单元560，用于根据所述第二图像，对所述第一图像进行平滑 处理，得到原始图像的深度图。
可选地，所述第三处理单元530具体用于：
针对多个原始图像块中的每个原始图像块，根据该原始图像块的位置， 在所述多个参考图像块中，确定第一预设范围内的至少一个参考图像块和 该第一预设范围的第一中心点，计算该原始图像块与第一预设范围内的各 个参考图像块之间的第一相关度，基于各个所述第一相关度，确定所述第 一中心点对应的参考图像块是否与该原始图像块匹配；
在确定所述第一中心点对应的参考图像块与该原始图像块匹配后，根 据该第一中心点对应的参考图像块的位置，在所述多个参考图像块中，确 定第二预设范围内的至少一个参考图像块和该第二预设范围的第二中心点， 计算该原始图像块与第二预设范围内的各个参考图像块之间的第二相关度， 基于各个所述第二相关度，确定所述第二中心点对应的参考图像块是否与 该原始图像块匹配；
在确定所述第二中心点对应的参考图像块与该原始图像块匹配后，将 该第二中心点对应的参考图像块确定为目标参考图像块。
其中，所述第一预设范围大于所述第二预设范围。
可选地，所述第三处理单元530具体用于：
在确定与该原始图像块匹配的目标参考图像块后，根据该目标参考图 像块与该原始图像块之间的相关度，以及该目标参考图像块的灰度值和该 原始图像块的灰度值，确定该原始图像块的运动矢量。
可选地，所述第三处理单元530具体用于：
确定该原始图像块的运动矢量是否在预设的矢量范围内；
在确定该原始图像块的运动矢量在预设的矢量范围内时，则确定该原 始图像块的深度值为预设深度值；
在确定该原始图像块的运动矢量不在预设的矢量范围内时，则基于所 述矢量范围的上界限值和运动矢量，以及各个原始图像块的运动矢量中的 最大值和最小值，计算该原始图像块的深度值。
可选地，所述第五处理单元550具体用于：
采用颜色聚类算法对原始图像进行聚类处理，得到聚类图像；
根据所述聚类图像，采用联合双边滤波算法对所述原始图像进行滤波 处理，得到第二图像。
本发明实施例所提供的一种深度图生成装置可以为设备上的特定硬件 或者安装于设备上的软件或固件等。本发明实施例所提供的装置，其实现 原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例 部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人 员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单 元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以 通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如， 所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划 分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统， 或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦 合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦 合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的， 作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地 方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的 部分或者全部单元来实现本实施例方案的目的。
另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单 元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成 在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使 用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发 明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的 部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储 介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服 务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步 骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光 盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一 旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步 定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述， 而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用 以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于 此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术 人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围 内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变 化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都 应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利 要求的保护范围为准。

Claims (10)

1.一种深度图生成方法，其特征在于，包括：
将接收到的原始图像转换为原始灰度图，将接收到的参考图像转换为参考灰度图；
将所述原始灰度图划分为多个原始图像块，将所述参考灰度图划分为多个参考图像块；
针对多个原始图像块中的每个原始图像块，利用预设的搜索算法，在所述多个参考图像块中，确定与该原始图像块匹配的目标参考图像块，根据所述目标参考图像块和该原始图像块，采用运动估计算法计算该原始图像块的运动矢量，根据所述运动矢量，确定该原始图像块的深度值，所述运动矢量为原始图像块与确定的目标参考图像块之间的偏移量；
根据确定的各个原始图像块的深度值和所述原始灰度图，生成第一图像；
对所述原始图像进行聚类和滤波处理，得到第二图像；
根据所述第二图像，对所述第一图像进行滤波处理，得到原始图像的深度图。
2.如权利要求1所述的方法，其特征在于，所述针对多个原始图像块中的每个原始图像块，利用预设的搜索算法，在所述多个参考图像块中，确定与该原始图像块匹配的目标参考图像块，包括：
针对多个原始图像块中的每个原始图像块，根据该原始图像块的位置，在所述多个参考图像块中，确定第一预设范围内的至少一个参考图像块和该第一预设范围的第一中心点，计算该原始图像块与第一预设范围内的各个参考图像块之间的第一相关度，基于各个所述第一相关度，确定所述第一中心点对应的参考图像块是否与该原始图像块匹配；
在确定所述第一中心点对应的参考图像块与该原始图像块匹配后，根据该第一中心点对应的参考图像块的位置，在所述多个参考图像块中，确定第二预设范围内的至少一个参考图像块和该第二预设范围的第二中心点，计算该原始图像块与第二预设范围内的各个参考图像块之间的第二相关度，基于各个所述第二相关度，确定所述第二中心点对应的参考图像块是否与该原始图像块匹配；
在确定所述第二中心点对应的参考图像块与该原始图像块匹配后，将该第二中心点对应的参考图像块确定为目标参考图像块。
3.如权利要求1所述的方法，其特征在于，所述采用运动估计算法计算该原始图像块的运动矢量，包括：
在确定与该原始图像块匹配的目标参考图像块后，根据该目标参考图像块与该原始图像块之间的相关度，以及该目标参考图像块的灰度值和该原始图像块的灰度值，确定该原始图像块的运动矢量。
4.如权利要求1所述的方法，其特征在于，所述根据所述运动矢量，计算该原始图像块的深度值，包括：
确定该原始图像块的运动矢量是否在预设的矢量范围内；
在确定该原始图像块的运动矢量在预设的矢量范围内时，则确定该原始图像块的深度值为预设深度值；
在确定该原始图像块的运动矢量不在预设的矢量范围内时，则基于所述矢量范围的上界限值和运动矢量，以及各个原始图像块的运动矢量中的最大值和最小值，计算该原始图像块的深度值。
5.如权利要求1所述的方法，其特征在于，所述对所述原始图像进行降噪和滤波处理，得到第二图像，包括：
采用颜色聚类算法对原始图像进行聚类处理，得到聚类图像；
根据所述聚类图像，采用联合双边滤波算法对所述原始图像进行滤波处理，得到第二图像。
6.一种深度图生成装置，其特征在于，包括：
第一处理单元，用于将接收到的原始图像转换为原始灰度图，将接收到的参考图像转换为参考灰度图；
第二处理单元，用于将所述原始灰度图划分为多个原始图像块，将所述参考灰度图划分为多个参考图像块；
第三处理单元，用于针对多个原始图像块中的每个原始图像块，利用预设的搜索算法，在所述多个参考图像块中，确定与该原始图像块匹配的目标参考图像块，根据所述目标参考图像块和该原始图像块，采用运动估计算法计算该原始图像块的运动矢量，根据所述运动矢量，计算该原始图像块的深度值，所述运动矢量为原始图像块与确定的目标参考图像块之间的偏移量；
第四处理单元，用于根据确定的各个原始图像块的深度值和所述原始灰度图，生成第一图像；
第五处理单元，用于对所述原始图像进行聚类和滤波处理，得到第二图像；
第六处理单元，用于根据所述第二图像，对所述第一图像进行滤波处理，得到原始图像的深度图。
7.如权利要求6所述的装置，其特征在于，所述第三处理单元具体用于：
针对多个原始图像块中的每个原始图像块，根据该原始图像块的位置，在所述多个参考图像块中，确定第一预设范围内的至少一个参考图像块和该第一预设范围的第一中心点，计算该原始图像块与第一预设范围内的各个参考图像块之间的第一相关度，基于各个所述第一相关度，确定所述第一中心点对应的参考图像块是否与该原始图像块匹配；
在确定所述第一中心点对应的参考图像块与该原始图像块匹配后，根据该第一中心点对应的参考图像块的位置，在所述多个参考图像块中，确定第二预设范围内的至少一个参考图像块和该第二预设范围的第二中心点，计算该原始图像块与第二预设范围内的各个参考图像块之间的第二相关度，基于各个所述第二相关度，确定所述第二中心点对应的参考图像块是否与该原始图像块匹配；
在确定所述第二中心点对应的参考图像块与该原始图像块匹配后，将该第二中心点对应的参考图像块确定为目标参考图像块。
8.如权利要求6所述的装置，其特征在于，所述第三处理单元具体用于：
在确定与该原始图像块匹配的目标参考图像块后，根据该目标参考图像块与该原始图像块之间的相关度，以及该目标参考图像块的灰度值和该原始图像块的灰度值，确定该原始图像块的运动矢量。
9.如权利要求6所述的装置，其特征在于，所述第三处理单元具体用于：
确定该原始图像块的运动矢量是否在预设的矢量范围内；
在确定该原始图像块的运动矢量在预设的矢量范围内时，则确定该原始图像块的深度值为预设深度值；
在确定该原始图像块的运动矢量不在预设的矢量范围内时，则基于所述矢量范围的上界限值和运动矢量，以及各个原始图像块的运动矢量中的最大值和最小值，计算该原始图像块的深度值。
10.如权利要求6所述的装置，其特征在于，所述第五处理单元具体用于：
采用颜色聚类算法对原始图像进行聚类处理，得到聚类图像；
根据所述聚类图像，采用联合双边滤波算法对所述原始图像进行滤波处理，得到第二图像。
CN201710487012.5A 2017-06-23 2017-06-23 一种深度图生成方法和装置 Pending CN107204011A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710487012.5A CN107204011A (zh) 2017-06-23 2017-06-23 一种深度图生成方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710487012.5A CN107204011A (zh) 2017-06-23 2017-06-23 一种深度图生成方法和装置

Publications (1)

Publication Number Publication Date
CN107204011A true CN107204011A (zh) 2017-09-26

Family

ID=59908220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710487012.5A Pending CN107204011A (zh) 2017-06-23 2017-06-23 一种深度图生成方法和装置

Country Status (1)

Country Link
CN (1) CN107204011A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127353A (zh) * 2019-12-16 2020-05-08 重庆邮电大学 一种基于块配准和匹配的高动态图像去鬼影方法
CN111678463A (zh) * 2020-06-05 2020-09-18 昆山市建设工程质量检测中心 一种检测灌浆套筒钢筋接头下端插筋偏位的方法
CN113658037A (zh) * 2021-08-24 2021-11-16 凌云光技术股份有限公司 一种深度图像到灰度图像的转换方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110317766A1 (en) * 2010-06-25 2011-12-29 Gwangju Institute Of Science And Technology Apparatus and method of depth coding using prediction mode
CN103493482A (zh) * 2012-05-08 2014-01-01 青岛海信信芯科技有限公司 一种提取及优化图像深度图的方法与装置
CN104994365A (zh) * 2015-04-30 2015-10-21 西安电子科技大学 一种获取非关键帧深度图像的方法以及2d视频立体化方法
CN106651938A (zh) * 2017-01-17 2017-05-10 湖南优象科技有限公司 一种融合高分辨率彩色图像的深度图增强方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110317766A1 (en) * 2010-06-25 2011-12-29 Gwangju Institute Of Science And Technology Apparatus and method of depth coding using prediction mode
CN103493482A (zh) * 2012-05-08 2014-01-01 青岛海信信芯科技有限公司 一种提取及优化图像深度图的方法与装置
CN104994365A (zh) * 2015-04-30 2015-10-21 西安电子科技大学 一种获取非关键帧深度图像的方法以及2d视频立体化方法
CN106651938A (zh) * 2017-01-17 2017-05-10 湖南优象科技有限公司 一种融合高分辨率彩色图像的深度图增强方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
王帅: "基于运动估计的深度信息生成技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
胡泉: "2D转3D视频的关键技术及系统设计", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
邓正杰 等: "《基于控制网格的几何形体变形研究及实践》", 31 July 2013 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127353A (zh) * 2019-12-16 2020-05-08 重庆邮电大学 一种基于块配准和匹配的高动态图像去鬼影方法
CN111127353B (zh) * 2019-12-16 2023-07-25 重庆邮电大学 一种基于块配准和匹配的高动态图像去鬼影方法
CN111678463A (zh) * 2020-06-05 2020-09-18 昆山市建设工程质量检测中心 一种检测灌浆套筒钢筋接头下端插筋偏位的方法
CN113658037A (zh) * 2021-08-24 2021-11-16 凌云光技术股份有限公司 一种深度图像到灰度图像的转换方法和装置
CN113658037B (zh) * 2021-08-24 2024-05-14 凌云光技术股份有限公司 一种深度图像到灰度图像的转换方法和装置

Similar Documents

Publication Publication Date Title
Jiao et al. Local stereo matching with improved matching cost and disparity refinement
US8818126B2 (en) Method and apparatus for block-based image denoising
EP1612733A2 (en) Color segmentation-based stereo 3D reconstruction system and process
US20100073364A1 (en) Conversion method and apparatus with depth map generation
CN101996406A (zh) 无参考结构清晰度图像质量评价方法
CN107204011A (zh) 一种深度图生成方法和装置
JP2011087325A (ja) ビデオデータのデインターレーシング
CN109636730B (zh) 用于过滤深度图中的伪像素的方法
Tian et al. Quality assessment of DIBR-synthesized views: An overview
CN107333027A (zh) 一种视频图像增强的方法和装置
CN113436112B (zh) 一种图像增强方法、装置及设备
CN107944499A (zh) 一种针对前景背景同时建模的背景检测方法
CN112991197B (zh) 一种基于暗通道的细节保留的低照度视频增强方法及装置
CN111445424A (zh) 图像处理和移动终端视频处理方法、装置、设备和介质
CN108986197A (zh) 3d骨架线构建方法及装置
CN108270945B (zh) 一种运动补偿去噪方法及装置
CN111179295A (zh) 改进的二维Otsu阈值图像分割方法和系统
CN116664643A (zh) 基于SuperPoint算法的铁路列车图像配准方法及设备
Verma et al. Non local means algorithm with adaptive isotropic search window size for image denoising
CN115131229A (zh) 图像降噪、滤波数据处理方法、装置和计算机设备
Lee et al. Fast 3D video stabilization using ROI-based warping
EP2034442A1 (en) Method for non-photorealistic rendering of an image frame sequence
CN112801890A (zh) 一种视频处理方法、装置及设备
CN110728692A (zh) 一种基于Scharr算子改进的图像边缘检测方法
Auroux et al. Contour detection and completion for inpainting and segmentation based on topological gradient and fast marching algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170926

RJ01 Rejection of invention patent application after publication