CN113284081B - 深度图超分辨率优化方法、装置、处理设备及存储介质 - Google Patents

深度图超分辨率优化方法、装置、处理设备及存储介质 Download PDF

Info

Publication number
CN113284081B
CN113284081B CN202110816272.9A CN202110816272A CN113284081B CN 113284081 B CN113284081 B CN 113284081B CN 202110816272 A CN202110816272 A CN 202110816272A CN 113284081 B CN113284081 B CN 113284081B
Authority
CN
China
Prior art keywords
image
pixel point
pixel
depth
depth map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110816272.9A
Other languages
English (en)
Other versions
CN113284081A (zh
Inventor
张胜威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Xiaoying Innovation Technology Co ltd
Original Assignee
Hangzhou Xiaoying Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Xiaoying Innovation Technology Co ltd filed Critical Hangzhou Xiaoying Innovation Technology Co ltd
Priority to CN202110816272.9A priority Critical patent/CN113284081B/zh
Publication of CN113284081A publication Critical patent/CN113284081A/zh
Application granted granted Critical
Publication of CN113284081B publication Critical patent/CN113284081B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种深度图超分辨率优化方法、装置、处理设备及存储介质；其中通过对彩色相机图和深度图的边界融合检测，得到准确的深度图的边界，避免噪声等因素，导致深度图的边界不清晰，影响深度图的表现效果；通过对深度图进行稠密光流跟踪，结合加权均值滤波，缓解相邻帧图像之间的闪烁问题；通过连通域的判，完成同类型像素点的平滑滤波，保证图像的显示柔和，进一步避免闪烁。

Description

深度图超分辨率优化方法、装置、处理设备及存储介质
技术领域
本发明涉及图像处理领域，特别是涉及一种深度图超分辨率优化方法、装置、处理设备及存储介质。
背景技术
随着科学技术的发展，图像的呈现效果也在不断的进步，由传统的2D图像演变到了3D深度图像。3D深度图像相比2D的图像增加了深度信息，能够更好、更精确地重建图像中的环境，为诸多的智能领域带来了质的提升，包括机器人领域、AR领域等。
目前的3D深度图像主要通过3D相机/Lidar获取，然而3D相机/Lidar的价格昂贵，而且分辨率远低于2D相机；另一方面由于深度测量的不准确性，获取的3D深度图像一般都带有较多的噪声或者部分数据缺失，这会导致相邻的帧图像之间产生明显的图像数据不一致，在观察时出现图像的闪烁现象。为了解决3D深度图像连续显示时的闪烁问题，往往采用对3D深度图像进行平滑滤波的方法，包括高斯模糊等，以去除部分噪声，同时将对图像的滤波转变为求解稀疏方程的形式，来解决图像中数据缺失的问题。但是在进行平滑滤波的过程中会模糊图像中显示物体的边界；另一方面，对稀疏方程的求解过程会极大的增加计算量，使设备显示的图像滞后；最后，由于是对单帧图像进行滤波处理，能够一定程度上抑制图像连续播放时的闪烁问题，但是难以解决闪烁问题。因此需要一种能够做到实时显示并且使相邻帧图像连贯的深度图处理方法。
发明内容
本发明的目的是解决现有技术的不足，提供一种深度图超分辨率优化方法、装置、处理设备及存储介质，结构简单，使用方便。
一种基于2D图像的深度图超分辨率优化方法，包括如下步骤：
步骤1：获取深度图集以及彩色相机图集；其中彩色相机图为彩色的2D图像；
步骤2：完成深度图以及彩色相机图的标定校正；
步骤3：通过稠密光流跟踪寻找彩色相机图集的帧间像素点匹配；
步骤4：对于任意一帧图像的像素点，根据光流跟踪的结果，向前选取包括自身在内的n帧图像，计算n帧图像中对应像素点的加权平均像素值；将获得的加权均值作为当前帧图像中该像素点的像素值；
步骤5：对深度图的分辨率进行缩放，使其与彩色图的分辨率一致；并对分辨率缩放后的深度图进行高斯平滑滤波；
步骤6：通过标准的Sobel算子计算获得深度图的梯度；
步骤7：将彩色相机图由RGB空间转换到YUV空间；通过标准Sobel算子计算彩色相机图的亮度Y的梯度；
步骤8：根据深度图梯度以及彩色相机图的亮度梯度，获得Canny算子；并根据Canny算子计算深度图和彩色相机图的融合边界范围；
步骤9：根据融合边界将深度图中的像素点分为边界像素点和非边界像素点；
步骤10：进行连通域平滑滤波；其中对于任一边界像素点，搜索与该像素点的距离小于设定值的连通边界像素点，根据连通边界像素点对该边界像素点进行平滑滤波；对于任一非边界像素点，搜索与该像素点的距离小于设定值的连通非边界像素点，根据连通非边界像素点对该非边界像素点进行平滑滤波；
步骤11：重复步骤4-10，直至完成深度图集中所有深度图的处理，结束步骤。
进一步的，所述步骤3中的稠密光流跟踪表示跟踪相邻的两帧图像之间的每个像素点的运动；计算稠密光流，包括如下步骤：
步骤31：将图像划分为大小一致的图像块，相邻的图像块之间允许存在重叠的区域；
步骤32：匹配相邻两帧图像中的图像块；
步骤33：根据相匹配的图像块，计算前一帧图像中的图像块的运动；
步骤34：根据图像块的运动，加权得到前一帧图像中每个像素点的运动；其中越靠近图像中心的像素点的权值越大；
步骤35：根据亮度一致性、梯度一致性以及平滑性，对光流场进行全局优化。
进一步的，所述步骤32中相邻两帧图像分别表示为图像
Figure 632763DEST_PATH_IMAGE001
以及图像
Figure 127067DEST_PATH_IMAGE002
，其中
Figure 375646DEST_PATH_IMAGE001
表 示在t时刻的图像；在图像
Figure 364331DEST_PATH_IMAGE001
上的
Figure 913124DEST_PATH_IMAGE003
位置选取大小为
Figure 204428DEST_PATH_IMAGE004
的像素块
Figure 815669DEST_PATH_IMAGE005
，搜索该像素块 在下一帧图像
Figure 748990DEST_PATH_IMAGE002
中对应的像素块
Figure 11344DEST_PATH_IMAGE006
的算式表示为：
Figure DEST_PATH_IMAGE007
其中
Figure 316292DEST_PATH_IMAGE008
表示计算得到的最终像素块的移动，
Figure 805042DEST_PATH_IMAGE008
为
Figure 10895DEST_PATH_IMAGE009
，
Figure 127756DEST_PATH_IMAGE010
表示x方向上的移动，
Figure 26442DEST_PATH_IMAGE011
表 示y方向上的移动；
Figure 877854DEST_PATH_IMAGE012
表示当前计算得到的像素块的移动，
Figure 621819DEST_PATH_IMAGE012
的初始值为[0,0]；
Figure 858766DEST_PATH_IMAGE013
表示像素 块中每个像素的坐标。
利用反向搜索对上式进行迭代优化，通过迭代优化目标图像块所需的移动量，得到反向移动量，表示为：
Figure 662774DEST_PATH_IMAGE014
其中，
Figure DEST_PATH_IMAGE015
表示像素块的反向移动量；
Figure 968859DEST_PATH_IMAGE016
表示当前计算得到的像素块的反向移动 量。根据
Figure 516515DEST_PATH_IMAGE017
，计算新的
Figure 607968DEST_PATH_IMAGE018
使得
Figure 114035DEST_PATH_IMAGE019
。
进一步的，所述步骤4中向前选取表示以时间轴为标准，从该图像往前选择图像，包括该图像在内共选取n帧图像；若该图像之前的图像不足n-1帧，则选取该图像之前的所有图像进行加权平均；权值借助高斯核函数或者其他图像参数获得。
进一步的，所述权值根据置信度值进行加权平均，置信度值是3D相机获取深度图像中的数据；像素点i的加权平均像素值表示为：
Figure 408882DEST_PATH_IMAGE020
其中，
Figure 760229DEST_PATH_IMAGE021
表示当前帧中的像素点i加权平均后的像素值；N表示归一化变量， N=n；
Figure 706188DEST_PATH_IMAGE022
表示3D相机返回的第
Figure 383157DEST_PATH_IMAGE023
帧图像的置信度值；
Figure 289933DEST_PATH_IMAGE024
表示第
Figure 818872DEST_PATH_IMAGE023
帧图像中与像素点i位置对应的像 素点的像素值。
进一步的，所述步骤5中高斯平滑滤波的卷积核
Figure 822600DEST_PATH_IMAGE025
的计算如下所示：
Figure 280258DEST_PATH_IMAGE026
其中，
Figure 674330DEST_PATH_IMAGE027
表示相邻像素点与当前像素点的距离，
Figure 492113DEST_PATH_IMAGE028
表示
Figure 22452DEST_PATH_IMAGE013
方向上的距离，
Figure 100002_DEST_PATH_IMAGE029
表 示
Figure 618387DEST_PATH_IMAGE030
方向上的距离；
Figure 624389DEST_PATH_IMAGE031
是高斯标准差，
Figure 121229DEST_PATH_IMAGE032
表示
Figure 647020DEST_PATH_IMAGE013
方向上的高斯标准差，
Figure 305534DEST_PATH_IMAGE033
表示
Figure 798832DEST_PATH_IMAGE030
方向上的高斯 标准差；
当前像素点i在高斯平滑滤波后的输出为：
Figure 833785DEST_PATH_IMAGE034
其中，
Figure 978196DEST_PATH_IMAGE035
表示当前像素点i在经过高斯滤波后的输出像素值；
Figure 73191DEST_PATH_IMAGE036
表示卷积核中
Figure 929151DEST_PATH_IMAGE037
位置的权数；
Figure 892428DEST_PATH_IMAGE038
表示像素点
Figure 251865DEST_PATH_IMAGE039
的设定范围内的像素点的像素值。
进一步的，所述步骤8中Canny算子在本例中的定义为：只有当深度图的梯度和彩色相机图的亮度梯度均大于其设定的高梯度阈值时, 该像素点才能成为种子点；只有当深度图的梯度和彩色相机图的亮度梯度均大于其设定的低梯度阈值时, 该像素点才能成为种子点的延伸, 才能成为边界；融合边界范围计算的步骤如下：
步骤81：对深度图梯度和彩色相机图的亮度梯度结果进行非极大值抑制, 消除边缘检测带来的杂散响应；
步骤82：设定
Figure 658707DEST_PATH_IMAGE040
、
Figure 736384DEST_PATH_IMAGE041
以及
Figure 503352DEST_PATH_IMAGE042
、
Figure 982875DEST_PATH_IMAGE043
；其中
Figure 793574DEST_PATH_IMAGE040
、
Figure 358548DEST_PATH_IMAGE041
分别为深度图的高低梯 度阈值；
Figure 804572DEST_PATH_IMAGE042
、
Figure 263236DEST_PATH_IMAGE043
为彩色相机图的亮度梯度的高低梯度阈值；并根据这四个阈值计算出强 边缘和弱边缘；强边缘表示在深度图和彩色相机图中的梯度阈值均大于对应的设定高阈值 的像素点，弱边缘表示在深度图和彩色相机图中的梯度阈值大于对应的设定低阈值但小于 对应的设定高阈值的像素点；
步骤83：从每个强边缘的像素点出发，搜索其周围的像素点；若其周围的像素点c是强边缘或弱边缘，则将该像素点c加入到边缘的集合，并基于像素点c继续向外搜索，最终得到整个图像的边界。
一种深度图优化装置，包括：
3D相机，用于获取深度图图像，并将深度图像按照时间帧顺序排列，形成深度图集；
彩色相机，用于获取彩色相机图像，并将获取的彩色相机图像按照时间帧顺序排列，形成彩色相机图集；
图像缩放模块，用于完成深度图以及彩色相机图的尺寸缩放以及分辨率缩放，在完成分辨率缩放后还会进行高斯平滑滤波；
图像光流跟踪模块，基于稠密光流跟踪判断相邻图像中相同图像块的运动，加权到每一个像素点的运动，实现对与光流场的优化；
图像边界融合模块，基于Sobel算子以及Canny算子完成彩色相机图像与深度图像的边界融合，准确寻找深度图像中的边界。
一种深度图像的处理设备，包括：
存储器，用于存储非暂时性计算机可读指令；
处理器，用于运行所述计算机可读指令，使得所述处理器执行时实现上述的深度图优化方法的步骤。
一种计算机可读存储介质，所述存储介质上存储深度图的处理程序；当深度图的处理程序由计算机执行时，使得所述计算机执行上述的深度图优化方法的步骤。
本发明的有益效果为：
通过对彩色相机图和深度图的边界融合检测，得到准确的深度图的边界，避免噪声等因素，导致深度图的边界不清晰，影响深度图的表现效果；
通过对深度图进行稠密光流跟踪，结合加权均值滤波，缓解相邻帧图像之间的闪烁问题；
通过连通域的判定，完成同类型像素点的平滑滤波，保证图像的显示柔和，进一步避免闪烁。
附图说明
图1为本发明实施例一的流程框图；
图2为本发明实施例一的彩色相机图；
图3为本发明实施例一的深度图；
图4为本发明实施例一的彩色相机图的canny边界图；
图5为本发明实施例一的深度图梯度；
图6为本发明实施例一的融合边界；
图7为本发明实施例一的根据融合边界对深度图平滑处理后的结果。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
实施例一：
如图1所示，一种基于2D图像的深度图超分辨率优化方法，包括如下步骤：
步骤1：获取低分辨率的深度图集以及高分辨率的彩色相机图集；其中彩色相机图为彩色的2D图像；低分辨率与高分辨率表示深度图与彩色相机图之间的分辨率高低；
步骤2：完成深度图以及彩色相机图的标定校正；通过标定校正使图像的尺寸统一；
步骤3：通过稠密光流跟踪寻找深度图集的帧间像素点匹配以及彩色相机图集的帧间像素点匹配；
步骤4：对于任意一帧图像的像素点，根据光流跟踪的结果，向前选取包括自身在内的n帧图像，计算n帧图像中对应像素点的加权平均像素值；将获得的加权均值作为当前帧图像中该像素点的像素值；
步骤5：对深度图的分辨率进行缩放，使其与彩色图的分辨率一致；并对分辨率缩放后的深度图进行高斯平滑滤波；
步骤6：通过标准的Sobel算子计算获得深度图的梯度；
步骤7：将彩色相机图由RGB空间转换到YUV空间；通过标准Sobel算子计算彩色相机图的亮度Y的梯度；
步骤8：根据深度图梯度以及彩色相机图的亮度梯度，获得Canny算子；并根据Canny算子计算深度图和彩色相机图的融合边界范围；
步骤9：根据融合边界将深度图中的像素点分为边界像素点和非边界像素点；
步骤10：进行连通域平滑滤波；其中对于任一边界像素点，搜索与该像素点的距离小于设定值的连通边界像素点，根据连通边界像素点对该边界像素点进行平滑滤波；对于任一非边界像素点，搜索与该像素点的距离小于设定值的连通非边界像素点，根据连通非边界像素点对该非边界像素点进行平滑滤波；
步骤11：重复步骤4-10，直至完成深度图集中所有深度图的处理，结束步骤。
如图2、图3所示，其中图2、3为彩色相机图和深度图去色后的结果。所述步骤1中的深度图集表示将若干深度图按照时间顺序排序得到的图集，同样的彩色相机图集表示将若干彩色相机图按照时间顺序排序得到的图集。需要注意的是深度图集和彩色相机图集的时间轴相对应；深度图集和彩色相机图集中相同时间点的图像内容也一致，图像的内容指图像中显示的景物以及对景物的拍摄角度。深度图由3D相机获得，彩色相机图由彩色相机获得。
所述步骤2中标定校正仅完成了深度图以及彩色相机图的图像尺寸的统一，但是对于图像的分辨率并没有统一。
所述步骤3中的稠密光流跟踪表示跟踪相邻的两帧图像之间的每个像素点的运动。计算稠密光流，包括如下步骤：
步骤31：将图像划分为大小一致的图像块，相邻的图像块之间允许存在重叠的区域；
步骤32：匹配相邻两帧图像中的图像块；
步骤33：根据相匹配的图像块，计算前一帧图像中的图像块的运动；
步骤34：对图像中的每一个像素点, 根据其周围图像块的运动，以距离为权重，在本例中距离越远权重越小，插值得到该像素点的运动，从而得到代表每个像素点运动的光流场；
步骤35：根据亮度一致性、梯度一致性以及平滑性，对光流场进行全局优化。
所述步骤32中相邻两帧图像分别表示为图像
Figure 870934DEST_PATH_IMAGE001
以及图像
Figure 798570DEST_PATH_IMAGE002
，其中
Figure 517128DEST_PATH_IMAGE001
表示在t时刻 的图像。在图像
Figure 95876DEST_PATH_IMAGE001
上的
Figure 874477DEST_PATH_IMAGE003
位置选取大小为
Figure 787944DEST_PATH_IMAGE004
的像素块
Figure 310192DEST_PATH_IMAGE005
，
Figure 743447DEST_PATH_IMAGE044
为设定值，搜索该像素 块在下一帧图像
Figure 958528DEST_PATH_IMAGE002
中对应的像素块
Figure 595177DEST_PATH_IMAGE006
的算式表示为：
Figure 921116DEST_PATH_IMAGE045
其中
Figure 208878DEST_PATH_IMAGE008
表示计算得到的最终像素块的移动，
Figure 329280DEST_PATH_IMAGE008
为
Figure 109018DEST_PATH_IMAGE009
，
Figure 346970DEST_PATH_IMAGE010
表示x方向上的移动，
Figure 364604DEST_PATH_IMAGE011
表 示y方向上的移动；
Figure 46121DEST_PATH_IMAGE046
表示当前计算得到的像素块的移动，
Figure 781996DEST_PATH_IMAGE012
的初始值为[0,0]；
Figure 325104DEST_PATH_IMAGE013
表示像素 块中每个像素的坐标，在该式中为像素块
Figure 197245DEST_PATH_IMAGE005
或像素块
Figure 784084DEST_PATH_IMAGE006
中每个像素的坐标，像 素块
Figure 272835DEST_PATH_IMAGE047
表示图像
Figure 914906DEST_PATH_IMAGE002
上的
Figure 907133DEST_PATH_IMAGE048
位置的像素块。
利用反向搜索对上式进行迭代优化，通过迭代优化目标图像块所需的移动量，得到反向移动量，表示为：
Figure 681185DEST_PATH_IMAGE049
其中，
Figure 126073DEST_PATH_IMAGE015
表示像素块的反向移动量；
Figure 525830DEST_PATH_IMAGE016
表示当前计算得到的像素块的反向移动 量；
Figure 638143DEST_PATH_IMAGE013
表示像素块中每个像素的坐标，在该式中为像素块
Figure 816052DEST_PATH_IMAGE050
或像素块
Figure 13815DEST_PATH_IMAGE047
中 每个像素的坐标，像素块
Figure 686105DEST_PATH_IMAGE050
表示图像
Figure 918503DEST_PATH_IMAGE001
上的
Figure 893412DEST_PATH_IMAGE051
位置的像素块，像素块
Figure 453838DEST_PATH_IMAGE047
表示图像
Figure 664239DEST_PATH_IMAGE002
上的
Figure 485565DEST_PATH_IMAGE052
位置的像素块。根据
Figure 270856DEST_PATH_IMAGE017
，计算新的
Figure 177632DEST_PATH_IMAGE018
使得
Figure 191725DEST_PATH_IMAGE019
。
在稠密光流的计算过程中采用多分辨率, 由粗到细的跟踪计算方法；并且通过计算一个中间的光流场的运动轨迹, 使用中间光流场的运动作为图像块的初始值, 从而使得初始值更鲁棒可靠和更具有局部一致性。
所述步骤35中根据亮度一致性、梯度一致性以及平滑性，对光流场进行全局优化, 能量项
Figure 133136DEST_PATH_IMAGE053
表示为:
Figure 715427DEST_PATH_IMAGE054
其中,
Figure 984865DEST_PATH_IMAGE055
；
Figure 678015DEST_PATH_IMAGE056
分别表示亮度一致性能量、梯度一 致性能量以及平滑能量，上述能量均为二次参数，与
Figure 598566DEST_PATH_IMAGE057
相对应；
Figure 617338DEST_PATH_IMAGE058
分别表示这三项的 权重参数。
Figure 896045DEST_PATH_IMAGE056
的值表示为：
Figure DEST_PATH_IMAGE059
其中，
Figure 720782DEST_PATH_IMAGE060
表示光流场内的图像上的像素点或像素块的移动量，在本例中为步骤32 中计算获得的
Figure 371206DEST_PATH_IMAGE061
；
Figure 560879DEST_PATH_IMAGE062
和
Figure 804909DEST_PATH_IMAGE063
分别表示光流场在x, y方向上的梯度；
Figure 839861DEST_PATH_IMAGE064
Figure DEST_PATH_IMAGE065
其中，
Figure 938267DEST_PATH_IMAGE066
表示图像在x和y方向上的梯度张量，
Figure 407164DEST_PATH_IMAGE067
表示图像在x和y方向以及时间域 上的梯度张量；
Figure 263124DEST_PATH_IMAGE068
表示原始图像；
Figure 960822DEST_PATH_IMAGE069
Figure 585838DEST_PATH_IMAGE070
Figure DEST_PATH_IMAGE071
其中
Figure 461522DEST_PATH_IMAGE072
表示原图像在x和y两个方向上的梯度图。
所述步骤4中向前选取表示以时间轴为标准，从该图像往前选择图像，包括该图像在内共选取n帧图像，在本例中共选择5帧图像。需要说明的是，若该图像之前的图像不足（n-1）帧，则选取该图像之前的所有图像进行加权平均；比如对于图集中的第三帧图像，则仅由第一、二、三帧的图像进行加权均值的计算。其中权值可以借助高斯核函数或者其他图像参数获得，在本例中根据3D相机返回的置信度值进行加权平均，置信度值是3D相机获取深度图像中的自带数据。像素点i的加权平均像素值表示为：
Figure 663833DEST_PATH_IMAGE020
其中，
Figure 306167DEST_PATH_IMAGE021
表示当前帧中的像素点i加权平均后的像素值；N表示归一化变量，在本例 中N=n；
Figure 159591DEST_PATH_IMAGE022
表示3D相机返回的第
Figure 596388DEST_PATH_IMAGE023
帧图像的置信度值；
Figure 285996DEST_PATH_IMAGE024
表示第
Figure 200862DEST_PATH_IMAGE023
帧图像中与像素点i位置对 应的像素点的像素值。
所述步骤5中高斯平滑滤波的卷积核
Figure 675837DEST_PATH_IMAGE025
的计算如下所示：
Figure 549115DEST_PATH_IMAGE026
其中，
Figure 601385DEST_PATH_IMAGE027
表示相邻像素点与当前像素点的距离，
Figure 444576DEST_PATH_IMAGE028
表示
Figure 898691DEST_PATH_IMAGE013
方向上的距离，
Figure 51192DEST_PATH_IMAGE029
表 示
Figure 856337DEST_PATH_IMAGE030
方向上的距离；
Figure 503219DEST_PATH_IMAGE031
是高斯标准差, 用来控制平滑程度，
Figure 811841DEST_PATH_IMAGE031
越大滤波效果越平滑，
Figure 636709DEST_PATH_IMAGE032
表示
Figure 397991DEST_PATH_IMAGE013
方向上的高斯标准差，
Figure 989510DEST_PATH_IMAGE033
表示
Figure 11692DEST_PATH_IMAGE030
方向上的高斯标准差。在本例中卷积核采用
Figure DEST_PATH_IMAGE073
的标准高 斯卷积核，表示为：
Figure 240417DEST_PATH_IMAGE074
当前像素点i在高斯平滑滤波后的输出为：
Figure 754575DEST_PATH_IMAGE034
其中，
Figure 743260DEST_PATH_IMAGE035
表示当前像素点i在经过高斯滤波后的输出像素值；
Figure 26473DEST_PATH_IMAGE036
表示卷积核中
Figure 458723DEST_PATH_IMAGE075
位置的权数；
Figure 194598DEST_PATH_IMAGE076
表示像素点
Figure 721394DEST_PATH_IMAGE039
为中心，
Figure 124694DEST_PATH_IMAGE073
范围内的像素点的像素值。
所述步骤6中Sobel算子卷积核在本例中为
Figure 852478DEST_PATH_IMAGE077
的矩阵，其中x梯度的Sobel算子 卷积核表示为：
Figure 449550DEST_PATH_IMAGE078
y梯度的Sobel算子卷积核表示为：
Figure 920983DEST_PATH_IMAGE079
通过上述两个卷积计算可以分别得到亮度在x, y方向上的梯度。对于每个像素点取其中的较大值作为最终的亮度梯度.
如图4-图6所示，其中图5为深度图梯度去色后的结果。所述步骤8中Canny算子在本例中的定义为：只有当深度图的梯度和彩色相机图的亮度梯度均大于其设定的高梯度阈值时, 该像素点才能成为种子点；只有当深度图的梯度和彩色相机图的亮度梯度均大于其设定的低梯度阈值时, 该像素点才能成为种子点的延伸, 才能成为边界。融合边界范围计算的步骤如下：
步骤81：对深度图梯度和彩色相机图的亮度梯度结果进行非极大值抑制, 消除边缘检测带来的杂散响应；
步骤82：设定
Figure 37844DEST_PATH_IMAGE040
、
Figure 670950DEST_PATH_IMAGE041
以及
Figure 256784DEST_PATH_IMAGE042
、
Figure 531907DEST_PATH_IMAGE043
；其中
Figure 378640DEST_PATH_IMAGE040
、
Figure 572861DEST_PATH_IMAGE041
分别为深度图的高低梯 度阈值；
Figure 770624DEST_PATH_IMAGE042
、
Figure 692182DEST_PATH_IMAGE043
为彩色相机图的亮度梯度的高低梯度阈值；并根据这四个阈值计算出强 边缘和弱边缘；强边缘表示在深度图和彩色相机图中的梯度阈值均大于对应的设定高阈值 的像素点，弱边缘表示在深度图和彩色相机图中的梯度阈值大于对应的设定低阈值但小于 对应的设定高阈值的像素点；
步骤83：从每个强边缘的像素点出发，搜索其周围的像素点；若其周围的像素点c是强边缘或弱边缘，则将该像素点c加入到边缘的集合，并基于像素点c继续向外搜索，最终得到整个图像的边界。
如图7所示，其中图7为平滑滤波后的深度图去色后的结果。所述步骤10中连通边界像素点表示与该边界像素点之间能够通过边界像素点进行连接；同理，连通非边界像素点表示与该非边界像素点之间能够通过非边界像素点进行连接；需要说明的是通过同类型的像素点进行连接的范围同样限定在距离该像素值设定距离的范围内。连通域平滑滤波的步骤包括：
步骤101：判断像素点i的类型，像素点的类型包括边界像素点以及非边界像素点；
步骤102：以该像素点i为圆心，划分距离范围为L的圆形区域，选择区域内的所有像素点；
步骤103：以i点为种子点, 上下左右搜索属于L内的同一类型的像素点, 并将搜索到的像素点加入待搜索的种子点列表；不断搜索, 直到种子点列表为空, 记录该区域内的所有被搜索到的像素点id；
步骤104：获取所有记录id的像素点的像素值，并对像素点i进行平滑滤波；
步骤105：重复上述步骤直至完成所有像素点的滤波操作。
所述步骤105中的平滑滤波可以采用高斯核函数，也可以基于自定义的卷积核；需要说明的是在平滑滤波的过程中，距离目标像素点越远的像素点的权重越小。在实施的过程中，通过对彩色相机图和深度图的边界融合检测，得到准确的深度图的边界，避免噪声等因素，导致深度图的边界不清晰，影响深度图的表现效果；通过对深度图进行稠密光流跟踪，结合加权均值滤波，缓解相邻帧图像之间的闪烁问题；通过连通域的判，完成同类型像素点的平滑滤波，保证图像的显示柔和，进一步避免闪烁。
根据上述的深度图超分辨率优化方法，在本例中还提供了一种深度图优化装置，包括：
3D相机，用于获取深度图图像，并将深度图像按照时间帧顺序排列，形成深度图集。
彩色相机，用于获取彩色相机图像，并将获取的彩色相机图像按照时间帧顺序排列，形成彩色相机图集。
图像缩放模块，用于完成深度图以及彩色相机图的尺寸缩放以及分辨率缩放，在完成分辨率缩放后还会进行高斯平滑滤波，减小图像在分辨率缩放后的锐化效果。
图像光流跟踪模块，基于稠密光流跟踪判断相邻图像中相同图像块的运动，加权到每一个像素点的运动，实现对与光流场的优化。
图像边界融合模块，基于Sobel算子以及Canny算子完成彩色相机图像与深度图像的边界融合，准确寻找深度图像中的边界。在找到深度图像中的边界后，能够减少深度图像中的噪声干扰。
根据上述的深度图优化方法和装置，提供一种电子设备，包括：
存储器，用于存储非暂时性计算机可读指令；
处理器，用于运行所述计算机可读指令，使得所述处理器执行时实现上述的深度图优化方法的步骤。
根据本公开的一个或多个实施例，提供了一种计算机可读存储介质，用于存储非暂时性计算机可读指令，在本例中存储上述的深度图的处理程序，当深度图的处理程序由计算机执行时，使得所述计算机执行上述的深度图优化方法的步骤。
以上描述仅是本发明的具体实例，不构成对本发明的任何限制。显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (8)

1.一种基于2D图像的深度图超分辨率优化方法，其特征在于，包括如下步骤：
步骤1：获取深度图集以及彩色相机图集；其中彩色相机图为彩色的2D图像；
步骤2：完成深度图以及彩色相机图的标定校正；
步骤3：通过稠密光流跟踪寻找彩色相机图集的帧间像素点匹配；
步骤4：对于任意一帧图像的像素点，根据光流跟踪的结果，向前选取包括自身在内的n帧图像，计算n帧图像中对应像素点的加权平均像素值；将获得的加权均值作为当前帧图像中该像素点的像素值；
步骤5：对深度图的分辨率进行缩放，使其与彩色图的分辨率一致；并对分辨率缩放后的深度图进行高斯平滑滤波；
步骤6：通过标准的Sobel算子计算获得深度图的梯度；
步骤7：将彩色相机图由RGB空间转换到YUV空间；通过标准Sobel算子计算彩色相机图的亮度Y的梯度；
步骤8：根据深度图梯度以及彩色相机图的亮度梯度，获得Canny算子；并根据Canny算子计算深度图和彩色相机图的融合边界范围；
步骤9：根据融合边界将深度图中的像素点分为边界像素点和非边界像素点；
步骤10：进行连通域平滑滤波；其中对于任一边界像素点，搜索与该像素点的距离小于设定值的连通边界像素点，根据连通边界像素点对该边界像素点进行平滑滤波；对于任一非边界像素点，搜索与该像素点的距离小于设定值的连通非边界像素点，根据连通非边界像素点对该非边界像素点进行平滑滤波；
步骤11：重复步骤4-10，直至完成深度图集中所有深度图的处理，结束步骤；
所述步骤3中的稠密光流跟踪表示跟踪相邻的两帧图像之间的每个像素点的运动；计算稠密光流，包括如下步骤：
步骤31：将图像划分为大小一致的图像块，相邻的图像块之间允许存在重叠的区域；
步骤32：匹配相邻两帧图像中的图像块；
步骤33：根据相匹配的图像块，计算前一帧图像中的图像块的运动；
步骤34：对图像中的每一个像素点, 根据其周围图像块的运动，以距离为权重，插值得到该像素点的运动，从而得到代表每个像素点运动的光流场；
步骤35：根据亮度一致性、梯度一致性以及平滑性，对光流场进行全局优化；
所述步骤32中相邻两帧图像分别表示为图像
Figure DEST_PATH_IMAGE001
以及图像
Figure 600872DEST_PATH_IMAGE002
，其中
Figure 124870DEST_PATH_IMAGE001
表示在t时刻的图像；在图像
Figure 373449DEST_PATH_IMAGE001
上的
Figure DEST_PATH_IMAGE003
位置选取大小为
Figure 175183DEST_PATH_IMAGE004
的像素块
Figure DEST_PATH_IMAGE005
，搜索该像素块在下一帧图像
Figure 520713DEST_PATH_IMAGE002
中对应的像素块
Figure 687384DEST_PATH_IMAGE006
的算式表示为：
Figure 751154DEST_PATH_IMAGE008
其中
Figure DEST_PATH_IMAGE009
表示计算得到的最终像素块的移动，
Figure 763104DEST_PATH_IMAGE009
为
Figure 900824DEST_PATH_IMAGE010
，
Figure DEST_PATH_IMAGE011
表示x方向上的移动，
Figure 956505DEST_PATH_IMAGE012
表示y方向上的移动；
Figure DEST_PATH_IMAGE013
表示当前计算得到的像素块的移动，
Figure 526813DEST_PATH_IMAGE013
的初始值为[0,0]；
Figure 857301DEST_PATH_IMAGE014
表示像素块中每个像素的坐标；
利用反向搜索对上式进行迭代优化，通过迭代优化目标图像块所需的移动量，得到反向移动量，表示为：
Figure 849527DEST_PATH_IMAGE016
其中，
Figure DEST_PATH_IMAGE017
表示像素块的反向移动量；
Figure 358000DEST_PATH_IMAGE018
表示当前计算得到的像素块的反向移动量。
2.根据权利要求1所述的一种基于2D图像的深度图超分辨率优化方法，其特征在于，所述步骤4中向前选取表示以时间轴为标准，从该图像往前选择图像，包括该图像在内共选取n帧图像；若该图像之前的图像不足n-1帧，则选取该图像之前的所有图像进行加权平均；权值借助高斯核函数或者其他图像参数获得。
3.根据权利要求2所述的一种基于2D图像的深度图超分辨率优化方法，其特征在于，所述权值根据置信度值进行加权平均，置信度值是3D相机获取深度图像中的数据；像素点i的加权平均像素值表示为：
Figure 396363DEST_PATH_IMAGE020
其中，
Figure DEST_PATH_IMAGE021
表示当前帧中的像素点i加权平均后的像素值；N表示归一化变量， N=n；
Figure 484536DEST_PATH_IMAGE022
表示3D相机返回的第
Figure DEST_PATH_IMAGE023
帧图像的置信度值；
Figure 190324DEST_PATH_IMAGE024
表示第
Figure 869698DEST_PATH_IMAGE023
帧图像中与像素点i位置对应的像素点的像素值。
4.根据权利要求3所述的一种基于2D图像的深度图超分辨率优化方法，其特征在于，所述步骤5中高斯平滑滤波的卷积核
Figure DEST_PATH_IMAGE025
的计算如下所示：
Figure DEST_PATH_IMAGE027
其中，表示相邻像素点与当前像素点的距离，
Figure 129778DEST_PATH_IMAGE028
表示
Figure 474172DEST_PATH_IMAGE014
方向上的距离，
Figure DEST_PATH_IMAGE029
表示
Figure 782269DEST_PATH_IMAGE030
方向上的距离；
Figure DEST_PATH_IMAGE031
是高斯标准差，
Figure 616233DEST_PATH_IMAGE032
表示
Figure 911079DEST_PATH_IMAGE014
方向上的高斯标准差，
Figure DEST_PATH_IMAGE033
表示
Figure 855901DEST_PATH_IMAGE030
方向上的高斯标准差；
当前像素点i在高斯平滑滤波后的输出为：
Figure DEST_PATH_IMAGE035
其中，
Figure 755855DEST_PATH_IMAGE036
表示当前像素点i在经过高斯滤波后的输出像素值；
Figure DEST_PATH_IMAGE037
；
Figure 760720DEST_PATH_IMAGE038
表示像素点
Figure DEST_PATH_IMAGE039
的设定范围内的像素点的像素值。
5.根据权利要求1所述的一种基于2D图像的深度图超分辨率优化方法，其特征在于，所述步骤8中Canny算子在本例中的定义为：只有当深度图的梯度和彩色相机图的亮度梯度均大于其设定的高梯度阈值时, 该像素点才能成为种子点；只有当深度图的梯度和彩色相机图的亮度梯度均大于其设定的低梯度阈值时, 该像素点才能成为种子点的延伸, 才能成为边界；融合边界范围计算的步骤如下：
步骤81：对深度图梯度和彩色相机图的亮度梯度结果进行非极大值抑制, 消除边缘检测带来的杂散响应；
步骤82：设定
Figure 11704DEST_PATH_IMAGE040
、
Figure DEST_PATH_IMAGE041
以及
Figure 494638DEST_PATH_IMAGE042
、
Figure DEST_PATH_IMAGE043
；其中
Figure 701629DEST_PATH_IMAGE040
、
Figure 353759DEST_PATH_IMAGE041
分别为深度图的高低梯度阈值；
Figure 544569DEST_PATH_IMAGE042
、
Figure 565615DEST_PATH_IMAGE043
为彩色相机图的亮度梯度的高低梯度阈值；并根据这四个阈值计算出强边缘和弱边缘；强边缘表示在深度图和彩色相机图中的梯度阈值均大于对应的设定高阈值的像素点，弱边缘表示在深度图和彩色相机图中的梯度阈值大于对应的设定低阈值但小于对应的设定高阈值的像素点；
步骤83：从每个强边缘的像素点出发，搜索其周围的像素点；若其周围的像素点c是强边缘或弱边缘，则将该像素点c加入到边缘的集合，并基于像素点c继续向外搜索，最终得到整个图像的边界。
6.一种深度图优化装置，其特征在于，包括：
3D相机，用于获取深度图图像，并将深度图像按照时间帧顺序排列，形成深度图集；
彩色相机，用于获取彩色相机图像，并将获取的彩色相机图像按照时间帧顺序排列，形成彩色相机图集；
图像缩放模块，用于完成深度图以及彩色相机图的尺寸缩放以及分辨率缩放，在完成分辨率缩放后还会进行高斯平滑滤波；
图像光流跟踪模块，使用权利要求1-5中任意一项所述的稠密光流跟踪方法；图像光流跟踪模块基于稠密光流跟踪判断相邻图像中相同图像块的运动，加权到每一个像素点的运动，实现对光流场的优化；在光流场优化过程中，首先，将图像划分为大小一致的图像块，相邻的图像块之间允许存在重叠的区域；其次，匹配相邻两帧图像中的图像块；然后，根据相匹配的图像块，计算前一帧图像中的图像块的运动；再者，对图像中的每一个像素点, 根据其周围图像块的运动，以距离为权重，插值得到该像素点的运动，从而得到代表每个像素点运动的光流场；最后，根据亮度一致性、梯度一致性以及平滑性，对光流场进行全局优化；
图像边界融合模块，基于Sobel算子以及Canny算子完成彩色相机图像与深度图像的边界融合，准确寻找深度图像中的边界。
7.一种深度图像的处理设备，其特征在于，包括：
存储器，用于存储非暂时性计算机可读指令；
处理器，用于运行所述计算机可读指令，使得所述处理器执行时实现如权利要求1-5中任意一项所述的深度图优化方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述存储介质上存储深度图的处理程序；当深度图的处理程序由计算机执行时，使得所述计算机执行如权利要求1-5中任意一项所述的深度图优化方法的步骤。
CN202110816272.9A 2021-07-20 2021-07-20 深度图超分辨率优化方法、装置、处理设备及存储介质 Active CN113284081B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110816272.9A CN113284081B (zh) 2021-07-20 2021-07-20 深度图超分辨率优化方法、装置、处理设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110816272.9A CN113284081B (zh) 2021-07-20 2021-07-20 深度图超分辨率优化方法、装置、处理设备及存储介质

Publications (2)

Publication Number Publication Date
CN113284081A CN113284081A (zh) 2021-08-20
CN113284081B true CN113284081B (zh) 2021-10-22

Family

ID=77286942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110816272.9A Active CN113284081B (zh) 2021-07-20 2021-07-20 深度图超分辨率优化方法、装置、处理设备及存储介质

Country Status (1)

Country Link
CN (1) CN113284081B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049791B (zh) * 2022-08-12 2022-11-04 山东鲁晟精工机械有限公司 结合图像处理的数控车床工件三维建模方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272447A (zh) * 2018-08-03 2019-01-25 天津大学 一种深度图超分辨率方法
CN111489383A (zh) * 2020-04-10 2020-08-04 山东师范大学 基于深度边缘点与彩色图像的深度图像上采样方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101532642B1 (ko) * 2014-03-04 2015-06-30 광주과학기술원 깊이정보 확장장치 및 방법
CN107481279B (zh) * 2017-05-18 2020-07-07 华中科技大学 一种单目视频深度图计算方法
CN112822479A (zh) * 2020-12-30 2021-05-18 北京华录新媒信息技术有限公司 一种用于2d-3d视频转换的深度图生成方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272447A (zh) * 2018-08-03 2019-01-25 天津大学 一种深度图超分辨率方法
CN111489383A (zh) * 2020-04-10 2020-08-04 山东师范大学 基于深度边缘点与彩色图像的深度图像上采样方法及系统

Also Published As

Publication number Publication date
CN113284081A (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
US11954813B2 (en) Three-dimensional scene constructing method, apparatus and system, and storage medium
CN111881720B (zh) 用于深度学习的数据自动增强扩充方法、识别方法及系统
Fiss et al. Refocusing plenoptic images using depth-adaptive splatting
CN106027851B (zh) 用于处理图像的方法和系统
CN105144245B (zh) 用于扩增现实的辐射转移取样的设备和方法
CN107749987B (zh) 一种基于块运动估计的数字视频稳像方法
CN105721853A (zh) 用于深度图生成的数码相机的配置设置
CN106934827A (zh) 三维场景的重建方法和装置
CN108107571A (zh) 图像处理装置及方法及非暂时性计算机可读记录介质
US11915350B2 (en) Training one-shot instance segmenters using synthesized images
US8610737B2 (en) Graphic processing unit (GPU) with configurable filtering module and operation method thereof
KR102311796B1 (ko) 지역적 신체영역 정보를 이용한 휴먼 모션 디블러링 방법 및 장치
CN105740874B (zh) 确定自动化测试脚本回放时的操作坐标的方法及装置
CN111105452A (zh) 基于双目视觉的高低分辨率融合立体匹配方法
CN115205435B (zh) 一种改进的基于马尔可夫随机场的纹理映射方法及装置
CN110580696A (zh) 一种细节保持的多曝光图像快速融合方法
CN113284081B (zh) 深度图超分辨率优化方法、装置、处理设备及存储介质
CN112184809A (zh) 相对位姿的估计方法、装置、电子设备及介质
Liu et al. Unsupervised optical flow estimation for differently exposed images in ldr domain
Peng et al. PDRF: progressively deblurring radiance field for fast scene reconstruction from blurry images
CN116824070B (zh) 一种基于深度图像的实时三维重建方法及系统
CN111369435B (zh) 基于自适应稳定模型的彩色图像深度上采样方法及系统
CN113344941A (zh) 一种基于聚焦图像的深度估计方法及图像处理装置
CN113642397A (zh) 一种基于手机视频的物体长度测量方法
Rana et al. Edge guided low-light image enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant