CN112669232A - 一种深度图像增强处理方法及装置 - Google Patents

一种深度图像增强处理方法及装置 Download PDF

Info

Publication number
CN112669232A
CN112669232A CN202011555747.5A CN202011555747A CN112669232A CN 112669232 A CN112669232 A CN 112669232A CN 202011555747 A CN202011555747 A CN 202011555747A CN 112669232 A CN112669232 A CN 112669232A
Authority
CN
China
Prior art keywords
edge information
depth image
depth
edge
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011555747.5A
Other languages
English (en)
Inventor
韦雷
潘武
黄鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202011555747.5A priority Critical patent/CN112669232A/zh
Publication of CN112669232A publication Critical patent/CN112669232A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明提供了一种深度图像增强处理方法及装置,其中,该方法包括:在同一目标场景下,对RGB彩色相机采集的RGB图像进行边缘提取,得到第一边缘信息,并对深度相机采集的深度图像进行边缘提取,得到第二边缘信息;根据该第一边缘信息与该第二边缘信息确定边缘信息加权值;根据该边缘信息加权值对该深度图像进行增强处理,可以解决相关技术中当目标颜色与背景的颜色相似或者纹理一样时,深度图像增强后出现目标边缘模糊的问题,结合两幅图中提取的边缘信息,作为一个边缘信息加权值,进行深度图像增强,不仅能够有效的提高深度图的分辨率,且能够保证不同场景下目标增强后的边缘清晰度。

Description

一种深度图像增强处理方法及装置
技术领域
本发明涉及图像处理领域,具体而言,涉及一种深度图像增强处理方法及装置。
背景技术
现有技术方案,多是基于RGB(Red,Green,Blue)图像和其对应的边缘信息作为引导进行双边滤波,很少考虑到深度不连续在RGB中不可见的场景,无法有效解决该场景下的边缘模糊问题。
相关技术中提出一种融合RGB图像信息的深度图像增强方法,在保证边缘清晰的前提下实现对深度图中无效区域的修复,并能提高对各个深度缺失区域边缘的锐化程度。但当目标颜色与背景的颜色相似或者纹理一样时,该方法难以从RGB中提取出到边缘信息,仍然无法有效解决增强后出现的目标边缘模糊的情况。
针对相关技术中当目标颜色与背景的颜色相似或者纹理一样时,深度图像增强后出现目标边缘模糊的问题,尚未提出解决方案。
发明内容
本发明实施例提供了一种深度图像增强处理方法及装置,以至少解决相关技术中当目标颜色与背景的颜色相似或者纹理一样时,深度图像增强后出现目标边缘模糊的问题。
根据本发明的一个实施例,提供了一种深度图像增强处理方法,包括:
在同一目标场景下,对RGB彩色相机采集的RGB图像进行边缘提取,得到第一边缘信息,并对深度相机采集的深度图像进行边缘提取,得到第二边缘信息;
根据所述第一边缘信息与所述第二边缘信息确定边缘信息加权值;
根据所述边缘信息加权值对所述深度图像进行增强处理。
可选地,根据所述边缘信息加权值对所述深度图像进行增强处理包括:
根据所述边缘信息加权值对所述深度图像进行联合双边滤波处理,得到增强处理后的深度图像。
可选地,通过以下方式根据所述边缘信息加权值对所述深度图像进行联合双边滤波处理,得到增强处理后的深度图像:
Figure BDA0002858641570000021
Figure BDA0002858641570000022
Figure BDA0002858641570000023
其中,P(p)为增强处理后的深度图像的像素值,p和q为像素点,I(p)、I(q)分别为所述RGB图像中像素点p、q对应的像素值,W(q)为像素点q的边缘信息加权值,D(q)为所述深度图像中像素点q对应的像素值,fS和fI为高斯核函数。
可选地,根据所述第一边缘信息与所述第二边缘信息确定边缘信息加权值包括:
通过以下方式将所述第一边缘信息与所述第二边缘信息进行融合,得到每个像素点对应的边缘信息加权值:
Figure BDA0002858641570000024
其中,W(q)表示像素点q对应的边缘信息加权值,
Figure BDA0002858641570000025
表示所述第一边缘信息,
Figure BDA0002858641570000031
表示所述第二边缘信息。
可选地,在对RGB彩色相机采集的RGB图像进行边缘提取,得到第一边缘信息,并对深度相机采集的深度图像进行边缘提取,得到第二边缘信息之前,所述方法还包括:
对所述RGB彩色相机和所述深度相机进行标定处理;
分别利用标定好的所述RGB彩色相机和所述深度相机进行图像信息采样,得到所述RGB图像与所述深度图像,其中,所述RGB相机的采样分辨率大于所述深度相机的采样分辨率。
可选地,在对RGB彩色相机采集的RGB图像进行边缘提取,得到第一边缘信息,并对深度相机采集的深度图像进行边缘提取,得到第二边缘信息之前,所述方法还包括:
对所述深度图像进行上采样,使得上采样后的所述深度图像的分辨率与所述RGB图像的分辨率相同。
可选地,对RGB彩色相机采集的RGB图像进行边缘提取,得到第一边缘信息,并对深度相机采集的深度图像进行边缘提取,得到第二边缘信息包括:
对所述RGB图像进行求导,得到所述第一边缘信息;
对上采样后的所述深度图像进行求导,得到所述第二边缘信息。
根据本发明的另一个实施例,还提供了一种深度图像增强处理装置,包括:
边缘提取模块,用于在同一目标场景下,对RGB彩色相机采集的RGB图像进行边缘提取,得到第一边缘信息,并对深度相机采集的深度图像进行边缘提取,得到第二边缘信息;
确定模块,用于根据所述第一边缘信息与所述第二边缘信息确定边缘信息加权值;
增强处理模块,用于根据所述边缘信息加权值对所述深度图像进行增强处理。
可选地,所述增强处理模块,还用于
根据所述边缘信息加权值对所述深度图像进行联合双边滤波处理,得到增强处理后的深度图像。
可选地,所述增强处理模块,还用于通过以下方式根据所述边缘信息加权值对所述深度图像进行联合双边滤波处理,得到增强处理后的深度图像:
Figure BDA0002858641570000041
Figure BDA0002858641570000042
Figure BDA0002858641570000043
其中,P(p)为增强处理后的深度图像的像素值,p和q为像素点,I(p)、I(q)分别为所述RGB图像中像素点p、q对应的像素值,W(q)为像素点q的边缘信息加权值,D(q)为所述深度图像中像素点q对应的像素值,fS和fI为高斯核函数。
可选地,所述确定模块,还用于通过以下方式将所述第一边缘信息与所述第二边缘信息进行融合,得到每个像素点对应的边缘信息加权值:
Figure BDA0002858641570000044
其中,W(q)表示像素点q对应的边缘信息加权值,
Figure BDA0002858641570000045
表示所述第一边缘信息,
Figure BDA0002858641570000046
表示所述第二边缘信息。
可选地,所述装置还包括:
标定处理模块,用于对所述RGB彩色相机和所述深度相机进行标定处理;
图像采集模块,用于分别利用标定好的所述RGB彩色相机和所述深度相机进行图像信息采样,得到所述RGB图像与所述深度图像,其中,所述RGB相机的采样分辨率大于所述深度相机的采样分辨率。
可选地,所述装置还包括:
上采样模块,用于对所述深度图像进行上采样,使得上采样后的所述深度图像的分辨率与所述RGB图像的分辨率相同。
可选地,所述边缘提取模块包括:
第一求导子模块,用于对所述RGB图像进行求导,得到所述第一边缘信息;
第二求导子模块,用于对上采样后的所述深度图像进行求导,得到所述第二边缘信息。
根据本发明的又一个实施例,还提供了一种计算机可读的存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明,在同一目标场景下,对RGB彩色相机采集的RGB图像进行边缘提取,得到第一边缘信息,并对深度相机采集的深度图像进行边缘提取,得到第二边缘信息;根据所述第一边缘信息与所述第二边缘信息确定边缘信息加权值;根据所述边缘信息加权值对所述深度图像进行增强处理,可以解决相关技术中当目标颜色与背景的颜色相似或者纹理一样时,深度图像增强后出现目标边缘模糊的问题,结合两幅图中提取的边缘信息,作为一个边缘信息加权值,进行深度图像增强,不仅能够有效的提高深度图的分辨率,且能够保证不同场景下目标增强后的边缘清晰度。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明实施例的深度图像增强处理方法的移动终端的硬件结构框图;
图2是根据本发明实施例的深度图像增强处理方法的流程图;
图3是根据本发明实施例的基于双边滤波的深度图像增强的流程图;
图4是根据本发明实施例的深度图像增强处理装置的框图;
图5是根据本发明优选实施例的深度图像增强处理装置的框图一;
图6是根据本发明优选实施例的深度图像增强处理装置的框图二。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
实施例1
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例,图1是本发明实施例的深度图像增强处理方法的移动终端的硬件结构框图,如图1所示,移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,可选地,上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述移动终端的结构造成限定。例如,移动终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的深度图像增强处理方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及远程登录的控制,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端或网络架构的深度图像增强处理方法,图2是根据本发明实施例的深度图像增强处理方法的流程图,如图2所示,该流程包括如下步骤:
步骤S202,在同一目标场景下,对RGB彩色相机采集的RGB图像进行边缘提取,得到第一边缘信息,并对深度相机采集的深度图像进行边缘提取,得到第二边缘信息;
步骤S204,根据所述第一边缘信息与所述第二边缘信息确定边缘信息加权值;
本发明实施例中,上述步骤S204具体可以包括:
通过以下方式将所述第一边缘信息与所述第二边缘信息进行融合,得到每个像素点对应的边缘信息加权值:
Figure BDA0002858641570000081
其中,W(q)表示像素点q对应的边缘信息加权值,
Figure BDA0002858641570000082
表示所述第一边缘信息,
Figure BDA0002858641570000083
表示所述第二边缘信息。
步骤S206,根据所述边缘信息加权值对所述深度图像进行增强处理。
本发明实施例中,上述步S206具体可以包括:根据所述边缘信息加权值对所述深度图像进行联合双边滤波处理,得到增强处理后的深度图像具体,可以通过以下方式得到增强处理后的深度图像:
Figure BDA0002858641570000084
Figure BDA0002858641570000085
Figure BDA0002858641570000086
其中,P(p)为增强处理后的深度图像的像素值,p和q为像素点,I(p)、I(q)分别为所述RGB图像中像素点p、q对应的像素值,W(q)为像素点q的边缘信息加权值,D(q)为所述深度图像中像素点q对应的像素值,fS和fI为高斯核函数。
通过上述步骤S202至S206,可以解决相关技术中当目标颜色与背景的颜色相似或者纹理一样时,深度图像增强后出现目标边缘模糊的问题,结合两幅图中提取的边缘信息,作为一个边缘信息加权值,进行深度图像增强,不仅能够有效的提高深度图的分辨率,且能够保证不同场景下目标增强后的边缘清晰度。
在一可选的实施例中,在上述步骤S202之前,对所述RGB彩色相机和所述深度相机进行标定处理;分别利用标定好的所述RGB彩色相机和所述深度相机进行图像信息采样,得到所述RGB图像与所述深度图像,其中,所述RGB相机的采样分辨率大于所述深度相机的采样分辨率,具体的,所述RGB相机的采样分辨率可以为2048*2048、1024*1024等,具体可以根据需要设置,所述RGB相机的采样分辨率为500*500等。
在另一可选的实施例中,在上述步骤S202之前,对所述深度图像进行上采样,使得上采样后的所述深度图像的分辨率与所述RGB图像的分辨率相同。对应的,上述步骤S202具体可以包括:对所述RGB图像进行求导,得到所述第一边缘信息;对上采样后的所述深度图像进行求导,得到所述第二边缘信息。
本发明实施例在目标颜色和背景颜色相似或者一致的场景下,对RGB图像进行初步的边缘提取判断,为了解决深度不连续在RGB图像中不可见的情况时提取不出有效的边缘信息,进一步在深度图中进行边缘提取,通过结合两幅图中提取的边缘信息,作为一个边缘信息加权值,最后进行联合双边滤波上采样。基于加权双边滤波的深度图增强方法,不仅能够有效的提高深度图的分辨率,而且能够保证不同场景下目标增强后的边缘清晰度。图3是根据本发明实施例的基于双边滤波的深度图像增强的流程图,如图3所示,具体可以包括:
步骤S1,对RGB彩色相机和深度相机进行标定处理。
步骤S2,分别利用标定好的相机进行图像信息采样,RGB相机的采样分辨率为2048x2048,深度相机的采样分辨率为500x500。
对深度相机采集到的低分辨率的深度图进行上采样操作,使得其分辨率和RGB相机采集的彩色图像分辨率一致。
步骤S3,分别对RGB图像和进行上采样的深度图像进行求导计算,以此来得出图像中的目标边缘信息。
步骤S4,将两幅图像求得的边缘信息进行融合,得到边缘信息权重图像。计算公式如下:
Figure BDA0002858641570000101
其中,
Figure BDA0002858641570000102
分别表示深度图和RGB图中p点像素值的导数,W即表示该点对应的边缘信息权值。
步骤S5,将RGB图像和上采样后的深度图像进行联合双边滤波处理,其中权值图像作为图像中目标的边缘信息的附加权重,一起进行联合双边滤波操作,公式如下
Figure BDA0002858641570000103
式中P(p)为滤波后的像素值,p和q为像素点,I(p)为点像素对应的RGB像素值,fS和fI为高斯核函数,具体表达形式为
Figure BDA0002858641570000104
Figure BDA0002858641570000111
式中,σ表征着高斯滤波器的宽度,且和滤波后图像的平滑程度有关。其值越大,高斯滤波器的宽度越宽,滤波后的图像越平滑。
步骤S6,在保证目标边缘信息清晰的条件下,可以得到与RGB图像相同分辨率的高分辨深度图像。
移动机器人的应用场景,需要利用视觉里程计根据相邻的图像信息,定量地估计相机运动。其中最为有效的方法是利用深度传感器采集到的深度数据,在已知特征点匹配的情况下,建立两个三维目标之间的位姿估计问题,利用迭代最近点(Iterative ClosestPoint,简称为ICP)算法求解出两个三维点云之间的变换矩阵。但是,由于目前的深度图存在分辨率低、空洞和噪声等问题,容易造成ICP估计的不准确。本发明实施例,可以满足该场景。深度传感器采集到的低分辨率深度图像,通过利用高分辨率的RGB图像作为引导,结合提出的边缘置信权重进行联合双边滤波,不仅可以对低分辨的深度图像进行高分辨率的增强,而且可以有效的保证目标图像中的边缘信息的清晰度,当利用该增强后的深度图进行2D-3D的转换时,可以得到更多的三维点云信息,以此提高了两个点云目标的配准精度。
不同于其他的深度图增强方法,其具有快速和准确增强特点,特别适用强光或者目标颜色和背景相似等场景。在通过对彩色图像和RGB图像同时进利用像素的梯度进行边缘信息的提取,不仅速度快,同时,还可以有效抑制深度不连续在彩色图中不可见的特点,有效提高了本方法适用的广泛性。
实施例2
根据本发明的另一个实施例,还提供了一种深度图像增强处理装置,图4是根据本发明实施例的深度图像增强处理装置的框图,如图4所示,包括:
边缘提取模块42,用于在同一目标场景下,对RGB彩色相机采集的RGB图像进行边缘提取,得到第一边缘信息,并对深度相机采集的深度图像进行边缘提取,得到第二边缘信息;
确定模块44,用于根据所述第一边缘信息与所述第二边缘信息确定边缘信息加权值;
增强处理模块46,用于根据所述边缘信息加权值对所述深度图像进行增强处理。
可选地,所述增强处理模块46,还用于
根据所述边缘信息加权值对所述深度图像进行联合双边滤波处理,得到增强处理后的深度图像。
可选地,所述增强处理模块46,还用于通过以下方式根据所述边缘信息加权值对所述深度图像进行联合双边滤波处理,得到增强处理后的深度图像:
Figure BDA0002858641570000121
Figure BDA0002858641570000122
Figure BDA0002858641570000123
其中,P(p)为增强处理后的深度图像的像素值,p和q为像素点,I(p)、I(q)分别为所述RGB图像中像素点p、q对应的像素值,W(q)为像素点q的边缘信息加权值,D(q)为所述深度图像中像素点q对应的像素值,fS和fI为高斯核函数。
可选地,所述确定模块44,还用于通过以下方式将所述第一边缘信息与所述第二边缘信息进行融合,得到每个像素点对应的边缘信息加权值:
Figure BDA0002858641570000131
其中,W(q)表示像素点q对应的边缘信息加权值,
Figure BDA0002858641570000132
表示所述第一边缘信息,
Figure BDA0002858641570000133
表示所述第二边缘信息。
图5是根据本发明优选实施例的深度图像增强处理装置的框图一,如图5所示,所述装置还包括:
标定处理模块52,用于对所述RGB彩色相机和所述深度相机进行标定处理;
图像采集模块54,用于分别利用标定好的所述RGB彩色相机和所述深度相机进行图像信息采样,得到所述RGB图像与所述深度图像,其中,所述RGB相机的采样分辨率大于所述深度相机的采样分辨率。
图6是根据本发明优选实施例的深度图像增强处理装置的框图二,如图6所示,所述装置还包括:
上采样模块62,用于对所述深度图像进行上采样,使得上采样后的所述深度图像的分辨率与所述RGB图像的分辨率相同。
可选地,所述边缘提取模块42包括:
第一求导子模块,用于对所述RGB图像进行求导,得到所述第一边缘信息;
第二求导子模块,用于对上采样后的所述深度图像进行求导,得到所述第二边缘信息。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本发明的实施例还提供了一种计算机可读的存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,在同一目标场景下,对RGB彩色相机采集的RGB图像进行边缘提取,得到第一边缘信息,并对深度相机采集的深度图像进行边缘提取,得到第二边缘信息;
S2,根据所述第一边缘信息与所述第二边缘信息确定边缘信息加权值;
S3,根据所述边缘信息加权值对所述深度图像进行增强处理。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
实施例4
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,在同一目标场景下,对RGB彩色相机采集的RGB图像进行边缘提取,得到第一边缘信息,并对深度相机采集的深度图像进行边缘提取,得到第二边缘信息;
S2,根据所述第一边缘信息与所述第二边缘信息确定边缘信息加权值;
S3,根据所述边缘信息加权值对所述深度图像进行增强处理。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种深度图像增强处理方法,其特征在于,包括:
在同一目标场景下,对RGB彩色相机采集的RGB图像进行边缘提取,得到第一边缘信息,并对深度相机采集的深度图像进行边缘提取,得到第二边缘信息;
根据所述第一边缘信息与所述第二边缘信息确定边缘信息加权值;
根据所述边缘信息加权值对所述深度图像进行增强处理。
2.根据权利要求1所述的方法,其特征在于,根据所述边缘信息加权值对所述深度图像进行增强处理包括:
根据所述边缘信息加权值对所述深度图像进行联合双边滤波处理,得到增强处理后的深度图像。
3.根据权利要求2所述的方法,其特征在于,通过以下方式根据所述边缘信息加权值对所述深度图像进行联合双边滤波处理,得到增强处理后的深度图像:
Figure FDA0002858641560000011
Figure FDA0002858641560000012
Figure FDA0002858641560000013
其中,P(p)为增强处理后的深度图像的像素值,p和q为像素点,I(p)、I(q)分别为所述RGB图像中像素点p、q对应的像素值,W(q)为像素点q的边缘信息加权值,D(q)为所述深度图像中像素点q对应的像素值,fS和fI为高斯核函数。
4.根据权利要求1所述的方法,其特征在于,根据所述第一边缘信息与所述第二边缘信息确定边缘信息加权值包括:
通过以下方式将所述第一边缘信息与所述第二边缘信息进行融合,得到每个像素点对应的边缘信息加权值:
Figure FDA0002858641560000021
其中,W(q)表示像素点q对应的边缘信息加权值,
Figure FDA0002858641560000022
表示所述第一边缘信息,
Figure FDA0002858641560000023
表示所述第二边缘信息。
5.根据权利要求1至4中任一项所述的方法,其特征在于,在对RGB彩色相机采集的RGB图像进行边缘提取,得到第一边缘信息,并对深度相机采集的深度图像进行边缘提取,得到第二边缘信息之前,所述方法还包括:
对所述RGB彩色相机和所述深度相机进行标定处理;
分别利用标定好的所述RGB彩色相机和所述深度相机进行图像信息采样,得到所述RGB图像与所述深度图像,其中,所述RGB相机的采样分辨率大于所述深度相机的采样分辨率。
6.根据权利要求5所述的方法,其特征在于,在对RGB彩色相机采集的RGB图像进行边缘提取,得到第一边缘信息,并对深度相机采集的深度图像进行边缘提取,得到第二边缘信息之前,所述方法还包括:
对所述深度图像进行上采样,使得上采样后的所述深度图像的分辨率与所述RGB图像的分辨率相同。
7.根据权利要求6所述的方法,其特征在于,对RGB彩色相机采集的RGB图像进行边缘提取,得到第一边缘信息,并对深度相机采集的深度图像进行边缘提取,得到第二边缘信息包括:
对所述RGB图像进行求导,得到所述第一边缘信息;
对上采样后的所述深度图像进行求导,得到所述第二边缘信息。
8.一种深度图像增强处理装置,其特征在于,包括:
边缘提取模块,用于在同一目标场景下,对RGB彩色相机采集的RGB图像进行边缘提取,得到第一边缘信息,并对深度相机采集的深度图像进行边缘提取,得到第二边缘信息;
确定模块,用于根据所述第一边缘信息与所述第二边缘信息确定边缘信息加权值;
增强处理模块,用于根据所述边缘信息加权值对所述深度图像进行增强处理。
9.一种计算机可读的存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的方法。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7中任一项所述的方法。
CN202011555747.5A 2020-12-24 2020-12-24 一种深度图像增强处理方法及装置 Pending CN112669232A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011555747.5A CN112669232A (zh) 2020-12-24 2020-12-24 一种深度图像增强处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011555747.5A CN112669232A (zh) 2020-12-24 2020-12-24 一种深度图像增强处理方法及装置

Publications (1)

Publication Number Publication Date
CN112669232A true CN112669232A (zh) 2021-04-16

Family

ID=75408595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011555747.5A Pending CN112669232A (zh) 2020-12-24 2020-12-24 一种深度图像增强处理方法及装置

Country Status (1)

Country Link
CN (1) CN112669232A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643208A (zh) * 2021-08-24 2021-11-12 凌云光技术股份有限公司 一种深度图像仿射采样方法及装置
CN116630220A (zh) * 2023-07-25 2023-08-22 江苏美克医学技术有限公司 一种荧光图像景深融合成像方法、装置及存储介质
CN116758069A (zh) * 2023-08-17 2023-09-15 济南宝林信息技术有限公司 用于肠道内镜的医学图像增强方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651938A (zh) * 2017-01-17 2017-05-10 湖南优象科技有限公司 一种融合高分辨率彩色图像的深度图增强方法
US20170264880A1 (en) * 2016-03-14 2017-09-14 Symbol Technologies, Llc Device and method of dimensioning using digital images and depth data
CN107578418A (zh) * 2017-09-08 2018-01-12 华中科技大学 一种融合色彩和深度信息的室内场景轮廓检测方法
CN107633490A (zh) * 2017-09-19 2018-01-26 北京小米移动软件有限公司 图像处理方法、装置及存储介质
CN108399610A (zh) * 2018-03-20 2018-08-14 上海应用技术大学 一种融合rgb图像信息的深度图像增强方法
CN110956657A (zh) * 2018-09-26 2020-04-03 Oppo广东移动通信有限公司 深度图像获取方法及装置、电子设备及可读存储介质
CN111369435A (zh) * 2020-02-18 2020-07-03 山东师范大学 基于自适应稳定模型的彩色图像深度上采样方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170264880A1 (en) * 2016-03-14 2017-09-14 Symbol Technologies, Llc Device and method of dimensioning using digital images and depth data
CN106651938A (zh) * 2017-01-17 2017-05-10 湖南优象科技有限公司 一种融合高分辨率彩色图像的深度图增强方法
CN107578418A (zh) * 2017-09-08 2018-01-12 华中科技大学 一种融合色彩和深度信息的室内场景轮廓检测方法
CN107633490A (zh) * 2017-09-19 2018-01-26 北京小米移动软件有限公司 图像处理方法、装置及存储介质
CN108399610A (zh) * 2018-03-20 2018-08-14 上海应用技术大学 一种融合rgb图像信息的深度图像增强方法
CN110956657A (zh) * 2018-09-26 2020-04-03 Oppo广东移动通信有限公司 深度图像获取方法及装置、电子设备及可读存储介质
CN111369435A (zh) * 2020-02-18 2020-07-03 山东师范大学 基于自适应稳定模型的彩色图像深度上采样方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643208A (zh) * 2021-08-24 2021-11-12 凌云光技术股份有限公司 一种深度图像仿射采样方法及装置
CN116630220A (zh) * 2023-07-25 2023-08-22 江苏美克医学技术有限公司 一种荧光图像景深融合成像方法、装置及存储介质
CN116630220B (zh) * 2023-07-25 2023-11-21 江苏美克医学技术有限公司 一种荧光图像景深融合成像方法、装置及存储介质
CN116758069A (zh) * 2023-08-17 2023-09-15 济南宝林信息技术有限公司 用于肠道内镜的医学图像增强方法
CN116758069B (zh) * 2023-08-17 2023-11-14 济南宝林信息技术有限公司 用于肠道内镜的医学图像增强方法

Similar Documents

Publication Publication Date Title
CN112669232A (zh) 一种深度图像增强处理方法及装置
CN104683767B (zh) 透雾图像生成方法及装置
CN111080526B (zh) 航拍图像的农田面积的测算方法、装置、设备及介质
CN109474780B (zh) 一种用于图像处理的方法和装置
US10643071B2 (en) System and method for augmenting an image with stylized features
JP4862897B2 (ja) 画像処理方法
CN109064504B (zh) 图像处理方法、装置和计算机存储介质
CN111563908B (zh) 一种图像处理方法及相关装置
CN111127303A (zh) 背景虚化方法、装置、终端设备及计算机可读存储介质
Parihar et al. Fusion‐based simultaneous estimation of reflectance and illumination for low‐light image enhancement
CN110599554A (zh) 人脸肤色的识别方法和装置、存储介质及电子装置
CN114529490B (zh) 一种数据处理方法、装置、设备以及可读存储介质
CN111968057A (zh) 图像降噪方法、装置、存储介质及电子装置
CN111383254A (zh) 一种深度信息获取方法、系统及终端设备
CN111681171A (zh) 基于分块匹配的全色与多光谱图像高保真融合方法及装置
WO2020038065A1 (zh) 一种图像处理方法、终端及计算机存储介质
CN114972646A (zh) 一种实景三维模型独立地物的提取与修饰方法及系统
CN113159229B (zh) 图像融合方法、电子设备及相关产品
CN110930474B (zh) 昆虫密度热力图构建方法、装置及系统
CN112053434B (zh) 视差图的生成方法、三维重建方法及相关装置
Zhang et al. Uav remote sensing image dehazing based on saliency guided two-scaletransmission correction
CN117523419B (zh) 提升确定地物类型信息的精确度的方法、装置及存储介质
CN117237779B (zh) 可见光图像和红外图像结合分析的图像识别方法及系统
JP7369333B2 (ja) 三次元形状モデル生成システム、三次元形状モデル生成方法、及びプログラム
CN116385325A (zh) 图像融合方法及装置、存储介质、终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination