CN111402170B - 图像增强方法、装置、终端及计算机可读存储介质 - Google Patents

图像增强方法、装置、终端及计算机可读存储介质 Download PDF

Info

Publication number
CN111402170B
CN111402170B CN202010211586.1A CN202010211586A CN111402170B CN 111402170 B CN111402170 B CN 111402170B CN 202010211586 A CN202010211586 A CN 202010211586A CN 111402170 B CN111402170 B CN 111402170B
Authority
CN
China
Prior art keywords
image
enhanced
semantic segmentation
segmentation
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010211586.1A
Other languages
English (en)
Other versions
CN111402170A (zh
Inventor
熊伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010211586.1A priority Critical patent/CN111402170B/zh
Publication of CN111402170A publication Critical patent/CN111402170A/zh
Application granted granted Critical
Publication of CN111402170B publication Critical patent/CN111402170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请属于图像处理技术领域，尤其涉及一种图像增强方法、装置、终端及计算机可读存储介质，其中，所述方法包括：获取待增强图像以及与所述待增强图像对应的彩色图像；提取所述待增强图像的空洞区域，并对所述彩色图像进行语义分割，得到多个语义分割图像；以所述多个语义分割图像为参考图像，利用全局优化算法对所述待增强图像中与每个所述语义分割图像对应的图像块进行空洞区域的填充，得到所述待增强图像对应的第一目标图像；有效提高图像增强的准确性，解决了目前的图像增强准确性较差的技术问题。

Description

图像增强方法、装置、终端及计算机可读存储介质
技术领域
本申请属于图像处理技术领域，尤其涉及一种图像增强方法、装置、终端及计算机可读存储介质。
背景技术
深度图像作为一种三维场景信息的表达方式在当今的计算机视觉系统中得到了广泛的应用，然而，TOF相机、双目摄像头等各类深度传感设备所获得的深度图像往往存在深度信息缺失等问题，通常需要通过图像增强对深度图像中深度值不可靠的空洞区域进行填充，同时保持深度图像的平滑性和边缘的精确性。
目前深度图像的增强算法主要可分为两类：基于局部滤波的方法与基于全局优化的方法。其中，基于局部滤波的方法虽然具有处理速度较快的优点，但是其对大面积的空洞区域处理效果较差；基于全局优化的方法虽然全局平滑性更好，准确性更高，但深度图像场景中不同区域的深度信息有可能是不连续的，导致在使用全局优化的方法对深度图像进行增强时，仍然会出现错误。
发明内容
本申请实施例提供一种图像增强方法、装置、终端及计算机可读存储介质，可以提高图像增强的准确性。
本申请实施例第一方面提供一种图像增强方法，包括：
获取待增强图像以及与所述待增强图像对应的彩色图像；
提取所述待增强图像的空洞区域，并对所述彩色图像进行语义分割，得到多个语义分割图像；
以所述多个语义分割图像为参考图像，利用全局优化算法对所述待增强图像中与每个所述语义分割图像对应的图像块进行空洞区域的填充，得到所述待增强图像对应的第一目标图像。
本申请实施例第二方面提供一种图像增强装置，包括：
获取单元，用于获取待增强图像以及与所述待增强图像对应的彩色图像；
提取与分割单元，用于提取所述待增强图像的空洞区域，并对所述彩色图像进行语义分割，得到多个语义分割图像；
增强单元，用于以所述多个语义分割图像为参考图像，利用全局优化算法对所述待增强图像中与每个所述语义分割图像对应的图像块进行空洞区域的填充，得到所述待增强图像对应的第一目标图像。
本申请实施例第三方面提供一种终端，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法的步骤。
本申请实施例第四方面提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述方法的步骤。
本申请实施例中，通过获取待增强图像以及与所述待增强图像对应的彩色图像，并对所述彩色图像进行语义分割，得到多个语义分割图像，接着，以所述多个语义分割图像为参考图像，利用全局优化算法对所述待增强图像中与每个所述语义分割图像对应的图像块进行空洞区域的填充，得到经图像增强处理的第一目标图像。由此可以看出，在本申请实施例中，全局优化算法的对象是与每个所述语义分割图像对应的图像块，而不是整个待增强图像，属于一种利用半全局优化算法对待增强图像进行空洞区域的填充，而通过将彩色图像分割成多个语义分割图像，可以保证待增强图像中与每个语义分割图像对应的图像块内部是较为连续的，因此，利用全局优化算法对所述待增强图像中与每个所述语义分割图像对应的图像块进行空洞区域的填充时，不会因为待增强图像中不同区域的深度信息不连续而出现错误，所以，本申请可以有效提高图像增强的准确性，解决了目前的图像增强准确性较差的技术问题。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本申请实施例提供的一种图像增强方法的第一实现流程示意图；
图2是本申请实施例提供的一种图像增强方法的第一实现过程示意图；
图3是本申请实施例提供的一种图像增强方法的第二实现流程示意图；
图4是本申请实施例提供的一种图像增强方法的第二实现过程示意图；
图5是本申请实施例提供的一种图像增强方法步骤104的第一具体实现流程示意图；
图6是本申请实施例提供的一种图像增强方法步骤104的第二具体实现流程示意图；
图7是本申请实施例提供的图像增强装置的结构示意图；
图8是本申请实施例提供的终端的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
目前，TOF相机、双目摄像头等各类深度传感设备所获得的深度图像往往存在深度信息缺失等问题，通常需要通过图像增强对深度图像中深度值不可靠的空洞区域进行填充，同时保持深度图像的平滑性和边缘的精确性。
传统的深度图像的增强算法主要可分为两类：基于局部滤波的方法与基于全局优化的方法。其中，基于局部滤波的方法一般采用双边滤波、引导滤波、加权中值滤波等保边滤波器，并根据图像的颜色、边缘、抠图等信息设计滤波器的权值来增强深度信息。该类算法只在局部窗口通过加权平均求解，一般速度较快，适用于局部小块空洞区域的深度图填充，其对大面积的空洞区域处理效果较差；而基于全局优化的方法虽然全局平滑性更好，准确性更高，但深度图像场景中不同区域的深度信息有可能是不连续的，导致在使用全局优化的方法对深度图像进行增强时，仍然会出现错误。
基于此，本申请实施例提供一种图像增强方法、装置、终端及计算机可读存储介质，可以提高图像增强的准确性。
为了说明本申请的技术方案，下面通过具体实施例来进行说明。
如图1示出了本申请实施例提供的一种图像增强方法的实现流程示意图，该方法应用于终端，可以由终端上配置的图像增强装置执行，适用于需提高图像增强的准确性的情形。其中，上述终端可以为手机、平板电脑、可穿戴设备等智能终端。
在本申请的一些实施方式中，上述图像增强方法可以包括步骤101至步骤103。
步骤101，获取待增强图像以及与所述待增强图像对应的彩色图像。
本申请实施例中，上述与待增强图像对应的彩色图像是指待增强图像中的各个像素在彩色图像中均有与其对应的像素。并且，该彩色图像可以为RGB格式、YUV格式或CMYK格式的彩色图像。
需要说明的是，在本申请实施例中，上述待增强图像可以为待增强的深度图像，也可以为待增强的流光图像。并且，当上述待增强图像为待增强的深度图像时，本申请通过对待增强的深度图像进行深度值的填充，实现对待增强的深度图像的图像增强处理；当上述待增强图像为待增强的流光图像时，本申请通过对待增强的流光图像进行流光值的填充和/或方向值的填充，实现对待增强的流光图像的图像增强处理；两者的区别仅在于图像增强的对象为属于不同量纲的物理值。为了描述的方便，下面以上述待增强图像为待增强的深度图像为例进行举例说明。
步骤102，提取所述待增强图像的空洞区域，并对所述彩色图像进行语义分割，得到多个语义分割图像。
本申请实施例中，当上述待增强图像为待增强的深度图像时，上述待增强图像的空洞区域是指待增强的深度图像中深度值不可靠的像素点组成的区域。
在本申请的一些实施方式中，当上述待增强图像为基于TOF相机采集的待增强图像时，上述提取待增强图像的空洞区域可以包括：利用与所述TOF相机对应的置信度图确定提取所述待增强图像的空洞区域。其中，该置信度图为TOF相机在生产过程中，通过标定得到的用于标识该TOF相机拍摄的深度图像中各个像素的深度值的可靠性的图像。当上述待增强图像为基于双目摄像头采集的待增强图像时，上述提取待增强图像的空洞区域可以包括：利用左右一致性(Left Right Consistency，LRC)准则检测得到所述待增强图像的空洞区域。
语义分割是指将像素按照在图像中表达语义含义的不同进行分组(Grouping)或分割(Segmentation)，在本申请的一些实施方式中，上述对所述彩色图像进行语义分割可以包括：利用轻量级网络MobileNet对所述彩色图像进行语义分割，或者，利用基于图划分的Normalized cut方法、Grab cut方法对所述彩色图像进行语义分割，又或者，采用基于卷积神经网络的语义分割方法对所述彩色图像进行语义分割，例如，可以利用采用全卷积网络(Fully Convolutional Networks，FCN)进行图像的语义分割，本申请对此不做限制。
步骤103，以所述多个语义分割图像为参考图像，利用全局优化算法对所述待增强图像中与每个所述语义分割图像对应的图像块进行空洞区域的填充，得到所述待增强图像对应的第一目标图像。
本申请实施例中，上述全局优化算法可以基于马尔可夫随机场(Markov RandomField，MRF)、全变分模型(Total Variation，TV)、加权最小二乘估计(Weighted LeastSquares，WLS)等优化框架，利用颜色、边缘、抠图等信息对整个图像构造能量函数，通过迭代优化、稀疏矩阵求逆等求解方式使能量函数全局最小的方式对待增强图像进行图像增强。
具体的，在本申请的一些实施方式中，上述以所述多个语义分割图像为参考图像，利用全局优化算法对所述待增强图像中与每个所述语义分割图像对应的图像块进行空洞区域的填充，得到所述待增强图像对应的第一目标图像，可以包括：以所述多个语义分割图像为参考图像，利用快速全局平滑滤波算法(fast global smoother，FGS)对所述待增强图像中与每个所述语义分割图像对应的图像块进行空洞区域的填充，得到所述待增强图像对应的第一目标图像。
其中，FGS滤波算法是在加权最小二乘算法WLS的基础上进行改进得到的全局优化算法，具有更低的算法复杂度。
该WLS的具体算法如下：假设f为待增强图像，g为参考图像，u为滤波输出图像，则WLS的能量函数为：
其中，p与q分别表示不同像素点，N(p)表示像素点q的4邻域或8邻域区域，λ是平滑因子，λ越大，图像平滑越强。wp,q表示p，q像素点之间的相关性，并且，ωp,q(g)＝exp(-||gp-gq||)/σc。
对WLS的能量函数进行求导，可以得到(I+λA)u＝f；其中，u和f表示S×1的列向量，包含了图像的像素值，S为图像像素点个数。I为单位矩阵，A为空间变化的拉普拉斯矩阵，其限定了非空洞区域的像素点与空洞区域的像素点对图像增强的贡献值，大小为S×S，/>其中，m，n表示像素p对应的索引；m，n∈{0,1,{S-1}；进而滤波输出图像u(m)＝((I+λA)-1f)(m)；并且，该WLS算法的算法复杂度为O(N*N)。
FGS算法通过将二维的线性方程组求解系统，转换为多个一维(水平方向和竖直方向)的子系统，并逐步迭代的方式近似求解，将算法复杂度降为O(N)。
为了更直观的说明本申请上述步骤101至步骤103的具体实现过程，请参看图2，本申请实施例提供的图像增强方法，首先，获取待增强图像以及与所述待增强图像对应的彩色图像，接着，利用置信度图或者LRC准则提取所述待增强图像的空洞区域，并利用轻量级网络MobileNet等方式对所述彩色图像进行语义分割，得到多个语义分割图像，然后，再以所述多个语义分割图像为参考图像，利用FGS等全局优化算法对所述待增强图像中与每个所述语义分割图像对应的图像块进行空洞区域的填充，得到经图像增强处理的第一目标图像。
与传统利用全局优化算法进行图像增强的方法相比，本申请实施例中的全局优化算法的对象是与每个所述语义分割图像对应的图像块，而不是整个待增强图像，属于一种利用半全局优化算法对待增强图像进行空洞区域的填充。本申请通过将彩色图像分割成多个语义分割图像，保证了待增强图像中与每个语义分割图像对应的图像块内部是较为连续的(非边缘部分)，因此，利用全局优化算法对所述待增强图像中与每个所述语义分割图像对应的图像块进行空洞区域的填充时，不会因为待增强图像中场景不同区域的深度信息不连续而出现错误，所以，本申请可以有效提高图像增强的准确性，解决了目前的图像增强准确性较差的技术问题。
另外，本申请实施例提供的图像增强方法可以适用于TOF相机、双目摄像头等多种拍摄设备拍摄得到的深度图像的增强，具有通用性更强，时效性更高的特点。
然而，由于利用语义分割算法在对与所述待增强图像对应的彩色图像进行语义分割时，待增强图像中与每个语义分割图像对应的图像块之间的边缘有可能存在误差，因此，在本申请的一些实施方式中，如图3所示，在得到所述待增强图像对应的第一目标图像之后，还可以包括步骤104：利用局部滤波算法对所述第一目标图像中与每个所述语义分割图像对应的图像块的分割边缘进行修正，得到所述第一目标图像对应的第二目标图像。
在本申请的一些实施方式中，上述利用局部滤波算法对所述第一目标图像中与每个所述语义分割图像对应的图像块的分割边缘进行修正，可以包括：利用具有较高保边性能的快速双边滤波算法、引导滤波算法或加权中值滤波算法对所述第一目标图像中与每个所述语义分割图像对应的图像块的分割边缘进行修正。
具体的，如图4所示，在本申请的一些实施方式中，在利用全局优化算法对所述待增强图像中与每个所述语义分割图像对应的图像块进行空洞区域的填充，得到经图像增强处理的第一目标图像之后，还可以在第一目标图像的基础上，利用快速双边滤波算法、引导滤波算法或加权中值滤波算法等局部滤波算法对所述第一目标图像中与每个所述语义分割图像对应的图像块的分割边缘进行局部滤波，提升进行图像增强处理后的图片的边缘的精细度，使得最终得到的第二目标图像具有较高的边缘精细度，而非边缘部分(与每个语义分割图像对应的图像块内部)具有较好的平滑性。
其中，如图5所示，上述在利用上述局部滤波算法对所述第一目标图像中与每个所述语义分割图像对应的图像块的分割边缘进行修正的过程中，还可以具体包括：步骤501至步骤502。
步骤501，根据所述彩色图像，获取所述第一目标图像中与每个所述语义分割图像对应的图像块的边缘的颜色信息。
由于在本申请实施例中，上述待增强图像中的各个像素在彩色图像中均有与其对应的像素。因此，相应的，上述第一目标图像中的各个像素在彩色图像中也有与其对应的像素，因而，根据所述彩色图像，获取所述第一目标图像中与每个所述语义分割图像对应的图像块的边缘的颜色信息。其中，该颜色信息即为第一目标图像中与每个所述语义分割图像对应的图像块的边缘像素点对应的在彩色图像中的像素值。
步骤502，以所述第一目标图像中与每个所述语义分割图像对应的图像块的边缘的颜色信息为参考信息，利用局部滤波算法对所述第一目标图像中与每个所述语义分割图像对应的图像块的分割边缘进行修正。
其中，上述局部滤波算法可以为具有较高保边性能的快速双边滤波算法、引导滤波算法或加权中值滤波算法。
本申请通过以所述第一目标图像中与每个所述语义分割图像对应的图像块的边缘的颜色信息为参考信息，利用局部滤波算法对所述第一目标图像中与每个所述语义分割图像对应的图像块的分割边缘进行修正，使得得到的第二目标图像在保证与每个所述语义分割图像对应的图像块具有较好的平滑性的同时，还具有更高的边缘精细度。
由于在得到所述第一目标图像中与每个所述语义分割图像对应的图像块的边缘的颜色信息之后，还可以基于该颜色信息对第一目标图像中与每个所述语义分割图像对应的图像块的边缘进行亚像素分割或超像素分割，得到更加精细化的边缘信息，因此，在本申请的一些实施方式中，如图6所示，上述利用局部滤波算法对所述第一目标图像中与每个所述语义分割图像对应的图像块的分割边缘进行修正，还可以包括：步骤601至步骤603。
步骤601，根据所述彩色图像，获取所述第一目标图像中与每个所述语义分割图像对应的图像块的边缘的颜色信息。
本申请实施例中，上述步骤601的具体实现步骤与上述步骤501相同。
步骤602，基于所述第一目标图像中与每个所述语义分割图像对应的图像块的边缘的颜色信息，对所述第一目标图像中与每个所述语义分割图像对应的图像块的边缘进行亚像素分割或超像素分割，得到所述第一目标图像的边缘信息。
其中，超像素分割是指将像素级的第一目标图像中与每个所述语义分割图像对应的图像块的边缘，分割成具有某个特征很强的一致性的多个小块，然后把将每个小块视为一个像素进行处理的图像分割方式。
步骤603，以所述边缘信息为参考信息，利用局部滤波算法对所述第一目标图像中与每个所述语义分割图像对应的图像块的分割边缘进行修正。
其中，上述局部滤波算法可以为具有较高保边性能的快速双边滤波算法、引导滤波算法或加权中值滤波算法。
本申请实施例中，通过基于颜色信息对第一目标图像中与每个所述语义分割图像对应的图像块的边缘进行亚像素分割或超像素分割，得到更加精细化的边缘信息，并以所述边缘信息为参考信息，利用局部滤波算法对所述第一目标图像中与每个所述语义分割图像对应的图像块的分割边缘进行修正，可以进一步提高第二目标图像的边缘精细度，保证了第二目标图像的平滑性和边缘准确性。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为根据本发明，某些步骤可以采用其它顺序进行。
图7示出了本申请实施例提供的一种图像增强装置700的结构示意图，包括获取单元701、提取与分割单元702和增强单元703。
获取单元701，用于获取待增强图像以及与所述待增强图像对应的彩色图像；
提取与分割单元702，用于提取所述待增强图像的空洞区域，并对所述彩色图像进行语义分割，得到多个语义分割图像；
增强单元703，用于以所述多个语义分割图像为参考图像，利用全局优化算法对所述待增强图像中与每个所述语义分割图像对应的图像块进行空洞区域的填充，得到所述待增强图像对应的第一目标图像。
在本申请的一些实施方式中，上述增强单元703，还用于在得到所述待增强图像对应的第一目标图像之后，利用局部滤波算法对所述第一目标图像中与每个所述语义分割图像对应的图像块的分割边缘进行修正，得到所述第一目标图像对应的第二目标图像。
在本申请的一些实施方式中，上述增强单元703，还用于在利用局部滤波算法对所述第一目标图像中与每个所述语义分割图像对应的图像块的分割边缘进行修正时，根据所述彩色图像，获取所述第一目标图像中与每个所述语义分割图像对应的图像块的边缘的颜色信息；以所述第一目标图像中与每个所述语义分割图像对应的图像块的边缘的颜色信息为参考信息，利用局部滤波算法对所述第一目标图像中与每个所述语义分割图像对应的图像块的分割边缘进行修正。
在本申请的一些实施方式中，上述增强单元703，还用于在利用局部滤波算法对所述第一目标图像中与每个所述语义分割图像对应的图像块的分割边缘进行修正时，根据所述彩色图像，获取所述第一目标图像中与每个所述语义分割图像对应的图像块的边缘的颜色信息；基于所述第一目标图像中与每个所述语义分割图像对应的图像块的边缘的颜色信息，对所述第一目标图像中与每个所述语义分割图像对应的图像块的边缘进行亚像素分割或超像素分割，得到所述第一目标图像的边缘信息；以所述边缘信息为参考信息，利用局部滤波算法对所述第一目标图像中与每个所述语义分割图像对应的图像块的分割边缘进行修正。
在本申请的一些实施方式中，上述增强单元703，还具体用于利用所述局部滤波算法中的快速双边滤波算法、引导滤波算法或加权中值滤波算法对所述第一目标图像中与每个所述语义分割图像对应的图像块的分割边缘进行修正。
在本申请的一些实施方式中，上述增强单元703，还具体用于以所述多个语义分割图像为参考图像，利用所述全局优化算法中的快速全局平滑滤波算法FGS对所述待增强图像中与每个所述语义分割图像对应的图像块进行空洞区域的填充，得到所述待增强图像对应的第一目标图像。
在本申请的一些实施方式中，上述提取与分割单元702，还具体用于利用轻量级网络MobileNet对所述彩色图像进行语义分割。
需要说明的是，为描述的方便和简洁，上述描述的图像增强装置700的具体工作过程，可以参考上述图1至图6中描述的方法的对应过程，在此不再赘述。
如图8所示，本申请提供一种用于实现上述图像增强方法的终端，该终端可以包括：处理器81、存储器82、一个或多个输入设备83(图8中仅示出一个)和一个或多个输出设备84(图8中仅示出一个)。处理器81、存储器82、输入设备83和输出设备84通过总线85连接。
应当理解，在本申请实施例中，所称处理器81可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备83可以包括虚拟键盘、触控板、指纹采传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风等，输出设备84可以包括显示器、扬声器等。
存储器82可以包括只读存储器和随机存取存储器，并向处理器81提供指令和数据。存储器82的一部分或全部还可以包括非易失性随机存取存储器。例如，存储器82还可以存储设备类型的信息。
上述存储器82存储有计算机程序，上述计算机程序可在上述处理器81上运行，例如，上述计算机程序为图像增强方法的程序。上述处理器81执行上述计算机程序时实现上述图像增强方法实施例中的步骤，例如图1所示的步骤101至步骤103。或者，上述处理器81执行上述计算机程序时实现上述装置实施例中各单元的功能，例如图7所示单元701至703的功能。
上述计算机程序可以被分割成一个或多个模块/单元，上述一个或者多个模块/单元被存储在上述存储器82中，并由上述处理器81执行，以完成本申请。上述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述上述计算机程序在上述进行图像增强的第一终端中的执行过程。例如，上述计算机程序可以被分割成获取单元、提取与分割单元和增强单元，各单元具体功能如下：
获取单元，用于获取待增强图像以及与所述待增强图像对应的彩色图像；
提取与分割单元，用于提取所述待增强图像的空洞区域，并对所述彩色图像进行语义分割，得到多个语义分割图像；
增强单元，用于以所述多个语义分割图像为参考图像，利用全局优化算法对所述待增强图像中与每个所述语义分割图像对应的图像块进行空洞区域的填充，得到所述待增强图像对应的第一目标图像。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现上述各实施例中的图像增强方法的步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上上述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像增强方法，其特征在于，包括：
获取待增强图像以及与所述待增强图像对应的彩色图像；
提取所述待增强图像的空洞区域，并对所述彩色图像进行语义分割，得到多个语义分割图像；
以所述多个语义分割图像为参考图像，利用全局优化算法对所述待增强图像中与每个所述语义分割图像对应的图像块进行空洞区域的填充，得到所述待增强图像对应的第一目标图像；
其中，所述提取所述待增强图像的空洞区域，包括：基于TOF相机对应的置信度图确定所述待增强图像的空洞区域，或者基于双目摄像头的左右一致性准则检测所述待增强图像的空洞区域。
2.如权利要求1所述的图像增强方法，其特征在于，在得到所述待增强图像对应的第一目标图像之后，还包括：
利用局部滤波算法对所述第一目标图像中与每个所述语义分割图像对应的图像块的分割边缘进行修正，得到所述第一目标图像对应的第二目标图像。
3.如权利要求2所述的图像增强方法，其特征在于，所述利用局部滤波算法对所述第一目标图像中与每个所述语义分割图像对应的图像块的分割边缘进行修正，包括：
根据所述彩色图像，获取所述第一目标图像中与每个所述语义分割图像对应的图像块的边缘的颜色信息；
以所述第一目标图像中与每个所述语义分割图像对应的图像块的边缘的颜色信息为参考信息，利用局部滤波算法对所述第一目标图像中与每个所述语义分割图像对应的图像块的分割边缘进行修正。
4.如权利要求2所述的图像增强方法，其特征在于，所述利用局部滤波算法对所述第一目标图像中与每个所述语义分割图像对应的图像块的分割边缘进行修正，包括：
根据所述彩色图像，获取所述第一目标图像中与每个所述语义分割图像对应的图像块的边缘的颜色信息；
基于所述第一目标图像中与每个所述语义分割图像对应的图像块的边缘的颜色信息，对所述第一目标图像中与每个所述语义分割图像对应的图像块的边缘进行亚像素分割或超像素分割，得到所述第一目标图像的边缘信息；
以所述边缘信息为参考信息，利用局部滤波算法对所述第一目标图像中与每个所述语义分割图像对应的图像块的分割边缘进行修正。
5.如权利要求2-4任意一项所述的图像增强方法，其特征在于，所述利用局部滤波算法对所述第一目标图像中与每个所述语义分割图像对应的图像块的分割边缘进行修正，包括：
利用所述局部滤波算法中的快速双边滤波算法、引导滤波算法或加权中值滤波算法对所述第一目标图像中与每个所述语义分割图像对应的图像块的分割边缘进行修正。
6.如权利要求1所述的图像增强方法，其特征在于，所述以所述多个语义分割图像为参考图像，利用全局优化算法对所述待增强图像中与每个所述语义分割图像对应的图像块进行空洞区域的填充，得到所述待增强图像对应的第一目标图像，包括：
以所述多个语义分割图像为参考图像，利用所述全局优化算法中的快速全局平滑滤波算法FGS对所述待增强图像中与每个所述语义分割图像对应的图像块进行空洞区域的填充，得到所述待增强图像对应的第一目标图像。
7.如权利要求1所述的图像增强方法，其特征在于，所述对所述彩色图像进行语义分割，包括：
利用轻量级网络MobileNet对所述彩色图像进行语义分割。
8.一种图像增强装置，其特征在于，包括：
获取单元，用于获取待增强图像以及与所述待增强图像对应的彩色图像；
提取与分割单元，用于提取所述待增强图像的空洞区域，并对所述彩色图像进行语义分割，得到多个语义分割图像；
增强单元，用于以所述多个语义分割图像为参考图像，利用全局优化算法对所述待增强图像中与每个所述语义分割图像对应的图像块进行空洞区域的填充，得到所述待增强图像对应的第一目标图像；
其中，所述提取所述待增强图像的空洞区域，包括：基于TOF相机对应的置信度图确定所述待增强图像的空洞区域，或者基于双目摄像头的左右一致性准则检测所述待增强图像的空洞区域。
9.一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任意一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述方法的步骤。
CN202010211586.1A 2020-03-23 2020-03-23 图像增强方法、装置、终端及计算机可读存储介质 Active CN111402170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010211586.1A CN111402170B (zh) 2020-03-23 2020-03-23 图像增强方法、装置、终端及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010211586.1A CN111402170B (zh) 2020-03-23 2020-03-23 图像增强方法、装置、终端及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111402170A CN111402170A (zh) 2020-07-10
CN111402170B true CN111402170B (zh) 2023-11-03

Family

ID=71431090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010211586.1A Active CN111402170B (zh) 2020-03-23 2020-03-23 图像增强方法、装置、终端及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111402170B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112053362B (zh) * 2020-07-14 2024-02-06 北京百度网讯科技有限公司 图像分割方法、装置、电子设备及存储介质
CN112102199A (zh) * 2020-09-18 2020-12-18 贝壳技术有限公司 深度图像的空洞区域填充方法、装置和系统
CN116324867A (zh) * 2020-11-24 2023-06-23 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、摄像头组件及电子设备
CN112734874B (zh) * 2021-01-04 2024-06-18 厦门美图之家科技有限公司 油画生成方法、装置、计算机设备和存储介质
CN112967301A (zh) * 2021-04-08 2021-06-15 北京华捷艾米科技有限公司 自拍图像抠图方法及装置
CN113763296B (zh) * 2021-04-28 2024-08-06 腾讯云计算（北京）有限责任公司 图像处理方法、设备以及介质
CN113674303B (zh) * 2021-08-31 2024-07-16 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN114037930B (zh) * 2021-10-18 2022-07-12 苏州大学 基于时空增强网络的视频动作识别方法
CN117635466B (zh) * 2024-01-26 2024-07-09 荣耀终端有限公司 图像增强方法、装置、电子设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101689300A (zh) * 2007-04-27 2010-03-31 惠普开发有限公司 图像分割和增强
CN105741265A (zh) * 2016-01-21 2016-07-06 中国科学院深圳先进技术研究院 深度图像的处理方法及装置
CN108629747A (zh) * 2018-04-25 2018-10-09 腾讯科技（深圳）有限公司 图像增强方法、装置、电子设备及存储介质
CN110782407A (zh) * 2019-10-15 2020-02-11 北京理工大学 一种基于天空区域概率分割的单幅图像去雾方法
CN110807780A (zh) * 2019-10-23 2020-02-18 北京达佳互联信息技术有限公司 图像处理方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8774512B2 (en) * 2009-02-11 2014-07-08 Thomson Licensing Filling holes in depth maps

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101689300A (zh) * 2007-04-27 2010-03-31 惠普开发有限公司 图像分割和增强
CN105741265A (zh) * 2016-01-21 2016-07-06 中国科学院深圳先进技术研究院 深度图像的处理方法及装置
CN108629747A (zh) * 2018-04-25 2018-10-09 腾讯科技（深圳）有限公司 图像增强方法、装置、电子设备及存储介质
CN110782407A (zh) * 2019-10-15 2020-02-11 北京理工大学 一种基于天空区域概率分割的单幅图像去雾方法
CN110807780A (zh) * 2019-10-23 2020-02-18 北京达佳互联信息技术有限公司 图像处理方法和装置

Also Published As

Publication number Publication date
CN111402170A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN111402170B (zh) 图像增强方法、装置、终端及计算机可读存储介质
Kim et al. Optimized contrast enhancement for real-time image and video dehazing
KR20230084486A (ko) 이미지 효과를 위한 세그먼트화
CN113313661B (zh) 图像融合方法、装置、电子设备及计算机可读存储介质
CN108446694B (zh) 一种目标检测方法及装置
CN111079764B (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
CN108596923B (zh) 三维数据的获取方法、装置以及电子设备
CN108986197B (zh) 3d骨架线构建方法及装置
CN106570472B (zh) 一种肤色检测方法、装置及终端
CN111161136B (zh) 图像虚化方法、图像虚化装置、设备及存储装置
US11948280B2 (en) System and method for multi-frame contextual attention for multi-frame image and video processing using deep neural networks
Ttofis et al. High-quality real-time hardware stereo matching based on guided image filtering
CN113658197B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN109214996A (zh) 一种图像处理方法及装置
JP5747797B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN113674303A (zh) 图像处理方法、装置、电子设备及存储介质
CN113034666B (zh) 一种基于金字塔视差优化代价计算的立体匹配方法
CN113920023A (zh) 图像处理方法及装置、计算机可读介质和电子设备
CN111369435B (zh) 基于自适应稳定模型的彩色图像深度上采样方法及系统
CN111630569B (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置
CN117152330A (zh) 一种基于深度学习的点云3d模型贴图方法和装置
Li et al. Graph-based saliency fusion with superpixel-level belief propagation for 3D fixation prediction
US12094079B2 (en) Reference-based super-resolution for image and video enhancement
CN110717913A (zh) 一种图像分割方法及装置
CN112950641B (zh) 图像处理方法及装置、计算机可读存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant