CN109635809A - 一种面向视觉退化图像的超像素分割方法 - Google Patents
一种面向视觉退化图像的超像素分割方法 Download PDFInfo
- Publication number
- CN109635809A CN109635809A CN201811300689.4A CN201811300689A CN109635809A CN 109635809 A CN109635809 A CN 109635809A CN 201811300689 A CN201811300689 A CN 201811300689A CN 109635809 A CN109635809 A CN 109635809A
- Authority
- CN
- China
- Prior art keywords
- image
- depth
- cluster areas
- pixel
- intensity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 32
- 230000004438 eyesight Effects 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000007688 edging Methods 0.000 claims abstract description 24
- 238000004040 coloring Methods 0.000 claims abstract description 15
- 239000004576 sand Substances 0.000 claims abstract description 4
- 238000001914 filtration Methods 0.000 claims description 10
- 230000002146 bilateral effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 2
- 235000013350 formula milk Nutrition 0.000 description 17
- 230000006870 function Effects 0.000 description 5
- 230000002633 protecting effect Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 230000008844 regulatory mechanism Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23211—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with adaptive number of clusters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种面向视觉退化图像的超像素分割方法,在RGB图像和对应的深度图像上各自预分割k个相同尺寸的正方形状的超像素,将该K个预分割超像素中心作为初始种子点,以初始种子点为中心划分初始矩形聚类区域,利用聚类区域的彩色边缘强度与深度边缘强度来为聚类区域分配颜色信息权重Qc与深度信息权重Qd,根据颜色距离Dc、深度距离Dd、空间距离Ds,以及颜色信息权重Qc与深度信息权重Qd,计算超像素聚类距离Dp,然后进行重新聚类并反复迭代收敛,根据收敛后的聚类区域生成超像素。本发明的方法显著地提高在视觉退化图像情况下超像素与物体的边缘贴合率。
Description
技术领域
本发明涉及机器人视觉、图像分割等技术领域,尤其涉及一种面向视觉退化图像的超像素分割方法。
背景技术
超像素是一种将图像快速分割为多个相似子区域的图像预处理技术。与传统的图像处理基本单元——像素相比,超像素更有利于局部特征的提取和图像结构信息的表达,并且能够大幅度降低后续处理的计算复杂度。尤为重要的一点,理想的超像素的边缘能贴合图像中物体的边缘。因此在计算机视觉领域尤其是图像分割中得到了广泛的应用。但是,目前基于颜色的传统超像素算法无法在视觉退化图像上生成高质量的超像素。
在实际应用场景中,会产生多种视觉退化的图像,例如:由于目标与相机之间的运动生成的运动模糊图像,图像拍摄过程中光圈过大、快门过慢生成的过曝图像,图像拍摄过程中光圈过小、快门过快等生成的欠曝图像,在工业环境中由于物体被灰尘等干扰物覆盖生成的颜色退化图像。在这些视觉退化的图像中,颜色信息已经无法准确地描述图像的特征和结构信息,因此基于颜色的超像素算法生成的超像素的边缘与实际物体的贴合度较低。
发明内容
本发明的目的是提供一种面向视觉退化图像的超像素分割方法,为了解决现有的超像素算法难以在视觉退化的图像中生成高边缘贴合度的超像素的问题,本发明提出的超像素生成算法除了利用颜色信息外还引入了由深度相机采集得到的对应深度信息。在本发明提出的自适应机制下,颜色信息和深度信息按照图像的退化情况以合适的比例融合并分配在对应的聚类空间中。最后,根据基于本发明提出的融合多模态信息损失函数的改进k-means聚类算法以迭代聚类的方式生成在视觉退化图像中仍能保持高边缘贴合度的超像素。
为了实现上述目的,本发明技术方案如下:
一种面向视觉退化图像的超像素分割方法,包括:
步骤S1、对RGB图像对应的深度图像进行双边滤波,在滤除深度图像中高频噪声的同时,保护图像中物体的边缘;
步骤S2、将滤波后的深度图像规则化到[0,255]范围内,得到规则化的深度图像;
步骤S3、在RGB图像和对应的深度图像上各自预分割k个相同尺寸的正方形状的超像素,将该K个预分割超像素中心作为初始种子点,以初始种子点为中心划分初始矩形聚类区域;
步骤S4、根据图像梯度的定义,计算RGB图像对应的灰度图像和深度图像的灰度图像梯度Ig和深度图像梯度Id;
步骤S5、根据灰度图像梯度和深度图像梯度,计算各聚类区域的彩色边缘强度与深度边缘强度;
步骤S6、利用聚类区域的彩色边缘强度与深度边缘强度来为聚类区域分配颜色信息权重Qc与深度信息权重Qd;
步骤S7、将RGB图像转换到LAB颜色空间,计算聚类区域中各像素距离聚类区域中心的颜色距离Dc,并根据深度图像中像素的深度信息计算深度距离Dd,根据像素的空间坐标计算空间距离Ds;
步骤S8、根据计算得到的颜色距离Dc、深度距离Dd、空间距离Ds,以及颜色信息权重Qc与深度信息权重Qd,根据如下公式计算超像素聚类距离Dp:
其中a是常数来平衡颜色距离、深度距离与空间距离;
步骤S9、根据计算得到的聚类距离,将像素归入到聚类距离最近的种子点所在的类,直到所有像素都归类完毕,然后计算各个聚类区域的中心点,将计算得到的中心点作为种子点,以种子点为中心重新划分聚类区域,返回步骤S6进行反复迭代直到收敛,根据收敛后的聚类区域生成超像素。
进一步地,所述预分割k个相同尺寸的正方形状的超像素中,正方形状的超像素边长为L,所述聚类区域的边长为2L,其中:
所述N为RGB图像的总像素个数。
进一步地,所述根据灰度图像梯度和深度图像梯度,计算各聚类区域的彩色边缘强度与深度边缘强度,采用如下公式计算:
其中,Ig(x)表示灰度图像上像素x的梯度,Id(x)表示规则化后深度图像上像素x的梯度,为常数,rci为聚类区域i的彩色边缘强度,rdi为聚类区域i的深度边缘强度,i为聚类区域的序号,Nci、Ndi分别表示RGB图像和深度图像上划分的聚类区域i。
进一步地,所述利用聚类区域的彩色边缘强度与深度边缘强度来为聚类区域分配颜色信息权重Qc与深度信息权重Qd,采用如下公式计算:
Qc(i)=1-Qd(i)
其中,rci为聚类区域i的彩色边缘强度,rdi为聚类区域i的深度边缘强度,i为聚类区域的序号,Qd(i)为聚类区域i的深度信息权重,Qc(i)为聚类区域i的颜色信息权重。
进一步地,所述步骤S5之前,还包括:
利用Heaviside函数来标记深度图像中存在深度信息缺失的区域,得到深度图信息有效分布H(x)。
进一步地,所述根据灰度图像梯度和深度图像梯度,计算各聚类区域的彩色边缘强度与深度边缘强度,采用如下公式计算:
其中,Ig(x)表示灰度图像上像素x的梯度,Id(x)表示规则化后深度图像上像素x的梯度,为常数,rci为聚类区域i的彩色边缘强度,rdi为聚类区域i的深度边缘强度,i为聚类区域的序号,Nci、Ndi分别表示RGB图像和深度图像上划分的聚类区域i。
本发明提出了一种面向视觉退化图像的超像素分割方法,通过引入图像深度信息和所提出的自适应权重调整机制,显著地提高在视觉退化图像情况下超像素与物体的边缘贴合率。
附图说明
图1为本发明面向视觉退化图像的超像素分割方法流程图。
具体实施方式
下面结合附图和实施例对本发明技术方案做进一步详细说明,以下实施例不构成对本发明的限定。
实施例1:
如图1所示,一种面向视觉退化图像的超像素分割方法的实施例,在本实施例中需要输入RGB图像和对应的深度图像,其中RGB图像为常见的二维平面图像,具体步骤如下:
步骤S1、对RGB图像对应的深度图像进行双边滤波,在滤除深度图像中高频噪声的同时,保护图像中物体的边缘。
在实际的应用中,会得到场景的RGB图像和对应的深度图像,深度图像采用深度相机采集,RGB图像和对应的深度图像像素的空间坐标一致,这里的空间坐标也就是像素坐标,以下不再赘述。
双边滤波(Bilateral filter)是一种非线性的滤波方法,是结合图像的空间邻近度和像素值相似度的一种折中处理,同时考虑空域信息和灰度相似性,达到保边去噪的目的。具有简单、非迭代、局部的特点,双边滤波器的好处是可以做边缘保存(edgepreserving),一般过去用的维纳滤波或者高斯滤波去降噪,都会较明显地模糊边缘,对于高频细节的保护效果并不明显。双边滤波器在边缘附近,离的较远的像素不会太多影响到边缘上的像素值,这样就保证了边缘附近像素值的保存。
步骤S2、将滤波后的深度图像规则化到[0,255]范围内,得到规则化的深度图像。
为了在像素聚类过程中保持深度距离与颜色距离的平衡,本实施例采用公式(1-1)将滤波后的深度图规则化到[0,255]范围内。
其中x为图像中的像素位置,Dreg(x)为规则化后的深度图像,D为滤波后的深度图像,Dmin为深度图像D中的最大深度,Dmax为深度图像D中的最小深度。
步骤S3、在RGB图像和对应的深度图像上各自预分割k个相同尺寸的正方形状的超像素,将该k个预分割超像素中心作为初始种子点,以初始种子点为中心划分初始矩形聚类区域。
本发明的一种实施例,在RGB图像和对应的深度图像上各均匀的预分割k个相同尺寸的正方形状的超像素,其中预分割超像素的边长L如下式3-1,
其中N为输入RGB图像的总像素个数,将该k个预分割超像素中心作为初始种子点。
本发明的一种实施例,在RGB图像和对应的深度图像上各以2L为边长、以初始种子点为中心均匀的划分初始矩形聚类区域:Nc={Nc1,Nc2,…,Nck-1,Nck}与Nd={Nd1,Nd2,…,Ndk-1,Ndk}。
需要说明的是,本发明不限于具体的预分割方法,本实施例采用均匀分割的方法,还可以进行随机分割的办法来进行分割,这里不再赘述。
步骤S4、根据图像梯度的定义,计算RGB图像对应的灰度图像和深度图像的灰度图像梯度Ig和深度图像梯度Id。
本发明的一种实施例,采用Sobel算子对灰度图像和深度图像进行卷积操作,分别得到灰度图像梯度I‘g和深度图像梯度I‘d。Sobel算子是像素图像边缘检测中最重要的算子之一,在机器学习、数字媒体、计算机视觉等信息科技领域起着举足轻重的作用。在技术上,它是一个离散的一阶差分算子,用来计算图像亮度函数的一阶梯度之近似值。在图像的任何一点使用此算子,将会产生该点对应的梯度矢量或是其法矢量。关于Sobel算子的具体卷积操作,属于比较成熟的技术,这里不再赘述。
此外,还可以采用其他梯度的计算方法来计算梯度,例如采用有限差分法来计算梯度,本发明对此不做限制。
步骤S5、根据灰度图像梯度和深度图像梯度,计算各聚类区域的彩色边缘强度与深度边缘强度。
本实施例聚类区域Nc={Nc1,Nc2,…,Nck-1,Nck}和Nd={Nd1,Nd2,…,Ndk-1,Ndk},按照如下公式计算各个聚类区域的彩色边缘强度rci与深度边缘强度rdi:
其中,Ig(x)表示灰度图像上像素x的梯度,Id(x)表示规则化后深度图像上像素x的梯度,为常数,用来防止分母为0。Nci、Ndi分别表示RGB图像和深度图像上划分的聚类区域i。
步骤S6、利用聚类区域的彩色边缘强度与深度边缘强度来为聚类区域分配颜色信息权重Qc与深度信息权重Qd。
本发明的一种实施例,根据如下公式分配权重:
Qc(i)=1-Qd(i) (6-2)
其中,i为聚类区域的序号,rci为聚类区域i的彩色边缘强度,rdi为聚类区域i的深度边缘强度,i为聚类区域的序号,Qd(i)为聚类区域i的深度信息权重,Qc(i)为聚类区域i的颜色信息权重。
容易理解的是,本具体实施方式部分仅列举了公式6-1和公式6-2的分配权重的方式,本领域技术人员还可以采用其他数学公式来分配权重,本发明不限于分配权重具体所采用的公式,满足公式6-1和公式6-2所分配权重与彩色边缘强度、深度边缘强度的变化趋势即可。
步骤S7、将RGB图像转换到LAB颜色空间,计算聚类区域中各像素距离聚类区域中心的颜色距离Dc,并根据深度图像中像素的深度信息计算深度距离Dd,根据像素的空间坐标计算空间距离Ds。
本实施例计算公式如下:
其中,x表示聚类区域像素的位置,s表示聚类区域中心的位置,Lx,Ax,Bx表示聚类区域中个像素点LAB颜色空间中的值,Ls,As,Bs表示聚类中心像素点LAB颜色空间中的值。
同样,根据深度图像中像素的深度信息计算深度距离,深度距离Dd计算公式如下:
其中x为聚类区域像素的位置,s表示聚类中心的位置,dx表示聚类区域每个像素位置的深度值,ds表示聚类中心像素对应的深度值。
本实施例,根据如下公式计算出空间距离Ds:
其中(xi,yi)表示聚类区域中像素在图像中的空间坐标,(xs,ys)表示聚类区域中心像素在图像中的空间坐标。
步骤S8、根据计算得到的颜色距离Dc、深度距离Dd、空间距离Ds,以及颜色信息权重Qc与深度信息权重Qd,根据如下公式计算超像素聚类距离Dp:
其中a是常数来平衡颜色距离,深度距离与空间距离。
本步骤,结合步骤S6中计算的颜色信息权重Qc与深度信息权重Qd得到最终完整的聚类距离。
步骤S9、根据计算得到的聚类距离,将像素归入到聚类距离最近的种子点所在的类,直到所有像素都归类完毕,然后计算各个聚类区域的中心点,将计算得到的中心点作为种子点,以种子点为中心重新划分聚类区域,返回步骤S6进行反复迭代直到收敛,根据收敛后的聚类区域生成超像素。
本实施例根据计算得到的聚类距离进行聚类,将像素归入到聚类距离最近的种子点所在的类,直到所有像素都归类完毕。由于本实施例中以2L为边长划分聚类区域,各聚类区域有部分重叠,在计算出聚类距离后,对于重叠部分,将像素归入到最近的种子点所在的聚类区域,从而完成重新聚类。
在所有像素都归类完毕后,重新形成k个聚类区域,然后在k个聚类区域中计算各个区域的中心点,将计算得到的k个中心点重新作为k个种子点,再以k个种子点为中心生成k个边长为2L的矩形区域作为k个聚类区域,然后返回步骤S6反复迭代直到收敛得到k个聚类区域,将收敛后的每个聚类区域作为一个超像素。
实施例2:
本实施例与实施例1不同的地方在于,在步骤S5之前,还包括如下步骤:
利用Heaviside函数来标记深度图像中存在深度信息缺失的区域,得到深度图信息有效分布H(x)。
本实施例采用如下的Heaviside函数来标记深度图像中存在深度信息缺失的区域:
其中x为图像中的像素位置,当H(x)为0时说明该处的深度信息缺失,当H(x)为1时说明该处的深度信息有效。
需要说明的是,上述公式中,也可以采用Dreg(x)来进行判断,即在Dreg(x)=NULL时,H(x)为0;Dreg(x)≠NULL时,H(x)为1。
本实施例引入了深度图信息有效分布H(x),使得后续得到的超像素更加准确。在引入深度图信息有效分布H(x)后,本实施例步骤S5,所述根据灰度图像梯度和深度图像梯度,计算各聚类区域的彩色边缘强度与深度边缘强度,采用如下公式计算:
其中,Ig(x)表示灰度图像上像素x的梯度,Id(x)表示规则化后深度图像上像素x的梯度,为常数,rci为聚类区域i的彩色边缘强度,rdi为聚类区域i的深度边缘强度,i为聚类区域的序号,Nci、Ndi分别表示RGB图像和深度图像上划分的聚类区域i。
本实施例其他步骤与实施例1相同,采用本实施例的方法那些深度缺失地方的点就不参与计算了,得到的超像素更加准确。
本发明提供一种面对视觉退化图像的超像素分割方法。通过引入图像深度信息和所提出的自适应权重调整机制,显著地提高在视觉退化图像情况下超像素与物体的边缘贴合率。
以上实施例仅用以说明本发明的技术方案而非对其进行限制,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (6)
1.一种面向视觉退化图像的超像素分割方法,其特征在于,所述面向视觉退化图像的超像素分割方法,包括:
步骤S1、对RGB图像对应的深度图像进行双边滤波,在滤除深度图像中高频噪声的同时,保护图像中物体的边缘;
步骤S2、将滤波后的深度图像规则化到[0,255]范围内,得到规则化的深度图像;
步骤S3、在RGB图像和对应的深度图像上各自预分割k个相同尺寸的正方形状的超像素,将该K个预分割超像素中心作为初始种子点,以初始种子点为中心划分初始矩形聚类区域;
步骤S4、根据图像梯度的定义,计算RGB图像对应的灰度图像和深度图像的灰度图像梯度Ig和深度图像梯度Id;
步骤S5、根据灰度图像梯度和深度图像梯度,计算各聚类区域的彩色边缘强度与深度边缘强度;
步骤S6、利用聚类区域的彩色边缘强度与深度边缘强度来为聚类区域分配颜色信息权重Qc与深度信息权重Qd;
步骤S7、将RGB图像转换到LAB颜色空间,计算聚类区域中各像素距离聚类区域中心的颜色距离Dc,并根据深度图像中像素的深度信息计算深度距离Dd,根据像素的空间坐标计算空间距离Ds;
步骤S8、根据计算得到的颜色距离Dc、深度距离Dd、空间距离Ds,以及颜色信息权重Qc与深度信息权重Qd,根据如下公式计算超像素聚类距离Dp:
其中a是常数来平衡颜色距离、深度距离与空间距离;
步骤S9、根据计算得到的聚类距离,将像素归入到聚类距离最近的种子点所在的类,直到所有像素都归类完毕,然后计算各个聚类区域的中心点,将计算得到的中心点作为种子点,以种子点为中心重新划分聚类区域,返回步骤S6进行反复迭代直到收敛,根据收敛后的聚类区域生成超像素。
2.如权利要求1所述的面向视觉退化图像的超像素分割方法,其特征在于,所述预分割k个相同尺寸的正方形状的超像素中,正方形状的超像素边长为L,所述聚类区域的边长为2L,其中:
所述N为RGB图像的总像素个数。
3.如权利要求1所述的面向视觉退化图像的超像素分割方法,其特征在于,所述根据灰度图像梯度和深度图像梯度,计算各聚类区域的彩色边缘强度与深度边缘强度,采用如下公式计算:
其中,Ig(x)表示灰度图像上像素x的梯度,Id(x)表示规则化后深度图像上像素x的梯度,为常数,rci为聚类区域i的彩色边缘强度,rdi为聚类区域i的深度边缘强度,i为聚类区域的序号,Nci、Ndi分别表示RGB图像和深度图像上划分的聚类区域i。
4.如权利要求1所述的面向视觉退化图像的超像素分割方法,其特征在于,所述利用聚类区域的彩色边缘强度与深度边缘强度来为聚类区域分配颜色信息权重Qc与深度信息权重Qd,采用如下公式计算:
Qc(i)=1-Qd(i)
其中,rci为聚类区域i的彩色边缘强度,rdi为聚类区域i的深度边缘强度,i为聚类区域的序号,Qd(i)为聚类区域i的深度信息权重,Qc(i)为聚类区域i的颜色信息权重。
5.如权利要求1所述的面向视觉退化图像的超像素分割方法,其特征在于,所述步骤S5之前,还包括:
利用Heaviside函数来标记深度图像中存在深度信息缺失的区域,得到深度图信息有效分布H(x)。
6.如权利要求5所述的面向视觉退化图像的超像素分割方法,其特征在于,所述根据灰度图像梯度和深度图像梯度,计算各聚类区域的彩色边缘强度与深度边缘强度,采用如下公式计算:
其中,Ig(x)表示灰度图像上像素x的梯度,Id(x)表示规则化后深度图像上像素x的梯度,为常数,rci为聚类区域i的彩色边缘强度,rdi为聚类区域i的深度边缘强度,i为聚类区域的序号,Nci、Ndi分别表示RGB图像和深度图像上划分的聚类区域i。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811300689.4A CN109635809B (zh) | 2018-11-02 | 2018-11-02 | 一种面向视觉退化图像的超像素分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811300689.4A CN109635809B (zh) | 2018-11-02 | 2018-11-02 | 一种面向视觉退化图像的超像素分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109635809A true CN109635809A (zh) | 2019-04-16 |
CN109635809B CN109635809B (zh) | 2021-08-17 |
Family
ID=66067266
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811300689.4A Active CN109635809B (zh) | 2018-11-02 | 2018-11-02 | 一种面向视觉退化图像的超像素分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109635809B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112085749A (zh) * | 2020-09-10 | 2020-12-15 | 桂林电子科技大学 | 一种多尺度非迭代超像素分割方法 |
CN115272778A (zh) * | 2022-09-28 | 2022-11-01 | 南通乾升信息科技有限公司 | 基于rpa和计算机视觉的可回收垃圾分类方法及系统 |
CN115690106A (zh) * | 2023-01-03 | 2023-02-03 | 菏泽城建新型工程材料有限公司 | 一种基于计算机视觉的深埋锚具封闭检测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150178937A1 (en) * | 2013-12-20 | 2015-06-25 | Canon Kabushiki Kaisha | Method, system and apparatus for updating a scene model |
CN106296681A (zh) * | 2016-08-09 | 2017-01-04 | 西安电子科技大学 | 基于双通道低秩分解的协同学习显著性检测方法 |
CN106778635A (zh) * | 2016-12-19 | 2017-05-31 | 江苏慧眼数据科技股份有限公司 | 一种基于视觉显著性的人体区域检测方法 |
CN107527350A (zh) * | 2017-07-11 | 2017-12-29 | 浙江工业大学 | 一种面向视觉特征退化图像的固废对象分割方法 |
CN108682017A (zh) * | 2018-04-11 | 2018-10-19 | 浙江工业大学 | 基于Node2Vec算法的超像素图像边缘检测方法 |
-
2018
- 2018-11-02 CN CN201811300689.4A patent/CN109635809B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150178937A1 (en) * | 2013-12-20 | 2015-06-25 | Canon Kabushiki Kaisha | Method, system and apparatus for updating a scene model |
CN106296681A (zh) * | 2016-08-09 | 2017-01-04 | 西安电子科技大学 | 基于双通道低秩分解的协同学习显著性检测方法 |
CN106778635A (zh) * | 2016-12-19 | 2017-05-31 | 江苏慧眼数据科技股份有限公司 | 一种基于视觉显著性的人体区域检测方法 |
CN107527350A (zh) * | 2017-07-11 | 2017-12-29 | 浙江工业大学 | 一种面向视觉特征退化图像的固废对象分割方法 |
CN108682017A (zh) * | 2018-04-11 | 2018-10-19 | 浙江工业大学 | 基于Node2Vec算法的超像素图像边缘检测方法 |
Non-Patent Citations (2)
Title |
---|
南柄飞 穆志纯: "基于SLIC0融合纹理信息的超像素分割方法", 《仪器仪表学报》 * |
曹轲烨: "面向视觉退化图像的多模态自适应超像素分割", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112085749A (zh) * | 2020-09-10 | 2020-12-15 | 桂林电子科技大学 | 一种多尺度非迭代超像素分割方法 |
CN112085749B (zh) * | 2020-09-10 | 2022-07-05 | 桂林电子科技大学 | 一种多尺度非迭代超像素分割方法 |
CN115272778A (zh) * | 2022-09-28 | 2022-11-01 | 南通乾升信息科技有限公司 | 基于rpa和计算机视觉的可回收垃圾分类方法及系统 |
CN115690106A (zh) * | 2023-01-03 | 2023-02-03 | 菏泽城建新型工程材料有限公司 | 一种基于计算机视觉的深埋锚具封闭检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109635809B (zh) | 2021-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Shin et al. | Radiance–reflectance combined optimization and structure-guided $\ell _0 $-Norm for single image dehazing | |
CN108765325B (zh) | 一种小型无人机模糊图像复原方法 | |
CN110706174B (zh) | 一种图像增强方法、终端设备及存储介质 | |
CN106204509B (zh) | 基于区域特性的红外与可见光图像融合方法 | |
CN113436112B (zh) | 一种图像增强方法、装置及设备 | |
CN109635809A (zh) | 一种面向视觉退化图像的超像素分割方法 | |
CN110428389B (zh) | 基于msr理论和曝光融合的微光图像增强方法 | |
CN105184766B (zh) | 一种频域边界能量模型的水平集图像分割方法 | |
Banerjee et al. | In-camera automation of photographic composition rules | |
CN109377450A (zh) | 一种边缘保护的去噪方法 | |
CN107169962A (zh) | 基于空间密度约束核模糊聚类的灰度图像快速分割方法 | |
CN111783548B (zh) | 基于改进特征提取和博弈论超图的sar图像与可见光图像匹配方法 | |
Kwok et al. | Design of unsharp masking filter kernel and gain using particle swarm optimization | |
Anantrasirichai et al. | Mitigating the effects of atmospheric distortion using DT-CWT fusion | |
CN111784610A (zh) | 一种基于聚类的边窗滤波器优化方法 | |
CN115965552B (zh) | 用于低信噪比图像序列的频空时域联合去噪与恢复系统 | |
Reich et al. | A Real-Time Edge-Preserving Denoising Filter. | |
Baboshina et al. | Combined use of a bilateral and median filter to suppress gaussian noise in images | |
CN113012079B (zh) | 低亮度车底图像增强方法、装置及存储介质 | |
Eun et al. | Superpixel-guided adaptive image smoothing | |
Ye et al. | Sparse norm filtering | |
Yu et al. | Detail enhancement decolorization algorithm based on rolling guided filtering | |
CN106886791A (zh) | 一种基于条件随机场的二维ct图片中脂肪位置识别方法 | |
Zhang et al. | Mask Operations for Spatial Domain Enhancement | |
CN111080560A (zh) | 一种图像的处理与识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20230714 Address after: No. 998, Wenyi West Road, Yuhang District, Hangzhou City, Zhejiang Province Patentee after: HANGZHOU HUICUI INTELLIGENT TECHNOLOGY CO.,LTD. Address before: 310014 No. 18 Chao Wang Road, Xiacheng District, Zhejiang, Hangzhou Patentee before: JIANG University OF TECHNOLOGY |