CN112541920A - 基于多通道式的图像超像素目标行人分割方法 - Google Patents
基于多通道式的图像超像素目标行人分割方法 Download PDFInfo
- Publication number
- CN112541920A CN112541920A CN201910900393.4A CN201910900393A CN112541920A CN 112541920 A CN112541920 A CN 112541920A CN 201910900393 A CN201910900393 A CN 201910900393A CN 112541920 A CN112541920 A CN 112541920A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- target
- image
- result
- superpixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 197
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000004927 fusion Effects 0.000 claims abstract description 58
- 238000001914 filtration Methods 0.000 claims abstract description 25
- 230000000877 morphologic effect Effects 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 16
- 230000003628 erosive effect Effects 0.000 claims description 6
- 238000005192 partition Methods 0.000 claims description 4
- 230000010339 dilation Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 230000008707 rearrangement Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000008961 swelling Effects 0.000 claims description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 2
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 238000003709 image segmentation Methods 0.000 abstract description 8
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000005021 gait Effects 0.000 description 4
- 238000009499 grossing Methods 0.000 description 3
- 210000004185 liver Anatomy 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像分割技术领域,具体的说是一种基于多通道式的图像超像素目标行人分割方法,其步骤包括:S1、以Mask R‑CNN作为粗粒度一阶段分割,输出分割结果;S2、基于立方卷积插值算法将一次分割结果缩放至适当倍数送至SLIC超像素细粒度进行二次多通道迭代分割;S3、采用能量滤波高低频融合规则取得融合图像方法的同时,利用形态学滤波平滑边缘毛刺提高分割精度。本发明可以有效地为行人目标识别和跟踪提供有益先验感知信息,可以应用于服务型机器人、产品检测、遥感图像、自动驾驶等领域。
Description
技术领域
本发明属于图像分割技术领域,具体的说是一种基于多通道式的图像超像素目标行人分割方法。
背景技术
目标行人分割技术是机器视觉领域中一个重要的研究课题,而随着自主汽车和辅助驾驶系统的发展,如何对行人及车辆安全进行保护也成为了当今的研究热点。图像分割技术是图像识别和计算机视觉系统中的预处理部分,对图像进行有效的分割能够为识别及跟踪提供目标特征,从而避免了冗余信息对后期图像处理的干扰。
目前,基于颜色特征的目标分割可以分为基于彩色图像与灰度图像两类,而基于生成方式的图像分割技术可以分为基于区域和特征两类。针对不同的领域,采用适合的图像分割方法可有效提高分割精度。目前较为主流的分割方法主要可以分为区域法、阈值法、边缘法及交互分割法。专利申请号为CN201510308550.4,名称为“利用多通道特征在磁共振图像中分割肝脏的方法和系统”的中国专利申请,公开了一种在多通道磁共振(MR)图像中进行全自动肝脏分割的方法和系统,基于在多通道MR图像的多个通道中提取的特征,利用训练过的边界检测器来细化多通道MR图像中分割的初始肝脏边界,该方法能在边界检测细化分割结果,但是此分割方法需要依赖于装置,受其硬件设备影响较大,使用便捷性大大受限。专利申请号为CN201410818125.5,名称为“一种改进的基于Meanshift的多通道图像分割算法”,的中国专利申请,公开了一张通过输入RGB图像矩阵,统计像素值并对其像素样本做Meanshift聚类运算,最终输出目标分割图像的方法,此方法充分利用RGB图像的色彩信息,当目标与背景比较接近时能够有效的分割出兴趣目标区域对象且聚类数目是自动生成的,但是该算法的分割效率较低,并且边缘分割结果不精确。专利申请号为CN201610087973.2,名称为“一种基于深度学习的步态分割与步态识别一体化方法”的中国专利申请,公开了一种用多通道神经网络分割模型获得步态视频中的多个步态图像的人形轮廓分割,然后将获得的人形轮廓通过分类卷积神经网络模型进行身份识别并输出身份识别结果的方法,该方法对行走状态有很强的鲁棒性,适合解决动态背景下的步态分割与识别,但是人体姿态是复杂多变的,此方法仅仅对步态变化较为敏感,不适用于所有姿态变换的行人目标分割与识别。专利申请号为CN201810860454,名称为“基于Mask R-CNN的行人检测方法”的中国专利申请,公开了一种避免将车内目标误检为行人情况的方法,该方法结合MaskR-CNN可以同时进行目标检测和目标分割的特性,提出一种结合目标分割结果的优化算法,由于单独使用MaskR-CNN可能导致结果会出现小目标错检、漏检、重合部分分割结果不精确等问题,若对其结果进行超像素分割,则精度会有很大的提升。
发明内容
为了解决提高目标行人图形分割的准确性的问题,本发明提出一种基于多通道式的图像超像素目标行人分割方法,通过建立一种目标行人分割模型,为计算机视觉系统后续工作提供更精确的预处理信息。
本发明的技术方案是:一种基于多通道式的图像超像素目标行人分割方法,包括如下步骤:
第1步,将原图像送至一阶段分割通道,输出粗粒度的一阶段大小目标分割结果,并对其提取得到分割结果;
(M,S0)=Ma(I0) (1)
式(1)中,Ma为MaskR-CNN分割函数,I0为输入原图像,S0为对一阶段大小目标分割结果提取得到的分割结果,M为一阶段大小目标分割结果;
其中:
一阶段大小目标分割结果M为原图像经过一阶段分割之后不进行任何处理的图像;
S0为一阶段大小目标分割结果M经过提取得到的目标分割结果,式(2)为分割结果S0个数的计算公式:
N=J±X(N∈(0,N+),J∈(0,N+),X∈(0,N+)) (2)
式(2)中,一阶段大小目标分割结果M含有J个目标对象,经过提取之后含有N个分割结果S0,式中X表示实例分割目标检测误差对象;
第2步,利用立方卷积插值算法将一阶段大小目标分割结果缩放送至SLIC超像素输入通道进行二阶段分割,输出带标签的超像素分割图像;
QSK=S(MS) (3)
式(3)中,S为二阶段SLIC超像素分割函数,MS为经过立方卷积差缩放的一阶段大小目标分割结果M,QSK为含有K个带标签的二阶段目标超像素分割图像,QSK为由K个超像素块组成的超像素分割图像;
第3步,计算QSK的每个超像素块质心均值,根据质心均值将细粒度超像素分割图像中相邻且特征相似的超像素块进行合并,重构出目标轮廓;
PS=Cs(QSK,AL) (4)
式(4)中,Cs为SLIC合并函数,QsK为含有K个带标签的二阶段超像素目标分割结果,AL为超像素块的质心均值,Ps为合并的目标对象分割结果;
第4步,利用立方卷积插值算法将第三步所得的重构目标对象Ps缩放至原图大小,然后将缩放至原图大小的结果和一阶段分割结果进行融合,重构出最终的多通道式分割融合图像;
ES=N(PS,S0) (6)
式(6)中,N为能量滤波高低频融合函数,PS为合并的目标对象分割结果,S0为一阶段分割中提取的目标分割结果,ES为重构的目标对象分割结果;
图像融合使用能量滤波高低频融合规则:对分割结果S0和目标对象分割结果PS采用能量滤波高低频融合规则进行预融合,低频信息融合采用基于图像引导滤波器的融合规则对低频系数进行融合,得到低频融合系数。高频信息融合利用其空间坐标找出与其对应的高频系数,赋予超像素QSK中的所有像素点对应的标签超像素块,然后将具有相同标签的系数聚集为一个超系数块并求取每个超系数块的空间频率得到高频融合系数。最后对高频融合系数和低频融合系数进行逆变换,重构出最终的多通道式分割融合图像ES。
进一步的,所述的基于多通道式的图像超像素目标行人分割方法,还包括:
第5步,利用形态学滤波处理融合图像,去除其边缘毛刺,得到最终边缘平滑的输出结果;
ODE=DE(ES) (7)
式(7)中,DE为膨胀腐蚀函数,ES为重构的目标对象分割结果,ODE为先膨胀后腐蚀得到的最终图像。
进一步的,大目标定义:自目标长宽像素不定,自目标占图像总长像素的30%-95%,宽占总宽像素的25%-90%;小目标定义:自目标长宽像素不定,自目标占图像总长像素的5%-25%,宽占总宽像素的5%-30%,处理图像可仅包括大目标或仅包括小目标或包括大目标和小目标。
进一步的,立方卷积插值算法如下:
式(8)为卷积公式,原图中每一个(i,j)坐标点的值得表达式为f(i,j),插值后对应坐标的值为F(i+v,j+u),v代表行数偏差,u代表列数偏差。
进一步的,超像素块特征合并步骤如下:
1)将超像素块设定排序,对图中相邻超像素块进行颜色与空间距离的特征差异计算,计算公式如下:
式(9)中,LAB向量采用的是CIELAB的色度空间模型,DLAB(Ri)为超像素块间颜色空间距离,R′表示非目标区域,li与lj为像素亮度的分量,ai、aj、bi、bj为颜色的分量,DXY(Ri)为位置空间距离,xi、xj、yi、yj向量获取的是像素的空间坐标值,D(Ri)为超像素距离,δ是距离权值系数,且δ∈(0,1);
2)将计算结果与预先设定的阈值进行比较,若特征结果小于阈值则将目标超像素块与相邻超像素块合并,若大于阈值则忽略该目标像素块,继续为下一超像素块进行特征检验;
根据超像素距离确定超像素区域相关度,计算公式如下:
C(Ri)=1-exp(-D(Ri)) (10)
式(10)中,C(Ri)表示超像素区域相关度,D(Ri)为超像素距离,超像素距离与区域相关度成负相关。根据相关度,确定超像素块是否符合同一目标的特征信息;
根据计算所有超像素的区域相关度,利用最大类间差法求出区域相关度阈值,提取所有符合相关度阈值的超像素块作为目标超像素,计算公式如下:
式(11)中,R*表示最终获取的目标超像素的集合,Ri为i处的目标超像素,C(Ri)表示超像素区域相关度,为区域相关度阈值,ε为相关度阈值系数,取ε=0.5,当ε为0.5时,特征信息能更好地划分为不同的像素集合,得到的每个子集形成一个与现实景物相对应的区域,各个区域内部具有一致的属性,而相邻区域不具有所述一致的属性;
3)迭代上述步骤,直到图像中所有超像素块都完成一次特征比较,此时生成首次合并结果图;
4)第二次合并前,刷新超像素块的特征信息及重新编排顺序,之后将首次合并结果作为本次合并操作的对象进行合并,直至第一次合并结果中的超像素块都完成特征比较,生成第二次合并结果图;
5)按照上述步骤依次进行迭代合并,直至图像中超像素块信息不再发生变化,此时生成合并结果图。
通过上述技术方案,本发明提供的基于多通道式超像素图像分割方法具有的有益效果是:本发明区别与现有算法存在复杂场景对行人目标分割的干扰会使得信息冗余以及错误分割的问题,建立一种多通道式超像素分割系统对图像进行分割。首先以Mask R-CNN作为粗粒度一阶段分割,利用立方卷积插值算法将一次分割结果缩放至适当倍数送至SLIC超像素细粒度进行二次多通道迭代分割,采用能量滤波高低频融合规则取得融合图像方法的同时,利用形态学滤波平滑边缘毛刺提高分割精度从而为行人目标识别和跟踪提供有益先验感知信息。
附图说明
图1是多通道式超像素分割逻辑框图;
图2是室外行人大目标原图;
图3室外行人大目标一阶段分割结果图;
图4是室外行人大目标二阶段分割结果图;
图5是室外行人大目标融合结果图;
图6是室外行人大目标形态学平滑对比结果图;
图7是室外行人小目标原图;
图8是室外行人小目标最终结果图;
图9是室内行人大目标原图;
图10是室内行人大目标最终结果图;
图11是室内小目标原图;
图12是室内小目标最终结果图。
具体实施方式
接下来结合附图和具体分类过程对本发明做进一步的描述:
一种基于多通道式超像素图像分割方法,其逻辑框图如图1所示,该方法的具体实施步骤如下:
第1步:,将原图像送至一阶段分割通道,输出一阶段分割图像,并在其基础上提取分割结果;
第2步:利用立方卷积插值算法将一阶段分割结果缩放固定倍数,缩放完成之后送至SLIC超像素输入通道进行二阶段分割,输出带标签的超像素分割图像;
第3步:计算每个超像素块质心均值,根据质心均值将相邻超像素块中特征相似的超像素块进行合并;
第4步,利用立方卷积插值算法将第3步所得的合并结果缩放至原图大小,然后将缩放结果和一阶段分割结果进行融合,重构出最终的多通道式分割融合图像;
第5步,利用形态学滤波处理融合图像,去除其边缘毛刺,得到最终边缘平滑的输出结果。
具体的方案是:本发明区别于现有的对目标行人分割算法,提出一种基于多通道式的图像超像素目标行人分割方法,通过建立一种目标行人分割模型,为计算机视觉系统后续工作提供更精确的预处理信息。
本发明通过以下技术方案实现上述目标:
第1步,将原图像送至一阶段分割通道,输出粗粒度分割结果,并在其基础上提取分割结果。
(M,S0)=Ma(I0) (1)
式(1)中,Ma为MaskR-CNN分割函数,I0为输入原图像,S0为一阶分割中提取的分割结果,M为一阶段分割结果(包含大小目标分割结果)。
定义1:一阶段大小目标分割结果M为原图像经过一阶段分割之后不进行任何处理的图像。
定义2:分割结果S0为一阶段大小目标分割结果M经过提取得到的目标分割结果,式(2)为分割结果S0个数的计算公式:
N=J±X(N∈(0,N+),J∈(0,N+),X∈(0,N+)) (2)
式(2)中,一阶段大小目标分割结果M含有J个目标对象,经过提取之后含有N个分割结果S0,式中X表示实例分割目标检测误差对象。
第2步,利用立方卷积插值算法将一阶段大小目标分割结果缩放送至SLIC超像素输入通道进行二阶段分割,输出超像素分割图像。
QSK=S(MS) (3)
式(3)中,S为二阶段SLIC超像素分割函数,MS为经过立方卷积差缩放的一阶段大小目标分割结果M,QSK为含有K个超像素块的二阶段目标超像素分割图像。
第3步,计算每个超像素块的质心均值,根据质心均值将细粒度超像素分割图像QsK中相邻且特征相似的超像素块进行合并,最后重构出更精准的目标轮廓(用N块超像素着色信息块代替超像素分割图像中的K个超像素块,最后重构出目标对象分割结果)。
PS=Cs(QSK,AL) (4)
式(4)中,Cs为SLIC合并函数,QsK为含有K个超像素块的细粒度超像素目标分割结果,AL为Mask R-CNN着色分割结果所有像素块内的质心均值,PS为合并的目标对象分割结果。
超像素块特征合并步骤如下:
1)将超像素块设定排序,对图中相邻超像素块进行颜色与空间距离的特征差异计算,计算公式如下:
式(5)中,LAB向量采用的是CIELAB的色度空间模型,DLAB(Ri)为超像素块间颜色空间距离,R′表示非目标区域,li与lj为像素亮度的分量,ai、aj、bi、bj为颜色的分量,DXY(Ri)为位置空间距离,xi、xj、yi、yj向量获取的是像素的空间坐标值,D(Ri)为超像素距离,δ是距离权值系数,且δ∈(0,1)。
2)将计算结果与预先设定的阈值进行比较,若特征结果小于阈值则将目标超像素块与相邻超像素块合并,若大于阈值则忽略该目标像素块,继续为下一超像素块进行特征检验;
根据超像素距离确定超像素区域相关度,计算公式如下:
C(Ri)=1-exp(-D(Ri)) (6)
式(6)中,C(Ri)表示超像素区域相关度,D(Ri)为超像素距离,超像素距离与区域相关度成负相关。根据相关度,确定超像素块是否符合同一目标的特征信息。
根据上述公式计算所有超像素的区域相关度,利用最大类间差法求出区域相关度阈值,提取所有符合相关度阈值的超像素块作为目标超像素,计算公式如下:
式(7)中,R*表示最终获取的目标超像素的集合,Ri为i处的目标超像素,C(Ri)表示超像素区域相关度,为区域相关度阈值,ε为相关度阈值系数,本文取ε=0.5,当ε为0.5时,特征信息能更好地划分为不同的像素集合,得到的每个子集形成一个与现实景物相对应的区域,各个区域内部具有一致的属性,而相邻区域不具有这种一致属性。
3)迭代上述步骤,直到图像中所有超像素块都完成一次特征比较,此时生成首次合并结果图;
4)第二次合并前,刷新超像素块的特征信息及重新编排顺序,之后将首次合并结果作为本次合并操作的对象进行合并,直至第一次合并结果中的超像素块都完成特征比较,生成第二次合并结果图。
5)按照上述步骤依次进行迭代合并,直至图像中超像素块信息不再发生变化,此时生成合并结果图。
第4步,利用立方卷积插值算法将第三步所得的重构目标对象PS缩放至原图大小,然后将缩放至原图大小的结果和一阶段分割结果进行融合,重构出最终的多通道式分割融合图像
ES=N(PS,S0) (8)
式(8)中,N为能量滤波高低频融合函数,PS为合并的目标对象分割结果,S0为一阶段分割中提取的目标分割结果,ES为重构的目标对象分割结果。
能量滤波高低频融合规则:对分割结果S0和目标对象分割结果PS采用能量滤波高低频融合规则进行预融合,低频信息融合采用基于图像引导滤波器的融合规则对低频系数进行融合,得到低频融合系数。高频信息融合利用其空间坐标找出与其对应的高频系数,然后将具有相同系数的超像素块聚集为一个超系数块并求取每个超系数块的空间频率得到高频融合系数。最后对高频融合系数和低频融合系数进行逆变换,重构出最终的多通道式分割融合图像ES。
第5步,利用形态学滤波处理融合图像,去除其边缘毛刺,得到最终边缘平滑的输出结果。
ODE=DE(ES) (9)
式(9)中,DE为膨胀腐蚀函数,ES为重构的目标对象分割结果,ODE为先膨胀后腐蚀得到的最终图像。
上述涉及的立方卷积插值算法如下:
式(4)为卷积公式,原图中每一个(i,j)坐标点的值得表达式为f(i,j),插值后对应坐标的值为F(i+v,j+u),v代表行数偏差,u代表列数偏差。
大小目标完备级包括大目标定义及大目标的处理方法、小目标定义及小目标的处理方法四个部分,以此来约束图像中出现的大、小目标,保证图像处理顺利进行。
大目标定义:自目标长宽像素不定,自目标占图像总长像素的30%-95%,宽占总宽像素的25%-90%。
大目标的处理:利用立方卷积插值算法将一阶段大目标分割结果分别缩小1.75倍、1.78倍、1.8倍、1.82倍、1.85倍。
小目标定义:自目标长宽像素不定,自目标占图像总长像素的5%-25%,宽占总宽像素的5%-30%。
小目标的处理:利用立方卷积插值算法将一阶段小目标分割结果分别放大2.45倍、2.48倍、2.50倍、2.52倍、2.54倍。
(1)本发明以MaskR-CNN作为粗粒度一次分割,将其分割结果送至SLIC超像素分割通道进行二阶段分割,可使其分割精度有效提高;
(2)利用立方卷积插值算法图像放大过程可以保留更多的图像细节,放大以后的图像带有反锯齿的功能,同时图像和原图像相比效果更加真实;
(3)针对不同原图像特点选择合适缩放倍数的同时,采用多通道迭代取得分割图像的方法,可以大大提高分割精度;
(4)使用高低频融合规则可以聚焦到图像的各个细节、各个尺度,从而提高融合质量;
(5)使用形态学滤波平滑边缘毛刺用以提高现有目标图像的分割精度,为计算机视觉系统后续工作提供更精确的先验感知信息;
(6)本发明区别与现有算法存在复杂场景对行人目标分割的干扰产生信息冗余以及错误分割的问题,建立一种多通道式超像素分割系统对图像进行分割,该算法操作简便,效率极高,在实际应用工程中具有重要理论意义及工程价值。
实施例1:
室外行人大目标分割情况
将图2送至一阶段分割通道并输出经分割结果,可观察到图3中目标人物边缘分割的不够精准,在其基础上对其精度进行提高,首先利用立方卷积将图3缩小,然后将缩小结果送至二阶段超像素输入通道,设置空间距离权重值为70,分割块数为225,计算并根据质心均值进行超像素分割,分割完成之后,再次利用立方卷积放大合并结果图至原图大小,使用能量滤波高低频融合规则对放大至原图大小的超像素合并结果和一阶段提取的分割结果进行融合,最后根据形态学滤波先膨胀后腐蚀平滑融合图像边缘毛刺,可观察到多通道式超像素分割融合的图像边缘精准度明显得到提高。
实施例2:
室外行人小目标分割情况
将图7送至一阶段分割通道并输出经分割结果,利用立方卷积将一阶段分割结果放大,然后将放大结果送至二阶段超像素输入通道,设置空间距离权重值为65,分割块数为225,计算并根据质心均值进行超像素分割,分割完成之后,再次利用立方卷积缩小合并结果图至原图大小,使用能量滤波高低频融合规则对缩小后的超像素合并结果和一阶段提取的分割结果进行融合,最后根据形态学滤波先膨胀后腐蚀平滑融合图像边缘毛刺,可观察到多通道式超像素分割融合的图像边缘精准度明显得到提高。
实施例3:
室内行人大目标分割情况
将图9送至一阶段分割通道并输出经分割结果,利用立方卷积将一阶段分割结果缩小,然后将缩小结果送至二阶段超像素输入通道,设置空间距离权重值为68,分割块数为225,计算并根据质心均值进行超像素分割,分割完成之后,再次利用立方卷积放大合并结果图至原图大小,使用能量滤波高低频融合规则对缩小后的超像素合并结果和一阶段提取的分割结果进行融合,最后根据形态学滤波先膨胀后腐蚀平滑融合图像边缘毛刺,可观察到多通道式超像素分割融合的图像边缘精准度明显得到提高。
实施例4:
室内小目标分割情况
将图11送至一阶段分割通道并输出经分割结果,利用立方卷积将一阶段分割结果放大,然后将放大结果送至二阶段超像素输入通道,设置空间距离权重值为60,分割块数为200,计算并根据质心均值进行超像素分割,分割完成之后,再次利用立方卷积缩小合并结果图至原图大小,使用能量滤波高低频融合规则对缩小后的超像素合并结果和一阶段提取的分割结果进行融合,最后根据形态学滤波先膨胀后腐蚀平滑融合图像边缘毛刺,可观察到多通道式超像素分割融合的图像边缘精准度明显得到提高。
Claims (5)
1.一种基于多通道式的图像超像素目标行人分割方法,其特征在于,包括如下步骤:
第1步,将原图像送至一阶段分割通道,输出粗粒度的一阶段大小目标分割结果,并对其提取得到分割结果;
(M,S0)=Ma(I0) (1)
式(1)中,Ma为Mask R-CNN分割函数,I0为输入原图像,S0为对一阶段大小目标分割结果提取得到的分割结果,M为一阶段大小目标分割结果;
其中:
一阶段大小目标分割结果M为原图像经过一阶段分割之后不进行任何处理的图像;
S0为一阶段大小目标分割结果M经过提取得到的目标分割结果,式(2)为分割结果S0个数的计算公式:
N=J±X(N∈(0,N+),J∈(0,N+),X∈(0,N+)) (2)
式(2)中,一阶段大小目标分割结果M含有J个目标对象,经过提取之后含有N个分割结果S0,式中X表示实例分割目标检测误差对象;
第2步,利用立方卷积插值算法将一阶段大小目标分割结果缩放送至SLIC超像素输入通道进行二阶段分割,输出带标签的超像素分割图像;
QSK=S(MS) (3)
式(3)中,S为二阶段SLIC超像素分割函数,MS为经过立方卷积差缩放的一阶段大小目标分割结果M,QSK为含有K个带标签的二阶段目标超像素分割图像,QSK为由K个超像素块组成的超像素分割图像;
第3步,计算QSK的每个超像素块质心均值,根据质心均值将细粒度超像素分割图像中相邻且特征相似的超像素块进行合并,重构出目标轮廓;
PS=Cs(QSK,AL) (4)
式(4)中,Cs为SLIC合并函数,QSK为含有K个带标签的二阶段超像素目标分割结果,AL为超像素块的质心均值,PS为合并的目标对象分割结果;
第4步,利用立方卷积插值算法将第三步所得的重构目标对象PS缩放至原图大小,然后将缩放至原图大小的结果和一阶段分割结果进行融合,重构出最终的多通道式分割融合图像;
ES=N(PS,S0) (6)
式(6)中,N为能量滤波高低频融合函数,PS为合并的目标对象分割结果,S0为一阶段分割中提取的目标分割结果,ES为重构的目标对象分割结果;
图像融合使用能量滤波高低频融合规则:对分割结果S0和目标对象分割结果PS采用能量滤波高低频融合规则进行预融合,低频信息融合采用基于图像引导滤波器的融合规则对低频系数进行融合,得到低频融合系数。高频信息融合利用其空间坐标找出与其对应的高频系数,赋予超像素QSK中的所有像素点对应的标签超像素块,然后将具有相同标签的系数聚集为一个超系数块并求取每个超系数块的空间频率得到高频融合系数。最后对高频融合系数和低频融合系数进行逆变换,重构出最终的多通道式分割融合图像ES。
2.如权利要求1所述的基于多通道式的图像超像素目标行人分割方法,其特征在于,还包括:
第5步,利用形态学滤波处理融合图像,去除其边缘毛刺,得到最终边缘平滑的输出结果;
ODE=DE(ES) (7)
式(7)中,DE为膨胀腐蚀函数,ES为重构的目标对象分割结果,ODE为先膨胀后腐蚀得到的最终图像。
3.如权利要求1所述的基于多通道式的图像超像素目标行人分割方法,其特征在于,大目标定义:自目标长宽像素不定,自目标占图像总长像素的30%-95%,宽占总宽像素的25%-90%;小目标定义:自目标长宽像素不定,自目标占图像总长像素的5%-25%,宽占总宽像素的5%-30%,处理图像可仅包括大目标或仅包括小目标或包括大目标和小目标。
5.如权利要求1所述的基于多通道式的图像超像素目标行人分割方法,其特征在于,超像素块特征合并步骤如下:
1)将超像素块设定排序,对图中相邻超像素块进行颜色与空间距离的特征差异计算,计算公式如下:
式(9)中,LAB向量采用的是CIELAB的色度空间模型,DLAB(Ri)为超像素块间颜色空间距离,R′表示非目标区域,li与lj为像素亮度的分量,ai、aj、bi、bj为颜色的分量,DXY(Ri)为位置空间距离,xi、xj、yi、yj向量获取的是像素的空间坐标值,D(Ri)为超像素距离,δ是距离权值系数,且δ∈(0,1);
2)将计算结果与预先设定的阈值进行比较,若特征结果小于阈值则将目标超像素块与相邻超像素块合并,若大于阈值则忽略该目标像素块,继续为下一超像素块进行特征检验;
根据超像素距离确定超像素区域相关度,计算公式如下:
C(Ri)=1-exp(-D(Ri)) (10)
式(10)中,C(Ri)表示超像素区域相关度,D(Ri)为超像素距离,超像素距离与区域相关度成负相关。根据相关度,确定超像素块是否符合同一目标的特征信息;
根据计算所有超像素的区域相关度,利用最大类间差法求出区域相关度阈值,提取所有符合相关度阈值的超像素块作为目标超像素,计算公式如下:
式(11)中,R*表示最终获取的目标超像素的集合,Ri为i处的目标超像素,C(Ri)表示超像素区域相关度,为区域相关度阈值,ε为相关度阈值系数,取ε=0.5,当ε为0.5时,特征信息能更好地划分为不同的像素集合,得到的每个子集形成一个与现实景物相对应的区域,各个区域内部具有一致的属性,而相邻区域不具有所述一致的属性;
3)迭代上述步骤,直到图像中所有超像素块都完成一次特征比较,此时生成首次合并结果图;
4)第二次合并前,刷新超像素块的特征信息及重新编排顺序,之后将首次合并结果作为本次合并操作的对象进行合并,直至第一次合并结果中的超像素块都完成特征比较,生成第二次合并结果图;
5)按照上述步骤依次进行迭代合并,直至图像中超像素块信息不再发生变化,此时生成合并结果图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910900393.4A CN112541920A (zh) | 2019-09-23 | 2019-09-23 | 基于多通道式的图像超像素目标行人分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910900393.4A CN112541920A (zh) | 2019-09-23 | 2019-09-23 | 基于多通道式的图像超像素目标行人分割方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112541920A true CN112541920A (zh) | 2021-03-23 |
Family
ID=75012872
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910900393.4A Pending CN112541920A (zh) | 2019-09-23 | 2019-09-23 | 基于多通道式的图像超像素目标行人分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112541920A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150234863A1 (en) * | 2014-02-18 | 2015-08-20 | Environmental Systems Research Institute (ESRI) | Automated feature extraction from imagery |
US20180061068A1 (en) * | 2015-05-06 | 2018-03-01 | Peking University Shenzhen Graduate School | Depth/Disparity Map Post-processing Method and Device |
CN108520524A (zh) * | 2018-04-10 | 2018-09-11 | 深圳市唯特视科技有限公司 | 一种基于边缘聚类的图像迭代过度分割方法 |
CN108596936A (zh) * | 2018-04-28 | 2018-09-28 | 中南大学 | 一种基于多层级slic的图像超像素分割方法 |
CN110163868A (zh) * | 2019-04-17 | 2019-08-23 | 安阳师范学院 | 一种遥感图像分割方法 |
CN110163239A (zh) * | 2019-01-25 | 2019-08-23 | 太原理工大学 | 一种基于超像素和条件随机场的弱监督图像语义分割方法 |
-
2019
- 2019-09-23 CN CN201910900393.4A patent/CN112541920A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150234863A1 (en) * | 2014-02-18 | 2015-08-20 | Environmental Systems Research Institute (ESRI) | Automated feature extraction from imagery |
US20180061068A1 (en) * | 2015-05-06 | 2018-03-01 | Peking University Shenzhen Graduate School | Depth/Disparity Map Post-processing Method and Device |
CN108520524A (zh) * | 2018-04-10 | 2018-09-11 | 深圳市唯特视科技有限公司 | 一种基于边缘聚类的图像迭代过度分割方法 |
CN108596936A (zh) * | 2018-04-28 | 2018-09-28 | 中南大学 | 一种基于多层级slic的图像超像素分割方法 |
CN110163239A (zh) * | 2019-01-25 | 2019-08-23 | 太原理工大学 | 一种基于超像素和条件随机场的弱监督图像语义分割方法 |
CN110163868A (zh) * | 2019-04-17 | 2019-08-23 | 安阳师范学院 | 一种遥感图像分割方法 |
Non-Patent Citations (1)
Title |
---|
蒋宏艳;闻娟;: "云计算环境下海量激光扫描CT图像的快速定位方法研究", 激光杂志, no. 04 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110008915B (zh) | 基于掩码-rcnn进行稠密人体姿态估计的系统及方法 | |
CN107564025B (zh) | 一种基于深度神经网络的电力设备红外图像语义分割方法 | |
CN109753913B (zh) | 计算高效的多模式视频语义分割方法 | |
CN108388882B (zh) | 基于全局-局部rgb-d多模态的手势识别方法 | |
CN107103277B (zh) | 一种基于深度相机和3d卷积神经网络的步态识别方法 | |
CN109035172B (zh) | 一种基于深度学习的非局部均值超声图像去噪方法 | |
Biasutti et al. | Lu-net: An efficient network for 3d lidar point cloud semantic segmentation based on end-to-end-learned 3d features and u-net | |
CN103810473B (zh) | 一种基于隐马尔科夫模型的人体对象的目标识别方法 | |
CN110826389B (zh) | 基于注意力3d频率卷积神经网络的步态识别方法 | |
WO2022083202A1 (zh) | 基于U-net神经网络的精细水体提取方法 | |
CN111145209A (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
CN110705342A (zh) | 一种车道线分割检测方法及装置 | |
CN112163498B (zh) | 前景引导和纹理聚焦的行人重识别模型建立方法及其应用 | |
CN106529441B (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
CN109034136A (zh) | 图像处理方法、装置、摄像设备及存储介质 | |
CN111768415A (zh) | 一种无量化池化的图像实例分割方法 | |
CN116630971B (zh) | 基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法 | |
CN105118051A (zh) | 一种应用于静态图像人体分割的显著性检测方法 | |
CN111353385B (zh) | 一种基于掩膜对齐与注意力机制的行人再识别方法和装置 | |
CN113808005A (zh) | 一种基于视频驱动的人脸姿态迁移方法及装置 | |
CN101320477B (zh) | 一种人体跟踪方法及其设备 | |
Wu et al. | Pose-aware multi-feature fusion network for driver distraction recognition | |
CN115546466A (zh) | 一种基于多尺度显著特征融合的弱监督图像目标定位方法 | |
Wollmann et al. | Multi-channel deep transfer learning for nuclei segmentation in glioblastoma cell tissue images | |
Chen et al. | The adaptive fractional order differential model for image enhancement based on segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20240202 |
|
AD01 | Patent right deemed abandoned |