CN110930361B - 一种虚实物体遮挡检测方法 - Google Patents
一种虚实物体遮挡检测方法 Download PDFInfo
- Publication number
- CN110930361B CN110930361B CN201911006662.9A CN201911006662A CN110930361B CN 110930361 B CN110930361 B CN 110930361B CN 201911006662 A CN201911006662 A CN 201911006662A CN 110930361 B CN110930361 B CN 110930361B
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- foreground
- point
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000001514 detection method Methods 0.000 claims abstract description 40
- 230000009467 reduction Effects 0.000 claims abstract description 14
- 238000001914 filtration Methods 0.000 claims abstract description 9
- 238000009826 distribution Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000003706 image smoothing Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 239000004576 sand Substances 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种虚实物体遮挡检测方法,具体按照以下步骤实施:步骤1,对第一帧图像进行建模,为每个像素建立背景样本集,实现背景模型的初始化;步骤2,对后续帧图像采用自适应方法进行前景目标判断,获取前景图像;步骤3,对步骤1中的背景模型进行更新;步骤4,对步骤2获取的前景图像中的噪声点采用中值滤波进行降噪;步骤5,对步骤4经降噪的前景图像中的孔洞区域使用漫水填充法进行填充;步骤6,对经步骤1‑5处理的图像进行优化,检测阴影区域并剔除。本发明的一种虚实物体遮挡检测方法,实现了前景图像的自动获取,解决了现有技术中存在的图像移动中前景目标的自适应获取不灵活的问题。
Description
技术领域
本发明属于计算机图形学和虚拟现实相结合技术领域,涉及一种虚实物体遮挡检测方法。
背景技术
虚实物体之间的遮挡检测是虚实融合的关键,而虚实融合是实现AR(AugmentedReality,增强现实)的重要手段,也是基于真实环境和虚拟环境下实现虚拟对象与真实场景合并技术的核心难点。随着增强现实诸如在包括娱乐、生活、军事、教育、交通导航、医学和制造业等领域的广泛应用,虚实物体之间的遮挡检测问题已经成为了一个瓶颈问题。
目前的研究方法主要可以划分为基于模型的方法、基于深度的方法和基于图像的方法。基于模型的方法通过对真实对象建模进行虚实对象的遮挡处理;基于深度的方法在获取图像深度信息并通过深度信息来进行虚实对象的遮挡处理;基于图像的虚实遮挡处理是通过分析虚拟对象绘制后的像素情况,通过已知图像的深度在图像层面处理虚实对象的遮挡关系。基于模型的方法适用于真实对象较少其真实对象建模容易的场景中,其优点是对于简单模型的虚实遮挡处理达到很好效果,但是由于真实对象三维重建繁琐复杂,难以适用于实际问题的解决。基于深度的方法往往由于无法获取精确的深度图而难以实现良好的遮挡效果,且相机视角需要相对固定及真实场景变化较少的情况。由于基于模型的方法和基于深度的方法的局限性,而基于图像的方法可以适用于真实对象包含刚体及非刚体,同时可以调整相机视角实现对自然交互情况的观察。但是目前方法只能解决真实对象遮挡虚拟对象问题,其中包括室内、室外以及虚拟对象静态放置时的场景下的虚实遮挡,但是很少有研究者针对自然交互过程中的虚实遮挡问题进行研究,对于图像运动中的前景目标提取方法也相对不是很灵活。
发明内容
本发明的目的是提供一种虚实物体遮挡检测方法,实现了前景图像的自动获取,解决了现有技术中存在的图像移动中前景目标的自适应获取不灵活的问题。
本发明所采用的技术方案是,一种虚实物体遮挡检测方法,具体按照以下步骤实施:
步骤1,对第一帧图像进行建模,为每个像素建立背景样本集,实现背景模型的初始化;
步骤2,对后续帧图像采用自适应方法进行前景目标判断,获取前景图像;
步骤3,对步骤1中的背景模型进行更新;
步骤4,对步骤2获取的前景图像中的噪声点采用中值滤波进行降噪;
步骤5,对步骤4经降噪的前景图像中的孔洞区域使用漫水填充法进行填充;
步骤6,对经步骤1-5处理的图像进行优化,检测阴影区域并剔除。
步骤1具体为:
步骤1.1,建立初始第一帧图像的像素模型
M=f(xi,yi)|(xi,yi)∈NG(x,y) (1)
其中,f(xi,yi)表示当前像素的值,NG(x,y)表示邻域中相邻的像素值;xi和yi是像素f的两个坐标;
步骤1.2,为每个像素建立背景样本集以及初始化背景模型
样本集有P1、P2…Pn共n个图像构成,每一副图的大小和原帧大小相同,对于每一副的某一像素点,按平均分布随机抽样n次八邻域中的一个像素值为其采样点,从而得到n个图像,形成初始化后的背景模型:
Bx(t)={p1,p2,…,pn} (2)。
步骤2具体为:
步骤2.1,RGB三维空间表示
将像素的RGB颜色空间表示到XYZ轴的三维空间,并计算每个样本点里像素与当前帧像素在三维空间上的偏移向量μ
其中vi表示当前帧图像中某点像素值对应的RGB三维空间坐标值,xt表示模型样本中某点像素值对应的RGB三维空间坐标值,N表示样本集的数量;
步骤2.2,计算中心坐标值e
e表示样本集的中心坐标值,xt到e的向量为偏移向量μ,根据步骤2.1计算出偏移向量μ后,通过μ与xt计算中心坐标值e;
步骤2.3,获取模型每个样本集间的平均方差σ
其中,pr、pg和pb分别表示的是第i个样本集中对应位置像素值的三个分量R、G和B,er、eg和eb分别表示的是平均坐标点像素值的三个分量R、G和B;
步骤2.4:计算球体半径ε
将步骤2.3得到的平均方差σ进行线性计算可得到球体半径ε,通过将样本集中的每个值与得到的球体半径ε做比较,得出样本集中的每个值小于平均方差的个数ca;
步骤2.5:前景目标判断
如果ca大于某个阈值Nc,则该像素为背景,否则为前景,其中,Nc是背景,Nc是依据实验确定出来的阈值。
步骤3具体为:
步骤3.1,从背景模型中抽取随机一个像素设为PG(x),PG(1)...PG(8)表示PG(x)在(x,y)位置及其八邻域内的像素;
步骤3.2,在PG(x)八邻域内检测到新的一帧图像PT(x),PT(1)...PT(8)表示PT(x)在(x,y)位置及其八邻域内的像素,如PT(x)在(x,y)处的像素PT(x,y)被判定为背景,则PG(x)需要被更新,即PG(x)=PT(x)。
步骤4具体为:
步骤4.1,统计经步骤2判断为前景的前景二值图像中黑色像素点以及白色像素点的比率;
步骤4.2,若黑色像素点和白色像素点比率不同,则使用比率大的像素点来代替当前像素;若黑色像素点和白色像素点的比率相同,则实施步骤4.3;
步骤4.3,对黑色像素点和白色像素点邻域的四个角区域分布情况进行观察,若黑色像素点和白色像素点邻域的四个角区域那个像素点多,则用多的像素点代替该像素;若四个角区域黑白像素点均匀分布,该像素点颜色不做更改。
步骤5具体为:
步骤5.1,将步骤4降噪后的前景图像A向外延伸一个像素点,将延伸的像素点填充为背景色,得到填充后的图像B;
步骤5.2,设置种子点为任意延伸图像的像素点,通过漫水填充法将图像B的背景填充为前景色,将得到的图像裁剪掉延伸像素点得到图像C;
步骤5.3,将图像C取反后与原图像A进行或运算,得到孔洞填充后的图像,从而实现前景区域孔洞填充。
步骤6具体为:
步骤6.1,对步骤5已经填充孔洞的前景图像利用HSV颜色空间进行阴影检测,如果前景图像中的像素点满足式(5)的三个条件则保留,判断为前景图像;否则判断为背景阴影并进行剔除;
其中,参数0≤α≤β<1,由于阴影区域像素的亮度小于前景区域像素的亮度,故β的取值小于1,α表示当前光线的强度,α越小表示光线越强;It和Bt分别表示当前帧和参考帧,(x,y)是坐标值,下标t表示帧数,τs和τh分别表示饱和度分量阈值和色调分量阈值;
步骤6.2,对步骤5已经填充孔洞的前景图像使用MeanShift聚类算法进行前景分割,具体为:
(1)图像平滑:在空间域和值域的特征空间对前景图像进行分类,通过模点搜索确定每个数据点的类中心,并且让类中的点都变为这些类中心点的颜色;
(2)相似区域合并:
构建特征空间,求取特征空间的向量并移动特征空间中的球体后再重新计算漂移向量,直至收敛;更新输出图像上对应的初始原点的色彩值为本轮迭代的终点的色彩值,如此完成一个点的色彩均值漂移;
对于前景图像上的其它点依次重复上面的步骤进行遍历,完后通过区域生长来完成图像的合并,从图像上某一点出发,假如其邻域点的颜色值与其相似则合并,同时从新合并点继续合并直到碰到不同类或不相似的像素点;
步骤6.3:求交运算
通过对步骤6.2与步骤6.3进行求交运算,通过不同图像区域内包含通过求交运算得到的区域的范围阈值来对阴影区域的检测进行优化,从而实现阴影检测。
本发明的有益效果是,本发明一种虚实物体遮挡检测方法,针对交互过程中的虚实遮挡问题进行研究,实现了前景图像的自动获取及优化,能较为灵活的自适应获取图像移动中的前景目标。
附图说明
图1是本发明实施例中的初始化背景模型;
图2是本发明实施例中的自适应阈值前景检测模型图;
图3是本发明实施例中的中心坐标e计算模型图;
图4是本发明实施例中背景模型的更新过程图;
图5是本发明实施例中选取背景单一且前景为刚体的场景图;
图6是本发明实施例中选取背景复杂且前景为刚体的场景图;
图7是本发明实施例中选取背景复杂且前景为非刚体的场景图;
图8是本发明实施例中采用中值滤波来对前景的二值图像进行降噪的四个角区域上像素分布图;
图9是本发明实施例中使用漫水填充法对前景区域孔洞进行填充的过程图;
图10是本发明实施例中针对非刚体手进行阴影检测的过程图;
图11简单背景下的笔(刚体)前景检测实验过程图;
图12简单背景下的手(非刚体)前景检测实验过程图;
图13复杂背景下的笔(刚体)前景检测实验过程图;
图14复杂背景下的手(非刚体)前景检测实验过程图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种虚实物体遮挡检测方法,具体按照以下步骤实施:
步骤1,对第一帧图像进行建模,为每个像素建立背景样本集,实现背景模型的初始化;具体为:
步骤1.1,建立初始第一帧图像的像素模型
M=f(xi,yi)|(xi,yi)∈NG(x,y) (1)
其中,f(xi,yi)表示当前像素的值,NG(x,y)表示邻域中相邻的像素值;xi和yi是像素f的两个坐标;
步骤1.2,为每个像素建立背景样本集以及初始化背景模型
样本集有P1、P2…Pn共n个图像构成,每一副图的大小和原帧大小相同,对于每一副的某一像素点,按平均分布随机抽样n次八邻域中的一个像素值为其采样点,从而得到n个图像,形成初始化后的背景模型:
Bx(t)={p1,p2,…,pn} (2);
步骤2,对后续帧图像采用自适应方法进行前景目标判断,获取前景图像,具体为:
步骤2.1,RGB三维空间表示
将像素的RGB颜色空间表示到XYZ轴的三维空间,并计算每个样本点里像素与当前帧像素在三维空间上的偏移向量μ
其中vi表示当前帧图像中某点像素值对应的RGB三维空间坐标值,xt表示模型样本中某点像素值对应的RGB三维空间坐标值,N表示样本集的数量;
步骤2.2,计算中心坐标值e
e表示样本集的中心坐标值,xt到e的向量为偏移向量μ,根据步骤2.1计算出偏移向量μ后,通过μ与xt计算中心坐标值e;
步骤2.3,获取模型每个样本集间的平均方差σ
其中,pr、pg和pb分别表示的是第i个样本集中对应位置像素值的三个分量R、G和B,er、eg和eb分别表示的是平均坐标点像素值的三个分量R、G和B;
步骤2.4:计算球体半径ε
将步骤2.3得到的平均方差σ进行线性计算可得到球体半径ε,通过将样本集中的每个值与得到的球体半径ε做比较,得出样本集中的每个值小于平均方差的个数ca;
步骤2.5:前景目标判断
如果ca大于某个阈值Nc,则该像素为背景,否则为前景,其中,Nc是背景,Nc是依据实验确定出来的阈值;
步骤3,对步骤1中的背景模型进行更新,具体为:
步骤3.1,从背景模型中抽取随机一个像素设为PG(x),PG(1)...PG(8)表示PG(x)在(x,y)位置及其八邻域内的像素;
步骤3.2,在PG(x)八邻域内检测到新的一帧图像PT(x),PT(1)...PT(8)表示PT(x)在(x,y)位置及其八邻域内的像素,如PT(x)在(x,y)处的像素PT(x,y)被判定为背景,则PG(x)需要被更新,PG(x)=PT(x)。
步骤4,对步骤2获取的前景图像中的噪声点采用中值滤波进行降噪,具体为:
步骤4.1,统计经步骤2判断为前景的前景二值图像中黑色像素点以及白色像素点的比率;
步骤4.2,若黑色像素点和白色像素点比率不同,则使用比率大的像素点来代替当前像素;若黑色像素点和白色像素点的比率相同,则实施步骤4.3;
步骤4.3,对黑色像素点和白色像素点邻域的四个角区域分布情况进行观察,若黑色像素点和白色像素点邻域的四个角区域那个像素点多,则用多的像素点代替该像素;若四个角区域黑白像素点均匀分布,该像素点颜色不做更改;
步骤5,对步骤4经降噪的前景图像中的孔洞区域使用漫水填充法进行填充,具体为:
步骤5.1,将步骤4降噪后的前景图像A向外延伸一个像素点,将延伸的像素点填充为背景色,得到填充后的图像B;
步骤5.2,设置种子点为任意延伸图像的像素点,通过漫水填充法将图像B的背景填充为前景色,将得到的图像裁剪掉延伸像素点得到图像C;
步骤5.3,将图像C取反后与原图像A进行或运算,得到孔洞填充后的图像,从而实现前景区域孔洞填充。
步骤6,对经步骤1-5处理的图像进行优化,检测阴影区域并剔除,具体为:
步骤6.1,对步骤5已经填充孔洞的前景图像利用HSV颜色空间进行阴影检测,如果前景图像中的像素点满足式(5)的三个条件则保留,判断为前景图像;否则判断为背景阴影并进行剔除;
其中,参数0≤α≤β<1,由于阴影区域像素的亮度小于前景区域像素的亮度,故β的取值小于1,α表示当前光线的强度,α越小表示光线越强;It和Bt分别表示当前帧和参考帧,(x,y)是坐标值,下标t表示帧数,τs和τh分别表示饱和度分量阈值和色调分量阈值;
步骤6.2,对步骤5已经填充孔洞的前景图像使用MeanShift聚类算法进行前景分割,具体为:
(1)图像平滑:在空间域和值域的特征空间对前景图像进行分类,通过模点搜索确定每个数据点的类中心,并且让类中的点都变为这些类中心点的颜色;
(2)相似区域合并:
构建特征空间,求取特征空间的向量并移动特征空间中的球体后再重新计算漂移向量,直至收敛;更新输出图像上对应的初始原点的色彩值为本轮迭代的终点的色彩值,如此完成一个点的色彩均值漂移;
对于前景图像上的其它点依次重复上面的步骤进行遍历,完后通过区域生长来完成图像的合并,从图像上某一点出发,假如其邻域点的颜色值与其相似则合并,同时从新合并点继续合并直到碰到不同类或不相似的像素点;
步骤6.3:求交运算
通过对步骤6.2与步骤6.3进行求交运算,通过不同图像区域内包含通过求交运算得到的区域的范围阈值来对阴影区域的检测进行优化,从而实现阴影检测。
实施例
步骤1,如图1所示,对第一帧图像进行建模,为每个像素建立背景样本集,实现背景模型的初始化;通过填充像素的样本集来完成初始化,但由于仅一帧图像中无法提供像素点的空间分布信息,利用相近像素点拥有相近的空间分布特性,随机选择处理像素的邻域像素作为其模型样本值;
具体为:
步骤1.1,建立初始第一帧图像的像素模型
M=f(xi,yi)|(xi,yi)∈NG(x,y) (1)
其中,f(xi,yi)表示当前像素的值,NG(x,y)表示邻域中相邻的像素值;xi和yi是像素f的两个坐标;
步骤1.2,为每个像素建立背景样本集以及初始化背景模型
样本集有P1、P2…Pn共n个图像构成,每一副图的大小和原帧大小相同,对于每一副的某一像素点,按平均分布随机抽样n次八邻域中的一个像素值为其采样点,从而得到n个图像,形成初始化后的背景模型,形成初始化后的背景模型如图1所示;
Bx(t)={p1,p2,…,pn} (2);
步骤2,如图2所示,对后续帧图像采用自适应方法进行前景目标判断;本文采用一种自适应阈值来代替固定阈值,阈值大小与样本集的方差成正比,样本集方差越大,说明背景越复杂,判定阈值应该越大,通过自适应的方式来确定阈值;具体为:
步骤2.1,RGB三维空间表示
将像素的RGB颜色空间表示到XYZ轴的三维空间,并计算每个样本点里像素与当前帧像素在三维空间上的偏移向量μ
其中vi表示当前帧图像中某点像素值对应的RGB三维空间坐标值,xt表示模型样本中某点像素值对应的RGB三维空间坐标值,N表示样本集的数量;
步骤2.2,如图3所示,计算中心坐标值e
e表示样本集的中心坐标值,xt到e的向量为偏移向量μ,根据步骤2.1计算出偏移向量μ后,通过μ与xt计算中心坐标值e;
步骤2.3,获取模型每个样本集间的平均方差σ
其中,pr、pg和pb分别表示的是第i个样本集中对应位置像素值的三个分量R、G和B,er、eg和eb分别表示的是平均坐标点像素值的三个分量R、G和B;
步骤2.4:计算球体半径ε
将步骤2.3得到的平均方差σ进行线性计算可得到球体半径ε,通过将样本集中的每个值与得到的球体半径ε做比较,得出样本集中的每个值小于平均方差的个数ca;
步骤2.5:前景目标判断
如果ca大于某个阈值Nc,则该像素为背景,否则为前景,其中,Nc是背景,Nc是依据实验确定出来的阈值;
步骤3,如图4所示,对步骤1中的背景模型进行更新;本发明采取的是保守的更新策略与前景点计数策略相结合的更新策略;具体为:
步骤3.1,从背景模型中抽取随机一个像素设为PG(x),PG(1)...PG(8)表示PG(x)在(x,y)位置及其八邻域内的像素;
步骤3.2,在PG(x)八邻域内检测到新的一帧图像PT(x),PT(1)...PT(8)表示PT(x)在(x,y)位置及其八邻域内的像素,如PT(x)在(x,y)处的像素PT(x,y)被判定为背景,则PG(x)需要被更新,PG(x)=PT(x)。
从步骤1到步骤3对ViBe前景检测算法进行改进,实现了运动目标的自适应前景检测,该方法比固定阈值的方法优越,同时可以适应不同背景环境和不同前景对象,图5选取背景单一且前景为刚体的场景,图5(a)为笔在简单背景移动的原图像,图5(b)为笔在简单背景移动的ViBe前景检测结果,图5(c)为笔在简单背景移动的本发明检测结果,图6选取背景复杂且前景为刚体的场景,图6(a)为笔在复杂背景移动的原图像,图6(b)为笔在复杂背景移动的ViBe前景检测结果,图6(c)为笔在复杂背景移动的本发明检测结果,图7选取背景复杂且前景为非刚体的场景,图7(a)为手在复杂背景移动的原图像,图7(b)为手在复杂背景移动的ViBe前景检测结果,图7(c)为手在复杂背景移动的本发明检测结果,分别用本发明方法进行实验,并将检测结果与传统前景检测算法的检测结果对比。
步骤4,如图8所示,对步骤2获取的前景图像中的噪声点采用中值滤波进行降噪;具体为:
步骤4.1,统计经步骤2判断为前景的前景二值图像中黑色像素点以及白色像素点的比率;
步骤4.2,若黑色像素点和白色像素点比率不同,则使用比率大的像素点来代替当前像素;若黑色像素点和白色像素点的比率相同,则实施步骤4.3;
步骤4.3,对黑色像素点和白色像素点邻域的四个角区域分布情况进行观察,若黑色像素点和白色像素点邻域的四个角区域那个像素点多,则用多的像素点代替该像素,如图8(a)所示,中值滤波去噪四个角区域上像素分布不均匀情况;若四个角区域黑白像素点均匀分布,该像素点颜色不做更改,如图8(b)所示,为中值滤波去噪四个角区域上像素分布均匀情况;
步骤5,对步骤4经降噪的前景图像中的孔洞区域使用漫水填充法进行填充;具体为:
步骤5.1,将步骤4降噪后的前景图像A向外延伸一个像素点,将延伸的像素点填充为背景色,得到填充后的图像B;
步骤5.2,设置种子点为任意延伸图像的像素点,通过漫水填充法将图像B的背景填充为前景色,将得到的图像裁剪掉延伸像素点得到图像C;
步骤5.3,将图像C取反后与前景图像A进行或运算,得到孔洞填充后的图像,从而实现前景区域孔洞填充;降噪和空洞修复的效果如图9所示,图9(a)手在复杂背景移动的视频帧原图像,图9(b)前景检测后的二值图,图9(c)通过中值滤波后的图像,图9(d)通过孔洞填充后的图像,图9(e)所保留下来的前景区域。
步骤6,对经步骤1-5处理的图像进行优化,检测阴影区域并剔除;具体为:
步骤6.1,对步骤5已经填充孔洞的前景图像利用HSV颜色空间进行阴影检测,如果前景图像中的像素点满足式(5)的三个条件则保留,判断为前景图像;否则判断为背景阴影并进行剔除;
其中,参数0≤α≤β<1,由于阴影区域像素的亮度小于前景区域像素的亮度,故β的取值小于1,α表示当前光线的强度,α越小表示光线越强;It和Bt分别表示当前帧和参考帧,(x,y)是坐标值,下标t表示帧数,τs和τh分别表示饱和度分量阈值和色调分量阈值;
对步骤5已经填充孔洞的前景图像使用MeanShift聚类算法进行前景分割,具体为:
(1)图像平滑:在空间域和值域的特征空间对前景图像进行分类,通过模点搜索确定每个数据点的类中心,并且让类中的点都变为这些类中心点的颜色;
(2)相似区域合并:
构建特征空间,求取特征空间的向量并移动特征空间中的球体后再重新计算漂移向量,直至收敛;更新输出图像上对应的初始原点的色彩值为本轮迭代的终点的色彩值,如此完成一个点的色彩均值漂移;
对于前景图像上的其它点依次重复上面的步骤进行遍历,完后通过区域生长来完成图像的合并,从图像上某一点出发,假如其邻域点的颜色值与其相似则合并,同时从新合并点继续合并直到碰到不同类或不相似的像素点;
步骤6.3:求交运算
通过对步骤6.2与步骤6.3进行求交运算,通过不同图像区域内包含通过求交运算得到的区域的范围阈值来对阴影区域的检测进行优化,从而实现阴影检测。
本发明中针对非刚体手进行阴影检测,效果图如图10所示,图10(a)未处理图像,图10(b)HSV阈值阴影,图10(c)HSV阈值处理结果,图10(d)MeanShift分类,图10(e)边缘线噪声点去除,图10(f)相交后阴影处理的结果;
步骤4至步骤6实现了自适应前景检测后的优化,该优化方法同样对刚体非刚体以及背景单一或背景复杂情况均适应,图11为简单背景下的笔(刚体)前景检测,图12为简单背景下的手(非刚体)前景检测,图13为复杂背景下的笔(刚体)前景检测,图14为复杂背景下的手(非刚体)前景检测,其中第一行为原始场景图像,第二行为经过前景检测提取出的前景图像。
Claims (6)
1.一种虚实物体遮挡检测方法,其特征在于,具体按照以下步骤实施:
步骤1,对第一帧图像进行建模,为每个像素建立背景样本集,实现背景模型的初始化;
步骤2,对后续帧图像采用自适应方法进行前景目标判断,获取前景图像;
步骤3,对步骤1中的背景模型进行更新;
步骤4,对步骤2获取的前景图像中的噪声点采用中值滤波进行降噪;
步骤5,对步骤4经降噪的前景图像中的孔洞区域使用漫水填充法进行填充;
步骤6,对经步骤1-5处理的图像进行优化,检测阴影区域并剔除,具体为:
步骤6.1,对步骤5已经填充孔洞的前景图像利用HSV颜色空间进行阴影检测,如果前景图像中的像素点满足式(5)的三个条件则保留,判断为前景图像;否则判断为背景阴影并进行剔除;
其中,参数0≤α≤β<1,由于阴影区域像素的亮度小于前景区域像素的亮度,故β的取值小于1,α表示当前光线的强度,α越小表示光线越强;It和Bt分别表示当前帧和参考帧,(x,y)是坐标值,下标t表示帧数,τs和τh分别表示饱和度分量阈值和色调分量阈值;
步骤6.2,对步骤5已经填充孔洞的前景图像使用MeanShift聚类算法进行前景分割,具体为:
(1)图像平滑:在空间域和值域的特征空间对前景图像进行分类,通过模点搜索确定每个数据点的类中心,并且让类中的点都变为这些类中心点的颜色;
(2)相似区域合并:
构建特征空间,求取特征空间的向量并移动特征空间中的球体后再重新计算漂移向量,直至收敛;更新输出图像上对应的初始原点的色彩值为本轮迭代的终点的色彩值,如此完成一个点的色彩均值漂移;
对于前景图像上的其它点依次重复上面的步骤进行遍历,完后通过区域生长来完成图像的合并,从图像上某一点出发,假如其邻域点的颜色值与其相似则合并,同时从新合并点继续合并直到碰到不同类或不相似的像素点;
步骤6.3:求交运算
通过对步骤6.2与步骤6.3进行求交运算,通过不同图像区域内包含通过求交运算得到的区域的范围阈值来对阴影区域的检测进行优化,从而实现阴影检测。
2.根据权利要求1所述的一种虚实物体遮挡检测方法,其特征在于,所述步骤1具体为:
步骤1.1,建立初始第一帧图像的像素模型
M=f(xi,yi)|(xi,yi)∈NG(x,y) (1)
其中,f(xi,yi)表示当前像素的值,NG(x,y)表示邻域中相邻的像素值;xi和yi是像素f的两个坐标;
步骤1.2,为每个像素建立背景样本集以及初始化背景模型
样本集有P1、P2…Pn共n个图像构成,每一幅 图的大小和原帧大小相同,对于每一幅 的某一像素点,按平均分布随机抽样n次八邻域中的一个像素值为其采样点,从而得到n个图像,形成初始化后的背景模型:
Bx(t)={p1,p2,…,pn} (2)。
3.根据权利要求1所述的一种虚实物体遮挡检测方法,其特征在于,所述步骤2具体为:
步骤2.1,RGB三维空间表示
将像素的RGB颜色空间表示到XYZ轴的三维空间,并计算每个样本点里像素与当前帧像素在三维空间上的偏移向量μ
其中vi表示当前帧图像中某点像素值对应的RGB三维空间坐标值,xt表示模型样本中某点像素值对应的RGB三维空间坐标值,N表示样本集的数量;
步骤2.2,计算中心坐标值e
e表示样本集的中心坐标值,xt到e的向量为偏移向量μ,根据步骤2.1计算出偏移向量μ后,通过μ与xt计算中心坐标值e;
步骤2.3,获取模型每个样本集间的平均方差σ
其中,pr、pg和pb分别表示的是第i个样本集中对应位置像素值的三个分量R、G和B,er、eg和eb分别表示的是平均坐标点像素值的三个分量R、G和B;
步骤2.4:计算球体半径ε
将步骤2.3得到的平均方差σ进行线性计算可得到球体半径ε,通过将样本集中的每个值与得到的球体半径ε做比较,得出样本集中的每个值小于平均方差的个数ca;
步骤2.5:前景目标判断
如果ca大于某个阈值Nc,则该像素为背景,否则为前景,其中,Nc是背景,Nc是依据实验确定出来的阈值。
4.根据权利要求1所述的一种虚实物体遮挡检测方法,其特征在于,所述步骤3具体为:
步骤3.1,从背景模型中抽取随机一个像素设为PG(x),PG(1)...PG(8)表示PG(x)在(x,y)位置及其八邻域内的像素;
步骤3.2,在PG(x)八邻域内检测到新的一帧图像PT(x),PT(1)...PT(8)表示PT(x)在(x,y)位置及其八邻域内的像素,如PT(x)在(x,y)处的像素PT(x,y)被判定为背景,则PG(x)需要被更新,PG(x)=PT(x)。
5.根据权利要求1所述的一种虚实物体遮挡检测方法,其特征在于,所述步骤4具体为:
步骤4.1,统计经步骤2判断为前景的前景二值图像中黑色像素点以及白色像素点的比率;
步骤4.2,若黑色像素点和白色像素点比率不同,则使用比率大的像素点来代替当前像素;若黑色像素点和白色像素点的比率相同,则实施步骤4.3;
步骤4.3,对黑色像素点和白色像素点邻域的四个角区域分布情况进行观察,若黑色像素点和白色像素点邻域的四个角区域那个像素点多,则用多的像素点代替该像素;若四个角区域黑白像素点均匀分布,该像素点颜色不做更改。
6.根据权利要求1所述的一种虚实物体遮挡检测方法,其特征在于,所述步骤5具体为:
步骤5.1,将步骤4降噪后的前景图像A向外延伸一个像素点,将延伸的像素点填充为背景色,得到填充后的图像B;
步骤5.2,设置种子点为任意延伸图像的像素点,通过漫水填充法将图像B的背景填充为前景色,将得到的图像裁剪掉延伸像素点得到图像C;
步骤5.3,将图像C取反后与前景图像A进行或运算,得到孔洞填充后的图像,从而实现前景区域孔洞填充。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911006662.9A CN110930361B (zh) | 2019-10-22 | 2019-10-22 | 一种虚实物体遮挡检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911006662.9A CN110930361B (zh) | 2019-10-22 | 2019-10-22 | 一种虚实物体遮挡检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110930361A CN110930361A (zh) | 2020-03-27 |
CN110930361B true CN110930361B (zh) | 2022-03-25 |
Family
ID=69849038
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911006662.9A Active CN110930361B (zh) | 2019-10-22 | 2019-10-22 | 一种虚实物体遮挡检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110930361B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112927262B (zh) * | 2021-03-22 | 2023-06-20 | 瓴盛科技有限公司 | 一种基于视频的相机镜头遮挡检测方法及系统 |
CN113658143B (zh) * | 2021-08-19 | 2022-10-21 | 济南大学 | 一种机采籽棉含杂率检测方法及系统 |
CN116485678B (zh) * | 2023-04-28 | 2024-02-09 | 深圳联安通达科技有限公司 | 基于嵌入式操作系统的图像处理方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102509343A (zh) * | 2011-09-30 | 2012-06-20 | 北京航空航天大学 | 一种基于双目图像和对象轮廓的虚实遮挡处理方法 |
CN106803286A (zh) * | 2017-01-17 | 2017-06-06 | 湖南优象科技有限公司 | 基于多视点图像的虚实遮挡实时处理方法 |
CN107680103A (zh) * | 2017-09-12 | 2018-02-09 | 南方医科大学南方医院 | 用于胃癌腔镜智能手术实时导航系统的虚实自动遮挡处理混合现实的方法 |
CN110111361A (zh) * | 2019-04-22 | 2019-08-09 | 湖北工业大学 | 一种基于多阈值自优化背景建模的运动目标检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102301230B1 (ko) * | 2014-12-24 | 2021-09-10 | 삼성전자주식회사 | 가상화된 gpu들에 대한 스케줄링을 수행하는 방법 및 이를 위한 디바이스 |
-
2019
- 2019-10-22 CN CN201911006662.9A patent/CN110930361B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102509343A (zh) * | 2011-09-30 | 2012-06-20 | 北京航空航天大学 | 一种基于双目图像和对象轮廓的虚实遮挡处理方法 |
CN106803286A (zh) * | 2017-01-17 | 2017-06-06 | 湖南优象科技有限公司 | 基于多视点图像的虚实遮挡实时处理方法 |
CN107680103A (zh) * | 2017-09-12 | 2018-02-09 | 南方医科大学南方医院 | 用于胃癌腔镜智能手术实时导航系统的虚实自动遮挡处理混合现实的方法 |
CN110111361A (zh) * | 2019-04-22 | 2019-08-09 | 湖北工业大学 | 一种基于多阈值自优化背景建模的运动目标检测方法 |
Non-Patent Citations (3)
Title |
---|
"Mutual occlusion between real and virtual elements in Augmented Reality based on fiducial markers";Silvio R. R. Sanches et al.;《2012 IEEE Workshop on the Applications of Computer Vision (WACV)》;20120305;第49-54页 * |
"动态变换背景帧的虚实遮挡处理方法";李红波 等;《计算机工程与设计》;20150131;第36卷(第1期);第227-231页 * |
"增强现实中虚实遮挡技术的研究";饶少艳;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20180615;第I138-2028页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110930361A (zh) | 2020-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110930361B (zh) | 一种虚实物体遮挡检测方法 | |
US8126268B2 (en) | Edge-guided morphological closing in segmentation of video sequences | |
US8565525B2 (en) | Edge comparison in segmentation of video sequences | |
US20090028432A1 (en) | Segmentation of Video Sequences | |
CN109146001B (zh) | 多视角isar图像融合方法 | |
US20090219379A1 (en) | Average Calculation in Color Space, Particularly for Segmentation of Video Sequences | |
CN113313815B (zh) | 一种机械臂抓取物体实时三维重建方法 | |
CN110782477A (zh) | 基于序列图像的运动目标快速检测方法、计算机视觉系统 | |
CN110223387A (zh) | 一种基于深度学习的三维模型重建技术 | |
JP7390497B2 (ja) | 画像処理方法、装置、コンピュータプログラム、および電子デバイス | |
CN112364865B (zh) | 一种复杂场景中运动小目标的检测方法 | |
Feng et al. | FasTFit: A fast T-spline fitting algorithm | |
Yuan et al. | A confidence prior for image dehazing | |
CN110517348B (zh) | 基于图像前景分割的目标物体三维点云重建方法 | |
CN116681839B (zh) | 一种基于改进NeRF的实景三维目标重建与单体化方法 | |
CN111127622B (zh) | 基于图像分割的三维点云离群点剔除方法 | |
CN112365516A (zh) | 一种增强现实中虚实遮挡处理方法 | |
US20210241430A1 (en) | Methods, devices, and computer program products for improved 3d mesh texturing | |
Zhu et al. | Hybrid scheme for accurate stereo matching | |
Li et al. | An improved mean shift segmentation method of high-resolution remote sensing image based on LBP and canny features | |
Cui et al. | 3D reconstruction with spherical cameras | |
CN117541755B (zh) | 一种基于rgb-d三维重建的刚性物体虚实遮挡方法 | |
Pettersson | Gpu-accelerated real-time surveillance de-weathering | |
Wang et al. | Single Haze Image Restoration Under Non-Uniform Dense Scattering Media | |
Nair et al. | Single Image Dehazing Using Multi-Scale DCP-BCP Fusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB03 | Change of inventor or designer information | ||
CB03 | Change of inventor or designer information |
Inventor after: Ning Xiaojuan Inventor after: Wang Yinghui Inventor after: Zhao Yanni Inventor after: Zhang Le Inventor before: Wang Yinghui Inventor before: Zhao Yanni Inventor before: Ning Xiaojuan Inventor before: Zhang Le |
|
GR01 | Patent grant | ||
GR01 | Patent grant |