CN106056630A - 基于图像序列光流与三角网格的遮挡区域检测方法 - Google Patents

Abstract

本发明公开了一种基于图像序列光流与三角网格的遮挡区域检测方法，该方法通过计算图像序列连续两帧间的光流；对第一帧图像进行Delaunay三角网格划分；计算图像像素点和各三角形区域在两帧图像间的亮度变化；根据第一帧图像三角形寻找对应的第二帧图像三角形区域，并检查第二帧图像对应三角形区域是否有嵌入像素点，确定存在遮挡的三角形区域；根据嵌入像素点和三角形区域的亮度变化确定是嵌入像素点被遮挡或三角形区域被遮挡；对图像中所有三角形区域进行遍历，以检测整个图像的遮挡区域。与现有方法相比，本方法具有更高的遮挡检测精度与可靠性。

Description

基于图像序列光流与三角网格的遮挡区域检测方法

技术领域

本发明涉及检测技术，特别涉及一种基于图像序列光流与三角网格的遮挡区域检测方法。

背景技术

当图像序列存在遮挡现象时，图像中的遮挡区域的像素点在连续帧图像中出现“时有时无”的现象，这一问题会导致图像序列运动目标检测、跟踪以及三维重建结果的准确性与可靠性面临较大挑战。因此，图像序列遮挡区域检测是图像处理、计算机视觉等研究领域的一项重要研究内容，其研究成果在机器人视觉、无人机导航、车辆辅助驾驶等领域具有重要的应用意义。

传统的图像序列遮挡区域检测方法通常采用基于特征匹配的策略，由于特征匹配的方法仅依靠单一像素点在连续两帧图像是否存在对应关系来判断像素点的遮挡，因此特征点匹配的鲁棒性与准确性对遮挡区域检测影响较大，常常导致遮挡区域检测结果并不满足实际需求。

发明内容

本发明的目的是提供一种基于图像序列光流与三角网格的遮挡区域检测方法，利用Delaunay三角网格对图像进行三角形划分，并利用两帧图像光流进行遮挡区域的检测技术，能准确地对图像序列中的遮挡区域进行检测、提取。

为了解决上述技术问题，本发明采取以下技术方案。基于图像序列光流与三角网格的遮挡区域检测方法，其步骤如下：

1)计算图像序列连续两帧间的光流；

2)利用Delaunay三角网格对第一帧图像进行三角形划分；

3)根据Delaunay三角网格划分结果和图像间光流，分别计算各像素点在第二帧图像的坐标，并根据第一帧图像三角网格划分结果，在第二帧图像建立对应的三角形网格区域；

4)根据两帧间图像光流与第一帧图像像素点坐标，计算各像素点在两帧图像间的亮度变化：

ΛI_P＝I(x+w)-I(x)； (1)

式中：P表示第一帧图像中任意像素点；x表示点P的图像坐标；w表示点P在两帧图像间的光流；ΛI_P表示点P在两帧图像间的亮度变化；

5)根据图像Delaunay三角网格划分与各像素点在两帧图像间的亮度变化，计算各三角形区域在两帧图像间的亮度变化：

ΛI_Δ＝α₁·ΛI_P1+α₂·ΛI_P2+α₃·ΛI_P3； (2)

式中：ΛI_Δ表示图像各三角形区域在两帧图像中的亮度变化；ΛI_P1、ΛI_P2、ΛI_P3表示组成三角形的三个像素点在两帧图像间的亮度变化；α₁、α₂、α₃表示组成三角形的三个像素点在计算三角形区域亮度变化时的权重，取即各像素点所占权重相同；

6)根据两帧图像对应的三角网格划分结果，以及图像Delaunay三角网格划分的各三角形区域亮度变化ΛI_Δ和组成该三角形的三个像素点在两帧图像间的亮度变化ΛI_P(i)(i＝1,2,3)，对图像序列中各三角形区域是否存在遮挡进行判断，判断规则如下：

a)当第一帧图像的三角形区域在第二帧图像中的对应三角形区域没有像素点嵌入，则该三角形区域没有遮挡现象；

b)当第一帧图像的三角形区域在第二帧图像中的对应三角形区域有像素点嵌入，则该三角形区域存在遮挡现象，则采用式(3)进行下一步判断：

式中：ΛI_p表示嵌入第二帧图像三角形区域的任意像素点p的两帧图像间亮度变化；

7)对图像Delaunay三角网格划分的所有三角形进行上述步骤的判断，存在遮挡的像素点将其灰度值设为1，未遮挡像素点灰度值设为0，最终生成图像遮挡区域。

本发明能够得到更为准确、可靠的图像序列遮挡区域检测结果，算法实现的复杂度较低，具有更高的遮挡检测精度与可靠性，并为下一步的运动目标检测、跟踪及三维重建奠定基础。

附图说明

图1a和图1b是RubberWhale图像序列连续两帧图像；

(其中：图1a是第一帧图像，图1b是第二帧图像；)

图2是计算所得的RubberWhale图像序列光流；

图3是对RubberWhale图像序列第一帧图像进行Delaunay三角网格划分的示意图；

图4a和图4b是第一帧图像的三角形区域在第二帧图像中的对应三角形区域变化情况示意图；

图5是根据本发明检测到的RubberWhale图像序列遮挡区域，图中白色区域为遮挡区域。

具体实施方式

以下结合附图和实施例对本发明作进一步说明。基于图像序列光流与三角网格的遮挡区域检测方法，使用RubberWhale图像序列遮挡区域检测实验进行说明：

1)图1a和图1b是RubberWhale图像序列连续两帧图像；其中：图1a是第一帧图像，图1b是第二帧图像；

图2是计算所得的RubberWhale图像序列连续两帧间的光流；

2)如图3所示，利用Delaunay三角网格对第一帧图像进行三角形划分；

3)根据Delaunay三角网格划分结果和图像间光流分别计算各像素点在第二帧图像的坐标，并根据第一帧图像三角网格划分结果在第二帧图像建立对应的三角形网格区域；

4)根据两帧间图像光流与第一帧图像像素点坐标计算各像素点在两帧图像间的亮度变化：

ΛI_P＝I(x+w)-I(x)； (1)

式(1)中，P表示第一帧图像中任意像素点，x表示点P的图像坐标，w表示点P在两帧图像间的光流，ΛI_P表示点P在两帧图像间的亮度变化；

5)根据图像Delaunay三角网格划分与各像素点在两帧图像间的亮度变化计算各三角形区域在两帧图像间的亮度变化：

ΛI_Δ＝α₁·ΛI_P1+α₂·ΛI_P2+α₃·99_P3； (2)

式(2)中，ΛI_Δ表示图像各三角形区域在两帧图像中的亮度变化，ΛI_P1、ΛI_P2、ΛI_P3表示组成三角形的三个像素点在两帧图像间的亮度变化；α₁、α₂、α₃表示组成三角形的三个像素点在计算三角形区域亮度变化时的权重，取即各像素点所占权重相同；

6)根据两帧图像对应的三角网格划分结果以及图像Delaunay三角网格划分的各三角形区域亮度变化ΛI_Δ和组成该三角形的三个像素点在两帧图像间的亮度变化ΛI_P(i)(i＝1,2,3)对图像序列中各三角形区域是否存在遮挡进行判断，判断规则如下：

a)如图4(a)所示，当第一帧图像的三角形区域在第二帧图像中的对应三角形区域没有像素点嵌入，则该三角形区域没有遮挡现象；

b)如图4(b)所示，当第一帧图像的三角形区域在第二帧图像中的对应三角形区域有像素点嵌入，则该三角形区域存在遮挡现象，则采用式(3)进行下一步判断：

式(3)中，ΛI_p表示嵌入第二帧图像三角形区域的任意像素点p的两帧图像间亮度变化；

7)对图像Delaunay三角网格划分的所有三角形进行上述步骤的判断，存在遮挡的像素点将其灰度值设为1，未遮挡像素点灰度值设为0，最终生成图像遮挡区域如图5所示。

Claims (1)

1.基于图像序列光流与三角网格的遮挡区域检测方法，其特征在于，其步骤如下：

1)计算图像序列连续两帧间的光流；

2)利用Delaunay三角网格对第一帧图像进行三角形划分；

3)根据Delaunay三角网格划分结果和图像间光流，分别计算各像素点在第二帧图像的坐标，并根据第一帧图像三角网格划分结果，在第二帧图像建立对应的三角形网格区域；

4)根据两帧间图像光流与第一帧图像像素点坐标，计算各像素点在两帧图像间的亮度变化：

ΛI_P＝I(x+w)-I(x)； (1)

式中：P表示第一帧图像中任意像素点；x表示点P的图像坐标；w表示点P在两帧图像间的光流；ΛI_P表示点P在两帧图像间的亮度变化；

5)根据图像Delaunay三角网格划分与各像素点在两帧图像间的亮度变化，计算各三角形区域在两帧图像间的亮度变化：

ΛI_Δ＝α₁·ΛI_P1+α₂·ΛI_P2+α3·ΛI_P3； (2)

式中：ΛI_Δ表示图像各三角形区域在两帧图像中的亮度变化；ΛI_P1、ΛI_P2、ΛI_P3表示组成三角形的三个像素点在两帧图像间的亮度变化；α₁、α₂、α₃表示组成三角形的三个像素点在计算三角形区域亮度变化时的权重，取即各像素点所占权重相同；

6)根据两帧图像对应的三角网格划分结果，以及图像Delaunay三角网格划分的各三角形区域亮度变化和组成该三角形的三个像素点在两帧图像间的亮度变化，对图像序列中各三角形区域是否存在遮挡进行判断，判断规则如下：

a)当第一帧图像的三角形区域在第二帧图像中的对应三角形区域没有像素点嵌入，则该三角形区域没有遮挡现象；

b)当第一帧图像的三角形区域在第二帧图像中的对应三角形区域有像素点嵌入，则该三角形区域存在遮挡现象，则采用式(3)进行下一步判断：

式中：ΛI_p表示嵌入第二帧图像三角形区域的任意像素点p的两帧图像间亮度变化；

7)对图像Delaunay三角网格划分的所有三角形进行上述步骤的判断，存在遮挡的像素点将其灰度值设为1，未遮挡像素点灰度值设为0，最终生成图像遮挡区域。