CN106530353A - 针对双目视觉系统稀疏三维重建的三维运动点检测方法 - Google Patents

Abstract

本发明涉及一种针对双目视觉系统稀疏三维重建的三维运动点检测方法，该方法在监控区域架设双目视觉系统视频采集设备，对采集到的视频数据逐帧处理，首先依据特征点提取和匹配方法得到左/右图像中的特征点匹配点对，依据多视几何关系计算得到稀疏三维点云；然后以某平面为参考平面，对三维空间做柱状分割，将稀疏三维点映射到参考平面；接着利用若干连续帧建立初始稀疏背景模型，最后以此为基础，结合背景模型中邻域状态对三维点进行判定，区分运动点和背景点，同时更新背景模型。本发明实现简单，计算复杂度低，能够有效克服三维点稀疏、帧间分布易跳变等的影响，有效完成三维运动点检测，为后续运动目标检测奠定基础。

Description

针对双目视觉系统稀疏三维重建的三维运动点检测方法

技术领域：

本发明涉及计算机视觉技术领域中的目标检测方法，特别是一种针对双目视觉系统稀疏三维重建的三维运动点检测方法。

背景技术：

摄像机视频监控技术是与物联网息息相关的，其已成为社会公共安全防范的重要技术手段。从2010年至2014年，中国范围内摄像机的安装数量以每年20％的速度增加，而其他国家这一速度不超过10％。众多监控点产生的海量视频数据仅依靠人为分析已无法满足现实需求。

运动目标检测技术主要是指利用摄像机获取的视频流信息，结合模式识别、机器学习等技术自动检测摄像区域内的运动目标。运动目标检测是视频分析的一项重要内容，一直倍受各大厂商和科研院所的关注。

过去数十年，该领域的研究重点主要基于二维图像信息，监控行业智能分析产品也均基于二维信息。检测结果易受目标遮挡、阴影、光照变化等问题的影响，难以满足现实需求。尽管场景三维信息也被研究者引入，并在一定程度上克服了阴影、光照变化、目标尺度变化大和短时遮挡跟踪问题，但是实际监控环境复杂多变，现有技术仍面临巨大挑战。

鉴于双目摄像机能够一定程度恢复场景三维信息(依靠立体匹配算法)，且不易受光照变化影响，以双目摄像机为平台基础，基于三维信息或与三维信息相结合的运动目标检测、跟踪及其他分析算法被相继提出，实际效果也均显示出相比二维算法的较大优势。相比获取稠密三维信息易受目标遮挡、纹理缺失、视差大等因素影响，且计算量大；而基于特征点提取与匹配的稀疏三维重建信息获取具有效果好、效率高的内在优势。然而，已提出的众多算法绝大部分基于稠密三维信息，目前尚未发现专门针对稀疏三维重建信息的运动目标检测方法。

相对于稠密信息，经双目视觉系统稀疏三维重建获取的三维特征点离散程度高、帧间分布易跳变，给传统运动点检测算法带来了极大挑战，已有运动目标检测算法已无法有效解决该类问题，无法满足后续高级视觉分析任务。

发明内容：

基于上述原因，本发明的目的是提供一种实现简单、计算复杂度低、抗噪性能好，能够较好应对三维信息点高度离散，帧间分布跳变剧烈情况下三维运动点检测任务的三维运动点检测方法，本发明适用于双目视觉及其他三维监控系统，完成如入侵检测、视频检索等功能。

为了实现上述目的，本发明所采用的技术方案为：

针对双目视觉系统稀疏三维重建的三维运动点检测方法，包括以下步骤：

(1)搭建双目视觉系统采集视频数据，设定三维检测空间范围并读取视频数据；

(2)结合经摄像机标定得到的参数，利用特征点提取和匹配方法对左右图像进行矫正，并完成稀疏三维点云重建；

(3)以某平面为参考面，对三维空间做柱状分隔，将三维点云映射到某平面，形成映射面图像；

(4)建立初始稀疏背景模型；

(5)检测三维运动点；

(6)更新稀疏背景模型。

进一步，所述步骤(3)中：首先设定分割分辨率为Δcm，假设监控区域形态为长方体，映射参考平面为X-Y平面，(x′,y′,z′)为三维点坐标，坐标单位为cm，则监控区域为：

{A:(x′,y′,z′)|x′∈[X_min,X_max],y′∈[Y_min,Y_max],z′∈[Z_min,Z_max]}；

以监控区域(X_min,Y_min,Z_min)位置为起点，以垂直于X-Y平面，且底面落于X-Y平面上的底面边长为Δ，高为(Z_max-Z_min)的柱状立方体Bin为最小元素对整个长方体监控区域进行分割；假设每个柱状立方体经映射后对应于映射面图像的一个像素点，则映射面图像YI的宽为(X_max-X_min)/Δ，长为(Y_max-Y_min)/Δ；YI(x,y)的值为对应立柱Bin(x,y)范围内的三维点总数目，其中Bin(x,y)对应的三维坐标范围为：

进一步，所述步骤(4)中：稀疏背景模型稀疏背景模型SBG与映射面图像YI具有相同尺寸，SBG^t(x,y)为t时刻(x,y)坐标处的背景模型值，其中坐标(x,y)与YI图像坐标对应，在初始T帧时间段内，若某一帧落于YI^t(x,y)对应立柱内的三维点数多于δ时，背景模型认为相应位置有空间三维点存在，模型对应位置设置为1，T帧结束后形成的模型即为初始稀疏背景模型。

进一步，所述步骤(5)中：检测三维运动点的计算以立柱为基本单位进行判定，若YI^t(x_o,y_o)大于δ，且条件∑_(x,y)∈DSBG^t(x,y)＞θ成立时，认为YI^t(x_o,y_o)对应立柱范围内的所有三维点为运动三维点，其中D为以(x_o,y_o)为坐标中心的圆形邻域范围，θ为依经验设定的门限值。

进一步，所述步骤(6)中：为了更新稀疏背景模型，首先生成当前时刻的稀疏前景图像之后依据稀疏前景图像更新稀疏背景模型SBG^t(x,y)＝(1-α)SBG^t-1(x,y)+αSFG^t(x,y)，其中α为更新速率，可依据实际需求设定，α越大，背景模型更新速率越高。

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：

第一，本发明以监控区域内的稀疏三维重建点云作为算法处理对象，能够有效克服基于二维图像信息检测运动目标时易受目标遮挡、阴影、光照变化等因素影响的问题；以及克服获取稠密三维信息易受目标遮挡、纹理缺失、视差大等因素影响，且计算量大的问题。

第二，本发明以监控区域内的稀疏三维重建点云作为算法处理对象，输入信息稀疏、量少。此外，本发明计算量小，且均可采用并行计算模式，复杂度低、效率高，满足实时视频监控需求。

第三，本发明有效解决了经双目视觉系统稀疏三维重建获取的三维特征点离散程度高、帧间分布易跳变的问题，实现了在此基础上的三维运动点检测。

以下通过附图和具体实施方式对本发明做进一步阐述。

附图说明：

图1为本发明的流程图。

具体实施方式：

结合图1所示，本发明提供的针对双目视觉系统稀疏三维重建的三维运动点检测方法，主要包括以下步骤：搭建双目视觉系统采集视频数据，设定长方体三维检测区域并读取视频数据；然后结合经摄像机标定得到的内外参数对左右图像进行矫正，完成匹配特征点对检测并完成稀疏三维重建；之后对监控区域进行立柱分割并完成稀疏三维点映射，建立映射图；以连续多帧的三维重建点云为输入，建立初始稀疏背景模型；最后依据立柱邻域信息确定三维运动点，同时更新稀疏背景模型。

以下通过具体的实施例来进一步说明本发明。该方法在监控区域架设双目视觉系统，对采集到的视频数据逐帧处理，具体如下：

步骤一：在监控区域架设两台同型号摄像机，使两台摄像机光轴尽可能平行，两台摄像机间距在1m左右，构建双目视觉系统。

步骤二：计算机终端以RGB格式读取摄像机实时传来的图像数据。

步骤三：利用张正友棋盘标定法完成双目视觉系统标定，提取左摄像机图像中的特征较丰富的特征点，并在右摄像机图像中查找匹配点，形成多组匹配点对，结合标定内外参数计算三维坐标，完成稀疏三维点云重建。

步骤四：以某平面为参考面，将三维点云映射到某平面，形成映射面图像。首先设定分割分辨率为Δcm，本实施例中的Δ被设定为1，假设监控区域形态为长方体，映射参考平面为X-Y平面，假定(x′,y′,z′)为三维点坐标，坐标单位为cm，则监控区域设定为

{A:(x′,y′,z′)|x′∈[X_min,X_max],y′∈[Y_min,Y_max],z′∈[Z_min,Z_max]}。

以监控区域(X_min,Y_min,Z_min)位置为起点，以垂直于X-Y平面，且底面落于X-Y平面上的底面边长为Δ，高为(Z_max-Z_min)的柱状立方体Bin为最小元素对整个长方体监控区域进行分割。假设每个柱状立方体经映射后对应于映射面图像的一个像素点，则映射面图像YI的宽为(X_max-X_min)/Δ，长为(Y_max-Y_min)/Δ。YI(x,y)的值为对应立柱Bin(x,y)范围内的三维点总数目，其中Bin(x,y)对应的三维坐标范围为：

步骤五：构建初始稀疏背景模型，计算方法按照进行，稀疏背景模型SBG与映射面图像YI具有相同尺寸，SBG^t(x,y)为t时刻(x,y)坐标处的背景模型值，其中坐标(x,y)与YI图像坐标对应，在初始T帧时间段内，若某一帧落于YI^t(x,y)对应立柱内的三维点数多于δ时，背景模型认为相应位置有空间三维点存在，模型对应位置设置为1。T帧结束后形成的模型即为初始稀疏背景模型。本实施例中的T、δ分别被设定为10、0。

步骤六：从T+1帧开始检测三维运动点，以立柱为基本单元进行判定，若YI^t(x_o,y_o)大于δ，且条件∑_(x,y)∈DSBG^t(x,y)＞θ成立时，则认为YI^t(x_o,y_o)对应立柱范围内的所有三维点为运动三维点，其中D为以(x_o,y_o)为坐标中心的圆形邻域，本实施例中的圆形邻域半径被设定为10cm，θ为依经验设定的门限值，本实施例中的θ被设定为3。

步骤七：从T+1帧开始逐帧更新稀疏背景模型，首先生成当前时刻的稀疏前景图像之后依据稀疏前景图像更新稀疏背景模型SBG^t(x,y)＝(1-α)SBG^t-1(x,y)+αSFG^t(x,y)，其中α为更新速率，本实施例中的α被设定为0.03。

Claims (5)

1.针对双目视觉系统稀疏三维重建的三维运动点检测方法，其特征在于：包括以下步骤：

(1)搭建双目视觉系统采集视频数据，设定三维检测空间范围并读取视频数据；

(2)结合经摄像机标定得到的参数，利用特征点提取和匹配方法对左右图像进行矫正，并完成稀疏三维点云重建；

(3)以某平面为参考面，对三维空间做柱状分隔，将三维点云映射到某平面，形成映射面图像；

(4)建立初始稀疏背景模型；

(5)检测三维运动点；

(6)更新稀疏背景模型。

2.根据权利要求1所述的针对双目视觉系统稀疏三维重建的三维运动点检测方法，其特征在于：所述步骤(3)中：首先设定分割分辨率为Δcm，假设监控区域形态为长方体，映射参考平面为X-Y平面，(x′,y′,z′)为三维点坐标，坐标单位为cm，则监控区域为：

{A:(x′,y′,z′)|x′∈[X_min,X_max],y′∈[Y_min,Y_max],z′∈[Z_min,Z_max]}；

以监控区域(X_min,Y_min,Z_min)位置为起点，以垂直于X-Y平面，且底面落于X-Y平面上的底面边长为Δ，高为(Z_max-Z_min)的柱状立方体Bin为最小元素对整个长方体监控区域进行分割；假设每个柱状立方体经映射后对应于映射面图像的一个像素点，则映射面图像YI的宽为(X_max-X_min)/Δ，长为(Y_max-Y_min)/Δ；YI(x,y)的值为对应立柱Bin(x,y)范围内的三维点总数目，其中Bin(x,y)对应的三维坐标范围为：

$\left\{\begin{array}{c}{x}^{\′}\∈\[x\mathrm{\Δ},(x+1)\mathrm{\Δ}\]\\ y^{\′}\∈\[y\mathrm{\Δ},(y+1)\mathrm{\Δ}\]\\ z^{\′}\∈\[Zmin,Z\max \]\end{array}\right..$

3.根据权利要求2所述的针对双目视觉系统稀疏三维重建的三维运动点检测方法，其特征在于：所述步骤(4)中：稀疏背景模型稀疏背景模型SBG与映射面图像YI具有相同尺寸，SBG^t(x,y)为t时刻(x,y)坐标处的背景模型值，其中坐标(x,y)与YI图像坐标对应，在初始T帧时间段内，若某一帧落于YI^t(x,y)对应立柱内的三维点数多于δ时，背景模型认为相应位置有空间三维点存在，模型对应位置设置为1，T帧结束后形成的模型即为初始稀疏背景模型。

4.根据权利要求3所述的针对双目视觉系统稀疏三维重建的三维运动点检测方法，其特征在于：所述步骤(5)中：检测三维运动点的计算以立柱为基本单位进行判定，若YI^t(x_o,y_o)大于δ，且条件∑_(x,y)∈DSBG^t(x,y)＞θ成立时，认为YI^t(x_o,y_o)对应立柱范围内的所有三维点为运动三维点，其中D为以(x_o,y_o)为坐标中心的圆形邻域范围，θ为依经验设定的门限值。

5.根据权利要求3所述的针对双目视觉系统稀疏三维重建的三维运动点检测方法，其特征在于：所述步骤(6)中：为了更新稀疏背景模型，首先生成当前时刻的稀疏前景图像之后依据稀疏前景图像更新稀疏背景模型SBG^t(x,y)＝(1-α)SBG^t-1(x,y)+αSFG^t(x,y)，其中α为更新速率，可依据实际需求设定，α越大，背景模型更新速率越高。