发明内容
本发明所解决的技术问题在于提供一种基于一种智能视频监控的三维重建方法,以解决上述背景技术中的缺点。
一种智能视频监控的三维重建方法,包括以下步骤:
本发明基于深度摄像头获取的深度图像,利用计算机进行处理得到监控场景中的三维轮廓的高程图,为了详细的介绍本发明的内容,下面对一些概念进行阐述或者定义:
定义一:摄像头标定;摄像头的标定是为了获取摄像头图像坐标u,v与世界坐标系中XwYwZw的映射关系,经过标定的摄像头含有更多关于场景以及图像的信息,能够有助于后续进行三维轮廓的重建。
定义二:透视成像模型;三维空间物体到像平面的投影关系,即为透视成像模型。理想的透视成像模型是小孔成像模型,英文为pin-hole imagemodel。将理想情况下三维空间往二维空间中的映射看作是如下的一个透视线性变换:
其中xw,yw,zw为世界坐标系中的坐标,u,v为图像坐标,mij是透视矩阵的元素,Zc为摄像机坐标系中的Z坐标。
定义三:透视成像变换矩阵;即透视成像模型中的转换矩阵M,记为
定义四:直接线性变换摄像头标定法;直接线性变换法(DLT)求解三维标定的过程最早由Abdel-Azizh和Karara于1971年提出,依据透视成像模型,要求得图像坐标系中的u,v需要消去Zc,每个点都可以得到两个方程:
m11Xw+m12Xw+m13Xw+m14-uXwm31-uYwm32-uZwm33=um34
m21Xw+m22Xw+m23Xw+m24-vXwm31-vYwm32-vZwm33=vm34 (0.2)
利用多个点可以得到如下线性方程组
要求解的矩阵一共有12个未知数,不失一般性,首先设m34=1,通过选取六个点,建立12个方程可以求出透视矩阵的11个参数[m′11 m′12 m′13 m′14 m′21 m′22 m′23 m′24 m′31 m′32 m′33],变为:
但是实际计算中由于选取点的位置有些许误差,可以采用选取多余六个点的方式,构建超定方程,将最小二乘解作为透视矩阵的变换系数,另外由于实际透视举证中第三行中的元素需要满足那么需要将矩阵进行一下变换 然后将m34乘以M′可以得到M矩阵。
直接线性法的优点是无需迭代,速度较快,缺点是没有考虑摄像头的系统误差,不能够进行系统误差的纠正,另外它也不能够消除镜头的相差,因而标定精度一般。
定义五:深度图像,深度图像是指由深度摄像头获取并携带有场景与摄像头距离信息的图像,包括但不限于结构光编码技术等主动测量手段得到的深度图像。
定义六:高程图,是本发明经过信号处理步骤得到的,反映的物理属性是监控场景内每个位置处最高点处的高度值,图像坐标表示的是真实世界中的位置,图像值是位置处的高度值。
基于一种智能视频监控的三维重建方法包括如下步骤:
第一步:摄像头标定,采用直接线性法进行深度摄像头标定,获取变换矩阵M;
第二步:依据透视矩阵M,以及图像坐标系中的坐标u,v,计算u,v方向视线与水平面的交点,如下:
整理得到如下二元一次方程:
给出了u,v,zw=0,就通过上述方程的求解,得到世界坐标系中的xw,yw;
第三步:遍历所有u,v,计算出xw,yw后形成两个矩阵Xu,v,Yu,v,并计算出Xu,v,Yu,v,0距离摄像机的距离distance(u,v)=sqrt((xu,v-xc)2+(yu,v-yc)2+(Hc)2),其中xc,yc,Hc表示摄像机的位置坐标;
第四步:依据立体几何中的等比三角形理论,计算深度图像中图像点u,v对应真实世界中的坐标,通过深度摄像机采集得到像素点u,v的深度信息depth(u,v),设深度信息与同一像素点地面投影点距离之间的比值为
那么实际上该图像点所对应的点在三维空间中的坐标由立体几何可计算为:
xw=(xu,v-xc).ratio(u,v)+xc;
yw=(yu,v-yc).ratio(u,v)+yc
Hw=(1-ratio(u,v)).Hc
第五步:生成三维轮廓高程图,首先初始化一幅高程图IL×W=0,大小为房间的长度L和宽度W;对深度图像的u,v点依据第四步计算xw,yw,zw,在轮廓高程图中将位置为xw,yw处进行更新赋值,I(xw,yw)=max(I(xw,yw),zw),然后逐点遍历深度图像,即可生成整个监控场景中的依逐点将深度图像中各点都做步骤四的变换,就可以构建一个世界坐标系中的三维点集。
有益效果:
本发明提高了智能监控系统的性能,能够准确的获取监控范围内的三维高程信息,而且计算速度快。
具体实施方式
为了使本发明的技术手段、创作特征、工作流程、使用方法达成目的与功效易于明白了解,下面结合具体实施例,进一步阐述本发明。
定义一:摄像头标定;
定义二:透视成像模型,将理想情况下三维空间往二维空间中的映射看作是如下的一个透视线性变换:
定义三:透视成像变换矩阵;即透视成像模型中的转换矩阵M,记为
定义四:直接线性变换摄像头标定法,依据透视成像模型,要求得图像坐标系中的u,v需要消去Zc,每个点都可以得到两个方程:
m11Xw+m12Xw+m13Xw+m14-uXwm31-uYwm32-uZwm33=um34
m21Xw+m22Xw+m23Xw+m24-vXwm31-vYwm32-vZwm33=vm34利用多个点可以得到如下线性方程组:
要求解的矩阵一共有12个未知数,不失一般性,首先设m34=1,通过选取六个点,建立12个方程可以求出透视矩阵的11个参数[m′11 m′12 m′13 m′14 m′21 m′22 m′23 m′24 m′31 m′32 m′33],变为:
实际计算中由于选取点的位置有些许误差,可以采用选取多余六个点的方式,构建超定方程,将最小二乘解作为透视矩阵的变换系数,另外由于实际透视举证中第三行中的元素需要满足
那么需要将矩阵进行一下变换
然后将m
34乘以M′可以得到M矩阵;
基于一种智能视频监控的三维重建方法包括如下步骤:
第一步:摄像头标定,采用直接线性法进行深度摄像头标定,获取变换矩阵M;
第二步:依据透视矩阵M,以及图像坐标系中的坐标u,v,计算u,v方向视线与水平面的交点,如下:
整理得到如下二元一次方程:
给出了u,v,zw=0,就通过上述方程的求解,得到世界坐标系中的xw,yw;
第三步:遍历所有u,v,计算出xw,yw后形成两个矩阵Xu,v,Yu,v,并计算出Xu,v,Yu,v,0距离摄像机的距离distance(u,v)=sqrt((xu,v-xc)2+(yu,v-yc)2+(Hc)2),其中xc,yc,Hc表示摄像机的位置坐标;
第四步:依据立体几何中的等比三角形理论,计算深度图像中图像点u,v对应真实世界中的坐标,通过深度摄像机采集得到像素点u,v的深度信息depth(u,v),设深度信息与同一像素点地面投影点距离之间的比值为
那么实际上该图像点所对应的点在三维空间中的坐标由立体几何可计算为:
xw=(xu,v-xc).ratio(u,v)+xc;
yw=(yu,v-yc).ratio(u,v)+yc
Hw=(1-ratio(u,v)).Hc
第五步:生成三维轮廓高程图,首先初始化一幅高程图IL×W=0,大小为房间的长度L和宽度W;对深度图像的u,v点依据第四步计算xw,yw,zw,在轮廓高程图中将位置为xw,yw处进行更新赋值,I(xw,yw)=max(I(xw,yw),zw),然后逐点遍历深度图像,即可生成整个监控场景中的依逐点将深度图像中各点都做步骤四的变换,就可以构建一个世界坐标系中的三维点集。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。