CN102436676A - 一种智能视频监控的三维重建方法 - Google Patents

Abstract

一种智能视频监控的三维重建方法，包括以下步骤：摄像头标定，采用直接线性法进行深度摄像头标定，获取变换矩阵M；依据透视矩阵M，计算出摄像点的位置坐标；依据立体几何中的等比三角形理论，生成三维轮廓高程图，构建一个世界坐标系中的三维点集。本发明提高了智能监控系统的性能，能够准确的获取监控范围内的三维高程信息，而且计算速度快。

Description

一种智能视频监控的三维重建方法

技术领域

本发明涉及一种基于一种智能视频监控的三维重建方法。

背景技术

三维重建的定义利用计算机对三维物体进行虚拟表示，并进一步分析各种性能或者特性的关键。粗略可以分为两类，第一类是人工通过计算机软件进行三维几何建模，比如借助于CAD、3DMAX等计算机图形软件进行实现。另一种则是利用获取的低维信号，经过处理表示成具有一定三维空间位置信息的图形或者图像，借助于各种深度回复算法，比如双目视觉，多目视觉等重建三位空间信息。本发明针对的是第二种三维重建方法。

传统的成像的过程中，都是将三维空间中的信息映射到二维空间中，因而丢失了距离深度信息，如果需要从二位空间恢复出三维空间的信息，必须要在得到二维的方位信息的同时得到距离信息，才能够准确的回复三维信息。双目立体视觉(binocular stereo vision)是当前采用最多的一种三维重建方法，主要利用摄像头在不同位置处对同一个场景中物体进行观测时产生的视差进行深度信息的恢复，但是双目立体视觉也还存在着许多问题，例如同名点的查找与匹配是整个双目视觉的关键，也是难点，另外双目视觉还面临着计算速度和精度之间的问题，需要专门的硬件进行加速计算。

本发明提出一种依据深度摄像头的三维重建方法，深度摄像头包括但不限于PS公司所设计开发的一系列基于机构光编码技术的深度摄像头。该技术能够准确的获取监控范围内的三维高程信息，而且计算速度快。

发明内容

本发明所解决的技术问题在于提供一种基于一种智能视频监控的三维重建方法，以解决上述背景技术中的缺点。

一种智能视频监控的三维重建方法，包括以下步骤：

本发明基于深度摄像头获取的深度图像，利用计算机进行处理得到监控场景中的三维轮廓的高程图，为了详细的介绍本发明的内容，下面对一些概念进行阐述或者定义：

定义一：摄像头标定；摄像头的标定是为了获取摄像头图像坐标u，v与世界坐标系中X_wY_wZ_w的映射关系，经过标定的摄像头含有更多关于场景以及图像的信息，能够有助于后续进行三维轮廓的重建。

定义二：透视成像模型；三维空间物体到像平面的投影关系，即为透视成像模型。理想的透视成像模型是小孔成像模型，英文为pin-hole imagemodel。将理想情况下三维空间往二维空间中的映射看作是如下的一个透视线性变换：

$Z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]---\left(0.1\right)$

其中x_w，y_w，z_w为世界坐标系中的坐标，u，v为图像坐标，m_ij是透视矩阵的元素，Z_c为摄像机坐标系中的Z坐标。

定义三：透视成像变换矩阵；即透视成像模型中的转换矩阵M，记为

$M=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right];$

定义四：直接线性变换摄像头标定法；直接线性变换法(DLT)求解三维标定的过程最早由Abdel-Azizh和Karara于1971年提出，依据透视成像模型，要求得图像坐标系中的u，v需要消去Z_c，每个点都可以得到两个方程：

m₁₁X_w+m₁₂X_w+m₁₃X_w+m₁₄-uX_wm₃₁-uY_wm₃₂-uZ_wm₃₃＝um₃₄

m₂₁X_w+m₂₂X_w+m₂₃X_w+m₂₄-vX_wm₃₁-vY_wm₃₂-vZ_wm₃₃＝vm₃₄      (0.2)

利用多个点可以得到如下线性方程组

$\left[\begin{array}{ccccccccccc}{X}_{w1}& Y_{w1}& Z_{w1}& 1& 0& 0& 0& 0& -u_1{X}_{w1}& -u_1{Y}_{w1}& -u_1{Z}_{w1}\\ 0& 0& 0& 0& X_{w1}& Y_{w1}& Z_{w1}& 1& -v_1{X}_{w1}& -v_1{Y}_{w1}& -v_1{Z}_{w1}\\ X_{w2}& Y_{w2}& Z_{w2}& 1& 0& 0& 0& 0& -u_2{X}_{w2}& -u_2{Y}_{w2}& -u_2{Z}_{w2}\\ 0& 0& 0& 0& X_{w2}& Y_{w2}& Z_{w2}& 1& -v_2{X}_{w2}& -v_2{Y}_{w2}& -v_2{Z}_{w2}\\ ...& ...& ...& ...& ...& ...& ...& ...& ...& ...& ...\\ X_{\mathrm{wi}}& Y_{\mathrm{wi}}& Z_{\mathrm{wi}}& 1& 0& 0& 0& 0& {-u}_i{X}_{\mathrm{wi}}& -u_i{Y}_{\mathrm{wi}}& -u_i{Z}_{\mathrm{wi}}\\ 0& 0& 0& 0& X_{\mathrm{wi}}& Y_{\mathrm{wi}}& Y_{\mathrm{wi}}& 1& -v_i{X}_{\mathrm{wi}}& -v_i{Y}_{\mathrm{wi}}& -v_i{Z}_{\mathrm{wi}}\end{array}\right]\·\left[\begin{array}{c}{m}_{11}\\ m_{12}\\ m_{13}\\ m_{14}\\ m_{21}\\ m_{22}\\ m_{23}\\ m_{24}\\ m_{31}\\ m_{32}\\ m_{33}\end{array}\right]=\left[\begin{array}{c}{u}_1{m}_{34}\\ v_1{m}_{34}\\ u_2{m}_{34}\\ v_2{m}_{34}\\ ...\\ u_i{m}_{34}\\ v_i{m}_{34}\end{array}\right]$

要求解的矩阵一共有12个未知数，不失一般性，首先设m₃₄＝1，通过选取六个点，建立12个方程可以求出透视矩阵的11个参数[m′₁₁ m′₁₂ m′₁₃ m′₁₄ m′₂₁ m′₂₂ m′₂₃ m′₂₄ m′₃₁ m′₃₂ m′₃₃]，变为：

$M^{\′}=\left[\begin{array}{cccc}{m}_{11}^{\′}& m_{12}^{\′}& m_{13}^{\′}& m_{14}^{\′}\\ m_{21}^{\′}& m_{22}^{\′}& m_{23}^{\′}& m_{24}^{\′}\\ m_{31}^{\′}& m_{32}^{\′}& m_{33}^{\′}& 1\end{array}\right]=\frac{1}{m_{34}}\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]=\frac{1}{m_{34}}M$ 但是实际计算中由于选取点的位置有些许误差，可以采用选取多余六个点的方式，构建超定方程，将最小二乘解作为透视矩阵的变换系数，另外由于实际透视举证中第三行中的元素需要满足那么需要将矩阵进行一下变换 $m_{34}=\frac{1}{\sqrt{{\left(m_{31}^{\′}\right)}^2+{\left(m_{32}^{\′}\right)}^2+{\left(m_{33}^{\′}\right)}^2}},$ 然后将m₃₄乘以M′可以得到M矩阵。

直接线性法的优点是无需迭代，速度较快，缺点是没有考虑摄像头的系统误差，不能够进行系统误差的纠正，另外它也不能够消除镜头的相差，因而标定精度一般。

定义五：深度图像，深度图像是指由深度摄像头获取并携带有场景与摄像头距离信息的图像，包括但不限于结构光编码技术等主动测量手段得到的深度图像。

定义六：高程图，是本发明经过信号处理步骤得到的，反映的物理属性是监控场景内每个位置处最高点处的高度值，图像坐标表示的是真实世界中的位置，图像值是位置处的高度值。

基于一种智能视频监控的三维重建方法包括如下步骤：

第一步：摄像头标定，采用直接线性法进行深度摄像头标定，获取变换矩阵M；

第二步：依据透视矩阵M，以及图像坐标系中的坐标u，v，计算u，v方向视线与水平面的交点，如下：

$\left\{\begin{array}{c}{m}_{11}{x}_w+m_{12}{y}_w+m_{13}{z}_w+m_{14}={\mathrm{uZ}}_c\\ m_{21}{x}_w+m_{22}{y}_w+m_{23}{z}_w+m_{24}={\mathrm{vZ}}_c\\ m_{31}{x}_w+m_{33}{y}_w+m_{33}{z}_w+m_{34}=Z_c\end{array}\right.$

整理得到如下二元一次方程：

$\left\{\begin{array}{c}(m_{11}-{\mathrm{um}}_{31})x_w+(m_{12}-{\mathrm{um}}_{32})y_w=({\mathrm{um}}_{33}-m_{13})z_w+{\mathrm{um}}_{34}-m_{14}\\ (m_{21}-{\mathrm{vm}}_{31})x_w+(m_{22}-{\mathrm{vm}}_{32})y_w=({\mathrm{vm}}_{33}-m_{23})z_w+{\mathrm{vm}}_{34}-m_{24}\end{array}\right.$

给出了u，v，z_w＝0，就通过上述方程的求解，得到世界坐标系中的x_w，y_w；

第三步：遍历所有u，v，计算出x_w，y_w后形成两个矩阵X_u，v，Y_u，v，并计算出X_u，v，Y_u，v，0距离摄像机的距离distance(u，v)＝sqrt((x_u，v-x_c)²+(y_u，v-y_c)²+(H_c)²)，其中x_c，y_c，H_c表示摄像机的位置坐标；

第四步：依据立体几何中的等比三角形理论，计算深度图像中图像点u，v对应真实世界中的坐标，通过深度摄像机采集得到像素点u，v的深度信息depth(u，v)，设深度信息与同一像素点地面投影点距离之间的比值为

那么实际上该图像点所对应的点在三维空间中的坐标由立体几何可计算为：

x_w＝(x_u，v-x_c).ratio(u，v)+x_c；

y_w＝(y_u，v-y_c).ratio(u，v)+y_c

H_w＝(1-ratio(u，v)).H_c

第五步：生成三维轮廓高程图，首先初始化一幅高程图I_L×W＝0，大小为房间的长度L和宽度W；对深度图像的u，v点依据第四步计算x_w，y_w，z_w，在轮廓高程图中将位置为x_w，y_w处进行更新赋值，I(x_w，y_w)＝max(I(x_w，y_w)，z_w)，然后逐点遍历深度图像，即可生成整个监控场景中的依逐点将深度图像中各点都做步骤四的变换，就可以构建一个世界坐标系中的三维点集。

有益效果：

本发明提高了智能监控系统的性能，能够准确的获取监控范围内的三维高程信息，而且计算速度快。

附图说明

图1为本发明的三维轮廓重建的流程；

图2为三维坐标回复示意图

具体实施方式

为了使本发明的技术手段、创作特征、工作流程、使用方法达成目的与功效易于明白了解，下面结合具体实施例，进一步阐述本发明。

定义一：摄像头标定；

定义二：透视成像模型，将理想情况下三维空间往二维空间中的映射看作是如下的一个透视线性变换：

$Z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$

定义三：透视成像变换矩阵；即透视成像模型中的转换矩阵M，记为

$M=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right];$

定义四：直接线性变换摄像头标定法，依据透视成像模型，要求得图像坐标系中的u，v需要消去Z_c，每个点都可以得到两个方程：

m₁₁X_w+m₁₂X_w+m₁₃X_w+m₁₄-uX_wm₃₁-uY_wm₃₂-uZ_wm₃₃＝um₃₄

m₂₁X_w+m₂₂X_w+m₂₃X_w+m₂₄-vX_wm₃₁-vY_wm₃₂-vZ_wm₃₃＝vm₃₄利用多个点可以得到如下线性方程组：

$\left[\begin{array}{ccccccccccc}{X}_{w1}& Y_{w1}& Z_{w1}& 1& 0& 0& 0& 0& -u_1{X}_{w1}& -u_1{Y}_{w1}& -u_1{Z}_{w1}\\ 0& 0& 0& 0& X_{w1}& Y_{w1}& Z_{w1}& 1& -v_1{X}_{w1}& -v_1{Y}_{w1}& -v_1{Z}_{w1}\\ X_{w2}& Y_{w2}& Z_{w2}& 1& 0& 0& 0& 0& -u_2{X}_{w2}& -u_2{Y}_{w2}& -u_2{Z}_{w2}\\ 0& 0& 0& 0& X_{w2}& Y_{w2}& Z_{w2}& 1& -v_2{X}_{w2}& -v_2{Y}_{w2}& -v_2{Z}_{w2}\\ ...& ...& ...& ...& ...& ...& ...& ...& ...& ...& ...\\ X_{\mathrm{wi}}& Y_{\mathrm{wi}}& Z_{\mathrm{wi}}& 1& 0& 0& 0& 0& {-u}_i{X}_{\mathrm{wi}}& -u_i{Y}_{\mathrm{wi}}& -u_i{Z}_{\mathrm{wi}}\\ 0& 0& 0& 0& X_{\mathrm{wi}}& Y_{\mathrm{wi}}& Y_{\mathrm{wi}}& 1& -v_i{X}_{\mathrm{wi}}& -v_i{Y}_{\mathrm{wi}}& -v_i{Z}_{\mathrm{wi}}\end{array}\right]\·\left[\begin{array}{c}{m}_{11}\\ m_{12}\\ m_{13}\\ m_{14}\\ m_{21}\\ m_{22}\\ m_{23}\\ m_{24}\\ m_{31}\\ m_{32}\\ m_{33}\end{array}\right]=\left[\begin{array}{c}{u}_1{m}_{34}\\ v_1{m}_{34}\\ u_2{m}_{34}\\ v_2{m}_{34}\\ ...\\ u_i{m}_{34}\\ v_i{m}_{34}\end{array}\right]$

要求解的矩阵一共有12个未知数，不失一般性，首先设m₃₄＝1，通过选取六个点，建立12个方程可以求出透视矩阵的11个参数[m′₁₁ m′₁₂ m′₁₃ m′₁₄ m′₂₁ m′₂₂ m′₂₃ m′₂₄ m′₃₁ m′₃₂ m′₃₃]，变为：

$M^{\′}=\left[\begin{array}{cccc}{m}_{11}^{\′}& m_{12}^{\′}& m_{13}^{\′}& m_{14}^{\′}\\ m_{21}^{\′}& m_{22}^{\′}& m_{23}^{\′}& m_{24}^{\′}\\ m_{31}^{\′}& m_{32}^{\′}& m_{33}^{\′}& 1\end{array}\right]=\frac{1}{m_{34}}\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]=\frac{1}{m_{34}}M$ 实际计算中由于选取点的位置有些许误差，可以采用选取多余六个点的方式，构建超定方程，将最小二乘解作为透视矩阵的变换系数，另外由于实际透视举证中第三行中的元素需要满足

那么需要将矩阵进行一下变换 $m_{34}=\frac{1}{\sqrt{{\left(m_{31}^{\′}\right)}^2+{\left(m_{32}^{\′}\right)}^2+{\left(m_{33}^{\′}\right)}^2}},$ 然后将m₃₄乘以M′可以得到M矩阵；

基于一种智能视频监控的三维重建方法包括如下步骤：

第一步：摄像头标定，采用直接线性法进行深度摄像头标定，获取变换矩阵M；

第二步：依据透视矩阵M，以及图像坐标系中的坐标u，v，计算u，v方向视线与水平面的交点，如下：

$\left\{\begin{array}{c}{m}_{11}{x}_w+m_{12}{y}_w+m_{13}{z}_w+m_{14}={\mathrm{uZ}}_c\\ m_{21}{x}_w+m_{22}{y}_w+m_{23}{z}_w+m_{24}={\mathrm{vZ}}_c\\ m_{31}{x}_w+m_{33}{y}_w+m_{33}{z}_w+m_{34}=Z_c\end{array}\right.$

整理得到如下二元一次方程：

$\left\{\begin{array}{c}(m_{11}-{\mathrm{um}}_{31})x_w+(m_{12}-{\mathrm{um}}_{32})y_w=({\mathrm{um}}_{33}-m_{13})z_w+{\mathrm{um}}_{34}-m_{14}\\ (m_{21}-{\mathrm{vm}}_{31})x_w+(m_{22}-{\mathrm{vm}}_{32})y_w=({\mathrm{vm}}_{33}-m_{23})z_w+{\mathrm{vm}}_{34}-m_{24}\end{array}\right.$

给出了u，v，z_w＝0，就通过上述方程的求解，得到世界坐标系中的x_w，y_w；

第三步：遍历所有u，v，计算出x_w，y_w后形成两个矩阵X_u，v，Y_u，v，并计算出X_u，v，Y_u，v，0距离摄像机的距离distance(u，v)＝sqrt((x_u，v-x_c)²+(y_u，v-y_c)²+(H_c)²)，其中x_c，y_c，H_c表示摄像机的位置坐标；

第四步：依据立体几何中的等比三角形理论，计算深度图像中图像点u，v对应真实世界中的坐标，通过深度摄像机采集得到像素点u，v的深度信息depth(u，v)，设深度信息与同一像素点地面投影点距离之间的比值为

那么实际上该图像点所对应的点在三维空间中的坐标由立体几何可计算为：

x_w＝(x_u，v-x_c).ratio(u，v)+x_c；

y_w＝(y_u，v-y_c).ratio(u，v)+y_c

H_w＝(1-ratio(u，v)).H_c

第五步：生成三维轮廓高程图，首先初始化一幅高程图I_L×W＝0，大小为房间的长度L和宽度W；对深度图像的u，v点依据第四步计算x_w，y_w，z_w，在轮廓高程图中将位置为x_w，y_w处进行更新赋值，I(x_w，y_w)＝max(I(x_w，y_w)，z_w)，然后逐点遍历深度图像，即可生成整个监控场景中的依逐点将深度图像中各点都做步骤四的变换，就可以构建一个世界坐标系中的三维点集。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (1)

1.一种智能视频监控的三维重建方法，其特征在于，包括以下步骤：

(1)：摄像头标定，采用直接线性法进行深度摄像头标定，获取变换矩阵M；

(2)：依据透视矩阵M，以及图像坐标系中的坐标u，v，计算u，v方向视线与水平面的交点，如下：

$\left\{\begin{array}{c}{m}_{11}{x}_w+m_{12}{y}_w+m_{13}{z}_w+m_{14}={\mathrm{uZ}}_c\\ m_{21}{x}_w+m_{22}{y}_w+m_{23}{z}_w+m_{24}={\mathrm{vZ}}_c\\ m_{31}{x}_w+m_{33}{y}_w+m_{33}{z}_w+m_{34}=Z_c\end{array}\right.$

整理得到如下二元一次方程：

$\left\{\begin{array}{c}(m_{11}-{\mathrm{um}}_{31})x_w+(m_{12}-{\mathrm{um}}_{32})y_w=({\mathrm{um}}_{33}-m_{13})z_w+{\mathrm{um}}_{34}-m_{14}\\ (m_{21}-{\mathrm{vm}}_{31})x_w+(m_{22}-{\mathrm{vm}}_{32})y_w=({\mathrm{vm}}_{33}-m_{23})z_w+{\mathrm{vm}}_{34}-m_{24}\end{array}\right.$

给出了u，v，z_w＝0，就通过上述方程的求解，得到世界坐标系中的x_w，y_w；

(3)：遍历所有u，v，计算出x_w，y_w后形成两个矩阵X_u，v，Y_u，v，并计算出X_u，v，Y_u，v，0距离摄像机的距离distance(u，v)＝sqrt((x_u，v-x_c)²+(y_u，v-y_c)²+(H_c)²)，其中x_c，y_c，H_c表示摄像机的位置坐标；

(4)：依据立体几何中的等比三角形理论，计算深度图像中图像点u，v对应真实世界中的坐标，通过深度摄像机采集得到像素点u，v的深度信息depth(u，v)，设深度信息与同一像素点地面投影点距离之间的比值为

那么实际上该图像点所对应的点在三维空间中的坐标由立体几何可计算为：

x_w＝(x_u，v-x_c).ratio(u，v)+x_c；

y_w＝(y_u，v-y_c).ratio(u，v)+y_c

H_w＝(1-ratio(u，v)).H_c

(5)：生成三维轮廓高程图，首先初始化一幅高程图I_L×W＝0，大小为房间的长度L和宽度W；对深度图像的u，v点依据第四步计算x_w，y_w，z_w，在轮廓高程图中将位置为x_w，y_w处进行更新赋值，I(x_w，y_w)＝max(I(x_w，y_w)，z_w)，然后逐点遍历深度图像，即可生成整个监控场景中的依逐点将深度图像中各点都做步骤四的变换，就可以构建一个世界坐标系中的三维点集。

Images