CN113489964B - 一种基于三目视觉的场景深度信息获取系统 - Google Patents

Abstract

本发明公开了基于三目视觉的场景深度信息获取系统，包括三目视觉模块、虚拟枪机双目视觉标定模块以及场景深度信息获取模块，本发明提出了一种通过移动枪机构建虚拟双目视觉系统的方法来提前估计得到场景深度信息，并以目标的接地点的深度约束来估计其空间位置，达到唯一确定PTZ控制参数的目的。

Description

一种基于三目视觉的场景深度信息获取系统

技术领域

本发明涉及场景深度信息获取系统，具体涉及一种基于三目视觉的场景深度信息获取系统。

背景技术

在一些军事或民用设施的重点要害部位，如机场场坪、油库、化工厂等，人们对智能视频监控的性能有着更高的要求。

现有技术中通常采用双目视觉的方法进行目标跟踪，采用枪机或全向摄像机结合PTZ球机实现的双目视觉系统，先使用枪机或全向摄像机检测运动目标，再用PTZ球机实现跟踪和放大抓拍。

现有技术中PTZ球机的主动跟踪的关键在于由运动目标的状态信息获取PTZ控制参数，在现有技术中由于场景深度(运动目标真实的空间位置)无法唯一确定，给PTZ球机跟踪控制参数计算带来了不确定性。

综上所述，现有的基于双目视觉的场景深度信息获取系统存在场景深度估计不准确的问题。

发明内容

本发明的目的在于提供一种基于三目视觉的场景深度信息获取系统，用以解决现有技术中的基于双目视觉的场景深度信息获取系统存在场景深度估计不准确的问题。

为了实现上述任务，本发明采用以下技术方案：

一种三目视觉的场景深度信息获取系统，所述的系统包括三目视觉模块、虚拟枪机双目视觉标定模块以及场景深度信息获取模块；

所述的三目视觉模块用于采集包含有运动目标的图像，所述的三目视觉模块包括一个枪机和一对PTZ球机，所述的枪机和PTZ球机安装在滑轨上，所述的滑轨平行于水平面设置，所述的枪机沿着所述的滑轨在所述的一对PTZ球机中间移动；所述的PTZ球机零位时的光轴与枪机的朝向相同；一对PTZ球机的参数相同；

所述的虚拟枪机双目视觉标定模块存储有第一计算机程序，所述的第一计算机程序在被处理器执行时实现以下步骤：

步骤A、保持标定板位置固定，控制枪机移动至第一抓拍点上，拍摄一副含有标定板的图像，获得第一标定板图像P_A；

步骤B、控制所述的枪机固定在第一抓拍点上，拍摄含有运动目标的图像，获得第一枪机图像；

步骤C、控制枪机移动至第二抓拍点后拍摄含有运动目标的图像，获得第二枪机图像；

步骤D、控制枪机固定在所述的第二抓拍点上，拍摄一副含有标定板的图像，获得第二标定板图像P_B，，所述的标定板在拍摄获得第二标定板图像P_B与拍摄获得第一标定板图像P_A时均在所述枪机(3)的视场中部；

步骤E、利用所述的第一标定板图像P_A与第二标定板图像P_B进行标定，获得所述枪机的旋转向量R_AB以及平移向量t_AB；

所述的场景深度信息获取模块用于获得枪机图像中任一点的深度信息；

所述的场景深度信息获取模块中存储有第二计算机程序，所述的第二计算机程序在被处理器执行时实现以下步骤：

步骤a、根据所述的枪机的旋转向量R_AB以及平移向量t_AB，采用立体校正算法对第一枪机图像与第二枪机图像进行立体校正，获得重投影转换矩阵Q和枪机的旋转矩阵R；获得采集第一枪机图像时枪机的第一内参矩阵K_A和第一投影矩阵P_A；

其中

步骤b、采用式I将第一枪机图像的T点图像坐标(u_A,v_A)映射至摄像机坐标中，获得T点第一摄像机坐标(x′_A,y′_A)；

步骤c、利用旋转矩阵R对第一枪机图像进行旋转变换，采用式II获得枪机坐标系的T点第一观测坐标(x_A,y_A)；

步骤d、利用所述的重投影转换矩阵Q对第一枪机图像与第二枪机图像进行重投影后，利用立体匹配算法，获得视差图；

步骤e、采用式III获得T点在视差图的图像坐标(u′_A,v′_A)；

步骤f、根据所述的T点在视差图的图像坐标(u′_A,v′_A)，获得图像中T点的深度信息。

进一步地，所述的步骤a中的立体校正算法为Bouguet立体校正算法。

进一步地，步骤E中采用张正友标定算法进行标定。

本发明与现有技术相比具有以下技术效果：

1、本发明提供的基于三目视觉的场景深度信息获取系统，提出了一种通过移动枪机构建虚拟双目视觉系统的方法来提前估计得到场景深度信息，并以目标的接地点的深度约束来估计其空间位置，达到唯一确定PTZ控制参数的目的。

2、本发明提供的基于三目视觉的场景深度信息获取系统，实现虚拟双目视觉系统下的场景深度获取，并获得了实时图像和视差图的坐标对应关系，提高了场景深度获取的准确性。

附图说明

图1为本发明提供的三目视觉模块的结构示意图；

图2为本发明的一个实施例中提供的枪机在滑轨上的移动路径示意图；

图3为本发明的一个实施例中提供的平行双目视觉系统示意图。

图中的标号代表：1-滑轨，2-PTZ球机，3-枪机，A-A点，B-B点，T-T点。

具体实施方式

下面结合附图和实施例对本发明进行详细说明。以便本领域的技术人员更好的理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

以下对本发明涉及的定义或概念内涵做以说明：

枪机：枪机是监控类摄像机中一种。枪机外观长方体，前面是C/CS镜头接口。

PTZ球机：Pan-Tilt-Zoom球机，在安防监控应用中是Pan/Tilt/Zoom的简写，代表云台全方位(左右/上下)移动及镜头变倍、变焦控制的球型监控摄像机。

实施例一

在本实施例中公开了一种三目视觉的场景深度信息获取系统，系统包括三目视觉模块、虚拟枪机双目视觉标定模块以及场景深度信息获取模块；

在本实施例中，借助图像中坐标点的深度信息，可以为图像坐标系下的点恢复其对应的空间点三维信息。如果知道了运动目标的三维信息，则可以通过摄像机相互位置关系得到其在各PTZ球机2坐标系中的位置，为PTZ球机2跟踪创造条件。因此，本发明提出了一种虚拟双目视觉系统，以获得场景深度信息。

所述的三目视觉模块用于采集包含有运动目标的图像，所述的三目视觉模块包括一个枪机3和一对PTZ球机2，所述的枪机3和PTZ球机2安装在滑轨1上，滑轨1平行于水平面设置，所述的枪机3沿着所述的滑轨1在所述的一对PTZ球机2中间移动；所述的PTZ球机2零位时的光轴与枪机3的朝向相同；一对PTZ球机2的参数相同；

本文利用枪机内部参数恒定的特性，如图1所示，通过将其固定在导轨1上的两个不同位置来实现虚拟的双目视觉系统，并同时得到两个位置的标定模板图像以及场景图像。图2为枪机3在导轨1上的移动路径示意图。B位置枪机相对于A位置枪机之间的位置关系用旋转向量r_AB和平移向量t_AB描述。

所述的虚拟枪机双目视觉标定模块存储有第一计算机程序，所述的第一计算机程序在被处理器执行时实现以下步骤：

步骤A、保持标定板位置固定，控制枪机3移动至第一抓拍点A上，拍摄一副含有标定板的图像，获得第一标定板图像P_A；

步骤B、控制所述的枪机3固定在第一抓拍点A上，拍摄含有运动目标的图像，获得第一枪机图像；

步骤C、控制枪机3移动至第二抓拍点B后拍摄含有运动目标的图像，获得第二枪机图像；

步骤D、控制枪机3固定在所述的第二抓拍点B上，拍摄一副含有标定板的图像，获得第二标定板图像P_B，，所述的标定板在拍摄获得第二标定板图像P_B与拍摄获得第一标定板图像P_A时均在所述枪机3的视场中部；

步骤E、利用所述的第一标定板图像P_A与第二标定板图像P_B进行标定，获得所述枪机3的旋转向量R_AB以及平移向量t_AB；

为了简化操作，减少误差，本发明采用如下四步操作来实现标定和场景图像的抓拍：

(1)将枪机固定于B点，抓拍一幅场景图像S_B，并保存；

(2)保持枪机位置不变，并将一张标定模板固定放置于枪机视野中部稍偏左(保证枪机移至A点后，模板仍能位于枪机的视场中部)，抓拍一幅标定模板图像P_B；

(3)保持标定模板位置不变，将枪机移至A点并可靠固定(作为最终的工作位置)，抓拍第二幅标定模板图像P_A；

(4)移走标定模板，抓拍第二幅场景图像S_A。

不同于通常意义上的双目视觉系统，本发明提供的双目系统中的双目实为位于两不同位置的同一摄像机，故其内部参数完全一致且精确已知，因而仅需标定它们之间的相互位置关系。因此，仅使用两张标定模板图像也能取得较好的标定结果，得到足够精度的r_AB和t_AB。此处，标定使用GML MatLab Camera Calibration Toolbox工具箱。

可选地，步骤E中采用张正友标定算法进行标定。

在本实施中对枪机3进行了标定，标定得到是经罗德里格斯变换后的的旋转向量r_AB和平移向量t_AB，标定结果为：

需要说明的是，r_AB向量的所有元素值以及t_AB中的t_y和t_z分量理论上应全为0，而实际得到的向量元素并不为0而是三个较小的数值，这说明移动过程中产生了微小的偏差。它们的值越小，在立体校正时对图像的投影修正越少，最终获取的场景深度信息精度越高。

所述的场景深度信息获取模块中存储有第二计算机程序，所述的第二计算机程序在被处理器执行时实现以下步骤：

步骤a、根据所述的枪机3的旋转向量R_AB以及平移向量t_AB，采用立体校正算法对第一枪机图像与第二枪机图像进行立体校正，获得重投影转换矩阵Q和枪机的旋转矩阵R；获得采集第一枪机图像时枪机3的第一内参矩阵K_A和第一投影矩阵P_A；

其中

在本发明中，如图2、3所示，由于A点位置的摄像机与B点摄像机为同一个摄像机，也就是双目摄像机中的两个摄像机完全相同，因此内参矩阵、投影矩阵等也完全相同，因此无需多次计算，仅采用左摄像机即可获得视差图。或者采用同样地方法对B点位置的摄像机(双目中的右相机)，获得第二内参矩阵K_B和第二投影矩阵P_B，也可仅采用右摄像机获得视差图。

因此，A点或B点获得的第一内参矩阵K_A或第二内参矩阵K_B，第一投影矩阵P_A或第二投影矩阵P_B如下：

可选地，所述的步骤a中的立体校正算法为Bouguet立体校正算法。

在本实施例中，得到R_AB和t_AB以后，利用Bouguet立体校正算法对场景图像S_A和S_B进行立体校正，得到校正所需的投影矩阵(由于事先已经完成畸变校正，因此该校正时不考虑畸变参数，畸变向量所有元素值为0)。对两幅图像进行重投影就可完成图像的行对齐操作，再通过立体匹配算法即可得到视差图。

在本实施例中，校正后的左右摄像机矩阵K_A和K_B，与投影矩阵P_A和P_B如下式，其中A点位置上的枪机3为双目相机中的左相机,B点位置上的枪机3为双目相机中的右相机：

(其中，α_A＝α_B＝0，α_A与α_B均是像素畸变比例，由于生产工艺的改进，目前市场上的摄像机该参数都可以认为是0)。

投影矩阵可通过将齐次坐标中的3D点转换至齐次坐标系下的2D点，可得屏幕坐标为(x/w,y/w)。如果给定屏幕坐标和摄像机内参矩阵数矩阵，则可将二维点进行重投影得到三维坐标，重投影矩阵Q如下：。

式中除c_x′外的所有参数都来自于第一枪机图像，c_x′是主点在第二枪机图像上的x坐标。如果主光线在无穷远处相交，那么c_x′＝c_x，并且右下角的项为0。

给定一个二维齐次坐标和对应的视差d，则可用下式将此点投影到三维坐标系中，得到其空间坐标(X/W,Y/W,Z/W)，该坐标包含了空间点的深度信息。

通过上述Bouguet校正算法，可以得到重投影所需的各转换矩阵，如下式，实现图像对的立体校正，虚拟出一个如图3所示的平行双目立体视觉系统，为后续的沿极线的匹配搜索和深度求取打下基础。

在本实施例中，由于在立体匹配过程，算法需要对两幅图像进行极线校正，因此得到的场景视差图和枪机实时图像之间的图像坐标并非一一对应，而是存在一个映射转换关系。在本发明中视A点位置摄像机为双目中的左摄像机，设摄像机内参矩阵为K_QJ，畸变向量为d_QJ，Bouguet立体校正算法得到第一旋转矩阵R_A和第一投影矩阵P_A。枪机图像已经提前完成畸变校正，故此处的d_QJ用全0填充。

步骤b、采用式I将第一枪机图像的T点图像坐标(u_A,v_A)映射至摄像机坐标中，获得T点第一摄像机坐标(x′_A,y′_A)；

在本实施例中，获得T点第一摄像机坐标(x′_A,y′_A)和T点第二摄像机坐标(x′_B,y′_B)如下式：

步骤c、利用旋转矩阵R对第一枪机图像进行旋转变换，采用式II获得枪机坐标系的T点第一观测坐标(x_A,y_A)；

在本实施例中，获得枪机坐标系的T点第一观测坐标(x_A,y_A)和T点第二观测坐标(x_B,y_B)：

步骤d、利用所述的重投影转换矩阵Q对第一枪机图像与第二枪机图像进行重投影后，利用立体匹配算法，获得视差图；

步骤e、采用式III获得T点在视差图的图像坐标(u′_A,v′_A)；

在本实施例中，获得T点在视差图的图像坐标(u′_A,v′_A)和(u′_B,v′_B)：

步骤f、根据所述的T点在视差图的图像坐标(u′_A,v′_A)，获得图像中T点的深度信息。

在本实施例中，可以根据视差图的图像坐标(u′_A,v′_A)或(u′_B,v′_B)，获得图像中T点的深度信息，给定一个二维齐次坐标和对应的视差d，则可用

将此点投影到三维坐标系中，得到其空间坐标(X/W,Y/W,Z/W)，该坐标包含了空间点的深度信息。

在本实施例中，利用上述过程，就可以得到当前视频图像中任一像素点与视差图的坐标对应映射。对于映射后坐标存在小数的情况，可以使用二次线性插值算法得到插值后视差值，就可利用式得到该点的空间坐标值。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法。

Claims (2)

1.一种三目视觉的场景深度信息获取系统，其特征在于，所述的系统包括三目视觉模块、虚拟枪机双目视觉标定模块以及场景深度信息获取模块；

所述的三目视觉模块用于采集包含有运动目标的图像，所述的三目视觉模块包括一个枪机(3)和一对PTZ球机(2)，所述的枪机(3)和PTZ球机(2)安装在滑轨(1)上，所述的滑轨(1)平行于水平面设置，所述的枪机(3)沿着所述的滑轨(1)在所述的一对PTZ球机(2)中间移动；所述的PTZ球机(2)零位时的光轴与枪机(3)的朝向相同；所述的一对PTZ球机(2)的参数相同；

所述的虚拟枪机双目视觉标定模块存储有第一计算机程序，所述的第一计算机程序在被处理器执行时实现以下步骤：

步骤A、保持标定板位置固定，控制枪机(3)移动至第一抓拍点上，拍摄一副含有标定板的图像，获得第一标定板图像P_A；

步骤B、控制所述的枪机(3)固定在第一抓拍点上，拍摄含有运动目标的图像，获得第一枪机图像；

步骤C、控制枪机(3)移动至第二抓拍点后拍摄含有运动目标的图像，获得第二枪机图像；

步骤D、控制枪机(3)固定在所述的第二抓拍点上，拍摄一副含有标定板的图像，获得第二标定板图像P_B，所述的标定板在拍摄获得第二标定板图像P_B与拍摄获得第一标定板图像P_A时均在所述枪机(3)的视场中部；

步骤E、利用所述的第一标定板图像P_A与第二标定板图像P_B进行标定，获得所述枪机(3)的旋转向量R_AB以及平移向量t_AB；

所述的场景深度信息获取模块用于获得枪机图像中任一点的深度信息；

所述的场景深度信息获取模块中存储有第二计算机程序，所述的第二计算机程序在被处理器执行时实现以下步骤：

步骤a、根据所述的枪机(3)的旋转向量R_AB以及平移向量t_AB，采用立体校正算法对第一枪机图像与第二枪机图像进行立体校正，获得重投影转换矩阵Q和枪机的旋转矩阵R；获得采集第一枪机图像时枪机(3)的第一内参矩阵K_A和第一投影矩阵P_A；

其中

步骤b、采用式I将第一枪机图像的T点图像坐标(u_A,v_A)映射至摄像机坐标中，获得T点第一摄像机坐标(x′_A,y′_A)；

步骤c、利用旋转矩阵R对第一枪机图像进行旋转变换，采用式II获得枪机坐标系的T点第一观测坐标(x_A,y_A)；

步骤d、利用所述的重投影转换矩阵Q对第一枪机图像与第二枪机图像进行重投影后，利用立体匹配算法，获得视差图；

步骤e、采用式III获得T点在视差图的图像坐标(u′_A,v′_A)；

步骤f、根据所述的T点在视差图的图像坐标(u′_A,v′_A)，获得图像中T点的深度信息；

所述的步骤a中的立体校正算法为Bouguet立体校正算法。

2.如权利要求1所述的三目视觉的场景深度信息获取系统，其特征在于，步骤E中采用张正友标定算法进行标定。

Images