CN102650514A - 一种立体视觉系统及其实时监控三维安全警示区域的应用 - Google Patents

Abstract

一种立体视觉系统及其实时监控三维安全警示区域的应用，包括模仿人眼设计的计算机双目立体视觉系统，双目摄像头为两组，分别放置于接受监测的立体空间即三维安全警示区域中两个正交的平面外对同一物体进行观察，分别通过立体匹配模块得到两组视差图，计算物体的深度及其位置信息是分别实时计算两组包括深度图的空间坐标，应用步骤包括确定双目摄像头仰角、转换坐标系和划定三维安全警示区域。成功实现了对三维安全警示区域内外物体的空间坐标的实时探测，以及对于待监测物体超过区域限制约束即物体的点至三维安全警示区域的平面距离小于安全距离时实时报警的功能，有效克服了单组双目摄像头探测物体的三维空间信息的局限性，显著提高了监控效果。

Description

一种立体视觉系统及其实时监控三维安全警示区域的应用

技术领域

本发明涉及立体视觉系统，特别是涉及一种立体视觉系统及其实时监控三维安全警示区域的应用。

背景技术

电力装置使用大中型施工设备如吊车进行检修更换时，其周边装置一般都是处在带电运行状态，目前只能由现场监护人员用眼观察判断这些大中型施工设备与周边带电装置是否相隔确保安全的三维空间距离，即只能用眼观察大致划定大中型施工设备的带电作业三维安全警戒区域，而无法通过技术手段监控大中型施工设备的带电作业三维安全警戒区域。现有的视觉判断方式极不准确，易发生误碰带电装置的事故，导致人员设备停运和人员伤亡，直接影响电力安全生产。此外，现有模仿人眼设计的一种计算机双目立体视觉系统，基于双目三角测量原理采用设置在不同位置的单组双目摄像头对同一物体进行观察形成视差，并通过立体标定摄像头获取摄像头的内外参数，包括基线距、焦距，以及通过立体匹配模块获取视差，再获取物体的深度及其位置信息。但是，在三维安全警戒区域中，由于物体本身具有一定深度范围，单组双目摄像头只能探测到物体面对于双目摄像头的一面的深度信息，而不能探测物体背对于双目摄像头的另一面的深度信息，以及单组双目摄像头不能在有物体在三维安全警示区域外与双目摄像头之间运动造成部分遮挡时探测三维安全警示区域内的物体的信息，漏报概率比较高。因此，现有的计算机双目立体视觉系统不能用于对三维安全警戒区域内的大中型施工设备进行有效实时监控。至今尚未见有通过技术手段监控大中型施工设备的带电作业三维安全警戒区域的立体视觉系统。

发明内容

本发明所要解决的一个技术问题是弥补上述现有技术的缺陷，提供一种立体视觉系统。

本发明所要解决的另一个技术问题是弥补上述现有技术的缺陷，提供一种立体视觉系统实时监控三维安全警示区域的应用，即提供一种采用上述立体视觉系统对三维安全警示区域内的特定保护物体如危及人身安全的带电物体、要害设施、贵重商品、艺术品和文物进行实时监控，并设定安全距离，如果有物体进入三维安全警示区域，且与三维安全警示区域警戒平面的距离小于安全距离，则实时报警。

本发明的立体视觉系统的技术问题通过以下技术方案予以解决。

这种立体视觉系统，包括模仿人眼设计的计算机双目立体视觉系统，所述计算机双目立体视觉系统包括图像采集模块、平面靶标标定模块、立体匹配模块、深度计算模块和立体监控应用模块，且以左摄像头投影中心为原点的摄像头坐标系为基准进行计算，所述图像采集模块包括基于双目三角测量原理设置在不同位置对同一物体进行观察的双目摄像头，并通过所述平面靶标标定模块标定双目摄像头获取摄像头的内外参数，包括基线距、焦距，以及通过立体匹配模块获取视差，再计算物体的深度及其位置信息。

这种立体视觉系统的特点是：

所述双目摄像头为两组，分别放置于接受监测的立体空间即三维安全警示区域中两个垂直相交即正交的平面外对同一物体进行观察，分别通过立体匹配模块得到两组视差图，所述计算物体的深度及其位置信息是分别实时计算两组包括深度图的空间坐标，以有效克服单组双目摄像头只能探测物体面对于双目摄像头的一面的深度信息，而不能探测物体背对于双目摄像头的另一面的深度信息，以及单组双目摄像头不能在有物体在三维安全警示区域外与双目摄像头之间运动造成部分遮挡时探测三维安全警示区域内的物体的信息的缺陷。

所述一组空间坐标包括一组双目摄像头的左摄像头投影中心为原点的仰角分别为θ1和0°下的摄像头坐标系O-x₁y₁z₁和O-x′₁y′₁z′₁，仰角θ1是主光轴Oz₁与主光轴Oz′₁的夹角，摄像头坐标系O-x₁y₁z₁中的点的坐标(X₁，Y₁，Z₁)转换为摄像头坐标系O-x′₁y′₁z′₁中的点的坐标(X′₁，Y′₁，Z′₁)，满足以下关系式：

X′₁＝X₁；

Y′₁＝Y₁cosθ₁-Z₁sinθ1；

Z′₁＝Y₁sinθ₁+Z₁cosθ1。

与主光轴Oz′₁垂直的标定参照物平面即实际的三维安全警示区域中监控物体平面上X₁/X′₁为0的情况下的长度为Y1的垂直线段L₁，与主光轴Oz₁和主光轴Oz′₁分别相交，垂直线段L₁的上端点在摄像头坐标系O-x₁y₁z₁下的坐标为(X₁₁，Y₁₁，Z₁₁)，下端点在摄像头坐标系O-x₁y₁z₁下的坐标为(X₁₂，Y₁₂，Z₁₂)。

所述一组双目摄像头的仰角θ1的正弦函数值为：

Sinθ1＝|Z₁₁-Z₁₂|/Y1；

所述一组双目摄像头的仰角θ1的余弦函数值为：

Cosθ1＝|Y₁₁-Y₁₂|/Y1。

所述另一组空间坐标包括另一组双目摄像头的左摄像头投影中心为原点的仰角分别为θ2和0°下的摄像头坐标系O-x₂y₂z₂和O-x′₂y′₂z′₂，仰角θ2是主光轴Oz₂与主光轴Oz′₂的夹角，摄像头坐标系O-x₂y₂z₂中的点的坐标(X₂，Y₂，Z₂)转换为摄像头坐标系O-x′₂y′₂z′₂中的点的坐标(X′₂，Y′₂，Z′₂)，满足以下关系式：

X′₂＝X₂；

Y′₂＝Y₂cosθ2-Z₂sinθ2；

Z′₂＝Y₂sinθ2+Z₂cosθ2。

与主光轴Oz′₂垂直的标定参照物平面即实际的三维安全警示区域中监控物体平面上X₂/X′₂为0的情况下的长度为Y2的垂直线段L₂，与主光轴Oz₂和主光轴Oz′₂分别相交，垂直线段L₂的上端点在摄像头坐标系O-x₂y₂z₂下的坐标为(X₂₁，Y₂₁，Z₂₁)，下端点在摄像头坐标系O-x₂y₂z₂下的坐标为(X₂₂，Y₂₂，Z₂₂)。

所述另一组双目摄像头的仰角θ2的正弦函数值为：

Sinθ2＝|Z₂₁-Z₂₂|/Y2；

所述另一组双目摄像头的仰角θ2的余弦函数值为：

Cosθ2＝|Y₂₁-Y₂₂|/Y2。

所述立体监控应用模块还包括仰角计算模块、坐标转换模块、安全立体平面划定模块，以及报警模块。

所述平面靶标标定模块和所述仰角计算模块在对三维安全警示区域进行实时监测前完成平面靶标标定和仰角计算，其他模块都在对三维安全警示区域进行实时监测时工作，所述安全立体平面划定模块确定安全警戒区域的警戒平面约束限制和安全距离后，将警戒平面约束限制和安全距离传递给报警模块，即退出实时监测。

所述平面靶标标定模块分别与所述立体匹配模块、所述深度计算模块连接，为立体匹配模块提供参数和行对准图像用于立体匹配，为深度计算模块提供焦距，成像中心点坐标信息用于深度计算。

所述立体匹配模块与所述深度计算模块连接，为所述深度计算模块提供用于计算深度的视差值。

所述深度计算模块分别与所述仰角计算模块、坐标转换模块连接，所述仰角计算模块用深度计算模块提供的标定参照物平面的坐标信息计算正余弦值，并将其提供给坐标转换模块用于坐标转换。

所述坐标转换模块分别与所述仰角计算模块、安全立体平面划定模块和报警模块连接，所述仰角计算模块为所述坐标转换模块提供坐标转换所需的正余弦值，所述安全立体平面划定模块和报警模块使用所述坐标转换模块转换后的点坐标建立三维安全警示区域的各个平面的平面限制约束，实时监测物体至三维安全警示区域各个警戒平面的距离，决定是否报警。

所述安全立体平面划定模块与所述报警模块连接，为所述报警模块提供三维安全警示区域的区域限制约束，待监测物体超过区域限制约束即物体的点至三维安全警示区域的平面距离小于安全距离时，所述报警模块进行声光报警。

本发明的立体视觉系统的技术问题通过以下进一步的技术方案予以解决。

所述两个垂直相交即正交的平面的选择，与接受监测的立体空间即三维安全警示区域中的物体的正面和侧面相对应，即每组双目摄像头只监控接受监测的立体空间即三维安全警示区域的四个平面：正对的平面及其两侧的平面，以及上方的平面，以有效检测进入接受监测的立体空间即三维安全警示区域的物体，且即使某一组双目摄像头前有物体部分遮挡监控时，另一组双目摄像头仍然可以对接受监测的立体空间即三维安全警示区域进行有效监控。

进一步的，所述安全立体平面划定模块是立体带电空间划定模块，用于变电站施工环境监测。

所述报警模块进行声光警报，是根据距离三维安全警示区域警戒平面远近发出不同的声光警报报警声，以体现危及安全的不同程度。

本发明的立体视觉系统实时监控三维安全警示区域的应用技术问题通过以下技术方案予以解决。

这种立体视觉系统实时监控三维安全警示区域的应用，采用的立体视觉系统，包括模仿人眼设计的计算机双目立体视觉系统，所述计算机双目立体视觉系统包括图像采集模块、平面靶标标定模块、立体匹配模块、深度计算模块和立体监控应用模块，且以左摄像头投影中心为原点的摄像头坐标系为基准进行计算，所述图像采集模块包括基于双目三角测量原理设置在不同位置对同一物体进行观察的双目摄像头，并通过所述平面靶标标定模块标定摄像头获取双目摄像头的内外参数，包括基线距、焦距，以及通过立体匹配模块获取视差，再计算物体的深度及其位置信息。

这种立体视觉系统实时监控三维安全警示区域的应用的特点是：

所述双目摄像头为两组，分别放置于接受监测的立体空间即三维安全警示区域中两个垂直相交即正交的平面外对同一物体进行观察，分别通过立体匹配模块得到两组视差图，所述计算物体的深度及其位置信息是分别实时计算两组包括深度图的空间坐标，以有效克服单组双目摄像头只能探测物体面对于双目摄像头的一面的深度信息，而不能探测物体背对于双目摄像头的另一面的深度信息，以及单组双目摄像头不能在有物体在三维安全警示区域外与双目摄像头之间运动造成部分遮挡时探测三维安全警示区域内的物体的信息的缺陷。

所述一组空间坐标包括一组双目摄像头的左摄像头投影中心为原点的仰角分别为θ1和0°下的摄像头坐标系O-x₁y₁z₁和O-x′₁y′₁z′₁，仰角θ1是主光轴Oz₁与主光轴Oz′₁的夹角，摄像头坐标系O-x₁y₁z₁中的点的坐标(X₁，Y₁，Z₁)转换为摄像头坐标系O-x′₁y′₁z′₁中的点的坐标(X′₁，Y′₁，Z′₁)，满足以下关系式：

X′₁＝X₁；

Y′₁＝Y₁cosθ₁-Z₁sinθ1；

Z′₁＝Y₁sinθ1+Z₁cosθ1。

与主光轴Oz′₁垂直的标定参照物平面即实际的三维安全警示区域中监控物体平面上X₁/X′₁为0的情况下的长度为Y1的垂直线段L₁，与主光轴Oz₁和主光轴Oz′₁分别相交，垂直线段L₁的上端点在摄像头坐标系O-x₁y₁z₁下的坐标为(X₁₁，Y₁₁，Z₁₁)，下端点在摄像头坐标系O-x₁y₁z₁下的坐标为(X₁₂，Y₁₂，Z₁₂)。

所述一组双目摄像头的仰角θ1的正弦函数值为：

Sinθ1＝|Z₁₁-Z₁₂|/Y1；

所述一组双目摄像头的仰角θ1的余弦函数值为：

Cosθ1＝|Y₁₁-Y₁₂|/Y1。

所述另一组空间坐标包括另一组双目摄像头的左摄像头投影中心为原点的仰角分别为θ2和0°下的摄像头坐标系O-x₂y₂z₂和O-x′₂y′₂z′₂，仰角θ2是主光轴Oz₂与主光轴Oz′₂的夹角，摄像头坐标系O-x₂y₂z₂中的点的坐标(X₂，Y₂，Z₂)转换为摄像头坐标系O-x′₂y′₂z′₂中的点的坐标(X′₂，Y′₂，Z′₂)，满足以下关系式：

X′₂＝X₂；

Y′₂＝Y₂cosθ2-Z₂sinθ2；

Z′₂＝Y₂sinθ2+Z₂cosθ2。

与主光轴Oz′₂垂直的标定参照物平面即实际的三维安全警示区域中监控物体平面上X₂/X′₂为0的情况下的长度为Y2的垂直线段L₂，与主光轴Oz₂和主光轴Oz′₂分别相交，垂直线段L₂的上端点在摄像头坐标系O-x₂y₂z₂下的坐标为(X₂₁，Y₂₁，Z₂₁)，下端点在摄像头坐标系O-x₂y₂z₂下的坐标为(X₂₂，Y₂₂，Z₂₂)。

所述另一组双目摄像头的仰角θ2的正弦函数值为：

Sinθ2＝|Z₂₁-Z₂₂|/Y2；

所述另一组双目摄像头的仰角θ2的余弦函数值为：

Cosθ2＝|Y₂₁-Y₂₂|/Y2。

所述立体监控应用模块还包括仰角计算模块、坐标转换模块、安全立体平面划定模块，以及报警模块。

所述平面靶标标定模块和所述仰角计算模块在对三维安全警示区域进行实时监测前完成平面靶标标定和仰角计算，其他模块都在对三维安全警示区域进行实时监测时工作，所述安全立体平面划定模块确定安全警戒区域的警戒平面约束限制和安全距离后，将警戒平面约束限制和安全距离传递给报警模块，即退出实时监测。

所述平面靶标标定模块分别与所述立体匹配模块、所述深度计算模块连接，为立体匹配模块提供参数和行对准图像用于立体匹配，为深度计算模块提供焦距，成像中心点坐标信息用于深度计算。

所述立体匹配模块与所述深度计算模块连接，为所述深度计算模块提供用于计算深度的视差值。

所述深度计算模块分别与所述仰角计算模块、坐标转换模块连接，所述仰角计算模块用深度计算模块提供的标定参照物平面的坐标信息计算正余弦值，并将其提供给坐标转换模块用于坐标转换。

所述坐标转换模块分别与所述仰角计算模块、安全立体平面划定模块和报警模块连接，所述仰角计算模块为所述坐标转换模块提供坐标转换所需的正余弦值，所述安全立体平面划定模块和报警模块使用所述坐标转换模块转换后的点坐标建立三维安全警示区域的各个平面的平面限制约束，实时监测物体至三维安全警示区域各个警戒平面的距离，决定是否报警。

所述安全立体平面划定模块与所述报警模块连接，为所述报警模块提供三维安全警示区域的区域限制约束，待监测物体超过区域限制约束即物体的点至三维安全警示区域的平面距离小于安全距离时，所述报警模块进行声光报警。

这种立体视觉系统实时监控三维安全警示区域的应用包括以下步骤：

1)标定获取两组双目摄像头的内外参数

通过所述平面靶标标定模块标定两组双目摄像头，获取两组双目摄像头的内外参数，包括基线距、焦距和摄像头的成像中心点坐标；

2)将两组双目摄像头分别放置于三维安全警示区域中两个垂直相交即正交的平面外；

3)立体匹配获取视差图并实时计算包括深度图的空间坐标

两组双目摄像头进行立体匹配操作，分别获取视差图，基于双目三角测量原理利用立体标定获取的双目摄像头内外参数和获取的视差图进行实时计算两组包括深度图的空间坐标；

4)确定双目摄像头仰角

通过所述仰角计算模块分别确定两组双目摄像头的仰角θ1和θ2；

5)转换坐标系

通过所述坐标转换模块将实时计算包括深度图的摄像头坐标系转换为仰角为0°的坐标系，即将两组双目摄像头仰角为θ1和θ2的摄像头坐标系分别转换为以各组双目摄像头的左摄像头投影中心为原点的仰角为0°的摄像头坐标系；

6)划定三维安全警示区域

观察待检测区域，划定保护物体的三维安全警示区域，确立安全警戒距离；

7)实时监测物体至三维安全警示区域各个警戒平面的距离

对三维安全警示区域内的物体实时监控，实时计算其深度图空间坐标，并与三维安全警示区域的警戒平面作比较，判定物体与三维安全警示区域各个警戒平面的距离是否小于安全距离，同时对三维安全警示区域以外的物体的空间坐标清零，以减少如有物体在三维安全警示区域安全距离外与摄像头之间对监控的干扰；

8)如果物体进入三维安全警示区域内，且物体与三维安全警示区域警戒平面的距离是否小于安全距离，监控系统发出声光警报。

本发明的立体视觉系统实时监控三维安全警示区域的应用技术问题通过以下进一步的技术方案予以解决。

所述步骤2)的两个垂直相交即正交的平面的选择，与接受监测的立体空间即三维安全警示区域中的物体的正面和侧面相对应，即每组双目摄像头只监控接受监测的立体空间即三维安全警示区域的四个平面：正对的平面及其两侧的平面，以及上方的平面，以有效检测进入接受监测的立体空间即三维安全警示区域的物体，且即使某一组双目摄像头前有物体部分遮挡监控时，另一组双目摄像头仍然可以对接受监测的立体空间即三维安全警示区域进行有效监控。

进一步的，所述安全立体平面划定模块是立体带电空间划定模块，用于变电站施工环境监测。

所述步骤8)的声光警报，是根据距离三维安全警示区域警戒平面远近发出不同的声光警报报警声，以体现危及安全的不同程度。

本发明与现有的模仿人眼设计的计算机双目立体视觉系统相比的有益效果是：

本发明通过采用分别放置于接受监测的立体空间即三维安全警示区域中两个垂直相交即正交的平面外的双目摄像头，成功实现了对三维安全警示区域内外物体的空间坐标的实时探测，以及对于待监测物体超过区域限制约束即物体的点至三维安全警示区域的平面距离小于安全距离时实时报警的功能，有效克服了单组双目摄像头探测物体的三维空间信息的局限性，显著提高了监控效果。

附图说明

图1是本发明具体实施方式的摄像头坐标系O-xyz、O-x′y′z′和双目摄像头的仰角示意图：

图2是本发明具体实施方式的组成方框图；

图3是本发明具体实施方式的两组双目摄像头各自监控三维安全警示区域中四个平面的示意图；

图4是本发明具体实施方式的应用流程图。

具体实施方式

下面结合具体实施方式并对照附图对本发明进行说明。

具体实施方式一

一种如图1～3所示的立体视觉系统，包括模仿人眼设计的计算机双目立体视觉系统，计算机双目立体视觉系统包括图像采集模块、平面靶标标定模块、立体匹配模块、深度计算模块和立体监控应用模块，且以左摄像头投影中心为原点的摄像头坐标系为基准进行计算，图像采集模块包括基于双目三角测量原理设置在不同位置对同一物体进行观察的双目摄像头，并通过平面靶标标定模块标定双目摄像头获取摄像头的内外参数，包括基线距、焦距，以及通过立体匹配模块获取视差，再计算物体的深度及其位置信息。

双目摄像头为两组，一组是左双目摄像头，另一组是右双目摄像头，分别放置于接受监测的立体空间即三维安全警示区域中两个垂直相交即正交的平面外对同一物体进行观察，分别通过立体匹配模块得到两组视差图，计算物体的深度及其位置信息是分别实时计算两组包括深度图的空间坐标，以有效克服单组双目摄像头只能探测物体面对于双目摄像头的一面的深度信息，而不能探测物体背对于双目摄像头的另一面的深度信息，以及单组双目摄像头不能在有物体在三维安全警示区域外与双目摄像头之间运动造成部分遮挡时探测三维安全警示区域内的物体的信息的缺陷。

两个垂直相交即正交的平面的选择，与接受监测的立体空间即三维安全警示区域中的物体的正面和侧面相对应，即每组双目摄像头只监控接受监测的立体空间即三维安全警示区域的四个平面：正对的平面及其两侧的平面，以及上方的平面，如图3中放置在接受监测的立体空间即三维安全警示区域的正面前的左双目摄像头只监控正对的平面3及其两侧的平面2、4，以及上方的平面1；放置在接受监测的立体空间即三维安全警示区域的右侧面前的右双目摄像头只监控正对的平面4及其两侧的平面3、5以及上方的平面1，以有效检测进入接受监测的立体空间即三维安全警示区域的物体，且即使某一组双目摄像头前有物体部分遮挡监控时，另一组双目摄像头仍然可以对接受监测的立体空间即三维安全警示区域进行有效监控。

一组空间坐标包括左双目摄像头的左摄像头投影中心为原点的仰角分别为θ1和0°下的摄像头坐标系O-x₁y₁z₁和O-x′₁y′₁z′₁，仰角θ1是主光轴Oz₁与主光轴Oz′₁的夹角，摄像头坐标系O-x₁y₁z₁中的点的坐标(X₁，Y₁，Z₁)转换为摄像头坐标系O-x ′₁y′₁z′₁中的点的坐标(X′₁，Y′₁，Z′₁)，满足以下关系式：

X′₁＝X₁；

Y′₁＝Y₁cosθ1-Z₁sinθ1；

Z′₁＝Y₁sinθ1+Z₁cosθ1。

与主光轴Oz′₁垂直的标定参照物平面即实际的三维安全警示区域中监控物体平面上X₁/X′₁为0的情况下的长度为Y1的垂直线段L₁，与主光轴Oz₁和主光轴Oz′₁分别相交，垂直线段L₁的上端点在摄像头坐标系O-x₁y₁z₁下的坐标为(X₁₁，Y₁₁，Z₁₁)，下端点在摄像头坐标系O-x₁y₁z₁下的坐标为(X₁₂，Y₁₂，Z₁₂)。

左双目摄像头的仰角θ1的正弦函数值为：

Sinθ1＝|Z₁₁-Z₁₂|/Y1；

左双目摄像头的仰角θ1的余弦函数值为：

Cosθ1＝|Y₁₁-Y₁₂|/Y1。

另一组空间坐标包括右双目摄像头的左摄像头投影中心为原点的仰角分别为θ2和0°下的摄像头坐标系O-x₂y₂z₂和O-x′₂y′₂z′₂，仰角θ2是主光轴Oz₂与主光轴Oz′₂的夹角，摄像头坐标系O-x₂y₂z₂中的点的坐标(X₂，Y₂，Z₂)转换为摄像头坐标系O-x′₂y′₂z′₂中的点的坐标(X′₂，Y′₂，Z′₂)，满足以下关系式：

X′₂＝X₂；

Y′₂＝Y₂cosθ2-Z₂sinθ2；

Z′₂＝Y₂sinθ2+Z₂cosθ2。

与主光轴Oz′₂垂直的标定参照物平面即实际的三维安全警示区域中监控物体平面上X₂/X′₂为0的情况下的长度为Y2的垂直线段L₂，与主光轴Oz₂和主光轴Oz′₂分别相交，垂直线段L₂的上端点在摄像头坐标系O-x₂y₂z₂下的坐标为(X₂₁，Y₂₁，Z₂₁)，下端点在摄像头坐标系O-x₂y₂z₂下的坐标为(X₂₂，Y₂₂，Z₂₂)。

右双目摄像头的仰角θ2的正弦函数值为：

Sinθ2＝|Z₂₁-Z₂₂|/Y2；

右双目摄像头的仰角θ2的余弦函数值为：

Cosθ2＝|Y₂₁-Y₂₂|/Y2。

立体监控应用模块还包括仰角计算模块、坐标转换模块、安全立体平面划定模块，以及报警模块。

平面靶标标定模块和仰角计算模块在对三维安全警示区域进行实时监测前完成平面靶标标定和仰角计算，其他模块都在对三维安全警示区域进行实时监测时工作，安全立体平面划定模块确定安全警戒区域的警戒平面约束限制和安全距离后，将警戒平面约束限制和安全距离传递给报警模块，即退出实时监测。

平面靶标标定模块分别与立体匹配模块、深度计算模块连接，为立体匹配模块提供参数和行对准图像用于立体匹配，为深度计算模块提供焦距，成像中心点坐标信息用于深度计算。

立体匹配模块与深度计算模块连接，为深度计算模块提供用于计算深度的视差值。

深度计算模块分别与仰角计算模块、坐标转换模块连接，仰角计算模块用深度计算模块提供的标定参照物平面的坐标信息计算正余弦值，并将其提供给坐标转换模块用于坐标转换。

坐标转换模块分别与仰角计算模块、安全立体平面划定模块和报警模块连接，仰角计算模块为坐标转换模块提供坐标转换所需的正余弦值，安全立体平面划定模块和报警模块使用坐标转换模块转换后的点坐标建立三维安全警示区域的各个平面的平面限制约束，实时监测物体至三维安全警示区域各个警戒平面的距离，决定是否报警。

安全立体平面划定模块与报警模块连接，为报警模块提供三维安全警示区域的区域限制约束，待监测物体超过区域限制约束即物体的点至三维安全警示区域的平面距离小于安全距离时，报警模块进行声光报警。

报警模块进行声光警报，是根据距离三维安全警示区域警戒平面远近发出不同的声光警报报警声，以体现危及安全的不同程度。

具体实施方式二

一种如图4所示的立体视觉系统实时监控带电作业现场三维安全警示区域的应用，采用如图1～3所示的具体实施方式一的立体视觉系统，其中安全立体平面划定模块是立体带电空间划定模块。

带电作业的三维安全警示区域由带电作业现场大中型施工设备与周边带电装置相隔确保安全的三维空间距离决定，其应用包括以下步骤：

1)标定获取两组双目摄像头的内外参数

通过平面靶标标定模块标定左双目摄像头和右双目摄像头，获取左双目摄像头和右双目摄像头的内外参数，包括基线距、焦距和摄像头的成像中心点坐标；

2)将左双目摄像头和右双目摄像头分别放置于接受监测的立体空间即三维安全警示区域中两个垂直相交即正交的平面外，与接受监测的立体空间即三维安全警示区域中的物体的正面和侧面相对应，即左双目摄像头和右双目摄像头分别只监控接受监测的立体空间即三维安全警示区域的四个平面：正对的平面及其两侧的平面，以及上方的平面，以有效检测进入接受监测的立体空间即三维安全警示区域的物体，且即使左双目摄像头或右双目摄像头前有物体部分遮挡监控时，另一双目摄像头仍然可以对接受监测的立体空间即三维安全警示区域进行有效监控；

3)立体匹配获取视差图并实时计算包括深度图的空间坐标

左双目摄像头和右双目摄像头进行立体匹配操作，分别获取视差图，基于双目三角测量原理利用立体标定获取的双目摄像头内外参数和获取的视差图进行实时计算两组包括深度图的空间坐标；

4)确定双目摄像头仰角

通过仰角计算模块分别确定左双目摄像头的仰角θ1和右双目摄像头的仰角θ2；

5)转换坐标系

通过坐标转换模块将实时计算包括深度图的摄像头坐标系转换为仰角为0°的坐标系，即将左双目摄像头的仰角θ1和右双目摄像头的仰角θ2的摄像头坐标系分别转换为以左双目摄像头和右双目摄像头的左摄像头投影中心为原点的仰角为0°的摄像头坐标系；

6)划定三维安全警示区域

观察待检测区域，划定保护物体的三维安全警示区域，确立安全警戒距离；

7)实时监测物体至三维安全警示区域各个警戒平面的距离

对三维安全警示区域内的物体实时监控，实时计算其深度图空间坐标，并与三维安全警示区域的警戒平面作比较，判定物体与三维安全警示区域各个警戒平面的距离是否小于安全距离，同时对三维安全警示区域以外的物体的空间坐标清零，以减少如有物体在三维安全警示区域安全距离外与摄像头之间对监控的干扰；

8)如果物体进入三维安全警示区域内，且物体与三维安全警示区域警戒平面的距离是否小于安全距离，监控系统根据距离三维安全警示区域警戒平面远近发出不同的声光警报报警声，以体现危及安全的不同程度。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下做出如果干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明由所提交的权利要求书确定的专利保护范围。

Claims (8)

1.一种立体视觉系统，包括模仿人眼设计的计算机双目立体视觉系统，所述计算机双目立体视觉系统包括图像采集模块、平面靶标标定模块、立体匹配模块、深度计算模块和立体监控应用模块，且以左摄像头投影中心为原点的摄像头坐标系为基准进行计算，所述图像采集模块包括基于双目三角测量原理设置在不同位置对同一物体进行观察的双目摄像头，并通过所述平面靶标标定模块标定双目摄像头获取摄像头的内外参数，包括基线距、焦距，以及通过立体匹配模块获取视差，再计算物体的深度及其位置信息，其特征在于：

所述双目摄像头为两组，分别放置于接受监测的立体空间即三维安全警示区域中两个垂直相交即正交的平面外对同一物体进行观察，分别通过立体匹配模块得到两组视差图，所述计算物体的深度及其位置信息是分别实时计算两组包括深度图的空间坐标；

所述一组空间坐标包括一组双目摄像头的左摄像头投影中心为原点的仰角分别为θ1和0°下的摄像头坐标系O-x₁y₁z₁和O-x′₁y′₁z′₁，仰角θ1是主光轴Oz₁与主光轴Oz′₁的夹角，摄像头坐标系O-x₁y₁z₁中的点的坐标(X₁，Y₁，Z₁)转换为摄像头坐标系O-x′₁y′₁z′₁中的点的坐标(X′₁，Y′₁，Z′₁)，满足以下关系式：

X′₁＝X₁；

Y′₁＝Y₁cosθ1-Z₁sinθ1；

Z′₁＝Y₁sinθ1+Z₁cosθ1；

与主光轴Oz′₁垂直的标定参照物平面即实际的三维安全警示区域中监控物体平面上X₁/X′₁为0的情况下的长度为Y1的垂直线段L₁，与主光轴Oz₁和主光轴Oz′₁分别相交，垂直线段L₁的上端点在摄像头坐标系O-x₁y₁z₁下的坐标为(X₁₁，Y₁₁，Z₁₁)，下端点在摄像头坐标系O-x₁y₁z₁下的坐标为(X₁₂，Y₁₂，Z₁₂)，

所述一组双目摄像头的仰角θ1的正弦函数值为：

Sinθ1＝|Z₁₁-Z₁₂|/Y1；

所述一组双目摄像头的仰角θ1的余弦函数值为：

Cosθ1＝|Y₁₁-Y₁₂|/Y1；

所述另一组空间坐标包括另一组双目摄像头的左摄像头投影中心为原点的仰角分别为θ2和0°下的摄像头坐标系O-x₂y₂z₂和O-x′₂y′₂z′₂，仰角θ2是主光轴Oz₂与主光轴Oz′₂的夹角，摄像头坐标系O-x₂y₂z₂中的点的坐标(X₂，Y₂，Z₂)转换为摄像头坐标系O-x′₂y′₂z′₂中的点的坐标(X′₂，Y′₂，Z′₂)，满足以下关系式：

X′₂＝X₂；

Y′₂＝Y₂cosθ2-Z₂sinθ2；

Z′₂＝Y₂sinθ2+Z₂cosθ2；

与主光轴Oz′₂垂直的标定参照物平面即实际的三维安全警示区域中监控物体平面上X₂/X′₂为0的情况下的长度为Y2的垂直线段L₂，与主光轴Oz₂和主光轴Oz′₂分别相交，垂直线段L₂的上端点在摄像头坐标系O-x₂y₂z₂下的坐标为(X₂₁，Y₂₁，Z₂₁)，下端点在摄像头坐标系O-x₂y₂z₂下的坐标为(X₂₂，Y₂₂，Z₂₂)，

所述另一组双目摄像头的仰角θ2的正弦函数值为：

Sinθ2＝|Z₂₁-Z₂₂|/Y2；

所述另一组双目摄像头的仰角θ2的余弦函数值为：

Cosθ2＝|Y₂₁-Y₂₂|/Y2；

所述立体监控应用模块还包括仰角计算模块、坐标转换模块、安全立体平面划定模块，以及报警模块；

所述平面靶标标定模块和所述仰角计算模块在对三维安全警示区域进行实时监测前完成平面靶标标定和仰角计算，其他模块都在对三维安全警示区域进行实时监测时工作，所述安全立体平面划定模块确定安全警戒区域的警戒平面约束限制和安全距离后，将警戒平面约束限制和安全距离传递给报警模块，即退出实时监测；

所述平面靶标标定模块分别与所述立体匹配模块、所述深度计算模块连接，为立体匹配模块提供参数和行对准图像用于立体匹配，为深度计算模块提供焦距，成像中心点坐标信息用于深度计算；

所述立体匹配模块与所述深度计算模块连接，为深度计算模块提供用于计算深度的视差值；

所述深度计算模块分别与所述仰角计算模块、坐标转换模块连接，所述仰角计算模块用深度计算模块提供的标定参照物平面的坐标信息计算正余弦值，并将其提供给坐标转换模块用于坐标转换；

所述坐标转换模块分别与所述仰角计算模块、安全立体平面划定模块和报警模块连接，所述仰角计算模块为所述坐标转换模块提供坐标转换所需的正余弦值，所述安全立体平面划定模块和报警模块使用所述坐标转换模块转换后的点坐标建立三维安全警示区域的各个平面的平面限制约束，实时监测物体至三维安全警示区域各个警戒平面的距离，决定是否报警；

所述安全立体平面划定模块与所述报警模块连接，为所述报警模块提供三维安全警示区域的区域限制约束，待监测物体超过区域限制约束即物体的点至三维安全警示区域的平面距离小于安全距离时，所述报警模块进行声光报警。

2.如权利要求1所述的立体视觉系统，其特征在于：

所述两个垂直相交即正交的平面的选择，与接受监测的立体空间即三维安全警示区域中的物体的正面和侧面相对应，即每组双目摄像头只监控接受监测的立体空间即三维安全警示区域的四个平面：正对的平面及其两侧的平面，以及上方的平面，以有效检测进入接受监测的立体空间即三维安全警示区域的物体，且即使某一组双目摄像头前有物体部分遮挡监控时，另一组双目摄像头仍然可以对接受监测的立体空间即三维安全警示区域进行有效监控。

3.如权利要求1或2所述的立体视觉系统，其特征在于：

所述安全立体平面划定模块是立体带电空间划定模块，用于变电站施工环境监测。

4.如权利要求3所述的立体视觉系统，其特征在于：

所述报警模块进行声光警报，是根据距离三维安全警示区域警戒平面远近发出不同的声光警报报警声，以体现危及安全的不同程度。

5.一种立体视觉系统实时监控三维安全警示区域的应用，采用的立体视觉系统，包括模仿人眼设计的计算机双目立体视觉系统，所述计算机双目立体视觉系统包括图像采集模块、平面靶标标定模块、立体匹配模块、深度计算模块和立体监控应用模块，且以左摄像头投影中心为原点的摄像头坐标系为基准进行计算，所述图像采集模块包括基于双目三角测量原理设置在不同位置对同一物体进行观察的双目摄像头，并通过所述平面靶标标定模块标定摄像头获取双目摄像头的内外参数，包括基线距、焦距，以及通过立体匹配模块获取视差，再计算物体的深度及其位置信息，其特征在于：

所述双目摄像头为两组，分别放置于接受监测的立体空间即三维安全警示区域中两个垂直相交即正交的平面外对同一物体进行观察，分别通过立体匹配模块得到两组视差图，所述计算物体的深度及其位置信息是分别实时计算两组包括深度图的空间坐标；

所述一组空间坐标包括一组双目摄像头的左摄像头投影中心为原点的仰角分别为θ1和0°下的摄像头坐标系O-x₁y₁z₁和O-x′₁y′₁z′₁，仰角θ1是主光轴Oz₁与主光轴Oz′₁的夹角，摄像头坐标系O-x₁y₁z₁中的点的坐标(X₁，Y₁，Z₁)转换为摄像头坐标系O-x′₁y′₁z ′₁中的点的坐标(X′₁，Y′₁，Z′₁)，满足以下关系式：

X′₁＝X₁；

Y′₁＝Y₁cosθ1-Z₁sinθ1；

Z′₁＝Y₁sinθ1+Z₁cosθ1；

与主光轴Oz′₁垂直的标定参照物平面即实际的三维安全警示区域中监控物体平面上X₁/X′₁为0的情况下的长度为Y1的垂直线段L₁，与主光轴Oz₁和主光轴Oz′₁分别相交，垂直线段L₁的上端点在摄像头坐标系O-x₁y₁z₁下的坐标为(X₁₁，Y₁₁，Z₁₁)，下端点在摄像头坐标系O-x₁y₁z₁下的坐标为(X₁₂，Y₁₂，Z₁₂)，

所述一组双目摄像头的仰角θ1的正弦函数值为：

Sinθ1＝|Z₁₁-Z₁₂|/Y1；

所述一组双目摄像头的仰角θ1的余弦函数值为：

Cosθ1＝|Y₁₁-Y₁₂|/Y1，

所述另一组空间坐标包括另一组双目摄像头的左摄像头投影中心为原点的仰角分别为θ2和0°下的摄像头坐标系O-x₂y₂z₂和O-x′₂y′₂z′₂，仰角θ2是主光轴Oz₂与主光轴Oz′₂的夹角，摄像头坐标系O-x₂y₂z₂中的点的坐标(X₂，Y₂，Z₂)转换为摄像头坐标系O-x′₂y′₂z′₂中的点的坐标(X′₂，Y′₂，Z′₂)，满足以下关系式：

X′₂＝X₂；

Y′₂＝Y₂cosθ2-Z₂sinθ2；

Z′₂＝Y₂sinθ2+Z₂cosθ2；

与主光轴Oz′₂垂直的标定参照物平面即实际的三维安全警示区域中监控物体平面上X₂/X′₂为0的情况下的长度为Y2的垂直线段L₂，与主光轴Oz₂和主光轴Oz′₂分别相交，垂直线段L₂的上端点在摄像头坐标系O-x₂y₂z₂下的坐标为(X₂₁，Y₂₁，Z₂₁)，下端点在摄像头坐标系O-x₂y₂z₂下的坐标为(X₂₂，Y₂₂，Z₂₂)，

所述另一组双目摄像头的仰角θ2的正弦函数值为：

Sinθ2＝|Z₂₁-Z₂₂|/Y2；

所述另一组双目摄像头的仰角θ2的余弦函数值为：

Cosθ2＝|Y₂₁-Y₂₂|/Y2；

所述立体监控应用模块还包括仰角计算模块、坐标转换模块、安全立体平面划定模块，以及报警模块；

所述平面靶标标定模块和所述仰角计算模块在对三维安全警示区域进行实时监测前完成平面靶标标定和仰角计算，其他模块都在对三维安全警示区域进行实时监测时工作，所述安全立体平面划定模块确定安全警戒区域的警戒平面约束限制和安全距离后，将警戒平面约束限制和安全距离传递给报警模块，即退出实时监测；

所述平面靶标标定模块分别与所述立体匹配模块、所述深度计算模块连接，为立体匹配模块提供参数和行对准图像用于立体匹配，为深度计算模块提供焦距，成像中心点坐标信息用于深度计算；

所述立体匹配模块与所述深度计算模块连接，为深度计算模块提供用于计算深度的视差值；

所述深度计算模块分别与所述仰角计算模块、坐标转换模块连接，所述仰角计算模块用深度计算模块提供的标定参照物平面的坐标信息计算正余弦值，并将其提供给坐标转换模块用于坐标转换；

所述坐标转换模块分别与所述仰角计算模块、安全立体平面划定模块和报警模块连接，所述仰角计算模块为所述坐标转换模块提供坐标转换所需的正余弦值，所述安全立体平面划定模块和报警模块使用所述坐标转换模块转换后的点坐标建立三维安全警示区域的各个平面的平面限制约束，实时监测物体至三维安全警示区域各个警戒平面的距离，决定是否报警；

所述安全立体平面划定模块与所述报警模块连接，为所述报警模块提供三维安全警示区域的区域限制约束，待监测物体超过区域限制约束即物体的点至三维安全警示区域的平面距离小于安全距离时，所述报警模块进行声光报警；

这种立体视觉系统实时监控三维安全警示区域的应用包括以下步骤：

1)标定获取两组双目摄像头的内外参数

通过所述平面靶标标定模块标定两组双目摄像头，获取两组双目摄像头的内外参数，包括基线距、焦距和摄像头的成像中心点坐标；

2)将两组双目摄像头分别放置于三维安全警示区域中两个垂直相交即正交的平面外；

3)立体匹配获取视差图并实时计算包括深度图的空间坐标

两组双目摄像头进行立体匹配操作，分别获取视差图，基于双目三角测量原理利用立体标定获取的双目摄像头内外参数和获取的视差图进行实时计算两组包括深度图的空间坐标；

4)确定双目摄像头仰角

通过所述仰角计算模块分别确定两组双目摄像头的仰角θ1和θ2；

5)转换坐标系

通过所述坐标转换模块将实时计算包括深度图的摄像头坐标系转换为仰角为0°的坐标系，即将两组双目摄像头仰角为θ1和θ2的摄像头坐标系分别转换为以各组双目摄像头的左摄像头投影中心为原点的仰角为0°的摄像头坐标系；

6)划定三维安全警示区域

观察待检测区域，划定保护物体的三维安全警示区域，确立安全警戒距离；

7)实时监测物体至三维安全警示区域各个警戒平面的距离

对三维安全警示区域内的物体实时监控，实时计算其深度图空间坐标，并与三维安全警示区域的警戒平面作比较，判定物体与三维安全警示区域各个警戒平面的距离是否小于安全距离，同时对三维安全警示区域以外的物体的空间坐标清零，以减少如有物体在三维安全警示区域安全距离外与摄像头之间对监控的干扰；

8)如果物体进入三维安全警示区域内，且物体与三维安全警示区域警戒平面的距离是否小于安全距离，监控系统发出声光警报。

6.如权利要求5所述的立体视觉系统实时监控三维安全警示区域的应用，其特征在于：

所述步骤2)的两个垂直相交即正交的平面的选择，与接受监测的立体空间即三维安全警示区域中的物体的正面和侧面相对应，即每组双目摄像头只监控接受监测的立体空间即三维安全警示区域的四个平面：正对的平面及其两侧的平面，以及上方的平面，以有效检测进入接受监测的立体空间即三维安全警示区域的物体，且即使某一组双目摄像头前有物体部分遮挡监控时，另一组双目摄像头仍然可以对接受监测的立体空间即三维安全警示区域进行有效监控。

7.如权利要求5或6所述的立体视觉系统实时监控三维安全警示区域的应用，其特征在于：

所述安全立体平面划定模块是立体带电空间划定模块，用于变电站施工环境监测。

8.如权利要求7所述的立体视觉系统实时监控三维安全警示区域的应用，其特征在于：

所述步骤8)的声光警报，是根据距离三维安全警示区域警戒平面远近发出不同的声光警报报警声，以体现危及安全的不同程度。

Images