CN102609724B - 一种基于双摄像头的周围环境信息提示方法 - Google Patents

Abstract

本发明提供一种基于双目摄像头的周围环境信息提示方法，其主要特点为：(1)由双目摄像头(即两个分开一定距离的摄像头)对环境进行取景；(2)将获取到的图像在处理器中进行处理，进行背景差分，模式识别等算法；(3)算法是经过优化了的，对实时性有良好的支持；(4)根据处理和识别的结果，通过语音和传感器等设备进行提示。本发明达到帮助盲人的目的，为盲人的出行方面提供很大的便利。

Description

一种基于双摄像头的周围环境信息提示方法

技术领域

本发明涉及提醒周围环境的路况信息的技术领域，尤其涉及是一种基于双摄像头的周围环境信息提示方法。

背景技术

目前人们一直在致力于发展对残障人士的关爱和保障，但是现在很多道路上的盲道由于各种原因往往会出现了破损的状况，为盲人的出行带来了不便。对于现如今日益复杂的交通道路状况，盲人的出行更成了很困难的问题。

本发明即是想利用两个摄像头来获取周围环境的各种信息，通过语音震动等方式回馈给使用者的周围环境信息提示设备。这个设备通过优化识别和匹配算法，能为使用者实时的提醒周围的路况，在盲人的出行方面提供很大的便利。盲人行走速度不会很快，所以可以利用这个时间进行快速的识别和匹配，来达到帮助盲人的目的。

发明内容

本发明要解决的技术问题为：提供一种基于双摄像头的周围环境信息提示方法，其通过双摄像头获取周围物体距离信息，然后进行语音和传感器提示的电子便携式设备，并且其中涉及模式识别和快速匹配的优化算法，达到帮助盲人的目的，为盲人的出行方面提供很大的便利。

本发明解决上述技术问题采用的技术方案为：一种基于双摄像头的周围环境信息提示方法，其步骤如下：

步骤(1)摄像机会提取前方的图像，进行图像压缩后，然后对图像进行背景差分和模式匹配；

步骤(2)实时背景差分：对摄像机传入的图像差分出移动的前景和不变的背景，因为整套系统是在缓慢移动的，所以要保证差分算法的实时性；

步骤(3)优化模式匹配：对摄像机传入的图像进行模式匹配，由于分辨率较低，模式匹配算法需要再现有条件下进行模糊匹配；

步骤(4)匹配之后，根据匹配出的物体外形，提示使用者物体的信息。

本发明与现有技术相比的优点在于：

1、成本低，本方法对摄像头要求比较低，并不需要专门的深度摄像头，而是用两个很便宜的网络摄像头组成，所以是用算法来换取成本。

2、效率高，借助高效的视觉库和自己优化后，运行效率值得期待。

附图说明

图1为平行双目测量图示的示意图；

图2为训练、检测用矩形的示意图；

图3为处理器工作流程图。

具体实施方式

下面结合附图及具体实施方式对本发明进行详细说明，但本发明的保护范围并不仅限于下面实施例，应包括权利要求书中的全部内容。

一种基于双摄像头的周围环境信息提示方法，其步骤如下：

步骤(1)摄像机会提取前方的图像，进行图像压缩后，然后对图像进行背景差分和模式匹配；

双目成像可获得同一场景的两幅不同图像，当两个摄像头参数(摄像头的焦距f)相同且光心平行放于一条直线上时，构成平行双目立体视觉系统，通过对各个部分的几何关系的分析，可以获取目标物的距离信息。图1是一个典型的双目视觉测量系统。两台摄像头沿基线相距B，其光轴平行于Z轴，图像平面与xy平面平行。假设三维空间一点V(X，Y，Z)在左、右两个像平面上的投影分别是Pl(x1，y1)和Pr(x2，y2)，则视差定义为d＝|pl-pr|＝|x2-x1|。由相似三角形关系可得到：

Z＝B·f/d＝B·f/(|x2-x1|·dx)                (1)

其中d x表示每一像素在X轴方向上的物理单位。Z即是点V到摄像头的距离(即物体到两个摄像头中心连线的距离)。

步骤(2)实时背景差分：对摄像机传入的图像差分出移动的前景和不变的背景，因为整套系统是在缓慢移动的，所以要保证差分算法的实时性；

具体可由混合高斯模型背景差分进行分析：

混合高斯模型使用K(基本为3到5个)个高斯模型来表征图像中各个像素点的特征，在新一帧图像获得后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，如果成功则判定该点为背景点，否则为前景点。通观整个高斯模型，他主要是有方差和均值两个参数决定，对均值和方差的学习，采取不同的学习机制，将直接影响到模型的稳定性、精确性和收敛性。由于是对运动目标的背景提取建模，因此需要对高斯模型中方差和均值两个参数实时更新。为提高模型的学习能力，改进方法对均值和方差的更新采用不同的学习率；为提高在繁忙的场景下，大而慢的运动目标的检测效果，引入权值均值的概念，建立背景图像并实时更新，然后结合权值、权值均值和背景图像对像素点进行前景和背景的分类。具体更新公式如下：

μt＝(1-ρ)μt-1+ρxt  (1)

σ2t＝(1-ρ)σ2t-1+ρ(xt-μt)T(xt-μt)  (2)

ρ＝αη(xt|μκ，σκ)  (3)

|xt-μt-1|≤2.5σt-1 (4)

w k，t＝(1-α)w k，t-1+αMk，t  (5)

式中ρ为学习率，即反映当前图像融入背景的速率。

步骤(3)优化模式匹配：对摄像机传入的图像进行模式匹配，由于分辨率较低，模式匹配算法需要在现有条件下进行模糊匹配。

首先，利用样本(大约几百幅样本图片)的haar特征进行分类器训练，得到一个级联的boosted分类器。训练样本分为正例样本和反例样本，其中正例样本是指待检目标样本(例如人脸或汽车等)，反例样本指其它任意图片，所有的样本图片都被归一化为同样的尺寸大小(例如，20x20)。其中，haar特征分为三类：边缘特征、线性特征、中心特征和对角线特征，组合成特征模板。特征模板内有白色和黑色两种矩形，并定义该模板的特征值为白色矩形像素和减去黑色矩形像素和。在确定了特征形式后haar-like特征的数量就取决于训练样本图像矩阵的大小，特征模板在子窗口内任意放置，一种形态称为一种特征，找出所有子窗口的特征是进行弱分类训练的基础。

分类器训练完以后，就可以应用于输入图像中的感兴趣区域(与训练样本相同的尺寸)的检测。检测到目标区域(汽车或人脸)分类器输出为1，否则输出为0。为了检测整副图像，可以在图像中移动搜索窗口，检测每一个位置来确定可能的目标。为了搜索不同大小的目标物体，分类器被设计为可以进行尺寸改变，这样比改变待检图像的尺寸大小更为有效。所以，为了在图像中检测未知大小的目标物体，扫描程序通常需要用不同比例大小的搜索窗口对图片进行几次扫描。

分类器中的“级联”是指最终的分类器是由几个简单分类器级联组成。在图像检测中，被检窗口依次通过每一级分类器，这样在前面几层的检测中大部分的候选区域就被排除了，全部通过每一级分类器检测的区域即为目标区域。目前支持这种分类器的boosting技术有四种：Discrete Adaboost，Real Adaboost，Gentle Adaboost and Logitboost。″boosted″即指级联分类器的每一层都可以从中选取一个boosting算法(权重投票)，并利用基础分类器的自我训练得到。基础分类器是至少有两个叶结点的决策树分类器。Haar特征是基础分类器的输入，主要描述如下。目前的算法主要利用下面的Harr特征。

每个特定分类器所使用的特征用形状、感兴趣区域中的位置以及比例系数(这里的比例系数跟检测时候采用的比例系数是不一样的，尽管最后会取两个系数的乘积值)来定义。例如在第二行特征(2c)的情况下，响应计算为复盖全部特征整个矩形框(包括两个白色矩形框和一个黑色矩形框)象素的和减去黑色矩形框内象素和的三倍。每个矩形框内的象素和都可以通过积分图象很快的计算出来。

步骤(4)匹配之后，根据匹配出的物体外形，提示使用者物体的信息。

例如可以利用文本转语音进行提醒，下面是VC库中的一个例子，调用vc库函数发出

系统将根据以上函数来生成语音提示。

本发明未详细阐述的部分属于本领域公知技术。

Claims (1)

1.一种基于双目摄像头的周围环境信息提示方法，其特征在于：其步骤如下：

步骤（1）、两个摄像头会提取前方的图像，进行图像压缩后，然后对图像进行背景差分和模式匹配；其中，

双目成像获得同一场景的两幅不同图像，当两个摄像头参数相同且光心平行放于一条直线上时,构成平行双目立体视觉系统,通过对各个部分的几何关系的分析,能够获取目标物的距离信息，其中，摄像头的焦距为f，两个摄像头沿基线相距B，其光轴平行于Z轴，图像平面与xy平面平行，假设三维空间一点V(X,Y,Z)在左、右两个像平面上的投影分别是Pl(x1,y1)和Pr(x2,y2)，则视差定义为d=|Pl-Pr|=|x2-x1|，由相似三角形关系可得到：

Z=B·f/d=B·f/(|x2-x1|·dx)          (1)

其中dx表示每一像素在X轴方向上的物理单位，Z即是点V到摄像头的距离，即物体到两个摄像头中心连线的距离；

步骤（2）、实时背景差分：对摄像机传入的图像差分出移动的前景和不变的背景，因为整套系统是在缓慢移动的，所以要保证差分算法的实时性；具体由混合高斯模型背景差分进行分析：

混合高斯模型使用K个高斯模型来表征图像中各个像素点的特征,在新一帧图像获得后更新混合高斯模型,用当前图像中的每个像素点与混合高斯模型匹配,如果成功则判定该点为背景点,否则为前景点，通观整个高斯模型，其主要是有方差和均值两个参数决定，对均值和方差的学习,采取不同的学习机制,将直接影响到模型的稳定性、精确性和收敛性，由于是对运动目标的背景提取建模，因此需要对高斯模型中方差和均值两个参数实时更新，为提高模型的学习能力,改进方法对均值和方差的更新采用不同的学习率；为提高在繁忙的场景下,大而慢的运动目标的检测效果,引入权值均值的概念,建立背景图像并实时更新，然后结合权值、权值均值和背景图像对像素点进行前景和背景的分类；

步骤（3）、优化模式匹配：对摄像机传入的图像进行模式匹配，由于分辨率较低，模式匹配算法需要在现有条件下进行模糊匹配；其中，

首先，利用样本的haar特征进行分类器训练，得到一个级联的boosted分类器，其中，haar特征分为三类：边缘特征；线性特征；中心特征和对角线特征，组合成特征模板，特征模板内有白色和黑色两种矩形，并定义该模板的特征值为白色矩形像素和减去黑色矩形像素和，在确定了特征形式后haar-like特征的数量就取决于训练样本图像矩阵的大小，特征模板在子窗口内任意放置，一种形态称为一种特征，找出所有子窗口的特征是进行弱分类训练的基础；

分类器训练完以后，应用于输入图像中的感兴趣区域的检测，检测到目标区域分类器输出为1，否则输出为0，为了检测整副图像，在图像中移动搜索窗口，检测每一个位置来确定可能的目标；

步骤（4）、匹配之后，根据匹配出的物体外形，提示使用者物体的信息。

Images