CN101853399B - 利用计算机视觉技术进行盲道和人行横道实时检测的方法 - Google Patents

Abstract

本发明一种利用计算机视觉技术进行盲道和人行横道实时检测的方法，包括如下步骤：一、采集盲道的图像数据，采集盲道周围环境的图像数据；采集人行横道的图像数据，采集人行横道周围环境的图像数据；二、利用仿射变换模型，通过模型中参数的随机变换，对步骤一采集到的盲道和人行横道的图像数据进行仿射变换，生成新的盲道和人行横道图像数据，和采集的盲道和人行横道的图像数据一起构成正样本集和反样本集；三、运用步骤二建立的正样本集和反样本集进行分类器训练，生成对盲道的分类器和对人行横道的分类器；四、对实际拍摄的图像进行检测，从图像中检测出所需要的目标，并对检测结果进行后处理，得到目标的位置和走向。

Description

利用计算机视觉技术进行盲道和人行横道实时检测的方法

技术领域

本发明属于自动电子导盲技术领域，特别涉及一种利用计算机视觉技术进行盲道和人行横道实时检测的方法。

背景技术

据国家权威部门统计，中国是世界盲人最多的国家，约有500万，占全世界盲人口的18％，同时，每年我国新增45万盲人，对于如此庞大的人群，如何提高他们的生活质量，已经受到越来越多的人关注，为了改善因身体残疾对他们造成的生活不变，在中国的很多城市都设置了针对盲人的便利服务设备，同时越来越多的旨在提高他们生活质量的设备被发明和制造。

目前导盲方法和装置已经有很多，按照感应器类型可分为：红外、超声波、超声波与摄像机结合和仅利用摄像机。在发明专利申请名称为“导盲仪”(申请号200610166352.X，公开号CN 100998531A)的专利中利用超声波检测盲人周围是否有障碍物；在发明专利申请名称为“基于运动物体跟踪的导盲方法及装置”(申请号200810201253.X，公开号CN101385677A)的专利中利用摄像头拍摄周围环境，运用DSP进行处理，计算出周围环境中运动目标的运动信息，并利用特定的声音将该信息传递给盲人；发明专利申请名称为“基于DSP的路牌识别导盲装置及其方法”(申请号200910053318.5，公开号CN 101584624A)的专利中运用DSP进行路牌识别，主要是对路牌上的字符进行提取和识别；发明专利名称为“一种导盲镜”(申请号200520048220.8，授权公告号CN 2860442Y)中介绍了一种导盲眼镜，其中说明了该导盲眼镜的组成，并没有说明其所用的具体导盲方法；发明专利名称为“电子导盲手杖”(申请号200820001855.6，授权公告号CN 201139688Y)中运用摄像头对周围环境中的活动或固定的障碍物进行判断；发明专利申请名称为“导盲器”(申请号200510110741.6，公开号CN 1969781A)中提出了一种基于机器学习的算法，对周围环境中的物件构建一个数据库，它运用超声和双摄像头对周围物件进行拍摄，当拍摄到的物件在数据库中时对其进行识别，如果不在数据库中时，就对其进行学习加入到数据库中。

上述导盲装置和方法都是对盲人周围的障碍物或者运动物体进行检测，以提醒盲人避障，它们并不针对盲道和人行横道作检测。现今城市大多都铺上了盲道，盲道是为盲人提供行路方便和安全的道路设施，主要由条形引导砖铺成，只要将盲人引导到盲道上，他们就可以根据盲道砖来获得路况信息，因此本发明提出一种能够检测盲道、统计盲道方位信息并引导盲人走上盲道的导盲方法。该方法通过摄像头对周围环境进行拍摄，运用检测算法对盲道进行实时检测，以引导盲人准确走到盲道上；同样本发明还能引导盲人准确走到人行横道上。

本发明与上述运动物体检测、路牌检测等专利采用了不同的方法：本发明运用基于训练的方法，对盲道特征进行学习和训练；为了让检测结果具有仿射不变性，采用了人工生成和实际采集数据相结合的方式来构造训练样本集；人工生成数据的方法是：建立一个仿射模型，随机改变模型参数，得到若干模拟实际拍摄效果的数据，这样以来实现了样本数据的多样性，同时也减小了人工采集样本的工作量。

发明内容

本发明的目的在于提供一种利用计算机视觉技术进行盲道和人行横道实时检测的方法，以解决现有技术中存在的缺陷，本发明方法通过摄像头对周围环境进行拍摄，运用检测算法对盲道进行实时检测，以引导盲人准确走到盲道上；同样本发明还能引导盲人准确走到人行横道上。

盲道是现在城市中大范围使用的导盲物件，盲人在盲道上行走可以通过对脚底盲道砖块形状的变化来感知周围的路况。本发明提出一种可检测盲道以及人行横道的导盲方法，该方法可以进行形状不变性检测，使其可以实时的检测出位于任何角度的盲道和人行横道，对它们的位置和走向进行快速的判定。

本发明的技术方案：该方法包含如下步骤：

[1]、采集盲道的图像数据，采集盲道周围环境(其中包括人行横道)的图像数据；采集人行横道的图像数据，采集人行横道周围环境(其中包括盲道)的图像数据；

[2]、利用第[1]步采集的图像数据按照如下步骤建立正样本集和反样本集：

(2.1)、建立仿射变换模型，通过模型中参数的随机变换，对采集的盲道图像数据和采集的人行横道图像数据进行仿射变换，生成新的盲道图像数据和新的人行横道图像数据；

(2.2)、采集的盲道图像数据和新生成的盲道图像数据一起构成盲道正样本集，采集的盲道周围环境数据(即非盲道数据)构成盲道反样本集；

(2.3)、采集的人行横道图像数据和新生成的人行横道图像数据一起构成人行横道正样本集，采集的人行横道周围环境数据(即非人行横道数据)构成人行横道反样本集。

[3]、运用第[2]步建立的正样本集和反样本集按照如下步骤进行分类器训练，生成对盲道的分类器和对人行横道的分类器：

(3.1)、将盲道和人行横道的正样本集和反样本集中的数据都归一化为同样尺寸的图像样本数据；

(3.2)、对于第(3.1)步得到的样本数据，采用矩形特征模板计算样本的特征值，矩形特征模板由黑白相间的矩形图案组成，样本的特征值等于模板中白色区域所覆盖的像素之和减去模板中黑色区域所覆盖的像素之和。通过改变矩形特征模板在图像样本上的大小和位置，计算出图像样本的N个特征值(N＞1)；如图2所示，对于图2中的A、B、D这三种模板，样本的特征值等于模板中白色区域所覆盖的像素之和减去模板中黑色区域所覆盖的像素之和；对于图2中的C模板，样本的特征值等于模板中白色区域所覆盖的像素之和减去模板中黑色区域所覆盖的像素之和的2倍；将黑色区域像素和乘以2是为了使C模板中黑白两色的矩形区域像素数目一致。

(3.3)对于盲道样本的每一个特征值f(i)，i＝1，...，N，利用盲道正样本集和盲道反样本集进行训练得到一个分类器C(i)，i＝1，...，N，该分类器使全部的r个盲道正样本都能被正确归类到盲道正样本集；同时使最大数量的盲道反样本被正确归类到盲道反样本集，这个最大数量的盲道反样本计为e(i)，而反样本总数计为w(w＞e(i))；

(3.4)、从第(3.3)步得到的N个分类器中选择一个分类器C(t(1))，该分类器是使e(i)取值最大的分类器，即e(t(1))＝max{e(i)，i＝1，...，N}；

(3.5)、从盲道反样本集中去除被第(3.4)步所正确归类的e(t(1))个盲道反样本，使盲道反样本集中样本的个数减少到w-e(t(1))个；

(3.6)、返回第(3.3)步，并利用从第(3.5)步得到的新的盲道反样本集和原先的盲道正样本集一起重新进行分类器训练，得到一个新的分类器C(t(2))；依次类推，直到第m次循环得到分类器C(t(m))，使盲道反样本集中样本的个数减少到零；

(3.7)、将上述步骤得到的m个分类器C(t(1))，...，C(t(m))级联起来形成一个分级的分类器，作为最终对盲道的分类器；

(3.8)、利用人行横道样本再次执行第(3.3)步到第(3.7)步，生成对人行横道的分类器。

[4]、运用生成的盲道分类器和人行横道分类器对实际拍摄的图像进行检测，从图像中检测出所需要的目标(盲道和人行横道)，并对检测结果进行如下后处理：

(4.1)、对检测到的目标区域运用形态学方法进行处理，剔除其中的错误检测点，然后计算检测区域的质心作为目标的位置信息；

(4.2)、对运用形态学处理后的目标区域作霍特林变换，得到目标形状的主方向和次方向；其中主方向作为目标(盲道和人行横道)的走向。

上述步骤中所涉及的概念归纳说明如下：

[1]仿射变换模型：用如下公式所表达的数学模型：

x’＝a x+b y+c；

y’＝d x+e y+f；

其中(x，y)是初始的图像点坐标，(x’，y’)是经过仿射变换的图像点坐标；a、b、c、d、e、f是可以随机变换的六个模型参数。

[2]分类器：一种映射关系，能将输入的样本映射到正样本集或反样本集。

[3]形态学：计算机视觉领域中一种公知的数学处理方法。

[4]霍特林变换：计算机视觉领域中一种公知的数学变换方法，又称为K-L变换。

本发明一种利用计算机视觉技术进行盲道和人行横道实时检测的方法，其优点及功效在于：本发明能实时检测所拍摄图像中的盲道和人行横道，引导盲人安全的行进。本发明的方法对于拍摄角度的变化具有很好的稳定性：对于正面拍摄和侧面拍摄的图像数据，本发明的方法都能准确的检测出盲道的位置和走向。通过改变样本集的数据，本发明的方法可以得到用于检测其它目标的分类器，因而本发明具有很好的扩展性。

附图说明

图1是本发明所述方法的流程图，其中“目标”是指盲道或人行横道；

图2是步骤(3.2)中所使用的矩形特征模板图，其中A、B、C、D是使用的四种模板；

具体实施方式

本发明可以在嵌入式系统上实现，这样更加便于盲人携带，同时可以有效的降低功耗。该系统由以下模块构成：数据采集模块、数据处理模块和语言提示模块。数据采集模块主要用于对周围环境的图像数据进行采集；数据处理模块用于对采集的图像进行检测，寻找盲道或人行横道；语言提示模块根据检测信息引导盲人行走。

本发明的一个具体实施方式包含如下步骤：

[1]、采集盲道的图像数据，采集盲道周围环境(其中包括人行横道)的图像数据；采集人行横道的图像数据，采集人行横道周围环境(其中包括盲道)的图像数据；

[2]、利用第[1]步采集的图像数据按照如下步骤建立正样本集和反样本集：

(2.1)、建立仿射变换模型，通过模型中参数的随机变换，对采集的盲道图像数据和采集的人行横道图像数据进行仿射变换，生成新的盲道图像数据和新的人行横道图像数据；

(2.2)、采集的盲道图像数据和新生成的盲道图像数据一起构成盲道正样本集，采集的盲道周围环境数据(即非盲道数据)构成盲道反样本集；

(2.3)、采集的人行横道图像数据和新生成的人行横道图像数据一起构成人行横道正样本集，采集的人行横道周围环境数据(即非人行横道数据)构成人行横道反样本集。

[3]、运用第[2]步建立的正样本集和反样本集按照如下步骤进行分类器训练，生成对盲道的分类器和对人行横道的分类器：分类器的具体训练算法可以有多种选择，比如利用AdaBoost算法等。

(3.1)、将盲道和人行横道的正样本集和反样本集中的数据都归一化为同样尺寸的图像样本数据；

(3.2)、对于第(3.1)步得到的样本数据，采用矩形特征模板计算样本的特征值，矩形特征模板由黑白相间的矩形图案组成，样本的特征值等于模板中白色区域所覆盖的像素之和减去模板中黑色区域所覆盖的像素之和。通过改变矩形特征模板在图像样本上的大小和位置，计算出图像样本的N个特征值(N＞1)；如图2所示，对于图2中的A、B、D这三种模板，样本的特征值等于模板中白色区域所覆盖的像素之和减去模板中黑色区域所覆盖的像素之和；对于图2中的C模板，样本的特征值等于模板中白色区域所覆盖的像素之和减去模板中黑色区域所覆盖的像素之和的2倍；将黑色区域像素和乘以2是为了使C模板中黑白两色的矩形区域像素数目一致。

(3.3)对于盲道样本的每一个特征值f(i)，i＝1，...，N，利用盲道正样本集和盲道反样本集进行训练得到一个分类器C(i)，i＝1，...，N，该分类器使全部的r个盲道正样本都能被正确归类到盲道正样本集；同时使最大数量的盲道反样本被正确归类到盲道反样本集，这个最大数量的盲道反样本计为e(i)，而反样本总数计为w(w＞e(i))；

(3.4)、从第(3.3)步得到的N个分类器中选择一个分类器C(t(1))，该分类器是使e(i)取值最大的分类器，即e(t(1))＝max{e(i)，i＝1，...，N}；

(3.5)、从盲道反样本集中去除被第(3.4)步所正确归类的e(t(1))个盲道反样本，使盲道反样本集中样本的个数减少到w-e(t(1))个；

(3.6)、返回第(3.3)步，并利用从第(3.5)步得到的新的盲道反样本集和原先的盲道正样本集一起重新进行分类器训练，得到一个新的分类器C(t(2))；依次类推，直到第m次循环得到分类器C(t(m))，使盲道反样本集中样本的个数减少到零；

(3.7)、将上述步骤得到的m个分类器C(t(1))，...，C(t(m))级联起来形成一个分级的分类器，作为最终对盲道的分类器；

(3.8)、利用人行横道样本再次执行第(3.3)步到第(3.7)步，生成对人行横道的分类器。

[4]、运用生成的盲道分类器和人行横道分类器对实际拍摄的图像进行检测，从图像中检测出所需要的目标(盲道和人行横道)，并对检测结果进行如下后处理：

(4.1)、对检测到的目标区域运用形态学方法进行处理，剔除其中的错误检测点，然后计算检测区域的质心作为目标的位置信息；

(4.2)、对运用形态学处理后的目标区域作霍特林变换，得到目标形状的主方向和次方向；其中主方向作为目标(盲道和人行横道)的走向。

上述步骤中所涉及的概念归纳说明如下：

[1]仿射变换模型：用如下公式所表达的数学模型：

x’＝a x+b y+c；

y’＝d x+e y+f；

其中(x，y)是初始的图像点坐标，(x’，y’)是经过仿射变换的图像点坐标；a、b、c、d、e、f是可以随机变换的六个模型参数。

[2]分类器：一种映射关系，能将输入的样本映射到正样本集或反样本集。

[3]形态学：计算机视觉领域中一种公知的数学处理方法。

[4]霍特林变换：计算机视觉领域中一种公知的数学变换方法，又称为K-L变换。

Claims (3)

1.一种利用计算机视觉技术进行盲道和人行横道实时检测的方法，其特征在于：该方法包括如下步骤：

步骤一、采集盲道的图像数据，采集盲道周围环境的图像数据；采集人行横道的图像数据，采集人行横道周围环境的图像数据；

步骤二、利用仿射变换模型，通过模型中参数的随机变换，对步骤一采集到的盲道和人行横道的图像数据进行仿射变换，生成新的盲道和人行横道图像数据，和采集的盲道和人行横道的图像数据一起构成正样本集和反样本集；

步骤三、运用步骤二建立的正样本集和反样本集进行分类器训练，生成对盲道的分类器和对人行横道的分类器；

步骤四、将生成的分类器数据导入到嵌入式系统中，对实际拍摄的图像进行检测，从图像中检测出所需要的目标，并对检测结果进行后处理，得到目标的位置和走向；

其中，所述步骤三具体按如下步骤实现：

(1)、将盲道和人行横道的正样本集和反样本集中的数据都归一化为同样尺寸的图像样本数据；

(2)、对于第(1)步得到的样本数据，采用矩形特征模板计算样本的特征值，矩形特征模板由黑白相间的矩形图案组成，样本的特征值等于模板中白色区域所覆盖的像素之和减去模板中黑色区域所覆盖的像素之和；通过改变矩形特征模板在图像样本上的大小和位置，计算出图像样本的N个特征值，其中，N＞1；

(3)对于盲道样本的每一个特征值f(i)，i＝1，...，N，利用盲道正样本集和盲道反样本集进行训练得到一个分类器C(i)，i＝1，...，N，该分类器使全部的r个盲道正样本都能被正确归类到盲道正样本集；同时使最大数量的盲道反样本被正确归类到盲道反样本集，这个最大数量的盲道反样本计为e(i)，而反样本总数计为w，其中，w＞e(i)；

(4)、从第(3)步得到的N个分类器中选择一个分类器C(t(1))，该分类器是使e(i)取值最大的分类器，即e(t(1))＝max{e(i)，i＝1，...，N}；

(5)、从盲道反样本集中去除被第(4)步所正确归类的e(t(1))个盲道反样本，使盲道反样本集中样本的个数减少到w-e(t(1))个；

(6)、返回第(3)步，并利用从第(5)步得到的新的盲道反样本集和原先的盲道正样本集一起重新进行分类器训练，得到一个新的分类器C(t(2))；依次类推，直到第m次循环得到分类器C(t(m))，使盲道反样本集中样本的个数减少到零；

(7)、将上述步骤得到的m个分类器C(t(1))，...，C(t(m))级联起来形成一个分级的分类器，作为最终对盲道的分类器；

(8)、利用人行横道样本再次执行第(3)步到第(7)步，生成对人行横道的分类器。

2.根据权利要求1所述的利用计算机视觉技术进行盲道和人行横道实时检测的方法，其特征在于：所述步骤二具体按如下步骤实现：

(1)、建立仿射变换模型，通过模型中参数的随机变换，对采集的盲道图像数据和采集的人行横道图像数据进行仿射变换，生成新的盲道图像数据和新的人行横道图像数据；

(2)、采集的盲道图像数据和新生成的盲道图像数据一起构成盲道正样本集，采集的盲道周围环境数据即非盲道数据，构成盲道反样本集；

(3)、采集的人行横道图像数据和新生成的人行横道图像数据一起构成人行横道正样本集，采集的人行横道周围环境数据即非人行横道数据，构成人行横道反样本集。

3.根据权利要求1所述的利用计算机视觉技术进行盲道和人行横道实时检测的方法，其特征在于：所述步骤四中的后处理，具体如下：

(1)、对检测到的目标区域运用形态学方法进行处理，剔除其中的错误检测点，然后计算检测区域的质心作为目标的位置信息；

(2)、对运用形态学处理后的目标区域作霍特林变换，得到目标形状的主方向和次方向；其中主方向作为目标的走向。

Images