CN110309785A - 一种基于图像识别技术的导盲机器人控制方法 - Google Patents

Abstract

一种基于图像识别技术的导盲机器人控制方法，具体步骤包括：步骤一：通过寻线传感器器识别路线；步骤二:通过图像采集传感器、红外传感器和超声波传感器获取前方路况信息，避开障碍物；步骤三：进行语音导航，引导操作者前行。本发明方法通过利用图像数据、红外线传感器数据和超声波传感器综合判断前方障碍物的类型，并且创造性的提出在判断过程中，首先根据图像数据进行初步判断，确定可能的物体，然后再借助红外线传感器数据和超声波传感器数据进行准确判断，确定最终物体，效率和精准性均大大提高。

Description

一种基于图像识别技术的导盲机器人控制方法

技术领域

本发明涉及自动化控制技术领域，具体涉及一种基于图像识别技术的导盲机器人控制方法及系统。

背景技术

盲人作为社会中的弱势群体，在我国约有500万左右，我国盲人占全世界盲人总数的18％，占全国人口的3.8‰左右，也就是说平均每100万人口中就有3800人是盲人。由于目不能视，他们在日常生活的各方面都极为不便，他们需要全社会的关心与帮助。目前用于盲人的导盲装置主要有盲杖以及导盲犬，盲杖价格低廉容易普及，但它导盲能力及其有限，不能很好满足盲人日常生活的需要。导盲犬虽然有着较强的导盲能力，但成本太高，无法大量普及。

发明内容

本发明针对现有技术的不足，提出一种基于图像识别技术，它能对物体进行识别，并告知盲人前方物体的类别、距离、方位等信息，带着盲人“看”世界,为盲人提供语音导盲服务，并且该机器人还具备自我导航和避障功能的基于图像识别技术的导盲机器人控制方法及系统，具体技术方案如下：

一种基于图像识别技术的导盲机器人控制方法，具体步骤包括：

步骤一：通过寻线传感器器识别路线；

步骤二:通过图像采集传感器、红外传感器和超声波传感器获取前方路况信息，避开障碍物；

步骤三：进行语音导航，引导操作者前行。

为更好的实现本发明，进一步为：

所述步骤二具体为；

2.1通过图像采集传感器采集前方图像数据；

2.2提取前方图像数据的特征值；

2.3与预设的图像数据库匹配；

2.4建立可能的物体集合；

2.5根据图像特征数据、红外传感器检测数据和超声波传感器检测数据获取的相似度匹配值进行加权处理，通过权值的高低，确定最终的物体。

所述步骤2.3具体的匹配方法为，假设每一个特征类别是由它的特征来表示的，假设第i类物体的第j个特征值表示为f_ij，对于一个未知物体，其特征表示为S_i，该物体和第i类的相似性由下式给出：

其中，w_j是第j个特征的权值，权值的选择是以特征的相对重要性为基础的，第j个特征相似值是s_j，它可以是绝对差、规范化差或其它距离测量值，用下式并考虑同特征一起使用的权值规范化；

s_j＝|u_j-f_ij|

如果S_k是最高相似度值，则标记物体为k类，此方法没有使用特征之间的任何联系。

所述步骤2.3具体的匹配方法为，一个物体用特征之间的联系来表示，物体可能被表示为一个图形，图形的每一节点都表示一个物体，弧线连结节点表示物体之间的联系，因此，物体识别问题可以认为是图形匹配问题，

一个图形匹配问题定义如下：有两个图形G₁和G₂，包含N_ij个节点，其中i表示图形数，j表示节点数，节点j和节点k之间的联系表示为R_jk，在图形上定义一个相似性测量值，该测量值包含了所有节点和函数的相似性。

所述步骤2.3具体的匹配方法为具体为，为了从图像中确定出是否存在某一目标，可把某目标从标准图像中预先分割出来作为全局描述的模板，然后在另一幅图像中搜索是否有这种模板目标，

设全图像f(x,y)大小为M×N，若目标模板是J×K大小的w(x,y)，用相关度量R(x,y)来表示它们之间的相关性：

式中，m＝0,1,2…,M-1；n＝0,1,2,…,N-1，

进一步，规格化相关度：

上式中设样板所框出范围都是j,k从1到J,K计算，而(m,n)则为f(x,y)的MN 小区中任一点，式中f1(x,y)是f(x,y)在(m,n)点框出JK大小的f(x,y)区，当m，n 改变时，可搜索到一个R(m,n)最大值即为样板配准或匹配的位置。

若图像和目标样板用f和w₁向量表示，则相关计算为：

式中w₁为w(j-m,k-n)形成的向量，

用向量描述模板，则相关匹配可以用求向量差的方法求相关，如用相似度作为模板与图像某子区的匹配量度，把图像被J×K框出部分用向量表示，模板也用向量表示，这时两个向量相似度可用两个向量的向量差为相似度的一种度量，差值D(m,n)

D(m,n)是被搜索到的图像场f(j,k)和样板w差，规定一个最小向量差的阈值T，若D(m,n)＜T，则说明在(m,n)位置上匹配，向量仅为J×K维，

图像待识别部分和样板都用特征向量表示，则向量的维数大为减少，用不变矩描述时，则f(j,k)和w(j,k)特征向量只有7维，即

x＝(x₁₁,x₁₂,x₁₃,x₁₄,x₁₅,x₁₆,x₁₇)

w＝(w₁₁,w₁₂,w₁₃,w₁₄,w₁₅,w₁₆,w₁₇)

X和W向量差可用差向量的范数来表示：

DJ(x,w)＝||x-w||2＝(x-w)T(x-w)

若图像中已分割出L个目标物，求其中是否有目标物W，则只需求出L个

Dj(x,w)＝||w-xj||2j＝1,2,…,L

选出其中最小的一个Dj，即为与w相似的图像。

本发明的有益效果为：本发明方法通过利用图像数据、红外线传感器数据和超声波传感器综合判断前方障碍物的类型，并且创造性的提出在判断过程中，首先根据图像数据进行初步判断，确定可能的物体，然后再借助红外线传感器数据和超声波传感器数据进行准确判断，确定最终物体，效率和精准性均大大提高。

具体实施方式

下面对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

实施例一：一种基于图像识别技术的导盲机器人控制方法，具体步骤包括：

步骤一：通过寻线传感器器识别路线，具体为本实施例中采用巡线导航，我们将两个Qti巡线传感器相对于两前轮的对称中心对称安装，保证车身对称中心始终相切于黑色线条，两Qti巡线传感器距离大于黑色线条1mm，留出识别误区波动。地面接近白色。单片机通过IO口实时读取Qti巡线传感器识别的结果。将Qti巡线传感器传感器返回值与其对应IO口进行二进制与运算 (QTI1＝P1&0x3c，QTI2＝P2&0xc0)，识别到黑色为1，白色为0。再将运算值返回到动作程序中，动作程序将根据不同结果做出相应反应。当左右两个Qti巡线传感器都为0，即两边都是识别的白色，机器人继续前进。当左边Qti巡线传感器为1，右边Qti巡线传感器为0，即左边探测到黑色，右边探测到白色，车身偏右，机器人向左转1度。该判断行为是连续实时过程，因此机器人能实现智能巡线。

步骤二:通过图像采集传感器、红外传感器和超声波传感器获取前方路况信息，避开障碍物；具体为；

2.1通过图像采集传感器采集前方图像数据；

2.2提取前方图像数据的特征值；

2.3与预设的图像数据库匹配；

所述步骤2.3具体的匹配方法为，假设每一个特征类别是由它的特征来表示的，假设第i类物体的第j个特征值表示为f_ij，对于一个未知物体，其特征表示为S_i，该物体和第i类的相似性由下式给出：

其中，w_j是第j个特征的权值，权值的选择是以特征的相对重要性为基础的，第j个特征相似值是s_j，它可以是绝对差、规范化差或其它距离测量值，用下式并考虑同特征一起使用的权值规范化；

s_j＝|u_j-f_ij|

如果S_k是最高相似度值，则标记物体为k类，此方法没有使用特征之间的任何联系。

2.4建立可能的物体集合；

2.5根据图像特征数据、红外传感器检测数据和超声波传感器检测数据获取的相似度匹配值进行加权处理，通过权值的高低，确定最终的物体。

步骤三：进行语音导航，引导操作者前行。

实施例二：在其它步骤与实施例一相同的情形下，作为优化：

所述步骤2.3具体的匹配方法为，一个物体用特征之间的联系来表示，物体可能被表示为一个图形，图形的每一节点都表示一个物体，弧线连结节点表示物体之间的联系，因此，物体识别问题可以认为是图形匹配问题，

一个图形匹配问题定义如下：有两个图形G₁和G₂，包含N_ij个节点，其中i表示图形数，j表示节点数，节点j和节点k之间的联系表示为R_jk，在图形上定义一个相似性测量值，该测量值包含了所有节点和函数的相似性。

实施例三：在其它步骤与实施例一相同的情形下，作为优化：

所述步骤2.3具体的匹配方法为具体为，为了从图像中确定出是否存在某一目标，可把某目标从标准图像中预先分割出来作为全局描述的模板，然后在另一幅图像中搜索是否有这种模板目标，

设全图像f(x,y)大小为M×N，若目标模板是J×K大小的w(x,y)，用相关度量R(x,y)来表示它们之间的相关性：

式中，m＝0,1,2…,M-1；n＝0,1,2,…,N-1，

进一步，规格化相关度：

上式中设样板所框出范围都是j,k从1到J,K计算，而(m,n)则为f(x,y)的MN 小区中任一点，式中f1(x,y)是f(x,y)在(m,n)点框出JK大小的f(x,y)区，当m，n 改变时，可搜索到一个R(m,n)最大值即为样板配准或匹配的位置。

若图像和目标样板用f和w₁向量表示，则相关计算为：

式中w₁为w(j-m,k-n)形成的向量，

用向量描述模板，则相关匹配可以用求向量差的方法求相关，如用相似度作为模板与图像某子区的匹配量度，把图像被J×K框出部分用向量表示，模板也用向量表示，这时两个向量相似度可用两个向量的向量差为相似度的一种度量，差值D(m,n)

D(m,n)是被搜索到的图像场f(j,k)和样板w差，规定一个最小向量差的阈值 T，若D(m,n)＜T，则说明在(m,n)位置上匹配，向量仅为J×K维，

图像待识别部分和样板都用特征向量表示，则向量的维数大为减少，用不变矩描述时，则f(j,k)和w(j,k)特征向量只有7维，即

x＝(x₁₁,x₁₂,x₁₃,x₁₄,x₁₅,x₁₆,x₁₇)

w＝(w₁₁,w₁₂,w₁₃,w₁₄,w₁₅,w₁₆,w₁₇)

X和W向量差可用差向量的范数来表示：

DJ(x,w)＝||x-w||2＝(x-w)T(x-w)

若图像中已分割出L个目标物，求其中是否有目标物W，则只需求出L个

Dj(x,w)＝||w-xj||2j＝1,2,…,L

选出其中最小的一个Dj，即为与w相似的图像。

Claims (5)

1.一种基于图像识别技术的导盲机器人控制方法，其特征在于，具体步骤包括：

步骤一：通过寻线传感器器识别路线；

步骤二:通过图像采集传感器、红外传感器和超声波传感器获取前方路况信息，避开障碍物；

步骤三：进行语音导航，引导操作者前行。

2.根据权利要求1所述基于图像识别技术的导盲机器人控制方法，其特征在于：所述步骤二具体为；

2.1 通过图像采集传感器采集前方图像数据；

2.2 提取前方图像数据的特征值；

2.3 与预设的图像数据库匹配；

2.4 建立可能的物体集合；

2.5 根据图像特征数据、红外传感器检测数据和超声波传感器检测数据获取的相似度匹配值进行加权处理，通过权值的高低，确定最终的物体。

3.根据权利要求2所述基于图像识别技术的导盲机器人控制方法，其特征在于：所述步骤2.3具体的匹配方法为，假设每一个特征类别是由它的特征来表示的，假设第i类物体的第j个特征值表示为f_ij，对于一个未知物体，其特征表示为S_i，该物体和第i类的相似性由下式给出：

其中，w_j是第j个特征的权值，权值的选择是以特征的相对重要性为基础的，第j个特征相似值是s_j，它可以是绝对差、规范化差或其它距离测量值，用下式并考虑同特征一起使用的权值规范化；

s_j＝|u_j-f_ij|

如果S_k是最高相似度值，则标记物体为k类，此方法没有使用特征之间的任何联系。

4.根据权利要求2所述基于图像识别技术的导盲机器人控制方法，其特征在于：所述步骤2.3具体的匹配方法为，一个物体用特征之间的联系来表示，物体可能被表示为一个图形，图形的每一节点都表示一个物体，弧线连结节点表示物体之间的联系，因此，物体识别问题可以认为是图形匹配问题，

一个图形匹配问题定义如下：有两个图形G₁和G₂，包含N_ij个节点，其中i表示图形数，j表示节点数，节点j和节点k之间的联系表示为R_jk，在图形上定义一个相似性测量值，该测量值包含了所有节点和函数的相似性。

5.根据权利要求2所述基于图像识别技术的导盲机器人控制方法，其特征在于：所述步骤2.3具体的匹配方法为具体为，为了从图像中确定出是否存在某一目标，可把某目标从标准图像中预先分割出来作为全局描述的模板，然后在另一幅图像中搜索是否有这种模板目标，

设全图像f(x,y)大小为M×N，若目标模板是J×K大小的w(x,y)，用相关度量R(x,y)来表示它们之间的相关性：

式中，m＝0,1,2…,M-1；n＝0,1,2,…,N-1，

进一步，规格化相关度：

上式中设样板所框出范围都是j,k从1到J,K计算，而(m,n)则为f(x,y)的MN小区中任一点，式中f1(x,y)是f(x,y)在(m,n)点框出JK大小的f(x,y)区，当m，n改变时，可搜索到一个R(m,n)最大值即为样板配准或匹配的位置。

若图像和目标样板用f和w₁向量表示，则相关计算为：

式中w₁为w(j-m,k-n)形成的向量，

用向量描述模板，则相关匹配可以用求向量差的方法求相关，如用相似度作为模板与图像某子区的匹配量度，把图像被J×K框出部分用向量表示，模板也用向量表示，这时两个向量相似度可用两个向量的向量差为相似度的一种度量，差值D(m,n)

D(m,n)是被搜索到的图像场f(j,k)和样板w差，规定一个最小向量差的阈值T，若D(m,n)＜T，则说明在(m,n)位置上匹配，向量仅为J×K维，

图像待识别部分和样板都用特征向量表示，则向量的维数大为减少，用不变矩描述时，则f(j,k)和w(j,k)特征向量只有7维，即

x＝(x₁₁,x₁₂,x₁₃,x₁₄,x₁₅,x₁₆,x₁₇)

w＝(w₁₁,w₁₂,w₁₃,w₁₄,w₁₅,w₁₆,w₁₇)

X和W向量差可用差向量的范数来表示：

DJ(x,w)＝||x-w||2＝(x-w)T(x-w)

若图像中已分割出L个目标物，求其中是否有目标物W，则只需求出L个

Dj(x,w)＝||w-xj||2j＝1,2,…,L

选出其中最小的一个Dj，即为与w相似的图像。