CN110309785B - 一种基于图像识别技术的导盲机器人控制方法 - Google Patents

一种基于图像识别技术的导盲机器人控制方法 Download PDF

Info

Publication number
CN110309785B
CN110309785B CN201910596020.2A CN201910596020A CN110309785B CN 110309785 B CN110309785 B CN 110309785B CN 201910596020 A CN201910596020 A CN 201910596020A CN 110309785 B CN110309785 B CN 110309785B
Authority
CN
China
Prior art keywords
image
template
vector
vectors
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910596020.2A
Other languages
English (en)
Other versions
CN110309785A (zh
Inventor
孙启城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910596020.2A priority Critical patent/CN110309785B/zh
Publication of CN110309785A publication Critical patent/CN110309785A/zh
Application granted granted Critical
Publication of CN110309785B publication Critical patent/CN110309785B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Pain & Pain Management (AREA)
  • Animal Behavior & Ethology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Rehabilitation Therapy (AREA)
  • Acoustics & Sound (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一种基于图像识别技术的导盲机器人控制方法，具体步骤包括：步骤一：通过寻线传感器器识别路线；步骤二:通过图像采集传感器、红外传感器和超声波传感器获取前方路况信息，避开障碍物；步骤三：进行语音导航，引导操作者前行。本发明方法通过利用图像数据、红外线传感器数据和超声波传感器综合判断前方障碍物的类型，并且创造性的提出在判断过程中，首先根据图像数据进行初步判断，确定可能的物体，然后再借助红外线传感器数据和超声波传感器数据进行准确判断，确定最终物体，效率和精准性均大大提高。

Description

一种基于图像识别技术的导盲机器人控制方法
技术领域
本发明涉及自动化控制技术领域，具体涉及一种基于图像识别技术的导盲机器人控制方法及系统。
背景技术
盲人作为社会中的弱势群体，在我国约有500万左右，我国盲人占全世界盲人总数的18％，占全国人口的3.8‰左右，也就是说平均每100万人口中就有3800人是盲人。由于目不能视，他们在日常生活的各方面都极为不便，他们需要全社会的关心与帮助。目前用于盲人的导盲装置主要有盲杖以及导盲犬，盲杖价格低廉容易普及，但它导盲能力及其有限，不能很好满足盲人日常生活的需要。导盲犬虽然有着较强的导盲能力，但成本太高，无法大量普及。
发明内容
本发明针对现有技术的不足，提出一种基于图像识别技术，它能对物体进行识别，并告知盲人前方物体的类别、距离、方位等信息，带着盲人“看”世界,为盲人提供语音导盲服务，并且该机器人还具备自我导航和避障功能的基于图像识别技术的导盲机器人控制方法及系统，具体技术方案如下：
一种基于图像识别技术的导盲机器人控制方法，具体步骤包括：
步骤一：通过寻线传感器识别路线；
步骤二:通过图像采集传感器、红外传感器和超声波传感器获取前方路况信息，避开障碍物；
步骤三：进行语音导航，引导操作者前行。
为更好的实现本发明，进一步为：
所述步骤二具体为：
2.1通过图像采集传感器采集前方图像数据；
2.2提取前方图像数据的特征值；
2.3与预设的图像数据库匹配；
2.4建立可能的物体集合；
2.5根据图像特征数据、红外传感器检测数据和超声波传感器检测数据获取的相似度匹配值进行加权处理，通过权值的高低，确定最终的物体。
所述步骤2.3具体的匹配方法为，假设每一个特征类别是由它的特征来表示的，假设第i类物体的第j个特征值表示为fij，对于一个未知物体，其特征表示为Si，该物体和第i类的相似性由下式给出：
其中，wj是第j个特征的权值，权值的选择是以特征的相对重要性为基础的，第j个特征相似值是sj，它可以是绝对差、规范化差或其它距离测量值，用下式并考虑同特征一起使用的权值规范化；
sj＝|uj-fij|
如果Sk是最高相似度值，则标记物体为k类，此方法没有使用特征之间的任何联系。
所述步骤2.3具体的匹配方法为，一个物体用特征之间的联系来表示，物体可能被表示为一个图形，图形的每一节点都表示一个物体，弧线连结节点表示物体之间的联系，因此，物体识别问题可以认为是图形匹配问题，
一个图形匹配问题定义如下：有两个图形G1和G2，包含Nij个节点，其中i表示图形数，j表示节点数，节点j和节点k之间的联系表示为Rjk，在图形上定义一个相似性测量值，该测量值包含了所有节点和函数的相似性。
所述步骤2.3具体的匹配方法为具体为，为了从图像中确定出是否存在某一目标，可把某目标从标准图像中预先分割出来作为全局描述的模板，然后在另一幅图像中搜索是否有这种目标模板，
设全图像f(x,y)大小为M×N，若目标模板是J×K大小的w(x,y)，用相关度R(m,n)来表示它们之间的相关性：
式中，m＝0,1,2…,M-1；n＝0,1,2,…,N-1，
进一步，规格化相关度：
上式中设模板模板所框出范围都是j,k从1到J,K计算，而(m,n)则为f(x,y)的MN小区中任一点，式中f1(x,y)是f(x,y)在(m,n)点框出JK大小的f(x,y)区，当m，n改变时，可搜索到一个R(m,n)最大值即为模板模板配准或匹配的位置。
若图像和目标模板模板用f和w1向量表示，则相关度计算为：
式中w1为w(j-m,k-n)形成的向量，
用向量描述模板，则相关匹配用求向量差的方法求相关度，用相似度作为模板与图像某子区的匹配量度，把图像被J×K框出部分用向量表示，模板也用向量表示，这时两个向量相似度可用两个向量的向量差为相似度的一种度量，差值D(m,n)
D(m,n)是被搜索到的图像场x(j,k)和模板w差，规定一个最小向量差的阈值T，若D(m,n)＜T，则说明在(m,n)位置上匹配，向量仅为J×K维，
图像待识别部分和模板都用特征向量表示，则向量的维数大为减少，用不变矩描述时，则f(j,k)和w(j,k)特征向量只有7维，即
x＝(x11,x12,x13,x14,x15,x16,x17)
w＝(w11,w12,w13,w14,w15,w16,w17)
x和w向量差可用差向量的范数来表示：
D(x,w)＝||x-w||2
若图像中已分割出L个目标物，求其中是否有目标物w，则只需求出L个
Dj(x,w)＝||w-xj||2j＝1,2,…,L
选出其中最小的一个Dj，即为与w相似的图像。
本发明的有益效果为：本发明方法通过利用图像数据、红外线传感器数据和超声波传感器综合判断前方障碍物的类型，并且创造性的提出在判断过程中，首先根据图像数据进行初步判断，确定可能的物体，然后再借助红外线传感器数据和超声波传感器数据进行准确判断，确定最终物体，效率和精准性均大大提高。
具体实施方式
下面对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
实施例一：一种基于图像识别技术的导盲机器人控制方法，具体步骤包括：
步骤一：通过寻线传感器识别路线，具体为本实施例中采用巡线导航，我们将两个Qti巡线传感器相对于两前轮的对称中心对称安装，保证车身对称中心始终相切于黑色线条，两Qti巡线传感器距离大于黑色线条1mm，留出识别误区波动。地面接近白色。单片机通过IO口实时读取Qti巡线传感器识别的结果。将Qti巡线传感器返回值与其对应IO口进行二进制与运算(QTI1＝P1&0x3c，QTI2＝P2&0xc0)，识别到黑色为1，白色为0。再将运算值返回到动作程序中，动作程序将根据不同结果做出相应反应。当左右两个Qti巡线传感器都为0，即两边都是识别的白色，机器人继续前进。当左边Qti巡线传感器为1，右边Qti巡线传感器为0，即左边探测到黑色，右边探测到白色，车身偏右，机器人向左转1度。该判断行为是连续实时过程，因此机器人能实现智能巡线。
步骤二:通过图像采集传感器、红外传感器和超声波传感器获取前方路况信息，避开障碍物；具体为；
2.1通过图像采集传感器采集前方图像数据；
2.2提取前方图像数据的特征值；
2.3与预设的图像数据库匹配；
所述步骤2.3具体的匹配方法为，假设每一个特征类别是由它的特征来表示的，假设第i类物体的第j个特征值表示为fij，对于一个未知物体，其特征表示为Si，该物体和第i类的相似性由下式给出：
其中，wj是第j个特征的权值，权值的选择是以特征的相对重要性为基础的，第j个特征相似值是sj，它可以是绝对差、规范化差或其它距离测量值，用下式并考虑同特征一起使用的权值规范化；
sj＝|uj-fij|
如果Sk是最高相似度值，则标记物体为k类，此方法没有使用特征之间的任何联系。
2.4建立可能的物体集合；
2.5根据图像特征数据、红外传感器检测数据和超声波传感器检测数据获取的相似度匹配值进行加权处理，通过权值的高低，确定最终的物体。
步骤三：进行语音导航，引导操作者前行。
实施例二：在其它步骤与实施例一相同的情形下，作为优化：
所述步骤2.3具体的匹配方法为，一个物体用特征之间的联系来表示，物体可能被表示为一个图形，图形的每一节点都表示一个物体，弧线连结节点表示物体之间的联系，因此，物体识别问题可以认为是图形匹配问题，
一个图形匹配问题定义如下：有两个图形G1和G2，包含Nij个节点，其中i表示图形数，j表示节点数，节点j和节点k之间的联系表示为Rjk，在图形上定义一个相似性测量值，该测量值包含了所有节点和函数的相似性。
实施例三：在其它步骤与实施例一相同的情形下，作为优化：
所述步骤2.3具体的匹配方法为具体为，为了从图像中确定出是否存在某一目标，可把某目标从标准图像中预先分割出来作为全局描述的模板，然后在另一幅图像中搜索是否有这种目标模板，
设全图像f(x,y)大小为M×N，若目标模板是J×K大小的w(x,y)，用相关度R(m,n)来表示它们之间的相关性：
式中，m＝0,1,2…,M-1；n＝0,1,2,…,N-1，
进一步，规格化相关度：
上式中设模板所框出范围都是j,k从1到J,K计算，而(m,n)则为f(x,y)的MN小区中任一点，式中f1(x,y)是f(x,y)在(m,n)点框出JK大小的f(x,y)区，当m，n改变时，可搜索到一个R(m,n)最大值即为模板配准或匹配的位置。
若图像和目标模板用f和w1向量表示，则相关度计算为：
式中w1为w(j-m,k-n)形成的向量，
用向量描述模板，则相关匹配可以用求向量差的方法求相关，如用相似度作为模板与图像某子区的匹配量度，把图像被J×K框出部分用向量表示，模板也用向量表示，这时两个向量相似度可用两个向量的向量差为相似度的一种度量，差值D(m,n)
D(m,n)是被搜索到的图像场x(j,k)和模板w差，规定一个最小向量差的阈值T，若D(m,n)＜T，则说明在(m,n)位置上匹配，向量仅为J×K维，
图像待识别部分和模板都用特征向量表示，则向量的维数大为减少，用不变矩描述时，则f(j,k)和w(j,k)特征向量只有7维，即
x＝(x11,x12,x13,x14,x15,x16,x17)
w＝(w11,w12,w13,w14,w15,w16,w17)
x和w向量差可用差向量的范数来表示：
D(x,w)＝||x-w||2
若图像中已分割出L个目标物，求其中是否有目标物w，则只需求出L个
Dj(x,w)＝||w-xj||2j＝1,2,…,L
选出其中最小的一个Dj，即为与w相似的图像。

Claims (1)

1.一种基于图像识别技术的导盲机器人控制方法，其特征在于，具体步骤包括：
步骤一：通过寻线传感器识别路线；
步骤二:通过图像采集传感器、红外传感器和超声波传感器获取前方路况信息，避开障碍物；
具体为：
2.1通过图像采集传感器采集前方图像数据；
2.2提取前方图像数据的特征值；
2.3与预设的图像数据库匹配；
所述步骤2.3具体的匹配方法为，为了从图像中确定出是否存在某一目标，把某目标从标准图像中预先分割出来作为全局描述的模板，然后在另一幅图像中搜索是否有这种目标模板；
设全图像f(x,y)大小为M×N，若目标模板是J×K大小的w(x,y)，用相关度R(m,n)来表示它们之间的相关性：
式中，m＝0,1,2…,M-1；n＝0,1,2,…,N-1，
进一步，规格化相关度：
上式中设模板所框出范围都是j,k从1到J,K计算，而(m,n)则为f(x,y)的MN小区中任一点，式中f1(x,y)是f(x,y)在(m,n)点框出JK大小的f(x,y)区，当m，n改变时，可搜索到一个R(m,n)最大值即为模板配准或匹配的位置；
若图像和目标模板用f和w1向量表示，则相关度计算为：
式中w1为w(j-m,k-n)形成的向量，
用向量描述模板，则相关匹配用求向量差的方法求相关度，用相似度作为模板与图像某子区的匹配量度，把图像被J×K框出部分用向量表示，模板也用向量表示，这时两个向量相似度用两个向量的向量差为相似度的一种度量，差值D(m,n)
D(m,n)是被搜索到的图像场x(j,k)和模板w差，规定一个最小向量差的阈值T，若D(m,n)＜T，则说明在(m,n)位置上匹配，向量仅为J×K维，
图像待识别部分和模板都用特征向量表示，则向量的维数大为减少，用不变矩描述时，则x(j,k)和w(j,k)特征向量只有7维，即
x＝(x11,x12,x13,x14,x15,x16,x17)
w＝(w11,w12,w13,w14,w15,w16,w17)
x和w向量差用差向量的范数来表示：
D(x,w)＝||x-w||2
若图像中已分割出L个目标物，求其中是否有目标物w，则只需求出L个
Dj(x,w)＝||w-xj||2j＝1,2,…,L”
选出其中最小的一个Dj，即为与w相似的图像；
2.4建立可能的物体集合；
2.5根据图像特征数据、红外传感器检测数据和超声波传感器检测数据获取的相似度匹配值进行加权处理，通过权值的高低，确定最终的物体；
步骤三：进行语音导航，引导操作者前行。
CN201910596020.2A 2019-07-03 2019-07-03 一种基于图像识别技术的导盲机器人控制方法 Active CN110309785B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910596020.2A CN110309785B (zh) 2019-07-03 2019-07-03 一种基于图像识别技术的导盲机器人控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910596020.2A CN110309785B (zh) 2019-07-03 2019-07-03 一种基于图像识别技术的导盲机器人控制方法

Publications (2)

Publication Number Publication Date
CN110309785A CN110309785A (zh) 2019-10-08
CN110309785B true CN110309785B (zh) 2023-10-20

Family

ID=68078951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910596020.2A Active CN110309785B (zh) 2019-07-03 2019-07-03 一种基于图像识别技术的导盲机器人控制方法

Country Status (1)

Country Link
CN (1) CN110309785B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111609851B (zh) * 2020-05-28 2021-09-24 北京理工大学 一种移动型导盲机器人系统及导盲方法
CN111930127B (zh) * 2020-09-02 2021-05-18 广州赛特智能科技有限公司 一种机器人障碍物识别及避障方法
CN112347953B (zh) * 2020-11-11 2021-09-28 上海伯镭智能科技有限公司 无人驾驶车辆路况不规则障碍物的识别装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770583A (zh) * 2010-01-15 2010-07-07 华中科技大学 一种基于场景全局特征的模板匹配方法
CN104008379A (zh) * 2014-06-16 2014-08-27 河南科技大学 一种基于surf特征的物体识别方法
CN106265004A (zh) * 2016-10-08 2017-01-04 西安电子科技大学 多传感器智能盲人指路方法与装置
CN107703935A (zh) * 2017-09-12 2018-02-16 安徽胜佳和电子科技有限公司 多个数据权重融合进行避障的方法、存储装置及移动终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007255977A (ja) * 2006-03-22 2007-10-04 Nissan Motor Co Ltd 物体検出方法および物体検出装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770583A (zh) * 2010-01-15 2010-07-07 华中科技大学 一种基于场景全局特征的模板匹配方法
CN104008379A (zh) * 2014-06-16 2014-08-27 河南科技大学 一种基于surf特征的物体识别方法
CN106265004A (zh) * 2016-10-08 2017-01-04 西安电子科技大学 多传感器智能盲人指路方法与装置
CN107703935A (zh) * 2017-09-12 2018-02-16 安徽胜佳和电子科技有限公司 多个数据权重融合进行避障的方法、存储装置及移动终端

Also Published As

Publication number Publication date
CN110309785A (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
CN109460709B (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN110309785B (zh) 一种基于图像识别技术的导盲机器人控制方法
CN110344621B (zh) 一种面向智能车库的车轮点云检测方法
CN107563372B (zh) 一种基于深度学习ssd框架的车牌定位方法
CN109800658B (zh) 基于神经网络的泊车位类型在线识别与定位系统及方法
CN105224947A (zh) 分类器训练方法和系统
CN103942546A (zh) 一种城市环境中导向交通标线识别系统及方法
Wei et al. Research on lane detection and tracking algorithm based on improved hough transform
García-Garrido et al. Robust traffic signs detection by means of vision and V2I communications
CN113327297B (zh) 基于深度学习的深海海底障碍物测量系统与识别方法
CN104778699A (zh) 一种自适应对象特征的跟踪方法
CN111460891A (zh) 一种面向自动驾驶的车路协同行人重识别方法和系统
Kellner et al. Multi-cue, model-based detection and mapping of road curb features using stereo vision
KR20160081190A (ko) 카메라를 이용한 보행자 인식 방법 및 그 기록 매체
Florbäck et al. Offline object matching and evaluation process for verification of autonomous driving
CN116611603B (zh) 一种车辆路径调度方法、装置、计算机及存储介质
CN106650814B (zh) 一种基于车载单目视觉室外道路自适应分类器生成方法
CN104966064A (zh) 基于视觉的前方行人测距方法
Liu et al. Research on security of key algorithms in intelligent driving system
CN112163521A (zh) 一种车辆行驶行为的识别方法、装置及设备
Makris et al. Probabilistic integration of intensity and depth information for part-based vehicle detection
CN114152955A (zh) 一种基于slam技术的障碍物高精度识别系统
Amini et al. New approach to road detection in challenging outdoor environment for autonomous vehicle
Li et al. Real time obstacle estimation based on dense stereo vision for robotic lawn mowers
CN108860016B (zh) 一种机器人智能教练辅助驾驶系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant