CN109009902B - 导盲杖及导盲方法 - Google Patents

导盲杖及导盲方法 Download PDF

Info

Publication number
CN109009902B
CN109009902B CN201710454296.8A CN201710454296A CN109009902B CN 109009902 B CN109009902 B CN 109009902B CN 201710454296 A CN201710454296 A CN 201710454296A CN 109009902 B CN109009902 B CN 109009902B
Authority
CN
China
Prior art keywords
target
blind guiding
user
guiding stick
book
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710454296.8A
Other languages
English (en)
Other versions
CN109009902A (zh
Inventor
李月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201710454296.8A priority Critical patent/CN109009902B/zh
Priority to US16/070,440 priority patent/US10914591B2/en
Priority to EP17899232.7A priority patent/EP3639807A4/en
Priority to PCT/CN2017/116499 priority patent/WO2018227910A1/zh
Publication of CN109009902A publication Critical patent/CN109009902A/zh
Application granted granted Critical
Publication of CN109009902B publication Critical patent/CN109009902B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/061Walking aids for blind persons with electronic detecting or guiding means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/068Sticks for blind persons
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/067Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
    • G06K19/07Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
    • G06K19/0723Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips the record carrier comprising an arrangement for non-contact communication, e.g. wireless communication circuits on transponder cards, non-contact smart cards or RFIDs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10009Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
    • G06K7/10297Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves arrangements for handling protocols designed for non-contact record carriers such as RFIDs NFCs, e.g. ISO/IEC 14443 and 18092
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10009Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
    • G06K7/10366Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves the interrogation device being adapted for miscellaneous applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10009Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
    • G06K7/10366Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves the interrogation device being adapted for miscellaneous applications
    • G06K7/10376Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves the interrogation device being adapted for miscellaneous applications the interrogation device being adapted for being moveable
    • G06K7/10386Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves the interrogation device being adapted for miscellaneous applications the interrogation device being adapted for being moveable the interrogation device being of the portable or hand-handheld type, e.g. incorporated in ubiquitous hand-held devices such as PDA or mobile phone, or in the form of a portable dedicated RFID reader
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/061Walking aids for blind persons with electronic detecting or guiding means
    • A61H2003/063Walking aids for blind persons with electronic detecting or guiding means with tactile perception
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/74Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems
    • G01S13/75Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems using transponders powered from received waves, e.g. using passive transponders, or using passive reflectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003Transmission of data between radar, sonar or lidar systems and remote stations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Toxicology (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Rehabilitation Therapy (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Public Health (AREA)
  • Pain & Pain Management (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种导盲杖及导盲方法,属于智能设备领域。所述导盲杖包括:运动组件和物件获取组件,所述物件获取组件设置在所述运动组件上,所述运动组件与所述物件获取组件电连接,所述物件获取组件用于在用户到达目标空间后,获取目标物件的位置信息,并根据所述位置信息所指示的目标位置和所述导盲杖当前所在的初始位置,确定导航路线;所述运动组件用于按照所述导航路线指引所述用户到达所述目标位置。本发明解决了目前的导盲杖的功能较单一的问题。本发明用于导盲。

Description

导盲杖及导盲方法
技术领域
本发明涉及智能设备领域,特别涉及一种导盲杖及导盲方法。
背景技术
盲人是一个特殊的生活群体,视力有限和观看不便,给盲人的生活带来较多的困扰。为了更好地帮助盲人(或视力受损的用户),出现了导盲杖。导盲杖以其便捷智能等优点受到了广泛关注。
相关技术中,导盲杖包括探测模块和定位模块,探测模块用于实时探测路面的障碍物,并将探测结果传达给盲人,帮助盲人避开障碍物。定位模块用于确定起点到终点的路线,并按照该路线指引盲人抵达终点,比如图书馆、超市等。
但是,目前的导盲杖的功能较单一。
发明内容
为了解决相关技术中导盲杖的功能较单一的问题,本发明实施例提供了一种导盲杖及导盲方法。所述技术方案如下:
第一方面,提供了一种导盲杖,所述导盲杖包括:运动组件和物件获取组件,
所述物件获取组件设置在所述运动组件上,所述运动组件与所述物件获取组件电连接,
所述物件获取组件用于在用户到达目标空间后,获取目标物件的位置信息,并根据所述位置信息所指示的目标位置和所述导盲杖当前所在的初始位置,确定导航路线;
所述运动组件用于按照所述导航路线指引所述用户到达所述目标位置。
可选的,所述物件获取组件还用于在所述用户到达所述目标位置时,在所述运动组件的带动下指引所述用户获取所述目标物件。
可选的,所述导盲杖还包括通信模块,所述通信模块设置在所述运动组件上,所述通信模块与所述物件获取组件电连接,
所述通信模块用于在获取到所述用户触发的操作指令时,向服务器发送物件获取请求信息,所述操作指令用于指示获取所述目标物件,所述物件获取请求信息包括所述目标物件的标识;
所述通信模块还用于接收所述服务器发送的所述目标物件的位置信息,并向所述物件获取组件发送所述位置信息。
可选的,所述导盲杖还包括信息采集模块和转换模块,所述信息采集模块和所述转换模块分别与所述通信模块连接,
所述信息采集模块用于获取所述用户输入的物件关键词,并将所述物件关键词通过所述通信模块发送至所述服务器;
所述信息采集模块还用于通过所述通信模块接收所述服务器发送的推荐信息,所述推荐信息包括所述物件关键词所指示的物件的标识;
所述通信模块还用于将所述推荐信息发送至所述转换模块;
所述转换模块用于将所述推荐信息转换为第一语音信号,所述第一语音信号用于提示所述用户通过所述信息采集模块选取所述目标物件。
可选的,所述物件获取组件包括导航模块和物件定位模块,所述运动组件包括运动底盘,所述物件定位模块设置在所述运动底盘的顶部,
所述导航模块用于确定所述初始位置,根据所述目标位置和所述初始位置确定导航路线,并将所述导航路线发送至所述运动底盘;
所述物件定位模块用于从所述目标空间内的物件中确定所述目标物件,并在所述运动底盘的带动下指引所述用户获取所述目标物件。
可选的,所述导航模块包括射频识别RFID阅读器、激光雷达和第一处理模块,所述RFID阅读器和所述激光雷达分别与所述第一处理模块连接,所述目标空间设置有m个RFID无源标签,所述m个RFID无源标签位于不同位置,所述m为大于1的整数,
所述RFID阅读器和所述m个RFID无源标签用于估计所述导盲杖在所述目标空间的二维栅格地图上的第一坐标;
所述激光雷达用于向周边环境的障碍物发射探测信号,根据返回的探测信号获取所述激光雷达的雷达数据,所述雷达数据包括所述障碍物相对于所述激光雷达的距离和方向;
所述第一处理模块用于基于所述第一坐标和所述雷达数据,采用粒子滤波算法确定所述导盲杖在所述二维栅格地图上的第二坐标,并根据所述第二坐标确定所述初始位置;
所述第一处理模块还用于根据所述目标位置和所述初始位置确定所述导航路线,并将所述导航路线发送至所述运动底盘。
可选的,所述RFID阅读器用于在所述导盲杖移动过程中,根据检测到的RFID无源标签的信号强度值,从所述m个RFID无源标签中筛选出信号强度值为前n名的所述n个RFID无源标签,所述n为整数,且n<m;
所述RFID阅读器还用于通过所述通信模块将所述n个RFID无源标签中每个RFID无源标签的标识发送至所述服务器,并通过所述通信模块接收所述服务器发送的对应RFID无源标签的标签坐标,所述标签坐标为RFID无源标签在所述目标空间的二维栅格地图上的坐标;
所述RFID阅读器还用于根据所述n个RFID无源标签中每个RFID无源标签的标签坐标,以及所述每个RFID无源标签与所述导盲杖在所述二维栅格地图上的距离,采用极大似然估计法估计所述导盲杖在所述二维栅格地图上的第一坐标。
可选的,所述目标空间为图书馆,所述目标物件为目标书籍,所述位置信息包括所述目标书籍在书架上的位置的信息,所述目标书籍的标识包括所述目标书籍的分类编号,
所述物件定位模块包括纵向伸缩机构、智能摄像头和横向伸缩机构,所述智能摄像头与所述转换模块连接,
所述纵向伸缩机构用于根据所述位置信息带动所述智能摄像头纵向移动至所述目标书籍在书架上的位置;
所述智能摄像头用于在所述运动底盘的带动下横向移动,对所述书架上的书籍的分类编号进行识别,并在识别的分类编号与所述目标书籍的分类编号相同时,指示所述横向伸缩机构延伸至所述目标书籍上;
所述智能摄像头还用于指示所述转换模块发出第二语音信号,所述第二语音信号用于提示所述用户拿取所述目标书籍。
可选的,所述信息采集模块还与所述物件定位模块连接,
所述信息采集模块还用于在接收到所述用户触发的确认指令时,指示所述物件定位模块恢复至初始状态。
可选的,所述导盲杖还包括导盲扶手,所述导盲扶手设置有振动器和急停按钮,所述振动器与所述导航模块连接,所述急停按钮与所述运动底盘连接,
所述导航模块还用于在探测到所述导盲杖前方存在障碍物时,指示所述振动器产生振动,以便于带动所述导盲扶手振动;
所述急停按钮被按下时能够控制所述运动底盘运动或停止。
可选的,所述运动底盘包括运动平台、滚轮、驱动器和控制器,所述控制器与所述物件获取组件电连接,
所述滚轮设置在所述运动平台的底部,所述控制器用于按照所述导航路线对所述驱动器进行控制,所述驱动器用于驱动所述滚轮移动。
第二方面,提供了一种导盲方法,用于导盲杖,所述方法包括:
在用户到达目标空间后,获取目标物件的位置信息;
根据所述位置信息所指示的目标位置和所述导盲杖当前所在的初始位置,确定导航路线;
按照所述导航路线指引所述用户到达所述目标位置。
可选的,所述方法还包括:
在所述用户到达所述目标位置时,指引所述用户获取所述目标物件。
可选的,所述获取目标物件的位置信息,包括:
在获取到所述用户触发的操作指令时,向服务器发送物件获取请求信息,所述操作指令用于指示获取所述目标物件,所述物件获取请求信息包括所述目标物件的标识;
接收所述服务器发送的所述目标物件的位置信息。
可选的,在获取到所述用户触发的操作指令时,向服务器发送物件获取请求信息之前,所述方法还包括:
获取所述用户输入的物件关键词;
将所述物件关键词发送至所述服务器;
接收所述服务器发送的推荐信息,所述推荐信息包括所述物件关键词所指示的物件的标识;
将所述推荐信息转换为第一语音信号,所述第一语音信号用于提示所述用户选取所述目标物件。
可选的,在所述指引所述用户获取所述目标物件之前,所述方法还包括:
从所述目标空间内的物件中确定所述目标物件。
可选的,所述根据所述位置信息所指示的目标位置和所述导盲杖当前所在的初始位置,确定导航路线,包括:
估计所述导盲杖在所述目标空间的二维栅格地图上的第一坐标;
向周边环境的障碍物发射探测信号,根据返回的探测信号获取所述激光雷达的雷达数据,所述雷达数据包括所述障碍物相对于所述激光雷达的距离和方向;
基于所述第一坐标和所述雷达数据,采用粒子滤波算法确定所述导盲杖在所述二维栅格地图上的第二坐标;
根据所述第二坐标确定所述初始位置;
根据所述目标位置和所述初始位置确定所述导航路线。
可选的,所述目标空间设置有m个RFID无源标签,所述m个RFID无源标签位于不同位置,所述m为大于1的整数,
所述估计所述导盲杖在所述目标空间的二维栅格地图上的第一坐标,包括:
在所述导盲杖移动过程中,根据检测到的RFID无源标签的信号强度值,从所述m个RFID无源标签中筛选出信号强度值为前n名的所述n个RFID无源标签,所述n为整数,且n<m;
将所述n个RFID无源标签中每个RFID无源标签的标识发送至所述服务器;
接收所述服务器发送的对应RFID无源标签的标签坐标,所述标签坐标为RFID无源标签在所述目标空间的二维栅格地图上的坐标;
根据所述n个RFID无源标签中每个RFID无源标签的标签坐标,以及所述每个RFID无源标签与所述导盲杖在所述二维栅格地图上的距离,采用极大似然估计法估计所述导盲杖在所述二维栅格地图上的第一坐标。
可选的,所述目标空间为图书馆,所述目标物件为目标书籍,所述位置信息包括所述目标书籍在书架上的位置的信息,所述目标书籍的标识包括所述目标书籍的分类编号,
所述从所述目标空间内的物件中确定所述目标物件,包括:
对所述书架上的书籍的分类编号进行识别;
当识别的分类编号与所述目标书籍的分类编号相同时,确定对应的书籍为所述目标书籍;
在所述确定对应的书籍为所述目标书籍之后,所述方法还包括:
发出第二语音信号,所述第二语音信号用于提示所述用户拿取所述目标书籍。
第三方面,提供了一种导盲杖,包括:
处理器;
用于存储所述处理器的可执行指令的存储器;
其中,所述处理器被配置为:
在用户到达目标空间后,获取目标物件的位置信息;
根据所述位置信息所指示的目标位置和所述导盲杖当前所在的初始位置,确定导航路线;
按照所述导航路线指引所述用户到达所述目标位置。
第四方面,提供了一种存储介质,当所述存储介质中的指令由导盲杖的处理器执行时,使得导盲杖能够执行第二方面所提供的导盲方法。
本发明实施例提供的技术方案带来的有益效果是:
本发明实施例提供了一种导盲杖及导盲方法,该导盲杖的物件获取组件在用户到达目标空间后,获取目标物件的位置信息,并根据该位置信息所指示的目标位置和导盲杖当前所在的初始位置,确定导航路线,运动组件能够按照该导航路线指引用户到达目标位置,且物件获取组件能够在用户到达目标位置时,在运动组件的带动下指引该用户获取目标物件,丰富了导盲杖的功能。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明各个实施例所涉及的实施环境示意图;
图2-1是本发明实施例提供的一种导盲杖的结构示意图;
图2-2是本发明实施例提供的另一种导盲杖的结构示意图;
图3-1是本发明实施例提供的一种导盲方法的流程图;
图3-2是本发明实施例提供的另一种导盲方法的流程图;
图3-3是图3-2所示实施例中获取目标物件的位置信息的流程图;
图3-4是图3-2所示实施例中确定导航路线的流程图;
图3-5是图3-2所示实施例中估计导盲杖的第一坐标的流程图;
图3-6是图3-2所示实施例中确定目标物件的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
图1是本发明各个实施例所涉及的实施环境示意图,该实施环境可以包括用户10、导盲杖20和服务器30。该用户10可以是盲人或视力受损用户。服务器30可以是一台服务器,或者由若干台服务器组成的服务器集群,或者是一个云计算服务中心。服务器30可以和导盲杖20通过无线网络或有线网络建立连接。服务器30用于向导盲杖20发送目标物件的位置信息。在本发明实施例中,在用户到达终点后,导盲杖能够指引用户到达目标物件的位置信息所指示的目标位置,帮助用户获取目标物件。比如,在用户到达图书馆后,导盲杖可以指引用户到达目标书籍的位置信息所指示的目标位置,使得用户能够较快获取目标书籍。
本发明实施例提供了一种导盲杖,如图2-1所示,该导盲杖20包括:运动组件210和物件获取组件220。
物件获取组件220设置在运动组件210上,运动组件210与物件获取组件220电连接。
物件获取组件220用于在用户到达目标空间后,获取目标物件的位置信息,并根据该位置信息所指示的目标位置和导盲杖当前所在的初始位置,确定导航路线。
运动组件210用于按照导航路线指引用户到达目标位置。
综上所述,本发明实施例提供的导盲杖,该导盲杖的物件获取组件在用户到达目标空间后,能够获取目标物件的位置信息,并根据该位置信息所指示的目标位置和导盲杖当前所在的初始位置,确定导航路线。运动组件能够按照该导航路线指引用户到达目标位置,丰富了导盲杖的功能。
进一步的,物件获取组件220还用于在用户到达目标位置时,在运动组件210的带动下指引该用户获取目标物件。在本发明实施例中,导盲杖不仅能够指引用户到达目标物件的位置信息所指示的目标位置,还能够进一步指引用户获取目标物件,使得导盲杖的功能更加丰富。示例的,导盲杖能够指引用于到达摆放目标书籍的书架所在的位置,还能够指引用户获取书架上的目标书籍。
进一步的,该导盲杖还包括通信模块,该通信模块设置在运动组件上,该通信模块与物件获取组件电连接。
通信模块用于在获取到用户触发的操作指令时,向服务器发送物件获取请求信息。其中,操作指令用于指示获取目标物件,物件获取请求信息包括目标物件的标识。示例的,目标物件的标识可以为目标物件的名称。
通信模块还用于接收服务器发送的目标物件的位置信息,并向物件获取组件发送位置信息。该通信模块可以为无线保真(WIreless-Fidelity,WIFI)通信模块。
进一步的,导盲杖还可以包括信息采集模块和转换模块。该信息采集模块和转换模块分别与通信模块连接。
信息采集模块用于获取用户输入的物件关键词,并将物件关键词通过通信模块发送至服务器。
信息采集模块还用于通过通信模块接收服务器发送的推荐信息。该推荐信息包括物件关键词所指示的物件的标识。示例的,物件的标识可以为物件的名称。
通信模块还用于将推荐信息发送至转换模块。
转换模块用于将推荐信息转换为第一语音信号。该第一语音信号用于提示用户通过信息采集模块选取目标物件。
现以目标空间是图书馆为例进行说明。本发明实施例中的信息采集模块可以为盲文键盘,转换模块可以为用户佩戴的耳机。当用户到达图书馆后,用户通过盲文键盘输入想要获取的书籍的关键词“历史”。盲文键盘将关键词“历史”通过通信模块发送至服务器。服务器根据关键词“历史”为用户推荐相关书籍,如可以向盲文键盘发送推荐信息,该推荐信息包括关键词“历史”所指示的书籍的名称。比如,服务器为用户推荐了3本书籍:书籍A、书籍B和书籍C,A、B和C均为书籍名称。通信模块将包含书籍名称的推荐信息发送至用户佩戴的耳机。耳机获取电信号,然后将电信号转换为第一语音信号。用户通过该第一语音信号获取3个书籍名称,然后通过盲文键盘选取一本书籍。比如,耳机发出的语音提示可以为:“为您推荐的相关书籍为:书籍A、书籍B和书籍C,选择书籍A请按1,选择书籍B请按2,选择书籍C请按3”。之后,用户按照该语音提示选择感兴趣的书籍A,书籍A即为目标书籍。通信模块获取到用户触发的操作指令时,向服务器发送书籍A的书籍名称。服务器接收到通信模块发送的书籍A的书籍名称后,向通信模块发送书籍A的位置信息。通信模块将接收到的书籍A的位置信息发送至物件获取组件,以便于物件获取组件根据书籍A的位置信息所指示的目标位置(即摆放书籍A的书架所在的位置)和导盲杖当前所在的初始位置,确定导航路线。运动组件能够按照该导航组件指示用户达到目标位置。比如,该目标位置为F区201室0001书架,也即是,书籍A位于F区201室中编号为0001的书架上。服务器向通信模块发送的书籍A的位置信息还可以包括书籍A在0001书架上的层数信息,比如书籍A在0001书架上的第3层。
示例的,用户佩戴的耳机可以为蓝牙耳机,导盲杖还可以包括蓝牙模块,导盲杖通过蓝牙模块与蓝牙耳机通信。
图2-2示出了本发明实施例提供的另一种导盲杖的结构示意图。如图2-2所示,物件获取组件220包括导航模块221和物件定位模块222。运动组件210包括运动底盘211。其中,物件定位模块222设置在运动底盘211的顶部。
导航模块221用于确定导盲杖当前所在的初始位置,根据目标物件的位置信息所指示的目标位置和该初始位置确定导航路线,并将导航路线发送至运动底盘211。
物件定位模块222用于从目标空间内的物件中确定目标物件,并在运动底盘211的带动下指引用户获取目标物件。示例的,物件定位模块从F区201室0001书架第3层的所有书籍中确定书籍A,并在运动底盘211的带动下指引用户获取书籍A。
在本发明实施例中,为了确定导盲杖当前所在的初始位置,导航模块可以先对导盲杖进行粗定位,再采用粒子滤波算法对导盲杖进行精细定位。示例的,如图2-2所示,导航模块221包括射频识别(Radio Frequency Identification,RFID)阅读器2211、激光雷达2212和第一处理模块(图2-2中未画出)。其中,RFID阅读器2211和激光雷达2212分别与第一处理模块连接。目标空间设置有m个RFID无源标签(图2-2中未画出),m个RFID无源标签位于不同位置,m为大于1的整数。
RFID阅读器2211和m个RFID无源标签用于估计导盲杖在目标空间的二维栅格地图上的第一坐标。示例的,可以将图书馆划分为一系列栅格,每个栅格被给定一个值,该值表示对应栅格被占据的概率。关于二维栅格地图的构建过程可以参考相关技术。
具体的,RFID阅读器用于在导盲杖移动过程中,根据检测到的RFID无源标签的信号强度值,从m个RFID无源标签中筛选出信号强度值为前n名的n个RFID无源标签,n为整数,且n<m;RFID阅读器还用于通过通信模块将n个RFID无源标签中每个RFID无源标签的标识发送至服务器,并通过通信模块接收服务器发送的对应RFID无源标签的标签坐标。标签坐标为RFID无源标签在目标空间的二维栅格地图上的坐标;RFID阅读器还用于根据n个RFID无源标签中每个RFID无源标签的标签坐标,以及每个RFID无源标签与导盲杖在二维栅格地图上的距离,采用极大似然估计法估计导盲杖在二维栅格地图上的第一坐标。极大似然估计法是通过取得多个已知节点到未知节点的距离来估算未知节点的位置坐标,找出所有估算结果中最接近未知节点的真实坐标的结果。
示例的,图书馆内每个书架的侧面设置有RFID无源标签,在导盲杖移动过程中,RFID阅读器从多个RFID无源标签中筛选出信号强度值为前n名的n个RFID无源标签。然后,RFID阅读器通过通信模块将n个RFID无源标签中每个RFID无源标签的标识(比如每个RFID无源标签的编号)发送至服务器。服务器向RFID阅读器发送n个RFID无源标签的标签坐标,比如,第1个RFID无源标签的标签坐标为(x1,y1),第2个RFID无源标签的标签坐标为(x2,y2),第3个RFID无源标签的标签坐标为(x3,y3),……,第n个RFID无源标签的标签坐标为(xn,yn)。且第1个RFID无源标签与导盲杖在二维栅格地图上的距离为d1,第2个RFID无源标签与导盲杖在二维栅格地图上的距离为d2,第3个RFID无源标签与导盲杖在二维栅格地图上的距离为d3,……,第n个RFID无源标签与导盲杖在二维栅格地图上的距离为dn。RFID无源标签与导盲杖的距离可以由RFID阅读器来确定。
设待求的导盲杖在二维栅格地图上的第一坐标为(x,y),RFID阅读器根据n个RFID无源标签的标签坐标、n个距离和第一坐标(x,y)得到如下方程组:
Figure BDA0001319226060000111
RFID阅读器再将方程组(1)转换为线性方程组AX=B,然后采用最小二乘法对AX=B求解,得到X的值,X的值即为待求的导盲杖在二维栅格地图上的第一坐标(x,y)。第一坐标(x,y)也称为导盲杖的粗定位坐标。
其中,求解AX=B的具体过程可以参考相关技术,在此不再赘述。
激光雷达2212用于向周边环境的障碍物发射探测信号(激光束),根据返回的探测信号获取激光雷达的雷达数据,该雷达数据包括障碍物相对于激光雷达的距离和方向,也即是障碍物相对于导盲杖的距离和方向。其中,周边环境为二维平面环境。该雷达数据用于反映导盲杖的精细定位坐标。获取雷达数据的具体过程可以参考相关技术。
第一处理模块用于基于粗定位的第一坐标和精细定位的雷达数据,采用粒子滤波算法确定导盲杖在二维栅格地图上的第二坐标,并根据该第二坐标确定初始位置。采用粒子滤波算法确定导盲杖的初始位置的过程可以为:1、基于第一坐标分布粒子。示例的,可以在导盲杖的第一坐标附近取多个粒子(比如100个粒子),每个粒子指示一个坐标。示例的,可以取第一坐标附近满足高斯分布的多个粒子,具体的,在靠近第一坐标的位置取较多粒子,在远离第一坐标的位置取较少粒子。2、根据激光雷达得到的雷达数据,确定每个粒子的权重,并对权重进行归一化处理。该权重用于表示对应粒子指示的坐标与导盲杖的实际坐标的接近程度。3、对粒子执行重采样操作,以增大权重较大的粒子的数目,进而实现粒子的优胜劣汰。4、将权重最大的粒子指示的坐标的位置作为导盲杖当前所在的初始位置。关于粒子滤波算法的具体过程可以参考相关技术。
第一处理模块还用于根据目标位置和初始位置确定导航路线,并将该导航路线发送至运动底盘211。示例的,第一处理模块可以根据目标位置和初始位置,采用基于迪杰斯特拉算法的全局路径规划方式和基于动态窗算法的局部路径规划方式,结合二维栅格地图和激光雷达获取的雷达数据,确定导航路线。
当目标空间为图书馆,目标物件为目标书籍时,目标书籍的位置信息包括目标书籍在书架上的位置的信息,比如F区201室0001书架第3层,目标书籍的标识可以包括目标书籍的分类编号,比如D669.3、C393等。
如图2-2所示,物件定位模块222包括纵向伸缩机构2221、智能摄像头2222和横向伸缩机构2223。智能摄像头2222与转换模块连接。
其中,纵向伸缩机构2221用于根据目标书籍的位置信息带动智能摄像头2222纵向移动至目标书籍在书架上的位置,比如,带动智能摄像头2222纵向移动至书籍A在0001书架的第3层。
智能摄像头2222用于在运动底盘211的带动下横向移动,对目标书籍所在书架上的书籍的分类编号进行识别,并在识别的分类编号与目标书籍的分类编号相同时,指示横向伸缩机构2223延伸至目标书籍上。
智能摄像头2222还用于指示转换模块发出第二语音信号。该第二语音信号用于提示用户拿取目标书籍。
示例的,目标书籍为书籍A,书籍A的位置信息为:F区201室0001书架第3层。运动组件按照导航路线指引用户到达F区201室0001书架所在的位置。之后,纵向伸缩机构带动智能摄像头纵向移动至0001书架的第3层。智能摄像头在运动底盘的带动下横向移动,对第3层上的书籍的分类编号进行识别,识别过程可以包括:1、智能摄像头采集书籍的分类编号图像,并对该分类编号图像进行灰度化与二值化处理。具体的,将图像上的像素点的灰度值设置为0或255,使整个图像呈现出明显的黑白效果。2、对处理后的分类编号图像进行去噪处理,并将去噪处理后的分类编号图像中的分类编号进行切割,得到多个字符。3、提取多个字符中每个字符的特征,生成对应字符的特征矢量(或特征矩阵)。之后,智能摄像头将每个字符的特征矢量与样本库中字符的特征矢量进行比较,样本库中包括目标书籍的分类编号比如C393中每个字符的特征矢量。
示例的,第一本书籍的分类编号包括4个字符,该4个字符中第1个字符的特征矢量与C393中的字符“C”的特征矢量的相似度为a1,第2个字符的特征矢量与C393中的字符“3”的特征矢量的相似度为a2,第3个字符的特征矢量与C393中的字符“9”的特征矢量的相似度为a3,第4个字符的特征矢量与C393中的字符“3”的特征矢量的相似度为a4。当a1、a2、a3和a4均等于1时,则认为第一本书籍的分类编号与目标书籍的分类编号相同,此时将第一本书籍作为目标书籍,也即是第一本书籍为书籍A。实际应用中,在智能摄像头在切割时无法完全准确地得到多个字符的情况下,可以将a1、a2、a3和a4的和作为第一本书籍的分类编号与目标书籍的分类编号C393的目标相似度。然后,从所有大于预设相似度的目标相似度中找出最大的目标相似度,比如,第一本书籍的分类编号与C393的目标相似度大于预设相似度,且该目标相似度最大,那么可以将第一本书籍作为目标书籍。之后,智能摄像头指示横向伸缩机构延伸至目标书籍上。
智能摄像头指示横向伸缩机构延伸至目标书籍上之后,智能摄像头再指示用户佩戴的耳机发出语音提示:请沿着横向伸缩机构拿取书籍A。这样一来,用户在横向伸缩机构的引导下获取书籍A。获取到书籍A后,用户还可以通过盲文键盘输入想要到达的下一个目的地,比如,阅览室、服务台等。导盲杖通过物件获取组件确定对应的导航路线,通过运动组件指引用户到达下一个目的地。进一步的,当用户到达阅览室后,可以利用便携式的扫描阅读器阅读书籍A。
可选的,信息采集模块还与物件定位模块222连接。
信息采集模块还用于在接收到用户触发的确认指令时,指示物件定位模块222恢复至初始状态。比如,用户在横向伸缩机构的引导下获取书籍A后,可以通过盲文键盘进行确定。之后,信息采集模块指示物件定位模块的纵向伸缩机构、智能摄像头和横向伸缩机构回到初始位置。
此外,当第3层上所有书籍的分类编号与目标书籍的分类编号C393的目标相似度均小于预设相似度时,智能摄像头可以指示用户佩戴的耳机发出语音提示:未找到书籍A,请确认获取其他书籍。用户基于该语音提示,通过盲文键盘选取另一推荐的书籍,比如书籍B。然后,导盲杖按照上述方式指引用户获取书籍B。
进一步,为了使用户更加顺利地到达目标位置,如图2-2所示,导盲杖20还可以包括导盲扶手230。用户可以握持该导盲扶手230,以便于用户较好地到达目标位置并获取目标物件。
导盲扶手230设置有振动器和急停按钮(图2-2中未画出)。振动器与导航模块221连接,急停按钮与运动底盘211连接。
导航模块还用于在探测到导盲杖前方存在障碍物时,指示振动器产生振动,以便于带动导盲扶手振动。
急停按钮被按下时能够控制运动底盘运动或停止。
当导盲杖前方存在障碍物时,导盲扶手振动,用户按下急停按钮时,运动底盘停止运动;当用户再次按下该急停按钮时,运动底盘又恢复运动。
此外,导航模块还可以用于指示运动组件做减速运动或加速运动。
具体的,如图2-2所示,运动底盘211包括运动平台2111、滚轮2112、驱动器(图2-2中未画出)和控制器(图2-2中未画出),控制器与物件获取组件220电连接。
滚轮2112设置在运动平台2111的底部,控制器用于按照导航路线对驱动器进行控制,驱动器用于驱动滚轮2112移动。
进一步的,导盲杖还包括电源模块,电源模块与导盲杖的各个部件连接,电源模块用于为导盲杖提供电源。
综上所述,本发明实施例提供的导盲杖,该导盲杖的物件获取组件在用户到达目标空间后,获取目标物件的位置信息,并根据该位置信息所指示的目标位置和导盲杖当前所在的初始位置,确定导航路线,运动组件能够按照该导航路线指引用户到达目标位置,且物件获取组件能够在用户到达目标位置时,在运动组件的带动下指引该用户获取目标物件,丰富了导盲杖的功能。
本发明实施例提供了一种导盲方法,用于导盲杖,该导盲杖可以为图2-1或图2-2所示的导盲杖。如图3-1所示,该方法包括:
步骤301、在用户到达目标空间后,获取目标物件的位置信息。
参见图2-1,导盲杖包括:运动组件210和物件获取组件220。在用户到达目标空间后,物件获取组件220可以获取目标物件的位置信息。
步骤302、根据位置信息所指示的目标位置和导盲杖当前所在的初始位置,确定导航路线。
参见图2-1,物件获取组件220可以根据位置信息所指示的目标位置和导盲杖当前所在的初始位置,确定导航路线。
步骤303、按照导航路线指引用户到达目标位置。
参见图2-1,运动组件210可以按照导航路线指引用户到达目标位置。
综上所述,本发明实施例提供的导盲方法,在用户到达目标空间后,能够获取目标物件的位置信息,并根据该位置信息所指示的目标位置和导盲杖当前所在的初始位置,确定导航路线。之后,按照该导航路线指引用户到达目标位置,丰富了导盲杖的功能。
本发明实施例提供了另一种导盲方法,用于导盲杖,该导盲杖可以为图2-1或图2-2所示的导盲杖,如图3-2所示,该方法包括:
步骤401、在用户到达目标空间后,获取目标物件的位置信息。
具体的,如图3-3所示,获取目标物件的位置信息,包括:
步骤4011、获取用户输入的物件关键词。
导盲杖包括通信模块、信息采集模块和转换模块,信息采集模块获取用户输入的物件关键词。
步骤4012、将物件关键词发送至服务器。
信息采集模块将物件关键词通过通信模块发送至服务器。
步骤4013、接收服务器发送的推荐信息。
推荐信息包括物件关键词所指示的物件的标识。示例的,物件的标识可以为物件的名称。信息采集模块通过通信模块接收服务器发送的推荐信息。
步骤4014、将推荐信息转换为第一语音信号。
第一语音信号用于提示用户选取目标物件。通信模块将推荐信息发送至转换模块。
步骤4015、在获取到用户触发的操作指令时,向服务器发送物件获取请求信息。
通信模块在获取到用户触发的操作指令时,向服务器发送物件获取请求信息。操作指令用于指示获取目标物件,物件获取请求信息包括目标物件的标识。
步骤4016、接收服务器发送的目标物件的位置信息。
通信模块接收服务器发送的目标物件的位置信息。
步骤402、根据位置信息所指示的目标位置和导盲杖当前所在的初始位置,确定导航路线。
参见图2-2,物件获取组件220包括导航模块221和物件定位模块222。运动组件210包括运动底盘211。导航模块221包括RFID阅读器2211、激光雷达2212和第一处理模块。
目标空间设置有m个RFID无源标签,m个RFID无源标签位于不同位置,m为大于1的整数,具体的,如图3-4所示,步骤402包括:
步骤4021、估计导盲杖在目标空间的二维栅格地图上的第一坐标。
可选的,RFID阅读器和m个RFID无源标签可以估计导盲杖在目标空间的二维栅格地图上的第一坐标。
具体的,如图3-5所示,步骤4021包括:
步骤4021a、在导盲杖移动过程中,根据检测到的RFID无源标签的信号强度值,从m个RFID无源标签中筛选出信号强度值为前n名的n个RFID无源标签,n为整数,且n<m。
RFID阅读器在导盲杖移动过程中,根据检测到的RFID无源标签的信号强度值,从m个RFID无源标签中筛选出信号强度值为前n名的n个RFID无源标签。
步骤4021b、将n个RFID无源标签中每个RFID无源标签的标识发送至服务器。
RFID阅读器通过通信模块将n个RFID无源标签中每个RFID无源标签的标识发送至服务器。
步骤4021c、接收服务器发送的对应RFID无源标签的标签坐标。
标签坐标为RFID无源标签在目标空间的二维栅格地图上的坐标。RFID阅读器通过通信模块接收服务器发送的对应RFID无源标签的标签坐标。
步骤4021d、根据n个RFID无源标签中每个RFID无源标签的标签坐标,以及每个RFID无源标签与导盲杖在二维栅格地图上的距离,采用极大似然估计法估计导盲杖在二维栅格地图上的第一坐标。
RFID阅读器根据n个RFID无源标签中每个RFID无源标签的标签坐标,以及每个RFID无源标签与导盲杖在二维栅格地图上的距离,采用极大似然估计法估计导盲杖在二维栅格地图上的第一坐标。
步骤4022、向周边环境的障碍物发射探测信号,根据返回的探测信号获取激光雷达的雷达数据。
雷达数据包括障碍物相对于激光雷达的距离和方向。其中,周边环境为二维平面环境。
参见图2-2,激光雷达2212向周边环境的障碍物发射探测信号,根据障碍物返回的探测信号获取激光雷达的雷达数据。
步骤4023、基于第一坐标和雷达数据,采用粒子滤波算法确定导盲杖在二维栅格地图上的第二坐标。
第一处理模块基于粗定位的第一坐标和精细定位的雷达数据,采用粒子滤波算法确定导盲杖在二维栅格地图上的第二坐标。
步骤4024、根据第二坐标确定初始位置。
第一处理模块根据该第二坐标确定初始位置。
步骤4025、根据目标位置和初始位置确定导航路线。
第一处理模块根据目标位置和初始位置确定导航路线,并将该导航路线发送至运动底盘。
步骤403、按照导航路线指引用户到达目标位置。
参见图2-2,运动组件210按照导航路线指引用户到达目标位置。
步骤404、在用户到达目标位置时,指引用户获取目标物件。
进一步的,在指引用户获取目标物件之前,该方法还包括:从目标空间内的物件中确定目标物件。
参见图2-2,物件定位模块222包括纵向伸缩机构2221、智能摄像头2222和横向伸缩机构2223。
可选的,目标空间为图书馆,目标物件为目标书籍,位置信息包括目标书籍在书架上的位置的信息,目标书籍的标识包括目标书籍的分类编号。
如图3-6所示,从目标空间内的物件中确定目标物件,包括:
步骤4041、对书架上的书籍的分类编号进行识别。
智能摄像头对书架上的书籍的分类编号进行识别。识别过程可以参考上述装置实施例中的相关内容。
步骤4042、当识别的分类编号与目标书籍的分类编号相同时,确定对应的书籍为目标书籍。
智能摄像头在识别的分类编号与目标书籍的分类编号相同时,确定对应的书籍为目标书籍。
步骤4043、发出第二语音信号。
第二语音信号用于提示用户拿取目标书籍。智能摄像头可以指示转换模块发出该第二语音信号。
综上所述,本发明实施例提供的导盲方法,在用户到达目标空间后,能够获取目标物件的位置信息,并根据该位置信息所指示的目标位置和导盲杖当前所在的初始位置,确定导航路线。之后,按照该导航路线指引用户到达目标位置,且在用户到达目标位置时,能够指引用户获取目标物件,丰富了导盲杖的功能。
需要说明的是,本发明实施例提供的导盲方法的步骤的先后顺序可以进行适当调整,步骤也可以根据情况进行相应增减。任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化的方法,都应涵盖在本发明的保护范围之内,因此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的方法实施例中的具体过程,可以参考前述装置实施例中模块的具体工作过程,在此不再赘述。
本发明实施例还提供了一种导盲杖,包括:
处理器;
用于存储处理器的可执行指令的存储器;
其中,处理器被配置为:
在用户到达目标空间后,获取目标物件的位置信息;
根据位置信息所指示的目标位置和导盲杖当前所在的初始位置,确定导航路线;
按照导航路线指引用户到达目标位置。
本发明实施例还提供了一种导盲系统,该系统包括导盲杖。
该导盲杖为图2-1或图2-2所示的导盲杖。
本发明实施例还提供了一种存储介质,当所述存储介质中的指令由导盲杖的处理器执行时,使得导盲杖能够执行图3-1或图3-2所示的导盲方法。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (18)

1.一种导盲杖,其特征在于,所述导盲杖包括:运动组件和物件获取组件,
所述物件获取组件设置在所述运动组件上,所述运动组件与所述物件获取组件电连接,
所述物件获取组件用于在用户到达目标空间后,获取目标物件的位置信息,并根据所述位置信息所指示的目标位置和所述导盲杖当前所在的初始位置,确定导航路线,所述目标空间为图书馆;
所述运动组件用于按照所述导航路线指引所述用户到达所述目标位置;
所述物件获取组件还用于在所述用户到达所述目标位置时,在所述运动组件的带动下延伸至所述目标物件上,并指引所述用户获取所述目标物件,所述目标物件为目标书籍,所述位置信息包括所述目标书籍在书架上的位置的信息。
2.根据权利要求1所述的导盲杖,其特征在于,所述导盲杖还包括通信模块,所述通信模块设置在所述运动组件上,所述通信模块与所述物件获取组件电连接,
所述通信模块用于在获取到所述用户触发的操作指令时,向服务器发送物件获取请求信息,所述操作指令用于指示获取所述目标物件,所述物件获取请求信息包括所述目标物件的标识;
所述通信模块还用于接收所述服务器发送的所述目标物件的位置信息,并向所述物件获取组件发送所述位置信息。
3.根据权利要求2所述的导盲杖,其特征在于,所述导盲杖还包括信息采集模块和转换模块,所述信息采集模块和所述转换模块分别与所述通信模块连接,
所述信息采集模块用于获取所述用户输入的物件关键词,并将所述物件关键词通过所述通信模块发送至所述服务器;
所述信息采集模块还用于通过所述通信模块接收所述服务器发送的推荐信息,所述推荐信息包括所述物件关键词所指示的物件的标识;
所述通信模块还用于将所述推荐信息发送至所述转换模块;
所述转换模块用于将所述推荐信息转换为第一语音信号,所述第一语音信号用于提示所述用户通过所述信息采集模块选取所述目标物件。
4.根据权利要求2所述的导盲杖,其特征在于,所述物件获取组件包括导航模块和物件定位模块,所述运动组件包括运动底盘,所述物件定位模块设置在所述运动底盘的顶部,
所述导航模块用于确定所述初始位置,根据所述目标位置和所述初始位置确定导航路线,并将所述导航路线发送至所述运动底盘;
所述物件定位模块用于从所述目标空间内的物件中确定所述目标物件,并在所述运动底盘的带动下指引所述用户获取所述目标物件。
5.根据权利要求4所述的导盲杖,其特征在于,所述导航模块包括射频识别RFID阅读器、激光雷达和第一处理模块,所述RFID阅读器和所述激光雷达分别与所述第一处理模块连接,所述目标空间设置有m个RFID无源标签,所述m个RFID无源标签位于不同位置,所述m为大于1的整数,
所述RFID阅读器和所述m个RFID无源标签用于估计所述导盲杖在所述目标空间的二维栅格地图上的第一坐标;
所述激光雷达用于向周边环境的障碍物发射探测信号,根据返回的探测信号获取所述激光雷达的雷达数据,所述雷达数据包括所述障碍物相对于所述激光雷达的距离和方向,所述周边环境为二维平面环境,所述雷达数据用于反映所述导盲杖的精细定位坐标;
所述第一处理模块用于基于所述第一坐标和所述雷达数据,采用粒子滤波算法确定所述导盲杖在所述二维栅格地图上的第二坐标,并根据所述第二坐标确定所述初始位置;
所述第一处理模块还用于根据所述目标位置和所述初始位置确定所述导航路线,并将所述导航路线发送至所述运动底盘。
6.根据权利要求5所述的导盲杖,其特征在于,
所述RFID阅读器用于在所述导盲杖移动过程中,根据检测到的RFID无源标签的信号强度值,从所述m个RFID无源标签中筛选出信号强度值为前n名的所述n个RFID无源标签,所述n为整数,且n<m;
所述RFID阅读器还用于通过所述通信模块将所述n个RFID无源标签中每个RFID无源标签的标识发送至所述服务器,并通过所述通信模块接收所述服务器发送的对应RFID无源标签的标签坐标,所述标签坐标为RFID无源标签在所述目标空间的二维栅格地图上的坐标;
所述RFID阅读器还用于根据所述n个RFID无源标签中每个RFID无源标签的标签坐标,以及所述每个RFID无源标签与所述导盲杖在所述二维栅格地图上的距离,采用极大似然估计法估计所述导盲杖在所述二维栅格地图上的第一坐标。
7.根据权利要求4所述的导盲杖,其特征在于,所述目标书籍的标识包括所述目标书籍的分类编号,
所述物件定位模块包括纵向伸缩机构、智能摄像头和横向伸缩机构,所述智能摄像头与所述转换模块连接,
所述纵向伸缩机构用于根据所述位置信息带动所述智能摄像头纵向移动至所述目标书籍在书架上的位置;
所述智能摄像头用于在所述运动底盘的带动下横向移动,对所述书架上的书籍的分类编号进行识别,并在识别的分类编号与所述目标书籍的分类编号相同时,指示所述横向伸缩机构延伸至所述目标书籍上;
所述智能摄像头还用于指示所述转换模块发出第二语音信号,所述第二语音信号用于提示所述用户拿取所述目标书籍。
8.根据权利要求7所述的导盲杖,其特征在于,
所述信息采集模块还与所述物件定位模块连接,
所述信息采集模块还用于在接收到所述用户触发的确认指令时,指示所述物件定位模块恢复至初始状态。
9.根据权利要求4所述的导盲杖,其特征在于,所述导盲杖还包括导盲扶手,所述导盲扶手设置有振动器和急停按钮,所述振动器与所述导航模块连接,所述急停按钮与所述运动底盘连接,
所述导航模块还用于在探测到所述导盲杖前方存在障碍物时,指示所述振动器产生振动,以便于带动所述导盲扶手振动;
所述急停按钮被按下时能够控制所述运动底盘运动或停止;
所述导航模块还用于指示所述运动组件做减速运动或加速运动。
10.根据权利要求4所述的导盲杖,其特征在于,所述运动底盘包括运动平台、滚轮、驱动器和控制器,所述控制器与所述物件获取组件电连接,
所述滚轮设置在所述运动平台的底部,所述控制器用于按照所述导航路线对所述驱动器进行控制,所述驱动器用于驱动所述滚轮移动。
11.一种导盲方法,其特征在于,用于导盲杖,所述方法包括:
在用户到达目标空间后,获取目标物件的位置信息,所述目标空间为图书馆;
根据所述位置信息所指示的目标位置和所述导盲杖当前所在的初始位置,确定导航路线;
按照所述导航路线指引所述用户到达所述目标位置;
所述方法还包括:
在所述用户到达所述目标位置时,指引所述用户获取所述目标物件,所述目标物件为目标书籍,所述位置信息包括所述目标书籍在书架上的位置的信息。
12.根据权利要求11所述的方法,其特征在于,所述获取目标物件的位置信息,包括:
在获取到所述用户触发的操作指令时,向服务器发送物件获取请求信息,所述操作指令用于指示获取所述目标物件,所述物件获取请求信息包括所述目标物件的标识;
接收所述服务器发送的所述目标物件的位置信息。
13.根据权利要求12所述的方法,其特征在于,在获取到所述用户触发的操作指令时,向服务器发送物件获取请求信息之前,所述方法还包括:
获取所述用户输入的物件关键词;
将所述物件关键词发送至所述服务器;
接收所述服务器发送的推荐信息,所述推荐信息包括所述物件关键词所指示的物件的标识;
将所述推荐信息转换为第一语音信号,所述第一语音信号用于提示所述用户选取所述目标物件。
14.根据权利要求11所述的方法,其特征在于,在所述指引所述用户获取所述目标物件之前,所述方法还包括:
从所述目标空间内的物件中确定所述目标物件。
15.根据权利要求11所述的方法,其特征在于,所述导盲杖包括:激光雷达,所述根据所述位置信息所指示的目标位置和所述导盲杖当前所在的初始位置,确定导航路线,包括:
估计所述导盲杖在所述目标空间的二维栅格地图上的第一坐标;
向周边环境的障碍物发射探测信号,根据返回的探测信号获取所述激光雷达的雷达数据,所述雷达数据包括所述障碍物相对于所述激光雷达的距离和方向,所述周边环境为二维平面环境,所述雷达数据用于反映所述导盲杖的精细定位坐标;
基于所述第一坐标和所述雷达数据,采用粒子滤波算法确定所述导盲杖在所述二维栅格地图上的第二坐标;
根据所述第二坐标确定所述初始位置;
根据所述目标位置和所述初始位置确定所述导航路线。
16.根据权利要求15所述的方法,其特征在于,所述目标空间设置有m个RFID无源标签,所述m个RFID无源标签位于不同位置,所述m为大于1的整数,
所述估计所述导盲杖在所述目标空间的二维栅格地图上的第一坐标,包括:
在所述导盲杖移动过程中,根据检测到的RFID无源标签的信号强度值,从所述m个RFID无源标签中筛选出信号强度值为前n名的所述n个RFID无源标签,所述n为整数,且n<m;
将所述n个RFID无源标签中每个RFID无源标签的标识发送至所述服务器;
接收所述服务器发送的对应RFID无源标签的标签坐标,所述标签坐标为RFID无源标签在所述目标空间的二维栅格地图上的坐标;
根据所述n个RFID无源标签中每个RFID无源标签的标签坐标,以及所述每个RFID无源标签与所述导盲杖在所述二维栅格地图上的距离,采用极大似然估计法估计所述导盲杖在所述二维栅格地图上的第一坐标。
17.根据权利要求14所述的方法,其特征在于,所述目标书籍的标识包括所述目标书籍的分类编号,
所述从所述目标空间内的物件中确定所述目标物件,包括:
对所述书架上的书籍的分类编号进行识别;
当识别的分类编号与所述目标书籍的分类编号相同时,确定对应的书籍为所述目标书籍;
在所述确定对应的书籍为所述目标书籍之后,所述方法还包括:
发出第二语音信号,所述第二语音信号用于提示所述用户拿取所述目标书籍。
18.一种导盲杖,其特征在于,包括:
处理器;
用于存储所述处理器的可执行指令的存储器;
其中,所述处理器被配置为:
在用户到达目标空间后,获取目标物件的位置信息,所述目标空间为图书馆;
根据所述位置信息所指示的目标位置和所述导盲杖当前所在的初始位置,确定导航路线;
按照所述导航路线指引所述用户到达所述目标位置;
在所述用户到达所述目标位置时,指引所述用户获取所述目标物件,所述目标物件为目标书籍,所述位置信息包括所述目标书籍在书架上的位置的信息。
CN201710454296.8A 2017-06-12 2017-06-12 导盲杖及导盲方法 Active CN109009902B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710454296.8A CN109009902B (zh) 2017-06-12 2017-06-12 导盲杖及导盲方法
US16/070,440 US10914591B2 (en) 2017-06-12 2017-12-15 Guide cane and method for guiding used for guide cane
EP17899232.7A EP3639807A4 (en) 2017-06-12 2017-12-15 LEADERSHIP FOR THE BLIND AND MANAGEMENT PROCEDURES FOR THE BLIND
PCT/CN2017/116499 WO2018227910A1 (zh) 2017-06-12 2017-12-15 导盲杖及导盲方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710454296.8A CN109009902B (zh) 2017-06-12 2017-06-12 导盲杖及导盲方法

Publications (2)

Publication Number Publication Date
CN109009902A CN109009902A (zh) 2018-12-18
CN109009902B true CN109009902B (zh) 2020-08-04

Family

ID=64630176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710454296.8A Active CN109009902B (zh) 2017-06-12 2017-06-12 导盲杖及导盲方法

Country Status (4)

Country Link
US (1) US10914591B2 (zh)
EP (1) EP3639807A4 (zh)
CN (1) CN109009902B (zh)
WO (1) WO2018227910A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020086648A1 (en) * 2018-10-25 2020-04-30 TransRobotics, Inc. Technologies for opportunistic synthetic aperture radar
US20220054346A1 (en) * 2020-08-21 2022-02-24 James L. King Powered Walking Assistance Device With Cane Portion Used as Joystick Controller
TWI768548B (zh) * 2020-11-19 2022-06-21 財團法人資訊工業策進會 定位用基礎資訊產生系統與方法以及自身定位判斷裝置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101073531A (zh) * 2007-04-19 2007-11-21 上海交通大学 展馆盲人引导系统
CN102240244A (zh) * 2011-04-26 2011-11-16 郑一溥 一种导盲杖装置及其导盲实现方法
CN103637900A (zh) * 2013-12-20 2014-03-19 北京航空航天大学 基于图像识别的智能导盲杖
CN104940005A (zh) * 2015-05-25 2015-09-30 中山大学 一种室内用智能导航拐杖
CN106093986A (zh) * 2016-05-26 2016-11-09 北京师范大学珠海分校 一种基于卫星精密定位技术的导盲方法及系统
CN106691797A (zh) * 2016-10-28 2017-05-24 浙江工商职业技术学院 一种智慧导盲杖

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5687136A (en) * 1996-04-04 1997-11-11 The Regents Of The University Of Michigan User-driven active guidance system
US20100109918A1 (en) * 2003-07-02 2010-05-06 Raanan Liebermann Devices for use by deaf and/or blind people
US20080251110A1 (en) * 2007-04-12 2008-10-16 Giuseppe Pede Walking Aid for a Visually Disabled Person
KR100977091B1 (ko) * 2009-07-13 2010-08-19 김지훈 시각장애인의 도로 안내 장치
US8418705B2 (en) * 2010-07-30 2013-04-16 Toyota Motor Engineering & Manufacturing North America, Inc. Robotic cane devices
US20120143495A1 (en) * 2010-10-14 2012-06-07 The University Of North Texas Methods and systems for indoor navigation
US9037400B2 (en) * 2012-06-26 2015-05-19 Jonathan Louis Tolstedt Virtual walking stick for the visually impaired
CN103126862B (zh) * 2013-02-04 2015-01-07 江苏科技大学 基于gps、gprs和rfid的室外导盲机器人及导航定位方法
US9062986B1 (en) * 2013-05-07 2015-06-23 Christ G. Ellis Guided movement platforms
CN104516987A (zh) * 2015-01-20 2015-04-15 中国石油大学(华东) 一种图书馆图书智能定位系统
CN105662797B (zh) * 2016-03-16 2017-10-20 宁波精丰测控技术有限公司 一种智能物联网导盲杖
WO2018071851A1 (en) * 2016-10-14 2018-04-19 United States Government As Represented By The Department Of Veterans Affairs Sensor based clear path robot guide
US20180356233A1 (en) * 2017-06-13 2018-12-13 Boutros Baqain Intelligent navigation assistance device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101073531A (zh) * 2007-04-19 2007-11-21 上海交通大学 展馆盲人引导系统
CN102240244A (zh) * 2011-04-26 2011-11-16 郑一溥 一种导盲杖装置及其导盲实现方法
CN103637900A (zh) * 2013-12-20 2014-03-19 北京航空航天大学 基于图像识别的智能导盲杖
CN104940005A (zh) * 2015-05-25 2015-09-30 中山大学 一种室内用智能导航拐杖
CN106093986A (zh) * 2016-05-26 2016-11-09 北京师范大学珠海分校 一种基于卫星精密定位技术的导盲方法及系统
CN106691797A (zh) * 2016-10-28 2017-05-24 浙江工商职业技术学院 一种智慧导盲杖

Also Published As

Publication number Publication date
EP3639807A1 (en) 2020-04-22
EP3639807A4 (en) 2021-09-08
CN109009902A (zh) 2018-12-18
US10914591B2 (en) 2021-02-09
WO2018227910A1 (zh) 2018-12-20
US20200041271A1 (en) 2020-02-06

Similar Documents

Publication Publication Date Title
Tapu et al. Wearable assistive devices for visually impaired: A state of the art survey
US9761139B2 (en) Location based parking management system
Bauer et al. Enhancing perception for the visually impaired with deep learning techniques and low-cost wearable sensors
Ashiq et al. CNN-based object recognition and tracking system to assist visually impaired people
CN109009902B (zh) 导盲杖及导盲方法
EP3627461A1 (en) Information processing method and apparatus, electronic device, and storage medium
US11554495B2 (en) Method of localization using multi sensor and robot implementing same
CN110717918B (zh) 行人检测方法和装置
WO2022022292A1 (zh) 手持物体识别方法及装置
CN111123340B (zh) 物流配送导航方法及系统、近场定位导航装置、存储介质
US10846326B2 (en) System and method for controlling camera and program
CN108846336B (zh) 目标检测方法、装置及计算机可读存储介质
CN110672089A (zh) 室内环境中导航的方法及设备
US9092818B2 (en) Method and system for answering a query from a consumer in a retail store
KR20190118965A (ko) 시선 추적 시스템 및 방법
JP6959888B2 (ja) 物体認識情報及び受信電磁波情報に係るモデルを用いて端末位置を推定する装置、プログラム及び方法
CN102725781A (zh) 具有视频的导航系统和其操作方法
KR102401233B1 (ko) 시각 장애인용 스마트 안경을 이용한 오프라인 쇼핑 안내 시스템
CN112233170A (zh) 视觉定位和图像处理方法、设备及存储介质
WO2015198284A1 (en) Reality description system and method
Zhang et al. Navigation systems for individuals with visual impairment: A survey
Choraś et al. Innovative solutions for inclusion of totally blind people
Chen et al. ARMSAINTS: An AR-based Real-time Mobile System for Assistive Indoor Navigation with Target Segmentation
Costa et al. Fiducials marks detection to assist visually impaired people navigation
Dourado et al. Embedded Navigation and Classification System for Assisting Visually Impaired People.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant