CN105973264A - 一种智能导盲系统 - Google Patents

一种智能导盲系统 Download PDF

Info

Publication number
CN105973264A
CN105973264A CN201610581588.3A CN201610581588A CN105973264A CN 105973264 A CN105973264 A CN 105973264A CN 201610581588 A CN201610581588 A CN 201610581588A CN 105973264 A CN105973264 A CN 105973264A
Authority
CN
China
Prior art keywords
information
guiding system
blind guiding
intelligent blind
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610581588.3A
Other languages
English (en)
Inventor
肖洪波
付铭明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Touch Vision Technology (beijing) Co Ltd
Original Assignee
Touch Vision Technology (beijing) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Touch Vision Technology (beijing) Co Ltd filed Critical Touch Vision Technology (beijing) Co Ltd
Priority to CN201610581588.3A priority Critical patent/CN105973264A/zh
Publication of CN105973264A publication Critical patent/CN105973264A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3605Destination input or retrieval
    • G01C21/3608Destination input or retrieval using speech input, e.g. using speech recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3629Guidance using speech or audio output, e.g. text-to-speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Navigation (AREA)

Abstract

本发明提供了一种智能导盲系统,包括:信息采集装置,用于实时采集智能导盲系统在当前运动环境下的第一数据信息;第一数据信息至少包括:视觉图像信息和位置信息;语音识别合成装置,用于接收用户发送的语音信息,对语音信息进行识别处理,得到对应的目标地址信息;以及,将处理装置处理得到的路径提示信息进行语音输出;路径提示信息用于提醒携带有智能导盲系统的用户按照规划路径行走;处理装置,用于对第一数据信息和目标地址信息进行路径分析处理,得到分析处理后的路径提示信息,其导航的精准度较高,且通过相应的语音提示帮助用户避开障碍目标,周围环境感知能力较强,从而为盲人出行提供了安全、便利的条件,实用性较佳。

Description

一种智能导盲系统
技术领域
本发明涉及语音导盲技术领域,具体而言,涉及一种智能导盲系统。
背景技术
由于视力缺乏,出行问题一直是困扰盲人或视障人士的重要问题之一。如何能够提供一种有效的导盲方法或系统,为盲人朋友的出行提供精确、具体的指引,一直以来是社会关注和研究员研究的重点。
传统的导盲方法中,盲人的出行需要旁人或者导盲犬的指引;或者沿着盲道找到熟悉的位置。这种传统的方法具有较大的局限性,在盲人需要去一个陌生的地方时,无法提供有效的导引。
为了克服上述传统导盲方法所存在的缺陷,现有技术中提供了一种基于语音的导盲装置,其通过GPS导航来获取盲人的定位数据,然后根据该定位数据结合相关语音信息进行语音导航。
发明人在研究中发现,现有技术中基于语音的导盲装置,由于GPS导航定位精度比较低、可靠性不高,无法精确的判断盲人的位置,导致语音导航同样不精确,且缺乏一定的环境感知能力,从而为盲人出行带来一定的安全隐患。
发明内容
有鉴于此,本发明的目的在于提供一种智能导盲系统,结合视觉避障导航和定位导航的技术,导航的精准度较高,且具有较强的周围环境感知能力,从而为盲人出行提供了安全、便利的条件,实用性较佳。
第一方面,本发明实施例提供了一种智能导盲系统,所述系统包括:信息采集装置、语音识别合成装置和处理装置;
所述信息采集装置,用于实时采集所述智能导盲系统在当前运动环境下的第一数据信息;所述第一数据信息至少包括:视觉图像信息和位置信息;
所述语音识别合成装置,用于接收用户发送的语音信息,对所述语音信息进行识别处理,得到对应的目标地址信息;以及,将所述处理装置处理得到的路径提示信息进行语音输出;所述路径提示信息用于提醒携带有所述智能导盲系统的用户按照规划路径行走;
所述处理装置,用于对所述第一数据信息和所述目标地址信息进行路径分析处理,得到分析处理后的路径提示信息。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,所述信息采集装置包括:图像采集器、定位器和惯性测量单元IMU;所述IMU包括:加速度传感器、角速度传感器和磁感应传感器;
所述图像采集器,用于实时采集当前运动环境下所述智能导盲系统的视觉图像信息;所述视觉图像信息包括:第一视觉图像信息和第二视觉图像信息;所述第一视觉图像信息对应于所述智能导盲系统的运动轨迹信息;所述第二视觉图像信息对应于所述智能导盲系统的障碍目标信息;
所述定位器,用于实时采集当前运动环境下所述智能导盲系统的位置信息;
所述加速度传感器,用于实时采集当前运动环境下所述智能导盲系统的加速度信息;
所述角速度传感器,用于实时采集当前运动环境下所述智能导盲系统的角速度信息;
所述磁感应传感器,用于实时采集当前运动环境下所述智能导盲系统的磁场信息。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第二种可能的实施方式,其中,还包括测距仪;
所述测距仪,用于向所述障碍目标发射第一信号,接收所述障碍目标反射的第二信号;根据所述第一信号和所述第二信号之间的相位差得到所述智能导盲系统的障碍目标信息。
结合第一方面的第一种可能的实施方式或第二种可能的实施方式,本发明实施例提供了第一方面的第三种可能的实施方式,其中,所述处理装置包括:第一校准模块、第二校准模块和第三校准模块;
所述第一校准模块,用于根据所述加速度信息、所述角速度信息和所述磁场信息对所述第一视觉图像信息进行第一校准处理,得到对应的校准第一视觉图像信息;
所述第二校准模块,用于根据所述加速度信息、所述角速度信息和所述磁场信息对所述第二视觉图像信息进行第二校准处理,得到对应的校准第二视觉图像信息;
所述第三校准模块,用于根据所述加速度信息、所述角速度信息和所述磁场信息对所述位置信息进行第三校准处理,得到对应的校准位置信息。
结合第一方面的第三种可能的实施方式,本发明实施例提供了第一方面的第四种可能的实施方式,其中,所述处理装置还包括:第一处理模块和第二处理模块;
所述第一处理模块,用于根据所述校准第一视觉图像信息对所述智能导盲系统进行识别和跟踪的分析处理,得到分析处理后的所述智能导盲系统的运动轨迹信息;
所述第二处理模块,用于根据所述校准第二视觉图像信息对所述障碍目标进行视觉的分析处理,得到分析处理后的所述智能导盲系统的障碍目标信息。
结合第一方面的第四种可能的实施方式,本发明实施例提供了第一方面的第五种可能的实施方式,其中,所述处理装置还包括:路径映射模块、路径规划模块和路径提示模块;
所述路径映射模块,用于在预存的电子地图上实时对所述校准位置信息、所述障碍目标信息和所述目标地址信息进行映射处理,得到映射处理后的路径起始位置、路径障碍位置和路径终止位置;
所述路径规划模块,用于根据所述路径起始位置、所述路径障碍位置和所述路径终止位置进行路径规划,得到对应的路径规划信息;
所述路径提示模块,用于根据所述路径规划信息在预设的路径提示处生成对应的路径提示信息;所述路径提示信息至少包括:直行信息、拐弯信息和障碍信息。
结合第一方面的第五种可能的实施方式,本发明实施例提供了第一方面的第六种可能的实施方式,其中,所述处理装置还包括:信息记录模块和信息学习模块;
所述信息记录模块,用于记录与携带有所述智能导盲系统的用户相关的第二数据信息;所述第二数据信息包括:所述视觉图像信息、所述位置信息、所述路径起始位置、所述路径障碍位置、所述路径终止位置、所述运动轨迹信息和自定义信息;
所述信息学习模块,用于通过机器学习的方法对所述第二数据信息进行训练和学习处理,得到处理后的第三数据信息;所述第三数据信息用于对所述路径规划进行优化。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第七种可能的实施方式,其中,所述图像采集器包括:双目摄像头和高清摄像头。
结合第一方面的第七种可能的实施方式,本发明实施例提供了第一方面的第八种可能的实施方式,其中,所述高清摄像头,用于实时采集当前运动环境下所述智能导盲系统的第二高清视觉图像信息,以及,根据所述第二高清视觉图像信息对所述双目摄像头实时采集的第二双目视觉图像信息进行矫正。
结合第一方面的第六种可能的实施方式或第八种可能的实施方式,本发明实施例提供了第一方面的第九种可能的实施方式,其中,还包括无线通信模块;
所述无线通信模块,用于将所述智能导盲系统与终端设备实现数据通信。
本发明实施例提供的智能导盲系统,采用信息采集装置、处理装置和语音识别合成装置使得整个系统一体化和智能化,与现有技术中基于语音的导盲装置,由于GPS导航定位精度比较低、可靠性不高,导致语音导航不精确,且缺乏一定的环境感知能力,安全系数较低相比,其通过信息采集装置实时采集在当前运动环境下包括有视觉图像信息和位置信息的第一数据信息,并将该第一数据信息发送至上述处理装置,还利用语音识别合成装置接收用户发送的语音信息,输出对语音信息进行识别处理得到的目标地址信息至上述处理装置,该处理装置则对第一数据信息和目标地址信息进行路径分析处理,并将得到的路径提示信息发送至语音识别合成装置进行语音输出以提醒用户按照规划路径行走,其结合视觉避障导航和定位导航的技术,导航的精准度较高,且通过相应的语音提示帮助用户避开避障目标,具有较强的周围环境感知能力,从而为盲人出行提供了安全、便利的条件,实用性较佳。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例所提供的一种智能导盲系统的结构示意图;
图2示出了本发明实施例所提供的一种智能导盲系统中信息采集装置的结构示意图;
图3示出了本发明实施例所提供的一种智能导盲系统中处理装置的结构示意图。
主要元件符号说明:
11、信息采集装置;22、语音识别合成装置;33、处理装置;110、图像采集器;111、定位器;112、IMU;330、第一校准模块;331、第二校准模块;332、第三校准模块;333、第一处理模块;334、第二处理模块;335、路径映射模块;336、路径规划模块;337、路径提示模块;338、信息记录模块;339、信息学习模块;1120、加速度传感器;1121、角速度传感器;1122、磁感应传感器。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
考虑到现有技术中基于语音的导盲装置,由于GPS导航定位精度比较低、可靠性不高,无法精确的判断盲人的位置,导致语音导航同样不精确,且缺乏一定的环境感知能力,从而为盲人出行带来一定的安全隐患。基于此,本发明实施例提供了一种智能导盲系统,导航的精准度较高,且具有较强的周围环境感知能力,从而为盲人出行提供了安全、便利的条件,实用性较佳。
参见图1,本发明实施例提供了一种智能导盲系统,该导盲系统具体包括:信息采集装置11、语音识别合成装置22和处理装置33,其中,
信息采集装置11,用于实时采集智能导盲系统在当前运动环境下的第一数据信息;第一数据信息至少包括:视觉图像信息和位置信息;
语音识别合成装置22,用于接收用户发送的语音信息,对语音信息进行识别处理,得到对应的目标地址信息;以及,将处理装置33处理得到的路径提示信息进行语音输出;路径提示信息用于提醒携带有智能导盲系统的用户按照规划路径行走;
处理装置33,用于对第一数据信息和目标地址信息进行路径分析处理,得到分析处理后的路径提示信息。
本发明实施例提供的智能导盲系统,与现有技术中的基于语音的导盲装置,由于GPS导航定位精度比较低、可靠性不高,导致语音导航不精确,且缺乏一定的环境感知能力,安全系数较低相比,其通过信息采集装置11实时采集在当前运动环境下包括有视觉图像信息和位置信息的第一数据信息,并将该第一数据信息发送至上述处理装置33,还利用语音识别合成装置22接收用户发送的语音信息,输出对语音信息进行识别处理得到的目标地址信息至上述处理装置33,该处理装置33则对第一数据信息和目标地址信息进行路径分析处理,并将得到的路径提示信息发送至语音识别合成装置22进行语音输出以提醒用户按照规划路径行走,其结合视觉避障导航和定位导航的技术,导航的精准度较高,且通过相应的语音提示帮助用户避开避障目标,具有较强的周围环境感知能力,从而为盲人出行提供了安全、便利的条件,实用性较佳。
具体的,本发明实施例所提供的智能导盲系统由信息采集装置11、语音识别合成装置22和处理装置33三个部分组成,其中:
本发明实施例中的信息采集装置11不仅包括有采集视觉图像信息的图像采集器110,还包括有多个信息采集传感器,用于采集智能导盲系统在运动环境下的位置、加速度、角速度以及磁场等信息,上述信息中视觉图像信息和位置信息是基本信息,而加速度、角速度以及磁场等辅助信息在处理装置33进行相关融合处理时将用于对上述基本信息进行校准,且辅助信息之间也可以相互校准,使得融合处理得到的数据信息准确度和精确度均较高,同时,由于辅助信息的输出频率较高,该辅助信息与基本信息的融合又使得最终校准的数据信息刷新率较快,数据的实时性较佳。
另外,本发明实施例所提供的智能导盲系统还包括语音识别合成装置22,该语音识别合成装置22一方面可以接收用户发送的语音信息,根据自身的语音识别功能对语音信息进行识别处理,得到对应的目标地址信息,另一方面还可以接收处理装置33发送的路径提示信息,并将该路径提示信息合成为相应的语音进行输出。上述路径提示信息则是处理装置33对第一数据信息和目标地址信息进行路径分析处理的得到的结果。
其中,处理装置33通过视觉图像信息可以得到携带有智能导盲系统的用户和障碍目标之间的距离信息,还可以通过位置信息定位到用户,再结合相应的目标地址信息进行路径规划,并通过语音识别合成装置22进行语音导航,导航的精准度较高,且能够帮助用户有效的避开周围障碍物,实用性更佳。
进一步的,参见图2,本发明实施例所提供的智能导盲系统中的信息采集装置11包括:图像采集器110、定位器111和IMU112(Inertialmeasurement unit,惯性测量单元),其中,IMU112包括:加速度传感器1120、角速度传感器1121和磁感应传感器1122,其中:
上述图像采集器110实时采集当前运动环境下智能导盲系统的视觉图像信息;该视觉图像信息包括对应于智能导盲系统的运动轨迹信息的第一视觉图像信息和对应于智能导盲系统的障碍目标信息的第二视觉图像信息。其中,该图像采集器110包括普通摄像头和高清摄像头以满足不同用户的不同需求,普通摄像头的数量可以为一个,也可以为多个,考虑到双目摄像头的优良特性,本发明实施例中优选的选用双目摄像头,且上述双目摄像头可以采集到第一视觉图像信息和第二视觉图像信息。另外,上述高清摄像头可以实时采集当前运动环境下智能导盲系统的第二高清视觉图像信息,为后期机器学习式的路径分析提供支撑条件,还可以根据第二高清视觉图像信息对双目摄像头实时采集的第二双目视觉图像信息进行矫正,尤其是克服一些特殊复杂的应用场景下所引起的第二双目视觉图像信息失效的问题。
另外,本发明实施例所提供的智能导盲系统中的信息采集装置11还包括定位器111和由加速度传感器1120、角速度传感器1121和磁感应传感器1122构成的IMU112,且该IMU112为九轴测量装置,其中,上述定位器111可以是GPS(Global Positioning System,全球定位系统)定位,还可以是北斗卫星定位系统定位,其用于实时采集当前运动环境下智能导盲系统的位置信息,IMU112则通过上述加速度传感器1120、角速度传感器1121和磁感应传感器1122分别测量对应的加速度、角速度和磁场信息。
进一步的,为了便于用户在特殊场景(如无标识白墙、夜晚环境)下也能够很方便的使用上述智能导盲系统,本发明实施例所提供的智能导盲系统还包括测距仪,该测距仪可以为激光雷达测距系统、可以为超声波雷达测距系统,该测距仪通过自身包括的发射器障碍目标发射第一信号,然后根据自身包括的接收器接收反射的第二信号,通过第一信号和第二信号之间的相位差得到智能导盲系统的障碍目标信息。该障碍目标信息主要是指障碍目标距离用户的距离信息。
进一步的,为了便于上述第一数据信息的分析与处理,参见图3,本发明实施例所提供的智能导盲系统中的处理装置33包括第一校准模块330、第二校准模块331和第三校准模块332,其中:
第一校准模块330能够根据加速度信息、角速度信息、磁场信息和第一视觉图像信息的融合处理,估计出第一视觉图像信息中的缺失像素,通过反运算既可以得到对应的校准第一视觉图像信息,同样的,第二校准模块331能够根据加速度信息、角速度信息、磁场信息和第二视觉图像信息的融合处理,估计出第二视觉图像信息中的缺失像素,通过反运算既可以得到对应的校准第二视觉图像信息,第三校准模块332能够根据加速度信息、角速度信息、磁场信息和位置信息的融合处理,估计出该智能导盲系统及其携带用户当前的校准位置信息,以及校准姿态四元数信息和运动加速度等信息。上述校准信息真实可靠。
另外,考虑到IMU112的瞬时输出频率较高,在定位器111本身输出频率较低的情况下,可以通过上述融合处理获得输出频率较高的位置信息,即输出信息的刷新率高,将进一步提高智能导盲系统的定位质量。
进一步的,参见图3,上述处理装置33还包括第一处理模块333和第二处理模块334,其中,第一处理模块333可以根据上述校准第一视觉图像信息对智能导盲系统进行识别和跟踪的分析处理,得到分析处理后的智能导盲系统的运动轨迹信息,第二处理模块334则可以根据校准第二视觉图像信息对障碍目标进行视觉的分析处理,得到分析处理后的智能导盲系统的障碍目标信息。
另外,上述处理装置33可以通过第二处理模块334得到的障碍目标信息或测距仪得到障碍目标信息,且能够重建出空间景物的三维信息,并可以结合三维重建技术重构出3D立体景象,从而有效进行视觉避障,还可以通过相应的处理模块对运动轨迹信息和校准位置信息进行进一步的位置校正,在感知周围环境信息的基础上,能够精准的避障。
其中,本发明实施例所提供的智能导盲系统还可以通过相应的处理模块结合智能导盲系统的运动轨迹信息和电子地图对应的特征标识物的位置信息对该智能导盲系统的位置信息进行辅助的位置标定,以提高智能导盲系统定位避障的鲁棒性。
进一步的,参见图3,本发明实施例所提供的智能导盲系统中的处理装置33还包括路径映射模块335、路径规划模块336和路径提示模块337,其中:
路径映射模块335用于在预存的电子地图上实时对校准位置信息、障碍目标信息和目标地址信息进行映射处理,得到映射处理后的路径起始位置、路径障碍位置和路径终止位置,而路径规划模块336与路径映射模块335相连接,用于根据路径起始位置、路径障碍位置和路径终止位置进行路径规划,得到对应的路径规划信息,最后路径提示模块337根据路径规划信息在预设的路径提示处生成对应的路径提示信息;路径提示信息至少包括:直行信息、拐弯信息和障碍信息。
进一步的,参见图3,本发明实施例所提供的智能导盲系统中的处理装置33还包括信息记录模块338和信息学习模块339,其中:
考虑到盲人或视障人士平时的生活习惯较为单一,行走的路线较为固定,因此,本发明实施例中的处理装置33还包括信息记录模块338,该信息记录模块338能够记录与携带有智能导盲系统的用户相关的第二数据信息;第二数据信息包括:视觉图像信息、位置信息、路径起始位置、路径障碍位置、路径终止位置、运动轨迹信息和自定义信息;其中,上述自定义信息为定义的个性化数据,例如盲人的走路习惯、经常去的一些地点、路径、步长、公交车站点、长椅座位点等等。本发明实施例还可以通过信息学习模块339对第二数据信息进行大数据的机器训练和学习,并将学习得到的第三数据信息及时的反馈至路径规划模块336中,以对路径规划进行优化,特别是在其他数据源失效时,可以根据上述机器学习的手段依旧可以帮助用户精确的避开障碍目标,从而进一步提高了本发明实施例所提供的智能导盲系统的鲁棒性,且随着盲人使用该智能导盲系统的次数越来越多,机器学习的精度会越来越高,智能化程度也越来越高。
进一步的,本发明实施例所提供的智能导盲系统还包括与终端设备进行通信的无线通信模块,通过该无线通信模块将智能导盲系统与电脑设备或互联网进行信息交互,该传输只是满足系统版本升级的需要,即是本发明实施例中的智能导盲系统自身具备处理功能,省去了与之连接的处理器机,从而提高了便携性,实用性更佳。其中,上述无线通信模块可以是WIFI模块,还可以是蓝牙模块,
本发明实施例提供的智能导盲系统,与现有技术中基于语音的导盲装置,由于GPS导航定位精度比较低、可靠性不高,导致语音导航不精确,且缺乏一定的环境感知能力,安全系数较低相比,其通过信息采集装置11实时采集在当前运动环境下包括有视觉图像信息和位置信息的第一数据信息,并将该第一数据信息发送至上述处理装置33,还利用语音识别合成装置22接收用户发送的语音信息,输出对语音信息进行识别处理得到的目标地址信息至上述处理装置33,该处理装置33则对第一数据信息和目标地址信息进行路径分析处理,并将得到的路径提示信息发送至语音识别合成装置22进行语音输出以提醒用户按照规划路径行走,其结合视觉避障导航和定位导航的技术,导航的精准度较高,且通过相应的语音提示帮助用户避开避障目标,具有较强的周围环境感知能力,从而为盲人出行提供了安全、便利的条件,实用性较佳。
在本发明所提供的实施例中,应该理解到,所揭露装置,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种智能导盲系统,其特征在于,包括:信息采集装置、语音识别合成装置和处理装置;
所述信息采集装置,用于实时采集所述智能导盲系统在当前运动环境下的第一数据信息;所述第一数据信息至少包括:视觉图像信息和位置信息;
所述语音识别合成装置,用于接收用户发送的语音信息,对所述语音信息进行识别处理,得到对应的目标地址信息;以及,将所述处理装置处理得到的路径提示信息进行语音输出;所述路径提示信息用于提醒携带有所述智能导盲系统的用户按照规划路径行走;
所述处理装置,用于对所述第一数据信息和所述目标地址信息进行路径分析处理,得到分析处理后的路径提示信息。
2.根据权利要求1所述的智能导盲系统,其特征在于,所述信息采集装置包括:图像采集器、定位器和惯性测量单元IMU;所述IMU包括:加速度传感器、角速度传感器和磁感应传感器;
所述图像采集器,用于实时采集当前运动环境下所述智能导盲系统的视觉图像信息;所述视觉图像信息包括:第一视觉图像信息和第二视觉图像信息;所述第一视觉图像信息对应于所述智能导盲系统的运动轨迹信息;所述第二视觉图像信息对应于所述智能导盲系统的障碍目标信息;
所述定位器,用于实时采集当前运动环境下所述智能导盲系统的位置信息;
所述加速度传感器,用于实时采集当前运动环境下所述智能导盲系统的加速度信息;
所述角速度传感器,用于实时采集当前运动环境下所述智能导盲系统的角速度信息;
所述磁感应传感器,用于实时采集当前运动环境下所述智能导盲系统的磁场信息。
3.根据权利要求2所述的智能导盲系统,其特征在于,还包括测距仪;
所述测距仪,用于向所述障碍目标发射第一信号,接收所述障碍目标反射的第二信号;根据所述第一信号和所述第二信号之间的相位差得到所述智能导盲系统的障碍目标信息。
4.根据权利要求2或3所述的智能导盲系统,其特征在于,所述处理装置包括:第一校准模块、第二校准模块和第三校准模块;
所述第一校准模块,用于根据所述加速度信息、所述角速度信息和所述磁场信息对所述第一视觉图像信息进行第一校准处理,得到对应的校准第一视觉图像信息;
所述第二校准模块,用于根据所述加速度信息、所述角速度信息和所述磁场信息对所述第二视觉图像信息进行第二校准处理,得到对应的校准第二视觉图像信息;
所述第三校准模块,用于根据所述加速度信息、所述角速度信息和所述磁场信息对所述位置信息进行第三校准处理,得到对应的校准位置信息。
5.根据权利要求4所述的智能导盲系统,其特征在于,所述处理装置还包括:第一处理模块和第二处理模块;
所述第一处理模块,用于根据所述校准第一视觉图像信息对所述智能导盲系统进行识别和跟踪的分析处理,得到分析处理后的所述智能导盲系统的运动轨迹信息;
所述第二处理模块,用于根据所述校准第二视觉图像信息对所述障碍目标进行视觉的分析处理,得到分析处理后的所述智能导盲系统的障碍目标信息。
6.根据权利要求5所述的智能导盲系统,其特征在于,所述处理装置还包括:路径映射模块、路径规划模块和路径提示模块;
所述路径映射模块,用于在预存的电子地图上实时对所述校准位置信息、所述障碍目标信息和所述目标地址信息进行映射处理,得到映射处理后的路径起始位置、路径障碍位置和路径终止位置;
所述路径规划模块,用于根据所述路径起始位置、所述路径障碍位置和所述路径终止位置进行路径规划,得到对应的路径规划信息;
所述路径提示模块,用于根据所述路径规划信息在预设的路径提示处生成对应的路径提示信息;所述路径提示信息至少包括:直行信息、拐弯信息和障碍信息。
7.根据权利要求6所述的智能导盲系统,其特征在于,所述处理装置还包括:信息记录模块和信息学习模块;
所述信息记录模块,用于记录与携带有所述智能导盲系统的用户相关的第二数据信息;所述第二数据信息包括:所述视觉图像信息、所述位置信息、所述路径起始位置、所述路径障碍位置、所述路径终止位置、所述运动轨迹信息和自定义信息;
所述信息学习模块,用于通过机器学习的方法对所述第二数据信息进行训练和学习处理,得到处理后的第三数据信息;所述第三数据信息用于对所述路径规划进行优化。
8.根据权利要求2所述的智能导盲系统,其特征在于,所述图像采集器包括:双目摄像头和高清摄像头。
9.根据权利要求8所述的智能导盲系统,其特征在于,所述高清摄像头,用于实时采集当前运动环境下所述智能导盲系统的第二高清视觉图像信息,以及,根据所述第二高清视觉图像信息对所述双目摄像头实时采集的第二双目视觉图像信息进行矫正。
10.根据权利要求7或9所述的智能导盲系统,其特征在于,还包括无线通信模块;
所述无线通信模块,用于将所述智能导盲系统与终端设备实现数据通信。
CN201610581588.3A 2016-07-21 2016-07-21 一种智能导盲系统 Pending CN105973264A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610581588.3A CN105973264A (zh) 2016-07-21 2016-07-21 一种智能导盲系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610581588.3A CN105973264A (zh) 2016-07-21 2016-07-21 一种智能导盲系统

Publications (1)

Publication Number Publication Date
CN105973264A true CN105973264A (zh) 2016-09-28

Family

ID=56952156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610581588.3A Pending CN105973264A (zh) 2016-07-21 2016-07-21 一种智能导盲系统

Country Status (1)

Country Link
CN (1) CN105973264A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106859929A (zh) * 2017-01-25 2017-06-20 上海集成电路研发中心有限公司 一种基于双目视觉的多功能导盲仪
CN106920260A (zh) * 2017-03-02 2017-07-04 万物感知(深圳)科技有限公司 立体惯性导盲方法及装置和系统
CN107063256A (zh) * 2017-01-23 2017-08-18 斑马信息科技有限公司 汽车同步建图与定位方法
CN107328426A (zh) * 2017-05-23 2017-11-07 深圳大学 一种适用于视力障碍者的室内定位导航方法及系统
CN107390703A (zh) * 2017-09-12 2017-11-24 北京创享高科科技有限公司 一种智能化导盲机器人及其导盲方法
CN107990902A (zh) * 2017-12-29 2018-05-04 达闼科技(北京)有限公司 基于云端的导航方法、导航系统、电子设备和程序产品
CN108095987A (zh) * 2017-12-06 2018-06-01 英业达科技有限公司 视障导航系统及其方法
CN108168539A (zh) * 2017-12-21 2018-06-15 儒安科技有限公司 一种基于计算机视觉的盲人导航方法、装置及系统
CN108527379A (zh) * 2018-03-29 2018-09-14 上海理工大学 一种车站盲人服务机器人
CN108555922A (zh) * 2018-03-29 2018-09-21 上海理工大学 一种机场盲人服务机器人
CN109421059A (zh) * 2017-08-27 2019-03-05 南京乐朋电子科技有限公司 一种新型云智能导盲机器人
WO2019206177A1 (zh) * 2018-04-27 2019-10-31 深圳市前海安测信息技术有限公司 阿尔兹海默症患者遗忘路线智能导航装置及方法
TWI712011B (zh) * 2019-12-18 2020-12-01 仁寶電腦工業股份有限公司 安全警示語音提示方法
CN113119138A (zh) * 2021-04-16 2021-07-16 中国科学技术大学 基于物联网的助盲机器人系统及方法
CN114088059A (zh) * 2020-07-29 2022-02-25 珠海星客合创科技有限公司 基于智能路灯的地图信息采集方法、环境地图的构建方法
CN114191268A (zh) * 2021-12-06 2022-03-18 中国矿业大学(北京) 一种智能盲杖的智能向导行为习惯训练方法及装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2147701A (en) * 1983-10-07 1985-05-15 Ian Leslie Freeston Portable personal navigation aid
FR2624005A1 (fr) * 1987-12-07 1989-06-09 Blanc Roger Installation de guidage pour non-voyants
CN101368828A (zh) * 2008-10-15 2009-02-18 同济大学 基于计算机视觉的盲人导航方法及系统
CN101598557A (zh) * 2009-07-15 2009-12-09 北京航空航天大学 一种应用于无人驾驶飞机的组合导航系统
CN101986673A (zh) * 2010-09-03 2011-03-16 浙江大学 一种智能手机导盲器及导盲方法
CN102109348A (zh) * 2009-12-25 2011-06-29 财团法人工业技术研究院 定位载体、估测载体姿态与建地图的系统与方法
CN103424114A (zh) * 2012-05-22 2013-12-04 同济大学 一种视觉导航/惯性导航的全组合方法
CN104251702A (zh) * 2014-09-18 2014-12-31 重庆大学 一种基于相对位姿测量的行人导航方法
CN105167967A (zh) * 2015-09-14 2015-12-23 深圳市冠旭电子有限公司 一种导盲方法及系统
CN105222760A (zh) * 2015-10-22 2016-01-06 一飞智控(天津)科技有限公司 一种基于双目视觉的无人机自主障碍物检测系统及方法
CN105222772A (zh) * 2015-09-17 2016-01-06 泉州装备制造研究所 一种基于多源信息融合的高精度运动轨迹检测系统
CN105496740A (zh) * 2016-01-08 2016-04-20 中国石油大学(华东) 一种智能导盲装置及安装有该装置的导盲杖
CN105662796A (zh) * 2016-03-15 2016-06-15 江苏龙昌智能科技有限公司 一种盲人智能助行服及其导航方法
CN105686935A (zh) * 2016-01-08 2016-06-22 中国石油大学(华东) 一种智能导盲方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2147701A (en) * 1983-10-07 1985-05-15 Ian Leslie Freeston Portable personal navigation aid
FR2624005A1 (fr) * 1987-12-07 1989-06-09 Blanc Roger Installation de guidage pour non-voyants
CN101368828A (zh) * 2008-10-15 2009-02-18 同济大学 基于计算机视觉的盲人导航方法及系统
CN101598557A (zh) * 2009-07-15 2009-12-09 北京航空航天大学 一种应用于无人驾驶飞机的组合导航系统
CN102109348A (zh) * 2009-12-25 2011-06-29 财团法人工业技术研究院 定位载体、估测载体姿态与建地图的系统与方法
CN101986673A (zh) * 2010-09-03 2011-03-16 浙江大学 一种智能手机导盲器及导盲方法
CN103424114A (zh) * 2012-05-22 2013-12-04 同济大学 一种视觉导航/惯性导航的全组合方法
CN104251702A (zh) * 2014-09-18 2014-12-31 重庆大学 一种基于相对位姿测量的行人导航方法
CN105167967A (zh) * 2015-09-14 2015-12-23 深圳市冠旭电子有限公司 一种导盲方法及系统
CN105222772A (zh) * 2015-09-17 2016-01-06 泉州装备制造研究所 一种基于多源信息融合的高精度运动轨迹检测系统
CN105222760A (zh) * 2015-10-22 2016-01-06 一飞智控(天津)科技有限公司 一种基于双目视觉的无人机自主障碍物检测系统及方法
CN105496740A (zh) * 2016-01-08 2016-04-20 中国石油大学(华东) 一种智能导盲装置及安装有该装置的导盲杖
CN105686935A (zh) * 2016-01-08 2016-06-22 中国石油大学(华东) 一种智能导盲方法
CN105662796A (zh) * 2016-03-15 2016-06-15 江苏龙昌智能科技有限公司 一种盲人智能助行服及其导航方法

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107063256A (zh) * 2017-01-23 2017-08-18 斑马信息科技有限公司 汽车同步建图与定位方法
CN106859929A (zh) * 2017-01-25 2017-06-20 上海集成电路研发中心有限公司 一种基于双目视觉的多功能导盲仪
CN106859929B (zh) * 2017-01-25 2019-11-22 上海集成电路研发中心有限公司 一种基于双目视觉的多功能导盲仪
CN106920260A (zh) * 2017-03-02 2017-07-04 万物感知(深圳)科技有限公司 立体惯性导盲方法及装置和系统
CN106920260B (zh) * 2017-03-02 2020-07-24 北京百度网讯科技有限公司 立体惯性导盲方法及装置和系统
CN107328426A (zh) * 2017-05-23 2017-11-07 深圳大学 一种适用于视力障碍者的室内定位导航方法及系统
CN109421059A (zh) * 2017-08-27 2019-03-05 南京乐朋电子科技有限公司 一种新型云智能导盲机器人
CN107390703A (zh) * 2017-09-12 2017-11-24 北京创享高科科技有限公司 一种智能化导盲机器人及其导盲方法
CN108095987A (zh) * 2017-12-06 2018-06-01 英业达科技有限公司 视障导航系统及其方法
CN108168539A (zh) * 2017-12-21 2018-06-15 儒安科技有限公司 一种基于计算机视觉的盲人导航方法、装置及系统
CN107990902A (zh) * 2017-12-29 2018-05-04 达闼科技(北京)有限公司 基于云端的导航方法、导航系统、电子设备和程序产品
CN107990902B (zh) * 2017-12-29 2019-08-16 达闼科技(北京)有限公司 基于云端的导航方法、导航系统、电子设备
CN108555922A (zh) * 2018-03-29 2018-09-21 上海理工大学 一种机场盲人服务机器人
CN108527379A (zh) * 2018-03-29 2018-09-14 上海理工大学 一种车站盲人服务机器人
WO2019206177A1 (zh) * 2018-04-27 2019-10-31 深圳市前海安测信息技术有限公司 阿尔兹海默症患者遗忘路线智能导航装置及方法
TWI712011B (zh) * 2019-12-18 2020-12-01 仁寶電腦工業股份有限公司 安全警示語音提示方法
US11145081B2 (en) 2019-12-18 2021-10-12 Compal Electronics, Inc. Voice prompting method of safety warning
CN114088059A (zh) * 2020-07-29 2022-02-25 珠海星客合创科技有限公司 基于智能路灯的地图信息采集方法、环境地图的构建方法
CN114088059B (zh) * 2020-07-29 2024-06-11 珠海星客合创科技有限公司 基于智能路灯的地图信息采集方法、环境地图的构建方法
CN113119138A (zh) * 2021-04-16 2021-07-16 中国科学技术大学 基于物联网的助盲机器人系统及方法
CN114191268A (zh) * 2021-12-06 2022-03-18 中国矿业大学(北京) 一种智能盲杖的智能向导行为习惯训练方法及装置
CN114191268B (zh) * 2021-12-06 2023-04-07 中国矿业大学(北京) 一种智能盲杖的智能向导行为习惯训练方法及装置

Similar Documents

Publication Publication Date Title
CN105973264A (zh) 一种智能导盲系统
US10362429B2 (en) Systems and methods for generating spatial sound information relevant to real-world environments
US11632536B2 (en) Method and apparatus for generating three-dimensional (3D) road model
CN207117844U (zh) 多vr/ar设备协同系统
Katz et al. NAVIG: Augmented reality guidance system for the visually impaired: Combining object localization, GNSS, and spatial audio
US20070009137A1 (en) Image generation apparatus, image generation method and image generation program
Katz et al. NAVIG: Guidance system for the visually impaired using virtual augmented reality
CN111460865B (zh) 辅助驾驶方法、辅助驾驶系统、计算设备及存储介质
CN114364945A (zh) 移动设备导航系统
JP2016149132A (ja) 乗り物のドライバ支援システムにおける予測のためのシステムおよび方法
WO2011122654A1 (ja) 情報処理装置、情報処理方法及びプログラム、情報処理装置、空きスペース案内システム、空きスペース案内方法及びプログラム、画像表示システム、画像表示方法及びプログラム
CN105676251A (zh) 车辆乘客识别
US11487022B2 (en) 3D point cloud map alignment with open street map for outdoor 6D localization on mobile platforms
JP2023508778A (ja) シーン認識対話を行うためのシステム
CN109883418A (zh) 一种室内定位方法及装置
CN108139227A (zh) 用于视频图示、选择和同步的基于位置的服务工具
JP6596989B2 (ja) 表示制御方法、表示制御プログラム、情報処理端末及びヘッドマウントディスプレイ
JP7266208B2 (ja) 認識位置決め装置及び情報変換装置
CN108733059A (zh) 一种导览方法及机器人
US11668580B2 (en) System and method of creating custom dynamic neighborhoods for individual drivers
CN109764889A (zh) 导盲方法和装置,存储介质和电子设备
CN115035626A (zh) 一种基于ar的景区智能巡检系统及方法
US20200410261A1 (en) Object identification in data relating to signals that are not human perceptible
CN113448340B (zh) 一种无人机的路径规划方法、装置、无人机及存储介质
KR20190068006A (ko) 마커 인식을 통해 경로를 제공하는 방법 및 서버

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160928

RJ01 Rejection of invention patent application after publication