CN117572343A - 视障用户短距离导航方法、装置、电子设备及存储介质 - Google Patents
视障用户短距离导航方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117572343A CN117572343A CN202311404196.6A CN202311404196A CN117572343A CN 117572343 A CN117572343 A CN 117572343A CN 202311404196 A CN202311404196 A CN 202311404196A CN 117572343 A CN117572343 A CN 117572343A
- Authority
- CN
- China
- Prior art keywords
- impaired user
- vision
- destination
- real destination
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 114
- 230000001771 impaired effect Effects 0.000 title claims description 156
- 230000008569 process Effects 0.000 claims abstract description 37
- 230000004438 eyesight Effects 0.000 claims description 37
- 230000000007 visual effect Effects 0.000 claims description 23
- 230000004888 barrier function Effects 0.000 claims description 20
- 238000012544 monitoring process Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 14
- 230000006735 deficit Effects 0.000 claims description 10
- 230000002093 peripheral effect Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 241000274965 Cyrestis thyodamas Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000004402 high myopia Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Navigation (AREA)
Abstract
本发明提供一种视障用户短距离导航方法、装置、电子设备及存储介质,该方法通过对视障用户的周围环境信息进行采集,与真实目的地的真实目的地信息进行比对,找到真实目的地相对于视障用户的方位,得到真实目的地与视障用户的初始相对位置信息,并生成短距离导航路线,按照该短距离导航路线对视障用户进行导航,并在视障用户行进过程中,进行障碍物检测,及时提醒视障用户绕开障碍物,最终引导视障用户到达真实目的地,不需要借助预先建立的三维地图或常规地图,解决了成本,提升了出行效率,且能够弥补常规导航方式过早结束导航,不能将用户准确的导航到目的地的缺陷,将视障用户真正的导航到真实目的地。
Description
技术领域
本申请涉及视障用户出行辅助技术领域,具体涉及一种视障用户短距离导航方法、装置、电子设备及存储介质。
背景技术
视障群体是一个特殊的群体,由于视觉的缺失,或者视觉的不敏锐,使得视障用户与普通用户相比,对于辅助出行设备的要求更高。但在当前的出行导航领域,往往为视障用户提供的仅是将针对普通用户的导航软件的简单适配视觉障碍模式,通过对页面的语音播报以使得视障用户更方便的使用导航软件。
但由于设备定位的灵敏程度不一,当前的导航软件通常在接近目的地后即结束导航。对于普通用户而言,可能几十米或者十几米的距离只需要目视即可找到目的地,但对于视障用户而言,可能短短的几米距离也使得他们存在偏移路线的可能。若不能及时得到其他人的帮助,将很难完成独立的出行。因此,亟需一种针对视障用户的短距离导航方式,以弥补普通导航方式不能将用户准确的导航到目的地的缺陷。
发明内容
鉴于以上所述现有技术的缺点,本发明提供一种视障用户短距离导航方法、装置、电子设备及存储介质,以解决亟需一种针对视障用户的短距离导航方式,以弥补普通导航方式不能将用户准确的导航到目的地的缺陷的技术问题。
本发明提供的一种视障用户短距离导航方法,所述视障用户短距离导航方法包括:当视障用户与真实目的地之间的第一距离小于预设距离,获取真实目的地信息,以及采集所述视障用户的周围环境信息;将所述真实目的地信息与所述周围环境信息进行比对,确定真实目的地与所述视障用户的初始相对位置信息,并生成短距离导航路线;按照所述短距离导航路线提示所述视障用户开始行进;在所述视障用户的行进过程中采集前进方向的前进图像,对所述前进图像进行障碍物检测,若存在障碍物,根据所述障碍物的位置生成绕障路线,并提示所述视障用户根据所述绕障路线行进,完成所述障碍物的绕行后,根据所述真实目的地的真实目的地位置和绕行后的视障用户位置生成新的短距离导航路线,按照新的短距离导航路线提示所述视障用户继续行进;重复在所述视障用户的行进过程中采集前进方向的前进图像至按照新的短距离导航路线提示所述视障用户继续行进的步骤,直到所述视障用户到达所述真实目的地。
于本发明一实施例中,采集所述视障用户的周围环境信息之前,所述方法包括:
获取远距离导航装置的目的地提示消息,若所述远距离导航装置提示到达导航目的地并结束导航,将所述视障用户与所述真实目的地之间的初始距离确定为小于预设距离;
或,
在所述视障用户出行过程中,监测所述视障用户的出行位置,并根据所述出行位置和所述真实目的地的目的地位置确定所述第一距离。
于本发明一实施例中,将所述真实目的地信息与所述周围环境信息进行比对,确定真实目的地与所述视障用户的初始相对位置信息,包括:将真实目的地图像与多个周围环境子图像进行第一相似度比对,所述周围环境信息包括环绕所述视障用户周围在多个采集角度采集的周围环境子图像,所述真实目的地图像基于所述真实目的地信息得到;将第一相似度最高的一周围环境子图像确定为目标环境图像;控制视觉定位相机调整至所述目标环境图像的采集角度,以通过所述视觉定位相机确定真实目的地与所述视障用户的初始相对位置信息,所述初始相对位置信息包括所述真实目的地与所述视障用户之间的起始距离,以及所述真实目的地相对于所述视障用户之间的方位信息。
于本发明一实施例中,将第一相似度最高的一周围环境子图像确定为目标环境图像之前,所述方法还包括:获取每一周围环境子图像的第一相似度;若全部第一相似度均小于预设相似度阈值,确定目的地关联图像与每一周围环境子图像之间的第二相似度,所述目的地关联图像基于所述真实目的地信息得到,若存在至少一第二相似度大于预设相似度阈值,将所述第二相似度最高的一周围环境子图像确定为目标环境图像;若存在至少一个第一相似度大于或等于预设相似度阈值,触发将相似度最高的一周围环境子图像确定为目标环境图像。
于本发明一实施例中,将所述真实目的地信息与所述周围环境信息进行比对,确定真实目的地与所述视障用户的初始相对位置信息,包括:确定真实目的地声音特征数据在每一周围声音子特征数据中的清晰度,所述周围环境信息包括环绕所述视障用户周围在多个采集角度采集的周围声音子特征数据,所述真实目的地声音特征数据基于所述真实目的地信息得到;将清晰度最高的所述周围声音子特征数据确定为目标声音子特征数据;控制视觉定位相机调整至所述目标声音子特征数据的采集角度,以通过所述视觉定位相机确定真实目的地与所述视障用户的初始相对位置信息,所述初始相对位置信息包括所述真实目的地与所述视障用户之间的起始距离,以及所述真实目的地相对于所述视障用户之间的方位信息。
于本发明一实施例中,根据所述真实目的地的真实目的地位置和绕行后的视障用户位置生成新的短距离导航路线,包括:
获取所述视障用户的卫星定位信号,根据所述卫星定位信号确定绕行后的视障用户位置,根据所述真实目的地位置和所述绕行后的视障用户位置确定新的短距离导航路线;
或,
获取所述视障用户在预设坐标系中的当前坐标,以及所述真实目的地在所述预设坐标系中的目的地坐标,所述预设坐标系基于第一次生成短距离导航路线时所述视障用户的初始位置、所述真实目的地的真实目的地位置以及所述初始相对位置信息建立,所述目的地坐标为所述真实目的地位置在所述预设坐标系中的对应坐标位置,所述当前坐标通过对所述视障用户的行进过程进行监测,基于监测结果对所述视障用户在所述预设坐标系的坐标位置进行同步得到,所述监测结果包括行进方向和行进距离,将所述当前坐标作为所述真实目的地位置,将所述目的地坐标作为所述绕行后的视障用户位置,基于所述当前坐标和所述目的地坐标生成新的短距离导航路线。
于本发明一实施例中,根据所述真实目的地的真实目的地位置和绕行后的视障用户位置生成新的短距离导航路线之前,所述方法包括:完成所述障碍物的绕行后,重新采集所述视障用户的周围环境信息,得到新的周围环境信息;将所述真实目的地信息与所述新的周围环境信息进行比对;若至少一部分所述新的周围环境信息与至少一部分所述真实目的地信息相同,根据所述真实目的地的真实目的地位置和绕行后的视障用户位置生成新的短距离导航路线;若所述新的周围环境信息与所述真实目的地信息不同,提示寻求帮助。
本发明实施例还提供了一种视障用户短距离导航装置,所述视障用户短距离导航装置包括:信息采集装置,用于当视障用户与真实目的地之间的第一距离小于预设距离,采集所述视障用户的周围环境信息;数据获取模块,用于获取真实目的地信息;路线生成模块,用于将所述真实目的地信息与所述周围环境信息进行比对,确定真实目的地与所述视障用户的初始相对位置信息,并生成短距离导航路线;行进指引模块,用于按照所述短距离导航路线提示所述视障用户开始行进,以及在所述视障用户的行进过程中采集前进方向的前进图像,对所述前进图像进行障碍物检测,若存在障碍物,根据所述障碍物的位置生成绕障路线,并提示所述视障用户根据所述绕障路线行进,完成所述障碍物的绕行后,根据所述真实目的地的真实目的地位置和绕行后的视障用户位置生成新的短距离导航路线,按照新的短距离导航路线提示所述视障用户继续行进,重复在所述视障用户的行进过程中采集前进方向的前进图像至按照新的短距离导航路线提示所述视障用户继续行进的步骤,直到所述视障用户到达所述真实目的地。
本发明实施例还提供了一种电子设备,所述电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述电子设备实现如上述任一项实施例提供的方法。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序被计算机的处理器执行时,使计算机执行上述任一项实施例提供的方法。
本发明的有益效果:本发明提供了一种视障用户短距离导航方法、装置、电子设备及存储介质,该方法通过对视障用户的周围环境信息进行采集,与真实目的地的真实目的地信息进行比对,找到真实目的地相对于视障用户的方位,得到真实目的地与视障用户的初始相对位置信息,并生成短距离导航路线,按照该短距离导航路线对视障用户进行导航,并在视障用户行进过程中,进行障碍物检测,及时提醒视障用户绕开障碍物,最终引导视障用户到达真实目的地,通过上述方式,不需要借助预先建立的三维地图或常规地图,解决了成本,提升了出行效率,且能够弥补常规导航方式过早结束导航,不能将用户准确的导航到目的地的缺陷,将视障用户真正的导航到真实目的地。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术者来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1是本申请的一示例性实施例示出的视障用户短距离导航方法的流程示意图;
图2是本申请的一示例性实施例示出的视障用户短距离导航方法的一种具体的流程示意图;
图3是本申请的一示例性实施例示出的视障用户短距离导航方法的另一种具体的流程示意图;
图4是本申请的一示例性实施例示出的视障用户短距离导航装置的框图;
图5示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
以下将参照附图和优选实施例来说明本发明的实施方式,本领域技术人员可由本说明书中所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。应当理解,优选实施例仅为了说明本发明,而不是为了限制本发明的保护范围。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
在下文描述中,探讨了大量细节,以提供对本发明实施例的更透彻的解释,然而,对本领域技术人员来说,可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的,在其他实施例中,以方框图的形式而不是以细节的形式来示出公知的结构和设备,以避免使本发明的实施例难以理解。
相关技术中,导航技术多用于室外长距离导航和室内导航,且多需要结合地图或者先对场景进行建模才能够实现导航。
一种示例的室外长距离导航方式通过GPS(Global Positioning System,全球定位系统)模块、导航软件、GSM(Global System for Mobile Communications,全球移动通信系统)通信模块相互分工,配合完成,以使用手机完成导航为例,其大体流程方法如下:1.GPS模块完成对GPS卫星的搜索跟踪和定位速度等数据采集工作。2.导航软件地图功能将GPS模块得到位置信息,不停地刷新电子地图,从而使得用户在地图上的位置不停地运动变化。3.导航软件路径引导计算功能,根据需要,规划出一条到达目的地的行走路线,然后引导用户向目的地行走。4.GSM通信模块完成手机的通讯功能,并可根据手机功能对采集来的GPS数据进行处理。
室内导航与室外不同,区别于地图的构建与定位的不同,一种示例的室内导航方式大体流程如下:1.视觉定位:利用摄像头或者激光扫描仪等设备,通过拍摄环境中的特征点或者建立环境的三维模型,来进行定位。2.激光扫描:利用激光扫描仪对室内环境进行扫描,获取环境的三维数据,进而构建地图。3.基于规则的导航算法:根据地图上的道路、楼梯等信息,结合导航规则,给出导航指引。
可见,上述方式中,要么需要一直进行定位,且需要结合地图进行导航或者通过预先对场景进行建模,也即得到空间地图,结合地图进行导航的方式,对于定位的灵敏度和精确度要求较高,存在实际上没有到目的地,距离目的地还有几米或者十几米就结束导航的情况,或者需要预先对目的地所在空间进行建模,成本高昂,都不利于视障用户低成本高效出行。
针对上述技术问题,本申请实施例提供了一种视障用户短距离导航方法,在不需要依靠常规地图或者预先建立的三维地图的前提下,通过包括对视障用户附近的真实目的地在内的视障用户的周围环境信息进行采集,来与真实目的地的真实目的地信息进行比对,以找到真实目的地相对于视障用户的方位,得到真实目的地与视障用户的初始相对位置信息,并生成短距离导航路线,按照该短距离导航路线对视障用户进行导航,并在视障用户行进过程中,进行障碍物检测,及时提醒视障用户绕开障碍物,最终引导视障用户到达真实目的地,通过上述方式,不需要借助预先建立的三维地图或常规地图,解决了成本,提升了出行效率,且能够弥补常规导航方式过早结束导航,不能将用户准确的导航到目的地的缺陷,将视障用户真正的导航到真实目的地。
请参阅图1,图1是本申请的一示例性实施例示出的视障用户短距离导航方法的流程示意图。如图1所示,在一示例性的实施例中,该视障用户短距离导航方法至少包括步骤S110至步骤S150,详细介绍如下:
步骤S110,当视障用户与真实目的地之间的第一距离小于预设距离,获取真实目的地信息,以及采集视障用户的周围环境信息。
本实施例中的视障用户包括但不限于视力明显低于正常水平的用户,比如高度近视、盲人等。当然,对于普通用户而言,也可以通过本实施例提供的方式更加快速、准确的实现短距离导航的目的,因此,本实施例中的视障用户可以泛指使用本实施例提供的短距离导航方法的用户,对于视力正常的人群在使用本申请实施例提供的视障用户短距离导航方法或应用该方法的设备时,也视为本实施例提到的视障用户。
在一实施例中,采集视障用户的周围环境信息之前,方法包括:
获取远距离导航装置的目的地提示消息,若远距离导航装置提示到达导航目的地并结束导航,将视障用户与真实目的地之间的初始距离确定为小于预设距离;
或,
在视障用户出行过程中,监测视障用户的出行位置,并根据出行位置和真实目的地的目的地位置确定第一距离。
例如,对于长距离导航,其长处是将视障用户从一个较远的位置比如几百米、几千米或者更远的地方导航到目的地附近。一旦视障用户距离真实目的地距离为几米或者十几米时,由于导航精度、信号等问题,将导致长距离导航过早的结束导航,到达了“虚假目的地”。也即,远距离导航装置提示到达导航目的地并结束导航后,此时视障用户往往并没有真实的到达目的地,将这一情形可以作为触发本实施例提供的视障用户短距离导航方法的触发条件。也即视为视障用户与真实目的地之间的第一距离小于预设距离的情形。第一距离与起始距离可以是相同的,由于视障用户的移动,也可能存在第一距离大于起始距离的情形。
又例如,即便长距离导航的定位精度和位置更新频率均较高,但由于想达到较高精度的实时定位对设备、网络等要求太高,要花费较多的移动流量等成本较高。因此,也可以通过在视障用户出行过程中,监测视障用户的出行位置,实时计算第一距离,一旦第一距离小于预设距离,则触发本实施例提供的视障用户短距离导航方法。该实施例中,对于视障用户的出行位置的监测可以通过卫星定位等方式实现。
本实施例中,真实目的地信息包括但不限于真实目的地的真实目的地图像、目的地关联图像、真实目的地声音特征数据、真实目的地地理位置等中至少之一。真实目的地图像可以是表征真实目的地外观的一些图像,比如门店的门头、外观、店门口的图像、窗户内部的图像等。目的地关联图像可以是表征真实目的地的位置的一些标志性图像,比如真实目的地的指引牌、真实目的地附近的标志性建筑等。有时有些门店或者建筑物会被门前的树木等障碍物遮挡,此时可以以该树木或其他标志性障碍物的图像作为目的地关联图像。有时真实目的地可能是在视障用户前方左转的位置,此时也可以将真实目的地旁边的一些建筑物等标志物的图像作为目的地关联图像方便进行导航。真实目的地声音特征数据为真实目的地的标志性的声音,比如有些饭店会播放一些具有标志性的迎客话术,如“欢迎您来,欢迎您再来”等,此时可以将这些标志性的声音进行声音特征的提取,作为真实目的地声音特征数据。真实目的地地理位置可以是具体的地理位置,比如通过门牌号、经纬度来表征,也可以是相对于视障用户的距离来确定,比如“正前方300米”等。
真实目的地信息的获取方式可以通过本领域技术人员所知晓的方式实现,比如通过提取视障用户的聊天记录以得到真实目的地信息,比如视障用户与朋友约定的位置可能在网络上没有标志性的图像或者声音、位置等,此时通过对聊天记录提取,能够将朋友所发送的关于目的地的相关信息进行整理,以辅助视障用户找到最终的真实目的地。真实目的地信息的获取方式也可以通过网络查询得到等。真实目的地信息的获取时机只需要限定在步骤S120之前,至于是先采集视障用户的周围环境信息还是先获取真实目的地信息,两者的顺序在此不做限定。
周围环境信息包括但不限于多个周围环境子图像、周围声音子特征数据等中至少之一。周围环境信息的采集可以通过视障用户所携带的采集设备采集,比如通过头戴式的摄像头对视障用户周围的图像进行采集,以及对视障用户周围的音频数据进行采集并分析得到声音特征子数据等。可以是通过设置一个采集设备,调整该采集设备以得到多个周围环境子图像和/或周围声音子特征数据,可以提示视障用户进行转身,转圈等,或者也可以调整采集设备的采集角度等。也可以通过设置多个采集设备得到多个周围环境子图像和/或周围声音子特征数据。采集设备可以具有伸缩机构,以将采集设备升高至一定高度进行信息的采集,减少由于视障用户的身高、所处的位置的低洼导致所才采集的周围环境信息不够准确的问题。当采集设备采集的是图像时,还可以通过设置不同的焦距梯度,采集多组焦距下的图像作为周围环境信息。
通过上述方式,能够在长距离导航失效,或者视障用户到达真实目的地附近后,及时切换到短距离导航模式,以更加高效方便低成本的为视障用户提供导航服务。
步骤S120,将真实目的地信息与周围环境信息进行比对,确定真实目的地与视障用户的初始相对位置信息,并生成短距离导航路线。
在一实施例中,将真实目的地信息与周围环境信息进行比对,确定真实目的地与视障用户的初始相对位置信息,包括:将真实目的地图像与多个周围环境子图像进行第一相似度比对,周围环境信息包括环绕视障用户周围在多个采集角度采集的周围环境子图像,真实目的地图像基于真实目的地信息得到;将第一相似度最高的一周围环境子图像确定为目标环境图像;控制视觉定位相机调整至目标环境图像的采集角度,以通过视觉定位相机确定真实目的地与视障用户的初始相对位置信息,初始相对位置信息包括真实目的地与视障用户之间的起始距离,以及真实目的地相对于视障用户之间的方位信息。
起始距离也即视障用户与真实目的地在视觉定位相机拍摄时的距离,该距离可能与第一距离相等,也可能不等。
方位信息也即视障用户与真实目的地两者之间的相对位置关系,比如正前方,左后方15°等。通过方位信息可以知道视障用户转身等动作。
初始相对位置信息可以通过单目视觉定位算法或者双目视觉定位算法来确定,双目测距技术(也即双目视觉定位算法),是一种通过两个摄像头获取两张图像,利用这两张图像之间的视差(disparity)来计算出物体到摄像头的距离的技术。双目测距的精度受到相机性能、光照和基线长度(两台相机之间距离)影响。目测距技术(也即单目视觉定位算法),是指利用单个摄像头进行距离测量的技术。单目测距主要运用测距模型结合目标矩形框来进行测距任务,通过目标在图像中的大小位置信息去估算距离。单目测距算法具有计算量小、成本低廉的优点,并且测距误差也可以通过后续的调校来消除,很多算法都在采用基于单目视觉传感器来开发产品。具体的初始相对位置信息的确定方式可以由本领域技术人员所知晓的方式实现,在此不做限定。多个周围环境子图像可以是视障用户正前方、正后方、左侧、右侧的图像,也可以是其他多个角度的图像。可以理解的是,多个周围环境子图像之间可以存在重叠,也可以不重叠,具体可以由本领域技术人员根据需要设定。
若真实目的地图像存在多张子图像,则可以基于每一张子图像与周围环境子图像进行第一相似度比对,综合多张子图像的第一相似度比对结果确定综合相似度。由于不同角度拍摄得到的图像中,必然有一些角度拍不到真实目的地,因此可以基于第一相似度对周围环境子图像进行排序,将第一相似度最高的周围环境子图像作为目标环境图像。在确定目标环境图像后,还可以基于目标环境图像中真实目的地的扭曲变形情况,计算得到采集角度偏差,用于后续对视觉定位相机进行采集角度调节。
在本实施例中,将第一相似度最高的一周围环境子图像确定为目标环境图像之前,该包括:获取每一周围环境子图像的第一相似度;若全部第一相似度均小于预设相似度阈值,确定目的地关联图像与每一周围环境子图像之间的第二相似度,目的地关联图像基于真实目的地信息得到,若存在至少一第二相似度大于预设相似度阈值,将第二相似度最高的一周围环境子图像确定为目标环境图像;若存在至少一个第一相似度大于或等于预设相似度阈值,触发将相似度最高的一周围环境子图像确定为目标环境图像。也就是说,有可能当前所拍摄的图像由于真实目的地被遮挡或者在转弯处,导致并没有拍摄到真实目的地的图像,此时,作为补救,可以通过目的地关联图像来确定当前拍摄的周围环境子图像中是否有符合真实目的地附近标志性物体的图像,进而辅助确定真实目的地的方向。进而进行先通过视觉定位相机确定视障用户与真实目的地附近的目的地关联图像对应的标志性物体之间的位置关系,由于真实目的地与标志性物体之间的相对位置关系是固定的,可以根据真实目的地与标志性物体之间的相对位置关系、视障用户与标志性物体之间的相对位置关系,得到初始相对位置信息。由于本方案支持在行进过程中通过获取新的周围环境子图像进行进一步的定位或者通过卫星进行重定位,因此,可以在行进过程中不断修正视障用户的路线,最终达到真实目的地。
在一实施例中,还可以在行进过程中,重复执行步骤S110-步骤S150,以在视障用户行进过程中进一步保证路线的准确性。
在一实施例中,将真实目的地信息与周围环境信息进行比对,确定真实目的地与视障用户的初始相对位置信息,包括:确定真实目的地声音特征数据在每一周围声音子特征数据中的清晰度,周围环境信息包括环绕视障用户周围在多个采集角度采集的周围声音子特征数据,真实目的地声音特征数据基于真实目的地信息得到;将清晰度最高的周围声音子特征数据确定为目标声音子特征数据;控制视觉定位相机调整至目标声音子特征数据的采集角度,以通过视觉定位相机确定真实目的地与视障用户的初始相对位置信息,初始相对位置信息包括真实目的地与视障用户之间的起始距离,以及真实目的地相对于视障用户之间的方位信息。本实施例中,由于一个方向的声音在视障用户的不同的方向传导的清晰程度并不一致,因此可以通过该方式找到真实目的地在视障用户的哪一个方向,再通过声音响度、声音延迟时间等方式,可以确定视障用户与真实目的地之间的起始距离。还可以通过预先训练相关的模型,以得到起始距离和方位信息。
以上提供了初始相对位置信息的一些确定方式,本领域技术人员应当知晓的是,可以采用单一的图像比对或者声音特征比对的方式实现初始相对位置信息的确定,也可以将图像比对和声音特征比对的方式相结合,对得到的初始相对位置信息进行综合分析,得到最终的初始相对位置信息。比如,将两种方式得到的初始相对位置信息进行偏差确定,偏差小于预设偏差阈值,则可以采用其中一个或者平均值作为最终的初始相对位置信息。若偏差大于预设偏差阈值,则可以采用其中一个,或者重新进行初始相对位置信息的确定。
在一实施例中,生成短距离导航路线,包括:根据起始距离和方位信息确定行进方向和每一行进方向的行进距离;基于所有行进方向和行进距离生成短距离导航路线。也即,有时视障用户与真实目的地之间不能直线行进,需要转弯或者曲线行进,此时可以按照顺序规划行进方向,以及每一行进方向的行进距离,然后得到短距离导航路线。在生成短距离导航路线的过程中,可以通过超声波、红外线、视觉识别等技术分析视障用户与真实目的地之间的可行进区域,进而选择可行进路线。这样可以避开如花坛、不可进入的草地、临时摊位等不可行进区域。
通过上述方式,实现了不依靠普通地图或者预先构建的三维地图的方式进行导航。
步骤S130,按照短距离导航路线提示视障用户开始行进。
此处的提示方式与下文提到的“按照新的短距离导航路线提示视障用户继续行进”的提示方式可以相同也可以不同。提示方式可以是语音提示,和/或通过敲击视障用户的身体实现,比如在不同手腕的震动提示左转或右转,不同的震动方式提示向哪一方向转身等。提示方式还可以选择本领域技术人员所知晓的其他方式实现。
在视障用户开始行进之前,需要将图像采集设备调整到与视障用户前进方向一致,以实时采集视障用户前进方向的图像。
步骤S140,在视障用户的行进过程中采集前进方向的前进图像,对前进图像进行障碍物检测,若存在障碍物,根据障碍物的位置生成绕障路线,并提示视障用户根据绕障路线行进,完成障碍物的绕行后,根据真实目的地的真实目的地位置和绕行后的视障用户位置生成新的短距离导航路线,按照新的短距离导航路线提示视障用户继续行进。
由于最初的短距离导航路线仅是基于最初采集的周围环境信息,或者基于初始生成短距离导航路线前的路况确定的,由于路面上可能临时出现新的障碍物,可能是闲坐的路人、临时摊位、静止站立的路人等,为保证视障用户行进过程中的安全,可以在视障用户的行进过程中实时采集前进方向的前进图像,进行障碍物检测,关于障碍物的检测方式可以采用本领域技术人员所知晓的方式实现。这样在没有检测到障碍物时,按照原定的短距离导航路线提示视障用户行进,在检测到障碍物后,则根据障碍物的位置、视障用户的当前位置、目的地位置生成绕障路线,在绕开障碍物的前提下,距离更短时间更快的到达真实目的地。
在检测到障碍物时,可以通过语音和/或其他方式提示视障用户前方有障碍物,在需要时还可以提示视障用户该障碍物是什么(障碍物名称),还有多远等信息(障碍物距离)、障碍物方位等。
在没有检测到障碍物时,可以通过卫星定位或者视觉定位来确定视障用户与真实目的地的距离,通过视障用户携带的陀螺仪装置来确定视障用户与真实目的地之间的方位信息,进而确定视障用户距离真实目的地的实时距离和方位信息。
在一实施例中,可以在视障用户行进过程中,依请求或者定时提示距离真实目的地的距离和方向等信息。
在一实施例中,根据真实目的地的真实目的地位置和绕行后的视障用户位置生成新的短距离导航路线,包括:
获取视障用户的卫星定位信号,根据卫星定位信号确定绕行后的视障用户位置,根据真实目的地位置和绕行后的视障用户位置确定新的短距离导航路线;
或,
获取视障用户在预设坐标系中的当前坐标,以及真实目的地在预设坐标系中的目的地坐标,预设坐标系基于第一次生成短距离导航路线时视障用户的初始位置、真实目的地的真实目的地位置以及初始相对位置信息建立,目的地坐标为真实目的地位置在预设坐标系中的对应坐标位置,当前坐标通过对视障用户的行进过程进行监测,基于监测结果对视障用户在预设坐标系的坐标位置进行同步得到,监测结果包括行进方向和行进距离(可以通过记录行进步数和陀螺仪的方向信息来实现),将当前坐标作为真实目的地位置,将目的地坐标作为绕行后的视障用户位置,基于当前坐标和目的地坐标生成新的短距离导航路线。
可以通过卫星定位的方式,得到视障用户的位置,及该视障用户与周围建筑物的相对关系来校正视障用户的位置,得到绕行后的视障用户位置,以及确定绕行后的视障用户位置与真实目的地位置之间的相对位置关系,通过陀螺仪等设备得到视障用户的朝向,进而确定新的短距离导航路线。
也可以通过在视障用户最开始行进时,就以视障用户的初始位置为原点建立预设坐标系,以真实目的地位置为终点,监测视障用户的移动(通过计步器、陀螺仪等设备),同步在预设坐标系中,进而在预设坐标系中规划视障用户的新的短距离导航路线。若视障用户与真实目的地之间是广场等均可以行走的可行走区域,则预设坐标系中均为可行进区域。若通过视觉识别得到视障用户与真实目的地之间存在喷泉等不可行走区域,则可以在预设坐标系中的对应位置划分禁行区域,在规划路线时绕开该位置。例如,在开始短距离导航后,以视障用户的位置为原点,正对真实目的地的方向为y轴方向,垂直目的地的方向为x轴方向,建立得到直角坐标系作为预设坐标系,将真实目的地的位置映射到该预设坐标系中,得到真实目的地的目的地坐标,记录视障用户携带的陀螺仪的方向数据。在行进过程中,通过计步器等方式来计算视障用户的行进距离,通过陀螺仪来确定行进方向,进而知晓视障用户在预设坐标系中的当前坐标。
在一实施例中,根据真实目的地的真实目的地位置和绕行后的视障用户位置生成新的短距离导航路线之前,该方法包括:完成障碍物的绕行后,重新采集视障用户的周围环境信息,得到新的周围环境信息;将真实目的地信息与新的周围环境信息进行比对;若至少一部分新的周围环境信息与至少一部分真实目的地信息相同,根据真实目的地的真实目的地位置和绕行后的视障用户位置生成新的短距离导航路线;和/或,若新的周围环境信息与真实目的地信息不同,提示寻求帮助。
有时在完成绕障后,可能行进的路线偏移了很多,此时可能视障用户的行进方向不是朝向真实目的地的方向,也即,采集到的全部的周围环境信息与真实目的地信息均不同,此时说明丢失了真实目的地的方向,则可以通过提示视障用户寻求帮助来解决这一问题。否则,可以按照原有的位置,微调或者不调整,可以通过重新采集周围环境信息的方式,来确定当下真实目的地的方位,进而及时调整行进方向,重回正轨。
通过在视障用户行进过程中,如果再次在采集的图像中找到了目的地图像,则可以提示视障用户是否重新进行定位,若重新定位,可以提升导航的精确度,这样可以解决信号不好导致依靠卫星定位不及时,不准确的问题。
步骤S150,重复在视障用户的行进过程中采集前进方向的前进图像至按照新的短距离导航路线提示视障用户继续行进的步骤,直到视障用户到达真实目的地。
也即,障碍物的判断是贯穿视障用户的全部行进过程的,步骤S140一直处于重复状态,直到到达真实目的地。
是否到达真实目的地的判断可以是由视障用户确认实现,也可以通过其他本领域技术人员所知晓的方式实现。
在一实施例中,可以对短距离导航时间进行计时,当耗时超过预设时间阈值,则可以提示视障用户寻求周围人员帮助。或者通过预设的显示屏显示需要帮助提示、警示灯闪烁以提示周围人员该视障用户需要帮助。
上述实施例提供的视障用户短距离导航方法既可以应用与室内,也可以应用于室外,不论卫星定位信号是否稳定,均能够为视障用户提供稳定的短距离导航服务。在不能进行准确的卫星定位时,可以通过图像识别来确定相对位置。
该视障用户短距离导航方法通过包括对视障用户附近的真实目的地在内的视障用户的周围环境信息进行采集,来与真实目的地的真实目的地信息进行比对,以找到真实目的地相对于视障用户的方位,得到真实目的地与视障用户的初始相对位置信息,并生成短距离导航路线,按照该短距离导航路线对视障用户进行导航,并在视障用户行进过程中,进行障碍物检测,及时提醒视障用户绕开障碍物,最终引导视障用户到达真实目的地,通过上述方式,不需要借助预先建立的三维地图或常规地图,解决了成本,提升了出行效率,且能够弥补常规导航方式过早结束导航,不能将用户准确的导航到目的地的缺陷,将视障用户真正的导航到真实目的地。
请参见图2,图2是本申请的一示例性实施例示出的视障用户短距离导航方法的一种具体的流程示意图,以该方法通过头戴设备,该设备可以通过一个或两个摄像头采集数据,内置陀螺仪实现为例,以室外、定位条件良好的场景为例,如图2所示,该方法包括,使用者(视障用户)头戴设备方向和身体保持一致,目视前方,根据摄像头采集的图像识别找到目的地(真实目的地),使用双目测距或者单目测距获取距离,使用头戴设备确定目的地方位,开启导航命令。在开启导航命令后,设备根据识别出的距离以及当前卫星定位数据,计算目的地卫星定位数据,其中目的地可以为“导航到正前方300米”,通过距离计算目的地卫星定位信息,得到真实目的地位置信息。提示视障用户行走,通过障碍物识别确认前方是否有障碍物,若前方有障碍物,根据障碍物提示改变行走方向,同时根据定位信息重新计算目的地距离与方位,根据提示继续行走,定位信息可以通过卫星定位或者视觉定位,障碍物信息包括但不限于障碍物名称、距离、方位等。若前方没有障碍物,可以通过当前卫星定位信息与目的地定位信息实时计算距离(视障用户与真实目的地的距离),通过陀螺仪方向计算目的地方位并语音提示,提示信息包括距离和方位。监测视障用户是否到达目的地,若没有到达目的地则重复执行行走,通过障碍物识别确认前方是否有障碍物到根据障碍物提示改变行走方向,同时根据定位信息重新计算目的地距离与方位,根据提示继续行走的步骤,若到达目的地,则提示到达目的地,结束导航。
请参见图3,图3是本申请的一示例性实施例示出的视障用户短距离导航方法的另一种具体的流程示意图,以该方法通过头戴设备,该设备可以通过一个或两个摄像头采集数据,内置陀螺仪实现为例,以室内的场景为例,如图3所示,该方法包括:使用者(视障用户)头戴设备方向和身体保持一致,目视前方,根据摄像头采集的图像识别找到目的地(真实目的地),使用双目测距或者单目测距获取距离,使用头戴设备确定目的地方位,开启导航命令。在开启导航命令后,以使用者为原点,正对目的地为y轴,垂直目的地方向为x轴建立直角坐标系(预设坐标系),同时计算出目的地坐标,记忆此时陀螺仪方向数据,若此时目的地在正前方,则真实目的地可以是“导航到正前方300米”,提示视障用户行走,通过障碍物识别确认前方是否有障碍物,通过计步器记录移动距离,实时计算视障用户在预设坐标系中的坐标,判断前方是否有障碍物,若有障碍物,则根据障碍物提示改变行走方向,同时根据陀螺仪偏转方向和计步器记录行走的距离,重新计算目的地距离与方位,根据提示继续行走,若没有障碍物,通过计步器计算行走距离,计算目的地方位,提示目的地方位和距离。监测是否到达目的地,若到达目的地,则提示到达目的地,结束流程,若没有到达目的地,则在行走过程中,如果图像识别再次找到真实目的地,提示使用者是否重新定位,以提升精确度。这样可以解决只有开始时有卫星定位,后面由于行走误差,导致不能到达目的地的问题。以及重复执行行走,通过障碍物识别确认前方是否有障碍物到根据提示继续行走的步骤。在整个行进过程中,视障用户随时可以通过语音或者案件实时知晓当前的目的地距离和方位信息。
可见,上述实施例提供的视障用户短距离导航方法,通过图像识别、视觉定位测距、配合陀螺仪的方位确定,在不需要使用地图和场景建模数据的前提下,实现给盲人等视障用户导航的作用。
请参见图4,图4是本申请的一示例性实施例示出的视障用户短距离导航装置的框图。如图4所示,该示例性的视障用户短距离导航装置400包括:信息采集装置401,用于当视障用户与真实目的地之间的第一距离小于预设距离,采集视障用户的周围环境信息;数据获取模块402,用于获取真实目的地信息;路线生成模块403,用于将真实目的地信息与周围环境信息进行比对,确定真实目的地与视障用户的初始相对位置信息,并生成短距离导航路线;行进指引模块404,用于按照短距离导航路线提示视障用户开始行进,以及在视障用户的行进过程中采集前进方向的前进图像,对前进图像进行障碍物检测,若存在障碍物,根据障碍物的位置生成绕障路线,并提示视障用户根据绕障路线行进,完成障碍物的绕行后,根据真实目的地的真实目的地位置和绕行后的视障用户位置生成新的短距离导航路线,按照新的短距离导航路线提示视障用户继续行进,重复在视障用户的行进过程中采集前进方向的前进图像至按照新的短距离导航路线提示视障用户继续行进的步骤,直到视障用户到达真实目的地。
在另一示例性的实施例中,该装置还包括触发模块,用于采集视障用户的周围环境信息之前,获取远距离导航装置的目的地提示消息,若远距离导航装置提示到达导航目的地并结束导航,将视障用户与真实目的地之间的初始距离确定为小于预设距离;或,在视障用户出行过程中,监测视障用户的出行位置,并根据出行位置和真实目的地的目的地位置确定第一距离。
在另一示例性的实施例中,该装置还包括视觉定位相机,用于确定真实目的地与视障用户的初始相对位置信息。
在另一示例性的实施例中,该装置还包括计步器与陀螺仪,计步器用于统计行进步数得到行进距离,陀螺仪用于记录行进方向,得到行进方向,通过行进步数和行进方向确定视障用户在预设坐标系中的当前坐标。
在另一示例性的实施例中,该装置还包括提示装置,用于提示视障用户与真实目的地的实时距离和方向。
该视障用户短距离导航装置可以是头戴式设备(如头盔等)、眼镜等可穿戴设备,也可以是其他本领域技术人员所设计以应用该视障用户短距离导航方法的装置。
需要说明的是,上述实施例所提供的视障用户短距离导航装置与上述实施例所提供的视障用户短距离导航方法属于同一构思,其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述,此处不再赘述。上述实施例所提供的视障用户短距离导航装置在实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能,本处也不对此进行限制。
本申请的实施例还提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述电子设备实现上述各个实施例中提供的视障用户短距离导航方法。
图5示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。需要说明的是,图5示出的电子设备的计算机系统600仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示,计算机系统600包括中央处理单元(Central Processing Unit,CPU)601,其可以根据存储在只读存储器(Read-Only Memory,ROM)602中的程序或者从储存部分608加载到随机访问存储器(Random Access Memory,RAM)603中的程序而执行各种适当的动作和处理,例如执行上述实施例中所述的方法。在RAM 603中,还存储有系统操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(Input/Output,I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分607;包括硬盘等的储存部分608;以及包括诸如LAN(Local Area Network,局域网)卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入储存部分608。
特别地,根据本申请的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时,执行本申请的系统中限定的各种功能。
需要说明的是,本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件,或者上述的任意合适的组合。在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
本申请的另一方面还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被计算机的处理器执行时,使计算机执行如前所述的方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的,也可以是单独存在,而未装配入该电子设备中。
本申请的另一方面还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各个实施例中提供的方法。
上述实施例仅示例性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种视障用户短距离导航方法,其特征在于,所述视障用户短距离导航方法包括:
当视障用户与真实目的地之间的第一距离小于预设距离,获取真实目的地信息,以及采集所述视障用户的周围环境信息;
将所述真实目的地信息与所述周围环境信息进行比对,确定真实目的地与所述视障用户的初始相对位置信息,并生成短距离导航路线;
按照所述短距离导航路线提示所述视障用户开始行进;
在所述视障用户的行进过程中采集前进方向的前进图像,对所述前进图像进行障碍物检测,若存在障碍物,根据所述障碍物的位置生成绕障路线,并提示所述视障用户根据所述绕障路线行进,完成所述障碍物的绕行后,根据所述真实目的地的真实目的地位置和绕行后的视障用户位置生成新的短距离导航路线,按照新的短距离导航路线提示所述视障用户继续行进;
重复在所述视障用户的行进过程中采集前进方向的前进图像至按照新的短距离导航路线提示所述视障用户继续行进的步骤,直到所述视障用户到达所述真实目的地。
2.如权利要求1所述的视障用户短距离导航方法,其特征在于,采集所述视障用户的周围环境信息之前,所述方法包括:
获取远距离导航装置的目的地提示消息,若所述远距离导航装置提示到达导航目的地并结束导航,将所述视障用户与所述真实目的地之间的初始距离确定为小于预设距离;
或,
在所述视障用户出行过程中,监测所述视障用户的出行位置,并根据所述出行位置和所述真实目的地的目的地位置确定所述第一距离。
3.如权利要求1所述的视障用户短距离导航方法,其特征在于,将所述真实目的地信息与所述周围环境信息进行比对,确定真实目的地与所述视障用户的初始相对位置信息,包括:
将真实目的地图像与多个周围环境子图像进行第一相似度比对,所述周围环境信息包括环绕所述视障用户周围在多个采集角度采集的周围环境子图像,所述真实目的地图像基于所述真实目的地信息得到;
将第一相似度最高的一周围环境子图像确定为目标环境图像;
控制视觉定位相机调整至所述目标环境图像的采集角度,以通过所述视觉定位相机确定真实目的地与所述视障用户的初始相对位置信息,所述初始相对位置信息包括所述真实目的地与所述视障用户之间的起始距离,以及所述真实目的地相对于所述视障用户之间的方位信息。
4.如权利要求3所述的视障用户短距离导航方法,其特征在于,将第一相似度最高的一周围环境子图像确定为目标环境图像之前,所述方法还包括:
获取每一周围环境子图像的第一相似度;
若全部第一相似度均小于预设相似度阈值,确定目的地关联图像与每一周围环境子图像之间的第二相似度,所述目的地关联图像基于所述真实目的地信息得到,若存在至少一第二相似度大于预设相似度阈值,将所述第二相似度最高的一周围环境子图像确定为目标环境图像;
若存在至少一个第一相似度大于或等于预设相似度阈值,触发将相似度最高的一周围环境子图像确定为目标环境图像。
5.如权利要求1所述的视障用户短距离导航方法,其特征在于,将所述真实目的地信息与所述周围环境信息进行比对,确定真实目的地与所述视障用户的初始相对位置信息,包括:
确定真实目的地声音特征数据在每一周围声音子特征数据中的清晰度,所述周围环境信息包括环绕所述视障用户周围在多个采集角度采集的周围声音子特征数据,所述真实目的地声音特征数据基于所述真实目的地信息得到;
将清晰度最高的所述周围声音子特征数据确定为目标声音子特征数据;
控制视觉定位相机调整至所述目标声音子特征数据的采集角度,以通过所述视觉定位相机确定真实目的地与所述视障用户的初始相对位置信息,所述初始相对位置信息包括所述真实目的地与所述视障用户之间的起始距离,以及所述真实目的地相对于所述视障用户之间的方位信息。
6.如权利要求1-5任一项所述的视障用户短距离导航方法,其特征在于,根据所述真实目的地的真实目的地位置和绕行后的视障用户位置生成新的短距离导航路线,包括:
获取所述视障用户的卫星定位信号,根据所述卫星定位信号确定绕行后的视障用户位置,根据所述真实目的地位置和所述绕行后的视障用户位置确定新的短距离导航路线;
或,
获取所述视障用户在预设坐标系中的当前坐标,以及所述真实目的地在所述预设坐标系中的目的地坐标,所述预设坐标系基于第一次生成短距离导航路线时所述视障用户的初始位置、所述真实目的地的真实目的地位置以及所述初始相对位置信息建立,所述目的地坐标为所述真实目的地位置在所述预设坐标系中的对应坐标位置,所述当前坐标通过对所述视障用户的行进过程进行监测,基于监测结果对所述视障用户在所述预设坐标系的坐标位置进行同步得到,所述监测结果包括行进方向和行进距离,将所述当前坐标作为所述真实目的地位置,将所述目的地坐标作为所述绕行后的视障用户位置,基于所述当前坐标和所述目的地坐标生成新的短距离导航路线。
7.如权利要求1-5任一项所述的视障用户短距离导航方法,其特征在于,根据所述真实目的地的真实目的地位置和绕行后的视障用户位置生成新的短距离导航路线之前,所述方法包括:
完成所述障碍物的绕行后,重新采集所述视障用户的周围环境信息,得到新的周围环境信息;
将所述真实目的地信息与所述新的周围环境信息进行比对;
若至少一部分所述新的周围环境信息与至少一部分所述真实目的地信息相同,根据所述真实目的地的真实目的地位置和绕行后的视障用户位置生成新的短距离导航路线;
若所述新的周围环境信息与所述真实目的地信息不同,提示寻求帮助。
8.一种视障用户短距离导航装置,其特征在于,所述视障用户短距离导航装置包括:
信息采集装置,用于当视障用户与真实目的地之间的第一距离小于预设距离,采集所述视障用户的周围环境信息;
数据获取模块,用于获取真实目的地信息;
路线生成模块,用于将所述真实目的地信息与所述周围环境信息进行比对,确定真实目的地与所述视障用户的初始相对位置信息,并生成短距离导航路线;
行进指引模块,用于按照所述短距离导航路线提示所述视障用户开始行进,以及在所述视障用户的行进过程中采集前进方向的前进图像,对所述前进图像进行障碍物检测,若存在障碍物,根据所述障碍物的位置生成绕障路线,并提示所述视障用户根据所述绕障路线行进,完成所述障碍物的绕行后,根据所述真实目的地的真实目的地位置和绕行后的视障用户位置生成新的短距离导航路线,按照新的短距离导航路线提示所述视障用户继续行进,重复在所述视障用户的行进过程中采集前进方向的前进图像至按照新的短距离导航路线提示所述视障用户继续行进的步骤,直到所述视障用户到达所述真实目的地。
9.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得电子设备实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,当所述计算机程序被计算机的处理器执行时,使计算机执行权利要求1至7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311404196.6A CN117572343A (zh) | 2023-10-25 | 2023-10-25 | 视障用户短距离导航方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311404196.6A CN117572343A (zh) | 2023-10-25 | 2023-10-25 | 视障用户短距离导航方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117572343A true CN117572343A (zh) | 2024-02-20 |
Family
ID=89887112
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311404196.6A Pending CN117572343A (zh) | 2023-10-25 | 2023-10-25 | 视障用户短距离导航方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117572343A (zh) |
-
2023
- 2023-10-25 CN CN202311404196.6A patent/CN117572343A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7302934B2 (ja) | ナビゲーション情報を匿名化するためのシステム及び方法 | |
CN107144285B (zh) | 位姿信息确定方法、装置和可移动设备 | |
CN103718062B (zh) | 用于确保个人导航设备的服务的持续性的方法及其设备 | |
CN108628324B (zh) | 基于矢量地图的无人车导航方法、装置、设备及存储介质 | |
US10972864B2 (en) | Information recommendation method, apparatus, device and computer readable storage medium | |
US10466056B2 (en) | Trajectory matching using ambient signals | |
US20180357907A1 (en) | Method for dispatching a vehicle to a user's location | |
Wang et al. | Intelligent vehicle self-localization based on double-layer features and multilayer LIDAR | |
Brenner | Extraction of features from mobile laser scanning data for future driver assistance systems | |
KR20170137636A (ko) | 탑승자 모니터링에 기초한 정보 획득 시스템 | |
CA3002308A1 (en) | Device and method for autonomous localisation | |
CN105973236A (zh) | 室内定位或导航方法、装置以及地图数据库生成方法 | |
JP2011215975A (ja) | 画像処理システム及び車両制御システム | |
JP2011227888A (ja) | 画像処理システム及び位置測位システム | |
JP2022016908A (ja) | 俯瞰画像生成装置、俯瞰画像生成システム及び自動駐車装置 | |
CN106501829A (zh) | 一种无人机导航方法和装置 | |
KR20060132302A (ko) | 차량항법시스템에서 차량위치를 보정하기 위한 장치 및방법 | |
KR20200071792A (ko) | 로드뷰 또는 항공뷰 맵 정보를 이용한 자율주행 방법 및 그 시스템 | |
JP2015105833A (ja) | 経路探索システム | |
EP4012341A1 (en) | Camera calibration for localization | |
JPH11271074A (ja) | 目印画像照合装置及び目印画像照合方法及びプログラム記憶媒体 | |
US20220329988A1 (en) | System and method for real-time indoor navigation | |
KR102336778B1 (ko) | 스카이라인을 이용한 차량의 측위 방법 | |
Somyat et al. | NavTU: android navigation app for Thai people with visual impairments | |
CN106920260B (zh) | 立体惯性导盲方法及装置和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |