CN110664593A - 基于HoloLens的盲人导航系统及方法 - Google Patents
基于HoloLens的盲人导航系统及方法 Download PDFInfo
- Publication number
- CN110664593A CN110664593A CN201910772820.5A CN201910772820A CN110664593A CN 110664593 A CN110664593 A CN 110664593A CN 201910772820 A CN201910772820 A CN 201910772820A CN 110664593 A CN110664593 A CN 110664593A
- Authority
- CN
- China
- Prior art keywords
- hololens
- blind
- voice
- module
- navigation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000004888 barrier function Effects 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000005516 engineering process Methods 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 3
- 239000011521 glass Substances 0.000 abstract description 19
- 238000012545 processing Methods 0.000 abstract description 5
- 238000013515 script Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 11
- 230000003993 interaction Effects 0.000 description 8
- 241000282472 Canis lupus familiaris Species 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 244000141359 Malus pumila Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/06—Walking aids for blind persons
- A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
- A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/04—Architectural design, interior design
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Hardware Design (AREA)
- Heart & Thoracic Surgery (AREA)
- Computer Graphics (AREA)
- Rehabilitation Therapy (AREA)
- Physical Education & Sports Medicine (AREA)
- Ophthalmology & Optometry (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Vascular Medicine (AREA)
- Pain & Pain Management (AREA)
- Epidemiology (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Navigation (AREA)
Abstract
本发明公开了一种基于HoloLens的盲人导航系统及方法，属于混合现实领域。本发明能帮助盲人在陌生建筑物内，发出语音目的地指令，HoloLens识别目的地后，通过语音导航引导盲人抵达目的地；能够在盲人行进过程中，帮助盲人探测到前方的障碍物，并通过语音提醒盲人避让。本发明将建好的目标建筑模型导入Unity 3D中构建虚拟场景，在脚本中添加导航、障碍物识别等模块后，将应用程序发布到HoloLens中。利用其自带的全息处理单元能加工环境摄像头和深度摄像头采集到的真实环境信息，判断相机所处位置和姿态，识别环境中的障碍物信息。盲人佩戴HoloLens后，可无需他人帮助，也不必了解陌生目标建筑的结构，仅依靠眼镜的语音导航提示就能安全到达目的地，大大方便了盲人的生活。
Description
技术领域
本发明涉及一种用语音为盲人提供室内导航的人机交互技术，具体涉及一种基于HoloLens的盲人导航的系统及方法。
背景技术
早在20世纪60年代，人们对于增强现实(AR)技术就有了初步探索，得益于硬件的进步，大批性能好功耗低的计算设备相继问世。2010年AR与可穿戴设备迅猛发展，2012年第一代Google Glass问世，AR技术的智能硬件化成为趋势，苹果、英特尔、高通、微软等巨头相继加入，增强现实设备层出不穷，如爱普生的Moverio ProBT200、Meta2、Vuzix M100、Daqri智能头盔、ODG R-7、亮风台HiAR Glasses等，AR前景被广泛看好。2015年第一代GoogleGlass宣告失败停产，但这并没有阻碍可穿戴增强现实设备被整个社会所接受的发展趋势，越来越多的可穿戴设备在各行各业发挥着越来越重要的作用。2017年7月谷歌眼镜回归，推出企业版Google Glass，延长了电池寿命，改善了舒适度，拥有更强大的中央处理器以及800万像素的摄像头等优势，但计算处理简单，产品定位仍然作为手机、平板等设备的外部延伸。在第一代Google Glass退出市场期间，微软推出了一款独一无二的混合现实(MR)设备——HoloLens，佩戴体验的真实感、自然度都远远超过市面上任何一款AR眼镜。
盲人的生活不便众所周知，大多数盲人都是依靠触觉、听觉以及其他辅助工具，如拐杖，导盲犬等进行日常活动，这些辅助设施相对而言精确度不高，可信赖度不强。比如导盲杖，只能对盲人前方小范围的地面空间进行障碍物探测，在户外相对空旷的空间相对还能起到一定作用，然而在一些狭小的室内空间，比如卧室、厨房等环境中，盲人无法对四周立体的空间准确感知，因此很容易发生脚下用拐杖探测起来可以前行，但往前走时却被诸如衣柜门、橱柜等设施所伤的情形。此外，盲人无法查看地图，无法识别室内的目标地点，比如在陌生公共环境中使用洗手间等情形，盲人无法识别前方是墙壁还是关着门的房间，这些均对盲人的正常生活造成极大挑战。导盲犬虽可以提供指路服务，但导盲犬同样无法熟悉陌生地点，犬类也无法准确理解人类想法，且养犬本身成本较高，培养导盲犬时间周期较长，照顾爱犬需要盲人额外投入很大精力。
目前，HoloLens被认为是最好的增强现实设备，硬件技术相对成熟，又拥有视线凝视、手势识别和语音等多种交互方式，是可穿戴增强现实的设备首选。Hololens集成了处理器、存储器、环境摄像头和深度摄像头、耳麦等硬件设备，搭载Windows 10操作系统，相当于一款头戴式计算机。而且作为一款全息计算设备，它提供了丰富的应用开发接口，支持Unity等多种Windows开发工具。
发明内容
本发明结合HoloLens的软硬件优势与AR技术带来的优势冲击，提出一种基于HoloLens的盲人导航系统设计方案，帮助解决残障人士生活的一些不便。本发明主要解决的问题有两个，一是让盲人能够从室内定位目标地点，从而规划出路径，让盲人在前往目的地途中有导航用语音指引方向，顺利抵达目的地；二是让盲人在前行过程中获得安全指示，导航系统应能用语音提示盲人前方哪里或哪个方向有障碍物，从而实现让盲人顺利规避潜在危险。
为解决上述问题，本发明采用的技术方案是，提供一种基于HoloLens的盲人导航系统，包括建筑模型、障碍物库、语音识别模块、定位模块、寻径模块和语音输出模块；其中，
所述建筑模型，存储对目标建筑建模后导入Unity3D软件中构建的虚拟场景；
所述障碍物库，用于存储目标建筑物内的常见障碍物模型；
所述语音识别模块，用于采集语音指令以识别目的地；
所述定位模块，用于利用HoloLens的深度摄像头采集图像信息，调用HoloLens的IMU模块及利用WIFI定位方法，辨认相机在前行过程中所处位置；
所述寻径模块，用于计算到达目的地的最短路径；
所述语音输出模块，用于发出语音指令，提示盲人前进方向及障碍物信息。
本发明还提供了一种基于HoloLens的盲人导航方法，包括以下步骤：
步骤一：利用Unity3D软件构建目标建筑3D模型和建筑内常见障碍物库，对室内所有目标地点添加语音标签；
步骤二：利用Hololens的麦克风对目的地语音指令进行采集；
步骤三：调用语音识别模块识别目的地；
步骤四：利用HoloLens的深度摄像头采集环境图像信息，调用HoloLens的IMU模块并结合WIFI定位方法，实时定位相机在建筑模型中所处位置；
步骤五：根据位置信息和目的地，调用寻径模块计算到达目的地的最短路径；
步骤六：根据路径信息，对盲人发出语音提示指令，抵达目的地后，发出到达语音提示，同时保存导航视频。
上述技术方案中的一个技术方案具有如下优点或有益效果，HoloLens开发版可以用于开发各种不同的应用产品，可开发一款应用程序，实现室内盲人导航功能，先对目标建筑进行建模，标注其关键房间，通过采集并识别盲人的位置和语音命令，规划出盲人要行进的路线，同时开启语音导航，利用Hololens的实时动态空间场景追踪功能，为盲人提供导航服务。
上述技术方案中的另一个技术方案具有如下优点：
第一，本发明不同于其他导盲设备，可以实时扫描空间场景中的障碍物，在导航的同时用语音提示使用者躲避障碍物，比其他导航方式精准；
第二，本发明可以通过语音命令识别目标地点，还可以识别一些特定手势动作，人机交互更加方便自然，解放双手，盲人易于操作；
第三，本系统基于HoloLens平台，是一个独立运算设备的应用，它摆脱了线缆等空间限制，可在较大范围的室内空间活动，程序发布到HoloLens智能眼镜后，即可对盲人提供导航服务；
第四，导航过程可以通过WiFi存储至服务器，便于研究导航效果和改进产品功能；
附图说明
图1为基于HoloLens的盲人导航系统总体设计框架图；
图2为基于HoloLens的盲人导航系统算法流程图；
图3为基于HoloLens的盲人导航系统人机交互示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供了一种基于HoloLens的盲人导航系统和方法。该系统包括以下模块：
建筑模型，存储有对目标建筑建模后导入Unity 3D软件中构建的虚拟场景；
障碍物库，用于存储目标建筑物内的障碍物模型；
语音识别模块，用于根据Hololens的麦克风采集的语音指令识别目的地；
位置识别模块，用于利用HoloLens的深度摄像头采集图像信息，调用HoloLens的IMU模块并结合建筑模型，辨认相机在建筑模型中所处位置；
寻径模块，用于计算到达目的地的最短路径；
语音输出模块，用于发出语音指令；
障碍物应对模块，HoloLens实时扫描前方环境障碍物特征，并与障碍物库中的特征进行匹配，当匹配成功后，计算障碍物的位置，并调用语音输出模块对盲人发出语音避让指令。
该方法主要实现两大功能，其一是建筑物内的导航功能，HoloLens通过盲人发出目的地语音指令，自动识别并搜索该建筑内目标地点位置，并计算可行路径，该路径可以是平面路径，也可以是诸如从一楼至三楼的立体路径，其二是障碍物识别功能，盲人无法识别前进过程中的障碍物，HoloLens拥有环境和深度摄像头，可以实时扫描并识别环境中的常见障碍物，并实时计算相机自身位置和姿态。当识别出障碍物后，通过语音信息提醒使用者注意避让。
下面对本发明的应用原理和实施方式作进一步描述。
图1展示了系统的整体设计框架，主要步骤如下。
首先通过专业的BIM建模软件对目标建筑进行精确建模，目标建筑应是对盲人的生活有实际意义，但具体布局较为陌生复杂的建筑，比如办公楼、医院、各种场馆等等公共建筑设施。建模时包括各房间、楼梯等固定设施均需要建模，并将建好的模型导入Unity 3D中搭建虚拟场景。该模型用于实时计算和比对相机在建筑中的位置，并寻找与目标地点的最短路径。
Unity3D是由Unity Technologies开发的一个创建诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容的多平台的综合型游戏开发工具，是一个全面整合的专业游戏引擎。Unity编辑器可运行在Windows下，其项目可发布至Windows平台。而其中的HoloToolkit-Unity项目是微软官方的开源项目，用于帮助开发者快速开发HoloLens应用，能够快速为项目集成基本输入、空间映射和场景匹配等特性。
Hololens为一独立运算单元，且采用嵌入式结构，无法承载太大计算量。为减小模型的几何特征太大造成的运算压力，可采用三角面片折叠算法，在保证建筑模型的几何特征和精细程度的前提下，尽可能减少计算量。同时，为最大限度压缩数据量，可以使用一些重复贴图、公告牌等方法，提高建模的效率和系统资源的利用率。
2.对重要目标地点添加语音标签，比如所有的房间号码，走廊，会议室，办公室，洗手间，电梯间等场所，用来匹配盲人的语音指令；
3.构建目标建筑中常见待匹配障碍物的模型库，程序脚本中添加调用Vuforia(Vuforia Augmented Reality SDK)物体识别的命令，用来进行障碍物识别；
Vuforia是高通公司推出的针对移动设备扩增实境应用的软件开发工具包，他的基本功能包括动作捕捉功能，环境感知，光源感知等，可以准确感知相机的位置和姿态，以及准确感知环境中地面、桌面等平面，其自带的Unity SDK非常人性化，开发人员无需编程，也能做出简单的AR程序。它利用计算机视觉技术实时识别和捕捉平面图像或简单的三维物体(例如盒子)，也允许开发者通过照相机取景器放置虚拟物体并调整物体在镜头前实体背景上的位置。
4.编写障碍物中寻找路径的导航算法模块。首先需要定位使用者在建筑内位置的绝对坐标，将该坐标映射到建筑模型中对应的点，从而确定当前使用者在建筑结构模型中的位置及运动方向。定位可采用目前广泛使用且较为成熟的室内WiFi定位技术，HoloLens自带WiFi，目标场馆室内一般会有多个WiFi源，一个源位置对应一个独特的“指纹”，后台服务器检索出每一个信号源的地理位置，并结合设备接收到的信号强弱程度，计算出设备的地理位置并返回到用户设备。同时调用HoloLens中IMU(Inertial Measurement Unit，惯性测量单元)模块参与运算，该模块包括加速度计和陀螺仪，3个自由度陀螺仪用来测量运载体的3个转动运动，3个加速度计用来测量运载体的3个平移运动的加速度。HoloLens根据测得的加速度信号计算出相机的速度和位置数据。随着行走时间增加，惯性导航定位的误差也在不断累积，所以和WiFi指纹结合在一起，每过一段时间通过WiFi请求室内位置，以此来修正产生的误差。使用者的位置信息经过坐标变换，综合使用者的朝向及姿态信息等进行采集及解析，加入到三维建筑信息中，然后应用常见的路径导航算法，将建筑物中的走廊和楼梯设定为道路，将房间设为自由空间，应用最短路径算法即可计算出导航路径。
5.加入调用HoloLens语音命令识别的模块。HoloLens上语音输入有三种形式，分别是语音命令Voice Command、听写Diction、语法识别Grammar Recognition。在C#程序脚本程序Manager中，添加KeywordManager.cs脚本组件，并且添加语音命令关键字，添加处理函数和传入的参数，即用于识别的语音命令及相应语音标签，之后编译时将microphone权限打开；
6.将脚本和库等源程序，通过微软的UWP平台发布到HoloLens中，作为一款应用程序；
通用应用HoloLens平台的操作系统为Windows Holograpic，是基于Windows 10定制。所以Windows 10UWP通用应用程序可以顺利地在HoloLens上运行。这就降低了研发和迁移成本，也让开发效率能够大幅提升。
7.当盲人佩戴好后，HoloLens开启环境和深度摄像头，通过图像信息和IMU提供的位置信息开始辨认相机在建筑模型中所处位置。同时程序发出提示信息，提示盲人发出目的地语音指令，系统利用HoloLens智能眼镜上的麦克风对现场佩戴者声音进行采集后，调用HoloLens用户语音指令系统(英文)，将采集到的语音指令与建筑模型中的语音标签进行匹配，如“elevator”、“Office 706”、“Bathroom”等等目的地指令，使其能够识别语音位置目标指令，确定目的地点。也可用手势单击操作模型地图中的地点(限于非盲人或技术人员)。
HoloLens拥有四个环境摄像头和一个深度摄像头，能够实时采集周围环境中的信息。借助微软特殊定制的全息处理单元(Holographic Processing Unit，HPU)，HoloLens能实现空间映射功能，保证了对空间的快速扫描和空间匹配，这保证了HoloLens能准确识别真实世界，并在真实世界表面放置或展示全息内容。同时HoloLens拥有场景匹配功能，能存储并识别环境信息，恢复和保持不同场景中的全息图像对象。当你离开当前房间再回来时，会发现原有放置的全息图像均会在正确的位置出现。
相比于传统的AR系统，HoloLens主要交互方式为凝视(Gaze)、语音(VoiceCommand)和手势(Gesture)，这种自然的交互方式更贴近人类习惯，提高了交互效率，同时传统的键盘鼠标等设备也被支持。操作人员还可通过手势、语音等方式与Hololens进行交互，通过语音命令识别技术实现语音控制，通过三维空间物体识别技术识别一些特定的手势动作，从而实现语音、手势调取帮助，解放双手。此外，HoloLens可以使用Wi-Fi连接服务器，将用户使用过程中的影像信息和整个导航过程的视频上传并保存下来，便于日后分析鲁棒性。
8.调用寻径模块，找出抵达目的地的合理最短路径；
9.发出指令提示盲人前进，同时根据地图模型和当前位置，提醒盲人距离下一个转角或楼梯的距离，让盲人实时了解位置信息；
10.当盲人开始前进时，HoloLens实时对盲人的前进方向用语音进行引导，同时眼镜也可将采集到的障碍物信息显示在眼睛中，方便开发人员比对采集是否正确，即实现在眼镜中全息显示，和盲人实现自然交互；
盲人前进过程中应能听到清晰的提示信息，诸如“Move”、“Be careful on yourright head”、“Turn left”、“Turn right”、“Climb the stairs”、“An obstacle on theleft”等等。
盲人和系统交互如图3所示，当建筑模型和障碍物库从PC端构建好后存储于HoloLens的程序库中，盲人可以利用语音和HoloLens眼镜进行交互(开发人员等还能利用视线凝视和手势)，智能眼镜通过场景识别，将导航和障碍物识别信息利用语音发送给盲人，同时HoloLens镜片中还能展示前方已识别的障碍物在视野中的实际方位，实现虚实融合。
11.系统在运行中，主要完成两方面功能，一方面根据相机实际位置和导航计算路线，对盲人发出语音提示，当摄像头捕捉到盲人处于楼梯口或走廊转角处时，应发出语音提示，引导盲人正确前行；另一方面，环境和深度摄像头实时扫描前方道路障碍物信息，将扫描到的立体物体特征与障碍物库中的特征进行比对，一旦确定特征匹配，则计算障碍物在视野中的位置，并调用语音模块对盲人进行提醒，促使其尽早规避障碍物；
此外，HoloLens眼镜上能将所识别的障碍物进行标注，便于产品开发人员观察其识别准确度和效率。
12.当盲人抵达目的地后，系统发出语音提示，如“The destination has beensuccessfully arrived”等。
本发明将Hololens智能眼镜应用到辅助盲人日常生活的领域之中，将语音识别，障碍物识别等利用眼镜强大的计算能力和硬件设备整合成一套完整的系统，能够为盲人的日常生活提供行之有效的帮助。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中。
Claims (8)
1.基于HoloLens的盲人导航系统，其特征在于：包括建筑模型、障碍物库、语音识别模块、定位模块、寻径模块和语音输出模块；其中，
所述建筑模型，存储对目标建筑建模后导入Unity3D软件中构建的虚拟场景；
所述障碍物库，用于存储目标建筑物内的常见障碍物模型；
所述语音识别模块，用于采集语音指令以识别目的地；
所述定位模块，用于利用HoloLens的深度摄像头采集图像信息，调用HoloLens的IMU模块及利用WIFI定位方法，辨认相机在前行过程中所处位置；
所述寻径模块，用于计算到达目的地的最短路径；
所述语音输出模块，用于发出语音指令，提示盲人前进方向及障碍物信息。
2.根据权利要求1所述基于HoloLens的盲人导航系统，其特征在于：所述建筑模型中还存储有对所有房间、功能厅室添加语音标签。
3.根据权利要求1所述基于HoloLens的盲人导航系统，其特征在于：所述定位模块每隔一段时间通过室内WiFi定位方法确定HoloLens在室内的位置，以此来实时修正位置误差，同时前进中HoloLens实时扫描前方环境中的障碍物特征，并与障碍物库中的特征进行实时匹配。
4.基于HoloLens的盲人导航方法，其特征在于，包括以下步骤：
步骤一：利用Unity3D软件构建目标建筑3D模型和建筑内常见障碍物库，对室内所有目标地点添加语音标签；
步骤二：利用Hololens的麦克风对目的地语音指令进行采集；
步骤三：调用语音识别模块识别目的地；
步骤四：利用HoloLens的深度摄像头采集环境图像信息，调用HoloLens的IMU模块并结合WIFI定位方法，实时定位相机在建筑模型中所处位置；
步骤五：根据位置信息和目的地，调用寻径模块计算到达目的地的最短路径；
步骤六：根据路径信息，对盲人发出语音提示指令，抵达目的地后，发出到达语音提示，同时保存导航视频。
5.根据权利要求4所述基于HoloLens的盲人导航方法，其特征在于：步骤一还包括对所述建筑模型所有房间、功能厅室添加语音标签，步骤三所述语音识别模块将采集到的语音指令与建筑模型中的语音标签进行特征匹配，确定导航目的地。
6.根据权利要求4所述基于HoloLens的盲人导航方法，其特征在于：步骤四所述HoloLens利用深度摄像头采集前方环境信息，再综合调用HoloLens自带的IMU模块和综合利用室内WiFi定位技术，确定使用者现在所处的位置。
7.根据权利要求4所述基于HoloLens的盲人导航方法，其特征在于：步骤五还包括导航步骤，在导航过程中，每隔一段时间通过室内WiFi定位方法确定HoloLens在室内的位置，以此来实时修正位置误差，同时前进中HoloLens实时扫描前方环境中的障碍物特征，并与障碍物库中的特征进行实时匹配。
8.根据权利要求7所述基于HoloLens的盲人导航方法，其特征在于：当发现前方障碍物与障碍物库中特征匹配成功时，计算障碍物在视野中的位置，并调用语音模块，提示盲人注意避让障碍物，当盲人抵达目标地点后，调用语音模块，发出抵达目的地，导航结束的提示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910772820.5A CN110664593A (zh) | 2019-08-21 | 2019-08-21 | 基于HoloLens的盲人导航系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910772820.5A CN110664593A (zh) | 2019-08-21 | 2019-08-21 | 基于HoloLens的盲人导航系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110664593A true CN110664593A (zh) | 2020-01-10 |
Family
ID=69075423
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910772820.5A Pending CN110664593A (zh) | 2019-08-21 | 2019-08-21 | 基于HoloLens的盲人导航系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110664593A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111651828A (zh) * | 2020-06-12 | 2020-09-11 | 招商局重庆交通科研设计院有限公司 | 基于寻径优化和并行计算架构的交通流模拟方法和系统 |
| CN112188059A (zh) * | 2020-09-30 | 2021-01-05 | 深圳市商汤科技有限公司 | 可穿戴设备、智能引导方法及装置、引导系统 |
| CN112665576A (zh) * | 2020-12-02 | 2021-04-16 | 北京第玖元素科技有限公司 | 一种定位系统、方法、终端设备及存储介质 |
| CN113032521A (zh) * | 2021-03-05 | 2021-06-25 | 广州虎牙科技有限公司 | 导盲方法、导盲装置、导盲设备及计算机可读存储介质 |
| CN113624236A (zh) * | 2021-08-06 | 2021-11-09 | 西安电子科技大学 | 基于移动设备的盲人导航系统及导航方法 |
| CN115218918A (zh) * | 2022-09-20 | 2022-10-21 | 上海仙工智能科技有限公司 | 一种智能导盲方法及导盲设备 |
| CN115470420A (zh) * | 2022-10-31 | 2022-12-13 | 北京智源人工智能研究院 | 基于知识图谱健康安全提示方法、电子设备及存储介质 |
| EP4273877A1 (de) * | 2022-05-04 | 2023-11-08 | DC Vision Systems GmbH | Tragbares system sowie computerimplementiertes verfahren zur unterstützung einer person mit seheinschränkungen |
| CN118502588A (zh) * | 2024-05-09 | 2024-08-16 | 哈尔滨工业大学 | 一种基于增强现实的视障人群寻路交互方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7266405B1 (en) * | 1999-08-23 | 2007-09-04 | Shl Telemedicine International Ltd. | Compact electrode assembly for a portable ECG signaling device |
| CN201899668U (zh) * | 2010-09-03 | 2011-07-20 | 浙江大学 | 一种智能手机导盲器 |
| CN102281348A (zh) * | 2010-06-08 | 2011-12-14 | Lg电子株式会社 | 使用增强现实引导路线的方法以及使用该方法的移动终端 |
| CN102419180A (zh) * | 2011-09-02 | 2012-04-18 | 无锡智感星际科技有限公司 | 一种基于惯性导航系统和wifi的室内定位方法 |
| CN105787442A (zh) * | 2016-02-19 | 2016-07-20 | 电子科技大学 | 一种基于视觉交互面向视障人群的穿戴式辅助系统及其使用方法 |
| CN109737965A (zh) * | 2019-01-03 | 2019-05-10 | 温州大学 | 一种三维虚拟场景下的导航路径最优选择的方法 |
| CN109974741A (zh) * | 2019-03-11 | 2019-07-05 | 深圳市御嘉鑫五金制品有限公司 | 交互式导盲方法、系统及设备 |
| CN110522617A (zh) * | 2019-09-05 | 2019-12-03 | 张超 | 盲人智慧眼镜 |
-
2019
- 2019-08-21 CN CN201910772820.5A patent/CN110664593A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7266405B1 (en) * | 1999-08-23 | 2007-09-04 | Shl Telemedicine International Ltd. | Compact electrode assembly for a portable ECG signaling device |
| CN102281348A (zh) * | 2010-06-08 | 2011-12-14 | Lg电子株式会社 | 使用增强现实引导路线的方法以及使用该方法的移动终端 |
| CN201899668U (zh) * | 2010-09-03 | 2011-07-20 | 浙江大学 | 一种智能手机导盲器 |
| CN102419180A (zh) * | 2011-09-02 | 2012-04-18 | 无锡智感星际科技有限公司 | 一种基于惯性导航系统和wifi的室内定位方法 |
| CN105787442A (zh) * | 2016-02-19 | 2016-07-20 | 电子科技大学 | 一种基于视觉交互面向视障人群的穿戴式辅助系统及其使用方法 |
| CN109737965A (zh) * | 2019-01-03 | 2019-05-10 | 温州大学 | 一种三维虚拟场景下的导航路径最优选择的方法 |
| CN109974741A (zh) * | 2019-03-11 | 2019-07-05 | 深圳市御嘉鑫五金制品有限公司 | 交互式导盲方法、系统及设备 |
| CN110522617A (zh) * | 2019-09-05 | 2019-12-03 | 张超 | 盲人智慧眼镜 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111651828A (zh) * | 2020-06-12 | 2020-09-11 | 招商局重庆交通科研设计院有限公司 | 基于寻径优化和并行计算架构的交通流模拟方法和系统 |
| CN112188059A (zh) * | 2020-09-30 | 2021-01-05 | 深圳市商汤科技有限公司 | 可穿戴设备、智能引导方法及装置、引导系统 |
| CN112665576A (zh) * | 2020-12-02 | 2021-04-16 | 北京第玖元素科技有限公司 | 一种定位系统、方法、终端设备及存储介质 |
| CN113032521A (zh) * | 2021-03-05 | 2021-06-25 | 广州虎牙科技有限公司 | 导盲方法、导盲装置、导盲设备及计算机可读存储介质 |
| CN113624236A (zh) * | 2021-08-06 | 2021-11-09 | 西安电子科技大学 | 基于移动设备的盲人导航系统及导航方法 |
| EP4273877A1 (de) * | 2022-05-04 | 2023-11-08 | DC Vision Systems GmbH | Tragbares system sowie computerimplementiertes verfahren zur unterstützung einer person mit seheinschränkungen |
| CN115218918A (zh) * | 2022-09-20 | 2022-10-21 | 上海仙工智能科技有限公司 | 一种智能导盲方法及导盲设备 |
| CN115218918B (zh) * | 2022-09-20 | 2022-12-27 | 上海仙工智能科技有限公司 | 一种智能导盲方法及导盲设备 |
| CN115470420A (zh) * | 2022-10-31 | 2022-12-13 | 北京智源人工智能研究院 | 基于知识图谱健康安全提示方法、电子设备及存储介质 |
| CN118502588A (zh) * | 2024-05-09 | 2024-08-16 | 哈尔滨工业大学 | 一种基于增强现实的视障人群寻路交互方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110664593A (zh) | 基于HoloLens的盲人导航系统及方法 | |
| CN107289949B (zh) | 一种基于人脸识别技术的室内导识装置及方法 | |
| Richards-Rissetto et al. | Kinect and 3D GIS in archaeology | |
| Simmons et al. | Grace: An autonomous robot for the AAAI robot challenge | |
| Li et al. | A web-based sign language translator using 3d video processing | |
| AU2020200546A1 (en) | Structure modelling | |
| Khan et al. | Recent advances in vision-based indoor navigation: A systematic literature review | |
| CN108818569A (zh) | 面向公共服务场景的智能机器人系统 | |
| CN103930944B (zh) | 用于空间输入装置的自适应跟踪系统 | |
| WO2021077941A1 (zh) | 机器人定位方法、装置、智能机器人和存储介质 | |
| Randelli et al. | Knowledge acquisition through human–robot multimodal interaction | |
| CN102622774A (zh) | 起居室电影创建 | |
| CN115933868B (zh) | 翻转讲台的立体综合教学场系统及其工作方法 | |
| Medioni et al. | Robust real-time vision for a personal service robot | |
| Hub et al. | Interactive tracking of movable objects for the blind on the basis of environment models and perception-oriented object recognition methods | |
| Han et al. | Museum tour guide robot with augmented reality | |
| CN117636140A (zh) | 从分析楼层平面图和采集的建筑物图像自动生成和使用建筑物信息 | |
| Wang et al. | A survey of 17 indoor travel assistance systems for blind and visually impaired people | |
| Bose et al. | Review of autonomous campus and tour guiding robots with navigation techniques | |
| US11654573B2 (en) | Methods and systems for enabling human robot interaction by sharing cognition | |
| Zatout et al. | A Novel Output Device for visually impaired and blind people’s aid systems | |
| CN117745983A (zh) | 自动化生成视觉数据增强并在建筑物中捕获的相机视图图像上呈现视觉数据增强 | |
| Xu et al. | Household service robotics | |
| JP2015525381A (ja) | 相互ユーザ手追跡および形状認識ユーザ・インターフェース | |
| Putra et al. | Designing translation tool: Between sign language to spoken text on kinect time series data using dynamic time warping |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200110 |