CN113434038A - 基于增强现实的视障儿童定向行走训练辅助系统的控制方法 - Google Patents
基于增强现实的视障儿童定向行走训练辅助系统的控制方法 Download PDFInfo
- Publication number
- CN113434038A CN113434038A CN202110603456.7A CN202110603456A CN113434038A CN 113434038 A CN113434038 A CN 113434038A CN 202110603456 A CN202110603456 A CN 202110603456A CN 113434038 A CN113434038 A CN 113434038A
- Authority
- CN
- China
- Prior art keywords
- sound
- training
- hardware
- augmented reality
- control method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 17
- 206010047571 Visual impairment Diseases 0.000 title claims description 9
- 208000029257 vision disease Diseases 0.000 title claims description 9
- 230000004393 visual impairment Effects 0.000 title claims description 9
- 230000001771 impaired effect Effects 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 9
- 230000000007 visual effect Effects 0.000 claims description 16
- 230000000694 effects Effects 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 4
- 230000003930 cognitive ability Effects 0.000 abstract description 3
- 238000007654 immersion Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Remote Sensing (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Rehabilitation Tools (AREA)
Abstract
本发明公开了基于增强现实的视障儿童定向行走训练辅助系统的控制方法，旨在设计并开发一套以智能手机为载体结合Arduino声音硬件的定向行走辅助训练系统，辅助视障儿童实现更趣味高效的定向行走训练。使用时，首先通过手机把将要训练的区域扫描并储存，随后将扫描得到的数据上传至云端；然后把相应的声音硬件悬挂或安装在不同的声源POI位置，让声音硬件在训练区域内模拟社会复杂环境的声音；最后让视障用户在AR声音沉浸式环境下体验课程，通过指引寻找不同的声音硬件完成不同的定向游戏任务，在玩耍的过程中提高视障用户空间认知能力。本发明还具有硬件结构简单、操作方便、容易实施的优点。
Description
技术领域
本发明涉及定向行走训练技术领域，尤其涉及基于增强现实的视障儿童定向行走训练辅助系统的控制方法。
背景技术
定向行走是视障儿童一生中最重要的技能之一，是视障儿童走出家门、接受教育、实现未来就业、融入社会的重要途径。但是由于缺乏合格的训练师，只有约百分之四十的视障人士接受定向行走训练，如何设计并实现一个具有模拟训练环境和自适应学习的系统更高效、更智能的训练系统，已经成为相关领域的热点研究问题之一，而现有技术还存在以下缺陷：
(1)设备复杂，不易全面推广：上述的定向行走训练辅助技术受限于设备复杂，难以普及大部分视障群体。
(2)受限固定空间：目前虚拟现实模拟现实音源定位精度不够。
(3)体验感不强：训练的趣味性不强，训练过程比较枯燥。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于增强现实的视障儿童定向行走训练辅助系统的控制方法。
本发明的目的通过下述技术方案实现：
基于增强现实的视障儿童定向行走训练辅助系统的控制方法，该方法主要包括线上部分和线下部分，其中线上部分包括如下步骤：
步骤S1：通过稀疏空间地图技术构建三维视觉地图并上传到云端。
步骤S2：终端设备重新访问相同的空间时，只要访问已经构建的三维视觉地图就可以获得关于关于该地图的所有信息。
步骤S3：声源POI表示声源目的地，系统需要在三维视觉地图上以对象或图像为目标封装数据的形式标记声源POI，从而建立系统对场景的理解。
线下部分包括如下步骤：
步骤S4：在标记好的声源POI位置中放置相应的声音硬件。
步骤S5：需要时，通过手机连接声音硬件并定位位置，再利用导航规划出对应路径。
步骤S6：通过手机上的摄像头进行特征匹配和姿态追踪进行空间重定位。
步骤S7：输入蓝牙指令，通过激活蓝牙模块连接声音硬件。
步骤S8：声音硬件开始模拟场景音效工作以及相应的故事讲解，使得训练过程充满乐趣，视障用户便可以开始根据声音硬件的音源发声辨明声源方向进行训练。
步骤S9：视障用户输入开始训练指令，系统随即访问相应的视觉地图，实现场景的重定位，并通过特征匹配和姿态追踪可以获得实时定位。
作为本发明的优选方案，当视障用户迷失时，可以打开语音导航功能进行实时导航，纠正当前训练路线，从而达到引导视障用户进行相应的定向行走训练的目的。
作为本发明的优选方案，所述声音硬件设为Arduino声音硬件。
本发明的工作过程和原理是：使用时，首先通过手机把将要训练的区域扫描并储存，随后将扫描得到的数据上传至云端；然后把相应的声音硬件悬挂或安装在不同的声源POI位置，让声音硬件在训练区域内模拟社会复杂环境的声音；最后让视障用户在AR声音沉浸式环境下体验课程，通过指引寻找不同的声音硬件完成不同的定向游戏任务，在玩耍的过程中提高视障用户空间认知能力。本发明还具有硬件结构简单、操作方便、容易实施的优点。
与现有技术相比，本发明还具有以下优点：
(1)本发明所提供的基于增强现实的视障儿童定向行走训练辅助系统的控制方法拓展了AR技术在视障领域的应用，使得残疾人也能享受科技带来的便利。
(2)本发明所提供的基于增强现实的视障儿童定向行走训练辅助系统的控制方法利用EasyAR4.0的稀疏空间功能和视觉定位追踪功能，可以实现手机对现实环境的理解。
(3)本发明所提供的基于增强现实的视障儿童定向行走训练辅助系统的控制方法结合AR技术创造了沉浸式的游戏情境体验方式，不仅提高了视障儿童的学习兴趣，还通过模拟复杂的社会环境进行行走训练，进而提高了其融入社会的能力。
(4)本发明所提供的基于增强现实的视障儿童定向行走训练辅助系统的控制方法在任何安全的区域都可以进行训练，可以让视障儿童可以在较为真实的场地来体验。
(5)本发明所提供的基于增强现实的视障儿童定向行走训练辅助系统的控制方法以智能手机为主要载体，重量轻，携带方便，且使用成本低，有较高的商业价值。
附图说明
图1是本发明所提供的基于增强现实的视障儿童定向行走训练辅助系统的控制方法的原理图。
图2是本发明所提供的新建空间地图的流程图。
图3是本发明所提供的扫描识别码的流程图。
图4是本发明所提供的输入蓝牙指令的流程图。
图5是本发明所提供的开启语音导航的流程图。
图6是本发明所提供的基于增强现实的视障儿童定向行走训练辅助系统的实验原理图。
图7是本发明所提供的蒙眼实验路线展示图。
图8是本发明所提供的音源硬件的示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明作进一步说明。
实施例1：
如图1至图8所示，本实施例公开了基于增强现实的视障儿童定向行走训练辅助系统的控制方法，该方法主要包括线上部分和线下部分，其中线上部分包括如下步骤：
步骤S1：通过稀疏空间地图技术构建三维视觉地图并上传到云端。
步骤S2：终端设备重新访问相同的空间时，只要访问已经构建的三维视觉地图就可以获得关于关于该地图的所有信息。
步骤S3：声源POI表示声源目的地，系统需要在三维视觉地图上以对象或图像为目标封装数据的形式标记声源POI，从而建立系统对场景的理解。
线下部分包括如下步骤：
步骤S4：在标记好的声源POI位置中放置相应的声音硬件。
步骤S5：需要时，通过手机连接声音硬件并定位位置，再利用导航规划出对应路径。
步骤S6：通过手机上的摄像头进行特征匹配和姿态追踪进行空间重定位。
步骤S7：输入蓝牙指令，通过激活蓝牙模块连接声音硬件。
步骤S8：声音硬件开始模拟场景音效工作以及相应的故事讲解，使得训练过程充满乐趣，视障用户便可以开始根据声音硬件的音源发声辨明声源方向进行训练。
步骤S9：视障用户输入开始训练指令，系统随即访问相应的视觉地图，实现场景的重定位，并通过特征匹配和姿态追踪可以获得实时定位。
作为本发明的优选方案，当视障用户迷失时，可以打开语音导航功能进行实时导航，纠正当前训练路线，从而达到引导视障用户进行相应的定向行走训练的目的。
作为本发明的优选方案，所述声音硬件设为Arduino声音硬件。
本发明的工作过程和原理是：使用时，首先通过手机把将要训练的区域扫描并储存，随后将扫描得到的数据上传至云端；然后把相应的声音硬件悬挂或安装在不同的声源POI位置，让声音硬件在训练区域内模拟社会复杂环境的声音；最后让视障用户在AR声音沉浸式环境下体验课程，通过指引寻找不同的声音硬件完成不同的定向游戏任务，在玩耍的过程中提高视障用户空间认知能力。本发明还具有硬件结构简单、操作方便、容易实施的优点。
本方案针对现有的定向行走的设备复杂，训练受限于空间以及体验感不强的缺点进行设计，旨在设计并开发一套以智能手机为载体结合Arduino声音硬件的定向行走辅助训练系统，辅助视障儿童实现更趣味高效的定向行走训练。该研究结合AR沉浸式体验和定向行走空间训练课程，将EasyAR4.0的稀疏空间技术作为系统主要技术手段，采用多模态人机交互方式，设计出情景游戏化训练课程，充分发挥了视障群体其他感官在定向行走训练中的代偿作用。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (3)
1.基于增强现实的视障儿童定向行走训练辅助系统的控制方法，其特征在于，包括线上部分和线下部分，其中线上部分包括如下步骤：
步骤S1：通过稀疏空间地图技术构建三维视觉地图并上传到云端；
步骤S2：终端设备重新访问相同的空间时，只要访问已经构建的三维视觉地图就可以获得关于关于该地图的所有信息；
步骤S3：声源POI表示声源目的地，系统需要在三维视觉地图上以对象或图像为目标封装数据的形式标记声源POI，从而建立系统对场景的理解；
线下部分包括如下步骤：
步骤S4：在标记好的声源POI位置中放置相应的声音硬件；
步骤S5：需要时，通过手机连接声音硬件并定位位置，再利用导航规划出对应路径；
步骤S6：通过手机上的摄像头进行特征匹配和姿态追踪进行空间重定位；
步骤S7：输入蓝牙指令，通过激活蓝牙模块连接声音硬件；
步骤S8：声音硬件开始模拟场景音效工作以及相应的故事讲解，使得训练过程充满乐趣，视障用户便可以开始根据声音硬件的音源发声辨明声源方向进行训练；
步骤S9：视障用户输入开始训练指令，系统随即访问相应的视觉地图，实现场景的重定位，并通过特征匹配和姿态追踪可以获得实时定位。
2.根据权利要求1所述的基于增强现实的视障儿童定向行走训练辅助系统的控制方法，其特征在于，当视障用户迷失时，可以打开语音导航功能进行实时导航，纠正当前训练路线，从而达到引导视障用户进行相应的定向行走训练的目的。
3.根据权利要求1所述的基于增强现实的视障儿童定向行走训练辅助系统的控制方法，其特征在于，所述声音硬件设为Arduino声音硬件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110603456.7A CN113434038A (zh) | 2021-05-31 | 2021-05-31 | 基于增强现实的视障儿童定向行走训练辅助系统的控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110603456.7A CN113434038A (zh) | 2021-05-31 | 2021-05-31 | 基于增强现实的视障儿童定向行走训练辅助系统的控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113434038A true CN113434038A (zh) | 2021-09-24 |
Family
ID=77804086
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110603456.7A Pending CN113434038A (zh) | 2021-05-31 | 2021-05-31 | 基于增强现实的视障儿童定向行走训练辅助系统的控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113434038A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114724429A (zh) * | 2022-03-10 | 2022-07-08 | 上海犀客信息科技有限公司 | 一种训练孩子独自回家的智能脚步踏板装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014098033A1 (ja) * | 2012-12-17 | 2014-06-26 | Iwata Haruyuki | 携帯型移動支援装置 |
| CN110440789A (zh) * | 2018-06-07 | 2019-11-12 | 广东优世联合控股集团股份有限公司 | 智能导引方法及装置 |
| CN111373769A (zh) * | 2018-05-24 | 2020-07-03 | 索尼公司 | 信息处理装置和信息处理方法 |
| CN111480348A (zh) * | 2017-12-21 | 2020-07-31 | 脸谱公司 | 用于基于音频的增强现实的系统和方法 |
| GB202013876D0 (en) * | 2020-09-03 | 2020-10-21 | Camu Anthony Dominic | Mobility assistance device and method of providing mobility assistance |
| US20210041246A1 (en) * | 2019-08-08 | 2021-02-11 | Ani Dave Kukreja | Method and system for intelligent and adaptive indoor navigation for users with single or multiple disabilities |
-
2021
- 2021-05-31 CN CN202110603456.7A patent/CN113434038A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014098033A1 (ja) * | 2012-12-17 | 2014-06-26 | Iwata Haruyuki | 携帯型移動支援装置 |
| CN111480348A (zh) * | 2017-12-21 | 2020-07-31 | 脸谱公司 | 用于基于音频的增强现实的系统和方法 |
| CN111373769A (zh) * | 2018-05-24 | 2020-07-03 | 索尼公司 | 信息处理装置和信息处理方法 |
| CN110440789A (zh) * | 2018-06-07 | 2019-11-12 | 广东优世联合控股集团股份有限公司 | 智能导引方法及装置 |
| US20210041246A1 (en) * | 2019-08-08 | 2021-02-11 | Ani Dave Kukreja | Method and system for intelligent and adaptive indoor navigation for users with single or multiple disabilities |
| GB202013876D0 (en) * | 2020-09-03 | 2020-10-21 | Camu Anthony Dominic | Mobility assistance device and method of providing mobility assistance |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114724429A (zh) * | 2022-03-10 | 2022-07-08 | 上海犀客信息科技有限公司 | 一种训练孩子独自回家的智能脚步踏板装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Parente et al. | BATS: the blind audio tactile mapping system | |
| CN107705643A (zh) | 一种机器人主持教学方法及其装置 | |
| CN107248342A (zh) | 基于虚拟现实技术的三维互动教学系统 | |
| CN106200886A (zh) | 一种基于语言交互操控的移动智能玩具及玩具使用方法 | |
| CN106251728A (zh) | 一种旅游教育专用学习系统 | |
| US20150142434A1 (en) | Illustrated Story Creation System and Device | |
| CN106293094A (zh) | 虚拟现实旅游系统 | |
| CN107436608A (zh) | 用于无人机的控制装置及用于导游的系统 | |
| CN103760981B (zh) | 一种磁场可视化及交互方法 | |
| CN113219854B (zh) | 机器人仿真控制平台、方法及计算机存储介质 | |
| KR20220145997A (ko) | 360도 영상과 hmd를 활용하고, 메타버스 공간 내에서 진행되는 비대면 실시간 교육 방법 | |
| CN113434038A (zh) | 基于增强现实的视障儿童定向行走训练辅助系统的控制方法 | |
| Marge et al. | A research platform for multi-robot dialogue with humans | |
| CN205540577U (zh) | 虚拟教学视频直播装置 | |
| CN104809922A (zh) | 一种基于模块相对位置的信息组合系统 | |
| Pan et al. | Application of virtual reality in English teaching | |
| Lin et al. | Applying project‐based learning in artificial intelligence and marine discipline: An evaluation study on a robotic sailboat platform | |
| US20200004235A1 (en) | Autonomous drone play and directional alignment | |
| CN110928302A (zh) | 一种人机协同自然语言空间导航方法及系统 | |
| CN111862727B (zh) | 人工智能图形化编程教学平台及方法 | |
| CN105741645A (zh) | 北斗科普声光电演示设备及组建演示方法 | |
| Liu | Realization of Virtual Teaching Platform For English Translation Based On VR Technology | |
| CN108154717A (zh) | 一种基于模式识别的智能课堂系统 | |
| RU2020100190A (ru) | Программно-аппаратный комплекс обучающей системы с автоматической оценкой эмоций обучаемого | |
| CN110310531A (zh) | 一种vr语言学习系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210924 |