CN116829906A - 用于辅助视觉损伤用户移动的计算机实现方法、可穿戴设备、非暂时性计算机可读存储介质、计算机程序和系统 - Google Patents

Abstract

在本发明的第一方面中，请求保护一种用于借助可穿戴设备辅助视觉损伤用户移动的计算机实现方法，方法包括以下步骤：5S1‑从视觉损伤用户的环境获取数据，S2‑融合获取的数据，创建、反复更新实况地图，S3‑确定、反复更新和存储用于视觉损伤用户从视觉损伤用户的当前位置导航到关注点的至少一条导航路径及关联导航引导指令，反复地10从至少一条导航路径中选择一条优选导航路径并向视觉损伤用户反复发送优选导航路径及关联导航引导指令。S4‑通过使用用于传送每个关联导航引导指令的15包括触觉和/或听觉提示的引导模式，引导视觉损伤用户沿着优选导航路径。本发明详述了步骤S2、S3和S4是如何进行的且还详述了实况地图的内容。所述实况地图包括来自传感器的关于物体和生物的数据、物体和生物之间的关系以及不同类型区域：可行走区域、不可行走区域和附条件可行走区域，20在本发明的第二方面中，请求保护一种用于辅助视觉损伤用户移动的可穿戴设备，该设备被配置来应用方法的步骤。

Description

用于辅助视觉损伤用户移动的计算机实现方法、可穿戴设备、 非暂时性计算机可读存储介质、计算机程序和系统

发明领域

本发明涉及视觉损伤人士移动辅助领域。具体地，本发明涉及一种用于辅助视觉损伤人士移动的方法和可穿戴设备，贯穿本发明，视觉损伤人士将被称为视觉损伤用户。贯穿本发明，术语“视觉损伤”将涵盖中度损伤及重度损伤(失明)。

发明背景

研究表明，2015年有3600万人受到重度损伤的影响，而2.166亿人患有中度至重度视觉损伤。随着这些数字的增加，人们也越来越察觉到他们的需求，并出现了旨在援助视力障碍的解决方案。例如，使用诸如手杖或导盲犬之类的经典导航方法，城市对于盲人而言变得越来越接近。技术解决方案也应运而生，并开始为盲人和视觉损伤人士所接受。诸如OrCam Inc.或Microsoft Inc.提出的解决方案已得到不同程度的采用。然而，尽管科技进步，视觉损伤人士最常用的解决方案仍是手杖。

用于辅助视觉损伤人士的技术解决方案并不新奇。早期的努力可归功于US3594823A[1]中的Paul Bach-Y-Ritta等人。其中，视觉信号已被转变为在盲人背部上的触觉反馈。

一般来说，用于辅助视觉损伤人士的技术解决方案显现为以下类别中的一种或多种：

-感觉替换——利用可用的感觉来表示不太通常通过所述感觉接收的信息。在接下来的几年里已作出若干其它努力，以利用其它感觉比如触知感觉或声音来代替视觉信息，

-通过使用感觉替换，为视觉损伤人士生成路径并将所述路径传达给他/他的办法，

-定位视觉损伤人士在其环境中的位置和/或对可被视为障碍物和/或目标目地的的各种物体进行定位的办法

-向视觉损伤人士传达有关环境、路径、障碍物的信息并接收来自他/她的反馈的办法。

不同解决方案涉及以上说明的类别中的一种或多种。

2015年7月26日公布的US9915545[2]公开了一种用于利用智能设备来向盲人提供方向的方法。方法包括：通过至少两个传感器并响应于对智能设备的搜寻模式的选择，检测与智能设备的周围环境对应的图像数据和与智能设备的定位对应的定位数据；通过输入设备，接收所期望的物体或所期望的位置；基于所述图像数据、定位数据和存储在智能设备的存储器中的地图数据，通过处理器确定智能设备的初始位置；基于智能设备的初始位置和地图数据，通过智能设备的输出设备提供到所期望的物体的方向。

2015年7月16日公布的US9629774[3]公开了一种智能项链，该智能项链包括一本体，该本体限定至少一个腔并具有颈部以及第一和第二侧部。项链包括一对立体摄像机，该对立体摄像机配置为检测图像数据，所述图像数据包括与智能项链的周围环境对应的深度信息。项链还包括定位传感器，所述定位传感器配置为检测与智能项链的定位对应的定位数据。项链包括位于所述至少一个腔中并被配置来存储地图数据和物体数据的非暂时性存储器。智能项链还包括处理器，所述处理器位于所述至少一个腔中，与所述一对立体摄像机、定位传感器和非暂时性存储器耦接。处理器配置为基于图像数据、定位数据、地图数据和物体数据来确定输出数据。

在2016年11月15日发表的一篇学术文章[4]，“Wearable Indoor NavigationSystem with Context Based Decision Making for Visually Impaired”[4]中，作者Xiaochen Zhang等人提出了一种用于视觉损伤者的可穿戴室内导航系统。该系统使用同时定位与地图构建(Simultaneous Localisationn and Mapping)SLAM和语义路径规划进行定位和导航，集成了多种传感器和反馈设备，比如RGB-D摄像机、惯性测量单元IMU和网络摄像机。系统应用基于RGB-D的视觉测程算法来估算用户的位置和定向，并应用惯性测量单元IMU来改善定向误差。诸如房间号和过道拐角之类的主要地标通过网络摄像机和RGB-D摄像机检测并与数字化楼层地图匹配，从而定位用户。路径和运动引导被生成来将用户引导到所期望的目的地。文章提出了一种提高关于路径规划的基于背景的决策机制中刚性命令与对于人类的最佳机器决策之间的拟合度来解决由错误观察所致的用户困惑的方法。

US2016/0033280A1[5]公开了一种附在用户的耳部上佩戴的智能耳机，所述智能耳机包括处理器，所述处理器连接到与智能耳机耦接的惯性测量单元IMU、全球定位系统GPS单元和至少一个摄像机。IMU配置为检测与智能耳机的定位、速度或加速对应的惯性测量数据，全球定位系统(GPS)单元配置为检测与智能耳机的位置对应的位置数据，而所述至少一个摄像机耦接到智能耳机并配置为检测与智能引导设备的周围环境对应的图像数据。耳机还包括连接到IMU、GPS单元和所述至少一个摄像机的处理器。处理器配置为识别周围环境中的物体。这通过基于存储的物体数据以及惯性测量数据或位置数据中的至少一项来分析图像数据被完成。处理器可基于所确定的期望事件或动作来确定目的地。处理器可基于所确定的目的地、图像数据、惯性测量数据或位置数据来确定用于将智能引导设备导航到该目的地的导航路径。处理器可基于所确定的导航路径来确定输出数据。

US2016/0033280A1[5]公开了设备对于视觉损伤人士没有特定的适改(adaptation)。

本领域技术人员知悉，为视觉损伤人士移动提供援助的所有设备必须首要向其用户提供来自环境的信息，由于视觉损伤人士无法看见或几乎无法看见，这些来自环境的信息是所述视觉损伤人士无法通过使用其视力获得的。换言之，在为视觉损伤人士导航提供援助的设备所使用的所有传感器中，摄像机是最重要的。

考虑到该重要方面，US2016/0033280A1已经实现对于佩戴在用户耳部背后的、如在图8B和图9B中示出的单个耳机的公开。

在视觉损伤人士使用US2016/0033280A1的耳机的情况中，由于耳机位于耳部之后，摄像机的视觉视场为视觉损伤人士的头部所部分遮挡，因此耳机无法提供完全覆盖环境的图像。如果例如耳机被置设在左耳后，则右侧视觉视场的部分将被用户的头部遮挡。

US2016/0033280A1有对附加摄像机的替代位置的不完整公开，但没有详细说明它们相应的使得技术人员能够利用公共常识来再现附加摄像机的替代位置的主题的实施方式。

现有技术的缺点

对于感觉替换，已知的解决方案基本上建议了一种对已知比听觉和/或触觉中根植的带宽远远更大的视力带宽的不恰当的代换，要么提供太稀少的信息，要么提供太多非必要的信息，造成用户的困惑或烦恼。

关于生成地图的办法以及为视觉损伤人士生成路径并将所述路径传达给他/她的 办法，现有技术的基于导航/GPS的方法提供了大体路径但没有做任何事来避免障碍物或生物。

关于定位视觉损伤人士在其环境中的位置和/或对可被视为障碍物和/或目标目的地的各种物体进行定位的办法，诸如Microsoft Seeing AI或OrCam之类的方法仅识别存在于其有限视场中的物体而没有提供充足的关于如何到达目标目的地的信息。一般来说，已知的解决方案没有可能或者有减小的可能性会存储由传感器检测到的物体的位置，且因此没有可能或者有减小的可能性会识别过去检测到的物体。已知的解决方案没有可能会提供有关物体的完整信息、会对视觉损伤人士有用的信息，比如：如果椅子被其他人占用，物体的尺寸和其它物理和化学特征，这导致需要视觉损伤人士触摸所述物体以便感知所述物理和化学特征，这不太卫生、可能是危险的并且可能会花费太多时间。

关于向视觉损伤人士传达有关环境、路径或障碍物的信息以及接收来自他/她的反馈的办法，目前的大多数解决方案向视觉损伤人士传达信息太慢和/或从他/她那接收反馈太慢，这导致修改初始路径困难并延后。

例如，在US 9,629,774[3]的实施例中，虽然智能项链能够识别楼梯、离开洗手间或空座位，但所述项链并未配置为提供更深入的信息，比如物体的特征：定向，闩锁或门把手在哪里，或者空座位是否为脏污的。

US9,629 774[3]教导了智能项链可向视觉损伤用户传送的有限数量类型的命令：不同的转弯角度，例如45度转弯、90度转弯、左转弯、右转弯。利用这种传达信息的方式，US9,629 774[3]是僵化的，当与非视觉损伤人士的自然路径生成进行比较时。

US 9,629,774[3]教导了一种仅包含各种物体的位置而没有任何其它特征的地图。

US 9,915,545[2]教导了一种用于给电子设备的盲人用户提供方向的方法，所述方向为从电子设备的当前位置到所期望的物体的位置。在该方法中，其上生成有路径的区域的类型之间没有区分，各种物体之间也没有建立关系，物体和生物的一些重要方面的特征被遗漏，比如对生物情绪状态或表面清洁程度的检测，并且地图内容被缩减到来自传感器的视场的信息。

发明解决的问题

本发明所要解决的问题是提供一种适于辅助视觉损伤用户移动的方法，所述方法允许用户以与对非视觉损伤用户的导航更接近的方式在室内和室外导航。具体地，本发明所要解决的问题是：

-提供对用户的环境的更准确和更详细的表征，包括提供物体与生物之间更准确和更详细的关系，目的在于视觉损伤用户的更安全的导航以及更加具体的导航目标；

-提供对导航路径的更准确和更详细的生成；

-提供对视觉损伤用户沿着导航路径在准确性和安全性方面更好的引导；

-提供对视觉损伤用户沿着导航路径在更加舒适方面更好的引导，以及给予与非视觉损伤用户相似的作出决策的可能性；

发明内容

在本发明的第一方面中，提供一种适于借助用于辅助视觉损伤用户移动的可穿戴设备借助可穿戴设备来辅助视觉损伤用户移动的方法，所述方法包括以下步骤：

S1

借助可穿戴设备的感觉单元2从视觉损伤用户的环境获取数据，从视场进行感测，将获取的所述数据发送到可穿戴设备的处理和控制单元的感觉融合子单元30，

S2

通过感觉融合子单元对获取的数据进行融合，将融合后的数据发送到处理和控制单元的实况地图子单元，

通过实况地图的实况地图子单元创建、反复更新和存储实况地图，所述实况地图包括以下数据：

1.基于从感觉融合子单元接收的融合后的数据的实况地图判定，所述实况地图判定包括：

-感觉单元的位置和定向，

-多个物体，

-多个生物，

2.基于从处理和控制单元的关系管理器子单元接收的所述多个物体和/或所述多个生物之间的多个关系生成的实况地图判定，

3.基于自由区域生成的实况地图判定，所述自由区域被定义为地面上未被所述多个物体和多个生物Ln占据的区域的整体(ensemble)，自由区域A包括：

-满足一组固定的预先确定的可行走区域要求的可行走区域，

-满足所述一组固定的预先确定的可行走区域要求以及至少一个可预测的附条件可行走区域要求的附条件可行走区域，

S3

自动地或响应于来自视觉损伤用户的请求，通过处理和控制单元的导航管理器子单元确定、反复更新和存储用于视觉损伤用户从感觉单元的当前位置导航到从所述多个物体和/或多个生物中选择的关注点的至少一条导航路径及关联的导航引导指令，

自动地或响应于来自视觉损伤用户的请求，反复地从所述至少一条导航路径中选择优选导航路径，所述优选导航路径满足至少两条导航路径要求：

i)经过可行走区域和/或在附条件可行走区域上通过，以及

ii)满足一组安全要求，所述一组安全要求包括无碰撞要求和无攻击性要求。

其中，来自视觉损伤用户的任何请求都通过使用用户命令接口的触觉器具或音频器具做出，所述请求经由处理和控制单元的用户命令接口管理器子单元由导航管理器子单元接收，

以及，通过导航管理器子单元向处理和控制单元的反馈管理器子单元传送

i)优选导航路径，和

ii)关联的导航引导指令，

其中，当优选导航路径SP经过附条件可行走区域时，导航管理器子单元向反馈管理器子单元发送与所述至少一个可预测的附条件可行走区域要求对应的关联的导航引导指令

S4

沿着优选导航路径，通过使用用于传送每个关联的导航引导指令的引导模式，由反馈管理器子单元向视觉损伤用户提供引导，每个导航引导指令包括由反馈管理器子单元发送到处理和控制单元的反馈单元的触觉提示和/或听觉提示，所述反馈单元包括：

-配置为置设在视觉损伤用户的头部上的触觉反馈致动器，和/或

-配置为置设在视觉损伤用户的一耳或两耳上的听觉反馈致动器，

其中，用于每个关联的导航引导指令的引导模式由视觉损伤用户借由用户命令接口并通过用户命令选择，所述用户命令经由用户命令接口管理器子单元由反馈管理器子单元接收。

在本发明的第二方面中，提供一种用于辅助视觉损伤用户移动的可穿戴设备1，所述可穿戴设备包括：

-配置为置设在视觉损伤用户的头部上的感觉单元，所述感觉单元包括基础传感器：

-摄像机，

-深度传感器，

-惯性测量单元

-声音定位传感器

-处理和控制单元，所述处理和控制单元包括：

-感觉融合子单元，所述感觉融合子单元包括：

-定位模块，

-可行走区域检测模块，

-定向计算模块，

-声音方向定位模块，

-声音分类模块，

-物体2D特征提取模块，

-物体3D特征融合模块，

-物体声音特征融合模块，

-实况地图子单元，

-关系管理器子单元，

-导航管理器子单元，

-用户命令接口管理器子单元，

-反馈管理器子单元，

-声音表示子单元，

-配置为置设在视觉损伤用户的头部上的反馈单元，所述反馈单元包括：

-多个触觉反馈致动器，所述多个触觉反馈致动器包括：

-左触觉反馈致动器，

-右触觉反馈致动器，

-中心触觉反馈致动器，

-多个听觉反馈致动器，所述多个听觉反馈致动器包括：

-左听觉反馈致动器，

-右听觉反馈致动器，

-配置为置设在视觉损伤用户的头部上的用户命令接口，所述用户命令接口包括：

-多个用户命令触觉器具，

-多个用户命令音频器具，

-电力存储单元，

-存储器，以及

-感觉单元、处理和控制单元、反馈单元、用户命令接口、电力存储单元和存储器之间通过通信协议的电子通信器具，

其中，可穿戴设备配置为应用根据本发明的任何实施例(包括所述实施例的组合)的方法的步骤。

在本发明的第三方面中，提供一种以计算机程序编码的非暂时性计算机可读存储介质，所述计算机程序包括可由一个或多个处理器执行的指令，所述指令在这样的执行后促使所述一个或多个处理器实施任何优选实施例(包括其组合)中的适于辅助视觉损伤用户移动的计算机实现方法的操作。

在本发明的第四方面中，提供一种计算机程序，所述计算机程序包括指令，当所述程序由根据本发明的任何实施方式的可穿戴设备执行时，所述指令促使可穿戴设备进行任何优选实施例(包括其组合)中的适于辅助视觉损伤用户移动的计算机实现方法的步骤。

在本发明的第五方面中，提供一种系统，所述系统包括一个或多个处理器以及一个或多个非暂时性计算机可读存储设备，所述非暂时性计算机可读存储设备包括包含指令的存储介质，所述指令可由所述一个或多个处理器执行以实施任何优选实施例(包括其组合)中的适于辅助视觉损伤用户移动的计算机实现方法的操作。

根据一个示例实施方式，一种计算机实现方法包括包含：从视觉损伤用户的环境获取数据，其包括可穿戴设备的感觉单元从视场进行感测；将获取的数据发送到可穿戴设备的处理和控制单元的感觉融合子单元；通过感觉融合子单元对获取的数据进行融合；将融合后的数据发送到处理和控制单元的实况地图子单元；以及通过实况地图子单元创建、反复更新和存储实况地图。实况地图包括：基于处理和控制单元处从感觉融合子单元接收的融合后的数据生成的一个或多个实况地图判定，所述一个或多个实况地图判定包括感觉单元的位置和定向、多个物体以及多个生物；基于从处理和控制单元的关系管理器子单元接收的多个物体或多个生物之间或多个物体与多个生物之间的多个关系生成的一个或多个实况地图判定；基于自由区域生成的一个或多个实况地图判定，所述自由区域被定义为地面上未被所述多个物体和所述多个生物占据的区域的整体，所述自由区域包括满足一组固定的预先确定的可行走区域要求的可行走区域，以及满足该组固定的预先确定的可行走区域要求以及至少一个可预测的附条件可行走区域要求的附条件可行走区域。所述方法包括：自动地或响应于来自视觉损伤用户的第一请求，通过处理和控制单元的导航管理器子单元确定、反复更新和存储用于视觉损伤用户从感觉单元的当前位置导航到从多个物体或多个生物或者多个物体与多个生物中选择的关注点的至少一条导航路径及关联的导航引导指令；自动地或响应于来自视觉损伤用户的第二请求，反复地从所述至少一条导航路径中选择(i)经过可行走区域或在附条件可行走区域上通过或者在可行走区域和附条件可行走区域上通过并且(ii)满足包括无碰撞要求和无攻击性要求的一组安全要求的优选导航路径，其中来自视觉损伤用户的任何输入都通过使用用户命令接口的触觉器具或音频器具做出，所述请求经由处理和控制单元的用户命令接口管理器子单元由导航管理器子单元接收；通过导航管理器子单元向处理和控制单元的反馈管理器子单元传送优选导航路径和关联的导航引导指令，其中，当优选导航路径经过附条件可行走区域时，导航管理器子单元向反馈管理器子单元发送与所述至少一个可预测的附条件可行走区域要求对应的关联的导航引导指令；沿着优选导航路径，利用用于传送每个关联的导航引导指令的引导模式，通过反馈管理器子单元向视觉损伤用户提供引导，每个导航指令包括由反馈管理器子单元发送到处理和控制单元的反馈单元的触觉或听觉提示，所述反馈单元包括配置为置设在视觉损伤用户的头部上的触觉反馈致动器，或者配置为置设到视觉损伤用户的一耳或两耳的听觉反馈致动器，或者配置为置设在视觉损伤用户的头部上的触觉反馈致动器和配置为置设到视觉损伤用户的一耳或两耳的听觉反馈致动器，其中，用于每个关联的导航引导指令的引导模式由视觉损伤用户借由用户命令接口并通过用户命令选择，所述用户命令经由用户命令接口管理器子单元由反馈管理器子单元接收。

一些实施方式包括以下特征中的一项或多项。例如，方法包括：创建和更新实况地图，包括反复地基于从感觉融合子单元接收的融合后的数据来确定感觉单元的位置和定向、多个物体的以及多个生物的位置、定向和特征，并且反复地将创建并更新的实况地图发送到感觉融合子单元的定位模块；基于从实况地图获取的数据，通过关系管理器子单元反复生成和更新多个物体之间的或多个生物之间的或多个物体与多个生物之间的多个关系，其包括应用一组预先确定的关系要求，并且反复地将更新的多个关系发送到实况地图；利用对从感觉单元接收的数据和来自实况地图的数据应用的定位算法，通过定位模块反复定位感觉单元相对于多个物体及相对于实况地图的多个生物的位置和定向，并且反复地将感觉单元的位置和定向的定位数据发送到感觉融合子单元的可行走区域检测模块；基于从感觉单元接收的数据、从定位模块接收的数据、经计算并存储在存储器中的一组固定的预先确定的可行走区域要求和至少一个可预测的附条件可行走区域要求，通过可行走区域检测模块反复确定自由区域，并且反复地将更新的自由区域发送到实况地图，并且反复地将更新的实况地图存储在存储器中。实况地图由感觉融合子单元利用同时定位与地图构建(SLAM)算法更新。方法包括：关于从多个物体中选择的至少一个物体或者至少一个生物从多个生物中被选择，将视觉损伤用户请求的信息发送到处理和控制单元的声音表示子单元；通过处理和控制单元的声音表示子单元从实况地图提取有关所选择的至少一个特定物体或至少一个特定生物的信息；将所提取的信息表示为对应的空间化声音；通过反馈单元将所述空间化声音传送给视觉损伤用户；由视觉损伤用户从所述多个物体或从所述多个生物中选择关注点，并将对应的选择请求传送到导航管理器子单元。方法包括：通过导航管理器确定游移路径以及对于视觉损伤用户的关联的导航引导指令，并将游移路径和关联的导航引导指令发送到反馈处理器子单元。触觉提示根据预先确定的优选导航路径复杂性标准在振动的持续时间、周期性、强度或频率方面变化，并且音频提示根据预先确定的优选导航路径复杂性标准在频率、持续时间、反复强度或3d空间虚拟化方面变化。三维可行走隧道被定义为具有预先确定的横截面的虚拟隧道，该虚拟隧道将优选导航路径作为水平纵向轴线，并且其中，引导模式还包括在视觉损伤用户正在接近可行走隧道的虚拟墙时发送给视觉损伤用户的特定触觉提示。优选导航路径被分成由多个里程标界定的预先确定的区段，并且引导模式包括以信号示意(signal)接下来的至少一个里程标的位置的触觉提示或听觉提示，从当前里程标到后继里程标向视觉损伤用户提供关联的导航引导指令，并且预先确定的区段的长度根据优选导航路径的复杂性和长度而变化。引导模式包括以信号示意优选导航路径上的方向的触觉提示或听觉提示或者触觉与听觉提示。优选导航路径上的方向由这样的线条确定，即由感觉单元的原点和优选导航路径与原点在感觉单元位置处且半径为预先确定的长度的圆圈的交点限定的线条，并且以信号示意优选导航路径上的方向的听觉提示源自空间化声源，该空间化声源在空间化声源s相对于感觉单元的预先确定的第一距离处置设。听觉提示是源自如下空间化声源的空间化声音：所述空间化声源虚拟地从感觉单元的位置沿着优选导航路径上的预先确定的第二距离行进直到该空间化声源抵达预先确定的第二距离的终末并回返到感觉单元的位置。

在另一常规实施方式中，用于辅助视觉损伤用户移动的可穿戴设备包括配置为置设在视觉损伤用户的头部上的感觉单元，所述感觉单元包括摄像机、深度传感器、惯性测量单元和声音定位传感器。设备包括处理和控制单元，所述处理和控制单元包括感觉融合子单元，所述感觉融合子单元包括定位模块、可行走区域检测模块、定向计算模块、声音方向定位模块、声音分类模块、物体2d特征提取模块、物体3d特征融合模块以及物体声音特征融合模块。设备包括实况地图子单元、关系管理器子单元、导航管理器子单元、用户命令接口管理器子单元、反馈管理器子单元和声音表示子单元。设备包括配置为置设在视觉损伤用户的头部上的反馈单元，所述反馈单元包括：多个触觉反馈致动器，所述多个触觉反馈致动器包括左触觉反馈致动器、右触觉反馈致动器、中心触觉反馈致动器；多个听觉反馈致动器，所述多个听觉反馈致动器包括左听觉反馈致动器和右听觉反馈致动器。设备包括配置为置设在视觉损伤用户的头部上的用户命令接口，所述用户命令接口包括多个用户命令触觉器具和多个用户命令音频器具。设备包括电力存储单元、存储器以及感觉单元、处理和控制单元、反馈单元、用户命令接口、电力存储单元和存储器之间的电子通信部件。

示例实施方式包括以下特征中的一项或多项。感觉单元包括至少一个附加传感器，所述附加传感器来自被配置为确定感觉单元的绝对位置的全球定位传感器或被配置为确定物体的和生物的温度的温度传感器之中。感觉融合子单元包括：相对与绝对转换模块，所述相对与绝对转换模块配置为将来自物体声音特征融合模块的数据与有关感觉单元的绝对位置的数据融合；以及物体温度特征融合模块，该物体温度特征融合模块配置为将来自物体声音特征融合模块的数据与有关物体的和生物的温度的数据融合并将融合后的数据发送到实况地图子单元。

其它示例实施方式包括一种系统，所述系统包括：一个或多个处理器；以及一个或多个非暂时性机器可读存储设备，所述存储设备存储指令，所述指令可由所述一个或多个处理器执行以实施与所公开的方法对应的操作；或者以计算机程序编码的非暂时性计算机存储介质，所述计算机程序包括指令，所述指令当由一个或多个处理器执行时促使所述一个或多个处理器实施与所公开的方法对应的操作。

本发明的一个方面中的任何特征也可以以任何适当的组合应用于本发明的其它方面。尤其，方法特征也可应用于设备特征，且反之亦然。

在适用的情况下，手段加功能特征替代地也可从它们的对应结构方面来表述，比如适当编程的处理器和关联的存储器。

本发明的各种特征的特定组合可独立地实现和/或提供和/或使用。

发明的优点

本发明的主要优点如下：

-它提供更安全的视觉损伤用户导航和对日常生活中的物体和生物更加准确的触用，原因如下：

-更准确和更详细地表示用户的环境；

-更准确和更详细地生成导航路径；

-更准确和更安全地引导用户沿着导航路径；

-它提供在舒适和做决策可能性方面的更接近于非视觉损伤用户体验的导航体验。

附图说明

图1根据本发明的方法和可穿戴设备1的示意性表示

图2斜轴视图，展示了两个优选实施例中的可穿戴设备1的部件的示意性定位

图2A两个部件可穿戴设备

图2B单个部件可穿戴设备

图3基础传感器的视场20的示意性表示

图4真实的和实况地图310的内容的示意性表示

图5在可穿戴设备1仅使用基础传感器时的实况地图310的创建的示意性表示；

图6优选实施例之一的斜轴视图，展示了从视觉损伤用户的头部后方观察的头戴式装置部件(headset component)11，并且详示了反馈单元4的部件的定位以及用户命令接口5的部件的定位

图7图6的优选实施例的细节的前视图，展示了从视觉损伤用户的前额观察的头戴式装置部件11，并且详示了四个基础传感器的定位，以及详示了用户命令接口5的部件的定位

图8A 使用可行走隧道T的引导模式的示意性表示

图8B实施例的斜轴视图，示出了借由使用可行走隧道T的引导模式

图9实施例的斜轴视图，示出了借由使用里程标93的引导模式

图10实施例的示意性表示，示出了借由使用可行走隧道T和里程标93的引导模式

图11实施例的示意性表示，示出了借由使用如下的引导模式：

图11A触觉提示；

图11B听觉提示；

图12实施例的示意性表示，示出了借由使用源自空间化声源S的空间化声音的引导模式，所述空间化声源虚拟地沿着优选导航路径SP行进

图13与包括有两个附加传感器25和26的可穿戴设备1对应的实施例的示意性表示

图14至图17方法的例示–示例编号1

图14现实场景现场的俯视图

图15现实场景现场的斜轴视图

图16来自辅助路径912的细节

图17细节——门铃841代替门84作为关注点PI

图18至图28方法的例示—示例编号2。窗户85被以符号方式表示

图18示例编号2-1——方法的步骤S.3-0.2的示意性表示，其中空间化声音S86被感知为在窗户85的同一位置

图19A示例编号2-2——方法的步骤S.3-0.2的示意性表示，其中空间化声音S86是相对于窗户85的在高程空间维度上的夸张或“缩放”性表示

图19B示例编号2-3——方法的步骤S.3-0.2的示意性表示，其中空间化声音S86是相对于作为潜在关注点PPI的窗户85的在方位角空间维度上的夸张或“缩放”性表示。

图20示例编号2-4——方法的步骤S.3-0.2的示意性表示，其中在距离视觉损伤用户的不相等的距离处置设的两个窗户85-1和85-2根据窗户85-1和85-2距离视觉损伤用户的距离被以不同频率特征的虚拟化声音S86f-1及相应地S86f-2进行声音表示。

图21示例编号2-5——方法的步骤S.3-0.2的示意性表示，其中窗户85的边缘根据各个末端相对于视觉损伤用户的距离由具有不同编码特征的两个空间化声音S86P-E1和S86P-E2声音表示。

图22示例编号2-6——方法的步骤S.3-0.2的示意性表示，示出了窗户85的尺寸S86P和S86L的表示

图23示例编号2-7——方法的步骤S.3-0.2的示意性表示，其中窗户85的形状由两个空间化点状声源S86P1和S86P2表示

图24示例编号2-8——方法的步骤S.3-0.2的示意性表示，其中窗户85的形状由在方位角方面具有不同频率的两个空间化声源S86f1和S86f2表示。

图25示例编号2-9——方法的步骤S.3-0.2的示意性表示，其中窗户25的形状由单个空间化声源S86表示，该单个空间化声源虚拟地在窗户85的轮廓上从起点起点t₀行进直到它返回到起点起点t₀。

图26示例编号2-10——方法的步骤S.3-0.2的示意性表示，其中窗户25的形状由虚拟地按照角度图案(angled pattern)行进的单个空间化声源S86表示。

图27示例编号2-11——方法的步骤S.3-0.2的示意性表示，示出了在相对于视觉损伤用户的不同距离处置设的两个窗户85-1和85-2的表示。

图28示例编号2-12——方法的步骤S.3-0.2的示意性表示，示出了借由两个空间化声音S861、S862对窗户85的声音表示，所述两个空间化声音同时开始并在窗户85的内框架内按照角度图案行进。

附图标记列表

该列表包括在说明书和/或附图中出现的部件、参数或标准的附图标记。该列表被创建以使得容易阅读本发明。

1 可穿戴设备

11 头戴式装置部件

12 带佩式部件

12 腕用部件——未以图形方式表示

13 手持式部件——未以图形方式表示

2 感觉单元

基础传感器：21、22、23、24

20 基础传感器的视场

21 摄像机

22 深度传感器

21-22 摄像机和深度传感器——未以图形方式表示

23 惯性测量单元

24 声音定位传感器

21-22 摄像机和深度传感器——未以图形方式表示

附加传感器25、26

25 全球定位传感器

26 温度传感器

3 处理和控制单元

30 感觉融合子单元

301 定位模块

302 可行走区域检测模块

303 定向计算模块

304 声音方向定位模块

305 声音分类模块

306 物体2D特征提取模块

307 物体3D特征融合模块

308 物体声音特征融合模块

309-1 相对与绝对转换模块

309-2 物体温度特征融合模块

31 实况地图子单元

310 实况地图

32 关系管理器子单元

33 导航管理器子单元

34 用户命令接口管理器子单元

35 反馈管理器子单元

36 声音表示子单元

4 反馈单元

41 触觉反馈致动器

411 左反馈致动器

412 右反馈致动器

413 中心反馈致动器

42 听觉反馈致动器

421 左听觉反馈致动器

422 右听觉反馈致动器

5 用户命令接口

51 用户命令触觉器具

52 用户命令音频器具

6 电力存储单元——未以图形方式表示

M 存储器——未以图形方式表示

7 通信单元——未以图形方式表示

实况地图310的内容

基于从感觉融合子单元30接收的融合后的数据的实况地图判定

-感觉单元2的位置和定向

-On多个物体

-Ln多个生物——未以图形方式表示

基于从关系管理器子单元32接收的数据的实况地图判定：

-多个物体On和/或多个生物Ln之间的多个关系Rn＝关系——未以图形方式表示

自由区域A：

-WA可行走区域

-CWA附条件可行走区域

-NA不可行走区域

最低要求

-对于区域：

-一组固定的预先确定的可行走区域要求

-至少一个可预测的附条件可行走区域要求

-对于关系：

-预先确定的关系要求的类别包括：

-预先确定的父子关系(parent-child relation)，以及

-预先确定的条件关系

-对于导航路径Pn：

-两项导航路径要求

-安全要求

-无碰撞要求

-无攻击性要求

-在WA上或在CWA上

选择的标准

-一组路径选择标准

-成本标准

-到目的地耗费时间标准

-舒适标准

-预先确定的优选导航路径复杂性标准

针对空间化声音的标准

-预先确定的空间化声音标准

由视觉损伤用户作出的请求和选择

-启动请求

-选择请求

-信息请求

由导航管理器子单元33确定的路径

-Pn至少一条导航路径——未以图形方式表示

-SP优选导航路径

-WP游移路径——未以图形方式表示

-PI关注点

-PI-OLD旧关注点

-PPI潜在关注点——未以图形方式表示

用于传送对应的导航引导指令的引导模式

T 可行走隧道

93 里程标93

r 原点为感觉单元2的位置的圆圈的具有预先确定的长度的半径

94 半径为d1的圆圈与优选导航路径SP的交点

S 空间化声源

d1 空间化声源S相对于感觉单元2的预先确定的第一距离

d2 预先确定的第二距离

示例编号1

图14至图17

84 初始关注点＝入口门，作为从多个物体On中被选择作为关注点PI的物体On的具体示例

两个入口门84-01及相应地84-02，未以图形方式表示，作为来自多个物体On的物体On的示例，关注点84从所述多个物体On中被选择

841 进一步的关注点＝门铃841，作为关注点PI的另一个具体示例

83 狗，作为来自多个生物Ln的生物Ln的具体示例

831 交通信号灯

832 人行横道

942 可行走区域，作为可行走区域WA的具体示例

941 不可行走区域，作为不可行走区域NA的具体示例

943 附条件可行走区域，作为附条件可行走区域CWA的具体示例

911 初始导航路径，作为优选导航路径SP的具体示例

912 辅助导航路径，作为优选导航路径SP的另一个具体示例

922 可行走隧道，作为可行走隧道T的具体示例

示例群编号2——图18至图28

85-窗户，作为来自作为潜在关注点PPI的多个物体On的物体On的具体示例并作为物体On的类别的示例

85-1 第一窗户

85-2 第二窗户

85-3 第三窗户——未以图形方式表示

85-4 第四窗户——未以图形方式表示

任何窗户85的被择选的末端：85-E1和85-E2。

S86 窗户的对应的空间化声音

S86-1 对应于第一窗户85-1——未以图形方式表示

S86-2 对应于第二窗户85-2——未以图形方式表示

S86-3 对应于第三窗户85-3——未以图形方式表示

S86-4 对应于第四窗户85-4——未以图形方式表示

空间化声音的具体示例

S86f 具有特定频率的空间化声音——未以图形方式表示

S86f-1 具有与窗户85-1对应的特定频率的空间化声音

S86f-2 具有与窗户85-2对应的特定频率的空间化声音

S86f1和S86f2 被以不同频率编码的空间化声源，该空间化声源虚拟地在窗户85的轮廓上移动

S86p 具有特定脉冲的空间化声音——未以图形方式表示

S86t 具有特定时间特征的空间化声音——未以图形方式表示

S86t-1和S86t-2 用于表示两个窗户85-1和85-2的框架的形状的具有不同时间特征的空间化声音。

S86t11-1、S86t12-1，具有不同时间特征的空间化声音，所述空间化声音虚拟地在窗户85-1的轮廓上移动，用于表示窗户85-1的外框架的形状

S86t21-1、S86t22-1，具有不同时间特征的空间化声音，所述空间化声音虚拟地在窗户85-1的轮廓上移动，用于表示窗户85-1的内框架的形状

S86P 点状声音，

S86P1和S86P2 虚拟地在窗户85的轮廓上移动的空间化点状声音

S86P-E1和S86P-E2 与窗户85-E1和85-E2的末端对应的两个空间化点状声音

S86L 线性声音

S861和S862 虚拟地在内框架的轮廓与窗户85的外轮廓之间的空间内按照角度图案移动的空间化声音

t₀ 虚拟地在窗户85的轮廓上移动的空间化声源的时间起点，以及t_final虚拟地在窗户85的轮廓上移动的空间化声源的时间终点

详细描述和实现示例

参考图1，可穿戴设备1包括以下：感觉单元2、处理和控制单元3、反馈单元4、用户命令接口5。

可穿戴设备1包括两个未以图形方式表示的硬件单元：电力存储单元6和存储器M。

贯穿本发明，应理解的是，视觉损伤人士佩戴着可穿戴设备1，并且可穿戴设备1处于开机状态。因此，说明书、权利要求书和附图中对可穿戴设备1或对感觉单元2的任何引用都应理解为包括对视觉损伤人士的位置的引用。为简单起见，贯穿本发明，视觉损伤用户将被称为“他”，涵盖所有的性别情况。

将在与可穿戴设备1的配置相关的描述部分中给出关于硬件单元的配置和位置的细节。

为了更好地理解方法，与该方法的公开同步地简要描述了硬件单元的基础部件。

感觉单元2被置设在视觉损伤用户的头部上并且包括基础传感器：

-摄像机21，

-深度传感器22，

-惯性测量单元23

-声音定位传感器24

处理和控制单元3，所述处理和控制单元包括：

-感觉融合子单元30，

-实况地图子单元31，

-关系管理器子单元32，

-导航管理器子单元33，

-用户命令接口管理器子单元34，

-反馈管理器子单元35，

-声音表示子单元36，

感觉融合子单元30，所述感觉融合子单元包括：

-定位模块301，

-可行走区域检测模块302，

-定向计算模块303，

-声音方向定位模块304，

-声音分类模块305，

-物体2D特征提取模块306，

-物体3D特征融合模块307，

-物体声音特征融合模块308，

图2图示了感觉单元2在视觉损伤用户的前额上的优选位置。在整个详细描述和附图中，例示了用户前额上的优选位置。本领域技术人员应当理解，本发明不限于将感觉单元2置设在前额上。

根据本发明的方法包括4个步骤。将首先按照它们的次序简要地描述这四个步骤。然后将细述步骤2、步骤3和步骤4。

S1置设在视觉损伤用户的头部上的可穿戴设备1的感觉单元2从视觉损伤用户的环境获取数据。

为此，感觉单元2从以感觉单元2的位置为原点的视场20进行感测。

S2将感觉单元2感测到的数据发送到感觉融合子单元30。

感觉融合子单元30通过包括滤波、平滑和基于人工智能的算法在内的数据处理算法对从感觉单元2获取的数据进行融合，且然后将融合后的数据发送到处理和控制单元3的实况地图子单元31。

进一步地，实况地图子单元31创建、反复更新和存储实况地图310。实况地图310包括三类数据：

1.基于从感觉融合子单元30接收的融合后的数据生成的实况地图判定，

2.基于多个物体On和/或多个生物Ln之间的多个关系Rn生成的实况地图判定，

3.基于自由区域A的实况地图判定。

实况地图310是存储在存储器M中的数据库。贯穿本发明，对实况地图310中的数据的更新和存储应包括对在存储器M中的实况地图310的更新和存储。实况地图310的存储方式在本发明的范围之外。

图3示意性地示出了以感觉单元2的位置为原点的视场20，而图4示意性地示出了与真实环境相比的实况地图310的内容以及视场20的内容。

在本发明的实施例中，实况地图310已经存在于存储器M中。在这种情况下，实况地图310的地域范围由实况地图310中过去存储的内容确定。如从图4可以看到的，实况地图310包括不再处于视场20中的物体，但这些物体过去处在视场20中。图4的实况地图310包括作为过去关注点的旧关注点PI-OLD。

1.基于从感觉融合子单元30接收的融合后的数据的实况地图判定包括以下判定：

-感觉单元2的位置和定向，

-多个物体On。对于每个物体On，所述判定指的是：

-它的位置，

-它的物理、声学和化学特征，

-它的定向，

-对它在预先确定的单位时间的未来的位置的预测，

-多个生物Ln。对于每个生物Ln，所述判定指的是

-它的位置，

-它的生物学和声学特征，

-它的定向、当前活动及情绪状态，

-对它在预先确定的单位时间的未来的位置的预测。

2.从处理和控制单元3的关系管理器子单元32接收基于多个物体On和/或多个生物Ln之间的多个关系Rn的实况地图判定。

关系管理器子单元32通过向实况地图子单元31查询实况地图310中的更新来从实况地图310导入最新更新。

计算基于预先确定的关系要求，所述预先确定的关系要求至少包括：

-预先确定的父子关系，以及

-预先确定的条件关系。

为简单起见，在整个发明中：

-术语“关系”用作多个关系Rn的等效措辞，并且

-多个关系Rn，替代地也被称为关系，指的是静态关系和动态关系两者。

在进行计算之后，关系管理器子单元32将作为计算结果的更新的关系发送到实况地图子单元31以将其存储在实况地图310中。

关于多个关系Rn的生成的细节在以下与S.2.2相关的部分中给出。

3.基于自由区域A的实况地图判定

自由区域A被定义为地面上未被多个物体On和多个生物Ln占据的区域的整体。

所述自由区域A分为三类：

-满足一组固定的预先确定的可行走区域要求的可行走区域WA，将可行走区域WA定义为视觉损伤用户能够在其上行走而不会受伤的区域，

-满足所述一组固定的预先确定的可行走区域要求并满足至少一个可预测的附条件可行走区域要求的附条件可行走区域CWA，以及

-既不满足所述一组固定的预先确定的可行走区域要求也不满足至少一个附加的可预测的附条件可行走区域要求的不可行走区域NA。

在S3中，自动地或响应于来自视觉损伤用户的第一请求，处理和控制单元3的导航管理器子单元33确定、反复更新用于视觉损伤用户从感觉单元2的当前位置导航到从多个物体On和/或多个生物Ln之中选择的关注点PI的一条或多条导航路径Pn，并将之存储在存储器M中。

术语“导航”在本发明中应理解为包含：

-视觉损伤用户走向物体On或生物Ln，

-视觉损伤用户为寻找和拿取(reach)诸如牙刷、门把手等的各种物体而利用一只或两只手或肢体做出的日常手势和动作。

导航路径Pn的非限制性示例包括：

-用于户外行走的导航路径Pn，

-用于在室内行走的导航路径Pn，

-用于拿取许多不同物体用于各种目的的导航路径Pn：从诸如梳子之类的小的物体到诸如飞机之类的大的物体。

导航管理器子单元33自动地或响应于来自视觉损伤用户的第二请求而反复地选择一条优选导航路径SP。如果仅一条导航路径Pn被确定，则优选导航路径SP即为该条导航路径Pn。如果两条或更多条导航路径Pn被确定，则导航管理器子单元33反复地选择其中之一作为优选导航路径SP。优选导航路径SP与关联的导航引导指令一起被导航管理器子单元33反复发送到处理和控制单元3的反馈管理器子单元35。

为了确定一条或多条导航路径Pn，导航管理器子单元33查询实况地图310以便检查是否满足至少两项导航路径要求。

第一项导航路径要求是，所有导航路径Pn(因此包括优选导航路径SP)必须经过可行走区域WA和/或在附条件可行走区域CWA上通过。

第二项导航路径要求是，满足针对位于至少一条导航路径Pn邻近或经预测在预先确定的单位时间将位于至少一条导航路径Pn邻近的多个物体On和/或多个生物Ln的一组安全要求。所述邻近被预先确定为例如与可穿戴设备1的位置相距0.3m。

该组安全要求包括至少一项无碰撞要求和至少一项无攻击性要求。还可针对因视觉损伤人士(例如老年人)的需求而产生的或因视觉损伤人士通常所居住于的环境特征(例如人口稠密的市区)而产生的或者因以上两者而产生的各种特定需求来定义其它安全要求。

无碰撞要求是指多个物体On和/或多个生物Ln的个体路径不得与至少一条导航路径Pn相撞。

无攻击性要求是指多个生物Ln的情绪不得预期会有针对视觉损伤用户的攻击性动作。

其它导航路径要求可由用户定义，例如但不限于避免拥挤区域或者避免经过具有高于预先确定值的坡度的地区的要求。

导航路径要求被预先确定并存储在存储器M中。导航路径要求由导航管理器子单元33应用。视觉损伤用户也可借助用户命令接口管理器子单元34来设置其它的预先确定的导航路径要求。

当所选择的导航路径SP经过附条件可行走区域CWA时，导航管理器子单元33向反馈管理器子单元35发送与所述至少一个可预测的附条件可行走区域要求关联的关联导航引导指令。

至少一条导航路径Pn的确定由导航管理器子单元33自动发起或借由从视觉损伤用户接收启动请求而发起，

如果导航管理器子单元33确定出两条或更多条导航路径Pn，则对优选导航路径SP的选择由导航管理器子单元33自动施行或通过由所述导航管理器子单元33接收来自视觉损伤用户的选择请求的方式被施行。

导航管理器子单元33可配置为使得，默认情况下，对优选导航路径SP的选择由导航管理器子单元33自动施行或者根据来自视觉损伤用户的选择请求来施行。

当由导航管理器子单元33自动施行时，对优选导航路径SP的选择基于应用包括如下的一组预先确定的路径选择标准：成本标准、到目的地耗费时间标准、舒适标准。路径选择标准的应用是根据现有技术施行的。

视觉损伤用户所作的请求是通过使用用户命令接口5的触觉器具51或音频器具52作出的。这些请求经由处理和控制单元3的用户命令接口管理器子单元34由导航管理器子单元33接收。

在S4中，利用用于传送从导航管理器子单元33接收的每个关联的导航引导指令的引导模式，反馈管理器子单元35引导视觉损伤用户沿着优选导航路径SP。

引导模式由反馈管理器子单元35发送到处理和控制单元3的反馈单元4。每个导航引导指令包括触觉提示和/或听觉提示。

引导模式为：

-通过触觉提示，这通过使用配置为置设在视觉损伤用户的前额上的反馈单元4的触觉反馈致动器41实现，或者

-通过听觉提示，这通过使用配置为置设在视觉损伤用户的一耳或两耳附近的反馈单元4的听觉致动器42实现，或者

-通过组合触觉提示与听觉提示。

对用于每个关联的导航引导指令的引导模式的选择由视觉损伤用户通过用户命令接口5并通过用户命令施行，所述用户命令经由用户命令接口管理器子单元34由反馈管理器子单元35接收。

关于S2的细节——参考图5

可将实况地图310与多层式蛋糕类比，因为从第一子步骤一直到最后的子步骤将添加若干层信息，如以下描述的。利用各层，实况地图310获取更高程度的细节和准确性。创建是持续的，具有作为结果的实况地图310的持续更新和持续存储。

在实况地图310中创建多个信息层的优势与理解和存取数据的易用性有关。由于每个单独的层包含与系统的某些其它部件相关的特定信息，因此这促进更快地获取信息。

S2.1.实况地图子单元31通过基于从感觉融合子单元30接收的融合后的数据反复确定感觉单元2的位置和定向、多个物体On的位置和定向及特征、多个生物Ln的位置和定向及特征而创建和更新实况地图310，并反复地将把创建和更新的实况地图310发送到感觉融合子单元30的定位模块301，

S2.2.关系管理器子单元32基于从实况地图310获取的数据反复生成和更新多个物体On和/或多个生物Ln之间的多个关系Rn，包括应用一组预先确定的关系要求。反复更新的多个关系Rn被反复发送到实况地图310，从而利用涉及该多个关系Rn的内容的层来更新从S2.1.输出的实况地图310内容，

S2.3.定位模块301利用对从感觉单元2接收的数据和来自实况地图310的数据应用的定位算法，反复定位感觉单元2相对于多个物体On及相应地相对于实况地图310的多个生物Ln的位置和定向。对感觉单元2的位置和定向的定位被反复发送到感觉融合子单元30的可行走区域检测模块302，从而利用涉及感觉单元2相对于多个物体On及相应地相对于多个生物Ln的位置和定向的定位数据的层来更新从S2.2输出的实况地图310内容。

S2.4.可行走区域检测模块302反复确定自由区域A，基于：

i)从感觉单元2接收的数据，

ii)从定位模块301接收的数据，

iii)一组固定的预先确定的可行走区域要求，以及

iv)计算并存储在可行走区域检测模块302的存储器M中的至少一个可预测的附条件可行走区域要求。

自由区域A的组成部分被反复更新、反复发送到实况地图310，从而利用涉及自由区域A的组成部分的层来更新从S2.3输出的实况地图310内容。

S2.5.更新后的实况地图310被反复存储在存储器M中。

S2.1.关于基于融合后的数据的实况地图判定的细节

定向计算模块303基于由惯性测量单元23提供的惯性移动数据而确定可穿戴设备1的感觉单元2的当前位置和定向、多个物体On和多个生物Ln相对于感觉单元2的当前位置和定向。出于该目的，定向计算模块303应用对系统在3条轴线(纵摇、橫摇、首摇)上的定向进行计算的定向计算算法并将之应用于物体的3D定位，因为摄像机21和深度传感器22揭示所检测的物体相对于摄像机21的位置，但没有揭示所检测的物体相对于地面的定向方式。

物体2D特征提取模块306提供对从摄像机21获取的2D图像的像素级(pixel-wise)分割，并在像素级分割的2D图像中检测置设于视场20中的多个物体On中的每个物体On以及多个生物Ln中的每个生物Ln，并确定它们相应的2D坐标位置以及它们相应的物理特征。

物体2D特征提取模块306使用物体2D特征提取算法，所述物体2D特征提取算法组合若干个动作：

-物体检测，用于确定物体On或生物Ln的类型、它们的2D位置和它们的相对2D尺寸以及它们的2D中心、通过比较若干张后继图像之间的数据而得到的它们相对于摄像机21的2D运动矢量；

-物体姿态检测，用于确定物体2D坐标定向，

-骨骼姿态检测，用于通过骨骼定向来确定生物Ln的姿态，这用于了解生物Ln的活动(比如跑、坐、咳嗽等)与状态(例如睡眠、清醒等)。

-面部特征检测，用于确定移情状态(例如微笑、大笑、哭泣等)以及活动状态：睡眠、清醒、疲倦等。

-物体特征判定，所述物体特征判定包括针对不同方面的算法，例如：

-椅子、车把、冰箱或房间的占用程度——例如通过将其中有多少为可见的与按照惯有图像应有多少为可见的进行比较；

-容器的2D填充程度，例如在透明容器的情况中；

-产品的脏污程度，例如通过将由摄像机21捕获到的物体On与干净的相似物体On的已知图像进行比较，并计算差异。

此外，物体3D特征融合模块307从物体2D特征提取模块306、从定向计算模块303和从深度传感器22接收数据，并确定有关从物体2D特征提取模块306接收的2D信息的关于多个物体On和多个生物Ln的进一步详细信息。

因此，物体3D特征融合模块307确定每个物体On相对于感觉单元2的3D坐标位置，它们的物理特征比如尺寸、组成、结构、颜色、形状、湿度、温度、占用程度、清洁度、使用程度、磨损程度、稳定性程度、填充程度、危险程度以及它们相对于感觉单元2的定向，以及相应地基于移动矢量的在预定时刻的未来的3D坐标位置。物体3D特征融合模块307还相应地确定与每个生物Ln的3D坐标位置、它们的物理特征(比如高度)、它们的骨骼姿态定向以及对其在预先确定的单位时间的未来的位置的预测相关的数据。基于骨骼姿态定向、面部表情及它们的物理特征，物体3D特征融合模块307确定每个生物Ln的当前活动和情绪状态。

声音方向定位模块304基于从声音定位传感器24接收的数据来确定由多个物体On和多个生物Ln中的每个相应发出的多个声音流的以3D坐标表达的方向。

在方法的一个实施例中，通过比较声音定位传感器24的各麦克风之间的声音流的差异、同时已知各麦克风的位置，多个声音流的方向被确定。声音方向定位模块304对进来的声音流作三角测量，检测声音流来自的方向。

已通过声音方向定位模块304确定出方向的多个声音流中的每股借助声音分类模块305被分类成各声音类型。

物体声音特征融合模块308基于由声音分类模块305确定的分类的声音类型而向已确定3D坐标的多个物体On和生物Ln中的每个添加声学特征。

然后，物体声音特征融合模块308将所有融合后的数据发送到实况地图子单元31以从而存储在实况地图310中。

S.2.2.关于生成多个关系Rn的细节

基于从关系管理器子单元32接收的数据的实况地图判定将提供定义视觉损伤用户的环境的进一步详细信息。以该方式，关系管理器子单元32提供关于物体On和生物Ln的更准确和详细的信息，实现本发明的目的，即更安全地导航视觉损伤用户以及更具体的导航目标，后者在本发明中被定义为关注点PI。

处理和控制单元3所使用的算法包括但不限于：物体检测、物体姿态检测、物体特征判定。处理和控制单元3所使用的算法定义如下作为项目(item)：

-来自多个物体On中的每个物体On，

-来自多个生物Ln中的每个生物Ln，

-每个物体的各个组成部分，例如：椅子的腿，

-每个生物Ln的各个部分。

例如，在物体On是具有四条腿的椅子的情况中，椅子被定义成是与它的四条腿中的每一条分开的项目。

项目化的程度是预先确定的，其在本发明的范围之外。

处理和控制单元3基于物体的物理关系来创建物体集群。

因此，预先确定的父子关系连接各分开的项目使得它们能够形成物体On、生物Ln或者两个以上物体On、两个以上生物Ln或物体On和生物Ln之间的整体。例如：门把手属于门。门把手和门都是项目。一方面的项目与另一方面的物体On和生物Ln之间的主要差异在于，物体On和生物Ln对应于人们对于物体和生物是什么的惯常预期，而对于算法，所有的物体On和生物Ln以及它们的组成部分都被作为项目处理。预先确定的条件关系指的是只有在满足条件的情况下才连接各分开的项目，例如人行横道是附条件可行走区域，以交通信号灯的颜色为条件。

关系管理器子单元32使用来自实况地图310的数据以利用特定算法来计算可能的关系。

对于父子关系，算法的非限制性示例如下：

-物理邻近：如果与物体On或生物Ln对应的项目物理邻近，则它们形成父子关系：

-如果盖子和打开的水壶靠近，则水壶成为盖子的父级，所述盖子为子级。

-如果键盘或鼠标靠近计算机，则它们成为朝向计算机的子级，所述计算机成为父级，

-如果检测到诸如狗或猫之类的宠物生物靠近人类生物，则宠物成为人类的子级，人类成为父级，

-如果门把手靠近门，则门把手成为门的子级。类似地，车辆的门是对于车辆的子级。

-带有包含性的物理邻近：如果与物体On或生物Ln对应的项目物理邻近并且一个物体或生物被包含在另一个物体中，则它们形成另一种父子关系：

-如果鱼被检测到挨近并被包含在鱼缸中，则鱼成为鱼缸的子级，鱼缸成为父级，

-如果在透明容器中检测到液体，则容器成为父级，并且液体成为子级，

-如果检测到座位处在公共汽车邻近并且座位被包含在公共汽车内，则座位成为公共汽车的子级，

-带有交叉的物理邻近：如果物体On物理邻近并且它们的平面中的一个或多个相交，则它们形成另一种父子关系：

-如果检测到门和墙挨近并且它们的平面匹配，则门成为墙的子级，

基于检测到的关系创建新项目：

-带有交叉的物理邻近：如果与物体On对应的项目挨近，它们相交，则它们创建新的项目类型并被分配为该项目的子级：

-如果检测到地板、屋顶和多堵墙邻近并相交——所有这些都是项目，它们形成房间，房间是另一个项目，并且它们成为房间的子级，

-如果多个房间以邻近且相交的方式生成，则它们创建楼层并成为楼层的子级，

-如果一个或多个楼层被生成，则它们创建建筑物并成为建筑物的子级。

对于条件关系，算法的非限制性示例如下：

-物理邻近：如果与物体On对应的项目挨近，则它们形成条件关系：

-如果门铃被检测为处在门邻近，则它们形成条件关系：在进门之前必须先按门铃，

-如果锁眼被检测为处在门把手邻近，则它们形成条件关系：在操作门把手之前必须先使门解锁，

-带有定向的物理邻近：如果与物体On对应的项目挨近，它们以某种方式定向，则它们形成另一种条件关系：

-如果检测到附条件可行走区域CA比如人行横道，并且检测到朝向人行横道定向的行人交通信号灯，则附条件可行走区域CA以检测到的交通信号灯的颜色为条件。

根据物体On或生物Ln的类型，某些性质可从父级传递到子级，例如：

-如果门把手是门的子级，而门是汽车的子级，则当汽车移动时，即使门把手或门不再处于可穿戴设备1的视场20中，它们的位置也将被更新，即使汽车位置同时已改变。

在用于建立多个关系Rn的算法中使用的所有参数都是预先确定的：例如，为了确定物理邻近，预先确定的距离范围被使用。

S.2.3.关于定位感觉单元2的位置和定向的细节

借助对从感觉单元2的摄像机21、深度传感器22、惯性测量单元23获取的数据，定位模块301反复地在当前实况地图310中以3D坐标确定可穿戴设备1的感觉单元2的当前位置和定向以及多个物体On和生物Ln相对于感觉单元2的当前位置和定向。

定位的结果被发送到可行走区域检测模块302，所述可行走区域检测模块确定自由区域A的组成部分。

S.2.4.关于确定自由区域A的组成部分的细节

所述一组固定的预先确定的可行走区域要求包括针对每名视觉损伤用户预先确定的类别，考虑了各种一般性的安全和舒适要求。

所述一组至少包括以下两个类别：

-几何结构方面的预先确定的可行走区域要求指的是虚拟地由视觉损伤用户占据的空间的几何结构。因此，想象一虚拟的长方体，使该长方体的三个尺寸调整为视觉损伤用户的尺寸。虚拟的长方体确保当视觉损伤用户静止站立或移动时使所述视觉损伤免于受伤而得到保护。来自该类别的要求的非限制性示例如下：地面级别的振动不得超过预先确定的高度；置设在距离地面一定距离处的梁被认为是危险的，如果所述距离低于预先确定的阈值，等等。

-表面方面的预先确定的可行走区域要求：某些地表类型被排除在外，例如但不限于：超过预先确定(比如5cm)的宽度的水膜；冰；泥；街道和道路。

附条件可行走区域CWA确实满足该组固定的预先确定的可行走区域要求并且必须另外满足至少一个可预测的附条件可行走区域要求。

该组固定的可行走区域要求以及至少一个可预测的附条件可行走区域要求是针对每名视觉损伤用户预先确定的并存储在存储器M中。可行走区域判定模块302将所述要求应用到它一方面从摄像机21和深度传感器22接收的数据且另一方面从自定位模块301接收的数据，所述从定位模块301接收的数据包括从关系管理器子单元32接收并存储在实况地图310中的关系的更新。

在另一优选实施例中，实况地图310的部分可从互联网从任何地理地图网站下载，所述部分参考在S2.1至S.2.4中描述的层并考虑到，取决于地图所下载自的地理地图网站，各个层的信息可能是部分的或完整的。从互联网的下载利用连接到互联网的通信单元7施行，所述通信单元未以图形方式表示。在这种情况中，定位模块301在下载的实况地图310上定位感觉单元2的位置和定向。

如果在实况地图子单元31的存储器中存在先前存储的实况地图310，则基于先前存储的实况地图310的实况地图判定来创建实况地图310。

如果在可穿戴设备1的存储器M中存在先前存储的实况地图310，由于它先前由实况地图子单元31确定，或者由于它是从互联网下载的，或者两者兼而有之，则基于从感觉单元2接收的数据的判定从步骤2.3开始，通过借助定位模块301在先前存储的实况地图310内识别感觉单元2的当前位置和定向，以及借助对从感觉单元2接收的数据应用的定位算法通过可行走区域检测模块302识别包括可行走区域WA和附条件可行走区域CWA在内的自由区域A。

此外，反复地以在S2.1和S.2.2中描述的附加信息更新实况地图310，并且如以上所描述地施行步骤2.3和步骤2.4及步骤2.5.的其余部分。

在优选实施例中，实况地图(310)由感觉融合子单元(30)利用同时定位与地图构建SLAM算法更新。

SLAM算法特别有利，因为它们使用迭代过程来以新的位置信息改进估算的位置。迭代过程越高，定位精度越高。其代价是更多的时间用于计算以及具有并行处理能力的处理单元的高配置硬件。

在另一优选实施例中，所使用的SLAM算法是视觉SLAM算法，其具有提供大量信息、便宜且易于实施的益处，因为可以是具有极小尺寸、重量和功率SWaP占用空间的已使用的无源传感器和部件。

目前所公开的发明涉及在发送启动请求之前关注点PI已为视觉损伤用户所知的情况。

在其它情况中，视觉损伤用户在发送启动请求之前没有充足的关于关注点PI的信息。典型的示例是当他到达新环境时，或者当已知环境中的某些东西(例如通常的座位地点)发生某些变化时。

一个示例是当视觉损伤用户进入有四个窗户的陌生房间时。他想打开窗户。但要选择四个窗户中的哪一个作为关注点PI呢？或者视觉损伤用户进入会议室，会议室有假设30个已占用座位和10个空闲座位。要选择10个空闲座位中的哪个作为关注点PI呢？

为了涵盖视觉损伤用户需要来自他的环境的附加信息以便在发送启动请求之前选择关注点PI的这些情况，在另一优选实施例中，当关注点PI不为视觉损伤用户所知悉时，在步骤3的所有其它子步骤之前施行子步骤3-0：

在S.3-0.1.中，视觉损伤用户向处理和控制单元3的声音表示子单元36发送关于从多个物体On中选择的至少一个物体On或从多个生物Ln中选择的至少一个生物Ln的信息请求，所述至少一个物体On或至少一个生物Ln作为对于视觉损伤用户的潜在关注点PPI。从多个物体On中选择的至少一个物体On的示例是来自所选房间的一组窗户，其可被命名为“窗户”。

术语“潜在”表示来自该群物体On中的任何物体On都可被选为初始关注点PI。

声音表示子单元36是：

-与实况地图子单元31、与反馈管理器子单元35和与用户命令接口子单元34连接的独立子单元，或

-导航管理器子单元33的子单元，如为简单起见在图1中表示，或

-反馈管理器子单元35的模块。

以有四个窗户的房间为例，视觉损伤用户通过用户命令接口5向声音表示子单元36发送名为“窗户”的信息请求，该信息请求即他想要了解房间里有多少个窗户、它们在房间中的位置、窗户的尺寸或形状、窗户的把手的位置。在该示例中，窗户是潜在关注点PPI。信息请求涉及预先确定的关注区域，该关注区域处在视觉损伤用户发送该信息请求时所站地方附近，该地方在该情况中是房间。

信息请求由用户命令接口5经由用户命令接口管理器子单元34传送到声音表示子单元36，正如启动请求和选择请求一样。

在S.3-0.2.中，声音表示子单元36从实况地图310中提取关于所选择的至少一个特定物体On或至少一个特定生物Ln的信息并将所述至少一个特定物体On或至少一个特定生物Ln分别表示为对应的空间化声音，并在声音表示子单元36不是反馈管理器子单元35的一部分时，经由所述反馈管理器子单元35，将空间化声音传送到反馈单元4。

呈空间化声音形式的表示是借助声音表示子单元36通过基于预先确定的空间化声音标准对所选择的物体On或相应地所选择的生物Ln的分类声音类型进行编码而生成的。

预先确定的空间化声音标准的非限制性且非详尽示例是：

-基于来自所述特定类别物体On中的物体On的特定特征或来自所述特定类别生物Ln中的生物Ln的特定特征的声音双耳虚拟化，

-基于所述物体On生物Ln相对于视觉损伤用户的距离对频率、振幅、周期、频率分量、空间化声音的填充因子或持续时间及重复空间化声音的变化。

基于预先确定的空间化声音标准对所选择的物体On或相应地所选择的生物Ln的分类声音类型的编码的类型是基于测试过程择选的，所述测试过程确定用户区分声音的不同技术特征的能力。

视觉损伤用户能够利用人类处理从声源发出的声音的自然能力以及随后利用可穿戴设备1进行的充分训练来定位每个空间化声音。

对空间化声音的定位在三个空间维度施行：

-水平：可穿戴设备1的方位角，其基本上对应于视觉损伤用户的前额的方位角，

-竖直：从地面一直测量到可穿戴设备1的高程，其基本上对应于视觉损伤用户的前额的高程，

-从感觉单元2的站立点测量的距离范围或远近尺寸。

在S.3-0.3中，视觉损伤用户从所述特定的多个物体On或相应地从所述多个生物Ln中选择关注点PI，并将对应的选择传送到导航管理器子单元33。

示例群编号2详细说明了声音表示的事项。

在某些情况下，关注点PI不在实况地图310中，例如当视觉损伤人士到达新目的地时。

在该情况中，实况地图单元31向导航管理器子单元33和向用户命令接口管理器子单元34发送关注点PI不在实况地图310中的确认。方法在S3中在确定、反复更新和存储至少一条导航路径(Pn)之前具有附加的子步骤：

S 3-1导航管理器子单元33确定游移路径WP——未以图形方式表示，同时重复方法的S1和S2直到关注点PI被找到并存储在实况地图310中，所述游移路径WP满足所述至少两项导航路径要求。

可以的是，在导航管理器子单元33将特定类别的物体On或所述特定类别的生物Ln表示为对应的空间化声音的同时确定游移路径WP。在有关选择关注点PI的决策被作出之后，就如所公开的那样施行方法的步骤3的其余部分和步骤4。

关于S4的细节

所有引导模式都有这样的目的，即保持视觉损伤用户在导航时处在优选导航路径SP上。每条优选导航路径SP都有其自身的复杂程度，该复杂程度对应于现实生活中出现的各种导航状况。发明人想到通过使用与预先确定的优选导航路径SP的复杂性标准对应的评分来将优选导航路径SP的复杂程度量化，所述优选导航路径SP的复杂性标准包括客观标准和主观标准两者，后者是视觉损伤用户对客观标准的自身解读：例如，对于特定视觉损伤用户而言被感知为远距离的事项对于其他视觉损伤用户而言并没有感知为遥远，周遭环境的噪音或温度也如是。

以下提出了预先确定的优选导航路径复杂性标准的一些非限制性且非穷尽性的示例：

-可行走区域WA的宽度和附条件可行走区域CWA的宽度：与在3m宽度的可行走区域WA上相比，如果只有10cm宽度的可行走区域WA，导航方式是不同的，

-到关注点PI还剩余的距离，

-转弯的数量和每次转弯的角度，例如30°、75°,

-台阶/楼梯的坡度和/或数量，

-环境噪音，因为它可能会限制音频提示的使用。

触觉提示根据预先确定的优选导航路径复杂性标准在振动的持续时间、周期性、强度或频率方面产生变化。

音频提示根据预先确定的优选导航路径复杂性标准在频率、持续时间、重复、强度或3D空间虚拟化方面产生变化。

触觉提示的变化及相应地音频提示的变化具有这样的优点，即：使对视觉损伤用户的引导适于通过预先确定的优选导航路径SP复杂性标准量化的每条优选导航路径的复杂程度。

触觉提示和听觉提示的特征变化的优点以及组合触觉和听觉提示的可能性的优点如下：

-提供对视觉损伤用户沿着导航路径在准确性和安全性方面更好的引导，

-提供使得引导可以按照预先确定的优选导航路径复杂性标准进行个性化设置的可能性；

-提供更舒适的导航，其为视觉损伤用户提供作出更多决策、不断地根据他的需要调整提示的可能性。

触觉提示

触觉提示通过触觉反馈致动器41被接收。视觉损伤用户在使用可穿戴设备1之前先接受训练以便将各种类型的触觉提示与特定的引导指令关联。

参考图6，需要最低数量三个触觉反馈致动器41，所有触觉反馈致动器在前额的方位角上置设——也就是在同一水平线上，以确保有最少三个方向的引导：向前，左转，右转。

-安装在前额的左侧部分上的左触觉反馈致动器411，

-安装在前额的右侧部分上的右触觉反馈致动器412，

-安装在前额的中心上的中心触觉反馈致动器413。

所述触觉反馈致动器41包括振动式致动器和近距离远程触觉装置、比如超声波触觉反馈致动器。

振动式致动器包括多个谐振致动器，所述谐振致动器将从反馈管理器35接收的电信号转化成视觉损伤用户前额上感受的受迫振动，所述振动与特定引导指令关联。

本发明中使用的振动式致动器的非限制性示例是线性谐振致动器，左触觉反馈致动器411、右触觉反馈致动器412、中心触觉反馈致动器413中的每者可包括一个或多个线性谐振致动器。

使用线性谐振致动器对于本发明是有利的，因为它们已知的良好触觉性能、它们在谐振时与其它振动式致动器相比提升的效率、它们优化功率消耗的能力、以及它们的小尺寸，小尺寸允许将它们配置为例如呈矩阵的形式，如果设想有多于三个方向的引导的话。

设有两种类型的触觉提示：

-时间性触觉提示是通过使用任何触觉反馈致动器41、以相等或不等的时间间隔接收的提示，

-时空性触觉提示，替代地也称为触觉图案提示，具有与空间性成分组合的时间性成分，所述空间性成分也就是图案，该图案表示视觉损伤用户必须沿之重新定向的方向，例如从下到上或从上到下，或者向右或向左，以此类推。对方向的触知感觉例如通过使用线性谐振致动器获得，因为线性谐振器在谐振时的提升效率增强了触觉提示的振动的持续时间、周期性、强度或频率的变化。多个线性谐振致动器以预先确定的快速的次序输出振动，线性谐振致动器在视觉损伤用户必须沿之重新定向的方向上一个接一个地振动，以便给予视觉损伤用户前额被某人沿着必须沿之重新定向的方向拖拽的感知触觉。

以下给出应用预先确定的优选导航路径复杂性标准的非限制性示例：

-触觉提示与以下成正比地更加强烈和/或更加频繁和/或具有更高振动频率：

-从优选导航路径SP的偏离程度，

-为区分90°的转弯与和仅30°的转弯或者区分爬10级楼梯与爬仅只2级楼梯，视觉损伤用户所需作出的移动量。

-如果到关注点PI的估算导航时间高于预先确定的时间阈值，则触觉提示将具有更短的持续时间和/或更小的强度和/或更小的振动速度，以避免视觉损伤用户因接收过多的触觉提示而疲劳。

触觉提示的类型根据视觉损伤用户的需要针对每种情况被预先确定。为了更好地理解本发明的教导而不是为了限制本发明，以下呈现对触觉提示的预先确定的示例：

-第一触觉提示，用于开始从感觉单元2的当前位置的导航，

-第二触觉提示，用于以信号示意视觉损伤用户已从优选导航路径SP向左偏离，

-第三触觉提示，用于以信号示意视觉损伤用户已从优选导航路径SP向右偏离，

-第四触觉提示，用于向前走，

-第五触觉提示，用于左转或右转，

-第六触觉提示，用于向上走或向下走，

-第七触觉提示，用于在导航尚未结束时有以下情况时暂时停止：如果导航管理器子单元33检测到至少一条导航路径要求未被满足，或者如果它检测到附条件可行走区域CA，其需要发送对于在至少一个可预测的附条件可行走区域要求被满足之前停止的导航指令。

-第八触觉提示，用于以信号示意已抵达作为关注点PI的导航终点。

也可定义另外的触觉提示来适应其它导航情况或视觉损伤用户的要求。

为了确保更准确的引导并同时避免视觉损伤用户因触觉提示而不必要地负担过重，可以组合触觉提示的类型。例如：

-对于简单的导航指令，例如开始/停止——来自以上示例的第一、第七、第八提示，仅时间性提示会被使用，而

-对于复杂的导航指令，时空性提示可被使用，因为与仅使用时间性触觉提示相比，当将振动标准应用于触觉图案提示时，对于左转/右转或向上走/向下走的引导更准确。

各种类型的触觉提示到来自所使用的反馈致动器41中的一者或多者的分配是预先确定的。

听觉提示

听觉提示是通过在视觉损伤用户耳部中的听觉反馈致动器42而接收的人类可感知的声音。

听觉反馈致动器42是将从反馈管理器子单元35接收的电信号转化成声音的扬声器、头戴式耳机或骨传导扬声器。通过听觉反馈致动器42而接收的关联的导航引导指令基于为每个关联的导航引导指令分配特定的声音的原理。

参考图6，最低数量两个听觉反馈致动器42被使用：

-安装在左耳中或左耳周围的左听觉反馈致动器421，

-安装在右耳中或右耳周围的右听觉反馈致动器422。

左听觉反馈致动器421和右听觉反馈致动器422中的每个可包括在同一方位角上置设的多个扬声器、头戴式耳机或骨传导扬声器。

听觉提示的类型根据视觉损伤用户的需要针对每种情况被预先确定。为了更好地理解本发明的教导，而不是为了限制本发明，以下呈现听觉提示的预先确定的示例：

-第一听觉提示，用于开始从感觉单元2的当前位置的导航，

-第二听觉提示，用于以信号示意视觉损伤用户已从优选导航路径SP向左偏离，

-第三听觉提示，用于以信号示意视觉损伤用户已从优选导航路径SP向右偏离，

-第四听觉提示，用于向前走，

-第五听觉提示，用于左转或右转，

-第六听觉提示，用于向上走或向下走，

-第七听觉提示，用于在导航尚未结束时暂时停止，

-第八听觉提示，用于以信号示意已抵达作为关注点PI的导航终点，

也可定义另外类型的听觉提示来适应导航情况或视觉损伤用户的需求。

各种类型的听觉提示到来自听觉反馈致动器42中的一个或多个听觉反馈致动器的分配是预先确定的。

考虑到声音的来源，设有两种类型的声音：

-发源在听觉反馈致动器42中的简单的声音，用于简单的关联导航引导指令，例如开始和停止，

-发源自一个或多个空间化声源S的空间化声音，用于除开始和停止之外的所有关联的导航引导指令。

在图8A和图8B中所绘的一个优选实施例中，引导模式包括三维可行走隧道T，其被定义为具有预先确定的横截面的虚拟隧道，该虚拟隧道将优选导航路径SP作为水平纵向轴线。S4的引导模式包括在视觉损伤用户正在接近可行走隧道T的虚拟墙时发送给视觉损伤用户的特定触觉提示。

三维可行走隧道T与优选导航路径SP同时地由导航管理器子单元33确定且然后与触觉提示一起被发送到反馈管理器子单元35。

可行走隧道T的优点在于，它利用由可行走隧道T的虚拟墙限定的更大的向左和向右的自由程度，允许更舒适的视觉损伤用户导航。

在视觉损伤用户趋近可行走隧道T的虚拟墙时传送引导提示，以便他返回到可行走隧道T的虚拟墙所限定的空间内。在一些实施例中，除了以信号示意可行走隧道T的虚拟墙的引导提示外，还传送其它引导提示来确认视觉损伤用户正安全地在可行走隧道T的虚拟墙内导航。

可行走隧道T的横截面根据沿着优选导航路径SP的多个可行的横截面以及根据视觉损伤用户的偏好而预先确定。

示例编号1详细说明了使用可行走隧道T的引导模式。

在另一优选施例中，参考图9，优选导航路径SP被分为由多个里程标93界定的预先确定的区段。每个区段具有在一端处的当前里程标93和在另一端处的后继里程标93。词语“接下来(的)”和“后继(的)”具有相同含义。

S4的引导模式包括以信号示意接下来的里程标93的位置的触觉提示和/或听觉提示，从当前里程标93到后继里程标93给视觉损伤用户提供关联的导航引导指令。当视觉损伤用户已通过后继里程标93时，所述后继里程标93变成当前里程标93，依此类推。

预先确定的区段的长度根据优选导航路径SP的复杂性和长度而变化。

在两个相继的里程标93之间的各区段的长度与预先确定的优选导航路径复杂性标准成反比：优选导航路径SP越复杂，各区段就越短。与在直走的部分中相比，在包含沿着水平平面或竖直平面的方向变化的部分中，里程标93更加频繁。

在两个相继的里程标93之间的各区段的长度通过应用预先确定的优选导航路径SP复杂性标准来确定，这意味着沿着优选导航路径SP的区段的长度不一定相等，如在图9中看到的。

各区段的长度可利用与所述预先确定的优选导航路径复杂性标准对应的评分来计算，或者可被动态地调适为使用基于人工智能的学习方法。例如，如果视觉损伤用户有一些重复性的偏好导航路径SP并且他选择借由使用里程标的引导方法作为喜好，则使用所述学习方法来动态地调适里程标的长度将是便捷的。

从当前里程标93到后继里程标93的引导模式中使用的提示是：

-触觉提示，

-听觉提示，或

-触觉与听觉提示。

使用触觉提示的非限制性示例如下：

-第一提示、第七提示、第八提示为时间性的。

-第二提示和第三提示为时空性的，以信号示意视觉损伤用户是否偏离优选导航路径SP，

-第四提示为时空性的，以信号示意当向前走时接下来的里程标93，

-第五和第六为时空性的，以信号示意接下来的里程标93，该里程标在该情况中被定义为这样的地方，即在该地方视觉损伤用户必须在水平平面或相应地竖直平面上重新定向他的移动方向，

触觉图案提示的振动的持续时间、周期性、强度或频率的变化与预先确定的优选导航路径复杂性标准成正比，且同时它们与到后继里程标93还剩余的距离成反比地变化。

使用听觉提示的非限制性示例如下：

-第一提示、第七提示、第八提示为简单的声音，

-所有其它提示都是空间化声音。听觉反馈致动器42反复输出所述后继里程标93的空间位置(利用从所述后继里程标93的位置听到的空间化声音)，直到视觉损伤用户已抵达所述后继里程标93。在抵达各里程标93之后，不再听到该里程标的空间化声音，该里程标变成当前里程标93，并且开始听到与后继里程标93对应的空间化声音，依此类推。

根据预先确定的优选导航路径复杂性标准，空间化声音在频率、持续时间、重复性、强度和3D空间虚拟化方面成正比变化，且同时它们与到后继里程标93还剩余的距离成反比变化。

在只有一个后继里程标93、该里程标与关注点PI一致的情况中，仅使用听觉提示是有利的：例如如果视觉损伤用户需要从沙发走到厨房，在这种情况中，厨房是唯一的后继里程标93。在这种情况中，空间化听觉提示对应于厨房。使用听觉提示具有简易和可预测性的优点，因为它为视觉损伤用户提供了将到后继里程标93还剩余待导航的距离与从所述后继里程标93的位置听到的对应听觉提示进行关联的可能，这改善了他在导航时的定向角度和安全感。当关注点PI为视觉损伤用户所已知且到关注点PI还要行进的距离短(例如对于房屋内的导航路径)，仅使用听觉提示是优选的。

当从当前里程标93到后继里程标93的引导模式是通过触觉与听觉提示时，可将所述触觉与听觉提示中的一个定义为主要的且另一个为辅助的，辅助的输出提示仅在特定的预先确定的情况中，比如例如第七提示指令停止和继续。

在另一优选实施例中，参考图10，可将使用可行走隧道T的引导模式的触觉提示与从当前里程标93到后继里程标93的引导模式的听觉提示组合。由触觉提示发送的关联的导航引导指令旨在保持视觉损伤用户处在优选导航路径SP上且在可行走隧道T的界限内，而听觉提示使视觉损伤用户能够估算到接下来的里程标93还剩余待导航的距离。

组合这两种引导模式具有将每种引导模式的优点组合的优点：可行走隧道的舒适与安全性，以及从当前里程标93到后继里程标93的引导模式的简易和可预测性。

在另一优选实施例中，S4的引导模式包括以信号示意优选导航路径SP上的方向的触觉提示或听觉提示或触觉与听觉提示。

使用触觉提示的非限制性示例如下：

-第一提示、第七提示、第八提示为时间性的。

-第二提示和第三提示为时空性的，以信号示意视觉损伤用户是否远离优选导航路径SP，

-第四提示为时空性的，以信号示意前进的方向，

-第五提示和第六提示为时空性的，以信号示意视觉损伤用户必须沿之重新定向他在水平平面或相应地竖直平面上的移动方向的方向。

触觉图案提示被预先确定使得它们给视觉损伤用户这样的印象：他的前额不断地被站在他前面的人朝着他要沿着移动的方向拖拽。

使用听觉提示的非限制性示例如下：

-第一提示、第七提示、第八提示为简单的声音，

-所有其它提示为空间化声音。

根据预先确定的优选导航路径复杂性标准，空间化声音在频率、持续时间、重复性、强度或3D空间虚拟化方面成正比地变化。视觉损伤人士在导航时跟随空间化声源S的方向。

基于以信号示意优选导航路径SP上的方向的引导模式与基于从当前里程标93到后继里程标93的引导模式之间的主要不同指的是触觉图案提示和相应地空间化声音的特征的变化：

-在两种引导模式中，触觉图案提示和相应地空间化声音根据预先确定的优选导航路径复杂性标准成正比地变化，

-在从当前里程标93到后继里程标93的引导模式的情况中，存在与到后继里程标93的距离相关的附加变化，该附加变化在基于以信号示意优选导航路径SP上的方向的引导模式中不存在，取决于到后继里程标93的距离。

使用以信号指示优选导航路径SP上的方向的触觉提示或听觉提示在以下情况中是有利的，即当优选导航路径SP的复杂程度比在使用从当前里程标93到后继里程标93的引导模式或行走通道T的引导模式的情况中低时。一个这样的示例是当同一条优选导航路径SP被频繁使用时。使用以信号示意优选导航路径SP上的方向的触觉提示或听觉提示的优点在于，它们使视觉损伤用户产生较少的疲劳。

使用以信号示意优选导航路径SP上的方向的触觉提示的一个非限制性示例在图11A中给出。在该示例中，首先是通过使优选导航路径SP与原点为感觉单元2的位置且半径r为预先确定的长度的圆圈相交得到交点94，来确定以信号示意优选导航路径SP上的方向的路径。连接感觉单元2的原点与交点94的假想线给出了视觉损伤用户待要跟随的方向，所述方向通过所述触觉提示或音频提示传送给他。半径r的预先确定的长度根据优选导航路径SP的复杂程度来设置。

在使用以信号示意优选导航路径SP上的方向的听觉提示的另一非限制性示例在图11B中给出。在该示例中，待要跟随的方向以与图11A的示例中相同的方式建立。

空间化声源S被置设在预先确定的、空间化声源S相对于感觉单元2的第一距离d1处。

为了获得引导模式的灵活性并使所述引导模式适应优选导航路径SP的复杂程度，预先确定的空间化声源S相对于感觉单元2的第一距离d1可小于半径r的预先确定的长度(如在图11B中绘示的)，或者可等于或大于半径r的预先确定的长度。

可以将触觉提示与听觉提示组合，该组合未以图形方式表示。

在另一优选实施例中，参考图12，听觉提示是源自空间化声源S的空间化声音，所述空间化声源虚拟地从感觉单元2的位置沿着优选导航路径SP上的预先确定的第二距离d2行进直到空间化声源S抵达预先确定的第二距离d2的终末并回返到感觉单元2的位置。

使用听觉提示的非限制性示例如下：

-第一提示、第七提示、第八提示为简单的声音，

-所有其它提示为空间化声音。

听觉反馈致动器42借助与预先确定的优选导航路径复杂性标准成正比的频率、持续时间、重复性、强度和3D空间虚拟化的变化来反复输出空间化声源S。

预先确定的第二距离d2与预先确定的优选导航路径SP复杂性标准成反比，也就是，优选导航路径SP越复杂，则预先确定的第二距离d2越小。

预先确定的第二距离d2基本上在0.2m与5m之间变化。如果优选导航路径SP非常复杂，则预先确定的第二距离d2基本上在0.2与1m之间变化。预先确定的第二距离d2的值的示例仅出于说明目地给出而不应被视为限制。

示例：预先确定的第二距离d2为1.2m。这意味着空间化声源S虚拟地在距离感觉单元2的位置0.2m处传播。空间化声音从感觉单元2的位置来回传播直到它们沿着导航方向达到1.2m且然后它们返回到感觉单元2的位置。由于音速显著高于人行走速度，因此视觉损伤用户接收到比本发明中公开的任何其它引导方式中都更详细的导航引导指令，因为在使用空间化声音的虚拟传播的引导模式中，声音独立于视觉损伤用户传播。

声音的特征，即频率、持续时间、重复性、强度和3D空间虚拟化或它们的组合之间的任何，与到预先确定的第二距离d2还剩下的距离成反比地变化。例如，与空间化声源S处在0.2m处相比，当空间化声源S处在0.1m处时，听觉提示更加频繁和/或更加强烈和/或更加3D空间虚拟化或持续时间更长。

这种引导模式的优点在于，它允许对导航进行微调，这使得它在可行走区域WA非常狭窄的环境中具有优势，并且因此，优选导航路径SP看起来像是在物体On和生物Ln之间的穿行(slalom)。

在本发明的第二方面中，可穿戴设备1包括感觉单元2、处理和控制单元3、反馈单元4、用户命令接口5。

可穿戴设备1包括未以图形方式表示的两个硬件单元：电力存储单元6和存储器M。

术语“存储器M”应被理解为指代被一起聚集在单个特异硬件单元中的或被散布在其它硬件单元的每个中的多个非易失性存储器。

存储器M配置为至少存储实况地图310、所有的算法、所有的标准和要求以及视觉损伤用户的偏好，例如但不限于他对于接收引导指令所偏好的提示类型。存储根据现有技术施行。

在优选实施例中，可穿戴设备1是单部件式设备，而在其它优选实施例中，可穿戴设备是多部件式设备。

在单部件式设备1的情况中，所有的硬件单元都被包括在可穿戴设备1中，如图2B中所示。可穿戴设备1安装在头部上(未以图形方式表示)。硬件单元在视觉损伤用户头部的定位可以是例如呈头带形式，所述头带具有为所有硬件单元提供良好支撑和锚固的优点。

在多部件式设备1的优选实施例的情况中，参考图2A、图6和图7，部件之一是包括感觉单元2和反馈单元4的头戴式装置部件11。头戴式装置部件11可以是例如呈头带的形式，如图2A和图2B中所示。

多部件式设备1的优选实施例的两个非限制性示例绘示了两个部件：

-头戴式装置部件11，以及

-带佩式部件12，或者相应地腕用部件12。腕用部件12未以图形方式表示。

在这种情况中，带佩式部件12或相应地腕用部件12包括处理和控制单元3、用户命令接口5和电力存储单元6。

存储器M可被包括在这两个部件的任何中或散布在这两个部件之间。

图2A绘示了具有头戴式装置部件11和带佩式部件12的双部件式设备1的优选实施例。

在头戴式装置部件11和带佩式部件12或相应地腕用部件12之间的部件划分主要基于单元的尺寸和重量。

使用单部件式设备1的优势在于，它的在头部上的优选位置为可穿戴设备1的视觉损伤用户产生了非常接近于非视觉损伤人士的感觉体验，靠近使得能够听到听觉提示的耳部位置。

然而，在某些情况中，某些硬件单元比如处理和控制单元3和/或电力存储单元6可能是沉重且庞大的。在这些情况中，多部件式设备1具有这样的优势，即将沉重且庞大的硬件单元置设于身体的其它部位、比如但不限于带或腕。

随着技术总体上朝着硬件单元的小型化发展，这将导致增加这种可能性：使用单部件式设备1，而不会对视觉损伤用户的头部造成太大负担。

在另一优选实施例(未以图形方式表示)中，设有三个部件：

-包括感觉单元2、反馈单元4的头戴式装置部件11，

-包括处理和控制单元3、电力存储单元6的带佩式部件12或相应地腕用组件12，

-包括用户命令接口5的手持式部件13(未以图形方式表示)，

存储器M可被包括在头戴式装置部件11或者带佩式部件12或相应地腕用部件12中的任何一者中或散布在这两者之间。

为使本发明起作用而组成可穿戴设备1的各种单元的配置不受所述硬件单元在单一部件式设备或相应地多部件式设备中相对于人体各部分的定位的影响。

硬件单元之间通过有线通信协议或通过无线通信协议或者通过有线和无线协议的组合进行通信，所述通信根据现有技术进行。

感觉单元2

感觉单元2具有被配置来收集关于视觉损伤用户的环境的数据的器具。

由感觉单元2收集的数据涉及通常为具有良好感觉能力(包括良好视力)的人所识别的物体On和生物Ln的多种特征。由感觉单元2收集的数据比现有技术更准确地反映了环境的复杂性。

为满足收集更准确数据的目的，感觉单元2需要多种类型的传感器的组合，将详细描述这些类型的传感器。应理解的是，传感器的所有示例是为了更好地理解本发明的教导，而不应是限制本发明。

感觉单元2包括四种基础传感器：摄像机21、深度传感器22、惯性测量单元23和声音定位传感器24。

摄像机21、深度传感器22和惯性测量单元23的最佳位置——不管可穿戴设备1是单部件式还是多部件式设备——是在前额上，如在图2A和图2B中示出的。感觉单元2优选位置在前额上的原因有三重：i)因为在没有任何设备的情况下，人类无论是否有视觉损伤，习惯于在接收提示(例如声音或触觉提示)时移动头部；ii)因为前额当前未被用于其它设备或任务；以及iii)因为对于摄像机21以及对于深度传感器22的最佳视场在前额上。

感觉单元2在视觉损伤用户前额上的定位的配置构造必须确保视场20包括：

-视觉损伤用户的脚，

-紧邻脚的自由区域A的组成部分，

-视觉损伤用户的即时步伐，

第一种传感器是摄像机21。术语“摄像机21”在整个发明中指代一个或若干个数码摄像机。本发明要求至少具有数码摄像机。

摄像机21配置为从摄像机视场获取2D图像并将获取的2D图像发送到定位模块301、可行走区域检测模块302和物体2D特征提取模块306。

术语“图像”包括静态图像和视频，具体取决于摄像机21的图像采集帧速率。

由摄像机21获取的图像涉及多个物体On和多个生物Ln的视觉特征，例如外观；类别，例如树，车；颜色、形状、尺寸以及自由区域A的组成部分。

摄像机21的非限制性示例包括：HD摄像机，具有最小视频分辨率1280像素×720像素；VGA摄像机，具有最小视频分辨率320像素×240像素，

摄像机21的最低要求如下：

-在至少50°与多达180°之间的水平视场，越大越好，因为它提供来自更大区域的信息，以及

-在至少60°与多达180°之间的竖直视场，越大越好，因为它提供来自更大区域的信息。

摄像机21可以是RGB摄像机或者也可以不是。RGB特征帮助提供更加准确的来自摄像机视场的信息。

摄像机越复杂，由摄像机获取的2D图像包含的信息就越多。

第二种传感器是深度传感器22。术语“深度传感器22”在整个本发明中指代一个或若干个深度传感器。本发明要求具有至少一个深度传感器。

深度传感器22被配置为获取与如连续的点云一样置设在深度传感器视场中的每个物体On和每个生物Ln的3D距离位置和尺寸相对应的3D点云数据并将它们发送到定位模块301、可行走区域检测模块302以及物体3D特征融合模块307。

由深度传感器22获取的3D点云数据涉及物体On和生物Ln的3D物理特征，比如密度、体积等。深度传感器22的非限制性示例是立体摄像机、雷达、Lidar(激光雷达)、超声波传感器、毫米波雷达传感器。使用毫米波雷达传感器是有利的，因为它能够感测生物Ln的脉搏或呼吸，即使生物Ln正在移动，这为视觉损伤用户带来额外的信息。

可以将摄像机21和深度传感器22组合成单个传感器，即摄像机和深度传感器21-22。优点是通过使用被配置成施行两种传感器任务的仅一种传感器来缩减两种前述传感器的尺寸和重量。摄像机和深度传感器21-22的一个非限制性示例是飞行时间TOF摄像机。

第三种传感器是惯性测量单元23。术语“惯性测量单元23”在整个发明中指代由至少一个加速度计和至少一个陀螺仪组成的整体，并且作为单独的传感器或组合的传感器。优选的是，添加至少一个磁力计来获得更好的精度，作为单独的传感器或将其与至少一个加速度计和/或至少陀螺仪组合。最好使用组合的传感器，因为需要缩减整体的尺寸和重量。本发明需要具有至少一个惯性测量单元。

惯性测量单元23配置为确定感觉单元2的定向并将所确定的定向发送到定位模块301且也借助定向计算模块303发送到特征融合模块307。

由于感觉单元2置设在视觉损伤用户的前额上，因此由惯性测量单元23获取的信息隐含地涉及视觉损伤用户的头部相对于地面的定向。

第四种传感器是声音定位传感器24。

术语“声音定位传感器24”贯穿本发明指代如下的一个或若干个传感器的整体：所述一个或若干个传感器被使用为基本上通过传入声波的方向和源与传感器之间的距离来确定三维空间中各种声音的源。

声音定位传感器24配置为获取三维空间中由物体On和生物Ln发出的多个声音流并将它们发送到声音方向定位模块304。

由声音定位传感器24获取的信息涉及由物体On和生物Ln发出的声音，包括所述声音的方向性。声音定位传感器24对环境的覆盖由其波束图案限定。

声音定位传感器的非限制性示例是麦克风阵列。用于声音定位传感器24的麦克风阵列的最小数量必须使得波束图案的总和等于视场20的角度。用于声音定位传感器24的麦克风阵列的最大数量覆盖360°。麦克风阵列位于头戴式装置内使得它们的波束图案的总和被包含在视场20的角度与360°之间。

基础传感器从处理和控制单元3的感觉融合子单元30接收特定的配置，所述配置包括摄像机21、深度传感器22的相应的视场与惯性测量单元23的测量范围的相互关联以及声音定位传感器24的波束图案。

所述相互关联具有作为结果的基础传感器的视场20(在图3中示意性绘示)。基础传感器的视场20的概念并不意味着所有基础传感器都具有完全相同的范围。应理解成所有基础传感器都会进行感知的区域，类似于数学中公分母的概念。通常，基础传感器的视场20面向前方。

然而，声音定位传感器24可具有比基础传感器的视场20更宽的范围，例如当麦克风阵列的数量使得波束图案的总和达到360°时。这是有利的，因为它允许搜集源自视觉损伤用户后方的声音信息。

在图13中所绘的另一优选实施例中，可以通过添加一个或两个附加传感器来提供更多的有关视觉损伤用户的环境的信息：全球定位传感器25和温度传感器26。

每种附加传感器与基础传感器群的任何组合具有为处理和控制单元3提供附加信息的优点，这带来更准确和详细的实况地图310。

所述两种附加传感器中的每种在感觉融合子单元30中具有对应的模块，如下：

全球定位传感器25被配置为确定感觉单元2的绝对位置并将判定发送到相对与绝对转换模块309-1，所述相对与绝对转换模块将感觉单元2的相对位置转换成绝对位置，从而物体On的位置和生物Ln的位置被表达为绝对位置。

在多部件式设备的情况中，全球定位传感器25的最佳位置是在可穿戴设备1的头戴式装置部件11的顶部上，相应地在单部件式设备的情况中是在可穿戴设备1的顶部上。

在没有全球定位传感器25的情况中，感觉融合子单元30确定可穿戴设备1相对于每个物体On以及相对于每个生物Ln的相对位置。

温度传感器26被配置为确定物体On和生物Ln的温度并将所确定的温度发送到物体温度特征融合模块309-2。

在使用任一种附加传感器的情况中，由物体声音特征融合模块308输出的数据相应地被发送到相对与绝对转换模块309-1或物体温度特征融合模块309-2，与由相应的传感器发送的数据融合或者结果被发送到实况地图子单元31。

在使用两种附加传感器的情况中，如图13中所绘，由物体声音特征融合模块308输出的数据被发送到相对与绝对转换模块309-1，与来自全球定位传感器25的数据融合，然后结果被发送到物体温度特征融合模块309-2，与由温度传感器26发送的数据融合，并且结果被发送到实况地图子单元31。

处理和控制单元3

处理和控制单元3为计算单元，其包括至少一个处理器和至少一个非易失性存储器，例如但不限于微控制器、计算机、超级计算机。术语“计算单元”涵盖单个计算单元或在计算机通信系统内通信的彼此远离定位的多个计算单元。

处理和控制单元3包括：感觉融合子单元30、实况地图子单元31、关系管理器子单元32、导航管理器子单元33、用户命令接口管理器子单元34，反馈管理器子单元35和声音表示子单元36。

参考图5，感觉融合子单元30包括被配置为使从感觉单元2的四种基础传感器接收的判定融合和相互关联的器具。

参考图13，感觉融合子单元30包括被配置成使从感觉单元2的四种基础传感器和从附加传感器中的一种或两种接收的判定融合和相互关联的器具。

定位模块301包括如下器具，即所述器具配置为借助对从感觉单元2的摄像机21、深度传感器22、惯性测量单元23获取的数据应用的定位算法来在当前实况地图310上以3D坐标定位可穿戴设备1的感觉单元2的当前位置和定向以及多个物体On和生物Ln相对于感觉单元2的当前位置和定向。

定位模块301还包括如下器具，即所述器具配置为将感觉单元2的位置和定向的定位发送到可行走区域检测模块302，从而利用涉及感觉单元2相对于多个物体On及相应地相对于多个生物Ln的位置和定向的定位数据的层来更新从S2.2输出的实况地图310内容。

可行走区域检测模块302包括配置为接收从摄像机21、深度传感器22获取的数据的器具，以及配置为从定位模块301接收数据的器具，以及基于这两种数据源，配置为通过应用存储在存储器M中的一组固定的预先确定的可行走区域要求和可预测的附条件可行走区域要求来限定可行走区域WA和附条件可行走区域CWA并将它们发送到实况地图子单元31的器具。

定向计算模块303包括被配置为基于由惯性测量单元23提供的惯性数据来确定可穿戴设备1的定向并且将判定发送到物体3D特征融合模块307的装置。

声音方向定位模块304包括被配置为基于从声音定位传感器24接收的数据确定由多个物体On和多个生物Ln中的每个相应发出的多个声音流的以3D坐标表达的方向的器具，以及被配置成将所确定的方向发送到声音分类模块305的器具。

声音分类模块305包括配置为将从声音方向定位模块304接收的多个声音流分类成声音类型并将分类的声音类型发送到物体声音特征融合模块308的器具。配置为将多个声音流分类成声音类型的器具基本上使用人工智能算法。

物体2D特征提取模块306包括这样的器具，即所述器具配置为：提供从摄像机21获取的2D图像的像素级分割，在像素级分割的2D图像中检测置于视场20中的多个物体On中的每个物体On及多个生物Ln中的每个生物Ln，确定它们相应的2D坐标位置以及它们相应的物理特征，以及将判定发送到物体3D特征融合模块307。

物体3D特征融合模块307包括这样的器具，即所述器具配置为从物体2D特征提取模块306、从定向计算模块303和从深度传感器22接收数据并确定：

-每个物体On相对于感觉单元2的3D坐标位置，以及它们相对于感觉单元2的定向，以及相应地基于移动矢量的在预先确定的时刻的未来的位置。

-多个物体的物理特征，比如尺寸、组成、结构、颜色、形状、湿度、温度、占用程度、清洁程度、使用程度、磨损程度、稳定性程度、填充程度、危险程度，

-每个生物Ln的3D坐标位置，它们的物理特征，比如高度，以及骨骼姿态定向，以及基于移动矢量对它们在预先确定的单位时间的未来的位置的预测，

-每个生物Ln的基于骨骼姿态方向的当前活动和情绪状态，以及它们的物理特征。

物体声音特征融合模块308包括这样的器具，即所述器具配置为基于由声音分类模块305确定的分类的声音流类型通过与检测到的物体On和生物Ln进行关联来向已确定3D坐标的多个物体On和生物Ln中的每个添加声学特征并将所有数据发送到实况地图子单元31。

在本发明的实施例中，感觉融合子单元30还包括相对与绝对转换模块309-1。该模块包括这样的器具，即所述器具配置为将感觉单元2的相对位置转换成绝对位置、将来自物体声音特征融合模块308的数据与有关感觉单元2的绝对位置的数据融合以及直接地或借助物体温度特征融合模块309-2将判定发送到实况地图子单元31。

在本发明的另一个实施例中，感觉融合子单元30还包括物体温度特征融合模块 309-2。该模块包括这样的器具，即所述器具配置为确定检测到的物体On及生物Ln的温度、将来自物体声音特征融合模块308的数据与有关物体On及生物Ln的温度的数据融合以及将融合后的数据发送到实况地图子单元31。如果相对与绝对转换模块309-1被使用，它将数据发送到物体温度特征融合模块309-2并最终将该数据与有关物体On及生物Ln的温度的数据融合。

根据本发明，实况地图子单元31包括被配置为创建、反复更新和存储实况地图310的器具以及这样的器具，即所述器具用于接收来自可行走区域检测模块302的涉及自由区域A的组成部分和带有涉及感觉单元2的位置和定向的定位的层的更新的从S2.2输出的实况地图310的数据，有关3D坐标中的多个物体On和生物Ln中的每个的包括来自物体声音特征融合模块308的声学特征的数据，并将所有实况地图判定发送到定位模块301。

实况地图子单元31包括这样的器具，即所述器具配置为接收：

-关系管理器子单元32对实况地图310的查询，

-导航管理器子单元33对实况地图310的查询，包括用户命令接口管理器子单元34向导航管理器子单元33的查询，如果关注点PI已经在实况地图中310的话,

-通过关系管理器子单元32施行的更新的关系Rn

-通过导航管理器子单元33施行的更新的自由区域A 的组成部分，

-声音表示模块36关于与物体On相关的特定信息的查询。

实况地图子单元31包括这样的器具，即所述器具配置为：

-响应于关系管理器子单元32对实况地图310的查询而发送多个关系Rn，

-响应于导航管理器子单元33的查询而发送自由区域A的组成部分，

-响应于导航管理器子单元的查询而向导航管理器子单元33发送所有的实况地图判定，

关系管理器子单元32包括被配置为查询实况地图310并因为查询而从实况地图310导入最近更新的数据的器具。所述最近更新的数据涉及：

-多个物体On，

-多个生物Ln，

-附条件可行走区域CWA，因为某些物体On和/或某些生物Ln与所述附条件可行走区域CWA相关，例如交通信号灯或狗，

-在查询之前的现有关系Rn。

此外，关系管理器子单元32包括这样的器具，即所述器具配置为进行计算以便确定和更新多个物体On和/或多个生物Ln之间的关系并将计算得到的更新的关系发送到实况地图子单元31以将之存储在实况地图310中。

导航管理器子单元33包括这样的器具，即所述器具配置为：

-确定、反复更新至少一条导航路径Pn并将之存储在存储器M中，

-反复地从至少一条导航路径Pn中选择优选导航路径SP，

-反复地将优选导航路径SP与关联的导航引导指令一起发送到反馈管理器子单元35。

-从用户命令接口管理器子单元34接收启动请求、选择请求和信息请求。

-向实况地图310查询基于从感觉融合子单元30接收的融合后的数据的实况地图判定以及自由区域A的组成部分：可行走区域WA、附条件可行走区域CWA和不可行走区域NA并从实况地图子单元31接收与每次查询对应的回复。

-如果关注点PI已经在实况地图310中，则接收用户命令接口管理器子单元34的查询，

-验证是否满足至少两项导航路径要求。

-向反馈管理器子单元35发送与所述至少一个可预测的附条件可行走区域要求相关联的关联导航引导指令。

用户命令接口管理器子单元34包括被配置为接收视觉损伤用户借助用户命令接口5作出的各请求和选择并将其传送到导航管理器子单元33的器具，以及被配置为将所选择的引导模式发送到反馈管理器子单元35的器具。

用户命令接口管理器子单元34还包括用于接收来自视觉损伤用户的将来自实况地图310的特定类别的物体On或特定类别的生物Ln进行声音表示的请求的器具。

反馈管理器子单元35包括被配置为通过从导航管理器子单元33接收引导指令和从用户命令接口管理器子单元34接收所选择的引导模式来引导视觉损失人士沿着优选导航路径SP的器具，以及被配置为向反馈单元4传送对应的关联引导指令的器具，并且反馈管理器子单元还包括用于发送有关特定类别的物体On或特定类别的生物Ln的声音表示的器具。

在声音表示子单元36为独立的子单元和为导航管理器子单元33的子单元的实施例中，反馈管理器子单元35还包括用于接收来自声音表示子单元36的特定类别的物体On或特定类别的生物Ln的声音表示的器具。

声音表示子单元36包括被配置为接收来自视觉损伤人士的请求并从实况地图310中提取有关特定类别的物体On或特定类别的生物Ln的对应信息的器具，以及用于将所提取的信息表示为对应的空间化声音并将之传送到反馈单元4的器具。

反馈单元4(配置为置设在视觉损伤用户的头部上)包括这样的器具，即所述器具配置为通过从反馈管理器子单元35接收关联的引导指令和通过向视觉损失人士发送触觉和/或听觉提示来引导视觉损伤用户沿着优选导航路径SP，如在关于方法的步骤4的细节的部分中详细描述的，并且反馈单元包括用于向视觉损伤用户发送特定类型的物体On或特定类别的生物Ln的声音表示的器具。

用户命令接口5(配置为置设在视觉损伤用户的头部上)包括被配置为从视觉损伤用户接收请求(也就是启动请求、选择请求和信息请求)及对引导模式的选择并将它们发送到用户命令接口管理器子单元34的器具。

用户命令接口5的非限制性示例如下：

-用户命令触觉器具51，例如用于与常用的预先确定的关注点PI对应的简单请求的按钮。例如，第一按钮可被命名为“家”，对应于视觉损伤人士居住的房屋的入户门，第二按钮可被命名为“浴室”，第三按钮可被命名为“厨房”等。按钮可以是模拟或数字的。

-用户命令音频器具52，例如麦克风，用于不常用的关注点PI。用户命令音频器具包括语音识别器具和将视觉损伤用户的话语转换为发送给用户命令接口管理器子单元34的指令的器具。以同样的具有四个窗户的房间为例，视觉损伤者对麦克风52说“窗户”，并且房间的全部四个窗户都被以声音表示。

用户命令接口5与视觉损失人士以及与用户命令接口管理器子单元34的通信根据现有技术。

电力存储单元6

术语“电力存储单元6”应被理解为指代被配置来为可穿戴设备1的其它硬件单元供电的一个或若干个电池。电力存储单元6为可穿戴设备1的所述其它硬件单元供电的方式根据现有技术施行。

通信单元7包括被配置为从互联网下载地图的器具，例如但不限于可下载的地图。

在本发明的第三方面中，提供一种以计算机程序编码的非暂时性计算机可读存储介质，所述计算机程序包括可由一个或多个处理器执行的指令，所述指令在执行时促使所述一个或多个处理器实施任何优选实施例(包括其组合)中的适于辅助视觉损伤用户移动的计算机实现方法的操作。

在本发明的第四方面中，提供一种计算机程序，所述计算机程序包括指令，当所述程序由根据本发明的任何实施方式的可穿戴设备执行时，所述指令促使可穿戴设备施行任何优选实施例(包括其组合)中的适于辅助视觉损伤用户移动的计算机实现方法的步骤。

在本发明的第五方面中，提供一种系统，所述系统包括一个或多个处理器以及一个或多个非暂时性计算机可读存储设备，所述非暂时性计算机可读存储设备包括包含指令的存储介质，所述指令可由所述一个或多个处理器执行以实施任何优选实施例(包括其组合)中的适于辅助视觉损伤用户移动的计算机实现方法的操作。

术语“计算机”是指包括至少一个处理器和至少一个非易失性存储器的计算单元，例如但不限于微控制器、计算机、超级计算机。术语“计算单元”涵盖单个计算单元或在计算机通信系统内通信的彼此远离定位的多个计算单元。

示例编号1

参考图14、图15、图16和图17，以现实生活场景例示方法的详细描述。本领域技术人员应当理解，本发明的教导不限于该示例。

在现实生活场景中，视觉损伤人士1在街道的人行道上挨近建筑物的入口。他想进入建筑物，因此必须从他的站立点一直导航到建筑物的入口门且还必须找到入口门的门铃。

这是非限制性的示例，当视觉损伤用户发送启动请求以便被引导到建筑物的入口门时。

在图14和图15中，示出了实况地图310的一部分，该部分包括：

-建筑物及其部件：每个台阶、围栏、两个扶手中的每个、被视为初始关注点的具有诸如门锁、门把手和门铃841之类的部件的入口门84、被视为进一步的关注点的门铃841。

-被识别为生物Ln的狗83。

-可行走区域WA 942，该可行走区域包括人行道和通往建筑物入口的台阶。

-不可行走区域NA 941，该不可行走区域包括街道。

-附条件可行走区域943：两条人行横道832，每条人行横道都设有对应的交通信号灯831。

几何结构方面的预先确定的可行走区域要求的示例包括：人行道的高度不得超过7cm，距护栏的距离不得超过0.5m，距人行道边缘的距离不得超过0.5m，虚拟长方体的高度为2.20m，也就是比视觉损伤人士的身高1.80m多出40cm。

静态和动态物理关系Rn的示例是针对将交通信号灯831的颜色与附条件可行走区域943的条件性状况相关联而由处理和控制单元3在实况地图310中创建的关系：如果颜色为绿色，则区域943为可行走的；而如果颜色为红色，则区域943为不可行走的。

附条件可行走区域CWA的非限制性示例由设置有交通信号灯831的两条人行横道832表示。在固定的预先确定的可行走区域要求中，街道被定义为不可行走区域NA。当来到人行横道832时，如果不存在交通信号灯，则它们被预先定义为可行走区域942，而如果存在交通信号灯，则它们被预先定义为附条件可行走区域943，也就是只有当交通信号灯831为绿色时它们才为可行走的。这是至少一个可预测的附条件可行走区域要求的示例，因为交通信号灯的颜色可预测地改变，从红色变为绿色以及从绿色变为红色。

当视觉损伤用户1发送启动请求时，他正在建筑物的人行道上。

在本发明的若干个实施例中，入口门84已经在实况地图310中，因为它在之前已在方法的步骤2中被添加到实况地图。

在本发明的另一种情况的实施例中，即由于视觉损伤用户刚刚从出租车下车到一个全新的地方且因此入口门84之前从未被添加到实况地图310，因此在发送启动请求的时刻所述入口门84还不在实况地图310中的情况中，导航管理器子单元33确定游移路径WP以反复重新聚焦视场20，同时重复方法的S1和S2直到找到所述入口门84并将其存储在实况地图310中。

在本发明的另一种情况的实施例中，即由于视觉损伤用户刚刚从出租车下车到一个全新的有两个相互靠近的入口门84-01和84-02的地方，入口门84不为视觉损伤用户所知的情况中，视觉损伤用户向导航管理器子单元33发送信息请求以便寻找“入口门”。然后，导航管理器子单元33查询实况地图310以寻找视觉损伤用户附近的关注区域中的入口门并发现有两个入口门84-01及相应地84-02。

如果两个入口门84-01和84-02尚未存储在实况地图310中，则导航管理器子单元33确定游移路径WP直到找到所述入口门84-01和84-02并将其存储在实况地图310中。

在找到这两个入口门84-01和84-02并将其存储在实况地图310中之后，导航管理器子单元33将两个入口门中的每个表示为对应的空间化声音并经由反馈管理器子单元35将它们传送到反馈单元4。然后，视觉损伤用户在入口门84-01和84-02中选择一个作为构成他的初始关注点的入口门84。

导航管理器子单元33在S3中确定单一导航路径Pn，即用于视觉损伤用户从他的站立点导航到入口门84的初始导航路径911。优选导航路径SP因此即为初始导航路径911。

当视觉损伤用户1沿着初始导航路径911导航时，感觉单元2感测到狗83。

感测狗的攻击性，如下：

-狗是否吠叫，这通过物体声音特征融合模块308感测，

-狗的面部上是否有攻击性表情，这通过物体2D特征提取模块306感测，

-狗是否正因为愤怒而移动或颤抖，这通过物体3D特征融合模块307感测。

由于通过基础传感器感测到的数据以及在适用的情况下由附加传感器感测到的数据被融合且然后被发送到实况地图子单元31以便被包含在实况地图310中，因此导航管理器子单元33在查询实况地图310时检查至少两项导航路径要求并检测出无攻击性要求未被满足。出于该缘故，导航管理器子单元33它确定朝着同一初始关注点PI 84的辅助导航路径912。优选导航路径SP现在是辅助导航路径912，这避免狗83产生敌对反应。

参考图14、图15和图16，辅助路径912必须利用两条人行横道832(其是附条件行走区域CWA 943的示例)穿过道路(其是不可行走区域NA的示例)。

当视觉损伤用户1接近第一人行横道832时，关系管理器子单元32确定附条件区域943以第一交通信号灯831的颜色为条件。

因此，关系管理器子单元32在实况地图310中建立条件关系，将第一交通信号灯831的颜色与第一人行横道832的条件性状况作关联。

当交通信号灯831变绿时，附条件可行走区域943被认为是可行走的，并且视觉损伤用户1接收到关联的导航引导指令以继续在辅助路径912上导航。

在第二人行横道832上重复相同的操作。

图16绘示了在辅助路径912上导航的视觉损伤用户1在第二人行横道832处等待第二交通信号灯831的颜色变绿。

参考图17，视觉损伤用户已经穿过两条人行横道832并且正在接近初始关注点也即入口门84。关系管理器子单元32确定初始关注点(即门84)与进一步的关注点(即门铃841)之间的新父子关系。因此，在实况地图310中创建与门铃841对应的新的项目841，并且门84与门铃841之间的新的父子关系通过关系管理器子单元32创建并在实况地图310中更新。门铃841代替门84作为关注点PI。

在图15和图16中，可行走隧道922被绘示，其具有大约1m的横截面，也就是从辅助导航路径912向左约0.5m且向右约0.5m，所述辅助导航路径被表示为线条。

如果优选导航路径SP穿过诸如公寓之类的室内空间，则横截面通常较小，例如大约0.5，也就是从所述优选导航路径SP向左约0.25m且向右约0.25m。

以下结合图15和图16来例示引导视觉损伤用户通过可行走隧道922的细节。在该示例中，可穿戴设备1设置有左触觉反馈致动器411、右触觉反馈致动器411和中心触觉反馈致动器412，它们中的每个都包括一个或多个线性谐振致动器。

在该示例中，三维可行走隧道T被选择用于接收关联的导航引导指令。

视觉损伤用户通过第一触觉提示(其为时间性的)接收到开始命令，并且视觉损伤用户开始导航。

反馈管理器子单元35将通过给出方向性触觉提示而力求使视觉损伤用户保持在优选导航路径SP上和在可行走隧道922的界限内。

如果视觉损伤用户在导航时距离可行走隧道922的左侧太近，则第二触觉提示(其为时空性的)由左反馈致动器411接收。左反馈致动器411的线性谐振致动器输出快速有序的振动，在视觉损伤用户必须沿之重新定向的方向上，也就是向右地，线性谐振致动器一个接一个地振动，给予视觉损伤用户前额被某人向右拖拽的触知感觉。第二触觉提示的振动的持续时间、周期性、强度或频率的变化与同可行走隧道922的左侧的靠近程度成比例。

如果视觉损伤用户在导航时距离可行走隧道922的右侧太近，则第三触觉提示由右反馈致动器412接收——它是时空性的，除了它指示向左而不是向右为重新定向的方向以外，它具有与第二触觉提示的情况相同的配置。第三触觉提示的振动的持续时间、周期性、强度或频率的变化与同可行走隧道922的右侧的接近程度成比例。

引导用户向前是通过第四触觉提示——其为时空性的。第四触觉提示由中心反馈致动器413接收。第四触觉提示的振动的持续时间、周期性、强度或频率的变化与视觉损伤用户在导航时应具有的速度成比例。如果视觉损伤用户在导航时必须重新定向他在水平面上的移动方向，例如图16中所示的当他抵达人行横道943时向右转弯，则第五触觉图案提示被接收——它是时空性的，通过中心反馈致动器413实现。第五触觉提示的振动的持续时间、周期性、强度或频率的变化与转弯的角度成比例。

如果视觉损伤用户在导航时必须重新定向他在竖直平面上的移动方向，例如当视觉损伤用户已经穿过人行道943并且正在接近建筑物的台阶且必须爬上一些台阶时，第六触觉提示被接收——它是时空性的，通过中心反馈致动器413实现。第六触觉提示的振动的持续时间、周期性、强度或频率的变化与视觉损伤用户所需的移动量成比例。

当视觉损伤用户到达人行横道832(在图15和图16中示出)时，如果交通信号灯831的颜色为红色，则第七触觉提示被接收——它是时间性的，对应于通过中心反馈致动器413实现的暂时停止的关联导航引导指示。然后，当交通信号灯831变绿时，再次接收到第七触觉提示，这次对应于恢复导航。

在到达关注点PI时第八触觉图案提示(其为时间性的)以信号示意导航结束，其从中心反馈致动器413接收。

还可定义另外类型的触觉图案提示来适应导航情况或用户的要求。例如，如果视觉损伤用户在导航时在辅助导航路径912的可行走隧道922内居中，则右反馈触觉致动器412和左反馈触觉致动器411可以不呈现任何类型的触觉图案提示，或者在前额的两侧上呈现第九种类型的触觉图案提示来以信号示意视觉损伤用户他正以在可行走隧道922内居中的方式导航。

示例群编号2

从以下的描述进行举例：视觉损伤用户进入陌生的房间，该房间具有四个窗户85，即第一窗户85-1、第二窗户85-2、第三窗户85-3和第四窗户85-4，并且他想要打开四个窗户85中的一个，潜在关注点PPI是作为从多个物体On中选择的至少一个物体On的四个窗户的组群。

术语“潜在”意味着房间的任何窗户85都可能被选择作为初始关注点PI。

参考图18至图28，视觉损伤用户在子步骤S.3-0.1中发送名为“窗户”的信息请求作为潜在关注点PPI，因为他想要从房间中找出更多关于窗户的细节以便择选初始关注点PI。

本领域技术人员应当理解，所描述的示例适用于任何种类的物体On，并参照适用于生物Ln的类别。

在子步骤S.3.-0.2中，声音表示子单元36将四个窗户85中的每个窗户表示为对应的空间化声音，即第一空间化声音S86-1、第二空间化声音S86-2、第三空间化声音S86-3以及第四空间化声音S86-4，并经由反馈管理器子单元35(当声音表示子单元36不是所述反馈管理器子单元35的一部分时)将这四个空间化声音传送到反馈单元4。

在子步骤S.3-0.3中，视觉损伤用户从四个窗户85-1、85-2、85-3、85-4中选择一个作为初始关注点PI，并发送对应的选择请求，正如同任何其它选择请求一样。

子步骤S.3-0.2的声音表示在以下参考图18至图28针对单个窗户或针对四个窗户85-1、85-2、85-3，85-4的组群中的两个窗户进行例示。本领域技术人员应当理解，本发明的教导不限于该示例群并且对窗户85的引用代表四个窗户85-1、85-2、85-3和85-4中的任何一个。类似地，对空间化声音S86的引用代表对应的空间化声音S86-1、S86-2、S86-3和S86-4中的每个。

在示例2-1中，参考图18，在优选实施例中，声音表示模块36从实况地图310提取有关作为潜在关注点PPI的窗户85的特定信息，将它们编码成被视觉损伤用户感知为从窗户85的位置发出的空间化声音S86，并借助听觉反馈致动器42向视觉损伤用户发送空间化声音S86。

为了说明表示所述潜在关注点PPI的窗户85的附加特征，比如窗户的尺寸或材料密度，导航管理器33进一步将空间化声音S86编码成具有特定频率S86f，特定时间段S86t和/或特定脉冲S86p的空间化声音，其未以图形方式表示，所述频率S86f、特定时间段S86t和/或脉冲S86p对应于所述附加特征。

在示例2-2和示例2-3中，参考图19A及相应地图19B，在另一优选实施例中，声音表示子单元36将关于所选择的窗户85的特定信息编码成空间化声音S86，该空间化声音具有针对潜在关注点85的位置的夸张或“缩放”性表示。如果例如潜在关注点85在10米的距离处，则它将在空间化声音S861中被表示为在例如1米的距离处。该缩放或夸张效果既在高程(如图19A中所示)上又在方位角(如图19B中所示)上呈现给视觉损伤用户。

在示例2-4中，参考图20，在另一优选实施例中，视觉损伤用户发送对于将置设在距离视觉损伤用户不相等距离处的两个窗户85-1和85-2进行声音表示的请求。

声音表示子单元36按照窗户85-1和85-2与视觉损伤用户的距离将来自实况地图310的所选择的窗户85-1和85-2的特定信息编码成具有的不同频率特征的空间化声音S86f-1和S86f-2，并将编码后的空间化声音S86f-1和S86f-2发送给视觉损伤用户。

因此，例如，与发送给视觉损伤用户的窗户85的附加特征相对应的空间化声音S86f-1和S86f-2的对应的音频提示在频率方面有所不同：与更靠近视觉损伤用户的那个窗户(相应地窗户85-1)相比，对于窗户85-2，提示持续时间更长和/或重复程度更高。

在示例2-5中，参考图21，在另一个优选实施例中，视觉损伤用户发送请求以以声音表示窗户85的边缘。为简单起见，所择选的是表示仅两个末端，相应地末端85-E1和85-E2，本领域技术人员理解的是，相同的表示适用于窗户的所有末端，具体取决于窗户的形状。

声音表示子单元36从实况地图310提取所选择的窗户85的特定信息，将其编码为与窗户末端85-1E和85-E2对应的空间化声音S86P-E1和S86P-E2，空间化声音S86P-E1和S86P-E2具有不同的编码特征，具体取决于这两个被择选的末端中的每个相对于视觉损伤用户的距离。距离可关于方位角、关于高程或关于窗户85的范围来测量，或者以上述的任何组合来测量。

在示例2-6中，参见图22，在另一个优选实施例中，视觉损伤用户经由用户命令接口子单元34将通过用户命令接口5作出的对于将作为潜在关注点PPI的窗户85的尺寸进行表示的请求发送到声音表示子单元36。声音表示子单元36将从实况地图310中提取的所选择的窗户85的尺寸的特定信息编码为如下声音并借助听觉反馈致动器42将它们发送给视觉损伤用户：时间性的空间化声音S86P，其表示在窗户85的所择选的末端之间的沿着三个空间维度中的一个的点状声音；或者在从末端85-E1到末端85-E2的直线路径上移动的线性声音S86L。对窗户85的其它末端施行相同的操作，特别在窗户85是矩形(未以图形方式表示)的情况下对85-E3和85-E4施行相同的操作。

窗户85的尺寸通过从现有技术已知的器具沿着对应的空间维度在窗户85的末端85-E1和85-E2、85-E3和85-E4之间被测量。

在从2-7至2-10的示例中，参考图23-26，在另一优选实施例中，视觉损伤用户发送对于将窗户85或窗户部分的形状进行表示的请求。在从2-7至2-10的示例中，窗户85可以是非矩形的装饰性窗户，或者是镜子或者是门的装饰性部分。为简单起见，它将被称为窗户85。

声音表示子单元36从实况地图310提取特定信息、将其编码为表示窗户85的形状的时间性的空间化声音S86。

在示例2-7中，参考图23，窗户85的形状由两个空间化点状声音S86P1和S86P2表示，这两个空间化点状声音中的每个虚拟地同时在窗户85的一半轮廓上从置设在窗户85的竖直对称轴上的起点t₀移动到终点t_final。

在示例2-8中，参照图24，窗户85的形状由两个空间化声音S86f1和S86f2表示，这两个空间化声音虚拟地在窗户的轮廓上从起点t₀移动到终点t_final，同时空间化声音S86f1和S86f2被编码为具有不同的频率，所述频率取决于由该空间化声音行进的窗户部分85的轮廓相对于用户的距离。

在示例2-9中，参考图25，窗户85的形状由单个空间化声音S86表示，该单个空间化声音虚拟地从窗户部分85的轮廓上的起点t₀移动直到它返回到起点起点t₀。

在示例2-10中，参考图26，窗户85的形状由单个空间化声音S86表示，该单个空间化声音虚拟地在窗户85的内部轮廓和外部轮廓之间的空间内按照角度图案移动。

在示例2.11和示例2.12中，参考图27和图28，在另一个优选实施例中，所选择的窗户可代表窗口或代表门。在这两个示例中，窗户具有至少一个内框架，用于装饰目的或具有技术功能。内框架的轮廓在这些优选实施例中是重要的，例如因为有受伤的风险，或者因为门或窗口的把手在内框架上。

在示例2.11中，参考图27，有置设在相对于视觉损伤用户的不同距离处的两个窗户85-1和85-2，这两个窗户一起代表潜在关注点。它们可能是窗口或门。一起代表潜在关注点是因为视觉损伤用户需要采取的行动将涉及这两者。例如，有两个隔开的窗户，它们必须都打开，或者是有两扇门的走廊，视觉损伤用户必须通过这些门。

两个窗户85-1和85-2由不同尺寸的开放空间隔开(例如：在窗口的情况中5-10cm，或者在门的情况中1-2m)。视觉损伤用户置设为更靠近窗户851。

视觉损伤用户发送对于将两个窗户85-1和85-2之间的开放空间距离进行声音表示以及对于两个窗户85-1和85-2的内框架的形状的请求。

声音表示子单元36从实况地图310中提取两个窗户85-1和85-2的特定信息，将其编码成具有用于表示两个窗户85-1和85-2的内框架的形状的不同时间特征的空间化声音S86t-1和S86t-2。

如图27中所示的更靠近视觉损伤用户置设的窗户85-1由两个空间化声音S86t1-1和S86t2-1表示，一个空间化声音S86t1-1表示窗户85-1的外部轮廓，且另一个空间化声音S86t2-1表示窗户85-1的内部轮廓。空间化声音S86t1-1和S86t2-1中的每个都包含同时开始的两个其它的空间化声音，S86t11-1与S86t12-1表示窗户85-1的外部轮廓，并且S86t21-1与S86t21-1表示窗户85-1的内部轮廓。

由于两个窗户85-1和85-2之间的开放空间，更靠近视觉损伤用户置设的窗户85-1起到类似用于检测关于第二窗户85-2的详细信息的屏障的作用，因此声音表示子单元36只能输出与窗户85-2的三维位置及其竖直尺寸对应的简化的空间化声音S86t-2。

在示例2-12中，参考图28，在另一优选实施例中，视觉损伤用户发送对于将窗户85的内框架的形状细节进行声音表示的请求。

为简单起见，图28图示了矩形形状，但它可以是任何几何结构。声音表示子单元36从实况地图310提取特定信息，将其编码为同时开始的两个空间化声音S861和S862，这两个空间化声音虚拟地在内框架的轮廓与窗户85的外部轮廓之间的空间内按照角度图案移动。

虽然结合优选实施例详细公开了方法和系统的描述，但本领域技术人员将理解的是，在不脱离本发明教导的实质范围的情况下，可作出修改以适应具体情况。

权利要求中出现的附图标记仅作为说明，且对权利要求的范围将没有限制作用。

参考文献列表

[1]-US 3594823

[2]-US 9915545

[3]-US 9 629 774

[4],Xiaochen Zhang et al.“Wearable Indoor Navigation System withContext Based Decision Making for Visually Impaired”[4]International Journalof Advanced Robotics and Automation

[5]US2016/0033280A1

Claims (14)

1.一种适于借助可穿戴设备(1)辅助视觉损伤用户移动的计算机实现方法，所述计算机实现方法包括以下步骤：

S1

借助可穿戴设备(1)的感觉单元(2)从视觉损伤用户的环境获取数据，从视场(20)进行感测，将获取的所述数据发送到可穿戴设备(1)的处理和控制单元(3)的感觉融合子单元(30)，

S2

通过感觉融合子单元(30)对获取的数据进行融合，将融合后的数据发送到处理和控制单元(3)的实况地图子单元(31)，

通过实况地图子单元(31)建立、反复更新和存储实况地图(310)，所述实况地图包括：

a)基于在处理和控制单元(3)处接收到的融合后的数据生成的实况地图判定，所述实况地图判定包括：

-感觉单元(2)的位置和定向，

-多个物体(On)，

-多个生物(Ln)，

其中，实况地图判定还包括，利用对从感觉单元(2)接收的数据和来自实况地图(310)的数据应用的定位算法，通过定位模块(301)反复定位感觉单元(2)相对于所述多个物体(On)及相应地相对于实况地图(310)的多个生物(Ln)的位置和定向，并且反复地将感觉单元(2)的位置和定向的所述定位数据发送到感觉融合子单元(30)的可行走区域检测模块(302)，

b)基于自由区域(A)生成的实况地图判定，所述自由区域被定义为地面上未被所述多个物体(On)和所述多个生物(Ln)占据的区域的整体，所述自由区域(A)包括：

-满足一组固定的预先确定的可行走区域要求的可行走区域(WA)，

其中，对自由区域(A)的判定基于：

-从感觉单元(2)接收的数据，

-从定位模块(301)接收的数据，

-所述一组固定的预先确定的可行走区域要求，

其中，更新的自由区域(A)反复地被发送到实况地图(310)，并且其中，更新的实况地图(310)反复地被存储在存储器M中，

S3

自动地或响应于来自视觉损伤用户的第一次请求，通过处理和控制单元(3)的导航管理器子单元(33)确定、反复更新和存储用于视觉损伤用户从感觉单元(2)的当前位置导航到从所述多个物体(On)和/或所述多个生物(Ln)之中选择的关注点(PI)的至少一条导航路径(Pn)和关联的导航引导指令，

其中，来自视觉损伤用户的任何请求都通过使用用户命令接口(5)的触觉器具(51)或音频器具(52)作出，所述请求经由处理和控制单元(3)的用户命令接口管理器子单元(34)由导航管理器子单元(33)接收，

以及通过导航管理器子单元(33)向处理和控制单元(3)的反馈管理器子单元35传送所述关联的导航引导指令，

S4

利用用于传送每个关联的导航引导指令的引导模式，通过反馈管理器子单元(35)给视觉损伤用户提供引导，每个导航指令包括由反馈管理器子单元(35)发送给处理和控制单元(3)的反馈单元(4)的触觉提示和/或听觉提示，所述反馈单元(4)包括：

-配置为置设在视觉损伤用户的头部上的触觉反馈致动器(41)，和/或

-配置为置设到视觉损伤用户的一耳或两耳的听觉反馈致动器(42)，

其中，用于每个关联的导航引导指令的引导模式由视觉损伤用户借助用户命令接口(5)并通过用户命令选择，所述用户命令经由用户命令接口管理器子单元(34)由反馈管理器子单元(35)接收；

其特征在于：

-S2中的实况地图判定还包括：

c)基于从处理和控制单元(3)的关系管理器子单元(32)接收的所述多个物体(On)和/或所述多个生物(Ln)之间的多个关系(Rn)生成的实况地图判定，其中，由关系管理器子单元(32)基于从实况地图(310)获取的数据反复生成和更新所述多个关系(Rn)，包括应用一组预先确定的关系要求，

其中，更新后的多个关系(Rn)反复地被发送到实况地图(310)，并且

其中，定位算法被进一步应用到所述多个关系(Rn)，

并且其特征在于

-在S2 b)中，基于自由区域(A)生成的实况地图判定还包括：

-满足所述一组固定的预先确定的可行走区域要求和至少一个可预测的附条件可行走区域要求的附条件可行走区域(CWA)，

-并且其特征在于

S2 b)还包括与确定可行走区域(A)同时地通过可行走区域检测模块(302)反复地确定附条件可行走区域(CWA)，包括基于经计算并存储在存储器中(M)中的至少一个可预测的附条件可行走区域要求，

并且其特征在于

-S3还包括在确定所述至少一条导航路径(Pn)之后的以下内容：

a)自动地或响应于来自视觉损伤用户的第二请求，反复地从所述至少一条导航路径(Pn)中选择优选导航路径(SP)：

i)经过可行走区域(WA)和/或在附条件可行走区域(CWA)上通过，以及

ii)满足包括无碰撞要求和无攻击性要求的一组安全要求，

其中，导航管理器子单元(33)进一步向处理和控制单元(3)的反馈管理器子单元35传送所述优选导航路径SP，并且

其中，当优选导航路径SP经过附条件可行走区域CWA时，导航管理器子单元(33)向反馈管理器子单元发送与所述至少一个可预测的附条件可行走区域要求相对应的关联的导航引导指令，

b)沿着优选导航路径(SP)提供S4中通过反馈管理器子单元(35)实现的引导，

2.如权利要求1所述的计算机实现方法，其中，所述实况地图(310)由感觉融合子单元利用同时定位与地图构建(SLAM)算法更新。

3.如权利要求1或2所述的计算机实现方法，

包括：在S3中，当关注点(PI)为视觉损伤用户所未知的时，并且在确定、反复更新和存储至少一条导航路径(Pn)之前，进行子步骤3-0：

S.3-0.1.

关于从所述多个物体(On)中选择的至少一个物体(On)或者从所述多个生物(Ln)中选择的至少一个生物(Ln)，将视觉损伤用户的信息请求发送到处理和控制单元(3)的声音表示子单元(36)，

S.3-0.2.

通过处理和控制单元3的声音表示子单元(36)从实况地图(310)提取关于所选择的至少一个特定物体(On)或至少一个特定生物(Ln)的信息，并将所提取的信息表示为对应的空间化声音，并且通过反馈单元(4)将所述空间化声音传送给视觉损伤用户，

S.3-0.3.

由视觉损伤用户从所述多个物体(On)或从所述多个生物(Ln)中选择关注点(PI)，并将对应的选择请求发送到导航管理器子单元(33)。

4.如权利要求1至3中任一项所述的计算机实现方法，包括：在S3中，在确定、反复更新和存储至少一条导航路径(Pn)之前，进行预先的子步骤：

S.3-1.

通过导航管理器(33)确定游移路径(WP)以及对于视觉损伤用户的关联的导航引导指令，并将所述游移路径(WP)和关联的导航引导指令发送到反馈管理器子单元(35)。

5.如权利要求1至4中任一项所述的计算机实现方法，

其中，所述触觉提示根据预先确定的优选导航路径SP复杂性标准在振动的持续时间、周期性、强度或频率方面变化，并且

其中，所述音频提示根据预先确定的优选导航路径复杂性标准在频率、持续时间、重复强度或3D空间虚拟化方面变化。

6.如权利要求1至5中任一项所述的计算机实现方法，其中，三维可行走隧道(T)被定义为具有预先确定的横截面的虚拟隧道，该虚拟隧道将所述优选导航路径(SP)作为水平纵向轴线，并且其中，所述引导模式还包括在视觉损伤用户正在接近可行走隧道(T)的虚拟墙时发送给视觉损伤用户的特定触觉提示。

7.如权利要求1至5中任一项所述的计算机实现方法，

其中，优选导航路径(SP)被分成由多个里程标(93)界定的预先确定的区段，并且其中，所述引导模式包括以信号示意接下来的至少一个里程标(93)的位置的触觉提示和/或听觉提示，从当前里程标(93)到后继里程标(93)给视觉损伤用户提供关联的导航引导指令，并且其中，所述预先确定的区段的长度基于优选导航路径(SP)的复杂性和长度而变化。

8.如权利要求1至5中任一项所述的计算机实现方法，

其中，S4的引导模式包括以信号示意优选导航路径(SP)上的方向的触觉提示和/或听觉提示，

其中，所述优选导航路径(SP)上的方向由这样的线条确定，即由感觉单元2的原点和优选导航路径SP与原点在感觉单元2的位置处且半径为预先确定的长度的圆圈的交点限定的线条，并且

其中，以信号示意优选导航路径(SP)上的方向的听觉提示源自这样的空间化声源S，即所述空间化声源置设在该空间化声源S相对于感觉单元2的预先确定的第一距离d1处。

9.如权利要求1至5中任一项所述的计算机实现方法，

其中，所述听觉提示是源自这样的空间化声源(S)的空间化声音，即所述空间化声源虚拟地从感觉单元(2)的位置沿着优选导航路径(SP)上的预先确定的第二距离(d2)行进直到该空间化声源(S)抵达所述预先确定的第二距离(d2)的终末并回返到感觉单元(2)的位置。

10.一种适于辅助视觉损伤用户移动的可穿戴设备(1)，所述可穿戴设备包括：

-配置为置设在视觉损伤用户的头部上的感觉单元(2)，所述感觉单元包括：

-摄像机(21)，

-深度传感器(22)，

-惯性测量单元(23)，

-声音定位传感器(24)

-处理和控制单元(3)，所述处理和控制单元包括：

-感觉融合子单元(30)，所述感觉融合子单元包括：

-定位模块(301)，

-可行走区域检测模块(302)，

-定向计算模块(303)，

-声音方向定位模块(304)，

-声音分类模块(305)，

-物体2D特征提取模块(306)，

-物体3D特征融合模块(307)，

-物体声音特征融合模块(308)，

-实况地图子单元(31)，

-关系管理器子单元(32)，

-导航管理器子单元(33)，

-用户命令接口管理器子单元(34)，

-反馈管理器子单元(35)，

-声音表示子单元(36)，

-配置为置设在视觉损伤用户的头部上的反馈单元(4)，所述反馈单元包括：

-多个触觉反馈致动器(41)，所述多个触觉反馈致动器包括：

-左触觉反馈致动器(411)，

-右触觉反馈致动器(412)，

-中心触觉反馈致动器(413)，

-多个听觉反馈致动器(42)，所述多个听觉反馈致动器包括：

-左听觉反馈致动器(421)，

-右听觉反馈致动器(422)，

-配置为置设在视觉损伤用户的头部上的用户命令接口(5)，所述用户命令接口包括：

-多个用户命令触觉器具(51)，

-多个用户命令音频器具(52)，

-电力存储单元(6)，

-存储器(M)，以及

-感觉单元(2)、处理和控制单元(3)、反馈单元(4)、用户命令接口(5)、电力存储单元(6)和存储器(M)之间通过通信协议的电子通信器具，

其中，所述可穿戴设备(1)配置为应用根据权利要求1至9中任一项所述的适于辅助视觉损伤用户移动的方法的步骤。

11.如权利要求10所述的可穿戴设备，其中，所述感觉单元(2)还包括来自以下的至少一种附加传感器：

-配置为确定感觉单元(2)的绝对位置的全球定位传感器(25)，以及

-配置为确定物体(On)及生物(Ln)的温度的温度传感器(26)，并且其中，感觉融合子单元(30)还包括：

-相对与绝对转换模块(309-1)，所述相对与绝对转换模块配置为将来自物体声音特征融合模块(308)的数据与关于感觉单元(2)的绝对位置的数据融合，以及

-物体温度特征融合模块(309-2)，所述物体温度特征融合模块配置为将来自物体声音特征融合模块(308)的数据与关于物体(On)及生物(Ln)的温度的数据融合并将融合后的数据发送到实况地图子单元(31)。

12.一种以计算机程序编码的非暂时性计算机可读存储介质，所述计算机程序包括能够由一个或多个处理器执行的指令，所述指令在这样的执行之后促使所述一个或多个处理器实施根据权利要求1至9中任一项所述的适于辅助视觉损伤用户移动的计算机实现方法的操作。

13.计算机程序，所述计算机程序包括指令，当程序由根据权利要求10或11中任一项所述的可穿戴设备(1)执行时，所述指令促使可穿戴设备(1)施行根据权利要求1至9中任一项所述的适于辅助视觉损伤用户移动的计算机实现方法的步骤。

14.一种系统，所述系统包括一个或多个处理器以及一个或多个非暂时性计算机可读存储设备，所述非暂时性计算机可读存储设备包括包含指令的如权利要求12所述的存储介质，所述指令能够由所述一个或多个处理器执行以实施根据权利要求1至9中任一项所述的适于辅助视觉损伤用户移动的计算机实现方法的操作。