CN103919663B - 盲人户外环境感知方法 - Google Patents

Abstract

本发明公开了一种盲人户外环境感知方法，利用智能设备进行操作，包括初始化界面，并根据操作指令类型进行相应的操作：操作指令类型为浏览，则收集周围的地点信息，并通过语音依次进行地点信息的播报；操作指令类型为搜索，则接收来自用户的目标地点类型，获取设定范围内符合目标地点类型的地点列表，根据用户从目标地点类型中所选的地点，通过语音播报与地点对应的地点信息；操作指令类型为定位，则收集定位信息并通过语音进行播报。本发明基于便携式的智能设备，除耳机外不需额外设备，实施成本较低，易于在盲人和视障人群中普及。

Description

盲人户外环境感知方法

技术领域

本发明涉及人机交互领域，尤其涉及一种盲人户外环境感知方法。

背景技术

视觉信息的缺失对盲人户外出行和环境学习造成了很大困难，感知周围环境中的地点、道路等信息对盲人了解周围环境和户外出行有很大的帮助。为了让盲人能更好的独立生活，实现盲人的信息无障碍化，目前出现了许多辅盲设备和软件辅助盲人了解和学习周围环境。

现有的盲人户外环境感知方法大多在环境中某一位置布置能够发声的无线标签，如基于无线网络和声音定位的盲人环境感知方法，当盲人进入标签感应区或手持设备检测到标签时，通过手持设备获取该位置的信息。这种方法需要较高的实施成本，并且受到无线信号覆盖范围的限制，不能够感知较远的地点。

公开号为102389361A的专利文献公开了一种基于计算机视觉的盲人户外支援系统，包括：图像采集单元、语音输出单元、与图像采集单元和语音输出单元分别相连的图像-语音转换单元；图像-语音转换单元包括图像-语音转换硬件单元和图像-语音转换软件单元；图像-语音转换软件单元包括相机参数计算软件、平面检测软件、障碍物检测分析软件和图像信息-语音转换软件。本发明利用双目相机采集图像，借助嵌入式图像处理器中的软件算法，提取图像中对应于物理空间的可行走区域和障碍物及其属性，通过语音接口将信息反馈给盲人，可辅助盲人对路面场景进行更好的理解，做出更全面的判断，扩大了盲人的感知范围，避免危险，设备体积小，成本低廉，携带方便，便于盲人的户外活动。但这类方法仅仅提供了盲人所在位置周围的环境，对于较长距离的感知仍然存在困难。

随着技术的不断发展，便携式计算设备已经广泛应用于人们的生活当中，如智能手机、平板电脑等，已成为人们生活中不可或缺的一种电子消费品。这些设备通常配有GPS、陀螺仪、数字指南针等传感器模块，通过这些传感器可获取用户位置、朝向等信息。便携式计算设备通过访问现有的商业地图服务可提供盲人户外所需的地理信息，同时将获取的数据通过声音播报给用户，从而可辅助盲人更好的了解周围环境，如IntersectionExplorer系统可辅助用户感知周围道路和路口信息。但现有方法大都只能实现单一的功能，如道路和路口感知，不能帮助盲人全面了解周围环境中的信息，且此类系统的人机交互设计一般未能充分利用便携式计算设备中集成的输入设备，如多点触控设备、加速度传感器等。

发明内容

本发明要解决的问题是提供一种盲人户外环境感知方法，可以帮助盲人在户外行走时了解周围环境信息、查找目标地点和查看当前自身位置信息，为盲人的日常户外活动提供方便。

为了解决上述问题，本发明提供的方案如下：

利用智能设备接收用户的操作指令，对所述操作指令进行类型判断，根据判断结果分别进行如下操作：

a）若操作指令类型为浏览，则收集周围的地点信息，并通过语音依次进行地点信息的播报；

b）若操作指令类型为搜索，则通过语音指示用户做出相应手势来依次选择目标地点类型以及具体的地点，在接收用户所选地点后播报对应的地点信息；

c）若操作指令类型为定位，则收集定位信息并通过语音进行播报，所述定位信息包括：当前的朝向、地理位置以及当前位置的环境概况。

其中，周围是指智能设备的周围，即与智能设备的距离处于预设范围内的环境。在b）中进行搜索时，用户的手势为对划屏操作，用户通过划屏进行目标地点类型以及具体地点的选择。

本发明的使用前提是用户使用的智能设备需配备GPS、加速度传感器、陀螺仪、磁场传感器、多点触控屏等硬件模块，且能够无线访问互联网，用户需佩戴开放式耳机或骨传导耳机。

利用本发明方法，盲人可通过智能设备收集位置及周围环境的信息，且通过语音提示前往目的地，大大提高了盲人的生活便利性。由于盲人往往对声音较为敏感，将语音进行处理后使得语音所在的方向与所播报的地点在同一方向上，有利用盲人通过语音的方向确定需要前进的方向，提高导航的准确度和智能化程度。

其中利用获取的三轴重力加速度进行操作指令类型的判断，具体方式为，设定坐标轴，获取三轴重力加速度并进行判断：

Y轴重力加速度大于设定的重力加速度上限阈值，并且X轴和Z轴重力加速度小于设定的重力加速度下限阈值，则操作类型为浏览；

Z轴重力加速度大于设定的重力加速度上限阈值并且X轴和Y轴重力加速度小于设定的重力加速度下限阈值，则操作类型为搜索；

三轴重力加速度之和在预设的时间间隔内变化幅度的绝对值超过加速度晃动阈值，则操作类型为定位。

将智能设备竖直放置，则进入浏览操作；将稚嫩设备水平放置，则进入搜索操作；将智能设备进行晃动，则进入定位操作。

Z轴重力加速度大于设定的重力加速度上限阈值并且X轴和Y轴重力加速度小于设定的重力加速度下限阈值，表明将智能设备水平放置。

三轴重力加速度之和在预设的时间间隔内变化幅度的绝对值超过加速度晃动阈值，表明智能设备正在被晃动。其中三轴重力加速度为：X轴重力加速度、Y轴重力加速度以及Z轴重力加速度。

其中收集周围的地点信息，并通过语音依次进行地点信息的播报方法为：

步骤1-1，按照用户预设的距离值，在用户每次移动所设距离值后通过互联网获取预设范围内的地点列表；

步骤1-2，按预设的指向起点以及指向顺序依次播报地点列表中的地点信息，在播报时根据用户的操作进行进一步操作：操作为暂停，则暂停当前播报；操作为收听详细信息，则对用户所选的地点进行详细播报。

其中，周围是指在与智能设备当前位置之间的距离在预设的距离范围内的环境。智能设备进行浏览时，用户每移动一段距离，智能设备充新获取地点列表信息，使得用户能够及时了解周边的地点。

在步骤1-2中，预设的指向起点为与用户朝向垂直且在用户左侧，指向顺序为在俯视视角下沿顺时针方向。

语音播报以用户左侧作为起点，按顺时针顺序依次播报用户周围的地点，且由于语音为立体声语音，因此有利于用户根据语音所处方位判断地点方位。

在步骤1-2中，播报的地点信息所对应的地点满足以下条件：地点与智能设备之间的连线与用户朝向的夹角在[-90°,90°]，且地点在预设的距离范围以内。

为了不重复播报用户已经经过的地点，仅播报用户前方的地点，此处前方是指从用户左侧到用户所朝正前方再到用户右侧在一定距离内所形成的范围。

在步骤1-2中，地点信息的播报方式为，按预设的距离间隔将地点分为若干层，按从近到远的方式依次播报各层地点的地点信息，且对于每一层，按预设的指向起点以及指向顺序依次播报地点列表中的地点信息。

通过分层，使得所播报的地点不仅有方向，同时具有距离信息。

在步骤1-2中，所播报的地点信息包括地点的类型以及全称，地点的全称按照地点所在的层以对应的语速进行播报，语速具有正常识别度且距离越近的层语速越慢，地点的类型以高于最远层地点所对应的语速进行播报。

其中地点的类型所播报的语速不需要让用户识别播报的内容，地点的全称所播报的语速为正常识别的语速，且越接近当前位置的层，语速越慢。通过语速和地点所在层的对应，使得用户能够了解地点的远近。

进行详细播报的方式为，在接收收听详细信息的指令后，暂停对各个地点信息的播报，并重新播报用户进行操作时所播报的地点信息，并播报地点的附加信息，附加信息包括地点的方位、距离以及描述。

通过详细播报，使用户对地点有所了解，从而能够进行选择。

其中，接收来自用户的目标地点类型，获取设定范围内符合目标地点类型的地点列表，根据用户所选的地点，通过语音播报与地点对应的地点信息的步骤如下：

步骤2-1，生成地点类型列表，并根据用户的手势选中地点类型列表中相应的列表项，播报所选列表项中的地点类型；

步骤2-2，根据用户的手势选择目标地点的地点类型，获取在设定范围内且类型为所选地点类型的地点，得到地点列表，并按从近到远的顺序播报地点信息；

步骤2-3，根据用户的手势选择地点，并播报对应的地点信息。

地点类型列表中每一个列表项对应一个地点类型，由用户左右划屏来移动至列表的上一行或下一行。在找到选择感兴趣的目标地点类型时，用户再通过上下划屏来选择目标地点的地点类型，由智能设备生成周围符合该地点类型的地点列表。再进一步选择该类型下用户要去的地点，通过类型筛选，使用户在选择地点在一个较小的范围内进行，有助于快速操作。

其中，收集定位信息并通过语音进行播报的方式如下：

步骤3-1，通过数字指南针获取朝向信息；

步骤3-2，通过GPS获取当前位置信息及预设范围内的环境概况，当前位置信息包括当前所在的道路、路口及/或小区，环境概况包括周围道路、区域及/或地点描述；

步骤3-3，通过语音依次播报步骤3-1以及步骤3-2所得信息。

通过当前所在位置进行定位，使得用户可以了解自己所处位置的环境，并进行下一步操作。

本发明充分利用便携式计算设备的多种传感器模块，根据盲人的户外感知需求设计了简单便捷的交互方式。用户在户外行走中不需要操作即可浏览周围地点。用户通过简单操作即可查找目标地点和获取当前位置信息。本发明所设计的环境感知方法可为盲人日常生活提供便利，帮助盲人感知和学习周围环境，提高盲人户外独立活动能力，可广泛应用于各类盲人户外辅助应用。

附图说明

图1为本发明一个实施例的方法流程图；

图2为本发明当前实施例的浏览功能示意图；

图3为本发明当前实施例搜索功能流程图。

具体实施方式

现结合实施例和附图对本发明进行详细解释。本发明提供一种盲人户外环境感知方法，具体实施过程如下，如图1所示：

使用前提：用户使用的便携式计算设备需配备GPS、加速度传感器、陀螺仪、磁场传感器、多点触控屏等硬件模块，能够正常访问互联网。用户需佩戴开放式耳机或骨传导耳机。在本发明当前实施例中，所采用的智能设备为具有上述硬件的手机。

本发明当前实施例中盲人户外环境感知方法包括浏览、搜索和定位三个功能，分别用于帮助盲人在户外行走中实时浏览周围的环境信息、查找某个目标地点并获取详细信息、获取当前所处位置的相关信息。用户可根据自身需求操作设备进入相应功能，具体步骤如下：

智能设备的坐标系定义为，坐标原点位于屏幕的左上角，X轴水平指向右侧，Y轴垂直指向顶部，Z轴指向屏幕前方。

其中，播报所采用的语音为立体声语音，在播报前先分析播报的内容，对于包含地点方向的内容进行处理，使得所播报的语音与地点位于相同的方向。包含地点方向的内容包括地点信息。对于每个地点，根据要播报地点和用户的相对位置关系进行空间化处理，使用户听到的声音方位和地点的实际方位一致。例如，所播报的地点为“浙大西溪校区站”，该地点位于用户当前位置的左前方，则用户所感知到的语音来自左前方。

竖直放置智能设备进入浏览模式。即智能设备的加速度传感器获取的三轴重力加速度中，Y轴重力加速度GVALUES_Y大于设定的重力加速度上限阈值GRAVITY_THRESHOLD_CEILING并且X轴和Z轴重力加速度GVALUES_X和GVALUES_Z小于设定的重力加速度下限阈值GRAVITY_THRESHOLD_FLOOR，则进行浏览；

进入浏览功能后，智能设备主动播报周围环境信息，帮助盲人在行走过程中浏览周围环境。用户在道路上行走时，将智能设备挂于胸前。智能设备主动按照一定规则依次播报周围的地点信息。浏览功能示意图如图2所示，具体步骤如下：

步骤1-1，按照用户预设的距离值，在用户每次移动所设距离值后通过互联网获取预设范围内的地点列表。

用户在户外道路上行走时，智能设备通过互联网访问地图服务获取周围的地点列表。类型为餐馆、超市、公交站点等盲人日常生活中必需的地点；用户每行走一段距离后触发一次完整播报，该距离参数可由用户设置。

步骤1-2，按预设的指向起点以及指向顺序依次播报地点列表中的地点信息，在播报时根据用户的操作进行进一步操作：操作为暂停，则暂停当前播报；操作为收听详细信息，则对用户所选的地点进行详细播报。

如图2所示，为了不重复播报用户已经经过的地点，仅播报用户前方和左右两边的地点信息。根据距离远近，将要播报的地点分为三个层次，本发明实施例中，将图中图2中标记为最内层、中间层和最外层三个半圆环。扫描过程中按照由近及远的顺序分层播报，每层中的地点按照顺时针的方向依次播报，即在一次完整播报中首先顺时针播报最内层的地点，其次播报中间层地点，最后播报最外层地点；

其中，每个地点要播报的信息为地点的类型和全称，通过语音合成的方式以不同的语速播报给用户，语速设置为正常语音的X倍，X由快到慢分别为RATE_T>RATE_H>RATE_M>RATE_L>1。其中RATE_T倍语速的语音不需要让用户识别语音内容，只要能够和其他语音区分即可。其他倍数下的语音要求保持语音的正常识别度，具体方式如下：

地点的类型，比如“公交站点”，以RATE_T倍语速播报；地点的全称，比如“浙大西溪校区站”，根据地点所处的不同层次使用相应语速的语音播报，由近及远每层语速分别为RATE_L倍、RATE_M倍和RATE_H倍。其中，连续两个地点之间的播报时间间隔可由用户设置。

周围地点信息的播报将伴随用户行走过程持续进行，用户可通过点击设备按键暂停播报；当用户收听到感兴趣地点时，可操作设备收听该地点的详细信息，具体方式为：用户单击上半屏后，智能设备暂停顺时针播报，同时重播刚刚播报过的地点的详情，地点详情以正常语速的语音进行播报。地点详情包括地点的全称、方位、距离、描述等信息。每次用户点击上半屏，智能设备就回溯播报一个地点详情。在播报结束后一定时间内若用户没有操作则自动从暂停位置继续顺时针播报地点信息。

水平放置智能设备，进入搜索模式。即智能设备的加速度传感器获取的三轴重力加速度中，Z轴重力加速度GVALUES_Z大于设定的重力加速度上限阈值GRAVITY_THRESHOLD_CEILING并且X轴和Y轴重力加速度GVALUES_Z和VALUES_X小于设定的重力加速度下限阈值GRAVITY_THRESHOLD_FLOOR，进行搜索。

进入搜索功能后，用户可通过划屏来操作智能设备，选择目标地点的地点类型，从所选地点类型的地点列表中搜索具体的地点，并收听地点的全称、方位、距离、描述等详细信息。搜索功能的操作示意图如图3所示，具体步骤如下：

步骤2-1，生成地点类型列表，并根据用户的手势选中地点类型列表中相应的列表项，播报所选列表项中的地点类型；

智能手机屏幕初始化为空白界面，用户通过左右滑动屏幕切换地点类型，切换是指更改当前系统要搜索的地点类型。每切换到一个新的地点类型后，智能设备播报当前的地点类型，用户可多次切换定位到目标地点类型；每切换到一个新的地点类型后，智能设备访问互联网，获取一定范围内符合当前地点类型的地点列表并播报地点数量，地点列表中的地点按照距离由近到远排序，且最初在屏幕上显示距离最近的地点，由用户通过在屏幕上移动地点列表来切换地点。

步骤2-2，根据用户的手势选择目标地点的地点类型，获取在设定范围内且类型为所选地点类型的地点，得到地点列表，并按从近到远的顺序播报地点信息；

步骤2-3，根据用户所选的地点，播报对应的地点信息。

用户可通过以下两种方式移动地点列表，定位到目标地点，收听目标地点的详细信息，具体如下：

方式一，用户上/下滑动屏幕，地点列表自动地以固定时间间隔上/下移动一项列表项，其中一个列表项具有一个地点，智能设备播报当前屏幕上所显示地点的全称，用户听到感兴趣地点后点击屏幕，列表停止移动同时定位到目标地点，设备播报目标地点的全称、方位、距离、描述等详细信息。另外用户还可通过方式二手动移动列表，如图3中虚线所示；具体方式如下：

方式二，智能设备的屏幕经过预先设计，被划分为上、下两个半屏，用户点击屏幕的上/下半屏，列表向上/下移动一项，同时设备播报新选中地点的全称、方位、距离、描述等详细信息，用户可通过依次点击“浏览”地点列表并定位到目标地点。

晃动智能设备进入定位功能。即设备加速度传感器获取的三轴加速度之和AVALUES_SUM在固定时间间隔DIFF_TIME中变化幅度的绝对值超过加速度晃动阈值SHAKE_THRESHOLD，进行定位。

进入定位功能后，用户可获取当前位置的详情，具体步骤如下：

步骤3-1，通过数字指南针获取朝向信息。

步骤3-2，通过GPS获取当前位置信息及预设范围内的环境信息，当前位置信息包括当前所在的道路、路口及/或小区，环境信息包括周围道路、区域及/或地点描述。

智能设备通过GPS模块获取用户当前位置并通过互联网访问地图服务获取周围的环境信息。在周围的环境信息中，区域包括小区及公园等，地点描述包括各常用类型的地点数量。

步骤3-3，将步骤3-1以及步骤3-2所得信息进行合成并依次进行播报。

智能设备将步骤3-1以及步骤3-2得到的信息通过语音合成的方式依次播报给用户，例如先播报朝向，再播报当前位置信息，最后播报周围的环境信息。

本发明是基于智能设备针对盲人设计的一套户外环境感知方法，可以广泛的应用到基于智能设备的户外辅盲应用中。

本发明的有益效果为：本发明基于便携式的智能设备，除耳机外不需额外设备，实施成本较低，易于在盲人和视障人群中普及。本发明使用加速的空间化立体语音向用户展示周围环境信息，可减少声音播报占用的时间尽量减少对用户的干扰，同时帮助用户区分地点的距离层次。本发明充分利用便携式计算设备的多种传感器模块，根据盲人的户外感知需求设计了简单便捷的交互方式。用户在户外行走中不需要操作即可浏览周围地点。用户通过简单操作即可查找目标地点和获取当前位置信息。本发明所设计的环境感知方法可为盲人日常生活提供便利，帮助盲人感知和学习周围环境，提高盲人户外独立活动能力，可广泛应用于各类盲人户外辅助应用。

Claims (6)

1.一种盲人户外环境感知方法，其特征在于，利用智能设备获取的三轴重力加速度进行操作指令类型的判断，具体方式为，设定坐标轴，获取三轴重力加速度并进行判断：

Y轴重力加速度大于设定的重力加速度上限阈值，并且X轴和Z轴重力加速度小于设定的重力加速度下限阈值，则操作指令类型为浏览；

Z轴重力加速度大于设定的重力加速度上限阈值并且X轴和Y轴重力加速度小于设定的重力加速度下限阈值，则操作指令类型为搜索；

三轴重力加速度之和在预设的时间间隔内变化幅度的绝对值超过加速度晃动阈值，则操作指令类型为定位；

根据判断结果分别进行如下操作：

a)若操作指令类型为浏览，则收集周围的地点信息，并通过语音依次进行地点信息的播报，具体方式为：

步骤1-1，按照用户预设的距离值，在用户每次移动所设距离值后通过互联网获取预设范围内的地点列表；

步骤1-2，按预设的指向起点以及指向顺序依次播报地点列表中的地点信息，在播报时根据用户的手势进行进一步操作：操作为暂停，则暂停当前播报；操作为收听详细信息，则对用户所选的地点进行详细播报；

b)若操作指令类型为搜索，则通过语音指示用户做出相应手势来依次选择目标地点类型以及具体的地点，在接收用户所选地点后播报对应的地点信息，具体方式为：

步骤2-1，生成地点类型列表，并根据用户的手势选中地点类型列表中相应的列表项，播报所选列表项中的地点类型；

步骤2-2，根据用户的手势选择目标地点的地点类型，获取在设定范围内且类型为所选地点类型的地点，得到地点列表，并按从近到远的顺序播报地点信息；

步骤2-3，根据用户的手势选择地点，并播报对应的地点信息；

c)若操作指令类型为定位，则收集定位信息并通过语音进行播报，所述定位信息包括：当前的朝向、地理位置以及当前位置的环境概况，具体方式为：

步骤3-1，通过数字指南针获取朝向信息；

步骤3-2，通过GPS获取当前位置信息及预设范围内的环境概况，当前位置信息包括当前所在的道路、路口及/或小区，环境概况包括周围道路、区域及/或地点描述；

步骤3-3，通过语音依次播报步骤3-1以及步骤3-2所得信息。

2.如权利要求1所述盲人户外环境感知方法，其特征在于，在步骤1-2中，预设的指向起点为与用户朝向垂直且在用户左侧，指向顺序为在俯视视角下沿顺时针方向。

3.如权利要求1所述盲人户外环境感知方法，其特征在于，在步骤1-2中，播报的地点信息所对应的地点满足以下条件：地点与智能设备之间的连线与用户朝向的夹角在[-90°,90°]，且地点在预设的距离范围以内。

4.如权利要求1所述盲人户外环境感知方法，其特征在于，在步骤1-2中，地点信息的播报方式为，按预设的距离间隔将地点分为若干层，按从近到远的方式依次播报各层地点的地点信息，且对于每一层，按预设的指向起点以及指向顺序依次播报地点列表中的地点信息。

5.如权利要求4所述盲人户外环境感知方法，其特征在于，在步骤1-2中，所播报的地点信息包括地点的类型以及全称，地点的全称按照地点所在的层以对应的语速进行播报，语速具有正常识别度且距离越近的层语速越慢，地点的类型以高于最远层地点所对应的语速进行播报。

6.如权利要求5所述盲人户外环境感知方法，其特征在于，进行详细播报的方式为，在接收收听详细信息的指令后，暂停对各个地点信息的播报，并重新播报用户进行操作时所播报的地点信息，并播报地点的附加信息，附加信息包括地点的方位、距离以及描述。