CN109803050A - 一种适用于盲人操作手机的全屏引导点击方法 - Google Patents

Abstract

本发明公开一种适用于盲人操作手机的全屏引导点击方法，当手机界面无法被读屏软件识别时，按如下步骤进行：S1、触发唤醒全屏引导点击功能；S2、对手机全屏进行截屏，并保存图像格式数据；S3、文字识别引擎对图像进行分析，识别图像中包含的文字，并算出文字在屏幕上的坐标和是否为可点击控件；S4、生成透明的窗口覆盖在当前界面上，并根据坐标将识别出的文字以可点击控件的形式显示在透明的窗口上；S5、调取读屏软件，读取手机屏幕。本发明能够极大的改善盲人用户在遇到读屏无法识别的软件界面上的操作体验性，使他们能够像正常人一样感受到软件给生活带来的种种便利。

Description

一种适用于盲人操作手机的全屏引导点击方法

技术领域

本发明涉及一种盲人操作手机的方法，更具体的说，涉及一种适用于盲人操作手机的全屏引导点击方法。

背景技术

在安卓手机上，盲人用户需要借助手机读屏软件才能正常操作手机，手机读屏软件的原理是在当前手机界面的所有可点击控件(菜单、按钮、应用图标等)上产生一个焦点，盲人用户用手指触摸手机屏幕的时候，摸到哪个焦点读屏就自动读出那个焦点对应控件的名称。以常用的软件为例，手机桌面上一般会放置微信等很多应用的图标，当盲人用户用手指在屏幕上摸到一个应用的图标时，读屏软件就会自动读出该应用的名称，比如摸到了微信图标，读屏软件就会用语音的方式播报：微信，这时候盲人用户再用手指双击屏幕即可进入微信。而要想让读屏软件能够正确识别这些控件并顺利读出对应的名称，还需要第三方软件的开发者参与进来，针对无障碍对软件做出额外的支持，主要包含以下几点：软件界面所用控件尽量使用安卓系统原生支持的控件，否则读屏软件将无法识别；软件界面所用控件对应的无障碍属性必须设置文字，否则读屏软件即便能够识别这是一个控件，也无法顺利读出对应的名称。

随着各个手机厂商和软件开发商对无障碍支持的重视，尤其是在华为和小米的安卓机型上，盲人借助读屏软件进行打电话、发短信、甚至使用微信和QQ等都已经没有问题，但是还是会遇到一些操作上的障碍，比如有些视频类、购物类软件上均会使用大量的图片，而对于图片读屏软件是无法识别出里面的内容的，比如有些软件为了使界面更酷炫，并不会使用安卓系统标准的控件，这也会导致读屏软件无法进行识别，还有一些软件开发者并没有对软件做无障碍支持，这都将会导致读屏软件无法正常工作，而盲人也就没办法进行操作了。

发明内容

发明目的：本发明目的在于针对现有技术的不足，提供一种无障碍支持范围广、适应性强的适用于盲人操作手机的全屏引导点击方法。

技术方案：本发明所述一种适用于盲人操作手机的全屏引导点击方法，当手机界面无法被读屏软件识别时，按如下步骤进行：

S1、触发唤醒全屏引导点击功能；

S2、对手机全屏进行截屏，并保存图像格式数据；

S3、文字识别引擎对图像进行分析，识别图像中包含的文字，并算出文字在屏幕上的坐标和是否为可点击控件；

S4、生成透明的窗口覆盖在当前界面上，并根据坐标将识别出的文字以可点击控件的形式显示在透明的窗口上；

S5、调取读屏软件，读取手机屏幕。

本发明技术方案的进一步限定为：步骤S5后，用户选中控件，透明的窗口主动关闭，根据选中控件的坐标在原屏幕对应位置模拟点击动作，实现对控件的点击。

进一步地，步骤S5后，用户无需进一步操作，则按手机返回键，退出全屏模式或关闭透明的窗口。

进一步地，步骤S1中的触发可以为手势触发或语音触发。

进一步地，步骤S3中的文字识别引擎为腾讯优图或百度文字。

进一步地，步骤S4中生成透明的窗口时，使用操作系统中提供的标准接口。

进一步地，步骤S4中，以控件形式显示的文字，每个控件设置无障碍属性。

有益效果：本发明提供的一种适用于盲人操作手机的全屏引导点击方法，当盲人用户在操作安卓手机的时候，如果遇到读屏软件无法识别的界面或者在界面中无法点击某个控件时，能够随时唤出全屏引导点击功能对整个界面上的文字和控件进行识别，识别后能够读出界面上的所有文字内容，包括图片中的文字，对于界面上任何可点击进入或跳转的功能，盲人用户通过全屏引导点击的指引也能够进行操作。本发明能够极大的改善盲人用户在遇到读屏无法识别的软件界面上的操作体验性，使他们能够像正常人一样感受到软件给生活带来的种种便利，比如盲人用户可以自己在手机上购物、听视频，跟好友聊天等。

附图说明

图1为实施例提供的适用于盲人操作手机的全屏全屏引导点击方法的流程图；

图2为实施例提供的某视频软件的界面图；

图3为实施例提供的唤起全屏引导点击菜单的界面图；

图4为实施例提供的创建透明窗口后的界面图；

图5为实施例提供的退出全屏引导后开启读屏状态的界面示意图。

具体实施方式

下面通过附图对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

实施例1：当手机界面无法被读屏软件识别时，可以采用适用于盲人操作手机的全屏引导点击方法，该方法的流程图如图1所示，按如下步骤进行。

S1、触发唤醒全屏引导点击功能。触发可以为手势触发或语音触发，本实施例中会采用手势触发的方式，当时用户一个向右的手势，就调取出全屏点击功能。

S2、对手机全屏进行截屏，并保存图像格式数据。保存的数据存储为标准的PNG或者JPG图像格式数据。

S3、文字识别引擎对图像进行分析，识别图像中包含的文字，并算出文字在屏幕上的坐标和是否为可点击控件。文字识别引擎为腾讯优图或百度文字。

本申请都是文字识别的，只能识别出文字和在图中的坐标，不存在文字是否为控件的说法，事实上我们把文字显示在透明窗口上的时候，就是用安卓标准的专门显示文字的控件去显示这些这些文字的，但是这个文字是否能够被点击，这个无法判断，只能让用户自己去尝试在某个位置上点击，如果刚好是能够点击，那就可以跳转。

S4、生成透明的窗口覆盖在当前界面上，并根据坐标将识别出的文字以可点击控件的形式显示在透明的窗口上；

生成透明的窗口时，使用操作系统中提供的标准接口。使用标准的安卓系统控件，以控件形式显示的文字，每个控件设置无障碍属性。

在android控件中有一个属性叫做android:contentDescription。一般来说，用户很少使用这个属性。但是对于一些视力有障碍的用户，android提供给用户一个很有用的功能，可以帮助使用app。

S5、调取读屏软件，读取手机屏幕。

这时候读屏软件就能正常识别当前透明窗口上的控件并顺利读出正确的文字内容，换句话说，这时候盲人就可以通过读屏的指引了解当前屏幕上的内容了，同时他们也能够尝试去点击这些文字内容。

S6、用户选中控件，透明的窗口主动关闭，根据选中控件的坐标在原屏幕对应位置模拟点击动作，实现对控件的点击。

用户无需进一步操作，则按手机返回键，退出全屏模式或关闭透明的窗口。

盲人可以在文字的焦点框上面使用一个手势，比如右划，这时候软件会首先把读屏状态关闭，接着把覆盖在最上层的透明窗口清除掉，然后在刚刚盲人进行手势操作的那个焦点框位置上通过软件产生一个模拟点击动作，也就是模仿正常人在原来界面的对应位置做一下点击，最后再开启读屏状态，同时这时候手机屏幕上也已经顺利进入下一个界面了。

本方法的具体实施方式为：

1、某视频软件的主界面如图2所示，在读屏开启状态下，无法获得任何焦点，盲人用户无法操作。盲人用户通过在屏幕上划动手势唤起全屏引导点击菜单，如图3所示，点击菜单即可进入全屏引导点击模式。

2、通过安卓系统提供的标准接口获得当前屏幕缓存数据，并通过标准的图形算法存储为PNG或者JPG格式数据。

3、通过文字识别引擎对图形数据进行分析，通用的文字识别引擎有腾讯优图和百度文字识别等，通过文字识别引擎我们可以得到当前屏幕上的所有文字内容及对应的坐标。

4、通过安卓系统提供的标准接口创建一个透明窗口，并覆盖在当前界面上，然后创建标准的控件把刚刚得到的文字内容按照坐标正确显示在透明窗口上，并为每一个控件设置无障碍属性，使读屏软件能够正确识别这些控件，产生焦点，并且能正确朗读这些控件的名称，创建透明窗口后的界面如图4所示。

5、透明窗口直接覆盖在了原来界面上，从外表上看不出来，但是窗口中的所有文字都有黑色或红色的外框，细框表示这个文字焦点可以被选中，加粗框表示当前选中的文字焦点，读屏软件会把当前选中的文字内容读出来，这时候盲人用户如果对当前选中的文字内容感兴趣，直接手指右划。

6、用户选中控件，透明的窗口主动关闭，软件根据之前选中焦点框所在的位置生成一个模拟点击动作，就相当于模仿正常人在刚刚选中焦点的位置用手指点了一下，模拟点击事件也可以通过安卓系统提供的标准接口实现。主动开启读屏状态，如图5所示，这时候视频软件已经能够正常播放视频了。

如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。

Claims (7)

1.一种适用于盲人操作手机的全屏引导点击方法，其特征在于，当手机界面无法被读屏软件识别时，按如下步骤进行：

S1、触发唤醒全屏引导点击功能；

S2、对手机全屏进行截屏，并保存图像格式数据；

S3、文字识别引擎对图像进行分析，识别图像中包含的文字，并算出文字在屏幕上的坐标和是否为可点击控件；

S4、生成透明的窗口覆盖在当前界面上，并根据坐标将识别出的文字以可点击控件的形式显示在透明的窗口上；

S5、调取读屏软件，读取手机屏幕。

2.根据权利要求1所述的一种适用于盲人操作手机的全屏引导点击方法，其特征在于，步骤S5后，用户选中控件，透明的窗口主动关闭，根据选中控件的坐标在原屏幕对应位置模拟点击动作，实现对控件的点击。

3.根据权利要求1所述的一种适用于盲人操作手机的全屏引导点击方法，其特征在于，步骤S5后，用户无需进一步操作，则按手机返回键，退出全屏模式或关闭透明的窗口。

4.根据权利要求1所述的一种适用于盲人操作手机的全屏引导点击方法，其特征在于，步骤S1中的触发可以为手势触发或语音触发。

5.根据权利要求1所述的一种适用于盲人操作手机的全屏引导点击方法，其特征在于，步骤S3中的文字识别引擎为腾讯优图或百度文字。

6.根据权利要求1所述的一种适用于盲人操作手机的全屏引导点击方法，其特征在于，步骤S4中生成透明的窗口时，使用操作系统中提供的标准接口。

7.根据权利要求1所述的一种适用于盲人操作手机的全屏引导点击方法，其特征在于，步骤S4中，以控件形式显示的文字，每个控件设置无障碍属性。