CN103838464B - 盲人手机读屏图形控件自动适配方法 - Google Patents
盲人手机读屏图形控件自动适配方法 Download PDFInfo
- Publication number
- CN103838464B CN103838464B CN201410080633.8A CN201410080633A CN103838464B CN 103838464 B CN103838464 B CN 103838464B CN 201410080633 A CN201410080633 A CN 201410080633A CN 103838464 B CN103838464 B CN 103838464B
- Authority
- CN
- China
- Prior art keywords
- graphical control
- adaptation
- adaptation data
- screen
- word tag
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Transfer Between Computers (AREA)
- Telephonic Communication Services (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
一种盲人手机读屏图形控件自动适配方法，提供了一种图形自动适配方法，用于准确、快速标记应用程序内的图形控件功能，从而解决手机读屏无法读取图形控件功能的问题。为了解决上述问题，本发明所采用的技术方案是：通过记录应用程序界面与图形控件位置进行图形控件的标记，并结合移动互联网自动下载符合应用程序的适配数据，适配数据中包含了图形按钮对应的文字标签。
Description
技术领域
本发明涉及盲人手机读屏技术领域，具体地说是利用图形控件标记技术与移动互联网技术结合以辅助盲人操作没有文字内容的应用程序。
背景技术
盲人手机读屏程序是一种专门为解决盲人操作手机而专门设计、开发的应用程序，将程序安装到手机后，盲人在操作手机时读屏程序会读取当前的文字内容，并通过文字转语音引擎(TTS)合成后进行语音播报，以帮助盲人了解手机屏幕当前显示的内容。
现有盲人手机读屏程序只能对屏幕上有文字的内容进行读取，然而目前供大众用户使用的各种应用程序，初于界面美观等方面考虑在程序界面或多或少都会使用一些图片来展现对应的功能，比如音乐播放器的“播放／暂停”、“上一曲”、“下一曲”等按钮，现有手机读屏程序是无法读取这类图形按钮对应的功能的，从而盲人也就无法找到自己想要的功能进行操作。
发明内容
本发明提供了一种图形自动适配方法用于准确、快速标记应用程序内的图形控件功能，从而解决手机读屏程序无法读取图形控件功能的问题。
为了解决上述问题，本发明所采用的技术方案是：通过记录应用程序界面与图形控件位置进行图形控件的标记，并结合移动互联网自动下载符合应用程序的适配数据，适配数据中包含了图形按钮对应的文字标签。
根据上述发明构思，本发明由以下几个技术方案构成：
根据本发明的一个方面，本发明的图形控件自动适配方法，包括：
图形控件标记步骤，通过对应用界面的分析获取图形控件在界面上的位置信息，并与应用程序版本、界面特征、屏幕分辨率组合做为图形控件标记的关键数据；
适配数据自动下载步骤，通过移动互联云技术自动下载用户手机中已安装应用程序需要图形标记的图形适配数据。
根据本发明的另一个方面，所述图形控件标记步骤，包括：给每个图形控件标记添加文字说明，以应用程序为单位生成图形适配数据。
根据本发明的另一个方面，所述适配数据自动下载步骤，包括：无需盲人用户做其它操作即可识别这些图形标记。
根据本发明的另一个方面，一种图形控件标记方法，包括：
步骤1，检测到没有文字内容的控件，确定控件是需要标记的；
步骤2，获取控件的在屏幕中的位置，确定控件区域的坐标；
步骤3，获取控件所属界面标识，确定控件所属的界面；
步骤4，获取界面所属应用标识，确定界面所属的应用程序；
步骤5，根据以上获取的控件位置、界面标识、应用标识以及当前屏幕分辨率检测是否存在适配数据，如果存在匹配的适配数据则执行步骤211，否则执行步骤221至步骤223；
步骤211，返回适配数据中的文字标签供手机读屏应用进行语音播报；
步骤221，当没有匹配的适配数存在时，表明这是一个新的图形控件，需要以图形控件在界面中的顺序生成控件数字标识并自动添加“按钮X”文字标签，其中X为控件的数字标识，
步骤222，保存控件的适配数据供下次操作到该图形控件使用，另外保存后的适配数据也可以由用户自己修改，盲人用户通过操作该图形控件后了解其对应的功能，可以自己将自动生成的“按钮X”标签修改成适当的文字，这样就完成了用户自己添加文字标签的功能；
步骤223，返回步骤221自动生成的“按钮X”文字标签供手机读屏应用进行语音播报。
根据本发明的另一个方面，一种适配数据自动下载方法，包括：
步骤301，连接服务器检查是否发布更新的适配数据，通过本地存储的时间戳与服务器发布适配数据更新的时间戳进行比较，确认是否有发布更新的适配数据，如果存在更新的适配数据则执行步骤302，否则退出；
步骤302，根据手机当前分辨率下载压缩过的适配数据包，由于手机屏幕不同分辨率需要不同的适配数据，所以需要下载当前分辨率的适配数据；
步骤303，解压缩适配数据包，基于节省网络流量费用与加速下载速度的原因，适配数据以压缩方式存储在服务器端，下载完成后需要解压缩适配数据到手机读屏程序设置的文件夹下。
与现有技术相比，本发明具有如下显著优点：解决了盲人无法操作具有图形控件的应用；发布一款程序的图形标记适配数据后，程序自动完成下载更新，不需要用户手动操作；对于一些没有图形标记适配的数据的程序，盲人用户也可以通过逐步试验自己或在其他人帮助下完成程序的图形标记工作。
附图说明
图1是本发明主流程图
图2是本发明中图形控件标记方法模块流程图
图3是本发明中适配数据自动下载方法流程图
具体实施方式
下文将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明工作原理：图形自动适配方法启用后，会自动连接服务器检索并下载更新的适配数据，下载后检索手机中已安装的程序信息并与适配数据进行匹配保存，此后盲人用户通过手机读屏程序打开一个包含图形标记适配数据的应用程序后，当操作到图形控件后手机读屏程序会自动从图形标记适配数据中检索对应的文字标签，并完成语音播报。
本技术的主要系统构成有，服务器、适配数据包、手机读屏程序等。
通过此技术，可以实现以下功能：
1、盲人可以通过听语音播报来操作有图形控件的应用程序；
2、发布一款应用程序的图形标记适配数据后，程序自动完成下载更新，不需要用户手动操作；
3、对于一些没有图形标记适配的数据的应用程序，盲人用户也可以通过逐步试验自己或在其他人帮助下完成程序的图形标记工作。
图1是根据本发明实施例的图形自动适配方法的流程图，包括以下步骤：
步骤S101，连接服务器检测最新的应用适配数据并下载有更新的适配数据；
步骤S102，应用图形控件标记方法将适配数据中的文字标签与应用程序界面上的图形控件做匹配供手机读屏程序进行语音播报使用；该实施例由于通过为应用程序中的图形控件添加文字标签的方式，解决了盲人在安装有手机读屏程序的手机中操作一些图形化程序无法了解各图形控件功能的问题，使得盲人也能够使用更多的应用程序，从而给盲人用户带来了极大的便利。
图2是本发明中图形控件标记方法模块流程图，包括以下步骤：
步骤201，检测到没有文字内容的控件，确定控件是需要标记的；
步骤202，获取控件的在屏幕中的位置，确定控件区域的坐标；
步骤203，获取控件所属界面标识，确定控件所属的界面；
步骤204，获取界面所属应用标识，确定界面所属的应用程序；
步骤205，根据以上获取的控件位置、界面标识、应用标识以及当前屏幕分辨率检测是否存在适配数据，如果存在匹配的适配数据则执行步骤211，否则执行步骤221；
步骤211，返回适配数据中的文字标签供手机读屏应用进行语音播报；
步骤221，当没有匹配的适配数存在时，表明这是一个新的图形控件，需要以图形控件在界面中的顺序生成控件数字标识并自动添加“按钮X”文字标签，其中X为控件的数字标识。
步骤222，保存控件的适配数据供下次操作到该图形控件使用，另外保存后的适配数据也可以由用户自己修改，盲人用户通过操作该图形控件后了解其对应的功能，可以自己将自动生成的“按钮X”标签修改成适当的文字，这样就完成了用户自己添加文字标签的功能；
步骤223，返回步骤221自动生成的“按钮X”文字标签供手机读屏应用进行语音播报；
图3是本发明中适配数据自动下载方法流程图，包括以下步骤：
步骤301，连接服务器检查是否发布更新的适配数据，通过本地存储的时间戳与服务器发布适配数据更新的时间戳进行比较，确认是否有发布更新的适配数据，如果存在更新的适配数据则执行步骤302，否则退出；
步骤302，根据手机当前分辨率下载压缩过的适配数据包，由于手机屏幕不同分辨率需要不同的适配数据，所以需要下载当前分辨率的适配数据；
步骤303，解压缩适配数据包，基于节省网络流量费用与加速下载速度的原因，适配数据以压缩方式存储在服务器端，下载完成后需要解压缩适配数据到手机读屏程序设置的文件夹下；
上述案例中没有进行说明的部分细节是在已有技术中可以做到的，所属技术领域的技术人员可以理解，这里不再进行详细说明。
上述案例仅是本发明技术方案中的一个实例，并非用于限制本发明，实例中的许多地方可以作一定变动，凡是采用上述结构，对自动通过服务器下载适配数据并结合图形控件标记功能为手机中的应用添加文字标签功能以供手机读屏程序进行语音播报功能，均属于本发明的保护范围。
Claims (6)
1.一种用于盲人使用的移动终端的图形控件的适配和标记方法，包括：
步骤1，确定需要标记的图形控件；
步骤2，获取该图形控件的在所述移动终端的屏幕中的位置，确定该图形控件区域的坐标；
步骤3，获取该图形控件所属的界面标识，确定该图形控件所属的界面；
步骤4，获取该界面所属的应用标识；
其特征在于：
步骤5，根据上述获取的图形控件在所述移动终端的屏幕中的位置、界面标识、应用标识以及当前屏幕的分辨率，检测本地是否存在适配数据，如果存在与以上四项参数相匹配的适配数据则执行步骤211，否则执行步骤212；
步骤211，返回适配数据中的文字标签供移动终端进行语音播报；
步骤212，通过移动互联云技术自动查找并下载需要标记的图形控件的图形适配数据，如果查找并下载成功，则返回步骤211，否则执行步骤221至步骤223；
步骤221，根据该图形控件在上述界面中的顺序生成控件的数字标识，并自动添加“按钮X”文字标签，其中X为控件的数字标识；
步骤222，保存该图形控件的相应适配数据以及文字标签；
步骤223，返回步骤221，并以自动生成的“按钮X”文字标签进行语音播报；
所述步骤212还包括：
步骤301，连接服务器检查是否发布更新的适配数据，通过本地存储的时间戳与服务器发布适配数据更新的时间戳进行比较，确认是否有发布更新的适配数据，如果存在更新的适配数据则执行步骤302，否则退出；
步骤302，由于移动终端屏幕不同分辨率需要不同的适配数据，据移动终端当前分辨率下载压缩过的适配数据包。
2.根据权利要求1所述的图形控件的适配和标记方法，其特征在于：
步骤222中，保存后的适配数据以及文字标签可由用户自己修改，盲人用户操作该图形控件后了解其对应的功能，可自己将自动生成的“按钮X”文字标签修改成适当的文字标签，实现用户自己添加文字标签。
3.根据权利要求1或2所述的图形控件的适配和标记方法，其特征在于：
所述步骤212还包括：无需盲人用户做其它操作即可得到需要标记的图形控件的图形适配数据。
4.根据权利要求3所述的图形控件的适配和标记方法，其特征在于：
步骤303，基于节省网络流量费用与加速下载速度的原因，适配数据以压缩方式存储在服务器端，下载完成后解压缩适配数据。
5.根据权利要求4所述的图形控件的适配和标记方法，其特征在于：
所述解压缩适配数据的步骤是解压缩适配数据到移动终端本地设置的文件夹下。
6.根据权利要求1-2、4-5中任一项所述的图形控件的适配和标记方法，其特征在于：
所述语音播报包括通过文字转语音引擎合成后进行语音播报，以帮助盲人了解屏幕当前显示的内容。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410080633.8A CN103838464B (zh) | 2014-03-06 | 2014-03-06 | 盲人手机读屏图形控件自动适配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410080633.8A CN103838464B (zh) | 2014-03-06 | 2014-03-06 | 盲人手机读屏图形控件自动适配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103838464A CN103838464A (zh) | 2014-06-04 |
| CN103838464B true CN103838464B (zh) | 2017-03-08 |
Family
ID=50802032
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410080633.8A Active CN103838464B (zh) | 2014-03-06 | 2014-03-06 | 盲人手机读屏图形控件自动适配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103838464B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104092777B (zh) * | 2014-07-29 | 2017-12-26 | 深圳市富途网络科技有限公司 | 客户端的布局设定与服务器同步存储的方法及其系统 |
| CN106802796B (zh) * | 2016-12-28 | 2021-03-02 | 重庆可兰达科技有限公司 | 一种基于ios系统的图文混排方法及系统 |
| CN109462689B (zh) * | 2018-09-30 | 2022-01-04 | 深圳壹账通智能科技有限公司 | 语音播报方法及装置、电子装置及计算机可读存储介质 |
| CN109803050B (zh) * | 2019-01-14 | 2020-09-25 | 南京点明软件科技有限公司 | 一种适用于盲人操作手机的全屏引导点击方法 |
| CN112287738A (zh) * | 2020-04-20 | 2021-01-29 | 北京沃东天骏信息技术有限公司 | 图形控件的文本匹配方法及装置、介质、电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101533348A (zh) * | 2009-04-23 | 2009-09-16 | 光庭导航数据（武汉）有限公司 | 一种人机交互平台 |
| CN102520822A (zh) * | 2011-12-09 | 2012-06-27 | 无锡知谷网络科技有限公司 | 一种可触摸识别的视障手机用触摸屏及其响应方式 |
| CN102946469A (zh) * | 2012-10-18 | 2013-02-27 | 北京小米科技有限责任公司 | 移动终端的语音播报方法和装置以及移动终端 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8826137B2 (en) * | 2003-08-14 | 2014-09-02 | Freedom Scientific, Inc. | Screen reader having concurrent communication of non-textual information |
| WO2006065877A2 (en) * | 2004-12-14 | 2006-06-22 | Freedom Scientific, Inc. | Custom labeler for screen readers |
-
2014
- 2014-03-06 CN CN201410080633.8A patent/CN103838464B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101533348A (zh) * | 2009-04-23 | 2009-09-16 | 光庭导航数据（武汉）有限公司 | 一种人机交互平台 |
| CN102520822A (zh) * | 2011-12-09 | 2012-06-27 | 无锡知谷网络科技有限公司 | 一种可触摸识别的视障手机用触摸屏及其响应方式 |
| CN102946469A (zh) * | 2012-10-18 | 2013-02-27 | 北京小米科技有限责任公司 | 移动终端的语音播报方法和装置以及移动终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103838464A (zh) | 2014-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103838464B (zh) | 盲人手机读屏图形控件自动适配方法 | |
| TWI393860B (zh) | 藉由辨識網頁資訊來導覽地理位置的方法與系統 | |
| CN111261144B (zh) | 一种语音识别的方法、装置、终端以及存储介质 | |
| US10198485B2 (en) | Authoring of data visualizations and maps | |
| KR101454950B1 (ko) | 스트리밍 미디어에 연관된 딥 태그 클라우드 | |
| CN108885639A (zh) | 内容集合导航和自动转发 | |
| CN106531149A (zh) | 信息处理方法及装置 | |
| CN103119544A (zh) | 展现基于位置的内容的方法和装置 | |
| CN107077292A (zh) | 剪贴信息提供方法和装置 | |
| KR101912177B1 (ko) | 음성 인식 동적 사전을 유지하기 위한 시스템 및 방법 | |
| CN107885483B (zh) | 音频信息的校验方法、装置、存储介质及电子设备 | |
| CN103546623B (zh) | 用于发送语音信息及其文本描述信息的方法、装置与设备 | |
| US9696884B2 (en) | Method and apparatus for generating personalized media streams | |
| CN105608101B (zh) | 文本内地址利用方法、装置及移动终端 | |
| AU2013222043A1 (en) | Method and apparatus for providing intelligent service using inputted character in a user device | |
| CN111178056A (zh) | 基于深度学习的文案生成方法、装置及电子设备 | |
| CN104902099A (zh) | 一种基于nfc技术的手机智能导游方法与系统 | |
| CN112069360A (zh) | 音乐海报生成方法、装置、电子设备及介质 | |
| CN105765552A (zh) | 用于基于情境关系来标识媒体文件的方法和装置 | |
| JP5273610B2 (ja) | 地図サーバ装置 | |
| US20230153364A1 (en) | Information processing apparatus and method | |
| CN111916050A (zh) | 语音合成方法、装置、存储介质和电子设备 | |
| KR101559623B1 (ko) | 디지털 사이니지 콘텐츠 유형에 따른 모바일 어플리케이션 매칭 방법 및 그 시스템 | |
| KR20160049947A (ko) | 스마트폰을 이용한 대화형 실시간 다국어 메시지 번역 시스템 및 그 운용방법 | |
| CN107194004B (zh) | 一种数据处理方法和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 100025 Beijing Jianguo Road, No. 29, No. 29 building, home building, level 301, 3,, 319 Applicant after: BEIJING BAOYI HUDONG SCIENCE & TECHNOLOGY DEVELOPMENT CO., LTD. Address before: 100102, Beijing the Atlantic new town, building 116, 2 gate 1B, Chaoyang District Applicant before: BEIJING BAOYI HUDONG SCIENCE & TECHNOLOGY DEVELOPMENT CO., LTD. |
|
| CB03 | Change of inventor or designer information |
Inventor after: Bai Wansong Inventor before: Ji Dong |
|
| COR | Change of bibliographic data | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |