CN114461171A - 网上银行页面的朗读方法及系统 - Google Patents
网上银行页面的朗读方法及系统 Download PDFInfo
- Publication number
- CN114461171A CN114461171A CN202210105501.0A CN202210105501A CN114461171A CN 114461171 A CN114461171 A CN 114461171A CN 202210105501 A CN202210105501 A CN 202210105501A CN 114461171 A CN114461171 A CN 114461171A
- Authority
- CN
- China
- Prior art keywords
- reading
- event
- page
- acquiring
- mouse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 23
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 15
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000001960 triggered effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 101100268515 Mus musculus Serpina1b gene Proteins 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了网上银行页面的朗读方法及系统，方法包括获取页面上的鼠标悬停事件，根据所述鼠标悬停事件获取页面要素，并确定朗读对象；对所述朗读对象进行文字处理，将处理后的文字上传至后端语音合成服务区，进行浏览器语音播报。本发明通过对鼠标悬停事件设置拦截，得到需朗读的对象，并进行文字处理后上传至后端语音合成服务，实现浏览器的语音播报，整个工程无需依赖三方设计，简化操作流程，且在对悬停事件设置防抖处理，保证朗读对象的准确性且避免无效操作，提高工作效率。
Description
技术领域
本发明涉及人工智能技术领域，尤其是一种网上银行页面的朗读方法及系统。
背景技术
随着电子产品及业务的普及，针对电子银行的无障碍提出了要求，尤其是针对视觉障碍群体要求实现页面要素朗读辅助功能。
目前实现页面朗读借助市面三方的读屏软件进行定制化开发实现。
适配三方的读屏设计有的页面去逐一修改，增加指定标签，整体页面都需要去调整适配，对于已经生产稳定运行的系统改造影响较大，网上银行页面数量多达几千个页面，逐一修改的工作量也非常大。
发明内容
本发明提供了网上银行页面的朗读方法及系统，用于解决现有借助三方应用实现读屏时工作量大的问题。
为实现上述目的，本发明采用下述技术方案：
本发明第一方面提供了网上银行页面的朗读方法，所述方法包括以下步骤：
获取页面上的鼠标悬停事件，根据所述鼠标悬停事件获取页面要素，并确定朗读对象；
对所述朗读对象进行文字处理，将处理后的文字上传至后端语音合成服务区，进行浏览器语音播报。
进一步地，所述获取页面上的鼠标悬停事件之前包括步骤：
解析页面元素，将鼠标悬停事件设置为拦截事件。
进一步地，对所述鼠标悬停事件设置防抖处理，具体为：
增加鼠标悬停的延迟时间，若在所述延迟时间内，对同一元素出现多次悬停操作，则将所述多次悬停操作绑定为一次拦截事件。
进一步地，所述获取页面要素的具体过程为：
获取当前鼠标悬停事件触发的事件元素，若所述事件元素的父级元素中包含预设属性，则所述页面要素含有所述预设属性的元素；
若事件元素的父级元素中不包含所述预设属性，则获取当前鼠标悬停事件触发的事件对象，遍历事件对象的子节点，得到页面要素。
进一步地，对所述朗读对象进行文字处理包括：
识别所述文字对应的dom对象，根据dom对象的类型进行对应描述。
进一步地，所述dom对象包括按钮、输入框、图片、文本域、下拉框和标题。
进一步地，所述将处理后的文字上传至后端语音合成服务区后，包括：
后端返回语音文件流；
接收所述语音文件流，并转化为Blob对象，获取所述Blob对象在内存中的URL地址，将所述URL地址发送给Audio对象的src属性。
本发明第二方面提供了网上银行页面的朗读系统，所述系统包括：
对象获取单元，用于获取页面上的鼠标悬停事件，根据所述鼠标悬停事件获取页面要素，并确定朗读对象；
朗读处理单元，用于对所述朗读对象进行文字处理，将处理后的文字上传至后端语音合成服务区，进行浏览器语音播报。
进一步地，所述系统还包括预处理单元，所述预处理单元用于解析页面元素，将鼠标悬停事件设置为拦截事件。
本发明第三方面提供了一种计算机存储介质，所述计算机存储介质中存储有计算机指令，所述计算机指令在所述的朗读系统上运行时，使所述朗读系统执行所述朗读方法的步骤。
本发明第二方面的所述网上银行页面的朗读系统能够实现第一方面及第一方面的各实现方式中的方法，并取得相同的效果。
发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：
本发明通过对鼠标悬停事件设置拦截，得到需朗读的对象，并进行文字处理后上传至后端语音合成服务，实现浏览器的语音播报，整个工程无需依赖三方设计，简化操作流程，且在对悬停事件设置防抖处理，保证朗读对象的准确性且避免无效操作，提高工作效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明所述方法实施例的流程示意图；
图2是本发明所述系统实施例的结构示意图。
具体实施方式
为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
考虑到通用修改方案的影响范围较大同时依赖系统读屏技术，语音朗读环节不可控。本发明实施例设计了针对页面操作事件的统一监听、拦截，页面要素的自动捕获、自动添加标签，再结合浏览器已具备的语音合成服务，捕获页面朗读文本信息后调用语音合成引擎实现语音合成，再返回播放，从而整体实现了页面朗读的功能。
如图1所示，本发明实施例提供了网上银行页面的朗读方法，该方法包括以下步骤：
S1,获取页面上的鼠标悬停事件，根据所述鼠标悬停事件获取页面要素，并确定朗读对象；
S2,对所述朗读对象进行文字处理，将处理后的文字上传至后端语音合成服务区，进行浏览器语音播报。
本发明所述方法的其一实现方式中，所述获取页面上的鼠标悬停事件之前包括步骤：
解析页面元素，将鼠标悬停事件设置为拦截事件。建立跨浏览器事件处理单元，EventUtil对象，用于视情况分别使用DOM0级方法、DOM2级方法或IE方法来添加事件。这里通过给需要捕获的Html的body元素添加事件委托方式来拦截用户在页面上的mouseover(鼠标悬停事件)事件。并且对用户触发mouseover事件的捕获做了防抖处理，因为用户在页面上任意移动下鼠标都会触发mouseover。这样触发过于频繁，无法准确的捕获用户真正想要的dom元素，所以这里增加了防抖机制。
对所述鼠标悬停事件设置防抖处理，具体为：
增加鼠标悬停的延迟时间，若在所述延迟时间内，对同一元素出现多次悬停操作，则将所述多次悬停操作绑定为一次拦截事件。
所述获取页面要素的具体过程为：判断需要使用的焦点对焦模式，这里定义了两种对焦模式。自动对焦和手动对焦，区分的主要原则是，用户mouseover触发的事件元素中的父级中是否包含aria-atomic＝'true'属性。如果父元素中包含该属性，则焦点会捕获到含有此属性的元素上，则所述页面要素含有所述预设属性的元素。如果不包含上述规则则，执行自动对焦方案。自动对焦具体为当捕获到用户mouseover事件对象，会遍历整个对象的dom子节点，得到页面要素，这里为了保证效率和接下来文字信息处理的准确率规定子节点2个以上的dom不予处理。
Aria是“Accessiable Rich Internet Applications“的缩写。它是W3C(Web无障碍推进组织)发布的针对残障人士访问互联网应用的一套开发标准规范。
aria-atomic＝“true”是无障碍标准规范中的标签属性，作用是表示区域内容是否完整播报。指可以为true和false。当为true时，表示辅助设备需要把整个区域内容都通报给使用者。
所以包含该标签的情况即不区分子元素全部朗读，不包含的情况根据鼠标悬停的具体要素进行朗读。例如：页面上转账功能，实际页面要素链接包含转账文字、点击按钮、跳转链接三个要素，增加该aria-atomic＝“true”标签即朗读为“链接-转账-提交按钮”，不包含该标签的情况会朗读为”转账“。
两个子节点以内的会遍历朗读。例如：理财产品列表功能页，选中列表会依次朗读展示的理财产品名称，理财产品下点击还会有利率等信息，如果选中是列表层只朗读到理财产品名称不朗读利率，选中单个产品的话会朗读名称和利率。
对所述朗读对象进行文字处理包括：
识别所述文字对应的dom对象，根据dom对象的类型进行对应描述。比如a标签需要描述为链接XXX，button需要描述为XXX按钮。
dom对象包含：BUTTON-按钮、INPUT-输入框、IMG-图片、TEXTAREA-文本域、SELECT-下拉框、TITLE-标题等。
步骤S2中，所述将处理后的文字上传至后端语音合成服务区后，包括：
后端返回语音文件流；接收所述语音文件流，并转化为Blob对象，获取所述Blob对象在内存中的URL地址，将所述URL地址发送给Audio对象的src属性。
如图2所示，本发明实施例提供了网上银行页面的朗读系统，所述系统包括对象获取单元1和朗读处理单元2。
对象获取单元1用于获取页面上的鼠标悬停事件，根据所述鼠标悬停事件获取页面要素，并确定朗读对象；朗读处理单元2用于对所述朗读对象进行文字处理，将处理后的文字上传至后端语音合成服务区，进行浏览器语音播报。
本发明系统实施例的其一实现方式中，所述系统还包括预处理单元3，所述预处理单元3用于解析页面元素，将鼠标悬停事件设置为拦截事件。
本发明实施例还提供了一种计算机存储介质，所述计算机存储介质中存储有计算机指令，所述计算机指令在所述的朗读系统上运行时，使所述朗读系统执行所述朗读方法的步骤。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.网上银行页面的朗读方法，其特征是，所述方法包括以下步骤：
获取页面上的鼠标悬停事件，根据所述鼠标悬停事件获取页面要素，并确定朗读对象；
对所述朗读对象进行文字处理，将处理后的文字上传至后端语音合成服务区，进行浏览器语音播报。
2.根据权利要求1所述网上银行页面的朗读方法，其特征是，所述获取页面上的鼠标悬停事件之前包括步骤：
解析页面元素，将鼠标悬停事件设置为拦截事件。
3.根据权利要求2所述网上银行页面的朗读方法，其特征是，对所述鼠标悬停事件设置防抖处理，具体为：
增加鼠标悬停的延迟时间，若在所述延迟时间内，对同一元素出现多次悬停操作，则将所述多次悬停操作绑定为一次拦截事件。
4.根据权利要求1所述网上银行页面的朗读方法，其特征是，所述获取页面要素的具体过程为：
获取当前鼠标悬停事件触发的事件元素，若所述事件元素的父级元素中包含预设属性，则所述页面要素含有所述预设属性的元素；
若事件元素的父级元素中不包含所述预设属性，则获取当前鼠标悬停事件触发的事件对象，遍历事件对象的子节点，得到页面要素。
5.根据权利要求1所述网上银行页面的朗读方法，其特征是，对所述朗读对象进行文字处理包括：
识别所述文字对应的dom对象，根据dom对象的类型进行对应描述。
6.根据权利要求5所述网上银行页面的朗读方法，其特征是，所述dom对象包括按钮、输入框、图片、文本域、下拉框和标题。
7.根据权利要求1所述网上银行页面的朗读方法，其特征是，所述将处理后的文字上传至后端语音合成服务区后，包括：
后端返回语音文件流；
接收所述语音文件流，并转化为Blob对象，获取所述Blob对象在内存中的URL地址，将所述URL地址发送给Audio对象的src属性。
8.网上银行页面的朗读系统，其特征是，所述系统包括：
对象获取单元，用于获取页面上的鼠标悬停事件，根据所述鼠标悬停事件获取页面要素，并确定朗读对象；
朗读处理单元，用于对所述朗读对象进行文字处理，将处理后的文字上传至后端语音合成服务区，进行浏览器语音播报。
9.根据权利要求8所述网上银行页面的朗读系统，其特征是，所述系统还包括预处理单元，所述预处理单元用于解析页面元素，将鼠标悬停事件设置为拦截事件。
10.一种计算机存储介质，所述计算机存储介质中存储有计算机指令，其特征是，所述计算机指令在权利要求8或9所述的朗读系统上运行时，使所述朗读系统执行权利要求1-7任一项所述朗读方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210105501.0A CN114461171B (zh) | 2022-01-27 | 2022-01-27 | 网上银行页面的朗读方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210105501.0A CN114461171B (zh) | 2022-01-27 | 2022-01-27 | 网上银行页面的朗读方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114461171A true CN114461171A (zh) | 2022-05-10 |
| CN114461171B CN114461171B (zh) | 2023-11-28 |
Family
ID=81411100
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210105501.0A Active CN114461171B (zh) | 2022-01-27 | 2022-01-27 | 网上银行页面的朗读方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114461171B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060031755A1 (en) * | 2004-06-24 | 2006-02-09 | Avaya Technology Corp. | Sharing inking during multi-modal communication |
| WO2007036984A1 (ja) * | 2005-09-27 | 2007-04-05 | Fujitsu Limited | ドキュメント内テキスト読み上げ処理プログラム，ドキュメント閲覧装置およびドキュメント内テキスト読み上げ処理方法 |
| CN102254550A (zh) * | 2010-05-21 | 2011-11-23 | 腾讯科技（深圳）有限公司 | 网页文字朗读方法和系统 |
| CN103164439A (zh) * | 2011-12-14 | 2013-06-19 | 中国电信股份有限公司 | 业务信息动态显示方法、服务器及在线文档浏览终端 |
| CN107195224A (zh) * | 2016-03-14 | 2017-09-22 | 丽水学院 | 一种阅读视野分割系统 |
| CN110187880A (zh) * | 2019-05-30 | 2019-08-30 | 北京腾云天下科技有限公司 | 一种同类元素识别方法、装置和计算设备 |
| CN110347309A (zh) * | 2019-06-26 | 2019-10-18 | 腾讯科技（深圳）有限公司 | 朗读控制方法、装置和设备及计算机存储介质 |
| CN110597512A (zh) * | 2019-08-23 | 2019-12-20 | 华为技术有限公司 | 显示用户界面的方法及电子设备 |
| CN110688600A (zh) * | 2019-09-09 | 2020-01-14 | 平安普惠企业管理有限公司 | 基于html页面的在线编辑方法、装置、设备及存储介质 |
| CN111381809A (zh) * | 2018-12-28 | 2020-07-07 | 深圳市茁壮网络股份有限公司 | 一种焦点页面的查找方法及装置 |
| CN111586462A (zh) * | 2020-04-29 | 2020-08-25 | 海看网络科技(山东)股份有限公司 | 一种iptv中获取和移动焦点的方法 |
| CN112307390A (zh) * | 2020-11-26 | 2021-02-02 | 广东南方网络信息科技有限公司 | 一种网站无障碍信息化处理方法、装置、存储介质及系统 |
| CN112632445A (zh) * | 2020-12-30 | 2021-04-09 | 广州酷狗计算机科技有限公司 | 网页播放方法、装置、设备及存储介质 |
-
2022
- 2022-01-27 CN CN202210105501.0A patent/CN114461171B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060031755A1 (en) * | 2004-06-24 | 2006-02-09 | Avaya Technology Corp. | Sharing inking during multi-modal communication |
| WO2007036984A1 (ja) * | 2005-09-27 | 2007-04-05 | Fujitsu Limited | ドキュメント内テキスト読み上げ処理プログラム，ドキュメント閲覧装置およびドキュメント内テキスト読み上げ処理方法 |
| CN102254550A (zh) * | 2010-05-21 | 2011-11-23 | 腾讯科技（深圳）有限公司 | 网页文字朗读方法和系统 |
| CN103164439A (zh) * | 2011-12-14 | 2013-06-19 | 中国电信股份有限公司 | 业务信息动态显示方法、服务器及在线文档浏览终端 |
| CN107195224A (zh) * | 2016-03-14 | 2017-09-22 | 丽水学院 | 一种阅读视野分割系统 |
| CN111381809A (zh) * | 2018-12-28 | 2020-07-07 | 深圳市茁壮网络股份有限公司 | 一种焦点页面的查找方法及装置 |
| CN110187880A (zh) * | 2019-05-30 | 2019-08-30 | 北京腾云天下科技有限公司 | 一种同类元素识别方法、装置和计算设备 |
| CN110347309A (zh) * | 2019-06-26 | 2019-10-18 | 腾讯科技（深圳）有限公司 | 朗读控制方法、装置和设备及计算机存储介质 |
| CN110597512A (zh) * | 2019-08-23 | 2019-12-20 | 华为技术有限公司 | 显示用户界面的方法及电子设备 |
| CN110688600A (zh) * | 2019-09-09 | 2020-01-14 | 平安普惠企业管理有限公司 | 基于html页面的在线编辑方法、装置、设备及存储介质 |
| CN111586462A (zh) * | 2020-04-29 | 2020-08-25 | 海看网络科技(山东)股份有限公司 | 一种iptv中获取和移动焦点的方法 |
| CN112307390A (zh) * | 2020-11-26 | 2021-02-02 | 广东南方网络信息科技有限公司 | 一种网站无障碍信息化处理方法、装置、存储介质及系统 |
| CN112632445A (zh) * | 2020-12-30 | 2021-04-09 | 广州酷狗计算机科技有限公司 | 网页播放方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114461171B (zh) | 2023-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11556697B2 (en) | Intelligent text annotation | |
| CN104866383B (zh) | 一种接口调用方法、装置及终端 | |
| US10817613B2 (en) | Access and management of entity-augmented content | |
| December et al. | World Wide Web Unleashed | |
| Aitchison | Teach yourself linguistics | |
| CN109299073B (zh) | 一种数据血缘的生成方法、系统、电子设备和存储介质 | |
| US20120254225A1 (en) | Generating content based on persona | |
| CN102768683B (zh) | 一种图片信息的搜索方法及搜索装置 | |
| US20150227276A1 (en) | Method and system for providing an interactive user guide on a webpage | |
| CN110717337A (zh) | 信息处理方法、装置、计算设备和存储介质 | |
| US20100077300A1 (en) | Computer Method and Apparatus Providing Social Preview in Tag Selection | |
| CN106055721A (zh) | 一种网页无障碍处理方法及相关设备 | |
| JP2008134906A (ja) | 業務プロセス定義生成方法、装置及びプログラム | |
| CN113569007B (zh) | 一种处理知识服务资源的方法、装置及存储介质 | |
| CN113014853B (zh) | 互动信息处理方法、装置、电子设备及存储介质 | |
| CN114461171A (zh) | 网上银行页面的朗读方法及系统 | |
| CN114461170A (zh) | 手机银行应用程序的页面朗读方法及系统 | |
| CN101145936B (zh) | 一种在Web页面中添加标签的方法及其系统 | |
| Hendrix et al. | Language processing via canonical verbs and semantic models | |
| CN113221031B (zh) | 一种自动识别网站目录页的方法 | |
| CN110555202A (zh) | 文摘播报的生成方法和设备 | |
| Kiu et al. | Semantic interoperability for enhancing sharing and learning through e-government knowledge-intensive portal services | |
| US8196092B2 (en) | XSL dialog modules | |
| CN113342416B (zh) | 一种在小程序中展示h5图文数据的方法及设备 | |
| US20240104106A1 (en) | Data extraction cycles with multiple parsing frames |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |