CN109766073A - 电视浏览器中语音操作网页内容导航的方法 - Google Patents

Abstract

本发明提出一种电视浏览器中语音操作网页内容导航的方法，属于计算机领域。本发明技术方案要点为：当网页加载进度更新或者网页布局更新时，触发浏览器对当前网页进行遍历检索并解析DOM树节点信息；将解析完成的DOM树节点信息按照语音识别规则拆分、组成特殊的语音数据信息表，并由内核与系统应用层专用数据传输通道回传给语音装置；语音装置根据语音数据信息表和语音声纹产生页内导航跳转关键字，并经过专用数据传输通道发往内核WebKit引擎；内核WebKit引擎接收到语音装置发来的导航跳转关键字，触发重新遍历并计算当前网页DOM树节点的请求，同时匹配查找相应跳转节点，在内核WebKit引擎内部或者系统应用层进行模拟点击操作，完成浏览器加载新地址的跳转任务。

Description

电视浏览器中语音操作网页内容导航的方法

技术领域

本发明涉及计算机领域，特别涉及电视浏览器中语音操作网页内容导航领域。

背景技术

随着互联网技术的不断发展，特别是移动互联技术及Android TV功能的不断进步完善，通过电视平台上网及播放视频已经变得越来越普及。目前，提供网页服务的各网站主要遵循W3C标准，针对Windows、Linux、IOS、Android等桌面、移动操作系统和设备分别提供不同的网站页面推送。在各平台上,传统的浏览器操作方式依然基于鼠标操作,或者触摸操作。而提供资讯服务的各类站点主要基于标准W3C协议和针对各系统平台特性来开发站点资源，在上述各平台中的页面设计风格、技术都可能不一样，如基于Windows、Linux一般走标准W3C协议，IOS、Android除了W3C外还可以利用到移动平台、触摸技术等特性进一步拓宽设计理念，浏览器都需要有不同的操作支持方式，在目前可语音操作浏览器的电视平台中，特别是具备多User Agent切换功能的电视浏览器中，容易因为平台的不同和操作方式的不同，导致电视浏览器无法达到一个可以完全语音操控的导航要求，尤其在网站内容解析、跳转操作等这些不足，容易导致电视浏览器无法达到一个最佳的操作体验效果，部分语音浏览器仅可做到应用的语音唤醒和简单的应用操作，对网页内的链接导航技术涉及不多，或者设计复杂，无形中就加剧了本身硬件资源和计算能力都有限的电视设备资源消耗，通用性和操控性仍可改进。

并且，电视浏览器根据其当前所使用UA参数下载基于该UA对应的网页代码，在不同电视系统上，网页某些元素并不能直接被鼠标点击以实现加载新网址的需要，而某些元素不被识别为焦点或者链接点，但又具备跳转地址，需要借助系统平台辅助点击，以完成事件派发而达到页面跳转的目的，如此易引起语音操作浏览器进行页内导航时发生部分跳转链接不起作用，带给用户操作不便及体验差的效果。浏览器加载显示网页时，会实时更新内核中Dom树节点信息及样式表，不论哪种更新，只要涉及到页面布局发生变化，语音导航都需要重新计算修正一次所存储的节点数据，不然容易发生可导航节点遗漏，引起语音装置因数据不全导致语音操作精度低下，语音识别率不高的问题，所以语音导航技术需要动态、根据场景来及时更新数据信息，避免引起节点数据和节点位置信息匹配不成功的问题，造成操控体验感差。

参见申请号为：CN201110046896.3的专利申请，其公开了一种语音浏览方法及浏览器，其主要是利用技术手段将网页区分为主题和非主题型，后将网页分块，主动将网页节点内容向用户朗读，或为用户设置快捷键，实现语音方法。需要划分网页类型和区块，并且需要将网页内容抽取并重新转换成其他网页格式后向用户推送并朗读内容，实现告知用户内容。网页跳转的精确性及时效性明显较差。

发明内容

本发明的目的是提供一种电视浏览器中语音操作网页内容导航的方法，解决上述现有技术的不足。

本发明解决其技术问题，采用的技术方案是：电视浏览器中语音操作网页内容导航的方法，包括如下步骤：

步骤1、当网页加载进度更新或者网页布局更新时，触发浏览器对当前网页进行遍历检索DOM树节点信息，并解析DOM树节点信息；

步骤2、将解析完成的DOM树节点信息按照语音识别规则拆分、组成特殊的语音数据信息表，并由内核与系统应用层专用数据传输通道回传给语音装置；

步骤3、语音装置根据语音数据信息表和语音声纹产生页内导航跳转关键字，该语音关键字经过专用数据传输通道发往内核WebKit引擎；

步骤4、内核WebKit引擎接收到语音装置发来的导航跳转关键字，触发重新遍历并计算当前网页DOM树节点的请求，同时匹配查找相应跳转节点，在内核WebKit引擎内部或者系统应用层进行模拟点击操作，完成浏览器加载新地址的跳转任务。

进一步的是，步骤1中，浏览器对当前网页进行遍历检索DOM树节点信息时，计算节点的标识符信息。

进一步的是，所述节点的标识符信息为能标识节点的唯一特征的信息，且该信息能被用户从网页中用肉眼所见到。

进一步的是，步骤2中，DOM树节点信息解析完成后，根据用户语音装置语音识别的特殊规则，将DOM树节点标识符信息依据该规则进行拆分，同时拆分后的标识符跟网页内DOM树中某一节点对应上，所有DOM节点标识符拆分完成后根据特殊数据结构重新封装成基础语音数据信表。

进一步的是，步骤3中，所述关键字与DOM树节点中的某一个节点相匹配。

进一步的是，步骤3中，所述专用数据传输通道为JNI和IPC。

进一步的是，步骤4中，内核WebKit引擎接收到语音装置发来的导航跳转关键字时，将生成的语音导航关键字与当前网页DOM树中的节点进行有序配对，若匹配到对应节点，计算出该节点对应的url地址或者绝对横纵坐标值，并对该节点进行操作。

进一步的是，所述操作是指直接通过FrameLoader加载节点对应的url地址，或者根据节点绝对横纵坐标值，构造一个模拟点击操作，点击该节点，完成导航操作。

本发明的有益效果是，通过上述电视浏览器中语音操作网页内容导航的方法，可以在各种不同操作系统平台上，判断当前网页内各有效导航链接点，在不影响页面代码持续下载及内核正常渲染网页的前提下，快速准确的检索网页DOM节点信息，将DOM节点标识符拆分并重组成基础语音数据库；并且，语音指令关键字到达浏览器内核时，可以快速检索和配对节点数据，并进行新导航地址的加载操作。

具体实施方式

下面结合实施例，详细描述本发明的技术方案。

本发明所述电视浏览器中语音操作网页内容导航的方法，包括如下步骤：

步骤1、当网页加载进度更新或者网页布局更新时，触发浏览器对当前网页进行遍历检索DOM树节点信息，并解析DOM树节点信息；

步骤2、将解析完成的DOM树节点信息按照语音识别规则拆分、组成特殊的语音数据信息表，并由内核与系统应用层专用数据传输通道回传给语音装置；

步骤3、语音装置根据语音数据信息表和语音声纹产生页内导航跳转关键字，该语音关键字经过专用数据传输通道发往内核WebKit引擎；

步骤4、内核WebKit引擎接收到语音装置发来的导航跳转关键字，触发重新遍历并计算当前网页DOM树节点的请求，同时匹配查找相应跳转节点，在内核WebKit引擎内部或者系统应用层进行模拟点击操作，完成浏览器加载新地址的跳转任务。

这里，可以大大减少网页跳转的操作流程，避免在电视上浏览网页时鼠标操作迟缓的问题，特别是通过遥控器控制虚拟鼠标操作跳转，每当网页呈现时，用户即可通过语音装置直接呼喊网页内的链接点名字，浏览器自动跳转加载到该链接下的网页。提升了用户操作体验，使用户更快捷更方便的操控电视进行网页浏览，感受智能电视带来的无穷乐趣。

实施例

本发明中涉及的英文简称有如下解释：

Android TV：基于Android操作系统的电视。

W3C：即万维网联盟，是Web技术领域最具权威和影响力的国际中立性技术标准机构，主要工作是发展Web规范。

User Agent：用户代理，简称UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。

UA：即User Agent。

DOM：文档对象模型，是W3C组织推荐的处理可扩展标志语言的标准编程接口。

WebKit：开源的浏览器引擎。

JNI：Java Native Interface的缩写，它提供了若干的API实现了Java和其他语言的通信。

IPC：Inter-Process Communication，进程间通信。

FrameLoader：浏览器内核引擎中一个网络资源加载模块。

本发明实施例电视浏览器中语音操作网页内容导航的方法，包括如下步骤：

步骤1、当网页加载进度更新或者网页布局更新时，触发浏览器对当前网页进行遍历检索DOM树节点信息，并解析DOM树节点信息，其中，浏览器对当前网页进行遍历检索DOM树节点信息时，计算节点的标识符信息，节点的标识符信息为能标识节点的唯一特征的信息，且该信息能被用户从网页中用肉眼所见到。

步骤2、将解析完成的DOM树节点信息按照语音识别规则拆分、组成特殊的语音数据信息表，并由内核与系统应用层专用数据传输通道回传给语音装置；其中，DOM树节点信息解析完成后，根据用户语音装置语音识别的特殊规则，将DOM树节点标识符信息依据该规则进行拆分，同时拆分后的标识符跟网页内DOM树中某一节点对应上，所有DOM节点标识符拆分完成后根据特殊数据结构重新封装成基础语音数据信表。

步骤3、语音装置根据语音数据信息表和语音声纹产生页内导航跳转关键字，该语音关键字经过专用数据传输通道发往内核WebKit引擎；其中，关键字与DOM树节点中的某一个节点相匹配，专用数据传输通道优选为JNI和IPC，便于数据传输。

步骤4、内核WebKit引擎接收到语音装置发来的导航跳转关键字，触发重新遍历并计算当前网页DOM树节点的请求，同时匹配查找相应跳转节点，在内核WebKit引擎内部或者系统应用层进行模拟点击操作，完成浏览器加载新地址的跳转任务；其中，内核WebKit引擎接收到语音装置发来的导航跳转关键字时，将生成的语音导航关键字与当前网页DOM树中的节点进行有序配对，若匹配到对应节点，计算出该节点对应的url地址或者绝对横纵坐标值，并对该节点进行操作；操作是指直接通过FrameLoader加载节点对应的url地址，或者根据节点绝对横纵坐标值，构造一个模拟点击操作，点击该节点，完成导航操作。

具体应用过程中，可以采取下面的技术方案：

A、根据当前页面的加载进度值对比，当发现加载进度有更新变化时，对当前特定页面区域进行DOM节点数据遍历解析，比如网页比较大比较长时，只遍历检索当前可被用户见到的部分网页内容，不显示的节点内容及不具备跳转链接的节点都不用进行解析。此外，当页面元素布局发生变化时，比如字体滚动，页面翻页等，同样触发我们对当前特定页面区域再进行DOM节点数据的遍历解析；

B、由于网站页面数据类型多种多样，布局更是千变万化，由3.2.3.1流程解析出DOM节点的数据信息后，还需要对节点数据进行提取和重新封装，通常提取其title信息，或者innerText信息等，这些信息可直接被用户在网页上看到，同时由于这些标识符数据种类繁多，数据长短不一甚至含有特殊符号，则再根据语音装置基础数据识别规则，对这些标识符重新拆分，要求拆分后的数据要能被语音装置识别，也能与DOM节点匹配上，之后将拆分后的这些所有DOM节点标识符统一封装成特定的数据结构；

C、浏览器不管是更新网站页面还是跳转新的url地址，必然重新走一遍页面下载、解析、渲染显示的流程，此时仍然依据上述流程对页面DOM节点进行解析封装，同时将封装好的语音数据信息表上传给语音装置，供语音装置备用；

D、由于语音装置通过上述步骤后，已经获得了浏览器当前页面内所有的节点数据标识，语音装置根据用户的语音声纹和这些基础的节点数据标识可生成精度非常高的文本关键字，该文本关键字对应网页DOM树中的某一个节点元素，浏览器语音导航技术所需要的关键指令就有此步产生；

E、语音生成的导航跳转关键字经过JNI同步传递到Content层，再经IPC异步传递到内核WebKit引擎中，触发重新对当前网页DOM节点数据的遍历检索操作，而当匹配查找到对应的节点后，对该节点的关键信息，即绝对x、y坐标值或者指向的跳转url地址信息进行计算，通常计算x、y坐标，那么WebKit内核构建点击事件，设定点击区域范围和点击坐标，并进行模拟点击操作，同时启动延迟检查跳转成功与否的检测措施，若在规定时间内检测到跳转失败，则重新根据绝对x、y坐标值换算成绝对屏幕坐标，将坐标信息再由IPC和JNI通信反馈给操作系统层，同时由操作系统构建点击事件，并进行模拟点击操作。这样达到通过语音操作以完成网页链接跳转的目的。

Claims (8)

1.电视浏览器中语音操作网页内容导航的方法，其特征在于，包括如下步骤：

步骤1、当网页加载进度更新或者网页布局更新时，触发浏览器对当前网页进行遍历检索DOM树节点信息，并解析DOM树节点信息；

步骤2、将解析完成的DOM树节点信息按照语音识别规则拆分、组成特殊的语音数据信息表，并由内核与系统应用层专用数据传输通道回传给语音装置；

步骤3、语音装置根据语音数据信息表和语音声纹产生页内导航跳转关键字，该语音关键字经过专用数据传输通道发往内核WebKit引擎；

步骤4、内核WebKit引擎接收到语音装置发来的导航跳转关键字，触发重新遍历并计算当前网页DOM树节点的请求，同时匹配查找相应跳转节点，在内核WebKit引擎内部或者系统应用层进行模拟点击操作，完成浏览器加载新地址的跳转任务。

2.根据权利要求1所述的电视浏览器中语音操作网页内容导航的方法，其特征在于，步骤1中，浏览器对当前网页进行遍历检索DOM树节点信息时，计算节点的标识符信息。

3.根据权利要求2所述的电视浏览器中语音操作网页内容导航的方法，其特征在于，所述节点的标识符信息为能标识节点的唯一特征的信息，且该信息能被用户从网页中用肉眼所见到。

4.根据权利要求1所述的电视浏览器中语音操作网页内容导航的方法，其特征在于，步骤2中，DOM树节点信息解析完成后，根据用户语音装置语音识别的特殊规则，将DOM树节点标识符信息依据该规则进行拆分，同时拆分后的标识符跟网页内DOM树中某一节点对应上，所有DOM节点标识符拆分完成后根据特殊数据结构重新封装成基础语音数据信表。

5.根据权利要求1所述的电视浏览器中语音操作网页内容导航的方法，其特征在于，步骤3中，所述关键字与DOM树节点中的某一个节点相匹配。

6.根据权利要求1所述的电视浏览器中语音操作网页内容导航的方法，其特征在于，步骤3中，所述专用数据传输通道为JNI和IPC。

7.根据权利要求1或6所述的电视浏览器中语音操作网页内容导航的方法，其特征在于，步骤4中，内核WebKit引擎接收到语音装置发来的导航跳转关键字时，将生成的语音导航关键字与当前网页DOM树中的节点进行有序配对，若匹配到对应节点，计算出该节点对应的url地址或者绝对横纵坐标值，并对该节点进行操作。

8.根据权利要求7所述的电视浏览器中语音操作网页内容导航的方法，其特征在于，所述操作是指直接通过FrameLoader加载节点对应的url地址，或者根据节点绝对横纵坐标值，构造一个模拟点击操作，点击该节点，完成导航操作。