CN103970839A - 语音控制网页浏览的方法 - Google Patents

Abstract

本发明涉及嵌入式浏览器语音控制的技术，目的是为了提供一种语音控制网页浏览的方法，解决现有浏览器对图片、视频、文本输入框、按钮等页面元素语音控制不便的问题。本发明的技术方案可概括为：首先用户启动嵌入式浏览器并输入需要浏览的网页地址，语音引擎装置随浏览器一起启动，嵌入式浏览器对网页页面进行解析，进行数据的关联与存储，将文字链接与其对应的节点Node保存在数据结构中，对需要添加语音标签的网页元素，分配唯一的语音标签并予以存储，用户通过语音引擎装置输入文字链接或语音标签信息进行网页浏览。本发明适用于具有网页浏览功能的智能家电。

Description

语音控制网页浏览的方法

技术领域

本发明涉及智能电视嵌入式浏览器及互联网技术，特别涉及嵌入式浏览器语音控制的技术。

背景技术

语音是智能人机交互的最直接最便捷最自然的方式，近些年来，语音正在日益影响和改变人们的日常生活，苹果Siri的出现，正式宣布了“语音”时代的到来。语音技术的迅猛发展，电视厂商陆续的将语音操作这种全新的控制方式移植到各自的智能电视机中，希望提高用户和电视机之间的交互体验和交互效率，以解决电视机本身输入手段的限制。对于智能电视机来说，浏览器应用是必不可少的应用之一，当前大部分浏览器在浏览网页时主要是通过遥控器来操作的，相对于语音操作，效率低下，用户体验不佳，所以在互联网电视机领域也急需一种能够彻底改变传统的人机交互的方式，在当前手势识别技术还不成熟的条件下，相对语音技术的迅猛发展，使语音控制成为必然。

目前，大多数厂家都推出了基于语音控制的浏览器，但是大多数浏览器仅局限于手机、PAD等移动终端，并且所实现的语音控制只是简单地实现语音交互打开主流的门户网站。在现代的页面制作中，为了突出视觉感，效果感，特别是一些图片浏览，图片分享，相册，社交等网站，大量地使用图片、按钮、文本输入框、各种控件等页面元素，主流的视频网站对HTML5视频支持也日渐完善。当前，针对嵌入式浏览器中各种页面元素的浏览及操作，需要借助鼠标或者触控的方式解决。那么在语音相关技术的发展趋势下，如何使用语音实现对网页中各种页面元素的浏览控制，显得尤为重要。特别是由于图片、视频、文本输入框、按钮等页面元素的特殊性，其没有对应的文字等信息，导致使用语音很难对其进行操作。

本发明正是针对智能电视领域的语音、浏览器技术发展现状，将语音控制和浏览器整合起来，以浏览器为依托，以语音控制为手段，使用户仅通过语音控制即可实现互联网资源的全网浏览，给用户带来全新的交互体验和效率。

发明内容

本发明的目的是为了提供一种语音控制网页浏览的方法，其可通过语音控制网页内的文字链接、图片、视频、文本输入框、按钮等可视的页面元素及浏览器的各级菜单，例如：收藏夹、历史记录、设置等。用户只需通过语音交互控制，即可进行页面浏览，菜单操作，轻松实现网上冲浪。

本发明的语音控制方法是基于嵌入式浏览器之上的。该浏览器具备原生浏览器所拥有的一般功能，在此基础之上，集成语音引擎装置。通过语音引擎装置，接收来自用户的语音信息，进行语义识别后返回给浏览器对应的文本信息，浏览器将文本信息转化为内部的控制命令，然后浏览器根据控制命令执行具体操作。必要说明的是：本发明中，浏览器对于执行的命令主要分为两类：

一类是文字链接，对于网页中的文字链接，用户只需按照文字链接读出来即可。

一类是语音标签，该语音标签可以是数字，或者字母等标识信息。由于网页中的图片、视频、文本输入框、按钮等页面元素及浏览器菜单选项，没有文字信息，是无法通过语音控制的，所以需要给这些页面元素和菜单选项在其对应的位置，绘制出唯一的语音标签标识信息，以提示用户可以通过语音读出语音标签即可控制该语音标签对应的页面元素和菜单选项。语音标签必须保证唯一性，每个语音标签只能关联一个页面元素或菜单选项，形成一一对应关系。该语音标签由浏览器端在网页进行解析排版的过程，进行分析，计算，生成。并在浏览器进行页面绘制的时候将该语音标签绘制出来，方便用户随时可以进行语音控制。

本发明解决其技术问题，采用的技术方案是这样的：一种语音控制网页浏览的方法，该方法实现语音控制包括以下步骤：

A.用户启动嵌入式浏览器并输入需要浏览的网页地址，语音引擎装置随浏览器一起启动，并实时接收来自用户的语音信息；

B.嵌入式浏览器对网页页面进行解析，建立数据结构，进行数据的关联与存储，将文字链接与其对应的节点Node保存在数据结构中，对需要添加语音标签的网页元素，在加载网页页面时，遍历页面DOM树，根据过滤条件筛选页面中的需要添加语音标签的网页元素，并分配唯一的语音标签，再将该语音标签作为关键字和其对应的网页元素保存在数据结构中，使每个语音标签与其对应的网页元素相关联；

C.将所述语音标签与其对应的页面元素进行关联绘制；

D.根据页面上的文字链接及语音标签，用户通过语音引擎装置输入文字链接或语音标签信息，经过语音引擎装置识别解析后返回给嵌入式浏览器对应的文本信息；

E.嵌入式浏览器根据接收到的文本信息，与步骤B中添加的数据结构中的文字链接和语音标签进行对比，得到文字链接或语音标签对应的网页元素；

F.嵌入式浏览器计算出元素节点的坐标信息，并根据该坐标信息触发鼠标点击事件，即可选中该元素或菜单选项，实现浏览控制操作。

具体地，步骤B中，所述过滤条件为：对鼠标可以点击选中的网页元素分配语音标签。

具体地，步骤B中，需要添加语音标签的网页元素包括：图片、视频、文本输入框、按钮及具有鼠标点击(click)或按键(keydown,keyup,keypress)事件的网页元素。

具体地，步骤C中，将语音标签绘制在与其对应的页面元素的左上角。

优选地，步骤B中，所述数据结构为哈希表。

本发明的有益效果是，基于嵌入式浏览器，通过语音引擎装置接收用户的语音信息，可以实现语音操制页面中的文字链接和图片、视频、文本输入框等页面元素，基本实现对嵌入式浏览器的网页浏览的语音控制，方便用户，且采用哈希表作为数据结构可以将数据的存储和查找所消耗的时间大大降低以提高效率。

具体实施方式

本发明的语音控制网页浏览的方法为：首先用户启动嵌入式浏览器并输入需要浏览的网页地址，语音引擎装置随浏览器一起启动，并实时接收来自用户的语音信息，嵌入式浏览器对网页页面进行解析，建立数据结构，进行数据的关联与存储，将文字链接与其对应的节点Node保存在数据结构中，对需要添加语音标签的网页元素，在加载网页页面时，遍历页面DOM树，根据过滤条件筛选页面中的需要添加语音标签的网页元素，并分配唯一的语音标签，再将该语音标签作为关键字和其对应的网页元素保存在数据结构中，使每个语音标签与其对应的网页元素相关联并将所述语音标签与其对应的页面元素进行关联绘制；之后，根据页面上的文字链接及语音标签，用户通过语音引擎装置输入文字链接或语音标签信息，经过语音引擎装置识别解析后返回给嵌入式浏览器对应的文本信息，嵌入式浏览器根据接收到的文本信息，与步骤B中添加的数据结构中的文字链接和语音标签进行对比，得到文字链接或语音标签对应的网页元素；嵌入式浏览器计算出元素节点的坐标信息，并根据该坐标信息触发鼠标点击事件，即可选中该元素或菜单选项，实现浏览控制操作。

在页面解析时，对于文字链接的处理在专利《嵌入式浏览器语音控制的网页浏览方法》(专利公开号为CN102902719A)中已有详细介绍。

上述方法中，有以下几点优选的实施方式：

1)对页面中需要添加语音标签的页面元素的过滤条件为：对具有鼠标点击(click)或按键(keydown,keyup,keypress)事件的网页元素分配语音标签。

2)需要添加语音标签的网页元素包括图片、视频、文本输入框及按钮，还可以包括嵌入式浏览器的菜单选项。

3)将语音标签与其对应的页面元素进行关联绘制时可以将语音标签绘制在与其对应的页面元素的左上角，也可以绘制在其它便于用户观看和使用的位置。

4)在嵌入式浏览器对网页页面进行解析时建立的数据结构为哈希表。

Claims (5)

1.语音控制网页浏览的方法，其特征在于，包括以下步骤：

A.用户启动嵌入式浏览器并输入需要浏览的网页地址，语音引擎装置随浏览器一起启动，并实时接收来自用户的语音信息；

B.嵌入式浏览器对网页页面进行解析，建立数据结构，进行数据的关联与存储，将文字链接与其对应的节点Node保存在数据结构中，对需要添加语音标签的网页元素，在加载网页页面时，遍历页面DOM树，根据过滤条件筛选页面中的需要添加语音标签的网页元素，并分配唯一的语音标签，再将该语音标签作为关键字和其对应的网页元素保存在数据结构中，使每个语音标签与其对应的网页元素相关联；

C.将所述语音标签与其对应的页面元素进行关联绘制；

D.根据页面上的文字链接及语音标签，用户通过语音引擎装置输入文字链接或语音标签信息，经过语音引擎装置识别解析后返回给嵌入式浏览器对应的文本信息；

E.嵌入式浏览器根据接收到的文本信息，与步骤B中添加的数据结构中的文字链接和语音标签进行对比，得到文字链接或语音标签对应的网页元素；

F.嵌入式浏览器计算出元素节点的坐标信息，并根据该坐标信息触发鼠标点击事件，即可选中该元素或菜单选项，实现浏览控制操作。

2.如权利要求1所述的语音控制网页浏览的方法，其特征在于，步骤B中，所述过滤条件为：对鼠标可以点击选中的网页元素分配语音标签。

3.如权利要求1所述的语音控制网页浏览的方法，其特征在于，步骤B中，需要添加语音标签的网页元素包括：图片、视频、文本输入框、按钮及具有鼠标点击或按键事件的网页元素。

4.如权利要求1所述的语音控制网页浏览的方法，其特征在于，步骤C中，将语音标签绘制在与其对应的页面元素的左上角。

5.如权利要求1或2或3或4所述的语音控制网页浏览的方法，其特征在于，步骤B中，所述数据结构为哈希表。