CN114357279A - 一种显示设备及基于网站内页面的语音搜索方法 - Google Patents

Abstract

本申请提供的显示设备及基于网站内页面的语音搜索方法，显示设备在显示网站内页面时，可以响应于用户发送的语音搜索指令，通过获取该网站内页面的DOM树，以获取DOM树中type属性值为search和type属性值为text的候选input标签元素，并从候选input标签元素中确定一个处于激活状态的目标input标签元素，进而基于该目标input标签元素确定该网站内页面上的搜索框，为填入关键词提供输入基础。可见，显示设备响应于用户的语音搜索指令，无需与用户进行额外交互，可以自动定位网站内页面上的搜索框，并填入关键词，以完成相应的搜索，可以简化用户操作，提高网站内页面的语音搜索效率，提高用户的体验感。

Description

一种显示设备及基于网站内页面的语音搜索方法

技术领域

本申请涉及智能显示设备技术领域，尤其涉及一种显示设备及基于网站内页面的语音搜索方法。

背景技术

显示设备是指能够输出具体显示画面的终端设备，可以是智能电视、移动终端、智能广告屏、投影仪等终端设备。以智能电视为例，智能电视是基于Internet应用技术，具备开放式操作系统与芯片，拥有开放式应用平台，可实现双向人机交互功能，集影音、娱乐、数据等多种功能于一体的电视产品，用于满足用户多样化和个性化需求。

为了提高用户的体验感，显示设备为用户提供网络搜索功能，用户可以通过电视浏览器进行网络搜索。为了便于用户与显示设备之间的交互，显示设备被配置为可以为用户提供语音交互功能，即显示设备可以采集并响应于用户发送的语音指令，以执行相应的功能。由此，用户可以通过向显示设备发送语音指令以在电视浏览器中进行网络搜索。

电视浏览器为显示设备自带的搜索软件，显示设备存储有该电视浏览器提供的搜索页面的相关信息，例如搜索框在搜索页面上的具体位置。因此，用户基于该电视浏览器发送语音搜索指令时，显示设备可以基于预先存储的搜索页面的相关信息，准确识别搜索框的位置，并输入语音搜索指令中的关键词，以完成相应的搜索工作，进入对应的网站。用户需要在网站内进行进一步搜索，但是，这些网站由不同的运营商提供网站内页面，网站内页面的形式具有多样性，且显示设备很难预先获知及存储这些网站内页面的相关信息。因此，如果用户基于网站内页面发送语音搜索指令时，由于显示设备无法自动定位网站内页面中搜索框的位置，需要用户将焦点定位在搜索框之后，显示设备才能够在搜索框中输入关键词，完成网站内的搜索工作。

发明内容

本申请提供了一种显示设备及基于网站内页面的语音搜索方法，通过识别网站内页面的标签元素，自动定位网站内页面上的搜索框，而无需通过用户聚焦焦点，以简化用户与显示设备之间的交互流程，提高在网站内进行语音搜索的效率。

第一方面，本申请提供了一种显示设备，包括：

显示器，被配置为显示网站内页面；

控制器，被配置为：

在显示所述网站内页面时，接收用户发送的语音搜索指令，所述语音搜索指令指示显示与关键词对应的页面；

响应于所述语音搜索指令，获取所述网站内页面的文件对象模型DOM树；

获取所述DOM树中的全部候选输入input标签元素，所述候选input标签元素包括类型type属性值为搜索search，或者包括type属性值为文本text的input标签元素；

确定目标input标签元素，所述目标input标签元素是指处于激活状态的一个所述候选input标签元素；

确定所述网站内页面的搜索框，并在所述搜索框中填入所述关键词，以基于所述关键词进行搜索，所述搜索框与所述目标input标签元素对应。

第二方面，本申请提供了一种网站内页面的搜索方法，应用于显示设备，所述方法包括：

在显示所述网站内页面时，接收用户发送的语音搜索指令，所述语音搜索指令指示显示与关键词对应的页面；

响应于所述语音搜索指令，获取所述网站内页面的文件对象模型DOM树；

获取所述DOM树中的全部候选输入input标签元素，所述候选input标签元素包括类型type属性值为搜索search，或者包括type属性值为文本text的input标签元素；

确定目标input标签元素，所述目标input标签元素是指处于激活状态的一个所述候选input标签元素；

确定所述网站内页面的搜索框，并在所述搜索框中填入所述关键词，以基于所述关键词进行搜索，所述搜索框与所述目标input标签元素对应。

由以上技术方案可知，显示设备在显示网站内页面时，可以响应于用户发送的语音搜索指令，通过获取该网站内页面的DOM树，以获取DOM树中type属性值为search 和type属性值为text的候选input标签元素，并从候选input标签元素中确定一个处于激活状态的目标input标签元素，进而基于该目标input标签元素确定该网站内页面上的搜索框，为填入关键词提供输入基础。可见，显示设备响应于用户的语音搜索指令，无需与用户进行额外交互，可以自动定位网站内页面上的搜索框，并填入关键词，以完成相应的搜索，可以简化用户操作，提高网站内页面的语音搜索效率，提高用户的体验感。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中显示设备的使用场景；

图2为本申请实施例中控制装置的硬件配置框图；

图3为本申请实施例中控制装置的硬件配置框图；

图4为本申请实施例中显示设备的硬件配置图；

图5为本申请实施例中显示设备的软件配置图；

图6为本申请实施例中显示设备基于网站内页面响应于语音搜索指令的流程示意图；

图7为本申请实施例中显示设备获取候选input标签元素的流程示意图；

图8为本申请实施例中显示设备从候选input标签元素中确定目标input标签元素的流程示意图；

图9为本申请实施例中显示设备确定待转移input标签元素的流程示意图；

图10为本申请实施例中搜索框与视口的相对位置的示意图；

图11为本申请实施例中显示设备调整视口的流程示意图。

具体实施方式

下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。

术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

图1为根据实施例中显示设备的使用场景的示意图。如图1所示，显示设备200可以与服务器300进行互联网通信，用户可通过控制装置100操作显示设备200。

在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式中的至少一种，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等至少一种输入控制指令，来控制显示设备200。

在一些实施例中，控制装置100也可以是移动终端，例如手机等，移动终端与显示设备200的通信包括互联网协议通信或蓝牙协议通信，及其他短距离通信、长距离通信方式中的至少一种。用户可以通过移动终端上按键、语音输入、控制面板输入等至少一种输入用户指令，来控制显示设备200。图2示例性示出了以遥控器为例的控制装置100 的配置框图。如图2所示，控制装置100包括控制器、通信接口、用户输入/输出接口、存储器、供电电源。

图3示例性示出了以移动终端为例的控制装置100的配置框图。如图3所示，控制装置100包括射频(radio frequency，RF)电路、存储器、显示单元、摄像头、传感器、音频电路、无线保真(Wireless Fidelity，Wi-Fi)电路、处理器、蓝牙电路、以及电源等部件中的至少一个。

图4示出了根据示例性实施例中显示设备200的硬件配置框图。

在一些实施例中，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。

在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括Wi-Fi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200 可以通过通信器220与控制装置100或服务器300建立控制信号和数据信号的发送和接收。

在一些实施例中，外部装置接口240可以包括但不限于如下：高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。

在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。

在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。

在一些实施例中，用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。

在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。

参见图5，在一些实施例中，将系统分为四层，从上至下分别为应用程序(Applications) 层(简称“应用层”)，应用程序框架(Application Framework)层(简称“框架层”)，安卓运行时 (Android runtime)和系统库层(简称“系统运行库层”)，以及内核层。

在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序或时钟程序等；也可以是第三方开发者所开发的应用程序。在具体实施时，应用程序层中的应用程序包不限于以上举例。

框架层为应用程序层的应用程序提供应用编程接口(application programminginterface，API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口，可在执行中访问系统中的资源和取得系统的服务。

如图5所示，本申请实施例中应用程序框架层包括管理器(Managers)，内容提供者(Content Provider)等，其中管理器包括以下模块中的至少一个：活动管理器(ActivityManager)用与和系统中正在运行的所有活动进行交互；位置管理器(Location Manager)用于给系统服务或应用提供了系统位置服务的访问；文件包管理器(Package Manager) 用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(NotificationManager)用于控制通知消息的显示和清除；窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。

用户通过操控控制装置100向显示设备200发送控制指令，以指示显示设备200进入电视浏览器的搜索页面。例如，用户通过按压遥控器的“上”、“下”、“左”、“右”按键，将焦点移动至电视浏览器的图标或者选项上，并通过按压遥控器的“确认”按键，以指示显示电视浏览器的搜索页面，或者，用户通过控制装置100向显示设备200发送语音指令，例如语音“打开浏览器”，以指示显示设备200显示电视浏览器的搜索页面，又或者，用户通过直接向显示设备200发送语音指令，例如语音“打开浏览器”，显示设备200通过语音识别装置采集并识别用户发送的语音内容，以显示电视浏览器的搜索页面。本实施例中不限制用户指示显示设备200显示电视浏览器的搜索页面的具体方式。

在本实施例中，电视浏览器是指已经将搜索页面的相关信息预存至显示设备200的浏览器，搜索页面的相关信息至少包括地址栏、搜索栏等搜索框的位置信息，以使得显示设备200可以基于预存的搜索页面的相关信息自动定位搜索框。

用户在显示设备200显示电视浏览器的搜索页面之后，基于电视浏览器的搜索页面发送语音搜索指令，例如“open www.×××(网址).com”，显示设备200响应于该语音搜索指令，可以基于预存的与电视浏览器的搜索页面的相关信息自动定位搜索框，并将语音指令中的内容输入搜索框内，进行相应的搜索。

显示设备200对于用户基于电视浏览器的搜索页面发送的语音搜索指令的响应结果是，显示相应网站的网站内页面。例如，购物网站、视频网站等。在本实施例中，网站内页面由该网站的服务器提供，网站内页面基于用户需求、运营商需求等呈现多样性，且动态变化，显示设备200需要向服务器实时请求网站内页面的相关信息。也就是说，显示设备200不能预存网站内页面的相关信息，相应的，也就无法基于预存的网站内页面的相关信息自动定位搜索框。因此，如果用户想要基于网站内页面进行语音搜，需要首先与显示设备200进行交互，以定位网站内页面的搜索框，用户基于定位得到的搜索框发送语音搜索指令，显示设备200响应于该语音搜索指令，将关键词填入搜索框，以进行搜索。

本实施例提供一种基于网站内页面的语音搜索方法，显示设备200可以自动定位网站内页面的搜索框，以避免用户与显示设备200之间的额外交互，提高网站内页面的语音搜索效率。参考图6所示的网站内页面的语音搜索流程，具体如下：

S601、在显示所述网站内页面时，接收用户发送的语音搜索指令，所述语音搜索指令指示显示与关键词对应的页面。

用户通过操控控制装置100向显示设备200发送控制指令，以指示显示设备200显示电视浏览器的搜索页面。用户基于该电视浏览器的搜索页面向显示设备200发送搜索指令，以指示显示设备200显示相应网站的网站内页面。上述过程可以参考上文公开的用户通过电视浏览器搜索网站内页面的过程，此处不赘述。

显示设备200接收到用户发送的搜索指令，并从中获取到搜索内容，例如“openwww. ×××(网址).com”，显示设备200响应于该搜索指令，从相应的服务器获取与“×××(网址)”对应的超文本标记语音(Hyper Text Markup Language，HTML)文档数据包，显示设备200通过解析该HTML文档数据包，获得构成与“×××(网址)”对应的网站内页面的页面信息，例如页面上显示的各个元素、每个元素在页面上的位置信息、显示状态信息等。显示设备200可以通过HTML文档对象模型(Document Object Model，DOM) 将该HTML文档数据包呈现为带有元素、属性和文本的树结构，即DOM树。示例地， HTML DOM将HTML文档数据包中的每个成分转化为一个节点(node)，例如文档节点 (document对象)：代表整个文档，元素节点(element对象)：代表一个元素(标签)，文本节点(text对象)：代表元素(标签)中的文本，属性节点(attribute对象)：代表一个属性，元素(标签)才有属性，注释节点(comment对象)：代表注释等。这些节点之间存在依赖关系，HTML DOM基于节点之间的依赖关系，构建DOM树，该DOM树与 HTML网页之间具有对应关系，显示设备200基于该DOM树可以渲染出对应的HTML 网页，即显示网站内页面。

用户基于网站内页面向显示设备200发送语音搜索指令，以指示显示设备200显示与关键词对应的页面。示例地，用户向控制装置100的麦克风输入语音搜索指令，如“searchpage***”，并通过控制装置100将该语音搜索指令传输至显示设备200，以指示显示设备200显示与关键词“***”对应的页面。

S602、响应于所述语音搜索指令，获取所述网站内页面的文件对象模型DOM树。

显示设备200接收到用户发送的语音搜索指令之后，通过识别该语音搜索指令中的关键词，例如“search”，确定该语音搜索指令是一个搜索指令，即需要定位网站内页面的搜索框，并将关键词填入定位到的搜索框中，以进行后续搜索工作。

由上文可知，DOM树与HTML页面，即本实施例中的网站内页面具有对应关系，显示设备200可以基于该对应关系，获取与网站内页面对应的DOM树。

S603、获取所述DOM树中的全部候选输入input标签元素，所述候选input标签元素包括类型type属性值为搜索search，或者包括type属性值为文本text的input标签元素。

由上文可知，DOM树中的元素节点指示HTML页面中的各个元素，其中，与搜索框对应的元素由DOM树中指示输入的元素节点指示，即input标签元素。input标签元素可以指示的元素包括多个类型，例如单纯的文本输入框、搜索框等，input标签元素对应的具体类型通过type属性值描述。在本实施例中，搜索框显然应该具有type属性值search，在一些实施例中，搜索框还必须能够填入文本，则搜索框还需要具有type属性值text。由此，显示设备200可以通过带有type属性值search，以及带有type属性值text的候选 input标签元素来定位搜索框。相应的，显示设备200从获取到的DOM树中获取带有type 属性值search，以及带有type属性值text的两类input标签元素，作为候选input标签元素。

在一些实施例中，可以参考如图7所示的过程获取DOM树中的全部候选input标签元素：

S701、获取所述DOM树中的全部input标签元素，以及每个input标签元素的type属性值。

显示设备200按照标签名称“input”查找并获取DOM树中的全部input标签元素，并按照属性值名称“type”识别每个input标签元素中的type属性值。

S702、从所述全部input标签元素中筛选出type属性值为search和type属性值为text 的待选input标签元素。

针对每一个input标签元素，显示设备200所识别到的type属性值可以包括多种类型，例如search、text、read only、disabled等，由上文可知，搜索框对应type属性值search或者type属性值text。因此，首先从input标签元素中筛选出带有type属性值search或者type属性值text的input标签元素，以作为待选input标签元素。

S703、从所述待选input标签元素中删除带有只读read only属性值或者不可用disabled属性值的input标签元素，得到所述候选input标签元素。

待选input标签元素还包括描述搜索框显示状态的属性值，其中，需要将状态为不可输入文本状态的input标签元素从全部待选input标签元素中剔除，以保证筛选出的候选input标签元素均为可输入文本状态的input标签元素。

在本实施例中，剔除带有属性值read only和disabled的待选input标签元素，其中，带有属性值read only的待选input标签元素所指示的状态具体为搜索框内可以显示默认文本或者光标等，但是不可以输入文本的只读状态。带有属性值disabled的待选input标签元素所指示的状态具体为搜索框内不显示任何文本、光标等，不可以输入文本的置灰状态。除本实施例公开的指示状态为不可输入文本状态的属性值，带有其它指示状态为不可输入文本状态的属性值的待选input标签元素也需要一并剔除。由此，可以保证所定位的搜索框是一个可以提供文本输入基础的搜索框，即该搜索框可以正常填入关键词，显示设备200可以显示带有关键词的搜索框，以与用户进行有效交互。

S604、确定目标input标签元素，所述目标input标签元素是指处于激活状态的一个所述候选input标签元素。

在本实施例中，input标签元素的属性值还包括指示响应状态的属性值，例如属性值激活(active)，属性值未激活(inactive)，其中，属性值active指示该input标签元素当前可以提供服务，即可以响应于搜索指令获取相应的数据等，反之，属性值inactive指示该input标签元素当前不可以提供服务，即不能响应于搜索指令获取相应的数据等，或者只能进行数据同步的休眠状态等。

在本实施例中，从各候选input标签元素中筛选出一个处于激活状态的候选input标签元素，作为目标input标签元素，以使得所定位的搜索框是一个处于可以响应于搜索关键词指令状态的搜索框，以保证后续可以显示与关键词相应的页面。

在一些实施例中，可以按照如图8所示的流程从候选input标签元素中确定目标input 标签元素：

S801、构建第一数组和第二数组，所述第一数组包括第一类input标签元素，所述第二数组包括第二类input标签元素，其中，所述第一类input标签元素是指type属性值为search的候选input标签元素，所述第二类input标签元素是指type属性值为text的候选input标签元素。

按照type属性值，将各候选input标签元素分为两类，即type属性值为search的第一类input标签元素，和type属性值为text的第二类input标签元素，并以第一类input 标签元素构建第一数组，例如，可以将第一数组命名为search element数组，以第二类input标签元素构建第二数组，例如，可以将第二数组命名为text element数组。

S802、确定待转移input标签元素，所述待转移input标签元素是指所述指定属性值包含search字符串的第二类input标签元素，其中，所述指定属性值包括所述第二类input 标签元素中指定的属性值，以及所述第二类input标签元素在所述DOM树中4级以内各父节点标签元素的属性值。

对第二数组中的各第二类input标签元素进行进一步划分，划分的依据为包含search 字符串的指定标签元素。各第二类input标签元素并不在type属性值中直接展示search 属性，而是将search属性隐藏在指定属性值中。需要从各第二类input标签元素中筛选出指定属性值中携带search字符串的待转移input标签元素，以将这些待转移input标签元素进一步划分为第一类input标签元素，以进一步细分各候选input标签元素，确保可以识别全部带有search属性的候选input标签元素，以保证定位搜索框范围的全面性，以及搜索框的定位准确性。

在本实施例中，指定属性值包括第二类input标签元素本身所包含的指定的属性值，以及第二类input标签元素在DOM树中4级以内各父节点标签元素的属性值。可以按照如图9所示的流程确定待转移input标签元素：

S8021、从所述第二数组中移除带有属性值登录login的所述第二类input标签元素，得到合规第二类input标签元素。

对于一些第二类input标签元素，其带有属性值login，该属性值指示该第二类input 标签元素是用于提供与登录相关服务的文本框，示例地，第二类inputi标签元素所指示的文本框可以输入文本，但是该文本框在输入文本之后，是基于该文本提供登录服务，即所输入的文本为用户名、密码等，而不是用于搜索的关键词。为了避免将搜索框定位至这些用于登录的文本框，显示设备200首先从第二数组中剔除带有属性值login的第二类input标签元素。进一步地，如果第二类input标签元素中还存在包括指示其它功能的文本框的属性值，也一并将这些第二类input标签元素从第二数组中移除，以保证第二数组中的各第二类input标签所指示的文本框均是用于提供搜索服务的搜索框。为了方便表述，将执行移除工作后第二数组中剩余的第二类input标签元素称为合规第二类input标签元素。

S8022、逐个识别所述合规第二类input标签元素中指定的属性值是否带有search字符串。其中，如果带有search字符串，则将相应的所述合规第二类input标签元素确定为所述待转移input标签元素。如果不带有search字符串，则逐级判断所述合规第二类input标签元素在所述DOM树中4级以内各父节点标签元素的属性值是否带有search字符串，并将带有search字符串的所述合规第二类input标签元素确定为所述待转移input标签元素。

对应于第二类input标签元素加入第二数组的顺序，生成每个第二类input标签元素的加入顺序，基于该加入顺序，各合规第二类input标签元素也具有对应的加入顺序。按照该加入顺序逐个检测各合规第二类input标签元素是否为待转移input标签元素。在一些实施例中，也可以按照其它顺序逐个检测各合规第二类input标签元素是否为待转移input标签元素。

针对一个合规第二类input标签元素的识别过程进行说明：

首先，识别该合规第二类input标签元素中指定的属性值是否带有search字符串，在本实施例中，指定属性值可以为id、class、name等，如果识别到指定属性值中带有search字符串，则可以确定该合规第二类input标签元素为待转移input标签元素。如果未识别到指定属性值中带有search字符串，则逐级判断该合规第二类input标签元素在DOM树中4级以内各父节点标签元素的属性值是否带有search字符串，具体过程可以参考如下流程：

如果识别到在DOM树中4级以内的父节点标签元素的属性值带有search字符串，则确定该合规第二类input标签元素为待转移input标签元素。如果在DOM树中4级以内的父节点标签元素的属性值均未识别到search字符串，则该合规第二类input标签元素不是待转移input标签元素。或者，在判断每一级父节点标签元素的过程中，首先获取该父节点标签元素(当前判断的父节点标签元素)的标签名称，如果该标签名称为body或者form时，则可以直接确定该合规第二类input标签元素不是待转移input标签元素，并立即终止后续逐级判断过程。

第二数组中的各合规第二类input标签元素均按照上述过程进行判断，以确定出各待转移input标签元素。

S803、将所述待转移input标签元素从所述第二数组转移至所述第一数组。

将各待转移input标签元素按照判断顺序，逐个从第二数组转移至第一数组，相应的，各待转移input标签元素在第一数组中对应一个加入顺序。为了便于后续描述，将完成待转移input标签元素的转移工作后的第一数组称为转移后的第一数组，将完成待转移input 标签元素的转移工作后的第二数组称为转移后的第二数组。

转移后的第一数组中的input标签元素包括type属性值为search的第一类input标签元素、指定属性值中带有search字符串的合规第二类input标签元素、以及在DOM树中4级以内父节点标签元素的属性值带有search字符串的合规第二类input标签元素中的一个或者多个类型。

转移后的第二数组中的input标签元素包括type属性值为text、指定属性值中不带有 search字符串、且DOM树中4级以内父节点标签元素的属性值不带有search字符串或者标签名称为body、form的合规第二类input标签元素。

S804、在转移后的第一数组中确定所述目标input标签元素。

首先，识别转移后的第一数组中的input标签元素的数量是否为0，基于第一数组中 input标签元素的数量，采用对应的方式确定目标input标签元素，具体如下：

在一种实现方式中，如果转移后的第一数组中的input标签元素的数量大于0，则从该转移后的第一数组中的input标签元素中确定目标input标签元素。示例地，识别各input 标签元素的响应状态，并从各处于激活状态的input标签元素中确定一个input标签元素作为目标input标签元素。如果处于激活状态的input标签元素为多个，可以从该处于激活状态的多个input标签元素中随机选择一个input标签元素作为目标input标签元素；也可以选择指定的input标签元素作为目标input标签元素，例如选择最后一个加入该转移后的第一数组，且处于激活状态的input标签元素作为目标input标签元素。

在一些实施例中，如果转移后的第一数组中的input标签元素均处于未激活状态，则将第一个加入该转移后的第一数组的input标签元素作为目标input标签元素。

在一种实现方式中，如果转移后的第一数组中的input标签元素的数量等于0，则将转移后的第二数组中的全部input标签元素转移至第一数组中，得到二次转移后的第一数组。其中，如果转移后的第二数组中的input标签元素的数量也为0，则说明不存在目标input标签元素，即该网站内页面上不存在搜索框。在二次转移后的第一数组中确定目标input标签元素的过程可以参考上一种实现方式中，在转移后的第一数组中确定目标input标签元素的过程，此处不再赘述。

S605、确定所述网站内页面的搜索框，并在所述搜索框中填入所述关键词，以基于所述关键词进行搜索，所述搜索框与所述目标input标签元素对应。

由上述过程可以准确确定目标input标签元素，该目标input标签元素指示网站内页面上的搜索框，显示设备200基于目标input标签元素可以定位网站内页面的搜索框，并在搜索框中填入语音搜索指令中携带的关键词，例如“***”，并基于该搜索框提供的搜索服务，获取与关键词“***”对应的HTML文档数据包，并显示相应的下一级页面。

由以上技术方案可知，显示设备在显示网站内页面时，可以响应于用户发送的语音搜索指令，通过获取该网站内页面的DOM树，以获取DOM树中type属性值为search 和type属性值为text的候选input标签元素，并从候选input标签元素中确定一个处于激活状态的目标input标签元素，进而基于该目标input标签元素确定该网站内页面上的搜索框，为填入关键词提供输入基础。可见，显示设备响应于用户的语音搜索指令，无需与用户进行额外交互，可以自动定位网站内页面上的搜索框，并填入关键词，以完成相应的搜索，可以简化用户操作，提高网站内页面的语音搜索效率，提高用户的体验感。

视口(viewport)代表当前可见的计算机图形区域，其尺寸通常与显示设备200的显示窗口的尺寸相同。在网站内页面的整体尺寸大于视口的尺寸时，即部分网站内页面无法显示于视口内时，需要移动视口的位置，以将该部分网站内页面移动至视口内，进而显示该部分网站内页面。

在本实施例中，当网站内页面的整体尺寸大于视口的尺寸，部分网站内页面无法显示于视口内，且搜索框位于该部分网站内页面上时，(如图10中①所示的搜索框与视口的位置关系示意图，其中，可以将搜索框位于视口以外的情况大致分为8类，示例地，位于视口外的左上方区域，如搜索框A；位于视口外的正上方区域，如搜索框B；位于视口外的右上方区域，如搜索框C；位于视口外的正左方区域，如搜索框D；位于视口外的正右方区域，如搜索框E；位于视口外的左下方区域，如搜索框F；位于视口外的正下方区域，如搜索框G；位于视口外的右下方区域，如搜索框H。)此时，用户将无法获知显示设备200是否成功定位到搜索框，也无法获知显示设备200是否在搜索框内填入了关键词，以及填入的关键词是否正确等信息，令用户与显示设备200之间交互不良。

可以参考如图11所示的流程调整视口，以将搜索框显示于调整后的视口中：

S1101、获取所述搜索框在所述DOM树中对应的第一位置信息，以及当前视口对应的第二位置信息。

渲染(renderer)树是DOM树中用于反映元素在网站内页面上渲染信息的部分节点，渲染信息包括在网站内页面上的位置信息、颜色信息、形状信息等。由此，显示设备200在定位搜索框之后，通过从DOM树中获取与搜索框对应的renderer树，并进一步通过renderer树可以获取到搜索框对应的第一位置信息，示例地，第一位置信息可以表示为(left1，top1，width1，height1)。

在本实施例中，显示设备200接收用户发送的语音搜索指令时的视口称为当前视口，当前视口对应的位置信息称为第二位置信息。视口的位置可以通过如图9中所示的滚动条400调节，由此，视口的位置信息由滚动条对应的位置信息决定，示例地，第二位置信息可以表示为(left2，top2，width2，height2)。

S1102、基于所述第一位置信息和所述第二位置信息，判断所述搜索框是否位于所述当前视口内。

通过对比第一位置信息和第二位置信息，可以确定搜索框相对于当前视口的位置。具体位置情况如下：

(1)若left1＜left2，top1＜top2，表示搜索框在当前视口外的左上方区域，如图10 中①中搜索框A；

(2)若left1＜left2，且left1+width1＜left2+width2，top1＜top2，表示搜索框在当前视口外的正上方区域，如图10中①中搜索框B；

(3)若left1+width1＞left2+width2，top1＜top2，表示搜索框在当前视口外的右上方区域，如图10中①中搜索框C；

(4)若left1＜left2，top1＞top2，且top1+height1＜top2+height2，表示搜索框在当前视口外的正左方区域，如图10中①中搜索框D；

(5)若left1+width1＞left2+width2，top1＞top2，且top1+height1＜top2+height2，表示搜索框在当前视口外的正右方区域，如图10中①中搜索框E；

(6)若left1＜left2，top1+height1＞top2+height2，表示搜索框在当前视口外的左下方区域，如图10中①中搜索框F；

(7)若left1＞left2，且left1+width1＜left2+width2，top1+height1＞top2+height2，表示搜索框在当前视口外的正下方区域，如图10中①中搜索框G；

(8)若left1+width1＞left2+width2，top1+height1＞top2+height2，表示搜索框在当前视口外的右下方区域，如图10中①中搜索框H。

(9)其它情况，表示搜索框位于当前视口内。

S1103、当所述搜索框位于所述当前视口以外时，基于所述第一位置信息和所述第二位置信息计算位置差值信息，并基于所述位置差值信息调整所述当前视口，以使所述搜索框位于调整后的视口内。

可以通过计算第一位置信息与第二位置信息之间的位置差值信息，显示设备200基于该位置差值信息可以调整滚动条400的位置，从而调整当前视口的位置，以使搜索框位于调整后的视口内，具体调整过程如下(与S1102中的位置情况相对应)：

(1)调用Set Scroll Offset(left1-10，top1-10)，搜索框A在如图10中②所示的调整后的视口中显示位置为搜索框A’；

(2)调用Set Scroll Offset(left2，top1-10)，搜索框B在如图10中②所示的调整后的视口中显示位置为搜索框B’；

(3)调用Set Scroll Offset(left1+width1-width2+10，top1-10)，搜索框C在如图10 中②所示的调整后的视口中显示位置为搜索框C’；

(4)调用Set Scroll Offset(left1-10，top2)，搜索框D在如图10中②所示的调整后的视口中显示位置为搜索框D’；

(5)调用Set Scroll Offset(left1+width1-width2+10，top2)，搜索框E在如图10中②所示的调整后的视口中显示位置为搜索框E’；

(6)调用Set Scroll Offset(left1-10，top1+height1-height2+10)，搜索框F在如图 10中②所示的调整后的视口中显示位置为搜索框F’；

(7)调用Set Scroll Offset(left2，top1+height1-height2+10)，搜索框G在如图10 中②所示的调整后的视口中显示位置为搜索框G’；

(8)调用Set Scroll Offset(left1+width1-width2+10，top1+height1-height2+10)，搜索框H在如图10中②所示的调整后的视口中显示位置为搜索框H’。

由此，可以通过调整视口的位置，令搜索框位于调整后的视口内，以将搜索框显示与用户界面上，令用户可以看到网站内页面上的搜索框，并看到显示设备200在搜索框内填入的关键词，从而保证用户的体验感。

进一步地，显示设备200将关键词填入搜索框后，等待预设时间间隔之后，基于该关键词进行搜索，并显示搜索结果，即下一级页面。以此，显示设备200可以为用户提供预设时间间隔对搜索框中的关键词进行纠错，或者对错误发送的语音指令进行撤回等操作，以此提高用户与显示设备200之间的交互有效性。

由以上技术方案可知，显示设备在显示网站内页面时，不仅可以响应于用户发送的语音搜索指令，通过获取该网站内页面的DOM树，以获取DOM树中type属性值为search 和type属性值为text的候选input标签元素，并从候选input标签元素中确定一个处于激活状态的目标input标签元素，进而基于该目标input标签元素确定该网站内页面上的搜索框，为填入关键词提供输入基础。并且可以通过自动调整视口的方式，将定位到的搜索框显示于视口内，以保证搜索框的可见性，提高用户的交互体验感。

本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。

Claims (10)

1.一种显示设备，其特征在于，包括：

显示器，被配置为显示网站内页面；

控制器，被配置为：

在显示所述网站内页面时，接收用户发送的语音搜索指令，所述语音搜索指令指示显示与关键词对应的页面；

响应于所述语音搜索指令，获取所述网站内页面的文件对象模型DOM树；

获取所述DOM树中的全部候选输入input标签元素，所述候选input标签元素包括类型type属性值为搜索search，或者包括type属性值为文本text的input标签元素；

确定目标input标签元素，所述目标input标签元素是指处于激活状态的一个所述候选input标签元素；

确定所述网站内页面的搜索框，并在所述搜索框中填入所述关键词，以基于所述关键词进行搜索，所述搜索框与所述目标input标签元素对应。

2.根据权利要求1所述的显示设备，其特征在于，所述控制器获取所述DOM树中的全部候选input标签元素，被配置为：

获取所述DOM树中的全部input标签元素，以及每个input标签元素的type属性值；

从所述全部input标签元素中筛选出type属性值为search和type属性值为text的待选input标签元素；

从所述待选input标签元素中删除带有只读read only属性值或者不可用disabled属性值的input标签元素，得到所述候选input标签元素。

3.根据权利要求1所述的显示设备，其特征在于，所述控制器确定目标input标签元素，被配置为：

构建第一数组和第二数组，所述第一数组包括第一类input标签元素，所述第二数组包括第二类input标签元素，其中，所述第一类input标签元素是指type属性值为search的候选input标签元素，所述第二类input标签元素是指type属性值为text的候选input标签元素；

确定待转移input标签元素，所述待转移input标签元素是指所述指定属性值包含search字符串的第二类input标签元素，其中，所述指定属性值包括所述第二类input标签元素中指定的属性值，以及所述第二类input标签元素在所述DOM树中4级以内各父节点标签元素的属性值；

将所述待转移input标签元素从所述第二数组转移至所述第一数组；

在转移后的第一数组中确定所述目标input标签元素。

4.根据权利要求3所述的显示设备，其特征在于，所述控制器确定待转移input标签元素，被配置为：

从所述第二数组中移除带有属性值登录login的所述第二类input标签元素，得到合规第二类input标签元素；

识别所述合规第二类input标签元素中指定的属性值是否带有search字符串；

其中，如果带有search字符串，则将相应的所述合规第二类input标签元素确定为所述待转移input标签元素；

如果不带有search字符串，则逐级判断所述合规第二类input标签元素在所述DOM树中4级以内各父节点标签元素的属性值是否带有search字符串，并将带有search字符串的所述合规第二类input标签元素确定为所述待转移input标签元素。

5.根据权利要求4所述的显示设备，其特征在于，所述控制器逐级判断所述合规第二类input标签元素在所述DOM树中4级以内各父节点标签元素的属性值是否带有search字符串，还被配置为：

获取当前判断的父节点标签元素的标签名称；

其中，当所述标签名称为主体body或者表单form时，终止逐级判断。

6.根据权利要求3所述的显示设备，其特征在于，所述控制器确定目标input标签元素，被配置为：

识别转移后的第一数组中input标签元素的数量是否为0；

如果数量不为0，则将转移后的第一数组中处于激活状态的一个input标签元素确定为目标input标签元素；

如果数量为0，则判断转移后的第二数组中input标签元素的数量是否为0，其中，当数量不为0时，将转移后的第二数组中各input标签元素转移至转移后的第一数组中，得到二次转移后的第一数组，并将二次转移后的第一数组中处于激活状态的一个input标签元素确定为目标input标签元素；当数量为0时，则确定不存在所述目标input标签元素。

7.根据权利要求3所述的显示设备，其特征在于，所述控制器在转移后的第一数组中确定所述目标input标签元素，被配置为：

如果转移后的第一数组中存在多个处于激活状态的input标签元素，则将最后一个加入所述第一数组，且处于激活状态的input标签元素确定为所述目标input标签元素；

如果转移后的第一数组中不存在处于激活状态的input标签元素，则将第一个加入所述第一数组的input标签元素确定为所述目标input标签元素。

8.根据权利要求1所述的显示设备，其特征在于，所述控制器确定所述网站内页面的搜索框，被配置为：

获取所述搜索框在所述DOM树中对应的第一位置信息，以及当前视口对应的第二位置信息；

基于所述第一位置信息和所述第二位置信息，判断所述搜索框是否位于所述当前视口内；

其中，当所述搜索框位于所述当前视口以外时，基于所述第一位置信息和所述第二位置信息计算位置差值信息，并基于所述位置差值信息调整所述当前视口，以使所述搜索框位于调整后的视口内。

9.根据权利要求1所述的显示设备，其特征在于，所述控制器在所述搜索框中填入所述关键词，以基于所述关键词进行搜索，被配置为：

所述搜索框中填入所述关键词之后，等待预设时间间隔，基于所述关键词进行搜索。

10.一种网站内页面的语音搜索方法，其特征在于，应用于显示设备，所述方法包括：

在显示所述网站内页面时，接收用户发送的语音搜索指令，所述语音搜索指令指示显示与关键词对应的页面；

响应于所述语音搜索指令，获取所述网站内页面的文件对象模型DOM树；

获取所述DOM树中的全部候选输入input标签元素，所述候选input标签元素包括类型type属性值为搜索search，或者包括type属性值为文本text的input标签元素；

确定目标input标签元素，所述目标input标签元素是指处于激活状态的一个所述候选input标签元素；

确定所述网站内页面的搜索框，并在所述搜索框中填入所述关键词，以基于所述关键词进行搜索，所述搜索框与所述目标input标签元素对应。

Images