CN110737817A - 浏览器的信息处理方法、装置、智能设备及存储介质 - Google Patents

浏览器的信息处理方法、装置、智能设备及存储介质 Download PDF

Info

Publication number
CN110737817A
CN110737817A CN201810720515.7A CN201810720515A CN110737817A CN 110737817 A CN110737817 A CN 110737817A CN 201810720515 A CN201810720515 A CN 201810720515A CN 110737817 A CN110737817 A CN 110737817A
Authority
CN
China
Prior art keywords
voice command
command
voice
current
character string
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810720515.7A
Other languages
English (en)
Inventor
蒋鲲鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201810720515.7A priority Critical patent/CN110737817A/zh
Publication of CN110737817A publication Critical patent/CN110737817A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例提供了一种浏览器的信息处理方法、装置、智能设备及存储介质,该信息处理方法包括:监听输入的语音命令;确定所述语音命令符合搜索模式对应的设置条件时,进入所述搜索模式;在所述搜索模式下,根据所述语音命令和/或继续监听的语音命令生成检索信息,根据所述检索信息对当前网页对应的内容进行搜索并定位检索信息对应的目标信息。本发明实施例中,通过提供搜索模式,在搜索模式下根据语音命令对网页内容进行搜索,从而实现了能够基于语音命令定位目标网页链接,提升了对网页的语音交互控制能力,适于移动VR等应用场景的推广应用。

Description

浏览器的信息处理方法、装置、智能设备及存储介质
技术领域
本发明涉及终端设备控制技术,特别涉及一种浏览器的信息处理方法、装置、智能设备及存储介质。
背景技术
浏览器作为信息互联的主要入口,在社会生活中应用很广泛,在PC、手机等领域,都有广泛的部署和应用。浏览器的用户交互模式起源于PC,用户主要使用鼠标和键盘来控制浏览器,进行网页的浏览,点击,滚动等操作;随着浏览器在手机等移动终端上的应用,通过触摸屏的点击,各种手势滑动,又成为了移动终端上浏览器的主要控制浏览方式。总的来说,在PC、手机这两种场景中,目前的用户交互方式是方便而快捷的。
随着社会的发展,技术的进步,浏览器应用范围也更加广泛,开始进入机顶盒、车载互联、智能电视、虚拟现实(WebVR)等领域。在这些领域,如在机顶盒和智能电视中,主要依靠遥控器按键来控制,很不方便,使用繁琐。在移动VR应用中,特别是使用手机作为显示的移动VR应用模式中(比如Google Class,Google Card Board),控制需要使用眼镜上的按键,浏览网页也不方便。
同时,随着微处理器能力和语音识别技术的进步,目前,涌现出一些通过语音识别控制网页浏览的方案。但现有的语音控制方法一般是将语音输入直接转换为相应的网页操作,如将识别出的语音指令与预设指令集匹配的方案来实现对网页的控制,搜索不到,要求用户继续输入语音,搜索到了就进行执行对应的网页操作,导致用户操作的直观性不强。
发明内容
本发明实施例提供了一种浏览器的信息处理方法、装置、智能设备及存储介质,以解决现有的网页浏览存在的交互体验性差、操作不便的技术问题。
为达到上述目的,本发明实施例的技术方案是这样实现的:
第一方面,本公开实施例提供一种浏览器的信息处理方法,包括以下步骤:
监听输入的语音命令;
确定语音命令符合搜索模式对应的设置条件时,进入搜索模式;
在搜索模式下,根据语音命令和/或继续监听的语音命令生成检索信息,根据检索信息对当前网页对应的内容进行搜索并定位所述检索信息对应的目标信息。
第二方面,本公开实施例提供一种浏览器的信息处理装置,包括:
语音监听模块,用于监听输入的语音命令;
搜索模式模块,用于确定语音命令符合搜索模式对应的设置条件时,进入搜索模式,并在搜索模式下,根据语音命令和/或继续监听的语音命令生成检索信息,根据检索信息对当前网页对应的内容进行搜索并定位所述检索信息对应的目标信息。
第三方面,本公开实施例提供一种智能设备,该智能设备包括处理器和用于存储能够在处理器上运行的计算机程序的存储器;其中,
处理器用于运行计算机程序时,执行本发明任一实施例所述的浏览器的信息处理方法。
第四方面,本公开实施例提供一种存储介质,存储介质中存储有计算机程序,计算机程序被处理器执行时实现本发明任一实施例所述的浏览器的信息处理方法。
本发明实施例提供的浏览器的信息处理方法、装置、智能设备及存储介质,通过浏览器监听语音命令,且在语音命令符合搜索模式对应的设置条件时,进入搜索模式,在搜索模式下根据语音命令对网页内容进行搜索,从而实现了能够基于语音命令定位目标网页链接,无需对网页进行额外解析和配置,避免了系统运行的额外负担,提高了目标网页链接的定位速度,提升了对网页进行语音交互控制的能力,尤其适用于移动VR等应用场景的推广应用。
附图说明
图1是本发明一实施例浏览器的信息处理方法的流程示意图;
图2是本发明另一实施例浏览器的信息处理方法的流程示意图;
图3是本发明又一实施例浏览器的信息处理方法的流程示意图;
图4是本发明一实施例中显示界面状态示意图之一;
图5是本发明一实施例中显示界面状态示意图之二;
图6是本发明一实施例中显示界面状态示意图之三;
图7是本发明一实施例中信息处理装置的原理方框示意图;
图8是本发明一优选实施例中智能设备的原理方框示意图。
具体实施方式
以下结合说明书附图及具体实施例对本发明技术方案做进一步的详细阐述。除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
本发明实施例提供了一种浏览器的信息处理方法,该浏览器的信息处理方法可应用于浏览器,该浏览器用于安装/运行于个人计算机、平板电脑、手机等智能设备中。参见图1,本实施例信息处理方法包括以下步骤:
步骤S100,监听输入的语音命令;
本实施例浏览器可以为应用于PC平台或者移动平台上的浏览器,且PC平台或者移动平台的系统集成了语音识别引擎和语音输入设备,当用户有语音输入时,经系统提供的语音识别引擎,可以将用户输入的语音转换为单个字符或者多个字符组成的字符串,浏览器通过监听线程来处理语音输入的字符或者字符串,以实现对网页的控制。在一实施方式中,考虑到用户语音输入速度和语音识别引擎的处理速度,可以采用单字符处理模式,即语音识别引擎识别单个字符以被监听线程监听。在其他实施例中,语音识别引擎也可以识别包括两个或者两个以上的字符,这样监听线程接收和处理的是包括至少两个字符的字符串。
步骤S200,确定语音命令符合搜索模式对应的设置条件时,进入搜索模式;
在一实施方式中,设置条件可以为浏览器中预先设置或者通过设置的软件应用界面获取预设操作而进行设置,设置条件可以为判断监听的字符是否为单个的预设关键字,比如“搜”、“找”或“查”等类似关键字,或者是“search”等类似的英文关键字。在其他实施例中,当监听对应的是字符串时,设置条件也可以为两个或者两个以上的预设关键字,譬如,判断监听的字符串是否为“搜索”、“检索”或者“查找”等类似关键词,或“search for”等英文关键词。
步骤S300,在搜索模式下,根据语音命令和/或继续监听的语音命令生成检索信息,根据检索信息与当前网页对应的内容进行搜索并定位检索信息对应的目标信息。
本实施例中,在搜索模式下,根据语音命令对应的字符或者字符串生成检索信息,然后对当前网页对应的内容进行搜索,并对检索信息对应的目标信息进行定位,利于聚焦搜索目标,从而进一步快速定位目标网页链接,提高网页链接的定位速度。
相对于目前浏览器集成预设的语音控制命令的方式,本实施例能够实现快速定位目标网页链接的功能,提供流畅的浏览体验。比如,一个新闻类网页的入口主页展示中,每一屏都会有十多行新闻链接,当用户发现感兴趣的新闻,肯定希望能够快速打开该链接,进行进一步的浏览。但是,目前的浏览器集成预设的语音控制命令的方案中,仅能通过预设的语音控制命令相应控制网页向用户感兴趣的链接逐步滚动、翻页等,最终定位到目标网页链接仍需借助于实体按键进行操作。而上述实施例所提供的浏览器的信息处理方法中,通过提供搜索模式,不同于与预置的语音指令集配合的语音交互控制,在搜索模式下根据语音命令对网页内容进行搜索,从而实现了能够基于语音命令定位目标网页链接,无需对网页进行额外解析和配置,避免了系统运行的额外负担,提高了目标网页链接的定位速度,提升了对网页进行语音交互控制的能力,尤其适用于移动VR等应用场景的推广应用。
在一实施方式中,所述步骤S300中,根据语音命令和/或新监听的语音命令生成检索信息包括以下至少之一:
情形一,根据所述语音命令对应的一个或者多个字符生成检索信息;如当首次监听的语音命令对应包含多个字符时,根据除去预设条件对应的关键字或者关键词外的剩余字符生成检索信息;如监听到“搜湖南”,假定预设条件为“搜”,则检索信息对应“湖南”。
情形二,根据所述语音命令对应的一个或者多个字符结合所述继续监听的语音命令对应的一个或者多个字符生成检索信息;如,当首次监听的语音命令对应包含多个字符时,在搜索模式下继续监听并获得继续监听的语音命令,根据在先语音命令对应的一个或者多个字符结合继续监听的语音命令对应的一个或者多个字符生成检索信息;如首次监听到语音“搜湖南”并继续监听到“新”,则以“湖南”和“新”合并,生成检索信息“湖南新”。
情形三,判断所述继续监听的语音命令是否为预设指令集中对应的任一指令,确定所述继续监听的语音命令不属于所述预设指令集时,根据所述继续监听的语音命令对应的一个或者多个字符生成检索信息;如,当首次监听的语音命令为单个字符,且进入搜索模式下,需要继续监听新的语音命令,优先判断继续监听的语音命令是否为预设指令集对应的任一指令,确定继续监听的语音命令不属于预设指令集时,根据继续监听的语音命令对应的一个或者多个字符生成检索信息。
在一实施方式中,所述步骤S300中,根据检索信息与当前网页对应的内容进行搜索并定位检索信息对应的目标信息包括:
根据当前检索信息对当前网页对应的内容进行搜索,相应于搜索出至少两个匹配节点时,根据预置规则将所述匹配节点中的一个节点作为聚焦目标以第一状态标识显示,将所述匹配节点中的其他节点作为待选目标网页链接以第二状态标识显示。本发明实施例中,目标信息对应网页内容的节点,节点是指当前网页对应的内容分段后对应的数据,如各节点包括介绍链接内容的文本以及相应的链接URL地址,利于搜索。聚焦目标对应初始的目标网页链接。需要说明的是,第一状态标识和第二状态标识可以理解为能够相互区别的不同状态标识即可,如两种字体大小不同的状态标识、两种颜色不同的状态标识、两种颜色相同但颜色深度不同的状态标识等。以第一状态标识和第二状态标识为两种颜色不同的状态标识为例,在搜索出至少两个匹配节点时,可以假定左上对应的匹配节点作为聚焦目标,而其它匹配节点作为待选目标网页链接,第一状态标识为采用第一颜色(如绿色)的半透明标注,第二状态标识为采用第二颜色(如黄色)的半透明标注,以在视觉上将搜索结果直观地反馈给用户,便于用户快速锁定当前网页上与检索信息匹配的内容。
继续监听语音命令,在确定继续监听的语音命令不属于预设指令集时,根据继续监听的语音命令更新所述当前检索信息,并根据更新后的所述当前检索信息返回所述根据当前检索信息对当前网页对应的内容进行搜索的步骤。通过继续监听语音命令,根据继续监听到的语音命令形成更新后的当前检索信息而在当前网页对应的内容进行搜索,便于用户根据目前得到的搜索结果的数量进一步给出具体的检索信息,通过限缩检索信息的范围而可以调整聚焦目标直接锁定到自己想要的目标网页链接的位置,从而利用更新后的当前检索信息能够更准确地匹配到目标网页链接。由于当前检索信息对应的字符越多,匹配的节点数则越少,当仅匹配到唯一节点时,则可以确定该节点为目标网页链接,利于减少用户操作环节。
在一实施方式中,根据继续监听的语音命令更新当前检索信息包括:
根据所述继续监听的语音命令对应的一个字符或者多个字符与所述当前检索信息对应的缓存信息,更新所述当前检索信息,并根据更新后的所述当前检索信息更新所述缓存信息。以当前检索信息为“湖南”为例,与该检索信息对应的缓存信息为“湖南”,继续监听的字符为“新”,则根据继续监听的语音命令对应的字符和当前检索信息对应的缓存信息进行合并,更新后的当前检索信息为“湖南新”,且缓存信息更新为“湖南新”,以供后续搜索调用。
本实施例实现了一种启发式快速定位链接方法,结合了用户的语音输入和视觉反馈,帮助用户快速定位网页链接,其典型场景如下:
一、网页的某一屏内容已经呈现给用户;
二、用户浏览该屏网页内容,发现感兴趣的链接标签;
三、用户说出该链接标签的文本内容,用户每说一个字符,浏览器都自动搜索到所有匹配的节点,并在匹配字符段添加半透明标注(既在匹配文字段上叠加半透明颜色块),给用户视觉提醒;
四、随着用户说的越多字符,需要匹配的字符串也愈长,能够匹配该字符串的标签越少,最后定位到目标标签;通常情况下,用户说两、三个字就可以匹配到唯一的目标标签。
在一实施方式中,根据当前检索信息对当前网页对应的内容进行搜索的步骤包括:
确定搜索的起始节点和结束节点;
根据当前检索信息,在起始节点和结束节点之间,进行匹配搜索。
本实施例中,确定搜索的起始节点和结束节点包括:从当前网页显示的可视区域对应节点范围确定搜索的起始节点和结束节点;或者从当前网页对应的全网页节点范围确定搜索的起始节点和结束节点。采用可视区域对应的节点范围确定搜索的起始节点和结束节点,便于用户对可视界面的内容进行快速搜索;在其他实施例中,采用全网页对应的节点范围确定搜索的起始节点和结束节点,利于将对全网页相关的内容进行搜索,而不局限于可视界面的内容范围。
对于有多个节点同时匹配情况,浏览器可以自动将屏幕最左上方的匹配节点设置为聚焦目标,聚焦目标和其他匹配节点使用不同的颜色块标记,以提示用户。在一实施方式中,用户可以通过语音移动命令来控制聚焦目标移动到目标网络链接。
在一实施例中,采用语音命令进行控制的方案包括:
确定继续监听的语音命令为所述预设指令集中移动聚焦目标对应的第一命令时,根据所述第一命令将所述第一状态标识显示位置于所述多个匹配节点之间移动。其中,第一命令可以包括“上”、“下”、“左”、“右”等方向性语音命令,以相应控制第一状态标识显示位置的在多个匹配节点之间上、下、左、右方向移动,使得第一状态标识显示位置最终移动到自己想要的匹配节点,也即目标网页链接上。
在另一可选实施例中,采用语音命令进行控制的方案包括:确定继续监听的语音命令为所述预设指令集中打开链接对应的第二命令时,根据所述第二命令打开所述第一状态标识当前所在位置对应的网页链接。其中,第二命令可以包括“打开”、“开”等指示打开第一状态标识当前所在位置对应的网页链接的指令,以实现通过语音命令而直接打开所需目标网页链接。
在另一可选实施例中,采用语音命令进行控制的方案包括:确定继续监听的语音命令为所述预设指令集中移动网页对应的第三命令时,根据所述第三命令控制显示界面横向和/或纵向滚动。其中,第三命令为可以包括“快上”、“快下”、“翻页”、“进”等指示当前显示界面横向滚动或纵向滚动的指令,以实现通过语音命令快速切换当前显示界面所显示的网页的区域,以更好地适应于不同显示界面的智能设备对网页的浏览。
在另一可选实施例中,采用语音命令进行控制的方案包括:确定继续监听的语音命令为所述预设指令集中退出搜索模式对应的第四命令时,根据所述第四命令控制浏览器退出所述搜索模式。其中,第四命令可以包括“退”、“退出”等指示退出搜索模式的指令,以便于用户根据实际情况快速终止搜索模式。
在一实施方式中,根据当前检索信息对当前网页对应的内容进行搜索并定位检索信息对应的目标信息还包括:
未搜索到匹配节点时,清空当前缓存的缓存信息和/或清除状态标识显示,并返回搜索模式下的继续监听。由于随着用户的语音命令的输入,对语音命令进行缓存所对应形成的搜索字符串也愈长,若未搜索到匹配节点,则清空当前缓存的缓存信息,以便于重新输入更加合适的语音命令以重新设置搜索对应的检索信息。在一实施方式中,清空当前缓存的缓存信息时,若当前网页中存在状态标识,则一并清除,便于后续根据重新输入的语音命令对应形成的检索信息,对搜索到的结果进行重新标注。
在一实施方式中,监听输入的语音命令之后,还包括:
确定所述语音命令不符合搜索模式对应的设置条件时,进入普通语音命令处理模式;
在所述普通语音命令处理模式下,根据所述语音命令和/或继续监听的语音命令与语音指令集进行匹配搜索。通过根据已监听和/或继续监听的语音命令对语音指令集进行匹配搜索,使得将监听的语音命令转换为语音指令集中对应的任一操作,从而实现对浏览器的智能操控。
本实施例中,普通语音命令处理模式下,信息处理方法包括:
根据当前监听的所述语音命令对应的字符在预设的语音指令集合中进行搜索;
确定匹配到对应的语音指令,则执行该语音指令对应的操作;
确定未匹配到对应的语音指令时,缓存当前监听的语音命令以生成缓存字符串,所述缓存字符串用于与继续监听的语音命令对应的字符结合生成用于匹配语音指令的搜索字符串并更新所述缓存字符串;
当所述缓存字符串小于阈值时,继续监听语音命令,并根据继续监听的语音命令与当前的所述缓存字符串结合在所述语音指令集中进行搜索及更新所述缓存字符串;
当所述缓存字符串等于或者超过阈值时,清空所述缓存字符串,并返回所述监听输入的语音命令的步骤。
本实施例将首次监听的语音命令直接对语音指令集合进行匹配搜索,便于提高响应速度,且对未匹配的语音命令进行缓存生成缓存字符串,继续监听的语音命令对应的字符与缓存字符串结合生成新的用于匹配搜索的字符串,利于后续的语音指令的快速匹配和执行。
在另一实施例中,普通语音命令处理模式下,信息处理方法包括:
添加当前监听的所述语音命令对应的字符至缓存字符串,根据所述缓存字符串在预设的语音指令集合中进行搜索;
确定匹配到对应的语音指令,则执行该语音指令对应的操作;
确定未匹配到对应的语音指令时,继续监听输入的语音命令,并将所述继续监听到的语音命令更新至所述缓存字符串;
当更新后的所述缓存字符串小于阈值时,根据所述更新后的所述缓存字符串返回所述根据所述缓存字符串在预设的语音指令集合中进行搜索的步骤;
当所述缓存字符串等于或者超过阈值时,清空所述缓存字符串,并返回所述监听输入的语音命令的步骤。
在该实施例中,通过当前的缓存字符串对语音指令集合进行匹配搜索,并在匹配时执行对应操作,使得执行逻辑简单、可靠。
为了能够对本发明实施例所提供的浏览器的信息处理方法的实现逻辑做进一步清楚的说明,图2示出了在一实施方式中,浏览器信息处理方法的执行流程。接下来,将结合图2对该实施方式的执行流程说明如下:
步骤S101:监听输入的语音命令;浏览器监听语音命令输入,可以通过系统的语音识别引擎和语音输入设备,当用户有语音输入时,系统的语音识别引擎会转换为字符,并通知浏览器监听线程,来处理语音输入对应的字符,考虑到用户语音输入速度和语音识别引擎的处理速度,本实施例采用单字符处理模式,即浏览器收到一个字符处理一个字符。请参阅图4,表示用户第一次打开网页,还没有语音命令输入时的状态。
步骤S102:判断是否为搜索命令;浏览器判断输入字符是否是搜索命令目标信息,比如“搜”。请参阅图5,表述用户输入“搜”的语音命令后,进入搜索模式下的界面示意图。
步骤S103:若是,进入搜索模式;浏览器判断当前输入的是搜索命令关键字时,设置浏览器进入语音搜索命令的处理模式(即文中的搜索模式)。
步骤S104:继续监听输入的语音命令;在搜索模式下,浏览器继续监听语音命令。
步骤S105:判断是否为移动命令;浏览器判断继续监听到的语音字符是否移动标注关键字;
如:前->聚焦到前一个标注;
后->聚焦到后一个标注。
步骤S106:若是移动命令,在半透明标注集合中上下选择聚焦目标;浏览器判断当前输入的是标注移动命令时,则按照命令,聚焦当前标注的前一个或后一个标注,将老的聚焦目标的颜色设置为普通标注的颜色,将新的聚焦目标的颜色设置聚焦专用的颜色;如果当前没有匹配标注集合,或匹配标注只有一条,则不做任何操作。
步骤S107:若不为移动命令,进一步判断是否为打开链接命令;浏览器判断继续监听到的语音字符是否是打开链接命令,即打开标签的命令关键字:
如:开->打开当前聚焦目标对应的网页链接。
步骤S108:若为打开链接命令,打开聚焦目标对应的链接,加载新网页;浏览器打开当前聚焦目标对应的网页链接,并退出搜索模式;如果没有聚焦标注,则只退出搜索模式。
步骤S109:若不为打开链接命令,进一步判断是否为退出搜索命令;浏览器判断继续监听到的语音字符是否是退出搜索命令,即退出搜索模式的命令关键字:
如:退->退出搜索模式。
步骤S110:若为退出搜索命令,清空标注和缓存字符串;浏览器根据退出搜索模式命令退出当前的搜索模式,清空缓存字符串,清空半透明颜色标注集合。
步骤S111:若不为退出搜索命令,构造搜索字符串,输出匹配节点集合;浏览器根据继续监听到的语音字符以及之前保存的字符串,构造新的搜索字符串,并将新的字符串缓存起来,以备下次使用;然后,再根据当前页面的可视范围,确定搜索的起始节点和结束节点;最后,使用搜索字符串,在起始节点和结束节点之间,进行匹配搜索,最后输出所有的匹配节点集合。请再次参阅图5,表示用户进入到搜索模式下后,输入“普”的语音命令后,浏览器构造“普”作为搜索字符串进行检索,输出匹配节点集合的界面示意图。进一步参阅图6,表示用于进入到搜索模式下后,输入“普”的语音命令后,进一步输入“通”的语音命令,浏览器构造继续监听到的语音命令“通”与在先输入的“普”的语音命令,构造新的搜索字符串“普通”并进行检索,输出匹配节点结合的界面示意图。需要说明的是,图4至图6仅为浏览器界面的示意图。
步骤S112:判断是否有匹配节点;浏览器判断匹配节点集合中是否有数据。
步骤S113:若无匹配节点,清除所有半透明标注集合和缓存字符串;浏览器判断当前匹配节点集合没有数据,则执行清理工作,清除之前的标注集合以及步骤S111中缓存的搜索字符串。
步骤S114:若有匹配节点,根据匹配结果,构造半透明标注集合,并设置聚焦目标,刷新网页布局,显示刷新的内容;浏览器判断当前匹配节点集合有数据,根据匹配节点集合,生成一个标注集合,在该集合中,每一个标注都包含的标注颜色,标注的起始字符位置,结束字符位置;并设置最左、最上的标注为聚焦目标。请再次参阅图5,当根据搜索字符串“普”进行检索,搜索到多个匹配节点如“普通”、“普京”时,将左上的匹配节点“普通”作为聚焦标记进行第一状态标识显示,将其它匹配节点“普京”作为待选目标网页链接进行第二状态标识显示。请再次参阅图6,当根据新的搜索字符串“普通”进行检索,搜索到唯一匹配节点如“普通”时,则直接将唯一匹配节点作为目标网页链接进行第一状态标识显示。此时,用户期望的目标网页链接的标签选择工作已结束,用户可以进行打开链接等进一步操作。
需要说明的是,上述步骤的执行顺序仅为示例,并不构成对本发明保护范围的限制。
在一实施方式中,在步骤S102中,当判断输入的语音命令不是搜索命令时,将进入普通语音命令处理模式。图3示出了在一实施方式中,普通语音命令处理模式的流程示意图,以下将描述普通语音命令处理模式的流程:
步骤S201:监听输入的语音命令,此步骤可以参照前述的步骤S101。
步骤S202:判断是否为搜索命令,浏览器判断输入字符是否是搜索命令关键字,比如“搜”。
步骤S203:不是搜索字符,进入普通语音命令处理模式,在语音指令集合中搜索。使用输入的语音命令字符和缓存字符串构成语音命令字符串,在浏览器支持的语音指令集合中进行搜索。
步骤S204:判断是否有匹配指令,即判断在语音指令集合中是否搜索到匹配的语音指令。
步骤S205:清空缓存字符串,执行对应的操作。若搜索到匹配指令,清空缓存字符串,执行指令对应的操作。本实施例中,支持的语音指令包括但不限于:
上(up):控制网页向上滚动
下(down):控制网页向下滚动
快上(up screen):控制网页显示向上滚动一屏
快下(down screen):控制网页显示向下滚动一屏
左(left):控制网页向左移动
右(right):控制网页向右移动
退(back):回退一个浏览网页
进(forward):前进一个浏览网页
开(go):打开聚焦链接。
步骤S206:缓存输入字符。若没有搜索到匹配指令,添加输入字符到缓存字符串。
步骤S207:判断是否超过限制,即判断缓存字符串总长度是否超过最大限制,如10个字符,若否则返回步骤S201,若是则执行步骤S208。
步骤S208:清空缓存字符串,若缓存字符串总长度超过最大限制,清空缓存字符串,并返回步骤S201。
根据本发明的另一方面,参见图7,还提供一种浏览器的信息处理装置100,为与上述方法实施例对应的程序模块,其包括:
语音监听模块110,用于监听输入的语音命令;
搜索模式模块120,用于确定语音命令符合搜索模式对应的设置条件时,进入搜索模式,并在搜索模式下,根据语音命令和/或继续监听的语音命令生成检索信息,根据检索信息对当前网页对应的内容进行搜索并定位检索信息对应的目标信息。
本实施例中,搜索模式模块120根据语音命令和/或继续监听的语音命令生成检索信息包括以下至少之一:
情形一,当首次监听的语音命令对应多个字符时,根据除去预设条件对应的目标信息或者关键词外的剩余字符生成检索信息;
情形二,当首次监听的语音命令对应多个字符时,在搜索模式下监听新的语音命令,根据语音命令对应的一个或者多个字符结合新监听的语音命令对应的一个或者多个字符生成检索信息;
情形三,首次监听的语音命令为单个字符,且进入搜索模式下,需要继续监听新的语音命令,优先判断新监听的语音命令是否为预设指令集对应的任一指令,确定新监听的语音命令不属于预设指令集时,根据新监听的语音命令对应的一个或者多个字符生成检索信息。
本实施例中,所述搜索模式模块120,还可以用于:根据当前检索信息对当前网页对应的内容进行搜索,相应于搜索出至少两个匹配节点时,根据预置规则将所述匹配节点中的一个节点作为聚焦目标以第一状态标识显示,将所述匹配节点中的其他节点作为待选目标网页链接以第二状态标识显示。
需要说明的是,第一状态标识和第二状态标识可以理解为能够相互区别的不同状态标识即可,如两种字体大小不同的状态标识、两种颜色不同的状态标识、两种颜色相同但颜色深度不同的状态标识等。以第一状态标识和第二状态标识为两种颜色不同的状态标识为例,在搜索出至少两个匹配节点时,可以假定左上对应的匹配节点作为聚焦目标,而其它匹配节点作为待选目标网页链接,第一状态标识为采用第一颜色(如绿色)的半透明标注,第二状态标识为采用第二颜色(如黄色)的半透明标注,以在视觉上将搜索结果直观地反馈给用户,便于用户快速锁定当前网页上与检索信息匹配的内容。
在一实施方式中,搜索模式模块120还用于继续监听语音命令,在确定继续监听的语音命令不属于预设指令集时,根据继续监听的语音命令更新所述当前检索信息,并根据更新后的所述当前检索信息返回所述根据当前检索信息对当前网页对应的内容进行搜索。
在一实施方式中,搜索模式模块120根据继续监听的语音命令更新当前检索信息包括:
根据所述继续监听的语音命令对应的一个字符或者多个字符与所述当前检索信息对应的缓存信息,更新所述当前检索信息,并根据更新后的所述当前检索信息更新所述缓存信息。
在一实施方式中,搜索模式模块120根据当前检索信息对当前网页对应的内容进行搜索包括:
确定搜索的起始节点和结束节点;
根据当前检索信息,在起始节点和结束节点之间,进行匹配搜索。
本实施例中,确定搜索的起始节点和结束节点包括:从网页显示的可视区域对应节点范围确定搜索的起始节点和结束节点;或者从全网页对应的节点范围确定搜索的起始节点和结束节点。采用可视区域对应的节点范围确定搜索的起始节点和结束节点,便于用户对可视界面的内容进行快速搜索;在其他实施例中,采用全网页对应的节点范围确定搜索的起始节点和结束节点,利于将对全网页相关的内容进行搜索,而不局限于可视界面的内容范围。
在另一实施例中,搜索模式模块120还可以包括指令执行子模块(附图中未示出),用于确定语音命令为预设指令集中任一时,执行预设指令对应的操作;其中,预设指令集可以包括但不限于:移动聚焦目标对应的第一命令、打开链接对应的第二命令、移动网页对应的第三命令、退出搜索模式对应的第四命令;当语音命令为第一命令时,控制聚焦标注前移至多个匹配节点中的前一个或者后移至多个匹配节点中的后一个,以实现聚焦标注的移动;当语音命令为第二命令时,打开当前聚焦标注对应的网页链接;当语音命令为第三命令时,控制网页向上滚动或者向下滚动;当语音命令为第四命令时,退出搜索模式。
在另一实施例中,信息处理控制装置100还可以包括普通语音命令处理模块130,用于语音命令不符合搜索模式对应的预设条件时,执行用于与语音指令集合匹配搜索的普通语音命令处理模式。普通语音命令处理模块130的具体执行过程参照上述方法实施例,在此不做赘述。
需要说明的是:上述实施例提供的信息处理装置在进行信息处理时,仅以上述各程序模块的划分进行举例说明,实际应用中,可以根据需要而将上述处理分配由不同的程序模块完成,即将装置的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分处理。另外,上述实施例提供的信息处理装置与信息处理方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
根据本发明的另一方面,还提供一种智能设备实施例,参见图8,该智能设备包括处理器200和用于存储能够在处理器200上运行的计算机程序的存储器300;其中,
处理器200用于运行计算机程序时,执行本发明任一实施例所提供的浏览器的信息处理方法。
在一实施方式中,该智能设备还包括:至少一个网络接口500。该设备中的各个组件通过总线系统400耦合在一起。可理解,总线系统400用于实现这些组件之间的连接通信。总线系统400除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图8中将各种总线都标为总线系统400。
在一实施方式中,处理器200执行本发明任一实施例所提供的浏览器的信息处理方法时,浏览器用于负责接收语音识别模块输出的字符,并解析为相关的网页控制工作,控制网页,按照用户的指令进行显示;网页运行对应的网页存储模块,用于存储HTML格式的文本文件,里面包含了很多标签(即节点),如常见的超链接标签(包含了介绍链接内容的文本,以及相应的链接URL地址),由浏览器负责进行解析,布局和显示。该智能设备还可以包括用于实时采集外界输入语音的语音采集设备,该语音采集设备可以为麦克风或者其他用于将语音信号转换为电信号的采集设备,存储器上还包括语音识别模块,该语音识别模块用于将语音对应的电信号转化为可识别的字符。
需要说明的是,本实施例中,存储器可以为与处理器通信的单个或者多个,即上述程序模块可以设置在单个存储器内,或者分立设置于多个存储器内。
本实施例智能设备可以为智能电视、机顶盒、手机、平板设备或者VR终端等。本实施例可以用于手机VR模式(Google Card Board)下的网页浏览,也可用于智能电视、机顶盒等,使用浏览器进行节目导航。
比如,在手机VR模式(Google Card Board)下,手机被放在VR盒子里,主要被用作VR显示,控制主要通过VR盒子上的按键,如果浏览网页,不是很方便,本实施例可以在这种场景下提升用户的使用体验。另外,除了浏览网页,对于基于WebVR开发的VR游戏,因为,基于WebVR开发,这些游戏运行都在浏览器上运行,对于这些游戏的用户来说,本发明实施例可以提升用户在道具购买、剧本选择等场景中的体验。
在智能电视或机顶盒的应用场景下,用户主要使用遥控器控制浏览器进行换台、选节目等操作,但常常需要多次按键,本发明实施例则可以帮助用户使用语音来快速定位电视台或视频等,提升用户体验。
在示例性实施例中,本发明实施例还提供了一种可读存储介质,例如包括可执行程序的存储器,上述可执行程序可由处理器执行,以完成本发明任一实施例所提供的浏览器的信息处理方法的步骤。可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、FlashMemory、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备,如计算机设备等。
以上所述仅为本发明具体实施例,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。本发明的保护范围应以所述权利要求的保护范围以准。

Claims (13)

1.一种浏览器的信息处理方法,其特征在于,包括以下步骤:
监听输入的语音命令;
确定所述语音命令符合搜索模式对应的设置条件时,进入所述搜索模式;
在所述搜索模式下,根据所述语音命令和/或继续监听的语音命令生成检索信息,根据所述检索信息对当前网页对应的内容进行搜索并定位所述检索信息对应的目标信息。
2.如权利要求1所述的浏览器的信息处理方法,其特征在于,所述根据所述语音命令和/或继续监听的语音命令生成检索信息包括以下至少之一:
根据所述语音命令对应的一个或者多个字符生成检索信息;
根据所述语音命令对应的一个或者多个字符结合所述继续监听的语音命令对应的一个或者多个字符生成检索信息;
判断所述继续监听的语音命令是否为预设指令集中对应的任一指令,确定所述继续监听的语音命令不属于所述预设指令集时,根据所述继续监听的语音命令对应的一个或者多个字符生成检索信息。
3.如权利要求1所述的浏览器的信息处理方法,其特征在于,所述根据所述检索信息对当前网页对应的内容进行搜索并定位所述检索信息对应的目标信息包括:
根据当前检索信息对当前网页对应的内容进行搜索,相应于搜索出至少两个匹配节点时,根据预置规则将所述匹配节点中的一个节点作为聚焦目标以第一状态标识显示,将所述匹配节点中的其他节点作为待选目标网页链接以第二状态标识显示;
继续监听语音命令,确定继续监听的语音命令不属于所述预设指令集时,根据继续监听的语音命令更新所述当前检索信息,并根据更新后的所述当前检索信息返回所述根据当前检索信息对当前网页对应的内容进行搜索的步骤。
4.如权利要求3所述的浏览器的信息处理方法,其特征在于,所述继续监听语音命令之后,还包括以下至少之一:
确定继续监听的语音命令为所述预设指令集中移动聚焦目标对应的第一命令时,根据所述第一命令将所述第一状态标识显示位置于所述多个匹配节点之间移动;
确定继续监听的语音命令为所述预设指令集中打开链接对应的第二命令时,根据所述第二命令打开所述第一状态标识当前所在位置对应的网页链接;
确定继续监听的语音命令为所述预设指令集中移动网页对应的第三命令时,根据所述第三命令控制显示界面横向和/或纵向滚动;
确定继续监听的语音命令为所述预设指令集中退出搜索模式对应的第四命令时,根据所述第四命令控制浏览器退出所述搜索模式。
5.如权利要求3所述的浏览器的信息处理方法,其特征在于,所述根据继续监听的语音命令更新所述当前检索信息,包括:
根据所述继续监听的语音命令对应的一个字符或者多个字符与所述当前检索信息对应的缓存信息,更新所述当前检索信息,并根据更新后的所述当前检索信息更新所述缓存信息。
6.如权利要求3所述的浏览器的信息处理方法,其特征在于,所述根据当前检索信息对当前网页对应的内容进行搜索包括:
确定搜索的起始节点和结束节点;
根据所述当前检索信息,在所述起始节点和所述结束节点之间,对当前网页对应的内容与所述当前检测信息是否匹配而进行匹配搜索。
7.如权利要求3所述的浏览器的信息处理方法,其特征在于,所述根据所述检索信息对当前网页对应的内容进行搜索并定位所述检索信息对应的目标信息,还包括:
确定未搜索到匹配节点时,清空当前缓存的缓存信息和/或清除状态标识显示,并返回所述继续监听语音命令的步骤。
8.如权利要求6所述的浏览器的信息处理方法,其特征在于,所述确定搜索的起始节点和结束节点包括:
从所述当前网页显示的可视区域对应的节点范围内,确定搜索的起始节点和结束节点;或者
从所述当前网页对应的全部节点范围内,确定搜索的起始节点和结束节点。
9.如权利要求1所述的浏览器的信息处理方法,其特征在于,所述监听输入的语音命令之后,还包括:
确定所述语音命令不符合搜索模式对应的设置条件时,进入普通语音命令处理模式;
在所述普通语音命令处理模式下,根据所述语音命令和/或继续监听的语音命令与语音指令集进行匹配搜索。
10.如权利要求9所述的浏览器的信息处理方法,其特征在于,所述根据所述语音命令和/或继续监听的语音命令与语音指令集进行匹配搜索包括:
根据当前监听的所述语音命令对应的字符在预设的语音指令集合中进行搜索;
确定匹配到对应的语音指令,则执行该语音指令对应的操作;
确定未匹配到对应的语音指令时,缓存当前监听的语音命令以生成缓存字符串,所述缓存字符串用于与继续监听的语音命令对应的字符结合生成用于匹配语音指令的搜索字符串并更新所述缓存字符串;
当所述缓存字符串小于阈值时,继续监听语音命令,并根据继续监听的语音命令与当前的所述缓存字符串结合在所述语音指令集中进行搜索及更新所述缓存字符串;
当所述缓存字符串等于或者超过阈值时,清空所述缓存字符串,并返回所述监听输入的语音命令的步骤;
或者
所述根据所述语音命令和/或继续监听的语音命令与语音指令集进行匹配搜索包括:
添加当前监听的所述语音命令对应的字符至缓存字符串,根据所述缓存字符串在预设的语音指令集合中进行搜索;
确定匹配到对应的语音指令,则执行该语音指令对应的操作;
确定未匹配到对应的语音指令时,继续监听输入的语音命令,并将所述继续监听到的语音命令更新至所述缓存字符串;
当更新后的所述缓存字符串小于阈值时,根据所述更新后的所述缓存字符串返回所述根据所述缓存字符串在预设的语音指令集合中进行搜索的步骤;
当所述缓存字符串等于或者超过阈值时,清空所述缓存字符串,并返回所述监听输入的语音命令的步骤。
11.一种浏览器的信息处理装置,其特征在于,包括:
语音监听模块,用于监听输入的语音命令;
搜索模式模块,用于确定所述语音命令符合搜索模式对应的设置条件时,进入所述搜索模式,并在所述搜索模式下,根据所述语音命令和/或继续监听的语音命令生成检索信息,根据所述检索信息对当前网页对应的内容进行搜索并定位所述检索信息对应的目标信息。
12.一种智能设备,其特征在于,所述智能设备包括处理器和用于存储能够在处理器上运行的计算机程序的存储器;其中,
所述处理器用于运行所述计算机程序时,执行权利要求1至10中任一项所述的浏览器的信息处理方法。
13.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的浏览器的信息处理方法。
CN201810720515.7A 2018-07-02 2018-07-02 浏览器的信息处理方法、装置、智能设备及存储介质 Pending CN110737817A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810720515.7A CN110737817A (zh) 2018-07-02 2018-07-02 浏览器的信息处理方法、装置、智能设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810720515.7A CN110737817A (zh) 2018-07-02 2018-07-02 浏览器的信息处理方法、装置、智能设备及存储介质

Publications (1)

Publication Number Publication Date
CN110737817A true CN110737817A (zh) 2020-01-31

Family

ID=69234344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810720515.7A Pending CN110737817A (zh) 2018-07-02 2018-07-02 浏览器的信息处理方法、装置、智能设备及存储介质

Country Status (1)

Country Link
CN (1) CN110737817A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763959A (zh) * 2021-10-19 2021-12-07 康佳集团股份有限公司 基于信息重组的语音控制方法、装置、终端及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1073036A2 (en) * 1999-07-30 2001-01-31 Canon Kabushiki Kaisha Parsing of downloaded documents for a speech synthesis enabled browser
CN101576901A (zh) * 2009-06-11 2009-11-11 腾讯科技(深圳)有限公司 搜索请求的产生方法及移动通信设备
CN102591932A (zh) * 2011-12-23 2012-07-18 优视科技有限公司 语音搜索方法及系统、移动终端、中转服务器
CN102629246A (zh) * 2012-02-10 2012-08-08 北京百纳信息技术有限公司 识别浏览器语音命令的服务器及浏览器语音命令识别方法
CN103458126A (zh) * 2013-09-10 2013-12-18 深圳市明日空间信息技术有限公司 通话设备信息智能搜索的方法及装置
US20140032652A1 (en) * 2012-07-30 2014-01-30 Tencent Technology (Shenzhen) Company Limited Web browser operation method and system
CN105979394A (zh) * 2015-12-04 2016-09-28 乐视致新电子科技(天津)有限公司 智能电视的浏览器操作方法及智能电视
CN106250474A (zh) * 2016-07-29 2016-12-21 Tcl集团股份有限公司 一种语音控制的处理方法及系统
CN106504748A (zh) * 2016-10-08 2017-03-15 珠海格力电器股份有限公司 一种语音控制方法和装置
CN107656933A (zh) * 2016-07-25 2018-02-02 中兴通讯股份有限公司 一种语音播报方法及装置
CN107992587A (zh) * 2017-12-08 2018-05-04 北京百度网讯科技有限公司 一种浏览器的语音交互方法、装置、终端和存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1073036A2 (en) * 1999-07-30 2001-01-31 Canon Kabushiki Kaisha Parsing of downloaded documents for a speech synthesis enabled browser
CN101576901A (zh) * 2009-06-11 2009-11-11 腾讯科技(深圳)有限公司 搜索请求的产生方法及移动通信设备
CN102591932A (zh) * 2011-12-23 2012-07-18 优视科技有限公司 语音搜索方法及系统、移动终端、中转服务器
CN102629246A (zh) * 2012-02-10 2012-08-08 北京百纳信息技术有限公司 识别浏览器语音命令的服务器及浏览器语音命令识别方法
US20140032652A1 (en) * 2012-07-30 2014-01-30 Tencent Technology (Shenzhen) Company Limited Web browser operation method and system
CN103458126A (zh) * 2013-09-10 2013-12-18 深圳市明日空间信息技术有限公司 通话设备信息智能搜索的方法及装置
CN105979394A (zh) * 2015-12-04 2016-09-28 乐视致新电子科技(天津)有限公司 智能电视的浏览器操作方法及智能电视
CN107656933A (zh) * 2016-07-25 2018-02-02 中兴通讯股份有限公司 一种语音播报方法及装置
CN106250474A (zh) * 2016-07-29 2016-12-21 Tcl集团股份有限公司 一种语音控制的处理方法及系统
CN106504748A (zh) * 2016-10-08 2017-03-15 珠海格力电器股份有限公司 一种语音控制方法和装置
CN107992587A (zh) * 2017-12-08 2018-05-04 北京百度网讯科技有限公司 一种浏览器的语音交互方法、装置、终端和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763959A (zh) * 2021-10-19 2021-12-07 康佳集团股份有限公司 基于信息重组的语音控制方法、装置、终端及存储介质
CN113763959B (zh) * 2021-10-19 2024-01-26 康佳集团股份有限公司 基于信息重组的语音控制方法、装置、终端及存储介质

Similar Documents

Publication Publication Date Title
US7779370B2 (en) User interface for mobile devices
US8825694B2 (en) Mobile device retrieval and navigation
US20080235621A1 (en) Method and Device for Touchless Media Searching
WO2010000208A1 (en) Resource locator suggestions from input character sequence
US11157576B2 (en) Method, system and terminal for performing search in a browser
CN113190741B (zh) 搜索方法、装置、电子设备及存储介质
US8429152B2 (en) Terminal device, content displaying method, and content displaying program
CN112307365A (zh) 信息显示方法、装置、电子设备及存储介质
CN105988704B (zh) 高效的触摸屏文本输入系统及方法
CN103279467B (zh) 信息显示装置以及信息显示方法
JP2010257392A (ja) 文字入力装置、文字入力方法、コンピュータ読取可能なプログラムおよび記録媒体
US20070073713A1 (en) Term search and link creation from a graphical user interface associated with presentation code
CN112764734B (zh) 代码编辑的辅助方法、装置及电子设备
CN110737817A (zh) 浏览器的信息处理方法、装置、智能设备及存储介质
KR100933270B1 (ko) 이미지 정보에 기초하여 웹 검색을 수행하기 위한 방법,시스템 및 컴퓨터 판독 가능한 기록 매체
EP3776161B1 (en) Method and electronic device for configuring touch screen keyboard
KR20080007887A (ko) 마우스 및 이를 이용한 검색방법
CN113010072A (zh) 搜索方法、装置、电子设备及可读存储介质
CN113268184A (zh) 浏览器标签页切换方法及装置、电子设备及可读介质
JP5532936B2 (ja) 電子機器及び情報表示プログラム
JP6854034B1 (ja) 情報検索装置、情報検索方法、および情報検索プログラム
JP2010211530A (ja) 情報検索端末装置、情報検索システム、情報検索方法、および情報検索プログラム
CN114356118A (zh) 字符输入方法、装置、电子设备及介质
KR102051507B1 (ko) 웹 브라우저 제공방법 및 이를 이용하는 단말장치
JP2008217298A (ja) 情報表示装置及び情報表示プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination