CN109697245A - 基于网页视频的语音搜索方法和装置 - Google Patents
基于网页视频的语音搜索方法和装置 Download PDFInfo
- Publication number
- CN109697245A CN109697245A CN201811480054.7A CN201811480054A CN109697245A CN 109697245 A CN109697245 A CN 109697245A CN 201811480054 A CN201811480054 A CN 201811480054A CN 109697245 A CN109697245 A CN 109697245A
- Authority
- CN
- China
- Prior art keywords
- search
- information
- video
- phonetic
- visible area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
本申请提出一种基于网页视频的语音搜索方法和装置,其中,方法包括:通过网页中预先设置的语音交互接口获取用户输入的语音搜索信息;检测语音搜索信息是否包括用户观看的当前视频帧;在获知语音搜索信息包括当前视频帧时从语音搜索信息中提取与当前视频帧对应的引导搜索词;根据引导搜索词在当前视频帧中确定目标搜索对象并通过预设的图像数据库识别目标搜索对象获取对应的第一搜索文本信息;获取与第一搜索文本信息对应的搜索结果并根据视频的当前播放模式确定网页的可视区域进而将搜索结果渲染在可视区域。由此,能够在用户观看视频的过程中根据语音搜索信息检索相关的知识,提升用户使用体验。
Description
技术领域
本申请涉及语音搜索技术领域,尤其涉及一种基于网页视频的语音搜索方法和装置。
背景技术
随着互联网技术的不断发展,用户可以基于互联网搜索引擎查询各种各样的信息来满足使用需求。
相关技术中,在用户通过网页观看视频的过程中,如果需要对视频中的人物或者是事物等信息进一步了解时,需要退出当前视频页面,在搜索网页中输入对应的关键词进行搜索以满足需求。上述方式,操作繁琐,不方便用户使用且搜索效率比较低。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本申请提出一种基于网页视频的语音搜索方法和装置,用于解决现有技术中存在的在用户通过网页观看视频的过程中,获取知识的方式操作繁琐,不方便用户使用且搜索效率比较低的技术问题。
为达上述目的,本申请第一方面实施例提出了一种基于网页视频的语音搜索方法,包括:
通过所述网页中预先设置的语音交互接口获取所述用户输入的语音搜索信息;
检测所述语音搜索信息是否包括所述用户观看的当前视频帧;
若获知所述语音搜索信息包括所述当前视频帧,则从所述语音搜索信息中提取与所述当前视频帧对应的引导搜索词;
根据所述引导搜索词在所述当前视频帧中确定目标搜索对象,并通过预设的图像数据库识别所述目标搜索对象获取对应的第一搜索文本信息;
获取与所述第一搜索文本信息对应的搜索结果,并根据所述视频的当前播放模式确定所述网页的可视区域,进而将所述搜索结果渲染在所述可视区域。
本申请实施例的基于网页视频的语音搜索方法,通过网页中预先设置的语音交互接口获取用户输入的语音搜索信息,接着检测语音搜索信息是否包括用户观看的当前视频帧,在获知语音搜索信息包括当前视频帧时从语音搜索信息中提取与当前视频帧对应的引导搜索词,以及根据引导搜索词在当前视频帧中确定目标搜索对象并通过预设的图像数据库识别目标搜索对象获取对应的第一搜索文本信息,最后获取与第一搜索文本信息对应的搜索结果并根据视频的当前播放模式确定网页的可视区域进而将搜索结果渲染在可视区域。由此,能够在用户观看视频的过程中根据语音搜索信息检索相关的知识,提升用户使用体验,方便用户获取各方面知识的有效性,另外将搜索结果渲染在可视区域,进一步提高用户的视觉体验,满足用户需求。
为达上述目的,本申请第二方面实施例提出了一种基于网页视频的语音搜索装置,包括:
第一获取模块,用于通过所述网页中预先设置的语音交互接口获取所述用户输入的语音搜索信息;
检测模块,用于检测所述语音搜索信息是否包括所述用户观看的当前视频帧;
提取模块,用于若获知所述语音搜索信息包括所述当前视频帧,则从所述语音搜索信息中提取与所述当前视频帧对应的引导搜索词;
确定识别模块,用于根据所述引导搜索词在所述当前视频帧中确定目标搜索对象,并通过预设的图像数据库识别所述目标搜索对象获取对应的第一搜索文本信息;
第二获取模块,用于获取与所述第一搜索文本信息对应的搜索结果;
渲染模块,用于根据所述视频的当前播放模式确定所述网页的可视区域,进而将所述搜索结果渲染在所述可视区域。
本申请实施例的基于网页视频的语音搜索装置,通过网页中预先设置的语音交互接口获取用户输入的语音搜索信息,接着检测语音搜索信息是否包括用户观看的当前视频帧,在获知语音搜索信息包括当前视频帧时从语音搜索信息中提取与当前视频帧对应的引导搜索词,以及根据引导搜索词在当前视频帧中确定目标搜索对象并通过预设的图像数据库识别目标搜索对象获取对应的第一搜索文本信息,最后获取与第一搜索文本信息对应的搜索结果并根据视频的当前播放模式确定网页的可视区域进而将搜索结果渲染在可视区域。由此,能够在用户观看视频的过程中根据语音搜索信息检索相关的知识,提升用户使用体验,方便用户获取各方面知识的有效性,另外将搜索结果渲染在可视区域,进一步提高用户的视觉体验,满足用户需求。
为达上述目的,本申请第三方面实施例提出了一种计算机设备,包括:处理器和存储器;其中,所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如第一方面实施例所述的基于网页视频的语音搜索方法。
为达上述目的,本申请第四方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面实施例所述的基于网页视频的语音搜索方法。
为达上述目的,本申请第五方面实施例提出了一种计算机程序产品,当所述计算机程序产品中的指令由处理器执行时,实现如第一方面实施例所述的基于网页视频的语音搜索方法。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本申请实施例所提供的一种基于网页视频的语音搜索方法的流程示意图;
图2为基于网页视频的语音搜索示例图;
图3为本申请实施例的另一种基于网页视频的语音搜索方法的流程示意图;
图4为本申请实施例所提供的一种基于网页视频的语音搜索装置的结构示意图;
图5为本申请实施例所提供的另一种基于网页视频的语音搜索装置的结构示意图;以及
图6为本申请实施例所提供的计算机设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于网页视频的语音搜索方法和装置。
图1为本申请实施例所提供的一种基于网页视频的语音搜索方法的流程示意图。
如图1所示,该基于网页视频的语音搜索方法可以包括以下步骤:
步骤101,通过网页中预先设置的语音交互接口获取用户输入的语音搜索信息。
在实际应用中,用户在观看视频过程中通过使用语音搜索相关信息并不打断视频播放的需求越来越强烈,也就是能够在视频网页中比如使用JavaScript实现的插件与服务器进行信息交互并触发搜索返回内容,并且不影响用户正常观看视频的场景,即实现在视频播放中通过语音触发知识搜索,降低搜索成本。
具体地,在网页中设置对应的语音交互接口,比如在网页中注入语音交互视频播放器搜索插件作为语音交互接口等方式,使得在该网页中可以使用语音交互搜索功能。
作为一种场景举例,用户通过网页中的视频播放器观看视频的过程中,可以通过语音输入“搜索XX信息”作为语音搜索信息,同时网页中预先设置的语音交互接口可以获取用户输入的语音搜索信息。例如,当用户正在观看一部影片,画面中突然出现了两个人物,这时用户通过语音输入“搜索视频中左侧人物信息”作为语音搜索信息。
其中,语音搜索信息可以根据用户实际应用需要进行输入。需要说明的是,每次语音搜索有指令开始符和结束符,例如以“搜索”位开始标记,以“信息”为结束标记。
需要说明的是,上述网页是通过支持实时通讯协议的浏览器打开的,可以实现语音搜索信息的获取,获取到的是语音二进制内容流。
步骤102,检测语音搜索信息是否包括用户观看的当前视频帧。
步骤103,若获知语音搜索信息包括当前视频帧,则从语音搜索信息中提取与当前视频帧对应的引导搜索词。
可以理解的是,语音搜索信息可以与用户观看的视频画面相关也可以不相关,因此需要检测检测语音搜索信息是否包括用户观看的当前视频帧。作为一种可能实现方式,对语音搜索信息进行识别,该语音搜索信息中出现于目标词语比如“搜索视频中”等则可以确定语音搜索信息包括当前视频帧。
因此,需要从语音搜索信息中提取与当前视频帧对应的引导搜索词,作为一种示例,将语音搜索信息转换为文本搜索信息,在预设的指令库中进行匹配与文本搜索信息对应的引导搜索词。例如,“搜索视频中左侧人物信息”提取后引导搜索词为“人物”,“左侧”。
其中,预设的指令库可以根据实际应用需要进行设置,比如预设的指令库可以是映射关系表格的形式,比如输入文本搜索信息“搜索视频中左侧人物信息”提取后引导搜索词为“人物”,“左侧”。
步骤104,根据引导搜索词在当前视频帧中确定目标搜索对象,并通过预设的图像数据库识别目标搜索对象获取对应的第一搜索文本信息。
步骤105,获取与第一搜索文本信息对应的搜索结果,并根据视频的当前播放模式确定网页的可视区域,进而将搜索结果渲染在可视区域。
具体地,可以根据引导搜索词在当前视频帧中确定目标搜索对象,比如上述描述的引导搜索词为“人物”,“左侧”因此可以确定目标搜索对象为当前视频帧中左侧的人物,接着通过预设的图像数据库识别目标搜索对象比如当前视频帧中左侧的人物,输出相应的第一搜索文本信息,例如当前视频帧中左侧的人物为明星小红的图像,输出第一搜索文本信息为“小红”。
其中,预设的图像数据库可以根据实际应用需要进行选择设置。
进一步,根据第一搜索文本信息在互联网中进行搜索并获取对应的搜索结果,比如上述第一搜索文本信息为“小红”的任务介绍、相关影视作品等,并将搜索结果返回给嵌入在网页中。其中,搜索结果比如可以是百度搜索结果页面的统一资源定位符地址。
最后根据视频的当前播放模式确定网页的可视区域,进而将搜索结果渲染在可视区域,举例说明如下:
第一种示例,根据视频的当前播放模式为竖屏播放,确定网页的可视区域为视频屏幕的上半部分/下半部分,将搜索结果以浮层形式渲染在视频屏幕的上半部分/下半部分。
第二种示例,根据视频的当前播放模式为横屏播放,确定网页的可视区域为视频屏幕的左半部分/右半部分,将搜索结果以浮层形式渲染在视频屏幕的左半部分/右半部分。
具体地,搜索结果在渲染之前,首先判断当前视频屏幕是处于横屏还是竖屏阶段,竖屏时在屏幕上半部分或者是下半部分、横屏时在屏幕左半部分或者是右半部分以浮层形式通过网页技术渲染搜索结果,可以控制浮层显示的区域不影响视频播放。由此,不影响用户正常观看视频的场景,即实现在视频播放中通过语音触发知识搜索,降低搜索成本。
需要说明的是,用户可以对搜索结果的浮层的打开和关闭,比如通过事先绑定事件,当用户点击非浮层区域时触发收起关闭搜索结果浮层,当搜索到搜索结果返回时触发浮层打开显示。进一步提高用户使用体验。
作为一种场景举例,如图2所示,在用户通过网页中的视频播放器观看视频的过程中,获取用户输入的语音搜索信息为“这个人是谁”,该语音搜索信息中出现于目标词语比如“这个人”则可以确定语音搜索信息包括当前视频帧,从语音搜索信息“这个人是谁”中提取与当前视频帧对应的引导搜索词为“人”,根据引导搜索词“人”在当前视频帧中确定目标搜索对象为“人”,并通过预设的图像数据库识别目标搜索对象获取对应的第一搜索文本信息为“小明”,获取与第一搜索文本信息“小明”对应的搜索结果,并根据视频的当前播放模式为竖屏确定网页的可视区域为视频屏幕的下半部分,进而将搜索结果渲染在视频屏幕的下半部分。
还可以理解的是,该语音搜索信息中没有出现于目标词语比如“搜索视频中”等则可以确定语音搜索信息没有包括当前视频帧。具体结合图2描述如下:
图3为本申请实施例所提供的另一种基于网页视频的语音搜索方法的流程示意图。
如图3所示,该基于网页视频的语音搜索方法可以包括以下步骤:
步骤201,若获知语音搜索信息不包括当前视频帧,则从语音搜索信息中提取关键搜索词。
步骤202,通过预设的语音数据库识别关键搜索词获取对应的第二搜索文本信息。
步骤203,获取与第二搜索文本信息对应的搜索结果,并根据视频的当前播放模式确定网页的可视区域,进而将搜索结果渲染在可视区域。
具体地,不包括当前视频帧的语音搜索信息,可以直接从语音搜索信息中提取关键搜索词。需要说明的是,每次语音搜索信息有指令开始符和结束符,例如以“搜索”位开始标记,以“信息”为结束标记。
因此,需要去掉开始标识符和结束标识符,从语音搜索信息中提取关键搜索词(例如,“搜索小红信息”提取后为“小红”)。
通过预设的语音数据库识别关键搜索词获取对应的第二搜索文本信息,例如识别关键搜索词“小红”,输出第一搜索文本信息为“小红”。
其中,预设的图像数据库可以根据实际应用需要进行选择设置。
进一步,根据第二搜索文本信息在互联网中进行搜索并获取对应的搜索结果,比如上述第二搜索文本信息为“小红”的任务介绍、相关影视作品等,并将搜索结果返回给嵌入在网页中。其中,搜索结果比如可以是百度搜索结果页面的统一资源定位符地址。
进而,通过预设的语音数据库识别关键搜索词获取对应的第二搜索文本信息,获取与第二搜索文本信息对应的搜索结果,并根据视频的当前播放模式确定网页的可视区域,进而将搜索结果渲染在可视区域。
具体地,搜索结果在渲染之前,首先判断当前视频屏幕是处于横屏还是竖屏阶段,竖屏时在屏幕上半部分或者是下半部分、横屏时在屏幕左半部分或者是右半部分以浮层形式通过网页技术渲染搜索结果,可以控制浮层显示的区域不影响视频播放。由此,不影响用户正常观看视频的场景,即实现在视频播放中通过语音触发知识搜索,降低搜索成本。
本实施例的基于网页视频的语音搜索方法,通过在用户通过网页中的视频播放器观看视频的过程中通过网页中预先设置的语音交互接口获取用户输入的语音搜索信息,接着检测语音搜索信息是否包括用户观看的当前视频帧,在获知语音搜索信息包括当前视频帧时从语音搜索信息中提取与当前视频帧对应的引导搜索词,以及根据引导搜索词在当前视频帧中确定目标搜索对象并通过预设的图像数据库识别目标搜索对象获取对应的第一搜索文本信息,最后获取与第一搜索文本信息对应的搜索结果并根据视频的当前播放模式确定网页的可视区域进而将搜索结果渲染在可视区域。由此,能够在用户观看视频的过程中根据语音搜索信息检索相关的知识,提升用户使用体验,方便用户获取各方面知识的有效性,另外将搜索结果渲染在可视区域,进一步提高用户的视觉体验,满足用户需求。
为了实现上述实施例,本申请还提出一种基于网页视频的语音搜索装置。
图4为本申请实施例所提供的一种基于网页视频的语音搜索装置的结构示意图。
如图4所示,该基于网页视频的语音搜索装置40可以包括:第一获取模块410、检测模块420、提取模块430、确定识别模块440、第二获取模块450和渲染模块460。其中,
第一获取模块410,用于通过网页中预先设置的语音交互接口获取用户输入的语音搜索信息。
检测模块420,用于检测语音搜索信息是否包括用户观看的当前视频帧。
提取模块430,用于若获知语音搜索信息包括当前视频帧,则从语音搜索信息中提取与当前视频帧对应的引导搜索词。
确定识别模块440,用于根据引导搜索词在当前视频帧中确定目标搜索对象,并通过预设的图像数据库识别目标搜索对象获取对应的第一搜索文本信息。
第二获取模块450,用于获取与第一搜索文本信息对应的搜索结果。
渲染模块460,用于根据视频的当前播放模式确定网页的可视区域,进而将搜索结果渲染在可视区域。
在本申请实施例一种可能的实现方式中,在本申请实施例一种可能的实现方式中,如图5所示,在如图4所示实施例的基础上,该基于网页视频的语音搜索装置50还包括:第三获取模块470。
提取模块430,还用于若获知语音搜索信息不包括当前视频帧,则从语音搜索信息中提取关键搜索词。
第三获取模块470,用于通过预设的语音数据库识别关键搜索词获取对应的第二搜索文本信息。
第二获取模块450,还用于获取与第二搜索文本信息对应的搜索结果。
渲染模块460,还用于根据视频的当前播放模式确定网页的可视区域,进而将搜索结果渲染在所述可视区域。
在本申请的一个实施例中,提取模块430,具体用于:将语音搜索信息转换为文本搜索信息;在预设的指令库中进行匹配与文本搜索信息对应的引导搜索词。
在本申请的一个实施例中,渲染模块460具体用于根据视频的当前播放模式为竖屏播放,确定网页的可视区域为视频屏幕的上半部分/下半部分;将搜索结果以浮层形式渲染在视频屏幕的上半部分/下半部分。
在本申请的一个实施例中,渲染模块460具体还用于根据视频的当前播放模式为横屏播放,确定网页的可视区域为视频屏幕的左半部分/右半部分;将搜索结果以浮层形式渲染在视频屏幕的左半部分/右半部分。
需要说明的是,前述对基于网页视频的语音搜索方法实施例的解释说明也适用于该实施例的基于网页视频的语音搜索装置,其实现原理类似,此处不再赘述。
本申请实施例的基于网页视频的语音搜索装置,通过网页中预先设置的语音交互接口获取用户输入的语音搜索信息,接着检测语音搜索信息是否包括用户观看的当前视频帧,在获知语音搜索信息包括当前视频帧时从语音搜索信息中提取与当前视频帧对应的引导搜索词,以及根据引导搜索词在当前视频帧中确定目标搜索对象并通过预设的图像数据库识别目标搜索对象获取对应的第一搜索文本信息,最后获取与第一搜索文本信息对应的搜索结果并根据视频的当前播放模式确定网页的可视区域进而将搜索结果渲染在可视区域。由此,能够在用户观看视频的过程中根据语音搜索信息检索相关的知识,提升用户使用体验,方便用户获取各方面知识的有效性,另外将搜索结果渲染在可视区域,进一步提高用户的视觉体验,满足用户需求。
通过为了实现上述实施例,本申请还提出一种计算机设备,包括:处理器和存储器。其中,处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于实现如前述实施例所述的基于网页视频的语音搜索方法。
图6为本申请实施例所提供的计算机设备的结构示意图,示出了适于用来实现本申请实施方式的示例性计算机设备90的框图。图6显示的计算机设备90仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示,计算机设备90以通用计算机设备的形式表现。计算机设备90的组件可以包括但不限于:一个或者多个处理器或者处理单元906,系统存储器910,连接不同系统组件(包括系统存储器910和处理单元906)的总线908。
总线908表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture;以下简称:ISA)总线,微通道体系结构(Micro Channel Architecture;以下简称:MAC)总线,增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation;以下简称:VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection;以下简称:PCI)总线。
计算机设备90典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备90访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器910可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(Random Access Memory;以下简称:RAM)911和/或高速缓存存储器912。计算机设备90可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统913可以用于读写不可移动的、非易失性磁介质(图6未显示,通常称为“硬盘驱动器”)。尽管图6中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如:光盘只读存储器(Compact Disc ReadOnly Memory;以下简称:CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory;以下简称:DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线908相连。系统存储器910可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本申请各实施例的功能。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。
具有一组(至少一个)程序模块9140的程序/实用工具914,可以存储在例如系统存储器910中,这样的程序模块9140包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块9140通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备90也可以与一个或多个外部设备10(例如键盘、指向设备、显示器100等)通信,还可与一个或者多个使得用户能与该终端设备90交互的设备通信,和/或与使得该计算机设备90能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口902进行。并且,计算机设备90还可以通过网络适配器900与一个或者多个网络(例如局域网(Local Area Network;以下简称:LAN),广域网(Wide Area Network;以下简称:WAN)和/或公共网络,例如因特网)通信。如图6所示,网络适配器900通过总线908与计算机设备90的其它模块通信。应当明白,尽管图6中未示出,可以结合计算机设备90使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元906通过运行存储在系统存储器910中的程序,从而执行各种功能应用以及数据处理,例如实现前述实施例中提及的基于网页视频的语音搜索方法。
为了实现上述实施例,本申请还提出一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时,实现如前述实施例所述的基于网页视频的语音搜索方法。
为了实现上述实施例,本申请还提出一种计算机程序产品,当所述计算机程序产品中的指令由处理器执行时,实现如前述实施例所述的基于网页视频的语音搜索方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于网页视频的语音搜索方法,其特征在于,包括以下步骤:
通过所述网页中预先设置的语音交互接口获取所述用户输入的语音搜索信息;
检测所述语音搜索信息是否包括所述用户观看的当前视频帧;
若获知所述语音搜索信息包括所述当前视频帧,则从所述语音搜索信息中提取与所述当前视频帧对应的引导搜索词;
根据所述引导搜索词在所述当前视频帧中确定目标搜索对象,并通过预设的图像数据库识别所述目标搜索对象获取对应的第一搜索文本信息;
获取与所述第一搜索文本信息对应的搜索结果,并根据所述视频的当前播放模式确定所述网页的可视区域,进而将所述搜索结果渲染在所述可视区域。
2.如权利要求1所述的方法,其特征在于,在所述检测所述语音搜索信息是否包括所述用户观看的当前视频帧之后,还包括:
若获知所述语音搜索信息不包括所述当前视频帧,则从所述语音搜索信息中提取关键搜索词;
通过预设的语音数据库识别所述关键搜索词获取对应的第二搜索文本信息;
获取与所述第二搜索文本信息对应的搜索结果,并根据所述视频的当前播放模式确定所述网页的可视区域,进而将所述搜索结果渲染在所述可视区域。
3.如权利要求1所述的方法,其特征在于,所述从所述语音搜索信息中提取与所述当前视频帧对应的引导搜索词,包括:
将所述语音搜索信息转换为文本搜索信息;
在预设的指令库中进行匹配与所述文本搜索信息对应的引导搜索词。
4.如权利要求1所述的方法,其特征在于,所述根据所述视频的当前播放模式确定所述网页的可视区域,进而将所述搜索结果渲染在所述可视区域,包括:
根据所述视频的当前播放模式为竖屏播放,确定所述网页的可视区域为视频屏幕的上半部分/下半部分;
将所述搜索结果以浮层形式渲染在所述视频屏幕的上半部分/下半部分。
5.如权利要求1所述的方法,其特征在于,所述根据所述视频的当前播放模式确定所述网页的可视区域,进而将所述搜索结果渲染在所述可视区域,包括:
根据所述视频的当前播放模式为横屏播放,确定所述网页的可视区域为视频屏幕的左半部分/右半部分;
将所述搜索结果以浮层形式渲染在所述视频屏幕的左半部分/右半部分。
6.一种基于网页视频的语音搜索装置,其特征在于,包括:
第一获取模块,用于通过所述网页中预先设置的语音交互接口获取所述用户输入的语音搜索信息;
检测模块,用于检测所述语音搜索信息是否包括所述用户观看的当前视频帧;
提取模块,用于若获知所述语音搜索信息包括所述当前视频帧,则从所述语音搜索信息中提取与所述当前视频帧对应的引导搜索词;
确定识别模块,用于根据所述引导搜索词在所述当前视频帧中确定目标搜索对象,并通过预设的图像数据库识别所述目标搜索对象获取对应的第一搜索文本信息;
第二获取模块,用于获取与所述第一搜索文本信息对应的搜索结果;
渲染模块,用于根据所述视频的当前播放模式确定所述网页的可视区域,进而将所述搜索结果渲染在所述可视区域。
7.根据权利要求6所述的装置,其特征在于,还包括:
所述提取模块,还用于若获知所述语音搜索信息不包括所述当前视频帧,则从所述语音搜索信息中提取关键搜索词;
第三获取模块,用于通过预设的语音数据库识别所述关键搜索词获取对应的第二搜索文本信息;
所述第二获取模块,还用于获取与所述第二搜索文本信息对应的搜索结果;
所述渲染模块,还用于根据所述视频的当前播放模式确定所述网页的可视区域,进而将所述搜索结果渲染在所述可视区域。
8.根据权利要求6所述的装置,其特征在于,所述提取模块,具体用于:
将所述语音搜索信息转换为文本搜索信息;
在预设的指令库中进行匹配与所述文本搜索信息对应的引导搜索词。
9.一种计算机设备,其特征在于,包括处理器和存储器;
其中,所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如权利要求1-5中任一项所述的基于网页视频的语音搜索方法。
10.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一项所述的基于网页视频的语音搜索方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811480054.7A CN109697245A (zh) | 2018-12-05 | 2018-12-05 | 基于网页视频的语音搜索方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811480054.7A CN109697245A (zh) | 2018-12-05 | 2018-12-05 | 基于网页视频的语音搜索方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109697245A true CN109697245A (zh) | 2019-04-30 |
Family
ID=66230421
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811480054.7A Pending CN109697245A (zh) | 2018-12-05 | 2018-12-05 | 基于网页视频的语音搜索方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109697245A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111107437A (zh) * | 2019-12-27 | 2020-05-05 | 深圳Tcl新技术有限公司 | 影视观后感的互动方法、系统、显示终端及可读存储介质 |
CN111475676A (zh) * | 2020-04-07 | 2020-07-31 | 深圳市超高清科技有限公司 | 视频数据处理方法、系统、装置、设备及可读存储介质 |
CN111696549A (zh) * | 2020-06-02 | 2020-09-22 | 深圳创维-Rgb电子有限公司 | 一种图片搜索方法、装置、电子设备及存储介质 |
CN111859159A (zh) * | 2020-08-05 | 2020-10-30 | 上海连尚网络科技有限公司 | 信息推送、视频处理方法和设备 |
CN112182293A (zh) * | 2019-07-02 | 2021-01-05 | 百度在线网络技术(北京)有限公司 | 视频提供方法、装置、电子设备及存储介质 |
CN112258240A (zh) * | 2020-10-30 | 2021-01-22 | 北京达佳互联信息技术有限公司 | 内容展示方法、装置、终端、服务器以及存储介质 |
CN112287162A (zh) * | 2020-10-27 | 2021-01-29 | 维沃移动通信有限公司 | 消息搜索方法、装置和电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101566990A (zh) * | 2008-04-25 | 2009-10-28 | 李奕 | 一种嵌入于视频的搜索方法及其系统 |
CN101883230A (zh) * | 2010-05-31 | 2010-11-10 | 中山大学 | 一种数字电视演员检索方法及系统 |
CN103533442A (zh) * | 2013-09-27 | 2014-01-22 | 北京奇虎科技有限公司 | 视频弹幕的加载方法及装置 |
CN105681918A (zh) * | 2015-09-16 | 2016-06-15 | 乐视致新电子科技(天津)有限公司 | 视频流中的物品相关信息展示方法及系统 |
CN106937172A (zh) * | 2017-03-23 | 2017-07-07 | 百度在线网络技术(北京)有限公司 | 基于人工智能的视频播放时的互动方法及装置 |
CN107105340A (zh) * | 2017-03-21 | 2017-08-29 | 百度在线网络技术(北京)有限公司 | 基于人工智能的视频中显示人物信息方法、装置和系统 |
-
2018
- 2018-12-05 CN CN201811480054.7A patent/CN109697245A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101566990A (zh) * | 2008-04-25 | 2009-10-28 | 李奕 | 一种嵌入于视频的搜索方法及其系统 |
CN101883230A (zh) * | 2010-05-31 | 2010-11-10 | 中山大学 | 一种数字电视演员检索方法及系统 |
CN103533442A (zh) * | 2013-09-27 | 2014-01-22 | 北京奇虎科技有限公司 | 视频弹幕的加载方法及装置 |
CN105681918A (zh) * | 2015-09-16 | 2016-06-15 | 乐视致新电子科技(天津)有限公司 | 视频流中的物品相关信息展示方法及系统 |
CN107105340A (zh) * | 2017-03-21 | 2017-08-29 | 百度在线网络技术(北京)有限公司 | 基于人工智能的视频中显示人物信息方法、装置和系统 |
CN106937172A (zh) * | 2017-03-23 | 2017-07-07 | 百度在线网络技术(北京)有限公司 | 基于人工智能的视频播放时的互动方法及装置 |
Non-Patent Citations (1)
Title |
---|
马秀峰: "《办公自动化实用技术》", 30 June 2001 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112182293A (zh) * | 2019-07-02 | 2021-01-05 | 百度在线网络技术(北京)有限公司 | 视频提供方法、装置、电子设备及存储介质 |
CN111107437A (zh) * | 2019-12-27 | 2020-05-05 | 深圳Tcl新技术有限公司 | 影视观后感的互动方法、系统、显示终端及可读存储介质 |
CN111475676A (zh) * | 2020-04-07 | 2020-07-31 | 深圳市超高清科技有限公司 | 视频数据处理方法、系统、装置、设备及可读存储介质 |
CN111475676B (zh) * | 2020-04-07 | 2023-03-24 | 深圳市超高清科技有限公司 | 视频数据处理方法、系统、装置、设备及可读存储介质 |
CN111696549A (zh) * | 2020-06-02 | 2020-09-22 | 深圳创维-Rgb电子有限公司 | 一种图片搜索方法、装置、电子设备及存储介质 |
CN111859159A (zh) * | 2020-08-05 | 2020-10-30 | 上海连尚网络科技有限公司 | 信息推送、视频处理方法和设备 |
CN112287162A (zh) * | 2020-10-27 | 2021-01-29 | 维沃移动通信有限公司 | 消息搜索方法、装置和电子设备 |
CN112258240A (zh) * | 2020-10-30 | 2021-01-22 | 北京达佳互联信息技术有限公司 | 内容展示方法、装置、终端、服务器以及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109697245A (zh) | 基于网页视频的语音搜索方法和装置 | |
US20200322684A1 (en) | Video recommendation method and apparatus | |
US10970334B2 (en) | Navigating video scenes using cognitive insights | |
CN109618222B (zh) | 一种拼接视频生成方法、装置、终端设备及存储介质 | |
US9438850B2 (en) | Determining importance of scenes based upon closed captioning data | |
US8321203B2 (en) | Apparatus and method of generating information on relationship between characters in content | |
US10652592B2 (en) | Named entity disambiguation for providing TV content enrichment | |
US20190130185A1 (en) | Visualization of Tagging Relevance to Video | |
CN109558513A (zh) | 一种内容推荐方法、装置、终端及存储介质 | |
WO2019174237A1 (zh) | 搜索视频的方法、装置及设备 | |
CN105488094A (zh) | 通过媒体内容的语音搜索元数据 | |
JP5374758B2 (ja) | コメント配信システム、コメント配信システムの動作方法、プログラム | |
US20130077876A1 (en) | Apparatus and method for identifying a still image contained in moving image contents | |
CN109871490A (zh) | 媒体资源匹配方法、装置、存储介质和计算机设备 | |
CN106648675A (zh) | 应用程序使用信息的展示方法、装置和电子设备 | |
CN109033385A (zh) | 图片检索方法、装置、服务器及存储介质 | |
CN107566906A (zh) | 一种视频评论处理方法及装置 | |
CN107895019A (zh) | 一种信息推荐方法、装置、服务器及存储介质 | |
CN108847066A (zh) | 一种教学内容提示方法、装置、服务器和存储介质 | |
KR20130110965A (ko) | 사용자 피드백에 기반한 감성 측정 및 콘텐츠 추천 방법 | |
CN106028094A (zh) | 一种视频内容提供方法、装置及电子设备 | |
CN109919213A (zh) | 直播类型的确定方法、装置、设备及存储介质 | |
US20140297285A1 (en) | Automatic page content reading-aloud method and device thereof | |
CN112804580B (zh) | 一种视频打点的方法和装置 | |
US10970910B2 (en) | Animation of concepts in printed materials |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190430 |