CN104102683A - 用于增强视频显示的上下文查询 - Google Patents

用于增强视频显示的上下文查询 Download PDF

Info

Publication number
CN104102683A
CN104102683A CN201410108368.XA CN201410108368A CN104102683A CN 104102683 A CN104102683 A CN 104102683A CN 201410108368 A CN201410108368 A CN 201410108368A CN 104102683 A CN104102683 A CN 104102683A
Authority
CN
China
Prior art keywords
data
inquiry
related content
keyword
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410108368.XA
Other languages
English (en)
Inventor
罗德·D·瓦尔特曼
杰斐逊·洛甘·霍尔特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Singapore Pte Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Publication of CN104102683A publication Critical patent/CN104102683A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开涉及用于增强视频显示的上下文查询。实施方式提供了一种方法，包括：从视听数据的输入中获得文本数据；分析文本数据以形成一个或更多个关键词；对一个或更多个关键词进行选择以获取一个或更多个相关关键词，其中，该选择包括基于来自用户特定数据源的文本数据的选择；将一个或更多个相关关键词形成为用于获取相关内容的查询；以及发起一个或更多个查询以从联网设备获取相关内容。还描述并且要求保护其他方面。

Description

用于增强视频显示的上下文查询
技术领域
本公开涉及用于增强视频显示的上下文查询的方法和信息处理设备。
背景技术
现在越来越多的家庭拥有高清电视（HDTV或TV）和宽带因特网连接。消费者在这些HDTV上观看大量的电视节目。消费者也越来越多地主要地在传统台式和便携式计算机以及移动信息处理设备（例如，智能手机、平板电脑、便携式计算机等）上通过因特网访问媒体内容。随着越来越多的HD节目变得可获取，这些趋势非常有可能继续下去，越来越多的消费者购买HDTV以及越来越多的消费者切换至或者获得有线或无线宽带因特网连接。
消费者通常使用个人信息处理设备来增强他们的观看体验（如在电视机上观看相关内容的同时使用便携式计算机跟踪选举结果或体育比分）。随着消费者不断地搜寻与电视节目相关的另外的信息，即使在观看该节目的同时，这种趋势也有可能继续下去。电视服务以及与电视服务相关的因特网媒体内容的进步促进了这种行为。用于操纵电视节目的不断增加的并且可访问的方式变得可用（例如，图画显示中的画，通过数字视频录像机（DVR）暂停直播节目等）。同样地，与电视节目相关的越来越多的因特网媒体内容变得可用。
然而，目前不存在用来使得用户能够拥有真正一体化的电视和因特网媒体体验的常规方式。即使在联网设备（例如，便携式计算机、台式计算机或移动计算设备）上观看电视节目时，也缺乏真正一体化的体验，因为用户必须在观看节目和浏览因特网之间进行选择。因此，消费者采取以耗时并且不连贯的方式在媒体设备之间（例如，在电视机与便携式计算机或平板电脑之间）或在应用程序之间手动地进行切换。
发明内容
总之，本发明一个方面提供了一种方法，包括：从视听数据的输入获得文本数据；分析该文本数据以形成一个或更多个关键词；对所述一个或更多个关键词进行选择以获取一个或更多个相关关键词，其中，该选择包括基于来自用户特定数据源的文本数据的选择；将一个或更多个相关的关键词形成为用于获取相关内容的查询；以及发出一个或更多个查询以从联网设备获取相关内容。
本发明另一个方面提供了一种信息处理设备，包括：一个或更多个处理器；数据输入连接；网络连接；以及存储设备，其存储可由所述一个或更多个处理器访问的指令，该指令可由所述一个或更多个处理器执行以进行包括以下项的动作：从视听数据输入中获得文本数据；分析该文本数据以形成一个或更多个关键词；对所述一个或更多个关键词进行选择以获取一个或更多个相关关键词，其中，该选择包括基于来自用户特定数据源的文本数据的选择；将一个或更多个相关关键词形成为用于获取相关内容的查询；以及发出一个或更多个查询以从联网设备获取相关内容。
另外的方面提供了一种计算机程序产品，包括：存储介质，所述存储介质具有使用存储介质来体现的计算机可读程序代码，该计算机可读程序代码包括：被配置成从视听数据输入中获得文本数据的计算机可读程序代码；被配置成分析该文本数据以形成一个或更多个关键词的计算机可读程序代码；被配置成对一个或更多个关键词进行选择以获取一个或更多个相关关键词的计算机可读程序代码，其中，该选择包括基于来自用户特定数据源的文本数据的选择；被配置成将一个或更多个相关关键词形成为用于获取相关内容的查询的计算机可读程序代码；以及被配置成发出一个或更多个查询以从联网设备获取相关内容的计算机可读程序代码。
上述内容为概要，因此可能包括对细节的简化、概括和省略。因此，本领域的技术人员应当理解的是，本概要仅为示意性而并非意在以任何方式进行限制。
为了更好地理解实施方式以及实施方式的其他或另外特征和优点，结合附图来做出对以下描述的参考。本发明的范围将在所附的权利要求中指出。
附图说明
图1示出了示例信息处理设备及其部件；
图2示出了获取用于视频显示的相关媒体内容的示例方法；以及
图3示出了从所输入的视听数据中获得关键词的示例方法。
具体实施方式
容易理解的是，除所描述的示例实施方式以外，在本文的附图中概括性地描述和说明的实施方式的组成部分可以按照各种不同的配置来进行布置和设计。因此，以下对如图中表示的示例实施方式的更加详细的描述并非意在限制所要保护的实施方式的范围而仅表示示例实施方式。
在本说明书中对“一种实施方式”或“实施方式”（或类似的表述）的引用是指，结合实施方式描述的具体的特征、结构或特性被包括在至少一种实施方式中。因此，在本说明书中的各个地方出现短语“在一种实施方式中”或“在实施方式中”等并不都是涉及相同实施方式。
此外，在一种或更多种实施方式中，可以按照任何合适的方式对所描述的特征、结构或特性进行组合。在下面的描述中，提供了许多具体细节来给出对实施方式的透彻理解。然而，相关领域的技术人员应该认识到，在没有上述具体细节中的一个或更多个细节的情况下，或者使用其他方法、组成部分、材料等的情况下可以实施各种实施方式。在其他情况下，为了避免混淆而没有详细地示出或描述熟知的结构、材料或操作。
如今电视（TV）观众（或用户）通常拥有两种或更多种设备，即，TV和因特网设备如手机、平板电脑等。观众经常在TV节目期间切换设备，例如，在观看TV节目的同时在平板电脑上查找网页。向着智能TV（即，具有因特网连接的电视）发展的趋势解决了用户必须使用多个设备来获取内容的部分问题，但是智能TV不能将用户的行为和他们正在观看的当前节目充分地结合起来。
因此，提供电影或视频流以及因特网连接的智能TV、BLURAY（蓝光碟）播放器、游戏机等并不提供内容感知行为。电视内容提供商试图使用另外的数据（如TWITTER（推特）馈送、基于表演/内容的网址等）来增强广播内容，使得用户能够有更多的交互性。例如，现有的技术（如iTV）提供节目或电台驱动交互，但是这些服务强迫观众仅基于这些服务所提供的选项进行交互。此外，从观众的观点来看，这些服务通常是未经过滤的，即，并非与特定的观众上下文相关，而是充其量通常与节目的观众相关。
相比之下，实施方式允许用户基于动态生成的搜索查询和URL来选择他们自己的探索和交互模式。实施方式对数据进行标记（tokenize），例如，形成从电视输入或其他源（如因特网）中获得的文本数据，包括社交媒体内容、用户创建的文档和媒体、电子邮件、文章、购买历史数据、用户输入数据等（“用户特定源”），从而生成一系列上下文感知搜索查询。用于获得文本数据的数据，不管该数据是音频、视频、网页、文档、媒体，还是通过其他方式获得的，或上述项的组合都被统称为“视听数据”。因此，“视听数据”可以是音频数据、视频数据、网页数据、从用户账户中获得的文档或电子邮件、社交媒体数据、用户的购买历史、从用户输入获得的数据，或上述项的组合。该标记可以基于相关性进行优化以提供更多的相关内容。然后，查询标记的优化集可以被传递至智能查询引擎，用于确定相关的URL以显示给用户。
通过参照附图将对所示出的示例实施方式进行更好的理解。下面的描述仅意在举例说明，并且简单地示出了某些示例实施方式。
图1描绘了信息处理设备（“设备”）电路、电路系统或部件的一个示例的框图。图1所描绘的示例可以对应于计算系统（如由北卡罗来纳州的莫里斯维尔市的联想（美国）股份有限公司所销售的THINKPAD系列个人电脑）或其他设备。正如本文的说明书中显而易见的，实施方式可以包括其他特征或图1所示出的示例的特征中的一些特征。
图1的示例包括具有可能因制造商（例如，INTEL、AMD、ARM等）而异的架构的所谓芯片集110（芯片集指一起工作的集成电路或芯片的组）。芯片集110的架构包括经由直接管理接口（DMI）142或链路控制器144来交换信息（例如，数据、信号、命令等）的内核与存储器控制组120以及I/O控制器集线器150。在图1中，DMI142是芯片到芯片的接口（有时被称为“北桥”和“南桥”之间的链路）。内核与存储器控制组120包括经由前端总线（FSB）124交换信息的一个或更多个处理器122（例如，单核或多核）以及存储控制器集线器126。注意，组120的组成部分可以被结合在取代传统“北桥”式架构的芯片中。
在图1中，存储控制器集线器126与存储器140（例如，为可以被称为“系统存储器”或“存储器”的一种RAM提供支持）进行接口。存储控制器集线器126还包括用于显示设备192（例如，CRT、平板、触摸屏等）的LVDS/LDI（低压差分信号/LVDS显示接口）接口132。块138包括可以经由LVDS接口132（例如，串行数字视频、HDMI/DVI（高清晰度多媒体接口/交互式数字视频接口）、显示端口）支持的一些技术。存储控制器集线器126还包括可以支持独立显卡136的PCI-express（高速外部设备互连总线）接口（PCI-E）134。
在图1中，I/O集线器控制器150包括SATA（串行高级技术附件）接口151（例如，用于HDD/SSD（硬盘驱动器/固态硬盘）180等）、PCI-E接口152（例如，用于无线连接182）、USB接口153（例如，用于设备184，如数字转换器、触摸屏、键盘、鼠标、相机、电话、麦克风、存储装置、其他连接设备等）、网络接口154（例如，LAN（局域网））、GPIO（通用输入输出）接口155、LPC接口170（用于ASIC（专用集成电路）171、TPM（可信赖平台模块）172、超级I/O173、固件集线器174、BIOS支持175以及各种类型的存储器176，如ROM177,闪存178和NVRAM（非易失随机存取存储器）179）、电源管理接口161、时钟发生器接口162、音频接口163（例如，用于扬声器194）、TCO（瑞典专业职业联盟）接口164、系统管理总线接口165和可以包括BIOS（基本输入输出）168和启动代码190的SPI（串行外围接口）闪存166。I/O集线器控制器150可以包括千兆以太网支持。
系统一旦通电，则可以被配置成执行如存储在SPI闪存166内用于BIOS168的启动代码190，并且此后在一个或更多个操作系统和应用软件（例如，存储在系统存储器140中）的控制下处理数据。例如，操作系统可以存储在多个位置中的任何位置并且可以根据BIOS168的指令来访问。如本文所描述的，设备可以包括比在图1的系统中示出的特征更少或更多的特征。
例如如图1所概述的设备可以包括显示设备（例如，HDTV）和用户设备，如通过数据输入与内容馈送（例如，有线电视数据馈送）连接在一条线路中的媒体管理系统。设备（如图1所概述的示例设备）可以用于获得已标记的数据，用于本文中进一步描述的相关性分析和搜索查询功能。
参照图2，在步骤210处实施方式接受所输入的视听数据，作为输入内容。对于输入内容，实施方式可以使用电视内容，如电视广播或流。电视数据可以包括可显示的视频内容，如屏幕上显示的文本（通过光学符号识别获取）或音频数据（例如，使用文本到语音应用程序从实际音频中获得或者闭合字幕数据）。
实施方式还可以使用从因特网获得的视听数据。至于因特网内容，实施方式可以利用相关数据（例如用户账户信息）来访问用户特定的相关因特网数据（例如，基于用户账户信息）。一种示例是从已知的与观众相关联的TWITTER账户，例如通过智能TV或其他设备处的观众登陆信息获得TWITTER馈送。实施方式还可以使用从其他源获得的视听数据，所述其他源包括用户特定源，如用户文档和媒体、电子邮件、文章、购买记录、用户输入（例如，至媒体设备的用户输入，例如在媒体设备上搜索电影的历史）等。因此，用户特定源可以进行本地存储和访问或者进行远程存储和访问（例如，通过网络连接）。从而，实施方式因此可以访问各种视听数据，如步骤210处的输入内容。
在步骤220处，输入内容被用来获得文本数据。获得文本数据的示例包括获取电视流的闭合字幕数据、获取视频数据的帧捕获并且执行OCR分析来识别其中所包括的文本数据内容、导入已知的与用户相关联的TWITTER站点馈送并且从中获得文本数据、导入FACEBOOK（脸谱）或其他社交媒体网页并且从中获得文本数据等。因此，在步骤220处，实施方式检查输入内容以从输入内容中获得文本数据。
在步骤230处，对文本数据进行分析以确定用于搜索查询的相关文本数据，而不是盲目地将文本数据打包成搜索查询。因此，参照图3，在步骤320处，实施方式使用输入内容310来对输入内容中的文本数据进行标记。对文本数据进行标记包括，例如对文本数据结构（例如，句子）进行语言分析以获取包括在其中的关键词。一种示例可以包括，对句子进行语法分析以识别在语言中所使用的重要的词（例如，动词、名词等）。则，在步骤320处的这种标记过程包括对从输入内容中获得的文本进行分析以在第一遍相关性过滤中识别关键词。
在该第一遍之后，实施方式可以完成文本数据的第二遍相关性过滤。例如，在步骤330中，实施方式可以对已标记的文本数据执行频率分析，以从第一遍过滤的集合中识别相关词。第一遍过滤集可以包括来自一个或更多个闭合字幕句子、一个或更多个社交媒体网站、屏幕捕获（和OCR）数据等的文本数据。可以利用上述项的组合。
一个示例频率分析为对已标记的文本数据进行FFT分析以识别最高频繁使用的术语。该第二遍相关性过滤的结果是在步骤340处输出的相关关键词，这些相关关键词可以用于为观众获取相关的另外的内容。
此外，其他视听数据源（如因特网获得数据、用户文档、电子邮件、购买历史或其他用户特定数据源）可以类似地用于获得文本数据以及对该文本数据进行过滤，例如结合从TV内容输入流中获取文本数据所描述的。因此，第一遍过滤可以用于从TV/媒体流中找到最高频率数据（例如，标记化和语法分析），其后进行FFT（或类似的）分析以找到文本或关键词的关键区域。
考虑到从多个源（例如，TV/媒体输入流或用户特定源）中获得的文本数据，进一步的过滤或分析过程可以用于（例如，使用社交媒体，如FACEBOOK或TWITTER账户等）找到与用户的兴趣相关的信息，以基于其他用户特定数据源来识别输出的交集，例如来自TV/媒体流的最高级FFT数据和用户兴趣的交集。例如，数据可以与媒体流结合并且可以被视为标量向量，其后执行子空间交集的计算和频率分析以找到最高频率关键词实例，然后这种实例可以用于找到用户感兴趣的相关的额外数据或内容。因此，文本数据获取、过滤或关键词识别过程的结果是获取以下文本数据：将用于搜索以提供用户可能感兴趣并且与当前节目相关的额外数据。
再次参考图2，在步骤240处，实施方式使用根据分析形成的相关关键词以形成查询，然后在步骤250处执行该查询。该查询可以是使用根据分析形成的一个或更多个关键词的网络查询。因此，实施方式可以例如使用一个或更多个相关关键词通过搜索引擎来搜索因特网。该搜索引擎可以是基于流行程度的搜索引擎如GOOGLE因特网搜索引擎或智能搜索引擎服务，例如WOLFRAM ALPHA（沃尔弗拉姆阿尔法）计算知识引擎或基于知识的搜索服务。可替选地或另外地，可以对预排序或预先获取的数据(如用于特定演出或因特网的定制数据集等)进行定制搜索。
不考虑所利用的精确的搜索或查询，可以在步骤260处获得与特定节目相关的内容（例如，通过采用转换为文本数据的音频数据、闭合字幕数据、OCR屏幕数据等）或与特定用户相关的内容（例如，基于用户身份或者登录到例如智能TV或其他设备来单独地或与节目数据结合地使用本地社交媒体账户或数据馈送）。可以以各种方式管理相关的内容。
例如，通过查询获得的相关内容可以用作覆盖或分割显示材料（例如，用于组合显示）。另外地或可替选地，所获得的相关内容可以用作邀请观众例如使用智能TV或其他设备进行交互的基础。例如，可以（视觉地，口头地等）邀请观众来点击相关内容的链接或图标或以其他方式使得相关内容与当前正在运行的节目一起被包括在交互显示中。
通过对数据（例如对屏幕文字的闭合字幕和/或OCR，和/或社交媒体获得数据）进行标记，实施方式可以生成一系列上下文感知搜索查询并且因此基于观众的当前节目或视频和文本来提供独立的URL作为相关内容。实施方式使用来自屏幕、文本，来自演出的对话（例如，使用语音节目的文本）或甚至来自用户所链接的社交媒体馈送的已标记的内容。这些标记可以被优化，例如通过两遍操作来运行这些标记以优化并且确定相关性。
同样，在第一遍中，例如对于最高使用频率，可以基于这些标记的权重使用FFT分析优化这些标记。第二遍可以利用矩阵运算来构造变换集以找到搜索标记中的交集或上下文。然后，查询标记的优化集可以传递至一个或更多个智能查询引擎以确定相关的URL，从而向用户显示。然后，这些URL和内容可以以组合显示的方式在显示设备（例如，HDTV）上显示给用户。
还应当理解的是，各种实施方式可以在被适当地配置成执行与本文中所描述的实施方式的功能相一致的程序指令的一个或更多个信息处理设备中实现。在这方面，图1示出了这样的设备及其组成部件的非限制性示例。
本领域的技术人员应当理解，各个方面可以实施为系统、方法或设备程序产品。因此，各个方面可以采取全部硬件实施方式的形式或者可以采用包括可在本文中全部通称为“电路”、“模块”或“系统”的软件的实施方式的形式。此外，各个方面可以采取在一个或更多个设备可读介质中包含的设备程序产品的形式，其中，上述一个或更多个设备可读介质包含有设备可读程序代码。
可以利用一个或更多个非信号设备可读介质的任意组合。非信号介质可以是存储介质。存储介质可以是任意非信号介质，例如，电、磁、光、电磁、红外或半导体系统、装置或设备或上述项的任意适当组合。存储介质的更加具体的示例可以包括以下项：便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或闪存存储器）、光纤、便携式光盘只读存储器（CD-ROM）、光存储设备、磁存储设备或上述项的任意合适的组合。
可以使用任意适当的介质发送包含在存储介质上的程序代码，这些介质包括但不限于无线、有线、光纤电缆、RF等或上述项的任意适当组合。
可以按照一种或更多种编程语言的组合来编写用于执行操作的程序代码。程序代码可以作为单机软件包完全在单个设备上执行、可以部分地在单个设备上执行、可以部分地在单个设备并且部分地在另一设备上执行或完全地在其他设备上执行。在一些情况下，这些设备可以通过任意类型的连接或网络（包括局域网（LAN）或广域网（WAN）、个人区域网（PAN））进行连接，或者该连接可以通过其他设备（例如，通过使用因特网服务提供商的因特网）或通过硬线连接（如通过USB连接）来完成。
在本文中，参照附图描述了各个方面，所述附图示出了根据各种示例实施方式的示例方法、设备、程序产品。应当理解的是，可以至少部分地通过程序指令来实现所示出的动作和功能。这些程序指令可以被提供至通用信息处理设备、专用信息处理设备或其他可编程数据处理设备或生产机器的信息处理设备的处理器，使得经由该设备的处理器执行的指令实现所指定的功能/动作。
程序指令还可以存储在可以指导设备按照具体的方式起作用的设备可读介质中，使得存储在该设备可读介质中的指令形成包括实现所指定的功能/动作的指令的制品。
程序指令还可以被加载至设备使得在该设备上执行一系列操作步骤来形成设备实现的处理，使得在该设备上执行的指令提供用于实现所指定的功能/动作的处理。
本公开内容出于说明和描述的目的被给出，而并不意在穷举或限制。对于本领域的普通技术人员来说，许多修改和变化将是显而易见。选择并且描述示例实施方式以解释原理和实际应用，并且使得本领域其他普通技术人员能够理解与具有适合于所设想的具体用途的各种变型的各种实施方式对应的本公开内容。
因此，尽管在本文中已经参照附图对示意性示例实施方式进行了描述，但是应当理解的是，该描述并不是限制性的并且其中在不脱离本公开内容的范围或精神的情况下本领域的技术人员可以实现各种其他改变和修改。

Claims (20)

1.一种方法，包括：
从视听数据的输入获得文本数据；
分析所述文本数据以形成一个或更多个关键词；
对所述一个或更多个关键词进行选择以获取一个或更多个相关关键词，其中，所述选择包括基于来自用户特定数据源的文本数据的选择；
将所述一个或更多个相关关键词形成为用于获取相关内容的查询；以及
发起一个或更多个查询以从联网设备获取相关内容。
2.根据权利要求1所述的方法，其中，所述视听数据的输入包括能够显示的视频数据、音频数据和闭合字幕数据中的一项或更多项。
3.根据权利要求1所述的方法，其中，所述用户特定数据源包括社交媒体内容、电子邮件内容、文档、购买历史和用户输入中的一项或更多项。
4.根据权利要求1所述的方法，其中，所述分析包括对所述文本数据进行标记以形成一个或更多个关键词，包括进行语言分析以从文本数据串中识别一个或更多个关键词。
5.根据权利要求4所述的方法，其中，对所述一个或更多个关键词进行选择以获取一个或更多个相关关键词包括：基于执行频率分析以识别一个或更多个频繁使用的关键词所作出的选择。
6.根据权利要求1所述的方法，其中，发起一个或更多个查询以从联网设备获取相关内容包括：向搜索引擎发出起查询。
7.根据权利要求1所述的方法，其中，发起一个或更多个查询以从联网设备获取相关内容包括：向基于知识的搜索服务发起查询。
8.根据权利要求1所述的方法，其中，发起一个或更多个查询以从联网设备获取相关内容包括：向存储有预定义内容的数据库发起查询。
9.根据权利要求1所述的方法，还包括在获取所述相关内容之后邀请用户进行交互。
10.根据权利要求9所述的方法，其中，在获取所述相关内容之后邀请用户进行交互包括：向观众提供一个或更多个音频和视频输出，以邀请观众利用至所述相关内容的一个或更多个链接进行交互。
11.一种信息处理设备，包括：
一个或更多个处理器；
数据输入连接；
网络连接；以及
存储设备，存储能够由所述一个或更多个处理器访问的指令，所述指令能够由所述一个或更多个处理器执行以执行包括以下项的动作：
从视听数据的输入中获得文本数据；
分析所述文本数据以形成一个或更多个关键词；
对所述一个或更多个关键词进行选择以获取一个或更多个相关关键词，其中，所述选择包括基于来自用户特定数据源的文本数据的选择；
将所述一个或更多个相关关键词形成为用于获取相关内容的查询；以及
发起一个或更多个查询以从联网设备获取相关内容。
12.根据权利要求11所述的信息处理设备，其中，所述视听数据的输入包括可显示的视频数据、音频数据和闭合字幕数据中的一项或更多项。
13.根据权利要求11所述的信息处理设备，其中，所述用户特定数据源包括社交媒体内容、电子邮件内容、文档、购买历史和用户输入中的一项或更多项。
14.根据权利要求11所述的信息处理设备，其中，所述分析包括对所述文本数据进行标记以形成一个或更多个关键词，包括进行语言分析以从文本数据串中识别一个或更多个关键词。
15.根据权利要求14所述的信息处理设备，其中，对所述一个或更多个关键词进行选择以获取一个或更多个相关关键词包括：基于执行频率分析以识别一个或更多个频繁使用的关键词所作出的选择。
16.根据权利要求11所述的信息处理设备，其中，发起一个或更多个查询以从联网设备获取相关内容包括：向搜索引擎发起查询。
17.根据权利要求11所述的信息处理设备，其中，发起一个或更多个查询以从联网设备获取相关内容包括：向基于知识的搜索服务发起查询。
18.根据权利要求11所述的信息处理设备，其中，发起一个或更多个查询以从联网设备获取相关内容包括：向存储有预定义内容的定制数据库发起查询。
19.根据权利要求11所述的信息处理设备，其中，所述动作还包括在获取所述相关内容之后邀请用户进行交互。
20.根据权利要求19所述的信息处理设备，其中，在获取所述相关内容之后邀请用户进行交互包括：向观众提供一个或更多个音频和视频输出，以邀请观众利用至所述相关内容的一个或更多个链接来进行交互。
CN201410108368.XA 2013-04-05 2014-03-21 用于增强视频显示的上下文查询 Pending CN104102683A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/857,562 US10277945B2 (en) 2013-04-05 2013-04-05 Contextual queries for augmenting video display
US13/857,562 2013-04-05

Publications (1)

Publication Number Publication Date
CN104102683A true CN104102683A (zh) 2014-10-15

Family

ID=51567643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410108368.XA Pending CN104102683A (zh) 2013-04-05 2014-03-21 用于增强视频显示的上下文查询

Country Status (3)

Country Link
US (1) US10277945B2 (zh)
CN (1) CN104102683A (zh)
DE (1) DE102014100958A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106708905A (zh) * 2015-11-18 2017-05-24 百度在线网络技术（北京）有限公司 视频内容搜索方法和装置
CN107180058A (zh) * 2016-03-11 2017-09-19 百度在线网络技术（北京）有限公司 一种用于基于字幕信息进行查询的方法和装置
CN113068077A (zh) * 2020-01-02 2021-07-02 腾讯科技（深圳）有限公司 一种字幕文件处理方法及装置
CN113139113A (zh) * 2021-04-29 2021-07-20 北京沃东天骏信息技术有限公司 搜索请求的处理方法和装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102107678B1 (ko) * 2013-07-03 2020-05-28 삼성전자주식회사 미디어 정보 제공 서버, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
CN104639957A (zh) * 2013-11-06 2015-05-20 株式会社Ntt都科摩 移动多媒体终端、视频节目推荐方法及其服务器
WO2016071718A2 (en) * 2014-11-07 2016-05-12 Fast Web Media Limited Influencing content or access to content
US11335080B2 (en) * 2015-09-21 2022-05-17 International Business Machines Corporation System for suggesting search terms
GB201603685D0 (en) * 2016-03-03 2016-04-20 Mporium Group Plc Identifying data to influence content or access to content

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6636238B1 (en) * 1999-04-20 2003-10-21 International Business Machines Corporation System and method for linking an audio stream with accompanying text material
CN101267518A (zh) * 2007-02-28 2008-09-17 三星电子株式会社 从内容元数据提取相关信息的方法和装置
CN101719144A (zh) * 2009-11-04 2010-06-02 中国科学院声学研究所 一种联合字幕和视频图像信息进行场景分割和索引的方法
CN102708863A (zh) * 2011-03-28 2012-10-03 德信互动科技（北京）有限公司 语音对话设备、系统、及语音对话实现方法
CN102903362A (zh) * 2011-09-02 2013-01-30 微软公司 集成的本地和基于云的语音识别
CN102999560A (zh) * 2011-10-26 2013-03-27 微软公司 用社交网络特征提高姓名和其它搜索查询的搜索引擎结果页面的相关性

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010003214A1 (en) * 1999-07-15 2001-06-07 Vijnan Shastri Method and apparatus for utilizing closed captioned (CC) text keywords or phrases for the purpose of automated searching of network-based resources for interactive links to universal resource locators (URL's)
US20030005461A1 (en) * 2001-07-02 2003-01-02 Sony Corporation System and method for linking closed captioning to web site
US7793326B2 (en) * 2001-08-03 2010-09-07 Comcast Ip Holdings I, Llc Video and digital multimedia aggregator
US20080177994A1 (en) * 2003-01-12 2008-07-24 Yaron Mayer System and method for improving the efficiency, comfort, and/or reliability in Operating Systems, such as for example Windows
US7840589B1 (en) * 2005-05-09 2010-11-23 Surfwax, Inc. Systems and methods for using lexically-related query elements within a dynamic object for semantic search refinement and navigation
US20070106627A1 (en) * 2005-10-05 2007-05-10 Mohit Srivastava Social discovery systems and methods
US10395326B2 (en) * 2005-11-15 2019-08-27 3Degrees Llc Collections of linked databases
KR100744065B1 (ko) * 2006-01-05 2007-07-30 삼성전자주식회사 웹서비스 기술을 지원하는 ａ／ｖ 네트워크에서 컨텐츠재생시 자막 표시방법 및 그 장치
US7991769B2 (en) * 2006-07-07 2011-08-02 Yahoo! Inc. System and method for budgeted generalization search in hierarchies
US20080066099A1 (en) * 2006-09-11 2008-03-13 Apple Computer, Inc. Media systems with integrated content searching
US7917490B2 (en) * 2007-07-09 2011-03-29 Google Inc. Interpreting local search queries
US20090138906A1 (en) * 2007-08-24 2009-05-28 Eide Kurt S Enhanced interactive video system and method
US20090064247A1 (en) * 2007-08-31 2009-03-05 Jacked, Inc. User generated content
US8768922B2 (en) * 2008-02-08 2014-07-01 Microsoft Corporation Ad retrieval for user search on social network sites
US8332414B2 (en) * 2008-07-01 2012-12-11 Samsung Electronics Co., Ltd. Method and system for prefetching internet content for video recorders
US9355554B2 (en) * 2008-11-21 2016-05-31 Lenovo (Singapore) Pte. Ltd. System and method for identifying media and providing additional media content
US9009226B2 (en) * 2009-12-09 2015-04-14 Microsoft Technology Licensing, Llc Generating activities based upon social data
KR101289267B1 (ko) * 2009-12-22 2013-08-07 한국전자통신연구원 방송통신시스템에서 ｄｔｖ 자막 처리 장치 및 방법
US8452765B2 (en) * 2010-04-23 2013-05-28 Eye Level Holdings, Llc System and method of controlling interactive communication services by responding to user query with relevant information from content specific database
WO2011146276A2 (en) * 2010-05-19 2011-11-24 Google Inc. Television related searching
US20110320441A1 (en) * 2010-06-25 2011-12-29 Microsoft Corporation Adjusting search results based on user social profiles
KR20120053868A (ko) * 2010-11-18 2012-05-29 한국전자통신연구원 시맨틱 컨텍스트 제공장치 및 제공방법
US8805833B2 (en) * 2010-11-24 2014-08-12 Microsoft Corp. Enhancing personal data search with information from social networks
US20120278329A1 (en) * 2011-04-29 2012-11-01 Google Inc. Tracking feeds in a social network
US9117196B2 (en) * 2011-08-10 2015-08-25 Boardseat Inc. System and method for relevant business networking based in controlled relevancy groups, responsibilites and measured performance
US20130044912A1 (en) * 2011-08-19 2013-02-21 Qualcomm Incorporated Use of association of an object detected in an image to obtain information to display to a user
US9020950B2 (en) * 2011-12-19 2015-04-28 Palo Alto Research Center Incorporated System and method for generating, updating, and using meaningful tags
US8812518B1 (en) * 2012-02-02 2014-08-19 Google Inc. Synonym identification based on search quality
US20130212081A1 (en) * 2012-02-13 2013-08-15 Microsoft Corporation Identifying additional documents related to an entity in an entity graph
US10331785B2 (en) * 2012-02-17 2019-06-25 Tivo Solutions Inc. Identifying multimedia asset similarity using blended semantic and latent feature analysis
US9317551B1 (en) * 2012-03-23 2016-04-19 The Mathworks, Inc. Transforming a search query into a format understood by a technical computing environment (TCE)-based search engine
US9237386B2 (en) * 2012-08-31 2016-01-12 Google Inc. Aiding discovery of program content by providing deeplinks into most interesting moments via social media
US9317583B2 (en) * 2012-10-05 2016-04-19 Microsoft Technology Licensing, Llc Dynamic captions from social streams
US9002889B2 (en) * 2012-12-21 2015-04-07 Ebay Inc. System and method for social data mining that learns from a dynamic taxonomy
US9244977B2 (en) * 2012-12-31 2016-01-26 Google Inc. Using content identification as context for search
US9449002B2 (en) * 2013-01-16 2016-09-20 Althea Systems and Software Pvt. Ltd System and method to retrieve relevant multimedia content for a trending topic
US10296545B2 (en) * 2014-05-30 2019-05-21 Apple Inc. Unit converter with sorted list of results
US10120909B2 (en) * 2014-08-22 2018-11-06 Facebook, Inc. Generating cards in response to user actions on online social networks
US9754037B2 (en) * 2014-08-27 2017-09-05 Facebook, Inc. Blending by query classification on online social networks

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6636238B1 (en) * 1999-04-20 2003-10-21 International Business Machines Corporation System and method for linking an audio stream with accompanying text material
CN101267518A (zh) * 2007-02-28 2008-09-17 三星电子株式会社 从内容元数据提取相关信息的方法和装置
CN101719144A (zh) * 2009-11-04 2010-06-02 中国科学院声学研究所 一种联合字幕和视频图像信息进行场景分割和索引的方法
CN102708863A (zh) * 2011-03-28 2012-10-03 德信互动科技（北京）有限公司 语音对话设备、系统、及语音对话实现方法
CN102903362A (zh) * 2011-09-02 2013-01-30 微软公司 集成的本地和基于云的语音识别
CN102999560A (zh) * 2011-10-26 2013-03-27 微软公司 用社交网络特征提高姓名和其它搜索查询的搜索引擎结果页面的相关性

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106708905A (zh) * 2015-11-18 2017-05-24 百度在线网络技术（北京）有限公司 视频内容搜索方法和装置
CN106708905B (zh) * 2015-11-18 2019-12-24 百度在线网络技术（北京）有限公司 视频内容搜索方法和装置
CN107180058A (zh) * 2016-03-11 2017-09-19 百度在线网络技术（北京）有限公司 一种用于基于字幕信息进行查询的方法和装置
CN107180058B (zh) * 2016-03-11 2024-06-18 百度在线网络技术（北京）有限公司 一种用于基于字幕信息进行查询的方法和装置
CN113068077A (zh) * 2020-01-02 2021-07-02 腾讯科技（深圳）有限公司 一种字幕文件处理方法及装置
CN113068077B (zh) * 2020-01-02 2023-08-25 腾讯科技（深圳）有限公司 一种字幕文件处理方法及装置
CN113139113A (zh) * 2021-04-29 2021-07-20 北京沃东天骏信息技术有限公司 搜索请求的处理方法和装置

Also Published As

Publication number Publication date
US10277945B2 (en) 2019-04-30
DE102014100958A1 (de) 2014-10-09
US20140304753A1 (en) 2014-10-09

Similar Documents

Publication Publication Date Title
CN104102683A (zh) 用于增强视频显示的上下文查询
US10277946B2 (en) Methods and systems for aggregation and organization of multimedia data acquired from a plurality of sources
CN106331778B (zh) 视频推荐方法和装置
CN110072152B (zh) 识别和呈现因特网可访问内容的方法和设备
JP5781601B2 (ja) コンテンツ検出、検索、および、情報集約によるオンラインビデオの充実
US9100701B2 (en) Enhanced video systems and methods
US20190069023A1 (en) Methods and systems for automatically evaluating an audio description track of a media asset
US20180213289A1 (en) Method of authorizing video scene and metadata
US20160378762A1 (en) Methods and systems for identifying media assets
WO2018177139A1 (zh) 一种视频摘要生成方法、装置、服务器及存储介质
CN103988515A (zh) 通过关键字选择在已连接媒体设备中进行频道导航
WO2014138305A1 (en) Systems and methods for providing user interactions with media
US10440435B1 (en) Performing searches while viewing video content
US8706655B1 (en) Machine learned classifiers for rating the content quality in videos using panels of human viewers
US20130268261A1 (en) Semantic enrichment by exploiting top-k processing
CN104685899A (zh) 动态媒体片段定价
US11250468B2 (en) Prompting web-based user interaction
US20150213515A1 (en) Method and system for online content match advertising
EP3518530B1 (en) Information processing apparatus, information processing method, program for scheduling the recording of a broadcast program
CN111259225B (zh) 新媒体信息展示方法、装置、电子设备及计算机可读介质
US20150227970A1 (en) System and method for providing movie file embedded with advertisement movie
KR101687377B1 (ko) 영상자료에 대한 광고 영상 제작방법, 이를 이용한 제작 시스템 및 제작된 영상데이터에 대한 상영방법
KR102553332B1 (ko) 라이브 방송 플랫폼에서 콘텐츠 편집 방법 및 장치
CN110659419B (zh) 确定目标用户的方法及相关装置
CN113435928A (zh) 基于语音识别的广告推荐方法、装置及计算机设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20141015

RJ01 Rejection of invention patent application after publication