CN107087225B - 将隐藏式字幕流用于设备元数据 - Google Patents

将隐藏式字幕流用于设备元数据 Download PDF

Info

Publication number
CN107087225B
CN107087225B CN201611205953.7A CN201611205953A CN107087225B CN 107087225 B CN107087225 B CN 107087225B CN 201611205953 A CN201611205953 A CN 201611205953A CN 107087225 B CN107087225 B CN 107087225B
Authority
CN
China
Prior art keywords
information
instructions
implementations
server
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611205953.7A
Other languages
English (en)
Other versions
CN107087225A (zh
Inventor
史蒂文·凯斯·海因斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN107087225A publication Critical patent/CN107087225A/zh
Application granted granted Critical
Publication of CN107087225B publication Critical patent/CN107087225B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/47815—Electronic shopping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6543—Transmission by server directed to the client for forcing some client operations, e.g. recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6581—Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/087—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only
    • H04N7/088—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital
    • H04N7/0882—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of character code signals, e.g. for teletext
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4886—Data services, e.g. news ticker for displaying a ticker, e.g. scrolling banner for news, stock exchange, weather data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请涉及将隐藏式字幕流用于设备元数据。接收包括隐藏式字幕的视频流。从隐藏式字幕确定信息集。向位于远离客户端的地方的服务器发送包括信息集的请求以供另外处理。从服务器接收指令集。基于对信息集的另外处理来确定指令集。响应于接收到指令集而根据该指令集来执行一个或多个应用。

Description

将隐藏式字幕流用于设备元数据
分案说明
本申请属于申请日为2012年5月23日的中国发明专利申请201280036340.9的分案申请。
技术领域
本描述总体上涉及向用户提供信息。
背景技术
视频内容有时包括提示观看者采取与视频的内容有关的某一动作的听觉或视觉消息。例如，电视商业广告可以提示用户访问与做广告的产品相关联的产品的网站来获取关于该产品的优惠券或信息。在另一个示例中，在播放电视节目或电影期间，可以显现消息，其提示观看者访问网站来查看更多与在该电视节目或电影中描绘或与该电视节目或电影相关联的人、场所或事物有关的信息。即使没有被提示，许多用户也对与他们正观看的视频内容有关的人、场所或事物感兴趣。典型地，为了获取与视频流有关的信息，用户将需要使用具有因特网能力的设备来访问网站。现有方法效率低下，因为它们要求用户采取在观看体验外的某一动作。而且，许多观看者可能错过或忽略提供关于视频内容的另外信息的音频消息和视觉消息，并且许多观看者在观看视频内容同时操作计算设备可能不方便。
发明内容
在本文所述的方法和系统提供了在用户正观看视频内容时显示与该视频内容有关的信息的有效方式。例如，可以在显示设备上显示关于茶的商业广告，并且当用户正在观看该商业广告时，连接到该显示设备的客户端设备对隐藏式字幕内容进行解析来获取信息集、将该信息集发送给服务器、从服务器获取指令集并且根据所接收的指令集来执行一个或多个功能。该一个或多个功能显示与隐藏式字幕内容有关的信息。在该示例中，指令集包括用来执行一个或多个应用的指令，诸如执行浏览器来显示带有关于特定类型或品牌的茶的信息的网页、执行媒体播放器来示出泡制茶的指导视频、执行馈给阅读器应用来显示关于茶的文章或执行优惠券簿应用来提供针对是商业广告的主题的茶的优惠券。当正在播放该商业广告时执行该一个或多个应用，并且在显示设备上与该商业广告同时显示该一个或多个应用。
根据一些实施方式，提供了显示信息的系统和方法。在客户端设备处接收包括隐藏式字幕的视频流。从隐藏式字幕的内容确定信息集。向位于远离客户端设备的地方的服务器发送包括该信息集的请求以供处理。从服务器接收指令集。该指令集包括用来显示与信息集有关的信息的指令。响应于接收到该指令集，根据该指令集执行一个或多个应用。
根据一些实施方式，在服务器处接收包括从视频流中的隐藏式字幕内容提取的信息集的客户端请求。从该信息集识别一个或多个相关身份。确定与该信息集相关联的指令集。将该指令集发送给客户端。
附图说明
图1是图示根据一些实施方式的分布式客户端-服务器系统的框图。
图2A是图示根据一些实施方式的示例性服务器系统的结构的框图。
图2B是图示根据一些实施方式的示例性广播系统的结构的框图。
图3是图示根据一些实施方式的示例性客户端设备的结构的框图。
图4是图示显示信息的过程的概览的流程图。
图5A、5B、5C、5D和5E是根据一些实施方式的示例性截屏。
图6是图示显示信息的过程的流程图。
图7是图示基于从隐藏式字幕提取的信息集来确定指令集的过程的流程图。
在整个附图中，相同参考数字是指相应部分。
具体实施方式
图1是图示为部分实施方式实现的分布式系统100的框图。客户端-服务器系统100包括：一个或多个客户端设备102、通信网络104、服务器系统106、显示设备108和广播系统128。服务器系统106通过通信网络104耦接到一个或多个客户端设备102和广播系统128。
广播系统128向一个或多个客户端设备102广播视频流。服务器系统106接收包含从隐藏式字幕内容得到的信息集的请求、基于该信息集来确定指令集并且将该指令集发送给客户端设备102以供执行。当被客户端设备102执行时，该指令集促使客户端设备102显示与从视频流的隐藏式字幕提取的信息集有关的信息。
根据一些实施方式，视频或视频流是表示带有运动中的物体的场景的图像或帧序列。视频每秒显示多个图像或帧。例如，视频通常每秒显示30个帧。相比之下，如在本文所使用的静止图像是孤立的、是静态或静止的并且不包括如视频典型地那样的运动或改变。在本文的图像可以被包括或嵌入在较大图像或视频内。
隐藏式字幕是指显示字幕文本来选择观众的成员的能力。隐藏式字幕典型地在节目的音频部分出现时或有轻微延迟，(逐字或以编辑形式)显示节目的音频部分的转译，有时包括非话音元素。在隐藏式字幕中的用语“隐藏式”指示不是所有观看者均可以看见该字幕。只有选择对隐藏式字幕进行解码或激活的用户才能够查看它们。隐藏式字幕不同于对所有用户均可见的开放式字幕。隐藏式字幕同样不同于子标题。子标题假设观看者能够听见但是不能理解语言或口音，因此，子标题仅仅转译对话和某些屏幕上文本。隐藏式字幕的目标是：向失去听觉和听力不佳的人描述所有重要的音频内容，包括口头对话、音乐、音效以及非话音信息，诸如说话人的身份及其说话方式。隐藏式字幕有时由内容的内容创作者或广播商创建。
在一些实施方式中，服务器系统106被实现为单个服务器系统，而在其他实施方式中，其被实现为多个服务器的分布式系统。只是为了便于说明，在下面将服务器系统106描述为在单个服务器系统上实现。在一些实施方式中，广播系统128被实现为单个服务器系统，而在其他实施方式中，其被实现为多个服务器的分布式系统。只是为了便于说明，在下面将广播系统128描述为在单个服务器系统上实现。
通信网络104可以是任何有线或无线局域网(LAN)和/或广域网(WAN)，诸如内联网、外联网或因特网。通信网络104提供在一个或多个客户端设备102与服务器系统106之间的通信能力是足够的。在一些实施方式中，通信网络104使用超文本传输协议(HTTP)来传输使用传输控制协议/网际协议(TCP/IP)的信息。HTTP允许客户端设备102访问通过通信网络104可获得的各种资源。然而，各种实施方式并不限于对任何特定协议的使用。
在一些实施方式中，服务器系统106包括便于在服务器系统106和网络104之间的通信的前端服务器112。在一些实施方式中，前端服务器112被配置成接收对指令集的请求。在一些实施方式中，前端服务器112被配置成向发出请求的客户端设备102发送指令集。在一些实施方式中，前端服务器112被配置成发送内容文件或/和到内容文件的链接。在这种情境下，用语“内容文件”意为任何格式的任何电子文件，包括但不限于：视频文件、图像文件、音乐文件、网页、电子邮件消息、SMS消息、内容馈给、广告、优惠券、播放列表和XML内容文件。在一些实施方式中，前端服务器112还被配置成向客户端102发送视频流。
内容馈给(或频道)是提供在馈给源处存在、最近添加或最近更新的内容项列表的资源或服务。在内容馈给中的内容项可以包括与项自身相关联的内容(内容项指定的实际内容)、题目(有时被称为标题)、和/或内容的描述、内容的网络位置或定位符(例如，URL)或其任何组合。例如，如果内容项识别文本文章，则该内容项可以包括内嵌的文章自身，连同题目(或标题)以及定位符。替选地，内容项可以包括题目、描述和定位符，但是不包括文章内容。因此，一些内容项可以包括与那些项相关联的内容，而其他的包含到相关联的内容的链接，但是不包括项的完整内容。内容项还可以包括提供关于内容的另外信息的另外元数据。内容的完整版本可以是任何机器可读数据，包括但不限于：网页、图像、数字音频、数字视频、可移植内容文件格式(PDF)内容文件等。
在一些实施方式中，使用诸如RSS的内容聚合格式来指定内容馈给。RSS是表示“丰富站点摘要”、“RDF站点摘要”或“真正简易聚合”的首字母缩略词。“RSS”可以指基于可扩展标记语言(XML)、用于指定内容馈给及包括在该馈给中的内容项的格式族中的任何一个。在一些其他实施方式中，可以使用其他内容聚合格式，诸如Atom聚合格式或VCALENDAR日历格式，来指定内容馈给。
在一些实施方式中，服务器系统106包括存储一个或多个相关身份和相关联的度量的身份数据库116。身份可以表示人、场所或事物，以及相关联的度量测量相应身份的重要性。在一些实施方式中，身份数据库116是分布式数据库。
在一些实施方式中，服务器系统106包括管理并检索存储在身份数据库116中的信息的识别模块114。识别模块114接收请求并且返回存储在身份数据库116中的与请求相匹配的身份。
在一些实施方式中，服务器系统106包括存储用户数据的用户数据库124。相应用户的用户数据包括用户标识符、相关联的内容文件和偏好。在一些实施方式中，用户数据库124是分布式数据库。
在一些实施方式中，服务器系统106包括内容数据库122。在一些实施方式中，内容数据库122存储视频、图像、音乐、网页、电子邮件消息、SMS消息、内容馈给、广告、优惠券、播放列表、XML内容文件。在一些实施方式中，内容数据库122存储到视频、图像、音乐、网页、电子邮件消息、SMS消息、内容馈给、广告、优惠券、播放列表、XML内容文件的链接。在一些实施方式中，内容数据库122是分布式数据库。
在一些实施方式中，服务器系统106包括生成待由客户端设备102执行的指令集的指令模块118。指令模块118基于包含在请求220中的信息和/或用户数据库124中的信息来生成指令集。在一些实施方式中，指令模块118基于包含在请求中的信息集来选择一个或多个内容文件和/或到内容文件的一个或多个链接。指令模块118将一个或多个内容文件和/或到内容文件的一个或多个链接发送给前端服务器112以供传输给发出请求的客户端设备102。
在一些实施方式中，用户通过客户端设备102与服务器系统106交互。客户端设备102可以是能够连接到通信网络104的任何适当的计算机设备，诸如台式计算机、膝上型计算机、平板设备、上网本、因特网信息亭、个人数字助理、移动电话、游戏设备或能够与服务器系统106通信的任何其他设备。客户端设备102典型地包括一个或多个处理器、诸如硬盘驱动器或闪存驱动器的非易失性存储器和显示器。在一些实施方式中，客户端设备102具有输入设备，诸如键盘和鼠标(如图3中所示)。在一些实施方式中，客户端设备102具有触摸屏显示器和/或麦克风以供输入。在一些实施方式中，将客户端设备连接到投影仪。在一些实施方式中，将客户端设备102连接到显示设备108。在一些实施方式中，客户端设备102包括显示设备108。以另一种方式表述，在一些实施方式中，客户端设备和显示设备被包含在单个设备中。在一些实施方式中，显示设备108是电视或屏幕，诸如LCD或LED显示器。
在一些实施方式中，客户端设备102从一个或多个广播系统128接收视频流125。在一些实施方式中，客户端设备102从有线电视输入、卫星接收机、从网络连接或从空中天线接收视频流。
图2A是图示根据本实现的一个实施方式的服务器系统106的框图。服务器系统106典型地包括一个或多个处理单元(CPU)202、一个或多个网络或其他通信接口208、存储器206以及用于使这些组件互连的一个或多个通信总线204。存储器206包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备；以及可以包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备或其他非易失性固态存储设备。存储器206可以可选地包括位于远离CPU 202的地方的一个或多个存储设备。存储器206，包括在存储器206内的非易失性和易失性存储器设备，包含计算机可读存储介质。在一些实施方式中，存储器206或存储器206的非暂时性计算机可读存储介质存储下述程序、模块和数据结构或其子集，包括操作系统216、网络通信模块218、识别模块114、身份数据库116、指令模块118、内容数据库122和用户数据库124。
操作系统216包括用于处理各种基本系统服务和用于执行依赖硬件的任务的程序。
网络通信模块218便于通过一个或多个通信网络接口208(有线或无线)以及诸如因特网、其他广域网、局域网、城域网等的一个或多个通信网络与其他设备的通信。
身份数据库116存储一个或多个身份234。相应身份234-2包括名称240、重要性度量242和相关联的动作244。名称240识别身份。例如，名称240可以是人、场所或事物的名称。重要性度量242对身份的重要性进行测量并且用来确定身份集中的哪个身份是最重要的。相关联的动作244指定一个或多个动作，诸如发送消息、显示消息以及执行应用。在一些实施方式中，相关联的动作244指定内容数据库122中的一个或多个内容文件。
内容数据库122存储内容文件和/或到内容文件的链接。在一些实施方式中，内容数据库122存储媒体232，诸如视频、图像和音乐。在一些实施方式中，内容数据库122存储广告226、优惠券226、播放列表228、内容馈给230和XML内容文件。在一些实施方式中，内容数据库122存储网页233、电子邮件消息和SMS消息。在一些实施方式中，内容数据库122包括到视频、图像、音乐、网页、电子邮件消息、SMS消息、内容馈给、广告、优惠券、播放列表和XML内容文件的链接。在一些实施方式中，在内容数据库122中的内容文件处包括测量相应内容文件的受欢迎度的度量。
用户数据库124存储一个或多个用户的用户数据236。在一些实施方式中，相应用户的用户数据236-2包括用户标识符246和相关联的文件248。在一些实施方式中，相应用户的用户数据236-2包括偏好250。用户标识符230识别用户。在一些实施方式中，相关联的文件248包括存储在内容数据库122中的与用户相关联的内容文件的标识符列表。与用户相关联的文件248可以包括存储在内容数据库122中的任何文件。在一些实施方式中，偏好250包括用户感兴趣或不感兴趣的信息的类别。例如，用户可能对运动不感兴趣并且对科幻感兴趣。在一些实施方式中，偏好250包括针对感兴趣的类别的计数。例如，每一个类别可以包括表示用户已观看过与该类别相关联的项的次数的数字或分值。在一些实施方式中，偏好250指示用户喜欢或不喜欢的一个或多个应用。例如，偏好250可以指示用户喜欢使歌曲被添加到用户的播放列表。在另一个示例中，偏好250可以指示用户不喜欢接收优惠券提供。
指令模块118基于包含在请求中的信息来生成指令集358并且将该指令集发送给客户端102。
在一些实施方式中，指令模块116响应于接收到来自客户端102的请求220来生成指令集358。在一些实施方式中，请求220包括用户标识符262和信息集350。用户标识符262识别请求与之相关联的用户。例如，用户标识符262可以是与客户端设备102相关联的IP地址或用户选择或服务器分配的唯一识别用户的字母数字值。在一些实施方式中，信息集350包括从隐藏式字幕流的内容解析得到的信息265。
在一些实施方式中，信息集350包括由下述组成的字符串：字母字符、数字、符号或其任何组合。在一些实施方式中，信息集350包括人、场所或事物的名称以及另外信息，诸如应用的名称。例如，信息集350可以包括音乐艺术家的名称并且可以指示媒体应用。在一些实施方式中，信息集350包括视频流的名称和/或视频流的类别。例如，信息集350可以包括电影的名称和该电影的类别或风格(例如，戏剧、科幻等)。在一些实施方式中，信息集350包括指令集。在一些实施方式中，指令集包括用来调用一个或多个应用的指令。在一些实施方式中，指令集包括用来显示和/或发送一个或多个消息的指令。在一些实施方式中，消息包括电子邮件消息和SMS消息。
在一些实施方式中，指令模块118将在请求220中接收的信息集350存储在用户数据库124中，并且将信息集350与请求220所识别的用户相关联。在一些实施方式中，使用包含在来自相应用户的请求220中的信息集350来为该相应用户确定偏好。例如，信息集350可以包含相应用户已观看过的内容的类别信息(例如，科幻)。在该示例中，指令模块118递增存储在相应用户的用户偏好250中的相应类别计数。
在一些实施方式中，指令模块118基于包含在请求220中的信息来生成指令集358。在一些实施方式中，指令模块118基于用户偏好250和/或包含在请求220中的信息集350来生成指令集358。
在一些实施方式中，指令模块116将信息集350的至少部分发送给识别模块114以获取一个或多个相关身份234。识别模块114将包含在信息集350中的信息与身份数据库116中的一个或多个身份234相匹配。在一些实施方式中，识别模块114对信息集350进行解析来获取经解析的信息并且用经解析的信息生成搜索查询。例如，信息集350可以包括专有名词的列表，并且识别模块114可以用每一个专有名词构造查询。在一些实施方式中，信息集350包括一个或多个句子、特殊字符和/或符号。在一些实施方式中，可以将该一个或多个句子用作为针对身份数据库116的查询。在一些实施方式中，可以将信息集350中的在特殊字符后的预定义量的文本用作为针对身份数据库116的查询。例如，如果信息集350包括文本“#actor person x”，则将文本“personx”用作为查询。
将所生成的查询发送给身份数据库116以找到潜在匹配。在一些实施方式中，识别模块114基于与相应身份相关联的重要性度量242来过滤搜索结果。例如，识别模块114可以选择具有高于预定义阈值的重要性度量242的身份或可以选择在身份集中的前几个身份。识别模块114将一个或多个确定的身份发送给指令模块118。
在一些实施方式中，指令模块118从指令模块118接收一个或多个确定的身份并且基于一个或多个确定的身份来确定指令集358。指令模块118从一个或多个确定的身份中选择身份。例如，指令模块118可以选择具有最高相关联的重要性度量242的身份。在一些实施方式中，基于与用户标识符262所识别的用户相关联的偏好250来确定所选择的身份。例如，当用户的偏好指示该用户有运动爱好时，指令模块118可以选择一个或多个运动相关身份。
在选择了身份之后，指令模块118生成指令集358。在一些实施方式中，指令模块118为从信息集350确定的每一个身份确定指令集。在一些实施方式中，指令集358基于所选择的身份的相关联的动作244。例如，如果所选择的身份是历史人物的名称，则相关联的动作244可以指定示出带有关于该历史人物的信息的网页。在一些实施方式中，指令集358基于一个或多个确定的身份和用户标识符262所识别的用户的用户偏好250。例如，用户的偏好250可以指示用户喜欢或不喜欢的应用或动作。例如，用户可能喜欢不在该用户的设备上执行某些应用。在另一个示例中，用户可能喜欢接收内容馈给中的信息。
在一些实施方式中，指令模块118使用识别模块118所返回的一个或多个确定的身份来生成搜索查询以识别内容数据库122中的相关内容文件。例如，如果一个或多个确定的身份包括演员的名称，则指令模块118可以确定该演员与之相关联的内容文件，诸如网页、视频、图片和新闻报道，并且基于与内容文件相关联的度量来确定哪一个将对用户来说最感兴趣。例如，度量可以测量受欢迎度或相关性。
在一些实施方式中，指令集358包括用来在客户端设备102上调用一个或多个功能或应用的指令。在一些实施方式中，从由下述组成的组中选择一个或多个应用：媒体应用、馈给阅读器应用、浏览器应用和优惠券簿应用。在一些实施方式中，基于使用相关身份来识别的一个或多个内容文件，来选择一个或多个应用。在一些实施方式中，指令集358包括用来调用应用的指令和用来指引所调用的应用下载包含在内容数据库118中的一个或多个内容文件的指令。例如，指令模块118可以生成用来调用馈给器阅读器设备的指令和用来促使馈给阅读器设备下载与演员有关的内容项的指令。在另一个示例中，指令模块118可以生成用来调用web浏览器的指令和用来促使浏览器被导航到特定网站(例如，产品网站)的指令。在图5B、5C、5D和5E的论述中论述了应用执行的另外示例。
在一些实施方式中，指令集358包括用来在客户端设备102的显示器313上显示消息的指令。在一些实施方式中，指令集358包括用来向用户发送电子邮件消息或SMS消息的指令。电子邮件消息或SMS的内容与信息集350有关。例如，消息可以包含与包含在信息集350中的代词有关的促销提供。
指令模块118响应于来自客户端设备102的请求生成并发送指令集358到客户端设备102。在一些实施方式中，指令模块118所生成的指令358被包含在内容馈给中。在一些实施方式中，指令模块118与指令集358一起检索并发送(存储在内容数据库122中的)一个或多个内容文件和/或内容文件链接。
可以将上面识别的元素中的每一个存储在先前提及的存储器设备中的一个或多个中，并且模块或程序中的每一个对应于用于执行上述功能的指令集。指令集可以由一个或多个处理器(例如，CPU 202)执行。上面识别的模块或程序(即，指令集)不必被实现为单独软件程序、过程或模块，因此，可以在各种实施方式中，对这些模块的各种子集进行组合或另外重新安排。在一些实施方式中，存储器206可以存储上面识别的模块和数据结构的子集。此外，存储器206可以存储上面没有描述的另外模块和数据结构。
尽管图2A示出了服务器系统，然而，图2A比作为在本文所述的实施方式的结构示意更意在作为可以存在于服务器组中的各种特征的功能描述。实际上并且如本领域技术人员所认识到的，可以使分别示出的项相组合，并且可以使部分项分离。例如，在图2A中分别示出的部分项(例如，操作系统216和网络通信模块218)可以在单个服务器上来实现，并且单个项可以由一个或多个服务器实现。用来实现服务器系统106的服务器的实际数量以及如何在它们之间分配特征将随实施方式不同而变化，并且可以部分取决于系统在高峰使用时段期间以及在平均使用时段期间必须处理的数据业务量。
图2B是图示根据本实现的一个实施方式的广播系统128的框图。广播系统128典型地包括一个或多个处理单元(CPU)358、一个或多个网络或其他通信接口262、存储器268、传输接口266以及用于使这些组件互连的一个或多个通信总线262。存储器268包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备；以及可以包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备或其他非易失性固态存储设备。存储器268可以可选地包括位于远离CPU 358的地方的一个或多个存储设备。存储器268，包括在存储器268内的非易失性和易失性存储器设备，包含计算机可读存储介质。在一些实施方式中，存储器268或存储器268的非暂时性计算机可读存储介质存储下述程序、模块和数据结构或其子集，包括操作系统270、网络通信模块272、视频模块273和视频流数据库276。
传输接口266经由无线电传输、卫星传输或通过电缆线路来传输视频流。
操作系统270包括用于处理各种基本系统服务和用于执行依赖硬件的任务的程序。
网络通信模块272便于通过一个或多个通信网络接口350(有线或无线)以及诸如因特网、其他广域网、局域网、城域网等的一个或多个通信网络与其他设备的通信。在一些实施方式中，网络通信模块272通过网络接口350传送存储在视频流数据库268中的视频流。
视频流数据库274存储视频流276。在一些实施方式中，视频流数据库274中的视频流276包括视频内容254和隐藏式字幕256。
视频模块273将存储在视频流数据库274中的一个或多个视频流276发送给一个或多个客户端设备102。
在一些实施方式中，可以将广播系统108和服务器系统106的功能性组合在单个服务器系统上。
可以将上面识别的元素中的每一个存储在先前提及的存储器设备中的一个或多个中，并且模块或程序中的每一个对应于用于执行上述功能的指令集。指令集可以由一个或多个处理器(例如，CPU 358)执行。上面识别的模块或程序(即，指令集)不必被实现为单独软件程序、过程或模块，因此，可以在各种实施方式中，对这些模块的各种子集进行组合或另外重新安排。在一些实施方式中，存储器268可以存储上面识别的模块和数据结构的子集。此外，存储器268可以存储上面没有描述的另外模块和数据结构。
尽管图2B示出了广播系统，然而，图2B比作为在本文所述的实施方式的结构示意更意在作为可以存在于服务器组中的各种特征的功能描述。实际上并且如本领域技术人员所认识到的，可以使分别示出的项相组合，并且可以使部分项分离。例如，在图2B中分别示出的部分项(例如，操作系统270和网络通信模块272)可以在单个服务器上来实现，并且单个项可以由一个或多个服务器实现。用来实现广播系统128的服务器的实际数量以及如何在它们之间分配特征将随实施方式不同而变化，并且可以部分取决于系统在高峰使用时段期间以及在平均使用时段期间必须处理的数据业务量。
图3是图示根据一些实施方式的客户端设备102的框图。客户端设备102典型地包括一个或多个处理单元(CPU)302、一个或多个网络或其他通信接口308、存储器306以及用于使这些组件互连的一个或多个通信总线304。客户端设备102还可以包括用户接口，其包括显示设备313以及键盘和/或鼠标(或其他指示设备)314。存储器306包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备；以及可以包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备或其他非易失性固态存储设备。存储器306可以可选地包括位于远离CPU 302的地方的一个或多个存储设备。存储器306或替选地在存储器306内的非易失性存储器设备包括计算机可读存储介质。在一些实施方式中，客户端设备102是带有触摸屏显示器的便携式电子设备。在一些实施方式中，存储器306或存储器306的计算机可读存储介质存储下述程序、模块和数据结构或其子集，包括操作系统316、网络通信模块318、用户接口模块322、解析模块126、应用328和数据342。
客户端设备102包括用于输入并输出视频的视频输入/输出350。在一些实施方式中，视频输入/输出350被配置成从无线电传输、卫星传输和电缆线路接收视频流。在一些实施方式中，将视频输入/输出350连接到电缆盒。在一些实施方式中，将视频输入/输出350连接到卫星碟。在一些实施方式中，将视频输入/输出350连接到天线。
在一些实施方式中，客户端设备102包括用于接收并记录电视视频流的电视调谐器352。
操作系统316包括用于处理各种基本系统服务和用于执行依赖硬件的任务的程序。
网络通信模块318便于通过一个或多个通信网络接口304(有线或无线)以及诸如因特网、其他广域网、局域网、城域网等的一个或多个通信网络与其他设备的通信。
用户接口模块322跟踪到客户端设备102的用户输入和选择。
图形模块320显示与应用328相关联的用户界面。
数据342包括视频流344。视频流344包括视频内容348和隐藏式字幕350。
在一些实施方式中，应用328包括浏览器330、媒体应用332、优惠券簿应用336和馈给阅读器应用340。浏览器330允许用户查看网页。媒体应用332播放视频、音乐、显示图像并且管理播放列表334。馈给阅读器应用340显示内容馈给341。优惠券簿应用336显示并存储优惠券/广告338。
解析模块126对视频流中的隐藏式字幕进行解析来生成信息集、将该信息集发送给服务器106、响应于发送该信息集从服务器106接收指令集并且执行该指令集。
在一些实施方式中，解析模块126对视频流中的隐藏式字幕进行解析来确定信息集350。解析模块126对隐藏式字幕的内容进行解析。例如，如果隐藏式字幕包括文本“helloworld(世界你好)”，则解析模块将对文本“hello world”进行解析。在一些实施方式中，隐藏式字幕包括文本、数字、符号或其任何组合。
在一些实施方式中，解析模块126识别隐藏式字幕中的一个或多个特殊字符。所述特殊字符可以在存储在解析模块126中的列表中来定义。所述特殊字符可以由视频流的提供商或广播商定义。在一些实施方式中，解析模块126识别一个或多个特殊字符以及在该一个或多个特殊字符后的预定义量的文本。解析模块126将特殊字符和/或预定义量的文本包括在信息集350中。在一些实施方式中，特殊字符包括符号、数字、文本或其任何组合。例如，广播商或内容提供商可以将符号“#”插入隐藏式字幕来强调在该符号后的文本与生成指令集有关。在该符号后的文本可以包括指令或可以包括应当从之得到指令的信息。例如，隐藏式字幕可以包括“#actor person x(#演员人x)”，用来指示人x是演员。通过将特殊字符插入视频节目的隐藏式字幕，内容提供商可以在该视频节目正被播放时向该视频节目的观看者提供相关信息。
在一些实施方式中，解析模块126识别隐藏式字幕中的句子并且将所识别的句子包括在信息集350中。例如，解析模块126可以通过检测隐藏式字幕中的句号或其他标点符号来识别句子。解析模块126将所识别的句子中的一个或多个包括在信息集350中。
在一些实施方式中，解析模块126识别隐藏式字幕中的一个或多个专有名词并且将专有名词包括在信息集350中。例如，解析模块126可以选择隐藏式字幕中的大写单词。在一些实施方式中，如果一个或多个专有名词与存储在解析模块126中的一个或多个专有名词相匹配，则选择该一个或多个专有名词。专有名词可以对应于人、场所或事物。例如，解析模块126可以对隐藏式字幕进行解析来确定一个或多个人的名称、产品或公司的名称或国家的名称。指令模块118可以使用这个信息来向服务器106发出特定请求、返回到与专有名词所识别的人或场所有关的网页的链接、或返回由或关于专有名词所识别的人的媒体项(例如，歌曲或电影)的媒体播放列表。
在一些实施方式中，以请求模块352所生成的请求220将信息集350发送给服务器106。在一些实施方式中，请求356包括客户端102的用户的用户标识符。
响应于发送请求220，解析模块126从位于远离客户端102的地方的服务器接收指令集358。在一些实施方式中，指令集358被包含在内容馈给中。在一些实施方式中，解析模块126响应于请求而接收一个或多个内容文件。
解析模块126响应于接收到指令集358而执行指令集358。在一些实施方式中，指令集358包括用来在显示器(例如，313和110)上显示消息的指令。消息的内容与信息集有关。例如，消息可以向用户提供与视频片段有关的产品或服务。在一些实施方式中，该消息由消息模块356显示。在一些实施方式中，指令集358包括用来向与客户端设备103相关联的用户发送电子邮件消息或SMS消息的指令。例如，电子邮件消息或SMS消息可以包括优惠券或促销提供。在一些实施方式中，电子邮件消息或SMS消息由消息模块356发送。
在一些实施方式中，指令集350包括用来执行一个或多个应用328的指令。在图5B、5C、5D和5E的论述中论述了应用的示例。解析检测模块126执行从服务器接收的指令集350。
可以将上面识别的元素中的每一个存储在先前提及的存储器设备中的一个或多个中，并且模块或程序中的每一个对应于用于执行上述功能的指令集。指令集可以由一个或多个处理器(例如，CPU 302)执行。上面识别的模块或程序(即，指令集)不必被实现为单独软件程序、过程或模块，因此，可以在各种实施方式中，对这些模块的各种子集进行组合或另外重新安排。在一些实施方式中，存储器306可以存储上面识别的模块和数据结构的子集。此外，存储器306可以存储上面没有描述的另外模块和数据结构。
尽管图3示出了客户端设备，然而，图3比作为在本文所述的实施方式的结构示意更意在作为可以存在于客户端设备中的各种特征的功能描述。实际上并且如本领域技术人员所认识到的，可以使分别示出的项相组合，并且可以使部分项分离。
现专注于图4，其是图示根据一些实施方式的显示信息的过程400的流程图。图4提供了在图6和7的论述中更加详细地描述的方法的概览。广播系统128向客户端102发送包含隐藏式字幕的视频流(401)。在客户端102处接收包含隐藏式字幕的视频流(402)。从隐藏式字幕确定信息集(404)。将该信息集发送给位于远离客户端102的地方的服务器106以供处理(406)。服务器106接收该信息集(408)。服务器106从信息集识别一个或多个相关身份、确定与一个或多个相关身份相关联的指令集并且将该指令集发送给客户端102(410)。客户端102从服务器106接收指令集(412)。客户端102根据该指令集来执行一个或多个应用(414)。
现专注于图5A、5B、5C、5D和5E，其图示了根据一些实施方式的示例性截屏。图5B、5C、5D和5E图示了客户端设备102所执行的应用。图5B、5C、5D和5E中的应用受基于包含在电视节目502中的隐藏式字幕504的内容来确定的指令集调用并控制。如在图6的论述中更加详细地论述的，客户端设备102上的模块(例如，解析模块126)：接收诸如电视节目502的视频流、从电视节目502的隐藏式字幕504确定信息集、将该信息集发送给服务器(例如，服务器106)以获取指令集、从服务器接收指令集并且根据指令集来调用客户端设备102上的一个或多个应用。在客户端设备102的显示器上同时显示电视节目502和应用。图5A、5B、5C、5D和5E中的图示在本质上应当被视为示例性而非限制性的。
图5A图示了显示包括隐藏式字幕504的电视节目502的截屏。如图5A中所示，隐藏式字幕504的内容是“Hello World！”，其可以对应于电视节目502中的口头对话。
图5B图示了邻近电视节目502显示的馈给阅读器应用506。在图5B的情境下，客户端设备102上的解析模块126接收电视节目502、从电视节目502的隐藏式字幕504确定信息集、将该信息集发送给服务器106以获取指令集、从服务器106接收指令集并且根据从服务器106接收的指令集在客户端设备102上调用馈给阅读器应用506。馈给阅读器应用506显示内容馈给508。内容馈给508中的一个或多个内容项510由服务器106基于从包含在电视节目502中的隐藏式字幕504得到的信息来选择。例如，用户可能正在观看运动相关电视节目502，并且当对应的隐藏式字幕504提及运动队(例如，Team X(队X))时，调用馈给阅读器应用506并且显示内容项Sports Headline(运动标题)1 510。在图5B的情境下，内容项510由服务器106上的指令模块118基于从隐藏式字幕504得到的信息或指令来选择。
图5C图示了与电视节目502同时显示的媒体播放器512。在图5C的情境下，客户端设备102上的解析模块126接收电视节目502、从电视节目502的隐藏式字幕504确定信息集、将该信息集发送给服务器106以获取指令集、从服务器106接收指令集并且根据从服务器106接收的指令集调用客户端设备102上的媒体播放器512。媒体播放器512基于从包含在电视节目502中的隐藏式字幕504得到的信息来执行一个或多个操作。例如，电视节目502的隐藏式字幕504可能提及艺术家，并且当用户观看包含与该艺术家有关的隐藏式字幕504的电视节目502的部分时，调用媒体应用512并且向用户提示将来自该艺术家的歌曲添加到该用户的播放列表。
图5D图示了邻近电视节目502显示的web浏览器516。在图5D的情境下，客户端设备102上的解析模块126接收电视节目502、从电视节目502的隐藏式字幕504确定信息集、将该信息集发送给服务器(例如，服务器106)以获取指令集、从服务器接收指令集并且根据从服务器接收的指令集调用客户端设备102上的web浏览器516。在一些实施方式中，浏览器516显示基于从包含在电视节目502中的隐藏式字幕504得到的信息来选择的网页508。隐藏式字幕504可以包含与人、场所或事物有关的信息。例如，隐藏式字幕504可能引用历史人物的名称，并且当用户查看包含对该历史人物的引用的隐藏式字幕504的部分时，web浏览器516调用提供关于该历史人物的信息的网页508(例如，Wikipedia页面)。在另一个示例中，隐藏式字幕504可以在商业广告期间提及产品，并且当用户观看包含对该产品的引用的隐藏式字幕504的部分时，浏览器516显示与该产品有关的网页508(例如，产品页面)。当用户观看包含隐藏式字幕504的视频流的部分时，调用浏览器应用516，并且将浏览器506导航到基于隐藏式字幕504的内容来确定的网站。
图5E图示了优惠券簿应用518。在一些实施方式中，优惠券簿应用518基于从隐藏式字幕504得到的信息来执行一个或多个操作。在图5E的情境下，客户端设备102上的解析模块126接收电视节目502、从电视节目502的隐藏式字幕504确定信息集、将该信息集发送给服务器106以获取指令集、从服务器106接收指令集并且根据从服务器接收的指令集调用客户端设备102上的优惠券簿应用518。例如，用户可能观看关于珍珠奶茶的商业广告，并且隐藏式字幕504可能提及产品。当用户正在观看该商业广告时，调用优惠券应用518并且向用户提示将优惠券保存到该用户的优惠券簿。
图6图示用于显示信息的方法600。这样的方法对期望在内容被播放时提供与该内容有关的信息和服务的广播商和内容提供商有用。这样的方法对期望关于他们观看的内容的相关信息的内容观看者有用。
现专注于图6，其是图示显示基于包含在视频流中的隐藏式字幕来确定的信息的方法600的流程图。在具有一个或多个处理器和存储器的客户端设备102处执行方法600。接收包括隐藏式字幕的视频流(602)。例如，该视频流可以对应于带有与视频内容有关并且与视频内容协调的隐藏式字幕的电视节目、电影或商业广告。在一些实施方式中，视频流通过客户端设备102的视频输入350、电视调谐器352或网络接口308来接收。在一些实施方式中，视频流从广播系统128接收。例如，视频流可以通过网络连接、卫星接收机、电缆盒或经由空中天线来接收。
从隐藏式字幕确定信息集350(604)。在一些实施方式中，信息集350包括来自隐藏式字幕的内容的信息。例如，信息集350可以包括来自隐藏式字幕的内容的文本。在一些实施方式中，信息集350由字母字符、数字、符号或其任何组合组成。信息集350由解析模块126确定。
在一些实施方式中，确定包括确定一个或多个符号，并且信息集350包括所确定的一个或多个符号(606)。以另一种方式表述，在一些实施方式中，解析模块126对隐藏式字幕的内容进行解析来确定一个或多个符号并且将所确定的一个或多个符号包括在信息集350中。在一些实施方式中，确定包括确定一个或多个符号以及在所述符号后的预定义量的文本。将该一个或多个符号和在所述符号后的预定义量的文本包括在信息集350中。例如，广播商或内容提供商可以将“#”符号插入视频流的隐藏式字幕中来发信号在该符号后的文本是应当从之得到指令的信息。例如，隐藏式字幕可以包括“#actor person x”，用来指示人x是演员。在一些实施方式中，在符号后的文本可以包括应当从之得到指令的指令或信息。例如，解析模块126从隐藏式字幕检测并解析字符串“#browser(浏览器)URL”并且将经解析的字符串包括入信息集350中。解析模块126将包括经解析的字符串的信息集350发送给服务器106，并且作为响应，接收指令集358。对应于经解析的字符串的指令集358可以调用客户端设备106上的web浏览器并且打开与经解析的字符串中的URL相对应的网页。内容提供商可以将特殊字符或符号插入视频流的隐藏式字幕中，以提供与该视频流有关的信息。与视频流同时显示相关信息。
在一些实施方式中，确定包括确定在隐藏式字幕中的一个或多个句子，并且信息集350包括所确定的一个或多个句子(608)。解析模块126对隐藏式字幕的内容进行解析来确定一个或多个句子并且将所确定的句子包括在信息集350中。例如，解析模块126可以通过检测隐藏式字幕的内容中的句号或其他标点符号来检测句子。
在一些实施方式中，确定包括确定隐藏式字幕中的一个或多个专有名词，并且信息集350包括该一个或多个代词(610)。解析模块126对隐藏式字幕的内容进行解析来确定一个或多个专有名词并且将所确定的一个或多个专有名词包括在信息集350中。在一些实施方式中，如果一个或多个专有名词与存储在解析模块126中的一个或多个专有名词相匹配，则选择该一个或多个专有名词。专有名词可以对应于人、场所或事物。例如，解析模块126可以对隐藏式字幕的内容进行解析来确定一个或多个人的名称、产品或公司的名称或国家的名称。在一些实施方式中，解析模块126选择隐藏式字幕中的大写单词并且将所述大写单词包括在信息集350中。
在一些实施方式中，显示视频流并且在视频流正被显示时确定信息集350(612)。在客户端设备102的显示器313上显示视频流。将包括信息集350的请求220发送给位于远离客户端102的地方的服务器106以供处理(614)。该处理基于信息集350来确定指令集358。指令集358包括用来显示与待被显示的视频流的隐藏式字幕有关的信息的指令。请求358由请求模块352生成并发送。
从服务器接收指令集358(616)。指令集358包括用来显示与信息集350有关的信息的指令(616)。在一些实施方式中，指令集358被包含在内容馈给中。指令集258由解析模块126接收。
响应于接收到指令集350，根据指令集358来执行一个或多个功能和/或应用(616)。在一些实施方式中，从由下述组成的组中选择一个或多个应用：媒体应用、馈给阅读器应用、浏览器应用和优惠券簿应用(620)。例如，如图5C中所示，指令集358可以调用媒体播放器应用512并且提示用户将歌曲添加到该用户的播放列表。在一些实施方式中，显示视频流并且邻近该视频流显示一个或多个应用(622)。例如，如图5B中所示，与电视节目502同时显示馈给阅读器应用508。在图5B、5C、5D和5E的论述中更加详细地论述了一个或多个应用。该一个或多个应用由解析模块126来执行。
在一些实施方式中，从服务器接收一个或多个内容文件(621)。指令集358包括用来显示一个或多个内容文件的指令，并且执行一个或多个应用包括显示一个或多个所接收的内容文件(621)。例如，可以接收网页并且指令集358包括用来调用web浏览器来显示该网页的指令。
在一些实施方式中，指令集358包括用来显示消息的指令。该消息的内容与信息集350有关。例如，可以显示产品的网站的URL或可以显示与电视节目有关的信息的摘录。在一些实施方式中，指令集358包括用来向与客户端102相关联的用户发送消息(例如，电子邮件或SMS)的指令。例如，消息可以包括优惠券、到优惠券的链接、歌曲、到歌曲的链接、关于电视节目或电影的信息以及到信息的链接。消息模块356显示并发送消息。
图7是图示基于从隐藏式字幕得到的信息来生成指令集的方法700的流程图。在具有一个或多个处理器和存储器的服务器系统106处执行方法700。在一些实施方式中，从客户端102接收包括信息集350的请求220(702)。在一些实施方式中，请求220包括用户标识符。从视频流中的隐藏式字幕提取信息集350(704)。从信息集350识别一个或多个相关身份234(704)。在一些实施方式中，使用信息集350来识别多个相关身份，并且基于与相关身份相关联的重要性度量242来选择该多个相关身份的子集。例如，识别模块114可以选择具有最高重要性度量242的相关身份。在一些实施方式中，响应于接收到请求220而确定一个或多个相关身份234。识别模块114将信息集350中的信息与身份数据库130中的一个或多个身份234相匹配。一个或多个相关身份234可以对应于人、场所或事物。
确定与信息集相关联的指令集358(708)。在一些实施方式中，响应于接收到请求220而确定指令集358。在一些实施方式中，基于所识别的一个或多个相关身份234来确定指令集358(710)。在一些实施方式中，相关身份234包括多个相关联的动作。例如，相关身份234可以是篮球运动员的名称，并且相关联的动作包括显示该篮球运动员的最近比赛的视频集锦或显示关于该篮球运动员的网页。指令模块118基于与用户标识符246相对应的用户的用户偏好250来选择多个相关联的动作中的一个或多个。例如，用户的信息可以包括指示该用户感兴趣或不感兴趣的信息的类别的偏好。例如，相关身份234可以是为演员、运动员和音乐家的人的名称，并且用户的偏好可以指示对运动和音乐的爱好。在该示例中，作为结果的指令集358，在一个实施方式中，将与该人的作为音乐家或运动员的活动有关。在一些实施方式中，用户的偏好指示该用户喜欢或不喜欢的应用。例如，用户可能有对通过优惠券应用来接收优惠券以及通过馈给阅读器应用来接收内容项的爱好。
在一些实施方式中，基于与所识别的一个或多个相关身份234相关联的一个或多个内容文件来确定指令集358。在一些实施方式中，识别模块114确定与相关身份相关联的一个或多个内容文件(714)。指令集358包括用来显示一个或多个内容文件的指令(714)。在一些实施方式中，识别模块114通过将身份的名称用作为查询来搜索内容数据库122，来识别一个或多个内容文件。例如，相关身份234中的一个可以是产品的名称并且一个或多个优惠券可以与该产品相关联。在另一个示例中，相关身份234中的一个可以是音乐家，并且识别模块114从内容数据库122识别该音乐家所唱的歌曲。在一些实施方式中，相应身份的相关联的动作244指定一个或多个内容文件。指令模块118在内容数据库122中搜索所指定的内容文件并且根据与内容文件相关联的度量来选择内容文件。例如，指令模块118可以基于文件的受欢迎度来选择内容文件。在指令模块118识别内容文件之后，指令模块确定用来显示或播放该内容文件的应用，并且生成促使所确定的应用显示该内容文件的指令集358。
在一些实施方式中，指令集358包括用于执行从下述组成的组中选择的应用的指令：媒体应用、馈给阅读器应用、浏览器应用和优惠券簿应用(712)。
在一些实施方式中，指令集358包括用来在客户端设备102上显示消息的指令。消息的内容与信息集350有关。例如，可以显示产品的网站的URL或可以显示与电视节目有关的信息的摘录。在一些实施方式中，指令集358包括用来向与客户端相关联的用户发送消息(例如，电子邮件或SMS)的指令。该消息可以包括优惠券、到优惠券的链接、歌曲、到歌曲的链接、关于电视节目或电影的信息以及到信息的链接。指令集358由指令模块118生成。
将指令集358发送给客户端102(716)。在一些实施方式中，以内容馈给发送指令集358。在一些实施方式中，与一个或多个指令一起发送一个或多个内容文件(718)。例如，可以与指令集358一起发送存储在内容数据库122中的播放列表、媒体文件、广告或馈给。指令集358以及可选地一个或多个内容文件由指令模块118发送。
在本文所述的方法中的每一个可以受存储在非暂时性计算机可读存储介质中并且由一个或多个服务器(例如，服务器系统106)的一个或多个处理器执行的指令控制。图6和7中所示的操作中的每一个可以对应于存储在计算机存储器或计算机可读存储介质中的指令。
出于说明目的，已参考特定实施方式描述了前面描述。然而，上述说明性论述并不意在穷尽或将所述方法和系统限制在所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。选择并描述了实施方式，以便最好地说明所述方法和系统的原理及其实际应用，从而，使本领域技术人员能够凭借适于预期的特定用途的各种修改，最好地利用在本文所述的技术和设备以及各种实施方式。
此外，在前面描述中，阐述了大量具体细节来提供对本实现的全面理解。然而，对本领域技术人员将显而易见的是，可以在没有这些特定细节的情况下，实践在本文所述的方法。在其他情况下，没有详细地描述对本领域技术人员众所周知的方法、程序、组件和网络，以避免使本实现的方面含混不清。

Claims (13)

1.一种用于显示信息的方法，包括：
在具有一个或多个处理器和存储待由所述一个或多个处理器执行的一个或多个程序的存储器的客户端处：
获取视频流，所述视频流包括隐藏式字幕；
从所述隐藏式字幕确定信息集，包括确定在所述隐藏式字幕中的符号和跟在所述符号之后的预定量的文本，其中所述信息集包括所确定的符号和所述预定量的文本；
向位于远离所述客户端的地方的服务器发送包括所述信息集的请求以供处理；
从所述服务器接收指令集，其中所述指令集包括用来显示与所述信息集有关的内容信息的指令，其中所述指令集由所述服务器根据所述预定量的文本来生成；以及
响应于接收到所述指令集，根据所述指令集来执行一个或多个应用。
2.根据权利要求1所述的方法，其中所述信息集包括从所述隐藏式字幕提取的非话音信息。
3.根据权利要求1所述的方法，其中在所述视频流正被显示时所述信息集被确定。
4.根据权利要求1所述的方法，进一步包括：
格式化来自所述一个或多个应用的输出以邻近所述视频流的显示来显示。
5.根据权利要求1所述的方法，进一步包括：
格式化来自所述一个或多个应用的输出以在除显示所述视频流的显示设备外的电子设备上显示。
6.根据权利要求1所述的方法，其中所述一个或多个应用包括下述各项中的至少一个：web浏览器、音乐应用、馈给阅读器应用和优惠券应用。
7.根据权利要求1所述的方法，其中从所述服务器接收一个或多个内容文件，所述指令集包括用来显示所述一个或多个内容文件的指令，以及执行所述一个或多个应用包括格式化所接收的所述一个或多个内容文件以显示。
8.一种用于显示信息的方法，包括：
在具有一个或多个处理器和存储待由所述一个或多个处理器执行的一个或多个程序的存储器的客户端处：
获取视频流，所述视频流包括隐藏式字幕；
从所述隐藏式字幕确定信息集，包括确定在所述隐藏式字幕中的一个或多个句子，并且所述信息集包括一个或多个所确定的句子；
向位于远离所述客户端的地方的服务器发送包括所述信息集的请求以供处理；
从所述服务器接收指令集，其中所述指令集包括用来显示与所述信息集有关的内容信息的指令，其中所述指令集由所述服务器根据一个或多个所确定的句子来生成；以及
响应于接收到所述指令集，根据所述指令集来执行一个或多个应用。
9.一种用于显示信息的方法，包括：
在具有一个或多个处理器和存储待由所述一个或多个处理器执行的一个或多个程序的存储器的客户端处：
获取视频流，所述视频流包括隐藏式字幕；
从所述隐藏式字幕确定信息集，确定所述隐藏式字幕中的一个或多个专有名词，并且所述信息集包括所述一个或多个专有名词；
向位于远离所述客户端的地方的服务器发送包括所述信息集的请求以供处理；
从所述服务器接收指令集，其中所述指令集包括用来显示与所述信息集有关的内容信息的指令，其中所述指令集由所述服务器根据所述一个或多个专有名词来生成；以及
响应于接收到所述指令集，根据所述指令集来执行一个或多个应用。
10.一种客户端系统，包括：
一个或多个处理器；以及
存储供所述一个或多个处理器执行的一个或多个程序的存储器；
所述系统包括用于执行权利要求1-9中的任何一个所述的方法的装置。
11.一种用于显示信息的方法，包括：
在具有一个或多个处理器和存储待由所述一个或多个处理器执行的一个或多个程序的存储器的服务器处：
从客户端接收请求，所述请求包括从视频流中的隐藏式字幕提取的信息集，所述信息集包括在隐藏式字幕中的符号和跟在所述符号之后的预定量的文本；
从所述信息集识别一个或多个相关身份；
确定与所述信息集相关联的指令集，包括根据所述预定量的文本来确定所述指令集；以及
将所述指令集发送给所述客户端。
12.根据权利要求11所述的方法，其中所述指令集包括用来执行一个或多个应用的指令，其中所述一个或多个应用包括下述各项中的至少一个：web浏览器应用、媒体应用、馈给阅读器应用、浏览器应用和优惠券簿应用。
13.根据权利要求11所述的方法，其中所述确定包括确定与所述相关身份相关联的一个或多个内容文件，以及其中所述发送包括发送所确定的所述一个或多个内容文件。
CN201611205953.7A 2011-05-25 2012-05-23 将隐藏式字幕流用于设备元数据 Active CN107087225B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161490005P 2011-05-25 2011-05-25
US61/490,005 2011-05-25
US13/171,326 US8484313B2 (en) 2011-05-25 2011-06-28 Using a closed caption stream for device metadata
US13/171,326 2011-06-28
CN201280036340.9A CN103688553B (zh) 2011-05-25 2012-05-23 将隐藏式字幕流用于设备元数据

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201280036340.9A Division CN103688553B (zh) 2011-05-25 2012-05-23 将隐藏式字幕流用于设备元数据

Publications (2)

Publication Number Publication Date
CN107087225A CN107087225A (zh) 2017-08-22
CN107087225B true CN107087225B (zh) 2020-04-03

Family

ID=47218056

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201280036340.9A Active CN103688553B (zh) 2011-05-25 2012-05-23 将隐藏式字幕流用于设备元数据
CN201611205953.7A Active CN107087225B (zh) 2011-05-25 2012-05-23 将隐藏式字幕流用于设备元数据

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201280036340.9A Active CN103688553B (zh) 2011-05-25 2012-05-23 将隐藏式字幕流用于设备元数据

Country Status (5)

Country Link
US (5) US8484313B2 (zh)
EP (2) EP2716060B1 (zh)
KR (5) KR102075672B1 (zh)
CN (2) CN103688553B (zh)
WO (1) WO2012162425A2 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8484313B2 (en) 2011-05-25 2013-07-09 Google Inc. Using a closed caption stream for device metadata
US9043444B2 (en) * 2011-05-25 2015-05-26 Google Inc. Using an audio stream to identify metadata associated with a currently playing television program
JP6081984B2 (ja) * 2012-03-14 2017-02-15 パナソニック株式会社 受信装置、放送通信連携システムおよび放送通信連携方法
US8695048B1 (en) * 2012-10-15 2014-04-08 Wowza Media Systems, LLC Systems and methods of processing closed captioning for video on demand content
CN102917265A (zh) * 2012-10-25 2013-02-06 深圳创维－Rgb电子有限公司 基于网络电视的资讯浏览方法和系统
US9870128B1 (en) * 2013-02-19 2018-01-16 Audible, Inc. Rule-based presentation of related content items
US8959562B2 (en) * 2013-02-26 2015-02-17 Roku, Inc. Method and apparatus for automatic second screen engagement
US8782722B1 (en) 2013-04-05 2014-07-15 Wowza Media Systems, LLC Decoding of closed captions at a media server
KR102091602B1 (ko) * 2013-06-10 2020-03-20 엘지전자 주식회사 플렉시블 디스플레이를 포함하는 멀티미디어 디바이스 및 그 제어 방법
US9615122B2 (en) * 2014-01-30 2017-04-04 Echostar Technologies L.L.C. Methods and apparatus to synchronize second screen content with audio/video programming using closed captioning data
US9854202B2 (en) 2014-12-11 2017-12-26 Arris Enterprises Llc Processing segments of closed-caption text using external sources
US10142699B2 (en) * 2016-03-18 2018-11-27 Google Llc Systems and methods for providing interactive content
CA2980206A1 (en) * 2017-03-03 2018-09-03 Nanoptix Inc. Thermal printer for a video terminal
CN110401855B (zh) * 2018-04-25 2022-03-04 腾讯科技（深圳）有限公司 信息展示方法、装置、处理平台、计算设备及存储介质
CN110445992A (zh) * 2019-08-16 2019-11-12 深圳特蓝图科技有限公司 一种基于xml的视频剪辑合成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005084022A1 (en) * 2004-02-19 2005-09-09 Sony Corporation System and method for providing content list in response to selected closed caption word
CN1879417A (zh) * 2003-11-10 2006-12-13 皇家飞利浦电子股份有限公司 提供附加信息
CN101296362A (zh) * 2007-04-25 2008-10-29 三星电子株式会社 向用户提供对可能感兴趣的信息的访问的方法与系统
TW201039149A (en) * 2009-04-17 2010-11-01 Yu-Chieh Wu Robust algorithms for video text information extraction and question-answer retrieval

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6388714B1 (en) * 1995-10-02 2002-05-14 Starsight Telecast Inc Interactive computer system for providing television schedule information
US6018768A (en) 1996-03-08 2000-01-25 Actv, Inc. Enhanced video programming system and method for incorporating and displaying retrieved integrated internet information segments
US6130720A (en) * 1997-02-10 2000-10-10 Matsushita Electric Industrial Co., Ltd. Method and apparatus for providing a variety of information from an information server
US7861275B1 (en) * 1999-04-23 2010-12-28 The Directv Group, Inc. Multicast data services and broadcast signal markup stream for interactive broadcast systems
US8261306B2 (en) 2001-12-11 2012-09-04 Koninklijke Philips Electronics N.V. System for and method of shopping through television
EP1457047B1 (en) * 2001-12-18 2008-08-27 Thomson Licensing Internally generated close captioning/tele-texting for set-up menus of network-capable signal processing apparatus
US20030163816A1 (en) 2002-02-28 2003-08-28 Koninklijke Philips Electronics N.V. Use of transcript information to find key audio/video segments
AU2003263732A1 (en) 2002-10-11 2004-05-04 Matsushita Electric Industrial Co. Ltd. A method and apparatus for delivering programme-associated data to generate relevant visual displays for audio contents
US20040268419A1 (en) 2003-06-24 2004-12-30 Microsoft Corporation Interactive content without embedded triggers
EP1658612A1 (en) * 2003-08-18 2006-05-24 Koninklijke Philips Electronics N.V. Video abstracting
KR100767676B1 (ko) 2005-08-22 2007-10-17 엘지전자 주식회사 영상기기 및 영상기기의 영상 스캔 방법
US7592912B2 (en) * 2005-12-09 2009-09-22 Time Warner Cable Inc. Emergency alert data delivery apparatus and methods
US8566887B2 (en) * 2005-12-09 2013-10-22 Time Warner Cable Enterprises Llc Caption data delivery apparatus and methods
US8115869B2 (en) * 2007-02-28 2012-02-14 Samsung Electronics Co., Ltd. Method and system for extracting relevant information from content metadata
US9100723B2 (en) 2006-03-07 2015-08-04 Samsung Electronics Co., Ltd. Method and system for managing information on a video recording
US8312497B2 (en) 2006-03-29 2012-11-13 At&T Intellectual Property I, L.P. Closed-captioning universal resource locator (URL) capture system and method
JP5201692B2 (ja) * 2006-06-09 2013-06-05 トムソン ライセンシング クローズド・キャプションをつけるシステムおよび方法
US20080065602A1 (en) * 2006-09-12 2008-03-13 Brian John Cragun Selecting advertisements for search results
US20080111822A1 (en) * 2006-09-22 2008-05-15 Yahoo, Inc.! Method and system for presenting video
US20100031142A1 (en) * 2006-10-23 2010-02-04 Nec Corporation Content summarizing system, method, and program
JP4482829B2 (ja) * 2006-11-08 2010-06-16 ソニー株式会社 嗜好抽出装置、嗜好抽出方法及び嗜好抽出プログラム
US20080112690A1 (en) * 2006-11-09 2008-05-15 Sbc Knowledge Venturses, L.P. Personalized local recorded content
US9563897B2 (en) * 2007-03-22 2017-02-07 The Nielsen Company (Us), Llc Systems and methods to identify intentionally placed products
US20080276266A1 (en) 2007-04-18 2008-11-06 Google Inc. Characterizing content for identification of advertising
KR101265960B1 (ko) * 2007-08-21 2013-05-22 삼성전자주식회사 하이라이트 추출 장치 및 그 방법
US8097668B2 (en) 2007-08-27 2012-01-17 Sabic Innovative Plastics Ip B.V. Colorimetric indicator of radiation exposure
US20090064247A1 (en) * 2007-08-31 2009-03-05 Jacked, Inc. User generated content
US20090235312A1 (en) * 2008-03-11 2009-09-17 Amir Morad Targeted content with broadcast material
US8095610B2 (en) * 2008-03-28 2012-01-10 Time Warner Cable Inc. Methods and apparatus for centralized and decentralized emergency alert messaging
US8621505B2 (en) * 2008-03-31 2013-12-31 At&T Intellectual Property I, L.P. Method and system for closed caption processing
US8249423B2 (en) 2008-05-08 2012-08-21 Sony Ericsson Mobile Communications Ab Electronic devices and methods that insert addressable chapter marks relative to advertising content in video streams
KR20100039717A (ko) 2008-10-08 2010-04-16 삼성전자주식회사 개인용 녹화장치 및 그 제어방법
US8359399B2 (en) * 2008-10-16 2013-01-22 Echostar Technologies L.L.C. Method and device for delivering supplemental content associated with audio/visual content to a user
US9049477B2 (en) * 2008-11-13 2015-06-02 At&T Intellectual Property I, Lp Apparatus and method for managing media content
US9641884B2 (en) * 2008-11-15 2017-05-02 Adobe Systems Incorporated Method and device for establishing a content mirroring session
KR20100071314A (ko) 2008-12-19 2010-06-29 삼성전자주식회사 영상처리장치 및 영상처리장치의 제어 방법
US20110113438A1 (en) 2009-11-06 2011-05-12 Sony Corporation Method and system of displaying information of specific interest to a user on a television
US8918803B2 (en) * 2010-06-25 2014-12-23 At&T Intellectual Property I, Lp System and method for automatic identification of key phrases during a multimedia broadcast
US20120233646A1 (en) * 2011-03-11 2012-09-13 Coniglio Straker J Synchronous multi-platform content consumption
US8484313B2 (en) 2011-05-25 2013-07-09 Google Inc. Using a closed caption stream for device metadata
US8964977B2 (en) 2011-09-01 2015-02-24 Sonic Ip, Inc. Systems and methods for saving encoded media streamed using adaptive bitrate streaming
US8774172B2 (en) 2012-10-09 2014-07-08 Heartv Llc System for providing secondary content relating to a VoIp audio session

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1879417A (zh) * 2003-11-10 2006-12-13 皇家飞利浦电子股份有限公司 提供附加信息
WO2005084022A1 (en) * 2004-02-19 2005-09-09 Sony Corporation System and method for providing content list in response to selected closed caption word
CN101296362A (zh) * 2007-04-25 2008-10-29 三星电子株式会社 向用户提供对可能感兴趣的信息的访问的方法与系统
TW201039149A (en) * 2009-04-17 2010-11-01 Yu-Chieh Wu Robust algorithms for video text information extraction and question-answer retrieval

Also Published As

Publication number Publication date
KR20200015836A (ko) 2020-02-12
US8484313B2 (en) 2013-07-09
EP3627841A1 (en) 2020-03-25
US20130300929A1 (en) 2013-11-14
US20180227641A1 (en) 2018-08-09
US10631063B2 (en) 2020-04-21
CN103688553B (zh) 2017-02-15
CN107087225A (zh) 2017-08-22
CN103688553A (zh) 2014-03-26
US20120303742A1 (en) 2012-11-29
KR102075672B1 (ko) 2020-02-10
US9357271B2 (en) 2016-05-31
US9942617B2 (en) 2018-04-10
US20160269798A1 (en) 2016-09-15
KR102420513B1 (ko) 2022-07-13
WO2012162425A3 (en) 2013-01-17
EP2716060A4 (en) 2014-11-26
KR20200094806A (ko) 2020-08-07
US8849959B2 (en) 2014-09-30
EP3627841B1 (en) 2023-09-20
WO2012162425A2 (en) 2012-11-29
KR102465231B1 (ko) 2022-11-09
EP2716060B1 (en) 2019-12-25
KR20140039004A (ko) 2014-03-31
US20150020104A1 (en) 2015-01-15
EP2716060A2 (en) 2014-04-09
KR20210132234A (ko) 2021-11-03
KR20180123591A (ko) 2018-11-16

Similar Documents

Publication Publication Date Title
US10631063B2 (en) Systems and method for using closed captions to initiate display of related content on a second display device
US10567834B2 (en) Using an audio stream to identify metadata associated with a currently playing television program
US20120304224A1 (en) Mechanism for Embedding Metadata in Video and Broadcast Television

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

GR01 Patent grant
GR01 Patent grant