CN106165436A - 使用光学字符识别对机顶盒进行双向控制 - Google Patents

使用光学字符识别对机顶盒进行双向控制 Download PDF

Info

Publication number
CN106165436A
CN106165436A CN201580019008.5A CN201580019008A CN106165436A CN 106165436 A CN106165436 A CN 106165436A CN 201580019008 A CN201580019008 A CN 201580019008A CN 106165436 A CN106165436 A CN 106165436A
Authority
CN
China
Prior art keywords
top box
electronic device
command sequence
set top
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580019008.5A
Other languages
English (en)
Other versions
CN106165436B (zh
Inventor
文森特·迪罗
内森·莱斯利·桑德兰德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/194,551 external-priority patent/US9866899B2/en
Application filed by Google LLC filed Critical Google LLC
Priority to CN201910521244.7A priority Critical patent/CN110234027B/zh
Priority to CN201910521231.XA priority patent/CN110234026B/zh
Publication of CN106165436A publication Critical patent/CN106165436A/zh
Application granted granted Critical
Publication of CN106165436B publication Critical patent/CN106165436B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Abstract

各种实施方式的特征用于使用间接的控制方法和光学字符识别从第一电子装置控制第二电子装置的操作。在一些实施方式中,对在主机顶盒和补充机顶盒之间的通信进行配置,以避免对一个或者多个提供者特定的API的需求。例如,本公开的一个方面是一种标识可以用于通过补充机顶盒控制主机顶盒的一个或者多个特征(例如,DVR或者VOD特征)的命令的方法,该补充机顶盒经由无线(例如,红外)发射机将命令发出至所述主机顶盒,并且然后使用光学字符识别来标识如在主TV显示器或者辅助显示器上显示的那些命令的结果。

Description

使用光学字符识别对机顶盒进行双向控制
技术领域
所公开的实施方式大体上涉及配置为收集关于媒体内容项(诸如,电视列表和流媒体(例如,音频和/或视频)节目)的信息例如以便为用户改善对用于播放这种媒体内容项的装置(例如,机顶盒或者联网电视)的访问和控制的系统、方法和装置。
背景技术
交互式电视技术通常能够将基于互联网的功能、内容和/或服务作为覆盖添加到由有线和卫星电视提供者提供的电视信号。例如,交互式电视技术的其中一个目标是将互联网可访问功能、内容和/或服务传送至与消费者当前正在观看的特定电视节目相匹配的个体消费者。为此,交互式电视技术通常需要确定消费者正在观看的内容以便传送匹配的功能、内容和/或服务。
根据先前开发的系统和方法,第二装置(诸如,补充机顶盒或者联网TV)被配置为与由有线、卫星或者其它网络电视提供者提供的主机顶盒联合工作。为了确定消费者正在观看的内容,补充机顶盒将请求关于由消费者选择的当前正在播放的电视节目的信息(例如,标题、演员或者人物的姓名、电子节目指南信息等)的查询发送至主机顶盒。为了发送这种查询或者与主机顶盒通信,补充机顶盒通常包括使补充机顶盒能够与来自各种有线和卫星电视提供者的各种主机顶盒配对的一个或者多个提供者特定应用程序接口(API)。类似的情况还应用于在补充机顶盒与主机顶盒之间的其它可能的交互,诸如,检查主机顶盒是开还是关或者调整主机顶盒的默认配置。每个API的开发要求向消费者提供主机顶盒的相应有线或者卫星电视提供人的输入和合作。利用各种提供者开发API往往效率很低,并且会阻碍将这种技术拓展到各种提供者特定平台。
除了TV内容之外,其它类型的媒体内容和服务也可以通过主机顶盒来提供。该内容或者其它服务可以经由与机顶盒的直接连接来提供,或者提供为机顶盒的内置特征,或者经由网络连接来提供。例如,置入机顶盒的数字视频录像机(DVR)可以用于录制TV内容或者回放所录制的TV内容;机顶盒可以用于访问可分别从与机顶盒相关联的有线或者卫星提供者、DVD播放器、或者蓝光播放器中获得的视频点播(VOD)、DVD、或者蓝光内容;或者机顶盒可以用于将本地安全系统连接至安全监测服务。正如上面提到的,开发和维持用于可以连接至辅助机顶盒的每一种可能的主机顶盒装置的API是具有挑战性的。可以连接至主机顶盒的各种附加服务使用于提供对这种附加服务进行访问或者控制的API的开发变得更加具有挑战性。因此,需要使补充机顶盒能够从经由主机顶盒提供的其它服务接收信息并且在不使用用于特定主机顶盒的自定义API的情况下与那些服务交互(例如,控制)的方案。
发明内容
在随附权利要求书的范围内的系统、方法、和装置的各种实施方式分别具有多个方面,其中没有一个方面单独地对本文描述的属性负责。在不限制随附权利要求书的范围的情况下,将对一些显著特征进行描述。在考虑本公开之后,并且具体地,在考虑到标题为“具体实施方式”这部分之后,将理解各种实施方式的特征是如何用于实现实时标识并且呈现与当前正在电视或者显示器上播放的特定电视节目相关联的互联网可访问和/或基于互联网的功能、内容和/或服务。
本公开的一个方面是一种用于控制电子装置的计算机实现的方法。在一些实施方式中,该方法由并且在耦接至显示器和第二电子装置的第一输出连接的第一电子装置处执行,该第一电子装置包括一个或者多个处理器和存储器。在一些实施方式中,该方法包括:经由与第一输出连接不同的无线连接将第一命令序列发送至第二电子装置,其中不清楚该第一命令序列是正确的;响应于该发送,捕获由第二电子装置经由第一输出连接提供的显示数据;分析该显示数据以确定该第一命令序列是否由第二电子装置正确地执行;以及当该第一命令序列未正确地执行时,经由该无线连接将第二命令序列发送至第二电子装置,其中不清楚该第二命令序列是正确的。
在本公开的另一方面中,一些实施方式进一步包括:分析显示数据以确定第二命令序列是否由第二电子装置正确地执行;并且当第二命令序列正确地执行时,更新第一数据库以将第二命令序列标识为用于第二电子装置的正确命令序列。
在本公开的另一方面中,在一些实施方式中,第二电子装置经由第一输出连接提供不能够由第一电子装置控制的多个特征。在一些实施方式中,第二电子装置是DVD播放器、蓝光播放器、或者可以由(例如,IR或者RF)遥控装置控制并且具有可以插入到第一电子装置的视频输出的装置。
在这种情况下,当第一和第二命令序列旨在控制由第二电子装置提供的第一特征时,所公开的方法进一步包括:基于第一电子装置的装置类型和第一特征的特征类型来从命令序列的数据库选择第一命令序列和第二命令序列。
在本公开的另一方面中,在一些实施方式中,第二电子装置是机顶盒,并且多个特征包括:视频点播服务、数字视频录像机服务、和机顶盒服务(例如,从而使得第一电子装置可以获得对第二电子装置可用的频道和节目列表并且可以控制第二电子装置的EPG菜单)。在本公开的另一方面中,视频点播服务包括:选择视频点播选择进行查看。在本公开的另一方面中,数字视频录像机服务包括以下中的一种或者多种:(a)安排经由机顶盒提供的内容项的录制;以及(b)选择查看先前录制的内容项。在本公开的另一方面,机顶盒服务包括以下中的一种或者多种:(a)检查机顶盒的开/关状态,(b)检查机顶盒的菜单状态,(c)检查与机顶盒相关联的提供者,以及(d)设置机顶盒的配置。
在本公开的另一方面中,一些实施方式进一步包括:在显示器上显示用户界面,该用户界面提供可选择的用户选项以便与由第二电子装置提供的多个特征交互;响应于对与第一特征相关联的选项的用户选择,从第一数据库选择第二命令序列;并且将该第二命令序列发出至第二电子装置。
本公开的另一个方面是一种控制电子装置的计算机实现的方法,该方法包括:在耦接至显示器和第二电子装置的第一输出连接的第一电子装置处,该第一电子装置包括一个或者多个处理器和存储器:经由与第一输出连接不同的无线连接将第一命令序列发送至第二电子装置,其中,该第一命令序列被选择来确定第二电子装置的第一状态;响应于该发送,捕获由第二电子装置经由第一输出连接提供的显示数据;分析该显示数据以确定第二电子装置的该第一状态;并且基于该第一状态和第二电子装置的装置类型,将第二命令序列发送至第二电子装置以便控制由第二电子装置提供的特征。
在本公开的另一方面中,第二电子装置是机顶盒,并且多个特征包括:视频点播服务、数字视频录像机服务、和机顶盒服务。在本公开的另一方面中,视频点播服务包括:选择视频点播选择进行查看。在本公开的另一方面中,数字视频录像机服务包括以下中的一种或者多种:(a)安排经由机顶盒提供的内容项的录制,以及(b)选择查看先前录制的内容项。在本发明的另一方面,机顶盒服务包括以下中的一种或者多种:(a)检查机顶盒的开/关状态,(b)检查机顶盒的菜单状态,(c)检查与机顶盒相关联的提供者,以及(c)设置机顶盒的配置。
本公开的一个方面是一种用于控制电子装置的系统。在一些实施方式中,该系统包括耦接至显示器和第二电子装置的第一输出连接的第一电子装置,该第一电子装置包括一个或者多个处理器和存储有用于由第一电子装置执行的指令的存储器。在一些实施方式中,该指令用于:经由与第一输出连接不同的无线连接将第一命令序列发送至第二电子装置,其中不清楚该第一命令序列是正确的;响应于该发送,捕获由第二电子装置经由第一输出连接提供的显示数据;分析该显示数据以确定该第一命令序列是否由第二电子装置正确地执行;以及当该第一命令序列未正确地执行时,经由该无线连接将第二命令序列发送至第二电子装置,其中不清楚该第二命令序列是正确的。
本公开的另一方面是一种用于电子装置的系统。在一些实施方式中,该系统包括耦接至显示器和第二电子装置的第一输出连接的第一电子装置,该第一电子装置包括一个或者多个处理器和存储有用于由第一电子装置执行的指令的存储器。在一些实施方式中,该指令用于:经由与第一输出连接不同的无线连接将第一命令序列发送至第二电子装置,其中,选择该第一命令序列来确定第二电子装置的第一状态;响应于该发送,捕获由第二电子装置经由第一输出连接提供的显示数据;分析该显示数据以确定第二电子装置的该第一状态;并且基于该第一状态和第二电子装置的装置类型,将第二命令序列发送至第二电子装置以便控制由第二电子装置提供的特征。
本公开的另一方面包括非暂时性计算机可读存储介质,该非暂时性计算机可读存储介质存储有由第一电子装置的一个或者多个处理器执行的一个或者多个程序。在一些实施方式中,第一电子装置包括一个或者多个处理器和存储器并且耦接至显示器和第二电子装置的第一输出连接。该一个或者多个程序在由第一电子装置执行时使该第一电子装置执行以下方法:经由与第一输出连接不同的无线连接将第一命令序列发送至第二电子装置。不清楚该第一命令序列是正确的。该方法进一步包括:响应于该发送,捕获由该第二电子装置经由该第一输出连接提供的显示数据;并且分析该显示数据以确定该第一命令序列是否由该第二电子装置正确地执行。当第一命令序列未正确地执行时,经由无线连接将第二命令序列发送至该第二电子装置。在一些实施方式中,不清楚第二命令序列是正确的。
在一些实施方式中,该一个或者多个程序进一步包括:用于分析显示数据以确定第二命令序列是否由第二电子装置正确地执行的指令;并且当第二命令序列正确地执行时,更新第一数据库以将第二命令序列标识为用于第二电子装置的正确命令序列。
在一些实施方式中,第二装置的第一输出连接是从第二电子装置至第一电子装置的单向连接。
在一些实施方式中,第一输出连接提供与由第二电子装置提供的特征对应的视频数据和音频数据。
在一些实施方式中,第二电子装置经由第一输出连接提供不能够由第一电子装置控制的多个特征,该一个或者多个程序进一步包括指令,该指令用于:当第一命令序列和第二命令序列旨在控制由第二电子装置提供的第一特征时,基于第一电子装置的装置类型和该第一特征的特征类型来从命令序列的数据库选择第一命令序列和第二命令序列。
在一些实施方式中,第二电子装置是机顶盒,并且多个特征包括:视频点播服务、数字视频录像机服务、EPG服务、和机顶盒服务。
在一些实施方式中,视频点播服务包括:选择视频点播选择进行查看。
在一些实施方式中,数字视频录像机服务包括以下中的一种或者多种:(a)安排经由机顶盒提供的内容项的录制,(b)选择查看先前录制的内容项,(c)检索编程的录制的列表以确定用户偏好,(d)修改录制的安排,以及(e)删除内容项的录制。
在一些实施方式中,机顶盒服务包括以下中的一种或者多种:(a)检查机顶盒的开/关状态,(b)检查机顶盒的菜单状态,(c)检查与机顶盒相关联的提供者,以及(c)设置或者确定机顶盒的配置。
在一些实施方式中,一个或者多个程序进一步包括指令,该指令用于:在显示器上显示用户界面,该用户界面提供可选择的用户选项以便与由第二电子装置提供的多种特征交互;响应于对与第一特征相关联的选项的用户选择,从第一数据库选择第二命令序列;并且将该第二命令序列发出至第二电子装置。
在一些实施方式中,分析该显示数据以确定第一命令序列是否由第二电子装置正确地执行包括:基于第二电子装置的装置类型和旨在由第一命令序列控制的第一特征的特征类型:访问预期显示响应的数据库,其中,该预期显示响应的数据库指示以下中的两种或者多种:由第二电子装置针对相应的特征类型提供的显示信息的(a)位置、(b)边界框位置、和(c)内容;从预期显示响应的数据库确定与第一特征相关联的第一预期显示响应;将捕获到的显示数据与第一预期显示响应进行比较;并且基于该比较的结果来确定第一命令序列是否由第二电子装置正确地执行。
在一些实施方式中,该一种或者多种程序进一步包括指令,该指令用于:响应于发送,捕获由第二电子装置经由第一输出连接提供的音频数据;并且结合显示数据分析该音频数据以确定第一命令序列是否由第二电子装置正确地执行。
在一些实施方式中,该一个或者多个程序进一步包括指令,该指令用于:当第二电子装置的特定装置类型未知时:分析显示数据以确定第二命令序列是否由第二电子装置正确地执行;以及当第二命令序列由第二电子装置正确地执行时,更新第三数据库以指示第二电子装置是特定装置类型。
在一些实施方式中,分析显示数据至少部分地在第一电子装置所通信的服务器处执行。
本公开的另一方面包括非暂时性计算机可读存储介质,该非暂时性计算机可读存储介质存储有由第一电子装置的一个或者多个处理器执行的一个或者多个程序。在一些实施方式中,第一电子装置包括一个或者多个处理器和存储器并且耦接至显示器和第二电子装置的第一输出连接。该一个或者多个程序在由第一电子装置执行时使该第一电子装置执行以下方法:经由与第一输出连接不同的无线连接将第一命令序列发送至第二电子装置。第一命令序列被选择来确定第二电子装置的第一状态。该方法进一步包括:响应于该发送,捕获由第二电子装置经由第一输出连接提供的显示数据;分析该显示数据以确定第二电子装置的第一状态;并且基于第一状态和第二电子装置的装置类型,将第二命令序列发送至第二电子装置以便控制由第二电子装置提供的特征。
在一些实施方式中,第二电子装置是机顶盒,并且多个特征包括:视频点播服务、数字视频录像机服务、机顶盒服务、和EPG服务。
在一些实施方式中,视频点播服务包括:选择视频点播选择进行查看。
在一些实施方式中,数字视频录像机服务包括以下中的一种或者多种:(a)安排经由机顶盒提供的内容项的录制,以及(b)选择查看先前录制的内容项。
在一些实施方式中,机顶盒服务包括以下中的一种或者多种:(a)检查机顶盒的开/关状态,(b)检查机顶盒的菜单状态,(c)检查与机顶盒相关联的提供者,以及(c)设置机顶盒的配置。
附图说明
为了能够更详细地理解本公开,可以参考各种实施方式的特征进行更为具体的描述,其中一些实施方式在附图中进行了说明。然而,附图仅仅图示了本公开的更显著的特征,并且因此不应该将附图认为是限制性的,因为说明可以允许其它有效特征。
图1A是客户端-服务器环境的实施方式的示意图。
图1B是包括在电视上的示例示意屏幕显示的客户端-服务器环境的一部分的示意图。
图2A是可作为补充机顶盒和/或电视集成装置运行的客户端装置的示例实施方式的示意图。
图2B是示出了本地数据库的附加细节的示意图。
图3是确定消费者当前正在观看的内容的方法的实施方式的流程图表示。
图4是确定消费者当前正在观看的内容的方法的实施方式的流程图表示。
图5是确定消费者当前正在观看的内容的方法的实施方式的流程图表示。
图6是确定通过主机顶盒可用的频道编排访问的方法的实施方式的流程图表示。
图7是图1的客户端-服务器环境的实施方式的示意图,该客户端-服务器环境包括在电视上的示例示意显示,其图示了由耦接至可作为补充机顶盒运行的客户端的示例主机顶盒提供的多种功能。
图8A是可作为补充机顶盒和/或电视集成装置运行的客户端装置的示例实施方式的示意图。
图8B是示出了图8A的本地数据库的附加细节的示意图。
图8C是示出了图8A的命令/响应数据的附加细节的示意图。
图9A和9B是基于由来自主机顶盒的单向连接提供的显示信息来控制主机顶盒的方法的相应实施方式的流程图表示。
根据惯例,在附图中图示的各种特征可能并非是按比例绘制而成的。因此,为了清晰起见,可以任意地扩大或者缩小各种特征的尺寸。另外,附图可能未描绘给定系统、方法、或装置的所有部件,因为并未对已知的方法、部件、和电路进行详尽描述。最后,在整个说明书和附图中,类似的附图标记可以用于表示类似的特征。
具体实施方式
本文描述的各种实施方式包括系统、方法、和/或装置,该系统、方法和/或装置能够确定特定消费者在电视上正在观看的内容以便将匹配的功能、内容和/或服务作为交互式电视套件技术的一部分进行传送。具体地,在一些实施方式中,能够实现确定特定消费者正在观看的内容的过程,以便减少在主机顶盒与补充机顶盒和/或电视集成装置之间的通信,从而避免对一个或者多个提供者特定API的需求。例如,本公开的一个方面是一种通过从媒体节目捕获显示数据来标识该媒体节目,并且响应于确定该显示数据包括文本覆盖而从显示数据提取文本的方法,其中,所提取的文本与该媒体节目相关联。在一些情况下,通过(1)从媒体内容节目的一部分(例如,音频或者视频)生成一个或者多个内容指纹,以及(2)将该一个或者多个内容指纹与对应于(例如,提取自)已知媒体节目的指纹集合进行比较来标识媒体节目。
另外和/或可替代地,在一些实施方式中,补充机顶盒(或者电视集成装置)被配置为在没有提供者特定API的情况下操作主机顶盒,以便确定通过该主机顶盒对特定订户可用的频道编排。另外,在一些实施方式中,可以将类似的方法和特征用于标识对非订阅媒体内容(诸如,由TV接收器(诸如,非限制性地,在计算机中包括的TV接收器)、媒体播放器(诸如,DVD或者蓝光播放器)、或者数字视频录像机(DVR)接收的无线广播)的查看者可用的频道编排。在一些实施方式中,有用的是使来自第一装置的对第二装置的菜单的控制更加可靠,即使该第二装置不提供对电视节目的访问。这些方法是有利的,因为它们使通用遥控装置更加可靠。
在这些情况中的每种情况中的共同因素是:补充机顶盒不能直接获知对主机顶盒或者其它TV接收器可用的TV频道。因此,补充机顶盒需要实施间接策略以标识正由主机顶盒或者其它TV接收器调谐的TV频道,或者标识对主机顶盒或者其它TV接收器可用的整个频道编排。
本文描述了许多细节是以便提供对在附图中图示的示例实施方式的全面理解。然而,本发明可以在没有这些特定细节的情况下实践。并且,并未对已知的方法、程序、部件、和电路进行详尽描述,以免不必要地模糊示例实施方式的更为显著的方面。
图1A是客户端-服务器环境100的实施方式的示意图。虽然图示了某些特定功能,但是本领域的技术人员将从本公开理解,为了简洁起见,并未图示各种其它的特征,以免模糊本文公开的实施方式的更为显著的方面。为此,该客户端-服务器环境100包括:机顶盒103、电视(TV)110、客户端装置102(例如,补充机顶盒)、第二屏幕客户端装置120(例如,膝上型计算机、平板计算机、智能手机等)、遥控装置112、通信网络104、媒体服务器130、广播系统140、和内容提供者150。该第二屏幕客户端装置120、客户端装置102、媒体服务器130、广播系统140、和该内容提供者150能够连接至通信网络104以便彼此交换信息和/或与其它装置和系统交换信息。客户端-服务器环境100仅仅是提供以用于讨论本公开的更为显著的特征的示例。本领域的技术人员将从本公开理解,可以在客户端-服务器环境中提供任何数量的此类装置和/或系统,并且特定装置可以都不存在。
一些实施方式中,将媒体服务器130实施为单个服务器系统,而在其它实施方式中,将媒体服务器130实施为多个服务器的分布式系统。仅仅为了便于解释,在下文将媒体服务器130描述为在单个服务器系统上实施。类似地,在一些实施方式中,将广播系统140实施为单个服务器系统,而在其它实施方式中,将广播系统140实施为多个服务器的分布式系统。仅仅为了便于解释,在下文将广播系统140描述为在单个服务器系统上实施。类似地,在一些实施方式中,将内容提供者150实施为单个服务器系统,而在其它实施方式中,将内容提供者150实施为多个服务器的分布式系统。仅仅为了便于解释,在下文将内容提供者150描述为在单个服务器系统上实施。此外,可以将广播系统140和内容提供者150的功能结合到单个服务器系统中。另外和/或可替代地,虽然为了简洁起见在图1A中仅图示了一个广播系统和一个内容提供者,但是本领域的技术人员将从本公开理解,在客户端-服务器环境的实施方式中可以存在更少或者更多的广播系统和内容提供者。
在一些实施方式中,将第二屏幕客户端装置120(例如,平板计算机或者膝上型计算机等)、机顶盒103、TV 110、客户端装置102、和遥控装置112组合提供在例如家庭或者商业机构内。机顶盒103被配置为从广播系统140等接收并且解码包括媒体内容的信号。在操作中,机顶盒103解码从广播系统140等接收的信号并且将音频内容和视频内容提供给TV110进行显示。虽然在图示的示例中已经使用了TV,但是本领域的技术人员将从本公开理解,任何数量的显示装置(包括计算机、膝上型计算机、平板计算机、智能手机等)都可以用于显示视频流并且播放相关联的音频流。另外和/或可替代地,在一些实施方式中,将机顶盒103和TV 110的功能结合到单个装置中。
在一些实施方式中,遥控装置112用于控制机顶盒103、TV 110和客户端装置102中的一个或者多个的操作。在一种操作模式中,客户端装置102监测TV 110的显示器118以确定何时提供节目信息覆盖。在另一操作模式中,客户端装置102模仿遥控装置112的功能(例如,通过经由IR增强器125(图1B)发送IR命令)以提示机顶盒103显示节目信息覆盖。并且在再一操作模式中,客户端装置102从指向机顶盒103的遥控装置112接收IR传输。转而,客户端装置102然后可以通过通信网络104与媒体监测服务器130、广播系统140、和内容提供者150中的任何一个通信。在下文参照图3至图5对关于客户端装置102如何获取与特定用户正在观看的内容有关的实时节目信息的更具体的细节进行描述。
在一些实施方式中,机顶盒103是能够连接至通信网络104、接收视频流、从视频流提取信息、并且使用TV 110(或者另一显示装置)用于显示器呈现视频流的任何计算机装置。在一些实施方式中,机顶盒103被配置为用于有线TV和/或卫星TV、数字视频录像机(DVR)、数字媒体接收器、TV调谐器、计算机和/或输出TV信号的任何其它装置的接收器。在一些实施方式中,TV 110是不可连接至互联网并且显示经由无线广播或者卫星或者有线连接而接收的数字和/或模拟TV内容的常规TV显示器。
类似地,在一些实施方式中,客户端装置102是能够连接至通信网络104和TV 110的任何计算机装置。在下文参照图5所述,在一些实施方式中,客户端装置102能够从遥控装置112接收指向机顶盒103的红外(IR)传输。另外和/或可替代地,在一些实施方式中,客户端装置102能够与客户端装置120有线和/或无线通信。在一些实施方式中,客户端装置102包括一个或者多个处理器121、非易失性存储器122(诸如,硬盘驱动器)、和本地数据库123。在一些实施方式中,存储器122包括应用指令122a和相关联的数据122b。在一些实施方式中,本地数据库123和/或相关联的数据122b存储与本地频道编排有关的信息,该信息包括通过本文描述的操作发现的一个或者多个本地频道编排180-i。在一些实施方式中,操作由应用指令122a执行。
如在下文详细描述的,处理器121根据从媒体监测服务器130接收的指令集合来执行一个或者多个应用。客户端装置102还可以具有输入装置,诸如,键盘、鼠标和/或触控板(未示出)。在一些实施方式中,客户端装置102包括触屏显示器、数字摄像机、和/或用于增加功能的任何数量的补充装置。
与典型的电视一样,TV 110包括显示器118和扬声器。另外和/或可替代地,可以用向用户呈现视频内容的另一类型的显示装置(诸如,例如,计算机、平板装置、移动电话、投影仪、或者其它类型的视频显示系统)来替代TV 110。显示装置可以经由无线连接或者有线连接耦接至机顶盒103。
如本文使用的,TV信号是包括与TV频道对应的音频和/或视频分量的电子数据传输介质、光学数据传输介质、或者其它类型的数据传输介质。在一些实施方式中,TV信号是地面无线TV广播信号或者在有线系统或者卫星系统上分布/广播的符号。在一些实施方式中,TV信号作为数据通过网络连接来传输。例如,机顶盒103可以从互联网连接接收视频流。TV信号的音频和视频分量在本文中有时称为音频信号和视频信号。在一些实施方式中,TV信号与在TV 110上正在显示的TV频道对应。
图1B是包括在TV 110上的示例示意屏幕显示的客户端-服务器环境100的一部分的示意图。此外,TV 110包括显示器118,在该显示器118上显示媒体节目的视频。进一步地,当视频正在显示时,机顶盒103可以提供包括频道和标题信息的文本覆盖119。例如,该文本覆盖119通常包括正在呈现媒体节目的频道以及媒体节目的标题。文本覆盖119通常还包括关于演员、人物、和/或媒体节目的概要的信息。在一些实施方式中,如图1B所示,客户端102经由连接131(例如,HDMI连接、有线连接、或者无线连接)连接至机顶盒103,通过该连接131客户端102可以从机顶盒103接收视频信号171a,该视频信号171a与由机顶盒103经由连接135(例如,HDMI连接)向电视110提供的视频信号171b相同或者相当。这允许客户端102对机顶盒103提供的文本覆盖119,连同与正在观看的表演相关联的视频内容和/或音频内容和/或元数据,进行分析并且执行光学字符识别(OCR)。在一些实施方式中,在机顶盒103与TV110和/或客户端102之间的连接131和135大体上或者完全是单向连接。即,虽然机顶盒103能够将信号提供给TV 110和客户端102,但TV 110和客户端102却不能通过经由连接131和135发送回机顶盒103的命令来控制机顶盒103。在一些实施方式中,客户端102经由连接137(例如,无线连接,诸如,WIFI、BLUETOOTH、RF、或者IF连接)与电视110连接。
进一步参照图1A,第二屏幕客户端装置120可以是能够连接至通信网络104的任何计算机装置,诸如,计算机、膝上型计算机、平板装置、上网本、互联网上网亭、个人数字助理、移动电话、游戏装置、或者能够与媒体服务器130通信的任何其它装置。
通信网络104可以是有线和无线局域网(LAN)和/或广域网(WAN)的任何组合,诸如,内联网、包括一部分互联网的外联网、或者由无线运营商提供的无线网络。通信网络104在第二屏幕客户端装置120与媒体监测服务器130之间提供通信能力就足够了。在一些实施方式中,通信网络104使用超文本传输协议(HTTP)来传送使用传输控制协议/互联网协议(TCP/IP)的信息。HTTP允许客户端装置102访问经由通信网络104可用的各种资源。然而,本文描述的各种实施方式并不限于任何特定协议的使用。
在一些实施方式中,媒体监测服务器130包括促进在媒体监测服务器130与通信网络104之间的通信的前端服务器134。该前端服务器134从客户端装置102接收内容信息。如在下文详细描述的,在一些实施方式中,该内容信息包括节目信息,诸如,节目标题、演员姓名、人物姓名、剧情简介等。在一些实施方式中,该前端服务器134被配置为将指令集合发送至客户端装置102。在一些实施方式中,该前端服务器134被配置为发送内容文件、指向内容文件的链接、和/或与内容文件相关联的元数据。术语“内容文件”包括任何格式的任何文档或者内容,包括但不限于:视频文件、图像文件、音乐文件、网页、电子邮件消息、SMS消息、内容馈源、广告、优惠券、播放列表、或者XML文档。在一些实施方式中,前端服务器134被配置为发送或者接收一个或者多个视频流。在一些实施方式中,前端服务器134被配置为通过通信网络104从广播系统140和/或内容提供者150直接地接收内容。
在一些实施方式中,媒体监测服务器130包括内容数据库136。在一些实施方式中,该内容数据库136包括广告、视频、图像、音乐、网页、电子邮件消息、SMS消息、内容馈源、广告、优惠券、播放列表、XML文档、和与各种媒体内容相关联的评级、或者它们的任何组合。在一些实施方式中,内容数据库136包括指向广告、视频、图像、音乐、网页、电子邮件消息、SMS消息、内容馈源、广告、优惠券、播放列表、XML文档、和与各种媒体内容相关联的评级的链接。在一些实施方式中,内容数据库136是分布式数据库。
在一些实施方式中,广播系统140包括媒体内容,诸如,TV节目。在一些实施方式中,广播系统140还包括与TV节目中的一个或者多个相关联的元数据、和应用程序接口指令。在一些实施方式中,该应用程序接口指令包括可以提供给客户端装置和/或可以在客户端-服务器模式等下由广播系统140执行以便将特定TV节目与相关联的元数据链接和/或将TV节目和相关联的元数据与外部数据和/或服务(诸如,社交网络应用)链接的指令。类似地,在一些实施方式中,内容提供者150另外和/或者可替代地包括媒体内容(诸如,TV节目)、以及与TV节目中的一个或者多个相关联的元数据。
图2A是上面参照图1A讨论并且可作为补充机顶盒和/或电视集成装置运行的客户端装置102的示例实施方式的示意图。虽然图示了某些特定特征,但是本领域的技术人员将从本公开理解,为了简洁起见,并未图示各种其它特征,以免模糊本文公开的实施方式的更为显著的方面。为此,客户端装置102包括:一个或者多个处理单元(CPU)202、一个或者多个网络或者其它通信接口208、存储器206、TV调谐器232、视频I/O 230、和用于将这些部件和各种其它部件互相连接的一个或者多个通信总线204。通信总线204可选地包括电路系统(有时称作芯片集),该电路系统互相连接并且控制在系统部件之间的通信。客户端装置102还可以包括用户接口212,该用户接口212包括显示装置213和键盘和/或鼠标(或者其它定点装置)214和/或遥控装置等。存储器206包括高速随机存取存储器,诸如,DRAM、SRAM、DDRRAM、或者其它随机存取固态存储器装置;并且可以包括非易失性存储器,诸如,一个或者多个磁盘存储装置、光盘存储装置、闪存存储器装置、或者其它非易失性固态存储装置。存储器206可选地包括距CPU 202远程定位的一个或者多个存储装置。存储器206,或者可替代地,在存储器206内的非易失性存储器装置,包括非暂时性计算机可读存储介质。在一些实施方式中,存储器206或者存储器206的计算机可读存储介质存储以下程序、模块和数据结构、或者它们的子集、操作系统216、网络通信模块218、OCR模块226、软件模块228、和数据220。
操作系统216包括用于处理各种基本系统服务并且用于执行硬件相关任务的过程。
网络通信模块218促进经由该一个或者多个通信网络接口204(有线或者无线)和一个或者多个通信网络(诸如,互联网、其它广域网、局域网、城域网等)与其它装置的通信。
在一些实施方式中,OCR模块226使客户端装置102能够处理屏幕截图(例如,来自TV 110的图像)以获得在由主机顶盒103提供的节目信息覆盖中包括的节目信息。为此,OCR模块226包括OCR指令324和元数据325。在一些实施方式中,该OCR指令324包括执行OCR操作以从TV图像和内容识别节目信息的指令,并且该元数据325包括由OCR模块采用来支持OCR操作的数据。例如,在一些实施方式中,元数据包括涉及与TV频道和节目相关联的字的常见组合的信息(诸如,频道名称、广播公司名称、和在节目标题常用的字)。在一些实施方式中,例如,当客户端102装备有适当的处理能力时,例如,在客户端102上本地处理屏幕截图,以避免通过将该屏幕截图传输至远程服务器而造成的延迟。
在其它实施方式中,处理屏幕截图(例如,OCR操作中的一个或者多个)在例如经由通信网络104与客户端102连接的服务器计算机上进行。在一些实施方式中,客户端102将未处理的(例如,原始的)或者部分处理的截屏传输至服务器进行处理。在一些实施方式中,客户端102压缩(例如,应用一种或者多种压缩算法,有损或者无损的)或者调整(例如,传输黑白图像)屏幕截图,例如,以便消耗更少的网络带宽。
在使用负载平衡技术的又一实施方式中,屏幕截图处理(例如,OCR操作中的一个或者多个)部分地在客户端102上进行并且部分地在服务器计算机上进行。例如,将10个屏幕截图、本地处理的(以便避免可能很长的传输延迟)高分辨率屏幕截图、和低分辨率屏幕截图的集合传输至服务器进行批处理,这通常会更快。另举一例,例如,在1000个屏幕截图的集合中,将前500个屏幕截图进行本地处理,同时,将后500个屏幕截图传输至服务器进行平行或者并行处理,以便减少总处理时间。
在又进一步的实施方式中,在客户端上进行屏幕截图处理的一些阶段,而在服务器上进行其它阶段。例如,在截取屏幕截图之后,客户端将OCR技术应用于该屏幕截图,并且将产生的文本(由该OCR技术产生的)和/或相关联的注解发送至远程服务器,该远程服务器然后决定哪些指令在机顶盒上执行(例如,频道切换、录制用户偏好、和显示频道列表)。
在一些实施方式中,软件模块包括:显示/用户模块234、频道编排管理模块236、频道审查模块238、和频道选择模块240。在一些实施方式中,该显示/用户模块234显示由其它软件模块提供的信息。所显示的信息可以包括由OCR模块226、频道编排管理模块436、频道审查模块238、频道选择模块240、和命令发送模块242的一些组合发现的频道编排280。
在一些实施方式中,针对某些功能(诸如,转换频道(例如,以提取频道编排)),使用有时称作(音频或者视频)指纹识别的处理来代替OCR技术。在这些实施方式中,客户端102包括共享捕获模块(或者基础结构),该共享捕获模块捕获在所有直播频道上的音频内容或者视频内容。然后(由客户端102或者由服务器计算机)提取捕获到的指纹。例如,当第一电子装置(例如,机顶盒103或者电视110)调谐至特定频道时,第二电子装置(例如,客户端102或者媒体服务器130)根据来自第一电子装置的音频内容或者视频内容的一部分来计算指纹。将该指纹发送至服务器,该服务器将来自第一装置的指纹与捕获到的指纹进行比较。如果不匹配,则指示该频道不可用或者该调谐失败(例如,不良IR代码)。如果匹配,那么可以将该特定频道添加至编排。
在一些实施方式中,频道编排管理模块236(例如,通过使用频道映射信息282)将所发现的频道号映射至实际的无线频道(若适用)并且映射至有线频道名称。频道审查模块238使用户能够审查、纠正、并且移除频道信息。在一些实施方式中,频道选择模块440检测调谐的信号长度并且标识调谐的频道是否正在呈现非多余内容,即,不是噪音的任何事物。在一些实施方式中,频道选择模块240还允许用户使用简单的频道向上/向下命令或者通过键入实际频道号来在TV上调谐频道,并且使适合的频道信息显示在TV上。在一些实施方式中,频道选择模块440采用IR增强器125(图1B)来将适合的频道调谐/选择和“信息”命令发送至STB(或者可替代地,TV 110)。在一些实施方式中,本文描述的频道选择模块240和其它模块或者操作与IR增强器125交互以便经由命令发送模块242将命令发送至TV 110或者STB125。因此,使用所识别的频道编排信息,用户能够经由客户端装置102(仅拥有与TV和STB的单向连接)控制TV 110,就如同客户端装置102拥有与TV的双向连接一样,与STB 103的双向连接类似。
在一些实施方式中,由于频道信息没有经由与机顶盒103的连接提供给客户端装置102,所以,呈现频道信息要求客户端102或者互连的服务器执行(例如,来自在电视110上播放的媒体内容的音频或者视频内容片段的)指纹识别来确认已经选择了正确频道。这也意味着客户端装置102需要能够发出适合数目的频道“上”或者“下”命令(例如,使用IR增强器12(图1B)发送的IR命令)至有线/机顶盒103(图1B)以便导航到期望的频道并且然后确认已经到达正确频道。在一些实施方式中,这是通过以下进行的:(1)发送“信息”IR命令(与用户在TV遥控装置上点击该“信息”按钮类似)并且对在屏幕信息上显示的结果进行快速OCR检查,或者(2)通过用指纹识别频道内容来确认它与所请求的频道选择应该示出的内容相匹配。
在一些实施方式中,显示/用户模块234显示由其它软件模块提供的信息。所显示的信息可以包括由OCR模块226、频道编排管理模块236、频道审查模块238、和频道选择模块240的一些组合发现的频道编排180。在一些实施方式中,数据220包括OCR数据261和节目信息的本地数据库123。在一些实施方式中,从广播系统和/或节目提供者接收节目信息。在一些实施方式中,OCR数据261包括文本段261-1、图像261-2、和用户ID信息261-3。在一些实施方式中,本地数据库123包括一种或者多种发现的频道编排280-i和频道映射信息282,该频道映射信息282存储将频道号映射至实际无线频道(若适用)并且映射至有线频道名称的信息。
在一些实施方式中,可以将上文标识的要素中的每一个存储在先前提到的存储器装置中的一个或多个中,并且模块或者程序中的每一个与用于执行上文所述的功能的指令集合对应。该指令集合可以由一个或者多个处理器(例如,CPU 202)执行。不需要将上文标识的模块或者程序(即,指令集合)实施为单独的软件程序、过程、或者模块,并且因此这些模块的各种子集可以在各种实施方式中组合或者重新布置。在一些实施方式中,存储器206存储上文标识的模块和数据结构的子集。此外,存储器206可以存储上文未描述的附加模块和数据结构。
图2B示出了在一些实施方式中与在本地数据库123中存储的频道编排280-1中保存的单个频道458相关联的信息。该信息,或者其子集或者超集,可以与任何数量的一种或者多种频道编排280-i相关联。在图示的实施方式中,对于在编排中的单个频道458-1,典型的第一频道编排280-1包括以下中的一种或者多种:输入源信息460-1、所显示的频道号468-1、所显示的频道名称470-1、有意义的频道号472-1、有意义的频道名称474-1、信号强度476-1、和广播位置478-1。在一些实施方式中,输入源460-1指示使用是/否或者类似的二进制值的相应特定频道的源。在一些实施方式中,输入源460-1指示调谐的频道是否来自有线提供者462-1、无线源464-1(诸如,地面广播TV频道)、或者来自卫星源468-1。可替代地,输入源460-1可以用单个字段表示,该单个字段保持指示相应频道(例如,“OTA”、“Cable”、或者“Satellite-Dish”)的源的值。所显示的频道号468-1和名称470-1是在TV显示器110(图1B)上显示并且经由OCR操作捕获的频道号和名称。所显示的频道号468-1和名称470-1对用户可能不具有意义(例如,频道号468-1可以是由与已知频道号无关的有线公司分配的三位数值)。因此,在一些实施方式中,针对每个调谐的频道,频道信息包括有意义的频道号472-1(例如,可识别的无线频道号)和频道名称474-1(例如,可识别的网络或者频道名称)。在一些实施方式中,针对代表性的频道458-1,频道信息还包括与频道接收与传输有关的信息,包括:信号长度476-1和广播位置478-1。
图3是确定消费者当前正在观看的内容的方法300的实施方式的流程图表示。在一些实施方式中,该方法由装置(诸如,补充机顶盒和/或电视集成模块)执行,以便能够确定消费者当前正在观看的内容。例如,参照图1A,在一些实施方式中,方法300由客户端装置102(即,补充机顶盒)执行。如上文提到的,当用户通过例如使用一种或者多种频道选择选项或者按下“INFO”按钮来转换频道或者请求节目信息时,主机顶盒显示包括节目信息(诸如,当前频道、播放节目的标题、和关于该节目的信息)的覆盖。因此,该方法包括:通过监测由主机顶盒提供的显示输出来标识在期间主机顶盒提供覆盖的实例,并且对该覆盖进行解析以获得期望信息。另外和/或可替代地,在一些实施方式中,该方法包括:在没有用户交互(即,用户按下按钮)提示的情况下检测何时显示频道标识符。
为此,该方法包括:从正在显示由消费者通过主机顶盒等选择的电视节目的显示装置执行屏幕或者显示数据捕捉,以便获取正在显示的内容的图像(301)。在一些实施方式中,从由主机顶盒提供的视频信号获得屏幕捕捉数据。另外和/或可替代地,在一些实施方式中,从在机顶盒和/或机顶盒的操作系统中包括的显示(即,视频)卡获得屏幕捕捉数据。另外和/或可替代地,从在主机顶盒、补充机顶盒、TV、和第二屏幕装置中的至少一个上运行的TV应用获得视频捕捉数据。另外和/或可替代地,在一些实施方式中,补充机顶盒(等)包括可操作以捕获电视等的显示器的图像的照相机。该方法包括:分析图像,以标识图像是否包括主机顶盒正在显示覆盖的指示符(302)。例如,在一些实施方式中,该指示符包括:该覆盖的颜色、在可见时该覆盖通常遮盖的显示区域的百分比、具有该覆盖的文本的布置、在可能会显示该程序的显示器的一部分与可能会显示该覆盖的显示器的另一部分之间的对比度。
该方法包括:确定该指示符中的一个或多是否如图像分析所指示的那样存在(303)。如果针对特定屏幕捕捉没有一个指示符存在(303的“否”路径),那么该方法包括:在捕获另一个屏幕截图等之前,等待伪随机时间量或者预设延迟时间(304)。另一方面,如果存在至少一个指示符或者存在另一阈值数量的指示符(303的“是”路径),那么该方法包括:将光学字符识别技术应用于该图像,以便标识并且提取所显示的信息(305)。已经提取出标题和/或节目信息之后,该方法包括:交叉引用所提取的信息与本地和/或远程数据库以确保信息的有效性(306)。例如,进一步参照图1A,客户端装置102可以与媒体服务器130通信以便检查所提取的显示信息的有效性。更具体地,客户端装置102可以将所有或者部分所提取的信息传输至媒体服务器130。转而,媒体服务器130则可以对比内容数据库(例如,内容数据库133,图1)检查所提取的信息以确保所提取的数据是正确的和/或在所提取的数据不正确但是可以与数据库信息相匹配时将纠正的信息提供给客户端装置102。
图4是确定消费者当前正在观看的内容的方法400的实施方式的流程图表示。在一些实施方式中,该方法由装置(诸如,补充机顶盒和/或电视集成模块)执行,以便能够部分地通过模仿与主机顶盒相关联的遥控装置的操作来确定消费者当前正在观看的内容。为此,该方法包括将第一红外(IR)代码(等)传输至主机顶盒,以便发起对节目信息覆盖的显示(401)。例如,进一步参照图1A,客户端装置102和客户端装置120中的一个可以将IR代码传输至机顶盒103。
该方法然后包括:执行屏幕捕捉以获取包括节目信息覆盖的屏幕截图(即,图像)(402)。已经获取到屏幕截图之后,该方法包括:将第二IR代码(等)传输至主机顶盒以便发起对在播放的电视节目上的节目信息覆盖的移除(403)。该方法包括:分析图像或者屏幕截图以获得在覆盖中呈现的节目信息(404)。已经提取出标题和/或节目信息之后,该方法包括:交叉引用所提取的信息与本地和/或远程数据库133以确保信息的有效性(406)。
图5是确定消费者当前正在观看的内容的方法500的实施方式的流程图表示。在一些实施方式中,该方法由装置(诸如,补充机顶盒和/或电视集成模块)执行,以便能够通过从与主机顶盒相关联的遥控装置检测IR传输来确定消费者当前正在观看的内容。例如,进一步参照图1A,客户端装置102可以检测从遥控装置120指向主机顶盒103的IR传输。
为此,该方法包括:从与主机顶盒相关联的遥控装置检测IR传输或者等效物(501)。转而,该方法包括:解析该传输以便标识由IR传输表示的命令(502)。已经标识了该命令之后,该方法包括:确定所标识的命令是否使主机顶盒在提供给显示装置的视频流中提供节目信息覆盖。如果检测到的命令不可能使主机顶盒提供节目信息覆盖(503的“否”路径),那么该方法包括循环返回检测另一个IR传输。另一方面,如果检测到的命令可能会使主机顶盒提供节目信息覆盖(503的“是”路径),那么该方法包括:从正在显示由消费者通过主机顶盒等选择的电视节目的显示装置执行屏幕或者显示数据捕捉,以便获得正在显示的内容的图像(504)。该方法包括:分析图像或者屏幕截图以获得在覆盖中呈现的节目信息(505)。并且,该方法包括:交叉引用所提取的信息与本地和/或远程数据库来确保信息的有效性(506)。
图6是确定通过主机顶盒可用的频道编排访问的方法600的实施方式的流程图表示。在一些实施方式中,该方法由装置(诸如,补充机顶盒和/或电视集成模块)执行,以便能够通过使用主机顶盒频道控制命令来确定可通过主机顶盒可用的频道编排访问。例如,进一步参照图1A,客户端装置102可以将IR传输传输至主机顶盒103或者提供等效的信令。
为此,方法600包括:使用主机顶盒频道控制命令,来选择初始候选频道进行探测(601)。在一些实施方式中,候选频道是可以通过主机顶盒可用的疑似频道号中的任何一个。已经选择候选频道之后,方法600包括:将控制命令传输至主机顶盒以便将主机顶盒调谐至该候选频道(602)。例如,在一些实施方式中,传输控制命令包括传输IR代码(602a)。在一些实施方式中,传输控制命令包括通过数据连接传输命令分组(602b)。
在传输控制命令之后,方法600包括:执行屏幕数据捕捉(603)。在一些实施方式中,执行屏幕数据捕捉包括:读取显示像素缓存和/或从显示像素总线进行读取以获得屏幕显示信息的至少单个帧(603a)。方法600然后包括:执行图像分析以确定候选频道是否可用作与主机顶盒相关联的订阅的部分,并且因此传送非多余电视内容(604)。在一些实施方式中,非多余电视内容包括:电视节目、体育赛事、新闻广播、电影等。在一些实施方式中,多余电视内容包括数据,诸如,按次计费的标题画面、订阅信息(例如,联系电话或者网站地址)、循环的广告、和/或指示对频道的订户可用的内容类型的内容预告,该频道当前不可用,因为主机顶盒未与这种订户相关联。在一些实施方式中,执行图像分析包括:执行和/或应用OCR以标识在屏幕显示数据中的文本内容(604a)。在一些实施方式中,执行图像分析包括:指纹识别屏幕显示数据的至少一个帧以标识节目内容(604b)。在一些实施方式中,执行图像分析包括:执行视频分析以确定候选频道是否正用于传送非多余电视内容(604c)。在一些实施方式中,除视觉分析604c之外或者替代视觉分析604c,频道选择模式440(图2A)或者等效功能通过分析频道的信号长度来确定特定频道是否正携载非多余电视内容(604d)。
基于图像分析,方法600包括:决定候选频道是否正用于传送非多余电视内容(605)。如果候选频道正用于传送非多余电视内容(605的“是”路径),方法600包括:将该候选频道标记为可用或者通过主机顶盒可用的订阅编排的成员(606)。如果候选频道没有正用于传送非多余电视内容(605的“否”路径),方法600包括:将该候选频道标记为不可用或者不是通过主机顶盒可用的订阅编排的成员(607)。用于活动频道的信息则保存在频道编排180中的一个中(611)。为活动频道保存的信息包括:从所显示的频道信息(诸如,频道号和名称)识别的信息和从本地或者外部源获得的信息,该信息诸如是在客户端装置102或者经由网络104(例如,媒体服务器130,图1A)耦接至客户端装置102的服务器上存储的节目指南。
在一些实施方式中,当存在多个输入源(诸如,有线TV、无线TV、和卫星TV)时,将来自特定输入源的频道保存并且存储在相应的频道编排中。例如,图2A图示了两个保存的频道编排180-1和180-2。同样,在一些实施方式中,为了使频道编排更用户友好和/或为了标识在多个编排中复制的频道,将所显示的和经OCR的频道信息映射至有意义的名称/频道号,诸如,本地无线(OTA)频道号或者频道名称,诸如,网络名称(612)。这些有意义的频道名称和频道号,连同识别到的显示的频道信息,一起保存在频道编排中。用于将经OCR的频道信息映射至有意义的频道名称和频道号的信息(例如,频道映射信息282)可以先前被存储在客户端装置102上和/或从服务器下载。可替代地,客户端装置102可以将一个或者多个请求发布至服务器以基于针对不同的输入源/内容提供者对在客户端装置102的区域中可用的频道编排的服务器可用的信息来便映射频道信息。
在对候选频道的状态做出决定之后,方法600包括:基于附加频道的疑似存在,确定是否继续(608)。在一些实施方式中,在目前为止考虑到的候选频道中的每一个在没有重叠的情况下仅仅考虑到了一次和/或相等的次数时,怀疑存在至少一个附加候选频道。如果不怀疑至少多于一个频道存在继续(608的“否”路径),那么方法600结束(610)。如果怀疑至少多于一个频道存在继续(608的“否”路径),那么方法600包括:选择新的候选频道并且重复该方法在框602处开始的部分(609)。在一些实施方式中,选择新的候选频道包括:使用“频道向上”(或者“频道向下”)主机顶盒控制命令(609a)。在一些实施方式中,选择新的候选频道包括:从列表等选择新的频道(609b)。另外,可以将参照图6描述的方法(以及参照图4和图5描述的有关方法)用于标识对非订阅媒体内容(诸如,由TV接收器(诸如,非限制性地,在计算机中包括的TV接收器)、媒体播放器(诸如,DVD或者蓝光播放器)、或者数字视频录像机(DVR)接收的无线广播)的查看者可用的频道编排。
在一些实施方式中,除TV内容之外,其它类型的媒体内容和服务也可以通过主机顶盒103提供。内容或者其它服务可以经由与机顶盒103的直接(有线或者无线)连接提供作为机顶盒103的内置特征,或者经由网络连接提供。例如,置入机顶盒的数字视频录像机(DVR)可以用于录制TV内容或者回放所录制的TV内容;机顶盒103可以用于访问从与该机顶盒相关联的有线或者卫星提供者获得的视频点播(VOD)内容;或者机顶盒可以用于监测或者控制家庭安全系统。通过使用与上文参照图1至图6描述的能力类似的能力,在一些实施方式中,客户端装置102被配置为从经由主STB 103提供的服务/特征接收显示信息并且被配置为在不使用用于特定主机顶盒的自定义API的情况下与那些服务交互(例如,控制和访问)。
例如,在一些实施方式中,在反复试验过程中,客户端装置102经由机顶盒(诸如,IR或者RF接口)提供的单向无线连接发送一个或者多个命令的序列以使主机顶盒103运用特定特征/服务和/或访问特定STB内容(例如,DVR服务或者VOD内容)。在一些实施方式中,与上文描述的技术一致,客户端装置102然后响应于一个或者多个命令来分析与由电视110显示的所产生的图像相关联的文本覆盖和/或其它图像/信息的显示特点(例如,位置、大小、图形、和内容),并且确定那些文本覆盖是否如预期一样被给予所发送的一个或多个命令。在一些实施方式中,客户端装置102通过响应于与特定机顶盒特征集合相关联的特定命令,将所产生的文本覆盖的所标识的显示特点与由机顶盒的特定品牌和型号生成的预期覆盖显示特点的数据库进行比较,来执行该确定。如果所标识的覆盖显示特点与预期覆盖显示特点一致,那么客户端装置102存储标识机顶盒的品牌和型号的信息、以及用于访问特定特征的一个或者多个命令的正确序列。这样,客户端装置102可以标识由机顶盒103提供的有用的命令和特征,并且随后使用所标识的命令序列来控制那些特征。
在一些实施方式中,一旦客户端装置102已经标识机顶盒103的品牌、模型、和特征集合,客户端装置102可以从另一个装置(例如,网络服务器)下载用于控制机顶盒103的命令序列。
在这些环境中的任何一个中,命令序列可以是STB 130支持的、客户端装置102可以使用兼容的IR或者RF发射器来发送的常规远程控制命令;或者是STB 103支持的、客户端装置102可以经由其自身的网络连接来发送的网络命令(例如,WiFi或者Bluetooth)。这样,客户端装置102能够控制由机顶盒103提供的特征集合,尽管由机顶盒103提供的仅有连接是单向连接(例如,不具有控制能力或者远程控制连接的输出的音频和视频信号)。当然,本文描述的方法适用于由STB支持的能控制其特征集合并且访问反映了其输出的视频和音频信号的任何通信形式。类似地,本文描述的方法适用于标识命令序列并且经由相当的单向连接来控制任何电子装置的特征集合。
作为进一步的图示,图7是包括在TV 110上的示例示意屏幕显示并且示出了由图1的机顶盒103和客户端装置102提供的附加特征的客户端-服务器环境100的一部分的示意图。TV 110包括显示器118,在该显示器118上显示有媒体节目的视频。除了在TV 110(或者其它显示器)上接收并且显示TV内容之外,机顶盒103被配置有各种服务/特征,非限制性地,该各种服务/特征包括:视频点播内容703、数字视频录像机(DVR)特征705、和家庭安全系统特征707。这些服务/特征可以通过各种方式向机顶盒103配备或者可以通过各种方式由机顶盒103配备。例如,VOD内容703由与STB 103相关联的内容提供者(即,STB提供者)提供,DVR服务/特征705可以由STB 103内部的计算和存储部件提供或者由STB提供者远程地提供,并且家庭安全系统服务/特征707可以经由家庭网络来访问或者在一些情况下通过与STB 103的直接连接来访问。
在一些实施方式中,代表性的VOD特征703包括:允许用户从可用VOD节目721的列表查看并且选择视频内容;代表性的DVR特征705包括:允许用户从所录制的节目723的列表查看并且选择,并且查看和/或定义录制安排表725;并且,可以通过STB访问的代表性的家庭安全特征707包括:允许用户查看从安全摄像头727捕获到的图像,查看并且重置安全系统状态729,以及查看并且更新安全系统配置731。在一些实施方式中,与这些特征相关联的状态信息(该状态信息与控制该特征相关)响应于用户命令(包括由客户端装置102发送的命令)可能不会由STB 103直接地显示,但是这些状态可以由客户端装置102通过发送特定命令序列并且观察由STB 103提供的所产生的视频和音频信号171a和773a来确定。
类似地,STB 103具有可以由用户或者客户端装置102利用适当的命令序列而标识或者控制的其自身的特征和设置。非限制性地,这些特征和设置包括:允许用户查看信息,该信息关于:STB提供者和频道/特征编排741、可用频道743、和允许用户与那些和其它特征交互的屏幕菜单745(诸如,允许用户访问VOD、DVR、和家庭安全服务/特征的最高级菜单)。STB 103还具有与控制STB 103及其相关联的服务/特征有关的状态信息。在一些实施方式中,该状态信息包括:菜单状态747(即,当前显示的菜单)、开/关状态749(例如,STB是开还是关)、和STB配置751(例如,非限制性地,其配备的服务和特征和其可用的和/或活动的连接的类型,诸如,如下事实:示例STB 103支持WiFi命令、具有IR和RF命令接收器、是DLNA兼容的、具有包括一个HDMI 2.0输出的2个HDMI输出、并且具有分量视频和S-视频输出)。
如图7所示,并且与图1B一致,在一些实施方式中,客户端装置102是能够连接至通信网络104和TV 110、从机顶盒103接收音频信号和视频信号171a和773a、并且将命令777发布至机顶盒103的任何计算机装置。在一些实施方式中,客户端102经由连接131连接至机顶盒103,通过该连接131客户端102可以从机顶盒103接收视频信号171a和音频信号773a,该视频信号171a和音频信号773a与由机顶盒103经由连接135向电视110提供的视频信号171b和音频信号773b相同或者相当。这允许客户端102对由机顶盒103提供的文本覆盖119,连同与正在观看的节目(全部提供作为视频信号171的部分)相关联的视频和/或音频内容和/或元数据,进行分析并且执行光学字符识别(OCR)。在一些实施方式中,在机顶盒103与TV 110和/或客户端102之间的通信131和135大体上或者完全是单向的。即,虽然机顶盒103可能能够将信号提供给TV 110和客户端102,但TV 110和客户端102却不能通过经由连接131和135发送回机顶盒103的命令来控制机顶盒103。与图1B的描述一致,在一些实施方式中,客户端被配置为将命令777通过连接775发出至机顶盒103,该连接775可以是一种或者多种网络连接(诸如,WiFi或者BLUETOOTH网络连接、或者RF或者IR连接)。如参照图5所述,在一些实施方式中,客户端装置102能够接收从遥控装置112指向机顶盒103的红外(IR)传输。另外和/或可替代地,在一些实施方式中,客户端装置102能够与客户端装置120、机顶盒103、和TV110有线通信和/或无线通信。
在一些实施方式中,客户端装置102包括一个或者多个处理器121、非易失性存储器122(诸如,硬盘驱动器)、和本地数据库123。在一些实施方式中,存储器122包括应用指令122a和相关联的数据122b。在一些实施方式中,如上所述,本地数据库123和/或相关联的数据122b存储与本地频道编排有关的信息,包括通过上述操作发现的一个或者多个本地频道编排180-i。在一些实施方式中,本地数据库123和/或相关联的数据122b还存储与访问并且控制由STB 103提供的服务和特征有关的数据和命令。在一些实施方式中,用于控制STB103的操作(包括将命令发送至STB 103)由应用指令122a执行。在一些实施方式中,客户端装置102包括用于将RF或者RF命令777发送至机顶盒103、TV 110或者其它兼容装置的IR和/或RF增强器/发射机。在一些实施方式中,客户端装置包括用于接收由STB 103提供的音频信号773的麦克风,以便访问STB 103的当前状态和/或编程和/或特征集合。
进一步地,当显示视频时,或者响应于发送至机顶盒103的特定命令,机顶盒103可以提供各种文本覆盖119、751、753,该文本覆盖119、751、753包括与相关联的STB服务或者显示的内容类型有关的信息。例如,图7示出了示例文本覆盖119、751、753,该示例文本覆盖119、751、753分别与TV节目内容、与DVR 705相关联的特征和内容、和可从视频点播提供者703获得的点播节目相关联。机顶盒103还可以提供对其它服务和特征(诸如,通过机顶盒103控制的家庭安全系统707的服务/特征)的访问。经由机顶盒103提供的这些特征中的每一个具有其自身相关联的文本覆盖,以与在TV 110上呈现的屏幕内容755一起显示。这些覆盖和其它信息的目的是使用户能够与相关联的服务和特征交互。如参照图1至图6所述,覆盖信息可以由客户端装置102激励、接收、并且分析以便提供STB 103的交互、双向控制,即使STB本身并未被配置有使客户端装置102具有这种控制水平的连接。同样,如参照图1至图6所述,在一些实施方式中,覆盖信息可以由客户端装置102被动地接收(例如,当响应于至STB 103的用户命令而生成时)并且然后由客户端装置102分析以便标识STB的品牌和型号以及STB 103的当前状态。
在不同的实施方式中,与相应的STB特征和服务相关联的该一个或者多个覆盖通常与相关联的屏幕位置、边界框大小(例如,覆盖的大小,作为x和y像素尺寸或者覆盖所占用的屏幕百分比)、内容、内容样式和格式化、和图形一起呈现。图7所示的覆盖118、751、753的位置、边界框大小和内容仅仅是分别与TV内容、DVR特征、和VOD特征相关联的覆盖119、751和753的不同样式的示例。如针对图1B所述,文本覆盖119通常包括正在呈现媒体节目的频道以及媒体节目的标题。文本覆盖119通常还包括关于演员、人物和/或媒体节目的概要的信息。DVR覆盖751的内容是基于由通过机顶盒103提供的数字视频录像机705的特征提供的信息,包括:例如,响应于由客户端装置102发送的对应命令777而显示的录制的节目列表和录制安排表。VOD覆盖753的内容是基于由通过机顶盒103提供的VOD特征提供的信息,包括:例如,响应于由客户端装置102发送的对应命令777而显示的可用VOD节目列表。如上面提到的,基于STB的相关联的品牌、型号和特征集合,按照特点的方式呈现这些覆盖。因此,这些典型的显示特点可以由客户端装置102使用来标识STB的相关联的品牌、型号、和特征集合并且确定客户端装置102是否正在发送用于控制STB和/或由STB提供的特定服务和特征的正确命令序列。
图8A是在上文参照图1A讨论并且可作为补充机顶盒和/或电视集成装置运行的客户端装置102的示例实施方式的示意图。在一些实施方式中,客户端装置102包括针对图2A描述的所有功能或者功能的子集和参照图8A描述的所有特征或者特征的子集。虽然图示了某些特定特征,但是本领域的技术人员将从本公开理解,为了简洁起见,未图示各种其它特征,以免模糊本文公开的实施方式的更为显著的方面。为此,客户端装置102包括:一个或者多个处理单元(CPU)202,一种或者多种网络或者其它通信接口208、存储器206、TV调谐器232、视频I/O 230、和用于将这些部件和各种其它部件互相连接的一条或者多条通信总线204。通信总线204可选地包括电路系统(有时称作芯片集),该电路系统互相连接并且控制在系统部件之间的通信。客户端装置102还可以包括用户接口212,该用户接口212包括显示装置213和键盘和/或鼠标(或者其它定点装置)214和/或遥控装置等。存储器206包括高速随机存取存储器,诸如,DRAM、SRAM、DDR RAM、或者其它随机存取固态存储器装置;并且可以包括非易失性存储器,诸如,一个或者多个磁盘存储装置、光盘存储装置、闪存存储器装置、或者其它非易失性固态存储装置。存储器206可选地包括距CPU 202远程定位的一种或者多种存储装置。该存储器206,或者可替代地,在该存储器206内的非易失性存储器装置,包括非暂时性计算机可读存储介质。在一些实施方式中,存储器206或者存储器206的计算机可读存储介质存储以下程序、模块和数据结构、或者它们的子集,包括:操作系统216、网络通信模块218、OCR模块226、软件模块228、和数据220。
操作系统216包括用于处理各种基本系统服务并且用于执行硬件相关任务的过程。
网络通信模块218促进经由该一个或者多个通信网络接口204(有线或者无线)和一种或者多种通信网络(诸如,互联网、其它广域网、局域网、城域网等)与其它装置的通信。
在一些实施方式中,OCR模块226使客户端装置102能够处理屏幕截图(例如,来自TV 110的图像)以获得在与由主机顶盒103提供的服务和特征相关联的节目信息覆盖和信息中包括的节目信息。为此,OCR模块226包括OCR指令324和元数据325。如参照图2A所述,在一些实施方式中,OCR指令324包括执行OCR操作以从TV图像和内容识别节目信息的指令,并且该元数据325包括由该OCR模块采用来支持OCR操作的数据。例如,在一些实施方式中,元数据包括涉及与TV频道和节目相关联的字的常见组合的信息,诸如,频道名称、广播公司名称、和在节目标题中常用的字。在一些实施方式中,OCR指令324包括执行OCR操作以识别与由STB 103提供的其它服务和特征(诸如,DVR、VOD、和家庭安全服务)相关联的信息和图形特点,并且元数据325包括由OCR模块采用来支持OCR操作的数据。例如,在一些实施方式中,元数据包括涉及与由不同机顶盒品牌和型号针对不同特征集合生成的信息覆盖相关联的字和符号的常见组合的信息。
在一些实施方式中,软件模块228包括:显示/用户模块234、频道编排管理模块236、频道审查模块238、频道选择模块240、命令发送模块242,STB命令/响应模块814、UI显示比较模块、和STB控制模块。在一些实施方式中,显示/用户模块234显示由其它软件模块提供的信息。所显示的信息可以包括:由OCR模块226、频道编排管理模块236、频道审查模块238、和频道选择模块240的一些组合发现的频道编排180。在一些实施方式中,频道编排管理模块236将所发现的频道号映射至实际的无线频道(若适用)并且映射至有线频道名称(例如,通过使用频道映射信息282)。频道审查模块238使用户能够审查、纠正、并且移除频道信息。在一些实施方式中,频道选择模块240采用IR增强器125(图1B和图7)来将适合的频道调谐/选择和信息命令发送至STB(或者可替代地,TV 110)。在一些实施方式中,与IR增强器或者其它命令接口交互以便将命令发送至TV 110或者STB 103的本文描述的频道选择模块240和其它模块或者操作经由命令发送模块242来这样做。因此,通过使用所识别的频道编排信息,用户能够经由客户端装置102(其仅拥有与STB的单向连接,并且事先不知道适用的频道编排)控制TV 110,就如同客户端装置102拥有与STB 103的双向连接并且事先知道频道编排一样。类似地,用户能够控制并且与由STB 103经由客户端装置102提供的服务和特征(诸如,DVR和VOD服务)交互,就如同客户端装置102拥有与STB 103的双向连接一样。
与标识并且控制STB的其它特征有关,STB命令和响应模块814包括指令,该指令用于将命令发送至STB 103来对可以用于控制特定STB服务和特征(例如,DVR和VOD服务)的命令序列进行标识并且基于由STB提供的对应音频和/或视频信号171a和773a的审查和分析(若需要,由其它软件模块支持)来标识对这些命令的响应(若存在)(本文统称为和/或单独地称为显示响应数据、响应数据、或者显示响应)。在一些实施方式中,STB命令和响应模块814还管理本文描述的反复试验过程,该反复试验过程包括:将试验命令序列834发送至STB103以便标识针对机顶盒103的特定品牌和型号的正确命令序列836,并且本地保存该正确命令序列836以重复使用(例如,以允许用户经由客户端装置102控制相关联的服务和特征)。在一些实施方式中,UI显示比较模块816执行与由OCR 426执行的操作类似的操作,以分析响应数据并且将该数据与已知/期望的响应数据(例如,期望的显示响应832)进行比较,该已知/期望的响应数据是响应于特定命令和命令序列针对一系列服务和特征通过一系列不同的机顶盒品牌和型号生成的。STB控制模块又被配置为:通过提供对用于控制那些不同服务和特征的正确命令序列836的访问,来允许用户访问由STB103提供的服务和特征,就如同用户正在经由通过STB 103直接提供的接口访问服务和特征一样。
数据220包括:上述的OCR数据161(还扩展为由参照图8A至8C描述的软件模块并且由参照图9A至9B描述的方法使用)、以及如上所述的包括期望的显示响应832、试验命令序列834、和正确命令序列836的命令响应数据。数据220还包括本地数据库信息123,该本地数据库信息123包括但不限于:与频道编排280(参照图2A所描述的)、频道映射信息282、STB状态284、STB配置286、DVR数据2880、和VOD数据290有关的数据。参照图8B对这些本地数据库项280至290进行了更加详细的描述。
图8B是示出了包括OCR数据161、命令/响应数据820、和本地数据库数据123的数据220的附加细节的示意图。该本地数据库数据123进一步包括关于频道编排280、STB状态284、STB配置286、DVR数据288、和VOD数据290的数据。参照图8C,在上文对OCR数据161进行了描述,并且在下文将对命令/响应数据进行描述。类似地,在上文参照图1至图6对频道编排数据280进行了描述,该频道编排数据280包括:出于该讨论之目的,有线或者卫星服务提供者的身份840。频道编排280、STB状态284、STB配置286、DVR数据288、和VOD数据290包括与STB 103的客户端装置102相关并且支持由STB 103的客户端装置102进行的控制的信息。已经参照图7关于STB103的特征对该信息的大部分进行了描述。在一些实施方式中,STB状态280-3包括STB 103的菜单状态844,该菜单状态844包括但不限于当前活动的STB菜单的标识和由STB 103支持的菜单结构的表示。STB状态284还包括表示STB 103的当前开/关状态的开/关数据项846。STB配置286包括与STB 103的硬件和软件配置有关的信息,诸如,用户是否偏好高清晰度(HD)内容848、和用户更偏好至STB 103的哪一个输入850。当STB 103通电时,客户端装置102可以使用该信息来设置STB 103的配置,或者,相反地,当STB 103通电时,客户端装置102可以使用该信息来标识STB 103的默认配置。由客户端装置102保存的实际STB配置和STB状态信息286和284可以包括本文描述的数据项更多或者不同的数据项;实际上,意图是,本文描述的这些数据项和其它数据项220可按需要在相应的实施方式中配置为保存并且提供信息(例如,STB状态和配置数据),该信息支持客户端装置102对STB 103的控制和/或用户为此目的而对客户端装置102的使用。在一些实施方式中,DVR数据288包括:与可用于从DVR 705回放的录制节目852有关的信息、和针对DVR 705的一个或者多个录制安排表854。在一些实施方式中,VOD数据290包括与由用户请求的一个或者多个视频点播节目862有关的信息。通过存储这种信息(存储在云中或者本地存储),客户端装置102能够在最小涉及STB的情况下支持用户与STB 103的交互(例如,客户端装置102可以在不需要从STB 103访问这种节目列表的情况下,向用户提供对录制的DVR节目的访问)。
图8C是示出了图8B的命令/响应数据820的附加细节的示意图。该图示出了针对预期的显示响应832、试验命令序列834、和正确命令序列的集合在一种实施方式中由客户端装置102存储的示例数据。试验命令序列834包括针对特定STB装置类型830-i的命令序列的集合,其中,装置类型通常是STB品牌和型号的组合。对于每种STB装置类型830-i,试验命令序列包括用于访问和控制特定特征类型的一种或者多种命令的命令序列的说明。例如,图7包括针对三种示例装置类型(有线盒1、2、和3)的试验命令序列信息,其中,为若干特征提供序列信息。例如,对于有线盒1,所保存的命令序列830-1包括针对至少三种特征(特征类型1、2、和3)的序列,每个序列具有不同的相关联的命令。例如,针对特征类型1的命令序列832-1包括用于检查适合有线盒1的品牌和型号的STB开/关状态的一个命令Cmd 1.1 836-1。针对有线盒1装置类型存储的其它命令序列836-2和836-3包括用于检查STB提供者(特征类型832-2)的命令的序列836-2和用于回放DVR记录(特征类型832-3)的命令的序列836-3。
如上文和下文进一步参照图9A至图9B所述,在一些实施方式中,客户端装置102通过将试验命令序列发布至STB 103,并且然后,将来自STB 103响应的产生的显示与期望响应832的数据库进行比较,以观察在产生的显示响应与期望的显示响应之间是否存在匹配,来标识正确的命令序列。针对期望的显示响应存储的数据表示文本覆盖的视频和音频(若适用)特点、以及响应于特定命令(例如,试验命令序列836的其中一个)而由特定类型的STB103提供的其它信息。因此,在一些实施方式中,对于特定装置类型850-i和特征类型852,期望的显示响应834包括相关联的显示响应特点,诸如,响应于相关联的命令序列836而生成的边界框大小坐标852和相关联的信息内容856。在一些实施方式中,内容856表示预定义内容和实时内容的组合,诸如,响应于INFO命令而显示的实际频道号和标识符(特征集合)、和任何相关联的图形(与针对特定命令序列的显示响应相关联)。在一些实施方式中,边界框坐标信息854与覆盖信息(诸如图7所示的覆盖信息)对应。例如,对于覆盖119、751和753,对应边界框坐标854将相应地表示位置1、位置2和位置3。
客户端装置存储通过本文描述的反复试验过程标识的或者基于所确定的STB 103类型和特征集合的标识而从服务器下载的正确命令序列836。针对正确命令序列836存储的信息与针对试验命令序列834存储的信息相当。例如,图7示出了已经将针对装置类型2870-2的信息保存为正确命令序列。在一些实施方式中,该信息将与针对装置类型2830-2的试验命令数据对应。注意,在一些实施方式中,将期望的显示响应832和试验命令序列834存储在云中(例如,存储在由销售客户端装置或者相关联的软件模块的公司提供的服务器处)。还可以将正确命令序列836存储在云中,但是将正确序列本地存储在客户端装置处通常会有帮助(例如,在所有环境下都能以低延时使用命令序列)。现在参照图9A和图9B对采用本文描述的数据和模块允许客户端装置102控制机顶盒的方法进行描述。
图9A和9B是基于由来自主机顶盒的单向连接提供的显示信息来控制主机顶盒的方法的相应实施方式的流程图表示。
参照图9A,在一些实施方式中,方法900在第一电子装置处实施。
该方法包括:经由与第一输出连接不同的无线连接将第一命令序列发送至第二电子装置(902)。不清楚该第一命令序列是正确的(904)。
该方法进一步包括,响应于发送(906),捕获由第二电子装置经由第一输出连接提供的显示数据(908);并且分析该显示数据以确定第一命令序列是否由第二电子装置正确地执行(910)。
当第一命令序列未正确地执行时,经由无线连接将第二命令序列发送至第二电子装置(906)。在一些实施方式中,不清楚第二命令序列是正确的。
在一些实施方式中,该方法可选地包括:分析该显示数据以确定第二命令序列是否由第二电子装置正确地执行(914);并且当第二命令序列正确地执行时,更新第一数据库以将第二命令序列标识为用于第二电子装置的正确命令序列(906)。
在一些实施方式中,第二装置的第一输出连接是从第二电子装置至第一电子装置的单向连接。
在一些实施方式中,第一输出连接提供与由第二电子装置提供的特征对应的视频数据和音频数据。
在一些实施方式中,第二电子装置经由第一输出连接提供不可以由第一电子装置控制的多个特征,该一种或者多种程序进一步包括指令,该指令用于:当第一命令序列和第二命令序列旨在控制由第二电子装置提供的第一特征时,基于第一电子装置的装置类型和该第一特征的特征类型来从命令序列的数据库选择第一命令序列和第二命令序列。
在一些实施方式中,第二电子装置是机顶盒,并且多个特征包括:视频点播服务、数字视频录像机服务、EPG服务、和机顶盒服务。
在一些实施方式中,视频点播服务包括:选择视频点播选择进行查看。
在一些实施方式中,数字视频录像机服务包括以下中的一种或者多种:(a)安排经由机顶盒提供的内容项的录制,(b)选择先前录制的内容项进行查看,(c)检索编程录制的列表以确定用户偏好,(d)修改录制的安排,以及(e)删除内容项的录制。
在一些实施方式中,机顶盒服务包括以下中的一种或者多种:(a)检查机顶盒的开/关状态,(b)检查机顶盒的菜单状态,(c)检查与机顶盒相关联的提供者,以及(d)设置或者确定机顶盒的配置。
在一些实施方式中,该方法可选地包括:在显示器上显示用户界面,该显示器提供可选择的用户选项以便与由第二电子装置提供的多种特征交互;响应于与第一特征相关联的选项的用户选择,从第一数据库选择第二命令序列;并且将第二命令序列发布至第二电子装置。
在一些实施方式中,分析显示数据以确定第一命令序列是否由第二电子装置正确地执行包括:基于第二电子装置的装置类型和旨在由第一命令序列控制的第一特征的特征类型:访问预期显示响应的数据库,其中,预期显示响应的数据库指示以下中的两种或者多种:由第二电子装置针对相应的特征类型提供的显示信息的(a)位置、(b)边界框位置、和(c)内容;从预期显示响应的数据库确定与第一特征相关联的第一预期显示响应;将捕获到的显示数据与该第一预期显示响应进行比较;并且基于该比较的结果来确定第一命令序列是否由第二电子装置正确地执行。
在一些实施例中,该方法可选地包括:响应于发送,捕获由第二电子装置经由第一输出连接提供的音频数据;并且结合显示数据分析该音频数据以确定第一命令序列是否由第二电子装置正确地执行。
在一些实施例中,该方法可选地包括:当第二电子装置的特定装置类型未知时:分析显示数据以确定第二命令序列是否由第二电子装置正确地执行;并且当第二命令序列由第二电子装置正确地执行时;更新第三数据库以指示第二电子装置是特定装置类型。
在一些实施方式中,分析显示数据至少部分地在第一电子装置所通信的服务器处执行。
参照图9B,在一些实施方式中,基于由来自主机顶盒的单向连接提供的显示信息来控制主机顶盒的方法950在第一电子装置处实施。
在一些实施方式中,第一电子装置包括一个或者多个处理器和存储器并且耦接至显示器和第二电子装置的第一输出连接。
在一些实施方式中,方法950包括:经由与第一输出连接不同的无线连接将第一命令序列发送至第二电子装置(952)。选择该第一命令序列来确定第二电子装置的第一状态(954)。该方法进一步包括:响应于发送(956),捕获由第二电子装置经由第一输出连接提供的显示数据(958);分析该显示数据以确定第二电子装置的该第一状态(960);并且基于第二电子装置的第一状态和装置类型,将第二命令序列发送至第二电子装置以便控制由第二电子装置提供的特征(962)。
在一些实施方式中,第二电子装置是机顶盒,并且多个特征包括:视频点播服务、数字视频录像机服务、机顶盒服务、和EPG服务。
在一些实施方式中,视频点播服务包括:选择视频点播选择进行查看。
在一些实施方式中,数字视频录像机服务包括以下中的一种或者多种:(a)安排经由机顶盒提供的内容项的录制;以及(b)选择查看先前录制的内容项。
在一些实施方式中,机顶盒服务包括以下中的一种或者多种:(a)检查机顶盒的开/关状态,(b)检查机顶盒的菜单状态,(c)检查与机顶盒相关联的提供者,以及(c)设置机顶盒的配置。
将理解,虽然本文可以使用术语“第一”、“第二”等对各种元素进行描述,但是这些元件不应受到这些术语的限制。这些术语仅仅用于区分各个元素。例如,只要出现的所有“第一电子装置”在重命名时保持一致并且出现的所有“第二电子装置”在重命名时保持一致,第一电子装置可以被称为第二电子装置,并且类似地,第二接触可以被称为第一电子装置,这样改变了描述的意义。第一电子装置和第二电子装置都是电子装置,但是它们是不同的电子装置。
本文中使用的术语仅用于描述特定的实施方式并且不旨在对权利要求书构成限制。除非在上下文明确表明,否则在实施方式的描述和随附权利要求书中使用的单数形式“一”、“一个”、和“该”还旨在包括复数形式。将理解,本文所使用的术语“和/或”是指并且包括一个或者多个相关联的列出项的任何和所有可能的组合。将进一步理解,术语“包括”和/或“包含”,当用在本说明书中时,是指规定特征、整数、步骤、操作、元件和/或部件的存在,但是不排除一个或者多个其它特征、整数、步骤、操作、元件、部件、和/或它们的分组的存在或者添加。
如本文使用的,术语“如果”可以被解释为意思是“当…时”或者“在…后”或者“响应于确定”或者“根据确定”或者“响应于检测”所陈述的条件前提为真,取决于上下文。类似地,短语“如果确定[所陈述的条件前提为真]”或者“如果[所陈述的条件前提为真]”或者“当[所陈述的条件前提为真]”可以被解释为意思是“在确定…后”或者“响应于确定”或者“依照确定”或者“在检测…后”或者“响应于检测”所陈述的条件前提为真,取决于上下文。
出于解释的目的,已经参照特定实施方式对上面的说明进行了描述。然而,上述说明性的讨论不旨在是详尽性的或者将本发明限制为所公开的精确形式。鉴于上文的教导,许多修改和变型都是可能的。选择并且描述实施方式是为了更好地解释本发明的原理和其实际应用,从而使本领域的技术人员能够最佳地利用本发明和具有各种修改的各种实施方式,以适应于所预期的特定使用。

Claims (23)

1.一种控制电子装置的计算机实现的方法,包括:
在耦接至显示器和第二电子装置的第一输出连接的第一电子装置处,所述第一电子装置包括一个或者多个处理器和存储器:
经由与所述第一输出连接不同的无线连接将第一命令序列发送至所述第二电子装置,其中不清楚所述第一命令序列是正确的;
响应于所述发送,
捕获由所述第二电子装置经由所述第一输出连接提供的显示数据;
分析所述显示数据以确定所述第一命令序列是否由所述第二电子装置正确地执行;以及
当所述第一命令序列未被正确地执行时,经由所述无线连接将第二命令序列发送至所述第二电子装置,其中不清楚所述第二命令序列是正确的。
2.根据权利要求1所述的计算机实现的方法,进一步包括:
分析所述显示数据以确定所述第二命令序列是否由所述第二电子装置正确地执行;以及
当所述第二命令序列被正确地执行时,更新第一数据库以将所述第二命令序列标识为用于所述第二电子装置的正确命令序列。
3.根据权利要求1所述的计算机实现的方法,其中,所述第二装置的所述第一输出连接是从所述第二电子装置至所述第一电子装置的单向连接。
4.根据权利要求1所述的计算机实现的方法,其中,所述第一输出连接提供与由所述第二电子装置提供的特征对应的视频数据和音频数据。
5.根据权利要求1所述的计算机实现的方法,其中,所述第二电子装置经由所述第一输出连接提供不能够由所述第一电子装置控制的多个特征,所述方法进一步包括:
当所述第一命令序列和第二命令序列旨在控制由所述第二电子装置提供的第一特征时,基于所述第一电子装置的装置类型和所述第一特征的特征类型来从命令序列的数据库选择所述第一命令序列和所述第二命令序列。
6.根据权利要求5所述的计算机实现的方法,其中,所述第二电子装置是机顶盒并且所述多个特征包括:视频点播服务、数字视频录像机服务、EPG服务、和机顶盒服务。
7.根据权利要求6所述的计算机实现的方法,其中,所述视频点播服务包括:选择视频点播选择进行查看。
8.根据权利要求6所述的计算机实现的方法,其中,所述数字视频录像机服务包括以下中的一个或者多个:
(a)安排经由所述机顶盒提供的内容项的录制,
(b)选择查看先前录制的内容项,
(c)检索编程的录制的列表以确定用户偏好,
(d)修改录制的安排,以及
(e)删除内容项的录制。
9.根据权利要求6所述的计算机实现的方法,其中,所述机顶盒服务包括以下中的一个或者多个:
(a)检查所述机顶盒的开/关状态,
(b)检查所述机顶盒的菜单状态,
(c)检查与所述机顶盒相关联的提供者,以及
(d)设置或者确定所述机顶盒的配置。
10.根据权利要求2所述的计算机实现的方法,进一步包括:
在所述显示器上显示用户界面,所述用户界面提供可选择的用户选项以便与由所述第二电子装置提供的多个特征交互;
响应于对与所述第一特征相关联的选项的用户选择,从所述第一数据库选择所述第二命令序列;以及
将所述第二命令序列发出至所述第二电子装置。
11.根据权利要求1至5中的任一项所述的计算机实现的方法,其中,分析所述显示数据以确定所述第一命令序列是否由所述第二电子装置正确地执行包括:
基于所述第二电子装置的装置类型和旨在由所述第一命令序列控制的第一特征的特征类型:
访问预期显示响应的数据库,其中,所述预期显示响应的数据库指示以下中的两个或者更多个:由所述第二电子装置针对相应的特征类型提供的显示信息的(a)位置、(b)边界框位置、和(c)内容;
从所述预期显示响应的数据库确定与所述第一特征相关联的第一预期显示响应;
将捕获到的显示数据与所述第一预期显示响应进行比较;以及
基于所述比较的结果来确定所述第一命令序列是否由所述第二电子装置正确地执行。
12.根据权利要求1至5中的任一项所述的计算机实现的方法,进一步包括:
响应于所述发送,捕获由所述第二电子装置经由所述第一输出连接提供的音频数据;以及
结合所述显示数据分析所述音频数据以确定所述第一命令序列是否由所述第二电子装置正确地执行。
13.根据权利要求1至5中的任一项所述的计算机实现的方法,进一步包括:
当所述第二电子装置的特定装置类型未知时:
分析所述显示数据以确定所述第二命令序列是否由所述第二电子装置正确地执行;以及
当所述第二命令序列由所述第二电子装置正确地执行时,更新第三数据库以指示所述第二电子装置是所述特定装置类型。
14.根据权利要求1至5中的任一项所述的计算机实现的方法,其中,分析所述显示数据至少部分地在所述第一电子装置所通信的服务器处执行。
15.一种控制电子装置的计算机实现的方法,包括:
在耦接至显示器和第二电子装置的第一输出连接的第一电子装置处,所述第一电子装置包括一个或者多个处理器和存储器:
经由与所述第一输出连接不同的无线连接将第一命令序列发送至所述第二电子装置,其中,所述第一命令序列被选择来确定所述第二电子装置的第一状态;
响应于所述发送,捕获由所述第二电子装置经由所述第一输出连接提供的显示数据;
分析所述显示数据以确定所述第二电子装置的所述第一状态;以及
基于所述第一状态和所述第二电子装置的装置类型,将第二命令序列发送至所述第二电子装置以便控制由所述第二电子装置提供的特征。
16.根据权利要求15所述的计算机实现的方法,其中,所述第二电子装置是机顶盒并且所述多个特征包括:视频点播服务、数字视频录像机服务、EPG服务、和机顶盒服务。
17.根据权利要求16所述的计算机实现的方法,其中,所述视频点播服务包括:选择视频点播选择进行查看。
18.根据权利要求16所述的计算机实现的方法,其中,所述数字视频录像机服务包括以下中的一个或者多个:(a)安排经由所述机顶盒提供的内容项的录制,以及(b)选择查看先前录制的内容项。
19.根据权利要求16所述的计算机实现的方法,其中,所述机顶盒服务包括以下中的一个或者多个:(a)检查所述机顶盒的开启/关闭状态,(b)检查所述机顶盒的菜单状态,(c)检查与所述机顶盒相关联的提供者,以及(c)设置所述机顶盒的配置。
20.一种用于控制电子装置的系统,包括:
耦接至显示器和第二电子装置的第一输出连接的第一电子装置,所述第一电子装置包括以可执行指令编程的一个或者多个处理器和存储器以使所述第一电子装置执行权利要求1至14中的任一项所述的方法。
21.一种用于控制电子装置的系统,包括:
耦接至显示器和第二电子装置的第一输出连接的第一电子装置,所述第一电子装置包括以可执行指令编程的一个或者多个处理器和存储器以使所述第一电子装置执行权利要求15至19中的任一项所述的方法。
22.一种非暂时性计算机可读存储介质,所述非暂时性计算机可读存储介质存储至少一个程序,所述至少一个程序被配置为由耦接至显示器和第二电子装置的第一输出连接的第一电子装置的至少一个处理器执行,所述至少一个程序包括用于执行权利要求1至14中的任一项所述的方法的指令。
23.一种非暂时性计算机可读存储介质,所述非暂时性计算机可读存储介质存储至少一个程序,所述至少一个程序被配置为由耦接至显示器和第二电子装置的第一输出连接的第一电子装置的至少一个处理器执行,所述至少一个程序包括用于执行权利要求15至19中的任一项所述的方法的指令。
CN201580019008.5A 2014-02-28 2015-02-27 使用光学字符识别对机顶盒进行双向控制 Active CN106165436B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910521244.7A CN110234027B (zh) 2014-02-28 2015-02-27 使用光学字符识别对机顶盒进行双向控制
CN201910521231.XA CN110234026B (zh) 2014-02-28 2015-02-27 使用光学字符识别对机顶盒进行双向控制

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/194,551 US9866899B2 (en) 2012-09-19 2014-02-28 Two way control of a set top box
US14/194,551 2014-02-28
PCT/US2015/017999 WO2015131043A1 (en) 2014-02-28 2015-02-27 Two way control of a set top box using optical character recognition

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN201910521231.XA Division CN110234026B (zh) 2014-02-28 2015-02-27 使用光学字符识别对机顶盒进行双向控制
CN201910521244.7A Division CN110234027B (zh) 2014-02-28 2015-02-27 使用光学字符识别对机顶盒进行双向控制

Publications (2)

Publication Number Publication Date
CN106165436A true CN106165436A (zh) 2016-11-23
CN106165436B CN106165436B (zh) 2019-07-12

Family

ID=52686492

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201910521244.7A Active CN110234027B (zh) 2014-02-28 2015-02-27 使用光学字符识别对机顶盒进行双向控制
CN201910521231.XA Active CN110234026B (zh) 2014-02-28 2015-02-27 使用光学字符识别对机顶盒进行双向控制
CN201580019008.5A Active CN106165436B (zh) 2014-02-28 2015-02-27 使用光学字符识别对机顶盒进行双向控制

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201910521244.7A Active CN110234027B (zh) 2014-02-28 2015-02-27 使用光学字符识别对机顶盒进行双向控制
CN201910521231.XA Active CN110234026B (zh) 2014-02-28 2015-02-27 使用光学字符识别对机顶盒进行双向控制

Country Status (3)

Country Link
EP (2) EP3111658B1 (zh)
CN (3) CN110234027B (zh)
WO (1) WO2015131043A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108574786A (zh) * 2017-03-08 2018-09-25 柯尼卡美能达株式会社 图像处理装置、设定值设定方法以及记录有设定值设定程序的计算机可读取的记录介质
CN111989647A (zh) * 2018-05-22 2020-11-24 谷歌有限责任公司 使用图形界面分析导入媒体库

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3150048A1 (en) 2019-08-05 2021-02-11 Hoppr Ltd A method and system for providing content to a media playing device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101072334A (zh) * 2006-05-09 2007-11-14 中国科学院研究生院 有扰、无扰传输流实时认证装置及带有该装置的电视设备
US20080098433A1 (en) * 2006-10-23 2008-04-24 Hardacker Robert L User managed internet links from TV
CN101720012A (zh) * 2009-11-19 2010-06-02 北京数码视讯科技股份有限公司 用于数字电视条件接收系统的子母卡及其实现方法
US20110311095A1 (en) * 2010-06-18 2011-12-22 Verizon Patent And Licensing, Inc. Content fingerprinting

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020050490A (ko) * 2000-12-21 2002-06-27 구자홍 통합 리모콘 정보 제공 시스템 및 그 운용방법
US6903767B2 (en) * 2001-04-05 2005-06-07 Hewlett-Packard Development Company, L.P. Method and apparatus for initiating data capture in a digital camera by text recognition
US7664317B1 (en) * 2006-03-23 2010-02-16 Verizon Patent And Licensing Inc. Video analysis
US7689613B2 (en) * 2006-10-23 2010-03-30 Sony Corporation OCR input to search engine
US7814524B2 (en) * 2007-02-14 2010-10-12 Sony Corporation Capture of configuration and service provider data via OCR
US8077263B2 (en) * 2006-10-23 2011-12-13 Sony Corporation Decoding multiple remote control code sets
US8438589B2 (en) * 2007-03-28 2013-05-07 Sony Corporation Obtaining metadata program information during channel changes
CN101388142B (zh) * 2007-09-14 2011-01-19 深圳创维数字技术股份有限公司 一种遥控器指令的识别方法、识别装置及家用电器
US8638363B2 (en) * 2009-02-18 2014-01-28 Google Inc. Automatically capturing information, such as capturing information using a document-aware device
CN101309353A (zh) * 2008-06-27 2008-11-19 中国网络通信集团公司 机顶盒
US8321885B2 (en) * 2008-07-29 2012-11-27 Pino Jr Angelo J In-home system monitoring method and system
KR20120063886A (ko) * 2010-12-08 2012-06-18 삼성전자주식회사 영상처리장치, 사용자 단말장치 및 그 영상처리방법, 제어방법
CN104219548B (zh) * 2014-09-12 2018-06-05 四川长虹电器股份有限公司 控制智能机顶盒切换频道的方法和切换频道系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101072334A (zh) * 2006-05-09 2007-11-14 中国科学院研究生院 有扰、无扰传输流实时认证装置及带有该装置的电视设备
US20080098433A1 (en) * 2006-10-23 2008-04-24 Hardacker Robert L User managed internet links from TV
CN101720012A (zh) * 2009-11-19 2010-06-02 北京数码视讯科技股份有限公司 用于数字电视条件接收系统的子母卡及其实现方法
US20110311095A1 (en) * 2010-06-18 2011-12-22 Verizon Patent And Licensing, Inc. Content fingerprinting

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108574786A (zh) * 2017-03-08 2018-09-25 柯尼卡美能达株式会社 图像处理装置、设定值设定方法以及记录有设定值设定程序的计算机可读取的记录介质
US10404870B2 (en) 2017-03-08 2019-09-03 Konica Minolta, Inc. Image processing apparatus, setting-value setting method and computer-readable recording medium recording setting-value setting program
CN111989647A (zh) * 2018-05-22 2020-11-24 谷歌有限责任公司 使用图形界面分析导入媒体库
US11928162B2 (en) 2018-05-22 2024-03-12 Google Llc Importing media libraries using graphical interface analysis

Also Published As

Publication number Publication date
CN110234026A (zh) 2019-09-13
CN110234027B (zh) 2021-08-06
CN110234026B (zh) 2022-08-16
EP3111658A1 (en) 2017-01-04
EP3111658B1 (en) 2022-06-01
CN110234027A (zh) 2019-09-13
CN106165436B (zh) 2019-07-12
WO2015131043A1 (en) 2015-09-03
EP4102845A1 (en) 2022-12-14

Similar Documents

Publication Publication Date Title
US11119579B2 (en) On screen header bar for providing program information
US11509855B2 (en) Optically readable codes in a content delivery system
US11006175B2 (en) Systems and methods for operating a set top box
CN111464844A (zh) 一种投屏显示方法及显示设备
US20110138300A1 (en) Method and apparatus for sharing comments regarding content
CN107087224A (zh) 内容同步设备和方法
KR20120099064A (ko) 멀티스크린 대화형 스크린 아키텍쳐
WO2016119504A1 (zh) 一种媒体节目分享的方法及装置
CN106165436B (zh) 使用光学字符识别对机顶盒进行双向控制
US20130205334A1 (en) Method and apparatus for providing supplementary information about content in broadcasting system
KR20140123523A (ko) 인터넷 액세스에 의해 또는 인터넷 액세스 없이 디지털 tv 수신기로 전송되는 컨텐츠를 복수의 포터블 장치로 동기화하기 위한 시스템
CN109076265A (zh) 提供爬取功能的显示装置及其操作方法
KR100787787B1 (ko) 채널메뉴 ui 제공 시스템 및 그 방법
US10592950B2 (en) Systems and methods for on-line purchase of items displayed within video content
KR101805618B1 (ko) 컨텐트에 대한 코멘트 공유 방법 및 그 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant