CN103828348A

CN103828348A - 使用多媒体搜索来识别观众在电视上观看什么

Info

Publication number: CN103828348A
Application number: CN201180073817.6A
Authority: CN
Inventors: W.李
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2011-09-12
Filing date: 2011-09-12
Publication date: 2014-05-28
Also published as: KR101615930B1; JP2014531798A; WO2013037079A1; US20130276013A1; EP2756666A4; EP2756666A1; KR20140054362A

Abstract

可以通过从电视传送提取至少一个解码帧而识别当前正观看的电视节目。帧可以传送到独立移动装置用于请求图像搜索并且用于接收搜索结果。搜索结果可以用于识别节目，并且可以将节目识别通知用户的社交联网好友。

Description

使用多媒体搜索来识别观众在电视上观看什么

技术领域

这大体上涉及电视，其包括广播和流播电视。

背景技术

电视可通过使用模拟或数字信号的射频传送来广播电视节目而被分发。另外，电视节目可在电缆和卫星系统上分发。最后，电视可使用流播而在互联网上分发。如本文使用的，术语“电视传送”包括电视分发的这些模态中的全部。如本文使用的，“电视”意指节目内容的分发（具有或没有广告）并且包括常规的电视节目以及视频游戏的分发两者。

已知系统用于确定用户正观看什么节目。例如，IntoNow服务将来自正观看的电视节目的音频信号记录在手机上、分析那些信号并且使用该信息来确定观众正观看什么节目。音频分析的一个问题是它经受来自周围噪声的下降。当然，观看环境中的周围噪声是常见的，并且从而基于音频的系统经受大量限制。

附图说明

图1是本发明的一个实施例的高级架构描绘；

图2是根据本发明的一个实施例的机顶盒的框图；

图3是根据本发明的一个实施例的移动抓取器的流程图；

图4是根据本发明的一个实施例的多媒体抓取器的流程图；

图5是根据本发明的一个实施例用于进行图像搜索的基于云的系统的流程图；以及

图6是根据一个实施例用于维护表的序列的流程图。

具体实施方式

根据一些实施例，多媒体片段（例如视频帧或剪辑、元数据或音频的有限持续时间电子表示）可从当前一个或多个观众正观看的主动调谐的电视频道抓取。在一个实施例中，该多媒体片段然后可传送到移动装置。该移动装置然后可传送信息给服务器用于搜索。例如，图像搜索可最终用于确定正观看什么节目。一旦节目被识别，则对观众提供多种其他服务，这是可能的。这些服务可以包括额外内容的提供，包括额外聚焦的广告内容、社交联网服务和节目观看推荐。

参考图1，电视屏幕20可耦合于基于处理器的装置14、进而耦合于电视传送12。该传送可在互联网或在电视广播上分发，包括模拟或数字信号的射频广播、电缆分发或卫星分发。基于处理器的系统14可以是与电视接收器分离的独立装置或可集成在电视接收器内。它例如可包括常规机顶盒的部件并且在一些实施例中可负责对接收的电视传送解码。

在一个实施例中，基于处理器的系统14包括多媒体抓取器16，其从接收器（其在一个实施例中可以是系统14的部分）当前调到的解码电视传送抓取视频帧或剪辑（即，一系列帧）、元数据或声音。基于处理器的系统14还可包括有线或无线接口18，其允许将已经抓取的多媒体传送到外部控制装置24。该传送可通过有线连接，例如在电视接收器和机顶盒中广泛可用的通用串行数据总线（USB）连接，或通过任何可用的无线传送介质22，其包括使用射频信号的介质和使用光信号的介质。

在其他实施例中，可抓取未解码的内容并且在控制装置24中对其解码。作为另一个选项，解码可在服务器30中实行。

控制装置24可以是移动装置，仅举几个示例，其包括蜂窝电话、膝上型计算机、平板计算机、移动互联网装置或电视接收器的远程控制。装置24还可以是非移动的，例如台式计算机或娱乐系统。在一个实施例中，装置24和系统14可以是无线家庭网络的部分。大体上，装置24具有它自己的独立显示器使得它可以独立于电视显示屏幕来显示信息。在其中装置24不包括它自己的显示器的实施例中，显示器可覆盖在电视显示器上，例如通过画中画显示器。

在一个实施例中，控制装置24可与云28通信。在其中装置24是例如蜂窝电话的情况下，它可通过蜂窝电话信号26而与云通信，并且最终通过互联网来输送。在其他情况下，装置24可通过通向互联网的例如网络连接等硬接线连接而通信。作为再另一个示例，装置24可通过相同的传输介质来传达传输的电视传送。例如，在电缆系统的情况下，装置24可通过电缆系统向电缆头终端或服务器11提供信号。当然，在一些实施例中，这可消耗可用传送带宽中的一些。从而，在一些实施例中，装置24可不是移动装置并且可甚至是基于处理器的系统14的一部分。

参考图2，描绘基于处理器的系统14的一个实施例，但也可使用许多其他架构。在图2中描绘的架构对应于CE4100平台（从Intel公司可获得）。它包括耦合于系统互连25的中央处理单元24。该系统互连耦合于NAND控制器26、多格式硬件解码器28、显示处理器30、图形处理器32和视频显示控制器34。在一个实施例中，解码器28和处理器30和32可耦合于控制器22。

系统互连可耦合于传输处理器36、安全处理器38和双音频数字信号处理器（DSP）40。数字信号处理器40可负责对进入的视频传送解码。通用输入/输出（I/O）模块42可例如耦合于无线适配器，例如WiFi适配器18a。在一些实施例中，这将允许它向无线控制装置24发送信号。音频和视频输入/输出装置也耦合于系统互连25。在一些实施例中，这可提供解码视频输出并且可用于输出视频帧或剪辑。

在一些实施例中，可对基于处理器的系统14编程以在满足特定标准时输出多媒体片段。一个这样的标准是时间间隔的推移。在这样的情况下，以规则的时间间隔输出视频剪辑或帧。另一个选项是基于处理器的系统14检查进入视频传送中的各种活动来触发多媒体片段抓取。仅举几个示例，活动或事件的示例包括广告、广告结束、节目改变、调谐选择、场景改变、音频水平改变或电视激活。

图3示出控制装置24的实施例的序列。该序列可在软件、硬件和/或固件中实现。在基于软件或固件的实施例中，序列可由存储在非暂时性计算机可读介质（例如光、磁或半导体存储装置）中的计算机可执行指令来实现。例如，软件或固件序列可存储在控制装置24上的存储50中。

尽管描绘其中控制装置24是移动装置的实施例，也预想非移动实施例。例如，控制装置24可集成在系统14内。

初始，在菱形52处的检查确定抓取器16是否已经被激活，如在菱形52中指示的。在一些实施例中，抓取器16并不总是活跃的，使得用户可以在相对置信度维护正观看的电视节目。例如，用户可激活用户手机上的应用来发起抓取活动，并且在这样的情况下，在菱形52处检测到抓取器激活。

然后，在框54处，信号可从控制装置24发送到基于处理器的系统14来发起由多媒体抓取器16进行的多媒体抓取。当控制装置24从抓取器16接收多媒体片段（如在菱形56处检测到的）时，在一些实施例中，控制装置24可将多媒体片段发送到云28用于图像分析。当然，在其他实施例中，它可以通过网络来将多媒体片段发送给任何服务器。作为另一个示例，它还可以将多媒体片段发送到头终端11用于图像、文本或音频分析。

如果携带音频的数字信号被捕获并且传送到装置24，携带音频信息的捕获信号可例如在控制装置24、系统14或云28中转换成文本。然后可搜索文本来识别电视节目。

相似地，可分析来自抓取器16的元数据来识别在文本搜索中使用来识别节目的信息。在一些实施例中，代表音频、元数据、视频帧或剪辑的数字信号中的超过一个可用作关键字互联网或数据库搜索的输入。

分析引擎然后进行多媒体搜索来识别正观看的电视节目。该搜索可以是简单的互联网或数据库搜索或它可以是更集中的搜索。例如，框58中的传送可包括当前时间或视频捕获以及控制装置24的位点。该信息可用于使用关于在特定时间在特定位点中正广播或传送什么节目的信息来使搜索集中。例如，可在网站上提供数据库，其使在不同时间不同位点可用的电视节目相关，并且该数据库可被执行图像搜索来找到与捕获帧匹配以识别节目的图像。

在一些实施例中，用户可对装置24处的多媒体帧或剪辑附加注释以通过使搜索集中而帮助节目识别。

节目的识别可通过使用视觉搜索工具来实行。图像帧或剪辑与搜索数据库内的现有帧或剪辑匹配。在一些情况下，可识别一系列匹配，并且在这样的情况下，那些匹配可发送回到控制装置24。当菱形60处的检查确定搜索结果已经被控制装置24接收时，搜索结果可对用户显示，如在框62处指示的。控制装置24然后接收符合用户所希望的信息（例如正观看的正确节目）的搜索结果中的一个的用户选择。然后，一旦已经接收用户选择，如在菱形64中指示的，选择的搜索结果然后可转发到云，如在框66中指示的。这允许电视节目指示用于对观众或第三方提供其他服务。

接着，参考图4，序列70可在基于处理器的系统14内实现。再次，序列70可在固件、硬件和/或软件中实现。在软件或固件实施例中，它可由非暂时性计算机可读介质实现。例如，多媒体抓取器70可存储在多媒体抓取器装置16上的存储70中。

初始，在菱形72处的检查确定是否已经激活抓取器特征。如果是这样的话，可访问抓取器标准，如在框74中指示的。该抓取器标准可预先存储在基于处理器的系统14内或可从控制装置24输送。在一些实施例中，用户可以选择标准。再次，标准可是基于时间的，使得在定期间隔，代表帧、剪辑、音频片段或多媒体片段的数字信号被抓取。在其他实施例中，可使用其他标准，其包括基于视频内容分析的标准。

如果已经满足标准，如在菱形76处确定的，多媒体被抓取并且传送到控制装置24，如在框78中指示的。

参考图5，根据一个实施例，云28的操作由序列80指示。序列80可在软件、固件和/或硬件中实现。在基于软件和固件的实施例中，它可由非暂时性计算机可读指令实现。例如，这些计算机可读指令可存储在与服务器30关联的存储80（在图1中示出）中。

尽管图示使用云的实施例，当然，在其他实施例中，相同序列可以由任何服务器（通过任何适合的网络而耦合）、由控制装置24本身、由基于处理器的装置14或由头终端11实现。

初始，菱形82处的检查确定是否已经接收多媒体片段。如果是这样的话，在多媒体是视频帧或剪辑的电子表示的情况下进行视觉搜索，如在框84中指示的。在电子表示音频剪辑的情况下，音频表示可转换成文本并且被搜索。如果多媒体片段代表元数据，可解析该元数据以获得可搜索内容。然后，在框86中，搜索结果传送回到例如控制装置24。控制装置24可接收关于搜索结果中的哪个最相关的用户输入或选择。系统等待来自用户的选择并且在接收选择（如在菱形88中确定的）时，可基于正观看的电视节目执行任务（框90）。例如，任务可以是向预先选择的好友组提供信息用于社交联网目的。在一个实施例中，Facebook上的用户好友可自动发送消息，其指示用户当前时间正观看哪个节目。那些好友然后可以例如使用控制装置24通过Facebook与观众交互以聊聊关于电视节目。

作为另一个示例，任务可以是分析关于观众的人口统计信息并且向头终端提供关于不同用户在不同时间观看的节目的信息。再其他备选方案包括向观看特定节目的观众提供聚焦的内容。例如，可对观众提供关于接下来的相似节目的信息。可对观众提供聚焦在观众当前正观看什么上的广告信息。例如，如果进行中的电视节目突出特定汽车，该汽车制造商可提供额外的广告来对观众提供关于当前正在节目中示出的车辆的更多信息。在一些情况下，该信息可在电视屏幕上显示为覆盖，但可有利地在与例如控制装置24关联的独立显示器上显示。在其中广播是交互游戏的情况下，关于游戏进展的信息可以传送到用户的社交联网组。相似地，可使用广告并且采用相同的方式收集人口统计资料。

在一些实施例中，多个用户可正观看相同的电视节目。在一些家庭中，许多电视可是可用的。从而，许多不同的用户可希望同时使用本文描述的服务。为此，基于处理器的系统14可维护这样的表，其保持跟踪控制装置24的标识符、电视标识符和节目信息。在这样的实施例中，这可允许用户在房间之间移动并且仍继续接收本文描述的服务，其中基于处理器的系统14简单地适应于不同的电视，其中的全部在基于处理器的系统14下游接收它们的信号。

在一些实施例中，表可存储在基于处理器的系统14中或可上传到头终端11或，或许甚至可通过控制装置24而上传到云28。

从而，参考图6，在一些实施例中，序列92可用于维护表来使控制装置24、电视显示屏幕20和选择的频道相关。然后，例如在家庭娱乐环境中，许多不同的用户可以通过相同的电视或至少两个或以上的电视（其通过相同的基于处理器的系统14而全部连接）来使用系统。序列可实现为硬件、软件和/或固件。在软件和固件实施例中，序列可使用存储在非暂时性计算机可读介质（例如磁、半导体或光存储）上的计算机可读指令来实现。在一个实施例中，可使用存储50。

初始，系统接收并且存储向系统14提供命令的控制装置中的每个的标识符，如在框94中指示的。然后，通过系统14而耦合的各种电视可被识别和记录，如在框96中指示的。最后，设置表，其使控制装置、频道和电视接收器相关（框100）。这允许使用以无缝的方式连接到相同控制装置的多个电视使得观众可以在房间之间移动并且继续接收本文描述的服务。另外，许多观众可以观看相同的电视并且每个可以独立接收本文描述的服务。

该整个说明书中对“一个实施例”或“实施例”的引用意指连同实施例描述的特定特征、结构或特性包括在包含在本发明内的至少一个实现中。从而，短语“一个实施例”或“在实施例中”的出现不一定指相同的实施例。此外，特定特征、结构或特性可采用除图示的特定实施例外的其他适合的形式而设立并且所有这样的形式可包含在本申请的权利要求内。

尽管已经关于有限数量的实施例描述本发明，本领域内技术人员将意识到从其中的许多修改和改动。规定附上的权利要求涵盖所有这样的修改和改动，它们落入本发明的真正精神和范围内。

Claims

1. 一种方法，包括：

检测事件的发生；

响应于检测事件，自动捕获来自电视节目的电子解码信号；以及

使用所述信号进行搜索来促使所述电视节目的识别。

2. 如权利要求1所述的方法，其包括捕获信号，所述信号包括视频帧或剪辑、音频或元数据的电子表示。

3. 如权利要求1所述的方法，其中检测事件的发生包括检测时间间隔的推移。

4. 如权利要求1所述的方法，其包括自动将所述信号传递到移动装置。

5. 如权利要求4所述的方法，其包括向所述移动装置提供搜索结果。

6. 如权利要求4所述的方法，其包括将所述信号发送到远程服务器来进行所述搜索。

7. 如权利要求1所述的方法，其包括跟踪多个移动装置、接收来自所述装置中的每个的请求以及向每个装置提供响应。

8. 如权利要求7所述的方法，其包括维护使移动装置、电视和来自移动装置的请求相关的表。

9. 如权利要求1所述的方法，其包括使用社交联网工具来自动分发所述识别。

10. 如权利要求1所述的方法，其包括使用户能够使用一个移动装置以在不同的时间从两个不同的电视接收解码信号。

11. 至少一个非暂时性计算机可读介质，其存储指令来使计算机能够：

检测事件的发生；

使用所述信号发起搜索来促进所述电视节目的识别。

12. 如权利要求11所述的介质，其进一步存储指令来捕获采用视频帧或剪辑、音频或元数据的电子表示的形式的电子解码信号。

13. 如权利要求11所述的介质，其进一步存储指令来使用时间间隔的推移的检测作为事件以触发所述电子解码信号的捕获。

14. 如权利要求11所述的介质，其进一步存储指令来将所述信号传递到移动装置。

15. 如权利要求14所述的介质，其进一步存储指令来向所述移动装置提供搜索结果。

16. 如权利要求14所述的介质，其进一步存储指令来向远程服务器发送所述信号以进行所述搜索。

17. 如权利要求11所述的介质，其进一步存储指令来跟踪多个移动装置、接收来自所述装置中的每个的请求以及向每个装置提供响应来实现在不同的时间使用两个不同的电视。

18. 如权利要求17所述的介质，其进一步存储指令来维护使装置、电视和来自移动装置的请求相关的表。

19. 如权利要求11所述的介质，其进一步存储指令来使用社交联网工具分发所述识别。

20. 如权利要求11所述的介质，其进一步存储指令来捕获是音频信号的电子表示的信号、将所述捕获信号转换成文本并且发送所述文本以用作键盘搜索的输入。

21. 一种设备，包括：

处理器，用于检测事件的发生、响应于所述事件而自动捕获来自电视节目的电子信号以及传送所述信号以用作键盘搜索的输入；以及

存储，其耦合于所述处理器。

22. 如权利要求21所述的设备，其中所述设备是移动装置。

23. 如权利要求22所述的设备，其中所述设备是蜂窝电话。

24. 如权利要求22所述的设备，其中所述设备是远程控制。

25. 如权利要求21所述的设备，其中所述设备是电视接收器。

26. 如权利要求21所述的设备，其中所述设备用于信号通知电视接收系统来捕获采用视频帧或剪辑、音频或元数据的电子表示的形式的电子解码信号。

27. 如权利要求21所述的设备，所述处理器用于检测采用时间间隔的推移的形式的事件。

28. 如权利要求21所述的设备，其中所述设备用于从电视系统接收所述信号并且将所述信号传送到远程装置以在数据库中或通过互联网来进行关键字搜索。

29. 如权利要求28所述的设备，所述设备用于通过社交联网工具来自动分发所述电视节目的识别。

30. 如权利要求28所述的设备，所述设备用于将所述信号传送到蜂窝电话。