CN103004228A

CN103004228A - 获取关键词用于搜索

Info

Publication number: CN103004228A
Application number: CN2011800365359A
Authority: CN
Inventors: T.W.福
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Voko Sound Innovation In Belgium LLC
Priority date: 2010-07-26
Filing date: 2011-07-21
Publication date: 2013-03-27
Also published as: BR112013001738A2; RU2013108254A; JP2013535733A; EP2599018A1; US20130124551A1; WO2012014130A1

Abstract

用于回放图像的回放设备（100）和对应的方法。所述设备包括控制器（110），其被配置为执行步骤：识别正在被回放的图像中的对象（320）；获取关键词（410），所述关键词被关联到所述被识别的对象（340）；以及基于所述关键词搜索信息（370）。

Description

获取关键词用于搜索

技术领域

本发明涉及回放图像的领域，以及更具体地涉及当用户在观看所述图像时获取关键词用于搜索。

背景技术

当通过像DVD或蓝光碟这样的光盘、通过TV广播或在线视频观看电影时，观看者有时想要找出关于演员的更多信息。例如，观看者想要查找演员参演的其它电影，关于他们的个人生活的信息等等。

对于大多数现有的回放设备，观看者需要调用电子节目指南（EPG）随带的信息以便找出关于演员的更多信息。这种服务不是对所有类型的内容是可用的，以及所提供的信息通常也是有限制的。在大多数最新一代的TV和蓝光光盘（BD）播放器中已经包括因特网连接性，因此对信息的搜索可以通过回放设备本身被执行。然而，观看者最起码需要通过使用T9-词典（比如，在遥控器的数字小键盘上进行编辑）或者通过使用QWERTY 键盘来键入他们正在寻找的信息。关于这后一种选项，消费电子装置相对于个人计算机的优势是前者的向后（layback）体验。因此，优选地不必和消费电子装置一起使用普通的PC一样的键盘。

图1示出了最近由Sony宣布的功能性“MovieIQ”的快照。MovieIQ提供了关于正在被播放的电影的附加的信息。然而，这种信息是有限制的，并且在整个节目期间保持不变。

US 2008/0059526 A1公开了一种回放设备，其包括：回放装置，用于回放内容以便显示图像；提取装置，用于从绑定于正在被显示的图像的副标题提取关键词；关键词呈现装置，用于呈现由所述提取装置提取的关键词；以及搜索装置，用于在从由关键词呈现装置呈现的关键词中所选择的关键词的基础上搜索内容。

通常，副标题表示与正在被显示的图像的内容有关的事物，例如，由电影中的演员或节目的主持人所说的词。然而，副标题通常不包括关于演员或主持人本身的信息。

发明内容

使得观看者能够轻易地执行针对与正在被回放图像中的对象（例如，演员）相关联的信息的搜索是希望的。

为了更好地解决这个问题，根据本发明的一方面，回放设备被提供以用于回放图像，所述设备包括控制器，其被配置为执行如下步骤：识别正在被回放的图像中的对象；获取与被识别的对象相关联的关键词；以及基于所述关键词搜索信息。所述图像可以是静态图像或视频的视频帧。所述对象可以是在图像中出现的人类（诸如演员或主持人），或者非人类对象（诸如，移动电话、钻戒等等）。对在所述图像中的对象的识别可以通过图像识别技术来执行，所述图像识别技术是众所周知的。对关联到对象的信息的搜索可以通过使用搜索引擎来搜索因特网、通过在回放设备的存储器中的本地存储的数据中进行搜索等等而被执行。

因此，观看者被使能快速地并以用户友好的方式来搜索关联到图像中的对象的信息。

根据本发明的实施例，所述控制器还被配置为：获取多个关键词和使得用户能够选择所述关键词中的一个用于搜索。通过自动地填充关键词的菜单列表以及给予观看者选择所述关键词中的一个的选项，所述搜索行为可以由观看者以一种非常适合于消费电子的方式执行，即通过简单地用他的遥控器滚动带有选项的菜单并用确认按钮选择希望的选项。消费电子装置的用户被用来从选项的列表进行选择以便控制他们的装置以及在观看内容时期望这样的“向后（layback）”体验。

根据本发明的另一实施例，所述控制器被进一步配置为：识别正在被回放的图像中的多个对象以及获取关联到所识别的对象中的每个的关键词。以这种方式，观看者可以轻易地选择所述图像中的多个对象中的、他希望针对其检索更多信息的一个对象。所述控制器还可以被配置为指示（突出显示）所述图像中关联到突出显示的关键词的对象。以这种方式，向观看者示出突出显示的关键词属于所述对象（例如，演员）中的哪一个。这对于没有或具有很少关于图像中的对象的知识的用户是特别有用的。

此外，所述控制器可以被配置为获取与正在被回放的图像是其一部分的节目相关联的一个或多个关键词。例如，所述节目的标题可以被包括在所述图像中的文本或关键词的列表中。因此，所述观看者被提供有他可以从其进行选择的、进一步有用的关键词。

根据又一实施例，所述控制器被进一步配置为基于关于节目的初步数据（例如，节目标题）来下载所述节目的图像中的对象的图像数据。通过在对象识别开始前下载所述图像数据，所述对象识别步骤可以在回放设备中本地执行，而不需为所述图像数据询问服务器（其将导致时间延迟）。

所述图像数据可以包括针对所述对象中的至少一个的多个相册。这导致了对象识别的改进的可靠性。

如果被回放的图像是视频的视频帧，则所述控制器可以被配置为显示基于所述关键词检索到的信息，以及在显示所述信息时暂停所述视频。以这种方式，观看者可以检查所述信息，而不会丢失他正在观看的内容的任何东西。

根据本发明的另一方面，提供了一种方法，所述方法包括步骤：

-回放图像；

-识别正在被回放的图像中的对象；

-获取关联到所述识别的对象的关键词；以及

-基于所述关键词搜索信息。

优选地，根据本发明的方法通过计算机程序被实施。所述计算机程序可以被体现在计算机可读介质上，或者载体介质可以携带所述计算机程序。

本发明的这些和其它方面将从下文描述的实施例变得明显，并将参考下文描述的实施例被阐述。

附图说明

通过参考以下附图，结合所附的说明书，本发明将被更好被理解并且其许多目标和优势对本领域的技术人员将变得更加明显，其中：

图1示出了用于在内容的回放期间提供信息的现有技术功能性的快照；

图2示出了其中本发明可以被实施的回放设备的方块图；

图3示出了根据本发明的示范性实施例的、搜索与正在被回放的图像中的对象相关联的信息的流程图；

图4示出了根据本发明的示范性实施例的、如果在图像上有一个识别的对象时在所述图像上带有建议的关键词的菜单的显示；

图5示出了如果在图像中有多个识别的对象时在所述图像上的菜单的显示；

图6示出了图5的显示，其中关键词中的一个和对应的对象被突出显示；

图7示出了图5的显示，其中关键词中的另一个和对应的对象被突出显示；

图8示出了检索到的、与图像上的对象中的一个相关联的信息的显示。

贯穿附图，相同的附图标记指代相同的单元。

具体实施方式

图2示出了其中本发明可以被实施的示范性回放设备100（例如，带有互联网接入的TV）的方块图。只有与理解本发明相关的那些特征被示出。所述设备包括带有相关联的存储器120的控制器（处理器）110、显示器（例如，TV屏幕）130、使得观看者能提供输入命令的输入装置140（其可以是遥控器）、以及接口单元150（诸如，用于连接到因特网的路由器或调制解调器）。此外，其还包括与接收TV节目有关的功能性160，所述TV节目例如来自有线TV网络或来自具有更大容量的存储器180以及DVB网络。

在本文后面将参考图3被示出的功能性优选地通过合适的计算机程序170被实施，所述计算机程序170被加载到处理器110的相关联的存储器120。

如图3所示，观看者首先用其遥控器140选择节目（例如电影）用于观看（步骤300）。在回放设备的一侧，在视频回放开始的时候，关于所述电影的信息被收集（步骤305）。该信息可以从远程服务器通过所述回放设备的（客户机的）因特网连接被下载。收集的信息包括但不限于电影的标题、文件名、元数据、来自DVB-T节目信息的标题和其它信息、流式视频等等。

为了识别在电影中担任主演的演员的面部，最小的一个面部相册是必须的。然而，同一面部的多个面部相册增加了检测和识别的准确性。所述面部相册中的每一个包含用来识别面部的信息。

服务器保存包含面部的相册的数据库以及与面部有关的相关联的元数据。包括但不限于演出的标题、其它演员/女演员、演员参演的其它演出、流派等等。而且，面部相册和与面部有关的相关联的元数据在步骤305中从服务器被下载，并被存储在本地存储器180中。例如，基于电影的标题，与所述电影有关的面部的相册被检索并被下载到回放设备的本地存储器中。

同时，回放设备开始回放所述电影（步骤310）。在观看视频时，检查用户是否在遥控器140上按下了指定的“获得信息”按键（步骤315）。如果是的话，当前呈现的视频帧被分析（步骤320）。该分析包含检测在所述视频帧中是否存在任意面部的子步骤（子步骤325）。这可以通过面部检测算法来执行。这样的算法是众所周知的，参见现有算法的技术概述和解释，例如 http://en.wikipedia.org/wiki/Face_detection 或者文章 Face Detection Technical Overview（面部检测技术概述）：其可以在http://www.google.com.sg/search?q=face+detection+algorithm&ie=utf-8&oe=utf-8&aq=t&rls=org.mozilla:en-US:official&client=firefox-a处检索到。

如果在所述视频帧中存在任意面部（在子步骤330中检查），则所述视频帧由众所周知的面部识别算法基于所下载的相册面部处理（子步骤335）。面部识别的技术解释在http://en.wikipedia.org/wiki/Facial_recognition_system 和http://www.biometrics.gov/Documents/FaceRec.pdf上找到。另外，通过所述设备中的文本检测引擎也可能识别所述视频帧中的其它文本。文本检测引擎是众所周知的，参见文本检测的技术解释 http://en.wikipedia.org/wiki/Optical_character_recognition或技术论文: Tappert, Charles C.等人在1990年08月发表的The State of the Art in On-line Handwriting Recognition, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol 12 No 8, August 1990, pp 787-ff, http://users.erols.com/rwservices/pens/biblio90.html#Tappert90c。然后，关联到被识别的对象的关键词被获取（步骤340）。所述关键词例如是演员的名字。

接着，观看者被使能选择所述关键词中的一个用于搜索（步骤345）。这个步骤包括子步骤：在如图4所示的菜单列表400中显示关联到所检测到的面部的关键词和关联到所述电影的其它信息（例如，视频/电影标题、布景信息等等）（子步骤350）。在图4中，如果在所分析的视频帧中仅存在一个面部（演员），该菜单列表被示出。在所述菜单中存在与所述演员相关联的单个关键词410（演员的名字），并存在其他关键词420。这些其它关键词可以被关联到正在被回放的图像是其一部分的节目，例如是它的标题，或者这些其它关键词可以是所述视频帧中被文本检测引擎检测到的其它文本。在图5中，如果在所述被分析的视频帧中存在三个演员，则所述菜单列表被示出。在这种情形中，所述菜单列表被填充有三个关键词410，它们中的每个与所述三个演员中的一个相关联。

现在，用户被使能滚动所述菜单列表（子步骤355），与滚动位置对应的关键词被突出显示440，如图6所示。与被突出显示的关键词对应的演员的面部也被例如用红色的方框突出显示450（子步骤360）。如图7所示，当用户滚动到不同的关键词时，该关键词和对应的演员的面部被突出显示。滚动所述菜单以及对关键词的随后的选择通过遥控器140的适当的按键（例如，上、下和OK）被执行。所述菜单的最后一个选项430使得用户能够键入不在所述菜单列表中的词。

如果在步骤365中用户选择关键词来检查，基于所述关键词执行搜索（步骤370）。该搜索可以是在本地存储的、与回放设备100中的面部相册中的面部有关的元数据中，或者它可以是使用众所周知的因特网搜索引擎的因特网搜索。所述电影被暂停（步骤375），以及由所述搜索检索到的信息被显示在所述图像上（步骤380），如图8所示。当用户按压遥控器中的按键以便继续所述视频的回放时（如在步骤385中检查的），所述流程回环到步骤310以及所述回放继续。

尽管已经在附图和前面的描述中详细地图示和描述了本发明，但是这样的图示和描述将被认为是说明性的或示范性的，并不是限制性的；本发明并不限于所公开的实施例。

在这方面，应当指出，回放设备和服务器间的通信链路可以是通过其它手段，而不是因特网。

此外，本发明可以针对电影中其它种类的对象而不是演员来实施，或者是例如电视主持人、体育人等等的人类对象，或者是诸如新的移动电话、钻戒等等的非人类对象。在这种情形中，可以使用对象识别算法，而不是面部检测/识别。所述系统可以示出到具有关于所述对象的信息的网站的链接。

当然，也有可能在所述信息被显示时继续回放所述视频，而不暂停它。

本发明也可以被应用于静态图像，而不仅被应用于活动的视频。

本领域的技术人员在实践所要求保护的发明时，可以从对附图、公开内容、和所附权利要求的研究中明白和实现针对所公开的实施例的其它变例。在权利要求中，词“包括（comprising）”并不排除其它单元或步骤，并且不定冠词“一”或“一个”并不排除多个。单个处理器或其它的单元可以实现在权利要求中记载的若干项的功能。某些措施在相互不同的从属权利要中被记载的仅有的事实并不指示这些措施的组合不能被使用来获益。计算机程序可以被存储/分布在适合的介质上，诸如和其它的硬件一起提供的或作为其它的硬件的一部分而提供的固态介质或光存储介质，但也可以以其它的形式被分布，诸如经由因特网或其它的有线或无线电信系统。权利要求中的任何附图标记不应被解释为限制范围。

Claims

1. 用于回放图像的回放设备（100），所述设备包括控制器（110），其被配置为执行以下步骤：

-识别正在被回放的图像中的对象（320）；

-获取关键词（410），所述关键词被关联到被识别的对象（340）；以及

-基于所述关键词搜索信息（370）。

2. 权利要求1中所述的回放设备，其中所述控制器被进一步配置为：

-获取多个关键词；以及

-使得用户能够选择所述关键词中的一个用于搜索（345）。

3. 权利要求2中所述的回放设备，其中所述控制器被进一步配置为：

-识别正在被回放的图像中的多个对象；以及

-通过获取关联到所识别的对象中的每个的关键词来获取多个关键词。

4. 权利要求3中所述的回放设备，其中所述控制器被进一步配置为：

-指示所述图像中关联到突出显示的关键词的对象（360）。

5. 权利要求2中所述的回放设备，其中所述控制器被进一步配置为：

-获取与正在被回放的图像是其一部分的节目相关联的一个或多个关键词（420）。

6. 权利要求1中所述的回放设备，其中所述控制器被进一步配置为：

-基于关于节目的初步信息来下载所述节目的图像中的对象的图像数据（305）。

7. 权利要求6中所述的回放设备，其中所述图像数据包括针对所述对象中的至少一个的多个相册。

8. 权利要求1中所述的回放设备，其中被回放的图像是视频的一部分，并且其中所述控制器被配置为：

-显示基于所述关键词检索的信息（380）；以及

-在显示所述信息时暂停所述视频（375）。

9. 一种方法，包括如下步骤：

-回放图像（310）；

-识别正在被回放的图像中的对象（320）；

-基于所述关键词搜索信息（370）。

10. 一种包括计算机程序代码装置的计算机程序，当所述程序在计算机、数字信号处理器、现场可编程门阵列、专用集成电路、微处理器、微控制器、或任意其它形式的可编程硬件上运行时，所述计算机程序代码装置适于执行根据权利要求9的方法的步骤。