CN111989647A - 使用图形界面分析导入媒体库 - Google Patents

Abstract

本公开提供了用于通过光学分析内容源的图形界面来从内容源导入媒体项集合的技术。一种示例性方法包括由处理设备启动从内容源导入媒体项集合；然后，捕获内容源的图形界面的图像内容；从图形界面的图像内容中提取数据；基于来自图像内容的数据，识别内容源的媒体项；并且存储对媒体项的引用。

Description

使用图形界面分析导入媒体库

技术领域

本公开涉及在内容源之间导入媒体项集合的领域，并且尤其涉及通过分析内容源的图形界面来导入媒体项集合。

背景技术

现代计算设备可以访问来自多个不同内容提供商的媒体内容。每个内容提供商可以将媒体内容提供给计算设备，并且使得计算设备能够向一个或多个用户呈现媒体内容。内容提供商可以包括广播媒体内容并使接收者能够使用数字视频录像机(DVR)在本地存储媒体内容的有线电视公司。其他内容提供商可以提供可以按需请求并随后下载或流式传输到计算设备的媒体内容。用户可以修改计算设备以选择特定的媒体内容，并且可以将这些选择存储在与用户相关联的库中。然后，用户可以导航库以选择或消费媒体内容。

发明内容

以下是本公开的简化概述，以便提供对本公开的一些方面的基本理解。本发明内容不是本公开的广泛概述。它既不旨在确定本公开的关键或重要要素，也不旨在描绘本公开的特定实施方式的任何范围或权利要求的任何范围。其唯一目的是以简化的形式呈现本公开的一些概念，作为稍后呈现的更详细描述的前序。

在本公开的第一方面中，描述了一种方法。该方法包括由处理设备启动从内容源导入媒体项集合；捕获内容源的图形界面的图像内容；从图形界面的图像内容中提取数据；基于来自图像内容的数据，识别内容源的媒体项；以及存储对媒体项的引用。

内容源可以包括个人内容库，并且其中，存储对媒体项的引用可以包括更新第二内容源的个人内容库。

内容源的个人内容库和第二内容源的个人内容库中的一个或两个可以对应于数字视频录像机(DVR)、内容流媒体应用或内容商店中的至少一个。

从图形界面的图像内容提取数据可以包括：对图像内容执行光学识别，以从内容源中检测与媒体项集合中的一个或多个媒体项有关的数据。

与一个或多个媒体项有关的数据可以包括文本和图形中的任何一个。

捕获图像内容可以包括启动第一计算设备的相机操作以捕获由第二计算设备提供的图形界面的图像内容。第一设备可以是移动电话，并且第二设备可以是电视。

捕获图像内容可以包括：启动计算设备的屏幕捕获操作以捕获图形界面的图像内容，其中，图形界面可以由在捕获图像内容的计算设备上执行的内容源的应用提供。

捕获图形界面的图像内容可以包括在滚动操作期间，捕获图形界面的视频，其中，滚动操作暴露多个媒体项的详细信息，并且可以包括水平滚动或垂直滚动中的至少一个。

可选地，第一方面的方法可以进一步包括分析图形界面的多个图像，其中，多个图像包括多个视频帧或多个静止图像；以及拼接多个图像中的一个或多个图像的图像内容以创建拼接图像内容，拼接图像内容包括由图形界面的移动而暴露的媒体项的详细信息。

识别内容源的媒体项可以包括使用来自图像内容的数据项执行库服务的搜索；将搜索的结果与来自图像内容的另一条数据进行比较；以及从结果中选择与图像内容的该数据匹配的媒体项。

第一方面的方法可以进一步包括基于图形界面的图像内容来确定是否已经消费了媒体项。

媒体项可以包括视频、音频录音、图片、书或应用中的至少一个。

在本公开的第二方面中，提供了一种系统。该系统包括存储器以及可通信地耦合到存储器的处理设备。该处理设备被配置为执行第一方面的方法。

在本公开的第三方面中，提供一种存储指令的非暂时性机器可读存储介质，该指令在被执行时，使处理设备执行根据第一方面的方法的操作。

本公开的一个方面的可选特征可以与本公开的其他方面组合。

附图说明

在附图的图中，通过示例而非限制的方式示出了本公开。

图1示出了根据本公开的实施方式的示例性系统架构。

图2示出了根据本公开的实施方式的示例性计算设备，该示例性计算设备用于通过光学分析内容源的图形界面来从内容源导入媒体项集合。

图3是示出根据本公开的实施方式的用于通过光学分析内容源的图形界面来从内容源导入媒体项集合的方法的框图。

图4是根据本公开的实施方式的用于查看媒体项集合的示例性图形界面。

图5是示出根据本公开的实施方式的示例性计算机系统的框图。

具体实施方式

现代计算设备可以访问来自各种不同内容源的媒体内容。对于每个内容源，用户可以使用用户打算消费、已经开始消费或先前已经消费过的内容来构建内容库(例如，媒体集合选择)。许多内容源可以提供相同或相似的媒体内容。当用户在内容源之间切换时，可能无法从新的内容源获得用户的个人内容库。用户可能必须放弃个人库(例如观看列表)，或手动重建用于新内容源的个人库。

重建个人库可能是手动且耗时的过程，因为原始内容源可能不支持传统的导出、同步或复制技术。用户可以通过手动地重新填充个人库来为新内容源更新个人库。这可能涉及用户访问原始内容源和新内容源这两者的图形界面。例如，用户可以在第一设备(例如，DVR)上查看原始内容源的图形界面，并且对于每个媒体项，用户可以搜索新的内容源以找到对应的媒体项。用户可以使用不同的显示设备(例如，用于原始内容的电视屏幕和用于新内容的移动设备屏幕)访问不同内容源的图形界面，或者两者可以共享同一显示设备，这可能使得重建过程更具挑战性。

本公开的各方面和实施方式针对用于将第一内容源的媒体项集合导入第二内容源的技术。该媒体项集合可以是引用一个或多个媒体项的数据结构，并且可以与个人内容库、观看列表、播放列表、阅读列表、收藏夹列表、其他集合或其组合相同或相似。该集合中的媒体项可以对应于用户将要消费、已经开始消费或先前消费过的内容。该技术可以使计算设备能够捕获第一内容源的图形界面的图像。图形界面可以由相同的计算设备或不同的计算设备(例如，DVR)提供，并且可以以人类可读的形式显示一个或多个媒体项的集合的详细信息。计算设备可以使用一种或多种光学识别操作来分析图形界面的图像并从图像中提取数据。所提取的数据可以包括文本数据、图形数据、布局数据、其他数据或其组合。所提取的数据可以使计算设备能够识别哪些媒体项在第一内容源的集合中，并且可以将这些媒体项添加到用于第二源的集合中。本公开的方面和实施方式解决了与如何在不同数据结构之间迁移数据相关联的问题。通过捕获第一内容源的图形界面的图像内容并从该图形界面的图像内容提取数据，可以将所识别的数据自动地添加到第二内容源。因此，即使在第一和第二内容源不提供彼此之间的直接数据传输的情况下，也可以将数据有效地从一个内容源复制到另一个内容源。

图形界面的复杂性可能会根据内容源而有所不同，并且每个内容源都可能提供自己的自定义图形界面。图形界面可以包括旨在组织或排列媒体项的详细信息的各种特征。组织媒体内容的方式可以导致在特定时间点仅由图形界面显示媒体项的子集或针对特定媒体项的详细信息的子集。例如，图形界面可以支持改变由图形界面显示的内容的各种运动，并且可以包括滚动(例如，水平和垂直滚动)、下拉扩展(例如，在选择项目时显示的详细信息)、其他特征，或其组合。为了使用户能够更有效地捕获内容，在用户浏览内容(例如，滚动、翻页、展开、移动)时，用户可以捕获图形界面的视频。然后，计算设备可以分析该视频并且将多个图像(例如，视频帧)拼接在一起，使得单个图像捕获由图形界面的运动暴露的内容。

本文描述的系统和方法包括通过使计算设备能够更容易地识别用户将要消费的媒体内容来增强内容共享平台的技术领域的技术。特别地，所公开的技术可以使计算设备能够将用户的个人内容库从第一内容源(例如，有线电视)迁移到第二源(例如，互联网电视)。传统的数据迁移技术通常涉及第一源以可以由计算设备导入的格式导出原始数据。一些内容源可能会避免导出特征，或者包括专有或繁重的导出机制，以阻止用户迁移到另一个内容源(例如竞争对手)。本文所公开的技术可以利用内容源提供的图形界面以及图像捕获和提取操作来使第一内容源的个人内容库在缺少数据导出功能的情况下能够被导入第二内容源。

图1示出了根据本公开的一种实施方式的示例性系统架构100。系统架构100包括一个或多个内容源110A-Z、一个或多个计算设备120A-B、库服务130和网络140。

内容源110A-Z可以是任何媒体内容源，并且可以以一个或多个媒体项112的形式存储和提供媒体内容。媒体项112可以包括以可以提供给计算设备并且由该计算设备以人类可理解的形式呈现给一个或多个用户的形式的媒体内容。媒体项112可以包括视频内容、音频内容、图片内容、文本内容、可执行内容、其他内容或其组合。视频内容可以包括电影、电视节目、体育赛事、音乐视频、新闻剪辑、评论、广告、用户生成的视频、其他内容或其组合。音频内容可以包括音频剪辑、歌曲、专辑、播客、有声读物、其他内容或其组合。文本内容可以包括符号、字母、单词、其他内容或其组合。文本内容可以伴随其他内容(例如，图形内容)，并且可以被布置为数字书籍、报纸、杂志或其他形式。可执行内容可以包括可以被计算设备访问(例如，加载)并执行以向用户呈现媒体内容的一个或多个应用(例如，智能电话应用、网络应用)。

在图1所示的示例中，内容源110A-Z可以包括一个或多个内容服务，诸如有线服务(例如110A)、内容流媒体服务(例如110B)、内容共享平台(例如110C)、媒体商店(例如110Z)、其他内容服务或其组合。有线服务可以包括提供广播或点播媒体内容的地面服务或卫星服务，并且可以包括

Verizon

Dish

其他服务提供商或其组合。内容流媒体服务可以通过在网络连接(例如，互联网连接)上流传输内容来提供媒体项，并且可以包括

Prime

HBO

Showtime

其他流媒体服务或其组合。内容共享平台可以包括用于共享用户生成的内容的内容托管服务，并且可以包括视频共享服务

或社交网络

其他服务或其组合。媒体商店可以包括使您能够购买或租用媒体项的服务，并且可以包括Apple

Google

Amazon

其他服务或其组合。内容源110A-Z可以将媒体项112提供给计算设备120A和/或计算设备120B。

计算设备120A可以是能够接收媒体项112之一并且能够提供媒体项以呈现给用户的任何计算设备。计算设备120A可以包括显示设备(例如，集成显示设备)，或者可以将内容发送到单独的显示设备(例如，连接的显示设备)。该显示设备可以包括屏幕或投影机构，并且可以使用电视屏幕、监视器、投影仪屏幕、移动显示器、平视显示器、头戴式显示器、全息显示器、其他显示技术或其组合来显示内容。计算设备120A的一些示例可以包括电视(例如，传统电视或智能电视)、机顶盒(例如，DVR、电缆盒、Apple

)、微型控制台(例如

)、个人计算机(例如台式计算机、工作站)、移动设备(例如移动电话、平板电脑、笔记本电脑、智能手表、智能眼镜、智能联系人)、其他设备或其组合。计算设备120A可以提供该媒体项集合以使用图形界面组件121来显示。

图形界面组件121可以使计算设备120A能够向一个或多个用户提供图形界面。在一个示例中，计算设备120A可以通过在计算设备120A的屏幕上显示图形界面来提供图形界面。在另一个示例中，提供图形界面可以涉及在不显示图形界面的情况下，将信号发送到另一设备。这可能是因为计算设备120A缺少屏幕(例如，没有显示器、无屏幕、无界面)，或者因为计算设备120A能够将信号发送到不同屏幕(例如，流式传输、投射或投到更大的屏幕)。图形界面可以是使用户能够与一个或多个内容源110的媒体内容进行交互的任何用户界面。图形界面可以特定于特定内容源110或特定类型的计算设备120A，或者可以是对多个不同的内容源110A-Z或计算设备120A通用的。图形界面可以使用户能够浏览一个或多个内容源110A-Z的内容并且可以显示媒体项集合123A的详细信息。

媒体项集合123A可以是存储与内容源的特定用户相关联的媒体项集合的数据结构。用户可以由对应于特定个人、家庭、团体、企业实体、其他实体或其组合的配置文件、账户或标识符表示。在一个示例中，媒体项集合123A可以对应于一个或多个人，并且可以被称为个人内容库。该媒体项集合可以是空集，或者可以包括为该用户选择的一个或多个媒体项。媒体项集合123A可以存储该集合中的媒体项的详细信息，并且可以由用户、由内容源、由第三方源或者其组合来选择媒体项。该选择可以基于用户输入、消费或未消费的内容、先前选择或未选择的内容、对等数据、历史数据、简档数据、账户数据、其他数据或其组合。在一个示例中，媒体项集合123A可以包括媒体项的详细信息(例如，标题、封面、消费状态)，而不存储媒体项的内容(例如，视频内容)。随后可以经由广播、下载、流传输或其组合来接收内容。在另一个示例中，媒体项集合123A可以包括媒体项的详细信息和媒体项的内容(例如，视频内容)。

计算设备120B可以与计算设备120A相同或相似，并且可以访问由计算设备120A提供的图形界面以导入媒体项集合123A的一个或多个媒体项。该导入在图1中被表示为标记为媒体集合导入125的箭头。媒体集合导入125可以包括一个或多个操作，以将媒体项集合123A的内容复制、转录、同步、迁移、拷贝或添加到媒体项集合123B。媒体项集合123B可以与媒体项集合123A相同或相似，但是可以对应于不同的内容源。媒体项集合123B在媒体集合导入125时可以为空，或者可以包括一个或多个媒体项。

计算设备120B可以包括一个或多个可执行组件以执行媒体集合导入125，并且这些组件可以包括图像捕获组件122、数据提取组件124和媒体识别组件126。图像捕获组件122可以使计算设备120B能够捕获由计算设备120B提供的图形界面的图像内容127。图像内容的捕获可以涉及计算设备120B启动录制图像界面的一个或多个图像的图像捕获操作(例如，相机照片或视频)。数据提取组件124可以使计算设备120B能够分析图像内容127并提取与媒体项集合123的一个或多个媒体项的详细信息有关的数据。媒体识别组件126可以使计算设备能够分析所提取的数据并从不同内容源识别一个或多个对应媒体项。媒体识别组件126可以基于库服务130的媒体数据、内容源110A-C(源或目的地内容源)或其组合来识别媒体项。

计算设备120A-B的功能可以由单个计算设备执行。单个计算设备可以包括图形界面组件121和图像捕获组件122。在这种情况下，图像捕获组件122可以使用涉及屏幕截图(例如图片)、截屏(例如，视频)、其他操作或其组合的图像捕获操作来捕获图形界面的图像内容。在下文中，参考图2更详细地描述组件122、124和126以及它们的功能的进一步描述。在其他示例中，关于计算设备120A-B讨论的一个或多个特征还可以或可替代地由可以包括或可以不包括内容服务的一部分——诸如内容源110C——的服务器设备、客户端设备、其他设备或其组合来执行。

内容源110C可以是内容共享平台，其可以包括一个或多个计算设备(诸如机架式服务器、路由器计算机、服务器计算机、个人计算机、大型计算机、膝上型计算机、平板电脑、台式计算机等)、数据存储器(例如硬盘、内存、数据库)、网络、软件组件和/或硬件组件，其可以被用于为用户提供对媒体项的访问和/或向用户提供媒体项。例如，内容共享平台可以允许用户消费、上传、搜索、批准(“喜欢”)、不喜欢和/或评论共享媒体项。内容共享平台还可以包括网站(例如，Web应用)或应用(例如，智能手机应用)以及可以被用于为用户提供对媒体项112的访问的后端软件。内容共享平台可以经由适当的应用编程接口，通过一个或多个服务器将其作为提供给其他系统或计算设备的服务进行访问，因此不限于在网站中使用。

内容源110C和任何其他内容源A-Z可以包括多个频道(例如，频道A至Z)。频道可以是可从公共来源获得的数据内容，也可以是具有共同主题、话题或实质的数据内容。数据内容可以是用户选择的数字内容、用户可用的数字内容、用户上传的数字内容、内容提供商选择的数字内容、广播公司选择的数字内容等。例如，频道X可以包括视频Y和Z。频道可以与所有者相关联，所有者是可以对该频道执行操作的用户。可以基于所有者的动作——诸如所有者使数字内容可用在频道上、所有者选择(例如喜欢)与另一个频道相关联的数字内容、所有者对与另一个频道相关联的数字内容进行评论等——来将不同的活动与该频道相关联。与频道相关联的活动可以被收集到该频道的活动提要中。除了频道的所有者之外，用户可以订阅他们感兴趣的一个或多个频道。“订阅”的概念也可以被称为“喜欢”、“关注”、“加好友”等。“用户”可以被表示为单个个人。然而，本公开的其他实施方式涵盖作为由一组用户和/或自动源控制的实体的“用户”。例如，联合为在社交网络中的社区的一组个人用户可以被视为用户。在另一个示例中，自动消费者可以是内容共享平台的自动摄取管道，诸如主题频道。

在此处讨论的系统收集有关用户的个人信息或可以利用个人信息的情况下，可以为用户提供以下机会：控制内容共享平台是否收集用户信息(例如，有关用户社交网络的信息、社交行为或活动、职业、用户的偏好或用户的当前位置)，或控制是否和/或如何从内容服务器接收与用户可能更为相关的内容。另外，某些数据在被存储或使用之前可能会以一种或多种方式对其处理，以使得移除个人可识别信息。例如，可以对用户的身份进行处理，以使得无法确定用户的个人可识别信息，或者可以在获得位置信息的情况下将用户的地理位置泛化(例如，泛化到城市、邮政编码或州级别)，以使得无法确定用户的具体位置。因此，用户可以控制如何收集关于用户的信息以及其如何被内容共享平台使用。

网络140可以包括公共网络(例如，互联网)、专用网络(例如，局域网(LAN)或广域网(WAN))、有线网络(例如，以太网)、无线网络(例如，802.11网络或Wi-Fi网络)、蜂窝网络(例如，长期演进(LTE)网络)、路由器、集线器、交换机、服务器计算机和/或其组合。在一个实施方式中，数据存储器240可以是存储器(例如，随机存取存储器)、高速缓存、驱动器(例如，硬盘驱动器)、闪存驱动器、数据库系统或能够存储数据的另一种类型的组件或设备。数据存储器240还可以包括也可以跨越多个计算设备(例如，多个服务器计算机)的多个存储组件(例如，多个驱动器或多个数据库)。

图2示出了根据本技术的一种实施方式的示例性计算设备120B，用于通过光学分析内容源的图形界面来导入媒体项集合。以下将是有利的：计算设备120B可以响应于接收到用户输入或者响应于自动检测到(例如，在没有用户输入的情况下)将媒体添加到与第二内容源(例如目的地或目标源)相关联的集合中，启动从第一内容源(例如，原始源)导入。图2中显示的组件和模块可以由一个或多个应用、操作系统特征或其组合来实现。如上所述，计算设备120B可以包括图像捕获组件122、数据提取组件124、媒体识别组件126和数据存储器240。可以包括更多或更少的组件或模块而不会失去一般性。例如，可以将两个或以上组件组合为单个组件，或者可以将组件的特征划分为两个或以上组件。在一种实施方式中，组件或模块的一个或多个特征可以驻留在不同的计算设备(例如，不同的客户端设备、不同的服务器设备或其组合)上。

图像捕获组件122可以使计算设备120B能够捕获内容源的图形界面的图像内容127。这可能涉及计算设备120B启动录制图形界面的一个或多个图像的图像捕获操作(例如，相机照片或视频)。在一个示例中，图像捕获组件122可以包括启动模块212、相机模块214A、屏幕捕获模块214B和内容拼接模块216。

启动模块212可以通过激活图像捕获操作来启动从内容源导入媒体项集合。图像捕获操作可以响应于用户输入激活计算设备120B的图形控制元件而发生。在一个示例中，图形控制元件可以是应用(例如，智能电话应用)的按钮控制元件，该按钮控制元件向用户指示该应用可以从现有源导入媒体项。源可以是来自数字视频录像机(DVR)、内容流媒体服务或媒体商店或其他内容源中的至少一个的现有媒体项集合。该集合可以基于可以使用与内容源相关联的应用访问的用户的个人内容库。由启动模块212激活的图像捕获操作可以使用相机模块214A、屏幕捕获模块214B或其组合。

相机模块214A可以使计算设备120B能够使用诸如相机的光学图像捕获设备来捕获图形界面的图像内容。相机模块214A可以使用相机的一个或多个光电传感器来检测图像内容(例如，图像)，并且可以将图像内容录制到一个或多个存储设备。相机可以被集成在计算设备内，或者可以与计算设备分离并且与计算设备120B可通信地耦合。相机可以能够捕获一个或多个图片(例如，静止图像)、运动图片(例如，视频帧)或其组合。在一个示例中，计算设备120B可以是具有集成相机的移动设备(例如，移动电话)，并且可以正在执行与目的地内容源(例如，新的内容源)相关联的应用。该应用可以发起图像捕获操作以使用相机模块214A捕获由另一计算设备提供的图形界面的光学图像(例如，相机图片或视频)。另一计算设备可以是具有DVR功能的电缆盒，该电缆盒向显示设备(例如，电视屏幕、计算机屏幕)提供图形界面以显示给用户。

屏幕捕获模块214B可以使计算设备120B能够使用屏幕捕获操作来捕获图形界面的图像内容。屏幕捕获操作可以使计算设备120B能够捕获由计算设备120B提供的图形界面，这与捕获由另一计算设备提供的图形界面相反，如上参考相机模块214A所讨论的。屏幕捕获操作可以在将屏幕输出提供给与计算设备120B相关联的显示设备，并在其上显示之前、期间或之后检测并记录计算设备120B的屏幕输出。屏幕捕获操作可以捕获一个或多个图片(例如，静止图像、屏幕截图、屏幕抓图)，或者可以捕获运动图片(例如，视频帧、截屏)。在一个示例中，计算设备120B可以执行多个应用(例如，智能电话应用)，并且第一应用可以与目的地内容源(例如，内容共享平台)相关联，并且第二应用可以与从其中导入的内容源相关联。第一应用(例如，

App)可以启动图像捕获操作以捕获第二应用(例如，用于DVR、

Showtime

Prime

的应用)的图形界面的屏幕截图或截屏。

内容拼接模块216可以使计算设备120A能够混合来自多个图像的图像内容。内容拼接模块216可以包括一种或多种光学识别操作，以执行对象识别、图像配准、对齐和混合。对象识别可以涉及识别与正在显示图形界面的显示设备(例如，TV显示器)相关联的图像的部分。在拼接图像内容时，可以混合图形界面的图像内容，而无需混合图像内容的其他部分(例如，电视柜、客厅墙壁)的内容。图像配准可以涉及识别与图形界面的各部分相关联的可区分图像特征(例如，独特特征)。图像对齐可以搜索多个图像的可区分图像特征，并且从不同图像中找到匹配特征。这些匹配特征可以被用来对齐不同的图像。图像混合可以涉及将第一图像的图像内容与第二图像的图像内容混合，并且可以包括运动补偿和内容去重。

拼接图像内容可能是有利的，因为它可以将来自多个图像的图形界面的图像内容合并为更少的图像(例如单个图像)，以提高后续图像分析(例如光学识别)的速度或质量。拼接来自单独的图像的图像内容可以提供上下文或增强在图形界面的不同部分中显示的媒体详细信息的上下文。例如，图形界面可以以图形结构(例如，列表、表格或网格)显示多个媒体项，并且特定行中的媒体项可能需要图形界面的移动(例如，水平移动)以暴露特定媒体项的所有详细信息。当第一图像向左滚动(例如，以查看第一列)时，第一图像可以捕获图形界面，并且可以显示多个媒体项的详细信息(例如，标题或其他标识详细信息)的第一部分。当第二图像向右滚动(例如，以查看最后一列)时，第二图像可以捕获该图形界面，并且可以显示多个媒体项的详细信息的第二部分(例如，观看状态或其他状态详细信息)。在未对齐(例如拼接)内容的情况下，单独地分析第一图像和第二图像以提供上下文可能得到与第二图像的错误状态详细信息相关联的第一图像的标识详细信息。如果用户水平和垂直地滚动以使第一图像中的条目(例如，最上面的条目)与第二图像中的相应条目(例如，最上面的条目)未对齐，则这可能甚至更加明显。通过执行图像拼接，图像内容可以在上下文中提供所有媒体数据(例如，单个图像显示)。

数据提取组件124可以使计算设备120B能够分析图像内容127并提取对应于由图形界面显示的该媒体项集合中的一个或多个媒体项的详细信息。在一个示例中，数据提取组件124可以包括光学识别模块222、界面分类模块224和媒体详细信息检测模块226。

光学识别模块222可以使计算设备120B能够分析图像内容127并提取用于识别在图形界面中列出的媒体项的数据。光学识别模块222可以对图像内容执行一个或多个光学识别操作以识别图形界面的图像特征244。图像特征244可以包括文本数据、图形数据、布局数据、其他数据或其组合。文本数据可以包括符号、字母、数字、单词、其他数据或其组合。图形数据可以包括媒体图形，诸如封面、专辑封面、缩略图、特定视频帧、其他图形或其组合。布局数据(layout data)可以识别图形界面的各个方面，诸如面板、窗口、菜单、选项卡、行、列、下拉列表、扩展存根(stub)、按钮、其他显示特征或其组合。

在一个示例中，图形界面可以包括多平面滚动，其中，图形界面的一部分以与图形界面的另一部分不同的速率移动(例如，滚动)。例如，媒体项图形(例如，封面)下方的区域可以包括滚动数据，该滚动数据显示关于媒体项的标题或其他详细信息。滚动数据可以包括比显示区域更长的文本串，并且移动可以使整个文本串能够显示一持续时间(例如，滚动周期)。光学识别模块222可以检测多平面滚动并且分析多个图像的组合以识别正在滚动的内容。这些特征可以被存储在数据存储器中(例如，作为图像内容127、媒体特征244或媒体详细信息246)，或者被嵌入到捕获的图像内容或拼接图像内容中，并且由另一组件或模块访问。

界面分类模块224可以使计算设备120B能够对图形界面进行分类并检测图形界面的起源。图形界面可以源自特定的内容源、特定的计算设备或其组合。在一个示例中，图形界面可以对应于特定的内容源(例如

)，并且可以看起来相同或相似，并且独立于用于访问内容源的计算设备。在另一个示例中，图形界面可以对应于特定的内容源和特定的计算设备(例如，客户端设备、网络浏览器、移动应用)。例如，可以从不同的计算设备(例如，机顶盒、移动设备、个人计算机)访问有线服务，并且每个计算设备可以具有不同的图形界面。界面分类模块224可以访问和分析图像内容127、所提取的数据、图像特征或其组合，以确定多个预定图形界面模板中的哪一个对应于所显示的图形界面。

图形界面模板可以被用来增强分析的速度和/或质量。图形界面模板可以指示对应于导入所需的媒体详细信息的所显示的图形界面的部分，并且可以使得分析能够减少(例如，忽略、避开)图形界面的其他部分的分析。在一个示例中，分类图形界面可以通过使计算设备120B能够向用户提供暴露媒体项的详细信息的指令来增强数据提取。指令可以向用户指示如何操作(例如，导航)图形界面，并且可以包括诸如向左滚动、展开项目、下拉、选择选项卡、启动窗口、返回、其他指令或其组合的指令。

媒体详细信息检测模块226可以分析图像特征244、图像内容127、其他数据或其组合，以检测所显示的媒体项集合中的一个或多个媒体项的媒体详细信息246。媒体详细信息检测模块226可以鉴于布局数据来分析文本数据和图像数据，以确定哪些数据对应于特定条目(例如，第一行上的媒体项)，以及哪些数据对应于不同的条目(例如，第二行上的媒体项)。媒体详细信息检测模块226可以访问界面分类模块224的输出，以确定图形界面的特定区域，该特定区域包括用于对应于特定媒体详细信息(例如，标题字段、观看字段、订阅字段)的数据。

媒体详细信息246可以包括由图形界面显示的任何详细信息，并且可以随后被用来识别特定的媒体项。媒体详细信息可以包括标识数据、状态数据、摘要数据、评论数据、其他数据或其组合。识别数据可以是被用来识别媒体项的数据，并且可以包括标题数据(例如，电影、演出、游戏、系列、剧集的标题)、描述数据(摘要、持续时间)、发行数据(例如创建日期、上传日期、发行日期)、制片人数据(例如作者、制片人、导演)、媒体参与者数据(例如演员、艺术家)、媒体提供商(例如工作室、内容源)、其他数据或其组合。状态数据可以包括消费数据、订阅数据、访问数据或其组合。状态数据可以指示特定的媒体项是否被消费(例如，观看、读取、收听、下载、安装或访问)。消费数据可以指示消费是开始、进行中还是结束，并且可以基于符号(例如，复选标记、空心圆)、标签(例如，“观看”、“未观看”)、文本字体(删除线、颜色、粗体)、位置(例如，观看部分)、图形修改(例如，灰色的封面)、其他指示符或其组合。

媒体识别组件126可以使计算设备能够分析以上讨论的数据，以从新的内容源中识别一个或多个对应媒体项。媒体识别组件126可以基于本文讨论的数据并且鉴于库服务、内容源(原始或新内容源)或其组合来识别媒体项。在一个示例中，媒体识别组件126可以包括搜索模块232、详细信息比较模块234、匹配模块236和引用存储模块238。

搜索模块232可以使用上述一个或多个数据项执行媒体项的一个或多个搜索。例如，搜索模块232可以访问从图像提取的数据，并且可以使用所提取的数据来执行搜索。搜索可以是基于一个或多个关键字(例如，标题、日期、参与者)的文本搜索、基于一个或多个图形(例如，封面、代表帧、场景)的图形搜索、其他搜索或其组合。搜索可以从库服务返回单个媒体项或多个媒体项。库服务可以在计算设备120A内部(例如，本地数据库)或在计算设备120B外部(例如，与计算设备120B分离或远程)。外部库服务可以与用户切换到的内容源集成，或者可以是计算设备120B可访问的第三方库服务。第三方库服务可以提供有关媒体项的详细信息，而不提供媒体项的内容(例如，视频内容)。

详细信息比较模块234可以将从图形界面提取的详细信息与从一个或多个搜索返回的详细信息进行比较。搜索可以返回具有一个或多个媒体项的搜索结果，并且详细信息比较模块234可以将特定媒体项的详细信息与搜索结果中的一个或多个媒体项的详细信息进行比较。在一个示例中，比较可以涉及比较对特定媒体项标题返回的结果的发行数据或参与者数据。

匹配模块236可以基于搜索结果和/或上述比较来识别一个或多个匹配媒体项。该匹配可以对一个或多个搜索结果进行排名，并且可以将一个或多个媒体项识别为最佳匹配(例如，超过预定阈值)。

引用存储模块238可以存储对所识别的媒体项的引用。可以通过从第一内容源(例如，原始内容源)的显示的媒体项集合中识别引用，并且可以将引用存储在用于第二内容源(例如，新的内容源)的媒体项集合中。引用可以是可以存储指示第二内容源可访问的媒体项的数据的任何数据结构，并且可以包括标识符(例如，视频ID)、链接(例如，超链接)、其他标识数据或引用、或其组合。

数据存储器240可以包括永久数据存储(例如，闪存)或非永久数据存储(例如，内存)，并且可以在计算设备120B本地、与计算设备120B远程或其组合。本地数据存储可以在计算设备120B的内部，并且可以包括嵌入式存储、可移动存储或其他类型的存储。远程数据存储可以在计算设备120B的外部，并且可以由计算设备120B通过网络连接访问。在一个示例中，计算设备120B的数据存储器240可以包括本地数据存储器和远程数据存储器的组合，本地数据存储器包括嵌入式数据存储器，并且远程数据存储器可以是基于云的数据存储器。

图3描绘了根据本技术的一种实现方式的方法300的一个说明性示例的流程图，该方法300用于通过光学地分析内容源的图形界面来导入媒体项集合。方法300及其各个单个功能、例程、子例程或操作可以由执行该方法的计算机设备的一个或多个处理器来执行。在某些实施方式中，方法300可以由单个计算设备执行。可替代地，方法300可以由两个或以上计算设备执行，每个计算设备执行方法的一个或多个单个的功能、例程、子例程或操作。

为了简化说明，将本公开的方法描绘和描述为一系列动作。然而，根据本公开的动作可以以各种顺序和/或同时发生，并且具有本文未呈现和描述的其他动作。此外，可能不需要所有示出的动作来实现根据所公开主题的方法。另外，本领域的技术人员将理解并认识到，所述方法可以替代地经由状态图或事件被表示为一系列相互关联的状态。另外，应当意识到，在本说明书中公开的方法能够被存储在制品上，以便于将这些方法运输和传送到计算设备。如本文所使用的术语“制品”旨在涵盖可从任何计算机可读设备或存储介质访问的计算机程序。在一个实施方式中，方法300可以由如图1和2所示的计算设备120B执行。

方法300可以由服务器设备或客户端设备的处理设备执行，并且可以在框302开始。在框302，处理设备可以启动从内容源导入媒体项集合。该集合可以包括一个或多个媒体项，并且可以对应于内容源的个人内容库，该内容源包括数字视频录像机(DVR)、内容流媒体应用(例如，

HBO

Showtime

)、内容商店(例如，iTunes

Google

)或其组合中的至少一个。

在框304，处理设备可以捕获内容源的图形界面的图像内容。捕获图像内容可以涉及基于用户输入来激活图像捕获操作并且接收和录制图形界面的图像内容。图像捕获操作可以包括相机操作或屏幕捕获操作。在一个示例中，捕获图像内容可以涉及启动第一计算设备的相机操作以捕获由第二计算设备提供的图形界面的图像内容(例如，显示设备的光学输出)。第一和第二计算设备可以是不同的设备，诸如分别为移动电话和电视。在另一示例中，捕获图像内容可以涉及启动计算设备的屏幕捕获操作，该捕获操作捕获图形界面的图像内容(例如，用于显示设备的数字输出)。图形界面可以由在同一计算设备上执行的内容源的应用提供。

图像捕获操作可以捕获多个静止图像(例如，相机照片或屏幕截图)或多个视频图像(例如，相机视频或视频屏幕捕获)。图像可以捕获图形界面的运动，诸如在一个或多个滚动操作(例如，多平面滚动)期间发生的运动。滚动操作可以暴露多个媒体项的详细信息，并且包括水平滚动、垂直滚动、其他滚动或其组合中的至少一个。图形界面可以包括显示媒体项集合的子集的维度，并且可以不存在(例如，缺少、隐藏、没有)该集合中的至少一个或多个其他媒体项的详细信息。在一个示例中，处理设备可以分析多个图像并且拼接多个图像中的一个或多个图像的图像内容以创建拼接图像内容。拼接图像内容可以包括通过图形界面的移动而暴露的媒体项的详细信息。

在框306，处理设备可以从图形界面的图像内容提取数据。从图形界面的图像内容中提取数据可以包括对图像内容执行光学识别，以检测该内容源的集合中的一个或多个媒体项的文本和/或图形(例如，封面、专辑封面、缩略图)。所提取的数据可以包括图形界面的布局数据、文本数据、图形数据或其他数据。处理设备可以分析所提取的数据以确定媒体项是否已经被消费(例如，完全消费或部分消费、未消费)。

在框308，处理设备可以基于来自图像内容的数据来识别内容源的媒体项。识别内容源的媒体项可以涉及使用来自图像内容的数据项(例如，标题文本)来执行对库服务的搜索。库服务可以与内容源分离，并且可以由内容共享平台或第三方源(例如，IMDB、Gracenote)提供。处理设备还可以将搜索结果与来自图像内容的另一条数据(例如，发行日期)进行比较，并从结果中选择与图像内容的数据最匹配(例如，在预定阈值内匹配)的媒体项。

在框310，处理设备可以存储对媒体项的引用。存储对媒体项的引用可以涉及使用对媒体项的引用来更新第二内容源的个人内容库。响应于完成上文参考框310描述的操作，该方法可以终止。

图4提供了内容源110A的示例性图形界面421和用于导入由图形界面421显示的媒体项集合的示例性计算设备120B。在所示的示例中，存在多个计算设备120A-B、显示设备422、图形界面421和图像内容127。

计算设备120A可以是与特定内容源110A(例如，有线电视公司)相关联的机顶盒。计算设备120A可以经由有线连接(例如，HDMI、VGA、DisplayPort)或无线连接(例如，Wifi、蓝牙)通信地耦合到显示设备422A。计算设备120A可以向显示设备422(例如，电视屏幕)提供图形界面421，显示设备422可以向计算设备120B显示图形界面。计算设备120B可以是具有相机的移动电话，并且可以捕获图形界面421的图像内容127。计算设备120B可以与另一内容源相关联，并且可以执行以上参考图1-3讨论的特征以便将媒体项集合112A-G导入其他内容源。

图5描绘了根据本公开的一个或多个方面操作的计算机系统的框图。在某些实施方式中，计算机系统500可以(例如，经由诸如局域网(LAN)、内联网、外联网或互联网等网络)连接到其他计算机系统。计算机系统500可以在客户端-服务器环境中以服务器或客户端计算机的能力来操作，或者在对等或分布式网络环境中作为对等计算机来操作。计算机系统500可以由个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、web器材、服务器、网络路由器、交换机或桥接器或能够执行指令集(顺序指令或其他指令)的任何设备提供，所述指令指定了将由该设备采取的动作。此外，术语“计算机”应当包括单独地或共同地执行一组(或多组)指令以执行本文所描述的方法中的任何一个或多个的计算机的任何集合。

在另一方面，计算机系统500可以包括处理设备502、易失性存储器504(例如，随机存取存储器(RAM))、非易失性存储器506(例如，只读存储器(ROM)或电可擦除可编程ROM(EEPROM))和数据存储设备516，所述数据存储设备516可以经由总线508彼此通信。

处理设备502可以由诸如通用处理器(诸如，复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、实现其他类型的指令集的微处理器或实现多种类型指令集的组合的微处理器)或专用处理器(诸如，专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或网络处理器)等的一个或多个处理器来提供。

计算机系统500可以进一步包括网络接口设备522。计算机系统500还可以包括视频显示单元510(例如，LCD)、字母数字输入设备512(例如，键盘)、光标控制设备514(例如，鼠标)和信号生成设备520。

数据存储设备516可以包括其上可以存储编码本文所描述的方法或功能中的一个或多个的指令526的非暂时性计算机可读存储介质524，指令526包括编码图1和图2的媒体识别组件126并且用于实现方法300的指令。

在由计算机系统500执行指令526期间，指令526也可以全部或部分驻留在易失性存储器504内和/或处理设备502内，因此易失性存储器504和处理设备502也可以构成机器可读存储介质。

虽然在说明性示例中将计算机可读存储介质524示出为单个介质，但是术语“计算机可读存储介质”应当包括存储可执行指令的一个或多个集合的单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的缓存和服务器)。术语“计算机可读存储介质”还应当包括能够存储或编码指令集合以供计算机执行的任何有形介质，所述指令集合致使计算机执行本文所描述的方法中的任何一个或多个。术语“计算机可读存储介质”应当包括但不限于固态存储器、光学介质和磁性介质。

本文所描述的方法、组件和特征可以由分立的硬件组件来实现，或者可以集成在诸如ASIC、FPGA、DSP等其他硬件组件或类似设备的功能中。另外，方法、组件和特征可以由硬件设备内的固件模块或功能电路来实现。此外，方法、组件和特征可以以硬件设备和计算机程序组件的任何组合或以计算机程序来实现。

除非另有特别说明，否则诸如“检测”、确定”、“释放”、“破坏”、“初始化”、“创建”、“放弃”等术语是指由计算机系统执行或实现的动作和过程，其操纵并且将表示为计算机系统寄存器或存储器内的物理(电子)量的数据转换为类似地表示为计算机系统存储器或寄存器或其他此类信息存储、传输或显示设备内的物理量的其他数据。而且，如本文所使用的术语“第一”、“第二”、“第三”、“第四”等是指用于区分不同要素的标签，并且可以不具有根据其数字名称的序数含义。

本文所描述的示例还涉及用于执行本文所描述的方法的装置。该装置可以被特别构造用于执行本文所描述的方法，或者它可以包括由存储在计算机系统中的计算机程序选择性地编程的通用计算机系统。这种计算机程序可以被存储在计算机可读的有形存储介质中。

本文描述的方法和说明性示例不与任何特定计算机或其他装置固有地相关。根据本文所描述的教导，可以使用各种通用系统，或者可以证明构造更专用的装置来执行方法500和/或其各个功能、例程、子例程或操作中的每一个是便利的。在上文的描述中阐述了多种这些系统的结构的示例。

上文的描述旨在是说明性的，而不是限制性的。虽然已经参考特定的说明性示例和实施方式描述了本公开，但是应当认识到，本公开不限于所描述的示例和实施方式。本公开的范围应当参考所附权利要求书以及权利要求书所赋予的等效形式的全部范围来确定。

Claims (15)

1.一种方法，包括：

由处理设备启动从内容源导入媒体项集合；

捕获所述内容源的图形界面的图像内容；

从所述图形界面的所述图像内容中提取数据；

基于来自所述图像内容的数据，识别所述内容源的媒体项；以及

存储对所述媒体项的引用。

2.如权利要求1所述的方法，其中，所述内容源包括个人内容库，并且其中，存储对所述媒体项的引用包括更新第二内容源的个人内容库。

3.如权利要求2所述的方法，其中，所述内容源的个人内容库和所述第二内容源的个人内容库中的一个或两个对应于数字视频录像机(DVR)、内容流媒体应用或内容商店中的至少一个。

4.如权利要求1、2或3中的任一项所述的方法，其中，从所述图形界面的所述图像内容提取数据包括：对所述图像内容执行光学识别，以从所述内容源中检测与所述媒体项集合中的一个或多个媒体项有关的数据。

5.如权利要求4所述的方法，其中，与所述一个或多个媒体项有关的数据包括文本和图形中的任何一个。

6.如前述权利要求中的任一项所述的方法，其中，捕获所述图像内容包括：启动第一计算设备的相机操作以捕获由第二计算设备提供的图形界面的图像内容。

7.如权利要求6所述的方法，其中，所述第一设备是移动电话，并且所述第二设备是电视。

8.如权利要求1至5中的任一项所述的方法，其中，捕获所述图像内容包括：启动计算设备的屏幕捕获操作以捕获所述图形界面的所述图像内容，其中，所述图形界面由在捕获所述图像内容的计算设备上执行的内容源的应用提供。

9.如前述权利要求中的任一项所述的方法，其中，捕获所述图形界面的所述图像内容包括：在滚动操作期间，捕获所述图形界面的视频，其中，所述滚动操作暴露多个媒体项的详细信息，并且包括水平滚动或垂直滚动中的至少一个。

10.如前述权利要求中的任一项所述的方法，进一步包括：

分析所述图形界面的多个图像，其中，所述多个图像包括多个视频帧或多个静止图像；以及

拼接所述多个图像中的一个或多个图像的图像内容以创建拼接图像内容，所述拼接图像内容包括由所述图形界面的移动而暴露的媒体项的详细信息。

11.如前述权利要求中的任一项所述的方法，其中，识别所述内容源的媒体项包括：

使用来自所述图像内容的数据项执行库服务的搜索；

将所述搜索的结果与来自所述图像内容的另一条数据进行比较；以及

从所述结果中选择与所述图像内容的所述数据匹配的媒体项。

12.如前述权利要求中的任一项所述的方法，进一步包括：基于所述图形界面的所述图像内容来确定所述媒体项是否已经被消费。

13.如前述权利要求中的任一项所述的方法，其中，所述媒体项包括视频、音频录音、图片、书或应用中的至少一个。

14.一种系统，包括：

存储器；以及

可通信地耦合到所述存储器的处理设备，其中，所述处理设备被配置为执行如权利要求1至13中的任一项所述的方法。

15.一种存储指令的非暂时性机器可读存储介质，所述指令在被执行时使处理设备执行如权利要求1至13中的任一项所述的操作。

Images