CN112753226A - 用于识别和解译嵌入式信息卡内容的机器学习 - Google Patents

Abstract

从嵌入在视频流中的卡图像中提取所述视频流的精彩片段的元数据。所述精彩片段可以是一个或多个用户特别感兴趣的视频流的片段，例如体育事件的广播。标识并处理嵌入在所述视频流的视频帧中的卡图像以提取文本。可以通过应用利用嵌入在体育运动电视节目内容中的卡图像提取的一组字符训练的机器学习模型来识别文本字符。可以预处理字符向量的训练集以最大化所述训练集成员之间的度量距离。可以解译所述文本以获得所述元数据。所述元数据可以与所述视频流的所述部分相关联地存储。所述元数据可以提供关于所述精彩片段的信息，并且可以与所述精彩片段的回放同时呈现。

Description

用于识别和解译嵌入式信息卡内容的机器学习

申请人：

Thuuz,公司

发明人：

Mihailo Stojancic

Warren Packard

相关申请的交叉引用

本申请要求于2018年5月18日提交的题为“用于识别和解译嵌入式信息卡内容的机器学习(Machine Learning for Recognizing and Interpreting EmbeddedInformation Card Content)”(代理人案卷号THU010-PROV)的第62/673,412号美国临时申请的权益，所述美国临时申请以全文引用的方式并入本文中。

本申请要求于2019年5月14日提交的题为“用于识别和解译嵌入式信息卡内容的机器学习(Machine Learning for Recognizing and Interpreting EmbeddedInformation Card Content)”(代理人案卷号THU010)的第16/411,710号美国实用申请，所述美国实用申请以全文引用的方式并入本文中。

本申请要求于2018年5月18日提交的题为“用于实现体育运动精彩片段生成的视频处理(Video Processing for Enabling Sports Highlights Generation)”(代理人案卷号THU009-PROV)的第62/673,411号美国临时申请，所述美国临时申请以全文引用的方式并入本文中。

本申请要求于2019年5月14日提交的题为“用于实现体育运动精彩片段生成的视频处理(Video Processing for Enabling Sports Highlights Generation)”(代理人案卷号THU009)的第16/411,704号美国实用申请，所述美国实用申请以全文引用的方式并入本文中。

本申请要求于2018年5月18日提交的题为“用于嵌入式信息卡定位和内容提取的视频处理(Video Processing for Embedded Information Card Localization andContent Extraction)”(代理人案卷号THU012-PROV)的第62/673,413号美国临时申请的权益，所述美国临时申请以全文引用的方式并入本文中。

本申请要求于2019年5月14日提交的题为“用于嵌入式信息卡定位和内容提取的视频处理(Video Processing for Embedded Information Card Localization andContent Extraction)”(代理人案号THU012)的第16/411,713号美国实用申请，所述美国实用申请以全文引用的方式并入本文中。

本申请要求于2018年6月5日提交的题为“用于在体育赛事电视节目中检测人群噪声的出现的音频处理(Audio Processing for Detecting Occurrences of Crowd Noisein Sporting Event Television Programming)”(代理人案卷号THU007-PROV)的第62/680,955号美国临时申请的权益，所述美国临时申请以全文引用的方式并入本文中。

本申请要求于2018年7月30日提交的题为“用于从电视信号提取可变长度不相交区段的音频处理(Audio Processing for Extraction of Variable Length DisjointSegments from Television Signal)”(代理人案卷号THU006-PROV)的第62/712,041号美国临时申请的权益，所述美国临时申请以全文引用的方式并入本文中。

本申请要求于2018年10月16日提交的题为“用于检测以短时能量突发为特征的响亮声音的出现的音频处理(Audio Processing for Detecting Occurrences of LoudSound Characterized by Short-Time Energy Bursts)”(代理人案卷号THU016-PROV)的第62/746,454号美国临时申请的权益，所述美国临时申请以全文引用的方式并入本文中。

本申请涉及于2012年8月31日提交的题为“生成现场表演的兴奋水平(GeneratingExcitement Levels for Live Performances)”的第13/601,915号美国实用申请并于2015年6月16日作为第9,060,210号美国专利发布，所述美国实用申请以全文引用的方式并入本文中。

本申请涉及于2012年8月31日提交并于2014年9月23日作为第8,842,007号美国专利发布的题为“生成现场表演的提醒(Generating Alerts for Live Performances)”的第13/601,927号美国实用申请，所述美国实用申请以全文引用的方式并入本文中。

本申请涉及2012年8月31日提交的并于2013年11月26日作为第8,595,763号美国专利颁发的第13/601,933号美国实用申请“生成用于现场表演的前导广告(GeneratingTeasers for Live Performances)”，所述美国实用申请以全文引用的方式并入本文中。

本申请涉及2014年10月9日提交的题为“生成描绘事件的定制精彩片段序列(Generating a Customized Highlight Sequence Depicting an Event)”(代理人案卷号THU001)的第14/510,481号美国实用申请的优先权，所述美国实用申请以全文引用的方式并入本文中。

本申请涉及2015年5月12日提交的题为“生成描绘多个事件的定制精彩片段序列(Generating a Customized Highlight Sequence Depicting Multiple Events)”(代理人案卷号THU002)的第14/710,438号美国实用申请，所述美国实用申请以全文引用的方式并入本文中。

本申请涉及2015年10月7日提交的题为“具有叙述成分的精彩片段展现的定制产生(Customized Generation of Highlight Show with Narrative Component)”(代理人案卷号THU004)的第14/877,691号美国实用申请，所述美国实用申请以全文引用的方式并入本文中。

本申请涉及2016年9月14日提交的题为“用于与定制精彩片段展现交互的用户界面(User Interface for Interaction with Customized Highlight Shows)”(代理人案卷号THU005)的第15/264,928号美国实用申请，所述美国实用申请以全文引用的方式并入本文中。

技术领域

本文档涉及用于在递送多媒体内容的电视装置或视频服务器上标识多媒体内容和相关联的信息，并使嵌入式软件应用程序能够利用多媒体内容来提供与所递送的多媒体内容同步的内容和服务的技术。各种实施例涉及用于提供自动化视频和音频分析的方法和系统，所述自动化视频和音频分析用于标识和提取体育运动电视视频内容中基于事件的重要视频片段，标识视频精彩片段并将元数据与此类精彩片段关联以进行比赛前、比赛中和比赛后审查。

背景技术

长期以来，已经设想例如交互式广告的增强型电视应用程序以及具有比赛前、比赛中和比赛后交互式应用程序的增强型节目指南。正在要求原先为广播电视而设计的现有电缆系统支持许多新应用程序和服务，包括交互式电视服务和增强型(交互式)节目指南。

用于实现增强型电视应用程序的一些框架已经标准化。示例包括OpenCable^TM增强型电视应用程序消息传递规范以及Tru2way规范，它们指的是通过有线视频网络递送的交互式数字电缆服务，并包括例如交互式节目指南、交互式广告、比赛等的特征。此外，有线电视运营商“OCAP”程序还提供交互式服务，例如电子商务购物、在线银行、电子节目指南和数字视频录制。这些努力已实现了第一代视频同步应用程序，并与编程者/广播公司递送的视频内容同步，并为电视节目提供了额外的数据和交互性。

视频/音频内容分析技术和功能强大的移动装置的最新发展为开发与实况电视节目事件同步地运行的复杂应用程序开辟了一系列新的可能性。在计算机视觉和视频处理方面的这些新技术和进步，以及现代处理器计算能力的提高，使得能够实时生成伴有元数据的复杂的节目内容精彩片段。

发明内容

呈现了用于体育事件电视节目内容的自动实时处理的方法和系统，以用于嵌入式信息卡定位以及嵌入式文本串的识别和解译。在至少一个实施例中，基于从嵌入在体育事件电视节目内容中的多个信息卡(卡图像)提取的字符的训练集来生成机器学习的字符分类模型。处理所提取的字符图像以在多维向量空间中生成多维字符向量的标准化训练集。接着对此训练集执行主成分分析(principal component analysis；PCA)，以便导出跨越训练集的向量空间的正交基向量。

在至少一个实施例中，通过从正交基中选择有限数量的代表性正交向量来减小训练集向量空间的维数。通过利用机器学习算法结构，针对出现在嵌入式信息卡中的此特定组的所投射的字母数字字符生成分类模型，所述机器学习算法结构可以是已知的机器学习算法，例如多类支持向量机(multi-class support vector machine；SVM)或卷积神经网络(convolutional neural network；CNN)算法。

在至少一个实施例中，体育事件电视节目内容被实时处理以提取查询(来自信息卡中的字符串的嵌入式字符)，并利用从嵌入式字符串中提取的个别字符图像来建立查询基础架构。在另一实施例中，将个别查询图像归一化以生成用于每个查询字符的查询向量；随后，将这些查询向量投射到跨越训练向量空间的正交基上以生成所投射的查询向量。在又一实施例中，通过将先前习得的字符分类模型应用于每个所投射的查询向量来识别(预测)所投射的查询向量。最后，通过含义提取来解译预测查询字符(形成预测字符串)。在至少一个实施例中，基于各种电视节目卡图像类型中的已知字符串位置以及基于字符串中个别字符的位置的知识来执行含义提取。在至少一个实施例中，所提取的信息自动地附加到与体育事件视频精彩片段相关联的体育事件元数据。

在至少一个实施例中，一种用于从视频流提取元数据的方法包括：存储视频流的至少一部分；标识嵌入在视频流的所述部分的一个或多个视频帧中的一个或多个卡图像；以及随后处理所述一个或多个信息卡图像以提取文本。在又一实施例中，从信息卡图像中提取的文本被解译为生成和存储与视频流的部分相关联的元数据。

在至少一个实施例中，视频流可为体育赛事的广播。视频流的部分可以是被视为一个或多个用户特别感兴趣的精彩片段。元数据可描述精彩片段。

在至少一个实施例中，方法可进一步包括：在标识一个或多个卡图像、处理所述一个或多个卡图像以及解译文本中的至少一项期间，为用户播放视频流。

在至少一个实施例中，方法可进一步包括：为用户播放精彩片段，并在所述精彩片段的回放期间将元数据呈现给用户。元数据可以提供与从中已经获得元数据的卡图像的精彩片段和时间线有关的实时信息。

在至少一个实施例中，提取文本可以包括：标识一个或多个卡图像内的一个或多个字符串；并记录对应于所述一个或多个字符串中的每个字符的一个或多个卡图像的卡图像的字符图像的位置和/或大小。

在至少一个实施例中，提取文本可进一步包括：通过对检测到的字符边界进行多重比较，消除一个或多个字符串的字符的字符边界，并清除看起来过于接近彼此的字符边界。

在至少一个实施例中，提取文本可进一步包括：通过在低强度像素计数与高强度像素计数之间建立对比率来对一个或多个字符串的字符执行图像验证。

在至少一个实施例中，解译文本可以包括：基于文本生成查询；生成n维查询特征向量；将n维查询特征向量投射到训练集正交基上；将所投射的n维查询特征向量应用于分类模型以产生预测查询，并从预测查询中提取文本的含义。

在至少一个实施例中，方法可进一步包括：生成训练集特征向量，以及使用训练集特征向量来导出训练集正交基。

在至少一个实施例中，方法可进一步包括：生成训练集特征向量，以及使用训练集特征向量和导出的训练集正交基向量来生成分类模型。

在至少一个实施例中，解译文本可进一步包括使用选自由以下组成的群组在的至少两个选择：文本内的一个或多个字符串的串长度、文本内的字符边界和/或字符的位置，以及文本内的字符边界和/或字符的水平位置。

在至少一个实施例中，存储与视频流的部分相关联的元数据可以包括存储与查询相关联的一个或多个视频帧的视频帧号。

在至少一个实施例中，解译文本可以包括：确定文本的一个或多个字符串的字符的字段位置；确定字符的字母数字值；以及使用字段位置和字母数字值以循序地解译一个或多个字符串。

在至少一个实施例中，解译文本可进一步包括：获得关于卡图像中的每一个的一个或多个卡字段的位置信息和其它信息，以及使用位置信息和其它信息来补偿一个或多个字符串的可能遗漏的前字符。

在至少一个实施例中，关于自动视频精彩片段生成描述了用于生成字符识别和分类模型的方法。方法包括：提取并存储将生成自动精彩片段元数据的视频流的至少一部分；标识嵌入在视频流的所述部分的一个或多个视频帧中的一个或多个信息卡图像；以及对所述一个或多个信息卡图像进行处理以提取多个字符图像。方法进一步包括：生成与多个字符图像相关联的训练特征向量；处理所述训练特征向量；使用所述训练特征向量中的至少一些来训练字符识别和分类模型；以及随后存储经处理的训练集和分类模型。可以通过增加训练特征向量的相互度量距离和/或通过减小含有训练特征向量的整体向量空间的维数来以增加训练特征向量的唯一性的方式来处理训练特征向量。

在至少一个实施例中，方法可进一步包括：在生成训练特征向量之前，将字符图像归一化到标准大小和/或标准照明。

在至少一个实施例中，生成训练特征向量可以包括将从字符图像提取的一组n个像素格式化为n维向量。

在至少一个实施例中，方法可进一步包括对训练特征向量执行主成分分析。使用至少一些训练特征向量来训练分类模型可以包括：选择训练特征正交基向量的子集，以及使用正交基向量的子集来训练字符识别和分类模型。

在至少一个实施例中，正交基向量可以跨越整体训练特征向量空间。减小整体训练特征向量空间的维数可以包括选择足够准确地表示所述训练特征向量空间的有限数量的正交基向量。减小整体向量空间的维数可以包括：仅选择与从正交基向量的矩阵导出的最大奇异值的集合相对应的正交基向量。存储分类模型可以包括存储有限数量的正交基向量，以供后续在分类模型生成和/或查询处理中使用。生成分类模型可以包括将有限数量的训练集正交基向量与从由SVM和CNN组成的群组中选出的机器学习算法结合使用。

在至少一个实施例中，方法可进一步包括：处理一个或多个信息卡图像以提取文本；解译所述文本以获得元数据；以及存储与视频流的部分相关联的元数据。方法进一步包括为用户播放视频流的部分，并在所述视频流的所述部分的回放期间将元数据呈现给用户。视频流可以是体育事件的广播。视频流的部分可包括被视为一个或多个用户特别感兴趣的精彩片段。元数据可描述精彩片段。

在至少一个实施例中，提取文本可包括将文本的文本串提取为查询。

在至少一个实施例中，提取文本可包括提取以下各项中的至少一个：体育事件的当前时间、体育事件的当前阶段、与体育事件有关的比赛时钟，以及与体育事件有关的比赛得分。

本文中描述进一步细节和变化。

附图说明

附图连同描述一起说明若干实施例。所属领域的技术人员将认识到在附图中说明的特定实施例仅是示例性的，且并不旨在限制范围。

图1A是描绘根据客户端/服务器实施例的硬件架构的框图，其中事件内容是经由网络连接的内容提供商提供。

图1B是描绘根据另一客户端/服务器实施例的硬件架构的框图，其中事件内容存储在基于客户端的存储装置处。

图1C是描绘根据独立实施例的硬件架构的框图。

图1D是描绘根据一个实施例的系统架构的概观的框图。

图2是描绘根据一个实施例的可并入到卡图像、用户数据、精彩片段数据和分类模型中的数据结构的示例的示意性框图。

图3是来自视频流的视频帧的示例的屏幕截图，其展示了可在体育事件电视节目内容中找到的帧内嵌入式信息卡图像。

图4是描绘根据一个实施例的实时接收和处理用于帧内信息卡定位以及内容提取和显现的电视节目内容的整体应用过程的流程图。

图5是描绘根据一个实施例的用于字符串限界框提取的检测到的和提取的信息卡图像的内部处理的流程图。

图6是描绘根据一个实施例的用于处理文本框以进行最终有界字符图像验证和相关联的位置参数提取的方法的流程图。

图7是描绘根据一个实施例的用于从嵌入式信息卡文本图像生成查询的方法的流程图。

图8是描绘根据一个实施例的基于机器学习的分类模型针对提取的查询字符串生成预测字母数字字符的方法流程图。

图9是描绘根据一个实施例的用于预测查询字母数字字符串解译的方法的流程图。

图10是描绘根据一个实施例的基于多类SVM分类器或CNN分类器预处理训练集向量和后续分类模型生成的流程图。

图11是描绘根据一个实施例的读取和解译信息卡中的文本字段以及利用帧内实时信息更新视频精彩片段元数据的整体过程的流程图。

具体实施方式

定义

呈现以下定义仅用于解释性的目的，且并不旨在限制范围。

·事件：出于本文中的论述的目的，术语“事件”指游戏、会话、比赛、系列节目、表演、节目、音乐会等，或其部分(例如动作、时期、四分之一、二分之一、一局、场景、章节等)。事件可以是体育事件、娱乐事件、事件中的参与者的较大群体内的单个个体或个体子集的特定表演等。非体育事件的示例包括电视节目、突发新闻、社会政治事件、自然灾害、电影、演出、广播节目、播客、有声读物、在线内容、音乐表演等。事件可以具有任何长度。出于说明性目的，本文中常常在体育事件的方面描述技术；然而，所属领域的技术人员将认识到，也可在其它背景下使用所述技术，所属背景包括用于任何视听、视觉、基于图形的、交互式、非交互式或基于文本的内容的精彩片段展现。因此，描述内容中的术语“体育事件”和任何其它体育特定术语的使用旨在说明一个可能的实施例，但并不旨在将所描述技术的范围限制于所述一个实施例。确切地，此类术语应被视为在适于技术时扩展到任何合适非体育背景。为易于描述，术语“事件”也用于是指事件的报道或表示，例如事件的视听记录，或包括事件的报道、描述或描绘的任何其它内容项目。

·精彩片段：事件的摘录或部分，或被认为是一个或多个用户特别感兴趣的与事件相关联的内容的摘录或部分。精彩片段可以具有任何长度。一般来说，本文中所描述的技术提供了用于针对任何合适事件标识和呈现一组定制精彩片段(其可以基于用户的特定特性和/或偏好被选择)的机制。“精彩片段”还可以用于是指精彩片段的报道或表示，例如精彩片段的视听记录，或包括精彩片段的报道、描述或描绘的任何其它内容项目。精彩片段无需限于事件自身的描绘，但可包括与事件相关联的其它内容。举例来说，对于体育事件，精彩片段可以包括比赛中音频/视频，以及例如比赛前、比赛中和比赛后采访、分析、解说等的其它内容。此类内容可以从线性电视被记录(例如作为描绘事件自身的视频流的部分)，或从任何数量的其它来源检索。可以提供不同类型的精彩片段，包括例如发生的事(比赛中的表现)、字符串、控制权和序列，其全部定义于下文中。精彩片段无需具有固定持续时间，而是可以并入有开始偏移量和/或结束偏移量，如下文所描述。

·内容轮廓标：指示精彩片段的开始或结束的一个或多个视频帧。

·发生的事：事件期间发生的某事。示例包括：进球、比赛中的表现、进攻机会、命中、救球、射门、进篮、抢断、捕捉或尝试捕捉、侥幸逃脱、对抗、比赛的开始或结束、四分之一、二分之一、时段、或一局、投球、罚分、受伤、娱乐事件中的戏剧性事情、歌曲、独奏等。发生的事也可以是异常的，例如电力中断、球迷不受规矩的意外事件等。可以将此类发生的事的检测用作确定是否将视频流的特定部分指定为精彩片段的基础。为易于命名，在本文中也将发生称作“比赛中的表现”，但此类用法不应被认作限制范围。发生的事可以具有任何长度，并且发生的事的表示可以具有变化的长度。举例来说，如上文所提及，发生的事的延长表示可包括描绘恰在发生的事之前和恰在发生的事之后的时间段的连续镜头，而短暂表示可仅包括发生的事自身。也可以提供任何中间表示。在至少一个实施例中，发生的事的表示的持续时间的选择可以取决于用户偏好、可用时间、所确定的发生的事的兴奋水平、发生的事的重要性和/或任何其它因素。

·偏移量：精彩片段长度被调整的量。在至少一个实施例中，可以提供开始偏移量和/或结束偏移量，以用于分别调整精彩片段的开始时间和/或结束时间。举例来说，如果精彩片段描绘进球，则可以将精彩片段延长(经由结束偏移量)几秒以便包括在进球之后的庆祝和/或球迷反应。偏移量可以被配置成例如基于可用于精彩片段的时间量、精彩片段的重要性和/或兴奋水平和/或任何其它合适因素而自动地或手动地变化。

·字符串：在某种程度上彼此联系或相关的一系列发生的事。发生的事可以发生于一个控制权(下文所定义)内，或可以跨越多个控制权。发生的事可以发生于一个序列(下文所定义)内，或可以跨越多个序列。发生的事可以由于彼此的某种主题性或叙述性连接或者因为一者导致另一者、或者出于任何其它原因而联系或相关。字符串的一个示例是导致进球或进篮的一组传球。这不应与“文本串”混淆，“文本串”具有计算机编程领域中通常赋予的含义。

·控制权：事件的任何时间分隔部分。控制权的开始时间/结束时间的分界可以取决于事件类型。对于一个团队可以处于进攻而另一团队处于防守(例如篮球或足球)的某些体育事件，控制权可以被定义为一个团队有球的时间段。在例如曲棍球或英式足球等体育运动中，其中球块或球控制权更为易变，控制权可以视为扩展到一个团队具有对球块或球的实质控制而忽略另一团队的瞬时接触(例如被阻挡的射门或救球)的时间段。对于棒球，控制权被定义为半局。对于足球，控制权可以包括同一团队有球的数个序列。对于其它类型的体育事件以及非体育事件，术语“控制权”可能稍微用词不当，但在本文中仍用于说明性目的。非体育背景下的示例可包括章节、场景、动作等。举例来说，在音乐演唱会的背景下，控制权可能等同于演奏单首歌曲。控制权可以包括任何数量的发生的事。

·序列：事件的包括动作的一个连续时间段的时间分隔部分。举例来说，在体育事件中，序列可以在动作开始(例如开球、跳球等)时开始，且可以在哨子吹响以表示动作中止时结束。在例如棒球或足球等的体育运动中，序列可以等效于为发生的事的形式的比赛中的表现。序列可以包括任何数目的控制权，或可为控制权的一部分。

·精彩片段展现：被布置成呈现给用户的一组精彩片段。精彩片段展现可以被线性地呈现(例如视频流)，或以允许用户选择查看哪一精彩片段以及查看次序(例如通过在链接或缩略图上点击)的方式被呈现。精彩片段展现的呈现可为非交互式或交互式，例如允许用户暂停、快退、跳过、快进、传达偏好或厌恶等。精彩片段展现可以例如为浓缩的比赛。精彩片段展现可以包括来自单个事件或多个事件的任何数目的邻接或非邻接精彩片段，且可以甚至包括来自不同类型的事件的精彩片段(例如，不同体育运动，和/或来自体育和非体育事件的精彩片段的组合)。

·用户/观看者：术语“用户”或“查看者”可互换地是指观看、收听或以其它方式经历事件、事件的一个或多个精彩片段或精彩片段展现的个体、群组或其他实体。术语“用户”或“观看者”还可以是指可以在某个未来时间观看、收听或以其它方式经历事件、事件的一个或多个精彩片段或精彩片段展现的个体、群组或其他实体。术语“观看者”可以用于描述性目的，但事件无需具有视频分量，使得“观看者”可以代替地是内容的收听者或任何其他消费者。

·叙述：以特定次序连接一组精彩片段区段的一个连贯的故事。

·兴奋水平：事件或精彩片段被预期为对于特定用户或一般来说为用户的兴奋或感兴趣程度的度量。也可以相对于特定发生的事或运动员确定兴奋水平。上文所引用的相关申请中论述了用于测量或评估兴奋水平的各种技术。如所论述，兴奋水平可以取决于事件内的发生的事，以及例如事件的总体背景或重要性等其它因素(季后赛、角旗暗示、争夺等)。在至少一个实施例中，兴奋水平可以与事件内的每个发生的事、字符串、控制权或序列相关联。举例来说，可以基于发生于控制权内的发生的事而确定所述控制权的兴奋水平。对于不同用户(例如一个团队的球迷对中立的球迷)可以不同地测得兴奋水平，并且其可以取决于每个用户的个人特性。

·元数据：与其它数据有关并与其它数据相关联地存储的数据。主要数据可以是例如体育节目或精彩片段的媒体。

·卡图像：视频帧中的图像，其可提供关于视频中描绘的任何内容(例如事件、事件的描绘或其一部分)的数据。示例性卡图像含有比赛得分、比赛时钟和/或体育事件的其它统计数据。卡图像可能会临时出现或在视频流的整个持续时间中出现；临时出现的那些卡图像可能特别与它们出现在视频流中的部分有关。

·字符图像：被认为与单个字符有关的图像的一部分。字符图像可包括字符周围的区域。举例来说，字符图像可包括围绕字符的大致矩形的限界框。

·字符：可以是单词、数字或单词或数字的表示的一部分的符号。字符可以包括字母、数字和特殊字符，并且可呈任何语言。

·字符串：一组字符，这些字符以表明它们与一条信息有关的方式组合在一起，例如，在体育事件中比赛的团队的名称。英语语言字符串通常会水平排列，并从左到右读取。然而，字符串在英语和其它语言中的排列方式可能有所不同。

概观

根据各种实施例，提供了用于自动地创建与体育事件的电视节目的精彩片段相关联的基于时间的元数据的方法和系统。可相对于体育事件的电视广播或者在体育事件的电视广播之后经由视频服务器从备份装置流式传输体育事件视频内容的同时，同步提取精彩片段和相关联的帧内的基于时间的信息。

在至少一个实施例中，软件应用程序与电视节目内容的回放和/或接收同步地操作，以提供与内容精彩片段相关联的信息元数据。此类软件可在例如电视装置自身上或在相关联的机顶盒(set-top box；STB)上运行，或在具有接收和随后流式传输节目内容的能力的视频服务器上运行，或在配备有接收包括实况节目的视频馈送的能力的移动装置上运行。在至少一个实施例中，精彩片段和相关联的元数据应用程序与电视节目内容呈现同步地操作。

交互式电视应用程序可以在主电视显示器上或在例如平板电脑、笔记本电脑或智能手机的辅助显示器上向观看电视节目的用户及时地、相关地呈现精彩片段的电视节目内容。生成和/或实时存储表示电视广播内容精彩片段的一组视频剪辑以及含有基于时间的元数据的数据库，所述基于时间的元数据更详细地描述了由精彩片段视频剪辑呈现的事件。

伴随视频剪辑的元数据可以是任何信息，例如文本信息、一组图像和/或任何类型的视听数据。与比赛中和比赛后视频内容精彩片段相关联的一种类型的元数据携载关于通过读取嵌入在节目内容的视频帧中的一个或多个的信息卡(“卡图像”)而直接从实况节目内容中提取的体育比赛参数的实时信息。在至少一个实施例中，所描述的系统和方法实现此类型的自动元数据生成，因此将卡图像内容与所分析的数字视频流的视频精彩片段相关联。

在各种实施例中，描述自动化过程，包括：接收数字视频流；分析数字视频流的一个或多个视频帧以用于卡图像的存在和提取；定位卡图像内的文本框；以及识别和解译驻留在文本框内的字符串。

本文中呈现的自动化元数据生成视频系统可以接收实况广播视频流或经由计算机服务器流式传输的数字视频，并且可以使用计算机视觉和机器学习技术实时地处理视频流以从嵌入式信息卡提取元数据。

在至少一个实施例中，标识与所提取的信息卡文本框相关联的字符串，并且记录字符串中的每个字符的图像的位置和大小。随后，识别来自信息卡的各种字段的文本字符中的任何数量的字符，并且解译具有所识别的字符的文本串，从而提供与体育事件电视节目有关的实时信息，例如比赛的当前时间和阶段、比赛得分、比赛中的表现信息等。

在另一实施例中，从嵌入式字符串提取个别字符图像，且随后用于生成归一化的查询向量。随后将这些归一化的查询向量投射到跨越训练向量空间的正交基上，所述训练向量先前经汇编且用于训练机器学习分类器，例如多类支持向量机(multi-class supportvector machine；SVM)分类器(例如，C.BURGES，“用于模式识别的支持向量机的教程(ATutorial on Support Vector Machines for Pattern Recognition)”，克吕维尔科学出版社(Kluwer Academic Publishers)，1998)。所投射的查询随后用于生成查询预测作为由示例性SVM训练机制产生的预先训练好的分类模型的输出。应注意，分类模型不限于基于SVM的模型。还可使用其它技术产生分类模型，例如卷积神经网络(convolutional neuralnetwork；CNN)，且所述分类模型具有适合于本文中呈现的训练数据集的CNN算法机制(例如，在Y.LeCun等人的“有效的神经网络反向传播(Efficient NN Back Propagation)”，斯普林格出版社，1998)中的众多变化。

在又一实施例中，查询字符预测通过针对先前开发的机器学习分类模型应用所投射的查询字符向量而生成。在此步骤中，根据先前建立的分类标记生成预测字符串，且将预测字母数字字符串传递到识别和解译过程。查询识别和解译过程应用先前的知识和对驻留于众多信息卡字段中的字符的位置理解。进一步解译定位于特定字符群组中的每个预测字母数字字符的含义，且将所导出的信息附加到由视频精彩片段生成应用程序处理的视频精彩片段元数据。

在又一实施例中，考虑生成字符分类模型，其中所述模型是基于从嵌入在体育事件电视节目内容中的任何数量的信息卡提取的字符的训练集。检测到字符限界框，且从众多信息卡提取字符。随后将这些字符图像归一化到标准化大小和照明，以形成与来自嵌入式信息卡中呈现的一组字母数字字符的每个特定字符相关联的描述符。以此方式，每个所提取的字符图像表示含有向量的训练集的多维向量空间中的n维向量。表示所述组字符图像的n维训练向量经进一步处理以增加唯一性和相互度量距离，以及减小训练向量的整体向量空间的维数。

在至少一个实施例中，主成分分析(例如G.Golub和F.Loan，“矩阵计算(MatrixComputations)”，约翰霍普金斯大学出版社，巴尔的摩，1989)在训练向量集上执行。因此，根据训练集设计向量的正交基，使得所述正交基向量跨越训练集向量空间。另外，通过选择有限数量的正交基向量来减小训练集向量空间的维数，使得仅保留与由基向量的训练集矩阵的奇异值分解生成的最大奇异值的集合相关联的最重要的正交向量。随后，保存所选择的训练集基向量以便后续使用针对数据集的可用的算法结构中的一个或多个(例如多类基于SVM的分类器或基于CNN的分类器)来生成分类模型。

系统架构

根据各种实施例，系统可以实施于任何电子装置或一组电子装置上，所述电子装置经装备以接收、存储和呈现信息。此类电子装置可能是例如台式计算机、膝上型计算机、电视、智能手机、平板电脑、音乐播放器、音频装置、公用信息机(kiosk)、机顶盒(set-topbox；STB)、游戏系统、可穿戴式装置、消费者电子装置等。

虽然本文中结合特定类型的计算装置中的实施方案描述了系统，但所属领域的技术人员将认识到，本文中所描述的技术可以在其它背景下实施，且实际上在能够接收和/或处理用户输入并将输出呈现给用户的任何合适装置中实施。因此，以下描述旨在借助于示例说明各种实施例，而不是限制范围。

现在参看图1A，展示了描绘根据客户端/服务器实施例的用于从嵌入在事件的视频流中的卡图像自动地提取元数据的系统100的硬件架构的框图。例如视频流的事件内容可经由网络连接的内容提供商124来提供。此类客户端/服务器实施例的示例是基于网络的实施方案，其中一个或多个客户端装置106中的每一个运行浏览器或应用程序，所述浏览器或应用程序提供用于经由通信网络104与来自包括数据提供商服务器122和/或内容提供商服务器124的各种服务器102、114、116的内容交互的用户界面。响应于来自客户端装置106的请求而传输内容和/或数据可以使用任何已知协议和语言进行，例如超文本标记语言(Hypertext Markup Language；HTML)、Java、Objective C、Python、JavaScript等。

客户端装置106可以是任何电子装置，例如台式计算机、膝上型计算机、电视、智能手机、平板电脑、音乐播放器、音频装置、公用信息机、机顶盒、游戏系统、可穿戴式装置、消费者电子装置等。在至少一个实施例中，客户端装置106具有所属领域的技术人员众所周知的数个硬件组件。输入装置151可以是从用户150接收输入的任何组件，包括例如手持式遥控器、键盘、鼠标、触笔、触敏屏(触摸屏)、触摸垫、姿势感受器、轨迹球、加速度计、五路开关、麦克风等。可以经由任何合适模式提供输入，包括例如以下各项中的一个或多个：指向、轻触、打字、拖动、做姿势、倾斜、摇动和/或语音。显示屏幕152可以是以图形方式显示信息、视频、内容等的任何组件，包括事件、精彩片段等的描绘。此类输出还可以包括例如视听内容、数据可视化、导览元素、图形元素、请求用于内容选择的信息和/或参数的查询等。在每次仅呈现期望输出中的一些的至少一个实施例中，例如滚动机制的动态控制可经由输入装置151而可用于选择当前显示哪些信息，和/或更改信息被显示的方式。

处理器157可以是用于根据众所周知的技术在软件的指导下对数据执行操作的常规微处理器。存储器156可以是具有所属领域中已知的结构和架构的随机存取存储器，其供处理器157在运行软件以执行本文中所描述的操作的过程中使用。客户端装置106还可以包括本地存储装置(未展示)，其可为硬盘驱动器、快闪驱动器、光学或磁性存储装置、基于网络(基于云)的存储装置等。

任何合适类型的通信网络104，例如因特网、电视网络、有线电视网络、蜂窝网络等，可以用作用于根据任何合适协议和技术在客户端装置106和各种服务器102、114、116和/或内容提供商124和/或数据提供商122之间传输数据的机制。除了因特网之外，其它示例还包括蜂窝电话网络、EDGE、3G、4G、长期演进(long term evolution；LTE)、会话起始协议(Session Initiation Protocol；SIP)、短消息点对点协议(Short Message Peer-to-Peer protocol；SMPP)、SS7、Wi-Fi、蓝牙、ZigBee、超文本传输协议(Hypertext TransferProtocol；HTTP)、安全超文本传输协议(Secure Hypertext Transfer Protocol；SHTTP)、传输控制协议/因特网协议(Transmission Control Protocol/Internet Protocol；TCP/IP)等，及/或其任何组合。在至少一个实施例中，客户端装置106经由通信网络104传输对数据和/或内容的请求，并从服务器102、114、116接收含有所请求的数据和/或内容的响应。

在至少一个实施例中，图1A的系统结合体育事件而操作；然而，本文中的教示还适用于非体育事件，并且应了解，本文中所描述的技术不限于对体育事件的应用。举例来说，本文中所描述的技术可以用于结合电视节目、电影、新闻事件、游戏节目、政治性动作、商业节目、戏剧和/或其它片段式内容而操作，或可以用于一个以上的此类事件。

在至少一个实施例中，系统100通过分析广播事件的视频流来标识所述事件的精彩片段。此分析可以实时进行。在至少一个实施例中，系统100包括经由通信网络104联接到一个或多个客户端装置106的一个或多个网络服务器102。通信网络104可以是公共网络、专用网络，或公共网络和专用网络的组合，例如因特网。通信网络104可以是LAN、WAN、有线、无线和/或以上的组合。在至少一个实施例中，客户端装置106能够经由有线或无线连接而连接到通信网络104。在至少一个实施例中，客户端装置还可以包括能够接收和记录事件的记录装置，例如DVR、PVR或其它媒体记录装置。此类记录装置可以是客户端装置106的部分，或可以在外部；在其它实施例中，此类记录装置可以被省略。虽然图1A展示一个客户端装置106，但系统100可以用任何数量的单个类型或多个类型的客户端装置106进行实施。

网络服务器102可以包括一个或多个物理计算装置和/或软件，其可以从客户端装置106接收请求并以数据对那些请求做出响应，以及发送出未经请求的提醒和其它消息。网络服务器102可以采用针对容错性和可缩放性的各种策略，例如负载平衡、高速缓冲存储和聚类。在至少一个实施例中，网络服务器102可以包括如所属领域中已知的高速缓冲存储技术以用于存储与事件相关的客户端请求和信息。

网络服务器102可以维持或以其它方式指定一个或多个应用程序服务器114以对从客户端装置106接收的请求做出响应。在至少一个实施例中，应用程序服务器114提供对业务逻辑的访问以供客户端装置106中的客户端应用程序使用。应用程序服务器114可以与网络服务器102共同定位、共同拥有或共同管理。应用程序服务器114也可以远离网络服务器102。在至少一个实施例中，应用程序服务器114与一个或多个分析服务器116和一个或多个数据服务器118交互以执行所公开技术的一个或多个操作。

一个或多个存储装置153可以通过存储与系统100的操作有关的数据来充当“数据存储区”。此数据可以包括例如但不限于与嵌入在呈现例如体育事件的事件的视频流中的卡图像相关的卡数据154、与一个或多个用户150相关的用户数据155、与事件的一个或多个精彩片段相关的精彩片段数据164，及/或可用于从卡数据154预测和/或提取文本的分类模型165。

卡数据154可以包括与嵌入在视频流中的卡图像有关的任何信息，例如卡图像自身、其子集(例如字符图像)、从卡图像提取的文本(例如字符和字符串)以及可有助于文本和/或含义提取的任何前述内容的属性。用户数据155可以包括描述一个或多个用户150的任何信息，包括例如人口统计数据、购买行为、视频流查看行为、兴趣、偏好等。精彩片段数据164可以包括精彩片段、精彩片段标识符、时间指示符、类别、兴奋水平，以及与精彩片段有关的其它数据。分类模型165可以包括机器训练的分类模型、查询、查询特征向量、训练集正交基、预测查询、所提取的文本含义和/或有助于从卡数据154提取文本和/或含义的其它信息。随后将详细描述卡数据154、用户数据155、精彩片段数据164和分类模型165。

值得注意的是，系统100的许多组件可以是或可以包括计算装置。此类计算装置可以各自具有与客户端装置106的架构类似的架构，如上文所展示和描述。因此，通信网络104、网络服务器102、应用程序服务器114、分析服务器116、数据提供商122、内容提供商124、数据服务器118和存储装置153中的任一个可以包括一个或多个计算装置，所述计算装置中的每一个可以任选地具有输入装置151、显示屏幕152、存储器156和/或处理器157，如上文结合客户端装置106所描述。

在系统100的示例性操作中，客户端装置106的一个或多个用户150观看呈视频流的形式的来自内容提供商124的内容。视频流可以展示例如体育事件的事件。视频流可以是可以容易地用已知计算机视觉技术处理的数字视频流。

在显示视频流时，系统100的一个或多个组件(例如客户端装置106、网络服务器102、应用程序服务器114和/或分析服务器116)可以分析视频流、标识视频流内的精彩片段，及/或从视频流，例如从所述视频流的嵌入式卡图像和/或其它方面提取元数据。可以响应于接收到对标识视频流的精彩片段和/或元数据的请求而进行此分析。替代地，在另一实施例中，可以在用户150没有做出特定请求的情况下标识精彩片段。在又一实施例中，可在不显示视频流的情况下进行视频流的分析。

在至少一个实施例中，用户150可经由客户端装置106处的输入装置151指定用于分析视频流的某些参数(例如，要包括什么事件/比赛/团队、用户150有多少时间可用于观看精彩片段、需要什么元数据，及/或任何其它参数)。还可以从存储装置，例如从存储在一个或多个存储装置153中的用户数据155提取用户偏好，以便定制对视频流的分析，而不必要求用户150指定偏好。在至少一个实施例中，可以基于观测到的用户150的行为和动作来确定用户偏好，例如，通过观测网站访问模式、电视观看模式、音乐收听模式、在线购买、先前精彩片段标识参数、由用户150实际上观看的精彩片段和/或元数据等。

另外或替代地，可以从由用户150明确地提供的先前存储的偏好检索用户偏好。此类用户偏好可以指示用户150感兴趣的是哪些团队、体育运动、运动员和/或事件类型，及/或它们可以指示用户150感兴趣的将是哪种类型的元数据或与精彩片段相关的其它信息。因此，此类偏好可以用于导引对视频流的分析以标识精彩片段和/或提取精彩片段的元数据。

可以包括如上文所描述的一个或多个计算装置的分析服务器116可以分析与来自数据提供商122的一个或多个事件相关的体育比赛现场解说统计数据的实况和/或所录制的馈送。数据提供商122的示例可以包括但不限于例如STATSTM、Perform(购自英国伦敦的Opta Sports)以及瑞士圣加仑州的SportRadar的实时体育运动信息的提供商。在至少一个实施例中，分析服务器116针对事件生成不同组兴奋水平；此类兴奋水平可接着根据本文中所描述的技术而结合由系统100标识的精彩片段被存储。

应用程序服务器114可以分析视频流以标识精彩片段和/或提取元数据。另外或替代地，此类分析可以由客户端装置106执行。所标识的精彩片段和/或所提取的元数据可以特定于用户150；在此情况下，在客户端装置106中标识与特定用户150有关的精彩片段可能是有利的。如上文所描述，客户端装置106可以接收、保留和/或检索适用的用户偏好以用于精彩片段标识和/或元数据提取。另外或替代地，精彩片段生成和/或元数据提取可以在全局范围内执行(即，使用适用于一般用户群体的客观标准，而不考虑特定用户150的偏好)。在此情况下，在应用程序服务器114中标识精彩片段和/或提取元数据可能是有利的。

有助于精彩片段标识和/或元数据提取的内容可以来自任何合适来源，包括来自内容提供商124，所述内容提供商可以包括例如YouTube、MLB.com等网站；体育运动数据提供商；电视台；基于客户端或服务器的DVR；及/或类似者。替代地，内容可以来自例如DVR的本地来源或与客户端装置106相关联(或内置于客户端装置中)的其它记录装置。在至少一个实施例中，应用程序服务器114生成定制的具有精彩片段和元数据的精彩片段展示，用户150可以下载、流式传输内容，或点播内容或以某一其它方式来使用所述精彩片段展示。

如上文所提及，在与特定用户150相关联的特定客户端装置106处执行特定于用户的精彩片段标识和/或元数据提取可能是有利的。此实施例可以避免对不必要地经由通信网络104传输视频内容或其它高带宽内容的需求，特别是如果此类内容在客户端装置106处已经可用的情况下。

举例来说，现在参看图1B，展示了根据实施例的系统160的示例，其中卡数据154、精彩片段数据164和分类模型165中的至少一些存储在基于客户端的存储装置158处，所述基于客户端的存储装置可以是客户端装置106可用的任何形式的本地存储装置。示例可以是记录事件的DVR，例如用于完整体育事件的视频内容。替代地，基于客户端的存储装置158可以是用于数字形式的数据的任何磁性、光学或电子存储装置；示例包括快闪存储器、磁性硬盘驱动器、CD-ROM、DVD-ROM或与客户端装置106集成的其它装置或以通信方式与客户端装置106联接的其它装置。基于由(一个或多个)应用程序服务器114提供的信息，客户端装置106可从存储在基于客户端的存储装置158处的卡数据154提取元数据，并且将所述元数据存储为精彩片段数据164，而不必从内容提供商124或其它远程来源检索其它内容。此布置可节省带宽，且可有效地利用可能已经可用于客户端装置106的现有硬件。

返回到图1A，在至少一个实施例中，应用程序服务器114可以根据个别用户偏好和/或其它参数来针对不同用户150标识不同的精彩片段和/或提取不同元数据。可以经由例如客户端装置106处的显示屏幕152的任何合适输出装置将所标识的精彩片段和/或提取的元数据呈现给用户150。视需要，可以标识多个精彩片段，并将其与相关联的元数据一起编译为精彩片段展示。可以经由菜单来访问此类精彩片段展示，及/或将其拼接成“精彩片段集锦”或一组精彩片段，所述“精彩片段集锦”或一组精彩片段根据预定序列为用户150播放。在至少一个实施例中，用户150可以经由输入装置151控制相关联的元数据的精彩片段回放和/或递送，例如以：

·选择要显示的特定精彩片段和/或元数据；

·暂停、快退、快进；

·向前跳到下一精彩片段；

·返回到精彩片段展现内的前一精彩片段的开始；及/或

·执行其它动作。

在上文所引用的相关美国专利申请中提供了关于此类功能性的额外细节。

在至少一个实施例中，提供了一个或多个数据服务器118。数据服务器118可以响应于来自服务器102、114、116中的任一个的对数据的请求，例如以获得或提供卡数据154、用户数据155、精彩片段数据164和/或分类模型165。在至少一个实施例中，此类信息可以存储在可以由数据服务器118访问的任何合适存储装置153处，并且可以来自任何合适来源，例如来自客户端装置106自身、内容提供商124、数据提供商122等。

现在参看图1C，展示了根据替代实施例的系统180，其中在单独环境中实施系统180。与图1B所示的实施例一样，卡数据154、用户数据155、精彩片段数据164和分类模型165中的至少一些可存储在例如DVR等基于客户端的存储装置158处。替代地，基于客户端的存储装置158可以是快闪存储器或硬盘驱动器，或与客户端装置106集成的其它装置或与以通信方式与客户端装置106联接的其它装置。

用户数据155可以包括用户150的偏好和兴趣。基于此用户数据155，系统180可以提取卡数据154内的元数据以便以本文中所描述的方式呈现给用户150。另外或替代地，可以基于不基于特定于用户150的信息的客观标准来提取元数据。

现在参看图1D，展示了根据替代实施例的具有架构的系统190的概观。在图1D中，系统190包括广播服务，例如内容提供商124；呈客户端装置106形式的内容接收器，例如具有STB的电视；能够摄取和流式传输电视节目内容的视频服务器，例如分析服务器116；及/或能够接收和处理电视节目内容的其它客户端装置106，例如移动装置和手提式计算机，全部经由例如通信网络104等网络进行连接。例如DVR的基于客户端的存储装置158可以连接到客户端装置106和/或其它组件中的任一个，并且可以存储视频流、精彩片段、精彩片段标识符和/或元数据，以有助于经由客户端装置106中的任一个标识和呈现精彩片段和/或所提取的元数据。

图1A、图1B、图1C和图1D中描绘的特定硬件架构仅是示例性的。所属领域的技术人员将认识到可以使用其它架构实施本文中所描述的技术。其中描绘的许多组件是任选的，且可以省略、与其它组件合并和/或用其它组件替换。

在至少一个实施例中，系统可以被实施为以任何合适计算机编程语言编写的软件，无论是在独立还是客户端/服务器架构中。替代地，其可以硬件实施和/或嵌入。

数据结构

图2是描绘根据一个实施例的可并入到卡数据154、用户数据155、精彩片段数据164和分类模型165中的数据结构的示例的示意性框图。

如所展示，卡数据154可以包括嵌入在一个或多个视频流中的多个卡图像中的每一个的记录。卡图像中的每一个可以含有一个或多个字符串200。字符串200中的每一个可以具有用于n个字符的记录。每个此类记录可以具有字符图像202、经处理的字符图像203、字符边界204、大小205、位置206、对比率207和/或解译208。字符串200中的每一个可以进一步具有指示字符串200的长度(例如，在字符、像素或类似者中)的串长度209。

字符图像202可以是含有单个字符的卡图像的特定部分。经处理的字符图像203可以是在应用例如针对大小、亮度等的归一化的一个或多个处理步骤之后的字符图像202。

字符边界204可以指示字符图像202、经处理的字符图像203和/或字符图像202和经处理的字符图像203中表示的字符的边界。

大小205可以是字符图像202、经处理的字符图像203和/或字符图像202和经处理的字符图像203中表示的字符的例如以像素计的大小。

位置206可以是字符图像202、经处理的字符图像203和/或在卡图像内的字符图像202和经处理的字符图像203中表示的字符的位置。在一些示例中，位置206可以指示呈二维形式的位置(例如，字符图像202、经处理的字符图像203和/或字符图像202和经处理的字符图像203中表示的字符的拐点或中心的x坐标和y坐标)。

对比率207可以是字符图像202、经处理的字符图像203和/或字符图像202和经处理的字符图像203中表示的字符的对比度的指示符。在一些示例中，对比率207可以是一个或多个最亮像素的亮度值与在字符图像202、经处理的字符图像203和/或字符图像202和经处理的字符图像203中表示的字符内的一个或多个最暗像素的亮度值的比率。

解译208可以是特定字符，例如，a、b、c、1、2、3、#、&等，所述特定字符被认为在已经执行一些分析以解译字符串200之后在字符图像202中表示。

图2中阐述的卡数据154的结构仅是示例性的；在一些实施例中，与嵌入在视频流中的卡图像相关的数据可以不同地组织。举例来说，在其它实施例中，每个字符串不必分解为个别字符图像。相反，字符串可以作为整体解译，并且可以存储用于解译字符串的数据以用于整个字符串。此外，在替代实施例中，上文中未特定地描述的数据可以并入到卡数据154中。图2的用户数据155、精彩片段数据164和分类模型165的结构同样仅是示例性的；所属领域的技术人员可以设想许多替代方案。

如进一步所示，用户数据155可以包括与用户150有关的记录，所述记录中的每一个可以包括特定用户150的人口统计数据212、偏好214、观看历史记录216和购买历史记录218。

人口统计数据212可以包括任何类型的人口统计数据，包括但不限于年龄、性别、位置、国籍、宗教信仰、教育程度等。

偏好214可以包括用户150考虑到他或她的偏好做出的选择。偏好214可直接涉及精彩片段和元数据的收集和/或观看，或者本质上可以更普遍。在任一情况下，偏好214可以用于促进将精彩片段和元数据标识和/或呈现给用户150。

观看历史216可以列出由用户150所检索和/或观看的电视节目、视频流、精彩片段、网页、搜索查询、体育事件和/或其它内容。

购买历史记录218可以列出由用户150所购买或请求的产品或服务。

如进一步所示，精彩片段数据164可以包括j个精彩片段220的记录，所述记录中的每一个可以包括针对特定精彩片段220的视频流222、标识符和/或元数据224。

视频流222可以包括描绘精彩片段220的视频，所述视频可以从一个或多个事件的一个或多个视频流中获得(例如，通过剪切视频流以仅包括与精彩片段220有关的视频流222)。标识符223可以包括时间代码和/或其它标记，其指示精彩片段220驻留于从中获得其的事件的视频流内的位置。

在一些实施例中，精彩片段220中的每一个的记录可含有视频流222和标识符223中的仅一个。可以通过为用户150播放视频流222来执行精彩片段回放，或通过使用标识符223针对从中获得精彩片段220的事件仅播放视频流的有精彩片段的部分来执行精彩片段回放。

元数据224可以包括关于精彩片段220的信息，例如事件日期、季节和从中获得精彩片段220的事件或视频流中涉及的群组或个人，例如团队、运动员、教练、压阵队员、广播员和球迷等。除了其它信息之外，每个精彩片段220的元数据224可以包括时间225、阶段226、时钟227、得分228和/或帧号229。

时间225可以是在从中获得精彩片段220的视频流222内或在与精彩片段220有关的视频流222内的时间，在所述时间，元数据可用。在一些示例中，时间225可以是视频流222内与精彩片段220有关的回放时间，在所述时间，显示含有元数据224的卡图像。

阶段226可以是与精彩片段220有关的事件的阶段。更确切地说，阶段226可以是体育事件的阶段，在所述阶段，显示含有元数据224的卡图像。举例来说，阶段226可以是“第三局”、“第二局”、“下半场”等。

时钟227可以是与精彩片段220有关的比赛时钟。更确切地说，时钟227可以是显示含有元数据224的卡图像时的比赛时钟的状态。举例来说，对于在比赛时钟上显示有十五分四十七秒的所显示卡图像，时钟227可以是“15:47”。

得分228可以是与精彩片段220有关的比赛得分。更确切地说，得分228可以是在显示含有元数据224的卡图像时的得分。举例来说，得分228可以是“45-38”、“7-0”、“30-love”等。

帧号229可以是从中获取精彩片段220的视频流中的视频帧的编号，也可以是与精彩片段220有关的视频流222，所述视频流最直接地与精彩片段220有关。更确切地说，帧号229可以显示含有元数据224的卡图像时的此类视频帧的编号。

如进一步所示，分类模型165可以包括有助于提取和解译字符串200的各种信息。这反过来可以使得能够自动生成精彩片段220的元数据224。确切地说，分类模型165可以包括查询230、查询特征向量232、正交基234、预测查询236和/或文本含义238。

本文中更详细地阐述查询230、查询特征向量232、正交基234和预测查询236的操作。文本含义238可以是以可易于复制到元数据224中的方式显现的字符串200的解译。

图2中阐述的数据结构仅是示例性的。所属领域的技术人员将认识到，在精彩片段标识和/或元数据提取的执行中，可以省略或用其它数据替换图2的一些数据。另外或替代地，图2中未展示的数据可以用于执行精彩片段标识和/或元数据提取。

卡图像

现在参看图3，展示了来自视频流的视频帧300的示例的屏幕截图，所述视频流具有呈卡图像形式的嵌入式信息，如在体育事件电视节目中可能频繁出现的那样。图3描绘了在视频帧300的右下侧的卡图像310以及沿着视频帧300的底部延伸的第二卡图像320。卡图像310、卡图像320可含有嵌入式信息，例如比赛阶段、当前时钟和当前得分。

在至少一个实施例中，对卡图像310、卡图像320中的信息进行定位和处理，以自动识别和解译卡图像310、卡图像320中的嵌入式文本。接着可将所解译的文本汇编成描述体育比赛在体育事件时间线内的特定时间点处的状态的文本元数据。

值得注意的是，卡图像310可与当前正在展示的体育事件有关，而第二卡图像320可含有用于不同体育事件的信息。在一些实施例中，仅处理含有被认为与当前正在播放的体育事件有关的信息的卡图像以生成元数据。因此，在不限制范围的情况下，以下示例性描述假定仅卡图像310将被处理。然而，在替代实施例中，可能需要在给定视频帧300中处理多个卡图像，甚至包括与其它体育事件有关的卡图像。

如图3所示，卡图像310可以提供若干不同类型的元数据224，包括团队名称330、得分340、先前的团队表现350、当前比赛阶段360、比赛时钟370、播放状态380和/或其它信息390。这些中的每一个可以从卡图像310内提取并被解译以提供对应于含有视频帧300的精彩片段220，并且更确切地说，对应于其中显示卡图像310的视频帧300的元数据224。

元数据提取

图4是描绘根据一个实施例的由在例如客户端装置106和/或分析服务器116中的一个上运行的应用程序执行的方法400的流程图，所述应用程序接收视频流222并执行视频帧300的实时处理以用于从例如310的卡图像提取元数据。图1A的系统100将被称为执行方法400以及随后的那些方法的系统；然而，替代系统，包括但不限于图1B的系统160、图1C的系统180和/或图1D的系统190，可以代替图1A的系统100使用。

图4的方法400更详细地描绘了上文所概述的过程。可以接收并解码例如对应于先前已标识的精彩片段220的视频流222的视频流。在步骤410中，可以接收视频流222的一个或多个视频帧300，将其调整为标准大小，并对其进行解码。在步骤420中，可以处理视频帧300以检测并(在适用的情况下)从视频帧300提取一个或多个卡图像，例如图3的卡图像310。根据查询430，如果在视频帧300中未发现有效卡图像310，则方法400可以返回到步骤410以对不同视频帧300进行解码和分析。

如果已发现有效卡图像310，则在步骤440中，可进一步处理视频帧300以定位、提取并处理检测到的卡图像310，且提取并处理嵌入在卡图像310中的文本框和/或字符串。根据查询450，如果在卡图像310中未发现有效字符串200，则方法400可以返回到步骤410以处理新视频帧300。

如果在卡图像310中发现有效字符串200，则方法400可以前进到步骤460，其中识别和解译所提取的字符串200，并基于对卡图像310的信息的解译生成对应的元数据224。在各种实施例中，针对文本解译可用的选择是基于确定在视频帧300中检测到的卡图像310的卡图像的类型，及/或基于对在视频帧300中检测到的卡图像310适用的特定类型的卡图像内存在的检测到的字段的提前知识。

如先前所指示，存在于电视节目内容中的卡图像中的嵌入式文本的检测、定位和解译可以完全在本地发生于TV上、STB上或移动装置上。替代地，其可以在具有广播视频获取和流式传输能力的远程视频服务器上远程地发生。替代地，可以使用本地处理和远程处理的任何组合。

信息卡字符串处理：定位和提取

“极值区域”(Extremal Region；ER)是图像区域，其外边界像素具有严格高于区域自身的值(例如，L.Neumann、J.Matas，“实时场景文本定位与识别(Real-Time Scene TextLocalization and Recognition)”，第5届IEEE计算机视觉与模式识别会议，普罗维登斯，RI，2012年6月)。用于图像中的ER检测的众所周知的方法中的一个使用所谓的最大稳定ER检测器或称MSER检测器。额外检测方法允许测试更宽范围的ER，同时维持相对低的计算复杂度。当测试中包括更宽范围的ER时，可以引入基于与字符区域相关的某些特征的顺序分类器。此分类器可以被预先训练以生成字符存在的概率，其产生字符的多个可能检测到的边界(即，字符边界204)。当在ER分类的第一阶段时，估计字符存在的概率；当在第二阶段时，选择具有局部最大概率的ER。可以通过使用一些计算上更昂贵的特征来进一步改进分类。此外，在至少一个实施例中，应用重复穷尽搜索以检测字符的组合并将ER分组到字组中。此类方法还允许将区域边缘包括在ER的考虑因素中，以用于改进字符检测。最终结果是所选择的具有表示字符边界204的最高概率的ER。

由于上文所描述的字符检测器生成用于相同字符的若干区域，因此下一步骤是消除检测到的区域的歧义。在至少一个实施例中，此消歧涉及对检测到的字符边界204进行多重比较，且随后清除字符边界204，所述字符边界可呈看起来过于接近彼此的字符-限界框的形式。结果，在某一周边内接受仅一个字符-限界框，因此允许表示卡图像310的适当文本字段的字符串200的正确形成。

图5是描绘用于更详细地执行上文所概述的过程的方法500的流程图。选择视频帧300以用于处理，或选择选项以依次地处理每个视频帧300。在步骤510中，提取视频帧300中的卡图像310(如果检测到任何卡图像)，并将其调整为标准化大小。接下来，在步骤520中，由一连串的滤波器来预处理经调整大小的卡图像，包括例如：对比度增加、用于降噪的双边和中值滤波、伽马校正，及/或照明补偿。

在步骤530中，创建具有2级分类器的ER滤波器，且在步骤540中，将此级联分类器应用于卡图像310的每个图像通道。检测字符群组，并提取一组或多组字框以用于进一步处理。在步骤550中，对具有个别字符边界204的字符串200进行分析以用于字符边界消歧。最后，生成干净的字符串200，其中在字符的位置206的周边中的每一个内仅接受一个字符。

图6是描绘用于验证字符边界204的进一步处理的方法600的流程图。在步骤610中，方法600可以开始于提取字符串200、去除重复字符，以及最后处理并接受字符串200。如所描绘，可进一步处理消歧字符串内的每个字符以用于字符图像验证。

因此，在步骤620中，可在每个字符图像202(或经处理的字符图像203)的低强度区域和高强度区域中获得像素计数比率，以用于与低强度像素计数与高强度像素计数之间的预定义对比率进行比较。在步骤620中，对每个字符图像202或经处理的字符图像203、高强度级像素和低强度级像素进行分组并计数。

接下来，在步骤630中，计算这两个计数的比率且使其经受阈值处理，使得仅保留具有足够高对比率的字符图像202或经处理的字符图像203。随后，在步骤640中，记录和保存用于经验证的字符的位置限界框坐标(即，位置206)以用于解译字符串200。

在替代实施例中，上文中所描述的字符-限界框验证可以先于字符边界消歧，或其可以与用于最终字符验证的字符边界消歧组合使用。

用于查询提取和识别的信息卡处理

在至少一个实施例中，执行自动化过程，包括以下步骤：接收数字视频流，例如与精彩片段220有关的视频流222；针对卡图像310的存在分析数字视频流的一个或多个视频帧300；提取卡图像310；针对卡图像310内的字符串200的字符定位字符边界204；以及提取驻留于文本框内的文本以产生字符的查询串。

图7是描绘根据一个实施例的生成信息卡查询的方法700的流程图。在步骤710中，从经解码的视频帧300提取卡图像310。在步骤720中，如上文所描述，处理卡图像310以标识并提取字符串200。在步骤730中，从卡图像310提取字符图像202，并生成归一化的查询图像(例如，查询230)。在步骤740中，用归一化的查询字符图像(查询特征向量232)填充查询基础架构。

在另一实施例中，通过首先将查询特征向量投射到先前开发的训练集正交基(例如，正交基234)上，且接着将所得的经投射查询特征向量应用到机器学习分类模型(例如分类模型165)来生成查询预测。可以根据先前建立的分类标记生成一连串预测字母数字字符，且此预测字母数字字符串可以被传递到解译过程，以最终提取文本含义238。

图8是描绘含有用于查询识别的处理步骤的方法800的流程图，所述步骤通向查询字母数字字符串生成和查询解译和理解。在步骤810中，加载跨越训练集向量空间的正交基234的正交基向量。在步骤820中，可以将归一化的查询投射到正交基234上。在步骤830中，可以加载如先前开发的分类模型165。分类模型165可以应用于所投射的查询。最后，在步骤840中，可以生成一连串预测字母数字字符，且随后用于解译和含义提取以产生文本含义238。

查询解译和含义提取

在至少一个实施例中，标识驻留于卡图像310内的一个或多个字符串200。后续步骤可以包括在所标识的字符串200中定位每个字符图像202、确定每个字符图像的大小，并提取每个字符图像。将检测到并提取出的字符图像202转换成查询特征向量232，并将其投射到训练集正交基234上。随后，对照分类模型165应用所投射的查询，以产生一连串预测字母数字字符。

在至少一个实施例中，将预测查询字母数字字符投送到应用驻留于众多卡图像310中的字符的先前知识和位置理解的解译过程。接下来，针对定位在特定字符串200中的每个预测字母数字字符导出含义，并将所提取的信息附加到与精彩片段220相关联地存储的元数据224。

图9是更详细地描绘根据一个实施例的用于预测查询串解译的方法900的流程图。方法900涉及组合对字符串长度、字符框的位置和水平距离以及用于含义提取的字母数字读取的考虑因素。

方法900开始于步骤910，其中针对字符串200的每个经处理的查询中的字符计数连同字符串200内的字符的大小205和位置206一起被加载。还可使与要处理的所提取查询230相关联的视频帧号和/或时间可用于与绝对时间相关的参考。在步骤920中，可以在分析中考虑串长度209、字符的大小205和/或字符的位置206。

接下来，在步骤930中，系统100可以继续通过字符串200，且可通过应用对字符的字段位置的知识以及对字符的字母数字值的知识来解译字符串200。在步骤930中，对特定卡图像310的知识和理解还可用于补偿可能遗漏的前字符。最后，在步骤940中，记录所导出的含义(例如，在文本含义238中)，并形成对应元数据224，从而提供与当前体育事件电视节目和与经处理的嵌入式卡图像310相关联的当前时间线相关的实时信息。

机器学习分类模型的生成及其在识别从嵌入式信息卡提取的查询字符中的应用

在至少一个实施例中，使用卷积神经网络执行分类模型生成。一般来说，神经网络通过应用于字符向量的训练集的监督学习过程并利用已知的(所希望的)分类结果来开发其信息分类能力。在训练过程期间，神经网络算法结构调整其权重和偏差以执行准确分类。再训练过程期间用于学习神经网络的内部权重和偏差的已知架构的一个示例是反向传播神经网络架构或前馈反向传播神经网络架构。当向此类网络呈现一组训练数据时，反向传播算法计算实际输出与所希望的输出之间的差，并反馈误差以校正负责误差生成的内部网络权重和偏差。在分类/推断阶段，首先向神经网络结构加载预习得的模型参数、权重和偏差，且接着通过网络向前馈送查询，从而在网络输出处产生表示查询预测的一个或多个所标识的标记。

在用于分类模型生成的另一示例性系统中，使用多级SVM。此类SVM分类系统在根本上不同于例如神经网络学习系统的类似的方法，所述神经网络学习系统很大程度上依赖于试探法来构建各种网络架构，且利用并不总是以全局最小值结束的训练过程。相比之下，SVM在数学上非常成熟，且利用一致地找到全局最小值的训练过程。另外，对于SVM，存在训练过程和分类目标的相对简单且清晰的几何解译，这改进了对分类模型生成的过程的直观洞察。SVM可以有效地用于分类并非线性可分离的数据集，并且可以延伸到多标记分类任务。用于分类并非线性可分离的数据集的SVM的特征在于核函数的选择，这有助于将数据集投射到高维向量空间上，其中原始数据集变为线性可分离的。然而，核函数的选择非常重要，且包括一定程度的试探法和数据依赖性。

在至少一个实施例中，字符分类模型生成是基于从嵌入在体育事件电视节目内容中的一个或多个示例性卡图像310提取的一组训练字符。检测字符边界204，并从众多卡图像310提取字符。此类字符边界204含有小字符图像202，其可随后归一化到标准大小和照明以提供经处理的字符图像203。针对字符图像202和/或经处理的字符图像203形成特征向量(或查询特征向量232)，且接着使这些特征向量与来自嵌入式卡图像310中呈现的一组字符图像的每个特定字符相关联。

在字符图像特征形成的结构方法中，字符特征向量或查询特征向量232与从经预处理的字符图像202提取的一组n个像素相关联。将这些n个像素格式化为表示训练向量的n维特征向量空间中的单个点的n维向量。特征选择的主要目标是在特征空间中构建正确地分离不同类别的字符图像202的决策边界。因此，在至少一个实施例中，进一步处理表示训练向量的一组所提取的字符图像202的集合以增加训练向量的唯一性和相互度量距离，以及减小训练向量的整体向量空间的维数。

根据以上考虑因素，在另一实施例中，对训练向量集合执行主成分分析(principal component analysis；PCA)。因此，从训练集导出正交基234的正交基向量，使得所述正交基向量跨越训练集向量空间。另外，通过选择有限数量的正交基向量来减小训练向量空间的维数，使得仅保留与(由训练向量的矩阵的单一值分解生成的)最大奇异值的集合相关联的最重要的正交向量。保存所选择的训练集基向量以便后续使用针对数据集的可用的算法结构中的一个或多个(例如SVM分类器或CNN分类器)来生成分类模型。

在各种实施例中，本文中所描述的系统和方法提供用于从嵌入在卡图像310中的字符串200提取个别字符图像202且用于随后利用字符图像202来生成查询特征向量232的技术。在下一处理步骤中，将这些查询特征向量投射到跨越训练向量空间的正交基234上以生成所投射的查询。随后应用所投射的查询以生成查询预测或经预测的查询236，作为由示例性SVM(或CNN)分类器产生的经预训练的分类模型的输出。这些预测查询236形成一连串预测字符，其随后经解译以生成文本含义238，且最后用于生成精彩片段220的元数据224，所述元数据富含直接从卡图像310读取的实时信息。

图10是更详细地描绘分类模型生成的方法1000的流程图。在至少一个实施例中，方法1000开始于步骤1010，其中从众多示例性卡图像类型提取一组示范性字符图像202的训练集。将字符图像202归一化到标准大小和照明以形成经处理的字符图像203。导出特征向量，并生成经标记的训练集。在至少一个实施例中，在步骤1020中，通过计算跨越训练向量空间的正交基234对训练集执行PCA分析。在步骤1030中，选择正交训练向量的子集。可以在步骤1040中保存所选择的训练集基向量以用于查询处理。在步骤1050中，可以利用正交训练向量的子集来训练分类模型165。在步骤1060中，可以保存分类模型和正交基向量以用于未来预测查询236的生成。

图11是描绘读取和解译卡图像310中的文本字段且使用帧内实时信息更新用于精彩片段220的元数据224的整体方法1100的流程图。在步骤1110中，从存在于卡图像310中的字符的字符边界204中选择要处理的字段。在步骤1120中，从行字段提取一组字符，且如上文所描述识别和解译文本串。最后，在步骤1130中，对经解码视频帧边界执行的卡图像读取嵌入在为精彩片段220生成的元数据224中。

已经关于可能的实施例以特定细节描述了本发明系统和方法。所属领域的技术人员应了解，可以在其它实施例中实践所述系统和方法。首先，组件的特定命名、术语的大写、属性、数据结构或任何其它编程或结构方面不是强制的或重要的，且所述机制和/或特征可以具有不同的名称、格式或协议。此外，所述系统可以经由硬件与软件的组合或完全以硬件元件或完全以软件元件进行实施。此外，本文中所描述的各种系统组件之间的功能性的特定划分仅是示例性的，且不是强制的；由单个系统组件执行的功能可以实际上由多个组件执行，且由多个组件执行的功能可以实际上由单个组件执行。

在本说明书中提到的“一个实施例”或“一实施例”是指与实施例结合描述的特定特征、结构或特性包括在至少一个实施例中。短语“在一个实施例中”或“在至少一个实施例中”在说明书中各种地方的出现不一定全部参考同一实施例。

各种实施例可以包括用于单独或以任何组合执行上述技术的任何数目的系统和/或方法。另一实施例包括计算机程序产品，其包含非暂时性计算机可读存储介质和经编码于介质上的计算机程序代码，用于致使计算装置或其它电子装置中的处理器执行上述技术。

上文的一些部分是在对计算装置的存储器内的数据位的操作的算法和符号表示方面来呈现。这些算法描述和表示是数据处理领域的技术人员用以将其工作的主旨最有效地传达给所属领域的其它技术人员的方法。算法此处且大体上构想为产生所希望的结果的步骤(指令)的自一致序列。步骤是要求对物理量进行物理操控的那些步骤。通常但不一定，这些量采取能够被存储、传送、组合、比较和另外操纵的电、磁或光学信号的形式。主要出于常用的原因，将这些信号称为位、值、元件、符号、字符、术语、编号等有时是便利的。此外，在不失一般性的情况下将需要对物理量的物理操纵的步骤的某些布置称为模块或代码装置有时也是便利的。

然而，应牢记，所有这些和类似术语应与适当物理量相关联，且仅是应用于这些量的方便标签。除非从以下论述显而易见确切地陈述是其它情况，否则应了解贯穿所述描述，利用例如“处理”或“计算”或“运算”或“显示”或“确定”或类似术语的论述都是指计算机系统或相似电子计算模块和/或装置的动作和过程，所述动作和过程操纵且变换计算机系统存储器或寄存器或其它此类信息存储装置、发射或显示装置内的表示为物理(电子)量的数据。

某些方面包括本文中所描述的呈算法形式的过程步骤和指令。应注意，所述过程步骤和指令可以软件、固件和/或硬件实施，且当以软件实施时可以经下载以驻留于不同平台上，且从不同平台操作以供各种操作系统使用。

本文档还涉及用于执行本文中的操作的设备。此设备可以出于所希望的目的而专门构建，或其可以包含通过存储在计算装置中的计算机程序选择性激活或重新配置的通用计算装置。此计算机程序可以存储在计算机可读存储介质中，例如但不限于包括软盘的任何类型的磁盘、光盘、CD-ROM、DVD-ROM、磁光盘、只读存储器(read-only memories；ROM)、随机存取存储器(random access memories；RAM)、EPROM、EEPROM、快闪存储器、固态驱动器、磁卡或光卡、专用集成电路(application specific integrated circuit；ASIC)，或适合于存储电子指令且各自联接到计算机系统总线的任何类型的介质。所述程序及其相关联的数据也可以在例如服务器上远程地托管和运行。此外，本文中所提到的计算装置可以包括单个处理器或可以是采用多处理器设计以用于增加计算能力的架构。

本文中所呈现的算法和显示自身不与任何特定计算装置、虚拟化系统或其它设备相关。各种通用系统也可以与根据本文中的教示的程序一起使用，或其可以证明为便于构建用以执行所需方法步骤的更专用设备。用于多种这些系统的所希望的结构将从本文中所提供的描述中变得显而易见。另外，不参考任何特定编程语言描述所述系统和方法。应了解，可以使用多种编程语言来实施本文所描述的教示，并且提供上文对特定语言的任何参考以公开实现和最佳模式。

因此，各种实施例包括用于控制计算机系统、计算装置或其它电子装置的软件、硬件和/或其它元件，或者其任何组合或多个组合。此类电子装置可以包括例如处理器、输入装置(例如，键盘、鼠标、触摸垫、轨迹垫、操纵杆、轨迹球、麦克风和/或其任何组合)、输出装置(例如，屏幕、扬声器和/或其任何组合)、存储器、长期存储装置(例如，磁性存储装置、光学存储装置等)，及/或网络连接性。此电子装置可以为便携式或非便携式的。可以用于实施所描述系统和方法的电子装置的示例包括：台式计算机、膝上型计算机、电视、智能手机、平板电脑、音乐播放器、音频装置、公用信息机、机顶盒、游戏系统、可穿戴式装置、消费者电子装置、服务器计算机等。电子装置可以使用任何操作系统，例如且不限于：Linux；购自华盛顿雷德蒙德市的微软公司的Microsoft Windows；购自加利福尼亚库比蒂诺市的苹果公司的Mac OS X；购自加利福尼亚库比蒂诺市的苹果公司的iOS；购自加利福尼亚山景城的谷歌公司的Android；和/或适合于在所述装置上使用的任何其它操作系统。

虽然本文中已经描述有限数目的实施例，但得益于以上描述的所属领域的技术人员应了解，可以设计其它实施例。另外，应注意，已主要为便于阅读和指导性目的而选择在说明书中使用的语言，且可能并不是为了划定或限制本发明主题而选择。因此，本公开希望说明范围但不限制范围。

Claims (48)

1.一种用于从视频流中提取元数据的方法，所述方法包含：

在处理器处，接收所述视频流的至少一部分；

在所述处理器处，标识嵌入在所述视频流的所述部分的一个或多个视频帧中的一个或多个卡图像；

在所述处理器处，处理所述一个或多个卡图像以提取文本；

在所述处理器处，解译所述文本以获得元数据；以及

在数据存储区处，存储与所述视频流的所述部分相关联的所述元数据。

2.根据权利要求1所述的方法，其进一步包含：

在所述数据存储区处，存储所述视频流的所接收的部分。

3.根据权利要求1所述的方法，其中：

所述视频流包含体育事件的电视广播；

所述视频流的所述部分包含被视为一个或多个用户特别感兴趣的精彩片段；并且

所述元数据描述所述精彩片段。

4.根据权利要求3所述的方法，其进一步包含：在输出装置处，与标识所述一个或多个卡图像、处理所述一个或多个卡图像以及解译所述文本中的至少一项同时输出所述视频流。

5.根据权利要求3所述的方法，其进一步包含：

在输出装置处，输出所述精彩片段；以及

与输出所述精彩片段同时输出所述元数据；

其中，所述元数据包含选自由以下组成的群组中的至少一个：

与所述精彩片段相关的实时信息；以及

已从中获得所述元数据的所述卡图像的时间线。

6.根据权利要求1所述的方法，其中提取所述文本包含：

在所述一个或多个卡图像中标识一个或多个字符串；以及

记录与所述一个或多个字符串的每个字符相对应的所述一个或多个卡图像的卡图像的字符图像的位置和/或大小。

7.根据权利要求6所述的方法，其中提取所述文本进一步包含：

通过对检测到的字符边界执行多重比较来消除所述一个或多个字符串的字符的字符边界；以及

清除任何看起来过于接近彼此的字符边界。

8.根据权利要求6所述的方法，其中，提取所述文本进一步包含：通过在低强度像素计数与高强度像素计数之间建立对比率来对所述一个或多个字符串的字符执行图像验证。

9.根据权利要求1所述的方法，其中，解译所述文本包含：

基于所述文本生成查询；

生成多个n维查询特征向量；

将所述n维查询特征向量投射到训练集正交基上；

将所投射的所述n维查询特征向量应用于分类模型，以产生至少一个预测查询；以及

从所述至少一个预测查询中提取所述文本的含义。

10.根据权利要求9所述的方法，其进一步包含：

生成多个训练集特征向量；以及

使用所述训练集特征向量以导出所述训练集正交基。

11.根据权利要求9所述的方法，其进一步包含：

生成多个训练集特征向量；以及

使用所述训练集特征向量以生成所述分类模型。

12.根据权利要求9所述的方法，其中，解译所述文本进一步包含使用来自由以下组成的群组中的至少两个选择：

在所述文本内的一个或多个字符串的串长度；

在所述文本内的字符边界和/或字符的位置；以及

在所述文本内的字符边界和/或字符的水平位置。

13.根据权利要求9所述的方法，其中存储与所述视频流的所述部分相关联的所述元数据包含：存储与查询相关联的所述一个或多个视频帧的视频帧号。

14.根据权利要求1所述的方法，其中，解译所述文本包含：

确定所述文本的一个或多个字符串的字符的字段位置；

确定所述字符的字母数字值；以及

使用所述字段位置和字母数字值以循序地解译所述一个或多个字符串。

15.根据权利要求14所述的方法，其中，解译所述文本进一步包含：

获得关于所述卡图像中的每一个的一个或多个卡字段的位置信息和其它信息；以及

使用所述位置信息和其它信息来补偿所述一个或多个字符串的一个或多个可能遗漏的前字符。

16.一种用于生成用于从视频流中提取元数据的分类模型的方法，所述方法包含：

在处理器处，接收所述视频流的至少一部分；

在所述处理器处，标识嵌入在所述视频流的所述部分的一个或多个视频帧中的一个或多个卡图像；

在所述处理器处，在每一卡图像都含有字符的情况下，处理所述一个或多个卡图像以提取多个字符图像；

在所述处理器处，生成与所述字符图像相关联的训练特征向量；

在所述处理器处，以下述方式处理所述训练特征向量：

增加所述训练特征向量的唯一性；

增加所述训练特征向量的相互数值距离；及/或

减小含有所述训练特征向量的整体向量空间的维数；

在所述处理器处，使用所述训练特征向量中的至少一些来训练分类模型；以及

在数据存储区中，存储所述分类模型。

17.根据权利要求16所述的方法，其进一步包含：

在所述数据存储区处，存储所述视频流的所接收的部分。

18.根据权利要求16所述的方法，其进一步包含：在所述处理器处，在生成所述训练特征向量之前，将所述字符图像归一化到标准大小和/或标准照明。

19.根据权利要求16所述的方法，其中，生成所述训练特征向量包含：将从所述字符图像提取的一组n个像素格式化为n维向量。

20.根据权利要求16所述的方法，其进一步包含：在所述处理器处，对所述训练特征向量执行主成分分析；

其中使用所述训练特征向量中的至少一些来训练所述分类模型包含：

选择作为正交基向量的所述训练特征向量的子集；以及

使用所述正交基向量来训练所述分类模型。

21.根据权利要求20所述的方法，其中：

所述正交基向量跨越所述整体向量空间；

减小所述整体向量空间的所述维数包含选择有限数量的所述正交基向量；

减小所述整体向量空间的所述维数进一步包含仅选择与从所述正交基向量的矩阵导出的最大奇异值的集合相对应的正交基向量；

存储所述分类模型包含存储有限数量的所述正交基向量，以供后续在分类模型生成和/或查询处理中使用；及/或

生成所述分类模型包含将有限数量的所述正交基向量与从由SVM和CNN组成的群组中选出的机器学习算法结合使用。

22.根据权利要求16所述的方法，其进一步包含：

在所述处理器处，处理所述一个或多个卡图像以提取文本；

在所述处理器处，解译所述文本以获得元数据；

在所述数据存储区处，存储与所述视频流的所述部分相关联的所述元数据；

在输出装置处，输出所述视频流的所述部分；以及

在所述输出装置处，与输出所述视频流的所述部分同时输出所述元数据；

其中：

所述视频流包含体育事件的广播；

所述视频流的所述部分包含被视为一个或多个用户特别感兴趣的精彩片段；并且

所述元数据描述所述精彩片段。

23.根据权利要求22所述的方法，其中，提取所述文本包含将所述文本的文本串提取为查询。

24.根据权利要求22所述的方法，其中，提取所述文本包含提取以下各项中的至少一个：

所述体育事件内的当前时间；

所述体育事件的当前时间；

与所述体育事件有关的比赛时钟；以及

与所述体育事件有关的比赛得分。

25.一种从视频流中提取元数据的非暂时性计算机可读介质，所述非暂时性计算机可读介质包含存储在其上的指令，所述指令在由处理器执行时执行以下步骤：

接收所述视频流的至少一部分；

标识嵌入在所述视频流的所述部分的一个或多个视频帧中的一个或多个卡图像；

处理所述一个或多个卡图像以提取文本；

解译所述文本以获得元数据；以及

致使数据存储区存储与所述视频流的所述部分相关联的所述元数据。

26.根据权利要求25所述的非暂时性计算机可读介质，其中：

所述视频流包含体育事件的电视广播；

所述视频流的所述部分包含被视为一个或多个用户特别感兴趣的精彩片段；并且

所述元数据描述所述精彩片段。

27.根据权利要求26所述的非暂时性计算机可读介质，所述非暂时性计算机可读介质进一步包含存储于其上的指令，所述指令在由处理器执行时致使输出装置与标识所述一个或多个卡图像、处理所述一个或多个卡图像及解译所述文本中的至少一项同时输出所述视频流。

28.根据权利要求26所述的非暂时性计算机可读介质，所述非暂时性计算机可读介质进一步包含存储在其上的指令，所述指令在由处理器执行时执行以下步骤：

致使输出装置输出所述精彩片段；以及

与输出所述精彩片段同时输出所述元数据；

其中，所述元数据包含选自由以下组成的群组中的至少一个：

与所述精彩片段相关的实时信息；以及

已从中获得所述元数据的所述卡图像的时间线。

29.根据权利要求25所述的非暂时性计算机可读介质，其中，提取所述文本包含：

在所述一个或多个卡图像中标识一个或多个字符串；以及

记录与所述一个或多个字符串的每个字符相对应的所述一个或多个卡图像的卡图像的字符图像的位置和/或大小。

30.根据权利要求25所述的非暂时性计算机可读介质，其中，解译所述文本包含：

基于所述文本生成查询；

生成多个n维查询特征向量；

将所述n维查询特征向量投射到训练集正交基上；

将所投射的所述n维查询特征向量应用于分类模型，以产生至少一个预测查询；以及

从所述至少一个预测查询中提取所述文本的含义。

31.根据权利要求30所述的非暂时性计算机可读介质，所述非暂时性计算机可读介质进一步包含存储在其上的指令，所述指令在由处理器执行时执行以下步骤：

生成多个训练集特征向量；以及

使用所述训练集特征向量来导出所述训练集正交基和/或生成所述分类模型。

32.根据权利要求25所述的非暂时性计算机可读介质，其中，解译所述文本包含：

确定所述文本的一个或多个字符串的字符的字段位置；

确定所述字符的字母数字值；以及

使用所述字段位置和字母数字值以循序地解译所述一个或多个字符串。

33.一种用于生成用于从视频流中提取元数据的分类模型的非暂时性计算机可读介质，所述非暂时性计算机可读介质包含存储在其上的指令，所述指令在由处理器执行时执行以下步骤：

接收所述视频流的至少一部分；

标识嵌入在所述视频流的所述部分的一个或多个视频帧中的一个或多个卡图像；

在每一卡图像都含有字符的情况下，处理所述一个或多个卡图像以提取多个字符图像；

生成与所述字符图像相关联的训练特征向量；

以下述方式处理所述训练特征向量：

增加所述训练特征向量的唯一性；

增加所述训练特征向量的相互数值距离；及/或

减小含有所述训练特征向量的整体向量空间的维数；

使用所述训练特征向量中的至少一些来训练分类模型；以及

致使数据存储区存储所述分类模型。

34.根据权利要求33所述的非暂时性计算机可读介质，所述非暂时性计算机可读介质进一步包含存储于其上的指令，所述指令在由处理器执行时对所述训练特征向量执行主成分分析；

其中使用所述训练特征向量中的至少一些来训练所述分类模型包含：

选择作为正交基向量的所述训练特征向量的子集；以及

使用所述正交基向量来训练所述分类模型。

35.根据权利要求34所述的非暂时性计算机可读介质，其中：

所述正交基向量跨越所述整体向量空间；

减小所述整体向量空间的所述维数包含选择有限数量的所述正交基向量；

减小所述整体向量空间的所述维数进一步包含仅选择与从所述正交基向量的矩阵导出的最大奇异值的集合相对应的正交基向量；

存储所述分类模型包含存储有限数量的所述正交基向量，以供后续在分类模型生成和/或查询处理中使用；及/或

生成所述分类模型包含将有限数量的所述正交基向量与从由SVM和CNN组成的群组中选出的机器学习算法结合使用。

36.根据权利要求33所述的非暂时性计算机可读介质，所述非暂时性计算机可读介质进一步包含存储在其上的指令，所述指令在由处理器执行时执行以下步骤：

处理所述一个或多个卡图像以提取文本；

解译所述文本以获得元数据；

致使所述数据存储区存储与所述视频流的所述部分相关联的所述元数据；

致使输出装置输出所述视频流的所述部分；以及

致使所述输出装置与输出所述视频流的所述部分同时输出所述元数据；

其中：

所述视频流包含体育事件的广播；

所述视频流的所述部分包含被视为一个或多个用户特别感兴趣的精彩片段；并且

所述元数据描述所述精彩片段。

37.一种用于从视频流中提取元数据的系统，所述系统包含：

处理器，其被配置成：

接收所述视频流的至少一部分；

标识嵌入在所述视频流的所述部分的一个或多个视频帧中的一个或多个卡图像；

处理所述一个或多个卡图像以提取文本；以及

解译所述文本以获得元数据；以及

数据存储区，其被配置成存储与所述视频流的所述部分相关联的所述元数据。

38.根据权利要求37所述的系统，其中：

所述视频流包含体育事件的电视广播；

所述视频流的所述部分包含被视为一个或多个用户特别感兴趣的精彩片段；并且

所述元数据描述所述精彩片段。

39.根据权利要求38所述的系统，其进一步包含输出装置，所述输出装置被配置成与标识所述一个或多个卡图像、处理所述一个或多个卡图像及解译所述文本中的至少一项同时输出所述视频流。

40.根据权利要求38所述的系统，其进一步包含：输出装置，其被配置成输出所述精彩片段；

其中：

所述处理器被进一步配置成与输出所述精彩片段的同时输出所述元数据；并且

所述元数据包含选自由以下组成的群组中的至少一个：

与所述精彩片段相关的实时信息；以及

已从中获得所述元数据的所述卡图像的时间线。

41.根据权利要求37所述的系统，其中，所述处理器被进一步配置成通过以下操作来提取所述文本：

在所述一个或多个卡图像中标识一个或多个字符串；以及

记录与所述一个或多个字符串的每个字符相对应的所述一个或多个卡图像的卡图像的字符图像的位置和/或大小。

42.根据权利要求37所述的系统，其中，所述处理器被进一步配置成通过以下操作来解译所述文本：

基于所述文本生成查询；

生成多个n维查询特征向量；

将所述n维查询特征向量投射到训练集正交基上；

将所投射的所述n维查询特征向量应用于分类模型，以产生至少一个预测查询；以及

从所述至少一个预测查询中提取所述文本的含义。

43.根据权利要求42所述的系统，其中所述处理器被进一步配置成：

生成多个训练集特征向量；以及

使用所述训练集特征向量来导出所述训练集正交基和/或生成所述分类模型。

44.根据权利要求37所述的系统，其中，所述处理器被进一步配置成通过以下操作来解译所述文本：

确定所述文本的一个或多个字符串的字符的字段位置；

确定所述字符的字母数字值；以及

使用所述字段位置和字母数字值以循序地解译所述一个或多个字符串。

45.一种用于生成用于从视频流中提取元数据的分类模型的系统，所述系统包含：

处理器，其被配置成：

接收所述视频流的至少一部分；

标识嵌入在所述视频流的所述部分的一个或多个视频帧中的一个或多个卡图像；

在每一卡图像都含有字符的情况下，处理所述一个或多个卡图像以提取多个字符图像；

生成与所述字符图像相关联的训练特征向量；

以下述方式处理所述训练特征向量：

增加所述训练特征向量的唯一性；

增加所述训练特征向量的相互数值距离；及/或

减小含有所述训练特征向量的整体向量空间的维数；以及

使用所述训练特征向量中的至少一些来训练分类模型；以及

数据存储区，其被配置成存储所述分类模型。

46.根据权利要求45所述的系统，其中所述处理器被进一步配置成：

对所述训练特征向量执行主成分分析；以及

使用所述训练特征向量中的至少一些通过以下操作来训练所述分类模型：

选择作为正交基向量的所述训练特征向量的子集；以及

使用所述正交基向量来训练所述分类模型。

47.根据权利要求46所述的系统，其中：

所述正交基向量跨越所述整体向量空间；以及

所述处理器被进一步配置成通过选择有限数量的所述正交基向量来减小所述整体向量空间的所述维数；

所述处理器被进一步配置成通过仅选择与从所述正交基向量的矩阵导出的最大奇异值的集合相对应的正交基向量来减小所述整体向量空间的所述维数；

所述数据存储区被进一步配置成通过存储有限数量的所述正交基向量来存储所述分类模型，以供后续在分类模型生成和/或查询处理中使用；及/或

所述处理器被进一步配置成通过将有限数量的所述正交基向量与从由SVM和CNN组成的群组中选出的机器学习算法结合使用来生成所述分类模型。

48.根据权利要求45所述的系统，其中：

所述处理器被进一步配置成：

处理所述一个或多个卡图像以提取文本；以及

解译所述文本以获得元数据；

所述数据存储区被进一步配置成存储与所述视频流的所述部分相关联的所述元数据；

所述系统进一步包含输出装置，所述输出装置被配置成：

输出所述视频流的所述部分；以及

与输出所述视频流的所述部分同时输出所述元数据；

所述视频流包含体育事件的广播；

所述视频流的所述部分包含被视为一个或多个用户特别感兴趣的精彩片段；并且

所述元数据描述所述精彩片段。

Images