CN111133765A - 通过自动内容识别进行冷匹配 - Google Patents

通过自动内容识别进行冷匹配 Download PDF

Info

Publication number
CN111133765A
CN111133765A CN201880059344.6A CN201880059344A CN111133765A CN 111133765 A CN111133765 A CN 111133765A CN 201880059344 A CN201880059344 A CN 201880059344A CN 111133765 A CN111133765 A CN 111133765A
Authority
CN
China
Prior art keywords
broadcast
fingerprint
media device
frame
media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880059344.6A
Other languages
English (en)
Other versions
CN111133765B (zh
Inventor
瑞坤·陈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liuke Co ltd
Original Assignee
Nielsen Co US LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nielsen Co US LLC filed Critical Nielsen Co US LLC
Publication of CN111133765A publication Critical patent/CN111133765A/zh
Application granted granted Critical
Publication of CN111133765B publication Critical patent/CN111133765B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2246—Trees, e.g. B+trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/217—Database tuning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H04N21/44224—Monitoring of user activity on external systems, e.g. Internet browsing
    • H04N21/44226—Monitoring of user activity on external systems, e.g. Internet browsing on social networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种通过自动内容识别进行冷匹配的方法，包括接收指示广播媒体流(SB、SC)的广播帧(F1‑n)的广播指纹(222a)。该方法还包括接收指示相应的媒体设备(30)处的媒体设备流(SD)的媒体设备帧(FD1‑n)的媒体设备指纹(222b)。该方法还包括确定包括与媒体设备流的顺序媒体设备帧相对应的多个媒体设备指纹的搜索块(324)包括与至少一个广播指纹具有匹配相关性的至少一个媒体设备指纹(322)。匹配相关性基于皮尔逊相关系数。该方法还包括将与至少一个广播指纹具有匹配相关性的至少一个媒体设备指纹识别为与匹配的媒体设备帧(FMD)相对应。

Description

通过自动内容识别进行冷匹配
技术领域
本公开涉及自动内容识别，并且更具体地涉及通过自动内容识别进行冷匹配。
背景技术
当今的媒体设备正变得越来越普遍，并且其范围可以从诸如电视之类的家庭中的固定装置到随媒体消费者一起行进的移动设备。诸如电视、机顶盒、移动电话、膝上型计算机和平板之类的媒体设备可以访问并可以从各种源检索媒体内容。例如，媒体设备可以通过卫星、空中广播或来自有线或无线连接的流系统接收媒体内容。随着媒体设备的使用不断增加，媒体设备到媒体内容的连接性也增加了。随着这种增长，出现了新的媒体内容市场，并且旧的媒体内容市场已适应于理解并向媒体消费者提供上下文相关的媒体内容。
发明内容
本公开的一个方面提供了一种通过自动内容识别进行冷匹配的方法。该方法包括在数据处理硬件处接收指示广播媒体流的广播帧的广播指纹。该方法还包括在数据处理硬件处接收指示相应媒体设备处的媒体设备流的媒体设备帧的媒体设备指纹。该方法还包括由数据处理硬件确定包括与媒体设备流的顺序媒体设备帧相对应的多个媒体设备指纹的搜索块包括与至少一个广播指纹具有匹配相关性的至少一个媒体设备指纹。该匹配相关性基于皮尔逊相关系数。该方法还包括由数据处理硬件将与至少一个广播指纹具有匹配相关性的至少一个媒体设备指纹识别为与匹配的媒体设备帧相对应。
本公开的实施方式可以包括以下可选特征中的一个或更多个。在一些实施方式中，该方法包括由数据处理硬件确定搜索块是否包括与一个以上广播指纹具有匹配相关性的至少一个媒体设备指纹。当搜索块包括与一个以上广播指纹具有匹配相关性的至少一个媒体设备指纹时，该方法包括，由数据处理硬件确定与搜索块的至少一个媒体设备指纹相对应的广播指纹组，该组中的每个广播指纹是广播媒体流的顺序相邻广播帧的广播指纹，并且由数据处理硬件将匹配相关性确定为搜索块与广播指纹组之间的皮尔逊相关系数。该方法还可以包括，由数据处理硬件将匹配的媒体设备帧确定为与搜索块的至少一个媒体设备指纹的、与广播指纹组的匹配的广播指纹具有最大皮尔逊相关系数的的媒体设备指纹相对应的媒体设备帧。
在该方法的各种实施方式中，该方法的每个指纹表示以下内容：对应媒体流的帧的至少一个像素值；表示对应帧的灰度值之和的平均像素值；或相应帧内的子帧的一个以上平均像素值。在一些示例中，表示对应帧内的子帧的一个以上平均像素值的每个指纹被表示为与十六个子帧的每个平均像素值相对应的十六个整数矢量，十六个子帧定义了对应帧的四乘四阵列。
在该方法的一些实施方式中，广播帧对应于广播媒体内容的第一时间段，并且媒体设备帧对应于媒体设备内容的第二时间段。第一时间段大于第二时间段。该方法还包括由数据处理硬件将匹配的媒体设备帧与包括帧号和相关联的广播信道的帧数据相关联。所述方法还可以包括，当搜索块包括与至少一个广播指纹具有匹配相关性的至少一个媒体设备指纹时，由数据处理硬件将搜索块与由多个广播指纹定义的数据库结构进行比较。数据库结构是二进制搜索树。
本公开的另一方面提供一种通过自动内容识别进行冷匹配的系统。该系统包括数据处理硬件和与数据处理硬件通信的存储器硬件。存储器硬件存储指令，这些指令在数据处理硬件上执行时使数据处理硬件执行操作。该操作包括接收指示广播媒体流的广播帧的广播指纹，以及接收指示相应的媒体设备处的媒体设备流的媒体设备帧的媒体设备指纹。该操作还包括确定包括与媒体设备流的顺序媒体设备帧相对应的多个媒体设备指纹的搜索块包括与至少一个广播指纹具有匹配相关性的至少一个媒体设备指纹。该匹配相关性基于皮尔逊相关系数。所述操作还包括将与至少一个广播指纹具有匹配相关性的至少一个媒体设备指纹识别为与匹配的媒体设备帧相对应。
在一些实施方式中，操作还包括确定搜索块是否包括与一个以上广播指纹具有匹配相关性的至少一个媒体设备指纹。当搜索块包括与一个以上广播指纹具有匹配相关性的至少一个媒体设备指纹时，操作包括确定与搜索块的至少一个媒体设备指纹相对应的广播指纹组，该广播指纹组中的每个广播指纹是广播媒体流的顺序相邻广播帧的广播指纹，并且将匹配相关性确定为搜索块与广播指纹组之间的皮尔逊相关系数。该操作还可以包括将匹配的媒体设备帧确定为与搜索块的至少一个媒体设备指纹的、与广播指纹组的匹配的广播指纹具有最大皮尔逊相关系数的的媒体设备指纹相对应的媒体设备帧。
在系统的各种实施方式中，该方法的每个指纹表示以下内容：对应媒体流的帧的至少一个像素值；表示对应帧的灰度值之和的平均像素值；或相应帧内的子帧的一个以上平均像素值。在一些示例中，表示对应帧内的子帧的一个以上平均像素值的每个指纹被表示为与十六个子帧的每个平均像素值相对应的十六个整数矢量，十六个子帧定义了对应帧的四乘四阵列。
该系统还可以包括与广播媒体内容的第一时间段相对应的广播帧和与媒体设备内容的第二时间段相对应的媒体设备帧。第一时间段大于第二时间段。在一些实施方式中，操作还包括将匹配的媒体设备帧与包括帧号和相关联的广播信道的帧数据相关联。
在一些示例中，当搜索块包括与至少一个广播指纹具有匹配相关性的至少一个媒体设备指纹时，操作还包括将搜索块与由多个广播指纹定义的数据库结构进行比较，其中，数据库结构是二进制搜索树。
在以下附图和描述中阐述了本公开的一种或更多种实施方式的细节。根据说明书和附图以及根据权利要求，其他方面、特征和优点将显而易见。
附图说明
图1A和图1B是示例自动内容识别环境的示意图。
图2是自动内容识别环境的示例服务器的示意图。
图3A-3C是对应于媒体设备的示例匹配器的透视图。
图4是可由自动内容识别例程执行的操作的示例布置的流程图。
图5是可用于实现本文所描述的系统和方法的示例计算设备的示意图。
在各个附图中，相同的附图标记指示相同的元件。
具体实施方式
通常，自动内容识别(ACR)是识别媒体设备上或媒体文件内的媒体内容的自动过程。ACR在识别社会每天所消费的大量媒体内容方面变得越来越有用。从商业角度，ACR可以允许企业和其他实体了解媒体内容的消费，并可能更有效地了解媒体内容的市场或目标消费者(即媒体设备用户)。例如，当广告对媒体设备的用户呈现个性化时，广告或提议可能更有效。因此，广播商、商业提供商、广告商和其他内容实体期望知道正在观看什么节目，或更具体地，是在观看期间用户在节目中的什么位置。利用这种类型的信息，媒体设备用户可以接收更精确迎合的媒体内容。
图1A是ACR环境10的示例。ACR环境10可以包括以将媒体内容分发给媒体设备30的用户20(即，观看者)的若干层。图1A试图将媒体内容分发过程简化为四层：广播层100；附加内容层110；网络层120；以及设备层130。每个层100、110、120、130可以具有影响媒体流S的实体。广播层100表示可以参与产生广播媒体流SB的广播实体。这些广播实体可以包括广播商102和广播分发器104。广播商102可以是一个或更多个媒体内容提供者，例如本地广播商、多频道网络或其他媒体内容所有者。广播分发器104是广播实体，其提供基础设施或资源(例如，信号线、通信塔、通信天线、服务器等)以分发媒体内容。取决于诸如提供的媒体内容的类型或接收该媒体内容的媒体设备的类型的广播变量，广播商102和广播分发器104可以是相同的广播实体或不同的广播实体。
在一些实施方式中，广播媒体流SB包括来自表示为附加内容层110的内容实体的附加媒体内容SC。这些内容实体包括商业提供商112、广告商114或向广播媒体流SB贡献附加媒体内容SC的其他实体。通常，商业提供商112是采购和/或托管附加媒体内容SC的内容实体，而广告商114是生成具有内容的附加媒体内容SC的内容实体，诸如广告、报价、交易、折扣、优惠或其他促销商品和/或服务。附加地或替代地，商业提供商112和广告商114可以是相同的内容实体。附加内容层110可以将附加媒体内容SC传送到广播层100、网络层120、设备层130或其任何组合。可选地，附加内容层110可以将附加媒体内容SC与广播媒体流SB配对以形成包括附加媒体内容SC的组合广播媒体流SB、SC。
进一步参考图1A，网络层120配置为从广播层100和/或附加内容层110接收广播媒体流SB和附加媒体内容SC。例如，如果网络层120从广播层100接收媒体流S，网络层120可以接收具有附加媒体内容SC或独立于附加媒体内容SC的广播媒体流SB。类似地，如果网络层120从附加内容层110接收媒体流S，则网络层120可以接收具有附加媒体内容SC或独立于附加媒体内容SC的广播媒体流SB。在一些实施方式中，网络层120可以将来自广播层100的广播媒体流SB与来自附加内容层110的附加媒体内容SC配对，以生成表示浸渍有附加媒体内容SC的广播媒体流SB的网络媒体流SN。
网络层120包括指纹识别器200。指纹识别器200配置为在具有数据处理硬件212和存储器硬件214的服务器210上操作。指纹识别器200包括广播指纹生成器220。网络层120可以配置为将指纹222和与指纹222有关的元数据224存储在指纹数据库230和/或元数据数据库240中。通常，指纹222是与媒体流S的至少一帧Fn相对应的至少一个唯一识别符。例如，至少一个唯一识别符可以是视听图像的值(例如，像素值)、字母数字表示或压缩版本。附加地或可替代地，网络层120配置为存储广播媒体流SB、附加媒体内容SC、或两者。
图1A还示出了任何层(即，广播层100、附加内容层110或网络层120)都可以与设备层130通信。在设备层130，诸如电视、PC、膝上型计算机、平板或移动电话的媒体设备30接收媒体设备流SD(例如，广播媒体流SB、附加内容流SC或网络媒体流SN的任意组合)，并且可以向用户20传送相应媒体设备流SD的全部或一部分(例如，广播媒体流SB、附加内容流SC或网络媒体流SN的任意组合)。设备可以指与配置为接收或传送某种形式的媒体内容的媒体设备30相关的任何硬件或软件。此外，设备可以包括数据处理硬件和/或存储器硬件。在一些实施方式中，媒体设备30可以配置为解释或与对应的媒体流(例如，广播媒体流SB、附加内容流SC或网络媒体流SN的任意组合)交互。例如，媒体设备30从广播媒体流SB中识别附加媒体内容SC。媒体设备30可以利用备用媒体内容来替换或覆盖广播媒体流SB的附加媒体内容SC。媒体设备30可以过滤广播媒体流SB、SC以获得预定内容。附加地或替代地，媒体设备30可以被配置为将与媒体流(例如，广播媒体流SB、附加内容流SC或网络媒体流SN的任何组合)有关的信息或数据传输给广播层100、附加内容层110、网络层120或设备层130的其他媒体设备30。媒体设备30可以执行ACR模块132，或者与执行ACR模块132的其他数据处理硬件通信。ACR模块132可以配置为基于对媒体流的一部分进行采样、处理样本以及将样本与通过独特特征(例如，音频或视频指纹或水印)识别内容的源服务进行比较，来识别媒体流内的内容元素(例如，音频、视频或数字图像)。
图1B是ACR环境10的示例。ACR环境10包括广播商102、指纹识别器200和匹配器300(其可以是ACR模块132的一部分)。广播商102通过信道Ch1-n以广播帧速率RB将广播媒体流SB、SC广播到指纹识别器200。广播帧速率RB将广播媒体流SB、SC划分成广播帧F1-n，使得每个广播帧F1-n对应于由广播媒体流SB内的像素表示的视听图像。指纹识别器200配置为在广播指纹生成器220处接收每个广播帧F1-n。广播指纹生成器220接收每个广播帧F1-n并且配置为生成指示每个广播帧F1-n的广播指纹222、222a。通常，广播指纹222、222a是对应于至少一个广播帧F1-n的至少一个唯一识别符。指纹识别器200可以将每个广播指纹222、222a存储在诸如指纹数据库230的数据库中。在一些示例中，指纹识别器200根据对应于广播帧F1-n的元数据224、或连同其一起存储每个广播指纹222、222a，例如帧位置(例如，帧时间代码)、帧的类型(例如，直播节目或广告)或指纹识别符标签。在其他示例中，指纹识别器200具有与每个广播指纹222、222a的元数据224相对应的单独的数据库或多个数据库。对于元数据的单独的数据库224可以允许指纹识别器200存储更多的广播指纹222、222a。
进一步参考图1B，广播商102还将广播媒体流SB、SC广播到媒体设备30。媒体设备30从广播商102接收广播媒体流SB、SC作为媒体设备流SD。媒体设备30配置为从媒体设备流SB捕获媒体帧FD1-n，并且将捕获的媒体帧FD1-n传送到匹配器300。如图1B所示示例中，媒体设备30是接收媒体设备流SD的电视30、30a(TV)。例如，电视30、30a接收电视频道Ch1-n作为媒体设备流SD。其他类型的媒体设备30也是可能的。
在一些实施方式中，广播商102以广播帧速率RB提供广播媒体流SB、SC。媒体设备30(例如，示出为TV 30、30a)可以以对应的广播帧速率RB接收广播媒体流SB、SC作为媒体设备流SD。通常，广播帧速率RB对应于广播格式的各种工业标准(例如1080 60i、720 60P等)。例如，一些常见的广播帧速率RB包括30P(每秒29.97帧)、24P(每秒23.98帧)和60P(每秒59.94帧)。媒体设备30可以配置为以媒体设备帧速率RMD捕获媒体设备流SD的帧FD1-n。媒体设备帧速率RMD是相应的媒体设备30将捕获的帧FD1-n提供给匹配器300的帧速率。在一些实施方式中，媒体设备30配置为以广播帧速率RB接收媒体设备流SD，但还配置为以匹配器300的媒体设备帧速率RMD捕获媒体设备流SD的帧FD1-n。例如，广播帧速率RB不同于媒体设备帧速率RMD。这种差异的示例是广播帧速率RB大于媒体设备帧速率RMD(例如，30P的广播帧速率和每秒4帧的媒体设备帧速率RMD)。帧速率的差异可能是由于与媒体设备30处的帧捕获硬件或软件有关的资源限制(CPU、内存等)。
在一些示例中，匹配器300从媒体设备流SD接收指纹结果集232和媒体设备帧FD1-n。指纹结果集232对应于在指纹识别器200处捕获并传送至匹配器300的广播指纹222、222a的序列。指纹结果集232的优点在于，指纹识别器200和匹配器300可以传送由指纹识别器200生成的所有广播指纹222、222a的部分，而不是所有广播指纹222、222a。作为指纹数据库230的广播指纹222、222a的一部分，指纹结果集232可以是允许匹配器300更有效地处理的数据大小。匹配器300可以将媒体设备帧FD1-n与广播帧F1-n进行比较，以识别匹配帧Fn、FDn。匹配器300可以是电视30、30a的内部设备(例如，电视30、30a的硬件或软件)，或者是与电视30、30a通信的外部设备(例如，头端系统或机顶盒)。在一些实施方式中，指纹结果集232对应于顺序广播指纹222、222a的设定量。例如，指纹结果集232包括与五分钟的广播帧F1-n相对应的顺序的广播指纹222、222a。换言之，以每秒三十帧的广播帧速率RB，指纹结果集232包括对应于五分钟跨度中的9,000个顺序广播帧F1-9000的9,000个顺序广播指纹222、222a。
图2是指纹识别器200的广播指纹生成器220的示例。广播指纹生成器220接收与广播媒体流SB、SC的信道Ch1-n相对应的广播帧F1-n。广播指纹生成器220可以针对每个接收到的广播帧F1-n生成广播指纹222、222a，并且可以将广播指纹222、222a存储在指纹数据库230中。在一些示例中，每个广播指纹222、222a表示相应的广播媒体流SB的广播帧F1-n的至少一个像素值Vp。至少一个像素值Vp可以是广播帧F1-n的平均像素值或颜色空间值的总和。例如，当广播指纹生成器220根据灰度UV(YUV)颜色空间生成广播指纹222、222a时，至少一个像素值Vp可以表示对应的广播帧F1-n的灰度值的总和和/或平均值。换言之，对应的广播帧F1-n的每个像素由灰度值表示，使得广播指纹222、222a表示像素区域的灰度值的总和和/或平均值。在一些实施方式中，指纹222(例如，广播指纹222、222a)是基于对应的广播帧F1-n的子帧Fsub的唯一识别符。取决于每个子帧Fsub的像素，每个子帧Fsub可以具有对应的像素值Vp或对应的平均像素值。
通常，指纹222可以是ACR环境10中不准确的根源。由于连续的媒体设备帧FD1-n和连续的广播帧F1-n可能非常相似，使得除非场景改变出现剧烈变化的连续帧，连续的帧仅具有随时间的微小变化。由于通常在连续帧FD1-n之间的微小变化，基于一个或少量像素值Vp的指纹222可以与基于相同数目的像素的连续指纹222非常相似。因此，ACR环境10内的指纹222之间的匹配过程可导致潜在的匹配错误(例如，错误匹配)。换言之，匹配器300可确定用户20正在一个媒体设备帧FD1-n(匹配的媒体设备帧FMD)观看媒体设备流SD，尽管用户20实际上正在观看的是来自媒体设备流SD的匹配的媒体设备帧FMD之前或之后的几个媒体设备帧FD1-n的媒体内容。
图2还示出了与被划分为子帧Fsub的广播帧F1-n相对应的广播指纹222a，F1-n的示例。在一些示例中，广播指纹生成器220可以将每个广播帧F1-n划分为子帧Fsub，以更准确地比较或区分广播帧F1-n。利用子帧Fsub，每个指纹222可以表示对应帧F1-n的一个以上平均像素值Vp。通过将每个广播帧F1-n划分为子帧Fsub，与基于整个广播帧F1-n的像素值Vp(或平均值)的广播指纹222、222a相比，在广播指纹生成期间考虑了更多细节(例如，每个子帧Fsub的像素)。这样，广播指纹生成器220将每个广播帧F1-n划分成的子帧Fsub的数量取决于期望的精度水平。例如，如图2所示，广播指纹生成器220将每个广播帧F1-n划分为定义了四乘四的阵列的十六个子帧Fsub。十六个子帧Fsub中的每个子帧Fsub具有平均像素值Vp11-44，使得每个广播指纹222a通过十六个值整数矢量表示每个对应的广播帧F1-n，该十六个值整数矢量具有与每个子帧Fsub相关联的整数值。尽管附图可以将每个广播帧F1-n或每个媒体设备帧FD1-n描绘为四乘四阵列，但是任何子帧划分都是可能的。
一般而言，ACR可以分为两个阶段，冷匹配和热匹配。冷匹配通常是指ACR的第一阶段(或识别阶段)。在识别阶段，ACR首先识别用户20正在观看的频道以及用户20处于当前正在观看的频道的何处。一旦ACR完成了识别阶段，ACR就监控用户20的媒体设备流SD，以更新或更改用户20正在观看的频道。热匹配通常是指ACR的第二阶段或监控阶段。尽管通常在网络层120与设备层130之间执行冷匹配，并且在设备层130上执行热匹配，但是与ACR硬件和/或软件耦合的层之间的连通性可以使得ACR环境10内的任何层或层的任何组合能够通信并存储信息以执行冷匹配和/或热匹配。
图3A和3B是媒体设备30(例如，电视30、30a)的匹配器300的示例。匹配器300接收从媒体设备流SD捕获的媒体设备帧FD1-n。在一些配置中，匹配器300接收捕获的媒体设备帧FD1-n作为顺序媒体设备帧组FD1-n。匹配器300可以以媒体设备帧速率RMD接收媒体设备帧FD1-n。媒体设备帧速率RMD可以类似于广播帧速率RB或不同于广播帧速率RB。附加地或替代地，匹配器300以非均匀的方式(例如，不是均匀的帧捕获速率)接收捕获的媒体设备帧FD1-n。作为示例，匹配器300根据请求或与媒体设备30的选择性通信来接收捕获的媒体设备帧FD1-n。在其他示例中，匹配器300与媒体设备30之间的定时延迟或通信滞后导致在匹配器300处不均匀接收到捕获的媒体设备帧FD1-n或接收到非顺序捕获的媒体设备帧FD1-n。
通常，匹配器300包括匹配器指纹生成器310和相关器320。匹配器指纹生成器310配置为基于接收到的媒体设备帧FD1-n来生成媒体设备指纹222、222b。媒体设备指纹222、222b是与在匹配器300处从媒体设备30(例如，电视30、30a)接收到的每个媒体设备帧FD1-n相对应的指纹222。媒体设备指纹222、222b可以将每个媒体设备帧FD1-n表示为非常类似于广播指纹222、222a的唯一识别符。每个媒体设备指纹222、222b通过值或唯一识别符表示每个对应的媒体设备帧FD1-n，使得匹配器300的相关器320可以将广播指纹222、222a与媒体设备指纹222、222b进行比较。例如，匹配器指纹生成器310可以生成表示对应媒体设备流SD的媒体设备帧FD1-n的至少一个像素值Vp的媒体设备指纹222、222b。至少一个像素值Vp可以对应于每个媒体设备帧FD1-n的子帧Fsub(例如，定义四乘四阵列的十六个子帧Fsub)，使得在一些实施方式中，媒体设备指纹222、222b是与每个子帧Fsub的至少一个像素值Vp相对应的值的向量。
进一步参考图3A和图3B，匹配器300包括确定帧F和/或与帧F相对应的指纹222之间的匹配相关性322的相关器320。在一些示例中，相关器320确定至少一个媒体设备指纹222、222b与至少一个广播指纹222、222a之间的匹配相关性322。当相关器320识别出匹配相关性322时，匹配器300将对应于匹配相关性322的至少一个媒体设备帧FD1-n识别为匹配的媒体设备帧FDM。例如，当相关器320将至少一个媒体设备指纹222、222b识别为具有与至少一个广播指纹222、222a的匹配相关性322时，匹配器300将至少一个媒体设备指纹222、222b识别为对应于匹配的媒体设备帧FDM。匹配器300可以将匹配的媒体设备帧FDM与包括帧号和相关联的广播信道的元数据224(例如，帧数据)相关联。例如，匹配器300接收与匹配相关性322的至少一个广播指纹222、222a相对应的元数据224。通过识别匹配的媒体设备帧FDM，匹配器300将对应于匹配相关性322的至少一个广播指纹222、222a的元数据224和匹配的媒体设备帧FDM相关联。换言之，匹配相关性322意味着与匹配相关性322的至少一个媒体设备指纹222、222b相对应的至少一个媒体设备帧FD1-n应该具有与至少一个广播帧F1-n相似或相同的元数据224，该至少一个广播帧对应于匹配相关性322的至少一个广播指纹222、222a。
匹配相关性322是代表相似性(即，关联强度)的值。在一些示例中，匹配相关性322是统计相关性。统计相关性通常是两个变量(即，双变量)关系，其范围从负一到一，其中零表示缺少关系，负值表示反比关系，正值表示比例关系。负一到一的范围可以表示关联强度，其中接近零的值表示弱相关，而接近一(即完全相关)的值表示强相关。尽管负一到一的范围表示简单的统计相关范围，但是可以根据系统设计对范围进行缩放。优选地，匹配相关性322基于皮尔逊相关系数，其中皮尔逊相关系数通常是两个变量的协方差除以两个变量的标准差的乘积。即使对于匹配相关性322优选皮尔逊相关系数，但是匹配相关性322可以基于任何相关系数。其他统计相关系数的示例包括肯德尔秩相关或斯皮尔曼相关。
在一些示例中，相关器320通过编译搜索块324来确定匹配相关性322。搜索块324可以包括至少一个媒体设备指纹222、222b或多个媒体设备指纹222、222b。在一些示例中，搜索块324的媒体设备指纹222、222b对应于从媒体设备流SD捕获的顺序媒体设备帧FDn+1、FD1-n。相关器320从匹配器指纹生成器310或者在匹配器300内或与匹配器300通信的媒体设备指纹222、222b的数据库中接收搜索块324的至少一个媒体设备指纹222、222b。
在一些实施方式中，相关器320能够将搜索块324与指纹数据库230相关联。然而，在这些实施方式中，指纹数据库230的大小可减慢ACR过程的实时优势。因此，代替减慢这些实时优势，相关器320可以根据指纹结果集232的广播指纹222、222a来确定匹配相关性322。例如，指纹结果集232的顺序广播帧F1-n对应于广播媒体流SB的第一时间段t1，而搜索块324对应于媒体设备流SD的第二时间段t2，使得第一时间段t1大于第二时间段t2。在第一时间段t1大于第二时间段t2的情况下，ACR环境10可以确保匹配器300可以识别与至少一个广播指纹222，222a具有匹配相关性322的至少一个媒体设备指纹222、222b，同时保持实时处理速度。
在一些配置中，搜索块324包括与在媒体设备30(例如，电视30、30a)处捕获的最新媒体设备帧FD1-n相对应的最新媒体设备指纹222、222bR，作为至少一个媒体设备指纹222、222b。通过在搜索块324内包括最新的媒体设备指纹222、222bR，匹配器300可以确定与用户20正观看媒体内容最同时的帧数据(例如，元数据224)。换言之，匹配器300可以将与对应于匹配相关性322的至少一个广播指纹222、222a的元数据224和对应于匹配相关性322的最新媒体设备指纹222、222b的至少一个媒体设备帧相关联。因此，匹配器300可以识别相关联的广播频道以及广播频道内的帧位置(例如，与位置关联的帧号)。
在一些示例中，匹配器300包括表示多个广播指纹222、222a(例如，指纹结果集232)的数据结构330。数据结构330允许相关器320将媒体设备指纹222、222b(例如，搜索块324)与广播指纹222、222a进行比较。附加地或可替代地，数据结构330使相关器320能够执行确定匹配相关性322的多级相关过程。多级相关过程可以包括候选识别过程和匹配相关过程。在候选识别过程中，相关器320可以将来自数据结构330的广播指纹222、222a识别为匹配相关性322的候选广播指纹222、222ac。通常，候选广播指纹222、222ac是对应于可以匹配至少一个媒体设备指纹222、222b(例如，最新的媒体设备指纹222、222bR)的广播帧F1-n的广播指纹222、222a。在相关器320编译搜索块324的示例中，候选广播指纹222、222ac是对应于可匹配搜索块324的至少一个媒体设备指纹222、222b的广播帧F1-n的广播指纹222、222a。通过为匹配相关性322识别至少一个候选广播指纹222、222ac，匹配器300可以在匹配相关过程期间减少在相关器320处的处理时间，因为相关器320可以利用更少广播指纹222、222a执行匹配相关性322(例如，识别的候选广播指纹222、222ac)。换言之，在单级相关过程中，相关器320可以执行与指纹结果集232和/或数据结构330的广播指纹222、222a的匹配相关性322，而不是仅仅识别的候选广播指纹222、222ac。在匹配相关过程中，相关器320可以接收至少一个候选广播指纹222、222ac，并且可以基于至少一个候选广播指纹222、222ac来确定匹配相关性322。
在一些实施方式中，数据结构330由节点N表示多个广播指纹222、222a。每个节点N(1-n)可以构成与广播帧F1-n相对应的广播指纹222、222a。利用节点N，相关器320可以搜索数据结构330并识别与候选广播指纹222、222ac相对应的至少一个候选节点N、Nc。每个节点N(1-n)还可以包括元数据224(例如，帧位置、帧的类型或指纹识别符标签)，或者可以包括对元数据224的引用。匹配器300可以将元数据224或参考元数据与每个候选广播指纹222、222ac相关联。换言之，在搜索数据结构330之后，匹配器300和/或相关器320可以接收指示用于匹配相关性322的至少一个候选广播指纹222、222ac的至少一个候选节点N、Nc，以及与作为至少一个候选节点N、Nc的至少一个候选广播指纹222、222ac的广播帧F1-n相关的元数据224。
在一些示例中，每个节点N(1-n)参考广播帧F1-n(例如，与指纹结果集232相关的广播帧F1-n)的顺序阵列，使得当相关器320确定至少一个候选广播指纹222、222ac(例如，通过候选节点N、Nc)时，相关器320还可以识别与至少一个候选广播指纹222、222ac相对应的帧位置。广播帧F1-n的顺序阵列可以使匹配器300能够选择与广播帧组F1-n(set)相对应的广播指纹组222、222aset，以与搜索块324进行比较，作为匹配相关块326(例如，图3B中所示)。由匹配器300选择的广播指纹组222、222aset通常包括在候选识别过程期间识别出的至少一个候选广播指纹222、222ac，以及与在候选识别过程中识别出的至少一个候选广播指纹222、222ac顺序相邻(例如，在此之前或之后)的选定数目的广播指纹222、222a。广播指纹组222、222a中的广播指纹222、222a的数量可以对应于搜索块324的媒体设备指纹222、222b，使得相关器320可以通过将相等数量的广播指纹222、222a与相等数量的媒体设备指纹22、222b进行比较来执行匹配相关性322。
在多级相关过程中，相关器320可以执行对数据结构330的搜索，例如范围搜索或最近邻搜索，以识别至少一个候选广播指纹222、222ac。在一些示例中，当相关器320执行搜索时，相关器320使用诸如距离(例如，欧几里得距离、曼哈顿距离等)之类的搜索度量来搜索数据结构330。图3A示出了最近邻搜索的示例。通常，最近邻搜索是邻近搜索，使得最近邻搜索提供与输入最相似的输出。例如，给定空间N中的点集S和输入点P，最近邻搜索返回空间N内的集S中最接近输入点P的点。在一些示例中，参照图3A，相关器320使用欧几里得距离作为搜索度量来执行最近邻搜索。图3A将候选识别过程的输入示出为搜索块324的至少一个媒体设备指纹222、222b(例如，最新的媒体设备指纹222、222bR)。在这些示例中，相关器320确定搜索块324的至少一个媒体设备指纹222、222b与数据结构330内的每个节点N之间的距离。作为最近邻搜索的结果，相关器320可以将与由相关器320确定的每个距离的最小值相对应的节点N的广播指纹222、222a识别为候选广播指纹222、222ac。
图3B是相关器320可以识别多个候选广播指纹222、222ac的示例。在一些实施方式中，相关器320使用范围搜索来识别多个候选广播指纹222、222ac。通常，范围搜索是基于输入在给定范围内提供一个或多个输出的搜索。例如，给定空间N中的点集S、输入点P和输入范围R，范围搜索可以返回满足输入范围R的集S中与输入点P相关的所有点。在一些示例中，范围搜索识别与接近范围相对应的输出组。当相关器320根据预定的接近范围执行范围搜索时，相关器320可以将节点N的具有在预定的接近范围内的搜索度量的至少一个广播指纹222、222a识别为候选广播指纹222、222ac。作为示例，相关器320接收接近范围，该接近范围对应于至少一个媒体设备帧222、222b与节点N的广播帧222、222a之间0–1.0的距离。在接收的接近范围为0-1.0的情况下，相关器320可以确定至少一个媒体设备帧222、222b(例如，来自搜索块324)与数据结构330的每个节点N之间的搜索度量(例如，距离)。在该示例中，相关器320根据搜索度量识别满足接近范围0-1.0的每个节点N作为候选广播指纹222、222ac。在一些实施方式中，例如图3B，相关器320识别与三个候选广播指纹222、222ac(1-3)相对应的三个候选节点N、Nc(1-3)作为至少一个候选广播指纹222、222ac。附加地或替代地，如图3B所示，相关器320可以接收或可以检索与所识别的每个候选广播指纹222、222ac相对应的元数据224。
如图3A和图3B所示，可以组织数据结构330以优化候选识别过程。在一些实施方式中，数据结构330是二维或更多维的树数据结构332(例如，二进制搜索树332、332a)，例如范围树或k-d树。树数据结构332可以使相关器320能够执行数据结构330的搜索，而不必确定搜索块324的至少一个媒体设备指纹222、222b与数据结构330内的每个节点N之间的搜索度量。替代地如图3A所示，诸如树数据结构332的数据结构330可以向相关器320提供相邻节点Nadj的指示I以在数据结构330内搜索。在一些示例中，相关器320搜索与搜索度量的最小值或最大值相关的节点N。关于距离，相关器320搜索与节点N与搜索块324的至少一个媒体设备指纹222、222a之间的距离的最小值有关的节点N。在该示例中，组织数据结构330使得当相关器320确定与第一节点N1相关的第一搜索度量时，相关器320识别第一搜索度量的指示I，并在对应于指示I的方向上确定与相邻第二节点N2、Nadj到第一节点N1相关的第二搜索度量。例如，在第一节点N1处，相关器320可以确定第一节点N1的广播指纹222、222a与搜索块324的至少一个媒体设备指纹222、222a之间的距离3.50。距离3.50可以指示相关器320接下来在第一节点N1的左侧的第二节点N2处执行第二搜索度量。在该示例中，数据结构330被组织成使得第一节点N1的向左移动对应于减小第二节点N2的广播指纹222、222a与搜索的至少一个媒体设备指纹222、222a之间的距离。尽管图3A和图3B示出了二维数据结构330，但是数据结构330可以以二维或更多维出现，使得方向指示I也可以相对于二维或更多维出现。通过指示随后的相邻节点Nadj进行搜索，数据结构330的组织可以优化相关器320在数据结构330内搜索的节点N的数量。因此，一些数据结构330的固有优点在于，这些数据结构330可以减少候选识别过程的处理时间，同时潜在地增加匹配相关过程的准确性。因此，数据结构330允许有组织的迭代相关过程以帮助识别至少一个候选广播指纹222、222ac。
在一些示例中，相关器320可以确定搜索块324包括与一个以上广播指纹222、222a具有匹配相关性322的至少一个媒体设备指纹222、222b。例如，在图3B的情况下，在候选识别过程中识别出的相关器320有一个以上的候选广播指纹222、222ac。当搜索块324包括与一个以上广播指纹222、222a(例如，一个以上候选广播指纹222、222ac)具有匹配相关性322的至少一个媒体设备指纹222、222b时，相关器320可执行与每个候选广播指纹222、222ac的匹配相关性322。作为示例，图3B示出了确定搜索块324与每个匹配相关块326之间的匹配相关性322的相关器320。作为搜索块324与每个匹配相关块326之间的匹配相关性322的结果，相关器320将匹配的媒体设备帧FMD确定为搜索块324的至少一个媒体设备指纹222、222b的、与候选广播指纹222、222ac的匹配的广播指纹222、222aM具有最大匹配相关性322、322G的媒体设备指纹222、222b的媒体设备帧FD。
作为示例，匹配器300接收五分钟的广播指纹222、222a(1-9,000)作为对应于9,000个顺序广播帧F1-9000的指纹结果集232。匹配器300还可以接收与广播指纹222、222a(1-9,000)相关联的元数据224，或者可以稍后在匹配器300识别出匹配的媒体设备帧FMD时从指纹识别器200检索元数据224。相关器320从匹配器指纹生成器310接收与来自媒体设备流SD的捕获的媒体设备帧FD1-n相对应的媒体设备指纹222、222b。在该示例中，相关器320接收与在电视30、30a处捕获的媒体设备流SD的两秒相对应的六十个媒体设备指纹222、222b(1-60)(即每秒三十帧的帧速率RMD)。在此，这六十个媒体设备指纹222、222b(1-60)成为搜索块324。当该示例是单级相关过程时，相关器320可确定六十个媒体设备指纹222、222b(1-60)中的至少一个媒体设备指纹222、222b(例如，最新的媒体设备指纹222、222bR)与指纹结果集232的至少一个广播指纹222、222a具有匹配相关性322。在单级相关过程中，具有匹配相关性322的至少一个媒体设备指纹222、222b的对应媒体设备帧FD是匹配的媒体设备帧FMD。当该示例是多级相关过程时，相关器320可以将搜索块324的至少一个媒体设备指纹222、222b(例如，最新的媒体设备指纹222、222bR)与数据结构330进行比较，并且利用至少一个对应的候选广播指纹222、222ac识别至少一个节点N。利用该至少一个候选广播指纹222、222ac，相关器320可以针对每个识别出的候选广播指纹222、222ac生成匹配相关块326。因为在该示例中，搜索块326是六十个媒体设备指纹222、222b(1-60)，所以每个匹配相关块326是六十个广播指纹222、222a(1-60)，包括候选广播指纹222、222ac。然后，相关器320可以确定搜索块324的至少一个媒体设备指纹222、222b(例如，最新的媒体设备指纹222、222bR)与匹配相关块326的至少一个广播指纹222、222a具有匹配相关性322。类似于单级相关过程，具有匹配相关性322的至少一个媒体设备指纹222、222b的对应媒体设备帧FD是匹配的媒体设备帧FMD。
可选地，图3C描绘了相关器320可以使用数据结构330来执行迭代匹配相关过程，而无需候选者识别过程。作为示例，相关器320确定搜索块324的至少一个媒体设备指纹222、222b与对应于至少一个广播指纹222、222a的第一节点N1之间的匹配相关性322。利用在第一节点N1处的匹配相关性322，匹配相关性322提供与第一节点N1相邻的第二节点N2的指示I，其可以进一步优化匹配相关性322。例如，在第一节点N1处，相关器320可以确定匹配相关322是0.55的值。值0.55表示中等比例关联，其指示相关器320接下来执行与在第一节点N1的左侧的第二节点N2的第二匹配相关322、322b。在该示例中，移动到第一节点N1的左侧可以对应于增加匹配相关性322的关联的比例强度。因此，数据结构330允许有组织的迭代相关过程以帮助返回最大匹配相关性322、322G。
图4是用于在自动内容识别期间进行冷匹配的方法400。在框图402处，方法400包括在数据处理硬件处接收指示广播商处的广播媒体流的广播帧的广播指纹。在框图404处，方法400还包括在数据处理硬件处接收指示相应的媒体设备处的媒体设备流的媒体设备帧的媒体设备指纹。在框图406处，方法400还包括由数据处理硬件确定包括与媒体设备流的顺序媒体设备帧相对应的多个媒体设备指纹的搜索块包括与至少一个广播指纹具有匹配相关性的至少一个媒体设备指纹，其中匹配相关性基于皮尔逊相关系数。在框图408处，方法400还包括由数据处理硬件将与至少一个广播指纹具有匹配相关性的至少一个媒体设备指纹识别为与匹配的媒体设备帧相对应。
软件应用(即，软件资源)可以指代使计算设备执行任务的计算机软件。在一些示例中，软件应用可以被称为“应用”、“app”或“程序”。示例应用包括但不限于系统诊断应用、系统管理应用、系统维护应用、文字处理应用、电子表格应用、消息传递应用、媒体流应用、社交网络应用和游戏应用。
图5是可用于实现本文档中描述的系统和方法的示例计算设备500的示意图。计算设备500旨在表示各种形式的数字计算机，例如膝上型计算机、台式计算机、工作站、个人数字助理、服务器、刀片服务器、主机和其他适当的计算机。此处所示的组件，它们的连接和关系以及它们的功能仅是示例性的，并不旨在限制本文档中描述和/或要求保护的发明的实现。
计算设备500包括处理器510、存储器520、存储设备530、连接到存储器520和高速扩展端口550的高速接口/控制器540、以及连接到低速总线570和存储设备530的低速接口/控制器560。组件510、520、530、540、550和560中的每一个使用各种总线互连，并且可以安装在通用主板上或适当地以其他方式。处理器510可以处理用于在计算设备500内执行的指令，包括存储在存储器520中或存储在存储设备530上的指令，以在诸如耦合到高速接口540的显示器580之类的外部输入/输出设备上显示用于图形用户界面(GUI)的图形信息。在其他实施方式中，可以适当地使用多个处理器和/或多个总线，以及多个存储器和存储器类型。同样，可以连接多个计算设备500，其中每个设备提供必要操作的部分(例如，作为服务器库、刀片服务器组或多处理器系统)。
存储器520在计算设备500内非暂时地存储信息。存储器520可以是计算机可读介质、易失性存储单元或非易失性存储单元。非暂时性存储器520可以是用于暂时地或永久地存储程序(例如，指令序列)或数据(例如，程序状态信息)以供计算设备500使用的物理设备。非易失性存储器的示例包括但不限于闪存和只读存储器(ROM)/可编程只读存储器(PROM)/可擦除可编程只读存储器(EPROM)/电子可擦除可编程只读存储器(EEPROM)(例如，通常用于诸如引导程序的固件)。易失性存储器的示例包括但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、相变存储器(PCM)以及磁盘或磁带。
存储设备530能够为计算设备500提供大容量存储。在一些实施方式中，存储设备530是计算机可读介质。在各种不同的实施方式中，存储设备530可以是软盘设备、硬盘设备、光盘设备或磁带设备、闪存或其他类似的固态存储设备、或设备阵列，包括在存储区域网络或其他配置中的设备。在其他的实施方式中，计算机程序产品有形地体现在信息载体中。该计算机程序产品包含指令，在执行该指令时执行例如上述所述的一种或更多种方法。信息载体是计算机或机器可读介质，例如存储器520、存储设备530或处理器510上的存储器。
高速控制器540管理计算设备500的带宽密集型操作，而低速控制器560管理更低带宽密集型操作。这种职责分配仅是示例性的。在一些实施方式中，高速控制器540耦合到存储器520、显示器580(例如，通过图形处理器或加速器)、以及耦合到可以接受各种扩展卡(未示出)的高速扩展端口550。在一些实施方式中，低速控制器560耦合到存储设备530和低速扩展端口590。可包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口590可以例如通过网络适配器耦合到一个或更多个输入/输出设备，例如键盘、指示设备、扫描仪或诸如交换机或路由器的网络设备。
如图所示，可以以多种不同形式来实现计算设备500。例如，它可以被实现为标准服务器500a或在一组这样的服务器500a中被多次实现、被实现为膝上型计算机500b或被实现为机架服务器系统500c的一部分。
本文所描述的系统和技术的各种实现方式可以在数字电子和/或光学电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些各种实现方式可以包括在包括至少一个可编程处理器的可编程系统上可执行和/或可解释的一个或更多个计算机程序中的实现，该可编程处理器可以是专用的或通用的，其被耦合以从至少一个输入设备处的存储系统接收数据和指令，并向至少一个输出设备处的存储系统传输数据和指令。
这些计算机程序(也称为程序、软件、软件应用程序或代码)包括用于可编程处理器的机器指令，并且可以以高级过程和/或面向对象的编程语言和/或以汇编/机器语言实现。如本文所使用的，术语“机器可读介质”和“计算机可读介质”是指任何用于向可编程处理器提供机器指令和/或数据的计算机程序产品、非暂时性计算机可读介质、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑设备(PLD))，包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。
本说明书中描述的过程和逻辑流程可以由执行一个或更多个计算机程序执行，所述一个或更多个计算机程序通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路执行，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。例如，适合于执行计算机程序的处理器包括通用和专用微处理器，以及任何种类的数字计算机的任何一个或更多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或更多个存储器设备。通常，计算机还将包括或可操作地耦合以从用于存储数据的一个或多个大容量存储设备(例如，磁盘、磁光盘或光盘)接收数据或将数据传输到所述一个或多个大容量存储设备，或两者兼有。然而，计算机不需要具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储设备，包括例如半导体存储设备，例如EPROM，EEPROM和闪存设备；磁盘，例如内部硬盘或可移动磁盘；磁光盘；以及CD ROM和DVD-ROM磁盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
为提供与用户的交互，可以在具有显示设备的计算机上实现本公开的一个或更多个方面，例如用于向用户显示信息的CRT(阴极射线管)、LCD(液晶显示器)或触摸屏，以及可选地键盘和指示设备(例如鼠标或跟踪球)，其中用户能够通过其将输入提供给计算机。也可以使用其他类型的设备来提供与用户的交互。例如，提供给用户的反馈可以是任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式接收来自用户的输入，包括声学、语音或触觉输入。另外，计算机可以通过向用户使用的设备发送文档以及从该用户使用的设备接收文档来与用户进行交互。例如，通过响应从Web浏览器收到的请求，将网页发送到用户的客户端设备上的Web浏览器。
已经描述了多个实施方式。然而，应当理解，可以在不脱离本公开的精神和范围的情况下进行各种修改。因此，其他实施方式在所附权利要求的范围内。

Claims (20)

1.一种方法，包括：
在数据处理硬件(212)处接收指示广播媒体流(SB、SC)的广播帧(F1-n)的广播指纹(222a)；
在数据处理硬件(212)处接收指示相应媒体设备(30)处的媒体设备流(SD)的媒体设备帧(FD1-n)的媒体设备指纹(222b)；
由数据处理硬件(212)确定包括与媒体设备流(SD)的顺序媒体设备帧(FDn+1、FD1-n)相对应的多个媒体设备指纹(222b)的搜索块(324)包括与至少一个广播指纹(222a)具有匹配相关性(322)的至少一个媒体设备指纹(222b)，所述匹配相关性(332)基于皮尔逊相关系数；以及
由数据处理硬件(212)将与至少一个广播指纹(222a)具有匹配相关性(332)的至少一个媒体设备指纹(222b)识别为与匹配的媒体设备帧(FMD)相对应。
2.根据权利要求1所述的方法，还包括：
由数据处理硬件(212)确定搜索块(324)是否包括与一个以上广播指纹(222a)具有匹配相关性(322)的至少一个媒体设备指纹(222b)；以及
当搜索块(324)包括与一个以上广播指纹(222a)具有匹配相关性(322)的至少一个媒体设备指纹(222b)时：
由数据处理硬件(212)确定与搜索块(324)的至少一个媒体设备指纹(222b)相对应的广播指纹组(222aset)，所述广播指纹组(222aset)中的每个广播指纹(222a)是广播媒体流(SB、SC)的顺序相邻的广播帧的广播指纹；以及
由数据处理硬件(212)将匹配相关性(322)确定为搜索块(324)与广播指纹组(222aset)之间的皮尔逊相关系数。
3.根据权利要求2所述的方法，还包括由数据处理硬件(212)将匹配的媒体设备帧(FMD)确定为搜索块(324)的至少一个媒体设备指纹(222b)的、与广播指纹组(222aset)的匹配的广播指纹(222aM)具有最大的皮尔逊相关系数的媒体设备指纹(222b)相对应的媒体设备帧(FD)。
4.根据权利要求1-3中的任一项所述的方法，其中，每个指纹(222)表示对应媒体流(S)的帧(F)的至少一个像素值(Vp)。
5.根据权利要求1-4中任一项所述的方法，其中，每个指纹(222)表示对应帧(F)的灰度值之和的平均像素值(Vp)。
6.根据权利要求1-5中的任一项所述的方法，其中，每个指纹(222)表示对应帧(F)内的子帧(Fsub)的一个以上平均像素值(Vp)。
7.根据权利要求6所述的方法，其中，对应帧(F)的每个指纹(222)被表示为与十六个子帧(Fsub)的每个平均像素值(Vp)相对应的十六个整数矢量，所述十六个子帧(Fsub)定义了对应帧(F)的四乘四阵列。
8.根据权利要求1至7中任一项所述的方法，其中，广播帧(F1-n)对应于广播媒体流(SB、SC)的第一时间段(t1)，并且媒体设备帧(FD1-n)对应于媒体设备流(SD)的第二时间段(t2)，所述第一时间段(t1)大于所述第二时间段(t2)。
9.根据权利要求1至8中任一项所述的方法，还包括由数据处理硬件(212)将匹配的媒体设备帧(FMD)与包括帧号和相关联的广播信道的帧数据相关联。
10.根据权利要求1至9中任一项所述的方法，其中，确定搜索块(324)包括与所述至少一个广播指纹(222b)具有匹配相关性(322)的至少一个媒体设备指纹(222b)还包括，由数据处理硬件(212)将搜索块(324)与由多个广播指纹定义的数据库结构进行比较，其中所述数据库结构是二进制搜索树。
11.一种系统，包括：
数据处理硬件(212)；以及
与数据处理硬件(212)通信的存储器硬件(214)，所述存储器硬件(214)存储指令，所述指令在数据处理硬件(212)上执行时使数据处理硬件(212)执行以下操作：
接收指示广播媒体流(SB、SC)的广播帧(F1-n)的广播指纹(222a)；
接收指示相应的媒体设备(30)处的媒体设备流(SD)的媒体设备帧(FD1-n)的媒体设备指纹(222b)；
确定包括与媒体设备流(SD)的顺序媒体设备帧(FDn+1、FD1-n)相对应的多个媒体设备指纹(222b)的搜索块(324)包括与至少一个广播指纹(222a)具有匹配相关性(322)的至少一个媒体设备指纹(222b)，所述匹配相关性(332)基于皮尔逊相关系数；以及
将与所述至少一个广播指纹(222a)具有匹配相关性(332)的至少一个媒体设备指纹(222b)识别为与匹配的媒体设备帧(FMD)相对应。
12.根据权利要求11所述的系统，其中，所述操作还包括：
确定搜索块(324)是否包括与一个以上广播指纹(222a)具有匹配相关性(322)的至少一个媒体设备指纹(222b)；以及
当搜索块(324)包括与一个以上广播指纹(222a)具有匹配相关性(322)的至少一个媒体设备指纹(222b)时：
确定与搜索块(324)的至少一个媒体设备指纹(222b)相对应的广播指纹组(222aset)，所述广播指纹组(222aset)中的每个广播指纹(222a)是广播媒体流(SB、SC)的顺序相邻的广播帧的广播指纹；以及
将匹配相关性(322)确定为搜索块(324)与广播指纹组(222aset)之间的皮尔逊相关系数。
13.根据权利要求12所述的系统，其中，所述操作还包括将匹配的媒体设备帧(FMD)确定为与搜索块(324)的至少一个媒体设备指纹(222b)的、与广播指纹组(222aset)的匹配的广播指纹(222aM)具有最大的皮尔逊相关系数的媒体设备指纹(222b)相对应的媒体设备帧(FD)。
14.根据权利要求11-13中的任一项所述的系统，其中，每个指纹(222)表示对应媒体流(S)的帧(F)的至少一个像素值(Vp)。
15.根据权利要求11至14中任一项所述的系统，其中，每个指纹(222)表示对应帧(F)的灰度值之和的平均像素值(Vp)。
16.根据权利要求11-15中的任一项所述的系统，其中，每个指纹(222)表示对应帧(F)内的子帧(Fsub)的一个以上平均像素值(Vp)。
17.根据权利要求16所述的系统，其中，对应帧(F)的每个指纹(222)被表示为与十六个子帧(Fsub)的每个平均像素值(Vp)相对应的十六个整数矢量，所述十六个子帧(Fsub)定义了对应帧(F)的四乘四阵列。
18.根据权利要求11-17中的任一项所述的系统，其中，广播帧(F1-n)对应于广播媒体流(SB、SC)的第一时间段(t1)，并且媒体设备帧(FD1-n)对应于媒体设备流(SD)的第二时间段(t2)，所述第一时间段(t1)大于所述第二时间段(t2)。
19.根据权利要求11至18中的任一项所述的系统，其中，所述操作还包括将匹配的媒体设备帧(FMD)与包括帧号和相关联的广播信道的帧数据相关联。
20.根据权利要求11-19中任一项所述的系统，其中，确定搜索块(324)包括与所述至少一个广播指纹(222b)具有匹配相关性(322)的至少一个媒体设备指纹(222b)的操作还包括，将搜索块(324)与由多个广播指纹定义的数据库结构进行比较，其中所述数据库结构是二进制搜索树。
CN201880059344.6A 2017-09-13 2018-09-10 通过自动内容识别进行冷匹配 Active CN111133765B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/703,684 2017-09-13
US15/703,684 US10803038B2 (en) 2017-09-13 2017-09-13 Cold matching by automatic content recognition
PCT/US2018/050230 WO2019055344A1 (en) 2017-09-13 2018-09-10 COLD MATCHING BY RECOGNITION OF AUTOMATIC CONTENT

Publications (2)

Publication Number Publication Date
CN111133765A true CN111133765A (zh) 2020-05-08
CN111133765B CN111133765B (zh) 2022-02-15

Family

ID=63762987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880059344.6A Active CN111133765B (zh) 2017-09-13 2018-09-10 通过自动内容识别进行冷匹配

Country Status (9)

Country Link
US (2) US10803038B2 (zh)
EP (1) EP3682644A1 (zh)
JP (1) JP7116786B2 (zh)
KR (1) KR102406304B1 (zh)
CN (1) CN111133765B (zh)
AU (2) AU2018331314B2 (zh)
BR (1) BR112020005084A2 (zh)
CA (1) CA3075730C (zh)
WO (1) WO2019055344A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11088772B1 (en) 2020-05-29 2021-08-10 The Nielsen Company (Us), Llc Methods and apparatus to reduce false positive signature matches due to similar media segments in different reference media assets
US20230138064A1 (en) * 2021-10-29 2023-05-04 The Nielsen Company (Us), Llc Methods and apparatus to generate reference signature assets from meter signatures

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040237102A1 (en) * 2003-03-07 2004-11-25 Richard Konig Advertisement substitution
US20070124796A1 (en) * 2004-11-25 2007-05-31 Erland Wittkotter Appliance and method for client-sided requesting and receiving of information
JP2008011316A (ja) * 2006-06-30 2008-01-17 Casio Comput Co Ltd カメラ装置及びカメラ装置制御プログラム
US8229219B1 (en) * 2009-08-06 2012-07-24 Google Inc. Full-length video fingerprinting
US20130208942A1 (en) * 2010-09-30 2013-08-15 British Telecommunications Public Limited Company Digital video fingerprinting
US20140201787A1 (en) * 2009-05-29 2014-07-17 Zeev Neumeier Systems and methods for improving server and client performance in fingerprint acr systems
US20140237496A1 (en) * 2013-02-18 2014-08-21 Effective Measure International Pty Ltd Audience segment validation device and method
WO2016027457A1 (ja) * 2014-08-21 2016-02-25 パナソニックＩｐマネジメント株式会社 コンテンツ認識装置およびコンテンツ認識方法
WO2016106177A1 (en) * 2014-12-22 2016-06-30 Rovi Guides, Inc. Systems and methods for filtering techniques using metadata and usage data analysis
US20160316261A1 (en) * 2015-04-23 2016-10-27 Sorenson Media, Inc. Automatic content recognition fingerprint sequence matching
US20170013324A1 (en) * 2015-06-12 2017-01-12 Sorenson Media, Inc. Detecting channel change in automatic content recognition fingerprint matching

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8437555B2 (en) 2007-08-27 2013-05-07 Yuvad Technologies, Inc. Method for identifying motion video content
WO2009140824A1 (en) * 2008-05-22 2009-11-26 Yuvad Technologies Co., Ltd. A system for identifying motion video/audio content
US8195689B2 (en) * 2009-06-10 2012-06-05 Zeitera, Llc Media fingerprinting and identification system
US8335786B2 (en) * 2009-05-28 2012-12-18 Zeitera, Llc Multi-media content identification using multi-level content signature correlation and fast similarity search
US9510044B1 (en) * 2008-06-18 2016-11-29 Gracenote, Inc. TV content segmentation, categorization and identification and time-aligned applications
US8370315B1 (en) 2010-05-28 2013-02-05 Symantec Corporation System and method for high performance deduplication indexing
US8786785B2 (en) * 2011-04-05 2014-07-22 Microsoft Corporation Video signature
JP5833235B2 (ja) 2011-06-10 2015-12-16 シャザム エンターテインメント リミテッドＳｈａｚａｍ Ｅｎｔｅｒｔａｉｎｍｅｎｔ Ｌｉｍｉｔｅｄ データストリームのコンテンツを識別する方法及びシステム
CN102682298B (zh) 2012-04-28 2013-11-06 聂秀山 基于图建模的视频指纹方法
US9794642B2 (en) * 2013-01-07 2017-10-17 Gracenote, Inc. Inserting advertisements into video content
US9743153B2 (en) * 2014-09-12 2017-08-22 Sorenson Media, Inc Content replacement with onscreen displays
US9578394B2 (en) * 2015-03-25 2017-02-21 Cisco Technology, Inc. Video signature creation and matching

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040237102A1 (en) * 2003-03-07 2004-11-25 Richard Konig Advertisement substitution
US20070124796A1 (en) * 2004-11-25 2007-05-31 Erland Wittkotter Appliance and method for client-sided requesting and receiving of information
JP2008011316A (ja) * 2006-06-30 2008-01-17 Casio Comput Co Ltd カメラ装置及びカメラ装置制御プログラム
US20140201787A1 (en) * 2009-05-29 2014-07-17 Zeev Neumeier Systems and methods for improving server and client performance in fingerprint acr systems
US8229219B1 (en) * 2009-08-06 2012-07-24 Google Inc. Full-length video fingerprinting
US20130208942A1 (en) * 2010-09-30 2013-08-15 British Telecommunications Public Limited Company Digital video fingerprinting
US20140237496A1 (en) * 2013-02-18 2014-08-21 Effective Measure International Pty Ltd Audience segment validation device and method
WO2016027457A1 (ja) * 2014-08-21 2016-02-25 パナソニックＩｐマネジメント株式会社 コンテンツ認識装置およびコンテンツ認識方法
WO2016106177A1 (en) * 2014-12-22 2016-06-30 Rovi Guides, Inc. Systems and methods for filtering techniques using metadata and usage data analysis
US20160316261A1 (en) * 2015-04-23 2016-10-27 Sorenson Media, Inc. Automatic content recognition fingerprint sequence matching
US20170013324A1 (en) * 2015-06-12 2017-01-12 Sorenson Media, Inc. Detecting channel change in automatic content recognition fingerprint matching

Also Published As

Publication number Publication date
AU2021201776B2 (en) 2022-05-19
US10803038B2 (en) 2020-10-13
EP3682644A1 (en) 2020-07-22
CN111133765B (zh) 2022-02-15
AU2018331314A1 (en) 2020-04-02
CA3075730C (en) 2024-01-02
US20200341960A1 (en) 2020-10-29
US20190079961A1 (en) 2019-03-14
WO2019055344A1 (en) 2019-03-21
AU2018331314B2 (en) 2021-01-28
BR112020005084A2 (pt) 2020-09-15
AU2021201776A1 (en) 2021-04-15
CA3075730A1 (en) 2019-03-21
KR20200053543A (ko) 2020-05-18
JP2020533918A (ja) 2020-11-19
US11379448B2 (en) 2022-07-05
KR102406304B1 (ko) 2022-06-10
JP7116786B2 (ja) 2022-08-10

Similar Documents

Publication Publication Date Title
JP7240437B2 (ja) 自動コンテンツ認識のための広告フレームのフラッギング
US11361549B2 (en) Scene frame matching for automatic content recognition
US11206446B2 (en) Frame replacement without overrun
AU2021201776B2 (en) Cold matching by automatic content recognition
US20190327537A1 (en) Obtaining Viewer Demographics Through Advertisement Selections

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210712

Address after: California, USA

Applicant after: Liuke Co.,Ltd.

Address before: New York State, USA

Applicant before: Nielsen (USA) Ltd.

GR01 Patent grant
GR01 Patent grant